CN116457629A - 三维测量装置以及三维测量程序 - Google Patents

三维测量装置以及三维测量程序 Download PDF

Info

Publication number
CN116457629A
CN116457629A CN202180076984.XA CN202180076984A CN116457629A CN 116457629 A CN116457629 A CN 116457629A CN 202180076984 A CN202180076984 A CN 202180076984A CN 116457629 A CN116457629 A CN 116457629A
Authority
CN
China
Prior art keywords
event
light
reference light
time
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180076984.XA
Other languages
English (en)
Inventor
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN116457629A publication Critical patent/CN116457629A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

使用基于事件的传感器进行高速且高精度的光扫描式三维测量。三维测量装置(8)具有:投光部(7),其一边扫描参照光一边向对象物(W)投光;受光部(3),其接收由对象物(W)反射的参照光,按像素监视参照光的亮度变化,在亮度变化为预先确定的阈值以上的情况下,将像素的位置、存在亮度变化的时刻以及表示亮度变化的方向的极性作为事件输出;以及三维信息计算部(9),其选择事件从正极性变化为负极性且包含指定个数的事件的事件组,根据事件组所包含的事件的时刻和产生事件的亮度变化的阈值来计算参照光通过像素的通过时刻,根据通过时刻,通过三角计量来计算对象物(W)的三维信息。

Description

三维测量装置以及三维测量程序
技术领域
本发明涉及三维测量技术,特别是涉及光扫描式的三维测量装置以及三维测量程序。
背景技术
在工业用途中商品化的三维测量装置大多基于使用了构造化照明的三角计量。作为构造化照明,提出了光切断法、相移法、空间编码法等各种光投影法。关于光切断法,一边扫描带状的狭缝光一边向对象物投光,从与投光位置不同的拍摄位置拍摄对象物,通过根据狭缝光的投射角度、狭缝光向拍摄面的入射角度、以及投光位置与拍摄位置之间的基线长度的三角计量来计算到对象物的距离。狭缝光的投射角度例如根据对扫描仪的指令值、在拍摄面上出现的狭缝光的通过时刻来求出,狭缝光的入射角度例如根据拍摄面上的狭缝光的入射位置来求出。光切断法一般认为测距精度良好,但与相移法、空间编码法等相比,一次的测量所需的图像的张数增多,因此,存在花费测量时间这样的问题。
近年来,提出了根据与一般的基于帧的图像传感器不同的构思的基于事件的图像传感器。基于帧的图像传感器通过开闭快门规定时间进行曝光而以规定周期输出帧图像,与此相对地,基于事件的图像传感器独立且非同步地时时刻刻监视各像素,当检测到预先确定的阈值以上的亮度变化时,将存在亮度变化的像素的位置、存在亮度变化的时刻、以及表示亮度变化的方向的极性(变亮还是变暗)等作为事件输出。基于事件的图像传感器与基于帧的图像传感器相比,动态范围宽,而且仅输出存在亮度变化的像素的信息,因此,具有高速这样的特征。因此,认为通过使用基于事件的图像传感器,能够实现光切断法的高速化。
光切断法的狭缝光具有一定程度的宽度,具有中心附近最大的亮度分布。在着眼于图像传感器的某个像素的情况下,在具有这样的亮度分布的狭缝光通过该像素时,随着狭缝光的中心接近该像素,亮度上升,若通过结束,则亮度下降。狭缝光通过该像素的时刻是该像素取最大亮度时。但是,事件不具有亮度本身,一般在以前次事件产生时的亮度为基准,亮度变化从此处开始为预先确定的阈值以上时产生,因此,事件的产生定时不一定为最大亮度时。在三维测量的实用上不一定需要是最大亮度的时刻,只要相对于狭缝光的亮度分布捕捉相同的定时即可,但根据背景的明亮度,不知道在狭缝光的亮度分布的第几个边界附近产生事件,产生事件的时间间隔不固定。因此,基于事件的图像传感器无法准确地检测狭缝光通过该像素的时刻,因此,存在即使将基于事件的图像传感器直接应用于光切断法也无法得到充分的测距精度这样的问题。作为与本申请相关的技术,例如后述的文献是公知的。
在专利文献1中公开了如下的三维输入装置:一边利用狭缝光扫描物体一边利用两个图像传感器同步地拍摄图像,存储针对各个图像传感器的各像素检测出最大亮度的帧编号,根据该帧编号进行像素的对应,根据对应的像素来计算距离。
在专利文献2中,记载了如下的内容:在对场景进行三维重构的方法中,从第一传感器针对各像素接收第一连续事件,从第二传感器针对各像素接收第二连续事件,与费用函数的最小化对应地使第一连续事件中的第一事件与第二连续事件中的第二事件匹配。
在专利文献3中记载了如下的内容:投影多狭缝状的图案光,根据由规定倍率的检测光学系统检测的多狭缝像的信号计算各狭缝像的偏移量,对计算出的多狭缝像的偏移量赋予与该偏移量对应的权重,进行加权平均,由此,计算试样面的高度。另外,还记载了使用2个高度的插值来计算试样面的高度。
在专利文献4中记载了如下的内容:在某时刻来自对象物的反射光入射到区域传感器的像素的情况下,根据从狭缝光的投射起点到受光透镜的主点位置的基线长度、反射光相对于基准方向的入射角、以及该时刻的偏转角度,应用三角计量来求出到对象物的距离。
在专利文献5中记载了如下的内容:在利用光切断法进行三维测量时使用帧编号(摄像时刻)作为狭缝光的照射角度信息。
在专利文献6中记载了如下的内容:在扫描点状光(スポット光)、的三维测量装置中使用各像素中的亮度变化的上升或下降定时。
现有技术文献
专利文献
专利文献1:日本特开2000-088539号公报
专利文献2:日本特表2018-516395号公报
专利文献3:日本专利第3542478号公报
专利文献4:日本特开2002-090681号公报
专利文献5:日本特开2006-333493号公报
专利文献6:日本特开2003-329419号公报
发明内容
发明要解决的课题
本发明鉴于现有的问题点,其目的在于提供一种使用基于事件的传感器高速且高精度的光扫描式三维测量技术。
用于解决课题的手段
本公开的一方式提供一种三维测量装置,具有:投光部,其一边扫描参照光一边向对象物投光;受光部,其接收由对象物反射的参照光,按像素监视参照光的亮度变化,在亮度变化为预先确定的阈值以上的情况下,将像素的位置、存在亮度变化的时刻以及表示亮度变化的方向的极性作为事件输出;以及三维信息计算部,其选择事件从正极性变化为负极性且包含指定个数的事件的事件组,根据事件组所包含的事件的时刻和事件产生的亮度变化的阈值来计算参照光通过像素的通过时刻,根据通过时刻通过三角计量来计算对象物的三维信息。
本公开的其他方式提供一种三维测量程序,使计算机执行以下步骤:一边扫描参照光一边向对象物投光的步骤;接收由对象物反射的参照光,按像素监视参照光的亮度变化,在亮度变化为预先确定的阈值以上的情况下,将像素的位置、存在亮度变化的时刻以及表示亮度变化的方向的极性作为事件输出的步骤;选择事件从正极性变化为负极性且包含指定个数的事件的事件组的步骤;根据事件组所包含的事件的时刻和事件产生的亮度变化的阈值来计算参照光通过像素的通过时刻的步骤;以及根据通过时刻通过三角计量来计算到对象物的距离的步骤。
发明效果
根据本公开的一方式,即使是事件的产生定时不固定的基于事件的传感器,也能够更准确地计算参照光通过像素的通过时刻。通过选择指定个数的事件,也能够缓和各个事件的时刻具有的误差的影响。另一方面,通过使用基于事件的传感器,与基于帧的传感器相比,能够高速地实施三维测量。进而,能够提供使用基于事件的传感器高速且高精度的光扫描式三维测量技术。
附图说明
图1是表示立体法的测量原理的立体照相机的俯视图。
图2是表示光切断法的测量原理的光切断系统的俯视图。
图3是一实施方式的三维测量装置的框图。
图4是表示因参照光的通过而产生的事件组的一例的亮度变化的曲线图。
图5是表示参照光的通过时刻的计算例的亮度变化的曲线图。
图6是表示参照光的通过所花费的时间的一例的亮度变化的曲线图。
图7是表示在指定时间内不存在的事件的一例的亮度变化的曲线图。
图8是表示三维测量装置的动作的一例的流程图。
具体实施方式
以下,参照附图对本公开的实施方式进行详细说明。在各附图中,对相同或类似的构成要素标注相同或类似的符号。另外,以下记载的实施方式并不限定请求专利保护技术方案的范围所记载的发明的技术范围以及用语的意义。
对本实施方式的三维测量装置的测量原理进行说明。为了容易理解,首先对立体法以及光切断法的测量原理进行说明。图1是表示立体法的测量原理的立体照相机1的俯视图。立体照相机1例如具有相当于2台照相机的左受光部2和右受光部3。左受光部2和右受光部3例如等位平行化地配置。即,使两个受光部相距基线长度B,将两个受光部的光轴平行地配置,在与两个光轴正交的面内配置左受光面4和右受光面5,将各受光面的x方向和y方向取向为同一方向。各受光面例如是将多个像素二维排列而成的图像传感器,但也可以是将多个像素一维排列(例如仅在x方向上排列)而成的线传感器等。
在此,若将显现存在于对象空间的对象物上的点P的像的左受光面4的像素的位置设为xl,将右受光面5的像素的位置设为xr,则左受光部2与右受光部3之间的视差为D=xl-xr。若将表示三维空间的XYZ坐标系的原点置于右焦点,将两个受光部的焦距分别设为f,将两个受光面的像素间间距分别设为1,则由下式求出到对象物上的点P的距离Z(到点P的深度。以下相同)。
[数学式1]
基线长度B和焦距f是由立体照相机1的设计决定的常数,因此,可知,如果能够通过图案匹配等图像处理检测与左受光面4的点P的像对应的右受光面5的点P的像,则求出视差D,求出到对象物的点P的距离Z。
光切断系统例如将立体照相机1的左受光部2置换为投光部。图2是表示光切断法的测量原理的光切断系统6的俯视图。光切断系统6例如具有相当于投影仪的投光部7。投光部7一边扫描带状的狭缝光一边向对象物投光,右受光部3接收从对象物反射的狭缝光。在此,投光起点(旋转中心)位于立体照相机1中的左焦点的位置,若将立体照相机1中的距左光轴的投射角度设为θ,则投光部7的虚拟的左受光面4的像素的位置xl由下述式求出。
[数学式2]
xl=ftanθ…式2
另外,若投光部7绕与XZ平面垂直的Y轴从投光起点以等角速度ω旋转照射带状的狭缝光,狭缝光在时刻t0通过左光轴,在时刻t时以投射角度θ投光到对象物的点P,则投射角度θ由下述式求出。
[数学式3]
θ=ω(t-t0)…式3
因此,若在右受光面5的像素的位置xr接收狭缝光的点P处的反射光,则如下述式所示,如果将式2、式3代入式1,则求出到对象物的点P的距离Z。
[数学式4]
基线长度B、焦距f、角速度ω以及时刻t0是由光切断系统6的设计决定的常数,因此,可知,若求出显现狭缝光的像的右受光面5的像素的位置xr和检测出该狭缝光的像的时刻t,则求出到对象物的点P的距离Z。
本实施方式的三维测量装置利用这样的光切断法的结构和测量原理。但是,上述的结构以及测量原理是一例,请注意能够根据系统结构、布局等的设计适当地进行设计变更。例如,既可以不使投光部7以及右受光部3等位平行化而进行布局,另外,也可以不将左受光部2置换为投光部7,而采用在左受光部2以及右受光部3之外还准备投光部7并将立体法和光切断法组合的系统结构。并且,也可以采用并非带状的狭缝光,而是将光束状的点状光块检查状的图案光投光到对象物的投光部7。请注意根据这样的设计变更,三维信息的计算方法也变化。
以下,对本实施方式的三维测量装置的结构进行说明。图3是三维测量装置8的框图。虽未图示,但三维测量装置8例如具有具备处理器、存储器、输入输出部等的计算机装置。处理器例如具有CPU(central processing unit),存储器例如具有RAM(random accessmemory)、ROM(read only memory)等,输入输出部输入或输出由处理器利用或生成的各种数据。存储器例如存储由处理器执行的程序、由处理器利用或生成的各种数据。
三维测量装置8具有:投光部7、受光部3以及三维信息计算部9。投光部7例如相当于投影仪,受光部3例如相当于照相机,三维信息计算部9例如相当于处理器。假设投光部7与受光部3的时刻同步。投光部7一边扫描参照光一边向对象物W投光,受光部3接收由对象物W反射的参照光,三维信息计算部9根据从受光部3输出的信息,通过三角计量来计算对象物W的三维信息。请注意作为参照光,能够使用狭缝光、点状光、图案光等各种光。
受光部3具有基于事件的传感器。受光部3的传感器例如是将多个像素二维排列而成的图像传感器,但也可以是将多个像素一维排列而成的线传感器。受光部3独立且非同步地时时刻刻监视各像素,当检测到预先确定的阈值以上的亮度变化时,将存在亮度变化的像素的位置、存在亮度变化的时刻、表示亮度变化的方向的极性(变亮(正极性)或变暗(负极性))等作为事件按像素输出。在对象物W的背景的亮度不变化,也没有受光部3的噪声的情况下,在某个像素输出了事件时参照光通过了该像素上的可能性高。因此,三维信息计算部9根据从受光部3输出的事件来计算对象物W的三维信息。
图4是表示因参照光的通过而产生的事件组的一例的亮度变化的曲线图。参照光具有某种程度的宽度,具有中心附近最大的亮度分布。在着眼于传感器的某个像素的情况下,当具有这样的亮度分布的参照光通过该像素时,随着参照光的中心接近该像素,亮度上升,当通过结束时,亮度下降。当基于事件的传感器的像素检测到这样的亮度变化时,期待伴随亮度的上升而产生1次或多次正极性的事件,伴随亮度的下降而产生1次或多次负极性的事件。参照光通过该像素的时刻是该像素取最大亮度时,但事件不具有亮度本身,一般在以前次事件产生时的亮度为基准,从此处开始亮度变化为预先确定的阈值以上时产生,因此,事件的产生定时未必为最大亮度时。在三维测量的实用上不一定需要是最大亮度的时刻,只要相对于参照光的亮度分布捕捉相同的定时即可,但根据背景的明亮度,不知道在参照光的亮度分布的第几个边界附近产生事件,产生事件的时间间隔不固定。因此,在基于事件的传感器中,无法准确地检测参照光通过该像素的时刻,因此,即使将基于事件的传感器直接应用于光切断法,也无法得到充分的测距精度。
因此,再次参照图3,三维信息计算部9具有:事件选择部10、通过时刻计算部11以及距离计算部12。需要注意的是,三维信息计算部9具有的“~部”是指例如通过由处理器执行的程序来实现的功能模块。事件选择部10选择事件从正极性变化为负极性且包含指定个数的事件的事件组,通过时刻计算部11根据事件组所包含的事件的时刻和事件产生的亮度变化的阈值来计算参照光通过像素的通过时刻,距离计算部12根据通过时刻通过三角计量来计算到对象物W的距离。
三维测量装置8还可以具有指定个数取得部13。指定个数取得部13例如相当于用户接口(UI)、存储器、或者能够与外部装置进行通信的通信部等。指定个数取得部13取得由用户指定的事件的个数(指定个数)。指定个数取得部13向事件选择部10送出指定个数。
事件选择部10从指定个数取得部13取得指定个数。在指定个数例如为两个的情况下,事件选择部10选择包含正极性和负极性的至少两个事件的事件组。但是,为了更准确地计算参照光的通过时刻,事件选择部10选择包含至少三个事件的事件组即可。在指定个数例如为三个的情况下,例如如图4所示,事件选择部10选择包含两个正极性的事件EP1、EP2和一个负极性的事件EN1的事件组。或者,也可以选择包含一个正极性的事件和两个负极性的事件的事件组。在指定个数为三个的情况下,与选择多于三个的事件的情况相比,能够减少计算量。
此外,若与对象物W的反射率、距离对应地,参照光的强度变得过弱,或者参照光的宽度相对于像素尺寸变得过窄,或者参照光的扫描速度变得过快,则存在尽管实际上参照光通过像素,但传感器无法检测亮度变化而不产生事件的可能性。在这样的情况下,事件选择部10无法选择指定个数的事件,导致错过参照光的通过。因此,为了得到指定个数的事件,三维测量装置8与传感器的灵敏度、像素尺寸、事件检测率(rate)等对应地预先调整参照光的强度、参照光的宽度、参照光的扫描速度、亮度变化的阈值等。
例如,如图4所示,通过时刻计算部11根据事件组中包含的事件EP1、EP2和EN1的时间t1、t2和t3以及事件EP1、EP2和EN1产生的亮度变化的阈值来计算参照光通过像素的通过时刻。事件产生的亮度变化的阈值例如能够设为上次事件产生时的亮度的20%。该情况下,可以将正极性的亮度变化的阈值确定为K1(K1>1,例如K1=1.2),将负极性的亮度变化的阈值确定为K2(K2<1,例如K2=0.8)。
图5是表示参照光的通过时刻的计算例的亮度变化的曲线图。通过时刻计算部11例如使用插值、加权平均等来计算参照光通过像素的时刻,即参照光的亮度分布的顶点的时刻t。在进行插值或加权平均时,例如将事件组中第一个事件的亮度设为100,之后,如果产生了正极性的事件,则将上次事件的亮度设为阈值K1倍,如果产生了负极性的事件,则将上次事件的亮度设为阈值K2倍即可。例如,在图5所示的例子中,将第一个事件EP1的亮度设为100,将第二个事件EP2的亮度设为100×1.2=120,将第三个事件EN1的亮度设为120×0.8=96。可以利用该亮度信息进行插值或加权平均。
作为插值,例如能够使用多项式插值(拉格朗日插值等)、样条插值、线性插值等。在图5所示的例子中,选择出的事件的个数为三个,因此,可以通过被认为计算量比较少且精度也良好的线性插值,例如等角直线拟合来计算。在图5所示的例子中,直线L1是通过两个正极性的事件EP1、EP2的直线,直线L2是具有将直线L1的斜率的符号反转后的斜率且通过一个负极性的事件EN1的直线。直线L1与直线L2的交点的时刻成为参照光的亮度分布的顶点的时刻t,即参照光的通过时刻。另外,虽然未图示,但例如也可以使用抛物线拟合等多项式插值。
另一方面,在使用加权平均的情况下,可以将事件的亮度作为权重来计算参照光的亮度分布的顶点的时刻t,即参照光的通过时刻。在图5所示的例子中,例如可以将选择出的三个事件EP1、EP2以及EN1的权重分别设为100、120以及96来进行加权平均。基于加权平均的参照光的通过时刻t的计算式例如如下述那样。
[数学式5]
通过如以上那样使用插值、加权平均等来计算参照光的通过时刻t,即使是事件的产生定时不固定的基于事件的传感器,也能够更准确地计算参照光的通过时刻t。另外,通过选择指定个数N的事件,各个事件的时刻具有的误差的影响也能够缓和到1/√N。
再次参照图3,距离计算部12将参照光的通过时刻t代入例如式4,计算到在像素中显现的对象物W上的点P的距离Z。如图2所示,距离Z是距连结投光部7的投光起点与受光部3的焦点的基线的深度,但也可以转换为XYZ坐标系的三维坐标。
由三维信息计算部9计算出的三维信息被输出到三维测量装置8的外部。三维信息例如由机器人控制装置、车辆控制装置等外部装置20利用。根据使用基于事件的传感器高速且高精度地计算出的三维信息,外部装置20例如能够进行位置控制、速度控制、加速度控制等。
根据以上的实施方式,能够更准确地计算参照光的通过时刻t。另一方面,通过使用基于事件的传感器,与基于帧的传感器相比,能够高速地实施三维测量。进而,能够提供使用基于事件的传感器高速且高精度的光扫描式三维测量技术。但是,选择出的事件原本就并非是因参照光的通过而产生的事件,例如也可能是因外部光的变化、对象物的移动、多重反射的参照光、受光部的噪声这样的其他原因而产生的事件。
因此,三维测量装置8还可以具有指定时间取得部14。指定时间取得部14例如相当于UI、存储器、或者能够与外部装置进行通信的通信部等。指定时间取得部14取得由用户指定的参照光的通过时间(指定时间)。指定时间取得部14向事件选择部10送出指定时间。
图6是表示参照光的通过所花费的时间的一例的亮度变化的曲线图。参照光通过某个像素上所花费的时间取决于根据三维测量装置8的规格而确定的、参照光的扫描速度、参照光的宽度、受光部的视角、到在像素中显现的对象物的距离等。因此,例如可以用参照光扫描对象物,按像素测量参照光的通过时间,根据最耗时的参照光的通过时间,指定被认为不会更耗时的指定时间。即,指定时间可以以比参照光通过像素所花费的最长时间长的时间来指定。
再次参照图3,事件选择部10从指定时间取得部14取得指定时间。事件选择部10在所取得的指定时间内,选择事件从正极性变化为负极性且包含指定个数的事件的事件组。图7是表示在指定时间内不存在的事件的一例的亮度变化的曲线图。在图7所示的例子中,描绘了事件从正极性变化为负极性且包含指定个数为三个的事件EP1、EP2、EN1的事件组。
但是,事件EP1不存在于指定时间内,在时间上远离其他事件EP2、EN1。这样的情况下,事件EP1并非因参照光的通过而产生,而是因外部光的变化、对象物的移动、多重反射的参照光、受光部的噪声这样的其他原因而产生的噪声事件的可能性高。这样,优选不选择时间极端远离的事件EP1。因此,根据指定时间,事件选择部10不选择噪声事件,因此,也作为去除噪声事件的滤波器发挥功能。
另外,外部光的变化、对象物的移动、多重反射的参照光、受光部3的噪声等所引起的亮度变化一般与由对象物直接反射来的参照光引起的亮度变化相比,亮度的上升量小。因此,事件选择部10也可以在应选择的事件组有多个的情况下,计算与亮度的上升量相当的等级(rank),选择等级最大的事件组。等级表示参照光的亮度分布的顶点的高度,因此,可以在从正极性反转为负极性的定时计算等级。另外,在正极性和负极性的亮度变化的阈值相同的情况下,仅增加(increment)(加分)正极性的事件的数量,减少(decrement)(减分)负极性的事件的数量即可。例如在产生了正→正→正→负→负→负这样的事件之后,因噪声事件而产生了正→负这样的事件的情况下,第一个顶点的等级为3,第二个顶点的等级为3-3+1=1,因此,事件选择部10选择等级为3的第一个事件组。或者,也可以不减少(减分)负极性的事件的数量,而在产生负极性的事件后返回到初始值0。
并且,在将正极性的亮度变化的阈值设为K1(K1>1),将负极性的亮度变化的阈值设为K2(K2<1),正极性的亮度变化的阈值与负极性的亮度变化的阈值不同的情况下(K1≠K2),事件选择部10也可以将K1乘以(加分)正极性的事件的数量,将K2乘以(减分)负极性的事件的数量。例如在K1为1.2,K2=0.6,产生了正→正→正→负→负→负这样的事件之后,因噪声事件而产生了正→负这样的事件的情况下,第一个顶点的等级为1.2×1.2×1.2=1.728,第二个顶点的等级为1.2×1.2×1.2×0.6×0.6×0.6×1.2≈0.447,因此,事件选择部10选择等级为1.728的第一个事件组。或者,也可以不将K2(K2<1)乘以(减分)负极性的事件的数量,而是在产生了负极性的事件后返回到初始值1。
图8是表示三维测量装置8的动作的一例的流程图。请注意该流程图例如由三维测量装置8的处理器执行。在步骤S10中,取得由用户指定的事件的个数(指定个数)。在步骤S11中,取得由用户指定的参照光的通过时间(指定时间)。在步骤S12中,开始投光扫描。
在步骤S13中,选择事件从正极性变化为负极性且包含指定个数的事件的事件组。此时,通过选择在指定时间内存在的事件组,不选择噪声事件。另外,在存在多个应选择的事件组的情况下,计算与亮度的上升量相当的等级,即使选择等级最大的事件组,也不选择噪声事件。
在步骤S14中,根据选择出的事件组中包含的事件的时刻和亮度变化的阈值,计算参照光通过像素的通过时刻。此时,可以使用插值、加权平均等来计算参照光的亮度分布的顶点的时刻t。
在步骤S15中,将参照光的通过时刻代入例如式4,通过三角计量计算到对象物的距离。此时,距离也可以转换为三维坐标而非深度。在步骤S16中,将计算出的对象物的三维信息向外部输出。
此外,步骤S10~步骤S11是三维测量的前处理,因此,也可以在三维测量装置8的设置时、校正时等进行,步骤S12~步骤S16在三维测量装置8的测量时进行。因此,这些步骤可以作为单独的程序来实现,而不是连续处理。另外,请注意在将图2所示的三维测量装置8和外部装置20安装于相同的装置的情况下,不需要步骤S16。
请注意三维测量装置8的上述结构以及动作是一例,也能够采用其他结构。例如,三维测量装置8也可以不具有执行程序的处理器,而具有不执行程序的集成电路(例如FPGA(field-programmable gate array)、ASIC(application specific integrated circuit)等)。该情况下,图2所示的三维信息计算部9具有的“~部”被安装为构成该集成电路的部分(section)。
根据以上的实施方式,即使是事件的产生定时不固定的基于事件的传感器,也能够更准确地计算参照光通过像素的通过时刻。另外,通过选择指定个数N的事件,各个事件的时刻具有的误差的影响也能够缓和到1/√N。另一方面,通过使用基于事件的传感器,与基于帧的传感器相比,能够高速地实施三维测量。进而,能够提供使用基于事件的传感器高速且高精度的光扫描式三维测量技术。
另外,通过使用基于事件的传感器,按受光部3的像素计算距离,因此,能够生成密集的距离图像。另外,事件处理按像素独立,因此,还能够得到能够并行化且不受受光部的像素的个体差异的影响这样的次要效果。
此外,请注意由所述的处理器执行的程序可以记录在计算机可读取的非暂时性记录介质,例如CD-ROM等中来提供,或者也可以经由有线或无线从WAN(wide area network)或LAN(local area network)上的服务器装置发布来提供。
在本说明书中针对各种实施方式进行了说明,但本发明并不限定于所述的实施方式,希望认识到能够在请求专利保护技术方案所记载的范围内进行各种变更。
符号说明
1 立体照相机
2 左受光部
3右受光部(受光部)
4左受光面
5右受光面(受光面)
6 光切断系统
7 投光部
8 三维测量装置
9 三维信息计算部
10 事件选择部
11 通过时刻计算部
12 距离计算部
13 指定个数取得部
14 指定时间取得部
20 外部装置
B 基线长度
D 视差
EP1、EP2正极性的事件
EN1 负极性的事件
f 焦距
K1、K2阈值
L1、L2直线
P对象物上的点
t1、t2、t3事件的时刻
W对象物
Z到对象物的点P的距离
θ投射角度。

Claims (6)

1.一种三维测量装置,其特征在于,具有:
投光部,其一边扫描参照光一边向对象物投光;
受光部,其接收由所述对象物反射的所述参照光,按像素监视所述参照光的亮度变化,在所述亮度变化为预先确定的阈值以上的情况下,将所述像素的位置、存在所述亮度变化的时刻以及表示亮度变化的方向的极性作为事件输出;以及
三维信息计算部,其选择所述事件从正极性变化为负极性且包含指定个数的所述事件的事件组,根据所述事件组所包含的所述事件的所述时刻和产生所述事件的所述亮度变化的所述阈值来计算所述参照光通过所述像素的通过时刻,根据所述通过时刻,通过三角计量来计算所述对象物的三维信息。
2.根据权利要求1所述的三维测量装置,其特征在于,
所述三维信息计算部选择包含至少三个所述事件的所述事件组。
3.根据权利要求1或2所述的三维测量装置,其特征在于,
所述三维信息计算部选择在指定时间内所述事件从所述正极性变化为所述负极性且包含所述指定个数的所述事件的所述事件组。
4.根据权利要求1~3中任一项所述的三维测量装置,其特征在于,
所述三维信息计算部在应选择的所述事件组有多个的情况下,计算与亮度的上升量相当的等级,选择所述等级最大的所述事件组。
5.根据权利要求4所述的三维测量装置,其特征在于,
所述三维信息计算部通过根据所述事件组所包含的所述正极性的所述事件的数量进行加分来计算所述等级。
6.一种三维测量程序,其特征在于,
使计算机执行以下步骤:
一边扫描参照光一边向对象物投光的步骤;
接收由所述对象物反射的所述参照光,按像素监视所述参照光的亮度变化,在所述亮度变化为预先确定的阈值以上的情况下,将所述像素的位置、存在所述亮度变化的时刻以及表示亮度变化的方向的极性作为事件输出的步骤;
选择所述事件从正极性变化为负极性且包含指定个数的所述事件的事件组的步骤;
根据所述事件组所包含的所述事件的所述时刻和产生所述事件的所述亮度变化的所述阈值,计算所述参照光通过所述像素的通过时刻的步骤;以及
根据所述通过时刻,通过三角计量计算到所述对象物的距离的步骤。
CN202180076984.XA 2020-11-25 2021-11-18 三维测量装置以及三维测量程序 Pending CN116457629A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020195178 2020-11-25
JP2020-195178 2020-11-25
PCT/JP2021/042439 WO2022113877A1 (ja) 2020-11-25 2021-11-18 三次元計測装置及び三次元計測プログラム

Publications (1)

Publication Number Publication Date
CN116457629A true CN116457629A (zh) 2023-07-18

Family

ID=81754560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180076984.XA Pending CN116457629A (zh) 2020-11-25 2021-11-18 三维测量装置以及三维测量程序

Country Status (5)

Country Link
US (1) US20230345142A1 (zh)
JP (1) JPWO2022113877A1 (zh)
CN (1) CN116457629A (zh)
DE (1) DE112021004600T5 (zh)
WO (1) WO2022113877A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3705554A (en) 1970-08-26 1972-12-12 Standard Alliance Ind Trolley retarder for power and free conveyors
JP2000088539A (ja) 1998-09-11 2000-03-31 Minolta Co Ltd 3次元入力方法及び3次元入力装置
JP2000171223A (ja) * 1998-12-08 2000-06-23 Minolta Co Ltd 3次元入力装置
JP2002090681A (ja) 2000-09-14 2002-03-27 Minolta Co Ltd 光学走査装置および3次元測定装置
JP4466612B2 (ja) 2001-09-20 2010-05-26 ソニー株式会社 固体撮像装置及びその制御方法
JP2003329419A (ja) 2002-05-16 2003-11-19 Mitsubishi Electric Corp 形状測定装置
JP5960279B2 (ja) * 2011-12-19 2016-08-02 ウニヴェルズィテート チューリッヒ サンプル抽出された輝度の検知と時間依存性の画像データの非同期検出との同時実施などのためのフォトアレイ
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
FR3033973A1 (fr) 2015-03-16 2016-09-23 Univ Pierre Et Marie Curie Paris 6 Procede de reconstruction 3d d'une scene
CN111164395B (zh) * 2017-12-21 2022-08-09 索尼半导体解决方案公司 光谱成像设备和方法
CN109458928B (zh) * 2018-10-29 2020-12-25 西安知微传感技术有限公司 基于扫描振镜和事件相机激光线扫描3d检测方法及系统

Also Published As

Publication number Publication date
JPWO2022113877A1 (zh) 2022-06-02
DE112021004600T5 (de) 2023-06-29
WO2022113877A1 (ja) 2022-06-02
US20230345142A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US10698308B2 (en) Ranging method, automatic focusing method and device
US9142025B2 (en) Method and apparatus for obtaining depth information using optical pattern
CN108370406B (zh) 摄像装置
JP6363863B2 (ja) 情報処理装置および情報処理方法
KR102166691B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
EP2654289B1 (en) Ranging apparatus and ranging method
JP2013185832A (ja) 情報処理装置、情報処理方法
JP6091318B2 (ja) 測距装置およびその制御方法
EP3951314A1 (en) Three-dimensional measurement system and three-dimensional measurement method
US20230296373A1 (en) Three-dimensional measurement device
CN115390087A (zh) 一种激光线扫描三维成像系统及方法
US20160381342A1 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
JP2006258582A (ja) 画像入力装置および画像入力方法
US11277569B2 (en) Measurement apparatus, image capturing apparatus, control method, and recording medium
JP2017134561A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2017049412A (ja) 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP6642998B2 (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
EP3121588A1 (en) Optical characteristic measuring apparatus
JP6456084B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN116457629A (zh) 三维测量装置以及三维测量程序
JP6362058B2 (ja) 被検物の計測装置および物品の製造方法
US11736816B2 (en) Image sensor circuitry for reducing effects of laser speckles
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
WO2014073590A1 (ja) 3次元計測装置および3次元計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination