CN115552280A - 物体检测系统以及物体检测方法 - Google Patents

物体检测系统以及物体检测方法 Download PDF

Info

Publication number
CN115552280A
CN115552280A CN202180034295.2A CN202180034295A CN115552280A CN 115552280 A CN115552280 A CN 115552280A CN 202180034295 A CN202180034295 A CN 202180034295A CN 115552280 A CN115552280 A CN 115552280A
Authority
CN
China
Prior art keywords
distance
object information
unit
optical sensor
sections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180034295.2A
Other languages
English (en)
Inventor
汤浅佑亮
斋藤繁
香山信三
广濑裕
小田川明弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115552280A publication Critical patent/CN115552280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物体检测系统(200)具备：发光部(1)；光传感器(2)；控制部(101a)；以及信号处理部(101b)，控制部(101a)以使针对多个距离区间的每一个的距离区间信号从光传感器(2)输出的方式，来控制发光部(1)以及光传感器(2)，信号处理部(101b)具备：对象物信息生成部(102)，对象物信息生成部(102)具有可并行工作的多个生成部(第1生成部(102a)至第5生成部(102e))，并且，针对多个距离区间，分别生成示出对象物的特征的对象物信息；以及存储部(103)，存储对象物信息，对象物信息生成部(102)对被存储在存储部(103)的过去的对象物信息、与由光传感器(2)检测到的当前的对象物的特征进行比较，来生成对象物信息。

Description

物体检测系统以及物体检测方法
技术领域
本公开涉及物体检测系统以及物体检测方法，更详细而言，涉及对与到对象物的距离有关的信息进行处理的物体检测系统以及物体检测方法。
背景技术
专利文献1公开了一种图像监视装置，该图像监视装置在由摄像装置取得的一系列的图像数据中，对摄像视野内的侵入物体以及移动物体进行检测，并记录包括这些物体的一系列的图像数据。该图像监视装置具备：摄像单元，对监视区域进行拍摄，并输入被量化的图像数据；输入图像存储单元，存储所述图像数据；基准图像存储单元，存储监视区域的背景图像；差分运算单元，对输入图像和基准图像的差分图像进行输出；移动物体检测单元，针对所述差分图像，通过与1帧之前的物体位置进行比较，来检测移动物体，同时以输入图像的值来更新除了移动物体之外的区域的像素；以及显示单元，对输入图像进行显示，并通知移动物体的检测结果。
专利文献2公开了一种持续高精度追踪的信息处理装置。该信息处理装置具备：获取部，获得多个时刻中的与物体的纵向上的位置、横向上的位置、以及深度方向上的位置建立了对应的信息；预测部，根据由所述获取部过去获得的所述信息中的所述规定的物体的位置，来预测由所述获取部这次获得的所述信息中的所述规定的物体的位置；以及抽取部，从这次的所述信息中，对满足与所述规定的物体的位置对应的规定条件的多个物体进行抽取，并根据所述多个物体的各图像与所述规定的物体图像的相似度，从这次的所述信息中的所述多个物体中，对与过去的所述信息中的所述规定的物体相同的物体进行抽取。
现有技术文献
专利文献
专利文献1：日本专利第3423624号公报
专利文献2：日本特开2018-88233号公报
发明内容
发明要解决的课题
本公开的目的在于提供一种快速检测物体的物体检测系统以及物体检测方法。
用于解决课题的手段
为了达到上述目的，本公开的一个形态中的物体检测系统具备：射出光的发光部；光传感器，接受所述光在对象空间的可测距范围内被反射的反射光；控制部，对所述发光部以及所述光传感器进行控制；以及信号处理部，对在所述光传感器生成的电信号所示的信息进行处理，所述控制部，针对对所述可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从所述光传感器输出的方式，来控制所述发光部以及所述光传感器，所述距离区间信号是所述光传感器包括的多个像素之中的来自接受了所述光的像素的信号，所述信号处理部具备：对象物信息生成部，具有可并行工作的多个生成部，并且，根据从所述光传感器输出的所述距离区间信号，针对所述多个距离区间，分别生成示出由所述光传感器检测到的对象物的特征的对象物信息；存储部，存储由所述对象物信息生成部生成的与所述多个距离区间的每一个对应的所述对象物信息；以及输出部，对与所述多个距离区间的每一个对应的所述对象物信息进行输出，所述对象物信息生成部，针对所述多个距离区间的每一个，通过对被存储在所述存储部的过去的所述对象物信息、与由所述光传感器检测到的当前的所述对象物的特征进行比较，来生成所述对象物信息。
为了达到上述目的，本公开的一个形态中的物体检测方法由物体检测系统执行，所述物体检测系统具备射出光的发光部以及接受所述光在对象空间的可测距范围内被反射的反射光的光传感器，所述物体检测方法包括：控制步骤，对所述发光部以及所述光传感器进行控制；以及信号处理步骤，对在所述光传感器生成的电信号所示的信息进行处理，在所述控制步骤中，针对对所述可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从所述光传感器输出的方式，来控制所述发光部以及所述光传感器，所述距离区间信号是所述光传感器包括的多个像素之中的来自接受了所述光的像素的信号，在所述信号处理步骤中包括：对象物信息生成子步骤，由可并行工作的多个生成部根据从所述光传感器输出的所述距离区间信号，针对所述多个距离区间，来分别生成示出由所述光传感器检测到的对象物的特征的对象物信息；存储子步骤，将在所述对象物信息生成子步骤生成的与所述多个距离区间的每一个对应的所述对象物信息存储在存储部；以及输出子步骤，对与所述多个距离区间的每一个对应的所述对象物信息进行输出，在所述对象物信息生成子步骤中，针对所述多个距离区间的每一个，通过对被存储在所述存储部的过去的对象物信息、与由所述光传感器检测到的当前的对象物的特征进行比较，来生成所述对象物信息。
发明的效果
本公开中的物体检测系统以及物体检测方法能够快速检测物体。
附图说明
图1示出了实施方式中的物体检测系统的构成。
图2是示出由实施方式中的物体检测系统来对到对象物的距离进行测量的测量方法的概略的图。
图3A示出了实施方式中的物体检测系统包括的信息处理系统的构成。
图3B是示出本实施方式中的物体检测系统包括的信息处理系统的处理的定时图。
图4是示出实施方式中的物体检测系统的对象物信息生成部进行的处理流程的流程图。
图5说明了由实施方式中的物体检测系统的对象物信息生成部进行的距离区间图像生成处理的一个例子。
图6说明了由实施方式中的物体检测系统的对象物信息生成部进行的速度生成处理。
图7说明了由实施方式中的物体检测系统的对象物信息生成部生成而得到的对象物信息的一个例子。
图8说明了由实施方式中的物体检测系统的对象物信息生成部进行的测距设定变更的一个例子。
图9A说明了实施方式中的物体检测系统的提示部所显示的图像的一个例子。
图9B说明了由实施方式中的物体检测系统的对象物信息生成部利用了亮度图像对物体的中心坐标进行的校正。
图9C说明了由实施方式中的物体检测系统的对象物信息生成部，利用多个距离区间的距离区间信号来算出物体的深度距离的计算方法。
图10是示出在实施方式中的物体检测系统内的处理顺序的一个例子的定时图。
图11说明了由实施方式的变形例中的对象物信息生成部来测距的一个例子。
具体实施方式
以下，参照附图对实施方式进行详细的说明。但是，有时会省略不必要的详细说明。例如省略对众所周知的事项的详细说明或对实质上相同的结构的重复说明。这是为了避免让说明变得过分冗长，而便于本领域技术人员的理解。
另外，附图以及以下的说明是为了使本领域技术人员充分理解本公开而提供的，并没有因此而对权利要求的范围所记载的内容加以限制的意图。
以下，利用图1至图11对实施方式进行说明。
[1.构成]
[1-1.物体检测系统的构成]
图1示出了实施方式所涉及的物体检测系统200的构成。另外，图1对经由信道与物体检测系统200连接的外部装置5也进行了图示。如图1所示，物体检测系统200具备信息处理系统100、发光部1、光传感器2、以及提示部4。物体检测系统200是针对多个距离区间的每一个，利用直接TOF(Time of Flight：飞行时间)方式来检测物体的系统。外部装置5是半导体存储器等存储装置、计算机装置、以及显示器等。
发光部1具备用于在控制部101a的控制下，对对象物射出测量光的光源。测量光是脉冲形状的光。在利用TOF方式的距离测量中，测量光最好是为单一波长、脉冲宽度较短、峰值强度较高的光。并且，考虑到是在市区街道等地方利用物体检测系统200(严谨来说，是光传感器2)，测量光的波长最好是人眼可见度低、且在不容易受来自太阳光的环境光影响的近红外光波段的波长带。在本实施方式中，光源例如由激光二极管构成，并输出脉冲激光。光源所输出的脉冲激光的强度达到了激光产品的安全标准(JIS C 6802)中的级别1或级别2的标准。另外，光源不受上述构成所限，也可以是发光二极管(LED：Light EmittingDiode)、垂直腔面发射激光器(VCSEL：Vertical Cavity Surface Emitting LASER)、以及卤素灯等。并且，测量光也可以是在与近红外光波段不同的波长带。
光传感器2是接受测量光在对象空间的可测距范围内被反射的反射光的传感器，并具备包括多个像素的像素部。在各像素配置有雪崩光电二极管。也可以在各像素配置其他的光检测元件。在此，各像素被构成为，能够在控制部101a的控制下，在接受反射光的曝光状态和不接受反射光的非曝光状态之间进行切换。光传感器2输出基于在曝光状态下的各像素接受的反射光的电荷。
信息处理系统100具备对发光部1和光传感器2进行控制的控制部101a、以及对在光传感器2生成的电信号所示的信息进行处理的信号处理部101b。控制部101a针对对可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从光传感器2输出的方式，来控制发光部1以及光传感器2(即，执行控制步骤)，所述距离区间信号是光传感器2包括的多个像素之中的来自接受了光的像素的信号。
信号处理部101b对在光传感器2生成的电信号所示的信息进行处理(即，执行信号处理步骤)。因此，信号处理部101b具备：对象物信息生成部102，该对象物信息生成部102具有可并行处理的多个生成部(第1生成部至第5生成部)，所述可并行处理的多个生成部根据从光传感器2输出的距离区间信号，来生成示出多个距离区间的每一个中的由光传感器2检测到的对象物的特征的对象物信息(即，执行对象物信息生成子步骤)；合成图像生成部104，根据从光传感器2输出的与多个距离区间对应的多个距离区间信号，来生成合成图像(即，执行合成图像生成子步骤)；存储部103，存储由对象物信息生成部102生成的与多个距离区间的每一个对应的对象物信息(即，执行存储子步骤)；以及输出部105，将与多个距离区间的每一个对应的对象物信息以及合成图像输出到外部装置5。对象物信息生成部102针对多个距离区间的每一个，通过对被存储在存储部103的过去的对象物信息、与由光传感器2检测到的当前的对象物的特征进行比较，来生成对象物信息。
在物体检测系统200中，针对各距离区间，进行一次以上的由测量光的发光以及光传感器2的各像素的曝光工作构成的受光，各像素对与在受光工作中接受了光的次数相应的电信号进行输出。对进行受光工作的次数(受光次数)，并没有特别的限定，在一个例子中，可以是50次左右。
[1-2.距离测量的概要]
图2是示出由实施方式所涉及的物体检测系统来对到对象物的距离进行测量的测量方法的概略的图。
如图1所示，从发光部1射出的测量光，在对象物处被反射，物体检测系统200利用该被反射的光来测量到对象物的距离，物体检测系统200例如能够用于搭载在车辆上对障碍物进行检测的车载物体检测系统、对物体或人等进行检测的监视摄像头、以及安防摄像头等。
物体检测系统200对到存在于对象空间的可测距范围FR的对象物的距离进行测量。可测距范围FR是在控制部101a的控制下，根据从发光部1射出测量光开始直到光传感器2进行最后的曝光工作为止的时间(设定时间)而被决定的。虽然对可测距范围FR没有特别的限定，但可以将数十厘米至数十米来作为一个例子。在物体检测系统200中，可测距范围FR可以是固定的，但也可以设定为能够变动。在此设定为能够变动。
更详细而言，对象物信息生成部102针对可测距范围FR内的一个以上(在此以5个为例)的距离区间也就是距离区间R1至R5的每一个判断是否存在对象物。并且，对象物信息生成部102针对判断为存在有对象物的距离区间，生成作为与该对象物的特征量有关的信息的对象物信息。多个距离区间R1至R5是根据从发光部1射出测量光的时刻开始经过时间的不同，来对可测距范围FR进行剪切而得到的区间。也就是说，可测距范围FR由多个距离区间R1至R5构成。在此，虽然将多个距离区间R1至R5设定为相同的长度，但并没有特别的限定，作为一个例子，也可以将多个距离区间R1至R5的每一个设定为数十厘米至数十米。另外，多个距离区间R1至R5没有必要必须设定为相同的长度，对距离区间的数量也没有特别的限定。关于距离区间的数量，典型来说，能够从1至15之中选择。进一步，对距离区间之间的间隔也没有特别的限定。例如可以设定为，将某个距离区间与其相邻的距离区间之间空出数米，并且不对该间隔进行测距，也可以设定为，使数个距离区间的一部分重叠。在此，作为示例，设定为距离区间之间没有间隔，并且也不重叠。
控制部101a例如在如下时刻对发光部1以及光传感器2进行控制，以使光传感器2的像素开始曝光，所述时刻是指，在从发光部1射出测量光开始直到经过了与如下距离的2倍相对应的时间的时刻，所述距离是指，物体检测系统200到多个距离区间R1至R5中的成为目标对象的距离区间的最近点的距离。并且，控制部101a在与到该距离区间的最远点的距离的两倍所对应的时间的经过时刻，对光传感器2进行控制，以使光传感器2的像素结束曝光(结束曝光工作)。若像这样使光传感器2工作，则在成为目标对象的距离区间内存在对象物的情况下，在光传感器2的多个像素中，由如下的区域的像素来接受光，所述区域是与对象物在垂直于物体检测系统200的光轴的平面内所处的位置对应的区域。据此，对象物信息生成部102能够得到成为目标对象的距离区间中，与是否存在对象物以及对象物的二维位置有关的信息。并且，对象物信息生成部102针对多个像素的每一个，通过根据是否接受了光，来分配“1”或“0”这样的值，从而生成二值图像(距离区间图像)，所述二值图像示出了作为目标对象的距离区间中的对象物所在的二维位置。
另外，控制部101a也可以在各距离区间的测量中，多次进行由测量光的发光以及光传感器2的各像素的曝光工作构成的受光。在这种情况下，若各像素接受光的次数(受光次数)超过了阈值，则可以判断为与该像素对应的位置上有对象物。通过进行多次受光工作，能够减少噪声等的影响。
对象物信息生成部102通过针对多个距离区间R1至R5的每一个进行上述的工作，从而能够对在各距离区间中是否存在对象物进行判断，并获得对象物信息。
利用图2的例子，对上述物体检测系统200的工作进行更详细的说明。在图2的例子中，多个距离区间R1至R5的每一个都存在对象物。在距离区间R1中，存在作为对象物的树木，在距离区间R2中，存在作为对象物的电线杆，在距离区间R3中，存在作为对象物的人，在距离区间R4中，存在作为对象物的树木，在距离区间R5中，存在作为对象物的栅栏。以下为了方便，将从物体检测系统200到距离区间R1的距离设定为D0，将距离区间R1至R5的长度分别设定为D1至D5。另外，从物体检测系统200到距离区间R1的最远点的距离相当于D0加D1。并且，作为示例，将D0设定为0m。并且，可测距范围FR的深度的值以“D0+D1+D2+D3+D4+D5”来表示。
例如，在对距离区间R1是否存在对象物进行判断时，物体检测系统200在控制部101a的控制下，从发光部1射出测量光开始，在经过了时间(2×(D0+D1)/c)时刻，结束光传感器2的曝光。在此，c是光速。如图2所示，在距离区间R1中，作为对象物的人位于光传感器2的多个像素之中的与下侧的像素区域对应的位置。因此，在光传感器2中，与人的存在位置对应的区域的像素接受光的受光次数超过阈值，而其他的像素受光次数不超过阈值。据此，针对距离区间R1，能够通过对象物信息生成部102，得到如图2所示的距离区间图像Im1，以作为示出存在于距离区间R1的对象物的图像。
针对距离区间R2至R5，同样也能够通过对象物信息生成部102，分别得到如图2所示的距离区间图像Im3至Im5。
另外，例如存在于距离区间R4的对象物即树木的一部分，实际上被存在于离物体检测系统200更近的距离区间R3的对象物即人所遮掩。但为了简单起见，在图2中，距离区间图像Im4所示的是实际树木的形状。其他的距离区间图像也同样如此。
合成图像生成部104进一步对针对多个距离区间R1至R5的而得到的多个距离区间图像Im1至Im5进行合成，从而生成针对可测距范围FR的距离图像Im100，以作为合成图像的一个例子。具体而言，合成图像生成部104按距离区间R1至R5，对多个距离区间图像Im1至Im5中的与对象物对应的区域的像素赋予不同的权重，来重叠多个距离区间图像Im1至Im5。据此，例如生成如图2所示的距离图像Im100。距离图像Im100是由合成图像生成部104生成的合成图像的一个例子，也是对作为二值图像的多个距离区间图像进行加权而合成的图像。另外，在多个距离区间图像的合成中，按距离区间R1至R5来赋予不同的权重并非是必需的，可以是以相同的权重而进行的合成，也可以是在相同像素位置中的逻辑析取等。
合成图像生成部104除了生成距离图像Im100以外，还进行亮度图像的生成，以作为合成图像。也就是说，合成图像生成部104针对多个距离区间R1至R5，进一步将分别执行一次以上的曝光工作而得到的电信号，按每个像素来相加。据此，例如生成以8比特来表示各像素亮度的亮度图像。亮度图像是由合成图像生成部104生成的合成图像的另一个例子，也是由表示各像素的亮度的信息构成的图像。
在本实施方式的物体检测系统200中，能够通过上述工作，来生成距离区间图像Im1至Im5、距离图像Im100以及亮度图像。
另外，物体检测系统200并非必须生成距离区间图像Im1至Im5，也可以仅生成能够生成距离区间图像Im1至Im5的信息(信号)。例如可以生成按每个像素而持有的与受光次数有关的信息，以作为“能够生成距离区间图像Im1至Im5的信息”。关于距离图像Im100以及亮度图像，同样也可以如此。
[1-3.信息处理系统的构成]
如图1所示，信息处理系统100具备控制部101a、信号处理部101b、输出部105、以及提示部4。控制部101a以及信号处理部101b例如由包括1个以上的服务器和1个以上的存储器的计算机系统来实现。也就是说，通过由1个以上的服务器来执行存储在1以上的存储器的1个以上的程序，从而实现作为控制部101a以及信号处理部101b的功能。在此，程序虽然被预先记录在存储器，但也可以通过互联网等电气通信电路或记录到存储卡等非暂时性的存储介质而被提供。
控制部101a被构成为，对发光部1以及光传感器2进行控制。
关于发光部1，控制部101a对从发光部1的光源输出的测量光的定时(发光定时)、以及从发光部1的光源输出的测量光的脉冲宽度等进行控制。
关于光传感器2，控制部101a对使光传感器2的各像素进入曝光状态的定时(曝光定时)、曝光期间、以及读出电信号的定时等进行控制。
控制部101a例如根据存储在内部的定时，对发光部1的发光定时以及光传感器2的各工作的定时进行控制。
控制部101a针对构成可测距范围FR的多个距离区间R1至R5，依次进行距离测量。即，控制部101a首先针对离物体检测系统200最近的距离区间R1，通过进行发光部1的发光以及光传感器2的曝光，由光传感器2来生成与距离区间R1有关的距离区间信号Si1。接下来，控制部101a针对离物体检测系统200第二近的距离区间R2，通过进行发光部1的发光以及光传感器的曝光，由光传感器2来生成与距离区间R2有关的距离区间信号Si2。控制部101a针对距离区间R3至R5，也依次由光传感器2来生成距离区间信号Si3至Si5。控制部101a反复地使光传感器2生成如距离区间信号Si1至Si5这样的信号。
信号处理部101b接收从光传感器2输出的电信号。电信号包括距离区间信号Si1至Si5中的任意一个。信号处理部101b接收到的电信号将在信号处理部101b被处理。
图3A示出了实施方式中的物体检测系统200包括的信息处理系统100的构成。另外，本图也对在信息处理系统100外部的光传感器2以及提示部4也进行了图示。信息处理系统100具备控制部101a以及信号处理部101b(对象物信息生成部102、合成图像生成部104、存储部103、以及输出部105)。
对象物信息生成部102根据在光传感器2生成的电信号中的与作为目标对象的距离区间相关的距离区间信号，来生成与存在于多个距离区间R1至R5的每一个中的对象物的特征量相关的信息即对象物信息。
对象物信息生成部102例如按照距离区间的数量(在此为5个)来具备可并行工作的生成部(第1生成部102a至第5生成部102e)。第1生成部102a从光传感器2接收距离区间信号Si1。第1生成部102a根据与距离区间R1相关的电信号即距离区间信号Si1，来生成与存在于该距离区间R1的对象物有关的对象物信息。同样，第2生成部102b根据与距离区间R2相关的电信号即距离区间信号Si2，来生成与存在于该距离区间R2对象物有关的对象物信息。第3生成部102c根据与距离区间R3相关的电信号即距离区间信号Si3，来生成与存在于该距离区间R3对象物有关的对象物信息。第4生成部102d根据与距离区间R4相关的电信号即距离区间信号Si4，来生成与存在于该距离区间R4的对象物有关的对象物信息。第5生成部102e根据与距离区间R5相关的电信号即距离区间信号Si5，来生成与存在于该距离区间R5对象物有关的对象物信息。
另外，在上述说明中，虽然只是为了简单易懂，而将多个距离区间信号Si1至Si5通过不同的路径输入到对象物信息生成部102，并在对象物信息生成部102的不同的要素中(第1生成部102a至第5生成部102e)进行处理，但并非受此所限，多个距离区间信号Si1至Si5也可以以相同的路径输入到对象物信息生成部102，并在相同的要素中进行处理。
[2.工作]
接下来，对如上构成的本实施方式中的物体检测系统200的工作进行说明。
[2-1.信息处理系统的工作]
图3B是示出本实施方式中的物体检测系统200包括的信息处理系统100的处理的定时图。在此，示出的是第1生成部102a至第5生成部102e的并行工作的一个例子的定时图。在本图中，“距离区间”是表示构成各个帧的5个子帧(距离区间R1至R5)的排列，“发光”是表示发光部1发射测量光的定时，“曝光”是表示光传感器2接受反射光的期间，“第1生成部”至“第5生成部”分别是表示第1生成部102a至第5生成部102e生成对象物信息的处理期间。在此，示出了以发光和曝光为一组，按每一组来生成对象物信息的例子。
如图3B所示，在距离区间R1的子帧中，在进行用于距离区间R1的发光以及曝光之后，由第1生成部102a开始生成距离区间R1的对象物信息，接下来，在距离区间R2的子帧中，在进行用于距离区间R2的发光以及曝光之后，由第2生成部102b开始生成距离区间R2的对象物信息，以下也同样如此，依次进行在距离区间R3、在距离区间R4、以及在距离区间R5的子帧中的处理。
第1生成部102a至第5生成部102e的每一个，不必等待向其他的生成部的信号(距离区间信号)的输入以及在其他的生成部的处理的结束，一旦信号(距离区间信号)被输入，就立即开始处理。也就是说，第1生成部102a至第5生成部102e并行进行工作。据此，能够通过并行工作的第1生成部102a至第5生成部102e，使与5个距离区间的每一个对应的对象物信息的生成高速化。
另外，在图3B中，第1生成部102a至第5生成部102e的处理虽然一部分在时间上重叠，但在时间上是否重叠，取决于处理负荷，时间上的重叠并非是必须的。例如，根据处理负荷，第1生成部102a至第5生成部102e的处理也可以在对应的距离区间的子帧内结束。
[2-2.对象物信息生成部的工作]
接下来，对由本中实施方式中的物体检测系统200的对象物信息生成部102来生成对象物信息的生成方法进行说明。图4是示出本实施方式中的物体检测系统200的对象物信息生成部102进行处理的流程图。
另外，以下虽然着眼于图2中的与距离区间R3有关的工作，对其进行说明，但关于其他的距离区间的工作也同样如此。
对象物信息生成部102的第3生成部102c，首先从光传感器2接收多个距离区间R1至R5中的与作为目标对象的距离区间R3相关的距离区间信号Si3，针对接收到的距离区间信号Si3，利用事前获得并保存在存储部103的参照图像Im101，进行距离区间图像生成处理(图4的S1)。
图5说明了由本实施方式中的物体检测系统200的对象物信息生成部102进行的距离区间图像生成处理的一个例子。在此示出的是参照图像Im101(图5的上半部分)以及距离图像Im102(图5的下半部分)的例子。参照图像Im101(图5的上半部分)是由物体检测系统200事前获得并保存在存储部103的距离图像(图5的上半部分)。而距离图像Im102(图5的下半部分)示出的是被输入到对象物信息生成部102的距离区间信号Si1至Si5。在这样的例子中，当第3生成部102c在距离区间图像生成处理中，判断为是如下的情况时，将位置信息改写为“不存在对象物”这样的信息，在此所判断的情况是，在接收到的距离区间信号Si3中，在与参照图像Im101包括的对象物为相同的距离上存在相同的对象物的情况。通过上述的处理，能够在距离区间信号Si3包括的对象物中，仅着眼于参照图像Im101包括的对象物以外的物体。根据图5的上半部分的例子(参照图像Im101)，在图5的下半部分的例子(距离图像Im102)中，由于获得参照图像Im101时，在距离区间R3没有人存在，因此，在第3生成部102c进行上述的距离区间图像生成处理的情况下，生成源于人的信号(生成在人的区域存放了“1”的图像)，以作为距离区间图像Im3。另外，作为其他的距离区间图像Im1，Im2，Im4，Im5，不生成源于每一个对象物的信号(生成在所有的区域存放了“0”的图像)。如此，对象物信息生成部102，通过对与被存储在存储部103的参照图像Im101所对应的距离区间相关的距离区间信号、与参照图像Im101进行比较，来生成示出其差分的距离区间图像，以作为对象物信息的一个。
但是，参照图像Im101以及距离区间图像生成处理的方法并非受这样的处理所限。并且，参照图像Im101在物体检测系统200的工作中可以不变，也可以被更新。例如也可以总是将参照图像Im101更新为1帧之前的距离区间信号Si3，在距离区间图像生成处理中，第3生成部102c计算光流并对参照图像Im101包括的对象物在当前的距离区间信号Si3中移动了多远进行判断，在对象物的移动量超过了阈值的情况下，判断为存在对象物并生成距离区间图像。
在上述处理中生成的距离区间图像是对存在对象物的区域的像素分配了“1”、对不存在对象物的区域的像素分配了“0”的二值图像。
在此，第3生成部102c也可以进行一般图像处理的噪声过滤处理。第3生成部102c例如也可以适用形态学运算或中值滤波器(图4的S2)。据此，存在能够使噪声减少并缩短在此之后的处理时间的可能性。
并且，第3生成部102c也可以以能够削减数据量的方法对距离区间图像进行编码。例如也可以利用行程编码来进行压缩。
接下来，第3生成部102c进行标记处理(图4的S3)。在标记处理中，当被分配了“1”的区域为彼此相邻的像素连结了的情况下，将该连结像素的集合判断为是一个物体，并按每个物体赋予不同的标签。另外，在不存在被分配了“1”的像素的情况下，则判断为在作为目标对象的距离区间不存在对象物。
标记处理之后，第3生成部102c进行特征量生成处理(图4的S4)。在特征量生成处理中，根据被视为是与一个对象物对应的连续像素区域，来生成对象物的特征量。对特征量的种类虽然没有特别的限定，但在此作为示例，设定为是赋予的标签、示出距离区间的信息、对象物面积、周长、一次阶矩、重心、以及重心的世界坐标系的位置。世界坐标系是相当于对象空间的假想空间中的三维正交坐标系。示出对象物在重心的世界坐标系的位置的信息是与对象物在三维空间上的位置有关的对象物位置信息的一个例子。
第3生成部102c在特征量生成处理后，进行对象物过滤处理(图4的S5)。在对象物过滤处理中，参照各对象物的特征量，除满足规定条件的对象物以外均消除。对规定的条件，并没有特别的限定，例如将对象物的面积(像素数量)设定在100像素以上。通过上述的对象物过滤处理，除了想要关注的物体以外均消除，这样就能够缩短在此之后的处理时间。
接下来，第3生成部102c利用存储在存储部103的过去的对象物信息，进行物体链接处理(图4的S6)。在物体链接处理中，将多个距离区间作为对象，以当前的对象物与过去的对象物越相似则值越大来定义相似度，并且，将过去的对象物中相似度最大的对象物，判断为是和自己相同的对象物，使其链接起来。此时，将链接过去的对象物的标签作为链接信息，添加到当前的对象物的特征量中，以使在这之后能够检索到所链接的过去的相同的对象物。在过去的对象物中，算出相似度并作为链接候补来选择的典型的是选择1帧之前的对象物，但也可以将2帧以上之前的对象物作为候补来选择。另外，对相似度的定义，并没有特别的限定，例如能够对重心与重心之间的距离、一次阶矩、使用面积来计算的函数进行定义。在不存在应该链接的过去的对象物的情况下，将表示不存在链接对象物的规定的值，作为一个特征量来添加。另外，也可以在不存在应该链接的过去的对象物的情况下，例如将当前的对象物自身的标签作为链接信息，添加到特征量中。
接下来，第3生成部102c执行生成对象物的移动速度的速度生成处理(图4的S7)。通过进行所述物体链接处理，第3生成部102c能够追溯与对象物链接好的过去的对象物。并且，由于在追溯到的过去的对象物中，也存储有能够追溯比这之前的过去的对象物链接信息，因此，能够追溯对象物第一次出现在可测距范围FR的时刻。在速度生成处理中，例如通过追溯N秒前的相同的对象物，参照各时刻的对象物位置信息，从而根据到现在为止的在重心的世界坐标系中的移动轨迹来算出移动距离，将移动距离除以经过的时间(N秒)来算出速度，并作为一个特征量来添加。如此，对象物信息生成部102(在此，是第3生成部102c)利用多个距离区间的所述距离区间信号，来生成与对象物在三维空间上的位置有关对象物位置信息，并且利用与当前的对象物相同的过去的对象物的对象物位置信息，来算出对象物的移动速度。
另外，对于为了算出速度而追溯到哪里的定义，并没有特别的限定，可以定义为在N帧之前等。例如，在第3生成部102c生成的距离区间图像的帧率是可变的情况下，若定义为在N帧之前等，在计算速度时，由于追溯帧的数量是固定的，则有可能减少因不依赖于帧率的噪声给重心位置的计算误差带来的影响。并且，对速度的计算方法，并没有特别的限定，例如，为了简化计算，也可以根据N秒之前的重心的世界坐标系位置和当前的重心的世界坐标系位置的直线距离来算出。
在速度生成处理中，对对象物的移动方向进行估计。图6是说明了由本实施方式中的物体检测系统200的对象物信息生成部102(在此，是第3生成部102c)进行的对象物的移动方向的生成方法的一个例子。对移动方向的估计方法，并没有特别的限定，在此，采用的是利用对象物在世界坐标系中的轨迹近似也就是利用圆弧近似的方法。在利用对象物在N秒期间移动路线的情况下，例如利用从N秒之前到当前时间的在世界坐标系中的对象物的重心的集合。针对存放在各行的对象物的重心坐标的矩阵，使用主成分分析法(PrincipalComponent Analysis,PCA)，将以第3主成分向量作为法线的平面，估计为总是符合重心轨迹的平面。接下来，将所述平面中与N秒之前、N/2秒之前、以及当前时间的重心位置这三个点为等距离上的点，作为重心轨迹的假想旋转中心。在此，以N/2-1秒之前、N/2秒之前、以及N/2+1秒之前的重心位置的平均来更新N/2秒前的重心位置。假设对象物是以所述旋转中心为中心进行在N秒期间的画圆弧运动。也就是以所述旋转中心为中心，沿着穿过当前的重心位置的圆弧71的切线，也就是当前的重心位置的切线，将远离对象物的N秒之前的重心位置的方向作为对象物的移动方向。如上所述，通过以简单的曲线来近似对象物的移动轨迹，则以噪声等为由而发生的重心位置的误差将难以对速度向量72的误差产生影响。如此，对象物信息生成部102(在此，是第3生成部102c)通过以曲线来近似与当前的对象物相同的对象物的过去移动的轨迹，来算出对象物的移动速度。另外，在上述的速度向量72的计算方法中，利用的特征量并不一定要求是重心，也可以是赋予对象物的外接矩形的左上的点等、以及与对象物在世界坐标系中的位置有关的其他的特征量。
第3生成部102c将所述对象物的速度和移动方向作为对象物的速度向量72，并作为一个特征量来添加。
接下来，第3生成部102c根据对象物的速度，来执行移动目的地的预测处理(图4的S8)。通过执行所述速度生成处理，第3生成部102c能够推测对象物在不久之后将要移动的位置。对移动目的地的预测处理的方法，并没有特别的限定，例如，在预测N秒之后的移动目的地时，将所述速度乘以N而得出的距离预测为向所述移动方向的直线移动的距离。将执行所述移动目的地的预测处理后的移动目的地的预测位置，作为一个特征量来添加。如此，对象物信息生成部102(在此，是第3生成部102c)根据对象物的移动速度，来生成对象物的未来的预测位置。
图7示出了由本实施方式中的物体检测系统200的对象物信息生成部102(在此，是第3生成部102c)生成而得到的对象物信息的一个例子。本图所示的对象物信息中包括与在时刻t检测到的2个物体即物体O1和物体O2、以及在时刻t+1检测到的2个物体即物体O3和物体O4有关的各种特征量(中心坐标、面积、纵横比、速度、以及链接信息)。在这个例子中，作为在时刻t+1检测到的物体O3的特征量的一个的链接信息是指在时刻t检测到的物体O2，据此可知在不同时刻检测到的物体O2与物体O3被判断为是相同的对象物。同样，作为在时刻t+1检测到的物体O4的特征量的一个的链接信息是指在时刻t检测到的物体O1，据此可知在不同时刻检测到的物体O1与物体O4被判断为是相同的对象物。如此，对象物信息中包括追踪相同的对象物的信息。
图8说明了由本实施方式中的物体检测系统200的对象物信息生成部102进行的测距设定变更的一个例子。即，本图说明了根据对象物信息对存储在控制部101a的设定进行变更的方法的一个例子。对象物信息生成部102在上述的移动目的地的预测处理之后，对移动目的地的预测位置81包括的距离区间进行抽取，并以仅对包括其前后的距离区间在内也就是3个距离区间进行测距的方式，来变更存储在控制部101a的设定。例如，在图2的例子中，在距离区间R3检测到人的移动目的地的预测位置81为距离区间R4的情况(图8的(a))下，控制部101a由于上述设定的变更，而对发光定时和曝光定时(图8的(b))进行控制，以使从下一个帧开始忽略距离区间R1和R2仅对距离区间R3至R5测距。在此之后，例如在这个人的移动目的地的预测位置81成为了距离区间R3的情况下，将测距范围变更为距离区间R2至R4。并且，在控制部101a的控制下，对象物信息生成部102仅以变更后的距离区间为对象来生成对象物信息。如此，控制部101a变更针对发光部1以及光传感器2的控制信号，以使距离区间的数量以及成为生成对象物信息对象的距离区间发生变化。更详细而言，控制部101a变更针对发光部1以及光传感器2的控制信号，以使在多个距离区间中的与不包括对象物的预测位置的距离区间对应的距离区间信号(图8的(b)中的距离区间R1以及R2的距离区间信号)不从光传感器2输出。
如上所述，能够根据检测到的对象物的特征量，来缩小测距范围，进而缩短对对象物的进行检测的处理。另外，对为了变更测距范围而利用的特征量，并没有特别的限定，例如也可以是对当前的重心位置包括的距离区间以及其前后的距离区间进行测距这样的方法。并且，对在变更测距范围后而进行测距的距离区间的数量，并没有特别的限定。
最后，输出部105将对象物的所述特征量作为对象物信息输出到提示部4或外部装置5(图4的S9)。输出部105无需等所有的距离区间的测量都结束，就可以结束对象物信息生成部102(更详细而言，第1生成部102a至第5生成部102e的每一个)的处理，并依次输出生成的对象物信息。输出部105除了对象物信息之外，还可以输出例如亮度图像、距离图像或距离区间图像。输出部105也可以以无线信号的方式来输出信息。
提示部4使从输出部105输出的信息可视化。提示部4例如可以具备液晶显示器、有机EL显示器等这样的二维显示器。提示部4也可以具备用于对距离图像进行三维显示的三维显示器。
图9A是本实施方式中的物体检测系统200的提示部4所显示的图像91的例子。在作为映现在画面内的移动体的车辆上，显示了表示已做过检测的矩形(检测边框)，并示出了对象物信息包括的深度距离(“Depth27.0m”)、速度(“Speed45.9km/h”)、以及速度向量的方向(图中的箭头)。
另外，对象物信息生成部102在计算像这样检测到的物体的深度距离、速度、以及速度向量时，利用作为合成图像中一个的亮度图像，来校正作为对象物信息中一个的物体中心坐标。图9B说明了由对象物信息生成部102利用了亮度图像对物体的中心坐标进行的校正。图9B的(a)示出了在时刻t，由对象物信息生成部102检测到的物体的边框(“检测边框”)的例子，图9B的(b)示出了在时刻t，在合成图像生成部104生成的亮度图像的例子，图9B的(c)示出了在时刻t+1，由对象物信息生成部102检测到的相同的物体的边框(“检测边框”)的例子，图9B的(d)示出了在时刻t+1，由对象物信息生成部102来校正物体的中心坐标的例子。
如图9B的(a)所示，在时刻t，对象物信息生成部102将在某个距离区间图像中的围住检测到的物体的矩形确定为检测边框，将检测边框的中心确定为检测到的物体的中心坐标(“物体中心”)。如图9B的(c)所示，在时刻t+1，对象物信息生成部102将在该距离区间图像或其他的距离区间图像中的围住与在时刻t检测到的物体相同的物体的矩形确定为检测边框，将检测边框的中心确定为物体的暂定的中心坐标(“物体中心”)。并且，对象物信息生成部102通过将在时刻t的物体的亮度图像用作模板(即，基准图像)，来算出在时刻t+1的距离区间图像中的物体的坐标移位量，并以算出的坐标移位量来使暂定的中心坐标向反方向移位。据此，由于是利用高精度的亮度图像对物体的中心坐标进行校正，因此，与仅利用距离区间图像的情况相比，能够高精度地确定物体的中心坐标。像这样被确定的物体的中心坐标能够用于计算物体的深度距离、速度、以及速度向量。
另外，校正的特征量并非受物体的中心坐标所限。例如也可以是，物体的外接矩形本身、外接矩形的右上方的角落点等规定的点的位置、或者是对物体的轮廓的位置进行校正的特征量。
并且，对象物信息生成部102在计算检测到的物体的深度距离时，利用多个距离区间的距离区间信号(或距离区间图像)，来校正作为对象物信息中一个的物体的深度距离(即，高精度地算出深度距离)。图9C说明了由对象物信息生成部102利用多个距离区间的距离区间信号，来算出物体的深度距离的计算方法。在此，由在5个距离区间的每一个检测到的点云构成的物体被显示在检测框内。例如，8个白色圆点是在1.5m的距离区间检测到的点，15个黑色圆点是在3.0m的距离区间检测到的点，2个三角形是在4.5m的距离区间检测到的点，1个的四角形是在21.0m的距离区间检测到的点，1个“×”是在22.5m的距离区间检测到的点。在这样的例子中，对象物信息生成部102将利用点云的个数对点云各自的距离进行加权而得到的平均距离，作为在检测边框内的物体的深度距离，也就是说，将物体的深度距离确定为(8×1.5m+15×3.0m+2×4.5m+1×21.0m+1×22.5m)/(8+15+2+1+1)≒4.05m(约等于4.05m)。据此，由于利用多个距离区间的距离区间信号来算出物体的距离，因此，与仅利用一个距离区间信号的情况相比，能够考虑到物体的深度，高精度地算出实际的距离。另外，所利用的多个距离区间信号也可以是在对象物信息生成部102经处理后的多个距离区间图像。并且，所述对象物信息也可以是利用在合成图像生成部104中作为合成图像生成的距离图像的一部分或全部而被校正的信息。
另外，对物体的深度距离的所述计算方法，并没有特别的限定。例如也可以以与检测到最多的点的距离区间对应的权重成为最大的权重的方式，来计算加权后的平均。例如，在图9C的例子中，以检测到的所述最多的点的3.0m为中心、且以1.5m为间隔，距离区间距离中心越远则越以权重为二分之一倍的方式来计算加权后的平均，即，将(8×1.5m/2+15×3.0m+2×4.5m/2+1×21.0m/4096+1×22.5m/8192)/(8+15+2+1+1)≒2.06m(约等于2.06m)确定为物体的深度距离。以所述加权平均进行计算的方法，具有能够正确有效地计算在与对象物对应的点云中混有噪声的情况下的深度距离的可能性。在所述图9C的例子中，在3.0m的距离区间检测到的点最多，其次是在1.5m的距离区间，因此，在21m以及22.5m的距离区间检测到的点有可能是噪声，所以深度距离在1.5m至3.0m之间确定最为正确。
如上所述，通过本实施方式的物体检测系统200，根据与作为目标对象的距离区间相关的距离区间信号，来进行对象物信息的生成以及对象物追踪，所述对象物信息是与一个以上的距离区间的每一个中存在的对象物有关并包括依赖于时间的特征量的信息。
图10是示出本实施方式中的物体检测系统200内处理顺序的一个例子的定时图。即，本图示出了如下几种工作之间的时间关系的概略，由光传感器2进行的受光工作(“测量”)，由第1生成部102a至第5生成部102e进行的对象物信息的生成工作(“信息生成”)，由输出部105进行的对象物的输出工作(“数据输出”)，由合成图像生成部104进行的距离图像的生成工作(“图像合成”)。更详细而言，在图10中，“测量”这一行表示在距离区间R1至R5中，光传感器2进行了距离测量的距离区间。“信息生成”这一行表示在距离区间信号Si1至Si5中，对象物信息生成部102进行距离区间信号的处理并生成了对象物信息的定时。“数据输出”这一行表示在对象物信息中，输出部105进行了输出的定时。“图像合成”这一行表示合成图像生成部104生成距离图像Im102的定时。并且，在图中，各行的箭头的始点表示开始处理的时刻，箭头的终点表示结束处理的时刻。
如上所述，由于无需等待其他的距离区间信号的处理，就能够由第1生成部102a至第5生成部102e的每一个来对距离区间信号的每一个进行处理并生成对象物信息，因此，能够缩短处理时间。另外，在图10中，虽然由第1生成部102a至第5生成部102e的处理是按顺序(即，不同的时间段)来进行的，但在“信息生成”负荷大等的情况下，第1生成部102a至第5生成部102e的每一个的处理时间也可以重叠(即，也可以进行并行处理)。
进一步，在本实施方式的物体检测系统200中，由于是在物体检测系统200内进行对象物信息的生成和对象物的追踪，因此，与向外部装置5输出距离图像，并在外部装置5进行对象物信息的生成以及对象物的追踪情况相比，能够大幅度地压缩向外部装置5输出的信息的数据量。通过减少输出的数据量也能提高处理速度。
另外，在与多个距离区间的每一个对应的对象物信息中的至少一个满足了规定的条件的情况下，对象物信息生成部102中止该对象物信息的进一步的生成或将该对象物信息向存储部103的存储，或者是输出部105中止输出该对象物信息。例如，对象物信息生成部102通过对检测到的对象物与表示人形的雏型进行外形样本对照，来判断检测到的对象物是否是人，在判断出不是人的情况下，则判断为该对象物信息不重要，因而中止该对象物信息的进一步的生成或将该对象物信息向存储部103的存储。或者是输出部105中止输出该对象物信息。据此，实现将检测对象集中于人并生成详细的对象物信息的物体检测系统。
如上所述，物体检测系统200具备：射出光的发光部1；光传感器2，接受光在对象空间的可测距范围内被反射的反射光；控制部101a，对发光部1以及光传感器2进行控制；以及处理信号处理部101b，对在光传感器2生成的电信号所示的信息进行处理，控制部101a针对对可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从光传感器2输出的方式，来控制发光部1以及光传感器2，所述距离区间信号是光传感器2包括的多个像素之中的来自接受了光的像素的信号，信号处理部101b具备：对象物信息生成部102，该对象物信息生成部102具有可并行工作的多个生成部(第1生成部102a至第5生成部102e)，并且，根据从光传感器2输出的距离区间信号，针对多个距离区间，分别生成示出由光传感器2检测到的对象物的特征的对象物信息；存储部103，存储由对象物信息生成部102生成的与多个距离区间的每一个对应的对象物信息；以及输出部105，对与多个距离区间的每一个对应的对象物信息进行输出，对象物信息生成部102针对多个距离区间的每一个，通过对被存储在存储部103的过去的对象物信息、与由光传感器2检测到的当前的对象物的特征进行比较，来生成对象物信息。
据此，对象物信息生成部102具有可并行工作的多个生成部(第1生成部102a至第5生成部102e)，并且，针对多个距离区间，分别生成示出由光传感器2检测到的对象物的特征的对象物信息，因此，能够实现快速检测物体的物体检测系统200。
并且，物体检测系统200具备根据从光传感器2输出的与多个距离区间对应的多个距离区间信号来生成合成图像的合成图像生成部104，输出部105对在合成图像生成部104生成的合成图像进行输出。据此，不仅能够得到与多个距离区间的每一个有关的信息(即，对象物信息)，还能够得到多个距离区间的整体的信息(即，合成图像)。
并且，存储部103存储至少与多个距离区间的一个对应的参照图像，对象物信息生成部102通过对与被存储在存储部103的参照图像所对应的距离区间相关的距离区间信号、与参照图像进行比较，来生成对象物信息。据此，生成示出与参照图像相同或不同的内容的对象物信息，因此，例如利用作为参照图像的过去的图像，就能够立即知道仅有过变化的地方。
并且，对象物信息生成部102利用合成图像来进行对象物信息的校正。据此，由于利用包含多个距离区间的整体信息的合成图像来校正与距离区间的每一个对应的对象物信息，因此，能够提高与各距离区间对应的对象物信息的精度。例如提高检测对象物的中心坐标的精度。
并且，对象物信息生成部102利用多个距离区间的距离区间信号来进行对象物信息的校正。据此，由于利用多个距离区间的距离区间信号来校正与距离区间的每一个对应的对象物信息，因此，能够提高在多个距离区间的所有区间存在的与具有三维形状的对象物有关的对象物信息的精度。例如提高到具有三维形状的对象物的深度距离的精度。
并且，对象物信息生成部102利用多个距离区间的距离区间信号，来生成与对象物在三维空间上的位置有关的对象物位置信息，利用与当前的对象物相同的过去的对象物的对象物位置信息，来算出对象物的移动速度。据此，能够得到在三维空间的对象物的移动速度。
并且，对象物信息生成部102通过以曲线来近似与当前的对象物相同的对象物的过去移动的轨迹，来算出对象物的移动速度。据此，与直线近似相比，能够算出更高精度的对象物的移动速度。
并且，对象物信息生成部102根据移动速度，来生成对象物的未来的预测位置81，以作为对象物信息。据此，能够事前知道对象物的未来的预测位置81。
并且，控制部101a变更针对发光部1以及以及光传感器2的控制信号，以使距离区间的数量、距离区间的距离宽度或成为生成对象物信息的对象的距离区间发生变化。例如，控制部101a变更针对发光部1以及光传感器2的控制信号，以使在多个距离区间中的与不包括对象物的预测位置81的距离区间对应的距离区间信号不从光传感器2输出。据此，通过将测量对象的距离区间集中到只包括对象物的重要距离区间，来避免对无用的距离区间的处理，从而能够实现整个处理的高速化以及削减消耗电力。
并且，在与多个距离区间的每一个对应的对象物信息中的至少一个满足了规定的条件的情况下，对象物信息生成部102中止该对象物信息的进一步的生成或将该对象物信息向存储部103的存储，或者是输出部105中止输出该对象物信息。据此，避免对无用的对象物信息进行进一步的处理，能够实现整个处理的高速化以及削减消耗电力。
并且，上述实施方式所涉及的物体检测方法由物体检测系统200执行，物体检测系统200具备射出光的发光部1以及接受光在对象空间的可测距范围内被反射的反射光的传感器2，所述物体检测方法包括：控制步骤，对发光部1以及光传感器2进行控制；以及信号处理步骤，对在光传感器2生成的电信号所示的信息进行处理，在控制步骤中，针对对可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从光传感器2输出的方式，来控制发光部1以及光传感器2，所述距离区间信号是光传感器2包括的多个像素之中的来自接受了光的像素的信号，在信号处理步骤中包括：对象物信息生成子步骤，由可并行工作的多个生成部(第1生成部102a至第5生成部102e)根据从光传感器2输出的距离区间信号，来分别生成示出多个距离区间中的由光传感器2检测到的对象物的特征的对象物信息；合成图像生成子步骤，根据从光传感器2输出的与多个距离区间对应的多个距离区间信号，来生成合成图像；存储子步骤，将在对象物信息生成子步骤生成的与多个距离区间的每一个对应的对象物信息存储在存储部103；以及输出子步骤，对与多个距离区间的每一个对应的对象物信息以及合成图像进行输出，在对象物信息生成子步骤中，针对多个距离区间的每一个，通过对被存储在存储部103的过去的对象物信息、与由光传感器2检测到的当前的对象物的特征进行比较，来生成对象物信息。
据此，在对象物信息生成子步骤中，由可并行工作的多个生成部(第1生成部102a至第5生成部102e)根据从光传感器2输出的距离区间信号，来分别生成示出多个距离区间中的由光传感器2检测到的对象物的特征的对象物信息，因此，能够实现快速检测物体的物体检测方法。
[3.变形例]
上述的实施方式仅为本公开的各种实施方式中的一个。若能达到本公开的目的，则上述的实施方式可以根据设计等来做各种变更。并且，与上述实施方式所涉及的信息处理系统100相同的功能也可以由计算机程序、或记录有计算机程序的非暂时性的记录介质等来体现。
本公开一个形态所涉及的程序是用于使1个以上的服务器执行上述信息处理方法的程序。程序也可以被记录到计算机可读取的介质而被提供。以下对上述实施方式的变形例进行列举。另外，以下将要进行说明的变形例也适于和上述的实施方式进行适当的组合。
在一个变形例中，对象物信息生成部102在利用对象物的特征量来变更存储在控制部101a的设定时，并不采用像上述实施方式那样的减少要进行测距的距离区间的方法，而是减少距离区间的宽度来对对象物的重心位置或者移动目的地的预测位置81的周围进行测距。图11说明了由实施方式的变形例中的对象物信息生成部102来测距的一个例子。如图11的(a)所示，例如在距离区间R1至R5的距离区间R3中检测到人时，如图11的(b)所示，可以将从R3的上一个帧至R3的下一个帧的3个距离区间R2至R4分割成5个，新设定距离区间R1至R5这样的区间群，再进行测距。据此，控制部101a变更针对发光部1以及光传感器2的控制信号，以使距离区间的距离宽度发生改变。更详细而言，控制部101a变更针对发光部1以及光传感器2的控制信号，以使可测距范围缩小到能够包括对象物的预测位置的距离宽度，且多个距离区间的各自的距离宽度变短。在上述变形例中，具有提高测量距离的分辨率以及对象物信息的精度的可能性。
在一个变形例中，对象物信息生成部102也可以在一定的时间间隔期间，扩大可测距范围FR来进行对象物检测。通过上述变形例，根据已经检测到的对象物，能够发现在离得远的位置上出现的对象物。
在一个变形例中，物体检测系统200也可以不利用实施方式所示的直接TOF方式，而可以通过间接TOF的方式来生成距离区间信号。
在一个变形例中，对象物信息生成部102也可以具备区间之间信息生成部。区间之间信息生成部在生成多个不同的距离区间信号的各自的对象物信息后，通过对在不同距离区间生成的对象物信息进行比较，来判断是否是示出彼此为相同物体的信息，在判断为是相同物体的情况下，重新生成作为一个对象物的对象物信息，输出到存储部103和输出部105。
以上虽然基于实施方式以及变形例对本公开的物体检测系统200以及物体检测方法进行了说明，但是本公开并非受这些实施方式以及变形例所限。在不脱离本公开的主旨的范围内，将本领域技术人员所能够想到的各种变形执行于本实施方式以及变形例而得到的形态、以及对不同的实施方式以及变形例中的构成要素进行组合而构成的形态，均包括在本公开的范围之内。
本公开作为针对多个距离区间的每一个进行物体检测的物体检测系统，特别是作为一种快速检测物体的物体检测系统，例如能够用于搭载在车辆上对障碍物进行检测的车载物体检测系统、对物体或人等进行检测的监视摄像头、以及安防摄像头等。
符号说明
1发光部；2光传感器；4提示部；5外部装置；71圆弧；72速度向量；81预测位置；91图像；100信息处理系统；101a控制部；101b信号处理部；102对象物信息生成部；102a第1生成部；102b第2生成部；102c第3生成部；102d第4生成部；102e第5生成部；103存储部；104合成图像生成部；105输出部；200物体检测系统；Im1至Im5距离区间图像；Im100，Im102距离图像；Im101参照图像。

Claims (11)

1.一种物体检测系统，具备：
射出光的发光部；
光传感器，接受所述光在对象空间的可测距范围内被反射的反射光；
控制部，对所述发光部以及所述光传感器进行控制；以及
信号处理部，对在所述光传感器生成的电信号所示的信息进行处理，
所述控制部，针对对所述可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从所述光传感器输出的方式，来控制所述发光部以及所述光传感器，所述距离区间信号是所述光传感器包括的多个像素之中的来自接受了所述光的像素的信号，
所述信号处理部具备：
对象物信息生成部，具有可并行工作的多个生成部，并且，根据从所述光传感器输出的所述距离区间信号，针对所述多个距离区间，分别生成示出由所述光传感器检测到的对象物的特征的对象物信息；
存储部，存储由所述对象物信息生成部生成的与所述多个距离区间的每一个对应的所述对象物信息；以及
输出部，对与所述多个距离区间的每一个对应的所述对象物信息进行输出，
所述对象物信息生成部，针对所述多个距离区间的每一个，通过对被存储在所述存储部的过去的所述对象物信息、与由所述光传感器检测到的当前的所述对象物的特征进行比较，来生成所述对象物信息。
2.如权利要求1所述的物体检测系统，
所述物体检测系统具备合成图像生成部，该合成图像生成部根据从所述光传感器输出的与所述多个距离区间对应的多个所述距离区间信号，来生成合成图像，
所述输出部，对在所述合成图像生成部生成的所述合成图像进行输出。
3.如权利要求1或2所述的物体检测系统，
所述存储部，存储至少与所述多个距离区间的一个对应的参照图像，
所述对象物信息生成部，通过对与被存储在所述存储部的所述参照图像所对应的距离区间相关的所述距离区间信号、与所述参照图像进行比较，来生成所述对象物信息。
4.如权利要求2所述的物体检测系统，
所述对象物信息生成部，利用所述合成图像，来进行对所述对象物信息的校正。
5.如权利要求1至4的任一项所述的物体检测系统，
所述对象物信息生成部，利用所述多个距离区间的所述距离区间信号，来进行对所述对象物信息的校正。
6.如权利要求1至5的任一项所述的物体检测系统，
所述对象物信息生成部，利用所述多个距离区间的所述距离区间信号，来生成与所述对象物在三维空间上的位置有关的对象物位置信息，利用与当前的对象物相同的过去的对象物的所述对象物位置信息，来算出所述对象物的移动速度。
7.如权利要求1至6的任一项所述的物体检测系统，
所述控制部，变更针对所述发光部以及所述光传感器的控制信号，以使所述距离区间的数量、所述距离区间的距离宽度或成为生成所述对象物信息的对象的所述距离区间发生变化。
8.如权利要求7所述的物体检测系统，
所述控制部，变更针对所述发光部以及所述光传感器的控制信号，以使所述多个距离区间中的与不包括对象物未来的预测位置的距离区间对应的距离区间信号不从所述光传感器输出。
9.如权利要求7所述的物体检测系统，
所述控制部，变更针对所述发光部以及所述光传感器的控制信号，以使所述可测距范围缩小到能够包括对象物未来的预测位置的距离宽度，且所述多个距离区间的各自的距离宽度变短。
10.如权利要求1至9的任一项所述的物体检测系统，
在与所述多个距离区间的每一个对应的所述对象物信息中的至少一个满足了规定的条件的情况下，所述对象物信息生成部中止该对象物信息的进一步的生成或将该对象物信息向所述存储部的存储，或者是所述输出部中止输出该对象物信息。
11.一种物体检测方法，由物体检测系统执行，所述物体检测系统具备射出光的发光部以及接受所述光在对象空间的可测距范围内被反射的反射光的光传感器，
所述物体检测方法包括：
控制步骤，对所述发光部以及所述光传感器进行控制；以及
信号处理步骤，对在所述光传感器生成的电信号所示的信息进行处理，
在所述控制步骤中，针对对所述可测距范围进行划分而构成的多个距离区间的每一个，以使距离区间信号从所述光传感器输出的方式，来控制所述发光部以及所述光传感器，所述距离区间信号是所述光传感器包括的多个像素之中的来自接受了所述光的像素的信号，
在所述信号处理步骤中包括：
对象物信息生成子步骤，由可并行工作的多个生成部根据从所述光传感器输出的所述距离区间信号，针对所述多个距离区间，来分别生成示出由所述光传感器检测到的对象物的特征的对象物信息；
存储子步骤，将在所述对象物信息生成子步骤生成的与所述多个距离区间的每一个对应的所述对象物信息存储在存储部；以及
输出子步骤，对与所述多个距离区间的每一个对应的所述对象物信息进行输出，
在所述对象物信息生成子步骤中，针对所述多个距离区间的每一个，通过对被存储在所述存储部的过去的对象物信息、与由所述光传感器检测到的当前的对象物的特征进行比较，来生成所述对象物信息。
CN202180034295.2A 2020-06-19 2021-05-28 物体检测系统以及物体检测方法 Pending CN115552280A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-106125 2020-06-19
JP2020106125 2020-06-19
PCT/JP2021/020469 WO2021256223A1 (ja) 2020-06-19 2021-05-28 物体検知システム及び物体検知方法

Publications (1)

Publication Number Publication Date
CN115552280A true CN115552280A (zh) 2022-12-30

Family

ID=79267889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180034295.2A Pending CN115552280A (zh) 2020-06-19 2021-05-28 物体检测系统以及物体检测方法

Country Status (4)

Country Link
US (1) US20230053841A1 (zh)
JP (1) JPWO2021256223A1 (zh)
CN (1) CN115552280A (zh)
WO (1) WO2021256223A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448281B2 (ja) * 2001-02-05 2003-09-22 三菱重工業株式会社 レーザレーダ装置及びこれを用いる撮像方法
JP5624267B2 (ja) * 2008-06-24 2014-11-12 株式会社東芝 赤外線撮像装置および赤外線撮像方法
JP2010145255A (ja) * 2008-12-19 2010-07-01 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
US8988662B1 (en) * 2012-10-01 2015-03-24 Rawles Llc Time-of-flight calculations using a shared light source

Also Published As

Publication number Publication date
WO2021256223A1 (ja) 2021-12-23
US20230053841A1 (en) 2023-02-23
JPWO2021256223A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN110084895B (zh) 对点云数据进行标注的方法和设备
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US10345447B1 (en) Dynamic vision sensor to direct lidar scanning
JP3922245B2 (ja) 車両周辺監視装置および方法
US8306263B2 (en) Object type determination apparatus, vehicle, object type determination method, and program for determining object type
JP6404954B2 (ja) 位置特定システム、ハンドヘルド型の位置特定ユニット、評価ユニット、及び、位置特定する方法
EP2769181B1 (en) Reimaging based on depthmap information
US11568654B2 (en) Object recognition method and object recognition device performing the same
US10156437B2 (en) Control method of a depth camera
CN102859567B (zh) 车辆周边监视装置
US20220011440A1 (en) Ranging device
CN105190426A (zh) 飞行时间传感器装仓
US10812745B2 (en) Bit depth reduction of image pixels
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
US11092690B1 (en) Predicting lidar data using machine learning
JP6804949B2 (ja) 制御装置、測定装置、およびコンピュータプログラム
JP2020095038A (ja) 飛行時間型深度画像化システムの内蔵較正
US11877056B2 (en) Information processing apparatus, information processing method, and program
CN113920101A (zh) 目标检测方法、装置、设备及存储介质
JP6876445B2 (ja) データ圧縮装置、制御方法、プログラム及び記憶媒体
US20240012144A1 (en) Method for Detecting an Object by Means of a Lighting Device and an Optical Sensor, Control Device for Carrying Out Such a Method, Detection Device With Such a Control Device and Motor Vehicle With Such a Detection Device
CN115552280A (zh) 物体检测系统以及物体检测方法
JPS62231190A (ja) 衝突警報装置
US20230057655A1 (en) Three-dimensional ranging method and device
CN116997821A (zh) 感测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination