CN117813529A - 传感装置、处理装置以及对数据进行处理的方法 - Google Patents

传感装置、处理装置以及对数据进行处理的方法 Download PDF

Info

Publication number
CN117813529A
CN117813529A CN202280055435.9A CN202280055435A CN117813529A CN 117813529 A CN117813529 A CN 117813529A CN 202280055435 A CN202280055435 A CN 202280055435A CN 117813529 A CN117813529 A CN 117813529A
Authority
CN
China
Prior art keywords
data
information
light
sensor
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280055435.9A
Other languages
English (en)
Inventor
加藤弓子
井口贺敬
杉尾敏康
高木宏幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117813529A publication Critical patent/CN117813529A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,对所述检测信号进行处理。所述处理电路从所述处理电路能够输出的多个数据形式中选择特定的数据形式,基于所述检测信号生成具有被选择的所述特定的数据形式的计测数据,并输出包括所述计测数据的输出数据。

Description

传感装置、处理装置以及对数据进行处理的方法
技术领域
本公开涉及传感装置、处理装置以及对数据进行处理的方法。
背景技术
以往,提出了用光对空间进行扫描(scan)并检测来自物体的反射光来计测距物体的距离的各种设备。对象场景的距离信息例如可以被转换为3维的点群(point cloud)的数据并利用。点群数据典型而言,是由3维坐标表现在场景中物体所存在的点的分布的数据。
专利文献1及2公开了基于FMCW(调频连续波(Frequency Modulated ContinuousWave))方式的测距装置的例子。基于FMCW方式的测距装置发送频率以一定的周期被调制的电磁波,并基于发送波与反射波的频率之差计测距离。在电磁波是可见光或者红外光等光的情况下,FMCW方式的测距装置被称为FMCW LiDAR(光感探测及测距(Light Detectionand Ranging))。FMCW LiDAR将频率以一定的周期被调制的光分割为输出光和参照光,并检测通过输出光被物体反射而产生的反射光与参照光所成的干涉光。基于干涉光的频率,能够计算距物体的距离及物体的速度。专利文献1及2公开了使用基于FMCW方式的测距装置进行测距及速度计测。
在先技术文献
专利文献
专利文献1:日本特开2019-135446号公报
专利文献2:日本特开2011-027457号公报
发明内容
本发明所要解决的课题
本公开提供用于使得由1个以上的传感装置取得的数据的统合或者利用变得容易的技术。
用于解决课题的手段
本公开的一个方式所涉及的传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,对所述检测信号进行处理。所述处理电路从所述处理电路能够输出的多个数据形式中选择特定的数据形式,基于所述检测信号生成具有被选择的所述特定的数据形式的计测数据,并输出包括所述计测数据的输出数据。
本公开的其他方式所涉及的方法包括:从1个以上的传感装置取得包括计测数据的输出数据,该1个以上的传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光并输出与所述干涉光的强度相应的检测信号;以及处理电路,基于所述检测信号生成所述计测数据;所述方法还包括:判别所述计测数据的数据形式;以及向所述计测数据适用与判别出的所述数据形式相应的运算处理,从而生成所述物体的位置信息。
本公开的再其他方式所涉及的处理装置具备处理器、以及存放由所述处理器执行的计算机程序的存储器。所述处理器执行:从1个以上的传感装置取得包括计测数据的输出数据,所述1个以上的传感装置具备:光源,输出频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光并输出与所述干涉光的强度相应的检测信号;以及处理电路,基于所述检测信号生成所述计测数据;所述处理器还执行:判别所述计测数据的数据形式;以及向所述计测数据适用与判别的所述数据形式相应的运算处理,从而生成所述物体的位置信息。
本公开的概括或者具体的方式也可以通过系统、装置、方法、集成电路、计算机程序或者计算机能够读取的记录盘等记录介质实现,也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。计算机能够读取的记录介质既可以包括易失性的记录介质,也可以包括CD-ROM(紧凑盘只读存储器(Compact Disc-Read Only Memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下,该2个以上的装置既可以配置在1个设备内,也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中,“装置”不仅可以指1个装置,也可以指由多个装置构成的系统。
发明效果
根据本公开的一个方式,能够使得由1个以上的传感装置取得的数据的统合或者利用变得容易。
附图说明
图1是表示用于对道路交通环境进行监视的系统的一例的概念图。
图2是表示对道路交通环境进行监视的系统的其他例的概念图。
图3是表示图1所示的系统的更详细的构成例的框图。
图4是表示图2所示的系统的更详细的构成例的框图。
图5是简化表示图1及图3所示的例中的服务器及传感装置的动作及数据的流动的一例的图。
图6是简化表示图2及图4所示的例中的服务器、移动体及传感装置的动作及数据的流动的一例的图。
图7是表示实施方式1所涉及的传感装置的构成的框图。
图8是表示实施方式1所涉及的传感器的构成例的框图。
图9是表示干涉光学系统是光纤光学系统的传感器的例子的框图。
图10是表示具备光偏转器的传感器的例子的框图。
图11A是表示传感器与对象物的距离一定的情况下的参照光、反射光及干涉光的频率的时间变化的例子的图。
图11B是表示传感器或者对象物正移动的情况下的参照光、反射光及干涉光的频率的时间变化的例子的图。
图12是用于说明对象物相对于传感器的相对速度的图。
图13是用于说明汽车在静止的传感器之前横穿的情况下的速度计测的例子的图。
图14是表示传感装置所发送的数据的形式的一例的图。
图15是表示传感装置所发送的数据的形式的其他例的图。
图16是表示传感装置所发送的数据的形式的再其他例的图。
图17是表示传感装置所发送的数据的形式的再其他例的图。
图18是表示传感装置的动作的一例的流程图。
图19是表示存储装置中记录的信息的一例的图。
图20是表示存储装置所存储的与簇相关的信息的一例的图。
图21是表示簇的速度矢量的估计处理的一例的流程图。
图22A表示对3点进行选择的基准的一例。
图22B表示对3点进行选择的基准的其他例。
图23是用于说明根据3点的速度成分矢量求出共通的速度矢量的处理的图。
图24是表示簇的速度矢量的估计处理的其他例的流程图。
图25是用于说明将簇分割为多个区域的处理的图。
图26是表示发送沿着将传感器与数据点连结的直线的速度成分的信息的传感装置的动作例的流程图。
图27是表示存储装置中记录的信息的例子的图。
图28是表示服务器的构成例的图。
图29是表示服务器的存储装置中记录的信息的例子的图。
图30是表示服务器的动作的一例的流程图。
图31是表示服务器的动作的再其他例的流程图。
图32是表示服务器的存储装置中记录的信息的其他例的图。
图33是表示服务器的动作的再其他例的流程图。
图34是表示服务器的动作的再其他例的流程图。
图35是表示服务器所进行的输出道路状况的信息的动作的一例的流程图。
图36是表示服务器生成并发送道路信息的动作的一例的流程图。
图37是表示服务器生成并发送道路信息的动作的其他例的流程图。
图38是表示实施方式2中的传感装置的存储装置中记录的信息的一例的图。
图39是表示实施方式2中的从传感装置输出的数据形式的一例的图。
图40是表示实施方式2中的从传感装置输出的数据形式的其他例的图。
图41是表示实施方式2中的从传感装置输出的数据形式的再其他例的图。
图42是表示实施方式2中的从传感装置输出的数据形式的再其他例的图。
图43是表示实施方式中的服务器的动作的一例的流程图。
图44是表示实施方式3中的包括服务器以及包含传感装置的移动体在内的系统的构成例的框图。
图45是以时序表示实施方式3中的服务器与移动体的通信以及两者的处理流程的一例的图。
图46是表示实施方式3中的服务器的动作的一例的流程图。
图47是作为特殊处理的一例,表示在接受到表示人进入至移动体的可动区域的信号的输入的情况下服务器所执行的处理例的流程图。
图48A是表示通常处理用数据的数据形式的一例的图。
图48B是表示详细分析用数据的数据形式的一例的图。
图49是表示基于点群数据对人进行检测的处理的一例的流程图。
图50是表示移动体中的传感装置所进行的数据生成及发送的动作的一例的流程图。
图51是表示实施方式4中的移动体的概略构成的框图。
图52是表示移动体的动作的一例的流程图。
图53是表示特殊处理的动作的具体例的流程图。
图54是表示特殊处理的动作的其他例的流程图。
图55是表示按每个数据点被附加有危险分类信息的点群数据的数据形式的例子的图。
图56是表示按每个数据点被附加有危险分类信息的点群数据的数据形式的其他例的图。
图57是表示按每个数据点被附加有危险分类信息的点群数据的数据形式的再其他例的图。
图58是表示按每个数据点被附加有危险分类信息的点群数据的数据形式的再其他例的图。
图59是示意性地表示实施方式5中的用于对传感装置进行校准的系统的一例的概念图。
图60是表示图59所示的系统的更详细的构成例的框图。
图61是表示实施方式5中的系统的动作的一例的流程图。
图62是表示实施方式5中的从传感装置输出的数据形式的一例的图。
图63是表示实施方式5的变形例1中的系统的动作的一例的流程图。
图64是表示实施方式5的变形例2中的系统的动作的一例的流程图。
图65是表示实施方式5的变形例2中的从传感装置输出的数据形式的一例的图。
具体实施方式
在本公开中,电路、单元、装置、部件或部的全部或者一部分、或者框图中的功能模块的全部或者一部分,例如能够由半导体装置、半导体集成电路(IC)或者包括LSI(大规模集成电路(large scale integration))的1个或者多个电子电路执行。LSI或者IC既可以被集成于1个芯片,也可以组合多个芯片而构成。例如,存储元件以外的功能模块也可以被集成于1个芯片。在此称为LSI或者IC,但根据集成的程度而叫法改变,也可以是被称为系统LSI、VLSI(very large scale integration:超大规模集成电路)或ULSI(ultra largescale integration:特大规模集成电路)的电路。在LSI制造后被编程的FPGA(现场可编程逻辑门阵列(Field Programmable Gate Array))、或者能够重构LSI内部的接合关系或者设置LSI内部的电路划分的RLD(可重构逻辑器件(reconfigurable logic device))也能够基于相同的目的使用。
进而,电路、单元、装置、部件或者部的全部或者一部分的功能或者动作,也能够通过软件处理来执行。在该情况下,软件被记录于1个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质,在软件被处理装置(processor)执行时,由该软件确定的功能被处理装置及周边装置执行。系统或者装置也可以具备记录有软件的1个或者多个非易失性记录介质、处理装置、以及所需的硬件设备例如接口。
<对道路交通环境进行监视的系统的例子>
在说明本公开的实施方式之前,说明能够适用本公开的实施方式所涉及的传感装置及处理装置的系统的一例。
图1是示意性地表示用于对道路交通环境进行监视的系统的一例的概念图。该系统包括服务器500、以及1台以上的固定体400。在图1中还表示了作为系统的外部要素的2台移动体300。在图1中,作为一例而例示了3台固定体400,但固定体400的个数是任意的。各固定体400例如可以是信号灯、照明设备、电线杆或护栏等公共物、或者其他基础设施。各固定体400具备测距装置等传感装置100。各固定体400中的传感装置100对周围存在的移动体300进行检测。各移动体300例如是汽车或者两轮车等车辆。传感装置100经由网络600与服务器500连接,并将取得的数据向服务器500发送。
被搭载于固定体400的传感装置100具备1个以上的传感器。各传感器例如可以是具备光源和光传感器的FMCW LiDAR等取得用于测距的数据的传感器。传感装置100也可以具备以不同朝向配置于不同位置的多个传感器。传感装置100能够逐次生成包括周边存在的物体的位置信息和速度信息的计测数据并输出。计测数据例如可以包括表示3维点群中的各点的位置的数据以及表示各点的速度的数据。在以下的说明中,只要没有特别说明,就将3维点群简称为“点群”或者“点云”。将包括3维点群中的各点的位置信息的数据称为“点群数据”。
传感装置100不限于具备光源和光传感器的测距装置,也可以是以其他方式进行测距及速度计测的测距装置。例如,也可以是使用毫米波等电波进行测距的测距装置。或者,也可以使用替代测距而输出包括被物体反射的反射光与从光源出射的光所成的干涉光的谱信息的计测数据的装置,作为传感装置100。在该情况下,从传感装置100取得了计测数据的服务器500能够基于干涉光的谱信息,计算从传感装置100到物体的距离、以及该物体的速度。
服务器500具备处理装置530和存储装置540。服务器500从各固定体400中的传感装置100,例如取得表示传感装置100的位置及姿态的数据、以及计测数据。处理装置530能够将从各传感装置100取得的计测数据统合来逐次生成表示道路环境的数据,并记录至存储装置540。处理装置530例如能够生成由规定的3维坐标系表现的按每个点附加有速度信息的点群数据。这样的数据例如在发生了事故时能够出于调查事故原因的目的而被利用。服务器500所生成的点群数据的坐标系既可以是服务器500所固有的坐标系,也可以对应于服务器500所利用的3维地图数据的坐标系。或者,也可以设为服务器500的管理者等能够对服务器500进行操作来指定点群数据的坐标系。
图2是示意性地表示对道路交通环境进行监视的系统的其他例的概念图。在图2所示的例中,具备传感装置100的多个固定体400被设置在高速公路等的交汇地点附近。在该例中,服务器500经由网络600向1台以上的移动体300分发信息。服务器500的处理装置530将从各传感装置100取得的计测数据统合来逐次生成表示道路环境的数据,并记录至存储装置540。处理装置530还能够经由网络600向各移动体300分发周边的其他移动体的位置等信息。被分发的信息例如可以被用于在如高速公路的交汇地点那样由于道路构造而从驾驶者或者辅助驾驶系统中的相机等的传感器观察存在死角的地点处避免危险的目的。
此外,在上述的各例中,传感装置100被设置于固定体400,但也可以被设置于移动体300。服务器500也可以不仅从被设置于固定体400的传感装置100取得计测数据,而且从被设置于移动体300的传感装置同样取得计测数据。从被设置于移动体300的传感装置向服务器500发送的数据例如也可以除了表示传感装置的位置及姿态的数据以及用于计算周围的物体的位置及速度的计测数据之外,还包括表示移动体300自身的速度的数据。在该情况下,服务器500的处理装置530能够基于从固定体400及移动体300各自的传感装置取得的数据,生成表示更详细的道路环境的数据。
服务器500也可以将表示各固定体400中的传感装置100的位置及姿态的信息预先存储至存储装置540。在该情况下,在服务器500从各传感装置100取得的数据中,也可以不包括表示传感装置100的位置及姿态的信息。或者,服务器500也可以基于从固定体400及移动体300各自中的传感装置100取得的计测数据,估计各传感装置100的位置、姿态及速度。
接下来,参照图3及图4更详细地说明图1及图2所示的系统的构成例。
图3是表示图1所示的系统的更详细的构成例的框图。在图3中,作为一例而例示了分别被设置于3个固定体400的3个传感装置100。传感装置100的个数是任意的,也可以是单个。
图3所示的传感装置100各自具备多个传感器200、以及通信电路120。多个传感器200的位置及姿态分别不同。各个传感器200进行测距及速度计测,生成包括3维点群中的各点的位置数据以及各点的速度数据的传感器数据并输出。从各传感器200输出的传感器数据由通信电路120发送至服务器500。此外,被设置于传感装置100的传感器200的个数是任意的,也可以是单个。另外,也可以不是按每个传感装置100设置通信电路120,而是各传感器200具备通信电路。
在图3中,仅针对1个传感器200例示了更详细的构成。该例中的传感器200具备光源210、干涉光学系统220、光检测器230、处理电路240和计时电路250。光源210例如可以具备出射激光的激光发光元件。光源210可以构成为被处理电路240控制,出射其频率在时间上被周期性调制的光。光源210可以还具备使出射光的方向变化来对场景进行扫描的光束扫描的功能。通过光束扫描的功能,能够跨周边环境的大范围用出射光的光束照射多个物体。干涉光学系统220生成从光源210出射并在物体的反射点被反射的反射光与来自光源210的出射光所成的干涉光,并使其向光检测器230入射。光检测器230接受干涉光,生成与该干涉光的强度相应的电信号并输出。在以下的说明中将该电信号称为“检测信号”。处理电路240通过对检测信号的频率进行解析,能够计算距反射点的距离及反射点的速度。通过一边用激光对场景进行扫描一边计算距反射点的距离,处理电路240能够生成点群数据。计时电路250例如是实时时钟(RTC)等具备时钟的功能的电路。处理电路240生成包括距各反射点的距离及速度的信息以及时刻的信息的数据并输出。
传感装置100从通信电路120向服务器500发送通过对从各传感器200输出的数据施以所需的坐标转换等处理而生成的计测数据。传感装置100例如以一定的时间间隔将汇总的数据向服务器500发送。
在本公开中,有时将从传感装置100发送的汇总的数据称为“帧”。这有时与作为从图像传感器输出的图像数据的单位的“帧”一致,也有时不同。传感装置100例如也可以例如以一定的帧率反复输出包括各点的速度及计测时刻的信息的点群数据。也可以将1个时刻与1帧量的点群数据建立对应地输出。
像这样,各传感器200为了取得对象场景的测距及速度计测所需的数据而利用FMCW的技术。此外,不一定全部传感器200都是FMCW LiDAR。一部分传感器200也可以是使用毫米波等电波的雷达。
此外,处理电路240也可以不计算各反射点的距离及速度,而输出作为其前级的信息的检测信号的谱信息作为传感器数据。谱信息例如可以包括表示检测信号的功率谱的信息、或者表示检测信号的功率谱中的峰频率的信息。在处理电路240输出检测信号的谱信息的情况下,距离及速度的计算不是由传感器200而是例如由服务器500的处理装置530进行。
服务器500除了处理装置530及存储装置540之外,还具备通信装置550。处理装置530经由通信装置550,从各传感装置100逐次取得计测数据,并记录至存储装置540。处理装置530针对取得的计测数据进行时刻比对及坐标转换等所需的处理。由此,处理装置530能够生成特定的时刻及特定的场所处的统合后的点群数据、以及各点的速度数据。
图4是表示图2所示的系统的更详细的构成例的框图。在图4中,作为一例,例示了分别被设置于2个固定体400的2个传感装置100、以及2个移动体300。传感装置100及移动体300各自的个数是任意的,也可以是单个。传感装置100各自的构成与图3所示的例子同样。
图4的例中的各移动体300具备通信装置310、控制装置320和驱动装置330。驱动装置330包括移动体300的行驶及转向所需的各种装置。控制装置320对驱动装置330进行控制,从而对移动体300的行驶及转向进行控制。通信装置310从服务器500经由网络600接收周边的交通信息。服务器500的处理装置530经由通信装置550从各传感装置100逐次取得计测数据,并使其存储至存储装置540。处理装置530针对取得的计测数据进行时刻比对及坐标转换等所需的处理,并生成特定的时刻及特定的场所处的统合后的点群数据、以及各点的速度数据。处理装置530将生成的数据经由通信装置550向各移动体300发送。各移动体300的控制装置320基于从服务器500发送的数据对驱动装置330进行控制,从而对移动体300的速度及转向的动作进行控制。由此,能够避免与其他移动体碰撞等危险。
图5是简化表示图1及图3所示的例中的服务器500及传感装置100的动作及数据的流动的一例的图。在图5中为了简化,将多个传感装置100汇总表现为1个传感装置。
各传感装置100反复进行传感,逐次生成包括距场景中的物体表面的各反射点的位置、各反射点的速度及时刻的信息的计测数据。这些计测数据被发送至服务器500。服务器500的处理装置530针对取得的计测数据进行时刻比对及坐标转换等所需的处理,并记录至存储装置540。这样的动作例如可以以一定的周期反复进行。
服务器500有时从外部接受请求对特定的日期时间及特定的场所的道路环境进行解析的指令。在该情况下,服务器500的处理装置530从存储装置540取得相应的日期时间及场所的数据,生成与请求相应的数据并输出。通过这样的动作,例如能够取得有助于探明事故原因的数据。
图6是简化表示图2及图4所示的例中的服务器500、移动体300及传感装置100的动作及数据的流动的一例的图。在图6中为了简化,将多个移动体300汇总表现为1个移动体,并将多个传感装置100汇总表现为1个传感装置。
各传感装置100与图5的例子同样,反复进行传感,逐次生成包括距场景中的物体表面的各反射点的位置、各反射点的速度及时刻的信息的计测数据。这些计测数据被发送至服务器500。服务器500的处理装置530针对取得的计测数据进行时刻比对及坐标转换等所需的处理,并记录至存储装置540。这样的动作例如可以以一定的周期反复进行。
各移动体300例如以一定的周期或者在需要的定时将自身的位置数据向服务器500发送。服务器500如果接收到移动体300的位置数据,则判断移动体300是否接近于特定的区域、例如高速公路的交汇地点。服务器500如果识别出移动体300接近于特定的区域,则将该特定的区域中的带速度信息的点群数据向移动体300发送。移动体300的控制装置320基于被发送的点群数据对驱动装置330进行控制。由此,移动体300进行与道路状况相应地减速或者避开障碍物等行驶控制。
根据如上所述的系统,基于由各传感装置100取得的数据,能够生成按每个反射点附加有速度信息的点群数据。由此,能够生成除了在移动体300移动的环境中存在的其他移动体等物体的位置之外还包括移动速度的信息的交通信息。通过这样的交通信息,例如能够确认事故的详细状况,以及准确通知在难以视觉辨认的如道路的交汇地点那样的危险区域及其周边处的其他移动体的接近等。
此外,在上述的各系统中,服务器500与各传感装置100经由网络600通信,但不限定于这样的方式。例如,服务器500与各传感装置100的通信也可以经由专用的通信线路进行。通信线路既可以是有线也可以是无线。或者,也可以构成为:具备与上述的服务器500同样的功能的处理装置与传感装置100在1个系统内直接连接并进行通信。
在如上所述的系统中,各传感装置100不一定具备相同的构成,规格或者性能不同的传感装置100有时混合存在。例如,由不同厂商制造的多个传感装置100、或者由同一厂商制造但机型不同的多个传感装置100有时在1个系统内混合存在。这样的多个传感装置100有时数据的输出形式相互不同,或者根据机型而能够选择多个输出形式。例如,可能发生如下状况:某传感装置100输出包括各反射点的位置及速度的信息的计测数据,而其他传感装置100输出包括各反射点的位置及检测信号的谱的信息的计测数据。在该情况下,服务器500等处理装置难以对从多个传感装置100输出的数据进行统合来生成特定的时间/区域的点群数据。
为了解决上述的课题,各传感装置也可以将表示自身所输出的计测数据的形式的识别信息包含在计测数据内而向处理装置发送。处理装置也可以基于表示计测数据的形式的识别信息,变更基于计测数据的运算处理。由此,能够使得数据形式不同的传感器数据的统合变得容易。
在某实施方式中,处理装置也可以向各传感装置发送指定计测数据的形式的请求信号。接收到请求信号的传感装置也可以生成请求信号所指定的形式的计测数据并向处理装置发送。例如也可以是,传感装置能够以多个不同的形式输出计测数据,且能够依照请求信号选择该数据形式。根据这样的构成,处理装置能够根据状况,从各传感装置取得所需的数据。由此,不仅由多个传感装置取得的数据的统合变得容易,而且能够对传感装置的周围的环境进行详细的分析,或者向该环境中存在的移动体提供恰当的信息等。
以下,说明本公开的实施方式的概要。
本公开的一个实施方式所涉及的传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,对所述检测信号进行处理。所述处理电路从所述处理电路能够输出的多个数据形式中选择特定的数据形式,基于所述检测信号生成具有被选择的所述特定的数据形式的计测数据,并输出包括所述计测数据的输出数据。
根据上述构成,能够从多个数据形式中选择特定的数据形式,并输出包括具有该特定的数据形式的计测数据的输出数据。因此,例如能够与从其他装置请求的数据形式或者其他传感数据的输出数据形式相应地灵活变更所输出的数据的形式。由此,能够使得从该传感装置及其他传感装置输出的数据的统合或者利用变得容易。
处理电路也可以是多个处理电路的集合体。上述的处理电路的功能例如也可以通过图3或者图4所示的各传感器200中的处理电路240与基于从各传感器200输出的计测数据生成用于向服务器500发送的输出数据的处理电路(或者处理装置)之间的协同动作来实现。
在本公开中,“计测数据”可以是基于检测信号而生成的包括1个以上的反射点或者物体的位置或者速度等的信息的数据。“输出数据”例如可以是用于向存储装置或者服务器等其他装置发送的数据。输出数据除了计测数据之外,还可以包括在其他装置所进行的处理中使用的各种数据。例如,输出数据可以包括传感装置的识别编号、表示传感装置的位置及朝向的信息、以及表示计测数据的数据形式的识别信息等。
所述处理电路也可以基于所述检测信号,生成所述反射点的位置信息,并生成包括所述位置信息的所述计测数据。所述处理电路例如也可以生成包括多个反射点的位置信息的点群数据作为所述计测数据。
所述处理电路也可以基于所述检测信号,生成所述反射点的速度信息,并生成包括所述速度信息的所述计测数据。所述速度信息例如可以是表示所述反射点相对于所述传感装置的相对速度矢量或者沿着将所述传感装置与所述反射点连结的直线的方向上的所述相对速度矢量的成分的信息。
所述处理电路也可以基于所述检测信号,生成所述干涉光的谱信息,并生成包括所述谱信息的所述计测数据。由此,能够输出包括干涉光的谱信息的输出数据。所述谱信息例如可以包括所述检测信号的功率谱或者所述功率谱的峰频率的信息。取得了该信息的其他装置能够基于该信息生成反射点的速度信息。
所述处理电路也可以基于所述检测信号,生成所述反射点的位置信息及速度信息,基于所述速度信息,生成表示所述物体的危险度的信息,并生成包括所述位置信息及表示所述危险度的信息的所述计测数据。由此,能够输出包括反射点的位置信息及表示危险度的信息的输出数据。
所述处理电路也可以生成被所述输出光照射的多个反射点各自的位置信息及速度信息,基于所述位置信息将所述多个反射点分为1个以上的簇,基于各簇所包括的3个以上的反射点的所述速度信息,按每个簇决定1个速度矢量,并生成包括表示各簇的所述速度矢量的信息的所述计测数据。由此,能够输出包括每个簇的速度矢量的信息的输出数据。
所述处理电路也可以将表示所述特定的数据形式的识别信息包含在所述输出数据内并输出。由此,取得了输出数据的其他装置能够基于识别信息,识别输出数据的数据形式,并执行与数据形式相应的运算处理。
所述处理电路也可以与从其他装置输入的请求信号相应地从所述多个数据形式中选择所述特定的数据形式。由此,能够生成具有由其他装置请求的特定的数据形式的计测数据。
所述传感装置可以还具备将所述输出数据向所述其他装置发送的通信电路。由此,例如能够经由网络或者系统内部的线路向与传感装置连接的处理装置(例如服务器)等其他装置发送输出数据。
本公开的其他实施方式所涉及的方法是处理从1个以上的传感装置输出的输出数据的方法。所述1个以上的传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,基于所述检测信号生成计测数据。所述方法包括:取得包括所述计测数据的输出数据;判别所述计测数据的数据形式;以及向所述计测数据适用与判别出的所述数据形式相应的运算处理,从而生成所述物体的位置信息。
根据上述的方法,能够通过与从传感装置取得的输出数据中的计测数据的数据形式相应的运算处理来生成物体的位置信息。由此,例如即使在从多个传感装置取得了不同数据形式的计测数据的情况下,也能够通过与数据形式相应的运算处理,使得计测数据的统合变得容易。
所述方法也可以还包括:向所述计测数据适用与判别出的所述数据形式相应的运算处理,从而生成所述物体的速度信息。
所述方法也可以还包括:在所述计测数据的数据形式是包括表示沿着将所述传感装置与所述反射点连结的直线的方向上的所述相对速度矢量的成分的速度成分信息的数据形式的情况下,基于所述速度成分信息生成所述物体的速度矢量的信息。
所述计测数据也可以包括被所述输出光照射的多个反射点各自的位置信息及速度信息。所述方法也可以包括:基于所述位置信息将所述多个反射点分为1个以上的簇,基于各簇所包括的3个以上的反射点的所述速度信息,按每个簇决定1个速度矢量,并输出各簇的所述速度矢量的信息作为物体的速度矢量的信息。
所述1个以上的传感装置也可以是多个传感装置。从所述多个传感装置中的各个传感装置取得的所述输出数据也可以包括表示所述传感装置的位置及朝向的信息。所述物体的位置信息可以基于表示所述多个传感装置的位置及朝向的信息而生成。
所述方法也可以包括:在所述计测数据的数据形式是包括所述检测信号的谱信息的数据形式的情况下,基于所述谱信息,生成所述物体的位置信息及所述物体的速度矢量的信息。
所述谱信息例如可以包括所述检测信号的功率谱或者所述功率谱的峰频率的信息。
所述方法也可以包括:在所述计测数据的数据形式是包括表示所述检测信号的功率谱的功率谱信息的数据形式、或者是包括表示所述检测信号的功率谱的峰频率的峰频率信息的数据形式的情况下,基于所述功率谱信息或者所述峰频率信息,生成所述物体的位置信息及所述物体的速度矢量的信息。
所述方法也可以还包括:向所述1个以上的传感装置发送用于指定所述计测数据的数据形式的请求信号。
所述1个以上的传感装置也可以被搭载于移动体。在所述移动体自身或者所述移动体所行驶的环境被检测出异常时,所述请求信号被发送至所述1个以上的传感装置。
所述输出数据也可以包括表示所述计测数据的数据形式的识别信息。所述数据形式的所述判别可以基于所述识别信息进行。
所述方法也可以还包括:基于所述物体的位置信息,输出对移动体的动作进行控制的信号。
本公开的再其他的实施方式所涉及的处理装置具备处理器、以及存放由所述处理器执行的计算机程序的存储器。所述处理器执行:从1个以上的传感装置取得包括计测数据的输出数据,所述1个以上的传感装置具备:光源,输出频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,基于所述检测信号生成计测数据;所述处理器还执行:判别所述计测数据的数据形式;以及向所述计测数据适用与判别的所述数据形式相应的运算处理,从而生成所述物体的位置信息。
以下,具体地说明本公开的例示性的实施方式。此外,以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等是一例,其主旨不在于限定本公开。另外,在以下的实施方式中的构成要素之中,关于在表示最上位概念的独立权利要求中未记载的构成要素,作为任意的构成要素进行说明。另外,各图是示意图,不一定是严密的图示。进而,在各图中,针对相同或者相似的构成要素附加相同的标记。有时省略或者简化重复的说明。
(实施方式1)
首先说明本公开的第1实施方式。
本实施方式所涉及的传感装置是具备通信电路和1个以上的传感器的测距装置。各传感器具备FMCW LiDAR的功能。各传感器生成包括与观测对象的场景中的多个反射点的位置及速度相关的信息的传感器数据并输出。通信电路依照规定的输出形式将从各传感器输出的传感器数据向图3或者图4所示的服务器500发送。
[1-1.传感装置的构成]
图7是表示实施方式1所涉及的传感装置100的构成的框图。传感装置100具备:1个以上的传感器200、处理电路110、通信电路120和存储装置130。在图7中表示了多个传感器200,但传感器200的个数是任意的,也可以是单个。
处理电路110例如是包括CPU(中央处理单元(Central Processing Unit))或者GPU(图形处理单元(Graphics Processing Unit))等处理器的电路。处理电路110例如通过执行存储装置130中存放的计算机程序来进行动作。处理电路110取得传感装置100所包括的1个以上的传感器200所输出的传感器数据,将在预先决定的时间区间中计测的多个点的位置信息和速度信息转换为预先决定的数据形式的用于通信的输出数据。
通信电路120是进行数据收发的通信模组。通信电路120将处理电路110所生成的输出数据向服务器500发送。通信电路120也可以构成为从服务器500等外部装置接收用于指定特定的数据形式的数据请求信号。在该情况下,处理电路110以被指定的数据形式生成输出数据。
存储装置130例如包括半导体存储器、磁性存储介质、光学存储介质等任意的1个以上的存储介质。存储装置130存储由处理电路110生成的数据、以及由处理电路240执行的计算机程序。存储装置130存储与传感装置100的位置及姿态相关的信息、例如表示传感装置100所包括的各传感器200的位置及姿态的固定信息。存储装置130还将处理电路110从各传感器200取得的传感器数据与处理电路110的处理过程相应地存储。
图8是表示本实施方式所涉及的传感器200的构成例的框图。在图8中,粗箭头表现光的流动,细箭头表现信号或者数据的流动。在图8中,还表示了作为距离及速度的计测对象的对象物、以及与传感器200连接的处理电路110。对象物例如可以是汽车或者两轮车等移动体。
图8所示的传感器200具备光源210、干涉光学系统220、光检测器230、处理电路240和计时电路250。光源210能够响应于从处理电路240输出的控制信号,使出射的光的频率或者波长变化。干涉光学系统220将来自光源210的出射光分离为参照光和输出光,使输出光被对象物反射而产生的反射光与参照光干涉来生成干涉光。干涉光向光检测器230入射。
光检测器230接受干涉光,生成与干涉光的强度相应的电信号并输出。将该电信号称为“检测信号”。光检测器230具备1个以上的受光元件。受光元件例如包括光电二极管等光电转换元件。光检测器230例如也可以是如图像传感器那样的将多个受光元件以2维排列而成的传感器。
处理电路240是对光源210进行控制并基于从光检测器230输出的检测信号进行处理的电子电路。处理电路240可以包括对光源210进行控制的控制电路、以及基于检测信号进行信号处理的信号处理电路。处理电路240既可以作为1个电路构成,也可以是分离的多个电路的集合体。处理电路240向光源210送出控制信号。控制信号使光源210在规定的范围内周期性地改变出射光的频率。换言之,控制信号是使从光源210出射的光的频率进行扫描的信号。
该例中的光源210具备驱动电路211和发光元件212。驱动电路211接受从处理电路240输出的控制信号,生成与控制信号相应的驱动电流信号并向发光元件212输入。发光元件212例如可以是半导体激光器元件等出射具有高相干性的激光的元件。发光元件212响应于驱动电流信号,出射频率被调制的激光。
从发光元件212出射的激光的频率以一定的周期被调制。频率的调制周期例如可以是1微秒(μs)以上且10毫秒(ms)以下。频率的调制振幅例如可以是100MHz以上且1THz以下。激光的波长例如可以被包含在700nm以上且2000nm以下的近红外的波段中。在太阳光中,近红外光的光量比可见光的光量少。因此,通过使用近红外光作为激光,能够减小太阳光的影响。根据用途,激光的波长也可以被包含在400nm以上且700nm以下的可见光的波段、或者紫外光的波段中。
从处理电路240向驱动电路211输入的控制信号是电压以规定的周期及规定的振幅变动的信号。控制信号的电压例如可以被调制为三角波状或者锯齿波状。通过如三角波或者锯齿波那样电压反复进行线性变化的控制信号,能够使从发光元件212出射的光的频率以接近于线性的方式进行扫描。
图8所示的例中的干涉光学系统220包括分支器221、反射镜222及准直器223。分支器221将从光源210的发光元件212出射的激光分为参照光和输出光,使来自对象物的反射光与参照光耦合来生成干涉光。反射镜222对参照光进行反射而使其返回至分支器221。准直器223包括准直透镜,使输出光成为接近于平行的扩展角并向对象物照射。
干涉光学系统220不限定于图8所示的构成,例如也可以是光纤光学系统。在该情况下,可以使用光纤耦合器作为分支器221。参照光不一定必须被反射镜222反射,例如也可以通过光纤的引绕使参照光返回至分支器221。
图9是表示干涉光学系统220为光纤光学系统的传感器200的构成例的框图。在图9所示的例中,干涉光学系统220包括第1光纤分路器225、第2光纤分路器226和光环形器227。第1光纤分路器225将从光源210出射的激光20分离为参照光21和输出光22。第1光纤分路器225使参照光21向第2光纤分路器226入射,并使输出光22向光环形器227入射。光环形器227使输出光22向准直器223入射。光环形器227另外使通过用输出光22照射对象物而产生的反射光23向第2光纤分路器226入射。第2光纤分路器226使参照光21与反射光23所成的干涉光24向光检测器230入射。准直器223对输出光22的光束形状进行整形,使输出光22朝向对象物出射。通过这样的构成,与图8所示的构成同样,也能够进行对象物的测距及速度计测。
传感器200也可以还具备使出射光的方向变化的光偏转器。图10是表示具备光偏转器270的传感器200的一例的框图。光偏转器270例如可以包括MEMS(微机电系统(Micormechanical Electrosystem))反射镜或者电流镜。光偏转器270通过依照来自处理电路240的指令使反射镜的角度变化,能够使输出光22的出射方向变化。由此,能够通过光束扫描实现大范围的测距。
在图10的例中,针对图9所示的构成追加了光偏转器270,但也可以采用针对图8所示的构成追加了光偏转器270的构成。光偏转器270不限定于上述的构成,例如也可以是如国际公布第2019/230720号所记载的使用光相控阵列及慢光波导的光束扫描装置。
[1-2.从传感装置输出的计测数据]
接下来,说明在本实施方式中使用的基于FMCW-LiDAR的测距及速度计测。对通过被频率调制的参照光与反射光的干涉而产生的干涉光的频率进行分析,从而进行基于FMCW-LiDAR方式的测距及速度计测。
图11A表示传感器200与对象物的距离一定的情况(例如两者静止的情况)下的参照光、反射光及干涉光的频率的时间变化的例子。在此,说明来自光源210的出射光的频率f以三角波状变化、且在频率增加的期间与频率减少的期间中的每单位时间的频率的变化率相同的情况下的例子。在以下的说明中,将频率增加的期间称为“向上啁啾期间”,将频率随着时间经过而减少的期间称为“向下啁啾期间”。在图11A中,点线表现参照光,虚线表现反射光,而粗实线表现干涉光。相对于参照光而言,来自对象物的反射光伴随着与距离相应的时间延迟。因此,在反射光的频率与参照光的频率之间,除了频率调制的折返时刻附近的时间之外,产生与距离相应的一定的差。干涉光具有相当于参照光与反射光的频率差的频率。由此,除了频率调制的折返时刻附近的时间之外,向上啁啾期间中的干涉光的频率f up与向下啁啾期间中的干涉光的频率f down相等。光检测器230输出表示干涉光的强度的检测信号。该检测信号被称为节拍信号,节拍信号的频率被称为节拍频率。节拍频率等于参照光与反射光的频率差。该频率差依赖于从传感器200到对象物的距离。由此,能够基于节拍频率计算从传感器200到对象物的距离。
在此,将光速设为c,将出射光的调制频率设为f FMCW,将出射光的频率调制的幅度(即最高频率与最低频数之差)设为Δf,将节拍频率设为f b(=f up=f down),并将从传感器200到对象物的距离设为d。调制频率f FMCW是出射光的频率调制的周期的倒数。距离d能够基于下式(1)计算。
d=c×f b/(Δf×f FMCW)×(1/4) (1)
图11B表示传感器200或者对象物正在移动且传感器200与对象物的相对速度一定的情况下的参照光、反射光及干涉光的频率的时间变化的例子。在图11B的例中,对象物以一定的速度接近于传感器200。在参照光与来自对象物的反射光之间,由于多普勒效应而频率产生偏移。在对象物正接近的情况下,反射光的频率比对象物静止的情况增大。反射光的频率所偏移的量依赖于对象物相对于传感器200的相对速度的在朝向传感器200的方向上的成分的大小。该情况下的节拍频率在向上啁啾期间与向下啁啾期间中不同。能够基于上述节拍频率之差计算对象物的速度。在图11B的例中,向下啁啾期间中的节拍频率f down比向上啁啾期间中的节拍频率f up高。相反地,在对象物从传感器200远离的情况下,反射光的频率比对象物静止的情况减小。在该情况下,向下啁啾期间中的节拍频率f down比向上啁啾期间中的节拍频率f up低。在该情况下,也能够基于上述节拍频率之差计算对象物的速度。
在此,将对象物相对于传感器200的相对速度的在朝向传感器200的方向上的成分设为v c,将出射光的波长设为λ,并将多普勒效应所引起的频率的偏移量设为f d。频率的偏移量f d由f d=(f down-f up)/2表现。在该情况下,能够基于下式计算速度成分v c
v c=f dλ/2=(f down-f up)λ/4 (2)
在v c为正的情况下,表示对象物在接近于传感器200的方向上移动。相反地,在v c为负的情况下,表示对象物在从传感器200远离的方向上移动。
像这样,多普勒效应对应于反射光的方向产生。即,多普勒效应由于从对象物朝向传感器200的方向上的速度成分而产生。因此,处理电路240通过基于检测信号的上述的运算,能够求出对象物相对于传感器200的相对速度的在朝向传感器200的方向上的成分。
图12是用于说明对象物相对于传感器200的相对速度的图。在图12中,在以传感器200的位置为原点(0,0,0)的极坐标系中,对象物30的位置由坐标表示。将对象物30相对于传感器200的实际的相对速度矢量设为v,将实际的相对速度矢量v的在朝向传感器200的方向上的成分设为v c。由作为FMCW方式的测距装置的传感器200计测的速度不是实际的相对速度矢量v,而是将相对速度矢量v投影至将传感器200与对象物30连结的直线上的成分v c。在保持如图12所示的相对速度的情况下,产生多普勒效应,参照光的频率与反射光的频率之间的关系成为如图11B所示的关系。相对于参照光的频率,反射光的频率产生与速度成分v c相应的偏移。因此,在向上啁啾期间与向下啁啾期间中产生频率差。基于该频率差,能够求出如图12所示的传感器200与对象物30之间的相对速度成分v c。像这样,在FMCW方式的LiDAR中计测的相对速度如图12所示,仅是将传感器200与对象物30连结的直线上的矢量成分。因此,在从传感器200观察时对象物30的移动方向与沿着上述的直线的方向不同的情况下,仅计测出对象物30的速度矢量之中的沿着上述的直线的方向上的成分作为相对速度。
图13是用于说明作为移动体的汽车在静止的传感器200之前横穿的情况下的速度计测的例子的图。在该例中,传感器200向水平方向出射光。在图13的中央的汽车的位置处,表示汽车的移动方向的速度矢量v与来自传感器200的光的出射方向正交,因此汽车相对于传感器200的相对速度为零(0)。在图13的左及右的汽车的位置处,相对速度矢量v具有沿着光的出射方向的成分v c,因此能够计测速度成分v c。关于图13的左及右的汽车的位置,即使汽车的速度是匀速,即速度矢量v是一定的,由传感器200计测的速度成分v c也不同。像这样,仅根据1个反射点的数据,无法求出传感器200与移动体的真实的相对速度矢量v。但是,在汽车匀速移动的情况下,通过取得多个(例如3个以上)的反射点处的速度成分v c的数据,能够估计传感器200与移动体的真实的相对速度矢量v。
本实施方式的传感装置100将包括从多个传感器200在特定的长度的时间区间中输出的多个反射点的位置信息及速度信息的数据汇总为帧并输出。反射点是在该时间区间中对来自光源210的光进行了反射的点,在本说明书中也称为“数据点”。本实施方式中的传感装置100生成包括与由以传感装置100的基准位置为原点的坐标系表现的各反射点的位置及速度相关的信息的输出数据并输出。传感装置100生成包括表示该点处的真实的相对速度矢量v或者沿着将该点与原点连结的直线的方向上的速度成分v c的信息的输出数据,作为与各反射点的速度相关的信息。传感装置100以真实的相对速度矢量v及速度成分vc中的哪一种形式输出速度信息,可以根据机型或者设定而不同。传感装置100也可以按照通过来自服务器500等外部装置的数据请求信号指定的形式输出速度信息。像这样,传感装置100中的处理电路110能够从处理电路110能够输出的多个数据形式中选择特定的数据形式,并生成包括以选择的特定的数据形式表现的速度信息的计测数据。处理电路110生成包括计测数据以及表示选择的特定的数据形式的识别信息的输出数据。输出数据由通信电路120发送至服务器500等其他装置。
图14是示意性地表示传感装置100所发送的输出数据的形式的一例的图。该例中的输出数据包括固定值、以及按每帧变动的传感器数据。固定值例如可以仅在数据列的最初或者最后输出。或者,固定值也可以按预先决定的每一定的时间或者每一定的帧数输出1次。该例中的固定值包括传感装置100的位置信息。位置信息例如可以是由各1字节表现纬度、经度、标高的合计3字节的信息。在固定值中,可以还包括表示传感装置100的朝向、即以传感装置100的位置为原点的进深方向的信息。传感装置100的方向例如可以由在图12所示的y轴方向上从原点离开1m的位置的纬度、经度、标高的3字节表现。图14所示的固定值也包括表示传感装置100所具备的传感器200的个数的信息。传感器200的个数例如可以由1字节表现。本实施方式中的固定值还包括表示传感装置100所输出的速度信息的形式的速度形式的信息作为识别信息。速度形式的信息表示速度信息是表现数据点的真实的相对速度矢量还是表现将数据点的真实的相对速度矢量投影至将传感装置100与数据点连结的直线上的成分,例如可以由1字节的码表现。传感装置100按预先决定的时间,将从1个以上的传感器200输出的传感器数据汇总输出。将其整体作为1帧。例如,在1秒钟输出30次数据的情况下,传感装置100的处理电路110将在1/30秒的时间内取得的传感器数据作为1帧的数据输出。
在图14所示的例中,各帧的输出数据包括:由1字节记述在该帧的期间中取得的点数的数据、以及该帧的每个点的数据集。每个点的数据集包括时刻、位置、速度的信息。时刻例如可以由包括年、月、日、时、分、秒等的信息的5字节的数据表现。各点的位置可以由以传感装置100的坐标系表现的3维的坐标值(例如3字节)表现。各点的速度具有固定值所包括的速度形式的信息所表示的形式,例如可以由3字节表现。各点的速度可以由表示从传感装置100观察时的该点的相对速度矢量的3维的值、或者表示将该点的相对速度矢量投影至朝向原点的方向而得到的成分的1维或3维的值表现。每个点的数据的集合以相当于在帧的开头记述的点数的量反复。在图14的例中,在点的总数为n的情况下,在帧的开头由1字节记述数值n。关于之后的帧也同样记述点数以及每个点的数据集。
如上述那样,处理电路110既可以输出在各点计测的速度成分的值,也可以输出各点相对于传感装置100的相对速度矢量的信息,来作为各点的速度信息。在输出各点的相对速度矢量的信息的情况下,处理电路110能够基于在多个点计测的速度成分的值,计算相对速度矢量。也可以替代输出各点的相对速度矢量的信息,而输出处于各点的位置处的对象物的移动速度(即,对象物相对于传感装置100的相对速度)的信息。在该情况下,同一对象物上的点的速度全部相同。能够不是针对点群数据的全部点都赋予速度信息并发送,而是针对具有相同速度信息的点汇总为1个簇,并针对1个簇仅记述1个速度信息。通过汇总为簇,能够削减要发送的数据量。
图15是表示将帧内的点按每个簇汇总并按每个簇记述速度信息的形式的一例的图。该例中的固定值与图14的例中的固定值同样。各帧的数据包括:表示该帧所包括的簇数的信息(例如1字节)、每个簇的信息、以及与未被包含在任何簇中的点相关的信息。每个簇的信息包括:簇的识别编号(例如1字节)、该簇的速度矢量(例如3字节)、该簇内的点数(例如3字节)、以及每个点的计测时刻(例如5字节)和位置(例如3字节)的信息。在记述了该帧内的全部簇的数据之后,记述与未被包含在任何簇中的点相关的信息。首先,记述表示之后的数据是与簇外的点相关的数据的码(例如1字节)、以及簇外的点数(例如1字节)。接下来,记述未被包含在簇中的点的计测时刻(例如5字节)和位置(例如3字节)。关于未被包含在簇中的点,即使在计测时得到了速度成分的信息,也无法确定处于点的位置处的对象物的实际的移动矢量。因此,在图15的例中,关于未被包含在簇中的点,不输出速度信息。但是,关于未被包含在簇中的点,也能够得到沿着将原点与该点连结的直线的方向上的速度成分的信息,因此也可以将未被包含在簇中的点的速度成分的信息包含在输出数据中。
此外,在图15的例中,作为针对数据整体的固定值,记述速度形式作为识别信息,但也可以与后述的图16所示的例子同样,按每帧记述速度形式。在按每帧记述速度形式的情况下,处理电路110从每帧的数据的开头,在记述帧内的每个点的位置等的区域之前,记述速度形式。在该情况下,取得了数据的服务器500按每帧判断速度信息的形式。
图16及图17是表示被发送的数据的别的表现的例子的图。在图16及图17所示的例中,使用了与作为适于通信的文件格式之一的XML文件同样的记述方式。在图16及图17的例中,在固定值的记述栏中,与图14及图15的例同样,记述传感装置100的位置、方向及传感器数,其后记述每帧的信息。在图14及图15所示的例中,按每个点将详细的时刻信息原样记述。相对于此,在图16及图17的例中,作为每帧的信息,记述该帧的基准时刻,而将每个点的详细的时刻作为表现与上述的基准时刻之间的差量的时刻信息的码来记述。仅记述为了记述全部点的详细时刻所需的数量的码。像这样,通过与基准时刻的差量来表现各点的计测时刻,并用码来表现时刻的差量,能够大为削减每个点的详细时刻的信息量。特别是,在由多个传感器200同时计测的点较多的情况下,信息量的削减效果提高。
图16与图14的例子同样,表示了按每个点记述速度信息的数据形式的例子。在图16的例中,按每帧记述表示速度信息的形式的码作为识别信息。即,在该例中,能够按每帧选择是输出各点相对于传感装置100的相对速度矢量v的信息,还是输出各点的速度成分vc的信息。作为每帧的数据,输出帧内的点数。接下来,按每个点记述位置、时刻码、速度矢量。速度矢量可以作为以各点的位置为起点的矢量由3维记述。此外,在速度形式表现了各点的速度成分vc的情况下,各点的速度信息不限于3维,也可以由1维的值表现。
图17表示了如图15所示的例子那样按每个簇记述速度的数据形式的例子。在图17的例中,速度矢量通过每个簇的速度的记述以及每个点的码的记述来表现。与图16的例子同样,接续于固定值,按每帧记述基准时刻、时刻信息的码、以及与码对应的时刻差量。接下来,记述通过将该帧的点群聚类而得到的多个簇各自的速度的码、以及与码对应的速度矢量。在该例中,由于在每帧的数据之中记述有簇速度,因此能够判别速度数据表示与簇对应的物体相对于传感装置100的相对速度矢量。接续于簇速度的信息,记述该帧内的点数,并记述各点的位置、时刻码和簇速度码。由此,能够发送包括点群数据的各点的位置信息、详细的时刻信息、以及速度信息的数据。通过利用每个簇的速度码记述速度矢量,能够削减信息量。
[1-3.传感装置的动作]
接下来说明传感装置100的动作的具体例。
图18是表示传感装置100的动作的一例的流程图。传感装置100通过执行图18所示的步骤S1100至S2000的动作,生成1帧量的距离数据及点群数据。在连续生成多个帧量的数据的情况下,传感装置100反复进行图18所示的步骤S1100至S2000的动作。以下,说明各步骤的动作。
传感装置100如果从未图示的输入机构接受了开始信号的输入,则开始动作。
(步骤S1100)
处理电路110判断是否从输入机构输入了结束信号。在输入了结束信号的情况下,传感装置100结束动作。在未输入结束信号的情况下,前进至步骤S1200。
(步骤S1200)
处理电路110判断作为取得1帧数据的时间而预先决定的帧期间是否结束。在帧期间结束的情况下,前进至步骤S1500。在帧期间未结束的情况下,前进至步骤S1300。
(步骤S1300)
处理电路110判断是否从1个以上的传感器200中的任一个取得了数据。在处理电路110从传感器200中的任一个取得了数据的情况下,前进至步骤S1400。在处理电路110从任一个传感器200都未取得数据的情况下,返回至步骤S1200。
(步骤S1400)
处理电路110使从传感器200取得的传感器数据、与生成了传感器数据的传感器200相关的信息、以及数据的取得时刻存储至存储装置130。传感器数据例如可以包括:表示传感装置100的坐标系中的反射点的位置的信息、以及表示反射点相对于传感器200的相对速度矢量的沿着将传感器200与反射点连结的直线的成分的信息。在步骤S1400之后,返回至步骤S1200。
通过反复进行步骤S1200至步骤S1400,传感装置100能够按一定的帧期间(例如1/30秒等),存储由1个以上的传感器200计测的点群的位置及相对速度成分的信息。
图19是表示存储装置130中记录的信息的一例的图。其记录有在帧期间中从1个以上的传感器200发送的与点群相关的信息。该例中的存储装置130存储:用于确定取得了数据的传感器200的传感器ID、作为传感器200所计测的点的标识符的点ID、计测的点的位置、计测的时刻、以及沿着将计测的点与传感器200连结的直线的方向上的该点的相对速度成分。在图19的例中,相对速度成分作为由传感装置100的坐标系表现的3维矢量的信息记录。从各传感器200的坐标系向传感装置100的坐标系的转换既可以由传感器200的处理电路240进行,也可以由传感装置100的处理电路110进行。进而,存储装置130还存储用于识别通过在步骤S1500中进行的点群的聚类处理而决定的与点对应的簇的簇ID。
(步骤S1500)
如果结束了取得1帧量的数据,则处理电路110基于存储装置130中记录的在该帧中计测的点群中的各点的位置信息,对点群进行聚类。例如,处理电路110将处于较近的位置的多个点作为1个簇,而将点群分类为1个以上的簇。处理电路110针对生成的各簇设定簇ID。处理电路110如图19所示,针对存储装置130中记录的各点的数据,使包含该点的簇的簇ID与其建立关联地存储至存储装置130。
(步骤S1600)
处理电路110判断是否针对步骤S1500中生成的全部簇都结束了步骤S1700及S1800的处理。在针对全部簇的处理完成的情况下,前进至步骤S1900。在存在未处理的簇的情况下,前进至步骤S1700。
(步骤S1700)
处理电路110在步骤S1500中生成的簇之中,从相对速度矢量的计算尚未结束的簇之中选择1个簇。
(步骤S1800)
处理电路110基于在步骤S1700中选择的簇所包含的多个点的相对速度成分的信息,计算对簇内的全部点共通的相对速度矢量。
对簇内的全部点共通的相对速度矢量,例如可以基于在同一簇内的3个以上的数据点处计测的速度成分矢量计算。与图12所示的例子同样,将在簇内的数据点处计测的速度成分矢量设为vc,并将对簇内的数据点共通的相对速度矢量设为v。速度成分矢量vc是将相对速度矢量v投影至各数据点的位置矢量的方向而成的矢量。因此,下式(3)成立。
[数1]
|vc|2=|v·vc| (3)
处理电路110通过针对上式(3)代入3点以上的数据点处的速度成分矢量vc,能够估计对簇内的数据点共通的相对速度矢量v。关于步骤S1800的详细处理后述。
通过反复进行步骤S1600至步骤S1800,处理电路110能够针对在该帧期间内计测的点群数据的全部簇计算相对速度矢量v。相对速度矢量v表示与该簇对应的对象物相对于传感装置100的相对速度。处理电路110如果计算出簇的相对速度矢量v,则使存储装置130存储该信息。
图20是表示存储装置130所存储的与簇相关的信息的一例的图。在图20的例中,按用于识别在步骤S1500中生成的簇的每个簇ID,记录在步骤S1800中计算的相对速度矢量。
(步骤S1900)
如果针对全部簇都决定了相对速度矢量,则处理电路110生成该帧的输出数据。处理电路110例如生成图15或者图17所例示的形式的输出数据。或者,处理电路110也可以生成图14、图16所例示的形式的输出数据。其中,固定值在传感装置100的动作开始时或者按每特定的帧数输出。在通常的帧的数据中,包括按每帧变动的信息,而不包括固定值。
在采用图15所例示的形式的情况下,处理电路110在步骤S1500中存在不属于任何簇的数据点的情况下,生成包括不属于簇的点的位置和计测时刻的输出数据。由于不属于簇的点的实际的速度未知,因此在图15的例中,在输出数据中不包括这些点的速度的信息。处理电路110也可以将不属于簇的点的速度成分v c的信息包含在输出数据中。
在采用图14或者图16所例示的形式的情况下,处理电路110生成将该点所属的簇的相对速度矢量的信息作为各点的速度信息的输出数据。处理电路110例如能够参照图19及图20所示的数据,取得各点的位置信息、该点所属的簇、以及该簇的相对速度矢量的信息。由此,能够生成包括各点的位置信息及各点的相对速度矢量的信息的输出数据。像这样,处理电路110基于多个反射点各自的位置信息,将多个反射点分为1个以上的簇,并基于各簇所包括的3个以上的反射点的速度信息,按每个簇决定1个速度矢量。处理电路110将表示各簇的速度矢量的信息包含在计测数据中,并生成包括该计测数据的输出数据。
(步骤S2000)
处理电路110将步骤S1900中生成的1帧量的输出数据向通信电路120输出。通信电路120经由网络600向服务器500发送输出数据。在发送数据后,返回至步骤S1100。
通过步骤S1100至步骤S2000的动作,传感装置100能够生成包括该帧的时间内计测的点群的位置、时刻及速度的信息的通信用数据,并向服务器500发送。通过反复进行上述的动作,传感装置100能够按每帧将包括各点的位置信息及速度信息的计测数据向服务器500发送。
[1-3-1.速度矢量估计动作]
接下来,说明步骤S1800中的估计对簇内的全部点共通的相对速度矢量的详细动作。
图21是表示步骤S1800的更详细的动作的流程图。图21所示的步骤S1800包括步骤S1810及S1820。以下,说明各步骤的动作。
(步骤S1810)
处理电路110针对在步骤S1700中选择的簇,在簇内的数据点之中,选择速度成分的大小非0的3点。3点例如可以基于距簇的重心的距离选择。
图22A及图22B表示对3点进行选择的基准的例子。如图22A所示,处理电路110也可以从距簇重心为预先决定的距离范围的数据点中随机地选择3点。存在靠近簇边界的点包含大量噪声的情况、或者簇边界周边成为与其他簇的边界区域而发现与其他簇的数据混合存在的情况等,靠近簇的边界的数据点的可靠性低的情况。在这样的情况下,从距簇重心处于一定的距离内的数据点选择3点是有效的。或者,如图22B所示,也存在预先决定的距离范围是从簇重心离开一定距离以上的范围的情况。在仅根据簇重心附近的数据则速度成分的差异小而难以估计的情况下,可以采用图22B所示的选择方法。为了在簇内选择各个点处于相离的位置的3个数据点,也可以选择距重心处于一定距离的范围而数据点彼此的距离为一定以上的3点。通过这样选择,在簇内存在速度的不均的情况下,能够估计被平均化的相对速度矢量。
(步骤S1820)
处理电路110根据在步骤S1810中选择的3个数据点的速度成分矢量,基于上式(3)计算共通的相对速度矢量v。如图23所示,如果将3个数据点处的速度成分矢量设为vc1、vc2、vc3,则以下的联立方程式成立。
[数2]
|vc1|2=|v·vc1|
|vc2|2=|v·vc2|
|vc3|2=|v·vc3|
处理电路110通过使用已知的速度成分矢量vc1、vc2、vc3对上述的联立方程式求解,能够求出共通的相对速度矢量v。
此外,在该例中选择了3点,但选择的点也可以是4点以上。在选择4点以上的情况下,作为在簇内共通的相对速度矢量而被估计的矢量不唯一确定。在该情况下,也可以采用通过每3点的组合来估计的矢量的平均值或者利用平均以外的方法导出的代表值,作为共通的相对速度矢量。
处理电路110也可以替代图21所示的动作,而进行图24所示的动作。图24是表示步骤S1800中的簇的相对速度的估计处理的其他例的流程图。图24的例中的步骤S1800包括步骤S1830至S1880。以下,说明各步骤的动作。
(步骤S1830)
处理电路110将步骤S1700中选择的簇分割为多个区域。例如,如图25所示,处理电路110通过形成以相互接近的3个以上的点作为同一组的多个组,能够将簇分割为多个区域。
(步骤S1840)
处理电路110判断是否针对在步骤S1830中分割出的全部区域都完成了步骤S1850至S1870的处理。在仍有未处理的分割区域的情况下,前进至步骤S1850。在全部区域中处理已结束的情况下,前进至步骤S1880。
(步骤S1850)
处理电路110在步骤S1830中分割出的区域之中,选择尚未进行处理的区域中的1个。
(步骤S1860)
处理电路110在步骤S1850中选择的区域内的数据点之中,选择速度成分的大小非0的3个数据点。
(步骤S1870)
处理电路110使用在步骤S1860中选择的3点的速度成分矢量,对上述的联立方程式求解,从而计算对3点共通的相对速度矢量。
通过反复进行步骤S1840至S1870,能够针对簇整体的数据点的分布均匀地估计相对速度矢量。
(步骤S1880)
如果针对全部区域完成了相对速度矢量的估计处理,则处理电路110生成在步骤S1840至S1870中估计的各区域的相对速度矢量的平均的矢量,作为代表簇整体的相对速度矢量。
此外,在图24所示的例中,将簇分割为多个区域并选择各区域内的3点来估计相对速度矢量,但也可以使用其他方法。例如,也可以使用从相互接近的3个区域中各选择1点、或者从相互不接近的区域中选择3点等选择方法。通过根据不同区域的3点估计相对速度矢量,能够避免由于数据点过近而难以估计。
[1-3-2.传感装置的动作的其他例]
在图18所示的例中,处理电路110针对1个帧内的点群进行基于距离或位置的聚类处理,从而将点群分割为每个对象物的簇,并按每个簇计算相对速度矢量。在本例中,在以图14至图16中的某一个形式生成输出数据的情况下,作为速度形式的信息,记述表示处于数据点的位置处的物体相对于传感装置100的相对速度矢量的码。图15或者图17所示的形式由于是记述点群的簇的形式,因此可以说是适于进行图18所示的动作的传感装置100的数据形式。
另一方面,在图14或者图16所示的形式中,不记述簇,而按每个数据点记述速度信息。因此,在使用了图14或者图16所示的形式的情况下,作为速度形式,也可以指定由传感器200计测的速度成分、即沿着将传感器200与数据点连结的直线的速度成分。在该情况下,作为各点的速度信息,可以记述表示各点的相对速度矢量的沿着上述直线的成分的矢量。在图16所示的形式中,每个数据点的信息以位置为3维、时刻为1维及速度矢量为3维的方式记述。其中,关于速度矢量,能够记述由传感器200直接计测的沿着将传感器200与数据点连结的直线的速度矢量成分。
以下,说明按照图14或者图16所示的形式,发送沿着将传感器200与数据点连结的直线的速度矢量成分作为各数据点的速度信息的情况下的传感装置100的动作的例子。
图26是表示发送沿着将传感器200与数据点连结的直线的速度矢量成分的信息作为各数据点的速度信息的传感装置100的动作的例子的流程图。在该流程图中,步骤S1100至S1400的动作与图18所示的对应步骤的动作相同,因此省略关于这些步骤的说明。
图27是表示在步骤S1400中记录于存储装置130的信息的例子的图。该例中记录的信息与图19所示的信息同样。但是,在图26的例中,在步骤S1200中判定为帧期间已结束的情况下,不进行点群的聚类处理,而前进至步骤S1910中的数据生成处理。因此,与图19的例子不同,在记录于存储装置130的信息中不包括簇ID的信息。
在步骤S1910中,处理电路110生成该帧的输出数据。处理电路110例如生成图14或者图16所例示的形式的输出数据。处理电路110从存储装置130取得图27所示的各数据点的位置信息及相对速度成分的信息,并生成包括这些信息的输出数据。在接下来的步骤S2000中,通信电路120将输出数据向服务器500发送。由此,服务器500能够取得如图14或者图16所示的包括各数据点的位置及速度成分的信息的数据。
如上,本实施方式中的传感装置100例如能够通过以下的(a)或者(b)的方法,生成向服务器500发送的数据。
(a)处理电路110进行点群的聚类,将各簇与1个物体建立对应,设为同一簇所包含的点具有相同的速度,计算传感装置100相对于与各簇对应的物体的相对速度矢量,并生成如图14至图17中的某一个所例示的包括位置信息及相对速度矢量的信息的点群数据。
(b)处理电路110生成如图14或者图16所例示的由传感器200计测的包括点群的各点的位置信息、以及点群的各点的相对速度成分即沿着将传感器200的坐标原点与该点连结的直线的相对速度成分的信息在内的点群数据。
像这样,输出数据所包括的各点的速度信息可以是表示该点的实际的相对速度矢量的信息、或者表示沿着将传感装置100所设定的坐标原点与该点连结的直线的方向上的该点的相对速度成分的信息。处理电路110也可以构成为作为速度信息对上述的2个种类的速度数据进行选择并生成输出数据。处理电路110另外也可以构成为能够从如图14至图17所例示的多个形式之中选择输出数据的形式。输出数据的形式及输出数据所包括的速度数据的种类也可以依照来自服务器500或者其他输入装置的指定来选择。或者,传感装置100也可以基于从相机等其他种类的传感器或输入装置取得的信息、或者预先决定的时刻等,选择输出数据所包括的速度数据的种类。在根据帧而变更速度数据的种类的情况下,处理电路110例如也可以在每帧的数据的开头或者作为对多个帧共通的固定值,记述表示速度数据的种类的码。表示速度数据的种类的码例如可以由1字节(8比特)记述。
[1-4.服务器的构成]
接下来,说明服务器500的构成例。服务器500如参照图1至图6说明的那样,从1台以上的传感装置100接收数据。服务器500确认所接收的数据的形式,并进行与形式相应的预处理。
图28是表示服务器500的构成例的图。该服务器500包括输入装置510、输入装置510、输出装置520、处理装置530、存储装置540、通信装置550。
输入装置510是受理用于请求特定的时间及空间中的详细的道路状况的信息的输入的装置。输入装置510例如可以包括键盘或者基于语音的字符输入机构。输入装置510也可以包括使用户能够指定地图上的特定的地点的指示设备。
输出装置520是与使用输入装置510输入的针对特定的时间及空间中的详细的道路状况的信息的请求相应地输出详细的道路状况信息的装置。道路状况信息例如可以包括固定体400及移动体300的配置、以及与移动体300的移动速度相关的信息。输出装置520例如可以包括显示器。显示器例如显示道路环境的地图,并在地图上描绘固定体400及移动体300。或者,输出装置520也可以是对特定的空间内的固定体和移动体进行3维显示的3维显示器或者全息显示装置。
通信装置550是经由网络600与各传感装置100进行通信的装置。通信装置550所接收的数据被发送至处理装置530。
处理装置530例如是包括CPU或GPU等1个以上的处理器以及存储器的装置。存储器存放由处理器执行的计算机程序。处理装置530的处理器由通信装置550从1个以上的传感装置100取得包括计测数据的输出数据,判别计测数据的数据形式,并向计测数据适用与判别出的数据形式相应的运算处理,从而生成物体的位置信息及速度信息。处理装置530例如进行针对输出数据所包括的点群数据的坐标转换、各点的从相对速度向绝对速度的转换、详细的时刻比对等处理,并使这些信息存储至存储装置540。处理装置530另外与从输入装置510输入的针对特定的时间及空间中的详细的道路状况的信息的请求相应地,从存储装置540取得相应的时刻及区域的数据,并向输出装置520发送指示输出的信号。
存储装置540是包括半导体存储介质(例如存储器)、磁性存储介质或者光学存储介质等1个以上的存储介质的装置。存储装置540存储点群中的各点的计测时刻、位置及速度的信息。
图29是示意性地表示存储装置540所存储的信息的一例的图。在图29的例中,按点群的每个数据点,将其被取得的时刻、服务器500的坐标系中的位置、以及速度矢量的信息记录于存储装置540。时刻例如可以包括年、月、日、时、分、秒的信息。时刻也可以以毫秒(ms)或者微秒(μs)为单位来记录。
[1-5.服务器的动作]
图30是表示服务器500的动作的一例的流程图。图30表示如图14或者图15所例示的那样,在从传感装置100发送的数据中包括速度形式的信息作为固定值、且被指定了全部数据的速度信息的形式的情况下的服务器500的动作的例子。该例中的服务器500的处理装置530执行图30所示的步骤S3100至S3900的动作。服务器500如果从输入装置510接受了开始信号则开始动作。以下,说明各步骤的动作。
(步骤S3100)
处理装置530判定是否从输入装置510输入了结束信号。在输入了结束信号的情况下,服务器500结束动作。在未输入结束信号的情况下,前进至步骤S3200。
(步骤S3200)
处理装置530判定通信装置550是否从传感装置100接收到数据。在接收到数据的情况下,前进至步骤S3300。在未接收到数据的情况下,反复进行步骤S3200直到接收到数据为止。步骤S3200的动作可以按服务器500的点群处理的每个时间单位进行。例如,可以按照预先决定的一定的时间间隔进行步骤S3200的处理。有时将预先决定的一定的时间间隔称为服务器500的处理帧。
(步骤S3300)
处理装置530读取在步骤S3200中取得的数据的固定值所包括的速度信息的形式,判定所取得的数据中包括的速度信息是表现物体相对于传感装置100的相对速度矢量,还是表现沿着将传感器200与数据点连结的直线的方向上的相对速度成分矢量。在速度信息表现物体相对于传感装置100的相对速度矢量的情况下,前进至步骤S3800。在速度信息表现沿着将传感器200与数据点连结的直线的方向上的相对速度成分矢量的情况下,前进至步骤S3400。
(步骤S3400)
处理装置530针对取得的点群数据,基于位置或者距传感装置100的距离对数据点进行聚类,将多个数据点分类或者汇总为1个以上的簇。
(步骤S3500)
处理装置530判定是否针对在步骤S3400中生成的全部簇都结束了速度矢量的估计处理。在仍有未处理的簇的情况下,前进至步骤S3600。在针对全部簇都结束了速度矢量的估计处理的情况下,前进至步骤S3800。
(步骤S3600)
处理装置530在步骤S3400中生成的簇之中,从尚未结束速度矢量的估计的簇之中选择1个簇。
(步骤S3700)
处理装置530基于在步骤S3600中选择的簇中的多个点的相对速度成分矢量,估计对簇内的全部点共通的相对速度矢量。估计的方法与图18所示的步骤S1800中的方法同样。
通过反复进行步骤S3500至步骤S3700,能够针对在步骤S3400中生成的全部簇估计每个簇的相对速度矢量。
(步骤S3800)
处理装置530将步骤S3200中取得的数据中的各点的位置、以及各点所属的簇的相对速度矢量,转换为由服务器500的坐标系表现的数据。可以基于在从各传感装置100发送的数据中作为固定值而包括的表示传感装置100的位置及方向的信息,进行坐标转换。
(步骤S3900)
处理装置530使在步骤S3800中坐标转换后的各点的位置及速度的信息存储至存储装置540。处理装置530例如图29所示,使各点的位置及速度的信息与计测的时刻建立关联地存储至存储装置540。
通过反复进行步骤S3100至步骤S3900的处理,服务器500能够从传感装置100取得计测数据,将由服务器500的坐标系表现的每个点的位置及速度的信息与详细的时刻的信息一起记录。在本实施方式中,如图1及图2所例示的那样,传感装置100被设置于固定体400,传感装置100与数据点的相对速度表现数据点处的物体的速度。因此,服务器500将数据点的位置信息以及该位置处的物体的速度信息与详细的时刻信息一起积蓄。服务器500不限于从被设置于固定体400的传感装置100取得计测数据,也可以从被设置于移动体的传感装置取得计测数据。在该情况下,服务器500通过取得搭载有传感装置的移动体自身的位置信息和速度信息,并基于这些信息进行坐标转换,能够计算各数据点的位置及速度。或者,服务器500也可以基于从对搭载有传感装置的移动体进行测距的固定体上设置的传感装置发送的计测数据,进行用于确定该移动体的位置及速度的处理,并基于该位置及速度,对从移动体的传感装置取得的计测数据进行坐标转换。
在上述的例中,服务器500对从1个传感装置100接收的计测数据进行处理。在系统包括多个传感装置100的情况下,服务器500有时从多个传感装置100在各种定时接收形式不同的计测数据。以下,说明这样的构成中的服务器500的动作的例子。
图31是表示服务器500从多个传感装置100在不同定时接收形式不同的计测数据的情况下的处理装置530的动作的例子的流程图。在图31所示的例中,也与图30所示的例子同样,在从各传感装置100发送的数据中,包括速度形式的信息作为固定值,且被指定了全部数据的速度信息的形式。处理装置530执行图31所示的步骤S4100至S5300的动作。服务器500如果从输入装置510接受了开始信号则开始动作。以下,说明各步骤的动作。
(步骤S4100)
处理装置530判定是否从输入装置510输入了结束信号。在输入了结束信号的情况下,服务器500结束动作。在未输入结束信号的情况下,前进至步骤S4200。
(步骤S4200)
处理装置530判定通信装置550是否从传感装置100接收到数据。在接收到数据的情况下,前进至步骤S4300。在未接收到数据的情况下,反复进行步骤S4200直到接收到数据为止。步骤S4200的动作可以按服务器500的点群处理的每个时间单位进行。例如,可以按照预先决定的一定的时间间隔进行步骤S3200的处理。
(步骤S4300)
处理装置530将步骤S4200中取得的数据中的各数据点的位置及速度矢量的信息转换为由服务器500的坐标系表现的数据。速度矢量的信息例如可以由以数据点的位置为起点的速度矢量的终点所表示的坐标值表现。
(步骤S4400)
处理装置530读取在步骤S4200中取得的数据的固定值所包括的速度信息的形式,判定所取得的数据中包括的速度信息是表现物体相对于传感装置100的相对速度矢量,还是表现沿着将传感器200与数据点连结的直线的方向上的相对速度成分矢量。在速度信息表现物体相对于传感装置100的相对速度矢量的情况下,前进至步骤S5300。在速度信息表现沿着将传感器200与数据点连结的直线的方向上的相对速度成分矢量的情况下,前进至步骤S4500。
在图29中,作为存储装置540所存储的信息,仅例示了时刻、位置、速度。除了这些信息之外,存储装置540也可以如图32所示,还存储表示速度信息是否为将传感器与数据点连结的直线上的相对速度成分的信息或者标记。存储装置540也可以除了图32所示的信息之外,还按每个数据点存储各数据点的坐标转换所需的传感装置100的位置及方向等信息。在图31的例中,处理装置530将从多个传感装置100取得的点群汇总并聚类。在同一帧内相继接收到来自多个传感装置100的信息的情况下,如果按每次接收针对帧内的全部数据点进行处理,则根据数据点而可能成为多次处理的对象。于是,在本实施方式中,以一定的处理帧的时间单位对数据进行处理。在存储装置540中,作为供处理装置530进行处理的临时存储数据,也可以记录正在处理中的点群数据。在该情况下,在存储装置540所存储的数据之中,包括数据点的簇的相对速度矢量的信息被作为速度信息记述的数据点的信息、与将进行了计测的传感器与数据点连结的直线上的相对速度成分矢量的信息被作为速度信息记述的数据点的信息有时混合存在。另外,在将从多个传感装置100接收的点群汇总的情况下,按每个传感装置100,速度信息的种类有可能不同。在这样的情况下,如果在存储装置540中记录着用于判别速度信息的标记、或者表示未针对速度信息进行处理的标记,则速度信息的判别也变得容易进行。
(步骤S4500)
处理装置530针对在步骤S4300中坐标转换后的点群,与存储装置540中记录的同一帧内的从其他传感装置100取得的点群中的数据点合并而进行聚类处理。处理装置530基于各数据点的位置,将步骤S4300中坐标转换后的点群与存储装置540中记录的在该帧的时间内取得的点群合并,并分割为1个以上的簇。
(步骤S4600)
处理装置530判断是否针对在步骤S4500中生成的点群的全部簇都结束了对簇共通的速度矢量的估计处理。在针对全部簇都估计了对簇共通的速度矢量的情况下,前进至步骤S5300。在步骤S4500中生成的簇之中存在尚未进行对簇共通的速度矢量的估计处理的簇的情况下,前进至步骤S4700。
(步骤S4700)
处理装置530在步骤S4500中生成的簇之中,从尚未计算对簇所包括的数据点共通的速度矢量的簇之中,选择1个簇。
(步骤S4800)
处理装置530针对在步骤S4700中选择的簇,判定是否存在已经计算的速度矢量信息。处理装置530针对该簇所包括的数据点,判定与该数据点对应的速度信息是表现将传感器与该数据点连结的直线上的相对速度成分矢量,还是表现该数据点处的对象物的速度矢量。在簇内的全部数据点作为速度信息表现将传感器与数据点连结的直线上的相对速度成分矢量的情况下,即在没有对簇的速度矢量进行估计的情况下,前进至步骤S5100。在针对1个以上的数据点,存在被估计为对簇所包括的数据点共通的速度矢量的速度矢量信息的情况下,前进至步骤S4900。
(步骤S4900)
处理装置530判断针对步骤S4700中选择的簇已经计算的速度矢量,与对应于该簇内的其他数据点的速度矢量或者相对速度成分矢量是否矛盾。
作为矛盾的判断方法,例如在簇内的多个数据点处已经计算的速度矢量之间的差为预先决定的基准以上的情况下,能够判断为存在矛盾。矢量之差例如可以是3维的各坐标值之差的绝对值之和。或者,例如也可以基于通过针对矢量的朝向之差赋予大的权重而针对矢量的大小之差赋予小的权重而计算出的矢量之差,判断有无矛盾。另外,矛盾的判断方法也可以是,在对应于簇内的1个以上的数据点的相对速度成分矢量的大小与在簇内的1个以上的数据点处已经计算的速度矢量的在与该相对速度成分矢量相同的方向上的成分的大小之差为基准值以上的情况下,判断为存在矛盾。通过这样的方法,例如在位置接近而速度不同的对象物被汇总为1个簇的情况下,能够检测出矛盾。
在与该簇内的数据点对应的速度矢量之间识别出矛盾的情况下,前进至步骤S5000。在与该簇内的数据点对应的速度矢量之间未识别出矛盾的情况下,前进至步骤S5200。
(步骤S5000)
处理装置530基于数据的属性或者通过聚类,将该簇内的数据点分割为多个组。分割例如可以基于与各数据点建立了对应的时刻进行。在同一时刻其空间位置不重叠的与多个对象物对应的多个数据点,有时由于时刻的偏差而在同一空间内以重叠的状态被测距。在这样的情况下,通过基于测距的详细的时刻对数据点进行分割,消除多个速度不同的对象物在同一空间内重叠或者接近的状态。作为其他分割方法的例子,能够采用按针对数据点进行了测距的每个传感装置100进行分割的方法、或者基于步骤S5000的处理时刻时的速度信息的形式对点群进行分割的方法等。
(步骤S5100)
处理装置530估计被分割而成的点群的每个组或者簇的共通的速度矢量。估计的方法与图30所示的步骤S3700的方法同样。此外,在分割而成的组或者簇之中,针对已经计算出共通的速度矢量的组或者簇,也可以不重新估计速度矢量,而将现有的速度矢量作为该组或者簇的共通速度矢量。在步骤S5100的动作之后,返回至步骤S4600。
(步骤S5200)
在针对选择的簇已经估计的速度矢量与其他速度信息之间没有矛盾的情况下,处理装置530将已经估计的速度矢量设定为对该簇共通的速度矢量。在步骤S5200的动作之后,返回至步骤S4600。
通过反复进行步骤S4600至步骤S5100或步骤S5200的动作,能够将在该帧期间中取得的点群分割为簇或者组,按分割而成的每个簇或者组估计共有的速度矢量,并生成点群的每个数据点的速度矢量的信息。
(步骤S5300)
处理装置530使坐标转换后的各点的位置及速度的信息存储至存储装置540。处理装置530例如图29所示,使各点的位置及速度的信息与计测的时刻建立关联地存储至存储装置540。
通过反复进行步骤S4100至步骤S5300的处理,能够将从多个传感装置100中的各个传感装置100取得的点群数据转换为由服务器500所设定的坐标系表现的数据,并按每个数据点将位置、详细的时刻及速度矢量建立对应地存储。
在图31所示的例中,按作为服务器500的处理的时间间隔的每个帧期间执行步骤S4200。由此,在同一帧期间内不会进行多次聚类,计算的效率提高。
接下来,说明服务器500从传感装置100接收如图16或者图17所例示的按每帧包括表示速度信息的形式的ID信息的数据的情况、或者接收包括簇ID和每个簇的速度信息的数据的情况下的动作的例子。
图33是表示服务器500从传感装置100接收如图16或者图17所例示的数据的情况下的处理装置530的动作的一例的流程图。在该例中,处理装置530在取得数据后,不是判断对全部数据共通的速度信息的形式,而是按每帧判断速度信息的形式。图33所示的流程图在图30所示的流程图中的步骤S3200与步骤S3300之间追加了步骤S6100。以下,说明与图30所示的动作的不同点。
(步骤S6100)
如果从传感装置100取得了计测数据,则处理装置530判断是否针对取得的计测数据的全部帧都结束了每帧的处理。在存在未处理的帧的情况下,前进至步骤S3300。在全部帧的处理都结束的情况下,前进至步骤S3900。
步骤S3300至步骤S3900的动作与图30所示的动作同样。在图33的例中,在步骤S3800之后,返回至步骤S6100,按每帧执行步骤S3300至S3800的处理,直到针对全部帧结束处理为止。如果针对全部帧的处理都结束,则前进至步骤S3900,并记录数据。
通过反复进行步骤S6100至步骤S3800,处理装置530能够与按每帧指定的形式相应地,按每帧对各点的速度信息进行处理,转换为按每个数据点包括由服务器500的坐标系表现的速度矢量的信息的点群数据,并与详细的时刻信息建立关联并记录。
图34是表示处理装置530的动作的其他例的流程图。图34所示的流程图除了在步骤S4300与步骤S4400之间追加了步骤S6100这点之外,与图31所示的流程图同样。在该例中,也与图33的例子同样,处理装置530在取得数据后,不是判断对全部数据共通的速度信息的形式,而是按每帧判断速度信息的形式。以下,说明与图31所示的例子的不同点。
(步骤S6100)
在步骤S4300中的坐标转换处理之后,处理装置530判断是否针对全部帧都结束了每帧的处理。在存在未处理的帧的情况下,前进至步骤S4400。在全部帧的处理都结束的情况下,返回至步骤S4100。
步骤S4400至S5300的动作与图31中的动作同样。在图34的例子中,在步骤S5300之后返回至步骤S6100。通过反复进行步骤S6100至步骤S5300,处理装置530能够与按每帧指定的形式相应地,按每帧对各点的速度信息进行处理,转换为按每个数据点包括由服务器500的坐标系表现的速度矢量的信息的点群数据,并与详细的时刻信息建立关联并记录。
接下来,说明服务器500接受信息请求的输入并输出特定的时间和空间中的道路状况的信息的动作的例子。
图35是表示服务器500所进行的输出道路状况的信息的动作的一例的流程图。该例中的服务器500执行图35所示的步骤S7000至S7400的动作。服务器500接受从输入装置510输入的开始信号并开始动作。以下,说明各步骤的动作。
(步骤S7000)
处理装置530判定是否从输入装置510输入了结束信号。在输入了结束信号的情况下,服务器500结束动作。在未输入结束信号的情况下,前进至步骤S7100。
(步骤S7100)
处理装置530判定是否从输入装置510输入了信息请求信号。在输入了信息请求信号的情况下,前进至步骤S7200。在未输入信息请求信号的情况下,反复进行步骤S7100直到输入信息请求信号为止。
信息请求信号是指定特定的时间范围和特定的空间范围的信号。例如,可以通过在由用户等指定的特定的日期时间及时刻的前后设定预先决定的一定的时间长度来决定时间范围等方法,由输入装置510确定时间范围。或者,也可以依照由用户等输入的时间范围的开始时刻和结束时刻决定时间范围。关于确定空间范围,例如可以采用由用户输入纬度及经度或者利用字符串输入地址等来指定特定的地点,并将该地点的周边区域决定为空间范围等方法。或者,也可以设为能够由用户指定地图上的区域从而指定空间范围。
(步骤S7200)
处理装置530基于在步骤S7100中输入的信息请求信号所表示的时间范围和空间范围,取得存储装置540所记录的点群数据之中的、计测的时刻被包含在输入的时间范围内而且位置坐标被包含在输入的空间范围内的点的数据。
(步骤S7300)
处理装置530基于在步骤S7200中取得的数据中的各点的位置信息,生成用于以3维显示点群的显示数据。例如,处理装置530也可以生成将步骤S7200中取得的数据中的各点的速度矢量作为以各点的位置为起点的矢量以3维表现的显示数据。这样的显示数据表现被指定的时间范围及空间范围中的物体的分布及其运动。
(步骤S7400)
处理装置530将步骤S7300中生成的显示数据例如向显示器等输出装置520输出。输出装置520基于显示数据,显示表示特定的场所中的物体的3维分布的图像。在被指定的时间范围长的情况下,也可以生成动态图像的数据作为显示数据。在步骤S7400的动作之后,返回至步骤S7000。
在图28所示的例中,服务器500具备输入装置510及输出装置520,但输入装置510及输出装置520也可以是服务器500的外部的要素。例如图1至图4所示,服务器500也可以不具备输入装置510及输出装置520。
接下来,说明图2及图4所示的系统中的服务器500基于从多个固定体400中的多个传感装置100取得的数据生成道路信息并向移动体300发送的动作的例子。
图36是表示服务器500生成道路信息并发送的动作的一例的流程图。该例中的服务器500执行图36所示的步骤S8000至S8400的动作。服务器500接受从输入装置510输入的开始信号并开始动作。以下,说明各步骤的动作。
(步骤S8000)
处理装置530判定是否从输入装置510输入了结束信号。在输入了结束信号的情况下,服务器500结束动作。在未输入结束信号的情况下,前进至步骤S8000。
(步骤S8100)
处理装置530判断当前的时刻是否为预先决定的道路信息的发送时刻。在当前的时刻是道路信息的发送时刻的情况下,前进至步骤S7200。在当前的时刻不是预先决定的道路信息的发送时刻的情况下,反复进行步骤S8100直到成为发送时刻为止。
服务器500也可以例如以一定的时间间隔发送道路信息。在如图2所示的环境中,服务器500也可以以例如0.1秒等较短的时间间隔发送道路信息。在该情况下,接近于交汇点的车辆等移动体300接收以一定的时间间隔发送的道路信息。道路信息可以表示移动体300的周围的道路环境中存在的物体的分布及物体的移动速度的分布。通过接收这样的道路信息,移动体300能够掌握道路上的成为死角的区域、例如从在主路上移动的车辆观察的辅路上、或者从辅路上的车辆观察的主路后方等的道路状况。
(步骤S8200)
处理装置530基于预先设定的时间范围及空间范围,取得存储装置540所记录的点群数据之中的、计测的时刻被包含在上述的时间范围内而且位置坐标被包含在上述的空间范围内的点的数据。作为时间范围,例如可以设定为从当前时刻的0.05秒前直到当前时刻为止的范围。作为空间范围,例如可以设定为包括道路的交汇地点之前100m以内的主路和辅路的区域。作为时间范围及空间范围,例如可以考虑道路的状况、尤其是车辆的速度和道路的构造而决定避免危险所需的范围。
(步骤S8300)
处理装置530将步骤S8200中取得的数据转换为如图14至图17所例示的包括速度信息的点云的数据形式的输出数据。速度信息表现数据点处的对象物的速度,速度信息的形式ID记述表示对象物的速度矢量的ID。或者,速度信息的形式ID也可以不被包含在数据中。处理装置530生成用于发送的输出数据,并使通信装置550发送。
此外,在步骤S8300中,不必须将全部数据点都转换为输出数据。处理装置530在数据点的空间密度为一定以上的情况下,也可以减少数据点的数量并转换为输出数据。数据点的削减除了根据空间密度进行之外,也可以基于簇内的点数进行。在从传感装置100取得的数据中包括关于数据点的计测结果的似然性或者可靠性等附带信息的情况下,也可以基于数据点的附带信息对数据进行削减。
(步骤S8400)
通信装置550将步骤S8300中生成的表示最近的道路状况的道路信息向移动体300发送。在步骤S8400的动作之后,返回至步骤S8000。
通过反复进行步骤S8000至S8400的动作,服务器500能够定期地发送最新的道路信息,并向在交汇点等存在死角的道路上通行的车辆提供与周边的道路状况相关的信息。
图37是表示服务器500生成道路信息并发送的动作的其他例的流程图。图37所示的流程图除了将图36所示的步骤S8100的动作替换为步骤S8110的动作这点之外,与图36所示的流程图是相同的。因此,仅说明步骤S8110的动作。
(步骤S8110)
处理装置530判断通信装置550是否从1个以上的传感装置100接收到包括有效的点云的信息的数据。在刚要到当前时刻之前的时刻,通信装置550未从传感装置100接收到有效的数据的情况下,反复进行步骤S8110直到接收到有效的数据。在通信装置550在刚要到当前时刻之前的时刻从传感装置100接收到有效的数据的情况下,前进至步骤S8200。
在如图2的例子那样的对道路上的死角进行监视的系统中,传感装置100在道路上存在车辆等移动体300时生成有效的点云的数据。服务器500接收有效的点云的数据,这表示在监视对象的区域内或其附近区域内存在车辆等移动体。通过在通信装置550接收到有效的数据的定时发送表示道路状况的信息,服务器500能够向接近于道路的交汇点等存在死角的区域的车辆等移动体300有效地发送表示道路状况的信息。
[1-6.效果等]
如上,本实施方式中的传感装置100输出各数据点的位置、详细的时刻及与速度相关的信息,作为输出数据。与速度相关的信息表现该数据点相对于针对该数据点进行了测距的传感器200的相对速度矢量、或者表示该数据点的相对速度矢量的沿着将传感器200与该数据点连结的直线的方向上的成分的相对速度矢量成分。相对速度矢量及相对速度矢量成分都可以通过由传感装置100所设定的坐标系表现的矢量来表现。此外,相对速度矢量成分也可以作为表现其大小的标量表现。如果知晓了数据点的位置信息和传感装置100的基准位置(即坐标原点)的信息,则能够根据相对速度矢量成分的大小的信息计算作为矢量的相对速度矢量成分。传感装置100生成包括表示速度的形式的码作为识别信息的输出数据并输出,该速度的形式表示输出数据所包括的各数据点的速度信息是相对速度矢量还是相对速度矢量成分。通过将这样的码包含在输出数据中,接收到输出数据的服务器500能够基于该码判别点群数据所附带的速度信息的种类。服务器500与判别出的速度信息的种类相应地执行不同的处理。例如,服务器500在速度信息表现相对速度矢量成分的情况下,进行将各点的相对速度矢量成分转换为由服务器500的坐标系表现的实际的速度矢量的处理。通过这样的处理,即使从1个或者多个传感装置100分多次取得了速度的表现形式不同的输出数据的情况下,也能够使得这些输出数据的统合变得容易。
此外,传感装置100不限于被搭载于固定体400,例如也可以被搭载于具备自动驾驶功能的汽车等移动体300。在该情况下,传感装置100所取得的点群的速度信息受到移动体300的移动速度影响。由此,移动体300中的传感装置100的处理电路110也可以从移动体300的控制装置320取得移动体300的位置及移动速度矢量的信息,并将这些信息包含在输出数据中输出。在该情况下,在图14至图17所例示的数据形式中,可以按每帧将移动体300的位置信息例如由3字节记述,并将移动速度矢量的信息例如由3字节记述。服务器500能够从移动体300的传感装置100取得带速度信息的点群数据,基于移动体300的位置及移动速度的信息决定传感装置100的位置及方向,并针对从传感装置100取得的点群数据中的位置及速度进行坐标转换。服务器500进而能够利用移动体300的移动速度的信息,根据从被搭载于该移动体300的传感装置100取得的数据中的各数据点的相对速度的信息,估计由服务器500的坐标系表现的实际的速度矢量。
在本实施方式中,传感装置100不接受来自服务器500的指示,而在任意的定时进行计测,决定速度信息的种类而生成数据并发送。此时,传感装置100也可以根据与服务器500之间的通信速度的变化来决定向服务器500发送的速度信息的种类。也可以替代这样的动作,传感装置100基于来自服务器500的指示进行计测。或者,传感装置100也可以基于从服务器500针对速度信息的种类的指定,生成向服务器500发送的数据。服务器500也可以根据要向传感装置100指示的内容,例如发送用于指示计测开始的信号、指定计测频度的信号、或者指定速度信息的种类的信号等各种信号。
在本实施方式中,系统中的传感装置100与服务器500经由网络600进行通信,但不一定必须经由网络600。例如,传感装置100与服务器500也可以通过从其他通信网络分离的系统内部的通信而连接。例如,也可以构成如下系统:对移动体进行动作控制的控制电路与1个以上的传感装置经由系统内部的通信网络进行通信,并由控制电路对该移动体的周边状况进行监视。另外,也可以如防盗系统、看护设施或者医院等关怀系统那样,面向常时对一定的空间区域进行监视的系统适用本实施方式的技术。这样的系统可以构成为:进行警报或者呼叫用等动作控制的电路与1个以上的传感装置不经由外部网络,而通过系统内部的通信网络进行通信。
上述的各种的变形例不限于对本实施方式适用,在以后的各实施方式中也能够同样适用。
(实施方式2)
接下来,说明本公开的第2实施方式。
本实施方式中的传感装置输出表示光的出射方向及干涉光的谱的信息,来替代输出点群的速度信息。从传感装置100接收到数据的服务器能够根据光的出射方向以及干涉光的谱信息,计算对象物的距离和速度,并生成包括各点的速度信息的点群数据。以下,以与实施方式1的不同点为主进行说明。
本实施方式中的传感装置100的物理构成与图7所示的构成同样。但是,在本实施方式中,各传感器200不是输出各数据点的位置及速度的信息,而是输出表示光的出射方向及检测出的干涉光的谱的信息。各传感器200的处理电路240基于从光检测器230输出的检测信号,生成干涉光的谱信息,并生成包括该谱信息的计测数据。谱信息包括检测信号的功率谱或者功率谱的峰频率的信息。处理电路110基于从传感器200输出的表示光的出射方向的信息,将该出射方向的信息转换为由传感装置100的坐标系表现的矢量的信息,并生成包括表现转换后的出射方向的信息以及对应的谱信息的用于发送的输出数据。存储装置130存储光的出射方向、以及与出射方向对应的谱信息及传感装置100的固定值。通信电路120发送处理电路110所生成的发送用数据。
[2-1.传感装置的动作]
本实施方式中的传感装置100的动作与图26所示的动作同样。但是,在本实施方式中,在步骤S1400中记录的数据以及在步骤S1910中生成的数据各自的形式与图26的例子不同。以下,说明与图26的例子的不同点。
(步骤S1400)
处理电路110从传感器200取得光的出射方向的信息及谱信息。谱信息是表示由图8所示的干涉光学系统220生成的干涉光的频率分析的结果的信息。谱信息例如可以是表示每个频率的信号能量的功率谱的信息。通过传感器200的处理电路240针对检测信号例如进行快速傅立叶变换,从而生成谱信息。传感装置100的处理电路110向存储装置130发送从传感器200输出的谱信息、表示生成了谱信息的传感器200的信息、表示激光的出射方向的信息、以及表示数据取得时刻的信息。存储装置130存储这些信息。
通过反复进行步骤S1200至步骤S1400的动作,传感装置100存储在规定的帧期间内由1个以上的传感器200取得的表示光的出射方向的信息、以及对应的谱信息。
图38是表示存储装置130中记录的信息的一例的图。在图38的例中,作为传感器200的识别编号的传感器ID、从传感器200出射的激光的出射方向、计测时刻以及干涉光的谱信息相互建立关联地被记录。出射方向例如可以被转换为传感装置100所设定的特定的坐标系中的表现并记录。谱信息例如可以是表示通过对干涉光的检测信号进行快速傅立叶变换而得到的功率谱、即每个频率的强度的值的信息。
(步骤S1910)
处理电路110生成该帧的输出数据。处理电路110例如依照图39所示的数据形式生成输出数据。
图39表示输出数据的一例。图39所示的输出数据由固定值和每帧的数据构成。固定值例如可以仅在数据列的最初或者最后输出。或者,固定值例如也可以按预先决定的每一定的时间或者一定的帧数输出1次。在固定值中,与图14所示的例子同样,包括传感装置100的位置、传感装置100的朝向、传感装置100所具备的传感器的数量、表示输出数据所包括的数据的种类的码、每个传感器的照射点数、谱的带数、以及频率范围的信息。数据种类在图39的例中由1字节表示,表示了发送通过干涉光的频率分析而得到的谱信息、即每个频率的信号强度的信息作为计测结果。
在通常的帧的数据中,记述按每帧变动的数据。在该例中,处理电路110参照图38所例示的存储装置130中记录的数据,生成包括每个出射方向的计测时刻、激光的出射方向及谱信息的输出数据。
在图39所示的例中,谱信息以将通过干涉光的频率分析而得到的每个频带的信号强度跨多个带连续地排列的形式表现。在图39中,各频带的信号强度被表现为“谱强度”。各频带的信号强度可以关于干涉波的向上啁啾和向下啁啾分别记录并输出。也可以替代这样的表现形式,处理电路110例如在被分析的频带中,仅输出信号强度为一定值以上的频带的强度。或者,处理电路110也可以从被分析的频带之中,仅将成为具有一定值以上的信号强度的峰值的频率及该频率的信号强度的信息作为谱信息输出。
作为按每帧输出的数据,在图39的例中,输出该帧中的激光的每个出射方向的数据。例如,可以将表示激光的照射时刻的详细的时刻信息例如由5字节表示,并将激光的出射方向(例如仰角及方位角的2维信息)由2字节表示。接下来,向上啁啾中的谱强度和向下啁啾中的谱强度各自可以以相当于作为固定值记述的谱的分析点数的量而例如由各1字节表现。谱强度的值以谱的分析点数的2倍的数量被记述。通过这样的形式,按激光的每次出射,将时刻、出射方向、向上啁啾和向下啁啾的谱强度的数据输出。激光的每次出射的一系列数据以相当于帧内的激光的出射次数的量反复。像这样,处理电路110基于通过各帧的计测而取得的数据,生成将通过干涉光的频率分析而得到的向上啁啾及向下啁啾各自的功率谱的信息与激光的出射方向及计测时刻建立了对应的输出数据,作为通信用数据。
处理电路110也可以替代图39所示的形式,例如生成图40所示的形式的输出数据。
图40是表示XML形式的输出数据的一例的图。在图40的例中,在数据的开头记述固定值。在图40的例中,固定值包括表示传感装置100的位置、传感装置100的朝向、传感装置100所具备的传感器的数量、表示按每帧发送的数据的种类的码、谱的数据点数及频率范围的信息。数据的种类在图40的例中,不记述速度信息,而是记述表示包括谱信息的码。接续于固定值,作为在帧内共通的信息,与图16所示的例子同样记述基准时刻。接续于基准时刻,记述按激光的每个照射时刻设定的时刻信息的ID的列表。通过像这样将时刻信息汇总记述,与使激光的每次照射的详细时刻与全部数据相对应地存储相比能够压缩数据量。作为帧内的共通数据,还记述对激光的出射方向进行控制的参数。该参数包括:传感装置100的坐标系(xy坐标系)中的x轴方向的步数、y轴方向的步数、x轴方向的视场角及y轴方向的视场角的信息。通过将这样的参数包含在输出数据中,服务器500能够基于激光的照射的顺序确定出射方向。在图40的例中,还记述表示速度或者谱的数据形式的码。在该例中,发送通过在计算速度之前的频率分析而得到的功率谱的数据,因此记述表示功率谱的码。进而,还记述该帧内的激光的出射方向的总数作为照射点数。其后,按激光的每个出射方向,记述表示出射方向的参数、详细的时刻信息及谱信息的数据。在图40的例中,作为谱信息,记述向上啁啾中的功率谱和向下啁啾中的功率谱的信息。
在图39及图40所示的例中,输出数据包括通过频率分析而得到的功率谱的信息。处理电路110也可以替代这样的形式,而生成仅包括具有预先决定的阈值以上的信号强度的频率的峰频率及其信号强度的信息作为谱信息的输出数据。
图41是表示包括峰频率及其强度的信息作为谱信息的输出数据的一例的图。在该例中,作为谱信息,不发送通过频率分析而得到的谱的全部强度,而发送强度超过预先决定的阈值的1个以上的峰频率的强度。处理电路110例如按照峰值从大到小的顺序,选择预先决定的数量的谱峰。在图41的例中,作为对帧共通的固定值,记述传感装置100的位置、传感装置100的方向、传感装置100所包括的传感器数。进而,还记述输出数据的种类、1帧内的照射点数、以及作为计测数据发送的谱峰的数量。
作为每帧的数据,例如可以按每个出射方向,将详细的照射时刻的信息由5字节记述,将照射的方向由2字节记述,将谱峰的频率由1字节记述,将该频率下的信号强度由1字节记述。频率与信号强度的集合关于向上啁啾和向下啁啾分别以相当于作为固定值记述的谱峰数的量反复。相当于峰数的量的频率与信号强度的集合的数据列以相当于固定值中记述的照射点数的量反复,记述1帧量的数据。
图42是表示包括峰频率及其强度的信息作为谱信息的XML形式的输出数据的一例的图。在该例中,作为对帧共通的固定值,记述传感装置100的位置、传感装置100的方向、传感装置100所包括的传感器200的数量、以及计测数据的种类。作为对帧内的数据共通的信息,按每帧记述基准时刻、表示详细时刻的时刻信息的ID、用于决定激光的出射方向的参数、表示用于计算速度的数据的形式的码、激光的照射点数、发送的谱峰的数量。接续于这些对帧共通的信息,针对在帧内照射的全部激光,按每次照射记述表示出射方向的参数、时刻ID、向上啁啾及向下啁啾各自的峰频率及该频率下的信号强度。
[2-2.服务器的动作]
接下来,说明本实施方式中的服务器500的动作。在本实施方式中,服务器500从传感装置100不限于接收包括点群的位置信息及速度信息的输出数据,也可以接收包括用于计算距离及速度的谱信息的输出数据。例如,服务器500可以从传感装置100接收包括由FMCW方式的传感器取得的在向上啁啾期间和向下啁啾期间各自中检测出的干涉波的谱信息的输出数据。因此,服务器500依照输出数据所包括的表示数据种类的码,与接收的数据的种类相应地进行不同的信号处理。
图43是表示服务器500的动作的一例的流程图。在该流程图中,步骤S3100、S3200及S3900与图30中的对应的步骤的动作同样。以下,说明与图30的动作的不同点。
服务器500的处理装置530如果在步骤S3200中在一定的帧期间内从任一个传感装置100取得了数据,则前进至步骤S9100。
(步骤S9100)
处理装置530判断是否针对在步骤S3200中从1个以上的传感装置100接收的点群的位置和速度的信息或者用于计算点群的位置和速度的谱信息中的全部信息,都结束了生成包括由服务器500的坐标系表现的速度(即相对速度矢量或者相对速度成分)的信息的点群数据的生成处理。在针对全部数据都结束了点群数据的生成处理的情况下,前进至步骤S9800。在仍有未处理的数据的情况下,前进至步骤S9200。
(步骤S9200)
处理装置530在步骤S3200中取得的数据之中,选择尚未进行处理的数据中的1个。在此选择的数据是相当于点群的1个数据点的数据。
(步骤S9300)
处理装置530判别在步骤S3200中取得的数据的形式。处理装置530基于取得的数据中的固定值或者每帧的信息所包括的表示数据的种类或者形式的码,判别数据的形式。在图43的例中,数据形式是以下的4个种类。
第1形式是包括各数据点相对于传感装置100的相对速度矢量的信息的点群数据的形式。第1形式的数据例如可以通过图14至图17的任一个形式记述。在数据形式是第1形式的情况下,前进至步骤S9410。
第2形式是包括各数据点相对于传感装置100的相对速度矢量的沿着将传感装置100与该数据点连结的直线的成分的信息的数据。第2形式的数据例如可以通过图14或者图16所示的形式记述。在数据形式是第2形式的情况下,前进至步骤S9420。
第3形式是包括为了计测而出射的激光的出射方向的信息以及在出射了该激光时得到的干涉光的谱峰的信息的形式。第3形式的数据例如可以通过图41或者图42所示的形式记述。在数据形式是第3形式的情况下,前进至步骤S9430。
第4形式包括为了计测而出射的激光的出射方向的信息、以及通过在出射了该激光时得到的干涉光的频率分析而计算出的功率谱的信息。第4形式的数据例如可以通过图41或者图42所示的形式记述。在数据形式是第4形式的情况下,前进至步骤S9450。
(步骤S9410)
在数据形式是第1形式的情况下,处理装置530从取得的数据中,提取数据点的计测时刻、位置及相对速度矢量的信息。
(步骤S9420)
在数据形式是第2形式的情况下,处理装置530从取得的数据中,提取数据点的计测时刻、位置及相对速度成分矢量的信息。
(步骤S9430)
在数据形式是第3形式的情况下,处理装置530从取得的数据中,提取向上啁啾及向下啁啾各自的谱峰的数据。
(步骤S9440)
处理装置530针对向上啁啾和向下啁啾各自的谱峰,判定是否存在超过预先决定的阈值的峰。在向上啁啾和向下啁啾中的任一方都存在相应的峰的情况下,前进至步骤S9500。在向上啁啾和向下啁啾的至少一方中不存在超过预先决定的阈值的峰的情况下,返回至步骤S9100。在无法确定谱的峰的情况下,在传感装置100的传感器200中,有可能关于该出射方向未发生由于反射光引起的干涉,无法取得数据点。在这样的情况下,不前进至以后的处理,而返回至步骤S9100。
(步骤S9450)
在数据形式是第4形式的情况下,处理装置530从取得的数据中,提取向上啁啾和向下啁啾各自的功率谱的数据。
(步骤S9460)
处理装置530根据向上啁啾和向下啁啾各自的功率谱的数据,判定是否存在超过预先决定的阈值的峰。在向上啁啾和向下啁啾中的任一方都存在相应的峰的情况下,前进至步骤S9500。在向上啁啾和向下啁啾的至少一方中不存在超过预先决定的阈值的峰的情况下,返回至步骤S9100。
(步骤S9500)
处理装置530基于在步骤S9440或者步骤S9460中选择或者提取的谱峰的值,计算距数据点的距离、以及沿着将传感器与数据点连结的直线的方向上的该数据点的相对速度成分。在此,在向上啁啾和向下啁啾中的某一方或者双方中存在多个有效的谱峰的情况下,处理装置530关于向上啁啾和向下啁啾各自选择1个谱峰。作为选择的方法,例如存在关于向上啁啾和向下啁啾各自选择信号强度最大的峰的方法。在选择峰时,不仅存在选择信号强度最大的峰的方法,例如也存在选择处于特定的频带中的峰等的方法。处理装置530依照关于向上啁啾和向下啁啾各自选择的峰频率,通过参照图10及图11说明的方法,计算从传感器到数据点为止的距离和速度。处理装置530能够基于计算出的距离以及激光的出射方向的信息,生成数据点的位置信息。基于向上啁啾和向下啁啾各自的峰频率计算的速度,是与被生成了位置信息的数据点对应的对象物相对于传感装置100的相对速度的在与激光的出射方向一致的方向上的矢量成分。在步骤S9500中生成的数据点的位置信息及速度信息具有与在步骤S9300中被判别为第2形式的数据同样的形式。
(步骤S9600)
处理装置530将数据点的位置信息及速度信息从传感装置100的坐标系转换为服务器500的坐标系,并将转换后的数据记录至存储装置540。在步骤S9600之后,返回至步骤S9100。
通过反复进行步骤S9100至步骤S9600的动作,处理装置530无论该帧内的数据的形式如何,都能够生成包括各点的位置信息和速度信息的点群数据并记录。
(步骤S9800)
如果针对该帧中的全部数据点都结束了坐标转换处理,则处理装置530进行聚类处理及速度矢量估计处理。通过上述的处理,在存储装置540中,关于该帧中的全部数据点,记录有位置信息及速度信息。但是,关于经过步骤S9410处理后的数据,作为各点的速度信息,记录有相对于传感装置100的实际的相对速度矢量的信息。另一方面,关于经过步骤S9420、S9430及S9450处理后的数据,作为各点的速度信息,记录有相对速度成分矢量的信息。处理装置530为了将这些速度信息的种类可能不同的点群数据统合而进行聚类处理,估计与各数据点对应的物体的速度矢量。在此的处理例如与图30及图33中的步骤S3400至S3700的处理或者图31及图34中的步骤S4500至S5100及S5200的处理同样。
(步骤S3900)
处理装置530使在步骤S9800中估计的各数据点的位置信息及速度矢量的信息存储至存储装置540。
通过反复进行图43所示的步骤S3100至步骤S3900的处理,服务器500能够从1个以上的传感装置100取得数据,并由服务器500的坐标系将每个数据点的速度信息与详细的时间信息一起记录。根据本实施方式,无论从各传感装置100发送的数据是伴随着速度信息的点群数据,还是包括用于生成点群数据的谱信息的数据,都能够转换为具有由服务器500的坐标系表现的速度矢量的信息的点群数据并记录。进而,服务器500能够基于生成的点群数据,将表现特定的时间范围及特定的空间范围中的环境状况的数据例如向汽车等移动体300发送。
(实施方式3)
接下来,说明本公开的第3实施方式。
在本实施方式中,传感装置100被搭载于移动体300。服务器500与移动体300动作的环境的状况相应地指定传感装置100所生成的数据的种类。传感装置100依照从服务器指定的数据的种类生成数据并发送。由此,例如在服务器500需要环境中的详细信息的情况下,能够使传感装置100输出包括能够进行详细分析的干涉光的谱的信息的数据等。以下,说明与实施方式1及2的不同点。
[3-1.系统构成]
图44是表示本实施方式中的包括服务器500以及包含传感装置100的移动体300在内的系统的构成例的框图。服务器500的构成例如与图4所示的构成同样。移动体300具备传感装置100、通信装置310、控制装置320和驱动装置330。传感装置100具备1个以上的传感器200、以及处理电路110。此外,传感装置100所具备的传感器200的数量是任意的,也可以是单个。
[3-2.移动体的构成]
传感装置100所包括的传感器200的构成与实施方式1及2中的传感器200的构成同样。传感器200例如图4所示,具备光源210、干涉光学系统220、光检测器230、处理电路240和计时电路250。从光源210输出的被频率调制的光由干涉光学系统220分割为参照光和输出光。干涉光学系统220生成通过输出光被物体反射而产生的反射光与参照光所成的干涉光,并使其向光检测器230入射。光检测器230对干涉光进行检测,并输出与干涉光的强度相应的检测信号。处理电路240对干涉光的频率进行分析,计算直到输出光被对象物反射而作为反射光返回的时间,并求出距对象物的距离。处理电路240另外基于频率调制的向上啁啾中的干涉光的频率与向下啁啾中的干涉光的频率之差,计算作为传感器200与对象物的相对速度的与出射光平行的成分的速度成分的矢量。此外,处理电路240也可以与实施方式2同样,生成通过对检测信号进行傅立叶变换而得到的谱信息,来替代计算距离及速度成分。
通信装置310将包括传感装置100所计测的距离及速度的信息或者用于计算距离及速度的谱信息的数据向服务器500发送。通信装置310另外接收从服务器500发送的指定数据形式的请求信号。
处理电路110对从1个以上的传感器200输出的距离及速度的信息或者用于计算距离及速度的谱信息进行处理,生成包括对象物的距离或位置以及速度的信息、或者能够生成这些信息的谱信息在内的输出数据。输出数据由通信装置310发送至服务器500。处理电路110另外与通信装置310从服务器500取得的请求信号相应地决定传感器200的计测动作,并生成用于对传感器200进行控制的控制信号。
控制装置320例如可以是电子控制单元(ECU)等包括处理器和存储器的装置。控制装置320基于预先记录在存储装置中的表示道路环境的地图信息、以及处理电路110所生成的对象物的距离或位置以及速度的信息,决定移动体300的自身位置、方向及前进路线。控制装置320基于这些信息,生成对驱动装置330进行控制的控制信号。控制装置320另外也可以将输入至驱动装置330的控制信号向处理电路110发送。基于来自控制装置320的控制信号,处理电路110能够取得与移动体300的动作、例如行进方向、移动速度及加速度相关的信息。
驱动装置330例如可以包括车轮、原动机或电动马达、变速装置或动力转向装置等、在移动体300的移动中使用的各种装置。驱动装置330基于从控制装置320输出的控制信号进行动作,例如使移动体300执行加速、减速、右转、左转等动作。
[3-3.动作]
图45是以时序表示服务器500与移动体300之间的通信以及两者的处理流程的一例的图。移动体300一边由传感装置100进行测距一边行驶。移动体300的通信装置310例如以一定的时间间隔,将包括各反射点的距离或位置以及速度的信息的计测数据向服务器500发送。服务器500基于从移动体300取得的数据,通过实施方式1中说明的方法,生成包括速度信息的点群数据。
服务器500在通常动作之中,有时从外部的装置接受表示在移动体300行驶的环境中发生了异常的通知。通知例如可以是有人进入了移动体300的动作区域等的通知。例如,在事先知晓工作人员为了道路的查点或者施工等而进入的情况下,可以从外部的装置向服务器500发送通知。服务器500为了取得进入的人的详细信息,能够向1个以上的移动体300请求发送能够对详细的位置信息和速度信息进行分析的详细信息。详细信息用于以比传感装置100所生成的位置及速度的信息更高的精度估计环境中的物体的位置及速度。详细信息例如可以是实施方式2中说明的包括谱信息的形式的计测数据。
移动体300依照来自服务器500的请求,将能够生成详细的位置信息和速度信息的谱信息向服务器500发送。
服务器500接收移动体300所发送的谱数据,根据谱数据计算距离和速度,通过向服务器500的坐标系的坐标转换、以及针对点群数据的判别处理、跟踪处理等,对进入的人进行监视。
[3-3-1.服务器的动作]
图46是表示本实施方式中的服务器500的动作的一例的流程图。该例中的服务器500执行图46所示的步骤S10010至S10100的动作。服务器500如果从输入装置接受了开始信号的输入,则开始动作。以下,说明各步骤的动作。
(步骤S10010)
处理装置530判定是否存在与通常的动作不同的特殊处理、例如由于人的进入等而与通常时不同的处理的执行请求。在存在特殊处理的请求的情况下,前进至步骤S10100。在不存在特殊处理的指示的情况下,前进至步骤S10020。
(步骤S10020)
处理装置530判定通信装置550是否从移动体300接收到数据。在从移动体300接收到数据的情况下,前进至步骤S10030。在未从移动体300接收到数据的情况下,反复进行步骤S10020。
(步骤S10030)
处理装置530如果在步骤S10020中接收到数据,则判定所接收的数据的形式是否为通常处理用的数据形式。通常处理用的数据形式可以是包括与对象物的位置相关的信息的形式。与位置相关的信息也可以是表示传感装置100与对象物的距离的信息。在接收的数据的形式是通常处理用的数据形式的情况下,前进至步骤S10040。在接收的数据的形式不是通常处理用的数据形式的情况下,即是详细分析用的数据形式的情况下,前进至步骤S10100的特殊处理。
通常处理用的数据形式例如可以是图14至图17中的任一个所示的形式。也可以除了图14至图17中的任一个所示的信息之外,还在数据的开头或者各帧的数据的开头,记述表示其是通常处理用的数据形式的码。
详细分析用的数据形式例如可以是图39至图42中的任一个所示的形式。详细分析用的数据形式可以是包括干涉波的谱的信息而不包括与对象物的位置相关的信息的形式。也可以除了图39至图42中的任一个所示的信息之外,还在数据的开头或者各帧的数据的开头,记述表示其是详细分析用的数据形式的码。
(步骤S10040)
处理装置530从在步骤S10020中接收的数据中取得位置信息。
(步骤S10060)
处理装置530针对基于在步骤S10040中取得的位置信息生成的点群数据,与存储装置540中记录的地图数据进行比对,决定移动体300的位置。
(步骤S10070)
处理装置530将步骤S10070中决定的移动体300的位置和数据取得时刻记录至存储装置540。
在步骤S10070的动作之后,返回至步骤S10010。
(步骤S10100)
接下来,说明步骤S10100的特殊处理的一例。
图47是作为特殊处理的一例,表示在接受到表示人进入至移动体300的可动区域的信号的输入的情况下服务器500所执行的处理的例子的流程图。如图47所示,步骤S10100包括步骤S10110至S10190的处理。以下说明各步骤的处理。
(步骤S10110)
在判断为需要进行与从移动体300接收测距结果的通常动作不同的特殊动作的情况下,处理装置530判断人是否进入至移动体300的动作范围内。在存在表示人进入至移动体300的动作范围内的信息或者输入的情况下,前进至步骤S10120。在不存在表示人进入至移动体300的动作范围内的信息或者输入的情况下,前进至步骤S10190。
(步骤S10120)
通信装置550指示通信装置550向移动体300发送针对能够对详细数据进行分析的详细分析用数据的发送请求。详细分析用数据例如可以是包括详细的时刻信息和干涉波的谱信息的数据。谱信息是作为生成位置及速度的信息的依据的数据,服务器500能够基于谱信息进行详细的分析。
(步骤S10130)
处理装置530判断是否从移动体300取得了数据。在从移动体300取得了数据的情况下,前进至步骤S10140。在未从移动体300取得数据的情况下,反复进行步骤S10130。
(步骤S10140)
处理装置530判定在步骤S10130中取得的来自移动体300的数据是否为包括谱信息的详细分析用数据。在取得的数据是详细分析用数据的情况下,前进至步骤S10150。在取得的数据不是详细分析用数据的情况下,返回至步骤S10120。
基于从移动体300发送的数据所包括的数据形式码,进行步骤S10140中的数据形式的判定。数据形式码在系统中被预先决定,例如可以将通常处理用数据设为0,并将详细分析用数据设为1,记述在发送数据的开头或者靠近开头的固定位置。
图48A是表示通常处理用数据的数据形式的一例的图。图48B是表示详细分析用数据的数据形式的一例的图。图48A及图48B通过与图14所示的方式同样的方式表示了数据形式,但也可以采用如图16所示的记述方式。在图48A及图48B所示的例中,接续于移动体ID由1字节记述数据形式码。数据形式码表现是通常处理用数据还是详细分析用数据。
(步骤S10150)
处理装置530基于在步骤S10130中取得的详细分析用数据的每个传感器的计测值,按每个传感器,针对各出射方向,在存在来自物体的反射的情况下,计算距物体的距离,并计算该出射方向上的物体的速度成分矢量。处理装置530根据出射方向和距离,计算数据点的位置,并使速度成分矢量对应于该数据点。由此,处理装置530能够生成包括速度成分信息的点群数据。
(步骤S10160)
处理装置530基于在步骤S10150中计算的包括速度成分信息的点群数据,检测移动体300的周边存在的人。关于人的检测方法后述。
(步骤S10170)
处理装置530在步骤S10150中生成的点群数据之中,去除在步骤S10160中检测出的人的簇所包括的点群数据,并与存储装置540中存放的地图数据进行比对,来决定移动体300的位置和方向。
(步骤S10180)
处理装置530将步骤S10160中检测出的人的点群数据的坐标转换为服务器500的地图数据的坐标,使人的位置与数据取得时刻一并存储至存储装置540。
在步骤S10180的动作之后,返回至步骤S10110。
(步骤S10190)
在步骤S10110中不存在表示有人进入至移动体300的动作范围内的信息或者输入的情况下,处理装置530指示通信装置550向移动体300发送请求通常处理用数据的信号。在步骤S10190的动作之后,返回至通常动作的步骤S10010。
接下来,参照图49说明步骤S10160中的人检测处理的具体例。在图49的例中,步骤S10160包括步骤S10161至S10167。以下说明各步骤的处理。
(步骤S10161)
处理装置530针对在步骤S10150中计算出的包括速度成分矢量的信息的点群数据进行聚类处理。处理装置530基于点群的位置信息,将位置彼此相近的点汇总为1个簇,从而将点群分类为1个以上的簇。
(步骤S10162)
处理装置530判断是否针对在步骤S10161中决定的全部簇都进行了判定其是否为表现人的簇的判定处理。在关于全部簇都结束了判定处理的情况下,前进至步骤S10170。在有的簇未被进行判定其是否为表现人的簇的判定处理的情况下,前进至步骤S10163。
(步骤S10163)
处理装置530在步骤S10161中生成的簇之中,从尚未被判定是否为人的簇之中选择1个簇。
(步骤S10164)
处理装置530针对在步骤S10163中选择的簇,判断簇内的点群数据的位置的分布是否与预先决定的人的大小的范围匹配。在该簇的点群数据的位置的分布与人的大小匹配的情况下,前进至步骤S10165。在该簇的点群数据的位置的分布与人的大小不匹配的情况下,前进至步骤S10162。
(步骤S10165)
处理装置530针对该簇内的点群数据,基于各点的速度成分矢量进一步进行聚类。处理装置530针对该簇所包括的多个点,将速度成分矢量彼此相近的点汇总为更小的部分簇,从而分类为1个以上的部分簇。
(步骤S10166)
处理装置530判定作为步骤S10165的处理的结果,在步骤S10163中选择的簇所包括的点群是否被基于速度信息分割为更小的多个部分簇。在点群被基于速度信息分割为多个部分簇的情况下,前进至步骤S10167。在点群未被基于速度信息分割为多个部分簇的情况下,返回至步骤S10162。
在步骤S10164中,根据基于点群的位置信息生成的簇来判别有可能是人的点群。但是,由于人在3维空间中的形状根据姿态及动作而多种多样,因此难以仅基于簇的形状来检测人。另一方面,包括人在内的动物由于动作而按身体的每个部分具有不同的运动的方向和速度。于是,本实施方式的处理装置530利用传感装置100能够取得速度信息这一情况,基于速度信息将属于簇的点群进一步聚类。由此,在基于位置信息聚类后的点群被基于速度信息分割为更小的簇的情况下,能够判断为该簇相当于人等动物的可能性高。
此外,该例中的处理装置530根据簇是否被基于速度信息进一步分割为多个部分簇来判断该簇是否相当于人,但也可以通过其他方法来判断。例如,处理装置530也可以基于簇所包括的点群的速度信息,通过基于各部分簇的大小来判断是否生成了相当于中央部分即躯干以及周边的附属部分即头部及四肢中的某一个部分的部分簇等方法,判断该簇是否相当于人。
(步骤S10167)
处理装置530将基于速度信息被分割为多个部分簇的簇检测为人。在步骤S10167的动作之后,返回至步骤S10162。
通过反复进行步骤S10162至步骤S10167的处理,处理装置530能够针对在步骤S10161中生成的全部簇判断是否为人。
[3-3-2.移动体的动作]
接下来,说明移动体300中的传感装置100所进行的与数据生成及发送相关的动作。
图50是表示移动体300中的传感装置100所进行的数据生成及发送的动作的一例的流程图。移动体300如果接受到从服务器500或者其他装置发送的开始信号,则执行图50所示的步骤S20010至S20090的动作。以下,说明各步骤的动作。
(步骤S20010)
传感装置100的处理电路110判断是否从服务器500或者其他装置输入了动作结束信号。在输入了动作结束信号的情况下,移动体300结束动作。在没有输入动作结束信号的情况下,前进至步骤S20020。
(步骤S20020)
处理电路110判断通信装置310是否接收到从服务器500发送的指示数据形式的请求信号。在接受到指示数据形式的请求信号的情况下,前进至步骤S20030。在未接受到请求信号的情况下,前进至步骤S20040。
(步骤S20030)
处理电路110将传感装置100的输出数据的设定改写为请求信号所表示的数据形式。数据形式的初始值例如可以是通常处理用的形式。在接收的请求信号所表示的数据形式是详细分析用数据的情况下,处理电路110将数据形式从通常处理用的形式改写为详细分析用的形式。
(步骤S20040)
处理电路110使传感装置100中的各传感器200的光源210出射激光,并执行计测。计测例如可以在1个帧期间中使出射方向变化并且反复执行。
(步骤S20050)
处理电路110从各传感器200,取得通过按每个出射方向对干涉光进行检测而得到的检测信号作为计测结果。处理电路110对取得的各检测信号的波形进行分析,并按各传感器200的每个出射方向生成谱数据。谱数据例如可以是表现每个频带的信号强度的功率谱的数据。谱数据用于生成点群的位置信息及速度信息。
(步骤S20060)
处理电路110判断是否被请求了详细分析用数据。在当前被指定的输出数据形式是详细分析用数据形式的情况下,前进至步骤S20080。在当前被指定的数据形式是通常处理用数据的情况下,前进至步骤S20070。
(步骤S20070)
处理电路110基于在步骤S20050中生成的干涉光的谱数据,生成对象物的位置信息。具体而言,处理电路110根据谱数据确定峰频率,将该峰频率作为节拍频率f b,基于参照图11A说明的上式(1)计算距对象物的距离。处理电路110能够基于计算出的距离、以及检测出该干涉光的传感器200的激光的出射方向的信息,计算3维空间中的数据点的位置。通过针对各数据点执行该处理,能够生成包括3维点群的位置信息的点群数据。
(步骤S20080)
处理电路110生成用于发送在步骤S20050中生成的各干涉光的谱数据或者在步骤S20070中生成的点群数据的数据列。处理电路110依照当前被指定的数据形式,生成发送数据。在被指定的数据形式是通常处理用的数据形式的情况下,处理电路110生成包括步骤S20070中生成的点群数据的发送用数据。另一方面,在被指定的数据形式是详细处理用的数据形式的情况下,处理电路110生成包括步骤S20050中生成的谱数据的发送用数据。
通常处理用的数据形式例如可以是如图48A所示的形式。在图48A的例中,作为服务器500用于确定接收数据的比对用数据,将移动体ID和表示数据形式的码分别由1字节记述。其后,作为计测值,将被发送的点群数据的点数由1字节记述,并按每个数据点连续地记述由5字节表示的详细时刻和由3字节表示的3维位置坐标的信息。
详细处理用的数据形式例如可以是如图48B所示的形式。在图48B的例中,作为服务器500用于确定接收数据的数据,将移动体ID和表示数据形式的码分别由1字节记述,进而,将表现移动体300自身的移动速度的速度矢量由2字节记述。移动体的速度矢量可以由以移动体300中的规定的基准位置为原点的坐标系表现。在此,移动体300设为仅进行水平移动,因此由2字节记述速度矢量。在移动体300是无人机等进行上下运动的移动体的情况下,也可以由3字节记述移动体300的速度矢量。进而,作为表示计测条件的固定值,将传感器数由1字节记述,以相当于传感器的数量将每个传感器的照射点数由2字节记述,接下来将被发送的谱数据的分析点数(即频率的点数或者带数)以及对应的频率范围分别由2字节记述。其后接续有计测数据。在计测数据中,以相当于出射次数的量包括详细时刻(5字节)、出射方向(2字节)、以及向上啁啾的谱强度和向下啁啾的谱强度(每个分析点各为1字节)的数据集。
(步骤S20090)
通信装置310将步骤S20080中生成的通信用数据向服务器500发送。在步骤S20090的动作之后,返回至步骤S20010。
通过反复进行步骤S20010至步骤S20090的动作,移动体300能够以与服务器500的请求相应的形式发送计测数据。
如上,在本实施方式中,作为特殊处理的一例,进行在人进入时对该人进行检测的处理。服务器500在人检测处理的过程中,为了生成在通常的处理中不利用的速度信息,向移动体300中的传感装置100请求生成详细分析用数据。传感装置100生成包括光的出射方向和干涉光的功率谱的信息的数据作为详细分析用数据。基于这样的详细分析用数据,服务器500能够生成包括速度信息的详细的点群数据,并基于该点群数据对进入的人进行检测。
特殊处理也可以用于检测人以外的用途。例如,在从移动体300向服务器500发送了故障等的异常信号的情况那样、需要对移动体300的周边的物体的位置及动作进行分析的情况下,也可以进行特殊处理。另外,详细分析用数据不限于干涉光的谱信息,也可以包括能够导出物体的位置及速度的其他种类的信息。例如,如实施方式1及2中说明的那样,也可以在详细分析用数据中包括通过聚类处理检测出的物体的位置信息及速度矢量的信息。
像这样,在本实施方式中,服务器500中的处理装置550在移动体300自身或者移动体300所行驶的环境被检测出异常的情况下,向移动体300的传感装置100发送请求详细分析用的计测数据的请求信号。请求信号指定计测数据的数据形式。接受到请求信号的传感装置100生成具有请求信号所指定的数据形式的计测数据,并将包括该计测数据的输出数据经由通信装置310向服务器500发送。由此,服务器500的处理装置550能够进行传感装置100的周围的详细分析,易于确定异常的原因。
(实施方式4)
接下来,说明本公开的第4实施方式。
在实施方式1至3的系统中,与设置于固定体400或者移动体300的传感装置100通信的服务器500对固定体400或者移动体300的周围的物体的动作等的状态进行监视或者记录。相对于此,在本实施方式中,能够自主移动的移动体300具备传感装置100、以及能够执行与上述的服务器500同样的运算处理的处理装置。在移动体300的内部,在传感装置100与处理装置之间进行数据的收发。处理装置基于从传感装置100输出的输出数据生成周围的物体的位置信息,基于该物体的位置信息生成用于对移动体300的动作进行控制的信号并输出。
图51是表示本实施方式中的移动体300的概略构成的框图。移动体300具备包括1个以上的传感器200的传感装置100、输入装置360、处理装置340、控制装置320、驱动装置330和存储装置350。移动体300既可以是具备自动驾驶功能的汽车等乘用车辆,也可以是在工厂或者仓库中用于货物的搬运等的无人搬运车(自动引导车(Automated GuidedVehicle:AGV))。移动体300不限于这些车辆,也可以是无人机等飞行体、或者机器人。
传感器200使用激光进行FMCW方式的测距及速度计测。传感器200例如具有与图8至图10中的任一个所示的传感器200同样的构成。在图51的例中设置有多个传感器200,但传感装置100所具备的传感器200的数量也可以是1个。
输入装置360是用于向移动体300输入动作的开始及结束等指示的装置。输入装置360例如可以包括按钮、手柄、开关或者键盘等装置。
处理装置340是具备CPU或GPU等1个以上的处理器(即处理电路)、以及存储器等存储介质的装置。处理装置340能够对从传感器200输出的传感器数据进行处理来生成移动体300的周围的环境的点群数据。处理装置340也能够执行基于点群数据对障碍物进行检测,并决定移动体300的前进路线等决定移动体300的动作的处理。处理装置340例如将表示移动体300的前进路线的信号向控制装置320发送。
控制装置320为了实现处理装置340所决定的移动体300的动作,生成控制信号并向驱动装置330输出。
驱动装置330依照从控制装置320输出的控制信号进行动作。驱动装置330例如可以包括电动马达、车轮或者臂等各种动作部。
存储装置350是包括半导体存储介质、磁性存储介质或者光学存储介质等1个以上的存储介质的装置。存储装置350存储移动体300所移动的环境的地图数据等、移动体300为了移动而需要的与动作环境及动作条件相关的数据。
图52是表示移动体300的动作的一例的流程图。该例中的移动体300执行步骤S30010至S30100的动作。移动体300如果接受了来自输入装置360的开始信号的输入则开始动作。以下,说明各步骤的动作。在以下的说明中,作为一例,设为移动体300是沿着地面上示出的引导线自动行驶的AGV。
(步骤S30010)
处理装置340判断是否需要与通常的动作不同的特殊处理。处理装置340例如在移动体300处于某些异常状态的情况下判断为需要特殊处理。异常状态例如可以有:在地面上未检测出引导线而通过通常时的动作无法继续行驶的状态、周围的物体的配置与存储装置350中记录的地图数据不匹配的状态、或者设备发生了故障的情况等。在需要特殊处理的情况下,前进至步骤S30100。在无需特殊处理的情况下,前进至步骤S30020。
(步骤S30020)
处理装置340使传感装置100执行测距。传感装置100中的各传感器200出射激光并对距离进行计测。传感器200检测从光源出射的光与来自物体的反射光之间的干涉光,并基于干涉光的频率计测距物体的反射点的距离。传感器200基于该距离、以及激光的出射方向的信息,计算反射点的3维坐标。传感器200一边改变激光的出射方向一边在整个计测对象区域中反复进行上述的动作。由此,传感器200生成包括对象区域所包括的多个反射点各自的位置信息的点群数据。
(步骤S30030)
处理装置340将传感器200在步骤S30020中生成的点群数据与存储装置350中记录的地图数据进行比对,决定地图上的移动体300的位置。
(步骤S30040)
处理装置340将步骤S30020中取得的点群数据的各点的坐标转换为在地图数据中使用的坐标系中的坐标。
(步骤S30050)
处理装置340依照在步骤S30030中决定的移动体300的位置、以及地图数据,生成移动体300的前进路线。处理装置340针对与移动体300接近的位置,基于在步骤S30040中坐标转换后的点群数据,例如决定与障碍物不发生碰撞的详细的前进路线。
(步骤S30060)
控制装置320依照在步骤S30050中处理装置340生成的前进路线,生成用于对驱动装置330进行控制的控制信号。
(步骤S30070)
控制装置320将步骤S30060中生成的控制信号向驱动装置330输出。驱动装置330依照该控制信号进行动作。在步骤S30070的动作之后,返回至步骤S30010。
通过反复进行步骤S30010至步骤S30070的动作,实现在未发生异常的通常时的移动体300的航行。
(步骤S30100)
在步骤S30010中判断为需要特殊处理的情况下,移动体300执行特殊处理。
图53是表示步骤S30100中的特殊处理的动作的具体例的流程图。在步骤S30010中被检测出异常状态的情况下,移动体300执行图53所示的步骤S30110至S30220的动作。以下,说明各步骤的动作。
(步骤S30110)
处理装置340指示控制装置320降低移动速度。这是为了在异常状态下确保安全。
(步骤S30120)
控制装置320生成降低速度的控制信号并向驱动装置330输出。
(步骤S30130)
驱动装置330依照从控制装置320输出的控制信号进行动作,使移动体300的速度降低。例如,驱动装置330也可以使移动体300停止。
(步骤S30140)
处理装置340向传感装置100的各传感器200请求生成详细分析用数据。在通常时,传感器200输出能够与存储装置350中记录的地图数据进行比对的点群数据。在异常状态下,由于无法对点群数据与地图数据进行比对,因此处理装置340为了取得为了不参照地图数据而进行动作所需的详细的信息,向各传感器200请求附带有速度信息的点群数据。
(步骤S30150)
处理装置340判定是否从传感器200取得了计测数据。在取得了计测数据的情况下,前进至步骤S30160。在未取得计测数据的情况下,反复进行步骤S30150。
(步骤S30160)
处理装置340判断在步骤S30150中从传感器200取得的计测数据的形式是否为在步骤S30140中请求的详细分析用数据的形式。在取得的数据是详细分析用数据的形式的情况下,前进至步骤S30170。在取得的数据不是详细分析用数据的形式的情况下,即是通常处理用数据的形式的情况下,返回至步骤S30140。
通过反复进行步骤S30140至步骤S30160,处理装置340能够从传感器200取得详细分析用数据。
(步骤S30170)
处理装置340在从传感器200取得的数据中,提取按每个数据点附加有速度信息的点群数据。本实施方式中的各数据点的速度信息表现沿着将传感器200与该数据点连结的直线的方向上的该数据点的相对速度成分。
(步骤S30180)
处理装置340依照各数据点的位置信息对点群数据进行聚类。聚类的方法与实施方式1中说明的方法同样。通过聚类,能够确定移动体300的周边存在的物体(例如障碍物或者人)。
(步骤S30190)
处理装置340按在步骤S30180中聚类而得到的点群数据的每个簇,基于与该簇所包括的各数据点对应的速度信息,将与簇对应的物体的种类分类。例如,处理装置340确认各数据点的速度信息的符号。如果将远离移动体300的方向设为速度的正方向,则速度信息比0小的数据点较多的簇是与接近于移动体300的物体对应的簇的可能性高。因此,处理装置340将这样的簇判断为危险移动物,并记录其信息。速度信息比0大的数据点较多的簇是远离移动体300的物体的可能性高。因此,处理装置340将这样的簇判断为危险度小的移动物,并记录其信息。处理装置340将速度信息的正负相抵或者速度信息为0的数据点多的簇判断为静止物并存储。
(步骤S30200)
处理装置340在没有数据点且从判断为危险移动物的簇的点群位置相离的方向上,生成前进路线。
(步骤S30210)
控制装置320依照在步骤S30200中处理装置340所生成的前进路线,生成用于对驱动装置330进行控制的控制信号。
(步骤S30220)
控制装置320将步骤S30210中生成的控制信号向驱动装置330输出。驱动装置330依照该控制信号进行动作。在步骤S30220的动作之后,返回至步骤S30010的通常动作。
通过步骤S30110至步骤S30220的动作,例如即使在地面上没有发现引导线这样的情况下,也能够避开危险并决定前进路线。移动体300能够一边避开危险,一边自主进行移动直到例如成为能够检测出引导线的状态为止。
图54是表示步骤S30100中的特殊处理的动作的其他例的流程图。该例中的步骤S30100至S30130、S30150、S30210、S30220的动作与图53所示的对应的步骤的动作同样。在该例中,图53的例中的步骤S30140、S30160、S30170分别被置换为步骤S30340、S30360、S30370,并去除步骤S30180及S30190。以下,说明与图53所示的动作的不同点。
(步骤S30340)
该例中的处理装置340在移动体300进行减速之后,向各传感器200请求自主移动用数据。自主移动用数据是附带有各点的危险分类信息的点群数据。危险分类信息例如可以是用于判别与该点对应的物体是否为危险移动物的码。危险分类信息也可以是以多个等级表现与该点对应的物体的危险度的码。危险分类信息例如也可以表示与该点对应的物体是危险移动物、还是不危险的移动物、还是静止物。
(步骤S30360)
处理装置340如果从传感器200取得了数据,则判断该数据的形式是否为自主移动用数据的形式。处理装置340能够基于取得的数据所包括的表示数据形式的码,判断该数据是否为自主移动用数据。在取得的数据是自主移动用数据的情况下,前进至步骤S30370,否则返回至步骤S30340。
(步骤S30370)
处理装置340从取得的数据中,提取按每个数据点附加有危险分类信息的点群数据。
(步骤S30380)
处理装置340在从附带有表示危险移动物的码的数据点相离且没有数据点的方向上,生成前进路线。
图55至图58表示了按每个数据点附加有危险分类信息的点群数据的数据形式的例子。各传感器200依照来自处理装置340的请求,生成如图55至图58中的任一个所示的输出数据。在本实施方式中,在移动体300的内部进行数据的收发,各传感器200与处理装置340连接。传感装置100不对来自多个传感器200的输出数据进行汇总,而将来自多个传感器200的输出数据经由各自不同的线路向处理装置340输入。因此,省略了用于识别传感器200的ID等比对数据及固定值。
在图55所示的例中,在开头发送表示数据形式的码,接下来发送点群的数据点数。以后,以相当于数据点的数量发送详细的时刻、3维的位置信息和危险分类。如图55所示,在本实施方式中,不从传感器200发送点群的各点的速度的信息,而是将该点的危险分类的信息作为元数据发送。危险分类例如可以是“0:静止物,1:通常移动物,2:危险移动物”、或者“0:非危险物,1:危险移动物”那样的以多个等级表现危险度的码的信息。
图56表示以XML形式发送与图55的例子同样的数据的情况下的记述方式的例子。各传感器200也可以替代图55所示的形式,而生成图56所示的形式的输出数据。
图57表示按每个危险分类发送数据点的信息的情况下的数据形式的例子。在图57的例中,也在开头发送表示数据形式的码。接下来,发送危险分类码、适用该危险分类的数据点的数量、相当于数据点的数量的详细时刻及3维的位置信息的数据集。该数据集按每个危险分类码被发送。通过这样的形式,也能够发送与图57及图58的例子同样的信息。
图58表示以XML形式发送与图57的例子同样的数据的情况下的记述方式的例子。各传感器200也可以替代图57所示的形式,生成图58所示的形式的输出数据。
生成如图55至图58所示的按每个数据点附加有危险分类信息的点群数据的处理,与处理装置340执行的图53的步骤S30170至S30190的处理同样。
(实施方式5)
接下来,说明本公开的第5实施方式。
[5-1.系统构成]
图59是示意性地表示用于对包括传感器200的传感装置100进行校准的系统的一例的概念图。该系统包括校准装置700、传感装置100和对象保持装置800。对象保持装置800构成为能够将对象物设置在距传感装置100为已知的距离的位置。在图59中作为一例例示了距离1(L 1)和距离2(L 2),但对象保持装置800保持对象物的已知的距离是2个以上即可。传感器200向对象保持装置800所保持的对象物出射光,并接受被对象物反射的光。传感装置100向校准装置700发送从光源出射的光与接受的反射光所成的干涉光的谱信息。
校准装置700根据对象保持装置800所保持的对象物的已知的距离、以及由传感装置100接收的干涉光的谱信息,决定在计算距离及计算速度中使用的参数的值,并向传感装置100发送参数。通过使用该参数,对传感装置100的距离计测值及速度计测值进行校准。对象物例如是白板,面向传感器200的透镜面平行地设置。通过该配置,从传感器200出射的光被白板散射,散射后的光高效地向传感器200的透镜入射。由此,被检测的干涉光的强度相对于噪声变大,校准的精度提高。
本系统所进行的校准例如在传感器200制造时或者出厂时进行。另外,也可以作为在设置包括传感器200的传感装置100时或者查点时的再校准进行。传感器200例如与图8、图9或者图10所示的构成同样构成。
校准装置700针对传感装置100进行的校准不限于距离计测值及速度计测值的校准。作为其他例,还有确认在计测距离及速度时的噪声的发生状况、以及决定与噪声对应的计测条件等。作为计测条件的例子,有干涉光的检测阈值、计算计测值时的计测次数、以及计算计测值时的平均次数等。
如上,在本实施方式的系统中,校准装置700取得在第1距离处测定的谱信息以及在第2距离处测定的谱信息。基于取得的谱信息,决定用于根据干涉光的频率计算距离及速度的参数,并将决定的参数向传感装置100发送。传感装置100接收从校准装置700发送的参数,并保存所取得的参数。由此,传感装置100能够根据计测出的干涉光的谱信息生成准确的距离和速度并输出。
此外,在此将保持对象物的距离设为预先决定的距离,但保持对象物的距离也可以从校准装置700向对象物保持装置800指示。或者,也可以通过用户的输入来决定保持对象物的距离。对象物保持装置800具有使保持对象物的位置变化以使从传感器200到对象物的距离成为被指示或者输入的距离的机构。
此外,在上述的例中,对象物保持装置800自动地对保持对象物的位置进行调整以使传感器200与对象物的距离成为被决定的值,但对象物保持装置800也可以具有不进行动作的夹具。在该情况下,也可以由用户决定传感器200与对象物的距离,使用夹具设定传感器200与对象物的距离,并将设定的距离向校准装置700输入。在该情况下,通信在校准装置700与传感装置100之间进行即可,不需要对象物保持装置800与校准装置700之间的通信。校准装置700存储用户所输入的对象物与传感器200的距离。
另外,根据上述的系统,对象物保持装置800、校准装置700及传感器200各自直接通过有线的通信相连,并经由信号线收发信号,但也可以是各自直接通过无线的通信相连,或者经由网络相连。
图60是表示本实施方式中的系统的更详细的构成的框图。传感装置100与使用图7说明的构成同样,包括1个以上的传感器200、处理电路110、通信电路120和存储装置130。校准装置700包括处理电路710、通信电路720和显示装置730。对象保持装置800包括握持装置810、通信电路820和存储装置830。
校准装置700的处理电路710向通信电路720输出用于指示校准动作的控制信号。另外,处理电路710基于取得的数据决定参数,并向通信电路720及显示装置730输出。通信电路720将控制信号向传感装置100及对象保持装置800发送。进而,通信电路720接收传感装置100所输出的计测数据及对象保持装置800所输出的对象物的距离数据。
对象保持装置800的握持装置810基于从校准装置700输出的控制信号,在存储装置830中存储的预先决定的多个距离之中选择1个。进而,握持装置810基于选择的距离对从传感器200的准直器223到对象物的距离进行调节,并将选择的距离的值向通信电路820输出。通信电路820将对象物与传感器200的准直器223之间的距离向校准装置700输出。
[5-2.动作]
图61是表示本实施方式的系统中的校准动作的流程图。首先,由未图示的输入机构向校准装置700输入校准动作的开始信号,该系统的校准动作开始。
(步骤S40010)
在步骤S40010中,校准装置700的处理电路710在测距传感器100所包括的传感器200之中选择1个传感器。选择的传感器是被判断为需要校准且校准尚未结束的传感器。
(步骤S40020)
在步骤S40020中,校准装置700的处理电路710判断是否存储有校准所需的数量的谱数据。校准所需的谱数据例如是2值以上的数值。在此,将所需的谱数据的数量设为2。在步骤S40020中存储有所需的数量的谱数据的情况下,即在步骤S40020中判断为是的情况下,前进至步骤S40080。在步骤S40020中未存储所需的数量的谱数据的情况下,即在步骤S40020中判断为否的情况下,前进至步骤S40030。
(步骤S40030)
在步骤S40030中,校准装置700向对象物保持装置800输出指示为了计测而保持对象物的控制信号。
(步骤S40040)
在步骤S40040中,对象物保持装置800在存储装置830中存储的预先存储的对象物的距离之中,选择尚未进行对象物的保持的距离,并将对象物保持在传感器200与对象物的距离等于选择的距离的位置。
(步骤S40050)
对象物保持装置800将步骤S40040中决定的距离向校准装置700发送。在步骤S40050中,校准装置700接收从对象物保持装置800输出的信号,取得对象物与传感器200的准直器223的距离。
(步骤S40060)
在步骤S40060中,校准装置700向传感装置100输出指示由传感器200计测距对象物的距离的控制信号。控制信号包括与指示开始计测的指示信号相应地指定传感装置100所输出的数据形式的信号。被指定的数据形式例如是传感器200所检测的干涉光的谱峰的频率。
(步骤S40070)
传感装置100接收在步骤S40060中校准装置700所输出的控制信号,进行计测动作。计测动作与此前的实施方式中说明的内容同样。即,传感器200向对象物出射频率被周期性调制的激光,接受被对象物反射的光,并使其与参照光干涉。进而,传感器200由光检测器230检测由于干涉而产生的干涉光,对检测信号进行频率分析来求出谱峰。在实施方式2的图41所示的例中,作为谱峰,视为强度超过预先决定的阈值的1个以上的频率峰,但本实施方式的谱峰设为在计算出与干涉光的各频率对应的能量时具有最大的能量的频率。传感装置100依照预先决定的谱峰输出形式将求出的谱峰的数据汇总,并向校准装置700发送。在步骤S40070中,校准装置700取得传感装置100所输出的谱峰的数据。
图62是传感装置100向校准装置700发送的数据形式的一例。图62所示的数据形式例如作为固定值将表示输出数据是校准用的谱峰数据的码由1字节表示。接下来,将进行了计测的时刻由5字节表示,将作为校准对象的传感器200的识别编号由1字节表示,将向上啁啾中的谱峰的频率由2字节表示,将向下啁啾中的谱峰的频率由2字节表示。在图62中将数据的形式表示为数据列,但也可以设为如图40或图42的遵循XML形式的输出形式的数据。在执行了步骤S40070之后,返回至步骤S40020。
通过反复进行步骤S40020至步骤S40070的动作,能够取得为了决定用于计算距离的参数所需的全部谱数据。
(步骤S40080)
在步骤S40080中,校准装置700的处理电路710计算在根据谱峰的频率计算距离时的参数。
说明校准装置700的处理电路710所进行的处理的一例。基于上式(1),保持距离L1及保持距离L 2与干涉光频率的关系分别如下式(4)及式(5)。在此,f b1及f b2分别是在保持距离L1及保持距离L 2时检测的干涉光的谱峰的频率。f b1既可以是在保持距离L1时检测的向上啁啾中的谱峰的频率与向下啁啾中的谱峰的频率的平均值,也可以是向上啁啾中的谱峰的频率及向下啁啾中的谱峰的频率的任一方。关于f b2也是同样的。A是实际的干涉光学系统中的由于参照光的波导与接受的反射光直到与参照光干涉为止的波导之间的长度之差而产生的距离的零点的偏差,是按每个干涉光学系统确定的常数。其他的与式(1)相同的记号具有相同的含义。
L 1=c×f b1/(Δf×f FMCW)×(1/4)+A(4)
L 2=c×f b2/(Δf×f FMCW)×(1/4)+A(5)
保持距离L1及保持距离L 2是已知的值,因此校准装置700的处理电路710能够使用式(4)及式(5)计算Δf和A。
(步骤S40090)
在步骤S40090中,校准装置700经由通信电路720向传感装置100发送在步骤S40080中求出的Δf和A。该Δf及A是在根据谱峰的频率计算距离时的参数。传感装置100在以后的计测动作时,使用传感器200所取得的干涉光的检测信号以及该参数计算距离。通过对Δf及A的值进行更新,从而对传感装置100及传感器200进行校准。
[5-3.效果等]
如上,在本实施方式中的系统中,通过容易地进行传感器200的校准,能够实现并维持高精度的测距。
此外,在此说明了对传感器200之中的1个进行校准时的动作,但也可以进行多个传感器的校准。用于校准的数据既可以按每个传感器收发,也可以将多个传感器汇总收发。
在本实施方式的系统中,校准装置700向传感装置100发送指定输出作为干涉光的谱信息的一例的谱峰的控制信号。传感装置100依照被指定的数据形式,将谱峰的信息向校准装置700输出。由此,校准装置700能够针对将传感器200所检测的干涉光的谱信息转换为距离或者速度时的参数进行校准。通过使用对距离或者速度进行计算之前的作为原始数据的谱信息,能够通过对干涉光进行频率分析来简单地对计算距离或者速度时的参数进行校准。这样的校准不仅可以在传感装置100出厂时执行,而且可以在设置传感装置100时、传感装置100的使用环境发生了变化时、针对传感装置100的异常进行维护时、或者传感装置100的定期维护等场面下执行。
如上,根据本实施方式的系统,能够针对由于激光器的特性等的老化引起的测距装置的100的计测精度的劣化容易地进行校准,能够维持传感装置100的计测的高可靠性。
(实施方式5的变形例1)
接下来,说明本公开的第5实施方式的变形例1。
在第5实施方式中,作为从传感装置100向校准装置700输出的谱信息的数据形式,使用了谱峰即在计测频率范围中示出最大能量的频率的值。在本变形例中,作为谱信息的数据形式使用功率谱。功率谱如在实施方式2中使用图39及图40说明的那样,是表示计测频率范围中的每个频率的能量的值。本变形例的系统的构成与使用图59及图60说明的构成同样。
图63是表示本变形例的系统的动作的流程图。在本变形例中,校准装置700基于作为传感装置100的内部状态之中的1个状态的干涉光的噪声的状态,对传感装置100的谱峰的提取阈值进行校准。在图61所示的实施方式5的动作中,为了进行校准而使用了在2个不同距离处分别计测的数据,但在本变形例中,使用在1个距离处计测的数据。因此,步骤S40020的动作不被包含在图63中。图63的步骤S40010及步骤S40030至步骤S40050的动作与图61同样,因此省略说明。
(步骤S41060)
在步骤S41060中,校准装置700向传感装置100输出用于指示计测的控制信号。在控制信号中,包括用于指定在步骤S40010中决定的传感器的传感器编号等的信号、以及指定要输出的数据形式的信号。如上所述,在本变形例中,指定功率谱作为输出数据形式。传感装置100由通信电路120取得来自校准装置700的控制信号。
(步骤S41070)
传感装置100接收在步骤S41060中校准装置700所输出的控制信号,并进行计测动作。传感装置100对光检测器230所检测出的干涉光进行频率分析来求出功率谱。功率谱的数据形式例如与实施方式2的图39或者图40所示的形式同样。传感装置100依照预先决定的功率谱输出形式将求出的功率谱的数据汇总,并向校准装置700发送。在步骤S41070中,校准装置700取得传感装置100所发送的功率谱的数据。
此外,在实施方式2的图39或者图40所示的数据形式中,为了将来自传感装置100的输出数据转换为点云,而作为固定值包括了传感装置100的位置、传感装置的100方向等。在本变形例中,将在校准中不需要的数据从输出数据中排除。
另外,在图39及图40所示的数据形式中,按每帧连续地输出该帧中的激光的每个出射方向的功率谱数据,进而连续地输出多个帧的数据,但在本变形例中,取得在1次计测中取得的2个功率谱、即向上啁啾中的功率和向下啁啾中的功率谱。这例如相当于图40所示的1个出射方向n上的s un1至s dnm的数据。
(步骤S41080)
在步骤S41080中,校准装置700的处理电路710基于从传感装置100取得的功率谱的值,计算噪声的标准功率。然后,处理电路710将超过噪声的标准功率的值决定为谱峰的提取阈值。谱峰的提取阈值针对向上啁啾和向下啁啾分别决定。阈值也可以基于用户通过未图示的输入机构输入的值决定。此时,校准装置700由显示装置730显示功率谱。
(步骤S41090)
在步骤S41090中,校准装置700向传感装置100发送在步骤S41080中决定的分别针对向上啁啾和向下啁啾的谱峰的提取阈值。该谱峰的提取阈值是本变形例中的用于对传感装置100进行校准的参数的一例。传感装置100在以后的计测动作时,通过使用该提取阈值,能够将干涉光的谱峰与由于噪声引起的峰相区别而高精度地取得。
此外,关于功率谱的数据形式,以相当于数据点的数量包括每个数据点的频率或与频率对应的数值、以及每个数据点的强度即可。
根据本变形例的校准系统,用户或者校准装置700通过确认功率谱上的S/N,能够确认干涉光的噪声的状态。由此,能够判断传感器200有无异常或者是否需要调整,另外易于确定异常原因。因此,易于进行传感装置100出厂时的调整、维护时的调整或者维护时的修理。
(实施方式5的变形例2)
接下来,说明本公开的第5实施方式的变形例2。
在第5实施方式及变形例1中,传感装置100依照校准装置700所输出的控制信号中包括的数据形式的指定,输出了谱峰或者功率谱等的谱信息。另一方面,在本变形例中,校准装置700输出指定干涉光波形作为输出数据形式的控制信号,传感装置100依照接收的控制信号,输出干涉光波形的数据。干涉光波形的数据通过使从传感器200的检测器230输出的干涉光的波形数字化而生成。本变形例的系统的构成与使用图59及图60说明的构成同样。
图64是表示本变形例的系统的动作的流程图。在本变形例中,校准装置700基于从传感装置100取得的干涉光波形,制作用于校正对干涉光波形进行快速傅立叶变换时的采样间隔的校正值,并向传感装置100发送。传感装置100使用该校正值,校正对光检测器230的检测信号进行快速傅立叶变换时的采样间隔。该校正值例如是用于校正传感器200所具备的发光元件212的非线性的校正值。图64的步骤S40010及步骤S40030至步骤S40050的动作与图61及图63同样,因此省略说明。
(步骤S42060)
在步骤S42060中,校准装置700向传感装置100输出用于指示计测的控制信号。在控制信号中,包括用于指定在步骤S40010中决定的传感器的传感器编号等的信号、以及指定输出数据形式的信号。在本变形例2中,指定干涉光波形作为输出数据形式。传感装置100由通信电路120取得来自校准装置700的控制信号。
(步骤S42070)
传感装置100接收在步骤S42060中校准装置700所输出的控制信号,并进行计测动作。传感装置100从光检测器230所检测出的干涉光中,切取预先决定的区间的波形。切取的波形例如是按每一定时间被数字化的信号值。传感装置100依照预先决定的输出形式将切取的干涉光波形汇总,并向校准装置700发送。在步骤S42070中,校准装置700取得传感装置100所发送的干涉光波形的数据。
图65是收发干涉光波形时的数据形式的一例。在图65的例中,作为固定值记述有传感装置100所具备的传感器200的数量、被发送的数据的种类、干涉光波形的数据点数、使干涉光波形数字化时的采样频率、以及环境信息。进而,作为每个传感器的数据,在取得数据的时刻、该传感器的编号之后,接着以相当于固定值中记述的干涉光波形数据点的数量记述向上啁啾中的干涉光波形的每个数据点的信号值。接下来,与向上啁啾同样地以相当于数据点的数量记述向下啁啾中的干涉光波形的每个数据点的信号值。此外,关于干涉光波形的数据形式,只要在接收侧能够将干涉光再现为时间波形即可。数据的顺序、记述形式不限定于上述的形式。
(步骤S42080)
在步骤S42080中,校准装置700的处理电路710基于由校准对象的传感器200取得的干涉光波形的数据,生成用于校正对干涉光波形进行快速傅立叶变换时的采样间隔的校正值。该校正值例如被决定为能够校正由于发光元件212的非线性而引起的干涉光波形的失真。另外,该校正值针对向上啁啾中的波形和向下啁啾中的波形分别决定。
(步骤S42090)
在步骤S42090中,校准装置700向传感装置100发送在步骤S42080中决定的分别关于向上啁啾及向下啁啾的校正值。该校正值是本变形例中的用于对传感装置100进行校准的参数的一例。
传感装置100在以后的计测动作时,基于该校正值进行对检测器230的检测信号进行频率分析时的快速傅立叶变换。由此,传感装置100能够校正由于发光元件212的非线性而引起的干涉光波形的失真并进行高精度的计测。
如上,根据本变形例的校准系统,能够容易地校正由于发光元件212的每个部件的特性的差异或者发光元件212的老化引起的干涉光波形的失真。
工业实用性
本公开的技术能够广泛利用于对周围的环境进行传感并取得物体的位置信息等的装置或者系统。例如,本公开的技术能够利用于使用了FMCW LiDAR的装置或者系统。
附图标记说明:
100 传感装置
110 处理电路
120 通信电路
130 存储装置
200 传感器
210 光源
211 驱动电路
212 发光元件
220 干涉光学系统
221 分支器
222 反射镜
223 准直器
230 光检测器
240 处理电路
250 计时电路
300 移动体
310 通信装置
320 控制装置
330 驱动装置
340 处理装置
350 存储装置
360 输入装置
400 固定体
500 服务器
510 输入装置
520 输出装置
530 处理装置
540 存储装置
550 通信装置
600 网络

Claims (26)

1.一种传感装置,具备:
光源,出射频率被调制的光;
干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;
光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及
处理电路,对所述检测信号进行处理,
所述处理电路从所述处理电路能够输出的多个数据形式中选择特定的数据形式,基于所述检测信号生成具有被选择的所述特定的数据形式的计测数据,并输出包括所述计测数据的输出数据。
2.如权利要求1所述的传感装置,
所述处理电路基于所述检测信号,生成所述反射点的位置信息,并生成包括所述位置信息的所述计测数据。
3.如权利要求1或者2所述的传感装置,
所述处理电路基于所述检测信号,生成所述反射点的速度信息,并生成包括所述速度信息的所述计测数据。
4.如权利要求3所述的传感装置,
所述速度信息是表示所述反射点相对于所述传感装置的相对速度矢量或者沿着将所述传感装置与所述反射点连结的直线的方向上的所述相对速度矢量的成分的信息。
5.如权利要求1至4中任一项所述的传感装置,
所述处理电路基于所述检测信号,生成所述干涉光的谱信息,并生成包括所述谱信息的所述计测数据。
6.如权利要求5所述的传感装置,
所述谱信息包括所述检测信号的功率谱或者所述功率谱的峰频率的信息。
7.如权利要求1至4中任一项所述的传感装置,
所述处理电路基于所述检测信号,生成所述干涉光的波形数据,并生成包括所述波形数据的所述计测数据。
8.如权利要求1至7中任一项所述的传感装置,
所述处理电路进行:
基于所述检测信号,生成所述反射点的位置信息及速度信息,
基于所述速度信息,生成表示所述物体的危险度的信息,
生成包括所述位置信息及表示所述危险度的信息的所述计测数据。
9.如权利要求1至8中任一项所述的传感装置,
所述处理电路进行:
生成被所述输出光照射的多个反射点各自的位置信息及速度信息,
基于所述位置信息将所述多个反射点分为1个以上的簇,并基于各簇所包括的3个以上的反射点的所述速度信息,按每个簇决定1个速度矢量,
生成包括表示各簇的所述速度矢量的信息的所述计测数据。
10.如权利要求1至9中任一项所述的传感装置,
所述处理电路将表示所述特定的数据形式的识别信息包含在所述输出数据中输出。
11.如权利要求1至10中任一项所述的传感装置,
所述处理电路与从其他装置输入的请求信号相应地从所述多个数据形式中选择所述特定的数据形式。
12.如权利要求1至9中任一项所述的传感装置,还具备:
通信电路,将所述输出数据向所述其他装置发送。
13.一种方法,包括:
从1个以上的传感装置取得包括计测数据的输出数据,所述1个以上的传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,基于所述检测信号生成所述计测数据;
判别所述计测数据的数据形式;以及
向所述计测数据适用与判别出的所述数据形式相应的运算处理,从而生成所述物体的位置信息。
14.如权利要求13所述的方法,还包括:
向所述计测数据适用与判别出的所述数据形式相应的运算处理,从而生成所述物体的速度信息。
15.如权利要求13或者14所述的方法,还包括:
在所述计测数据的数据形式是包括表示沿着将所述传感装置与所述反射点连结的直线的方向上的所述相对速度矢量的成分的速度成分信息的数据形式的情况下,基于所述速度成分信息生成所述物体的速度矢量的信息。
16.如权利要求13至15中任一项所述的方法,
所述计测数据包括被所述输出光照射的多个反射点各自的位置信息及速度信息,
所述方法包括:基于所述位置信息将所述多个反射点分为1个以上的簇,基于各簇所包括的3个以上的反射点的所述速度信息,按每个簇决定1个速度矢量,输出各簇的所述速度矢量的信息作为物体的速度矢量的信息。
17.如权利要求13至16中任一项所述的方法,
所述1个以上的传感装置是多个传感装置,
从所述多个传感装置中的各个传感装置取得的所述输出数据包括表示所述传感装置的位置及朝向的信息,
所述物体的位置信息基于表示所述多个传感装置的位置及朝向的信息而生成。
18.如权利要求13至17中任一项所述的方法,包括:
在所述计测数据的数据形式是包括所述检测信号的谱信息的数据形式的情况下,基于所述谱信息,生成所述物体的位置信息、以及所述物体的速度矢量的信息。
19.如权利要求18所述的方法,
所述谱信息包括所述检测信号的功率谱或者所述功率谱的峰频率的信息。
20.如权利要求13至19中任一项所述的方法,包括:
在所述计测数据的数据形式是包括表示所述检测信号的功率谱的功率谱信息的数据形式、或者是包括表示所述检测信号的功率谱的峰频率的峰频率信息的数据形式的情况下,基于所述功率谱信息或者所述峰频率信息,生成所述物体的位置信息、以及所述物体的速度矢量的信息。
21.如权利要求13至20中任一项所述的方法,还包括:
向所述1个以上的传感装置发送用于指定所述计测数据的数据形式的请求信号。
22.如权利要求21所述的方法,
所述1个以上的传感装置被搭载于移动体,
在所述移动体自身或者所述移动体所行驶的环境被检测出异常时,所述请求信号被发送至所述1个以上的传感装置。
23.如权利要求13至22中任一项所述的方法,
所述输出数据包括表示所述计测数据的数据形式的识别信息,
所述数据形式的所述判别基于所述识别信息进行。
24.如权利要求13至20中任一项所述的方法,还包括:
基于所述物体的位置信息,输出对移动体的动作进行控制的信号。
25.如权利要求13所述的方法,包括:
基于所述计测数据,生成用于对所述传感装置进行校准的参数;以及
将所述参数向所述传感装置发送。
26.一种处理装置,具备:
处理器;以及
存储器,存放由所述处理器执行的计算机程序,
所述处理器执行:
从1个以上的传感装置取得包括计测数据的输出数据,所述1个以上的传感装置具备:光源,出射频率被调制的光;干涉光学系统,将从所述光源出射的所述光分离为参照光和输出光,并生成通过所述输出光在物体的反射点被反射而产生的反射光与所述参照光所成的干涉光;光检测器,接受所述干涉光,并输出与所述干涉光的强度相应的检测信号;以及处理电路,基于所述检测信号生成所述计测数据;
判别所述计测数据的数据形式;以及
向所述计测数据适用与判别出的所述数据形式相应的运算处理,从而生成所述物体的位置信息。
CN202280055435.9A 2021-08-26 2022-08-17 传感装置、处理装置以及对数据进行处理的方法 Pending CN117813529A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021137762 2021-08-26
JP2021-137762 2021-08-26
PCT/JP2022/031064 WO2023026920A1 (ja) 2021-08-26 2022-08-17 センシング装置、処理装置、およびデータを処理する方法

Publications (1)

Publication Number Publication Date
CN117813529A true CN117813529A (zh) 2024-04-02

Family

ID=85322097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280055435.9A Pending CN117813529A (zh) 2021-08-26 2022-08-17 传感装置、处理装置以及对数据进行处理的方法

Country Status (5)

Country Link
US (1) US20240183982A1 (zh)
EP (1) EP4394445A1 (zh)
JP (1) JPWO2023026920A1 (zh)
CN (1) CN117813529A (zh)
WO (1) WO2023026920A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2695086B2 (ja) * 1992-02-10 1997-12-24 富士通テン株式会社 レーダ信号処理方式
JP3513432B2 (ja) * 1999-07-27 2004-03-31 三菱重工業株式会社 光周波数領域反射測定装置および光周波数領域反射測定方法
JP2011027457A (ja) 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
JP6626957B2 (ja) * 2015-04-07 2019-12-25 ストローブ, インク.Strobe, Inc. 小型lidarシステム
JP6759660B2 (ja) * 2016-03-30 2020-09-23 株式会社豊田中央研究所 センサ補正装置及びプログラム
JP6838658B2 (ja) * 2017-07-04 2021-03-03 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
JP6908723B2 (ja) * 2017-11-28 2021-07-28 本田技研工業株式会社 車両、および情報処理装置
EP3499265B1 (en) * 2017-12-12 2020-08-19 Veoneer Sweden AB Determining object motion and acceleration vector in a vehicle radar system
JP7008308B2 (ja) 2018-02-05 2022-01-25 日本電気株式会社 画像処理装置、測距装置、撮像装置、画像処理方法及びプログラム
CN115079195A (zh) * 2018-04-23 2022-09-20 布莱克莫尔传感器和分析有限责任公司 用相干距离多普勒光学传感器控制自主车辆的方法和系统
JP7200989B2 (ja) 2018-05-29 2023-01-10 住友電気工業株式会社 光ファイバの伝送損失測定方法およびotdr測定装置
JP7164327B2 (ja) * 2018-06-13 2022-11-01 株式会社デンソーテン 物標検出装置
JP7244220B2 (ja) * 2018-06-13 2023-03-22 株式会社デンソーテン レーダ装置および物標データ出力方法

Also Published As

Publication number Publication date
JPWO2023026920A1 (zh) 2023-03-02
EP4394445A1 (en) 2024-07-03
WO2023026920A1 (ja) 2023-03-02
US20240183982A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
US11938955B2 (en) Advanced driver assistance systems test-interface for automated driving sensors
EP3588141B1 (en) Distance-measuring apparatus, mobile object, distance-measuring method, and distance-measuring system
EP3279691B1 (en) Rangefinder based on parallax calculation
US8810445B2 (en) Method and apparatus for recognizing presence of objects
CN115685149A (zh) 光控制装置、控制方法和存储介质
US11520019B2 (en) Light signal detection device, range finding device, and detection method
US10962644B1 (en) Dynamic laser power control in light detection and ranging (LiDAR) systems
JP2020020612A (ja) 測距装置、測距方法、プログラム、移動体
EP3276576A1 (en) Disparity estimation by fusion of range data and stereo data
CN117813529A (zh) 传感装置、处理装置以及对数据进行处理的方法
US11448756B2 (en) Application specific integrated circuits for LIDAR sensor and multi-type sensor systems
US20230090576A1 (en) Dynamic control and configuration of autonomous navigation systems
WO2023044688A1 (zh) 信号处理方法、信号传输方法及装置
US20230384436A1 (en) Distance measurement correction device, distance measurement correction method, and distance measurement device
WO2023079944A1 (ja) 制御装置、制御方法、制御プログラム
US20230066857A1 (en) Dynamic laser emission control in light detection and ranging (lidar) systems
US20200217954A1 (en) Systems and methods for a configurable sensor system
CN117940799A (zh) 信号处理方法及相关装置
CN116819500A (zh) 验证方法、探测设备及计算机可读存储介质
CN116577759A (zh) 探测方法、探测设备及计算机可读存储介质
CN117471435A (zh) 建立补偿关系的方法、装置、探测设备及可读存储介质
JPWO2023026920A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination