CN113167859A - 校准装置、校准方法、程序和校准系统及校准目标 - Google Patents

校准装置、校准方法、程序和校准系统及校准目标 Download PDF

Info

Publication number
CN113167859A
CN113167859A CN201980081729.7A CN201980081729A CN113167859A CN 113167859 A CN113167859 A CN 113167859A CN 201980081729 A CN201980081729 A CN 201980081729A CN 113167859 A CN113167859 A CN 113167859A
Authority
CN
China
Prior art keywords
unit
time difference
state
detection signal
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980081729.7A
Other languages
English (en)
Inventor
山本英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113167859A publication Critical patent/CN113167859A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4086—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder in a calibrating environment, e.g. anechoic chamber
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4021—Means for monitoring or calibrating of parts of a radar system of receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

校准单元60获取分别由传感器单元40中的多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号。状态检测单元61使用检测信号来检测校准目标的状态。时间差校正量设定单元65通过使用由状态检测单元61获得的校准目标的状态检测结果来计算分别由传感器单元40的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量。基于时间差校正量设定单元65设定的时间差校正量，可以校正由传感器单元40的多个传感器获取的信息之间的时间对准偏差。

Description

校准装置、校准方法、程序和校准系统及校准目标
技术领域
本技术涉及校准装置、校准方法、程序、校准系统以及校准目标，并校正在信息处理装置中通过使用多个传感器获取的信息的时间对准偏差。
背景技术
传统地，已经提出了通过使用借助于多种类型的传感器获得的信息，高精度地进行物体识别处理等。例如，专利文献1记载了当使用雷达和摄像头作为传感器来检测校准目标，并且检测结果用于进行驾驶辅助等时，使用从雷达获得的校准目标的坐标和从摄像头获得的校准目标的坐标，来容易地进行校准目标的匹配。
引文列表
专利文献
专利文献1：日本专利申请公开No.2007-218738
发明内容
本发明要解决的问题
顺便提及，来自多个传感器的检测结果可以包括时间对准偏差以及空间对准偏差。于是，在检测结果之间存在时间对准偏差的情况下，不能基于来自传感器的检测结果精确地校正空间对准偏差等。
于是，本技术的目的是提供一种能够校正由多个传感器获取的检测结果之间的时间对准偏差的校准装置、校准方法、程序和校准系统以及校准目标。
问题的解决方案
本技术的第一方面是：
一种校准装置，包括：
状态检测单元，所述状态检测单元通过使用分别由多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号，检测所述校准目标的状态；和
时间差校正量设定单元，所述时间差校正量设定单元通过使用由所述状态检测单元获得的所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量。
在本技术中，状态检测单元通过使用分别由多个传感器(例如主动式传感器和被动式传感器，或者多个主动式传感器)中的一个传感器生成并指示校准目标的检测结果的检测信号，来检测校准目标的状态。雷达和/或激光雷达用作主动式传感器。时间差校正量设定单元通过使用由所述状态检测单元获得的校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差。具体地，通过使用分别由多个传感器中的一个传感器生成的检测信号中的任意一个作为基准，时间差校正量设定单元通过使用检测信号的各帧的状态检测结果，计算相对于作为基准的检测信号的时间差。例如，时间差校正量设定单元通过使用状态检测结果，计算当校准目标的状态发生相等变化时的帧号之差，并将该差值定义作为时间差。此外，还包括同步处理单元，对于已计算出时间差的检测信号，通过使用时间差校正量，校正所述时间差。例如，时间差指示当校准目标的状态发生相等变化时的帧号之差，同步处理单元使利用时间差校正量校正的检测信号的帧号与作为基准的检测信号的帧号一致地输出利用时间差校正量校正的检测信号。此外，分别由多个传感器中的一个传感器生成的检测信号可以指示当随机切换校准目标的状态时的检测结果，不限于指示当以预定周期切换校准目标的状态时的检测结果的情况。
本技术的第二方面是：
一种校准方法，包括：
由状态检测单元通过使用分别由多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号，检测所述校准目标的状态；和
通过使用由所述状态检测单元获得的校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并由时间差校正量设定单元基于计算结果设定时间差校正量。
本技术的第三方面是：
一种程序，所述程序使计算机执行分别由多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号的校准，所述程序使计算机执行：
通过使用所述检测信号，检测所述校准目标的状态的步骤；和
基于所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量的步骤。
注意，本技术的程序是可以用例如诸如光盘、磁盘或半导体存储器之类的存储介质或诸如网络之类的通信介质提供的程序，所述存储介质或通信介质以计算机可读格式向能够执行各种程序的通用计算机提供程序。通过以计算机可读格式提供此类程序，在计算机上实现与所述程序相应的处理。
本技术的第四方面是：
一种校准系统，包括：
传感器单元，所述传感器单元生成分别由多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号；
状态检测单元，所述状态检测单元通过使用由所述传感器单元生成的各个传感器的检测信号，检测所述校准目标的状态；
时间差校正量设定单元，所述时间差校正量设定单元通过使用由所述状态检测单元获得的所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量；和
同步处理单元，所述同步处理单元通过使用由所述时间差校正量设定单元设定的时间差校正量，校正所述检测信号之间的时间差。
本技术的第五方面是：
一种校准目标，包括：
特性切换单元，所述特性切换单元能够切换到不同反射特性的状态。
在本技术中，防反射部分可移动地设置在具有预定反射特性的目标的前表面，并且以预定周期或随机周期移动，或者多个防反射部分分别可移动地设置在具有不同反射特性的多个目标中的一个目标的前表面，选择防反射部分从其前表面移动的一个目标，并以预定周期或随机周期切换要选择的目标。此外，在旋转体的旋转方向上设置具有不同反射特性的多个目标，旋转所述旋转体，可以以预定周期在目标之间进行切换，并且可以以预定周期进行到不同反射特性状态的切换。此外，可以设置显示状态信息的显示器，所述状态信息指示反射特性的状态。
附图说明
图1是图解说明校准系统的构成的示图。
图2是图解说明校准单元的构成的示图。
图3是例示校准单元的操作的流程图。
图4是例示第一实施例中的信息处理装置的构成的示图。
图5是例示第一实施例中的检测信号获取处理的流程图。
图6是例示第一实施例中的时间差校正量设定处理的流程图。
图7是图解说明第一实施例中的第一操作例子的示图。
图8是图解说明第一实施例中的第二操作例子的示图。
图9是图解说明校准后的第二操作例子的示图。
图10是图解说明第一实施例中的第三操作例子的示图。
图11是图解说明第一实施例中的第四操作例子的示图。
图12是图解说明校准后的第四操作例子的示图。
图13是图解说明第一实施例中的第五操作例子的示图。
图14是图解说明第二实施例的构成的示图。
图15是图解说明第二实施例中的第一操作例子的示图。
图16是图解说明第二实施例中的第二操作例子的示图。
图17是图解说明校准后的第二操作例子的示图。
图18是图解说明第二实施例中的第三操作例子的示图。
图19是图解说明第二实施例中的第四操作例子的示图。
图20是图解说明校准后的第四操作例子的示图。
图21是例示第三实施例中的信息处理装置的构成的示图。
图22是例示第三实施例中的时间差校正量设定处理的流程图。
图23是图解说明第三实施例中的第一操作例子的示图。
图24是图解说明第三实施例中的第二操作例子的示图。
图25是图解说明校准后的第二操作例子的示图。
图26是图解说明校准目标的另一种构成的透视图。
图27是校准目标的另一种构成的一组正视图和俯视图。
图28是例示其中时间差等于或大于校准目标的状态切换周期的情况的示图。
图29是图解说明车辆控制系统的示意构成的例子的方框图。
图30是例示校准目标的布置的示图。
具体实施方式
下面，说明实现本技术的方式。注意，描述是按照以下顺序进行的。
1.关于校准系统
2.第一实施例
3.第二实施例
4.第三实施例
5.变形例
6.例示应用
<1.关于校准系统>
图1例示校准系统的构成。校准系统10包括校准目标20和信息处理装置30。校准目标20包括能够进行到不同反射特性状态的切换的特性切换单元。信息处理装置30包括传感器单元40和对应于本技术的校准装置的校准单元60。传感器单元40包括多个传感器，生成指示校准目标20的检测结果的检测信号，并将检测信号输出给校准单元60。校准单元60使用从传感器单元40供给的检测信号进行状态检测，以便查明校准目标20的反射特性被切换到哪种状态。此外，校准单元60通过使用状态检测结果，计算分别由每个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量。
传感器单元40的多个传感器包括至少包括主动式传感器。例如，多个传感器可以包括主动式传感器和被动式传感器，或者可以包括多个主动式传感器。雷达和/或激光雷达被使用作为主动式传感器。
在使用成像单元41C和雷达单元41R作为多个传感器的情况下，其中成像单元41C使用生成指示校准目标的成像图像的检测信号的图像传感器(被动式传感器)，雷达单元41R使用照射发射波束并基于由校准目标反射的发射波束(反射波束)生成检测信号的雷达(主动式传感器)，在校准目标20中，可以进行到不同反射特性状态的切换的特性切换单元包括反射器21和无线电波吸收体22。校准目标20进行到两种状态中的任一个的切换，即，反射器21未被无线电波吸收体22隐藏的状态，和反射器21被无线电波吸收体22隐藏的状态。基于在成像单元41C生成的检测信号的基础上检测的状态和在雷达单元41R生成的检测信号的基础上检测的状态，校准单元60检测成像单元41C和雷达单元41R的检测信号之间的时间差，并设定用于校正检测到的时间对准偏差的校正量。
图2例示校准单元的构成。校准单元60包括状态检测单元61和时间差校正量设定单元65。
基于分别由传感器单元40中的每个传感器生成的检测信号，状态检测单元61检测校准目标20处于哪种反射特性的状态(下面也简称为“校准目标的状态”)。例如，状态检测单元61通过使用成像单元41C生成的检测信号进行图像识别，检测状态，即，反射器21是未被无线电波吸收体22隐藏还是被无线电波吸收体22隐藏，并将状态检测结果输出给时间差校正量设定单元65。此外，基于由雷达单元41R生成的检测信号指示的反射电平，状态检测单元61检测状态，即，反射器21是未被无线电波吸收体22隐藏还是被无线电波吸收体22隐藏，并将状态检测结果输出给时间差校正量设定单元65。
时间差校正量设定单元65基于从状态检测单元61供给的状态检测结果，计算分别由每个传感器生成的检测信号之间的时间差ER，并基于计算结果设定时间差校正量EC。
图3是例示校准单元的操作的流程图。在步骤ST1，校准系统开始校准目标的操作。校准系统10的校准目标20开始用于将反射特性切换到不同状态的切换操作，然后进入步骤ST2。
在步骤ST2，校准系统进行对校准模式的设定。校准系统10的信息处理装置30将操作模式设定为通过使用传感器单元40生成的检测信号设定时间差校正量的校准模式，然后进入步骤ST3。
在步骤ST3，校准系统设定判定目标时段。校准系统10的信息处理装置30将用于设定时间差校正量的每个检测信号的信号时段设定为判定目标时段，然后进入步骤ST4。
在步骤ST4，校准系统进行检测信号获取处理。校准系统10的信息处理装置30开始传感器单元40的操作，针对传感器单元40的每个传感器持续判定目标时段获取指示校准目标的检测结果的检测信号，然后进入步骤ST5。
在步骤ST5，校准系统进行时间差校正量设定处理。基于在步骤ST4获取的检测信号，校准系统10的信息处理装置30中的校准单元60通过使用指示校准目标20处于哪种反射特性的状态的状态检测结果，计算检测信号之间的时间差，并设定时间差校正量。
<2.第一实施例>
下面，描述第一实施例。在第一实施例中，例如，使用成像单元(被动式传感器)和雷达单元(主动式传感器)作为多个传感器，并通过使用由成像单元生成的检测信号作为基准，计算时间差。此外，将帧号用于时间差的计算。
图4例示第一实施例中的信息处理装置的构成。信息处理装置30-1包括传感器单元40-1和信号处理单元50-1。
传感器单元40-1包括成像单元41C和雷达单元41R。成像单元41C为每一帧生成指示校准目标的成像图像的检测信号，并将检测信号输出给信号处理单元50-1。雷达单元41R基于反射波束为每一帧生成检测信号，并将检测信号输出给信号处理单元50-1。此外，成像单元41C和雷达单元41R生成的检测信号包括帧信息(例如，帧号)。
信号处理单元50-1包括摄像头信号处理单元51C、雷达信号处理单元51R、同步提取单元52、同步处理单元53、识别器55和校准单元60-1。
摄像头信号处理单元51C关于从成像单元41C供给的检测信号进行摄像头信号处理，例如，噪声去除处理、增益调整处理、缺陷像素校正处理、去马赛克处理、颜色调整处理等中的至少一个。摄像头信号处理单元51C将处理后的检测信号输出给同步提取单元52和校准单元60-1。
基于来自雷达单元41R的检测信号，雷达信号处理单元51R基于反射波束的频率和发射波束的频率之差，计算关于校准目标的相对距离和相对速度。此外，基于反射波束的接收阵列天线之间的相位差，计算校准目标的方向。雷达信号处理单元51R将处理后的检测信号输出给同步处理单元53和校准单元60-1。
同步提取单元52从检测信号中提取帧号，并将帧号输出给同步处理单元53。此外，同步提取单元52可以从检测信号中提取帧号和同步信号，并将帧号和同步信号输出给同步处理单元53。此外，同步提取单元52将从摄像头信号处理单元51C供给的检测信号输出给识别器55。
同步处理单元53基于从同步提取单元52供给的帧号和由校准单元60-1设定的时间差校正量EC，校正从雷达信号处理单元51R供给的检测信号的帧号，并将校正后的检测信号输出给识别器55。此外，在从同步提取单元52供给同步信号的情况下，同步处理单元53可通过使其帧号已被校正的检测信号与从同步提取单元52输出给识别器55的检测信号同步，即，通过使这些检测信号的帧号匹配，在与从同步提取单元52输出给识别器55的检测信号相同的定时，将其帧号已被校正的检测信号输出给识别器55。
识别器55基于从同步提取单元52供给的检测信号和从同步处理单元53供给的检测信号，进行被摄物体识别处理等，从同步处理单元53供给的检测信号是其中时间对准偏差已被校正的检测信号。
校准单元60-1通过使用由成像单元41C和雷达单元41R生成的检测信号，设定时间差校正量EC。校准单元60-1包括状态检测单元61C和61R、帧号提取单元62C和62R、以及时间差校正量设定单元65-1。
状态检测单元61C基于从摄像头信号处理单元51C供给的检测信号，检测校准目标的状态。例如，状态检测单元61C通过使用检测信号进行图像识别，检测状态，即，在校准目标20中，反射器21是未被无线电波吸收体22隐藏还是被无线电波吸收体22隐藏，并将检测结果输出给时间差校正量设定单元65-1。
状态检测单元61R基于从雷达信号处理单元51R供给的检测信号，检测校准目标的状态。例如，状态检测单元61R基于检测信号的信号电平，检测状态，即，在校准目标20中，反射器21是未被无线电波吸收体22隐藏还是被无线电波吸收体22隐藏，并将检测结果输出给时间差校正量设定单元65-1。
帧号提取单元62C从由摄像头信号处理单元51C供给的检测信号中提取帧号，并将帧号输出给时间差校正量设定单元65-1。
帧号提取单元62R从由雷达信号处理单元51R供给的检测信号中提取帧号，并将帧号输出给时间差校正量设定单元65-1。
通过使用分别由多个传感器中的每一个生成的检测信号中的任意一个，例如检测信号SC作为基准，时间差校正量设定单元65-1通过使用状态检测单元61C和61R中的各帧的状态检测结果，计算检测信号SR相对于作为基准的检测信号SC的时间差ER。对于时间差ER的计算，例如，使用从帧号提取单元62C和62R供给的帧号，并且当校准目标的状态发生相等变化时的帧号之差被定义为时间差ER。此外，时间差校正量设定单元65-1基于计算的时间差ER，设定关于检测信号SR的时间差校正量EC。
接下来，描述第一实施例的操作。图5是例示第一实施例中的检测信号获取处理的流程图。注意，检测信号获取处理对应于图3中的步骤ST4的处理。
在步骤ST11，信息处理装置初始化成像单元。信息处理装置30-1初始化传感器单元40中的成像单元41C，然后进入步骤ST12。
在步骤ST12，信息处理装置初始化雷达单元。信息处理装置30-1初始化传感器单元40中的雷达单元41R，然后进入步骤ST13。
在步骤ST13，信息处理装置开始成像单元的操作。信息处理装置30-1操作成像单元41C，开始对校准目标20成像，生成检测信号，然后进入步骤ST14。注意，成像单元41C生成的检测信号由摄像头信号处理单元51C处理。此外，在步骤ST13，成像单元41C将生成检测信号时使用的同步信号输出给雷达单元41R。
在步骤ST14，信息处理装置开始与成像单元同步的雷达单元的操作。信息处理装置30-1通过使用从成像单元41C供给的同步信号作为基准，操作雷达单元41R，开始生成指示校准目标20对电磁波的反射状态的检测信号，然后进入步骤ST15。注意，如上所述，雷达单元41R生成的检测信号由雷达信号处理单元51R处理。
在步骤ST15，信息处理单元进行校准目标的状态检测处理。信息处理装置30-1的校准单元60中的状态检测单元61C基于由成像单元41C生成并由摄像头信号处理单元51C处理的检测信号，检测校准目标20的状态。此外，状态检测单元61L基于由雷达单元41R生成并由雷达信号处理单元51R处理的检测信号，检测校准目标20的状态，然后进入步骤ST16。
在步骤ST16，信息处理装置判定是否持续判定目标时段生成了检测信号。如果持续比判定目标时段短的时段成像单元41C生成了检测信号，例如，如果生成了其中帧数小于预定帧数(例如，n帧)的检测信号，那么信息处理装置30-1返回步骤ST15，而如果判定在成像单元41C中，持续判定目标时段生成了检测信号，例如，如果生成了包含预定帧数(例如，n帧)的检测信号，那么终止检测信号获取处理。
图6是例示第一实施例中的时间差校正量设定处理的流程图。注意，时间差校正量设定处理对应于图3中的步骤ST5。
在步骤ST21，信息处理装置计算时间差ER。对于由成像单元41C生成的检测信号的时间差计算目标帧，信息处理装置30-1的校准单元60中的时间差校正量设定单元65-1基于状态检测结果，计算相对于雷达单元41R生成的检测信号的时间差。注意，时间差计算目标帧是在判定目标时段中，在校准目标20的状态检测结果变化之后的第一帧和/或紧接在所述状态检测结果变化之前的帧，在下面的描述中，将例示其中将状态检测结果变化之后的第一帧定义为时间差计算目标帧的情况。
例如，由成像单元41C生成的判定目标时段的检测信号SC的帧号用“i到i+n”表示。此外，在判定目标时段中，在时间差校正之前由雷达单元41R生成的检测信号SR的帧号用“j到j+n”表示。
时间差校正量设定单元65-1通过使用检测信号SR的指示与检测信号SC中相等的校准目标20的状态检测结果的变化的帧号，计算时间差ER。此外，在能够以预定周期切换校准目标20的状态的情况下，指示状态检测结果中的相等变化的帧被定义为在比校准目标20的一个状态切换周期短的时段内，具有最小帧差的帧。
这里，在状态检测结果在检测信号SC的帧号为ig的帧发生变化，并且在检测信号SR的帧号为jk的帧发生与所述变化相等的变化的情况下，基于式(1)计算时间差ERg，然后处理进入步骤ST22。
ERg＝(ig-jk)...(1)
在步骤ST22，信息处理装置判定所述判定目标时段中时间差的计算是否已完成。如果对于在判定目标时段中状态检测结果已变化的各帧所进行的时间差的计算未完成，那么信息处理装置30-1的时间差校正量设定单元65-1进入步骤ST23，而如果对于状态检测结果已变化的各帧所进行的时间差的计算已完成，则进入步骤ST24。
在步骤ST23，信息处理装置进行时间差计算目标帧的更新处理。信息处理装置30-1的时间差校正量设定单元65-1将时间差计算目标帧设定为检测信号SC中的其中校准目标20的状态检测结果已变化的下一帧，然后返回步骤ST21。
在步骤ST24，信息处理装置判定计算的时间差ER是否相等。如果判定时间差ER相等，那么信息处理装置30-1的时间差校正量设定单元65-1进入步骤ST25，而如果包含指示不同时间差ER的帧，则进入步骤ST27。
在步骤ST25，信息处理装置设定时间差校正量。基于在步骤ST22计算的时间差ER，信息处理装置30-1的时间差校正量设定单元65-1设定时间差校正量EC，借助时间差校正量EC，使检测信号SR的指示与检测信号SC相等的状态检测结果的变化的帧号和检测信号SC的对应帧号相等，然后进入步骤ST26。
在步骤ST26，信息处理装置设定校准成功标志。由于时间差校正量EC的设定已完成，因此信息处理装置30-1的时间差校正量设定单元65-1将校准成功标志设定为设定状态(开启状态)，然后结束时间差校正量设定处理。
在步骤ST27，信息处理装置使得不设定校准成功标志。信息处理装置30-1的时间差校正量设定单元65-1不进行时间差校正量EC的设定，因为包含指示不同时间差的帧，从而信息处理装置30-1的时间差校正量设定单元65-1将校准成功标志设定为非设定状态(关闭状态)，然后结束时间差校正量设定处理。
下面参考图7至13，描述第一实施例的操作例子。图7是图解说明第一实施例中的第一操作例子的示图，图8是图解说明第一实施例中的第二操作例子的示图。在第一操作例子和第二操作例子每一个中，例示其中两种状态，即，校准目标20中的反射器21未被无线电波吸收体22隐藏的状态，和反射器21被无线电波吸收体22隐藏的状态的时段分别对应于检测信号SC和SR的1帧时段的情况。
图7中图解所示的第一操作例子图解说明其中成像单元41C生成的检测信号SC与雷达单元41R生成的检测信号SR同步的情况。图7的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段(例如，约1秒)。
图7的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图7的(c)图解说明雷达单元41R生成的检测信号SR的帧号和状态检测结果。
在成像单元41C生成的检测信号SC与雷达单元41R生成的检测信号SR同步的情况下，在校准目标20的状态发生相等变化时的检测信号SC和检测信号SR的帧号相等。于是，时间差校正量EC为“0”。
图8中图解所示的第二操作例子图解说明在成像单元41C生成的检测信号SC与雷达单元41R生成的检测信号SR之间存在时间对准偏差的情况。
图8的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图8的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图8的(c)图解说明雷达单元41R生成的检测信号SR的帧号和状态检测结果。
在雷达单元41R生成的检测信号SR相对于成像单元41C生成的检测信号SC存在时间对准偏差的情况下，在检测信号SC和检测信号SR之间，指示校准目标20的状态检测结果的相等变化的帧号可能不同。例如，帧号2是其中基于检测信号SC的状态检测结果从开启状态变为关闭状态的帧，而其中基于检测信号SR的状态检测结果从开启状态变为关闭状态的帧是帧号1，于是，时间差ER为“1”。此外，帧号3是其中基于检测信号SC的状态检测结果从关闭状态变为开启状态的帧，而其中基于检测信号SR的状态检测结果从关闭状态变为开启状态的帧是帧号2，于是，时间差ER为“1”。此外，在校准目标的状态发生相等变化时的其他帧编号之间，时间差ER也为“1”。于是，时间差校正量设定单元65-1将时间差校正量EC设定为“1”。此外，在设定时间差校正量EC时，通过图6中图解所示的时间差校正量设定处理，校准成功标志被设定为设定状态。
图9图解说明校准后的第二操作例子，已通过使用成像单元41C生成的检测信号SC作为基准，对雷达单元41R生成的检测信号SR进行了时间差校正处理。图9的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图9的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图9的(c)图解说明已对其进行时间差校正处理的检测信号SRh的帧号和状态检测结果。如参考图8所述，在检测信号SC和检测信号SR之间存在图8中图解所示的时间差的情况下，时间差校正量EC被设定为“1”。于是，同步处理单元53向检测信号SR的帧号加“1”，生成在图9的(c)中图解所示的检测信号SRh。通过进行这种处理，能够校正检测信号SC和检测信号SR之间的时间差。
图10是图解说明第一实施例中的第三操作例子的示图，图11是图解说明第一实施例中的第四操作例子的示图，图13是图解说明第一实施例中的第五操作例子的示图。在第三操作例子、第四操作例子和第五操作例子每一个中，例示了其中校准目标20的两种状态的时段分别为检测信号SC和SR的多帧时段的情况。
图10中图解所示的第三操作例子图解说明其中成像单元41C生成的检测信号SC与雷达单元41R生成的检测信号SR同步的情况。图10的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图10的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。注意在下面的图中，附图标记(O)指示状态检测结果为开启状态，而附图标记(C)指示状态检测结果为关闭状态。图10的(c)图解说明雷达单元41R生成的检测信号SR的帧号和状态检测结果。
在成像单元41C生成的检测信号SC与雷达单元41R生成的检测信号SR同步的情况下，在校准目标20的状态发生相等变化时的检测信号SC和检测信号SR的帧号相等。于是，时间差校正量EC为“0”。
图11中图解所示的第四操作例子图解说明在成像单元41C生成的检测信号与雷达单元41R生成的检测信号之间存在时间对准偏差的情况。
图11的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图11的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图11的(c)图解说明雷达单元41R生成的检测信号SR的帧号和状态检测结果。
在雷达单元41R生成的检测信号SR相对于成像单元41C生成的检测信号SC存在时间对准偏差的情况下，在检测信号SC和检测信号SR之间，指示校准目标20的状态检测结果的相等变化的帧号可能不同。例如，帧号5是其中基于检测信号SC的状态检测结果从开启状态变为关闭状态的帧，而其中基于检测信号SR的状态检测结果从开启状态变为关闭状态的帧是帧号3，于是，时间差ER为“2”。此外，帧号9是其中基于检测信号SC的状态检测结果从关闭状态变为开启状态的帧，而其中基于检测信号SR的状态检测结果从关闭状态变为开启状态的帧是帧号7，于是，时间差ER为“2”。此外，在校准目标的状态发生相等变化时的其他帧编号之间，时间差ER也为“2”。于是，时间差校正量设定单元65-1将时间差校正量EC设定为“2”。此外，当设定时间差校正量EC时，校准成功标志被设定为设定状态。
图12图解说明校准后的第四操作例子，已通过使用成像单元41C生成的检测信号SC作为基准，对雷达单元41R生成的检测信号SR进行了时间差校正处理。图12的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图12的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图12的(c)图解说明已对其进行时间差校正处理的检测信号SRh的帧号和状态检测结果。如参考图11所示，在检测信号SC和检测信号SR之间存在图11中图解所示的时间差的情况下，时间差校正量EC被设定为“2”。于是，同步处理单元53向检测信号SR的帧号加“2”，以生成在图12的(c)中图解所示的检测信号SRh。通过进行这种处理，能够校正检测信号SC和检测信号SR之间的时间差。
如上所述，按照第一实施例，可以校正由多个传感器获取的检测信号之间的时间对准偏差。
图13中图解所示的第五操作例子例示其中在成像单元41C生成的检测信号和雷达单元41R生成的检测信号之间存在时间对准偏差，并且检测信号SR的周期变动的情况。
图13的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图13的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图13的(c)图解说明雷达单元41R生成的检测信号SR的帧号和状态检测结果。
在成像单元41C生成的检测信号SC与雷达单元41R生成的检测信号SR之间存在时间对准偏差，并且检测信号SR的周期变动的情况下，如上所述，检测信号SR的指示基于检测信号SC的校准目标20的状态检测结果的相等变化的帧号之差可能变动。注意在图13中，作为帧号之差的时间差ER为“1”或“0”。在这种情况下，通过图6中图解所示的时间差校正量设定处理，将校准成功标志设定为非设定状态。
如上所述，按照第一实施例，通过基于校准目标的状态检测结果设定时间差校正量，可以校正由多个传感器获取的检测信号之间的时间对准偏差。此外，如果在校准成功标志处于设定状态时，进行使用校正后的检测信号的识别处理，那么能够精确地进行识别处理。此外，由于在不能校正时间对准偏差的情况下，校准成功标志处于非设定状态，因此可以防止发生由于使用包含时间对准偏差的检测信号而产生的问题，例如物体的识别精度的降低，如果在校准成功标志处于未设定状态的情况下，识别器55使用检测信号SC或检测信号SR来进行识别处理的话。
<3.第二实施例>
下面，描述第二实施例。如上所述，在以预定周期切换校准目标20的两种状态的情况下，如果时间对准偏差等于或大于校准目标20的两种状态的周期，那么不能适当地校正时间对准偏差。例如，在存在大于预定周期的时间差的情况下，如果在预定周期内检测到检测信号SR的指示状态检测结果的相等变化的帧号，那么不能正确地检测时间差。于是，在第二实施例中，将描述将校准目标20的状态增加到不止两种，以使得可以校正比第一实施例更大的时间对准偏差的情况。
图14例示第二实施例的构成。在类似于第一实施例，使用生成指示校准目标的成像图像的检测信号的成像单元41C，和照射发射波束并基于由校准目标反射的发射波束(反射波束)生成检测信号的雷达单元41R，作为多个传感器的情况下，校准目标20包括具有不同雷达散射截面(RCS)的多个反射器、为相应反射器设置的无线电波吸收体、和指示哪个反射器反射发射波束的显示器23。注意在图14中，设置具有不同雷达散射截面的反射器21a、21b和21c以及用于相应反射器的无线电波吸收体22a、22b和22c。
在校准目标20中，按预定顺序选择反射器21a、21b和21c，选择的反射器被设定成未被无线电波吸收体隐藏的状态，其余的反射器被设定成被无线电波吸收体隐藏的状态。例如，在选择反射器21a的情况下，反射器21a被设定成未被无线电波吸收体22a隐藏的状态，其他的反射器21b和21c被设定成分别被无线电波吸收体22b和22c隐藏的状态。此外，指示器23显示用于指示所选反射器的信息，具体地，指示所选反射器的索引、所选反射器的雷达散射截面等。例如，在选择反射器21a的情况下，指示用于指示这样选择的反射器21a的索引。如上所述，如果按预定顺序选择反射器21a、21b和21c，那么在校准目标20中，按预定顺序切换三种状态。
基于在成像单元41C生成的检测信号的基础上检测的校准目标20的状态和在雷达单元41R生成的检测信号的基础上检测的校准目标20的状态的检测结果，校准单元60计算时间差，并设定时间差校正量EC。
第二实施例中的信息处理装置是与图4中图解所示的第一实施例中的信息处理装置类似地构成的。
在第二实施例中，状态检测单元61C基于从摄像头信号处理单元51C供给的检测信号，检测校准目标20的状态。例如，状态检测单元61C通过使用检测信号，识别指示器23的指示的内容，并检测校准目标20是否处于以下状态：在校准目标20中，反射器21a、21b或21c中的任意一个未被对应的无线电波吸收体隐藏，而其他反射器被对应的无线电波吸收体隐藏。随后，状态检测单元61C将检测结果输出给时间差校正量设定单元65-1。
状态检测单元61R基于从雷达信号处理单元51R供给的检测信号，检测校准目标20的状态。例如，基于检测信号的信号电平，状态检测单元61R检查校准目标20是否处于以下状态：在校准目标20中，反射器21a、21b或21c中的任意一个未被对应的无线电波吸收体隐藏，而其他反射器被对应的无线电波吸收体隐藏。随后，状态检测单元61R将检测结果输出给时间差校正量设定单元65-1。
时间差校正量设定单元65-1基于来自状态检测单元61C和61R的检测结果，以及从帧号提取单元62C和62L供给的帧号，设定时间差校正量EC。
下面，描述第二实施例的操作。在第二实施例中，类似于第一实施例，进行图5中图解所示的检测信号获取处理，以获取判定目标时段的检测信号。注意，判定目标时段是比校准目标20的状态切换周期长的时段。此外，在第二实施例中，类似于第一实施例，进行图6中图解所示的时间差校正量设定处理，通过使用检测信号SR的指示与检测信号SC中的相等的校准目标20的状态检测结果的变化的帧号，计算时间差ER，并且基于计算的时间差ER，进行时间差校正量EC的设定，并进行校准成功标志的设定等。
图15至20是说明第二实施例的操作例子的示图。图15是图解说明第二实施例中的第一操作例子的示图，图16是图解说明第二实施例中的第二操作例子的示图。在第一操作例子和第二操作例子每一个中，例示其中校准目标20的三种状态的时段分别是检测信号SC和SR的1帧时段的情况。
图15中图解所示的第一操作例子图解说明其中成像单元41C生成的检测信号和雷达单元41R生成的检测信号同步的情况。图15的(a)图解说明在校准目标20中选择反射器21a的状态WSa，并且反射器21a未被无线电波吸收体22a隐藏的状态用“开启”表示，而反射器21a被无线电波吸收体22a隐藏的状态用“关闭”表示。图15的(b)图解说明在校准目标20中选择反射器21b的状态WSb，并且反射器21b未被无线电波吸收体22b隐藏的状态用“开启”表示，而反射器21b被无线电波吸收体22b隐藏的状态用“关闭”表示。图15的(c)图解说明在校准目标20中选择反射器21c的状态WSc，并且反射器21c未被无线电波吸收体22c隐藏的状态用“开启”表示，而反射器21c被无线电波吸收体22c隐藏的状态用“关闭”表示。在这种情况下，校准目标20的状态切换周期为3帧时段。
图15的(d)图解说明指示器23的指示信息DS。例如，指示La表示只有反射器21a未被无线电波吸收体22a隐藏，而反射器21b和21c分别被无线电波吸收体22b和22c隐藏。指示Lb表示只有反射器21b未被无线电波吸收体22b隐藏，而反射器21a和21c分别被无线电波吸收体22a和22c隐藏。指示Lc表示只有反射器21c未被无线电波吸收体22c隐藏，而反射器21a和21b分别被无线电波吸收体22a和22b隐藏。
图15的(e)图解说明由成像单元41C生成的检测信号SC以及状态检测结果。此外，图15的(f)图解说明由雷达单元41R生成的检测信号SR以及状态检测结果。注意在图15和如后所述的图16至20中，附图标记(La)表示指示器23的指示识别结果为指示La，附图标记(Lb)表示指示识别结果为指示Lb，附图标记(Lc)表示指示器23的指示识别结果为指示Lc。
在成像单元41C生成的检测信号SC和雷达单元41R生成的检测信号SR同步的情况下，在校准目标20的状态发生相等变化时的检测信号SC和检测信号SR的帧号相等。于是，时间差校正量EC为“0”。
图16中图解所示的第二操作例子图解说明其中在成像单元41C生成的检测信号与雷达单元41R生成的检测信号之间存在时间对准偏差的情况。注意，图16的(a)类似于图15的(a)，图16的(b)至(d)类似于图15的(b)至(d)，从而将省略其说明。
图16的(e)图解说明成像单元41C生成的检测信号SC以及状态检测结果。此外，图16的(f)图解说明雷达单元41R生成的检测信号SR以及状态检测结果。
在雷达单元41R生成的检测信号SR相对于成像单元41C生成的检测信号SC存在时间对准偏差的情况下，在检测信号SC和检测信号SR之间，指示校准目标20的状态检测结果的相等变化的帧号可能不同。例如，帧号2是其中基于检测信号SC的状态检测结果从指示La变为指示Lb的帧，而其中基于检测信号SR的状态检测结果从指示La变为指示Lb的帧是帧号1，于是，时间差ER为“1”。此外，帧号3是其中基于检测信号SC的状态检测结果从指示Lb变为指示Lc的帧，而其中基于检测信号SR的状态检测结果从指示Lb变为指示Lc的帧是帧号2，于是，时间差ER为“1”。此外，帧号4是其中基于检测信号SC的状态检测结果从指示Lc变为指示La的帧，而其中基于检测信号SR的状态检测结果从指示Lc变为指示La的帧是帧号3，于是，时间差ER为“1”。于是，时间差校正量设定单元65-1将时间差校正量EC设定为“1”。此外，在设定时间差校正量EC时，通过图6中图解所示的时间差校正量设定处理，校准成功标志被设定为设定状态。
图17图解说明校准后的第二操作例子，已通过使用成像单元41C生成的检测信号SC作为基准，对雷达单元41R生成的检测信号SR进行了时间差校正处理。注意，图17的(a)类似于图15的(a)，并且图17的(b)至(d)类似于图15的(b)至(d)，从而省略其说明。
图17的(e)图解说明成像单元41C生成的检测信号SC以及状态检测结果。此外，图17的(f)图解说明已对其进行时间差校正处理的检测信号SRh以及状态检测结果。如参考图16所述，在检测信号SC与检测信号SR之间存在图16中图解所示的时间差的情况下，向检测信号SR的帧号加“1”，因为时间差校正量EC被设定为“1”，从而生成在图17的(f)中图解所示的检测信号SRh。通过进行这种处理，能够校正检测信号SC与检测信号SR之间的时间差。
图18是图解说明第二实施例中的第三操作例子的示图，图19是图解说明第二实施例中的第四操作例子的示图。在第三操作例子和第四操作例子每一个中，例示其中校准目标20的两种状态的时段分别是检测信号SC和SR的多帧时段的情况。
图18中图解所示的第三操作例子图解说明其中成像单元41C生成的检测信号与雷达单元41R生成的检测信号同步的情况。图18的(a)图解说明在校准目标20中选择反射器21a的状态WSa，并且反射器21a未被无线电波吸收体22a隐藏的状态用“开启”表示，而反射器21a被无线电波吸收体22a隐藏的状态用“关闭”表示。图18的(b)图解说明在校准目标20中选择反射器21b的状态WSb，并且反射器21b未被无线电波吸收体22b隐藏的状态用“开启”表示，而反射器21b被无线电波吸收体22b隐藏的状态用“关闭”表示。图18的(c)图解说明在校准目标20中选择反射器21c的状态WSc，并且反射器21c未被无线电波吸收体22c隐藏的状态用“开启”表示，而反射器21c被无线电波吸收体22c隐藏的状态用“关闭”表示。在这种情况下，校准目标20的状态切换周期为3帧时段。
图18的(d)图解说明指示器23的指示信息DS。例如，指示La表示只有反射器21a未被无线电波吸收体22a隐藏，而反射器21b和21c分别被无线电波吸收体22b和22c隐藏。指示Lb表示只有反射器21b未被无线电波吸收体22b隐藏，而反射器21a和21c分别被无线电波吸收体22a和22c隐藏。指示Lc表示只有反射器21c未被无线电波吸收体22c隐藏，而反射器21a和21b分别被无线电波吸收体22a和22b隐藏。
图18的(e)图解说明由成像单元41C生成的检测信号SC以及状态检测结果。此外，图18的(f)图解说明由雷达单元41R生成的检测信号SR以及状态检测结果。
在成像单元41C生成的检测信号SC和雷达单元41R生成的检测信号SR同步的情况下，在校准目标20的状态发生相等变化时的检测信号SC和检测信号SR的帧号相等。于是，时间差校正量EC为“0”。
图19中图解所示的第四操作例子图解说明其中在成像单元41C生成的检测信号与雷达单元41R生成的检测信号之间存在时间对准偏差的情况。注意，图19的(a)类似于图18的(a)，图19的(b)-(d)类似于图18的(b)-(d)，从而将省略其说明。
图19的(e)图解说明成像单元41C生成的检测信号SC以及状态检测结果。此外，图19的(f)图解说明雷达单元41R生成的检测信号SR以及状态检测结果。
在雷达单元41R生成的检测信号SR相对于成像单元41C生成的检测信号SC存在时间差的情况下，在检测信号SC和检测信号SR之间，指示校准目标20的状态检测结果的相等变化的帧号可能不同。例如，帧号6是其中基于检测信号SC的状态检测结果从指示La变为指示Lb的帧，而其中基于检测信号SR的状态检测结果从指示La变为指示Lb的帧是帧号4，于是，时间差ER为“2”。此外，帧号10是其中基于检测信号SC的状态检测结果从指示Lb变为指示Lc的帧，而其中基于检测信号SR的状态检测结果从指示Lb变为指示Lc的帧是帧号8，于是，时间差ER为“2”。此外，帧号14是其中基于检测信号SC的状态检测结果从指示Lc变为指示La的帧，而其中基于检测信号SR的状态检测结果从指示Lc变为指示La的帧是帧号12，于是，时间差ER为“2”。于是，时间差校正量设定单元65-1将时间差校正量EC设定为“2”。此外，在设定时间差校正量EC时，通过图6中图解所示的时间差校正量设定处理，校准成功标志被设定为设定状态。
图20图解说明校准后的第四操作例子，已通过使用成像单元41C生成的检测信号SC作为基准，对雷达单元41R生成的检测信号SR进行了时间差校正处理。注意，图20的(a)类似于图18的(a)，并且图20的(b)-(d)类似于图18的(b)-(d)，从而省略其说明。
图20的(e)图解说明成像单元41C生成的检测信号SC以及状态检测结果。此外，图20的(f)图解说明已对其进行时间差校正处理的检测信号SRh以及状态检测结果。如参考图19所述，在检测信号SC与检测信号SR之间存在图19中图解所示的时间差的情况下，向检测信号SR的帧号加“2”，因为时间差校正量EC被设定为“2”，从而生成在图20的(f)中图解所示的检测信号SRh。通过进行这种处理，能够校正检测信号SC与检测信号SR之间的时间差。
注意，在上述操作例子中已例示了其中以预定周期重复校准目标20的三种状态的情况，不过，如果增大校准目标20的状态的数量，并且以预定周期重复各个状态，那么可以校正3帧或更多帧的时间对准偏差。
如上所述，按照第二实施例，即使在时间对准偏差比第一实施例大的情况下，也可校正由多个传感器获取的检测信号之间的时间对准偏差。
<4.第三实施例>
尽管在上述实施例中，描述了使用成像单元和雷达单元的情况，不过，使用激光雷达传感器的激光雷达单元41L也可进一步用作主动式传感器。激光雷达照射激光，并基于由校准目标反射的激光(反射光)，生成检测信号。
图21例示第三实施例中的信息处理装置的构成。信息处理装置30-3包括传感器单元40-3和信号处理单元50-3。
传感器单元40-3包括成像单元41C、雷达单元41R和激光雷达单元41L。成像单元41C为每一帧生成指示校准目标的成像图像的检测信号，并将检测信号输出给信号处理单元50-3。雷达单元41R基于反射波束为每一帧生成检测信号，并将检测信号输出给信号处理单元50-3。激光雷达单元41L基于反射光为每一帧生成检测信号，并将检测信号输出给信号处理单元50-3。此外，成像单元41C、雷达单元41R和激光雷达单元41L生成的检测信号包括依据其可以识别帧的帧信息(例如，帧号)。
信号处理单元50-3包括摄像头信号处理单元51C、雷达信号处理单元51R、激光雷达信号处理单元51L、同步提取单元52、同步处理单元53R和53L、识别器55、以及校准单元60-3。
摄像头信号处理单元51C关于从成像单元41C供给的检测信号进行摄像头信号处理，例如，噪声去除处理、增益调整处理、缺陷像素校正处理、去马赛克处理、颜色调整处理等中的至少一个。摄像头信号处理单元51C将处理后的检测信号输出给同步提取单元52和校准单元60-1。
基于来自雷达单元41R的检测信号，雷达信号处理单元51R基于反射波束的频率和发射波束的频率之差，计算关于校准目标的相对距离和相对速度。此外，基于反射波束的接收阵列天线之间的相位差，计算校准目标的方向。雷达信号处理单元51R将处理后的检测信号输出给同步处理单元53和校准单元60-1。
基于来自激光雷达单元41L的检测信号，激光雷达信号处理单元51L基于激光的出射定时和反射光的接收结果，计算关于校准目标的相对距离和相对速度。此外，基于激光的照射方向和反射光，计算校准目标的方向。激光雷达信号处理单元51L将处理后的检测信号输出给同步处理单元53L和校准单元60-3。
同步提取单元52从检测信号中提取帧号，并将帧号输出给同步处理单元53R和53L。此外，同步提取单元52可以从检测信号中提取帧号和同步信号，并将帧号和同步信号输出给同步处理单元53R和53L。此外，同步提取单元52将从摄像头信号处理单元51C供给的检测信号输出给识别器56。
同步处理单元53R基于从同步提取单元52供给的帧号和由校准单元60-3设定的时间差校正量ECr，校正从雷达信号处理单元51R供给的检测信号的帧号，并将校正后的检测信号输出给识别器56。此外，在从同步提取单元52供给同步信号的情况下，同步处理单元53可通过使其帧号已被校正的检测信号与从同步提取单元52输出给识别器56的检测信号同步，即，通过使这些检测信号的帧号匹配，在与从同步提取单元52输出给识别器56的检测信号相同的定时，将其帧号已被校正的检测信号输出给识别器56。
同步处理单元53L基于从同步提取单元52供给的帧号和由校准单元60-3设定的时间差校正量ECl，校正从激光雷达信号处理单元51L供给的检测信号的帧号，并将校正后的检测信号输出给识别器56。此外，在从同步提取单元52供给同步信号的情况下，同步处理单元53L可通过使其帧号已被校正的检测信号与从同步提取单元52输出给识别器56的检测信号同步，即，通过使这些检测信号的帧号匹配，在与从同步提取单元52输出给识别器56的检测信号相同的定时，将其帧号已被校正的检测信号输出给识别器56。
识别器56基于从同步提取单元52供给的检测信号以及从同步处理单元53R和53L供给的检测信号，进行被摄物体识别处理，其中检测信号中的时间对准偏差已被校正。
校准单元60-3通过使用由成像单元41C、雷达单元41R和激光雷达单元41L生成的检测信号，设定时间差校正量ECr和ECl。校准单元60-1包括状态检测单元61C、61R和61L、帧号提取单元62C、62R和62L、以及时间差校正量设定单元65-3。
状态检测单元61C基于从摄像头信号处理单元51C供给的检测信号，检测校准目标的状态。例如，状态检测单元61C通过使用检测信号进行图像识别，检测状态，即，在校准目标20中，反射器21是未被无线电波吸收体22隐藏还是被无线电波吸收体22隐藏，并将检测结果输出给时间差校正量设定单元65-3。
状态检测单元61R基于从雷达信号处理单元51R供给的检测信号，检测校准目标的状态。例如，状态检测单元61R基于检测信号的信号电平，检测在校准目标20中选择了反射器21a、21b或21c中的哪一个，并将检测结果输出给时间差校正量设定单元65-3。
状态检测单元61L基于从激光雷达信号处理单元51L供给的检测信号，检测校准目标的状态。例如，状态检测单元61L基于检测信号的信号电平，检测在校准目标20中选择了反射器21a、21b或21c中的哪一个，并将检测结果输出给时间差校正量设定单元65-3。
帧号提取单元62C从由摄像头信号处理单元51C供给的检测信号中提取帧号，并将帧号输出给时间差校正量设定单元65-3。
帧号提取单元62R从由雷达信号处理单元51R供给的检测信号中提取帧号，并将帧号输出给时间差校正量设定单元65-3。
帧号提取单元62L从由激光雷达信号处理单元51L供给的检测信号中提取帧号，并将帧号输出给时间差校正量设定单元65-3。
通过使用分别由多个传感器每一个生成的检测信号中的任意一个，例如检测信号SC作为基准，时间差校正量设定单元65-1通过使用状态检测单元61C、61R和61L中的各帧的状态检测结果，计算检测信号SR相对于作为基准的检测信号SC的时间差ERr，和检测信号SL相对于检测信号SC的时间差ERl。对于时间差ERr的计算，例如，使用从帧号提取单元62C和62R供给的帧号，并且当校准目标的状态发生相等变化时的帧号之差被定义为时间差ERr。对于时间差ERl的计算，例如，使用从帧号提取单元62C和62L供给的帧号，并且当校准目标的状态发生相等变化时的帧号之差被定义为时间差ERl。时间差校正量设定单元65-1分别基于计算的时间差ERr设定对于检测信号SR的时间差校正量ECr，和基于计算的时间差ERl，设定对于检测信号SL的时间差校正量ECl。
下面，说明第三实施例的操作。在第三实施例中，类似于第一实施例，进行图5中图解所示的检测信号获取处理，以获取判定目标时段的检测信号。注意，判定目标时段是比校准目标20的状态切换周期长的时段。此外，在第三实施例中，进行时间差校正量设定处理，通过使用检测信号SR的指示与在检测信号SC中的相等的校准目标20的状态检测结果的变化的帧号，计算时间差ERr，并进行时间差校正量ECr的设定、校准成功标志的设定等。此外，在第三实施例中，通过使用检测信号SL的指示与在检测信号SC中的相等的校准目标20的状态检测结果的变化的E帧号，计算时间差ERl，并进行时间差校正量ECl的设定、校准成功标志的设定等。
图22是例示第三实施例中的时间差校正量设定处理的流程图。注意，该时间差校正量设定处理对应于图3的步骤ST5的处理。
在步骤ST31，信息处理装置计算时间差ERr和ERl。对于由成像单元41C生成的检测信号的时间差计算目标帧，信息处理装置30-3的校准单元60中的时间差校正量设定单元65-3基于状态检测结果，计算相对于雷达单元41R生成的检测信号的时间差ERr，相对于激光雷达单元41L生成的检测信号的时间差ERl。注意，时间差计算目标帧是当校准目标20的状态检测结果发生变化时的帧。
时间差校正量设定单元65-3进行与上述图6的步骤ST21类似的处理，计算检测信号SR相对于检测信号SC的时间差ERr。此外，进行与计算检测信号SR相对于检测信号SC的时间差类似的处理，从而计算检测信号SL相对于检测信号SC的时间差ERl。时间差校正量设定单元65-3基于计算的时间差，分别设定对于检测信号SR的时间差校正量ECr和对于检测信号SL的时间差校正量ECl，然后进入步骤ST32。
在步骤ST32，信息处理装置判定在所述判定目标时段中时间差的计算是否已完成。如果对于在判定目标时段中状态检测结果已变化的各帧所进行的时间差的计算未完成，那么信息处理装置30-3的时间差校正量设定单元65-3进入步骤ST33，而如果对于状态检测结果已变化的各帧所进行的时间差的计算已完成，则进入步骤ST34。
在步骤ST33，信息处理装置进行时间差计算目标帧的更新处理。信息处理装置30-3的时间差校正量设定单元65-3将时间差计算目标帧设定为检测信号SC中的其中校准目标20的状态检测结果已变化的下一帧，然后返回步骤ST31。
在步骤ST34，信息处理装置判定计算的时间差ERr是否相等。如果判定时间差ERr相等，那么信息处理装置30-3的时间差校正量设定单元65-3进入步骤ST35，而如果包含指示不同时间差ERr的帧，那么进入步骤ST37。
在步骤ST35，信息处理装置设定时间差校正量。基于在步骤ST31计算的时间差ERr，信息处理装置30-3的时间差校正量设定单元65-3设定时间差校正量ECr，借助时间差校正量ECr，使检测信号SR的指示与在检测信号SC中的相等的校准目标20的状态检测结果的变化的帧号和检测信号SC的对应帧号相等，然后进入步骤ST36。
在步骤ST36，信息处理装置设定雷达单元校准成功标志。由于对于检测信号SR的时间差校正量ECr的设定已完成，因此信息处理装置30-3的时间差校正量设定单元65-3将雷达单元校准成功标志设定为设定状态(开启状态)，然后进入步骤ST38。
在步骤ST37，信息处理装置使得不设定雷达单元校准成功标志。信息处理装置30-3的时间差校正量设定单元65-3不进行对于检测信号SR的时间差校正量ECr的设定，因为包含指示不同时间差ERr的帧，从而信息处理装置30-3的时间差校正量设定单元65-3将雷达单元校准成功标志设定为非设定状态(关闭状态)，然后进入步骤ST38。
在步骤ST38，信息处理装置判定时间差ERl是否相等。如果判定时间差ERl相等，那么信息处理装置30-3的时间差校正量设定单元65-3进入步骤ST39，而如果包含指示不同时间差ERl的帧，则进入步骤ST41。
在步骤ST39，信息处理装置设定时间差校正量ECl。基于在步骤ST31计算的时间差ERl，信息处理装置30-3的时间差校正量设定单元65-3设定时间差校正量ECl，借助时间差校正量ECl，使检测信号SL的指示与在检测信号SC中的相等的校准目标20的状态检测结果的变化的帧号和检测信号SC的对应帧号相等，然后进入步骤ST40。
在步骤ST40，信息处理装置对于检测信号SL设定校准成功标志。由于时间差校正量ECl的设定已完成，因此信息处理装置30-3的时间差校正量设定单元65-3将对于检测信号SL的校准成功标志设定为设定状态(开启状态)，然后结束处理。
在步骤ST41，信息处理装置使得对于检测信号SL不设定校准成功标志。信息处理装置30-3的时间差校正量设定单元65-3不对检测信号SL进行时间差校正量ECl的设定，因为包含指示不同时间差的帧，从而信息处理装置30-3的时间差校正量设定单元65-3将对于检测信号SL的校准成功标志设定为非设定状态(关闭状态)，然后结束处理。
下面，说明第三实施例的操作。在第三实施例中，类似于第一实施例和第二实施例，进行图5中图解所示的检测信号获取处理，以获取判定目标时段的检测信号。注意，判定目标时段是比校准目标20的状态切换周期长的时段。此外，在第三实施例中，进行图22中图解所示的时间差校正量设定处理，通过使用检测信号SR的指示与在检测信号SC中的相等的校准目标20的状态检测结果的变化的帧号，计算时间差ERr，并且基于计算的时间差ERr，进行时间差校正量ECr的设定，并进行对于检测信号SR的校准成功标志的设定等。此外，通过使用检测信号SL的指示与在检测信号SC中的相等的校准目标20的状态检测结果的变化的帧号，计算时间差ERl，并且基于计算的时间差ERl，进行时间差校正量ECl的设定，并进行对于检测信号SL的校准成功标志的设定等。
下面参考图23-25，说明第三实施例的操作例子。图23是图解说明第三实施例中的第一操作例子的示图，图24是图解说明第三实施例中的第二操作例子的示图。在第一操作例子和第二操作例子每一个中，例示其中校准目标20的两种状态的时段分别是检测信号SC和SR的1帧时段的情况。
图23中图解所示的第一操作例子图解说明其中成像单元41C生成的检测信号和雷达单元41R生成的检测信号同步的情况。图23的(a)图解说明校准目标20中的反射器21a的状态WSa41并且反射器21a未被无线电波吸收体22a隐藏的状态用“开启”表示，而反射器21a被无线电波吸收体22a隐藏的状态用“关闭”表示。图23的(b)图解说明校准目标20中的反射器21b的状态WSb，并且反射器21b未被无线电波吸收体22b隐藏的状态用“开启”表示，而反射器21b被无线电波吸收体22b隐藏的状态用“关闭”表示。图23的(c)图解说明校准目标20中的反射器21c的状态WSc，并且反射器21c未被无线电波吸收体22c隐藏的状态用“开启”表示，而反射器21c被无线电波吸收体22c隐藏的状态用“关闭”表示。这种情况下，校准目标20的状态切换周期为3帧时段。
图23的(d)图解说明指示器23的指示信息DS。例如，指示La表示只有反射器21a未被无线电波吸收体22a隐藏，而反射器21b和21c分别被无线电波吸收体22b和22c隐藏。指示Lb表示只有反射器21b未被无线电波吸收体22b隐藏，而反射器21a和21c分别被无线电波吸收体22a和22c隐藏。指示Lc表示只有反射器21c未被无线电波吸收体22c隐藏，而反射器21a和21b分别被无线电波吸收体22a和22b隐藏。
图23的(e)图解说明由成像单元41C生成的检测信号SC以及状态检测结果。此外，图23的(f)图解说明由雷达单元41R生成的检测信号SR以及状态检测结果。此外，图23的(g)图解说明由激光雷达单元41L生成的检测信号SL以及状态检测结果。注意在图23及如后所述的图24和25中，附图标记(La)表示指示器23的指示识别结果为指示La，附图标记(Lb)表示指示识别结果为指示Lb，附图标记(Lc)表示指示器23的指示识别结果为指示Lc。
在成像单元41C生成的检测信号SC、雷达单元41R生成的检测信号SR和激光雷达单元41L生成的检测信号SL同步的情况下，在校准目标20的状态发生相等变化时的检测信号SC、检测信号SR和检测信号SL的帧号相等。于是，时间差校正量ECr和ECl为“0”。
图24中图解所示的第二操作例子图解说明其中在成像单元41C生成的检测信号与雷达单元41R生成的检测信号之间存在时间对准偏差，并且在成像单元41C生成的检测信号与激光雷达单元41L生成的检测信号之间存在时间对准偏差的情况。注意，图24的(a)类似于图23的(a)，图24的(b)-(d)类似于图23的(b)-(d)，从而将省略其说明。
图24的(e)图解说明成像单元41C生成的检测信号SC以及状态检测结果。此外，图24的(f)图解说明雷达单元41R生成的检测信号SR以及状态检测结果，图24的(g)图解说明激光雷达单元41L生成的检测信号SL以及状态检测结果。
在雷达单元41R生成的检测信号SR和激光雷达单元41L生成的检测信号SL相对于成像单元41C生成的检测信号SC存在时间差的情况下，在检测信号SC与检测信号SR之间，以及在检测信号SC与检测信号SL之间，指示校准目标20的状态检测结果的相等变化的帧号可能不同。例如，帧号3是其中基于检测信号SC的状态检测结果从指示Lb变为指示Lc的帧，而其中基于检测信号SR的状态检测结果从指示Lb变为指示Lc的帧是帧号1，于是，时间差ERr为“2”。此外，帧号4是其中基于检测信号SC的状态检测结果从指示Lc变为指示La的帧，而其中基于检测信号SR的状态检测结果从指示Lc变为指示La的帧是帧号2，于是，时间差ERr为“2”。此外，帧号5是其中基于检测信号SC的状态检测结果从指示La变为指示Lb的帧，而其中基于检测信号SR的状态检测结果从指示La变为指示Lb的帧是帧号3，于是，时间差ERr为“2”。如上所述，由于时间差ERr为“2”，因此对于检测信号SR的时间差校正量ECr被设定为“2”。此外，在设定时间差校正量ECr时，通过图22中图解所示的时间差校正量设定处理，雷达单元校准成功标志被设定为设定状态。
帧号2是其中基于检测信号SC的状态检测结果从指示La变为指示Lb的帧，而其中基于检测信号SL的状态检测结果从指示La变为指示Lb的帧是帧号1，于是，时间差ERl为“1”。此外，帧号3是其中基于检测信号SC的状态检测结果从指示Lb变为指示Lc的帧，而其中基于检测信号SL的状态检测结果从指示Lb变为指示Lc的帧是帧号2，于是，时间差ERl为“1”。此外，帧号4是其中基于检测信号SC的状态检测结果从指示Lc变为指示La的帧，而其中基于检测信号SL的状态检测结果从指示Lc变为指示La的帧是帧号3，于是，时间差ERl为“1”。如上所述，由于时间差ERl为“1”，因此对于检测信号SL的时间差校正量ECl被设定为“1”。此外，在设定时间差校正量ECr时，通过图22中图解所示的时间差校正量设定处理，激光雷达单元校准成功标志被设定为设定状态。
图25图解说明校正后的第二操作例子，已通过使用成像单元41C生成的检测信号SC作为基准对雷达单元41R生成的检测信号SR和激光雷达单元41L生成的检测信号SL进行了时间差校正处理。注意，图25的(a)类似于图23的(a)，并且图25的(b)-(d)类似于图23的(b)-(d)，从而省略其说明。
图25的(e)图解说明成像单元41C生成的检测信号SC以及状态检测结果。此外，图25的(f)图解说明已对其进行时间差校正处理的检测信号SRh以及状态检测结果。此外，图25的(g)图解说明已对其进行时间差校正处理的检测信号SLh以及状态检测结果。如参考图24所述，在检测信号SC与检测信号SR之间，以及在检测信号SC与检测信号SL之间存在图24中图解所示的时间差的情况下，向检测信号SR的帧号加“2”，因为对于检测信号SR的时间差校正量ECr被设定为“2”，从而生成在图25的(f)中图解所示的检测信号SRh。此外，向检测信号SL的帧号加“1”，因为对于检测信号SL的时间差校正量ECl被设定为“1”，从而生成在图25的(g)中图解所示的检测信号SLh。通过进行这种处理，能够校正检测信号SC与检测信号SR和检测信号SL每一个之间的时间差。
如上所述，按照第三实施例，类似于第一实施例，通过基于校准目标的状态检测结果，设定时间差校正量，能够校正由多个传感器获取的检测信号之间的时间对准偏差。此外，如果在雷达单元校准成功标志处于设定状态时，不仅使用检测信号SC而且使用校正后的检测信号SRh进行识别处理，能够精确地进行识别处理。类似地，如果在激光雷达单元校准成功标志处于设定状态时，不仅使用检测信号SC而且使用校正后的检测信号SLh进行识别处理，能够精确地进行识别处理。此外，由于在不能校正检测信号SR的时间对准偏差的情况下，雷达单元校准成功标志处于非设定状态，并且在不能校正检测信号SL的时间对准偏差的情况下，激光雷达单元校准成功标志处于非设定状态，因此可以防止发生由于使用包含时间对准偏差的检测信号而产生的问题，例如物体的识别精度的降低，如果识别器55通过使用检测信号SC和校准成功标志处于设定状态的检测信号，或者在校准成功标志全部处于非设定状态的情况下使用检测信号任意之一信号进行识别处理的话。
<5.变形例>
在上述实施例中，例示了其中校准目标20包括反射器和无线电波吸收体，并且通过开启和关闭无线电波吸收体来切换校准目标20的状态的情况，不过，校准目标20不限于这种构成和操作。图26和27分别例示了校准目标的另一种构成，图26是图解说明校准目标的另一种构成的透视图，图27是校准目标的另一种构成的一组正视图和俯视图。
校准目标20e包括旋转体25、驱动旋转体25的旋转驱动单元26、支柱27和底座28。旋转体25经由旋转驱动单元26附装在支柱27上，并且以支柱27作为旋转轴，可以由旋转驱动单元26旋转。此外，支柱27附装在底座28上，并且支柱27包括其指示面面向成像单元41C的方向的指示器23。
旋转体25包括矩形的底部251和从底部251的对角线位置沿旋转轴方向延伸的隔板252。此外，隔板252包括不反射发射波束的部件。反射器布置在由隔板252分隔的区域中，使其发射波束的入射面向外。例如，在图26和27中，具有不同雷达散射截面的两个反射器21a和21b分别使其发射波束的入射面向外地布置在围绕旋转轴的目标区域中。
在使用这种校准目标20e的情况下，使旋转体25旋转会导致与雷达单元41R对应的反射器的切换，从而使得可以进行校准目标的状态的切换。此外，就校准目标20e而论，通过使旋转体25旋转即可简单地切换校准目标的状态，而不需要开启或关闭无线电波吸收体，使得可以容易并且高速地切换校准目标的状态。
顺便提及，在上述实施例中，校准目标20的状态是按预定周期切换的，于是，如果时间差小于预定周期，那么可以正确地计算时间差，因为在预定周期中存在一个状态变化，所述状态变化指示与基于检测信号SC的状态检测结果相等的状态检测结果。然而，在时间差等于或大于预定周期的情况下，如果在帧号之差小于时间差的一个帧中检测到指示相等的状态检测结果的状态变化，那么检测到较短的时间差。
图28例示时间差等于或大于校准目标的状态切换周期的情况。图28的(a)图解说明校准目标20的状态WS，并且反射器21未被无线电波吸收体22隐藏的状态用“开启”表示，而反射器21被无线电波吸收体22隐藏的状态用“关闭”表示。此外，校准目标20的状态切换周期为2帧时段。
图28的(b)图解说明成像单元41C生成的检测信号SC的帧号和状态检测结果。此外，图28的(c)图解说明雷达单元41R生成的检测信号SR的帧号和状态检测结果，并且相对于检测信号SC存在例如8帧的时间差(对应于状态切换周期)。
这种情况下，帧号13是其中基于检测信号SC的状态检测结果从开启状态变为关闭状态的帧，而其中基于检测信号SR的状态检测结果从开启状态变为关闭状态的帧是帧号5和帧号13，从而由于相同的帧号13和状态检测结果的相等变化，存在时间差被确定为“0”的可能性。
于是，就校准目标而论，通过例如以检测信号的一帧或多帧为单位随机地进行状态WS的切换，可以正确地检测等于或大于预定周期的时间差。例如，通过以帧为单位随机地设定其中反射器21未被无线电波吸收体22隐藏的时段，和其中反射器21被无线电波吸收体22隐藏的时段，或者通过随机地选择反射器21a、21b或21c，对于成像单元41C生成的检测信号的时间差计算目标帧，时间差校正量设定单元65-1从雷达单元41R生成的检测信号中，检测其中发生与在时间差计算目标帧中的状态变化相等的变化的帧。此外，时间差校正量设定单元65-1计算时间差，所述时间差是其中发生与状态变化相等的变化的帧之间的帧号之差，并通过采用在各个时间差计算目标帧中计算的时间差之中恒定的时间差作为检测信号SC与检测信号SR之间的时间差，设定时间差校正量。如果进行这种处理，那么即使发生了长时间对准偏差，也能够校正时间对准偏差。
此外，校准单元60-1和60-3的构成不限于上述构成，可以包括例如同步提取单元52和同步处理单元53，或者同步处理单元53R和53L。
此外，如在第一到第三实施例中所示，多个传感器不限于主动式传感器和被动式传感器，只需要至少包括主动式传感器，并且可以使用多个主动式传感器。例如，多个传感器可以包括雷达单元41R和激光雷达单元41L，通过使用它们中的任意一个作为基准，可以如上所述计算时间差，并且可以使它们中的另一个的检测信号与它们中的所述一个的检测信号同步。
注意，记载在第一到第三实施例及变形例中的效果仅仅是示例，而不是限制，可以存在附加的效果。
<6.例示应用>
按照本公开的技术可以适用于各种产品。例如，按照本公开的技术可被实现成搭载在任意类型的移动体，比如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人机动设备、飞机、无人机、轮船、机器人、建筑机械或农业机械(拖拉机)上的设备。
图29是图解说明作为本技术可以应用于的移动体控制系统的例子的车辆控制系统100的功能的示意例示构成的方框图。
注意在下面，在区分包括安装在其中的车辆控制系统100的车辆和其他车辆的情况下，该车辆被称为安装系统的汽车或安装系统的车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内设备104、输出控制单元105、输出单元106、动力传动系控制单元107、动力传动系统108、车身相关控制单元109、车身相关系统110、存储单元111和自主驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、动力传动系控制单元107、车身相关控制单元109、存储单元111和自主驾驶控制单元112通过通信网络121互连。通信网络121例如包括遵循任意标准，比如控制器局域网络(CAN)、局部互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)的车载通信网络或总线。注意，车辆控制系统100的各个组件可以不经由通信网络121地直接连接。
注意在下面，在车辆控制系统100的各个组件经由通信网络121进行通信的情况下，通信网络121的描述将被省略。例如，在输入单元101和自主驾驶控制单元112经由通信网络121相互通信的情况下，将仅仅描述输入单元101和自主驾驶控制单元112相互通信。
输入单元101包括由乘员用于输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和控制杆之类的操作设备，和可以通过语音、手势等进行非手动输入的操作设备。此外，输入单元101可以是例如使用红外线或其他无线电波的遥控设备，或者适合于车辆控制系统100的操作的外部连接设备，比如移动设备或可穿戴式设备。输入单元101基于乘员输入的数据、指令等，生成输入信号，并将输入信号提供给车辆控制系统100的各个组件。
数据获取单元102包括获取用于由车辆控制系统100处理的数据，并将获取的数据提供给车辆控制系统100的各个组件的各种传感器等。
例如，数据获取单元102包括用于检测安装系统的汽车的状态等的各种传感器。具体地，数据获取单元102例如包括陀螺传感器、加速度传感器、惯性测量单元(IMU)、和用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、电动机转速、或车轮的转速等的传感器
此外，数据获取单元102例如包括用于检测与安装系统的汽车的外部有关的信息的各种传感器。具体地，数据获取单元102例如包括诸如飞行时间(ToF)摄像头、立体摄像头、单目摄像头、红外摄像头和其他摄像头之类的成像设备。此外，数据获取单元102例如包括用于检测天气、大气现象等的环境传感器，和用于检测在安装系统的汽车周围的物体的周围信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器或雪传感器。周围信息检测传感器例如包括超声波传感器、雷达、光检测和测距/激光成像检测和测距(LiDAR)或者声纳。
此外，数据获取单元102例如包括用于检测安装系统的汽车的当前位置的各种传感器。具体地，数据获取单元102例如包括接收来自全球导航卫星系统(GNSS)卫星的GNSS信号的GNSS接收器等。
此外，数据获取单元102例如包括用于检测关于车辆内部的信息的各种传感器。具体地，数据获取单元102例如包括对驾驶员成像的成像设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如设置在座椅表面或方向盘上，检测与坐在座椅上的乘员或者握着方向盘的驾驶员关联的生物信息。
通信单元103与车内设备104和车辆外的各种设备、服务器、基站等通信，发送从车辆控制系统100的各个组件供给的数据，并将接收的数据提供给车辆控制系统100的各个组件。注意，通信单元103支持的通信协议无特别限制，此外，通信单元103可以支持多种类型的通信协议。例如，通信单元103通过使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等，与车内设备104进行无线通信。此外，例如，通信单元103通过经由连接端子(未图示)(以及电缆，如果需要的话)，使用通用串行总线(USB)、高清多媒体接口(HDMI(注册商标))、移动高清链接(MHL)等，与车内设备104进行有线通信。
此外，例如，通信单元103经由基站或接入点，与存在于外部网络(例如，因特网、云网络、或者经营者的专有网络)上的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信单元103通过使用对等(P2P)技术，与存在于安装系统的汽车附近的终端(例如，行人持有的或者安装在商店中的终端，或者机器类型通信(MTC)终端)通信。此外，例如，通信单元103进行V2X通信，比如车辆对车辆通信、车辆对基础设施通信、车辆(安装系统的汽车)对住宅通信、以及车辆对行人通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发射的无线电波或电磁波，从而获取例如关于当前位置、交通拥堵、交通管制或所需时间的信息。
车内设备104的例子包括乘员拥有的移动设备或可穿戴式设备、带入或装在安装系统的汽车上的信息设备、以及搜索到任意目的地的路线的导航设备。
输出控制单元105控制向安装系统的汽车的乘员或者向车外的各种信息的输出。例如，输出控制单元105生成包括可视信息(例如，图像数据)或可听信息(例如，声音数据)中的至少一个的输出信号，并将输出信号提供给输出单元106，从而控制从输出单元106的可视信息和可听信息的输出。具体地，例如，输出控制单元105合成由数据获取单元102的不同成像设备成像的各个图像数据，生成俯瞰图图像、全景图像等，并将包括生成的图像的输出信号提供给输出单元106。此外，例如，输出控制单元105生成包括关于诸如碰撞、接触和进入危险区域之类危险的警告声音、警告消息等的声音数据，并将包括生成的声音数据的输出信号提供给输出单元106。
输出单元106包括能够向安装系统的汽车的乘员或者向车外输出可视信息或可听信息的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、头戴式耳机、诸如乘员穿戴的眼镜式显示器之类的可穿戴式设备、投影仪和灯。除了具有普通显示器的设备之外，包含在输出单元106中的显示设备可以是在驾驶员的视野中显示可视信息的设备，例如，抬头显示器、透射式显示器、或具有增强现实(AR)显示功能的设备。
动力传动系控制单元107通过生成各种控制信号，并将控制信号提供给动力传动系统108，控制动力传动系统108。此外，动力传动系控制单元107根据需要，向除动力传动系统108以外的各个组件提供控制信号，以进行动力传动系统108的控制状态的通知等。
动力传动系统108包括与安装系统的汽车的动力传动系相关的各种设备。例如，动力传动系统108包括诸如内燃机、驱动电机之类用于产生驱动力的驱动力产生设备，用于将驱动力传递给车轮的驱动力传递机构，调整转向角的转向机构，产生制动力的制动设备，防抱死制动系统(ABS)，电子稳定控制(ESC)和电动助力转向设备。
车身相关控制单元109通过生成各种控制信号，并将控制信号提供给车身相关系统110，控制车身相关系统110。此外，车身相关控制单元109根据需要，向除车身相关系统110以外的各个组件提供控制信号，以进行车身相关系统110的控制状态的通知等。
车身相关系统110包括装备在车身上的各种车身相关设备。例如，车身相关系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调器、以及各种灯(例如前照灯、倒车灯、刹车灯、转向信号灯和雾灯)。
存储单元111例如包括诸如只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光存储设备和磁-光存储设备。存储单元111存储由车辆控制系统100的各个组件使用的各种程序、数据等。例如，存储单元111存储例如诸如动态地图之类的三维高精度地图，与高精度地图相比不太精确但是覆盖更广区域的全球地图，和包含与安装系统的汽车的周围环境有关的信息的本地地图的地图数据。
自主驾驶控制单元112进行与诸如自主行驶或驾驶辅助之类的自主驾驶相关的控制。具体地，例如，自主驾驶控制单元112进行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，高级驾驶员辅助系统(ADAS)的功能包括安装系统的汽车的防撞或冲击减轻、基于跟随距离的跟随驾驶、车辆定速驾驶、安装系统的汽车的碰撞报警、安装系统的汽车的车道偏离报警等。此外，例如，自主驾驶控制单元112可以进行旨在不依赖于驾驶员的操作地实现自主行驶的自主驾驶等的协同控制。自主驾驶控制单元112包括检测单元131、自我位置估计单元132、状况分析单元133、规划单元134和操作控制单元135。
检测单元131检测为控制自主驾驶所需的各种信息。检测单元131包括车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143。
车外信息检测单元141基于来自车辆控制系统100的各个组件的数据或信号，进行检测安装系统的汽车外部的信息的处理。例如，车外信息检测单元141进行检测、识别和追踪安装系统的汽车周围的物体的处理，和检测到所述物体的距离的处理。要检测的物体的例子包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志和道路标志。此外，例如，车外信息检测单元141进行检测安装系统的汽车周围的环境的处理。要检测的周围环境的例子包括天气、温度、湿度、亮度和路面状况。车外信息检测单元141将指示检测处理的结果的数据提供给自我位置估计单元132、状况分析单元133的地图分析单元151、交通规则识别器152和状况识别器153、以及操作控制单元135的紧急避险单元171等。
车内信息检测单元142基于来自车辆控制系统100的各个组件的数据或信号，进行检测关于车辆内部的信息的处理。例如，车内信息检测单元142进行认证和识别驾驶员的处理，检测驾驶员的状态的处理，检测乘员的处理，检测车内环境的处理等。要检测的驾驶员的状态的例子包括身体状况、清醒度、专注度、疲劳度和视线方向。要检测的车内环境的例子包括温度、湿度、亮度和气味。车内信息检测单元142将指示检测处理的结果的数据提供给状况分析单元133的状况识别器153、操作控制单元135的紧急避险单元171等。
车辆状态检测单元143基于来自车辆控制系统100的各个组件的数据或信号，进行检测安装系统的汽车的状态的处理。要检测的安装系统的汽车的状态的例子包括速度、加速度、转向角、异常的有无及其细节、驾驶操作的状态、电动座椅的位置和倾斜、门锁状态、和其他车载设备的状态。车辆状态检测单元143将指示检测处理的结果的数据提供给状况分析单元133的状况识别器153、操作控制单元135的紧急避险单元171等。
自我位置估计单元132基于来自车辆控制系统100的各个组件，比如车外信息检测单元141和状况分析单元133的状况识别器153的数据或信号，进行估计安装系统的汽车的位置和姿态等的处理。此外，自我位置估计单元132根据需要，生成用于估计自我位置的本地地图(下面称为自我位置估计地图)。自我位置估计地图例如是使用诸如同步定位与地图构建(SLAM)之类技术的高度精确的地图。自我位置估计单元132将指示估计处理的结果的数据提供给状况分析单元133的地图分析单元151、交通规则识别器152和状况识别器153等。此外，自我位置估计单元132将自我位置估计地图存储在存储单元111中。
状况分析单元133进行分析安装系统的汽车及其周围环境的状况的处理。状况分析单元133包括地图分析单元151、交通规则识别器152、状况识别器153和状况预测单元154。
地图分析单元151根据需要使用来自车辆控制系统100的各个组件，比如自我位置估计单元132和车外信息检测单元141的数据或信号，进行分析存储在存储单元111中的各种地图的处理，并构建包含为自主驾驶的处理所需的信息的地图。地图分析单元151将构建的地图提供给交通规则识别器152、状况识别器153、状况预测单元154、以及规划单元134的路线规划单元161、行动规划单元162和操作规划单元163等。
交通规则识别器152基于来自车辆控制系统100的各个组件，比如自我位置估计单元132、车外信息检测单元141和地图分析单元151的数据或信号，进行识别安装系统的汽车周围的交通规则的处理。通过该识别处理，例如，识别安装系统的汽车周围的交通信号灯的位置和状态，安装系统的汽车周围的交通规则的细节、允许车辆行驶的车道等。交通规则识别器152将指示识别处理的结果的数据提供给状况预测单元154等。
状况识别器153基于来自车辆控制系统100的各个组件，比如自我位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151的数据或信号，进行识别与安装系统的汽车相关的状况的处理。例如，状况识别器153进行识别安装系统的汽车的状况、安装系统的汽车周围的状况、安装系统的汽车的驾驶员的状况等的处理。此外，状况识别器153根据需要，生成用于识别安装系统的汽车周围的状况的本地地图(下面称为状况识别地图)。例如，状况识别地图是占据栅格地图。
要识别的安装系统的汽车的状况的例子包括安装系统的汽车的位置、姿态、运动(例如，速度、加速度和移动方向)，和异常的有无及其细节。要识别的安装系统的汽车周围的状况的例子包括周围的静止物体的种类及位置，周围的运动物体的种类、位置及运动(例如，速度、加速度和移动方向)，周围的道路的布局及路面状况，和周围环境的天气、温度、湿度、亮度等。要识别的驾驶员的状态的例子包括身体状况、清醒度、专注度、疲劳度、视线的移动、以及驾驶操作。
状况识别器153将指示识别处理的结果的数据(必要时包括状况识别地图)提供给自我位置估计单元132、状况预测单元154等。此外，状况识别器153将状况识别地图存储在存储单元111中。
状况预测单元154基于来自车辆控制系统100的各个组件，比如地图分析单元151、交通规则识别器152和状况识别器153的数据或信号，进行预测与安装系统的汽车相关的状况的处理。例如，状况预测单元154进行预测安装系统的汽车的状况、安装系统的汽车周围的状况、驾驶员的状况等的处理。
要预测的安装系统的汽车的状况的例子包括安装系统的汽车的行为、异常的发生、以及可行驶的距离。要预测的安装系统的汽车周围的状况的例子包括安装系统的汽车周围的运动物体的行为、交通信号灯的状态的变化、以及诸如天气之类的环境的变化。要预测的驾驶员的状况的例子包括驾驶员的行为及身体状况。
状况预测单元154将指示预测处理的结果的数据，连同来自交通规则识别器152和状况识别器153的数据一起提供给规划单元134的路线规划单元161、行动规划单元162和操作规划单元163等。
路线规划单元161基于来自车辆控制系统100的各个组件，比如地图分析单元151和状况预测单元154的数据或信号，规划到目的地的路线。例如，路线规划单元161基于全球地图，设定从当前位置到指定目的地的路线。此外，路线规划单元161基于例如交通拥堵、事故、交通限制、施工等的状况，以及驾驶员的物体状况，酌情变更路线。路线规划单元161将指示规划的路线的数据提供给行动规划单元162等。
行动规划单元162基于来自车辆控制系统100的各个组件，比如地图分析单元151和状况预测单元154的数据或信号，规划安装系统的汽车的行动，以便在规划的时间内，在路线规划单元161规划的路线上安全地行驶。例如，行动规划单元162规划起动、停止、行进方向(例如前进、后退、左转、右转、转向等)、行驶车道、行驶速度和超车。行动规划单元162将指示安装系统的汽车的规划的行动的数据提供给操作规划单元163等。操作规划单元163基于来自车辆控制系统100的各个组件，比如地图分析单元151和状况预测单元154的数据或信号，规划安装系统的汽车的操作，用于实现由行动规划单元162规划的行动。例如，操作规划单元163规划加速、减速、行驶轨迹等。操作规划单元163将指示安装系统的汽车的规划操作的数据提供给操作控制单元135的加速/减速控制单元172和方向控制单元173等。
操作控制单元135控制安装系统的汽车的操作。操作控制单元135包括紧急避险单元171、加速/减速控制单元172和方向控制单元173。
紧急避险单元171基于车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果，进行检测诸如碰撞、接触、进入危险区域、驾驶员的异常、车辆的异常之类的紧急情况的处理。在紧急避险单元171检测到紧急情况发生的情况下，紧急避险单元171规划安装系统的汽车的用于避免紧急情况的操作，比如急停或急转弯。紧急避险单元171将指示安装系统的汽车的规划的操作的数据提供给加速/减速控制单元172、方向控制单元173等。
加速/减速控制单元172进行用于实现由操作规划单元163或紧急避险单元171规划的安装系统的汽车的操作的加速/减速控制。例如，加速/减速控制单元172计算用于实现规划的加速、减速或急停的驱动力产生器或制动设备的控制目标值，并将指示计算的控制目标值的控制命令提供给动力传动系控制单元107。
方向控制单元173进行用于实现由操作规划单元163或紧急避险单元171规划的安装系统的汽车的操作的方向控制。例如，方向控制单元173计算用于实现由操作规划单元163或紧急避险单元171规划的行驶轨迹或急转弯的转向机构的控制目标值，并将指示计算的控制目标值的控制命令提供给动力传动系控制单元107。
在上述车辆控制系统100中，在本实施例中指示的传感器单元40对应于数据获取单元102。此外，信号处理单元50-1(50-3)设置在车外信息检测单元141中。在车外信息检测单元141基于数据获取单元102获取的数据等，进行检测、识别和追踪在安装系统的汽车周围的物体的处理，和检测到所述物体的距离的处理的情况下，车外信息检测单元141通过使用校准处理所设定的时间差校正量，可以校正从多个传感器输出的检测信息中的时间对准偏差，这使得能够不受数据的时间对准偏差的影响，精确地进行基于获取的数据的各种处理。
图30例示在进行校准处理的情况下的校准目标的布置。在由作为无线电波吸收体的墙壁72围绕的区域中，校准目标20安装在作为无线电波吸收体的地板71上。成像单元41C附装在例如车辆80的前窗上部，雷达单元41R和激光雷达单元41L设置在例如车辆80的前格栅的位置。这里，在进行校准的情况下，如上所述切换校准目标20的状态，成像单元41C和雷达单元41R或激光雷达单元41L分别生成指示校准目标20的状态的检测信号。设置在车辆80中的车外信息检测单元141基于检测信号，检测传感器的检测信号之间的时间对准偏差，以设定或更新时间差校正量。之后，车辆80基于时间差校正量，校正检测信号之间的时间对准偏差，并进行各种数据处理。
如果如上所述使用校准目标进行校准，那么即使发生数据获取单元102的特性变化、更换等，并且从而由多个传感器生成的检测信号之间的时间差发生变化，也可以容易地校正检测信号之间的时间差。
注意，图30中图解所示的校准目标的布置仅仅是示例，可以在例如车辆80行驶的道路上，例如在十字路口使用校准目标，并且在车辆80停车等待交通信号灯等时进行校准。
本文中所述的一系列处理可以用硬件、软件或者两者的组合来执行。在用软件执行处理的情况下，在将程序安装在并入专用硬件中的计算机之中的存储器上之后，执行其中记录处理序列的程序。或者，可以在将程序安装在能够执行各种处理的通用计算机上之后，执行所述程序。
例如，程序可被预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。或者，程序可被临时或永久地存储(记录)在可移动记录介质中，比如软盘、光盘只读存储器(CD-ROM)、磁-光(MO)盘、数字通用光盘(DVD)、蓝光光盘(BD)(注册商标)、磁盘和半导体存储卡。可以所谓的套装软件的形式提供这种可移动记录介质。
此外，除了将程序从可移动记录介质安装到计算机上之外，程序可以经由诸如局域网(LAN)或因特网之类的网络，无线或有线地从下载站点传送到计算机。计算机可以接收这样传送的程序，并将程序安装在诸如包括硬盘的记录介质上。
注意，在本文中描述的效果只是示例而非限制，可以存在未描述的附加效果。此外，本技术不应被解释为局限于上面描述的本技术的实施例。本技术的实施例以示例的形式公开了本技术，显然本领域的技术人员可以修改或替换实施例，而不脱离本技术的主旨。即，为了确定本技术的主旨，应该参考权利要求书。
此外，本技术的校准装置可以具有以下构成。
(1)一种校准装置，包括：
状态检测单元，所述状态检测单元通过使用检测信号来检测校准目标的状态，所述检测信号中的每一个由多个传感器中的一个传感器生成并指示所述校准目标的检测结果；和
时间差校正量设定单元，所述时间差校正量设定单元通过使用由所述状态检测单元获得的所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量。
(2)按照(1)所述的校准装置，其中所述多个传感器至少包括主动式传感器。
(3)按照(2)所述的校准装置，其中所述多个传感器包括主动式传感器和被动式传感器。
(4)按照(2)所述的校准装置，其中所述多个传感器是通过包括分别与所述主动式传感器相同的传感器组成的。
(5)按照(2)-(4)任意之一所述的校准装置，其中使用雷达和/或激光雷达作为主动式传感器。
(6)按照(1)-(5)任意之一所述的校准装置，其中通过使用分别由所述多个传感器中的一个传感器生成的检测信号中的任意一个作为基准，所述时间差校正量设定单元通过使用检测信号的各帧的状态检测结果，计算相对于作为基准的检测信号的时间差。
(7)按照(6)所述的校准装置，其中所述时间差校正量设定单元通过使用状态检测结果来计算当校准目标的状态发生相等变化时的帧号之差，并将该差值定义作为时间差。
(8)按照(6)或(7)所述的校准装置，其中分别由所述多个传感器中的一个传感器生成的检测信号指示当随机切换校准目标的状态时的检测结果。
(9)按照(6)-(8)任意之一所述的校准装置，还包括同步处理单元，对于已计算出时间差的检测信号，通过使用时间差校正量，校正所述时间差。
(10)按照(9)所述的校准装置，其中时间差指示当校准目标的状态发生相等变化时的帧号之差，以及
所述同步处理单元使利用时间差校正量校正的检测信号的帧号与作为基准的检测信号的帧号一致地输出利用时间差校正量校正的检测信号。
附图标记列表
10 校准系统
20,20e 校准目标
21,21a,21b,21c 反射器
22,22a,22b,22c 无线电波吸收体
23 指示器
25 旋转体
26 旋转驱动单元
27 支柱
28 底座
30,30-1,30-3 信息处理装置
40,40-1,40-3 传感器单元
41C 成像单元
41L 激光雷达单元
41R 雷达单元
50-1,50-3 信号处理单元
51C 摄像头信号处理单元
51L 激光雷达信号处理单元
51R 雷达信号处理单元
52 同步提取单元
53,53R,53L 同步处理单元
55,56 识别器
60,60-1,60-3 校准单元
61,61C,61R,61L 状态检测单元
62C,62R,62L 帧号提取单元
65,65-1,65-3 时间差校正量设定单元

Claims (18)

1.一种校准装置，包括：
状态检测单元，所述状态检测单元通过使用检测信号来检测校准目标的状态，所述检测信号中的每一个由多个传感器中的一个传感器生成并指示所述校准目标的检测结果；和
时间差校正量设定单元，所述时间差校正量设定单元通过使用由所述状态检测单元获得的所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量。
2.按照权利要求1所述的校准装置，
其中所述多个传感器至少包括主动式传感器。
3.按照权利要求2所述的校准装置，
其中所述多个传感器包括主动式传感器和被动式传感器。
4.按照权利要求2所述的校准装置，
其中所述多个传感器由所述主动式传感器构成。
5.按照权利要求2所述的校准装置，
其中使用雷达和/或激光雷达作为主动式传感器。
6.按照权利要求1所述的校准装置，
其中通过使用分别由所述多个传感器中的一个传感器生成的检测信号中的任意一个作为基准，所述时间差校正量设定单元通过使用检测信号的各帧的状态检测结果，计算相对于作为基准的检测信号的时间差。
7.按照权利要求6所述的校准装置，
其中所述时间差校正量设定单元通过使用状态检测结果来计算当校准目标的状态发生相等变化时的帧号之差，并将该差值定义作为时间差。
8.按照权利要求6所述的校准装置，
其中分别由所述多个传感器中的一个传感器生成的检测信号指示当随机切换校准目标的状态时的检测结果。
9.按照权利要求6所述的校准装置，还包括：
同步处理单元，对于已计算出时间差的检测信号，通过使用时间差校正量，校正所述时间差。
10.按照权利要求9所述的校准装置，
其中时间差指示当校准目标的状态发生相等变化时的帧号之差，
所述同步处理单元使利用时间差校正量校正的检测信号的帧号与作为基准的检测信号的帧号一致地输出利用时间差校正量校正的检测信号。
11.一种校准方法，包括：
由状态检测单元通过使用检测信号来检测校准目标的状态，每一个检测信号由多个传感器中的一个传感器生成并指示所述校准目标的检测结果；和
由时间差校正量设定单元通过使用由所述状态检测单元获得的校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量。
12.一种程序，所述程序使计算机执行分别由多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号的校准，所述程序使计算机执行：
通过使用所述检测信号，检测所述校准目标的状态的步骤；和
基于所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量的步骤。
13.一种校准系统，包括：
传感器单元，所述传感器单元生成分别由多个传感器中的一个传感器生成并指示校准目标的检测结果的检测信号；
状态检测单元，所述状态检测单元通过使用由所述传感器单元生成的各个传感器的检测信号，检测所述校准目标的状态；
时间差校正量设定单元，所述时间差校正量设定单元通过使用由所述状态检测单元获得的所述校准目标的状态检测结果，计算分别由所述传感器中的一个传感器生成的检测信号之间的时间差，并基于计算结果设定时间差校正量；和
同步处理单元，所述同步处理单元通过使用由所述时间差校正量设定单元设定的时间差校正量，校正所述检测信号之间的时间差。
14.一种校准目标，包括：
特性切换单元，所述特性切换单元能够切换到反射特性不同的状态。
15.按照权利要求14所述的校准目标，还包括：
显示状态信息的显示器，所述状态信息指示反射特性的状态。
16.按照权利要求14所述的校准目标，
其中所述特性切换单元包括具有预定反射特性的目标和可移动地设置在所述目标的前表面的防反射部分，并且以预定周期或随机周期移动所述防反射部分，以将反射特性切换到不同状态。
17.按照权利要求14所述的校准目标，
其中所述特性切换单元包括具有不同反射特性的多个目标和可移动地设置在所述多个目标的前表面的防反射部分，选择防反射部分从其前表面移动的一个目标，并以预定周期或随机周期切换要选择的目标。
18.按照权利要求14所述的校准目标，
其中所述特性切换单元包括在旋转方向上设置有具有不同反射特性的多个目标的旋转体，和旋转所述旋转体从而以预定周期将反射特性切换到不同状态的旋转驱动单元。
CN201980081729.7A 2018-12-17 2019-10-10 校准装置、校准方法、程序和校准系统及校准目标 Withdrawn CN113167859A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-235268 2018-12-17
JP2018235268 2018-12-17
PCT/JP2019/039994 WO2020129369A1 (ja) 2018-12-17 2019-10-10 キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット

Publications (1)

Publication Number Publication Date
CN113167859A true CN113167859A (zh) 2021-07-23

Family

ID=71100758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081729.7A Withdrawn CN113167859A (zh) 2018-12-17 2019-10-10 校准装置、校准方法、程序和校准系统及校准目标

Country Status (5)

Country Link
US (1) US20220390557A9 (zh)
EP (1) EP3901652A4 (zh)
JP (1) JPWO2020129369A1 (zh)
CN (1) CN113167859A (zh)
WO (1) WO2020129369A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992255A (zh) * 2021-12-27 2022-01-28 南京典格通信科技有限公司 一种基于系统帧号的天线校准方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11269066B2 (en) * 2019-04-17 2022-03-08 Waymo Llc Multi-sensor synchronization measurement device
GB2597543B (en) * 2020-07-27 2022-08-10 Motional Ad Llc Autonomous vehicle stations
US20230064232A1 (en) * 2021-08-27 2023-03-02 Motional Ad Llc Universal calibration targets and calibration spaces
JP7459403B2 (ja) 2022-03-08 2024-04-01 三菱電機株式会社 レーダ断面積算出装置、レーダ断面積算出方法及びレーダ装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972192A (en) * 1989-11-06 1990-11-20 Georgia Tech Research Corporation Constant amplitude doppler producing radar reflector
JP4918676B2 (ja) 2006-02-16 2012-04-18 国立大学法人 熊本大学 校正装置および校正方法
US9255989B2 (en) * 2012-07-24 2016-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking on-road vehicles with sensors of different modalities
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
US10656245B2 (en) * 2017-09-05 2020-05-19 Valeo Radar Systems, Inc. Automotive radar sensor blockage detection using adaptive overlapping visibility
US11465643B2 (en) * 2017-11-20 2022-10-11 Mitsubishi Electric Corporation Obstacle recognition device and obstacle recognition method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992255A (zh) * 2021-12-27 2022-01-28 南京典格通信科技有限公司 一种基于系统帧号的天线校准方法及装置

Also Published As

Publication number Publication date
US20220018932A1 (en) 2022-01-20
WO2020129369A1 (ja) 2020-06-25
EP3901652A1 (en) 2021-10-27
JPWO2020129369A1 (ja) 2021-11-04
EP3901652A4 (en) 2022-06-22
US20220390557A9 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
EP3770549B1 (en) Information processing device, movement device, method, and program
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
EP3901652A1 (en) Calibration device, calibration method, program, calibration system, and calibration target
US11915452B2 (en) Information processing device and information processing method
US11501461B2 (en) Controller, control method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US11978261B2 (en) Information processing apparatus and information processing method
US20240054793A1 (en) Information processing device, information processing method, and program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US20220185278A1 (en) Information processing apparatus, information processing method, movement control apparatus, and movement control method
US11965754B2 (en) Information processing apparatus, information processing method, and mobile body apparatus
CN114026436B (zh) 图像处理装置、图像处理方法和程序
US20220276655A1 (en) Information processing device, information processing method, and program
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20210295563A1 (en) Image processing apparatus, image processing method, and program
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20240019539A1 (en) Information processing device, information processing method, and information processing system
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2022107532A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210723

WW01 Invention patent application withdrawn after publication