CN108886585A - 驾驶控制系统以及驾驶控制方法 - Google Patents

驾驶控制系统以及驾驶控制方法 Download PDF

Info

Publication number
CN108886585A
CN108886585A CN201880001433.5A CN201880001433A CN108886585A CN 108886585 A CN108886585 A CN 108886585A CN 201880001433 A CN201880001433 A CN 201880001433A CN 108886585 A CN108886585 A CN 108886585A
Authority
CN
China
Prior art keywords
mentioned
camera data
vehicle
moving body
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880001433.5A
Other languages
English (en)
Other versions
CN108886585B (zh
Inventor
西村佳寿子
三宅康夫
佐藤嘉晃
柴田修
岩井浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108886585A publication Critical patent/CN108886585A/zh
Application granted granted Critical
Publication of CN108886585B publication Critical patent/CN108886585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种驾驶控制系统，具有：摄像装置，设置在移动体上，在第一帧期间多次拍摄对象物，生成包含第一摄像数据及第二摄像数据的复用曝光摄像数据；以及检测装置，基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对运动状态，上述摄像装置在上述第一帧期间内的第一曝光期间以第一灵敏度对上述对象物进行摄像而生成上述第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像，生成上述第二摄像数据。

Description

驾驶控制系统以及驾驶控制方法
技术领域
本公开涉及对车辆或飞行体等移动体的驾驶进行辅助的驾驶控制系统以及驾驶控制方法。
背景技术
近年来，提出了对车辆行驶控制进行辅助的各种行驶辅助系统。行驶辅助系统为了控制加速、制动以及转向，例如需要车辆速度以及到障碍物的距离等信息。车辆速度通常可基于车轮的转速(rpm)来测定。
专利文献1公开了能够通过立体摄像来测定到障碍物的距离的摄像系统。该摄像系统具备多个摄像装置，该摄像装置包括摄像元件，该摄像元件具有根据被拍摄体照度而不同的光电转换特性。通过在多个摄像装置之间校准摄像定时等，能够高速且准确地处理立体图像。
现有技术文献
专利文献
专利文献1：日本特开2007-81806号公报
发明内容
近年来，行驶辅助系统飞速发展。该系统从辅助人对汽车的驾驶操作的系统，改变为由汽车自身获取并判断信息并进行驾驶操作的汽车主体的系统。对这种系统的期待强烈，要求进一步改善系统的呼声高。
在现有技术中，未必是以高精度获取车辆行驶控制所需的信息。因此，要求更准确地取得该信息。
本发明的目的在于提供一种能够检测移动体的运动状态、例如速度或行进方向的移动体控制系统，主要目的在于提供一种能够检测车辆的运动状态、例如速度或行进方向的车辆行驶控制系统。
根据本发明的一个实施方式的驾驶控制系统具有：摄像装置，设置在移动体上，在第一帧期间多次拍摄对象物，生成包含第一摄像数据及第二摄像数据的复用曝光摄像数据；以及检测装置，基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对运动状态，上述摄像装置在上述第一帧期间内的第一曝光期间以第一灵敏度对上述对象物进行摄像而生成上述第一摄像数据，在与上述第一期间不同的上述第一帧期间内的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像而生成上述第二摄像数据。
本发明的例示性的实施方式提供一种能够检测移动体的运动状态例如速度或行进方向的移动体控制系统、该移动体的控制方法、能够检测车辆的运动状态例如速度或行进方向的车辆行驶控制系统以及该车辆行驶的控制方法。
附图说明
图1是表示具备检测装置1的车辆行驶控制系统1000的模块结构例的框图。
图2是表示检测装置1的其他的模块结构例的框图。
图3是表示摄像装置100的结构例的示意图。
图4A是示出单位像素101的结构例的电路图。
图4B是示出单位像素101的另一结构例的电路图。
图5是单位像素101的沿着半导体基板109D的法线方向的截面图。
图6A是表示单位帧期间的复用曝光的典型的动作定时的时序图。
图6B是表示复用曝光摄像数据的一例的示意图。
图7A是表示单位帧期间的复用曝光的应用的动作定时的例子的时序图。
图7B是表示应用例的复用曝光摄像数据的一例的示意图。
图7C是表示单位帧期间中的复用曝光的应用的动作定时的其他例子的时序图。
图7D是表示应用例的复用曝光摄像数据的另一例的示意图。
图8A是表示单位帧期间中的复用曝光的应用的动作定时的例子的时序图。
图8B是表示应用例的复用曝光摄像数据的一例的示意图。
图8C是表示单位帧期间中的复用曝光的应用的动作定时的其他例子的时序图。
图8D是表示应用例的复用曝光摄像数据的另一例的示意图。
图9A是示出摄像序列的典型示例的序列图。
图9B是示出摄像序列的典型示例的序列图。
图9C是示出摄像序列的典型示例的序列图。
图9D是示出摄像序列的典型示例的序列图。
图10是表示用于检测行进方向的处理流程的一例的流程图。
图11A是表示搭载有检测装置1的本车辆V追随前方的车辆W而行驶的情况的示意图。
图11B是表示所取得的复用曝光摄像数据的测定图像的示意图。
图11C是表示所取得的复用曝光摄像数据的测定图像的示意图。
图12A是表示搭载有检测装置1的本车辆V追随前方的车辆W而行驶的情况的示意图。
图12B是表示所取得的复用曝光摄像数据的测定图像的示意图。
图12C是表示所取得的复用曝光摄像数据的测定图像的示意图。
图13A是表示搭载有检测装置1的本车辆一边拍摄道路标识S一边行驶的情况的示意图。
图13B是表示所取得的复用曝光摄像数据的测定图像的示意图。
图13C是表示所取得的复用曝光摄像数据的测定图像的示意图。
图14是示出检测车辆的行进方向和相对速度并基于该检测结果控制车辆的制动和加速的处理流程的一例的流程图。
图15是表示检测车辆的行进方向、相对速度以及加速度，并基于该检测结果来控制车辆的制动以及加速的处理流程的一例的流程图。
图16A是表示参考例的控制器的功能块的功能框图。
图16B是示出帧t-1的图像的示意图。
图16C是表示帧t的图像的示意图。
图16D是示意性地表示特定对象物的移动方向的图。
图16E是例示用于检测速度的参考例的算法的处理流程的流程图。
图17是表示使用复用曝光摄像数据来检测速度和加速度的控制器500的功能块的功能框图。
图18是表示用于检测速度和加速度的、安装于控制器500的算法的处理流程的流程图。
图19A是表示复用曝光摄像数据所表示的图像的一例的示意图。
图19B是表示包含一系列的车辆的像的复用曝光图像的一例的示意图。
图19C是表示表示车辆的某点处的矢量vd(i，j)的总和的移动量矢量v(i，j)的示意图。
图20是表示使用复用曝光摄像数据来检测速度和加速度的控制器500的功能块的变形的功能框图。
图21A是表示搭载有检测装置1的飞行器(drone)D飞行的情况的示意图。
图21B是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图21C是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图22A是表示搭载有检测装置2的本车辆一边拍摄道路标识S一边行驶的情况的示意图。
图22B是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图22C是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图22D是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图23A是表示搭载有检测装置2的本车辆一边拍摄道路的白线一边行驶的情况的示意图。
图23B是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图24A是表示搭载有检测装置2的本车辆一边摄像粘贴于电线杆的测定用专用标记一边行驶的情况的示意图。
图24B是表示所取得的复用曝光摄像数据所表示的图像的一例的示意图。
图25是示出基于复用曝光摄像数据检测绝对速度并基于绝对速度来控制车辆的制动和加速的处理流程的一例的流程图。
图26A是表示在图24A中由在更靠近道路标识S的一侧行驶的车辆获取的复用曝光摄像数据所表示的图像的一例的示意图。
图26B是表示在图24A中由在更远离道路标识S的一侧行驶的车辆取得的复用曝光摄像数据所表示的图像的一例的示意图。
图27是示出基于复用曝光摄像数据检测绝对速度和加速度，基于绝对速度和加速度来控制车辆的制动和加速的处理流程的一例的流程图。
图28是表示进一步使用由ECU800测定的车辆速度来控制车辆的制动以及加速的处理流程的一例的流程图。
图29是表示基于复用曝光摄像数据检测速度，进而检测行进方向来进行制动以及加速的控制的处理流程的一例的流程图。
图30A是表示通过通常的复用曝光取得的复用曝光摄像数据所表示的图像的一例的示意图。
图30B是表示通过通常的复用曝光取得的复用曝光摄像数据所表示的图像的一例的示意图。
图30C是表示在前方行驶的车辆与本车辆的距离小时的、通过通常的复用曝光取得的复用曝光摄像数据所表示的图像的一例的示意图。
图30D是表示在前方行驶的车辆与本车辆的距离大的情况下的、通过通常的复用曝光取得的复用曝光摄像数据所表示的图像的一例的示意图。
图31是表示基于复用曝光摄像数据检测相对速度以及加速度，进而检测行进方向来进行制动、加速的控制的处理流程的一例的流程图。
图32是表示使用由ECU800测定的车辆速度来进行制动/加速的控制的处理流程的一例的流程图。
图33A是表示车辆进入弯道时的情况的示意图。
图33B是表示车辆进入弯道时摄像弯道的外侧而取得的复用曝光摄像数据所表示的图像的一例的示意图。
图33C是表示摄像弯道的内侧而取得的复用曝光摄像数据所表示的图像的一例的示意图。
具体实施方式
首先，说明本申请发明人考察的现有技术的问题点。
以往，车辆的速度一般基于与车轮的转速成比例的脉冲信号来测定。但是，根据车轮的轮胎的磨损、测定环境，其测定误差或不确定度并不固定。例如，有可能在结冰道路右转或左转时轮胎打滑，或者在刹车制动时车轮抱死。在这样的状态下，难以基于脉冲信号正确地测定车辆速度。今后，在期望进一步发展的先进驾驶辅助系统(ADAS)以及自动驾驶车等中，要求正确地取得行驶控制所需的信息并瞬时进行其控制。
鉴于这样的课题，本申请的发明人想到了新型的检测装置。本发明的一个方式的概要如以下项目所述。
[项目1]
一种驾驶控制系统，其中，具有：
摄像装置，设置在移动体上，在第一帧期间多次拍摄对象物，生成包含第一摄像数据及第二摄像数据的复用曝光摄像数据；以及
检测装置，基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对运动状态，
上述摄像装置在上述第一帧期间内的第一曝光期间以第一灵敏度对上述对象物进行摄像而生成上述第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像而生成上述第二摄像数据。
[项目2]
根据项目1所述的驾驶控制系统，其中，
具有第一控制装置，
上述第一控制装置基于检测出的上述移动体的相对运动状态，生成用于使上述移动体的运动状态变化的信号。
[项目3]
根据项目2所述的驾驶控制系统，其中，
具有第二控制装置，
上述第二控制装置基于上述信号使上述移动体的运动状态变化。
[项目4]
根据项目1所述的驾驶控制系统，其中，
具备第一控制装置，
上述对象物固定于其他移动体，
上述第一控制装置基于检测出的上述移动体的相对运动状态，生成用于使上述其他移动体的运动状态变化的信号。
[项目5]
根据项目4所述的驾驶控制系统，其中，
具有第二控制装置，
上述第二控制装置基于上述信号使上述其他移动体的运动状态变化。
[项目6]
根据项目1至5中任一项所述的驾驶控制系统，其中，
上述移动体是车辆。
[项目7]
根据项目1至6中任一项所述的驾驶控制系统，其中，
上述对象物相对于地面静止，
上述检测装置检测上述移动体的绝对速度。
[项目8]
根据项目1所述的驾驶控制系统，其中，
上述对象物相对于地面静止，
上述检测装置基于上述第一摄像数据来检测上述移动体与上述对象物的距离，基于上述对象物的位置信息和检测出的上述距离，生成上述移动体的位置信息。
[项目9]
根据项目1至8中任一项所述的驾驶控制系统，其中，
上述第一摄像数据通过上述第一帧期间内的最初的摄像而生成，
上述第二摄像数据通过上述第一帧期间内的最后的摄像而生成。
[项目10]
根据项目1至9中任一项所述的驾驶控制系统，其中，
上述复用曝光摄像数据所包含的多个摄像数据中的、至少除了上述第二摄像数据以外的其他摄像数据通过以上述第一灵敏度对上述对象物进行摄像而生成。
[项目11]
根据项目1至9中任一项所述的驾驶控制系统，其中，
上述复用曝光摄像数据所包含的多个摄像数据中的、至少除了上述第一摄像数据以外的其他摄像数据通过以上述第二灵敏度对上述对象物进行摄像而生成。
[项目12]
根据项目1至11中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测以上述对象物为基准的上述移动体的行进方向。
[项目13]
根据项目1至12中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对速度。
[项目14]
根据项目1至13中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测以上述对象物为基准的上述移动体的加速度。
[项目15]
根据项目1至14中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，每隔规定的期间切换第一模式和第一模式，该第一模式是检测以上述对象物为基准的上述移动体的行进方向的模式，该第一模式是检测以上述对象物为基准的上述移动体的相对速度的模式。
[项目16]
根据项目1所述的驾驶控制系统，其中，
具有控制装置，
上述对象物固定于其他移动体，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测上述移动体与上述对象物之间的距离的变化，
在检测到上述距离小于规定的值的情况下，上述控制装置生成用于使上述移动体或上述其他移动体的运动状态变化以使上述距离变大的信号。
[项目17]
根据项目1所述的驾驶控制系统，其中，
具有控制装置，
上述对象物固定于其他移动体，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测上述移动体与上述对象物之间的距离的变化，
在检测到上述距离比规定的值大的情况下，上述控制装置生成用于使上述移动体或上述其他移动体的运动状态变化以使上述距离变小的信号。
[项目18]
根据项目1至17中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据表示的上述对象物的各像的特征点来检测以上述对象物为基准的上述移动体的相对运动状态。
[项目19]
根据项目3或5所述的驾驶控制系统，其中，上述第一控制装置和上述第二控制装置是共用的控制装置。
[项目20]
一种驾驶控制方法，其中，
使用设置于移动体的摄像装置，在第一帧期间内的第一曝光期间以第一灵敏度对对象物进行摄像，生成第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像，生成第二摄像数据，由此，生成包含上述第一摄像数据和上述第二摄像数据的复用曝光摄像数据，
基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，计算以上述对象物为基准的上述移动体的相对运动状态，
基于计算出的上述移动体的相对运动状态，生成用于使上述移动体的运动状态变化的信号，
基于生成的上述信号使上述移动体的运动状态变化。
[项目21]
一种驾驶控制方法，其中，
使用设置于移动体的摄像装置，在第一帧期间内的第一曝光期间以第一灵敏度对固定于其他移动体的对象物进行摄像，生成第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像，生成第二摄像数据，由此，生成包含上述第一摄像数据和上述第二摄像数据的复用曝光摄像数据，
基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对运动状态，
基于检测出的上述移动体的相对运动状态，生成用于使上述其他移动体的运动状态变化的信号，
基于生成的上述信号使上述其他移动体的运动状态变化。
根据本发明的一个方式，为了掌握移动体、例如车辆或飞行体的运动状态或周边状态，使用在一个帧期间多次摄像而得到的复用曝光摄像数据。因此，与在每个帧期间取得一个摄像数据，并使用所得到的多个摄像数据来检测运动状态的情况相比，例如能够大幅度地削减为了决定车辆的速度以及行进方向而进行的运算量。
在使用多个摄像数据来检测对象物的运动状态的情况下，检测间隔被限速于图像传感器的读出速度。与此相对，复用曝光摄像数据重叠包含多个摄像数据。因此，在本公开中，对象物的检测间隔由复用曝光的曝光间隔规定。因此，根据本公开，能够大幅提高测定速度，并且能够改善测定精度。另外，根据本公开，由于检测间隔小，所以其间的对象物的移动量也小，能够更细致地检测对象物的运动状态。因此，在根据检测结果预测对象物的运动状态的情况下，能够期待预测概率的提高，并且，由于使用一个复用曝光摄像数据来检测运动状态，所以能够在图像上缩小检测所需的运算区域，能够削减运算量。
在下文中，将参考附图详细说明本发明的实施方式。另外，以下说明的实施方式均表示总括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置以及连接方式、步骤、步骤的顺序等是一例，并非旨在限定本公开。本说明书中说明的各种方式只要不产生矛盾，就能够相互组合。另外，关于以下的实施方式中的构成要素中的、表示最上位概念的独立权利要求中未记载的构成要素，作为任意的构成要素进行说明。在以下的说明中，实质上具有相同功能的构成要素用共同的附图标记表示，有时省略说明。
本公开涉及主要检测移动体的相对行进方向、移动体的速度或加速度的技术。移动体的相对行进方向例如是指以其他移动体为基准的移动体的相对行进方向或以静止体为基准的移动体的行进方向。另外，移动体的相对速度以及加速度意味着以其他移动体为基准的移动体的相对速度以及加速度。
本公开还涉及主要检测移动体的绝对行进方向、移动体的速度和加速度的技术。移动体的绝对行进方向例如是指移动体自身的绝对行进方向。另外，移动体的绝对的速度以及加速度是指移动体自身的绝对的速度以及加速度。
在本说明书中，有时将包含上述的行进方向、速度以及加速度的移动体的运动的状态统称为移动体的运动状态。
在本说明书中，移动体是指移动的所有物体。例如，移动体包括人、车辆、工业控制设备、自主机器人以及飞行体。车辆例如是汽车、摩托车以及电车。飞行体例如是飞艇(airship)以及多旋翼飞行器(multicopter)。多旋翼飞行器例如是无人机(drone)，不管是有人还是无人。
(第一实施方式)
<1.1.车辆行驶控制系统1000以及检测装置1的结构>
图1表示具备检测装置1的车辆行驶控制系统1000的模块结构例。
本实施方式的检测装置1是搭载于车辆的装置，主要检测车辆的相对行进方向。车辆例如是汽车。检测装置1例如能够配置于车辆的前方以及后方中的至少一方。由此，能够在车辆的前方以及后方的至少一方的大范围内拍摄对象物。
检测装置1能够经由总线与例如距离测定部600、行进方向测定部700以及电子控制单元800可通信地连接。以下，将电子控制单元记为”ECU”。构成要素间的通信通过有线或无线进行。例如，能够进行使用作为车载网络的CAN(Controller Area Network)的通信。由此，构筑以ECU800为核心的车辆行驶控制系统1000。车辆行驶控制系统1000例如适合搭载于汽车。进而，车辆行驶控制系统1000可以由包含本车辆及在其周边行驶的周边车辆的多个车辆构筑。另外，在车辆行驶控制系统1000中，如后所述，距离测定部600以及行进方向测定部700不是必须的。
检测装置1具备摄像装置100、光学系统200、图像信号处理器300、图像发送接口400以及控制装置500。以下，将控制装置标记为控制器，将图像信号处理器标记为“ISP”。
摄像装置100例如是CMOS(ComplentaryMetalOxide Semiconductor)型图像传感器。摄像装置100能够取得被拍摄体的复用曝光摄像数据。稍后将说明摄像装置100的细节。摄像装置100典型地搭载于本车辆。
光学系统200具有由聚焦透镜和变焦透镜等构成的公知的透镜组。在透镜组中，例如聚焦透镜在光轴方向上移动。由此，能够调整摄像装置100中的被拍摄体像的对焦位置。
ISP300是用于对从摄像装置100输出的摄像数据进行图像处理的处理器。ISP300首先接收来自摄像装置100的输出数据。来自摄像装置100的输出数据例如是未压缩/未加工的RAW数据。ISP300能够对来自摄像装置100的输出数据进行例如伽马校正、颜色插补处理、空间插补处理以及自动白平衡的处理。
图像发送接口400是用于将复用曝光摄像数据等输出到外部的接口(IF)。图像发送接口400的外部例如是ECU800。例如，图像发送接口400能够经由CAN与ECU800通信。另外，复用曝光摄像数据等可以在RAW数据的状态下输出，也可以在进行图像压缩或规定的图像处理之后按照规定的格式输出。
控制器500是控制检测装置1整体的控制电路，并且作为运算处理装置发挥功能。控制器500能够处理来自ISP300的复用曝光摄像数据。控制器500例如能够基于复用曝光摄像数据来检测车辆的相对行进方向和相对速度。控制器500能够搭载于本车辆或在其周边行驶的周边车辆。
控制器500例如具备具有电压控制电路511的输出接口510、输入接口520、程序存储器530、工作存储器540以及微控制器550。
输入接口520是接收从ISP300输出的复用曝光摄像数据的接口。
微控制器550将预先存储在程序存储器中的程序暂时展开到工作存储器中，按照其命令组进行各种动作。程序存储器例如是ROM，工作存储器例如是RAM。程序存储器中存储的程序例如具有用于控制摄像装置100的命令组。
输出接口510是用于向摄像装置100输出控制信号的接口。输出接口510包括电压控制电路511。例如，电压控制电路511生成要施加到摄像装置100的像素中的光电转换层的期望电压。电压控制电路511向后面使用图5说明的透明电极109A供给该电压。例如，电压控制电路511可以控制摄像装置100的全局快门。另外，除了电压控制电路511之外，本公开还可以采用能够实现摄像装置100的全局快门的任何其他配置。
此外，控制器500的结构等不是本发明的本质部分，因此省略其详细说明。
图2表示检测装置1的其他的模块结构例。
在图1的结构例中，ISP300是与摄像装置100不同的芯片，外接于摄像装置100。另一方面，在图2的结构例中，摄像装置100和ISP300安装在同一芯片内。根据本结构例，能够更高速地处理摄像数据，并且能够降低硬件的成本。
图3表示摄像装置100的结构例。
摄像装置100具备由二维排列的多个单位像素101构成的像素阵列。另外，实际上，数百万个单位像素101能够二维地排列，但图3着眼于其中的以2×2的矩阵状配置的单位像素101而示出其样子。
摄像装置100包括多个单位像素101、行扫描电路102、列扫描电路103、针对各列设置的电流源104以及AD(模拟数字)转换电路105。针对各行设置水平信号线107，并且针对各列设置垂直信号线108。各单位像素101经由水平信号线107与行扫描电路102电连接，并经由垂直信号线108与列扫描电路103电连接。
所有的单位像素101例如与共用的电源线106连接。经由共用的电源线106向所有的单位像素101供给共同的电压。基于在单位像素101中进行了光电转换的光信号的像素信号是模拟信号，通过AD转换电路105转换为数字信号。转换为数字信号的信号从列扫描电路103作为输出信号输出。在该结构中，在多个单位像素101之间曝光的开始和结束的定时相同的情况下，实现全局快门功能。但是，在本公开中，多个单位像素101中的至少两个单位像素101中的曝光的开始和结束的定时相同即可。AD转换电路105不需要按每列设置，也可以将像素信号直接以模拟信号的状态输出。来自多个单位像素101的像素信号被相加或相减，运算后的值能够从列扫描电路103输出。或者，来自多个单位像素101的像素信号能够直接从列扫描电路103输出。
图4A示出单位像素101的结构例。图5示意性地表示沿着半导体基板109D的法线方向的单位像素101的截面。
图4A所示的单位像素101包括光电转换部109、浮动扩散区、放大晶体管M1、选择晶体管M2和复位晶体管M3。以下，将浮动扩散区标记为“FD”。光电转换部109对入射光进行光电转换。FD存储电荷。放大晶体管M1放大FD中累积的电荷。选择晶体管M2选择是否将放大后的信号输出到垂直信号线108。复位晶体管M3将FD复位到期望的复位电位Vrst。在本说明书中，由放大晶体管M1、选择晶体管M2以及复位晶体管M3等构成的电路称为“信号处理电路”。信号处理电路与光电转换部109电连接，检测电信号。
单位像素101的光电转换部109具有透明电极109A、像素电极109B、配置在透明电极109A和像素电极109B之间的光电转换膜109C。像素电极109B与信号处理电路电连接。FD设置在半导体基板109D中，经由接触插塞109E与像素电极109B电连接。光从光电转换膜109C的透明电极109A侧射入光电转换膜109C。当在透明电极109A和像素电极109B之间施加偏置电压时，产生电场。由光电转换产生的正电荷和负电荷中的一方由像素电极109B收集并累积在FD中。
通过上述电源线106控制透明电极109A和像素电极109B之间的电位差。例如，通过使透明电极109A和像素电极109B的电位差从大的状态变化为小的状态，能够减少由光电转换膜109C进行光电转换的电荷的量。或者，通过调整电位差，也能够使由光电转换膜109C进行光电转换的电荷的量为零。
在本结构的情况下，仅通过控制施加于光电转换膜109C的偏置电压的大小，就能够控制单位像素101中的电荷的产生及蓄积。即，也可以不像以往那样对各单位像素追加电荷传送晶体管及用于蓄积传送后的电荷的电容等元件。偏置电压的控制例如由控制器500的电压控制电路511进行。在多个单位像素101中，在两个以上单位像素中，通过同时进行偏置电压的控制，能够在这两个以上的单位像素之间同时释放快门(release shutters)。即，在这些单位像素之间实现全局快门。也可以在所有的单位像素101之间实现全局快门。或者，也可以在特定的摄像区域中的单位像素101之间或特定的单位像素101之间实现全局快门。进而，也可以分成几个阶段来释放快门。
在已经在FD中蓄积了信号电荷的状态下，当减小透明电极109A和像素电极109B之间的电压时，电荷向FD的蓄积停止。然后，当透明电极109A和像素电极109B之间的电压增大时，可以将信号电荷进一步蓄积在FD中。由此，通过在1帧期间内在不同的多个定时控制偏置电压，能够在1帧期间取得多个摄像数据。即，能够在一个帧期间内取得将多个摄像数据复用了的复用曝光摄像数据。
如果是以往的摄像元件，则需要将多个摄像数据作为按每个不同的帧期间取得的多个数据组进行处理。根据本公开，可以将复用曝光摄像数据作为一个数据来处理。因此，本公开在能够削减数据量这一点以及能够降低后级电路中的数据处理的负荷这一点上具有优越性。
另外，在摄像装置100生成复用曝光摄像数据时，也可以在一个帧期间内的多个定时的每一个定时，在电极间施加相互不同的偏置电压。由此，能够取得包含灵敏度相互不同的多个摄像数据的复用曝光摄像数据。在本说明书中，有时将这样的复用曝光称为“基于灵敏度调制的复用曝光”。
在以往的摄像元件中，不能控制施加于单位像素的电压来调制灵敏度。本公开在能够通过控制偏置电压的大小来调制灵敏度方面具有优越性。另外，在本申请人的例如日本特开2007-104113号公报中记载了上述的基于灵敏度调制的复用曝光的详细说明，因此在本说明书中省略说明。为了参考这些公开内容的全部，在本说明书中引用。
图4B示出了单位像素101的另一结构例。
图4B中的单位像素101包括作为光电转换部的光电二极管(以下称为PD)。本构成例的单位像素101典型地还具备用于将PD中产生的电荷传送到FD的电荷传送晶体管M4。这样，也可以将由具有PD的单位像素构成的图像传感器用作摄像装置100。在图4B中示出了设置电荷传送晶体管M4的结构，但也可以采用不设置电荷传送晶体管M4的结构。
再次参照图1和图2。
由ISP300或摄像装置100’处理后的数据作为复用曝光摄像数据被读出，并输出至图像发送接口400以及控制器500。另外，摄像装置100除了复用曝光摄像数据以外，当然也可以生成基于单一曝光的摄像数据。
距离测定部600能够测定本车辆与对象物之间的距离。距离测定部600可以通过例如TOF(Time of Flight)传感器、激光雷达以及声纳等装置来实现。
行进方向测定部700能够测量本车辆相对于对象物的相对行进方向。本车辆相对于对象物的相对的行进方向是指本车辆相对于例如对象物的位置关系及其变化的朝向。行进方向测定部700能够通过例如TOF、激光雷达以及声纳等装置来实现。对象物可以是移动体，也可以是静止体。
如上所述，距离测定部600以及行进方向测定部700不是必需的。如后所述，通过解析复用曝光摄像数据，能够取得距离以及相对的行进方向这样的信息。通过数据解析取得这些信息，能够减少车辆行驶控制系统1000的硬件的数量。其结果是，车辆行驶控制系统1000能够简化及最佳化。当然，也可以根据控制的种类区分使用基于装置以及数据解析的距离的检测。
ECU800是构成车载网络的核心，是进行发动机控制以及制动、转向以及加速等各种车辆的控制的单元。例如，ECU800能够基于来自检测装置1的输出来控制车辆的制动以及加速。另外，ECU800能够进行检测装置1的各种运算。
〈1.2.摄像装置100的基本动作〉
首先，参照图6A和图6B说明摄像装置100的基本动作。
图6A表示单位帧期间中的复用曝光的典型的动作定时。图6B表示复用曝光摄像数据所表示的图像的一例。在图6A中，vd表示单位帧期间的开始脉冲。两个开始脉冲之间的期间相当于单位帧期间。控制信号V2表示施加到单位像素101的光电转换膜109C的偏置电压。
根据由电压控制电路511生成的控制信号V2的电平，取得通过1帧期间的复用曝光取得的多个摄像数据。控制信号V2为Hi的期间为曝光期间，控制信号V2为Low的期间是非曝光期间。在曝光期间，在光电转换膜109C中通过光电转换而生成的电荷向像素电极109B移动。另一方面，在非曝光期间，在光电转换膜109C中通过光电转换而生成的电荷再结合并消失。
本实施方式的摄像装置100能够改变曝光期间、曝光次数以及灵敏度。具体而言，电压控制电路511能够通过改变单位帧期间中的控制信号V2的脉冲宽度以及脉冲的振幅来控制曝光。
图6A表示在单位帧期间不改变灵敏度地实施4次以上的曝光的例子。但是，单位帧期间中的曝光次数为2次以上即可。摄像装置100生成包含通过各曝光取得的多个摄像数据(第一、第二、…、第n摄像数据、n为2以上的整数)的复用曝光摄像数据。因此，复用曝光摄像数据至少包含第一及第二摄像数据。在第一曝光期间取得第一摄像数据，在第二曝光期间取得第二摄像数据。在本说明书中，有时将在各曝光期间之间不改变像素的灵敏度而进行的复用曝光称为“通常的复用曝光”。根据通常的复用曝光，例如在摄像了静止体的情况下，被拍摄体在各曝光期间例如由图3所示的像素阵列中的同一多个单位像素101拍摄。与此相对，在拍摄了移动体的情况下，该被拍摄体在各曝光期间由不同的多个单位像素101拍摄。在此，“在各曝光期间内由不同的多个单位像素101拍摄”是指例如在第一曝光期间拍摄被摄像体的多个单位像素101、和在第二曝光期间拍摄被摄像体的多个单位像素101的一部分或者全部不一致。其结果是，例如通过4次以上的曝光取得的摄像数据作为独立的或一部分重合的4个以上的像包含在一个复用曝光摄像数据中。在图6B中，表示出在单位帧期间以相互不同的定时拍摄4次在本车辆的前方行驶的车辆的车号牌而得到的复用曝光摄像数据所表示的图像的一例。
接着，参照图7A至图7D说明摄像装置100的应用的动作。
图7A表示单位帧期间中的复用曝光的应用的动作定时的例子。图7B表示应用例的复用曝光摄像数据所表示的图像的一例。图7C表示单位帧期间中的复用曝光的应用的动作定时的其他例子。图7D表示应用例的复用曝光摄像数据所表示的图像的另一例。
在本应用例中，通过在各曝光之间变更控制信号V2的电平，实施基于灵敏度调制的复用曝光。因此，在两个曝光期间之间灵敏度以及曝光量不同。控制信号V2的电平的变更例如通过变更脉冲的振幅来进行。在图7A中，表示出在单位帧期间实施灵敏度分别不同的4次以上的复用曝光的例子。控制信号V2被设定为在每次曝光时电平不同的电压。控制信号V2的电平可以是图7A所示的单调增加。或者，控制信号V2的电平也可以是图7C所示的单调减少。在控制信号V2的电平的变化为例如图7A所示那样的单调增加的情况下，在第一曝光期间取得的第一摄像数据的明度最低，在第四曝光期间取得的第四摄像数据的明度最高。摄像装置100生成包含通过各曝光取得的灵敏度不同的多个摄像数据的复用曝光摄像数据。控制信号V2可任意设定，可根据检测目的采取各种模式。例如，控制信号V2的电平不必单调增加或单调减少，也可以以任意的模式进行增减。
图7B以及图7D表示将在本车辆的前方行驶的车辆的车号牌在单位帧期间拍摄4次得到的复用曝光摄像数据所表示的图像的一例。
在本应用例中，在复用曝光摄像数据中，在拍摄有运动的被拍摄体的四个像之间明度不同。因此，能够按时间序列确认被拍摄体的运动。在本说明书中，明度是“共同的显示属性的程度”的一例。共同的显示属性的程度除了明度以外，例如可以是彩度以及色相的程度。
图6B、图7B以及图7D表示对有运动的相同被拍摄体进行摄像而得到的复用曝光摄像数据所表示的图像的一例。在各曝光之间共同的显示属性的程度全部相同的情况下，取得图6B所示的摄像数据。在各曝光之间共同的显示属性的程度不同的情况下，取得图7B或图7D所示的摄像数据。在图7B中，明度越高的像，表示越是在时间序列中后取得的被拍摄体像。另外，在图7D中，明度越低的像，表示越是在时间序列中后取得的被拍摄体像。这意味着，如后所述，能够基于复用曝光摄像数据检测以前方的行驶车辆为基准的本车辆的相对行进方向和相对速度。本车辆是第一移动体的一例，前方的行驶车辆是第二移动体的一例。
例如，在图7B中，越是明度高的车号牌的像，显示得越小。即，越是在时间序列中后取得的像，则越小。因此，能够检测到本车辆相对于前方的行驶车辆相对地后退、或者相对地减速。同样地，例如在图7D中，越是明度低的车号牌的像，则显示得越小。即，越是在时间序列中后取得的像，则越小。因此，能够检测到本车辆相对于前方的行驶车辆相对地后退、或者相对地减速。
另外，作为另一例，通过在各曝光期间使曝光期间不同，能够调制灵敏度。以下，说明其一例。
图8A示出单位帧期间中的复用曝光的应用的动作定时的例子。图8B表示应用例的复用曝光摄像数据所表示的图像的一例。图8C示出单位帧期间中的复用曝光的应用的动作定时的其他例子。图8D表示应用例的复用曝光摄像数据所表示的图像的另一例。
在本应用例中，在从第一曝光期间到第四曝光期间之间曝光的长度不同。在本应用例中，在所有的曝光期间之间曝光的长度不同，但只要至少两个曝光期间的长度不同即可。通过在各曝光期间变更曝光期间、即控制信号V2的脉冲宽度来调制灵敏度。在图8B中，明度越高，表示越是在时间序列中后取得的像。另外，在图8D中，明度越低的像表示越是在序列中后取得的像。
例如，在图8B中，明度越高的车号牌的像显示得越小。即，越是在时间序列中后取得的像越小。因此，能够检测到本车辆相对于前方的行驶车辆相对地后退、或者相对地减速。同样地，例如在图8D中，越是明度低的车号牌的像显示得越小。即，越是在时间序列中后取得的像越小。因此，能够检测到本车辆相对于前方的行驶车辆相对地后退、或者相对地减速。
接着，参照图9A至图9D，说明几个摄像序列的典型例子。
图9A至图9D示出摄像序列的典型例子。
如图9A以及图9B所示，在某摄像序列中，也可以仅在用于检测行进方向的帧期间应用灵敏度调制，基于在该期间取得的复用曝光摄像数据来检测行进方向。进而，在剩余的帧期间中，也可以进行通常的复用曝光摄像。以下，将用于检测行进方向的帧标记为“方向检测用帧”。
如图9C所示，也可以在某摄像序列的各帧期间始终应用灵敏度调制，基于在各帧期间取得的复用曝光摄像数据始终检测行进方向。另外，如图9D所示，可以从某摄像序列中的多个帧期间中定期地设定方向检测用帧期间，仅在该帧期间应用灵敏度调制，基于在该期间取得的复用曝光摄像数据来检测行进方向。另外，也可以按照控制器500的控制，一边根据行驶条件来切换上述几个摄像序列的结构，一边使摄像装置100动作。
也可以在某摄像序列中，设定用于检测行驶状态的帧期间，基于在该期间取得的复用曝光摄像数据来检测速度，根据该速度，控制剩余的帧期间中的复用曝光摄像中的曝光间隔。以下，将用于检测行驶状态的帧标记为“行驶状态检测用帧”。行驶状态检测用帧也可以在某摄像序列中的多个帧期间中定期地设定。若取得数据相对于车速过少，则检测装置1难以准确地追随速度变化。另外，若取得数据过多，则导致计算量的增加以及芯片的消耗电力的增加。其结果，高速处理变得困难。另一方面，如上所述，通过在摄像序列中设定行驶状态检测用帧，根据该测定结果来控制以后的摄像的曝光间隔，能够将取得的数据量控制在适当的范围内，能够维持检测精度。
<1.3.检测装置1的动作的具体例1>
参照图10至图12C，对检测装置1的动作的具体例1进行说明。
本实施方式的摄像装置100在本车辆的发动机起动的同时开始摄像。摄像装置100拍摄其他车辆所包含的特定对象物。控制器500能够基于通过灵敏度调制而拍摄到的特定对象物的第一摄像数据以及第二摄像数据，来检测以其他车辆为基准的本车辆的相对的行进方向。特定对象物是按标准规定了尺寸的物体。特定对象物例如是其他车辆的车号牌或其他车辆的头灯和刹车灯等灯。
图10表示用于检测行进方向的处理流程的一例。在本说明书中，说明控制器500执行各处理来检测本车辆的相对行进方向或相对速度或其双方的例子。各处理的主体也可以是ECU800。换言之，ECU800也可以基于来自检测装置1的输出数据来检测本车辆的相对的行进方向或者相对速度或者其双方。
控制器500能够使用例如公知的物体识别的算法来检测特定对象物的特征。控制器500在检测到该特征时，开始用于检测车辆行进方向的程序的启动(boot)。由此，转移到用于检测相对的行进方向的处理(图10的开始以及步骤S100)。
控制器500开始相对的行进方向的检测(步骤S110)。控制器500例如在图9A所示的摄像序列中设定方向检测用帧。
这里，考虑按照参照图6A说明的通常的复用曝光取得复用曝光摄像数据。例如，在图6B所示的复用曝光摄像数据中，在任意两个摄像数据之间，不区分哪一个是最初取得的摄像数据。这是因为两个摄像数据之间共同的显示属性的程度相同。在图6B所示的复用曝光摄像数据中，共同的显示属性是明度。即，基于该复用曝光摄像数据，难以检测以前方的车辆为基准的本车辆的相对行进方向。更具体而言，无法明确地判别是本车辆相对地加速而到前方车辆的距离缩短，还是本车辆相对地减速而到其他车辆的距离扩大。
摄像装置100例如如图7A或图7C所示，通过在单位帧期间内的多个曝光之间改变控制信号V2的电平，使每单位时间的灵敏度不同来进行多个摄像。其结果，能够取得包含共同的显示属性的程度不同的多个摄像数据在内的复用曝光摄像数据。控制器500接收从摄像装置100输出的复用曝光摄像数据。控制器500能够基于该复用曝光摄像数据来测定共同的显示属性的程度的差异，并判断在两个摄像数据之间哪个是先取得的摄像数据。这样，控制器500能够基于第一以及第二摄像数据的各车号牌的像的明度来检测相对的行进方向(步骤S120)。
之后，控制器500判定是否继续进行摄像以及行进方向检测(步骤S130)。在继续进行摄像和行进方向检测的情况下，控制器500重复上述流程。另一方面，在结束摄像和行进方向检测的情况下，控制器500结束流程。
图11A以及图12A示意性地表示搭载了检测装置1的本车辆V追随前方的车辆W而行驶的情况。图11B、图11C、图12B以及图12C示意性地表示所取得的复用曝光摄像数据所表示的图像的一例。
图11A表示特定对象物为车号牌的例子。根据图7A所示的驱动，当摄像装置100拍摄车辆W的车号牌时，取得图11B所示的复用曝光摄像数据。根据该驱动，越是后取得的摄像数据，像的明度越高。在图11B所示的复用曝光摄像数据中，车号牌的像按照时间序列逐渐变小。控制器500基于车号牌的像的明度和大小的变化来检测相对的行进方向。在该例中，可知以车辆W为基准的本车辆V的相对行进方向为后方。由此可进一步得知，本车辆V的相对速度减小。
图11C表示特定对象物为车号牌的其他例子。根据图7C所示的驱动，当摄像装置100拍摄车号牌时，取得图11C所示的复用曝光摄像数据。根据该驱动，越是后取得的摄像数据，像的明度越低。在图11C所示的复用曝光摄像数据中，车号牌的像按照时间序列逐渐变小。在该例中，可知以车辆W为基准的本车辆V的相对行进方向为后方。由此可进一步得知，本车辆V的相对速度减小。
图12A表示特定对象物为刹车灯的例子。根据图7A所示的驱动，当摄像装置100拍摄车辆W的刹车灯时，取得图12B所示的复用曝光摄像数据。根据该驱动，越是后取得的摄像数据，像的明度越高。在图12B所示的复用曝光摄像数据中，刹车灯的像按时间序列逐渐变小。由此可知，以车辆W为基准的本车辆V的相对行进方向为后方。另外，由此可进一步得知，本车辆V的相对速度减小。
图12C表示特定对象物为刹车灯的另一例。根据图7C所示的驱动，当摄像装置100拍摄车号牌时，取得图12C所示的复用曝光摄像数据。根据该驱动，越是后取得的摄像数据，像的明度越低。在图12C所示的复用曝光摄像数据中，刹车灯的像按时间序列逐渐变小。由此可知，以车辆W为基准的本车辆V的相对行进方向为后方。另外，由此可进一步得知，本车辆V的相对速度减小。另外，在使用刹车灯作为特定对象物的情况下，也可以使用复用曝光摄像数据中的左右的刹车灯间的间隔的大小来检测相对的行进方向以及相对速度。
在上述示例中，当控制器500检测到特定对象物的特征时，控制器500开始检测行进方向，但是本公开不限于此。例如，控制器500也可以在车辆的发动机运转的期间始终进行行进方向的检测。或者，控制器500可以以某一定的间隔检测行进方向，也可以以进入高速公路为起点开始行进方向的检测。进而，控制器500也可以以变更了齿轮等的内部控制信息的变化为起点来检测行进方向。
车号牌和刹车灯是特定对象物的一例。特定对象物可以是按标准确定了尺寸的所有对象物。特定对象物例如可以是用于测定车辆的速度的专用标记。摄像装置100在测定相对的行进方向和相对速度的情况下，优选设置在车辆的前方或后方。由此，能够抑制测定时的误差。另外，通过将摄像范围宽的摄像装置100设置于例如车辆的侧后视镜或头灯，能够将其配置对车辆的形状以及设计造成的影响抑制为最小限度。所谓摄像范围宽意味着例如视角宽。
<1.4.检测装置的动作的具体例2>
参照图13A至图13C，对检测装置1的动作的具体例2进行说明。
图13A示意性地表示搭载了检测装置1的本车辆一边拍摄道路标识S一边行驶的情况。图13B以及图13C示意性地表示所取得的复用曝光摄像数据所包含的各摄像数据所表示的图像。
在本具体例中，检测装置1对静止体进行摄像来检测本车辆的绝对的行进方向。静止体是例如设置于道路的道路标识S。道路标识S作为特定对象物发挥功能。根据图7A所示的驱动，当摄像装置100拍摄道路标识S时，取得图13B或图13C所示的复用曝光摄像数据。根据该驱动，越是后取得的摄像数据，像的明度越高。在图13B所示的复用曝光摄像数据中，图像的右端、即车辆的最后方的道路标识S的像的明度最亮，最前方的像最暗。这意味着本车辆向前方方向行驶。
另一方面，在图13C所示的复用曝光摄像数据中，图像的左端即车辆的最前方的道路标识S的像的明度最亮，最后方的像最暗。这意味着本车辆向后方行驶。
这样，检测装置1能够基于道路标识S的复用曝光摄像数据来检测本车辆的绝对行进方向。另外，在该例中，若考虑道路标识S的设置场所，则摄像装置100优选设置在车辆侧面。
<1.5.检测装置的动作的具体例3>
参照图14，说明检测装置1的动作的具体例3。
图14表示检测车辆的相对或绝对的行进方向以及速度，并基于该检测结果来控制车辆的制动以及加速的处理流程的一例。
控制器500在检测到上述那样的特定对象物的特征时(步骤S200)，转移到用于检测行进方向以及速度的处理。
控制器500开始检测行进方向和速度(步骤S210)。
控制器500例如在方向检测用帧中取得复用曝光摄像数据。控制器500与图10所示的处理流程的步骤S120同样地，测定复用曝光摄像数据中的第一及第二摄像数据各自的显示属性的程度来检测行进方向(步骤S220)。
距离测定部600、例如TOF例如应答来自控制器500的开始指示，测定从本车辆到特定对象物的距离d。控制器500从距离测定部600接收距离d(步骤230)。
控制器500使用复用曝光摄像数据所包含的第一以及第二摄像数据所表示的各特定对象物像的间隔m、从本车辆到其他车辆的距离d、以及第一曝光期间与第二曝光期间之间的曝光间隔t来检测速度(步骤S240)。特定对象物是例如车号牌。从本车辆到其他车辆的距离d准确来说是从距离测定部600到其他车辆的车号牌的距离。速度是以在周边行驶的车辆为基准的本车辆的速度。
复用曝光摄像数据所包含的第一以及第二摄像数据所表示的各特定对象物像的间隔例如能够以各特定对象物像的特征点的间隔来表示。特征点例如是特定对象物的边缘。控制器500例如能够使用公知的边缘检测方法来检测特定对象物的边缘。控制器500计算摄像数据间的特定对象物的边缘的间隔I。
第一曝光期间和第二曝光期间之间的曝光间隔t例如如图7A所示。图7A中的曝光间隔t相当于从第一曝光期间结束到第二曝光期间结束为止的期间。换言之，相当于控制信号V2从高电平变为低电平的各定时的间隔。
例如，在通过通常的复用曝光拍摄车号牌的情况下，车号牌的像沿着车辆的行进方向复用。因此，仅通过该信息，无法判别本车辆是接近周边车辆还是远离周边车辆。在本具体例中，在步骤S220中，得到表示本车辆的行进方向的信息。因此，检测装置1能够得到包含本车辆的速度的大小及其方向的信息。即，检测装置1能够得到本车辆的准确的速度矢量。
检测装置1经由图像发送IF向ECU800发送表示行进方向和速度的信息。
ECU800基于从检测装置1接收到的表示行进方向以及速度的信息，控制车辆的制动以及加速(步骤S250)。例如，在假定与自动驾驶的等级0、1相当的行驶辅助的情况下，ECU800例如在与周边车辆的间隔(距离d)小于规定的阈值、或者速度超过规定的阈值时，进行制动的控制。具体而言，例如，在检测到与在前方行驶的其他车辆的距离小于规定的值的情况下，也可以以使与其他车辆的距离扩大的方式使本车辆的制动器工作，或者也可以进行控制以使其他车辆的油门进行工作。另外，例如，在检测到与在前方行驶的其他车辆的距离大于规定的值的情况下，也可以以缩短与其他车辆的距离的方式使本车辆的油门动作，或者也可以进行控制以使其他车辆的制动器动作。另外，自动驾驶的等级是指由日本政府决定的从等级0到等级4的自动化的基准。例如在假定与自动驾驶的等级2至4相当的自动驾驶或者完全自动驾驶的情况下，ECU800例如基于本车辆与周边车辆的距离d、拍摄到的道路标识的信息、道路交通信息以及地图信息进行制动的控制。地图信息例如是GPS信息。
根据车辆行驶控制系统1000，能够基于行进方向以及速度的检测结果来控制本车辆或者其他车辆的行驶。例如，能够将在本车辆中取得的检测结果用于本车辆的行驶控制。或者，能够将在本车辆中取得的检测结果用于其他车辆的行驶控制。另外，ECU800也可以基于从检测装置1接收到的表示行进方向以及速度的信息，生成用于控制车辆的制动以及加速的信号并向外部输出。在该情况下，例如本车辆或其他车辆的自动驾驶控制装置也可以接收该信号来控制本车辆或其他车辆的驾驶。
控制器500决定是否继续摄像(步骤S260)。例如，控制器500在发动机运转的情况下，决定继续摄像，在发动机停止的情况下，决定停止摄像。若控制器500决定继续摄像，则处理再次返回步骤200。
如上所述，根据具备检测装置1以及ECU800的车辆行驶控制系统1000，提供与行驶辅助、自动驾驶以及完全自动驾驶对应的车辆行驶控制系统以及搭载了该车辆行驶控制系统的车辆。
在步骤S230中，说明了距离测定部600测定从本车辆到对象物的距离d的例子，但本发明并不限定于此。控制器500也可以通过解析复用曝光摄像数据来计算距离d。
控制器500能够基于特定对象物的实际大小和复用曝光摄像数据中的特定对象物的大小的比较结果，计算从本车辆到其他车辆的距离d。特定对象物的实际大小根据标准预先决定。距离d处的复用曝光摄像数据中的特定对象物的大小s根据标准、以及与摄像装置100以及光学系统200相关的各种参数来决定。距离d与特定对象物的大小s的对应关系例如能够预先存储在程序存储器530中。控制器500例如能够基于该对应关系来运算从本车辆到其他车辆的距离d。根据该结构，不需要距离测定部600，因此能够简化车辆行驶控制系统1000，并且能够降低系统成本。另外，在本说明书中，按时间序列进行了所有的处理，但也可以改变各个处理的顺序，或者并行地进行各个处理。例如，能够与连续摄像并行地进行行进方向检测、速度检测。此时，拍摄到的数据也可以全部利用，也可以仅摘出运算所需的量来利用。
<1.6.检测装置的动作的具体例4>
参照图15，说明检测装置1的动作的具体例4。
图15表示检测车辆的行进方向、速度以及加速度，并基于该检测结果来控制车辆的制动以及加速的处理流程的一例。
图15所示的处理流程与图14所示的处理流程的不同之处在于，图15所示的处理流程包括检测加速度的处理。以下，主要说明该不同点。
控制器500与图10所示的处理流程的步骤S120同样地，测定第一以及第二摄像数据所表示的对象物的像的显示属性的程度来检测行进方向。另外，控制器500测定第二以及第三摄像数据表示的对象物的像的显示属性的程度来检测行进方向(步骤S320)。第一至第三摄像数据是在时间序列中连续的摄像数据组。第一以及第二摄像数据典型地是曝光期间相邻的两个相邻的摄像数据的组，第二以及第三摄像数据典型地是曝光期间相邻的相邻的2个摄像数据的组。但是，两个摄像数据也可以不是在时间序列中连续的两个摄像数据的组。例如，也可以选择第一至第四连续的摄像数据中的第一及第二摄像数据的组、和第二及第四摄像数据的组。
控制器500基于第一以及第二摄像数据的组，得到包含大小以及朝向的信息的速度1。在此，速度用速度矢量表示。控制器500还基于第二及第三摄像数据的组得到速度2。控制器500通过测定速度1以及速度2的每单位时间的变化量来计算加速度(步骤340)。
检测装置1经由图像发送IF向ECU800发送表示行进方向、速度1、2以及加速度的信息。
ECU800能够基于从检测装置1接收到的表示行进方向、速度1、2以及加速度的信息中的至少一个来控制车辆的制动以及加速。
根据本具体例，能够使用测定出的速度以及加速度来控制车辆的制动以及加速。因此，能够连续地掌握本车辆的行驶状态，其结果，能够进行更安全的控制。
参照图16A至图20，说明用于检测车辆的速度以及加速度的更详细的算法。在说明本发明的算法之前，说明参考例的算法。
图16A表示参考例中的控制器的功能块。图16B示意性地表示帧t-1的图像。图16C示意性地示出继帧t-1之后的帧t的图像。图16D示意性地表示根据帧t-1以及帧t的各摄像数据求出的特定对象物的运动。
参考例的控制器具备至少两个帧存储器51A、51B、运动矢量检测部52、对象检测部53以及速度检测部54。用于检测速度的算法例如通过微控制器和软件的组合来实现。图16A所示的功能块中的各块不是以硬件单位而是以功能块单位表示。从摄像装置50输出分别与帧t-1和帧t对应的摄像数据。与帧t-1对应的摄像数据暂时保持在帧存储器51A中。与帧t对应的摄像数据暂时保持在51B中。
运动矢量检测部52从帧存储器51A读出与帧t对应的摄像数据，从帧存储器51B读出与帧t-1对应的摄像数据。另外，运动矢量检测部52按每个像素比较各摄像数据的值，确定各摄像数据的值存在差的像素组。进而，运动矢量检测部52基于所确定的像素组，生成表示特定对象物的运动的运动矢量信号。
具体而言，如图16D所示，通过比较两个摄像数据，检测图像上的特定对象物的移动方向以及移动量。
对象检测部53从帧存储器51A读出与帧t对应的摄像数据，使用公知的物体识别的算法来检测特定对象物的特征部。特定对象物是用于速度检测的图像解析中所使用的对象物。如已经说明的那样，特定对象物例如是指白线、标识等路上标志信息或其他车辆的车号牌。在本说明书中，有时将静止的特定对象物称为固定物体，将活动的特定对象物称为运动物体。对象检测部53使用形状检测或边缘检测等一般的检测方法，检测特定对象物的特征部。
速度检测部54基于从运动矢量检测部52输出的运动矢量信号以及从对象检测部53输出的检测结果，计算本车辆速度、其他车辆速度以及相对速度中的至少一个。在运动矢量信号所示的存在运动的部分存在特定对象物的情况下，速度检测部54将其移动量检测为速度。例如，速度检测部54首先基于图像中的路上标志信息的大小及其移动量来计算本车辆的速度。接着，速度检测部54基于本车辆的速度、其他车辆的车号牌的大小及其移动量，计算本车辆的相对速度或其他车辆的相对速度。
图16E例示用于检测速度的参考例的算法的处理流程。运动矢量检测部52使用帧t的摄像数据和帧t-1的摄像数据，计算帧t的摄像数据的预先设定的区域R的全部像素P(i，j)中的运动矢量v(i，j)(步骤S1010、1011)。对象检测部53判定在帧t的摄像数据的区域R中是否存在所指定的特定对象物(步骤S1012、1013)。在检测出的特定对象物中存在固定物体的情况下(在步骤1014中为是)，速度检测部54基于固定物体的图像上的大小以及运动矢量v(i，j)来计算本车辆的速度V1(步骤S1015)。在计算出本车辆的速度V1之后，在检测出的特定对象物中存在运动物体的情况下(步骤1016中为是)，速度检测部54基于本车辆的速度V1、运动物体的图像上的大小以及运动矢量v(i，j)，算出全部运动物体的速度V2i(步骤S1017、1018)。
根据本参考例，首先，在决定本车辆的速度V1之后，决定运动物体的速度V2i。之后，基于本车辆的速度V1以及运动物体的速度V2i来决定本车辆的相对速度或者其他车辆的相对速度。
接着，说明使用复用曝光摄像数据来检测速度和加速度的算法。图17表示控制器500的功能块。图18表示用于检测速度和加速度的算法的处理流程。图19A是复用曝光摄像数据的图像的一例。
控制器500包括帧存储器910、双向矢量计算部920、对象检测部930和速度/加速度决定部940。用于检测速度和加速度的算法例如通过图1所示的微控制器550和软件的组合来实现。图17所示的功能块中的各块不是以硬件单位而是以功能块单位表示。软件例如可以是构成用于执行与各功能块对应的特定处理的计算机程序的模块。这样的计算机程序可以存储在图1所示的程序存储器530中。微控制器550能够从程序存储器530读出命令并依次执行各处理。
帧存储器910相当于图1或图2所示的工作存储器540。帧存储器910只要具有能够保持1帧的图像数据的容量即可。帧存储器910保持作为复用曝光摄像数据的帧t的摄像数据。
双向矢量计算部920从帧存储器910读出帧t的摄像数据。另外，双向矢量计算部920从帧t的摄像数据中检测特定对象物的特征部。在特定对象物在帧t的期间内移动的情况下，在帧t的摄像数据中，在多个部位检测特定对象物的特征部。双向矢量计算部920从图像上的多个部位的特征部的位置检测特定对象物的运动。
图19A示出由双向矢量计算部920计算出的运动矢量。图19A所示的运动矢量不能唯一地确定方向。在本说明书中，将方向不唯一确定的运动矢量记作“双向矢量vbd(i，j)”。
如图16D所示，根据参考例，为了比较时刻不同的两个帧的摄像数据，特定对象物的特征部存在于不同的帧，能够唯一地决定运动矢量的方向。与此相对，在使用复用曝光摄像数据的情况下，在不同时刻取得的特定对象物的特征部存在于同一帧内。因此，不能唯一地决定运动矢量的方向。
在图19A所示的图像中，当着眼于车辆的某个部分时，在附近出现两个与该部分类似的像。虽然能够从一连串的像的位置识别车辆的移动轨迹，但无法决定其两端的像被取得的时间的前后关系。
在使用复用曝光摄像数据的情况下，为了确定一系列的像的起点和终点，需要使摄像条件不同。例如，也可以使取得最初的像时的曝光时间更长。由此，能够增大最初的像的亮度，能够确定一系列的像的起点。最终，可以获取双向矢量vbd(i，j)及其方向。
双向矢量计算部920使用帧t计算针对像素P(i，j)的双向矢量vbd(i，j)(步骤S1110)。双向矢量计算部920针对预先设定的区域R内的所有像素P(i，j)计算双向矢量vbd(i，j)(步骤S1111)。对象检测部930例如使用边缘检测来判定在帧t的预先设定的区域R中是否存在特定对象物(步骤S1120)。对象检测部930从帧存储器910读取帧t的摄像数据。对象检测部930使用形状检测或边缘检测等一般的检测方法来检测特定对象物的特征部。
图19B是表示仅使复用曝光的最后的曝光提高灵敏度而摄像的复用曝光摄像数据的图像。在图19B中，最后取得的车辆的像为NI。最后取得的车辆的像的特征部的边缘的亮度高于其他像的特征部的边缘的亮度。对象检测部930检测车辆的像的特征部的边缘的亮度。对象检测部930判定在整个区域R中是否存在特定对象物(步骤S1121)。在该判定中，在固定物体以及运动物体存在于区域R的情况下，目标检测部930也可以确定双方的存在。另外，在多个运动物体存在于区域R的情况下，目标检测部930也可以确定多个运动物体的存在。
当对象检测部930检测到固定物体时(步骤S1122中为是)，双向矢量计算部920基于由对象检测部930检测到的特定对象物的特征部的位置来计算双向矢量vbd(i，j)。进而，双向矢量计算部920比较特定对象物的特征部的边缘的亮度，确定最后取得的像，决定双向矢量vbd(i，j)的朝向。将方向唯一确定的双向矢量vbd(i，j)表述为矢量vd(i，j)。
图19C表示着眼于车辆的车号牌上的一点时的运动矢量。虚线的矢量表示作为帧中的总移动量的总移动量矢量v(i，j)。实线的各矢量表示复用曝光中的各曝光间的移动量即矢量vd(i，j)。双向矢量计算部920基于矢量vd(i，j)的总和来计算总移动量矢量v(i，j)(步骤S1130)。双向矢量计算部920针对所有的双向矢量vbd(i，j)计算出总移动量矢量v(i，j)(步骤S1131)。双向矢量计算部920将包括固定物体的总移动量矢量v(i，j)的双向矢量信号输出到速度/加速度决定部940。
速度/加速度决定部940基于来自双向矢量计算部920的双向矢量信号和来自对象检测部930的检测结果计算车辆的速度和加速度。速度/加速度决定部940基于图像内的固定物体的大小以及固定物体的总移动量矢量v(i，j)来计算本车辆速度V1。进而，速度/加速度决定部940根据属于总移动量矢量v(i，j)的矢量vd(i，j)的变化量，计算本车辆加速度A1(步骤S1140)。
在由对象检测部930检测到运动物体的情况下(在步骤S1150中为是)，双向矢量计算部920根据对象检测部930的运动物体的检测结果，追踪检测到的运动物体上的双向矢量vbd(i，j)，计算决定了这些方向的矢量vd(i，j)。另外，双向矢量计算部920根据矢量vd(i，j)的总和，计算总移动量矢量v(i，j)作为运动物体的运动矢量(步骤S1160)。双向矢量计算部920针对所有双向矢量vbd(i，j)计算总移动量矢量v(i，j)(步骤S1161)。双向矢量计算部920将进一步包括运动物体的总移动量矢量v(i，j)的双向矢量信号输出到速度/加速度决定部940。
速度/加速度决定部940基于运动物体的运动的量来检测速度。更具体来说，速度/加速度决定部940使用基于来自双向矢量计算部920的双向矢量信号和来自对象检测部930的检测结果决定的运动物体的运动的量来计算车辆的速度和加速度。速度/加速度决定部940基于本车辆加速度A1、图像内的运动物体的大小以及运动物体的总移动量矢量v(i，j)计算运动物体速度V2i、即其他车辆的速度。此外，速度/加速度决定部940基于属于运动物体的总移动量矢量v(i，j)的矢量vd(i，j)的变化量来计算其他车辆的加速度A2i(步骤S1170)。速度/加速度决定部940对由对象检测部930检测到的全部运动物体计算运动物体速度V2i和移动体加速度A2i(步骤S1171)。
速度/加速度决定部940能够基于计算出的本车辆速度V1以及其他车辆速度度V2i求出本车辆或者其他车辆的相对速度。另外，速度/加速度决定部940能够基于计算出的本车辆加速度A1、其他车辆加速度A2i求出本车辆或者其他车辆的相对加速度。
图20表示使用复用曝光摄像数据来检测速度和加速度的控制器500的功能块的另一例。如图所示，也可以在对象检测部930检测特定对象物的处理之后，执行双向矢量计算部920生成双向矢量信号的处理。
这样，能够使用复用曝光摄像数据来检测特定对象物的速度和加速度。由此，例如在车辆的制动、加速等驾驶控制中，期待能够大幅削减用于决定控制内容的运算量。另外，能够削减所使用的帧存储器的数量。
在参考例中，特定对象物的测定间隔由图像传感器的读出速度来限速。在使用复用曝光摄像数据的情况下，特定对象物的测定间隔由复用曝光的各曝光的间隔规定。其结果，能够提高测定精度。另外，由于特定对象物的移动量小，因此也期待测定精度的提高。进而，能够缩小速度检测所需的运算区域，能够削减运算量。
另外，在本说明中，根据矢量vd(i，j)的总和，计算总移动量矢量v(i，j)作为运动物体的运动矢量，求出速度。但是，例如在进行左右转、转回的情况下，速度显著变化。在这样的情况下，也可以根据各个矢量vd(i，j)计算速度、加速度。另外，也可以基于计算出的速度、加速度来预测之后的动作，或者进行本车辆或其他车辆的驾驶控制。
另外，在上述实施方式中，提高复用曝光的最后的曝光的灵敏度而进行了摄像，但并不限定于此。例如，也可以降低复用曝光的最后的曝光的灵敏度来进行摄像，也可以使复用曝光的最初的曝光的灵敏度不同来进行摄像。进而，也可以使复用曝光中的规定的顺序的曝光、例如第二个曝光的灵敏度不同来进行摄像。另外，使灵敏度不同的曝光不需要为一个，也可以使多个曝光的灵敏度与其他曝光的灵敏度不同。通过使一部分曝光的灵敏度与其他曝光的灵敏度不同，能够在复用曝光图像中识别与各曝光对应的像的前后关系。进而，通过使其他曝光的灵敏度一致，与各曝光对应的像的明度也大致相同，因此容易检测各像的特征点。
<1.7.检测装置的动作的具体例5>
参照图21A至图21C，对检测装置1的动作的具体例5进行说明。
图21A示意性地表示搭载有检测装置1的飞行器D飞行的情况。图21B以及图21C示意性地表示所取得的复用曝光摄像数据所表示的图像的一例。
检测装置1不仅能够适当地搭载于车辆，还能够适当地搭载于飞行体。检测装置1被用作所有移动体的速度检测装置。以下，说明将检测装置1搭载于飞行器D的例子。
飞行器D具备检测装置1。检测装置1的摄像装置100拍摄粘贴在电线杆上的测定用的专用标记。检测装置1取得包含专用标记的复用曝光摄像数据，并对其进行解析，由此得到例如速度信息。图21B、21C表示复用曝光摄像数据所表示的图像的一例。
当摄像装置100根据图7A所示的驱动拍摄专用标记时，例如取得图21B或图21C所示的图像。根据图7A所示的驱动，越是后取得的像，其明度越高。在图21B所示的图像中，右端的专用标记即飞行器D的最后方的专用标记的像的明度最亮，最前方的专用标记的像的明度最暗。飞行器D的前方意味着飞行器D的正面方向。图21B所示的图像意味着飞行器D朝向前方飞行。在图21C所示的图像中，左端即飞行器D的最前方的专用标记的像的明度最亮，最后方的专用标记的像的明度最暗。图21B所示的图像意味着飞行器D向后方飞行。
可以基于检测到的速度信息来控制飞行器D的飞行。例如，飞行器D通过搭载检测装置1以及人工智能(AI)，能够进行无人的自主飞行。
另外，在此，以飞行器D为例表示了飞行体的行进方向检测的例子，但在人、产业控制设备、自主机器人等各种移动体中，能够进行同样的方法的行进方向检测、速度检测。
(第二实施方式)
在本实施方式中，主要说明用于检测速度的动作例。
本实施方式的检测装置2例如能够具备图1或图2所示的硬件结构。因此，省略检测装置2的模块的说明。
<2.1.检测装置1的动作的具体例1>
参照图22A至图25，对检测装置2的动作的具体例1进行说明。
图22A示意性地表示搭载有检测装置2的本车辆一边拍摄道路标识S一边行驶的情况。图22B至图22D示意性地表示所取得的复用曝光摄像数据的图像的一例。
如图22A所示，搭载于作为移动体的本车辆的检测装置2拍摄作为静止体的道路标识S。检测装置2基于所取得的复用曝光摄像数据来检测车辆的绝对速度。在摄像装置100根据图6A所示的驱动进行通常的复用曝光摄像的情况下，例如取得图22B所示的图像。
在摄像装置100根据图7A或图8A所示的驱动进行灵敏度调制的同时进行复用曝光摄像的情况下，例如取得图22C所示的图像。在摄像装置100根据图7C或图8C所示的驱动进行灵敏度调制的同时进行复用曝光摄像的情况下，例如取得图22D所示的图像。
在本具体例中，本车辆的绝对速度的检测可以通过通常的复用曝光来实现。在本具体例中，由于不进行本车辆的行进方向的检测，所以不需要对灵敏度进行调制而进行复用曝光。
图23A示意性地表示搭载有检测装置2的本车辆一边拍摄道路的白线一边行驶的情况。图23B示意性地表示所取得的图像的一例。图24A示意性地表示搭载有检测装置2的本车辆一边拍摄粘贴于电线杆的测定用专用标记一边行驶的情况。图24B示意性地表示所取得的复用曝光摄像数据所表示的图像的一例。
图23B和图24B示出了当摄像装置100根据图6A所示的驱动执行通常的复用曝光摄像时获取的复用曝光摄像数据所表示的图像的一个例子。用于进行速度测定的特定对象物也可以是大小被标准化了的路上设置物。特定对象物例如可以是道路标识S、白线、电线杆标识板或信号机。特定对象物也可以是上述那样的车辆的车号牌或灯。另外，特定对象物也可以是大小被标准化了的专用标记。作为专用标记，也可以使用多个标记在垂直方向上排列的标记。通过使用这样的专用标记，即使在车辆向前方移动的情况下，图像中的变形也少，难以产生测量误差。
图25表示基于复用曝光摄像数据检测绝对速度，根据绝对速度来控制车辆的制动以及加速的处理流程的一例。
用于检测绝对速度的处理流程与图14所示的处理流程基本相同。但是，省略用于检测行进方向的步骤S220。
如在第一实施方式中说明的那样，在步骤S230中，可以通过距离测定部600取得从本车辆到道路标识S的距离d，也可以通过控制器500的复用曝光摄像数据的解析来取得。距离测定部600例如是TOF传感器。
图26A示意性地表示在图24A中由在更靠近道路标识S的一侧行驶的车辆获取的复用曝光摄像数据所表示的图像的一例。图26B示意性地表示在图24A中由在远离道路标识S的一侧行驶的车辆取得的复用曝光摄像数据所表示的图像的一例。
复用曝光摄像数据中的道路标识S的大小根据从车辆到道路标识S的距离d而变化。如上所述，特定对象物的实际大小根据标准预先决定。距离d处的复用曝光摄像数据中的特定对象物的大小s根据标准、以及与摄像装置100以及光学系统200相关的各种参数来决定。控制器500能够基于对道路标识S的实际大小与复用曝光摄像数据中的道路标识S的大小进行比较的结果，计算从本车辆到道路标识S的距离。
再次参照图25。
控制器500通过通常的复用曝光摄像取得复用曝光摄像数据。控制器500例如取得图22B所示的复用曝光摄像数据，根据距离d、道路标识S的边缘之间的间隔m以及相邻的两个控制信号V2的间隔t，检测车辆的绝对速度(步骤S240)。
之后，检测装置2经由图像发送IF向ECU800发送表示绝对速度的信息。
ECU800能够基于从检测装置2接收到的表示绝对速度的信息来控制车辆的制动以及加速。ECU800与第一实施方式相同，例如能够进行与自动驾驶的等级0至等级4对应的控制。
在上述的例子中，控制器500在检测出特定对象物的特征时，开始车辆速度的检测，但本发明并不限定于此。例如，控制器500也可以在车辆的发动机运转的期间始终检测车辆速度。或者，控制器500也可以仅在设定某一定的间隔的期间内检测车辆速度。例如，控制器500也可以仅在图9D所示的方向检测用帧期间中检测车辆速度。或者，控制器500可以以进入高速公路为起点来检测车辆速度，也可以以变更了齿轮等内部控制信息的变化为起点来检测车辆速度。
在通过检测装置2测定绝对速度的情况下，也可以在车辆的侧面设置摄像装置100。由此，能够抑制测定时的误差。
<2.2.检测装置2的动作的具体例2>
参照图27，说明检测装置2的动作的具体例2。
图27表示基于复用曝光摄像数据检测绝对速度及加速度，基于绝对速度及加速度来控制车辆的制动及加速的处理流程的一例。
用于检测速度和加速度的处理流程与图15所示的处理流程基本相同。但是，省略用于检测行进方向的步骤S320。
在本具体例中，控制器500基于复用曝光摄像数据计算车辆的绝对速度和加速度(步骤S340)。另外，本具体例的绝对速度以及加速度分别与在图15所示的步骤S340中取得的速度以及加速度对应。
ECU800能够基于从检测装置2接收到的绝对速度以及加速度中的至少一个信息来控制车辆的制动以及加速。ECU800与第一实施方式相同，例如能够进行与自动驾驶的等级0至等级4对应的控制。
根据本具体例，能够使用测定出的绝对速度以及加速度来控制车辆的制动以及加速。因此，能够连续地掌握本车辆的行驶状态。其结果，能够进行更安全的控制。
<2.3.检测装置2的动作的具体例3>
参照图28，说明检测装置2的动作的具体例3。
图28表示进一步使用由ECU800测定的车辆速度来控制车辆的制动以及加速的处理流程的一例。
图28所示的处理流程包括与图27所示的处理流程相同的步骤。该处理流程还包括将ECU800测定的车辆速度作为检测绝对速度的初始值进行反馈的步骤S370、以及与ECU800的测定速度进行比较来修正控制器500的检测速度的步骤S380中的至少一个。
ECU800能够与检测装置2独立地例如基于车轮的转速来测定车辆速度。ECU800将测定出的车辆速度向检测装置2的控制器500发送。ECU800所测定的车辆速度作为用于检测绝对速度的初始值例如经由CAN反馈至控制器500。但是，根据与CAN不同的标准或者独自的标准也能够实现反馈控制。
控制器500能够使用基于由ECU800所测定的速度信息而决定的初始值，进行基于复用曝光摄像数据的速度检测(步骤S370)。
控制器500能够使用由ECU800测定的速度信息，对基于复用曝光摄像数据检测出的车辆的速度信息进行修正。换言之，能够使用由ECU800测定出的车辆速度来校正检测装置2(步骤S380)。将由控制器500检测出的绝对速度与由ECU800测定的车辆速度进行比较。车辆的绝对速度根据由ECU800测定的车辆速度，根据其比较结果进行修正。另外，既可以应用上述的反馈的控制以及校正的双方，也可以仅应用一方。
根据本具体例，通过ECU800与检测装置2的紧密协作，能够降低控制中的各机构间的偏差(offset)。进而，能够高速地实现速度控制中的反馈。
<2.4.检测装置2的动作的具体例4>
参照图29至图30D，说明检测装置2的动作的具体例4。
图29表示基于复用曝光摄像数据检测速度，进而检测行进方向来进行制动以及加速的控制的处理流程的一例。图30A、图30B以及图30C示意性地表示通过通常的复用曝光取得的复用曝光摄像数据所表示的图像的一例。
图30C表示在前方行驶的车辆与本车辆接近时取得的车号牌的复用曝光摄像数据所表示的图像的一例。图30D表示在前方行驶的车辆与本车辆较远时取得的车号牌的图像。
在步骤S230中，距离测定部600可以测定到在前方行驶的车辆的距离d。或者，控制器500也可以通过利用上述方法对例如图30C所示的复用曝光摄像数据进行解析，来测定距离d。
本具体例的检测装置2解析通过通常的复用曝光摄像取得的复用曝光摄像数据，取得车辆的速度(步骤S240)。具体而言，控制器500取得例如图30A和图30B所示的复用曝光摄像数据，根据距离d、特定对象物的边缘之间的间隔m以及相邻的两个控制信号V2的间隔t来检测车辆的速度。
图30A表示通常的复用曝光摄像所取得的车号牌的像的一例，图30B表示通常的复用曝光摄像取得的刹车灯的像的一例。根据通常的复用曝光摄像，对象物在车辆的行进方向上重叠。因此，无法判别是本车辆加速而到前方车辆的距离缩短，还是本车辆减速而该距离变远。
本具体例的控制器500在取得车辆的速度后，检测车辆的行进方向(步骤S220)。例如，能够使用行进方向测定部700取得表示车辆的行进方向的信息。行进方向测定部例如是TOF传感器。所取得的信息被发送到控制器500。通过检测行进方向，能够取得车辆的速度。另外，速度检测用的特定对象物不限于车号牌和灯，例如也可以是能够粘贴在车辆上的速度检测用标记。
这样，在本实施方式中，在摄像的对象物是静止体的情况下，控制器500能够检测本车辆的绝对速度。静止体是例如道路标识S。或者，在摄像对象物设置于其他移动体的情况下，控制器500能够检测以其他移动体为基准的本车辆的相对速度。其他移动体例如是行驶车辆，摄像的对象物是车号牌。
相对的行进方向以及相对速度能够用于本车辆或者测量对象的车辆的制动、加速。另一方面，绝对的行进方向以及绝对速度除了用于本车辆或测量对象的车辆的制动、加速之外，还能够使用其绝对速度的值，例如用于本车辆的制动模式的控制或者故障检测。另外，绝对的行进方向以及绝对速度能够用于对交通规则的违反的判定等。
检测装置2也可以进行基于灵敏度调制的复用曝光摄像，取得图11B或图12B所示的复用曝光摄像数据。检测装置2也可以通过解析该复用曝光摄像数据来检测行进方向。
用于检测车辆的速度的复用曝光摄像数据和用于检测行进方向的复用曝光摄像数据也可以在不同的帧中取得。具体而言，如图29所示，基于在某个帧中取得的复用曝光摄像数据来检测速度(步骤S240)。之后，也可以基于在其他帧中取得的复用曝光摄像数据来检测行进方向(步骤S220)。或者，也可以基于在某个帧中取得的复用曝光摄像数据来检测速度以及行进方向(步骤S220)。另外，也可以在变更处理的顺序，检测行进方向(步骤S220)之后，变更为检测速度(步骤S240)。也可以交替进行速度检测和行进方向的检测。处理的顺序只要最适合于车辆行驶控制系统1000，就能够以所有方式进行选择。
检测装置2经由图像发送IF向ECU 800发送关于行进方向和速度的信息。ECU800能够基于从检测装置2接收到的与行进方向以及速度相关的信息，控制车辆的制动以及加速(步骤S250)。ECU800与第一实施方式相同，例如能够进行与自动驾驶的等级0至等级4对应的控制。
图31表示基于复用曝光摄像数据检测速度以及加速度，进而检测行进方向来进行制动、加速的控制的处理流程的一例。
图31所示的处理流程包括图27所示的处理步骤，还包括检测行进方向的步骤S320。根据该处理流程，ECU800能够基于行进方向、速度以及加速度中的至少一个信息来控制车辆的制动以及加速。能够连续地掌握本车辆的行驶状态，其结果，能够进行更安全的控制。
如上所述，基于灵敏度调制的复用曝光不一定需要检测车辆速度。另外，例如，检测装置2也可以具有使用复用曝光摄像数据中的多个亮度信息来检测周边车辆的行进方向的第一模式和使用多个亮度信息来计算周边车辆相对于本车辆的相对速度的第二模式。检测装置2也可以每隔规定的期间交替切换第一模式和第二模式。规定的期间例如也可以是某一定的帧周期。另外，也可以在速度、加速度信息变化时、或者进行制动、方向盘动作时，切换第一模式和第二模式。
图32表示使用由ECU800测定的车辆速度来进行制动/加速的控制的处理流程的一例。
如图32所示，能够在用于检测图28所示的速度以及加速度的处理流程中附加用于检测行进方向的步骤S320。根据该处理流程，ECU800能够基于行进方向、速度以及加速度中的至少一个信息来控制车辆的制动以及加速。通过ECU800与检测装置2的紧密协作，能够降低控制中的各机构间的偏差，进而能够高速地实现速度控制中的反馈。
<2.5.检测装置2的动作的具体例5>
参照图33A至图33C，对检测装置2的动作的具体例5进行说明。
在车辆进入弯道时，检测装置2能够基于复用曝光摄像数据，计算相对于弯道的内周的速度变化以及相对于外周的速度变化，基于对内周以及外周的速度变化来运算车辆的进入角度。
图33A示意性地表示车辆进入弯道时的情况。图33B示意性地表示车辆进入弯道时拍摄弯道的外侧而取得的复用曝光摄像数据所表示的图像的一例，图33C示意性地表示拍摄弯道的内侧而取得的复用曝光摄像数据所表示的图像的一例。
本具体例的车辆行驶控制系统1000例如能够按照图25所示的处理流程来控制车辆的制动、加速以及转向。如图33A所示，例如，在弯道的内侧以及外侧的路肩，以规定的间隔设置有用于测定车辆的进入角度的专用电杆(pole)。也可以在专用电杆上设置与图24A和图24B所示的标记相同的测定用的专用标记。
控制器500能够根据方向盘的控制、道路交通信息或地图信息来检测车辆进入弯道。控制器500开始以该检测为触发来测定车辆的进入角度(步骤S210)。具体而言，控制器500开始用于检测相对弯道的内周的速度、以及相对弯道的外周的速度的运算。以下，将相对于弯道的内周的速度表述为“内周速度”，将相对于弯道的外周的速度表述为“外周速度”。
例如距离测定部600分别测定从本车辆到内侧以及外侧的专用杆的距离d_in、d_out。控制器500从距离测定部600获取距离d_in和d_out(步骤S230)。
控制器500取得对内侧的电杆进行复用曝光摄像而取得的复用曝光摄像数据。控制器500使用复用曝光摄像数据中的第一和第二摄像数据的专用电杆之间的间隔m_in、第一曝光期间和第二曝光期间之间的间隔t_in、以及距离d_in来检测本车辆的内周速度。与此相同，控制器500取得对外侧的电柱进行复用曝光摄像而取得的复用曝光摄像数据。控制器500使用复用曝光摄像数据中的第一和第二摄像数据的专用电杆之间的间隔m_out、第一曝光期间和第二曝光期间之间的间隔t_out、以及距离d_out，检测本车辆的外周速度。进而，控制器500基于本车辆的外周速度以及内周速度来计算向弯道的进入角度(步骤S240)。
检测装置2经由图像发送IF向ECU800发送外周以及内周速度或者进入角度的信息。ECU800能够基于从检测装置2接收到的这些信息以及道路交通信息、地图信息等其他信息来控制车辆的制动、加速以及转向(步骤S250)。
如上所述，可以将ECU800所测定的车辆速度的信息用于检测装置2的校正，也可以作为检测装置2计算内周以及外周速度时的初始值进行设定，也可以应用这两者。并且，也可以将在车辆行驶控制系统中通常使用的各种传感器得到的车辆速度以外的信息与来自ECU800的车辆速度一起经由CAN反馈给检测装置2。各种传感器例如是转向角传感器、偏转率传感器。车辆速度以外的信息例如是转向角、偏转率或者加速度。
在本具体例中，也可以在车辆的侧面设置摄像装置100。由此，能够抑制测定时的误差。
根据本具体例，通过ECU800与检测装置2的紧密协作，能够降低控制中的各机构间的偏差，进而能够高速地实现制动、加速以及转向等车辆控制中的反馈。
<2.6.使用了检测装置2的自身位置推定/自身路径预测的例子>
在具体例1至5中，对由检测装置2检测出的速度信息仅用于本车辆的控制的情况进行了说明。本公开不限于此，检测到的速度信息例如可以适当地用于精确的自身位置推定和自身路径预测。
在自身位置推定以及自身路径预测中，能够活用由检测装置2取得的速度、加速度、到对象物的距离等信息、来自车辆行驶控制系统1000中使用的各种传感器的信息、地图信息、车辆间通信数据、以及车辆与静止体之间例如车辆与道路标识之间的通信数据等。
关于自身位置推定，例如，测定到道路标识等对象物的距离，通过使用地图信息中的对象物的位置信息和测定出的对象物与本车辆之间的距离信息，能够推定地图上的自身位置。另外，之后的自身位置的推定可以以对象物的位置信息、以及测定出的对象物与本车辆之间的距离信息为基准进行，也可以以某时刻推定的自身位置为基准，将之后检测出的本车辆的行进方向或者速度信息反映到地图信息中，由此继续自身位置的推定。另外，也可以通过测定到其他对象物的距离，并使用其他对象物的位置信息和其他对象物与本车辆之间的距离信息来对自身位置的推定结果进行修正。另外，生成的地图信息例如也可以显示于设置在车厢内的显示器或用户的便携终端。另外，作为其他实施方式，能够使用自身位置的信息和通过上述方法测定的速度信息或加速度信息，预测经过一定时间后的本车辆的运动状态。也可以结合该预测结果和从地图信息得到的周边的交通信息、目的地来控制本车辆。如果双方的车辆能够相互进行路径预测，则通过云服务器的活用，能够进行多台车辆的顺畅的行驶控制。
车辆的速度信息能够被发送到在周围行驶的周边车辆。通过向周边车辆发送由检测装置2检测出的速度信息，也能够进行车辆间的相互控制。通过同时控制两车辆，能够缩短例如制动时间以及距离等。
例如，能够使用附加了识别头的脉冲信号来实现车辆间的通信。但是，通信方式不限于此，只要是周边车辆能够接收发送数据的结构即可，而不论方式如何。通信可以是单向，也可以是双向。另外，通信方式例如也可以是时间分割或波长复用。
例如，在通信中能够利用头灯光。以不影响向周边的照射的频率对头灯进行脉冲驱动，其他车辆对头灯的光进行传感检测，由此能够进行通信。根据该通信方式，不需要增设通信专用的新硬件等，因此能够将系统规模、成本等抑制为最小限度。
另外，在自身位置推定和自身路径预测中使用本发明的情况下，可以使用一个检测装置2，也可以使用多个检测装置2。例如，也可以使用前后左右设置的检测装置2。另外，也可以仅设置多个摄像装置100，通过一个芯片进行图像处理、运算。
本实施方式的检测装置2与第一实施方式的检测装置1同样，能够适当地搭载于飞行器等飞行体。
(其他)
已经说明了能够将摄像装置100以及ISP300安装于同一芯片的情况，但也能够将摄像装置100、ISP300以及控制器500安装于同一芯片。若使用这样的芯片，则能够通过一个芯片实现速度以及加速度等的运算处理。近年来，要求数据处理的高速化、低耗电化、芯片尺寸的缩小及成本降低。从这样的观点出发，可以说单芯片化的结构是最佳的。
在本说明书中，主要说明了具有包含光电转换膜的多个单位像素的摄像装置的动作例，但也可以使用例如以往的使用了硅PD的摄像装置进行摄像。在该情况下，也可以通过在多个曝光之间改变曝光的长度来进行灵敏度调制，从而取得复用曝光摄像数据。
已经说明了通过控制施加到光电转换膜的偏置电压来实现全局快门的示例，但是本公开不限于此。例如，虽然构成要素增加，但通过设置电荷传送晶体管及电荷蓄积电容，可得到与偏置电压的控制同样的效果。另外，关于复用曝光，通过设置电荷传送晶体管及电荷蓄积电容，可获得与偏置电压的控制同样的效果。
在本说明书中，说明了将检测装置2主要搭载于移动体而检测移动体的速度的例子。但是，通过将检测装置2搭载于静止体，静止体拍摄移动体，也能够检测移动体的绝对速度。例如，通过将检测装置2设置于信号灯，能够管制行驶车辆的速度违章。
由行驶控制系统1000取得的周边车辆的行进方向的检测结果例如能够用于控制本车辆的加速以及减速的自动行驶控制。或者，在辅助驾驶操作的系统中，也可以是，本车辆的驾驶员根据其检测结果对制动器和油门进行操作，由此使本车辆加速或减速。例如，也可以基于在前方行驶的车辆的车号牌的像的大小检测到与前方车辆的距离，在检测到该距离比规定值小的情况下，使本车辆的制动器动作。或者，也可以向本车辆的驾驶员发出警告以使其减速。另外，也可以在检测到与前方车辆的距离比规定值大的情况下，使本车辆的加速器动作。或者，也可以向本车辆的驾驶员发出警告以使其加速。
产业上的利用可能性
本发明的检测装置、检测装置以及车辆行驶控制系统适用于要求检测相对的行进方向、相对速度以及绝对的行进方向、绝对速度的能力的所有移动体或静止体。
符号说明
1 检测装置
100 摄像装置
101 单位像素
102 垂直扫描电路
103 水平扫描电路
104 电流源
105 AD转换电路
106 像素电源
107 水平信号线
108 垂直信号线
109 光电转换部
200 光学系统
300 ISP
400 图像发送IF
500 控制器
510 输出IF
511 电压控制电路
520 输入IF
530 程序存储器
540 工作存储器
550 微控制器
600 距离测定部
700 行进方向测定部
800 ECU
1000 车辆行驶控制系统

Claims (21)

1.一种驾驶控制系统，具有：
摄像装置，设置在移动体上，在第一帧期间多次拍摄对象物，生成包含第一摄像数据及第二摄像数据的复用曝光摄像数据；以及
检测装置，基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对运动状态，
上述摄像装置在上述第一帧期间内的第一曝光期间以第一灵敏度对上述对象物进行摄像而生成上述第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像而生成上述第二摄像数据。
2.根据权利要求1所述的驾驶控制系统，其中，
具有第一控制装置，
上述第一控制装置基于检测出的上述移动体的相对运动状态，生成用于使上述移动体的运动状态变化的信号。
3.根据权利要求2所述的驾驶控制系统，其中，
具有第二控制装置，
上述第二控制装置基于上述信号使上述移动体的运动状态变化。
4.根据权利要求1所述的驾驶控制系统，其中，
具备第一控制装置，
上述对象物固定于其他移动体，
上述第一控制装置基于检测出的上述移动体的相对运动状态，生成用于使上述其他移动体的运动状态变化的信号。
5.根据权利要求4所述的驾驶控制系统，其中，
具有第二控制装置，
上述第二控制装置基于上述信号使上述其他移动体的运动状态变化。
6.根据权利要求1至5中任一项所述的驾驶控制系统，其中，
上述移动体是车辆。
7.根据权利要求1至6中任一项所述的驾驶控制系统，其中，
上述对象物相对于地面静止，
上述检测装置检测上述移动体的绝对速度。
8.根据权利要求1所述的驾驶控制系统，其中，
上述对象物相对于地面静止，
上述检测装置基于上述第一摄像数据来检测上述移动体与上述对象物的距离，基于上述对象物的位置信息和检测出的上述距离，生成上述移动体的位置信息。
9.根据权利要求1至8中任一项所述的驾驶控制系统，其中，
上述第一摄像数据通过上述第一帧期间内的最初的摄像而生成，
上述第二摄像数据通过上述第一帧期间内的最后的摄像而生成。
10.根据权利要求1至9中任一项所述的驾驶控制系统，其中，
上述复用曝光摄像数据所包含的多个摄像数据中的、至少除了上述第二摄像数据以外的其他摄像数据通过以上述第一灵敏度对上述对象物进行摄像而生成。
11.根据权利要求1至9中任一项所述的驾驶控制系统，其中，
上述复用曝光摄像数据所包含的多个摄像数据中的、至少除了上述第一摄像数据以外的其他摄像数据通过以上述第二灵敏度对上述对象物进行摄像而生成。
12.根据权利要求1至11中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测以上述对象物为基准的上述移动体的行进方向。
13.根据权利要求1至12中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对速度。
14.根据权利要求1至13中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测以上述对象物为基准的上述移动体的加速度。
15.根据权利要求1至14中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，每隔规定的期间切换第一模式和第一模式，该第一模式是检测以上述对象物为基准的上述移动体的行进方向的模式，该第一模式是检测以上述对象物为基准的上述移动体的相对速度的模式。
16.根据权利要求1所述的驾驶控制系统，其中，
具有控制装置，
上述对象物固定于其他移动体，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测上述移动体与上述对象物之间的距离的变化，
在检测到上述距离小于规定的值的情况下，上述控制装置生成用于使上述移动体或上述其他移动体的运动状态变化以使上述距离变大的信号。
17.根据权利要求1所述的驾驶控制系统，其中，
具有控制装置，
上述对象物固定于其他移动体，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据，检测上述移动体与上述对象物之间的距离的变化，
在检测到上述距离比规定的值大的情况下，上述控制装置生成用于使上述移动体或上述其他移动体的运动状态变化以使上述距离变小的信号。
18.根据权利要求1至17中任一项所述的驾驶控制系统，其中，
上述检测装置基于上述第一摄像数据以及上述第二摄像数据表示的上述对象物的各像的特征点来检测以上述对象物为基准的上述移动体的相对运动状态。
19.根据权利要求3或5所述的驾驶控制系统，其中，
上述第一控制装置和上述第二控制装置是共用的控制装置。
20.一种驾驶控制方法，其中，
使用设置于移动体的摄像装置，在第一帧期间内的第一曝光期间以第一灵敏度对对象物进行摄像，生成第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像，生成第二摄像数据，由此，生成包含上述第一摄像数据和上述第二摄像数据的复用曝光摄像数据，
基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，计算以上述对象物为基准的上述移动体的相对运动状态，
基于计算出的上述移动体的相对运动状态，生成用于使上述移动体的运动状态变化的信号，
基于生成的上述信号使上述移动体的运动状态变化。
21.一种驾驶控制方法，其中，
使用设置于移动体的摄像装置，在第一帧期间内的第一曝光期间以第一灵敏度对固定于其他移动体的对象物进行摄像，生成第一摄像数据，在上述第一帧期间内的与上述第一期间不同的第二曝光期间，以与上述第一灵敏度不同的第二灵敏度对上述对象物进行摄像，生成第二摄像数据，由此，生成包含上述第一摄像数据和上述第二摄像数据的复用曝光摄像数据，
基于上述复用曝光摄像数据所包含的上述第一摄像数据和上述第二摄像数据，检测以上述对象物为基准的上述移动体的相对运动状态，
基于检测出的上述移动体的相对运动状态，生成用于使上述其他移动体的运动状态变化的信号，
基于生成的上述信号使上述其他移动体的运动状态变化。
CN201880001433.5A 2017-01-25 2018-01-12 驾驶控制系统以及驾驶控制方法 Active CN108886585B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017011652 2017-01-25
JP2017-011652 2017-01-25
JP2017011651 2017-01-25
JP2017-011651 2017-01-25
PCT/JP2018/000608 WO2018139212A1 (ja) 2017-01-25 2018-01-12 運転制御システムおよび運転制御方法

Publications (2)

Publication Number Publication Date
CN108886585A true CN108886585A (zh) 2018-11-23
CN108886585B CN108886585B (zh) 2022-01-11

Family

ID=62979320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001433.5A Active CN108886585B (zh) 2017-01-25 2018-01-12 驾驶控制系统以及驾驶控制方法

Country Status (5)

Country Link
US (2) US10473456B2 (zh)
EP (1) EP3576400B1 (zh)
JP (1) JP7108856B2 (zh)
CN (1) CN108886585B (zh)
WO (1) WO2018139212A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109686106A (zh) * 2019-01-31 2019-04-26 苏州卷积智能信息技术有限公司 封闭停车场伪车牌识别系统及识别方法
CN112104813A (zh) * 2019-06-18 2020-12-18 爱信精机株式会社 拍摄控制装置
CN112185144A (zh) * 2019-07-01 2021-01-05 大陆泰密克汽车系统（上海）有限公司 交通预警方法以及系统
CN114365478A (zh) * 2019-10-03 2022-04-15 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN115097156A (zh) * 2020-05-15 2022-09-23 北京百度网讯科技有限公司 一种自动驾驶中障碍物的速度估计方法、装置和电子设备
CN115097156B (zh) * 2020-05-15 2024-06-04 北京百度网讯科技有限公司 一种自动驾驶中障碍物的速度估计方法、装置和电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11052895B2 (en) * 2016-09-28 2021-07-06 Hitachi Automotive Systems, Ltd. Vehicle control unit
JP6739066B2 (ja) * 2016-09-30 2020-08-12 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
JP6822815B2 (ja) * 2016-10-17 2021-01-27 トヨタ自動車株式会社 道路標示認識装置
JP7025293B2 (ja) * 2018-07-10 2022-02-24 トヨタ自動車株式会社 自車位置推定装置
JP7426339B2 (ja) * 2018-08-02 2024-02-01 ヌヴォトンテクノロジージャパン株式会社 撮像装置、それに用いられる固体撮像素子及び撮像方法
US11005662B2 (en) 2018-08-21 2021-05-11 Ut-Battelle, Llc Multimodal communication system
JP6927943B2 (ja) * 2018-10-30 2021-09-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行制御方法及び飛行制御システム
KR20210080717A (ko) * 2019-12-20 2021-07-01 주식회사 만도 운전자 보조 장치 및 운전자 보조 방법
US11501452B2 (en) 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
CN114419143A (zh) * 2022-01-18 2022-04-29 浙江吉利控股集团有限公司 深度测量方法、深度测量设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
WO2017010047A1 (ja) * 2015-07-10 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6477377A (en) 1987-09-18 1989-03-23 Bridgestone Corp Rapid instantaneous multiplex image recorder
JPH0177377U (zh) 1987-11-12 1989-05-24
JPH03178277A (ja) 1989-12-07 1991-08-02 Matsushita Electric Ind Co Ltd 固体撮像装置の駆動方法
JP3510758B2 (ja) 1997-03-06 2004-03-29 株式会社エヌ・ティ・ティ・データ 遠隔撮影システム、無線通信機能付き撮影装置
JP4024367B2 (ja) 1997-12-15 2007-12-19 株式会社フォトロン 多板式撮像装置
JPH11242735A (ja) 1998-02-26 1999-09-07 Hitachi Ltd 走行環境認識装置
JP2001197373A (ja) 2000-01-11 2001-07-19 Sony Corp 撮像装置及び受光感度制御方法
JP2002148270A (ja) 2000-11-09 2002-05-22 Bridgestone Corp 粒子速度の測定方法及び粒子速度測定装置
JP2007081806A (ja) 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4511442B2 (ja) 2005-09-30 2010-07-28 富士フイルム株式会社 感度可変型撮像素子及びこれを搭載した撮像装置
JP4511441B2 (ja) 2005-09-30 2010-07-28 富士フイルム株式会社 感度可変型撮像素子及びこれを搭載した撮像装置
JP2008022485A (ja) 2006-07-14 2008-01-31 Canon Inc 画像処理装置及び画像処理方法
US7711147B2 (en) * 2006-07-28 2010-05-04 Honda Motor Co., Ltd. Time-to-contact estimation device and method for estimating time to contact
US8542315B2 (en) 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
KR101442610B1 (ko) 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP2009257982A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP5107154B2 (ja) 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ 運動推定装置
DE112009001639T5 (de) 2008-07-07 2011-09-29 Mitsubishi Electric Corporation Fahrzeugfahrumgebungs-Erfassungsvorrichtung
JP2010130254A (ja) 2008-11-26 2010-06-10 Panasonic Corp 固体撮像素子、固体撮像装置及びその駆動方法
JP5516960B2 (ja) * 2010-04-02 2014-06-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、および、電子機器
JP2012088217A (ja) 2010-10-21 2012-05-10 Daihatsu Motor Co Ltd 運転支援制御装置
WO2012086123A1 (ja) 2010-12-22 2012-06-28 パナソニック株式会社 撮像装置
JP5497874B2 (ja) 2011-12-22 2014-05-21 富士フイルム株式会社 放射線画像検出器、放射線画像撮像装置、及び放射線画像撮像システム
JP5874476B2 (ja) 2012-03-21 2016-03-02 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
JP6233718B2 (ja) 2012-12-27 2017-11-22 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
JP6137965B2 (ja) 2013-07-01 2017-05-31 オリンパス株式会社 電子機器、電子機器の制御方法、及び電子機器の制御プログラム
WO2015025497A1 (ja) 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
JP6174975B2 (ja) 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6398218B2 (ja) 2014-02-24 2018-10-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2016170522A (ja) * 2015-03-11 2016-09-23 株式会社東芝 移動体検出装置
JP6563694B2 (ja) 2015-05-29 2019-08-21 株式会社デンソーテン 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP5948465B1 (ja) 2015-06-04 2016-07-06 株式会社ファンクリエイト 映像処理システム及び映像処理方法
EP3840364A1 (en) 2015-12-03 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. Image-capture device
WO2018075997A1 (en) 2016-10-21 2018-04-26 Invisage Technologies, Inc. Motion tracking using multiple exposures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
WO2017010047A1 (ja) * 2015-07-10 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109686106A (zh) * 2019-01-31 2019-04-26 苏州卷积智能信息技术有限公司 封闭停车场伪车牌识别系统及识别方法
CN112104813A (zh) * 2019-06-18 2020-12-18 爱信精机株式会社 拍摄控制装置
CN112185144A (zh) * 2019-07-01 2021-01-05 大陆泰密克汽车系统（上海）有限公司 交通预警方法以及系统
CN114365478A (zh) * 2019-10-03 2022-04-15 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN114365478B (zh) * 2019-10-03 2024-03-29 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN115097156A (zh) * 2020-05-15 2022-09-23 北京百度网讯科技有限公司 一种自动驾驶中障碍物的速度估计方法、装置和电子设备
CN115097156B (zh) * 2020-05-15 2024-06-04 北京百度网讯科技有限公司 一种自动驾驶中障碍物的速度估计方法、装置和电子设备

Also Published As

Publication number Publication date
CN108886585B (zh) 2022-01-11
JP7108856B2 (ja) 2022-07-29
JPWO2018139212A1 (ja) 2019-11-14
US11333489B2 (en) 2022-05-17
EP3576400A1 (en) 2019-12-04
EP3576400A4 (en) 2019-12-25
WO2018139212A1 (ja) 2018-08-02
US20200056879A1 (en) 2020-02-20
US10473456B2 (en) 2019-11-12
US20190113332A1 (en) 2019-04-18
EP3576400B1 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
CN108886585A (zh) 驾驶控制系统以及驾驶控制方法
US10944912B2 (en) Systems and methods for reducing flicker artifacts in imaged light sources
US11455793B2 (en) Robust object detection and classification using static-based cameras and events-based cameras
KR102554643B1 (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
CN111436216B (zh) 用于彩色点云生成的方法和系统
KR20210058696A (ko) 3d 대상체 검출을 위한 순차 융합
US10652476B2 (en) Solid-state image pickup element, image pickup apparatus, and control method of solid-state image pickup element
US9077907B2 (en) Image processing apparatus
CN113615152B (zh) 成像设备和成像系统
CN113212498A (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
KR20190107283A (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
JP5365792B2 (ja) 車両用位置測定装置
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
US20220027643A1 (en) Information processing apparatus, information processing method, and program
CN114503044A (zh) 用于在3d点云中自动标记对象的系统和方法
US20210354634A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
CN115335857A (zh) 信息处理设备、信息处理方法和信息处理程序
US20240064431A1 (en) Solid-state imaging device, method of controlling solid-state imaging device, and control program for solid-state imaging device
WO2024071173A1 (ja) 光検出装置及び測距システム
US20230062562A1 (en) Sensing system and distance measuring system
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2023214864A1 (en) Lidar range enhancement using pulse coding
WO2022264894A1 (ja) 物体検知装置、物体検知方法およびプログラム
KR20230097790A (ko) 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치
WO2023212123A1 (en) Managing efficiency of image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant