CN113243016A - 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法 - Google Patents

物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法 Download PDF

Info

Publication number
CN113243016A
CN113243016A CN201980081906.1A CN201980081906A CN113243016A CN 113243016 A CN113243016 A CN 113243016A CN 201980081906 A CN201980081906 A CN 201980081906A CN 113243016 A CN113243016 A CN 113243016A
Authority
CN
China
Prior art keywords
range
images
image
camera
arithmetic processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081906.1A
Other languages
English (en)
Inventor
荒井健佑
永岛徹
伊多波晃志
狩野淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brightway Vision Ltd
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of CN113243016A publication Critical patent/CN113243016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

物体识别系统(10)包括照相机(30)和运算处理装置(40)。运算处理装置(40)包括以能够基于照相机(30)的输出图像来识别物体的方式进行机器学习的分类器(42)。选通照相机(50)将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。分类器(42)将由选通照相机得到的多个图像(IMG1～IMGN)作为学习数据进行机器学习。

Description

物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学 习方法
技术领域
本发明涉及物体识别系统。
背景技术
为了进行自动驾驶或前照灯的配光的自动控制，利用对存在于车辆的周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本，从照相机、LiDAR(Light Detection andRanging：光检测和测距、Laser Imaging Detection and Ranging：激光成像检测和测距)、毫米波雷达、超声波声纳等中选择传感器。
通过一般的单眼照相机，无法得到深度的信息。因此，在位于不同距离的多个物体重叠的情况下，难以将它们分离。
作为能够得到深度信息的照相机，已知有TOF照相机。TOF(Time Of Flight：飞行时间)照相机通过发光设备投射红外光，测定反射光返回图像传感器为止的飞行时间，得到将飞行时间转换为距离信息的图像。
[在先技术文献]
[专利文献]
专利文献1：日本特开2009-257983号公报
专利文献2：国际公开WO2017/110413A1
发明内容
[发明要解决的课题]
(项目1)运算处理装置包括分类器。分类器预先通过使用学习数据(也称为训练数据)的机器学习而被最优化。分类器的识别率受学习数据的选择方法的影响较大。
本发明的第1方面在以上状况下完成，其一种方案的例示性的目的之一在于物体识别系统的识别率的改善或者学习成本的降低。
(项目2、3)本申请人提出一种替代TOF照相机的传感器(以下，在本说明书中称为选通照相机(gating camera))(专利文献1、2)。选通照相机将拍摄范围划分为多个范围，针对每个范围改变曝光定时及曝光时间进行多次拍摄。由此，针对对象的每个范围得到图像，各图像仅包含对应的范围中包含的物体。
本发明的第2方面在以上状况下完成，其一种方案的例示性的目的之一在于提供一种使用选通照相机的物体识别系统。另外，本发明的第3方面在于使用选通照相机的物体识别系统的识别率的改善或者学习成本的降低。
(项目4、5)在使用选通照相机的物体识别系统中，由于需要对与多个范围对应的多个图像进行处理，因此图像处理的负荷加大。因此，在使用低速的运算处理装置的情况下，帧率降低，如果要提高帧率，则需要高速的、换言之昂贵的运算处理装置。
本发明的第4方面及第5方面在以上状况下完成，其一种方案的例示性的目的之一在于使用选通照相机的物体识别系统的运算处理量的削减及/或识别率的改善。
[用于解决技术课题的技术方案]
1.本发明的第1方面的一种方案涉及物体识别系统。物体识别系统包括：照相机；以及运算处理装置，其包括以能够基于照相机的输出图像来识别物体的方式进行机器学习的分类器。分类器将由选通照相机得到的多个图像作为学习数据进行机器学习，该选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。
2.本发明的第2方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；以及运算处理装置，其能够基于由选通照相机得到的与多个范围对应的多个图像来识别物体的种类。运算处理装置包括算法不同的多个分类器，选择与范围相应的分类器来进行物体识别。
3.本发明的第3方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；缩放器，其将由选通照相机得到的与多个范围对应的多个图像按照针对每个范围规定的系数进行缩放；以及分类器，其能够基于缩放后的多个图像分别识别物体的种类。
4.本发明的第4方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，在物体可能存在的位置限定于多个图像各自固有的兴趣区域内的限制条件下，能够识别多个图像各自包含的物体的种类。
本发明的第4方面的其他方案涉及运算处理装置。运算处理装置与选通照相机一起使用，构成物体识别系统。选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像。运算处理装置构成为，在物体可能存在的位置被限定于多个图像各自固有的兴趣区域内的限制条件下，能够识别多个图像各自包含的物体的种类。
5.本发明的第5方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，能够基于允许范围来识别各图像中拍摄到的物体像的种类。
本发明的第5方面的其他方案涉及运算处理装置。该运算处理装置与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，该运算处理装置包括：分类器，其针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，针对各图像，对其所拍摄到的物体像的种类和尺寸进行检测，生成与多个图像对应的多个检测数据；以及后处理部，其接收多个检测数据，判定各检测数据中包含的物体像的尺寸是否包含于允许范围。
本发明的第5方面的另一方案也是运算处理装置。该运算处理装置与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，该运算处理装置包括：前处理部，其将多个图像分别划分为其拍摄到的每个物体像的子图像；以及分类器，其针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，在由前处理部划分的子图像的尺寸包含于允许范围的情况下，判定该子图像中包含的物体像的种类。
[发明效果]
根据本发明的一个方面，能够改善识别率或者降低学习成本。
附图说明
图1是实施方式1的物体识别系统的框图。
图2是说明选通照相机的动作的图。
图3的(a)、图3的(b)是说明使用选通照相机的学习数据的取得的图。
图4的(a)是表示由单眼照相机拍摄的图像IMGx的图。
图5是包括物体识别系统的汽车的框图。
图6是表示包括物体检测系统的车辆用灯具的框图。
图7是变形例1的物体识别系统的框图。
图8是实施方式2的物体识别系统的框图。
图9是说明选通照相机的动作的图。
图10的(a)是说明图8的物体识别系统的动作的时序图，图10的(b)是说明比较技术的物体识别系统的动作的时序图。
图11是包括物体识别系统的汽车的框图。
图12是表示包括物体检测系统的车辆用灯具的框图。
图13是实施方式3的物体识别系统的框图。
图14是说明选通照相机的动作的图。
图15的(a)、图15的(b)是说明由选通照相机得到的图像的图。
图16的(a)、图16的(b)是说明由选通照相机得到的图像的图。
图17的(a)～图17的(c)是说明由缩放器进行的缩放处理的一个示例的图。
图18是包括物体识别系统的汽车的框图。
图19是表示包括物体检测系统的车辆用灯具的框图。
图20的(a)、图20的(b)是说明由选通照相机得到的图像的图。
图21是实施方式4-1的物体识别系统的框图。
图22是说明选通照相机的动作的图。
图23的(a)、图23的(b)是说明由选通照相机得到的图像的图。
图24的(a)、图24的(b)是说明ROI的图。
图25的(a)、图25的(b)是说明图21的物体识别系统的动作的图。
图26是实施方式4-2的物体识别系统的框图。
图27的(a)、图27的(b)是说明图26的物体识别系统的动作的图。
图28的(a)、图28的(b)是说明ROI的变形例的图。
图29的(a)、图29的(b)是说明ROI的变形例的图。
图30的(a)、图30的(b)是说明变形例3的物体识别系统的动作的图。
图31是包括物体识别系统的汽车的框图。
图32是表示包括物体检测系统的车辆用灯具的框图。
图33是实施方式5-1的物体识别系统的框图。
图34是说明选通照相机的动作的图。
图35的(a)、图35的(b)是说明由选通照相机得到的图像的图。
图36的(a)、图36的(b)是说明针对每个范围拍摄到的图像的图。
图37是说明尺寸的允许范围的图。
图38的(a)、图38的(b)是说明图33的物体识别系统的动作的图。
图39是实施方式5-2的物体识别系统的框图。
图40的(a)、图40的(b)是说明图39的物体识别系统的动作的图。
图41是包括物体识别系统的汽车的框图。
图42是表示包括物体检测系统的车辆用灯具的框图。
具体实施方式
I本发明的第1方面
I-1.概要
与本发明的第1方面相关联的一个实施方式涉及物体识别系统。物体识别系统包括：照相机；以及运算处理装置，其包括以能够基于照相机的输出图像来识别物体的方式进行机器学习的分类器。分类器将由选通照相机得到的多个图像作为学习数据进行机器学习，该选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。
通过使用选通照相机，能够得到将在进深方向上重叠的多个物体分离的多个图像，将它们分别作为学习数据使用，由此能够提高针对各个物体的识别率。另外，由于得到所谓增量(かさ増し)的效果，能够降低学习成本。
照相机也可以是单眼照相机。照相机也可以是选通照相机。
I-2.详细说明
以下，基于优选的实施方式并参照附图对本发明的第1方面进行说明。在本说明书中，对各附图所示的相同或同等的构成要素、构件、处理标注相同的附图标记，适当省略重复的说明。另外，实施方式不限定发明而是例示，并非实施方式所述的所有特征及其组合都是发明的本质性内容。
图1是实施方式1的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。
物体识别系统10主要包括照相机30及运算处理装置40。照相机30是单眼照相机，对车辆的周围进行拍摄。运算处理装置40包括分类器42。分类器42基于通过机器学习而得到的学习完成模型来实现，以使得能够基于照相机30的输出图像IMG来识别物体OBJ。分类器42的算法没有特别限定，可以采用YOLO(You Only Look Once：仅查看一次)、SSD(SingleShot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD：去卷积–SSD)、Mask R-CNN等，或者可以采用将来开发的算法。
在图1中，除了物体识别系统10之外，还示出进行机器学习时的设置。在分类器42的机器学习中使用选通照相机50。选通照相机50是将进深方向划分为复数N个(N≧2)范围RNG1～RNGN，针对每个范围改变投光与曝光的时间差进行拍摄的照相机。选通照相机50生成与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN。通过改变物体OBJ的种类、方向并由选通照相机50进行拍摄，能够按照物体OBJ的每个种类，得到多个图像IMG1～IMGN的集合。
这样得到的多个图像IMG1～IMGN的集合与物体OBJ的种类对应地被输入计算机60。计算机60将多个图像IMG1～IMGN的集合作为学习数据(训练数据)，来执行分类器42的机器学习。计算机60中的机器学习的方法使用公知技术即可，因此省略说明。通过计算机60最终得到的学习结果被提供给运算处理装置40，构成分类器42。
选通照相机50包括投光器52、图像传感器54及控制器56。由选通照相机50进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG1～RNGN而进行。相邻的范围彼此也可以在其边界上在进深方向上重叠。
投光器52与从控制器56提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。
图像传感器54构成为能够进行与从控制器56提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器54对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
控制器56针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器52进行的投光与图像传感器54的曝光的时间差。照相机30生成与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN。第i个图像IMGi中仅拍摄到对应的范围RNGi中包含的物体。
图2是说明选通照相机50的动作的图。在图2中示出对第i个范围RNGi进行测定时的状态。投光器52与投光定时信号S1同步，在时刻t0～t1之间的发光期间τ1的期间发光。在最上方，示出横轴表示时间、纵轴表示距离的光线的图表。将从照相机30到范围RNGi的近前的边界的距离设为dMINi，将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从投光器52发出的光到达距离dMINi而其反射光返回图像传感器54为止的往返时间TMINi为TMINi＝2×dMINi/c。c为光速。
同样，在某一时刻从投光器52发出的光到达距离dMAXi而其反射光返回图像传感器54为止的往返时间TMAXi为TMAXi＝2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时，控制器56以在时刻t2＝t0+TMINi时开始曝光，在时刻t3＝t1+TMAXi时结束曝光的方式生成拍摄定时信号S2。这是1次曝光动作。
在对第i个范围RNGi进行拍摄时，也可以进行多次曝光。在这种情况下，控制器56以规定的周期τ2反复进行多次上述曝光动作即可。
以上是物体识别系统10的构成。接着，对物体识别系统10的机器学习进行说明。
图3的(a)、图3的(b)是说明使用选通照相机的学习数据的取得的图。在本示例中N＝2。在取得学习数据时，如图3的(a)考虑多个物体OBJ1、OBJ2配置于不同的范围RNG1、RNG2的状况。在本示例中，OBJ1为行人、OBJ2为汽车。
在图3的(b)中，示出在图3的(a)的状况下得到的多个图像IMG1、IMG2。在图像IMG1中仅包含近前侧的范围RNG1中包含的物体OBJ1，在图像IMG2中仅包含深侧的物体OBJ2。即，在从物体识别系统10的照相机30观察时，能够将看起来重叠的多个物体OBJ1、OBJ2分离。并且，通过将多个图像IMG1、IMG2作为不同的学习数据输入计算机60，能够构成能够将物体OBJ1、OBJ2作为不同的物体进行识别的分类器42。
本实施方式的优点将通过与比较技术的对比而得到明确。在比较技术中，作为学习数据，与物体识别系统10的照相机30同样，使用由单眼照相机拍摄的图像IMGx。图4的(a)是表示由单眼照相机拍摄的图像IMGx的图。如图4的(a)所示，在图像IMGx中，2个物体OBJ1、OBJ2重叠。
在图4的(b)中，示出包含行人(OBJ1)的边界框BB1。在该边界框BB1的内侧，不仅是行人(OBJ1)，还包含背景的车辆(OBJ2)的信息。因此，如果将图4的(a)的图像IMGx作为学习数据使用，则会以能包含车辆的信息地识别为行人OBJ1的方式推进学习。换言之，可能难以将背景中不存在车辆的单独的行人识别为行人。
在图4的(c)中，示出包含车辆(OBJ2)的边界框BB2。在该边界框BB2的内侧，不仅是车辆(OBJ2)，还包含近前侧的行人(OBJ1)的信息。因此，如果将图4的(a)的图像IMGx作为学习数据使用，则会以能够包含行人的信息地识别为车辆OBJ2的方式推进学习。换言之，可能难以将近前侧不存在行人的单独的车辆识别为车辆。
因此，根据本实施方式的学习方法，通过使用选通照相机将近前侧的物体OBJ1和深侧的物体OBJ2分离，作为不同的图像进行学习，则会以能够对物体OBJ#(#＝1、2)分别只基于其本身OBJ1的信息进行识别的方式推进学习。由此，在某一物体OBJi单独存在的状况下，或其与其他物体OBJj(i≠j)重叠的状况下，都能够正确地识别物体OBJi。
机器学习需要庞大的学习数据，如果改变状况或条件来拍摄物体的图像，则学习成本升高。因此，通常通过“增量”，进行将1张基本图像增加为多张图像的研究。作为一般的增量的手法，可例示基本图像的左右反转、旋转、放大缩小、亮度值的变更、对比度的变更等。在将图4的(a)的图像作为基本图像的情况下，通过使用选通照相机，也能够掌握将其增加到2张图像。即，通过使用选通照相机，也能得到增量的效果。
图5是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测的基础上，作为照相机30的设置部位也最有利。
图6是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括照相机30及运算处理装置40。
与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。
另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。
接着，对与实施方式1相关联的变形例进行说明。
(变形例1)
图7是变形例1的物体识别系统10A的框图。物体识别系统10A替代图1的照相机30而包括选通照相机20。选通照相机20的构成与图1的选通照相机50相同。选通照相机20是将进深方向划分为复数M个(M≧2)范围RNG1～RNGM，针对每个范围改变投光与曝光的时间差进行拍摄的照相机。选通照相机20生成与多个范围RNG1～RNGM对应的多个图像IMG1～IMGM。
分类器42从选通照相机20接收与复数M个(M≧2)范围RNG1～RNGM对应的多个图像IMG1～IMGM。分类器42构成为能够基于多个图像IMG1～IMGM来识别它们中包含的物体的种类。分类器42的学习使用由选通照相机50得到的多个图像IMG1～IMGN。选通照相机50的范围的个数N可以与选通照相机20的范围的个数M相同，也可以不同。
II本发明的第2方面
II-1.概要
与本发明的第2方面相关联的一个实施方式涉及车载用的物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；以及运算处理装置，其能够基于由选通照相机得到的与多个范围对应的多个图像来识别物体的种类。运算处理装置包括算法不同的多个分类器，选择与范围相应的分类器来进行物体识别。
根据本方案，通过对近的物体和远的物体应用不同的算法，能够提高识别率。
运算处理装置在距离较近的范围的图像处理中也可以使用YOLO(You Only LookOnce：仅查看一次)算法的分类器。YOLO不适于较小的物体的识别，但具有高速的优点。由于图像中包含的物体中、至物体距离短的会比较大，因此通过使用YOLO，能够高精度且高速地检测/识别距离较近的范围中包含的物体。
运算处理装置在距离较远的范围的图像处理中，也可以使用SSD(Single ShotMultiBox Detector)算法的分类器。SSD虽然处理速度较差，但具有能够高精度地检测到较小的物体的优点。由于图像中包含的物体中到物体距离长的会比较小，因此通过使用SSD，能够高精度地检测/识别距离较远的范围中包含的物体。
在距离相对较近的范围的图像处理中，运算处理装置也可以使用相对高速的算法的分类器。
另外，在距离相对较远的范围的图像处理中，运算处理装置也可以使用相对高精度的算法的分类器。
II-2.详细说明
图8是实施方式2的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。
物体识别系统10主要包括选通照相机20及运算处理装置40。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG1～RNGN而进行。相邻的范围彼此也可以在其边界处在进深方向上重叠。
投光器22与从控制器26提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。
图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN。第i个图像IMGi中仅拍摄到对应的范围RNGi中包含的物体。
图9是说明选通照相机20的动作的图。在图9中示出对第i个范围RNGi进行测定时的状态。投光器22与投光定时信号S1同步，在时刻t0～t1之间的发光期间τ1的期间发光。在最上级中，示出横轴表示时间、纵轴表示距离的光线的图表。将从选通照相机20到范围RNGi的近前的边界的距离设为dMINi，将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从投光器22发出的光到达距离dMINi而其反射光返回图像传感器24为止的往返时间TMINi为TMINi＝2×dMINi/c。c为光速。
同样，在某一时刻从投光器22发出的光到达距离dMAXi而其反射光返回图像传感器24为止的往返时间TMAXi为TMAXi＝2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时，控制器26以在时刻t2＝t0+TMINi时开始曝光，在时刻t3＝t1+TMAXi时结束曝光的方式生成拍摄定时信号S2。这是1次曝光动作。
在对第i个范围RNGi进行拍摄时，也可以进行多次曝光。在这种情况下，控制器26以规定的周期τ2反复进行多次上述曝光动作即可。
返回图8。运算处理装置40构成为能够基于由选通照相机20得到的与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN来识别物体的种类。运算处理装置40能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件构成。
运算处理装置40包括算法不同的复数M个(M≧2)分类器42_1～42_M。选择器44将各图像IMG供给到根据范围RNG选择的分类器42。分类器42对被提供的图像IMG进行处理，进行其中包含的物体的检测/类别分类(识别)。
分类器42的个数M可以与范围RNG的个数N为相同数量，也可以比该数量少。
多个算法中的一个也可以是高速但精度较低的(换言之，较小的物体的检测精度较低的)算法。另外，多个算法中的另一个也可以是低速但精度较高的(换言之，较小的物体的检测精度较高的)算法。
运算处理装置40可以在距离相对较近的范围的图像处理中使用相对高速且精度较低的算法的分类器。另外，运算处理装置40可以在距离相对较远的范围的图像处理中使用相对低速且精度较高的算法的分类器。
例如，多个算法中的一个优选为YOLO(You Only Look Once：仅查看一次)算法。另外，多个算法中的另一个优选为SSD(Single Shot MultiBox Detector)算法。
以上是物体识别系统10的构成。接着，对其动作进行说明。
图10的(a)是说明图8的物体识别系统10的动作的时序图。在此，设为M＝2、N＝2，对第1个范围RNG1的图像IMG1的处理分配YOLO算法的分类器42_1，对第2个范围RNG2的图像IMG2的处理分配SSD算法的分类器42_2。
由选通照相机20取得范围RNG1的图像IMG1，其被YOLO算法的分类器42_1处理。接着，由选通照相机20取得范围RNG2的图像IMG2，其被SSD算法的分类器42_2处理。
以上是物体识别系统10的动作。根据该物体识别系统10，通过使用彼此互补关系的2个、或者3个以上的算法的分类器，针对每个拍摄范围分配分类器，能够在短时间内高精度地检测出较近的物体和较远的物体。
更详细地，YOLO不适于较小的物体的识别，但具有高速的优点。图像中包含的物体，到物体的距离越短而拍摄得越大。因此，通过在距离较近的范围RNG1的图像处理中使用YOLO，能够高精度且高速地检测/识别距离较近的范围中包含的物体。
另外，SSD的处理速度比YOLO差，但具有能够高精度地检测到较小的物体的优点。图像中包含的物体，到物体的距离越长而越小，因此通过使用SSD，能够高精度地检测/识别距离较远的范围中包含的物体。
图8的物体识别系统10的优点将通过与比较技术的对比而得到明确。在比较技术中，无论范围如何都通过高精度的算法(SSD)的分类器进行处理。图10的(b)中是说明比较技术的物体识别系统的动作的时序图。如果对所有图像IMG1、IMG2应用SSD算法，则不论物体的距离如何都能够进行高精度的检测。但是，对所有范围进行物体识别所需要的检测时间，与图10的(a)相比变长。换言之，意味着在比较技术中帧率降低。如果在比较技术中要实现高帧率，则运算处理装置40中需要高速的CPU或微型计算机，物体识别系统10的成本升高。
因此，根据实施方式2的物体识别系统10，通过将多个算法组合，即使不使用那么昂贵(高速)的硬件，也能够兼顾高检测精度和高帧率。
图11是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位最有利。
图12是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。
与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。
另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。
接着，对与实施方式2相关联的变形例进行说明。
(变形例1)
在M＝2、N≧3的情况下，可以对第1个～第k个范围RNG1～RNGk的图像IMG1～IMGk的处理分配YOLO算法的分类器42_1，对第k+1个～第N个范围RNGk+1～RNGN的图像IMGk+1～IMGN的处理，分配SSD算法的分类器42_2。
(变形例2)
在实施方式2中，作为多个算法，说明了YOLO和SSD，但不限于此。作为物体识别的算法，已知R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD)、Mask R-CNN等，可以采用其中的任意一个，或者，当然也可以采用将来开发的算法。
III本发明的第3方面
III-1.概要
与本发明的第3方面相关联的一种实施方式涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；缩放器(scaler)，其将由选通照相机得到的与多个范围对应的多个图像按照针对每个范围规定的系数进行缩放(scaling)；以及分类器，其能够基于缩放后的多个图像分别识别物体的种类。
根据本方案，在输入到分类器的多个图像中，能够使相同物体的尺寸一致。由此能够提高分类器的识别力或者降低学习成本。
系数也可以是在越近的范围就越小，在越远的范围就越大。
也可以将多个范围中的一个设为基准范围。也可以将基准范围的系数设为1，比所述基准范围近的范围的系数确定为小于1，比所述基准范围远的范围的系数确定为大于1。由此，能够简化缩放器的处理。另外，在进行学习时，重点使用在基准范围内配置物体而拍摄到的图像即可，能够减少在基准范围之外配置物体的拍摄的次数。
III-2.详细说明
以下，基于优选的实施方式并参照附图对本发明的第3方面进行说明。
图13是实施方式3的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。
物体识别系统10主要包括选通照相机20及运算处理装置40。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG1～RNGN而进行。相邻的范围彼此也可以在其边界处在进深方向上重叠。
投光器22与从控制器26提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。
图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN。第i个图像IMGi中仅拍摄到对应的范围RNGi中包含的物体。
图14是说明选通照相机20的动作的图。在图14中示出对第i个范围RNGi进行测定时的状态。投光器22与投光定时信号S1同步，在时刻t0～t1之间的发光期间τ1的期间发光。在最上方，示出横轴表示时间、纵轴表示距离的光线的图表。将从选通照相机20到范围RNGi的近前的边界的距离设为dMINi，将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从投光器22发出的光到达距离dMINi而其反射光返回图像传感器24为止的往返时间TMINi为TMINi＝2×dMINi/c。c为光速。
同样，在某一时刻从投光器22发出的光到达距离dMAXi而其反射光返回图像传感器24为止的往返时间TMAXi为TMAXi＝2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时，控制器26以在时刻t2＝t0+TMINi时开始曝光，在时刻t3＝t1+TMAXi时结束曝光的方式生成拍摄定时信号S2。这是1次曝光动作。
在对第i个范围RNGi进行拍摄时，也可以进行多次曝光。在这种情况下，控制器26以规定的周期τ2反复进行多次上述曝光动作即可。
图15的(a)、图15的(b)是说明由选通照相机20得到的图像的图。在图15的(a)的示例中，在范围RNG2中存在物体(行人)OBJ2，在范围RNG3中存在物体(车辆)OBJ3。在图15的(b)中，示出在图15的(a)的状况下得到的多个图像IMG1～IMG3。在拍摄图像IMG1时，由于图像传感器仅通过来自范围RNG1的反射光进行曝光，因此在图像IMG1中没有拍摄到任何物体。
在拍摄图像IMG2时，由于图像传感器仅通过来自范围RNG2的反射光进行曝光，因此在图像IMG2中仅拍摄到物体OBJ2。同样，在拍摄图像IMG3时，由于图像传感器仅通过来自范围RNG3的反射光进行曝光，因此在图像IMG3中仅拍摄到物体OBJ3。这样，根据选通照相机20，能够针对每个范围分离物体地进行拍摄。
返回图13。运算处理装置40构成为能够基于由选通照相机20得到的与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN来识别物体的种类。运算处理装置40包括分类器42，该分类器42基于通过机器学习而生成的模型来实现。分类器42的算法没有特别限定，可以采用YOLO(You Only Look Once：仅查看一次)、SSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD：去卷积–SSD)、Mask R-CNN等，或者可以采用将来开发的算法。
运算处理装置40能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件构成。
本发明者对于分类器42的训练进行了研究，结果认识到以下问题。
分类器42的训练使用庞大数量的学习数据(训练数据)。学习数据使用由选通照相机或者通常的照相机拍摄到的图像数据。
图16的(a)、图16的(b)是说明由选通照相机20得到的图像的图。如图16的(a)所示，考虑相同物体(在此为行人)OBJ存在于不同范围的状况。选通照相机20具有由其自身的传感器尺寸及光学系统确定的水平视角(视场角)θ及垂直视角。由于选通照相机20无论范围如何都以相同视角进行拍摄，因此如果对位于不同距离的相同物体进行拍摄，则根据到物体的距离而拍摄倍率不同。因此，如图16的(b)所示，越远的物体拍摄得越小，越近的物体拍摄得越大。此外，该特征不限于选通照相机，在由通常的照相机进行拍摄的情况下也是同样的。
对于运算处理装置40，要求针对IMG1～IMG3图像中的任意一个，都将其各自包含的物体OBJ1～OBJ3分类为行人的识别力。因此，采用准备以不同的多个距离拍摄某一类别的物体而得到的图像，并将它们作为学习数据使用的方法。另外，也采用对在某一距离拍摄到的基本图像进行放大或者缩小而生成多个图像，并将他们作为学习数据使用的方法(称为增量)。
但是，这些方法可能造成学习成本的增加。另外，设想即使采用这些方法，仍然不能得到充分的识别率的情况。
因此，在本实施方式3中，如图13所示，运算处理装置40包括设于分类器42的前级的缩放器46。缩放器46将由选通照相机20得到的与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN按照针对每个范围RNG#(#＝1、2、…N)规定的系数K#进行缩放。范围与系数的关系可以保持在表格中，也可以以运算式的形式保持。
图17的(a)～图17的(c)是对由缩放器46进行的缩放处理的一个示例进行说明的图。在本示例中，N＝3。系数K1～K3以缩放处理后的图像IMGS1～IMGS3中包含的物体OBJ的大小(纵横的像素数x、y)接近的方式确定。
也可以从多个范围中选择基准范围。并且，将基准范围的系数确定为1或者其附近。在范围RNG#为基准范围，系数K#＝1时，能够使IMG#＝IMGs#。在本示例中，中央的范围RNG2为基准范围，系数K2选择为1。
对于距选通照相机20的距离比基准距离近的范围，K<1。在系数K#<1的情况下，原来的图像IMG#被缩小。在缩小时，也可以对像素进行间除。作为结果得到的图像IMGs#的像素数与原来的图像IMG#相比减少。在图17的(a)的示例中，选择为K1＝0.8。
对于距选通照相机20的距离比基准距离远的范围，K>1。在系数K#>1的情况下，原来的图像IMG#被放大。在放大时，进行像素插值即可。作为结果得到的图像IMGs#的像素数与原来的图像IMG#相比增加。在图17的(c)的示例中，选择为K3＝1.4。
返回图13。向分类器42输入由缩放器46进行的缩放处理后的图像数据IMGs1～IMGsN。分类器42基于图像数据IMGs1～IMGsN，分别识别各图像数据中包含的物体OBJ的种类。
以上是物体识别系统10的构成。在该物体识别系统10中，输入到分类器42的图像以相同的物体接近相同大小(像素数)的方式进行缩放。因此，分类器42能够不依赖至物体的距离地对物体进行检测并识别其类别。这带来分类器42的识别率(正确率)的改善。
通过采用该物体识别系统10，还具有能够降低分类器42的学习成本的优点。即，在学习时，在缩放的系数接近1的范围内重点配置物体，将此时得到图像作为学习数据利用于分类器42的参数的优化即可，对于缩放的系数较大地偏离1的范围，可以减少拍摄的次数。
图18是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位最有利。
图19是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。
与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。
另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。
接着，对与实施方式3相关联的变形例进行说明。
(变形例1)
在实施方式中，以多个范围中的中央附近的范围为基准，将基准范围的系数设为1，使其之外的范围的系数小于1或者大于1，但不限于此。例如，也可以以近前的范围为基准，使深侧的范围的系数大于1。相反，例如也可以以最深侧的范围为基准，使比其靠近前侧的范围的系数小于1。
(变形例2)
前面将基准范围设为了1个，但也可以将基准范围设为多个。参照图20对变形例2进行说明。图20的(a)、图20的(b)是说明由选通照相机20得到的图像的图。在此，范围的数量N为4个。多个范围分为多个集合。各集合至少包括1个范围，基准范围针对每个集合设置。例如，将RNG1、RNG2确定为第1集合，将RNG3、RNG4确定为第2集合。着眼于第1集合时，则将其中包括的范围RNG1、RNG2中的一个确定为基准范围，并设定剩余的范围的系数，使得物体的尺寸接近基准范围的物体尺寸即可。
同样，着眼于第2集合时，则将其中包括的范围RNG3、RNG4中的一个确定为基准范围，并设定剩余的范围的系数，使得物体的尺寸接近基准范围的物体尺寸即可。
在变形例2中，针对每个范围的集合，重点地使用在物体位于基准范围的状况下得到的图像来进行机械学习即可。
IV本发明的第4方面
IV-1.概要
与本发明的第4方面相关联的一种实施方式涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，在针对每个图像限定有物体可能存在的区域的限制条件下，能够识别多个图像各自包含的物体的种类。
识别对象的物体按照其种类而分别限制存在的位置。例如，行人或汽车这样的交通参与者存在于地上，而不存在于空中。即，在图像内交通参与者可能存在的位置被限制在地上附近的区域内。在选通照相机中，在以相同视角拍摄多个图像的情况下，针对距照相机的距离、即针对每个图像，地上附近的区域改变。
因此，在一个实施方式中，针对每个图像确定固有的兴趣区域，能够通过限制分类器的图像处理的范围来削减运算量。
物体识别系统也可以包括：前处理部，其针对多个图像，分别对兴趣区域内的图像进行剪切；以及分类器，其对前处理部的输出进行处理。在这种情况下，由于提供到分类器的图像的尺寸减小，因此能够削减运算处理量。
物体识别系统也可以包括：前处理部，其针对多个图像，分别对兴趣区域外的图像进行遮蔽；以及分类器，其对前处理部的输出进行处理。前处理部也可以用单一颜色涂抹兴趣区域外的部分。
另外，在其他实施方式中，在分类器的后级或者内部，也可以在物体的种类的判断中反映物体的位置信息。
运算处理装置也可以包括：分类器，其针对多个图像，分别对其所包含的物体的种类和位置进行检测，生成与多个图像对应的多个检测数据；以及后处理部，其接收多个检测数据，判定各检测数据中包含的物体的位置是否包含于原来的图像中固有的兴趣区域。
兴趣区域也可以是越近的范围的图像越大，越远的范围的图像越小。
兴趣区域的高度也可以是越远的范围的图像越小。由此，能够削减用于检测地上附近的物体的运算处理量。
兴趣区域的宽度也可以是越远的范围的图像越窄。
IV-2.详细说明
以下，基于优选的实施方式并参照附图对本发明的第4方面进行说明。
(实施方式4-1)
图21是实施方式4-1的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。
物体识别系统10主要包括选通照相机20及运算处理装置40。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG1～RNGN而进行。相邻的范围彼此也可以在其边界处在进深方向上重叠。
投光器22与从控制器26提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。
图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN。第i个图像IMGi中仅拍摄到对应的范围RNGi中包含的物体。
图22是说明选通照相机20的动作的图。在图22中示出对第i个范围RNGi进行测定时的状态。投光器22与投光定时信号S1同步，在时刻t0～t1之间的发光期间τ1的期间发光。在最上方，示出横轴表示时间、纵轴表示距离的光线的图表。将从选通照相机20到范围RNGi的近前的边界的距离设为dMINi，将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从投光器22发出的光到达距离dMINi而其反射光返回图像传感器24为止的往返时间TMINi为TMINi＝2×dMINi/c。c为光速。
同样，在某一时刻从投光器22发出的光到达距离dMAXi而其反射光返回图像传感器24为止的往返时间TMAXi为TMAXi＝2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时，控制器26以在时刻t2＝t0+TMINi时开始曝光，在时刻t3＝t1+TMAXi时结束曝光的方式生成拍摄定时信号S2。这是1次曝光动作。
在对第i个范围RNGi进行拍摄时，也可以进行多次曝光。在这种情况下，控制器26以规定的周期τ2反复进行多次上述曝光动作即可。
图23的(a)、图23的(b)是说明由选通照相机20得到的图像的图。在图23的(a)的示例中，在范围RNG2中存在物体(行人)OBJ2，在范围RNG3中存在物体(车辆)OBJ3。在图23的(b)中，示出在图23的(a)的状况下得到的多个图像IMG1～IMG3。在拍摄图像IMG1时，由于图像传感器仅通过来自范围RNG1的反射光进行曝光，因此在图像IMG1中没有拍摄到任何物体。
在拍摄图像IMG2时，由于图像传感器仅通过来自范围RNG2的反射光进行曝光，因此在图像IMG2中仅拍摄到物体OBJ2。同样，在拍摄图像IMG3时，由于图像传感器仅通过来自范围RNG3的反射光进行曝光，因此在图像IMG3中仅拍摄到物体OBJ3。这样，根据选通照相机20，能够针对每个范围分离物体并进行拍摄。
返回图21。运算处理装置40构成为能够基于由选通照相机20得到的与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN来识别物体的种类。运算处理装置40包括分类器42，该分类器42基于通过机器学习而生成的学习完成的模型来实现。分类器42的算法没有特别限定，可以采用YOLO(You Only Look Once：仅查看一次)、SSD(Single Shot MultiBoxDetector)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD：去卷积–SSD)、Mask R-CNN等，或者可以采用将来开发的算法。
运算处理装置40能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件构成。
针对每个图像、即针对每个范围确定固有的兴趣区域(ROI：Region OfInterest)。ROI是物体可能存在的区域。将与第i个(i＝1、2、…N)图像对应的ROI标记为ROIi。对于各图像IMGi，分类器42在物体OBJ可能存在的位置限定于图像IMGi中固有的兴趣区域ROIi内的限制条件下，识别图像IMGi中包含的物体的种类。
例如，分类器42的输出(称为检测数据)OUTi(i＝1、2、…N)包含第i个图像数据IMGi中包含的各物体的位置信息和其种类(类别)的信息。种类的信息可以表示与多个种类分别对应的可能性(概率)，也可以包含概率最高的种类的识别符。
图24的(a)、图24的(b)是说明ROI的图。图24的(a)是从横向观察的图，图24的(b)中示出由选通照相机20拍摄的图像。如图24的(a)所示，基于选通照相机20的拍摄范围以视角换算，为以水平轴为中心上下±θ。在将地面2的高度设为0时，在第i个范围RNGi的图像IMGi中，拍摄到比高度Hi靠下的范围的物体。
另一方面，行人或汽车所存在的范围限定于规定的范围(0～HROI)。这样，可以视作在HROI～Hi的范围中不存在检测对象物体。因此，如图24的(b)所示，对于各图像IMGi，能够将比HROI靠下的范围设为ROIi，将比HROI靠上的范围设为除外区域(阴影线)。具体而言，对于第i个图像IMGi，从下端起将HROI/Hi的比例的范围设为ROIi即可。ROI是在越近的范围的图像越大，在越远的范围的图像越小。
将选通照相机20的图像传感器24的地上高度设为hc。另外，将从图像传感器24到第i个范围RNGi的深侧的边界的距离设为dMAXi。在这种情况下，Hi＝hc+dMAXi×tanθ。
返回图21。在本实施方式中，在分类器42的前级设有前处理部46。前处理部46从各图像IMGi剪切ROI内的图像。分类器42对作为前处理部46的输出的剪切图像IMGt1～IMGtN进行处理。
以上是物体识别系统10的构成。接着，对其动作进行说明。图25的(a)、图25的(b)是说明图21的物体识别系统10的动作的图。图25的(a)表示第i个范围的图像IMGi，图25的(b)表示剪切后的图像IMGti。
在图25的(a)的图像IMGi中，拍摄到3个图形X、Y、X。其中，图形X包含于ROIi内，图形Y、Z处于ROIi外。因此，图形Y或Z是行人或汽车的可能性较低。
如图25的(b)所示，在由前处理部46剪切的图像IMGti中，仅包含图形X。通过由分类器42对剪切后的图像进行处理，图形Y、Z被从运算处理的对象除外，只有图形X成为识别处理的对象。由此，能够削减运算处理装置40的运算处理量。
另外，通过将图形Y、Z从处理的对象除外，能够防止图形Y、Z被误识别为汽车或行人。即，能够改善物体识别系统10的识别率。
(实施方式4-2)
在实施方式4-1中，通过分类器42的前处理将运算处理的对象限制于ROI内，但不限于此。在实施方式4-2中，通过分类器42的后处理或者内部处理，施加物体OBJ可能存在的位置被限定于多个图像各自固有的兴趣区域内这样的限制条件。
图26是实施方式4-2的物体识别系统10A的框图。运算处理装置40A包括设于分类器42的后级的后处理部48。分类器42针对选通照相机20生成的多个图像IMG1～IMGN，分别生成表示各图像中包含的物体的位置和种类的检测数据OUT1～OUTN。后处理部48接收分类器42生成的检测数据OUT1～OUTN。后处理部48针对各检测数据OUTi(i＝1～N)，判定其中包含的物体的位置是否包含于原来的图像IMGi中固有的ROIi。并且，在物体的位置处于ROIi时，将该物体削除。
图27的(a)、图27的(b)是说明图26的物体识别系统10A的动作的图。图27的(a)是将与第i个范围相关的检测数据OUTi示意性地表示为图像数据的图。检测数据OUTi包含2个边界框X、Y。一个边界框X中包含的物体被判定为是行人(Human)的概率为90％，另一边界框Y中包含的物体被判定为是汽车(car)的概率为80％。
如上所述，汽车存在于ROI的可能性较低。因此，可以说位于ROI外的边界框Y中包含的物体为汽车的概率较低。因此，后处理部48将ROI外的物体削除，输出削除后的检测数据OUTi’。
根据实施方式4-2，不能减少分类器42的运算处理量，但能够改善物体的识别率。
接着，对与实施方式4-1、4-2相关联的变形例进行说明。
(变形例1)
图28的(a)、图28的(b)是说明ROI的变形例的图。如图28的(a)所示，在各图像中有时包含比地面靠下的位置。在这种情况下，如图28的(b)所示，除了各图像的上侧的范围(HROI～Hi)之外，对于比地面2靠下侧的范围(<0)，也可以作为不可能存在物体的区域处理。由此，能够进一步减少运算处理装置40的运算处理量。
(变形例2)
在至此为止的说明中，将不可能存在物体的范围除外了，但不限于此，也可以确定即使存在物体也不需要检测的区域。图29的(a)、图29的(b)是说明ROI的变形例的图。图29的(a)是从上方观察的图，在图29的(b)中示出由选通照相机20拍摄的图像。
在车载用途中，可以将应该对物体进行检测的范围在左右方向上也进行限制。例如，在横向上距本车辆离开数十m的行人，可以说不需要立即进行检测。因此，也可以以本车辆为中心在横向上确定检测范围，针对各图像IMGi，将与检测范围对应的部分设为ROIi。由此，能够进一步减少运算处理量。
当然，也可以将上下方向的剪切与左右方向的剪切组合。
(变形例3)
在实施方式4-1中，前处理部46的处理不限定于上述处理。前处理部46也可以从各图像IMGi将ROI外的图像进行遮蔽。例如，前处理部46也可以用单一颜色(例如黑色或白色)涂抹ROI外。分类器42将遮蔽后的图像IMGmi作为处理对象。图30的(a)、图30的(b)是说明变形例3的物体识别系统10的动作的图。
在图30的(a)的图像IMGi中，拍摄到3个图形X、Y、X。其中，图形X包含于ROI内，图形Y、Z处于ROI外。因此，图形Y或Z是行人或汽车的可能性较低。
如图30的(b)所示，通过前处理部46对ROI外进行遮蔽，从遮蔽后的图像IMGmi中除去图形Y、Z。通过由分类器42对遮蔽后的图像IMGmi进行处理，图形Y、Z被从运算处理的对象除外，只有图形X成为识别处理的对象。由此，能够削减运算处理装置40的运算处理量。
(变形例4)
在实施方式中，通过相同的分类器42处理范围不同的图像，但不限于此，也可以针对每个范围使用不同的分类器。
(用途)
图31是具备物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位最有利。
图32是表示具备物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。
与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。
另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。
V本发明的第5方面
V-1.概要
与本发明的第5方面相关联的一种实施方式涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，能够基于允许范围来识别各图像中拍摄到的物体像的种类。
图像中拍摄到的物体像的尺寸根据到物体的距离而变化。在使用选通照相机作为拍摄设备的情况下，到一张图像中包含的物体的距离能够根据所对应的范围的进深方向的信息得到。即，在拍摄到位于某一范围的物体时，图像中拍摄到的物体像的尺寸被限制在某一范围。因此，通过将该范围确定为允许范围，能够提高物体的识别率或者削减运算处理量。
运算处理装置也可以包括：分类器，其针对多个图像，分别对其拍摄到的物体像的种类和尺寸进行检测，生成与多个图像对应的多个检测数据；以及后处理部，其接收多个检测数据，判定各检测数据中包含的物体像的尺寸是否包含于允许范围。
运算处理装置也可以包括：前处理部，其将多个图像分别划分为其拍摄到的每个物体像的子图像；以及分类器，其在由前处理部划分的子图像的尺寸包含于允许范围的情况下，判定该子图像中包含的物体像的种类。
允许范围也可以在垂直方向上被规定。允许范围也可以在横向上被规定。
允许范围也可以针对每个物体像的种类而单独规定。由此，能够进一步提高物体的识别率。
允许范围也可以是在越近的范围越大，在越远的范围越小。允许范围的高度也可以是越远的范围越小。允许范围的宽度也可以是越远的范围越窄。
V-2.详细说明。
以下，基于优选的实施方式并参照附图对本发明的第5方面进行说明。
(实施方式5-1)
图33是实施方式5-1的物体识别系统10C的框图。该物体识别系统10C搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别，或者也称为部类)进行判定。
物体识别系统10C主要包括选通照相机20及运算处理装置40C。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG1～RNGN而进行。相邻的范围彼此也可以在其边界上在进深方向上重叠。
投光器22与从控制器26提供的投光定时信号S1同步地向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。
图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG1～RNGN对应的多个图像IMG1～IMGN。第i个图像IMGi中仅拍摄到对应的范围RNGi中包含的物体。
图34是说明选通照相机20的动作的图。在图34中示出对第i个范围RNGi进行测定时的状态。投光器22与投光定时信号S1同步，在时刻t0～t1之间的发光期间τ1的期间发光。在最上方，示出横轴表示时间、纵轴表示距离的光线的图表。将从选通照相机20到范围RNGi的近前的边界的距离设为dMINi，将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从投光器22发出的光到达距离dMINi而其反射光返回图像传感器24为止的往返时间TMINi为TMINi＝2×dMINi/c。c为光速。
同样，在某一时刻从投光器22发出的光到达距离dMAXi而其反射光返回图像传感器24为止的往返时间TMAXi为TMAXi＝2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时，控制器26以在时刻t2＝t0+TMINi时开始曝光，在时刻t3＝t1+TMAXi时结束曝光的方式生成拍摄定时信号S2。这是1次曝光动作。
在对第i个范围RNGi进行拍摄时，也可以进行多次曝光。在这种情况下，控制器26以规定的周期τ2反复进行多次上述曝光动作即可。
图35的(a)、图35的(b)是说明由选通照相机20得到的图像的图。在图35的(a)的示例中，在范围RNG2中存在物体(行人)OBJ2，在范围RNG3中存在物体(车辆)OBJ3。在图35的(b)中，示出在图35的(a)的状况下得到的多个图像IMG1～IMG3。在拍摄图像IMG1时，由于图像传感器仅通过来自范围RNG1的反射光进行曝光，因此在图像IMG1中没有拍摄到任何物体像。
在拍摄图像IMG2时，由于图像传感器仅通过来自范围RNG2的反射光进行曝光，因此在图像IMG2中仅拍摄到物体OBJ2。同样，在拍摄图像IMG3时，由于图像传感器仅通过来自范围RNG3的反射光进行曝光，因此在图像IMG3中仅拍摄到物体OBJ3。这样，根据选通照相机20，能够针对每个范围分离物体地进行拍摄。
返回图33。运算处理装置40C构成为能够基于由选通照相机20得到的与多个范围RNG1～RNGN所对应的多个图像IMG1～IMGN来识别物体的种类。运算处理装置40C包括分类器42，该分类器42基于通过机器学习而生成的学习完成模型来实现。分类器42的算法没有特别限定，可以采用YOLO(You Only Look Once：仅查看一次)、SSD(Single Shot MultiBoxDetector)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD：去卷积–SSD)、Mask R-CNN等，或者可以采用将来开发的算法。
运算处理装置40C能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40C也可以是多个处理器的组合。或者，运算处理装置40C也可以仅由硬件构成。
针对多个范围分别规定所对应的图像中拍摄到的物体像的大小的范围(允许范围)。分类器42在检测对象的物体像的尺寸包含于允许范围的前提(限制)下，识别多个图像IMG中分别包含的物体像的种类。
例如，分类器42的输出(称为检测数据)OUTi(i＝1、2、…N)包含第i个图像数据IMGi中包含的各物体像的尺寸信息和其种类(类别)的信息。检测数据OUT在包含每个物体的边界框的信息的情况下，可以将边界框的高度和宽度作为物体的尺寸信息。种类的信息可以表示与多个种类分别对应的可能性(所属概率)，也可以包含所属概率最高的种类的识别符。
图36的(a)、图36的(b)是说明针对每个范围拍摄的图像的图。图36的(a)是从横向观察的图，图36的(b)中示出由选通照相机20拍摄的图像。如图36的(a)所示，基于选通照相机20的拍摄范围以视角换算，为以水平轴为中心上下±θ。如图36的(b)所示，各图像中拍摄到的物体像的大小是越远的范围就越小。
图37是说明允许范围的图。在此，允许范围在垂直方向上被规定。着眼于第i个范围RNGi。物体像拍摄得最大的是在物体OBJ位于近前侧的边界(A)时，物体像拍摄得最小的是在物体OBJ位于深侧的边界(B)时。
将物体OBJ的高度的最小值设为hMIN，将最大值设为hMAX。考虑物体OBJ存在于位置(A)，并且其高度最大为hMAX时。在将图像IMGi的垂直方向的像素数设为Y时，图像内的物体的垂直方向的像素数y为
yMAXi＝Y×hMAX/(dMINi×tanθ×2)
该yMAXi赋予范围RNGi内的允许范围的最大值。
考虑物体OBJ存在于位置(B)，并且其高度最大为hMIN时。此时图像内的物体的垂直方向的像素数yMINi为
yMINi＝Y×hMIN/(dMAXi×tanθ×2)
该yMINi赋予范围RNGi内的允许范围的最小值。
即，允许范围(垂直方向的像素数)为yMINi～yMAXi。此外，允许范围的决定方法也可以不限定于上述方法。
返回图33。运算处理装置40C也可以在检测出的物体像的尺寸偏离允许范围时，将该物体像从处理对象除外。或者，也可以将检测出的物体像的尺寸与允许范围的关系反映于种类(类别/部类)的所属概率。
在本实施方式中，在分类器42的后级设有后处理部48。分类器42针对多个图像IMG1～IMGN，分别检测其中包含的物体像的种类和尺寸，生成与多个图像对应的多个检测数据OUT1～OUTN。
后处理部48接收分类器42生成的检测数据OUT1～OUTN。后处理部48针对各检测数据OUTi(i＝1～N)，判定其中包含的物体像的尺寸是否包含于其范围RNGi的允许范围。并且，基于判定结果来修正检测数据OUTi。
例如，后处理部48也可以在某一物体像的尺寸偏离允许范围的情况下，从检测数据OUTi’中削除与该物体相关的信息。或者，后处理部48也可以在某一物体像的尺寸偏离允许范围的情况下，使检测该物体为某种种类(类别、部类)的所属概率降低。
以上是物体识别系统10C的构成。接着，对其动作进行说明。图38的(a)、图38的(b)是说明图33的物体识别系统10C的动作的图。图38的(a)将与第i个范围RNGi相关的检测数据OUTi示意性地表示为图像数据，图38的(b)将修正后检测数据OUTi’的示意性地表示为图像数据。
如图38的(a)所示，修正前的检测数据OUTi包含3个边界框α、β、γ。边界框α中包含的物体被判定为是行人(Human)的所属概率为90％，边界框β中包含的物体被判定为是行人(Human)的所属概率为60％，边界框γ中包含在电线杆或大厦上粘贴有描绘了人的海报的物体的像。该物体被判定为是行人(Human)的所属概率为20％。
对于边界框α中包含的物体，其高度h满足yMINi<hX<yMAXi的关系。因此，可以说边界框α内的物体为检测对象(Human)的准确度高。因此，修正后的检测数据OUTi包含边界框α的物体。
对于边界框β中包含的物体，其高度h为h<yMINi，偏离允许范围。因此，可以说该物体为检测对象的概率低。对于边界框γ中包含的物体，其高度h为yMAXi<h，偏离允许范围。因此，根据修正后的检测数据OUTi’，可以说边界框β、γ中包含的物体为检测对象的概率低。因此，可以将边界框β、γ从修正后的检测数据OUTi’削除。
以上是物体识别系统10C的动作。根据物体识别系统10C，能够改善物体的识别率。
(实施方式5-2)
图39是实施方式5-2的物体识别系统10D的框图。运算处理装置40D包括分类器42和设于其前级的前处理部46。
前处理部46将多个图像IMG1～IMGN分别划分为其包含的每个物体像的子图像。
与实施方式5-1同样，针对多个范围RNG1～RNGN分别规定所对应的图像中拍摄到的物体像的大小的允许范围。
分类器42构成为能够针对子图像SUB分别判别其中包含的物体像的种类。分类器42在由前处理部46划分的子图像SUB的尺寸包含于允许范围的情况下，判定该子图像SUB中包含的物体像的种类。
图40的(a)、图40的(b)是说明图39的物体识别系统10D的动作的图。图40的(a)表示与第i个范围RNGi相关联地得到的图像IMGi，图40的(b)表示从图像IMGi划分出的多个子图像SUBi-1～SUBi-3。在本示例中，原来的图像IMGi中包含3个物体。
关于子图像SUBi-1，其高度(像素数)超过允许范围的最大yMAXi。相反，关于子图像SUBi-3，其高度(像素数)小于允许范围的最小值yMINi。因此，分类器42在进行物体的识别运算前除去子图像SUBi-1、子图像SUBi-3。关于子图像SUBi-2，其高度(像素数)包含于允许范围。因此，成为由分类器42进行的识别运算的对象。
以上是物体识别系统10D的动作。根据物体识别系统10D，通过基于尺寸对成为由分类器42进行的识别运算的对象的子图像进行筛选，能够削减运算处理装置40D的运算处理量。
另外，通过从处理的对象除去子图像SUBi-1、子图像SUBi-3，能够防止子图像SUBi-1、子图像SUBi-3被误识别为行人。即，能够改善物体识别系统10D的识别率。
以上，基于实施方式对本发明进行了说明。本领域技术人员应当理解，该实施方式是例示，其各构成要素或各处理流程的组合可以有各种变形例，并且这样的变形例也包含于本发明的范围。以下，对这样的变形例进行说明。
(变形例1)
允许范围也可以考虑水平方向。
基于选通照相机20的拍摄范围以视角换算，为在水平方向上
Figure BDA0003110333330000311
另外，将物体的横向的宽度的最小值设为wMIN，最大值设为wMAX。此时，某一范围RNGi的允许范围的最小值XMINi、最大值XMAXi可以如下表示。
Figure BDA0003110333330000312
Figure BDA0003110333330000313
在运算处理装置中，也可以仅针对垂直方向、仅针对水平方向、或者针对这二者，判定检测出的物体像的尺寸是否包含于允许范围。
(变形例2)
在实施方式中，通过相同的分类器42处理范围不同的图像，但不限于此，也可以针对每个范围使用不同的分类器。
(变形例3)
允许范围也可以针对每个物体的种类而单独设定。例如，在行人和汽车作为检测对象的情况下，可以对行人的宽度、汽车的宽度设定不同的允许范围。
(变形例4)
在实施方式5-1、5-2中，对允许范围规定了上限和下限，但也可以仅规定其中的一者。
(用途)
图41是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位也最有利。
图42是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。
与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。
另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。
基于实施方式，使用具体的语句对本发明进行了说明，但实施方式只是表示本发明的原理、应用的一个方面，在实施方式中，在不脱离权利要求书所规定的本发明的思想的范围内，能够确认到较多的变形例及配置的变更。
[工业可利用性]
本发明涉及物体识别系统。
[附图标记说明]
S1投光定时信号，S2摄影定时信号，10物体识别系统，20选通照相机(ゲーティングカメラ)，30照相机，40运算处理装置，42分类器，50选通照相机，52投光器，54图像传感器，56控制器，60计算机，200车辆用灯具，202光源，204点亮电路，206光学系统，300自动车，302前照灯，304车辆侧ECU，310灯具系统。

Claims (42)

1.一种物体识别系统，其特征在于，包括：
照相机，以及
运算处理装置，其包括以能够基于所述照相机的输出图像来识别物体的方式进行机器学习的分类器；
所述分类器将由选通照相机得到的多个图像作为学习数据进行机器学习，该选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。
2.如权利要求1所述的物体识别系统，其特征在于，
所述照相机是单眼照相机。
3.如权利要求1所述的物体识别系统，其特征在于，
所述照相机是选通照相机。
4.一种车辆用灯具，其特征在于，包括：
权利要求1至3的任意一项所述的物体识别系统。
5.一种汽车，其特征在于，包括：
权利要求1至3的任意一项所述的物体识别系统。
6.一种运算处理装置，其特征在于，包括：
分类器，其以能够基于照相机的输出图像来识别物体的方式进行机器学习；
所述分类器将由选通照相机得到的多个图像作为学习数据进行机器学习，该选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。
7.一种基于照相机的输出图像来识别物体的分类器的学习方法，其特征在于，包括：
使用选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄的步骤，以及
将由所述选通照相机得到的多个图像作为学习数据，使所述分类器进行机器学习的步骤。
8.一种物体识别系统，其特征在于，包括：
选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，以及
运算处理装置，其能够基于由所述选通照相机得到的与多个范围对应的多个图像来识别物体的种类；
所述运算处理装置包括算法不同的多个分类器，选择与范围相应的分类器来进行物体识别。
9.如权利要求8所述的物体识别系统，其特征在于，
所述运算处理装置在距离较近的范围的图像处理中使用YOLO(You Only Look Once：仅查看一次)算法的分类器。
10.如权利要求8所述的物体识别系统，其特征在于，
所述运算处理装置在距离较远的范围的图像处理中使用SSD(Single Shot MultiBoxDetector)算法的分类器。
11.如权利要求8至10的任意一项所述的物体识别系统，其特征在于，
所述运算处理装置在距离相对较近的范围的图像处理中使用相对高速的算法的分类器。
12.如权利要求8至11的任意一项所述的物体识别系统，其特征在于，
所述运算处理装置在距离相对较远的范围的图像处理中使用相对高精度的算法的分类器。
13.一种汽车，其特征在于，包括：
权利要求8至12的任意一项所述的物体识别系统。
14.一种车辆用灯具，其特征在于，包括：
权利要求8至13的任意一项所述的物体识别系统。
15.一种运算处理装置，其与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄的选通照相机一起构成物体识别系统，其特征在于，
构成为能够基于由所述选通照相机得到的与多个范围对应的多个图像来识别物体的种类；
包括算法不同的多个分类器，选择与范围相应的分类器来进行物体识别。
16.一种物体识别系统，其特征在于，包括：
选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，
缩放器，其将由所述选通照相机得到的与多个范围对应的多个图像按照针对每个范围规定的系数进行缩放，以及
分类器，其能够基于缩放后的多个图像分别识别物体的种类。
17.如权利要求16所述的物体识别系统，其特征在于，
所述系数在越近的范围越小，在越远的范围越大。
18.如权利要求16或17所述的物体识别系统，其特征在于，
将所述多个范围中的一个设为基准范围，所述基准范围的系数为1，比所述基准范围近的范围的系数小于1，比所述基准范围远的范围的系数大于1。
19.一种汽车，其特征在于，包括：
权利要求16至18的任意一项所述的物体识别系统。
20.一种车辆用灯具，其特征在于，包括：
权利要求16至18的任意一项所述的物体识别系统。
21.一种运算处理装置，其与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄的选通照相机一起使用，构成物体识别系统，其特征在于，包括：
缩放器，其将由所述选通照相机得到的与多个范围对应的多个图像按照针对每个范围规定的系数进行缩放，以及
分类器，其能够基于缩放后的多个图像分别识别物体的种类。
22.一种物体识别系统，其特征在于，包括：
选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像，以及
运算处理装置，其构成为，在物体可能存在的位置被限定于所述多个图像各自固有的兴趣区域内的限制条件下，能够识别所述多个图像各自包含的物体的种类。
23.如权利要求22所述的物体识别系统，其特征在于，
所述运算处理装置包括：
前处理部，其针对所述多个图像，分别对所述兴趣区域内的图像进行剪切，以及
分类器，其对所述前处理部的输出进行处理。
24.如权利要求22所述的物体识别系统，其特征在于，
所述运算处理装置包括：
前处理部，其针对所述多个图像，分别对所述兴趣区域外的图像进行遮蔽，以及
分类器，其对所述前处理部的输出进行处理。
25.如权利要求22所述的物体识别系统，其特征在于，
所述运算处理装置包括：
分类器，其针对所述多个图像，分别对其所包含的物体的种类和位置进行检测，生成与所述多个图像对应的多个检测数据，以及
后处理部，其接收所述多个检测数据，判定各检测数据中包含的物体的位置是否包含于原来的图像中固有的所述兴趣区域。
26.如权利要求22至25的任意一项所述的物体识别系统，其特征在于，
关于所述兴趣区域，在越近的范围的图像中越大，在越远的范围的图像中越小。
27.如权利要求22至26的任意一项所述的物体识别系统，其特征在于，
关于所述兴趣区域，其高度在越远的范围的图像中越小。
28.如权利要求22至27的任意一项所述的物体识别系统，其特征在于，
关于所述兴趣区域，其宽度在越远的范围的图像中越窄。
29.一种汽车，其特征在于，包括：
权利要求22至28的任意一项所述的物体识别系统。
30.一种车辆用灯具，其特征在于，包括：
权利要求22至29的任意一项所述的物体识别系统。
31.一种运算处理装置，其与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，其特征在于，包括：
前处理部，其针对所述多个图像分别确定固有的兴趣区域，针对所述多个图像，分别剪切出所述兴趣区域内的图像，或对所述兴趣区域外的图像进行遮蔽，以及
分类器，其对所述前处理部的输出进行处理。
32.一种运算处理装置，其与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，其特征在于，包括：
分类器，其针对所述多个图像，分别对其所包含的物体的种类和位置进行检测，生成与所述多个图像对应的多个检测数据，以及
后处理部，其针对所述多个图像分别确定固有的兴趣区域，接收所述多个检测数据，判定各检测数据中包含的物体的位置是否包含于原来的图像中固有的所述兴趣区域。
33.一种物体识别系统，其特征在于，包括：
选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与所述多个范围对应的多个图像，以及
运算处理装置，其构成为，针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，能够基于所述允许范围来识别所述多个图像各自包含的所述物体像的种类。
34.如权利要求33所述的物体识别系统，其特征在于，
所述运算处理装置包括：
分类器，其针对所述多个图像，分别对其所包含的物体像的种类和尺寸进行检测，生成与所述多个图像对应的多个检测数据，以及
后处理部，其接收所述多个检测数据，判定各检测数据中包含的物体像的尺寸是否包含于所述允许范围。
35.如权利要求33所述的物体识别系统，其特征在于，
所述运算处理装置包括：
前处理部，其将所述多个图像分别划分为其拍摄到的各物体像的子图像，以及
分类器，其在由所述前处理部划分的所述子图像的尺寸包含于所述允许范围的情况下，判定该子图像中包含的物体像的种类。
36.如权利要求33至35的任意一项所述的物体识别系统，其特征在于，
所述允许范围针对垂直方向被规定。
37.如权利要求33至36的任意一项所述的物体识别系统，其特征在于，
所述允许范围针对横向被规定。
38.如权利要求33至37的任意一项所述的物体识别系统，其特征在于，
所述允许范围针对物体的种类分别单独规定。
39.一种汽车，其特征在于，包括：
权利要求33至38的任意一项所述的物体识别系统。
40.一种车辆用灯具，其特征在于，包括：
权利要求33至38的任意一项所述的物体识别系统。
41.一种运算处理装置，其与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与所述多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，其特征在于，包括：
分类器，其针对每个范围规定所对应的图像中的物体像的尺寸的允许范围，针对所述多个图像，分别对其所包含的物体像的种类和尺寸进行检测，生成与所述多个图像对应的多个检测数据，以及
后处理部，其接收所述多个检测数据，判定各检测数据中包含的物体像的尺寸是否包含于所述允许范围。
42.一种运算处理装置，其与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与所述多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，其特征在于，包括：
前处理部，其将所述多个图像分别划分为其拍摄到的各物体像的子图像，以及
分类器，其针对每个范围规定所对应的图像中的物体像的尺寸的允许范围，在由所述前处理部划分的所述子图像的尺寸包含于所述允许范围的情况下，判定该子图像中包含的物体像的种类。
CN201980081906.1A 2018-12-10 2019-12-06 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法 Pending CN113243016A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2018231048 2018-12-10
JP2018-231048 2018-12-10
JP2018238313 2018-12-20
JP2018-238313 2018-12-20
JP2018-238314 2018-12-20
JP2018238314 2018-12-20
JP2019036463 2019-02-28
JP2019036462 2019-02-28
JP2019-036463 2019-02-28
JP2019-036462 2019-02-28
PCT/JP2019/047876 WO2020121973A1 (ja) 2018-12-10 2019-12-06 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Publications (1)

Publication Number Publication Date
CN113243016A true CN113243016A (zh) 2021-08-10

Family

ID=71076884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081906.1A Pending CN113243016A (zh) 2018-12-10 2019-12-06 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法

Country Status (4)

Country Link
US (1) US20210295065A1 (zh)
JP (1) JP7369921B2 (zh)
CN (1) CN113243016A (zh)
WO (1) WO2020121973A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JPWO2022014416A1 (zh) * 2020-07-14 2022-01-20
IL300789A (en) * 2020-08-21 2023-04-01 Koito Mfg Co Ltd Vehicle sensing system and distance measuring camera
JPWO2022039230A1 (zh) * 2020-08-21 2022-02-24
US20220107422A1 (en) * 2020-10-06 2022-04-07 Yandex Self Driving Group Llc LiDAR DETECTION METHODS AND SYSTEMS
JPWO2022172719A1 (zh) * 2021-02-15 2022-08-18
US11734908B2 (en) * 2021-04-13 2023-08-22 Google Llc Randomly generated blobs to improve object-detection training for framed video content
JP2023074948A (ja) * 2021-11-18 2023-05-30 オムロン株式会社 作業認識装置、作業認識方法、及び作業認識プログラム
WO2023190058A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046150A1 (en) * 1994-05-23 2008-02-21 Automotive Technologies International, Inc. System and Method for Detecting and Protecting Pedestrians
JP2009257983A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
CN101996389A (zh) * 2009-08-24 2011-03-30 株式会社尼康 图像处理装置、成像装置、以及图像处理方法
CN103218621A (zh) * 2013-04-21 2013-07-24 北京航空航天大学 一种室外视频监控中多尺度车辆的识别方法
CN104103062A (zh) * 2013-04-08 2014-10-15 富士通株式会社 图像处理设备和图像处理方法
US20170257617A1 (en) * 2016-03-03 2017-09-07 Facet Technology Corp. Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis
US20180063442A1 (en) * 2016-08-30 2018-03-01 Microsoft Technology Licensing, Llc Motion triggered gated imaging
CN108431631A (zh) * 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390004B2 (en) * 2012-07-09 2019-08-20 Brightway Vision Ltd. Stereo gated imaging system and method
US20190056498A1 (en) 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046150A1 (en) * 1994-05-23 2008-02-21 Automotive Technologies International, Inc. System and Method for Detecting and Protecting Pedestrians
JP2009257983A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
CN101996389A (zh) * 2009-08-24 2011-03-30 株式会社尼康 图像处理装置、成像装置、以及图像处理方法
CN104103062A (zh) * 2013-04-08 2014-10-15 富士通株式会社 图像处理设备和图像处理方法
CN103218621A (zh) * 2013-04-21 2013-07-24 北京航空航天大学 一种室外视频监控中多尺度车辆的识别方法
CN108431631A (zh) * 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
US20170257617A1 (en) * 2016-03-03 2017-09-07 Facet Technology Corp. Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis
US20180063442A1 (en) * 2016-08-30 2018-03-01 Microsoft Technology Licensing, Llc Motion triggered gated imaging

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D.NGUYEN ET AL.: "Real-time face detection and lip feature extraction using field-programmable gate arrays", 《IEEE》, 17 July 2006 (2006-07-17) *
TOBIAS GRUBER ET AL.: "Learning Supper-resolved Depth from Active Gated Imaging", 《2018 21ST INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》, 9 December 2018 (2018-12-09), pages 3051 - 3058 *
张涛: "雾霾环境下车辆识别系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2017, no. 03, 15 March 2017 (2017-03-15) *

Also Published As

Publication number Publication date
WO2020121973A1 (ja) 2020-06-18
JP7369921B2 (ja) 2023-10-27
EP3896645A1 (en) 2021-10-20
US20210295065A1 (en) 2021-09-23
JPWO2020121973A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
CN113243016A (zh) 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法
EP2924653B1 (en) Image processing apparatus and image processing method
US10025998B1 (en) Object detection using candidate object alignment
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US7403659B2 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
US7103213B2 (en) Method and apparatus for classifying an object
US7672514B2 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US7321669B2 (en) Method and apparatus for refining target position and size estimates using image and depth data
US7466860B2 (en) Method and apparatus for classifying an object
US20050232466A1 (en) Method of recognizing and/or tracking objects
JP2007065924A (ja) 画像処理装置
JP2010224925A (ja) 環境認識装置
JP6782433B2 (ja) 画像認識装置
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
JP4969359B2 (ja) 移動物認識装置
EP3168779A1 (en) Method for identifying an incoming vehicle and corresponding system
WO2020054260A1 (ja) 画像認識装置
JP7103202B2 (ja) 画像認識装置
JP2019179288A (ja) 処理装置、及びプログラム
JP7371053B2 (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230922

Address after: Tokyo, Japan

Applicant after: Koito Manufacturing Co.,Ltd.

Applicant after: BRIGHTWAY VISION Ltd.

Address before: Tokyo, Japan

Applicant before: Koito Manufacturing Co.,Ltd.