CN114514565A - 物体识别装置和物体识别程序 - Google Patents

物体识别装置和物体识别程序 Download PDF

Info

Publication number
CN114514565A
CN114514565A CN202080066071.5A CN202080066071A CN114514565A CN 114514565 A CN114514565 A CN 114514565A CN 202080066071 A CN202080066071 A CN 202080066071A CN 114514565 A CN114514565 A CN 114514565A
Authority
CN
China
Prior art keywords
image
camera
light
image information
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066071.5A
Other languages
English (en)
Inventor
塚田明宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114514565A publication Critical patent/CN114514565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

作为物体识别装置，物体识别ECU(30)除了使用搭载于车辆的外界相机(20)生成的包含相机图像的图像信息，还使用搭载于车辆的测距传感器(10)生成的图像信息，来识别车辆的周边的物体，相机图像是通过由相机元件感知来自外界的可见光而生成的，测距传感器(10)生成的图像信息是包含反射光图像和背景光图像的传感器图像的图像信息，反射光图像是通过由受光元件感知通过光照射而从物体反射的近红外的反射光而生成的，背景光图像是通过由受光元件感知相对于反射光的近红外的背景光而生成的。物体识别ECU(30)具备：图像信息获取部(41)，获取测距传感器(10)的图像信息和外界相机(20)的图像信息；区域识别部(43)，考虑相机图像的强度与传感器图像的强度之间的不同来识别车辆的周边的植物。

Description

物体识别装置和物体识别程序
相关申请的交叉引用
本申请以在2019年9月23日在日本申请的日本专利申请第2019-172398号为基础，整体上通过参照引用基础申请的内容。
技术领域
本说明书的公开涉及物体识别装置和物体识别程序。
背景技术
专利文献1公开了对映现于道路场景的图像中的物体进行识别的装置、即对车辆的周边的物体进行识别的物体识别装置。
专利文献1：日本特开2017-162456号公报
另外，在车辆的行驶时等经常会遭遇道路旁边的草木等植物生长茂盛而侵入到道路上的场景。在物体识别中，有时根据侵入到道路的物体是单纯的植物还是其他应该避免碰撞的障碍物，而对车辆的行驶的影响(例如在车辆的自动驾驶中所选择的行动)不同。
在专利文献1中，在实际的行驶时用于物体识别的图像被认为是通过由相机元件感知来自外界的可见光而生成的相机图像。在这样的相机图像所表示的可见光的强度中，担心无法高精度地实施植物与其他应该避免的障碍物的识别。
发明内容
本说明书的公开的目的之一在于提供能够高精度地识别植物的物体识别装置和物体识别程序。
这里公开的一个方式提供一种物体识别装置，其除了使用搭载于车辆的外界相机的图像信息，还使用搭载于车辆的测距传感器的图像信息，来识别车辆的周边的物体，外界相机的图像信息是包含相机图像的图像信息，相机图像是通过由相机元件感知来自外界的可见光而生成的，测距传感器的图像信息是包含反射光图像和背景光图像的传感器图像的图像信息，反射光图像是通过由受光元件感知通过光照射而从物体反射的近红外的反射光而生成的，背景光图像是通过由受光元件感知相对于反射光的近红外的背景光而生成的，其中，该物体识别装置具备：
图像信息获取部，获取测距传感器的图像信息和外界相机的图像信息；以及
识别部，考虑相机图像的强度与传感器图像的强度之间的不同来识别车辆的周边的植物。
另外，所公开的另一个方式提供一种物体识别程序，其除了使用搭载于车辆的外界相机的图像信息，还使用搭载于车辆的测距传感器的图像信息，来识别车辆的周边的物体，外界相机的图像信息是包含相机图像的图像信息，相机图像是通过由相机元件感知来自外界的可见光而生成的，测距传感器的图像信息是包含反射光图像和背景光图像的传感器图像的图像信息，反射光图像是通过由受光元件感知通过光照射而从物体反射的近红外的反射光而生成的，背景光图像是通过由受光元件感知相对于反射光的近红外的背景光而生成的，其中，该物体识别程序使至少一个处理部执行如下的处理：
获取测距传感器的图像信息和外界相机的图像信息的处理；以及
考虑相机图像的强度与传感器图像的强度之间的不同来识别车辆的周边的植物的处理。
根据这些方式，在映现植物的植物区域的识别中，考虑相机图像的强度与传感器图像的强度之间的不同。即，参照相机图像中的感知到可见光的信息与测距传感器的图像中的感知到近红外光的信息的不同。由此，能够容易地判别具有在可视区域与近红外区域中倾向大幅不同的分光特性的植物、以及在可视区域与近红外区域之间没有植物那种程度的倾向的不同的其他应避免的物体。因此，能够实现能够高精度地识别植物的物体识别。
此外，权利要求书等中的括弧内的附图标记例示性地表示与后述的实施方式的部分的对应关系，并不意图限定技术范围。
附图说明
图1是表示第一实施方式的物体识别系统和驾驶辅助ECU的整体像的图。
图2是表示第一实施方式的测距传感器和外界相机向车辆的搭载状态的图。
图3是表示第一实施方式的物体识别ECU的结构的结构图。
图4是用于对第一实施方式的物体识别中途图像和该图像中的物体的分类状况的一个例子进行说明的图。
图5是用于对第一实施方式的物体识别完毕图像和该图像中的物体的分类状况的一个例子并且是与图4对应的例子进行说明的图。
图6是示意性地表示能够用于第一实施方式的外界相机的滤色器的透射率的波长特性的一个例子的图。
图7是示意性地表示能够用于第一实施方式的外界相机的滤色器的透射率的波长特性的另一个例子的图。
图8是示意性地表示4种植物的反射率的波长特性的图。
图9是用于对第一实施方式的物体识别ECU的处理进行说明的流程图。
图10是表示第二实施方式的物体识别ECU的结构的结构图。
图11是用于对第二实施方式的物体识别ECU的处理进行说明的流程图。
具体实施方式
以下，基于附图对多个实施方式进行说明。此外，有时通过在各实施方式中对相对应的构成要素标注相同的附图标记，来省略重复的说明。在各实施方式中仅说明结构的一部分的情况下，对于该结构的其他部分，能够应用之前说明的其他实施方式的结构。另外，不仅是在各实施方式的说明中明示的结构的组合，只要没有特别地对组合产生妨碍，即使未明示，也能够将多个实施方式的结构彼此部分地组合。
(第一实施方式)
如图1所示，本公开的第一实施方式的物体识别装置用于车辆1的周边的物体识别，成为构成为搭载于车辆1的物体识别ECU(Electronic Control Unit：电子控制单元)30。物体识别ECU30与测距传感器10和外界相机20一同构成物体识别系统100。本实施方式的物体识别系统100能够基于测距传感器10的图像信息和外界相机20的图像信息识别物体，并向驾驶辅助ECU50等提供该物体的识别结果。
物体识别ECU30与搭载于车辆1的车载网络的通信总线可通信地连接。物体识别ECU30为设置于车载网络的节点中的一个。除了测距传感器10、外界相机20之外，驾驶辅助ECU50等分别作为节点连接于车载网络。
驾驶辅助ECU50是以具备处理器、RAM(Random Access Memory：随机存取存储器)、存储部、输入输出接口以及将它们连接的总线等的计算机为主体而包含的结构。驾驶辅助ECU50具有在辆1中辅助驾驶员的驾驶操作的驾驶辅助功能以及能够代行驾驶员的驾驶操作的驾驶代行功能中的至少一方。驾驶辅助ECU50通过处理器执行存储于存储部的程序。由此，驾驶辅助ECU50实现与由物体识别系统100提供的车辆1的周边的物体识别结果对应的车辆1的自动驾驶或者高度驾驶辅助。作为与物体识别结果对应的车辆1的自动驾驶或者高度驾驶辅助，例如列举与识别为植物的物体相比，针对识别为行人或者其他车辆的物体最优先地避免碰撞等。
接下来，依次说明物体识别系统100中包含的测距传感器10、外界相机20以及物体识别ECU30的各详细内容。
测距传感器10例如为配置在车辆1的前方或者车辆1的车顶的SPADRiDAR(SinglePhoton Avalanche Diode Light Detection And Ranging：单光子雪崩二极管光探测和测距)。测距传感器10能够测定车辆1的周边中的至少前方的测定范围MA1。
测距传感器10是包含发光部11、受光部12、控制单元13等的结构。发光部11通过使用可动光学部件(例如多面镜)扫描从光源发出的光束，来朝向图2所示的测定范围MA1照射。光源例如为半导体激光(Laser diode：激光二极管)，根据来自控制单元13的电信号，发出乘员(驾驶员等)和外界的人无法视觉确认的近红外区域的光束。
受光部12例如通过聚光透镜对所照射的光束被测定范围MA1内的物体反射的反射光或者相对于反射光的背景光进行聚光，并使其向受光元件12a入射。
受光元件12a是通过光电变换将光变换为电信号的元件，是通过放大检测电压来实现高灵敏度的SPAD受光元件。在受光元件12a中，例如为了检测近红外区域的反射光，采用相对于可视区域将近红外区域的灵敏度设定得高的CMOS传感器。该灵敏度也可以通过在受光部12设置光学滤波器来调整。受光元件12a以在一维方向或者二维方向上排列的方式呈阵列状地具有多个受光像素。
控制单元13是控制发光部11和受光部12的单元。控制单元13例如配置在与受光元件12a共同的基板上，例如以微型计算机或FPGA(Field-Programmable Gate Array：现场可编程门阵列)等广义的处理器为主体而构成。控制单元13实现扫描控制功能、反射光测定功能以及背景光测定功能。
扫描控制功能是控制光束扫描的功能。控制单元13在基于设置于测距传感器10的时钟振荡器的动作时钟的定时，从光源使光束以脉冲状振荡多次，并且使可动光学部件动作。
反射光测定功能是与光束扫描的定时相匹配地，例如使用滚动快门方式读出基于各受光像素接受到的反射光的电压值，测定反射光的强度的功能。在反射光的测定中，能够通过检测光束的发光定时与反射光的受光定时的时间差，测定从测距传感器10到反射了反射光的物体为止的距离。通过反射光的测定，控制单元13能够生成反射光图像，该反射光图像是反射光的强度和反射了反射光的物体的距离信息与测定范围MA1所对应的二维坐标相关联的图像状的数据。
背景光测定功能是在紧接测定反射光之前的定时，读出基于各受光像素接受到的背景光的电压值，并测定背景光的强度的功能。这里，背景光是指实质上不包含反射光的、从外界中的测定范围MA1向受光元件12a入射的入射光。入射光包含自然光、从外界的显示等发出的显示光。通过背景光的测定，控制单元13能够生成背景光图像，该背景光图像是背景光的强度与测定范围MA1所对应的二维坐标相关联的图像状的数据。
反射光图像和背景光图像由共同的受光元件12a感知，并从包含该受光元件12a的共同的光学系统获取。因此，反射光图像和背景光图像是以共同的波长域即近红外区域的测定结果为主体的图像。而且，反射光图像的坐标系和背景光图像的坐标系能够视为相互一致的坐标系。而且，可以说在反射光图像与背景光图像之间几乎没有测定定时的偏差(例如小于1ns)。因此，反射光图像与背景光图像能够视为也获取同步。
例如在本实施方式中，与各像素对应地储存了反射光的强度、物体的距离以及背景光的强度的3通道的数据的图像数据作为传感器图像被依次输出到物体识别ECU30。
外界相机20例如是配置在车辆1的前挡风玻璃的车厢内侧的相机。外界相机20能够测定车辆1的外界中的至少前方的测定范围MA2、更详细地说与测距传感器10的测定范围MA1至少重复一部分的测定范围MA2。
外界相机20是包含受光部22和控制单元23的结构。受光部22例如通过受光透镜对从相机外部的测定范围MA2入射的入射光(背景光)进行聚光，并使其向相机元件22a入射。
相机元件22a是通过光电变换将光变换为电信号的元件，例如能够采用CCD传感器或者CMOS传感器。在相机元件22a中，为了高效地接受可视区域的自然光，相对于近红外区域而将可视区域的灵敏度设定得高。相机元件22a以在二维方向上排列的方式呈阵列状地具有多个受光像素(相当于所谓的子像素)。在相互邻接的受光像素中例如配置有红色、绿色、蓝色的相互不同颜色的滤色器。通过该滤色器来调整相机元件22a整体和相机元件22a的各受光像素的灵敏度的波长特性。各受光像素接受与所配置的滤色器对应的颜色的可见光。通过分别独立地测定红色光的强度、绿色光的强度、蓝色光的强度，从而由外界相机20拍摄的相机图像是与反射光图像和背景光图像相比高分辨率的图像，能够成为可视区域的彩色图像。
控制单元23是控制受光部22的单元。控制单元23例如配置在与相机元件22a共同的基板上，以微型计算机或者FPGA等广义的处理器为主体而构成。控制单元23实现拍摄功能。
拍摄功能是拍摄上述的彩色图像的功能。控制单元23在基于设置于外界相机20的钟振荡器的动作时钟的定时，例如使用全局快门方式读出基于各受光像素接受到的入射光的电压值，感知并测定入射光的强度。控制单元23能够生成相机图像，该相机图像是入射光的强度与测定范围MA2所对应的二维坐标相关联的图像状的数据。这样的相机图像被依次输出到物体识别ECU30。
物体识别ECU30是使用测距传感器10的图像信息和外界相机20的图像信息来识别车辆1的周边的物体的电子控制装置。如图1所示，物体识别ECU30是以具备处理部31、RAM32、存储部33、输入输出接口34以及将它们连接的总线等的计算机为主体而包含的结构。处理部31是用于与RAM32结合的运算处理的硬件。处理部31是包含至少一个CPU(Central Processing Unit：中央处理单元)、GPU(Graphical Processing Unit：图形处理单元)、RISC(Reduced Instruction Set Computer：精简指令集计算机)等运算核的结构。处理部31也可以是还包含FPGA和具备其他专用功能的IP核等的结构。处理部31通过对RAM32的访问，而执行用于实现后述的各功能部的功能的各种处理。存储部33是包含非易失性存储介质的结构。在存储部33储存有由处理部31执行的各种程序(影像配准程序、物体识别程序等)。
物体识别ECU30通过由处理部31执行存储于存储部33的程序，而具有多个功能部。具体地说，如图3所示，构建图像信息获取部41、影像配准部42、区域识别部43等功能部。
图像信息获取部41从测距传感器10获取包含反射光图像和背景光图像的图像信息，并且从外界相机20依次获取包含相机图像的图像信息。作为图像信息，图像信息获取部41还获取与相机元件22a的灵敏度的波长特性相关的信息(以下，波长特性信息)。波长特性信息不需要每次都从相机图像获取，例如可以在初始设定时等从外界相机20获取时存储于存储部33，然后通过对存储部33的访问来获取。图像信息获取部41将最新的反射光图像、背景光图像和相机图像的组提供给影像配准部42。
影像配准部42实施反射光图像、背景光图像的坐标系与相机图像的坐标系之间的对应关系的确定、即影像配准(Image Registration)。而且，影像配准部42将影像配准完毕的反射光图像、背景光图像以及相机图像提供给区域识别部43。
区域识别部43识别包含车辆1的周边的物体的空间区域。区域识别部43尤其能够考虑相机图像的强度与背景光图像的强度之间的不同，来识别映现于相机图像的植物。区域识别部43实现可视物体识别功能、周边空间地图生成功能以及植物判别功能。
可视物体识别功能是针对具有可见光的强度分布信息的相机图像，通过语义分割(Semantic Segmentation)来实施像素单位下的物体的识别的功能。在存储部33中，作为物体识别程序的一个构成要素，构建以神经网络为主体的物体识别模型44。物体识别模型44是学习完毕的AI(人工智能)模型，若被输入相机图像，则输出物体识别中途图像Im1(参照图4)。
详细地说，神经网络能够采用全层卷积神经网络(FCN)、将编码器和解码器结合的编码器/解码器网络(例如SegNet、U-Net、PSPNet)等。
作为一个例子，对采用编码器/解码器网络的情况进行说明。编码器对所输入的相机图像执行卷积运算和池化运算。编码器对相机图像进行下采样，并且提取该相机图像的特征。编码器例如向解码器输出特征图或者对物体进行了分类的类的概率。
解码器使用来自编码器的输入数据，执行逆池化运算和逆卷积运算。解码器能够通过再次对由编码器下采样后的相机图像进行上采样，来输出物体识别中途图像Im1(参照图4)，在物体识别中途图像Im1中，按照相机图像的每个部分区域即根据所映现的物体区分的每个区域或者像素单位，附加了类的分类信息。此外，在图4中，仅表示与植物分类的说明相关的一部分的类的分类状况。
在第一实施方式中，针对类，例如设定有行人、其他车辆、道路等在车辆1的行驶中分类必要性极高的类，但未设定与草木等植物相当的类。在语义分割中，植物与其他很难确定的物体以及分类必要性较低的物体一同被分类为例如“静止物StO(参照图4)”“障碍物”等上位概念化的类。
最初，在使用了可见光的彩色图像即相机图像的语义分割中，很难高精度地区别植物。例如，实质上能够以彩色图像中的绿色光的强度的信息为主体来区别绿色的植物。因此，容易误认绿色的植物和由油漆等涂料着色成绿色的物体或者绿灯等。为了保证物体识别模型44的输出结果的精度、即抑制错误分类的产生，将绿色的植物、由油漆等涂料着色成绿色的物体、绿灯等分类为共同的类。
作为第一实施方式的物体识别模型44的学习方法，例如能够采用监督学习。该机械学习中的教师数据是作为输入数据的相机图像与作为输出数据(正解数据)的物体识别完毕图像Im2(参照图5)的数据集。
周边空间地图生成功能是向OGM生成器45输入反射光图像和背景光图像，并生成在车辆1的周边空间附加了物体的占有状态信息的地图的功能。区域识别部43例如通过OGM(Occupancy Grid Map：占用网格图)的生成方法，生成周边空间的地图(以下，称为OGM)。该OGM优选以从上空俯视车辆1的坐标系表示。
具体地说，在OGM中，从测距传感器10的位置到根据距离信息所确定的映现于反射光图像中的物体的位置近前为止的区域被设定为未被物体占有的非占有区域。映现于反射光图像中的物体的位置被设定为被物体占有的占有区域。比映现于反射光图像中的物体的位置靠里侧被设定为不能判别占有状态的不能判别区域。
植物判别功能是将附加了上述的共同的类的信息的物体识别中途图像Im1的各判别对象区域TA1～TA3如图5所示那样分类为映现植物的植物区域PLT和映现非植物的非植物区域NPT的功能。区域识别部43考虑相机图像的强度与反射光图像的强度之间的差异以及相机图像的强度与背景光图像的强度之间的差异中的至少一方来识别植物区域PLT。特别是在本实施方式中，考虑相机图像的强度与背景光图像的强度之间的差异来识别植物区域PLT。
区域识别部43使用植物判别式46，针对各判别对象区域TA1～TA3，根据通过影像配准作为表示相同的位置的坐标而建立对应关系的相机图像的对应像素的强度和背景光图像的对应像素的强度，计算基于下述植物判别式46的判别值。区域识别部43根据由图像信息获取部41获取到的相机元件22a的灵敏度的波长特性，变更植物判别式46的方式。
在图6所示那样的相机元件22a的受光像素中的红色的滤色器基本遮挡近红外光的情况下选择植物判别式46中的一个方式。该式由Q＝Ib/(1-Ic)表示。这里，Q是判别值，Ib是背景光图像的对应像素的强度，Ic是相机图像的对应像素的强度并且是红色光的强度、绿色光的强度和蓝色光的强度的合计。
在图7所示那样的相机元件22a的受光像素中的红色的滤色器局部透射近红外光、即不充分遮挡近红外光的情况下选择植物判别式46中的另一个方式。该式由Q＝Ib/(1-Igb)表示。这里，Igb是相机图像的对应像素的强度并且是绿色光的强度和蓝色光的强度的合计。此外，在成为语义分割的对象的相机图像由R图像(基于红色的强度的图像)和GB图像(基于绿色和蓝色的强度的图像)的2通道构成的情况下，Igb也可以是相机图像的对应像素的强度并且是GB图像的强度。
此外，Ic、Igb是被标准化为采取0以上且1以下的范围的值的强度。标准化后的强度中的0意味着强度最小(相机元件22a没有感知到入射光)，1意味着强度最大(相机元件22a感知到最大量的入射光)。另外，Ib也可以与Ic、Igb同样地，被标准化为采取0以上且1以下的范围的值。
判别值Q是作为反映了相机图像的强度与背景光图像的强度之间的不同的物理量的判别值，通过以相机图像与背景光图像的强度比率为基准的植物判别式46来计算。
对判别植物的一个例子进行说明。在计算出的判别值Q在一个判别对象区域中的平均值为映现有植物的可能性为规定概率(例如50％)以上的基准值以上的情况下，区域识别部43将判别对象区域(参照图5TA2、TA3)设定为植物区域PLT。在平均值小于基准值的情况下，区域识别部43将判别对象区域(参照图5TA1)设定为非植物区域NPT。
即，如图8所示，在植物的分光特性中，存在相对于可视区域RV的反射率而近红外区域RNi的反射率显著变大的倾向。另一方面，在由油漆等涂料着色成绿色的物体或者绿灯的分光特性中，存在可视区域RV的反射率与近红外区域RNi的反射率几乎不变的倾向。利用该倾向的不同，能够进行植物区域PLT和非植物区域NPT的分类。具体地说，在相对于可视区域RV的反射率而近红外区域RNi的反射率显著变大的植物中，相对于感知到可见光的相机图像的强度，感知到红外光的背景光图像的强度显著变大。因此，在映现于相机图像的物体为植物的情况下，判别值Q根据可视区域RV的反射率与近红外区域RNi的反射率的比率，成为明显高的值。
这样，区域识别部43输出在物体识别中途图像Im1中附加了植物区域PLT的判别信息的物体识别完毕图像Im2。而且，区域识别部43也可以使判别了植物区域PLT的结果反映到OGM。例如，区域识别部43也可以将与相机图像上的植物区域PLT对应的OGM上的占有区域设定为车辆1能够侵入的可侵入区域，将与相机图像上的非植物区域NPT对应的OGM上的占有区域设定为车辆1不能侵入的不可侵入区域。
根据以上，区域识别部43通过可视物体识别功能，基于相机图像，将映现于相机图像的物体分类为多个类。在向多个类的分类中，进行分类以使植物与其他物体一同包含于比植物上位概念化的共同的类。然后，区域识别部43通过植物判别功能，考虑相机图像的强度与背景光图像的强度之间的不同，判别该共同的类中包含的物体是否为植物。这样得到的包含物体识别完毕图像Im2与OGM的物体识别信息被提供给驾驶辅助ECU50。
接下来，使用图9的流程图来说明基于第一实施方式的物体识别程序对车辆1的周边的物体进行识别的物体识别方法。由各步骤构成的该流程图的处理例如每隔规定时间重复实施。
首先，在S11中，图像信息获取部41从测距传感器10获取包含反射光图像和背景光图像的图像信息，从外界相机20获取包含相机图像的图像信息。在S11的处理后，转移到S12。
在S12中，影像配准部42在反射光图像和背景光图像与相机图像之间，实施影像配准。在S12的处理后，转移到S13。
在S13中，区域识别部43针对相机图像实施语义分割。绿色的植物、由油漆等涂料着色成绿色的物体、绿灯等被分类为共同的类。与此同时或者在其前后，区域识别部43根据反射光图像和背景光图像生成OGM。在S13的处理后，转移到S14。
在S14中，区域识别部43从相机图像中确定附加了共同的类的信息的判别对象区域。该判别对象区域可以是0个，也可以是一个，也可以是多个。在S14的处理后，转移到S15。
在S15中，区域识别部43针对每个判别对象区域，使用植物判别式46，判别该判别对象区域是植物区域PLT还是非植物区域NPT。通过S15结束一系列的处理。
此外，在第一实施方式中，区域识别部43相当于识别车辆1的周边的植物的“识别部”。
(作用效果)
以下再次说明以上说明的第一实施方式的作用效果。
根据第一实施方式，在映现植物的植物区域PLT的识别中，考虑相机图像的强度与传感器图像的强度之间的不同。即，参照外界相机20的相机图像中的感知到可见光的信息和测距传感器10的图像中的感知到近红外光的信息的不同。由此，能够容易地判别具有在可视区域RV与近红外区域RNi中倾向大幅不同的分光特性的植物、以及在可视区域RV与近红外区域RNi之间没有植物那种程度的倾向的不同的其他应避免的物体。因此，能够提供作为能够高精度地识别植物的物体识别装置的物体识别ECU30。
另外，根据第一实施方式，基于相机图像，将映现于该相机图像的物体分类为多个类。在基于通过由相机元件22a感知可见光而生成的相机图像的该分类中，由于进行分类以使植物与其他物体一同包含于比植物上位概念化的共同的类，因此抑制错误分类的产生。然后，考虑相机图像的强度与传感器图像的强度之间的不同，判别包含于共同的类的物体是否是植物。即，抑制错误分类的产生，并且对能够分类的物体进行分类，然后，从包含于共同的类的物体中高精度地判别植物。因此，抑制对全部的物体应用测距传感器10的感知到近红外光的信息，因此能够减轻对用于物体识别的处理量或处理速度的负担，并且能够高精度地识别植物。
特别是在车辆1的行驶时等要求实时地进行物体识别的情况下，同时实现对处理量或处理速度的负担减轻以及植物的高精度识别的物体识别极其有用。
另外，根据第一实施方式，通过具有神经网络的物体识别模型44中的语义分割来实施向多个类的分类。通过语义分割，能够按照相机图像的每个像素对所映现的物体进行分类，因此能够高精度地识别物体所在的空间区域。
另外，根据第一实施方式，基于通过以相机图像与传感器图像的强度比率为基准的植物判别式46计算出的判别值，来识别植物。在这样的植物判别式46中，显著地表示植物的分光特性倾向，植物的存在变得明显，因此能够显著地提高植物的识别精度。
另外，根据第一实施方式，根据相机元件22a的灵敏度的波长特性信息，变更植物判别式46。因此，能够与相机元件22a的灵敏度的波长特性信息、例如近红外区域RNi的灵敏度相匹配地，将由植物判别式46计算的判别值变更为更显著地表示植物的分光特性倾向的判别值。
(第二实施方式)
如图10、11所示，第二实施方式是第一实施方式的变形例。关于第二实施方式，以与第一实施方式不同的点为中心进行说明。
图10所示的第二实施方式的区域识别部243具有植物判别用图像获取功能和物体识别功能。
植物判别用图像获取功能是获取植物判别用图像的功能。区域识别部243通过使用与第一实施方式同样的植物判别式46，生成植物判别用图像而获取。区域识别部243例如准备与相机图像相同坐标系的二维坐标数据。区域识别部243针对二维坐标数据的各坐标，根据通过影像配准作为表示相同的位置的坐标而建立对应关系的相机图像的对应像素的强度和背景光图像的对应像素的强度，计算基于植物判别式46的判别值Q。
其结果为，生成对二维坐标数据的各坐标附加了判别值Q的信息的植物判别用图像。植物判别用图像是与相机图像相同坐标系的图像数据，其将判别值Q的分布图像化。在植物判别用图像中，根据第一实施方式中说明的植物的分光特性，映现植物的部分的判别值Q处于较高的倾向，但是映现具有与植物相似的分光特性的植物以外的物体的部分的判别值Q也会变高。因此，与仅利用植物判别用图像进行判别的情况相比，在还使用后述的物体识别模型244的情况下，植物判别精度显著提高。
物体识别功能是针对具有可见光的强度分布信息的相机图像，也使用具有基于可见光和红外光的判别值分布信息的植物判别用图像，并且通过语义分割(SemanticSegmentation)，实施像素单位下的物体的识别的功能。在存储部33中，作为物体识别程序的一个构成要素，构建以神经网络为主体的物体识别模型244。第二实施方式的物体识别模型244为学习完毕的AI模型，若被输入相机图像和植物判别用图像，则输出附加了类的分类信息的物体识别完毕图像Im2。
在神经网络中，能够采用基本上具有与第一实施方式同样的构造的网络。但是，对应于植物判别用图像这样的输入参数的增加，例如需要在编码器中增加卷积层的通道数等的变更。
在第二实施方式中，针对类，例如除了行人、其他车辆、道路等之外，还设定有与草木等植物相当的类。在语义分割中，植物被分类为与其他很难确定的物体和分类必要性较低的物体不同的“植物”这样的类。因此，从物体识别模型244输出的物体识别完毕图像成为已经高精度地识别出植物的状态。
作为第二实施方式的物体识别模型244的学习方法，例如能够采用监督学习。该机械学习中的教师数据为作为输入数据的相机图像和植物判别用图像与作为输出数据(正解数据)的物体识别完毕图像Im2的数据集。
像以上那样，区域识别部243通过植物判别用图像生成功能，生成反映了相机图像的强度与背景光图像的强度之间的不同的植物判别用图像。然后，区域识别部243通过物体识别功能，基于相机图像和植物判别用图像，将映现于相机图像的物体分类为多个类。在向多个类的分类中，植物被分类为单独的类。
接下来，使用图11的流程图来说明基于第二实施方式的物体识别程序对车辆1的周边的物体进行识别的物体识别方法。例如每隔规定时间重复实施该流程图的处理。
首先，S21～S22与第一实施方式的S11～S12同样。在S12的处理后，转移到S23。
在S23中，区域识别部243根据相机图像和背景光图像，使用植物判别式46，生成植物判别用图像。在S23的处理后，转移到S24。
在S24中，区域识别部243将相机图像和植物判别用图像输入到物体识别模型244，实施语义分割。绿色的植物被分类为与由油漆等涂料着色成绿色的物体、绿灯等不同的类。通过S24结束一系列的处理。
根据以上说明的第二实施方式，基于相机图像和传感器图像，得到反映了相机图像的强度与传感器图像的强度之间的不同的植物判别用图像。而且，基于相机图像和植物判别用图像，将映现于相机图像的物体分类为多个类。在向多个类的分类中，植物被分类为单独的类。在这样的处理中，能够通过使用了相机图像和植物判别用图像双方的综合的判断，来识别植物，因此能够提高植物的识别精度。
此外，在第二实施方式中，区域识别部243相当于识别车辆1的周边的植物的“识别部”。
(其他实施方式)
以上，对多个实施方式进行了说明，但本公开不应解释为局限于这些实施方式，在不脱离本公开的主旨的范围内，能够应用于各种实施方式和组合。
具体地说，作为变形例1，区域识别部43、243也可以考虑相机图像的强度与反射光图像的强度之间的不同来识别植物。即，植物判别式46中的Ib也可以是反射光图像的强度。而且，区域识别部43也可以生成加入了反射光图像的强度和背景光图像的强度双方的复合图像，考虑相机图像的强度与该复合图像的强度之间的不同来识别植物。
作为变形例2，作为反映了相机图像的强度与传感器图像的强度之间的不同的物理量，区域识别部43、243也可以不使用由植物判别式46计算出的判别值Q。例如，反映了相机图像的强度与传感器图像的强度之间的不同的物理量也可以是相机图像的强度与传感器图像的强度之间的差分。在该情况下，在第二实施方式中使用的植物判别用图像也可以是根据相机图像的强度与传感器图像的强度之间的差分而得到的差分图像。
作为与第二实施方式相关的变形例3，植物判别用图像也可以不由区域识别部243生成。例如，也可以在影像配准部42实施影像配准时，生成植物判别用图像。区域识别部243也可以通过从影像配准部42提供植物判别用图像而获取。
作为与第二实施方式相关的变形例4，输入到物体识别模型244的数据也可以不是与相机图像分开设置的植物判别用图像。例如，也可以在相机图像中准备与RGB不同的追加的通道，在该通道中储存计算出的判别值Q。而且，输入到物体识别模型244的数据也可以是附加了判别值Q的信息的相机图像。
作为变形例5，区域识别部43、243只要考虑相机图像的强度与传感器图像的强度之间的不同来识别植物，则也可以取代使用语义分割，而例如使用基于边界框(BoundingBox)的物体识别。
作为变形例6，识别部只要考虑相机图像的强度与传感器图像的强度之间的不同来识别植物，则也可以不是识别包含车辆1的周边的物体的空间区域的区域识别部43、243。例如识别部也可以不将植物与空间区域严格地关联起来进行识别，而判别在相机图像的测定范围MA2中是否映现有植物。
作为变形例7，相机图像也可以不是彩色图像，而是灰度图像。
作为变形例8，物体识别ECU30和驾驶辅助ECU50中的至少一个也可以不搭载于车辆1，而固定设置在车辆1外的路上等，也可以搭载于其他车辆。此时，也可以通过网络、路车间通信、车车间通信等通信，远程操作物体识别处理、驾驶操作等。
作为变形例9，也可以将物体识别ECU30和驾驶辅助ECU50合并为一个，例如构成实现一个复合功能的电子控制装置。另外，测距传感器10与外界相机20也可以构成一体型的传感器单元。并且，也可以包含第一实施方式的物体识别ECU30这样的物体识别装置作为该传感器单元的结构要素。
作为变形例10，物体识别ECU30也可以不具备影像配准部42。物体识别ECU30也可以获取包含影像配准完毕的反射光图像、背景光图像和相机图像的图像信息。
作为变形例11，由物体识别ECU30提供的各功能也可以通过软件和执行该软件的硬件、仅软件、仅硬件、或它们的复合组合来提供。并且，在这样的功能由作为硬件的电子电路提供的情况下，各功能也可以由包含多个逻辑电路的数字电路、或者模拟电路提供。
作为变形例12，也可以适当地变更存储有能够实现上述的物体识别方法的物体识别程序等的存储介质的方式。例如存储介质不限于设置在电路基板上的结构，也可以是以存储卡等方式提供，插入到插口部，与物体识别ECU30的控制电路电连接的结构。并且，存储介质也可以是成为物体识别ECU30的程序的复印基础的光盘和硬盘。
本公开所记载的控制部及其方法也可以由专用计算机实现，该专用计算机构成被编程为执行由计算机程序具体化的一个至多个功能的处理器。或者，本公开所记载的装置及其方法也可以由专用硬件逻辑电路实现。或者，本公开所记载的装置及其方法也可以由一个以上的专用计算机实现，该专用计算机通过执行计算机程序的处理器与一个以上的硬件逻辑电路的组合而构成。另外，计算机程序也可以作为由计算机执行的指令，存储于计算机能够读取的非迁移有形记录介质。

Claims (7)

1.一种物体识别装置，所述物体识别装置除了使用搭载于车辆(1)的外界相机(20)的图像信息，还使用搭载于所述车辆的测距传感器(10)的图像信息，来识别所述车辆的周边的物体，所述外界相机的图像信息是包含相机图像的图像信息，所述相机图像是通过由相机元件(22a)感知来自外界的可见光而生成的，所述测距传感器的图像信息是包含反射光图像和背景光图像的传感器图像的图像信息，所述反射光图像是通过由受光元件(12a)感知通过光照射而从物体反射的近红外的反射光而生成的，所述背景光图像是通过由所述受光元件感知相对于所述反射光的近红外的背景光而生成的，其中，所述物体识别装置具备：
图像信息获取部(41)，获取所述测距传感器的图像信息和所述外界相机的图像信息；以及
识别部(43、243)，考虑所述相机图像的强度与所述传感器图像的强度之间的不同来识别所述车辆的周边的植物。
2.根据权利要求1所述的物体识别装置，其中，
所述识别部基于所述相机图像，将映现于所述相机图像的物体分类为多个类，在向所述多个类的分类中，进行分类以使植物与其他物体一同包含于比植物上位概念化的共同的类，
然后，所述识别部考虑所述不同来判别包含于所述共同的类的物体是否是植物。
3.根据权利要求1所述的物体识别装置，其中，
所述识别部基于所述相机图像和所述传感器图像，获取反映了所述不同的植物判别用图像，
所述识别部基于所述相机图像和所述植物判别用图像，将映现于所述相机图像的物体分类为多个类，在向所述多个类的分类中，植物被分类为单独的类。
4.根据权利要求2或3所述的物体识别装置，其中，
通过具有神经网络的物体识别模型(44、244)中的语义分割来实施向所述多个类的分类。
5.根据权利要求1至4中的任意一项所述的物体识别装置，其中，
所述识别部基于作为反映了所述不同的物理量的判别值来识别植物，所述判别值是通过以所述相机图像与所述传感器图像的强度比率为基准的植物判别式(46)计算出的判别值。
6.根据权利要求5所述的物体识别装置，其中，
所述图像信息获取部获取包含所述相机元件的灵敏度的波长特性信息的所述相机图像的图像信息，
所述识别部根据所述波长特性信息变更所述植物判别式。
7.一种物体识别程序，除了使用搭载于车辆(1)的外界相机(20)的图像信息，还使用搭载于所述车辆的测距传感器(10)的图像信息，来识别所述车辆的周边的物体，所述外界相机的图像信息是包含相机图像的图像信息，所述相机图像是通过由相机元件(22a)感知来自外界的可见光而生成的，所述测距传感器的图像信息是包含反射光图像和背景光图像的传感器图像的图像信息，所述反射光图像是通过由受光元件(12a)感知通过光照射而从物体反射的近红外的反射光而生成的，所述背景光图像是通过由所述受光元件感知相对于所述反射光的近红外的背景光而生成的，其中，所述物体识别程序使至少一个处理部(31)执行如下的处理：
获取所述测距传感器的图像信息和所述外界相机的图像信息的处理；以及
考虑所述相机图像的强度与所述传感器图像的强度之间的不同来识别所述车辆的周边的植物的处理。
CN202080066071.5A 2019-09-23 2020-09-08 物体识别装置和物体识别程序 Pending CN114514565A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-172398 2019-09-23
JP2019172398A JP7151676B2 (ja) 2019-09-23 2019-09-23 物体認識装置及び物体認識プログラム
PCT/JP2020/033958 WO2021059967A1 (ja) 2019-09-23 2020-09-08 物体認識装置及び物体認識プログラム

Publications (1)

Publication Number Publication Date
CN114514565A true CN114514565A (zh) 2022-05-17

Family

ID=75157615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066071.5A Pending CN114514565A (zh) 2019-09-23 2020-09-08 物体识别装置和物体识别程序

Country Status (4)

Country Link
US (1) US20220207884A1 (zh)
JP (1) JP7151676B2 (zh)
CN (1) CN114514565A (zh)
WO (1) WO2021059967A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930804A (zh) * 2020-02-14 2022-08-19 索尼集团公司 摄像装置和车辆控制系统
JPWO2022138064A1 (zh) * 2020-12-23 2022-06-30

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4516590B2 (ja) 2007-09-25 2010-08-04 富士フイルム株式会社 画像撮像装置及び距離測定方法
CN101839979B (zh) 2010-04-22 2012-07-25 中国农业大学 作物冠层植被指数测量方法及装置
JP2012189535A (ja) 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
KR101608889B1 (ko) * 2015-04-06 2016-04-04 (주)유디피 대기열 모니터링 장치 및 방법
DE102016220560A1 (de) 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors und Verfahren zum Ansteuern eines Assistenzsystems eines Fahrzeugs
JP7058128B2 (ja) 2017-05-18 2022-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置およびプログラム
JP6984215B2 (ja) 2017-08-02 2021-12-17 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7051366B2 (ja) * 2017-10-18 2022-04-11 株式会社東芝 情報処理装置、学習済モデル、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2021050945A (ja) 2021-04-01
WO2021059967A1 (ja) 2021-04-01
JP7151676B2 (ja) 2022-10-12
US20220207884A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
CN108780154B (zh) 3d点云的处理方法
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
US20120147194A1 (en) Determining a total number of people in an ir image obtained via an ir imaging system
JP4977923B2 (ja) アクティブ型車両視界補助装置及び車両視界補助方法
US20220207884A1 (en) Object recognition apparatus and object recognition program product
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JP2015066956A (ja) 車両制御システム、画像センサ
CN110431562B (zh) 图像识别装置
WO2020080045A1 (ja) 物体認識方法、車両制御方法、情報表示方法、および物体認識装置
CN114424022B (zh) 测距设备，测距方法，程序，电子装置，学习模型生成方法，制造方法和深度图生成方法
CN114868148A (zh) 信息处理装置、信息处理系统、信息处理程序及信息处理方法
EP3553556A1 (en) Light modulating lidar apparatus
EP3845926B1 (en) Multi-spectral lidar object tracking method and system
CN114365189A (zh) 影像配准装置、图像生成系统、影像配准方法及影像配准程序
CN114174864A (zh) 设备、测量设备、距离测量系统和方法
US20220196841A1 (en) Object recognition abnormality detection apparatus, object recognition abnormality detection program product, and object recognition abnormality detection method
US20240089577A1 (en) Imaging device, imaging system, imaging method, and computer program
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program
US20140333806A1 (en) Method and device for adapting a filter property of an adaptive color filter and for operating an imager
US20240221399A1 (en) Vehicle detection device, vehicle detection method, and non transitory computer-readable medium
EP4286895A1 (en) Gated camera, vehicular sensing system, and vehicular lamp
EP4382968A1 (en) Gating camera, vehicular sensing system, and vehicular lamp
CN113447940A (zh) 距离测量数据的检测
CN117616310A (zh) 物体检测装置及物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination