CN114026624A - 通过远红外相机识别对象 - Google Patents

通过远红外相机识别对象 Download PDF

Info

Publication number
CN114026624A
CN114026624A CN202080045112.2A CN202080045112A CN114026624A CN 114026624 A CN114026624 A CN 114026624A CN 202080045112 A CN202080045112 A CN 202080045112A CN 114026624 A CN114026624 A CN 114026624A
Authority
CN
China
Prior art keywords
images
temperature range
fir
relative temperature
vehicle system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080045112.2A
Other languages
English (en)
Other versions
CN114026624B (zh
Inventor
芝田健男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN114026624A publication Critical patent/CN114026624A/zh
Application granted granted Critical
Publication of CN114026624B publication Critical patent/CN114026624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/247Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)

Abstract

本文中描述的示例实施方式涉及在车辆系统中集成远红外相机以基于对象的相对温度来检测对象。这种实施方式可以在例如与基于对象的形状对对象进行分类的分类系统配对时改善精度,因为形状和相对温度均可以用于确保分类是精确的。此外,示例实施方式可以使远红外相机与其它传感器系统同步,以确定对象的距离、能量和绝对温度,这也可以用于增强分类。然后,这种类别可以被提供到高级驾驶员辅助系统(ADAS),ADAS可以根据对象类别来控制车辆系统。

Description

通过远红外相机识别对象
技术领域
本公开总体上涉及一种车辆驾驶控制装置,并且更具体地涉及一种用于根据对象的相对温度来确定类别的对象识别装置。
背景技术
在相关技术中,对象识别系统和方法被配置为基于在可见光相机上反射的对象的颜色或对比度来识别对象。这种对象识别系统和方法可以根据对象的形状来判断对象的类别。
然而,在相关技术中,可能难以根据对象的部分的形状(例如,如果对象被另一对象或被图像干扰/噪声而遮挡)来判断类别。另外,对各个图像帧进行的识别往往具有低可靠性。需要多帧图像来获得足够的可靠性,因此相关技术的识别技术在不引起严重延迟的情况下找到对象的方面存在问题。
另外,来自可见光相机的图像可能受到直射阳光和迎面而来的车辆的前灯的影响,这降低了利用可见光相机的系统和方法的识别率。此外,当使用涉及比可见光相机更小数量的像素的远红外相机时,与可见光相机相比,对象的距离精度更差。
发明内容
技术问题
本文中描述的示例实施方式涉及通过利用远红外相机或将其与常规感测一起使用来改善对象的识别率、识别速度和距离精度的系统和方法。
解决问题的技术方案
在第一示例实施方式中,根据对象的形状来判断对象的类别,其中,类别与根据测量对象的相对温度而确定的相对温度区域有关。因此,当另一对象的相对温度和先前与类别相关联的相对温度区域一致时,可以由此改善用于确定相同类别的对象的可靠性。
在第二示例实施方式中,本文中描述的系统和方法通过重叠来自同步的远红外(FIR)相机的相对温度图像以及立体相机距离图像和没有视差的彩色图像,用立体相机的距离图像来提取由FIR相机的相对温度图像分组的对象的距离。通过将与立体相机同步的FIR相机的相对温度图像与立体相机的距离和彩色图像重叠,将对象的距离与FIR相机的相对温度图像分组,从而可以由立体相机的距离图像来检测。
在第三示例实施方式中,安装FIR相机(FIR-F)以便占据车体的一部分,并且通过用温度计测量所拍摄的车体的温度并且将绝对温度与FIR相机(FIR-F)的相对温度相匹配,将FIR相机(FIR-F)的相对温度信息转换为绝对温度信息。当安装FIR相机(FIR-R)使得FIR相机(FIR-F)图像的一部分与FIR相机(FIR-R)的图像重叠时,通过将FIR相机(FIR-F)的绝对温度与FIR相机(FIR-R)的相对温度相匹配,将FIR相机(FIR-R)的相对温度信息转换为绝对温度信息。
在第四示例实施方式中,当具有关于对象的距离和绝对温度的信息时,可以根据关系表达式“E=δT^4*4πR^2”获得由对象在一秒内释放的能量。准备对象的能量范围和类别预先相关的表,并且当目标对象的能量在与每个类别相关联的能量范围内时改善对象的可靠性。
在第五示例实施方式中,当指定目标对象的类别时,可以根据表获得对象的能量范围。当目标对象的绝对温度已知时,可以根据关系表达式获得距离的范围。
本公开的方面可以涉及车辆系统,该车辆系统涉及一个或多个远红外(FIR)相机;以及处理器,该处理器被配置为对于从一个或多个FIR相机的一个或多个图像检测到的第一对象进行对象分类,以基于第一对象的形状对第一对象进行分类;确定第一对象的相对温度范围;将第一对象的相对温度范围关联到第一对象的类别;以及对于从一个或多个FIR相机的一个或多个图像检测到的具有第一对象的相对温度范围的第二对象,将第二对象识别为具有第一对象的类别。
本公开的方面进一步包括计算机程序,该计算机程序存储用于执行用于具有一个或多个远红外(FIR)相机的车辆系统的过程的指令,该指令涉及对从一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类;以及对于从一个或多个FIR相机的一个或多个图像检测到的具有与第一对象一致的相对温度范围的第二对象,将第二对象识别为具有第一对象的类别。该指令可以被并入到非暂时性计算机可读介质中。
本公开的方面进一步包括用于具有一个或多个远红外(FIR)相机的车辆系统的方法,该方法涉及对从一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类;以及对于从一个或多个FIR相机的一个或多个图像检测到的具有与第一对象一致的相对温度范围的第二对象,将第二对象识别为具有第一对象的类别。该指令可以被并入到非暂时性计算机可读介质中。
本发明的有益效果
通过本文中描述的示例实施方式,可以在车辆系统中更可靠和精确地实施对象识别和检测,这有助于高级驾驶员辅助系统(ADAS)。
附图说明
图1示出了根据示例实施方式的设置有车辆控制设备的车辆的示例示意性配置。
图2(a)示出了根据示例实施方式的车辆的控制单元的示例过程和操作。
图2(b)示出了根据示例实施方式的车辆的控制单元的示例过程和操作。
图2(c)示出了根据示例实施方式的每个对象类别的相位关系的示例。
图3示出了根据示例实施方式的由车辆系统的控制单元进行的对象识别处理的流程图。
图4示出了根据示例实施方式的重叠图像的示例过程。
图5示出了根据示例实施方式的应用于对象的类别的可见光可靠性、形状可靠性和温度可靠性的示例。
图6示出了根据示例实施方式的在车辆系统中执行对象识别处理的示例。
图7示出了根据示例实施方式的检测示例。
图8示出了根据示例实施方式的用于基于目标对象的能量进行对象分类的示例流程图。
图9示出了根据示例实施方式的用于通过使用能量和温度来确定对象与车辆之间的距离的示例流程图。
具体实施方式
下面的详细描述提供了本申请的附图和示例实施方式的进一步细节。为了清楚起见,在附图之间省略了冗余元件的附图标记和描述。在整个说明书中使用的术语是作为示例提供的,而不是为了限制。例如,取决于实践本申请的实施方式的本领域普通技术人员的期望实施方式,术语“自动”的使用可能涉及全自动或半自动的实施方式,该实施方式涉及用户或管理员对实施方式的某些方面的控制。可以由用户通过用户界面或其它输入装置来进行选择,或者可以通过期望的算法来实施选择。可以单独地或组合地利用如本文中描述的示例实施方式,并且可以根据期望的实施方式通过任何装置来实施示例实施方式的功能。
图1示出了根据示例实施方式的设置有车辆控制设备的车辆形式的车辆系统的示意性配置。在图1的示例中,车辆是具有包括作为动力源的发动机1、作为驱动系统的自动变速器2、传动轴3、差速齿轮4和驱动轴5的一般配置的后轮驱动车辆,并且涉及由驱动车轮6的发动机1驱动的驱动轮。
一个或多个立体相机7以及一个或多个远红外相机13被附接到车辆的前部,并且这些传感器根据期望的实施方式来计算前方车辆、行人、车道、障碍物、迎面而来的车辆等的位置和相对速度。然而,取决于期望的实施方式,代替立体相机7或者除了立体相机7之外,也可以通过使用外部识别传感器来进行距离测量,诸如光检测和测距(LiDAR)、声纳、雷达或单目相机。
电子控制的制动系统11是能够控制分别施加到车轮的各个制动力的液压制动系统。电子控制的制动系统响应于向车辆施加偏航力矩的转向请求而向右轮或左轮施加制动力。
车辆设置有用于测量指示车辆的运行状况的参数值的运行参数测量单元,该运行参数测量单元可以包括车轮速度测量设备9和车辆行为测量设备10。由那些设备提供的信号被发送到控制单元8。车辆行为测量设备10测量纵向加速度、横向加速度和偏航率。
车辆设置有信息输出单元12。信息输出单元12根据驾驶支持操作的类型来显示图像、生成声音以及打开表示关于支持操作的信息的警示灯。信息输出单元12例如是设置有内置扬声器的监视器。多个信息输出单元可以安装在车辆中。
控制单元8可以是诸如现场可编程门阵列(FPGA)的专用硬件、诸如中央处理单元(CPU)的硬件处理器、和/或硬件和软件处理器的组合的形式。如本文中将要描述的,如图2(a)和2(b)所示,控制单元8被配置为对从一个或多个远红外(FIR)相机7的一个或多个图像检测到的第一对象进行分类;以及对于从一个或多个FIR相机的一个或多个图像检测到的具有与第一对象一致的相对温度范围的第二对象,将第二对象识别为具有第一对象的类别。
在示例实施方式中,并且如本文中将要描述的,如图3所示,控制单元8可以被配置为通过基于第一对象的形状对从一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类,来对从一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类;确定第一对象的相对温度范围;以及将第一对象的相对温度范围与第一对象的类别相关联。
在示例实施方式中,并且如本文中将要描述的,如图3-5所示,车辆系统还可以涉及被配置为提供图像信息和距离信息的附加传感器系统,其中,控制单元8被配置为使FIR相机7的一个或多个图像与来自传感器系统的图像信息和距离信息同步,以及基于图像信息和距离信息对第一对象进行分类。根据期望的实施方式,这种传感器系统可以包括但是不限于立体相机、LiDAR、声纳、雷达或单目相机。
在示例实施方式中,并且如本文中将要描述的,还可以存在被配置为测量车辆系统附近的点的温度的温度计。在这种示例实施方式中,控制单元8被配置为基于车辆系统附近的点的温度和第一对象的相对温度范围来确定第一对象的绝对温度范围。如图6-9所示,对于从一个或多个FIR相机的一个或多个图像检测到的第二对象,控制单元8被配置为处理来自一个或多个FIR相机中的多个FIR相机的一个或多个图像中的重叠图像;基于车辆系统附近的点的温度和第二对象的相对温度范围,将第二对象的相对温度范围转换为第二对象的绝对温度范围;以及对于具有第一对象的绝对温度范围的第二对象,将第二对象识别为具有第一对象的类别。取决于期望的实施方式,温度计可以测量要被用作参考点的附近的点(例如,在车辆系统上或附近)。例如,取决于传感器的布置,温度计可以被配置为测量车辆系统的阀帽、侧镜、门把手或后备箱的温度,因此当相对于这种温度点生成相对温度读数时,传感器和FIR相机可以使用其中测量的温度作为参考点。在另一示例实施方式中,如果存在传感器和FIR相机拍摄不利用车辆系统附近的点来确定绝对温度的图像,则可以使用附加传感器或相机来测量车辆系统附近的点,并且由此可以使用那些附加传感器/相机与其它传感器和相机之间的重叠图像来确定绝对温度。
在示例实施方式中,并且如本文中将要描述的,如图8所示,控制单元8可以被配置为基于温度和到第一对象的距离来确定第一对象的能量;基于能量对从一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类;以及对于从一个或多个FIR相机的一个或多个图像检测到的具有与第一对象一致的相对温度范围并且在第一对象的能量范围内的第二对象,将第二对象识别为具有第一对象的类别。
在示例实施方式中,并且如本文中将要描述的,如图9所示,控制单元8可以被配置为基于第一对象的类别来确定第二对象的能量范围;以及基于第二对象的能量范围和相对温度范围来确定到第二对象的距离范围。
在示例实施方式中,并且如本文中将要描述的,如图2(a)至2(c)所示,控制单元8可以进一步被配置为,对于从一个或多个FIR相机的一个或多个图像检测到的不具有与第一对象一致的相对温度范围的第二对象,基于与先前检测到的对象的相对温度范围相比的相对温度范围来识别第二对象。
因为本文中描述的示例实施方式利用温度范围,结合来自用于对象检测的其它传感器的重叠图像,对象检测和分类可以由此相对于仅使用视觉图像的系统得到改善。取决于期望的实施方式,车辆系统还可以涉及高级驾驶员辅助系统(ADAS),ADAS被配置为根据从控制单元8提供的第一对象和第二对象的类别来控制车辆系统。例如,如果检测到的对象是被确定为在阈值内的距离处的行人或动物,则ADAS系统可以使得车辆系统减速。
这里示出的车辆是可以应用示例实施方式的车辆的示例,然而,本公开不限于此,并且可以根据期望的实施方式来利用任何车辆配置。例如,代替作为动力源的发动机,可以提供马达、或者发动机和马达作为动力源。
接下来,将描述该车辆控制设备的对象识别处理的内容。图2(a)和2(b)示出了根据示例实施方式的车辆的控制单元的示例过程和操作。具体地,图2(a)示出了根据图2(b)中概述的过程被处理用于对象识别的示例远红外图像。图2(b)的流程图示出了控制单元8的操作,并且其以预定的时间间隔重复执行。
在S11,执行识别过程以通过远红外相机通过形状来识别对象。如果使用远红外相机的图像,对象O1的形状置信因子Rs0o1大于任意阈值Rths0c1,则对象O1被确定为类别C1。
条件1:Rs0o1>Rths0c1
此时,因为对应于类别C1的相对温度是未知的,所以相对温度确定因子Rt0是0。然后,测量识别出的对象O1的相对温度的最大值T'max和T'min。
在S12,控制单元确定对象的相对温度范围。对应于对象O1的类别C1的相对温度偏移T'omaxc 1和T'ominc 1从对应于预先准备的每种类型的相对温度偏移的表1(如下面所示)获得,并且相对温度带t'c1被设置为条件2。
[表1]
C1 C2 C3
T’omax T’omaxc1 T’omaxc2 T’omaxc3
T’omin T’ominc1 T’ominc2 T’ominc3
表1
条件2:T’min+T”c1omin<t’c1<T’max+T’c1omax
在S13,从远红外相机的图像分组对应于温度宽度t'c1的像素组,并且当该区域中的对象O2的相对温度确定因子Rt0o2大于任意阈值Rtht0时,对象O2被分类为C1对象。
条件3:Rt0o2>Rtht0c1
对于Rs和Rtht,存在如图2(c)所示的用于每个类别的相位关系,对应于Rs的Rtht可以从表2(下面所示)获得,表2是图2(c)的数据,并且当建立了用于每个类别的条件1时,已经识别了对象。
条件4:(Rs>Rths)&(Rt>Rtht)
因此,不仅可以根据形状而且可以根据相对温度来确定对象的类型,从而改善对象识别可靠性。
[表2]
Rs(%) 0 Rths0
Rtht(%) Rtht0 0
表2
接下来,将描述该车辆控制设备的对象识别处理的内容。图3示出了根据示例实施方式的由车辆系统的控制单元进行的对象识别处理的流程图。图3的流程图示出了控制单元8的操作,并且其以预定的时间间隔重复执行。
在S21,重叠接收到的图像。在示例实施方式中,立体相机7的可见光图像和远红外相机13的距离图像、相对温度图像被叠加。重叠过程的示例在图4中示出。如图4所示,在401,从立体相机7和远红外相机13接收到的图像被同步,其中,彩色图像(例如,可见光图像)、距离图像和相对温度图像可以被同步(例如,基于时间戳)。如图4所示,在402,基于图像的时间戳,图像被重叠以形成合成图像。
在S22,该过程基于可见光图像来计算对象识别的可靠性。因此,基于可见光图像的信息,计算目标对象O3的可见光确定因子Rvo3。
在S23,该过程基于相对温度图像来计算对象识别的可靠性。因此,基于相对温度图像的信息,计算目标对象O3的形状置信因子Rso3和相对温度确定因子Rto3。图5示出了根据示例实施方式的应用于对象的类别的可见光可靠性、形状可靠性和温度可靠性的示例。
在S24,比较可见光确定因子Rvo3是否大于阈值Rvthc2,阈值Rvthc2是根据期望的实施方式设置的。如果是(是),则该过程进行到S27,其中,对象被识别为类别C2。
条件5:Rvo3>Rvthc2
否则(否),该过程进行到S25,其中,确定形状置信因子Rso3是否大于Rsthc2以及相对温度确定因子Rto3是否大于Rtthc2。如果是(是),则该过程进行到S27,其中,以目标对象O3作为类别C2来进行对象识别。
条件6:(Rso3>Rsthc2)&(Rto3>Rtthc2)
否则(否),该过程进行到S26,其中,确定可见光确定因子Rvo3是否大于如根据期望的实施方式设置的阈值R'vthc2,以及形状置信因子Rso3是否大于R'sthc2,以及相对温度确定因子Rto3是否大于R'tthc2。如果是(是),则该过程进行到S27,其中,目标对象O3被识别为类别C2。否则(否),不能进行识别,因为系统无法识别对象,并且该过程结束。
在S28,进行基于距离图像来计算对象的距离的过程。因此,,进行对象分类,从而可以知道车辆与对象之间的距离。
接下来,将描述该车辆控制设备的对象识别处理的内容。图6示出了根据示例实施方式的在车辆系统中执行对象识别处理的示例。图6的流程图示出了控制单元8的操作,并且其以预定的时间间隔重复执行。图6的流程参考如图7所示的检测示例进行。
在S31,使用安装在车辆上的温度计来测量图7中的点A的绝对温度Ta。在S32,如图7所示,使用远红外相机(FIR-F)来测量点A的相对温度T'fa和点B的相对温度T'fb。在S33,使用远红外相机(FIR-R)来测量点B的相对温度T'ra和点B的相对温度T'rb。
在S34,根据下面的等式1来计算点B的绝对温度Tb。
[数学式1]等式1:Tb=Ta-(T’fa–T’fb)
在S35,根据下面的等式2来计算点C的绝对温度Tc。
[数学式2]等式2:Tc=Tb–(T’rb–T’rc)
因此,不仅通过形状和相对温度而且通过绝对温度来判断类型变得可能,使得改善对象识别的可靠性。
图8示出了根据示例实施方式的用于基于目标对象的能量进行对象分类的示例流程图。图8的流程图示出了控制单元8的操作,并且其以预定的时间间隔重复执行。
在S41,根据下面的等式3来计算目标对象O4的能量。
数学式3
Figure BDA0003420752510000091
在S42,对象O4的类别Co4从表3(下面)确定,表3描述了对应于对象的类别的能量的范围。
[表3]
能量 Ec1min–Ec1max Ec2min–Ec2max
类别 C1 C2
表3
通过这种示例实施方式,因此不仅通过形状和温度而且通过其能量来确定对象的类型变得可能,使得改善对象识别的可靠性。
图9示出了根据示例实施方式的用于通过使用能量和温度来确定对象与车辆之间的距离的示例流程图。图9的流程图示出了控制单元8的操作,并且其以预定的时间间隔重复执行。
在S51,对应于对象O5的类型Co5的能量从表4(下面)确定,以确定对象O5的能量Eo5。或者如果过去已经测量了对象O5的能量,则可以利用该值。
[表4]
类别 C1 C2
能量 Ec1ave Ec2ave
表4
在S52,如果假设对象O5的类型是C1,则将Ec1ave输入到等式4(下面)的E,并且将对象O5的绝对温度To5输入到T,以计算对象O5的距离Ro5。
数学式4
Figure BDA0003420752510000101
因此,即使当仅已知目标对象的绝对温度和能量或类型时,也可以计算距离,并且改善距离的精度。
详细描述的一些部分是根据计算机内的操作的算法和符号表示来呈现的。这些算法描述和符号表示是数据处理领域的技术人员用来将他们创新的实质传达给本领域其他技术人员的手段。算法是导致期望的最终状态或结果的一系列定义的步骤。在示例实施方式中,执行的步骤需要有形量的物理操纵以用于实现有形结果。
除非另外具体说明,否则如从讨论中显而易见的,应该理解,在整个描述中,利用诸如“处理”、“计算”、“算”、“确定”、“显示”等的术语的讨论,可以包括计算机系统或其它信息处理设备的动作和过程,该计算机系统或其它信息处理设备将被表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵并且变换为类似地被表示为计算机系统的存储器或寄存器或者其它信息存储、传输或显示设备内的物理量的其它数据。
示例实施方式还可以涉及用于进行本文中的操作的装置。该装置可以针对所需的目的专门构造,或者它可以包括一个或多个通用计算机,该一个或多个通用计算机由一个或多个计算机程序选择性地激活或重新配置。这种计算机程序可以存储在计算机可读介质中,诸如计算机可读存储介质或计算机可读信号介质。计算机可读存储介质可以涉及有形介质,诸如但是不限于光盘、磁盘、只读存储器、随机存取存储器、固态设备和驱动器或者适于存储电子信息的任何其它类型的有形或非暂时性介质。计算机可读信号介质可以包括诸如载波的介质。本文中呈现的算法和显示并非固有地与任何特定计算机或其它装置有关。计算机程序可以涉及纯软件实施方式,该纯软件实施方式涉及进行期望的实施方式的操作的指令。
根据本文中的示例,各种通用系统可以与程序和模块一起使用,或者可以证明构造更专用的装置来进行期望的方法步骤是方便的。另外,示例实施方式没有参考任何特定的编程语言来描述。将要理解的是,可以使用各种编程语言来实施如本文中描述的示例实施方式的教导。编程语言的指令可以由一个或多个处理设备来执行,例如,中央处理单元(CPU)、处理器或控制器。
如本领域已知的,上面描述的操作可以由硬件、软件或者软件和硬件的某个组合来进行。示例实施方式的各个方面可以使用电路和逻辑设备(硬件)来实施,而其它方面可以使用存储在机器可读介质上的指令(软件)来实施,该指令如果由处理器来执行,则将使得处理器进行实施本申请的实施方式的方法。此外,本申请的一些示例实施方式可以仅以硬件进行,而其它示例实施方式可以仅以软件进行。此外,描述的各个功能可以在单个单元中进行,或者可以以多个方式遍布数个组件。当由软件进行时,方法可以由处理器(诸如通用计算机)基于存储在计算机可读介质上的指令来执行。如果需要,指令可以以压缩和/或加密的格式存储在介质上。
此外,考虑到说明书和本申请的教导的实践,本申请的其它实施方式对于本领域技术人员将是显而易见的。描述的示例实施方式的各个方面和/或组件可以单独使用或以任何组合使用。说明书和示例实施方式旨在仅被考虑为示例,本申请的真实范围和精神由以下权利要求书指示。

Claims (15)

1.一种车辆系统,其特征在于,包括:
一个或多个远红外(FIR)相机;以及
处理器,所述处理器被配置为:
对从所述一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类;以及
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的具有与所述第一对象一致的相对温度范围的第二对象,将所述第二对象识别为具有所述第一对象的类别。
2.根据权利要求1所述的车辆系统,其特征在于,所述处理器被配置为通过以下步骤对从所述一个或多个FIR相机的所述一个或多个图像检测到的所述第一对象进行分类:
基于所述第一对象的形状,对从所述一个或多个FIR相机的所述一个或多个图像检测到的所述第一对象进行分类;
确定所述第一对象的相对温度范围;以及
将所述第一对象的所述相对温度范围与所述第一对象的所述类别相关联。
3.根据权利要求1所述的车辆系统,其特征在于,进一步包括传感器系统,所述传感器系统被配置为提供图像信息和距离信息,其中,所述处理器被配置为使所述FIR相机的所述一个或多个图像与来自所述传感器系统的所述图像信息和所述距离信息同步,以及基于所述图像信息和所述距离信息对所述第一对象进行分类。
4.根据权利要求1所述的车辆系统,其特征在于,进一步包括温度计,所述温度计被配置为测量所述车辆系统附近的点的温度,其中,所述处理器被配置为:
基于所述车辆系统附近的所述点的所述温度和所述第一对象的所述相对温度范围来确定所述第一对象的绝对温度范围;
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的所述第二对象:
处理来自所述一个或多个FIR相机中的多个FIR相机的所述一个或多个图像中的重叠图像;
基于所述车辆系统附近的所述点的所述温度和所述第二对象的所述相对温度范围,将所述第二对象的所述相对温度范围转换为所述第二对象的绝对温度范围;以及
对于具有所述第一对象的所述绝对温度范围的所述第二对象,将所述第二对象识别为具有所述第一对象的所述类别。
5.根据权利要求1所述的车辆系统,其特征在于,所述处理器进一步被配置为:
基于温度和到所述第一对象的距离来确定所述第一对象的能量;
基于所述能量对从所述一个或多个FIR相机的一个或多个图像检测到的所述第一对象进行分类;以及
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的具有与所述第一对象一致的相对温度范围并且在所述第一对象的能量范围内的所述第二对象,将所述第二对象识别为具有所述第一对象的所述类别。
6.根据权利要求1所述的车辆系统,其特征在于,所述处理器被配置为:
基于所述第一对象的所述类别来确定所述第二对象的能量范围;以及
基于所述第二对象的所述能量范围和所述相对温度范围来确定到所述第二对象的距离范围。
7.根据权利要求1所述的车辆系统,其特征在于,进一步包括高级驾驶员辅助系统(ADAS),所述ADAS被配置为根据所述第一对象和所述第二对象的所述类别来控制所述车辆系统。
8.根据权利要求1所述的车辆系统,其特征在于,所述处理器进一步被配置为:
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的不具有与所述第一对象一致的所述相对温度范围的所述第二对象,基于与先前检测到的对象的相对温度范围相比的所述相对温度范围来识别所述第二对象。
9.一种非暂时性计算机可读介质,其特征在于,所述非暂时性计算机可读介质存储用于执行用于车辆系统的过程的指令,所述车辆系统包括一个或多个远红外(FIR)相机,所述指令包括:
对从所述一个或多个FIR相机的一个或多个图像检测到的第一对象进行分类;以及
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的具有与所述第一对象一致的相对温度范围的第二对象,将所述第二对象识别为具有所述第一对象的类别。
10.根据权利要求9所述的非暂时性计算机可读介质,其特征在于,对从所述一个或多个FIR相机的所述一个或多个图像检测到的所述第一对象进行分类包括:
基于所述第一对象的形状,对从所述一个或多个FIR相机的所述一个或多个图像检测到的所述第一对象进行分类;
确定所述第一对象的相对温度范围;以及
将所述第一对象的所述相对温度范围与所述第一对象的所述类别相关联。
11.根据权利要求9所述的非暂时性计算机可读介质,其特征在于,所述车辆系统进一步包括传感器系统,所述传感器系统被配置为提供图像信息和距离信息,其中,所述指令进一步包括使所述FIR相机的所述一个或多个图像与来自所述传感器系统的所述图像信息和所述距离信息同步,以及基于所述图像信息和所述距离信息对所述第一对象进行分类。
12.根据权利要求9所述的非暂时性计算机可读介质,其特征在于,所述车辆系统进一步包括温度计,所述温度计被配置为测量所述车辆系统附近的点的温度,所述指令进一步包括:
基于所述车辆系统附近的所述点的所述温度和所述第一对象的所述相对温度范围来确定所述第一对象的绝对温度范围;
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的所述第二对象:
处理来自所述一个或多个FIR相机中的多个FIR相机的所述一个或多个图像中的重叠图像;
基于所述车辆系统附近的所述点的所述温度和所述第二对象的所述相对温度范围,将所述第二对象的所述相对温度范围转换为所述第二对象的绝对温度范围;以及
对于具有所述第一对象的所述绝对温度范围的所述第二对象,将所述第二对象识别为具有所述第一对象的所述类别。
13.根据权利要求9所述的非暂时性计算机可读介质,其特征在于,所述指令进一步包括:
基于温度和到所述第一对象的距离来确定所述第一对象的能量;
基于所述能量对从所述一个或多个FIR相机的一个或多个图像检测到的所述第一对象进行分类;以及
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的具有与所述第一对象一致的相对温度范围并且在所述第一对象的能量范围内的所述第二对象,将所述第二对象识别为具有所述第一对象的所述类别。
14.根据权利要求9所述的非暂时性计算机可读介质,其特征在于,所述指令进一步包括:
基于所述第一对象的所述类别来确定所述第二对象的能量范围;以及
基于所述第二对象的所述能量范围和所述相对温度范围来确定到所述第二对象的距离范围。
15.根据权利要求9所述的非暂时性计算机可读介质,其特征在于,所述指令进一步包括:
对于从所述一个或多个FIR相机的所述一个或多个图像检测到的不具有与所述第一对象一致的所述相对温度范围的所述第二对象,基于与先前检测到的对象的相对温度范围相比的所述相对温度范围来识别所述第二对象。
CN202080045112.2A 2019-07-03 2020-04-16 通过远红外相机识别对象 Active CN114026624B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/503,287 US11023743B2 (en) 2019-07-03 2019-07-03 Object recognition by far infrared camera
US16/503,287 2019-07-03
PCT/JP2020/016724 WO2021002083A1 (en) 2019-07-03 2020-04-16 Object recognition by far infrared camera

Publications (2)

Publication Number Publication Date
CN114026624A true CN114026624A (zh) 2022-02-08
CN114026624B CN114026624B (zh) 2023-09-29

Family

ID=74066455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045112.2A Active CN114026624B (zh) 2019-07-03 2020-04-16 通过远红外相机识别对象

Country Status (5)

Country Link
US (2) US11023743B2 (zh)
JP (1) JP7204958B2 (zh)
CN (1) CN114026624B (zh)
DE (1) DE112020002524T5 (zh)
WO (1) WO2021002083A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949679B2 (en) * 2017-09-28 2021-03-16 Apple Inc. Nighttime sensing
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289275A (en) * 1991-07-12 1994-02-22 Hochiki Kabushiki Kaisha Surveillance monitor system using image processing for monitoring fires and thefts
JPH10108301A (ja) * 1996-09-30 1998-04-24 Nissan Motor Co Ltd 電気自動車の走行可能距離算出方法
JP2005115618A (ja) * 2003-10-07 2005-04-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2006177726A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
TW200840541A (en) * 2007-04-09 2008-10-16 Avita Corp Non-contact temperature-measuring device and the method thereof
US20100052885A1 (en) * 2006-11-10 2010-03-04 Mattias Hanqvist Object detection system
EP2230496A1 (en) * 2009-03-16 2010-09-22 Autoliv Development AB Method and system for automatically detecting objects in front of a motor vehicle
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム
US20130110331A1 (en) * 2011-10-28 2013-05-02 GM Global Technology Operations LLC Range estimation for a rechargeable energy storage system of a vehicle
CN103168211A (zh) * 2010-10-13 2013-06-19 奥迪股份公司 用于求得机动车有效距离的方法
CN203136029U (zh) * 2013-03-29 2013-08-14 张南峰 一种车载红外夜视成像系统
JP2014130152A (ja) * 2014-02-13 2014-07-10 Mitsubishi Electric Corp 地図表示装置、ナビゲーション装置および地図表示方法
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US20160063771A1 (en) * 2014-08-28 2016-03-03 Ford Global Technologies, Llc Distance to empty energy compensation
CN105829845A (zh) * 2013-12-20 2016-08-03 莱尼电缆控股有限公司 用于温度测量的测量装置和方法以及用于这种测量装置的传感器缆线
CN205450630U (zh) * 2016-01-04 2016-08-10 天津普正动力科技有限公司 一种混合动力汽车车载信息系统
US20160313187A1 (en) * 2015-04-24 2016-10-27 JVC Kenwood Corporation Estimation device that estimates surrounding environment and estimation system
US20160350601A1 (en) * 2015-06-01 2016-12-01 Brightway Vision Ltd. Image enhancements for vehicle imaging systems
CN106551679A (zh) * 2016-11-01 2017-04-05 珠海格力电器股份有限公司 一种移动终端及基于移动终端的测温方法
CN107531217A (zh) * 2015-05-12 2018-01-02 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
US20180239055A1 (en) * 2017-02-23 2018-08-23 Qualcomm Incorporated Foreign object detection using infrared sensing
KR20180096102A (ko) * 2017-02-20 2018-08-29 엘아이지넥스원 주식회사 적외선 센서를 이용한 표적 정보 획득 장치 및 방법
WO2019111464A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 画像処理装置及び画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7828478B2 (en) * 2004-09-29 2010-11-09 Delphi Technologies, Inc. Apparatus and method for thermal detection
JP2009301494A (ja) 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
JP2010020557A (ja) 2008-07-10 2010-01-28 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
JP7188394B2 (ja) 2017-10-02 2022-12-13 ソニーグループ株式会社 画像処理装置及び画像処理方法
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289275A (en) * 1991-07-12 1994-02-22 Hochiki Kabushiki Kaisha Surveillance monitor system using image processing for monitoring fires and thefts
JPH10108301A (ja) * 1996-09-30 1998-04-24 Nissan Motor Co Ltd 電気自動車の走行可能距離算出方法
JP2005115618A (ja) * 2003-10-07 2005-04-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2006177726A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US20100052885A1 (en) * 2006-11-10 2010-03-04 Mattias Hanqvist Object detection system
TW200840541A (en) * 2007-04-09 2008-10-16 Avita Corp Non-contact temperature-measuring device and the method thereof
EP2230496A1 (en) * 2009-03-16 2010-09-22 Autoliv Development AB Method and system for automatically detecting objects in front of a motor vehicle
CN103168211A (zh) * 2010-10-13 2013-06-19 奥迪股份公司 用于求得机动车有效距离的方法
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム
US20130110331A1 (en) * 2011-10-28 2013-05-02 GM Global Technology Operations LLC Range estimation for a rechargeable energy storage system of a vehicle
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
CN203136029U (zh) * 2013-03-29 2013-08-14 张南峰 一种车载红外夜视成像系统
CN105829845A (zh) * 2013-12-20 2016-08-03 莱尼电缆控股有限公司 用于温度测量的测量装置和方法以及用于这种测量装置的传感器缆线
JP2014130152A (ja) * 2014-02-13 2014-07-10 Mitsubishi Electric Corp 地図表示装置、ナビゲーション装置および地図表示方法
US20160063771A1 (en) * 2014-08-28 2016-03-03 Ford Global Technologies, Llc Distance to empty energy compensation
US20160313187A1 (en) * 2015-04-24 2016-10-27 JVC Kenwood Corporation Estimation device that estimates surrounding environment and estimation system
CN107531217A (zh) * 2015-05-12 2018-01-02 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
US20160350601A1 (en) * 2015-06-01 2016-12-01 Brightway Vision Ltd. Image enhancements for vehicle imaging systems
CN205450630U (zh) * 2016-01-04 2016-08-10 天津普正动力科技有限公司 一种混合动力汽车车载信息系统
CN106551679A (zh) * 2016-11-01 2017-04-05 珠海格力电器股份有限公司 一种移动终端及基于移动终端的测温方法
KR20180096102A (ko) * 2017-02-20 2018-08-29 엘아이지넥스원 주식회사 적외선 센서를 이용한 표적 정보 획득 장치 및 방법
US20180239055A1 (en) * 2017-02-23 2018-08-23 Qualcomm Incorporated Foreign object detection using infrared sensing
WO2019111464A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CN114026624B (zh) 2023-09-29
JP2022536423A (ja) 2022-08-16
DE112020002524T5 (de) 2022-03-24
US11023743B2 (en) 2021-06-01
US20210004609A1 (en) 2021-01-07
US12002278B2 (en) 2024-06-04
US20220366699A1 (en) 2022-11-17
JP7204958B2 (ja) 2023-01-16
WO2021002083A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
Zaarane et al. Distance measurement system for autonomous vehicles using stereo camera
EP3327618B1 (en) Method and apparatus to control velocity of vehicle
CN108025644B (zh) 车辆用显示装置以及车辆用显示方法
US20200349365A1 (en) Direct vehicle detection as 3d bounding boxes using neural network image processing
US11279282B2 (en) Methods and systems for aligning a vehicle with a trailer
EP2787496B1 (en) Object detection device
EP2642429A2 (en) Multi-lens camera system and range-finding method executed by the multi-lens camera system
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US9778352B2 (en) Object recognition apparatus
US11003924B2 (en) System and method for detecting close cut-in vehicle based on free space signal
CN107004360A (zh) 车辆雷达方法和系统
CN103368527B (zh) 用于传感器数据的滤波方法和滤波设备
WO2019009110A1 (ja) 車両用外界認識装置
CN114026624B (zh) 通过远红外相机识别对象
US10209857B2 (en) Display control apparatus and display system
US20180162274A1 (en) Vehicle side-rear warning device and method using the same
US20180315240A1 (en) Driving support apparatus, driving support system, driving support method, and computer readable recording medium
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
KR20150091779A (ko) 다중 센서를 이용한 영상 처리 시스템
CN113361312A (zh) 检测对象的电子装置和方法
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
JP2013015411A (ja) 絶対速度推定装置
CN107924570A (zh) 用于机动车辆的视觉系统和控制视觉系统的方法
US10628920B2 (en) Generating a super-resolution depth-map
US20160090036A1 (en) Alert systems and methods using a transparent display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant