CN111164967A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN111164967A
CN111164967A CN201880062853.4A CN201880062853A CN111164967A CN 111164967 A CN111164967 A CN 111164967A CN 201880062853 A CN201880062853 A CN 201880062853A CN 111164967 A CN111164967 A CN 111164967A
Authority
CN
China
Prior art keywords
region
section
visible light
image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062853.4A
Other languages
English (en)
Other versions
CN111164967B (zh
Inventor
小柳津秀纪
伊藤厚史
上森丈士
青木卓
佐藤竜太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111164967A publication Critical patent/CN111164967A/zh
Application granted granted Critical
Publication of CN111164967B publication Critical patent/CN111164967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于处理远红外线图像的图像处理设备及图像处理方法。从同一特定对象的远红外线图像中提取特定温度区域，每个特定温度区域都包括具有在指示特定对象的特征的温度范围内的值的像素，通过对特定温度区域中具有接近的运动矢量的区域进行统合来生成统合区域，通过排除具有接近指示整个图像的运动的全局运动矢量的每个统合区域来获得经排除的统合区域，基于经排除的统合区域整体的运动矢量来校正通过从可见光图像中提取与经排除的统合区域内的特定温度区域相对应的可见光区域所获得的可见光运动区域的位置，并且此后合成可见光运动区域。

Description

图像处理设备和图像处理方法
技术领域
本说明书中公开的技术涉及用于处理远红外线图像的图像处理设备和图像处理方法。
背景技术
近年来，车辆驾驶技术得到了积极的发展。例如，已经开发了使用可见光摄像机和距离传感器来检测车辆前方的人或障碍物以便通过施加自动制动来避开这些障碍物的技术。显然，类似的技术可以用于估计本车辆与车辆侧面或后部的障碍物之间的碰撞可能性。
引文列表
专利文件
专利文献1：日本专利第5491242号
专利文献2：日本专利第4734884号
专利文献3：日本专利第3598793号
发明内容
待解决的问题
本说明书中公开的技术的目的是提供用于处理远红外线图像的图像处理设备和图像处理方法。
问题的解决方案
根据本说明书中公开的技术的第一方面，提供了一种图像处理设备，包括：矢量估计部分，被配置为从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；区域提取部分，被配置为从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；区域统合部分，被配置为统合所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；区域排除部分，被配置为排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且在从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及图像合成部分，被配置为基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
图像合成部分可以以可见光运动区域在画面上的位置在时间方向上保持不变的方式校正可见光运动区域的位置。此外，区域提取部分可以提取由包括例如人体温度的温度范围内的值的像素构成的特定温度区域。
图像处理设备，还可以包括检测部分，被配置为从由图像合成部分生成的合成图像中检测包括特定目标的区域。图像处理设备还可以包括运动估计部分，被配置为估计由检测部分所检测出的区域的运动。
此外，图像处理设备还可以包括比较部分，被配置为比较基于经排除的统合区域的运动矢量预测的在预定时间段之后特定目标的位置与在相同时刻运动体的预期到达位置之间的相对位置。图像处理设备还可以包括警告部分，其被配置为根据基于所述相对位置计算的所述特定目标与所述运动体之间碰撞的可能性，向所述运动体的驾驶员呈现碰撞风险。
此外，根据本说明书中公开的技术的第二方面，提供了一种图像处理方法，包括以下步骤：从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；统合对所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
本发明的有益效果
本说明书中公开的技术提供了一种用于处理远红外线图像的图像处理设备和图像处理方法。
本说明书中陈述的有益效果仅为示例性的，并且不是本发明的限制。此外，可以通过本发明的描述来获得额外的有益效果。
通过阅读以下参考附图对本技术的一些优选实施例的更详细的说明，本说明书中公开的技术的其他目的，特征和优点将变得显而易见。
附图说明
[图1]图1是描绘车辆控制系统100的示例性整体功能配置的框图。
[图2]图2是描绘图像处理设备200的示例性功能配置的图。
[图3]图3是描绘由可见光摄像机201拍摄的示例性可见光图像的图。
[图4]图4是描绘由远红外线照相机202拍摄的示例性远红外线图像的图。
[图5]图5是描绘从可见光图像估计的示例性全局运动矢量的图。
[图6]图6是描绘从远红外线图像提取的示例性人体温度区域的图。
[图7]图7是描绘指示增加了运动向量的人体温度区域的示例性远红外线图像的图。
[图8]图8是描绘对运动矢量彼此接近的人体温度区域进行统合得到的各个统合区域以及各个统合区域的运动矢量的图。
[图9]图9是描绘如何将统合区域的运动矢量与全局运动矢量进行比较的示例的图。
[图10]图10是描绘排除具有与全局运动矢量相似的运动矢量的统合区域的示例性结果的图。
[图11]图11是描绘示例性的经排除的统合区域及其运动矢量的图。
[图12]图12是描绘示例性可见光运动区域的图。
[图13]图13是描绘使用统合区域运动矢量的逆矢量来校正可见光运动区域的位置的示例的图。
[图14]图14是描绘将通过位置校正获得的多个帧图像合成为单个图像的示例性结果的图。
[图15]图15是描绘从图14中的合成图像提取的示例性人候选区域的图。
[图16]图16是描绘关于人候选区域估计的人候选区域运动向量1501的示例的图。
[图17]图17是描绘警告设备1600的示例性功能配置的图。
[图18]图18是描绘本车辆行驶比较部分1602如何判断碰撞可能性的示例的图。
[图19]图19是描绘与车辆平行地在人行道上行驶的自行车如何与在交通路口进行转弯的车辆碰撞的图。
[图20]图20是描绘通过使用用于观察相同目标的可见光图像和远红外线图像来检测对象的处理过程的流程图。
具体实施方式
以下，参照附图详细说明本说明书中公开的技术的实施方式。
图1是描绘作为本技术可以应用的示例性移动体控制系统的车辆控制系统100的示例性整体功能配置的框图。
在以下描述中，其中安装有车辆控制系统100的车辆将被称为本车辆，以便与其他车辆区分。
车辆控制系统100包括输入部分101、数据获取部分102、通信部分103、车载装置104、输出控制部分105、输出部分106、驱动系统控制部分107、驱动系统108、车体系统控制部分109、车体系统110、存储部分111和自动驾驶控制部分112。输入部分101、数据获取部分102、通信部分103、输出控制部分105、驱动系统控制部分107、车体系统控制部分109、存储部分111和自动驾驶控制部分112经由通信网络121彼此连接。通信网络121例如可以是CAN(控制器区域网络)、LIN(局域互联网络)、LAN(局域网)或车载通信网络和基于诸如FlexRay(注册商标)的适当协议的总线。车辆控制系统100的一些部件可以彼此直接连接，而不需要通信网络121的介入。
在以下描述中，在车辆控制系统100的部件经由通信网络121彼此通信的情况下，将省略对通信网络121的提及。例如，在输入部分101和自动驾驶控制部分112经由通信网络121彼此通信的情况下，将简单地陈述输入部分101和自动驾驶控制部分112彼此通信。
输入部分101包括由乘客用来输入各种数据和指令的装置。例如，输入部分101包括诸如触摸面板、按钮、麦克风、开关和控制杆的操作装置；以及允许诸如通过语音或通过手势的非手动输入的其它操作装置。作为另一示例，输入部分101可以是使用红外线或无线电波的遥控装置，或者是支持车辆控制系统100的操作的诸如移动装置或可穿戴装置的外部连接装置。输入部分101基于乘客输入的数据和指令产生输入信号，并将产生的信号提供给车辆控制系统100的部件。
数据获取部分102包括获取用于由车辆控制系统100进行的处理的数据的各种传感器。数据获取部分102将获取的数据提供给车辆控制系统100的部件。
例如，数据获取部分102包括用于检测本车辆的状态的各种传感器。具体地，数据获取部分102包括例如陀螺仪传感器、加速度传感器和惯性测量单元(IMU)以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、电动机转速和车轮转速的传感器。
作为另一个示例，数据获取部分102还包括用于检测与本车辆外部有关的信息的各种传感器。具体地，数据获取部分102包括例如拍摄设备，诸如ToF(飞行时间)相机、立体相机、单目相机、红外线相机和其他相机。作为另一个示例，数据获取部分102包括用于检测天气或气象条件的环境传感器，以及用于检测本车辆周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器和降雪传感器。周围信息检测传感器包括例如超声波传感器、雷达、LiDAR(光探测和测距、激光成像探测和测距)和声纳。
作为又一示例，数据获取部分102还包括用于检测本车辆的当前位置的各种传感器。具体地，数据获取部分102包括例如用于从GNSS卫星接收GNSS信号的GNSS(全球导航卫星系统)接收器。
作为另一个例子，数据获取部分102包括用于检测关于车辆内部的信息的各种传感器。具体地，数据获取部分102包括例如用于对驾驶员进行拍摄的拍摄设备、用于检测关于驾驶员的生物信息的生物传感器、以及用于收集来自车辆内部的声音的麦克风。生物传感器例如被附接到座椅表面或方向盘，以检测关于坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。
通信部分103与车载装置104以及与车辆外部的各种装置、服务器和基站通信。这样，通信部分103将从车辆控制系统100的部件提供的数据传输到外部，并将从外部接收的数据提供给车辆控制系统100的部件。注意，通信部分103所支持的通信协议不限于任何特定的协议，并且通信部分103能够支持多个通信协议。
例如，通信部分103通过无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与车载装置104无线通信。作为另一个示例，通信部分103可以经由未示出的连接端子(并且如果需要，通过电缆)、使用USB(通用串行总线)、HDMI(高清多媒体接口)、MHL(移动高清链路)等通过有线方式与车载装置104通信。
作为另一示例，通信部分103经由基站或接入点与存在于外部网络(例如，因特网、云网络或商业运营商的专有网络)上的装置(例如，应用服务器或控制服务器)通信。作为再一个示例，通信部分103使用P2P(点对点)技术与位于本车辆附近的终端(例如，由行人携带的终端、安装在商店中的终端、或者MTC(机器型通信)终端)进行通信。作为又一示例，通信部分103执行V2X通信，诸如车辆之间的通信(车辆到车辆)、车辆和道路之间的通信(车辆到基础设施)、本车辆和家庭之间的通信(车辆到家庭)、以及车辆和行人之间的通信(车辆到行人)。作为另一示例，通信部分103包括信标接收器，其从沿道路安装的无线站接收无线电波或电磁波，以便获取诸如当前位置、交通堵塞、交通规则和到达目的地的时间的信息。
车载装置104包括例如由乘客携带的移动装置或可穿戴装置、带入或安装在本车辆上的信息装置、以及用于搜索到期望目的地的路线的导航装置。
输出控制部分105控制关于本车辆中的乘客或关于车辆外部的各种信息的输出。例如，输出控制部分105产生至少包括视觉信息(例如，图像数据)或音频信息(例如，声音数据)的输出信号，并将所产生的信号输出到输出部分106，以便控制来自输出部分106的视觉和音频信息的输出。具体地，输出控制部分105例如将数据获取部分102中的不同摄像设备所拍摄的图像数据合成为鸟瞰视图图像或全景图像，并且将包括所生成的图像的输出信号提供给输出部分106。作为另一示例，输出控制部分105生成包括警告碰撞风险、意外接触风险或进入危险区域的警告声音或警告消息的声音数据，并将包括所生成的声音数据的输出信号提供给输出部分106。
输出部分106包括能够向本车辆中的乘客或向车辆外部输出视觉或音频信息的装置。例如，输出部分106包括显示设备、仪表板、音频扬声器、耳机、诸如乘客佩戴的眼镜型显示器的可佩戴装置、投影仪和灯。除了是普通显示设备之外，包括在输出部分106中的显示设备还可以构成平视显示器、透射显示器或具有用于在驾驶员的视野内显示视觉信息的AR(增强现实)功能的装置。
驱动系统控制部分107产生各种控制信号，并将所产生的信号提供给驱动系统108，以控制驱动系统108。驱动系统控制部分107还根据需要向除驱动系统108以外的部件提供控制信号，以便向它们通知驱动系统108的控制状态。
驱动系统108包括与本车辆的传动系相关的各种装置。例如，驱动系统108包括诸如内燃机或驱动电机之类的用于产生驱动力的驱动力产生设备、用于将驱动力传递到车轮的驱动力传递机构、用于调节转向角的转向机构、用于产生制动力的制动设备、ABS(防抱死制动系统)、ESC(电子稳定控制)以及电动转向设备。
车体系统控制部分109生成各种控制信号，并将它们提供给车体系统110以控制车体系统110。车体系统控制部分109还根据需要向除车体系统110之外的部件提供控制信号，以便向它们通知车体系统110的控制状态。
车体系统110包括安装在车体上的各种车体相关装置。例如，车体系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调和各种灯(例如，头灯、尾灯、刹车灯、转向灯和雾灯)。
存储部分111包括例如磁存储设备，诸如ROM(只读存储器)、RAM(随机存取存储器)或HDD(硬盘驱动器)；半导体存储设备、光存储设备和磁光存储设备。存储部分111存储由车辆控制系统100的部件使用的各种程序和数据。例如，存储部分111存储三维高精度地图，例如动态地图、具有比高精度地图更低分辨率和覆盖更宽区域的全局地图以及包括关于本车辆周围的信息的局部地图。
自动驾驶控制部分112执行与自动驾驶相关的控制，例如自主行驶或驾驶辅助。具体地，自动驾驶控制部分112执行例如旨在实现ADAS(高级驾驶员辅助系统)功能的协调控制，该ADAS功能包括用于本车辆的碰撞避免或冲击减轻、基于车辆间距离的跟随驾驶、巡航控制、用于本车辆的碰撞警告以及用于本车辆的车道偏离警告。作为另一示例，自动驾驶控制部分112执行旨在用于自主行驶而无需驾驶员的干预的自主驾驶的协调控制。自动驾驶控制部分112包括检测部分131、自身位置估计部分132、状态分析部分133、计划部分134和操作控制部分135。
检测部分131检测控制自动驾驶所需的各种信息。检测部分131包括车外信息检测部分141、车内信息检测部分142和车辆状态检测部分143。
车外信息检测部分141基于来自车辆控制系统100的部件的数据或信号，进行检测与本车辆的外部有关的信息的处理。例如，车外信息检测部分141进行检测、识别、追踪本车辆周边的物体的处理、以及检测与物体之间的距离的处理。待检测对象例如可以包括车辆、人、障碍物、构造物、道路、信号灯、交通标识、道路标识等。作为另一个示例，车外信息检测部分141进行检测本车辆周围的环境的处理。待检测的周围环境包括例如天气、温度、湿度、亮度、道路状况等。车外信息检测部分141将表示检测处理结果的数据提供给自身位置估计部分132、状态分析部分133中的地图分析部分151、交通规则识别部分152和状态识别部分153、以及操作控制部分135中的紧急回避部分171。
车载信息检测部分142基于来自车辆控制系统100的部件的数据或信号，进行检测车辆内部的信息的处理。例如，车载信息检测部分142执行识别和认证驾驶员的处理、检测驾驶员状态的处理、检测乘客的处理和检测车辆内部环境的处理。待检测的驾驶员状态例如可以包括身体状况、警惕性、专注度、疲劳度、视线方向等。待检测的车辆内的环境例如包括温度、湿度、亮度、气味等。车载信息检测部分142将表示检测处理结果的数据提供给状态分析部分133中的状态识别部分153和行动控制部分135中的紧急回避部分171。
车辆状态检测部分143基于来自车辆控制系统100的部件的数据或信号，进行本车辆状态的检测处理。待检测的本车辆状态包括例如车速、加速度、转向角、有无异常及其细节、驱动操作的状态、电动座椅的位置及倾斜、门锁的状态、其他车载装置的状态等。车辆状态检测部分143将表示检测处理结果的数据提供给状态分析部分133中的状态识别部分153和操作控制部分135中的紧急回避部分171。
自身位置估计部分132基于来自状态分析部分133的车外信息检测部分141和状态识别部分153等车辆控制系统100的部件的数据或信号，进行本车辆的位置和姿势的估计处理。此外，自身位置估计部分132根据需要生成用于估计自身位置的局部地图(以下将该地图称为自身位置估计地图)。自身位置估计地图的示例是使用诸如SLAM(同时定位和地图绘制)的技术的高精度地图。自身位置估计部分132将表示估计处理结果的数据提供给状态分析部分133中的地图分析部分151、交通规则识别部分152和状态识别部分153。自身位置估计部分132还将自身位置估计图存储到存储部分111中。
状态分析部分133进行对本车辆及其周围的状态进行分析的处理。状态分析部分133包括地图分析部分151、交通规则识别部分152、状态识别部分153和状态预测部分154。
地图分析部分151根据需要使用来自自身位置估计部分132、车外信息检测部分141等车辆控制系统100的部件的数据或信号，进行存储在存储部分111中的各种地图的分析处理，从而生成包含自动驾驶处理所需的数据的地图。地图分析部分151将这样创建的地图提供给交通规则识别部分152、状态识别部分153、状态预测部分154，以及计划部分134中的路线计划部分161、行动计划部分162和操作计划部分163。
交通规则识别部分152基于来自车辆控制系统100的诸如自身位置估计部分132、车辆外部信息检测部分141和地图分析部分151的部件的数据或信号，执行识别本车辆周围可应用的交通规则的处理。例如，识别处理允许识别本车辆周围的交通灯的位置和状态、本车辆周围可应用的交通控制的细节、以及能够行驶的车道。交通规则识别部分152将指示识别处理结果的数据提供给状态预测部分154。
状态识别部分153基于来自车辆控制系统100的诸如自身位置估计部分132、车外信息检测部分141、车内信息检测部分142、车辆状态检测部分143、地图分析部分151等部件的数据或信号，进行识别与本车辆有关的状态的处理。例如，状态识别部分153进行识别本车辆的状态、本车辆周围的状态、本车辆的驾驶员的状态的处理。此外，状态识别部分153根据需要生成用于识别本车辆周围的状态的局部地图(以下，将该地图称为状态识别地图)。状态识别图的示例是占用网格图(Occupancy Grid Map)。
待识别的本车辆的状态，除了本车辆有无异常及其细节之外，还包括例如本车辆的位置、姿势、运动(例如速度、加速度、行进方向等)。待识别的本车辆的周围状态包括例如周围中的静止物体的类型和位置；周围环境中的移动物体的类型、位置和运动(例如，速度、加速度、行进方向)；周围道路的配置和表面状况；以及周围环境中的天气、温度、湿度和亮度。待识别的驾驶员状态例如可以包括身体状况、警惕性、专注度、疲劳度、视线运动、驾驶操作等。
状态识别部分153将指示识别处理结果的数据(如果需要，包括状态识别图)提供给自身位置估计部分132和状态预测部分154。状态识别部分153还将状态识别图存储到存储部分111中。
状态预测部分154基于来自车辆控制系统100的部件(例如地图分析部分151、交通规则识别部分152和状态识别部分153)的数据或信号，执行预测本车辆的状态的处理。例如，状态预测部分154进行预测本车辆的状态、本车辆周围的状态、驾驶员的状态的处理。
待预测的本车辆的状态例如包括本车辆的行为、异常的发生、行驶距离等。待预测的本车辆周围的状态例如包括本车辆周围的移动体的行为、信号机的变化、天气等环境的变化等。待预测的驾驶员状态包括例如驾驶员的行为和身体状况。
状态预测部分154将表示预测处理结果的数据与来自交通规则识别部分152和状态识别部分153的数据一起提供给计划部分134中的路线计划部分161、行动计划部分162和操作计划部分163。
路线计划部分161基于来自诸如地图分析部分151和状态预测部分154的车辆控制系统100的部件的数据或信号计划到目的地的路线。例如，路径计划部分161基于全球地图设定从当前位置到指定目的地的路径。作为另一实例，路线规划部分161根据交通堵塞状态、事故、交通控制、道路维修状态和驾驶员的身体状况按照需要改变路线。路径计划部分161将表示所计划的路径的数据提供给行动计划部分162。
行动计划部分162基于来自地图分析部分151、状态预测部分154等车辆控制系统100的部件的数据或信号，计划用于在计划期间内安全地行驶由路径计划部分161计划的路径的本车辆的行动。例如，行动计划部分162计划开始、停止、前进方向(例如，前进、后退、左转、右转、方向改变)、行驶车道、行驶速度和超车。行动计划部分162将表示所计划的本车辆的行动的数据提供给操作计划部分163。
操作计划部分163基于来自车辆控制系统100的部件(例如地图分析部分151和状态预测部分154)的数据或信号，计划用于实施由行动计划部分162计划的行动的本车辆的操作。例如，操作计划部分163计划加速、减速和行驶轨迹。操作计划部分163将表示本车辆的计划操作的数据提供给操作控制部分135中的加速/减速控制部分172和方向控制部分173。
操作控制部分135控制本车辆的操作。操作控制部分135包括紧急回避部分171、加速/减速控制部分172和方向控制部分173。
紧急回避部分171基于车外信息检测部分141、车内信息检测部分142以及车辆状态检测部分143的检测结果，进行碰撞、意外接触、进入危险区域、驾驶员异常、车辆异常等紧急情况的检测处理。紧急回避部分171在检测到紧急时，计划本车辆的行动，以回避急停止或急转弯等紧急情况。紧急回避部分171将表示本车辆的计划操作的数据提供给加速/减速控制部分172和方向控制部分173。
加速/减速控制部分172进行用于实现由操作计划部分163或紧急回避部分171计划的本车辆的行动的加速/减速控制。例如，加速/减速控制部分172计算用于驱动发电设备或制动设备的控制目标值，以实现预定的加速、减速或急停。加速/减速控制部分172将表示计算出的控制目标值的控制指令提供给驱动系统控制部分107。
方向控制部分173进行用于实现由操作计划部分163或紧急回避部分171计划的本车辆的操作的方向控制。例如，方向控制部分173计算转向机构的控制目标值，以便按照操作计划部分163或紧急回避部分171的计划，实现行驶轨迹或执行急转弯。方向控制部分173将指示所计算的控制目标值的控制命令提供给驱动系统控制部分107。
不分昼夜地，发生了许多这样的事故，在该事故中，在人行道上与车辆并行行驶的跑步者或自行车到达交叉路口并在这里被车辆撞击。发生这种事故的一个原因是，在车道和人行道被路边树木或栏杆彼此分开的情况下，难以从车辆侧检测到人行道上的行人。在车道和人行道如图19中所示通过路边树木彼此分开的情况下，人行道被树木隐藏。因此，车辆侧难以检测在人行道上行走的行人或行驶的自行车，直到路边的树在交叉路口处结束。特别地，在跑步者或自行车与车辆并行行驶的情况下，车辆侧难以识别跑步者或自行车的存在，直到他们到达可能在他们之间发生碰撞事故的交叉路口。
为此，已经开发了使用车辆上的可见光摄像机或距离传感器来检测车辆前方的人或障碍物以便通过施加自动制动来避开这些障碍物的技术(如上所述)。
然而，当使用可见光相机来检测道路一侧的人时，由于路边树木充当障碍物，人整体上可能是不可见的。这降低了检测人的准确性。特别是，在路边树木密集种植使得人的区域从本车辆看不见的情况下，人的检测可能不成功。从一个帧到另一个帧可能检测到人或者也可能检测不到人。此外，根据路边树木和行人之间的关系，可以检测到同一人的区域从一个帧到另一个帧是不同的。这使得难以获得多个帧之间的同一人的对应关系。所导致的估计该人的运动的困难又使得难以判别该人与本车辆碰撞的风险。
同时，诸如毫米波雷达、LiDAR和超声波传感器的距离传感器能够测量到给定目标的距离。然而，在目标人和本车辆之间存在诸如路边树木的障碍物的情况下，传感器难以将路边树木与人分离或者难以确定分离的区域中的哪个是人区域。
例如，已经提出了一种车辆周围监测设备，其在摄像机和监测目标之间存在障碍物的情况下通过图像处理来防止对监测目标的错误检测(例如，参见专利文献1)。然而，该车辆周边监视设备被配置为通过在由雷达识别的区域内利用可见光摄像机进行图像拍摄来识别物体，监视目标和摄像机之间的诸如墙壁的障碍物可能被错误地识别为监视目标。为了防止这种错误识别，该车辆周边监视设备从摄像机获得图像的复杂度，并且如果所获得的复杂度与目标的预期复杂度不同，则确定存在障碍物。然而，尽管使用目标的复杂程度作为用于将其与障碍物区分的手段允许识别平坦障碍物，诸如墙壁，但是借助于复杂度可能对于区分诸如路边树木的复杂障碍物不是有效的。
此外，已经提出了一种人体检测设备，其按照适当的距离将与人体温度相对应的多个区域分组，并按照面积和形状来确定分组后的区域是否构成人(例如，参见专利文献2)。即使由于环境或衣服的变化而导致整个人不能落入适当的温度范围内，该人检测设备仍然允许人检测。该人检测设备被配置为从单个远红外线图像内的多个区域中确定是否存在人。然而，担心如果障碍物具有太宽的面积以致于不能允许足够的区域用于人体检测，则确定的精度可能显著下降。
此外，已经提出了一种行人检测和警告设备，其利用用于拍摄同一目标的可见光摄像机和远红外线摄像机提取人脸和手的区域，使用它们各自的评估值将拍摄的内容二值化，并获得它们之间的差(例如，参见专利文献3)。如果仅使用来自远红外线图像的温度信息来确定人体区域，则可能错误地包括诸如尾灯的温度接近人体温度的区域。该行人检测和警告设备被配置为使用可见光来正确地判别人的区域。尽管行人检测和警告设备需要通过涉及远红外线和可见光的两种方法来提取人体区域，但是担心诸如路边树木的具有复杂纹理的障碍物的存在可能使两种人体检测方法都不能实现。
因此，在本说明书中，以下公开的是一种图像处理设备，其通过对由观察同一目标的可见光摄像机和远红外线摄像机两者拍摄的图像进行合成处理，从包括路边树木的复杂纹理的障碍物中适当地检测诸如人的期望物体。
图2示意性地描绘了应用本说明书中公开的技术的图像处理设备200的功能配置。图像处理设备200可以被包括在图1中描绘的车辆控制系统100中，例如作为自动驾驶控制部分112的一个部件。下面是图像处理设备200中的部件的功能的详细说明。
可见光摄像机201和远红外线摄像机202以观察同一目标的方式安装。由可见光摄像机201拍摄的可见光图像220和由远红外线摄像机202拍摄的远红外线图像221都被输入到图像处理设备200。例如，包括大量接近10微米的长波长的热信息的图像可以被拍摄为远红外线图像221，从该图像可以提取接近人体温度的温度区域。
例如，可见光摄像机201和远红外线摄像机202安装在车辆上。图像处理设备200也被期望安装在车辆上。在图2所示的例子中，可见光摄像机201和远红外线摄像机202外部连接到图像处理设备200。或者，设想一种设备配置，其中可见光摄像机201或远红外线摄像机202中的至少一个与图像处理设备200集成。此外，可见光摄像机201和远红外线摄像机202被期望作为数据获取部分102的部件包括在图1中的车辆控制系统100中。
图像处理设备200包括全局运动矢量估计部分203、人体温度区域提取部分204、特定于区域的运动矢量估计部分205、区域统合部分206、运动矢量比较和排除部分207、存储处理部分208、存储设备209、图像合成部分210、人检测部分211和人区域运动矢量估计部分212。
给定从可见光摄像机201输入的多个连续帧的可见光图像220，全局运动矢量估计部分203获得表示图像的独立运动(即，整个图像如何在画面上移动)的全局运动矢量222。
另一方面，人体温度区域提取部分204从由远红外线照相机202输入的远红外线图像221中提取被可能的人体温度遮掩(即，在人体的可能温度的范围内)的像素的区域作为人体温度区域。另外，在希望使用图像处理设备100对人以外的对象进行同样的处理的情况下，也可以代替图像处理设备100中的人体温度区域提取部分204，而包括提取表示某特定对象的特征的温度范围内的值的像素的区域的特定温度区域提取部分。
特定于区域的运动矢量估计部分205从提取了人体温度区域的多个连续帧的远红外线图像223获得表示各人体温度区域的运动(即，各人体温度区域在画面上如何移动)的运动矢量。然后，特定于区域的运动矢量估计部分205输出表示增加了运动矢量的人体温度区域的远红外线图像224。
区域统合部分206比较远红外线图像224中所包括的多个增加了运动矢量的人体温度区域的运动矢量。通过这样做，区域统合部分206将具有彼此接近达至少预定程度的运动矢量的人体温度区域统合，以生成统合区域。这里，矢量“彼此接近达至少预定程度”是指两个矢量例如形成不大于预定角度的角度(下文同样适用)。然后，区域统合部分206对包括在统合区域中的人体温度区域的运动矢量组进行统合，计算每个统合区域的运动矢量，并输出表示增加了运动矢量的统合区域的远红外线图像225。例如，可以通过计算形成组的运动矢量的平均值来对运动矢量进行统合。
在观察路边树木、栏杆等障碍物后的人的远红外线图像221中，同一人体被期望分割为多个人体温度区域。在这样的人体温度区域属于同一人体的情况下，期望它们的运动矢量彼此接近达至少预定的程度。在该假设下，区域统合部分206将具有彼此接近达至少预定程度的运动矢量的人体温度区域识别为属于同一人，并相应地进行统合。
另外，区域统合部分206除了规定运动矢量彼此接近达至少预定程度的条件之外，还应当采用规定人体温度区域在距离上彼此接近的区域统合条件。这是因为，至少相隔预定距离的人体温度区域很可能属于不同的人(例如，在人行道上并排跑步的两个跑步者)，并且不应当被统合。
运动矢量比较和排除部分207将从区域统合部分206输入的远红外线图像225中包括的每个增加了运动矢量的统合区域的运动矢量与从全局运动矢量估计部分203输入的全局运动矢量222进行比较。然后，运动矢量比较和排除部分207从远红外线图像225中的增加了运动矢量的统合区域中排除具有与全局运动矢量222接近达至少预定程度的运动矢量的统合区域。通过这样做，运动矢量比较和排除部分207仅使具有与全局运动矢量222不同的运动矢量的增加了运动矢量的统合区域保持完整。然后，运动矢量比较和排除部分207获得了剩余的增加了运动矢量的统合区域整体的运动矢量，即统合区域运动矢量。
具有与全局运动矢量222接近达至少预定程度的运动矢量的增加了运动矢量的统合区域跟随屏幕上整个图像的运动。即，这些增加了运动矢量的统合区域构成静止物体(人)的图像，并且不表示可能碰撞的障碍物。因此，基于全局运动矢量222和其它运动矢量之间的比较结果，运动矢量比较和排除部分207估计被认为属于不运动的物体的增加了运动矢量的统合区域，并从远红外线图像225中排除这些区域。
顺便提及，还期望在携带可见光摄像机201和远红外线摄像机202的车辆的相反方向上移动的对象(人)的人体温度区域的运动矢量接近全局运动矢量222达至少预定程度。尽管这些物体不太可能与车辆碰撞，但是运动矢量比较和排除部分207也可以基于与全局运动矢量222的比较结果从增加了运动矢量的统合区域中将其排除。
运动矢量比较和排除部分207进一步对剩余的统合区域进行统合以生成经排除的统合区域，并且通过对剩余的统合区域的运动矢量进行统合来计算剩余的统合区域的运动矢量。另外，运动矢量比较和排除部分207输入由可见光摄像机201取得的可见光图像220，从可见光图像220中提取与经排除的统合区域内的人体温度区域对应的可见光区域，生成可见光运动区域。例如，运动矢量比较和排除部分207通过在经排除的统合区域内用非零区域(人体温度区域)遮掩可见光图像220，来提取与剩余的人体温度区域对应的可见光运动区域(该可见光运动区域等同于可见光图像中的对应的可见光区域替换经排除的统合区域内的剩余的人体温度区域)。从经排除的统合区域中遮掩可见光图像的原因是使得配置在下游的人检测部分211将使用具有比远红外线图像更大量的信息的可见光图像来更准确地检测人。
以上述方式，运动矢量比较和排除部分207最终获得由剩余的人体温度区域的可见光图像形成的可见光运动区域和由剩余的人体温度区域整体的统合区域运动矢量构成的增加了运动矢量的可见光运动区域226。
存储处理部分208将由可见光运动区域和统合区域运动矢量构成的多个帧的增加了运动矢量的可见光运动区域226存储到存储设备209中。存储多个帧的增加了运动矢量的可见光运动区域226的原因是使得配置在下游的图像合成部分210将在时间方向上将这些区域合成为图像。
或者，可以将不是由可见光图像而是由远红外线图像形成的并且由统合区域运动矢量形成的、增加了运动矢量的经排除的统合区域存储到存储设备209中。然而，可见光图像在白天或在目标被照明的情况下包括大量信息，例如纹理和颜色，远红外线图像在夜晚或在照明不良的情况下包括更多信息。因此，存储处理部分208可以根据诸如可见光摄像机201和远红外线摄像机202进行拍摄的时间段或车辆外部的环境光之类的信息，选择性地将增加了运动矢量的可见光运动区域或增加了运动矢量的经排除的统合区域存储到存储设备209中。作为另一替代方案，存储处理部分208可以将增加了运动矢量的可见光运动区域和增加了运动矢量的经排除的统合区域两者都存储在存储设备209中。
此外，由可见光摄像机201拍摄的可见光图像(运动图像)220可以被存储到存储设备209中(即，用作驾驶记录器)。存储设备209可以例如使用诸如SSD或HDD的大容量存储设备来配置。除了被并入图像处理设备200之外，存储设备209可以被配置为外部地附接到图像处理设备200。
在下游配置的图像合成部分210、人检测部分211和人区域运动矢量估计部分212从存储设备209检索在时间方向上连续的多个帧的增加了运动矢量的可见光运动区域227，并且处理检索到的内容以检测人并估计他们的运动以避免与车辆的碰撞。
在将增加了运动矢量的可见光运动区域和增加了运动矢量的经排除的统合区域两者存储在存储设备209中的情况下，可以根据诸如可见光相机201和远红外线相机202进行拍摄的时间段或车辆外部的环境光之类的信息，从存储设备209中选择性地检索增加了运动矢量的可见光运动区域或增加了运动矢量的经排除的统合区域，以用于后一半处理。例如，在时间被确定为白天的情况下，使用增加了运动矢量的可见光运动区域；在时间被确定为夜间的情况下，采用增加了运动矢量的经排除的统合区域。人检测部分211切换到并利用与增加了运动矢量的可见光运动区域或与增加了运动矢量的经排除的统合区域相对应的字典。在以下的说明中，为了简化，仅使用增加了运动矢量的可见光运动区域227来说明后半部分的处理。
图像合成部分210在从存储设备209取出在时间方向上连续的多个帧的增加了运动矢量的可见光运动区域227时，基于各帧的增加了运动矢量的可见光运动区域227的运动矢量信息，校正画面上的可见光运动区域的位置，在时间方向上合成可见光运动区域，生成合成图像228。具体地，使用从每帧获得的可见光运动区域的统合区域运动矢量的逆矢量来对该可见光运动区域进行位置校正，以使得该可见光运动区域在画面上从一帧到另一帧(即，在时间方向上)保持位置不变。将这样从多个帧获得的图像合成为单个图像。以这种方式，前景(障碍物，例如路边树木)被排除，并且形成背景的目标(人)被重构为其原始形状。除了将由此生成的合成图像输出至配置在下游的人检测部分211之外，图像合成部分210还可以使显示设备240在其画面上显示该图像。显示设备240可以从外部连接到图像处理设备100，或者作为部件之一并入图像处理设备100中。显示设备240可以包括在图1中描绘的车辆控制系统100的输出部分106中。
人检测部分211通过对从图像合成部分210输入的合成图像228进行人检测处理，生成人候选区域229。人检测部分211例如通过使用机器学习来执行人检测处理(稍后讨论)。人检测部分211除了将关于所生成的人候选区域229的信息输出到配置在下游的人区域运动矢量估计部分212之外，还可以将该信息输出到图像处理设备200的外部。
给定从人检测部分211输入的人候选区域229和从存储设备209检索的多个帧的增加了运动矢量的可见光运动区域227的运动矢量，人区域运动矢量估计部分212估计指示人候选区域整体的运动的人候选区域运动矢量230。例如，人区域运动矢量估计部分212根据多个帧中经排除的统合区域226的运动矢量的平均值和人候选区域229的运动矢量的平均值来计算人候选区域运动矢量。在判断为由人候选区域运动矢量所估计的人位置很可能与预定时间段之后的车辆位置一致的情况下，可以使图像处理设备200发出碰撞风险的警告。
图3描绘了由可见光摄像机201拍摄的示例性可见光图像，图4描绘了由远红外线摄像机202拍摄的示例性远红外线图像。注意，可见光摄像机201和远红外线摄像机202观察相同的目标。在图3中描绘的示例性可见光图像中，存在路边树木和通过其看到的人。在这种情况下，路边树木是使得难以判别人的存在的障碍物。另一方面，在图4所示的远红外线图像中，提取接近人体温度的温度区域清楚地描绘出多个明显的人体区域。在如图3中所描绘的跨越路边树执行观察的情况下，人体部分地被树隐藏。因此，如图4所示，当被提取时，单个人的身体被分割成多个区域。
图5描绘了表示由全局运动矢量估计部分203从可见光图像获得的图像的独立运动的示例性全局运动矢量。这里描述的是由全局运动矢量估计部分203根据包括图3所示的可见光图像的多个连续帧估计的全局运动矢量。在图5中，由附图标记401表示的大的空心箭头表示全局运动矢量，其表示整个图像如何在屏幕上移动。
图6描绘了由人体温度区域提取部分204从图4的远红外线图像中提取的示例性人体温度区域。人体温度区域提取部分204从由远红外线照相机202输入的远红外线图像221中获得被可能的人体温度遮掩的人体温度区域。在图6中，由白色矩形包围的多个区域对应于人体温度区域。在如图3中所描绘的跨越路边树执行观察的情况下，人体部分地被树隐藏。因此，当被提取时，单个人的身体被分割成多个区域。
图7描绘了从特定于区域的运动矢量估计部分205输出的表示增加了运动矢量的人体温度区域的示例性远红外线图像。特定于区域的运动矢量估计部分205从提取了人体温度区域的多个连续帧的远红外线图像中获得表示各人体温度区域在画面上如何移动的运动矢量。在图7中，由白色矩形定界的附于人体温度区域的小阴影箭头表示针对每个人体温度区域估计的运动矢量。
区域统合部分206比较远红外线图像224中所包括的多个增加了运动矢量的人体温度区域的运动矢量。通过这样做，区域统合部分206将具有彼此接近达至少预定程度的运动矢量的人体温度区域统合，以生成统合区域。同时，区域统合部分206通过从包括在统合区域中的人体温度区域的一组运动矢量计算每个统合区域的运动矢量来获得增加了运动矢量的统合区域。图8描绘了通过区域统合部分206对图7中的表示增加了运动矢量的温度区域的远红外线图像执行区域统合处理而获得的增加了运动矢量的统合区域，以及增加了运动矢量的统合区域的示例性运动矢量。在图8中，由虚线包围并由附图标记701、702和703表示的区域表示增加了运动矢量的统合区域。附加在增加了运动矢量的统合区域701中的由附图标记704表示的点填充箭头表示对增加了运动矢量的统合区域701中包含的人体温度区域的运动矢量组进行统合的运动矢量。同样，附加在增加了运动矢量的统合区域702、703上的由附图标记705、706表示的点箭头分别表示增加了运动矢量的统合区域702、703的运动矢量。
在如图3中所描绘的跨越路边树执行观察的情况下，人体部分地被树隐藏。因此，当被提取时，单个人的身体被分成多个区域。由于同一人的人体温度区域表现出近似相同的运动，因此具有彼此接近达至少预定程度的运动矢量的温度区域被估计为属于同一人。这就是为什么如图8所示，具有彼此接近达至少预定程度的矢量的人体温度区域可以根据人体温度区域被统合和分组为增加了运动矢量的统合区域701、702和703的原因。
运动矢量比较和排除部分207将各增加了运动矢量的统合区域的运动矢量与从全局运动矢量估计部分203输入的全局运动矢量进行比较，从增加了运动矢量的统合区域中排除运动矢量与全局运动矢量接近达预定程度以上的统合区域。图9描绘了如何将增加了运动矢量的统合区域701、702和703的运动矢量704、705和706与全局运动矢量401进行比较。图10描绘了将具有与全局运动矢量接近达预定程度以上的运动矢量的增加了运动矢量的统合区域排除的结果。从图10可以理解，排除了包括在具有至少接近全局运动矢量401达预定程度的运动矢量704的增加了矢量的统合区域701中的人体温度区域。另一方面，允许保留具有与全局运动矢量401不同的运动矢量705和706的增加了矢量的统合区域702和703。
运动矢量比较和排除部分207进一步对剩余的统合区域进行统合以生成经排除的统合区域。同时，运动矢量比较和排除部分207通过对剩余统合区域的运动矢量进行统合来计算经排除的统合区域的运动矢量。图11描绘了将图10中剩余的统合区域702和703进行统合的示例性的经排除的统合区域1001，以及将统合区域702和703的运动矢量进行统合的经排除的统合区域1001的示例性运动矢量1002。
此外，运动矢量比较和排除部分207利用经排除的统合区域1001中的非零像素值区域(即，经排除的统合区域中的人体温度区域)来遮掩从可见光摄像机201输入的可见光图像，以便生成由与经排除的统合区域中的人体温度区域相对应的可见光区域形成的可见光运动区域。图12描绘了由与经排除的统合区域的人体温度区域对应的可见光区域构成的示例性可见光移动区域1101。从经排除的统合区域中遮掩可见光图像的原因是使得配置在下游的人检测部分211使用具有比远红外线图像更大量的信息的可见光图像来更准确地检测人。
存储处理部分208将由图12所示的可见光移动区域和图11所示的移动矢量构成的多个帧的、增加了移动矢量的可见光移动区域存储到存储设备209中。存储多个帧的增加了运动矢量的可见光运动区域的原因是使得配置在下游的图像合成部分210可以将区域在时间方向上合成为图像。在白天或在目标被照明的情况下，可见光图像包括大量信息，例如纹理和颜色。另一方面，在夜间或在差的照明下，远红外线图像包括更多信息。因此，存储处理部分208可以被控制为根据诸如可见光相机201和远红外线相机202进行拍摄的时间段或车辆外部的环境光之类的信息，选择性地将增加了运动矢量的可见光运动区域或增加了运动矢量的经排除的统合区域存储到存储设备209中。作为另一替代方案，存储处理部分208可以将增加了运动矢量的可见光运动区域和增加了运动矢量的经排除的统合区域两者存储在存储设备209中。
在下游配置的图像合成部分210、人检测部分211和人区域运动矢量估计部分212从存储设备209检索在时间方向上连续的多个帧的增加了运动矢量的可见光运动区域，并且处理检索到的内容，以便检测人并且估计它们的运动以避免与车辆的碰撞。在存储设备209中存储有增加了运动矢量的可见光运动区域和增加了运动矢量的经排除的统合区域的情况下，根据可见光摄像机201和远红外线摄像机202进行拍摄的时间段或车外的环境光等信息，从存储设备209中选择性地检索并使用增加了运动矢量的可见光运动区域和增加了运动矢量的经排除的统合区域的某一个。例如，在时间被确定为白天的情况下，使用增加了运动矢量的可见光运动区域；在确定时间是夜间的情况下，使用增加了运动矢量的经排除的统合区域。人检测部分211切换到并利用与增加了运动矢量的可见光运动区域或与增加了运动矢量的经排除的统合区域相对应的字典。在以下的说明中，为了简化，仅使用增加了运动矢量的可见光运动区域227来说明后半部分的处理。
当从存储设备209检索在时间方向上连续的多个帧的增加了运动矢量的可见光运动区域时，图像合成部分210基于可见光运动区域的运动矢量信息，以可见光运动区域在屏幕上在时间方向上保持位置不变的方式，校正可见光运动区域在屏幕上的位置。图13描绘了如何使用每个可见光运动区域的统合区域运动矢量的逆矢量1201来对从每个帧获得的可见光运动区域进行位置校正，以使得可见光运动区域在屏幕上保持位置不变。
然后，图像合成部分210将多个经位置校正后的可见光图像合成为合成图像。图14描绘了将通过位置校正获得的多个帧图像合成为单个图像的结果。如从图14可以理解的，合成经位置校正的多个帧使得可以排除前景并将形成背景的目标(人)重构为其原始形状以便提取。即，虽然单帧仅允许观察被障碍物如路边树木隐藏的目标的部分，但是提取多帧图像并在时间方向上合成它们，生成作为背景拍摄的目标的整体图像。
人检测部分211通过对从图像合成部分210输入的合成图像执行人检测处理来生成人候选区域。图15描绘了从图14中的合成图像提取的示例性人候选区域1401。
人区域运动矢量估计部分212根据从人检测部分211输入的人候选区域以及从存储设备209检索的多个帧的增加了运动矢量的可见光运动区域的运动矢量，估计指示人候选区域整体的运动的人候选区域运动矢量。例如，人候选区域运动矢量估计部分212根据多个帧中经排除的统合距离的运动矢量的平均值和多个帧中的人候选区域运动矢量的平均值来计算人候选区域运动矢量。图16描绘了针对由人检测部分211检测到的人候选区域1401估计的示例性人候选区域运动矢量1501。在确定由人候选区域运动矢量1501估计的人位置可能与预定时间段之后的车辆位置一致的情况下，可以使图像处理设备200发出碰撞风险的警告。
人检测部分211用于从图像中检测人的示例性方法是基于机器学习的人检测处理。具体地，预先使用大量图像数据(可见光图像和远红外线图像)来学习每个检测对象是否是人。在接收到与先前学习的图像类似的检测对象的图像的输入时，人检测部分211判别该对象是否是例如自行车。作为另一示例，可以利用基于多层神经网络的深度学习。
顺便提及，对于通过机器学习进行的人体检测来说，重要的是用于学习的图像数据。在远红外线图像的情况下，它们的亮度根据环境温度而变化。远红外线图像也根据温度在穿着不同衣服的不同人上如何分布而变化。因此，可以在人体检测过程中包括用于根据环境温度在最优字典之间自适应地切换的过程。此外，可以学习关于除了对于大运动已知的那些人体部分(诸如人四肢)之外的人体部分的字典数据(即，字典数据集中于躯干)。这样学习的词典数据允许独立于人(肢体)运动的更准确的人体检测。
图20以流程图的形式示出了在图像处理设备200中使用由可见光摄像机201拍摄的可见光图像和由远红外线摄像机202拍摄的远红外线图像从障碍物中检测诸如人的期望对象的处理过程。
全局运动矢量估计部分203根据从可见光摄像机201输入的多个连续帧的可见光图像220获得全局运动矢量222(步骤S2001)。
人体温度区域提取部分204从由远红外线照相机202输入的远红外线图像221中提取被可能的人体温度遮掩的像素的区域作为人体温度区域(步骤S2002)。
然后，特定于区域的运动矢量估计部分205从在步骤S2002中提取了人体温度区域的多个连续帧的远红外线图像223中获得表示各人体温度区域的运动矢量，并输出表示增加了运动矢量的人体温度区域的远红外线图像224(步骤S2003)。
然后，区域统合部分206比较包括在远红外线图像224中的多个增加了运动矢量的人体温度区域的运动矢量。通过这样做，区域统合部分206将具有彼此接近达至少预定程度的运动矢量的人体温度区域统合，以生成统合区域。同时，区域统合部分206统合包括在统合区域中的人体温度区域的运动矢量组，以计算每个统合区域的运动矢量，并输出指示增加了运动矢量的统合区域的远红外线图像225(步骤S2004)。
运动矢量比较和排除部分207将在步骤S2004中获得的每个增加了运动矢量的统合区域的运动矢量与在步骤S2001中获取的全局运动矢量222进行比较。通过这样做，运动矢量比较和排除部分207从远红外线图像225中的增加了运动矢量的统合区域中排除具有接近全局运动矢量222达至少预定程度的运动矢量的统合区域(步骤S2005)。因此，运动矢量比较和排除部分207仅保持具有与全局运动矢量222不同的运动矢量的增加了运动矢量的统合区域不变。
然后，运动矢量比较和排除部分207对剩余的统合区域进行统合以生成经排除的统合区域，并通过对剩余统合区域的运动矢量进行统合来计算经排除的统合区域的运动矢量(步骤S2006)。
运动矢量比较和排除部分207还输入由可见光摄像机201取得的可见光图像220，从可见光图像220中提取与经排除的统合区域内的人体温度区域相对应的可见光区域，生成可见光运动区域(步骤S2007)。例如，运动矢量比较和排除部分207通过用经排除的统合区域内的非零区域(人体温度区域)对可见光图像220进行遮掩，来提取与剩余的人体温度区域相对应的可见光运动区域。
然后，将由可见光运动区域和统合区域运动矢量构成的多个帧的增加了运动矢量的可见光运动区域226存储在存储设备209中(步骤S2008)。
图像合成部分210在从存储设备209取出在时间方向上连续的多个帧的增加了运动矢量的可见光运动区域227时，根据与各帧的增加了运动矢量的可见光运动区域227有关的运动矢量信息，校正画面上的可见光运动区域的位置，在时间方向上合成可见光运动区域，生成合成图像228(步骤S2009)。
然后，人检测部分211通过对在步骤S2009中生成的合成图像228执行人检测处理来生成人候选区域229(步骤S2010)。
然后，人区域运动矢量估计部分212根据在步骤S2010中生成的人候选区域229和从存储设备209中取出的多个帧的增加了运动矢量的可见光运动区域227的运动矢量，估计表示人候选区域整体的运动的人候选区域运动矢量230(步骤S2011)。可以通过将估计的候选人的距离运动矢量230与为本车辆计划的行驶路线进行比较来预测碰撞的风险。
图17示意地描绘了应用本说明书所公开的技术的警告设备1600的功能配置。图17中的警告设备1600被配置成基于从图2所示的图像处理设备200输出的诸如合成图像、人候选区域和人候选区域运动矢量之类的信息，警告车辆驾驶员被确定为存在于车辆和被检测人之间的碰撞可能性。除了外部连接到图像处理设备200之外，图17中的警告设备1600可以被配置为可选地将其功能并入图像处理设备200(作为另一替换，图像处理设备200可以将其功能并入警告设备1600)。
警告设备1600包括图像处理设备200、本车辆行驶比较部分1602和警告部分1603。
图像处理设备200与图2中描绘的设备相同地配置，并且因此将不进一步详细地讨论。图像处理设备200从被设置为观察同一目标的可见光摄像机201和远红外线摄像机202接收可见光图像和远红外线图像的输入，并输出合成图像228、人候选区域图像229和人候选区域运动矢量230。可选地，图像处理设备200可以被配置为在警告设备1600的外部，该警告设备可以被配置为从图像处理设备200接收合成图像228、人候选区域图像229和人候选区域运动矢量230的外部输入。
本车辆行驶信息获取部分1601是获取与本车辆的行驶状态有关的信息的功能模块。表示本车辆的行驶状态的信息包括本车辆的速度、本车辆的计划路线以及在地图上到达目的地的预期时间。例如，本车辆行驶信息获取部分1601可以从图1所示的车辆控制系统100中的状态预测部分154获取表示本车辆的行驶状态的这种信息。
基于从本车辆行驶信息获取部分1601取得的值以及基于从图像处理设备200取得的人候选区域运动矢量230以及人候选区域229，本车辆行驶比较部分1602估计规定时间后的本车辆与人候选的相对位置关系，计算碰撞可能性，并将计算结果传送给警告部分1603。可以使用图1中的状态分析部分133和计划部分134来替代地配置本车辆行驶比较部分1602。
在本车辆经过规定时间后与候选人相撞的可能性超过规定的阈值的情况下，警告部分1603向本车辆的驾驶员警告危险。警告部分1603可以根据需要来配置。例如，警告部分1603可以被配置为诸如用于显示警告图像的面向驾驶员的显示器、用于输出警告声音的音频输出设备、警告灯、或用于向驾驶员提供振动或电刺激的设备之类的各种驾驶员装置中的任何一种。警告部分1603例如可以使面向驾驶员的显示器显示从图像处理设备200输入的合成图像228，从而向驾驶员呈现碰撞的风险。
警告部分1603可以替代地以图1中的紧急回避部分171的形式实现。此外，可以期望警告部分1603使用图1所示的车辆控制系统100中的输出控制部分105和输出部分106发出警告。
图18描绘了本车辆行驶比较部分1602如何确定碰撞可能性的示例。
基于诸如过去本车辆位置1702、当前本车辆位置1704、从本车辆行驶信息获取部分1601输入的本车辆的速度以及本车辆的计划路线之类的信息，本车辆行驶比较部分1602估计本车辆在下一个交叉口处预期进行左转弯、左转弯的预期时间以及在该预期时间的本车辆位置1706。
本车辆行驶比较部分1602还从图像处理设备200接收关于人候选区域229和人候选区域运动矢量230的信息的输入。然后，基于在利用车载摄像机1701从过去的本车辆位置1702观察目标1703时拍摄的人候选区域的位置、在利用车载摄像机从当前的本车辆位置1704观察目标1705时拍摄的人候选区域的位置、以及人候选区域的运动矢量，本车辆行驶比较部分1602估计目标1707在本车辆在十字路口处左转弯的预期时刻的位置。
本车辆行驶比较部分1602进而根据在交叉口处的预期左转时刻估计的本车辆位置1706与在预期左转时刻估计的目标1707之间的位置关系来计算碰撞可能性。
在存在碰撞可能性的情况下，警告部分1603例如使用使从图像处理设备200输入的合成图像228显示在面向驾驶员的显示器上的方法，来向驾驶员提示碰撞风险的警告。
如上所述，应用了本说明书中公开的技术的图像处理设备200使得可以检测在诸如路边树木的障碍物后面并且因此难以在视觉上检测或者通过使用可见光相机或距离传感器来检测的人。基于从图像处理设备200输出的信息，警告设备1600可以向驾驶员发出适当的警告，从而防止危险碰撞事故。
[工业实用性]
以上已经参考具体实施例详细解释了本说明书中公开的技术。然而，在不脱离所公开的技术的精神和范围的情况下，这些实施例显然可以由本领域技术人员进行各种修改或用一些其它适当的实施例来替换。
本说明书中公开的技术可以应用于各种车辆，例如汽车(包括汽油动力车辆和柴油动力车辆)、电动车、混动车、摩托车、自行车和个人移动装置。所公开的技术还可以应用于除了在道路上行驶的车辆之外的移动体。
此外，本说明书中公开的技术可以应用于除移动体之外的物体。例如，应用了所公开的技术的监视摄像机可以拍摄被路边树木、栏杆或其他障碍物部分隐藏的可疑个体的运动。
总之，尽管已经使用示例解释了本说明书中公开的技术，但是本说明书的细节不应被限制性地解释。因此，所公开的技术的范围应当由所附权利要求及其合法等效物确定，而不是由所给出的示例确定。
本说明书中公开的技术可以优选地以以下配置来实现：
(1).一种图像处理设备，包括：
矢量估计部分，被配置为从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；
区域提取部分，被配置为从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；
区域统合部分，被配置为统合所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；
区域排除部分，被配置为排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且在从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及
图像合成部分，被配置为基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
(2).根据以上段落(1)或(2)所述的图像处理设备，其中
图像合成部分以可见光运动区域在画面上的位置在时间方向上保持不变的方式校正可见光运动区域的位置。
(3).根据以上段落(1)到(3)中任意一项所述的图像处理设备，其中
区域提取部分提取由包括人体温度的温度范围内的值的像素构成的特定温度区域。
(4).根据以上段落(1)到(3)中任意一项所述的图像处理设备，还包括：
检测部分，被配置为从由图像合成部分生成的合成图像中检测包括特定目标的区域。
(5).根据以上段落(4)所述的图像处理设备，其中
检测部分通过使用机器学习来执行检测处理。
(6).根据以上段落(5)所述的图像处理设备，其中
检测部分判别在所检测出的区域内的目标。
(7).根据以上段落(5)或(6)所述的图像处理设备，其中
检测部分通过使用适于环境温度的字典来执行检测处理。
(8).根据以上段落(4)到(6)中任意一项所述的图像处理设备，还包括：
运动估计部分，被配置为估计由检测部分所检测出的区域的运动。
(9).根据以上段落(8)所述的图像处理设备，其中
运动估计部分基于在多个帧上检测出的区域的运动矢量的平均值来估计所述特定目标的运动。
(10).根据以上段落(1)到(9)中任意一项所述的图像处理设备，其中
可见光摄像机和远红外线摄像机被安装在预定的运动体上。
(11).根据以上段落(1)到(10)中任意一项所述的图像处理设备，还包括：
可见光摄像机和远红外线摄像机。
(12).根据以上段落(10)或(11)所述的图像处理设备，其中
图像处理设备被安装在运动体上。
(13).根据以上段落(1)到(12)中任意一项所述的图像处理设备，还包括：
比较部分，被配置为比较基于经排除的统合区域的运动矢量预测的在预定时间段之后特定目标的位置与在相同时刻运动体的预期到达位置之间的相对位置。
(14).根据以上段落(13)所述的图像处理设备，还包括：
警告部分，其被配置为根据基于所述相对位置计算的所述特定目标与所述运动体之间碰撞的可能性，向所述运动体的驾驶员呈现碰撞风险。
(15).根据以上段落(14)所述的图像处理设备，其中
警告部分呈现包括由图像合成部分生成的合成图像的信息。
(16).根据以上段落(1)到(15)中任意一项所述的图像处理设备，其中
图像合成部分在时间方向上合成由远红外线图像构成的并基于经排除的统合区域整体的运动矢量进行位置校正的经排除的统合区域。
(17).根据以上段落(16)所述的图像处理设备，其中
图像合成部分根据可见光相机和远红外线相机进行拍摄的时间段或拍摄条件，合成由可见光运动区域或远红外线图像构成的经排除的统合区域。
(18).根据以上段落(1)到(17)中任意一项所述的图像处理设备，还包括：
显示部分，被配置为显示由所述图像合成部分生成的合成图像。
(19).一种图像处理方法，包括以下步骤：
从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；
从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；
统合对所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；
排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及
基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
(20).一种以计算机可读格式描述的计算机程序，用于使得计算机执行以下功能：
矢量估计部分，被配置为从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；
区域提取部分，被配置为从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；
区域统合部分，被配置为统合所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；
区域排除部分，被配置为排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且在从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及
图像合成部分，被配置为基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
[参考符号列表]
100···车辆控制系统
101···输入部分，102···数据获取部分，103···通信部分
104···车载装置，105···输出控制部分，106···输出部分
107···驱动系统控制部分，108···驱动系统
109···车身系统控制部分，110···车身系统，111···存储部分
112···自动驾驶控制部分，121···通信网络
131···检测部分，132···自身位置估计部分，133···状态分析部分
134···计划部分，135···操作控制部分
141···车外信息检测部分，142···车内信息检测部分
143···车辆状态检测部分
151···地图分析部分，152···交通规则识别部分
153···状态识别部分，154···状态预测部分
161···路线计划部分，162···行动计划部分，163···操作计划部分
171···紧急回避部分，172···加速/减速控制部分，173···方向控制部分
200···图像处理设备
201···可见光摄像机，202···远红外线摄像机
203···全局运动矢量估计部分
204···人体温度区域提取部分，205····特定于区域的运动矢量估计部分
206···区域统合部分，207····运动矢量比较和排除部分
208···存储处理部分，209···存储设备，210···图像合成部分
211···人检测部分，212···人区域运动矢量估计部分
240···显示设备
1600···警告设备，1601····本车辆行驶信息获取部分
1602···本车辆行驶比较部分，1603····警告部分

Claims (19)

1.一种图像处理设备，包括：
矢量估计部分，被配置为从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；
区域提取部分，被配置为从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；
区域统合部分，被配置为统合所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；
区域排除部分，被配置为排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且在从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及
图像合成部分，被配置为基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
2.根据权利要求1所述的图像处理设备，其中
图像合成部分以可见光运动区域在画面上的位置在时间方向上保持不变的方式校正可见光运动区域的位置。
3.根据权利要求1所述的图像处理设备，其中
区域提取部分提取由包括人体温度的温度范围内的值的像素构成的特定温度区域。
4.根据权利要求1所述的图像处理设备，还包括：
检测部分，被配置为从由图像合成部分生成的合成图像中检测包括特定目标的区域。
5.根据权利要求4所述的图像处理设备，其中
检测部分通过使用机器学习来执行检测处理。
6.根据权利要求5所述的图像处理设备，其中
检测部分判别在所检测出的区域内的目标。
7.根据权利要求5所述的图像处理设备，其中
检测部分通过使用适于环境温度的字典来执行检测处理。
8.根据权利要求4所述的图像处理设备，还包括：
运动估计部分，被配置为估计由检测部分所检测出的区域的运动。
9.根据权利要求8所述的图像处理设备，其中
运动估计部分基于在多个帧上检测出的区域的运动矢量的平均值来估计所述特定目标的运动。
10.根据权利要求1所述的图像处理设备，其中
可见光摄像机和远红外线摄像机被安装在预定的运动体上。
11.根据权利要求1所述的图像处理设备，还包括：
可见光摄像机和远红外线摄像机。
12.根据权利要求10所述的图像处理设备，其中
图像处理设备被安装在运动体上。
13.根据权利要求1所述的图像处理设备，还包括：
比较部分，被配置为比较基于经排除的统合区域的运动矢量预测的在预定时间段之后特定目标的位置与在相同时刻运动体的预期到达位置之间的相对位置。
14.根据权利要求13所述的图像处理设备，还包括：
警告部分，其被配置为根据基于所述相对位置计算的所述特定目标与所述运动体之间碰撞的可能性，向所述运动体的驾驶员呈现碰撞风险。
15.根据权利要求14所述的图像处理设备，其中
警告部分呈现包括由图像合成部分生成的合成图像的信息。
16.根据权利要求1所述的图像处理设备，其中
图像合成部分在时间方向上合成由远红外线图像构成的并基于经排除的统合区域整体的运动矢量进行位置校正的经排除的统合区域。
17.根据权利要求16所述的图像处理设备，其中
图像合成部分根据可见光相机和远红外线相机进行拍摄的时间段或拍摄条件，合成由可见光运动区域或远红外线图像构成的经排除的统合区域。
18.根据权利要求1所述的图像处理设备，还包括：
显示部分，被配置为显示由所述图像合成部分生成的合成图像。
19.一种图像处理方法，包括以下步骤：
从由可见光摄像机拍摄的可见光图像估计指示图像整体的运动的全局运动矢量；
从由拍摄与所述可见光摄像机相同的对象的远红外线摄像机拍摄的远红外线图像中，提取由表示某特定对象的特征的温度范围内的值的像素构成的特定温度区域；
统合对所提取的特定温度区域中的具有彼此接近的运动矢量的那些区域，以生成统合区域；
排除具有与所述全局运动矢量接近的运动矢量的统合区域，以得到经排除的统合区域，并且从所述可见光图像中提取与经排除的统合区域中的所述特定温度区域对应的可见光区域，以生成可见光运动区域；以及
基于经排除的统合区域整体的运动矢量，校正可见光运动区域的位置，并且在时间方向上合成经位置校正的可见光运动区域。
CN201880062853.4A 2017-10-02 2018-08-24 图像处理设备和图像处理方法 Active CN111164967B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-192988 2017-10-02
JP2017192988 2017-10-02
PCT/JP2018/031296 WO2019069581A1 (ja) 2017-10-02 2018-08-24 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN111164967A true CN111164967A (zh) 2020-05-15
CN111164967B CN111164967B (zh) 2022-03-29

Family

ID=65994747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062853.4A Active CN111164967B (zh) 2017-10-02 2018-08-24 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US11468574B2 (zh)
EP (1) EP3694206A4 (zh)
JP (1) JP7188394B2 (zh)
CN (1) CN111164967B (zh)
WO (1) WO2019069581A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114034399A (zh) * 2021-11-25 2022-02-11 北京环境特性研究所 一种多目标威胁度评价方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
JP2019213164A (ja) * 2018-06-08 2019-12-12 キヤノン株式会社 画像処理装置、画像処理方法
US20220014650A1 (en) * 2018-11-14 2022-01-13 Koito Manufacturing Co., Ltd. Infrared camera system, infrared camera module, and vehicle
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera
JP7269134B2 (ja) * 2019-08-28 2023-05-08 Kddi株式会社 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法
JP2021068950A (ja) * 2019-10-18 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN111707372B (zh) * 2020-05-29 2021-05-07 北京都是科技有限公司 人体温度检测方法、系统、装置及图像处理器
JP7435298B2 (ja) 2020-06-22 2024-02-21 オムロン株式会社 物体検出装置および物体検出方法
US20220051495A1 (en) * 2020-08-14 2022-02-17 Sensormatic Electronics, LLC Security system with hand sanitization
JP7443990B2 (ja) 2020-08-26 2024-03-06 株式会社Ｊｖｃケンウッド 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム
US20220114370A1 (en) * 2020-10-12 2022-04-14 Magna Electronics Inc. Vision system for detecting objects in a swing path
CN112598743B (zh) * 2021-02-08 2023-10-13 智道网联科技(北京)有限公司 一种单目视觉图像的位姿估算方法及相关装置
JP7476144B2 (ja) 2021-07-19 2024-04-30 ダイハツ工業株式会社 衝突回避制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140481A1 (en) * 2004-12-08 2006-06-29 Kye-Kyung Kim Target detecting system and method
JP4734884B2 (ja) * 2004-09-30 2011-07-27 日産自動車株式会社 人物検出装置及び方法
CN103020656A (zh) * 2012-12-19 2013-04-03 中山大学 一种压缩红外感知实现的手势识别装置及识别方法
CN103792515A (zh) * 2013-12-10 2014-05-14 中国船舶重工集团公司第七0九研究所 一种异平台2维雷达与红外传感器量测数据合成方法
CN103996182A (zh) * 2013-02-15 2014-08-20 欧姆龙株式会社 图像处理装置、图像处理方法
US9437000B2 (en) * 2014-02-20 2016-09-06 Google Inc. Odometry feature matching

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS598793B2 (ja) 1977-11-16 1984-02-27 セイコーインスツルメンツ株式会社 時計の切換機構
JPS598793A (ja) 1982-07-07 1984-01-18 Hitachi Ltd ジヤ−ナル軸受
KR100651034B1 (ko) 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム
JP4872245B2 (ja) 2005-06-06 2012-02-08 トヨタ自動車株式会社 歩行者認識装置
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
JP4813304B2 (ja) 2006-09-19 2011-11-09 本田技研工業株式会社 車両周辺監視装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
JP5491242B2 (ja) 2010-03-19 2014-05-14 本田技研工業株式会社 車両周辺監視装置
JP2012019337A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置及び方法並びにプログラム
US8965056B2 (en) * 2010-08-31 2015-02-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
US20130250070A1 (en) 2010-12-01 2013-09-26 Konica Minolta, Inc. Image synthesis device
CN106340032B (zh) 2016-08-27 2019-03-15 浙江捷尚视觉科技股份有限公司 一种基于光流场聚类的运动目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4734884B2 (ja) * 2004-09-30 2011-07-27 日産自動車株式会社 人物検出装置及び方法
US20060140481A1 (en) * 2004-12-08 2006-06-29 Kye-Kyung Kim Target detecting system and method
CN103020656A (zh) * 2012-12-19 2013-04-03 中山大学 一种压缩红外感知实现的手势识别装置及识别方法
CN103996182A (zh) * 2013-02-15 2014-08-20 欧姆龙株式会社 图像处理装置、图像处理方法
CN103792515A (zh) * 2013-12-10 2014-05-14 中国船舶重工集团公司第七0九研究所 一种异平台2维雷达与红外传感器量测数据合成方法
US9437000B2 (en) * 2014-02-20 2016-09-06 Google Inc. Odometry feature matching

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114034399A (zh) * 2021-11-25 2022-02-11 北京环境特性研究所 一种多目标威胁度评价方法及装置
CN114034399B (zh) * 2021-11-25 2023-12-22 北京环境特性研究所 一种多目标威胁度评价方法及装置

Also Published As

Publication number Publication date
EP3694206A1 (en) 2020-08-12
JP7188394B2 (ja) 2022-12-13
CN111164967B (zh) 2022-03-29
US20200294245A1 (en) 2020-09-17
EP3694206A4 (en) 2020-08-12
WO2019069581A1 (ja) 2019-04-11
US11468574B2 (en) 2022-10-11
JPWO2019069581A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
CN111164967B (zh) 图像处理设备和图像处理方法
US11531354B2 (en) Image processing apparatus and image processing method
CN111386701B (zh) 图像处理装置和图像处理方法
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US20210116930A1 (en) Information processing apparatus, information processing method, program, and mobile object
US20220169245A1 (en) Information processing apparatus, information processing method, computer program, and mobile body device
US11501461B2 (en) Controller, control method, and program
US20210141386A1 (en) Information processing apparatus, mobile object, control system, information processing method, and program
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220058428A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
US20220277556A1 (en) Information processing device, information processing method, and program
WO2022024803A1 (ja) 学習モデルの生成方法、情報処理装置、情報処理システム
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
WO2020090250A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022107595A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN117999587A (zh) 识别处理设备、识别处理方法和识别处理系统
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN115777116A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant