CN111386701A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN111386701A
CN111386701A CN201880076885.XA CN201880076885A CN111386701A CN 111386701 A CN111386701 A CN 111386701A CN 201880076885 A CN201880076885 A CN 201880076885A CN 111386701 A CN111386701 A CN 111386701A
Authority
CN
China
Prior art keywords
image
region
far
modality
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880076885.XA
Other languages
English (en)
Other versions
CN111386701B (zh
Inventor
佐藤竜太
青木卓
伊藤厚史
上森丈士
小柳津秀纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111386701A publication Critical patent/CN111386701A/zh
Application granted granted Critical
Publication of CN111386701B publication Critical patent/CN111386701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种处理远红外图像的图像处理装置和图像处理方法。该图像处理装置包括区域提取部、模态变换部和叠加部。区域提取部提取由可见光相机捕获的可见光图像内的关注区域。模态变换部接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像，并将接收到的图像变换为模态图像。叠加部通过将该模态图像叠加在可见光图像内的关注区域上来生成呈现图像。模态变换部例如使用数据库和条件概率分布将关注区域的远红外图像变换为包括人类熟悉的信息模态的模态图像。

Description

图像处理装置和图像处理方法
技术领域
本文档中公开的技术涉及处理远红外图像的图像处理装置和图像处理方法。
背景技术
近年来，汽车驾驶技术正在大力发展。例如，一些已开发的技术通过使用可见光相机和距离传感器检测在本车辆前方的人员和其他障碍物并应用自动制动来避免障碍物。显然，类似的技术也可以应用以估计在本车辆与存在于本车辆的后方或侧面的人员和其他障碍物之间碰撞的可能性。
另外，有必要整日整夜防止交通事故。因此，例如，在某些情况下可以使用包括可见光相机和远红外相机的混合相机(例如参考专利文献1)。混合相机能够根据例如从日到夜变化以及从明暗变化的成像环境来选择性地使用可见光相机或远红外相机。使用远红外相机使得可以捕获包括在例如十微米附近的长波长处的大量热信息的远红外图像，以及提取接近人体温度的温度区域。
引用列表
专利文献
专利文献1：特开2009-10447号公报
专利文献2：特开2005-223605号公报
发明内容
技术问题
本文档中公开的技术的目的是提供处理远红外图像的图像处理装置和图像处理方法。
问题的解决方案
根据本文档中公开的技术的第一方面，提供了一种图像处理装置，包括区域提取部、模态变换部和叠加部。区域提取部提取由可见光相机捕获的可见光图像内的关注区域。模态变换部接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像，并将接收到的图像变换为模态图像。叠加部通过将该模态图像叠加在可见光图像内的关注区域上来生成呈现图像。
模态变换部执行变换以获得包括人类熟悉的信息模态的模态图像。模态变换部执行根据其中预注册了成对的远红外图像和可见光图像的数据库或利用基于远红外图像的可见光图像生成的条件概率分布来将关注区域的远红外图像变换为远红外图像的模态图像的处理。
另外，根据本文档中公开的技术的第二方面，提供了一种图像处理方法，包括区域提取步骤、模态变换步骤和叠加步骤。区域提取步骤提取由可见光相机捕获的可见光图像内的关注区域。模态变换步骤接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像，并将接收到的图像变换为模态图像。叠加步骤通过将模态图像叠加在可见光图像内的关注区域上来生成呈现图像。
发明的有利效果
本文档中公开的技术能够提供一种处理远红外图像的图像处理装置和图像处理方法。
应当注意的是，本文档中描述的有利效果仅仅是说明性的，而不是限制性的。本发明不限于上述效果。另外，在某些情况下，除了上述效果之外，本发明还可提供额外的有利效果。
根据基于稍后描述的实施例和附图的以下更详细的描述，本文档中公开的技术的其他目的、特征和优点将显而易见。
附图说明
图1是示出车辆控制系统100的示例功能配置的示意框图。
图2是示出图像处理装置200的功能配置的示图。
图3是示出由可见光相机捕获的可见光图像的示图。
图4是示出由与可见光相机观察同一对象的红外相机捕获的红外图像的示图。
图5是示出从图4所示的远红外图像中提取的关注区域的示图。
图6是示出通过将模态图像叠加在可见光图像内的所有关注区域上而获得的呈现图像的示图。
图7是示出通过将模态图像叠加在可见光图像的暗区内的关注区域上而获得的呈现图像的示图。
图8是示出实际的远红外图像和从该远红外图像中提取的关注区域的一组图。
图9是示出图8所示的关注区域的远红外图像和通过对关注区域的远红外图像执行模态变换而获得的模态图像的一组图。
图10是示出当将从远红外图像的模态变换获得的模态图像叠加在可见光图像内的关注区域上时产生的结果的一组图。
图11是示出远红外图像的示例的示图。
图12是示出当观察与图11中相同的对象时获得的可见光图像的示图。
图13是示出从图12所示的可见光图像(暗区)中提取的区域及其关联的亮度直方图的一组图。
图14是示出从图12所示的可见光图像(亮区)中提取的区域及其关联的亮度直方图的一组图。
图15是示出通过对关注区域(仅暗区)的远红外图像执行模态变换而生成的模态图像的一组图。
图16是示出通过将模态图像1601叠加在图12所示的可见光图像内的关注区域(仅暗区)上而生成的呈现图像的示图。
图17是示出呈现图像的示图，该呈现图像附有框线以清楚地指示模态图像。
图18是示出通过使用条件概率分布对图像执行模态变换的方法的一组图。
图19是示出通过使用条件概率分布对图像执行模态变换的方法的一组图。
图20是示出图像处理装置2000的功能配置的示图。
图21是示出通过将模态图像叠加在可见光图像内的关注区域上来生成呈现图像的处理的流程图。
具体实施方式
现在将参考附图详细描述本文档中公开的技术的实施例。
图1是示出车辆控制系统100的示例功能配置的示意框图。车辆控制系统100是可应用本技术的移动体控制系统的示例。
应当注意的是，在要与另一车辆区分开的情况下，安装有车辆控制系统100的车辆在下文中称为本汽车或本车辆。
车辆控制系统100包括输入部101、数据获取部102、通信部103、车载装备104、输出控制部105、输出部106、动力传动控制部107、动力传动系统108、车身控制部109、车身系统110、存储部111以及自主驾驶控制部112。输入部101、数据获取部102、通信部103、输出控制部105、动力传动控制部107、车身控制部109、存储部111和自主驾驶控制部112通过通信网络121互连。通信网络121例如包括符合相关标准的车载通信网络或总线，诸如CAN(控制器区域网)、LIN(局部互连网)、LAN(局域网)或FlexRay(注册商标)。应当注意的是，代替通过通信网络121互连，车辆控制系统100的各个部分可以直接互连。
在下面的描述中，在车辆控制系统100的各个部分通过通信网络121建立通信的情况下没有提及通信网络121。例如，在输入部101和自主驾驶控制部112通过通信网络121彼此通信的情况下，下面的描述仅说明输入部101和自主驾驶控制部112彼此通信。
输入部101包括车辆乘员用来输入例如各种数据和指令的装置。输入部101例如包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备，以及能够通过使用例如语音或手势而不是手动操作来输入各种数据和指令的操作设备。另外，输入部101可以例如是基于红外线或其他无线电波的远程控制装置，或者可与车辆控制系统100的操作相对应地操作的外部连接装备，诸如移动装备或可穿戴装备。输入部101例如基于车辆乘员所输入的数据和指令来生成输入信号，并将所生成的输入信号供应给车辆控制系统100的各个部分。
数据获取部102例如包括用于获取要在车辆控制系统100中进行处理的数据的各种传感器，并将所获取的数据供应给车辆控制系统100的各个部分。
例如，数据获取部102包括用于检测例如本车辆的状态的各种传感器。更具体而言，数据获取部102例如包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)，以及用于检测例如加速器踏板操作量、制动踏板操作量、方向盘转向角、发动机转速、马达转速或车轮转速的传感器。
另外，数据获取部102例如包括用于检测与本车辆的外部有关的信息的各种传感器。更具体而言，数据获取部102包括成像装置，诸如ToF(飞行时间)相机、立体相机、单眼相机、红外相机和其他相机。另外，数据获取部102例如包括用于检测天气或其他气象现象的环境传感器，以及用于检测本车辆周围的物体的外围信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日光传感器以及雪传感器。外围信息检测传感器例如包括超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)设备以及声纳。
另外，数据获取部102包括用于检测本车辆的当前位置的各种传感器。更具体而言，数据获取部102例如包括用于从GNSS(全球导航卫星系统)卫星接收GNSS信号的GNSS接收器。
此外，数据获取部102包括用于检测与车辆的内部有关的信息的各种传感器。更具体而言，数据获取部102例如包括用于捕获车辆的驾驶员的图像的成像装置、用于检测与驾驶员有关的生物信息的生物传感器，以及用于在车厢中收集声音的麦克风。生物传感器例如布置在座椅的表面上或方向盘上，以检测与坐在座椅上的车辆乘员或握持方向盘的驾驶员有关的生物信息。
通信部103例如与车载装备104、车辆外部的各种装备、服务器和基站进行通信，以便发送从车辆控制系统100的各个部分供应的数据并将接收到的数据供应给车辆控制系统100的各个部分。应当注意的是，通信部103所支持的通信协议不受特别限制，并且通信部103能够支持多种不同的通信协议。
通信部103通过使用例如无线LAN、蓝牙(注册商标)、NFC(近场通信)或WUSB(无线USB)与车载装备104建立无线通信。另外，例如，通过使用例如USB(通用串行总线)、HDMI(高清晰度多媒体接口)或MHL(移动高清链接)，通信部103通过连接端子(未示出)(并且必要时有线缆)与车载装备104建立有线通信。
另外，通信部103通过基站或接入点与外部网络(例如，因特网、云网络或供应商专用网络)上的装备(例如，应用服务器或控制服务器)进行通信。另外，通信部103使用例如P2P(对等)技术来与存在于本车辆附近的终端(例如，行人或商店的终端或者MTC(机器类型通信)终端)进行通信。此外，通信部103建立V2X通信，诸如V2V(车辆到车辆)通信、V2I(车辆到基础设施)通信、V2H(车辆到家庭)通信和V2P(车辆到行人)通信。此外，通信部103包括信标接收部，以便接收例如从安装在道路上的无线站发射的无线电波或电磁波，并获取与例如当前位置、交通拥堵、交通限制或所需时间有关的信息。
车载装备104例如包括车辆乘员所拥有的移动装备或可穿戴装备、携带到本车辆中或安装在本车辆中的信息装备，以及用于搜索到期望目的地的路线的导航装置。
输出控制部105控制各种信息向本车辆中的车辆乘员或本车辆的外部的输出。例如，通过生成包括视觉信息(例如，图像数据)或听觉信息(例如，音频数据)中的至少一种的输出信号并将所生成的输出信号供应给输出部106，输出控制部105控制来自输出部106的视觉信息和听觉信息的输出。更具体而言，例如，输出控制部105组合由数据获取部102中的不同的成像装置捕获的图像数据以生成例如鸟瞰视图图像或全景图像，并将包括所生成的图像的输出信号供应给输出部106。另外，例如，输出控制部105生成例如包括指示例如碰撞、小事故或进入危险地带的风险的警告声或警告消息的音频数据，并将包括所生成的音频数据的输出信号供应给输出部106。
输出部106包括能够将视觉信息或听觉信息输出到本车辆中的车辆乘员或本车辆的外部的装置。例如，输出部106包括显示装置、仪表板、音频扬声器、耳机、眼镜显示器或由车辆乘员穿戴的其他可穿戴设备、投影仪以及灯。要包括在输出部106中的显示装置不仅可以是具有普通显示器的装置，而且可以是平视显示器、透射型显示器、具有AR(增强现实)显示功能的装置或者在驾驶员的视野中显示视觉信息的其他装置。
动力传动控制部107生成各种控制信号，并将所生成的控制信号供应给动力传动系统108以控制动力传动系统108。另外，动力传动控制部107根据需要将控制信号供应给除动力传动系统108之外的各个部分，以便将动力传动系统108的受控状态通知给它们。
动力传动系统108包括与本车辆的动力传动有关的各种装置。例如，动力传动系统108包括用于生成例如用于内燃机引擎或驱动马达的驱动力的驱动力生成装置、用于将驱动力传送到车轮的驱动力传送机构、用于调节转向角的转向机构、用于生成制动力的制动装置、ABS(防抱死制动系统)、ESC(电子稳定控制)装置以及电动助力转向装置。
车身控制部109生成各种控制信号，并将所生成的控制信号供应给车身系统110以控制车身系统110。另外，车身控制部109根据需要将控制信号提供给除车身系统110之外的各个部分，以便将车身系统110的受控状态通知给它们。
车身系统110包括安装在车身中的各种车身相关装置。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调，以及各种灯(例如，前照灯、倒车灯、刹车灯、方向指示灯和雾灯)。
存储部111例如包括ROM(只读存储器)、RAM(随机存取存储器)、HDD(硬盘驱动器)或其他磁存储设备、半导体存储设备、光存储设备以及磁光存储设备。存储部111例如存储由车辆控制系统100的各个部分使用的各种程序和数据。例如，存储部111存储地图数据，诸如动态地图或其他高精度三维地图、与高精度三维地图相比具有更低精度并且覆盖更广区域的全局地图以及包括与本车辆周围的区域有关的信息的本地地图。
自主驾驶控制部112提供对诸如自动行驶或驾驶辅助之类的自主驾驶的控制。更具体而言，自主驾驶控制部112提供协调控制以实现本车辆的ADAS(高级驾驶员辅助系统)功能，例如包括防撞或减震、基于车辆到车辆距离的跟踪行驶、巡航控制、碰撞警告或车道偏离警告。另外，例如，自主驾驶控制部112为自主驾驶提供协调控制，以便实现自动行驶而不需要驾驶员干预。自主驾驶控制部112包括检测部131、自身位置估计部132、状况分析部133、计划部134以及运动控制部135。
检测部131检测控制自主驾驶所需的各种信息。检测部131包括车辆外部信息检测部141、车辆内部信息检测部142和车辆状态检测部143。
根据来自车辆控制系统100的各个部分的数据或信号，车辆外部信息检测部141对关于本车辆的外部信息进行检测处理。例如，车辆外部信息检测部141执行检测、识别并跟踪本车辆周围的物体的处理，并执行检测到物体的距离的处理。要检测的物体例如包括车辆、人员、障碍物、建筑物、道路、交通灯、交通标志以及道路标志。另外，例如，车辆外部信息检测部141执行检测本车辆周围的环境的处理。要检测的环境例如包括天气、温度、湿度、亮度和路面状况。车辆外部信息检测部141例如将指示检测处理的结果的数据供应给自身位置估计部132，状况分析部133的地图分析部151、交通规则识别部152和状况识别部153，以及运动控制部135的紧急情况避免部171。
根据来自车辆控制系统100的各个部分的数据或信号，车辆内部信息检测部142执行检测车辆内部信息的处理。例如，车辆内部信息检测部142例如执行认证和识别驾驶员的处理、检测驾驶员的状态的处理、检测车辆乘员的处理，以及检测车内环境的处理。要检测的驾驶员的状态例如包括身体状况、意识、专心程度、疲劳程度以及注视方向。要检测的车内环境例如包括温度、湿度、亮度以及气味。车辆内部信息检测部142例如将指示检测处理的结果的数据供应给状况分析部133的状况识别部153和运动控制部135的紧急情况避免部171。
根据来自车辆控制系统100的各个部分的数据或信号，车辆状态检测部143执行检测本车辆的状态的处理。要检测的本车辆的状态例如包括速度、加速度、转向角、异常的存在和描述、驾驶操作的状态、电动座椅的位置和倾斜度、门锁的状态以及其他车载装备的状态。车辆状态检测部143例如将指示检测处理的结果的数据供应给状况分析部133的状况识别部153和运动控制部135的紧急情况避免部171。
根据来自车辆控制系统100的各个部分(诸如车辆外部信息检测部141以及状况分析部133的状况识别部153)的数据或信号，自身位置估计部132执行估计例如本车辆的位置和姿势的处理。另外，自身位置估计部132根据需要生成用于自身位置估计的本地地图(在下文中称为自身位置估计地图)。自身位置估计地图被假定为是通过使用例如SLAM(同时定位和绘图)技术获得的高精度地图。自身位置估计部132例如将指示估计处理的结果的数据供应给状况分析部133的地图分析部151、交通规则识别部152和状况识别部153。另外，自身位置估计部132将自身位置估计地图存储在存储部111中。
状况分析部133执行分析本车辆周围的状况的处理。状况分析部133包括地图分析部151、交通规则识别部152、状况识别部153和状况预测部154。
地图分析部151通过根据需要使用来自车辆控制系统100的各个部分(诸如自身位置估计部132和车辆外部信息检测部141)的数据或信号来执行分析在存储部111中存储的各种地图的处理，并构建包括自主驾驶的处理所需的信息的地图。地图分析部151例如将所构建的地图供应给交通规则识别部152、状况识别部153和状况预测部154，并将所构建的地图供应给计划部134的路线计划部161、行动计划部162和运动计划部163。
根据来自车辆控制系统100的各个部分(诸如自身位置估计部132、车辆外部信息检测部141和地图分析部151)的数据或信号，交通规则识别部152执行识别本车辆周围的交通规则的处理。该识别处理例如识别本车辆周围的交通灯的位置和状态、本车辆周围的交通限制，以及可用的车道。交通规则识别部152例如将指示识别处理的结果的数据供应给状况预测部154。
根据来自车辆控制系统100的各个部分(诸如自身位置估计部132、车辆外部信息检测部141、车辆内部信息检测部142、车辆状态检测部143和地图分析部151)的数据或信号，状况识别部153执行识别关于本车辆的状况的处理。例如，状况识别部153执行识别例如本车辆的状况、本车辆周围的状况和本车辆的驾驶员的状况的处理。另外，状况识别部153根据需要生成用于识别本车辆周围的状况的本地地图(在下文中称为状况识别地图)。状况识别地图被假定为例如是占用网格地图。
待识别的本车辆的状况例如包括本车辆的位置、姿势和运动(例如，速度、加速度和运动方向)以及异常的存在和描述。待识别的本车辆周围的状况例如包括附近的静止物体的类型和位置，附近的运动物体的类型、位置和运动(例如，速度、加速度和运动方向)，附近道路的构造和路面状况，以及周围区域的天气、温度、湿度和亮度。待识别的驾驶员的状况例如包括身体状况、意识、专心程度、疲劳程度、凝视方向和驾驶操作。
状况识别部153例如将指示识别处理的结果的数据(根据需要包括状况识别地图)供应给自身位置估计部132和状况预测部154。另外，状况识别部153将状况识别地图存储在存储部111中。
根据来自车辆控制系统100的各个部分(诸如地图分析部151、交通规则识别部152和状况识别部153)的数据或信号，状况预测部154执行预测关于本车辆的状况的处理。例如，状况预测部154执行预测例如本车辆的状况、本车辆周围的状况和驾驶员的状况的处理。
待预测的本车辆的状况例如包括本车辆的行为、异常的发生和可行驶的距离。待预测的本车辆周围的状况例如包括本车辆周围的移动物体的行为、交通灯的状态的变化，以及天气和其他环境因素的变化。待预测的驾驶员的状况例如包括驾驶员的行为和身体状况。
状况预测部154例如将指示预测处理的结果的数据以及从交通规则识别部152和状况识别部153接收到的数据供应给计划部134的路线计划部161、行动计划部162和运动计划部163。
根据来自车辆控制系统100的各个部分(诸如地图分析部151和状况预测部154)的数据或信号，路线计划部161计划到目的地的路线。例如，路线计划部161根据全局地图来设置从当前位置到指定目的地的路线。另外，例如，根据例如交通拥堵、事故、交通限制、建筑工事和驾驶员的身体状况，路线计划部161根据需要改变路线。路线计划部161例如将指示计划路线的数据供应给行动计划部162。
基于来自车辆控制系统100的各个部分(诸如地图分析部151和状况预测部154)的数据或信号，行动计划部162计划本车辆的行动，以便沿着路线计划部161所计划的路线在计划时间内安全行驶。例如，行动计划部162制定与例如开始、停止、行驶方向(例如，向前运动、后退、左转、右转和方向改变)、驾驶车道、驾驶速度和超车有关的计划。行动计划部162例如将指示本车辆的计划行动的数据供应给运动计划部163。
基于来自车辆控制系统100的各个部分(诸如地图分析部151和状况预测部154)的数据或信号，运动计划部163计划本车辆的运动，以实现行动计划部162所计划的行动。例如，运动计划部163制定与例如加速、减速和行驶轨迹有关的计划。运动计划部163例如将指示本车辆的计划运动的数据供应给运动控制部135的加速/减速控制部172和方向控制部173。
运动控制部135控制本车辆的运动。运动控制部135包括紧急情况避免部171、加速/减速控制部172和方向控制部173。
基于车辆外部信息检测部141、车辆内部信息检测部142和车辆状态检测部143的检测结果，紧急情况避免部171执行检测诸如碰撞、小事故、进入危险地带、驾驶员异常和车辆的异常之类的紧急情况的处理。在检测到发生紧急情况的情况下，紧急情况避免部171计划本车辆的运动，以便避免诸如突然制动或突然转弯之类的紧急情况。紧急情况避免部171例如将指示本车辆的计划运动的数据供应给加速/减速控制部172和方向控制部173。
加速/减速控制部172提供用于实现由运动计划部163或紧急情况避免部171计划的本车辆的运动的加速/减速控制。例如，加速/减速控制部172计算驱动力生成装置或制动装置的控制目标值以实现计划的加速、减速或突然制动，并将指示计算出的控制目标值的控制命令供应给动力传动控制部107。
方向控制部173提供用于实现由运动计划部163或紧急情况避免部171计划的本车辆的运动的方向控制。例如，方向控制部173计算转向机构的控制目标值以实现由运动计划部163或紧急情况避免部171计划的行驶轨迹或突然转弯，并将指示计算出的控制目标值的控制命令供应给动力传动控制部107。
例如，在根据本实施例的车辆控制系统100中安装了相机和距离传感器，以便通过自动检测本车辆前方的人员和其他障碍物来防止事故。更具体而言，将可见光相机和远红外相机包含作为车辆控制系统100中的数据获取部102的组成要素。在某些情况下，在一个车辆中安装了多个可见光相机和远红外相机。假设安装了至少一对可见光相机和远红外相机(例如，用于观察车辆前方区域的一对相机)以观察同一对象。
结合使用可见光相机和远红外相机使得可以捕获包括在例如十微米附近的长波长处的大量热信息的远红外图像，以及提取接近人体温度的温度区域。因此，即使在可见光下几乎不可见的黑暗或其他区域中，也可以从远红外图像中检测到人员和其他障碍物。
然而，远红外相机在光学特性方面与可见光相机在本质上不同。因此，如果原样显示由远红外相机捕获的远红外图像，则担心观察者(例如，车辆的驾驶员)可能感到不舒服。由可见光相机捕获的可见光图像通常被显示为彩色图像。同时，由远红外相机捕获的远红外图像被显示为单色图像。然而，许多观察者不熟悉单色图像。另外，远红外图像通过使用明和暗而不是高和低的光强度来表示被摄体的温度水平。因此，与对于单色可见光图像相比，观察者对于远红外图像可能感到更加不舒服。
例如提出了一种图像处理装置，该图像处理装置试图通过组合由可见光相机捕获的可见光图像和由红外相机捕获的红外图像来显示非不舒服的图像(例如，参考专利文献2)。当将红外图像与可见光图像组合时，期望组合图像的可见性将高于原始红外图像的可见性。然而，组合图像与可见光图像不同。因此，与可见光图像相比，组合图像不容易被感知。另外，上面提到的图像处理装置被配置为通过根据车辆周围区域的亮度改变红外图像和可见光图像的加权因子来执行红外图像和可见光图像的加权平均。然而，在夜间或其他黑暗情况下或在隧道或其他暗区中捕获的可见光图像的可见性固有地低。因此，即使将这样的可见光图像与红外图像组合，也可以想到红外图像的可见性不会提高。
鉴于上述情况，本文档现在将公开一种图像处理装置，该图像处理装置将远红外图像内的人体区域或其他关注区域变换为包括人类熟悉的信息模态的模态图像，并将该模态图像叠加在可见光图像上以提高关注区域的可见性。
图2示意性地示出了本文档中公开的技术所应用于的图像处理装置200的功能配置。图像处理装置200可以例如作为自主驾驶控制部112的组成要素而被包含在图1所示的车辆控制系统100中。
图2所示的图像处理装置200输入由远红外相机211捕获的远红外图像和由可见光相机212捕获的可见光图像。应当注意的是，远红外相机211和可见光相机212安装在车辆中。假设远红外相机211和可见光相机212被基本安装以观察同一对象。另外，可以想到的是，图像处理装置200可以安装在车辆中。在图2的示例中，远红外相机211和可见光相机212在外部连接到图像处理装置200。然而，可以想到的是，远红外相机211和可见光相机212中的至少任一个可以与图像处理装置200成为一体。另外，可以想到的是，可以将远红外相机211和可见光相机212作为数据获取部102的组成要素包含在图1所示的车辆控制系统100中。
图像处理装置200包括区域提取部201、模态变换部202和叠加部203，输入由远红外相机211捕获的远红外图像，并将远红外图像内的人体区域或其他关注区域变换为包括人类熟悉的信息模态的模态图像。
区域提取部201在由远红外相机211捕获的远红外图像或由可见光相机212捕获的可见光图像内提取关注区域。这里，关注区域是其中在可见光下不容易在视觉上识别出在夜间或在隧道或其他暗区中行走的行人的图像区域。
可以根据需要来配置区域提取部201。例如，区域提取部201能够从由远红外相机211捕获的远红外图像中提取特定温度区域作为关注区域。特定温度区域包括具有在代表特定对象(诸如人体)的特征的温度范围内的值的像素。
另外，区域提取部201可被配置为根据由距离传感器(诸如毫米波雷达、LiDAR传感器或超声波传感器)检测到的关于物体的位置信息来提取关注区域。可替代地，区域提取部201可被配置为从由远红外相机211捕获的远红外图像和由可见光相机212捕获的可见光图像中的每一个中提取特征量，并根据所提取的特征量来提取关注区域。
模态变换部202输入由远红外相机211捕获的远红外图像，将与由区域提取部201提取的关注区域相对应的部分变换为包括人类熟悉的信息模态的模态图像，并输出该模态图像。稍后将详细描述对远红外图像执行的模态变换处理。
随后，叠加部203输入由可见光相机212捕获的可见光图像，将从模态变换部202输出的模态图像叠加在与由区域提取部201提取的关注区域相对应的部分上，并输出通过叠加而获得的图像作为要呈现给人(例如，车辆的驾驶员)的呈现图像。
这里，假设由叠加部203执行的图像叠加处理包括替换处理和组合处理。在替换处理中，可见光图像中与关注区域相对应的部分被模态图像完全替换。组合处理例如以预定的混合比例对模态图像和可见光图像的与关注区域相对应的部分进行加权平均。
应当注意的是，在叠加部203执行组合两个图像的后者处理的情况下，可以例如根据可见光图像在关注区域中的可见性来确定或控制可见光图像与模态图像之间的混合比例。例如，在可见光图像在关注区域中的亮度显著变化使得可见性被估计为高的情况下，可以降低模态图像的混合比例。同时，在可见光图像在关注区域中的亮度变化不大使得可见性被估计为低的情况下，可以提高模态图像的混合比例。
从图像处理装置200输出的呈现图像例如出现在以下各项上：作为图1所示的车辆控制系统100的输出部106而并入的显示装置或仪表板、眼镜显示器、平视显示器、透射型显示器、具有AR显示功能的装置，或者由车辆乘员穿戴并适于在驾驶员的视野中显示视觉信息的其他装置。例如，代替将模态图像叠加在用于观察与远红外图像相同的对象的可见光图像上，可以通过以在挡风玻璃的与关注区域相对应的部分上显示模态图像的方式使用平视显示器来吸引驾驶员的注意。
可以根据需要来配置区域提取部201。例如，区域提取部201能够从由远红外相机211捕获的远红外图像中提取特定温度区域作为关注区域。特定温度区域包括具有在代表特定对象(诸如人体)的特征的温度范围内的值的像素。
图3示出了由可见光相机212捕获的描绘隧道出口附近的可见光图像的示例。同时，图4示出了由远红外相机211捕获的描绘隧道的同一出口附近的远红外图像的示例。如前文提到的，假设安装了远红外相机211和可见光相机212以观察同一对象。
参考图3，在隧道外的亮区中行走的行人在可见光图像中清晰可见并且是高度可见的，所以其存在和状况是容易理解的。同时，在隧道内的暗区中行走的行人在可见光图像中不清晰可见，所以其存在和状况是难以理解的。
相比之下，参考图4，容易确认所有行人的存在，无论他们是在隧道外的亮区还是在隧道内的暗区中行走。然而，远红外图像是通过使用明和暗而不是高和低的光强度来表示被摄体的温度水平的单色图像。因此，对于习惯于观看以彩色显示的可见光图像的人来说，远红外图像是不熟悉的。因此，难以理解根据远红外图像确认的对象的状况和属性(难以确定对象是否为人和识别物体的类型)。另外，可以说，与正常的单色可见光图像中相比，更加难以理解红外图像中描绘的对象。
区域提取部201能够从由远红外相机211捕获的远红外图像中提取特定温度区域作为关注区域。特定温度区域包括具有在代表特定对象(诸如人体)的特征的温度范围内的值的像素。图5示出了作为由附图标记501至505指示的代表人体特征的特定温度区域而被从图4所示的远红外图像中提取的关注区域。然而，应当理解的是，可以基于例如通过毫米波雷达、LiDAR传感器或超声波传感器检测到的关于物体的位置信息来提取与关注区域501至505类似的关注区域。
所提取的关注区域501至505中的关注区域501和502中的行人正在隧道内的暗区中行走，并且在可见光图像中不清晰可见，所以其存在和状况是难以理解的(参考图3)。同时，关注区域503至505中的行人在隧道外的亮区中行走，并且在可见光图像中清晰可见并且是高度可见的，所以其存在和状况是容易理解的。
图6示出了通过将模态图像叠加在所有关注区域501至505上而生成的呈现图像，所述模态图像是通过在模态变换部202中对远红外图像进行变换而获得的，关注区域501至505是作为代表人体特征的特定温度区域而被从可见光图像中提取的。
关注区域501和502中的行人在隧道内的暗区中行走。因此，它们在可见光图像内不清晰可见，所以它们的存在和状况是难以理解的(参考图3)。鉴于以上情况，通过在模态变换部202中变换远红外图像而获得的模态图像601和602被叠加在关注区域501和502上。这提供了提高的可见性，使得与当可见光图像和远红外图像中的任何一个被观看时相比，人体在模态图像601和602中的每一个中的存在和状况是更容易理解的。
同时，关注区域503至505中的行人在隧道的出口附近或隧道外的亮区中行走。因此，它们在可见光图像中清晰可见。另外，它们在可见光下固有地清晰可见，所以可以足够容易地理解它们在关注区域503至505中的存在和状况。同时，如图6所示，当通过在模态变换部202中变换远红外图像而获得的模态图像603至605被叠加在关注区域503至505上时，通过叠加而获得的图像在可见性方面低于原始可见光图像，所以人体在模态区域603至605中的存在和状况是难以理解的。模态图像各自包括人类熟悉的信息模态，并且比远红外图像更清晰可见。然而，模态图像不能够完美地再现可见光图像中包括的纹理和其他信息。因此，模态图像在可见性方面比可见光图像差。
因此，可以说模态图像应当叠加在从暗区(诸如隧道内的区域)中提取的关注区域501和502上。然而，模态图像不应叠加在从亮区(诸如隧道外的区域)中提取的关注区域503至505上。
鉴于以上情况，叠加部203应当检查可见光图像在由区域提取部201提取的关注区域中的可见性，并且仅在暗区或不清晰可见的其他关注区域上执行叠加模态图像的处理。
一种替代方式是允许区域提取部201检查与远红外图像中的包括具有在代表特定对象(诸如人体)的特征的温度范围内的值的像素的特定温度区域(或者，基于距离传感器的检测结果而检测到物体的区域)相对应的可见光图像的区域可见性，并且仅提取暗区或不清晰可见的其他区域作为关注区域。在这种情况下，叠加部203应当执行将模态图像叠加在由区域提取部201提取的所有关注区域上的处理。
图7示出了通过仅在可见光图像内的从暗区或不清晰可见的其他区域中提取的关注区域上叠加模态图像而生成的呈现图像。
关注区域501和502中的行人在隧道内的暗区中行走。因此，它们在可见光图像内不清晰可见，所以它们的存在和状况是难以理解的(参考图3)。鉴于这种情况，通过在模态变换部202中变换远红外图像而获得的模态图像701和702被叠加在可见光图像内的关注区域601和602上。这提供了提高的可见性，所以与当可见光图像和远红外图像中的任何一个被观察时相比，人体在模态图像701和702中的每一个中的存在和状况是更容易理解的。
同时，由附图标记703至705指示的行人在隧道出口附近或隧道外的亮区中行走。因此，它们在可见光图像中清晰可见。另外，它们在可见光下固有地清晰可见。因此，如图7所示，当没有模态图像叠加在检测到行人703至705的区域上时，可见光图像中固有地包括的纹理和其他信息被保留。结果，可见性保持未受损害。
如上所述，当叠加部203将模态图像叠加在从暗区或可见性低的其他区域中提取的关注区域上时，可以使可见光图像内几乎不可见的部分容易看到，而可见光图像内的容易看到的区域维持原样。
应当注意的是，在图7中为了促进理解而将虚线框附加到关注区域701和702中的每一个。无需总是在实际的呈现图像中描绘这样的虚线框。然而，为了便于呈现图像观察者(例如，驾驶员)在视觉上确认叠加了模态图像的位置，如图7所示，可以显示关注区域的框。
例如，当将模态图像叠加在可见光图像内的关注区域上时，叠加部203仅需要将框附加到模态图像的外围。可替代地，模态变换部202可以将远红外图像内的关注区域变换为模态图像，将框附加到模态图像，并且将加框的模态图像输出到叠加部203。另一替代方式是将图标、标记或其他视觉指示符附加到模态图像附近，以用于指示叠加了模态图像的位置的目的。
图8示出了实际的远红外图像和从远红外图像中提取的关注区域。在图8的左侧描绘了原始的远红外图像。关注区域是在图8的右侧描绘并由白线框包围的远红外图像内的由附图标记801指示的区域。在图8的示例中，包括人体(在隧道中行走的行人)的区域被提取为关注区域801。然而，应当注意的是，图像处理装置200可被配置为能够提取包括除人体之外的期望体的区域作为关注区域。
同时，图9示出了图8所示的关注区域的远红外图像和通过对该关注区域的远红外图像执行模态变换而获得的模态图像。在图9的左侧描绘了包括原始远红外图像的关注区域。在图9的右侧描绘了从模态变换得到的关注区域的模态图像。
远红外图像是没有可见光图像中包括的纹理和其他信息的单色图像。对远红外图像执行模态变换使得可以可接受地再现诸如物体表面的纹理以及物体的轮廓和姿势之类的信息。因此，预计模态图像的可见性将比远红外图像的可见性更高。然而，通过模态变换不能完美地再现可见光图像中包括的纹理和其他信息。因此，模态图像在可见性方面比可见光图像差。应当注意的是，稍后将详细描述对图像的模态变换处理。
顺便提及，图10示出了当通过对远红外图像执行模态变换而生成的模态图像被叠加在可见光图像内的关注区域上时获得的结果。在图10的左侧示出了通过观察与图8的右侧所示的远红外图像相同的对象而获得的原始可见光图像。同时，在图10的右侧示出了当通过对例如图9的右侧所示的远红外图像执行模态变换而获得的模态图像被叠加在在原始可见光图像内并由图8的左侧中的附图标记801指示的关注区域上时获得的呈现图像。然而，图10示出了如下示例，其中通过模态图像替换关注区域的可见光图像，而不是将模态图像与可见光图像内的关注区域以预定的混合比例进行组合。
在暗区(诸如隧道的内部)中几乎看不到可见光。从图10的左侧显而易见，从可见光图像中不容易在视觉上识别出在隧道中行走的行人。另外，远红外图像包括在例如十微米附近的长波长处的大量热信息，并且从图8的左侧显而易见，使得可以确认在隧道或不容易看到可见光的其他暗区内存在具有特定温度区域的对象。然而，远红外图像是没有可见光图像中包括的纹理和其他类似信息的单色图像。因此，尽管可以确认隧道内的区域中的具有特定温度区域的对象的存在，但是该对象的属性和状况是不容易理解的。也就是说，仅通过观看远红外图像无法容易地理解对象是人体并且正在行走的事实。
模态图像是在一定程度上再现纹理和其他类似信息的图像。因此，如图10的右侧所示，容易确认在可见光下几乎不可见的暗区内的关注区域中存在对象。另外，由于通过对远红外图像执行模态变换而获得的模态图像被叠加在可见光图像内的关注区域而不是远红外图像上，因此与观察描绘暗区的红外图像或可见光图像的情况下相比，观察者(例如，车辆的驾驶员)能够容易得多地识别存在于关注区域中的对象的属性和状况。当对远红外图像执行模态变换时，在一定程度上再现诸如物体表面的纹理以及物体的轮廓和姿势之类的信息。因此，预计可见性将高于远红外图像的可见性。
现在将更详细地描述区域提取部201用来提取关注区域的处理方法。以下描述涉及从远红外图像中提取特定温度区域作为关注区域的示例。特定温度区域包括具有在代表特定对象(诸如人体)的特征的温度范围内的值的像素。
图11示出了由远红外相机211捕获的远红外图像的示例。此外，图12示出了由可见光相机212捕获的可见光图像，可见光相机212观察与远红外相机211相同的对象。如图11所示，可以从远红外图像中提取特定温度区域1101至1104，特定温度区域1101至1104包括具有在代表特定对象(诸如人体)的特征的温度范围内的值的像素。此外，图12示出了分别对应于从远红外图像中提取的区域1101至1104的区域1201至1204。
图12所示的可见光图像内的区域1203和1204位于隧道出口附近并且在隧道外的亮区中。因此，区域1203和1204中描绘的行人清晰可见并且可见性高，所以他们的存在和状况是容易理解的。同时，区域1201和1202在隧道内的暗区中。因此，区域1201和1202中描绘的行人的可见性低，所以他们的存在和状况非常难以理解。
相比之下，在图11中的远红外图像中描绘并且定位在所有区域1101至1104内的对象的存在是容易确认的，不管它们位于隧道外的亮区中还是在隧道内的暗区中。然而，远红外图像是通过使用明和暗而不是高和低的光强度来表示被摄体的温度水平的单色图像。因此，对于习惯于观看以彩色显示的可见光图像的人来说，远红外图像是不熟悉的。因此，难以理解从远红外图像的各个区域1101至1104中可以确认其存在的对象的属性和状况，无论他们是在亮区中还是在暗区中(即，难以在视觉上识别出对象是人并且人正在行走)。
图13示出了可见光图像内的与从远红外图像中提取的区域1101相对应的区域1201的放大，以及区域1201中的像素的亮度直方图。从图11和图12之间的比较显而易见，区域1101对应于可见光图像内的暗区。因此，图13的右侧所示的亮度直方图指示亮度水平低的区域中的高分布(然而，横轴表示亮度值，并且纵轴表示每个亮度值的像素数)。
此外，图14示出了可见光图像内的与从远红外图像中提取的区域1104相对应的区域1204的放大，以及区域1204中的像素的亮度直方图。从图11和图12之间的比较显而易见，区域1104对应于可见光图像内的亮区。因此，如图14的右侧所示，像素分布在较宽的亮度水平范围内(然而，横轴表示亮度值，并且纵轴表示每个亮度值的像素数)。
从图13和图14中显而易见，可见光图像的每个区域中的像素的亮度直方图之间的比较使得可以在暗区和亮区之间进行区分。例如，可以将每个区域的亮度直方图的中间值与预定阈值进行比较，以确定是否采用区域作为关注区域。亮度直方图的中间值小于阈值的区域对应于暗区。因此，这样的区域应当被确定为关注区域。相反，亮度直方图的中间值等于或大于阈值的区域对应于亮区。因此，这样的区域不应被确定为关注区域。显然，可以采用替代方法来确定每个区域是暗区还是亮区。
如前文提到的，应当将模态图像叠加在从暗区中提取的关注区域上；然而，不应将模态图像叠加在从亮区中提取的关注区域上。因此，基于由区域提取部201提取的关注区域中的像素的亮度直方图，叠加部203确定相关区域是暗区还是亮区，并且仅对暗区的关注区域执行模态图像叠加处理。显然，基于关注区域中的像素的除亮度直方图之外的指标，叠加部203可以确定相关区域是暗区还是亮区。
可替代地，基于可见光图像中与远红外图像中的特定温度区域相对应的每个区域中的像素的亮度直方图，区域提取部201(不是叠加部203)可以确定相关区域是暗区还是亮区，并且仅提取暗区的区域作为关注区域，所述特定温度区域包括具有代表特定对象(诸如人体)的特征的温度范围内的值的像素。在这种情况下，叠加部203应当执行将模态图像叠加在由区域提取部201提取的所有关注区域上的处理。显然，基于除区域中的像素的亮度直方图之外的指标，区域提取部201可以确定该区域是暗区还是亮区。
从图11所示的远红外图像中，存在于隧道内的暗区中的区域1101被提取作为关注区域。图15示出了通过对关注区域1101的远红外图像执行模态变换而生成的模态图像1501。
此外，图16示出了通过将模态图像1601至1603分别叠加在图12所示的可见光图像中的对应关注区域1201至1203上而生成的呈现图像1600。例如，基于图12所示的可见光图像中的区域1201至1204之中的区域中的像素的亮度直方图，确定区域1204不是暗区，即不是关注区域。因此，基于确定的结果，将没有模态图像叠加在这样的区域上。
关注区域1201至1203中的行人在隧道内的暗区中行走，因此在可见光图像内可见性低。因此，它们的存在和状况非常难以理解(参考图12)。既然是这样，当通过在模态变换部202中对远红外图像进行变换而生成的模态图像1601至1603被叠加在可见光图像中的关注区域1201至1203上时，可见性提高。从图16显而易见，呈现图像1600使得比观看图12所示的可见光图像内的区域1201至1203和图11所示的远红外图像内的区域1101至1103时更易于理解模态图像1601至1603内的人体的存在和状况。
同时，图12所示的可见光图像中的由附图标记1204指示的区域中的行人正在隧道外的亮区中行走。因此，行人在可见光图像中清晰可见，并且在可见光下固有地高度可见。因此，当没有模态图像叠加在区域1204上时，呈现图像1600能够保留可见光图像中原本包括的纹理和其他信息，并且保持高度可见，如图16所示。
此外，图17示出了呈现图像1700，其中指示关注区域的框1701至1703附加到叠加有模态图像的区域。因为框1701至1703被附加到呈现图像1700中的关注区域，因此可以清楚地向观察者(例如，车辆的驾驶员)指示人和其他障碍物在相关区域中的存在，以便引起观察者的注意。可替代地，除框之外的视觉指示符(诸如图标或标记)可以被附加到模态图像的附近，以便指示叠加有模态图像的位置。
现在将更详细地描述模态变换部202用来将远红外图像变换为模态图像的处理方法。
本文档中使用的术语“模态变换”是指变换图像的模态(模式)的处理。更具体而言，模态变换将远红外图像转换为可见光图像。对远红外图像执行模态变换，以便可接受地再现物体表面的纹理、物体的轮廓和姿势以及从远红外图像中去除的其他信息，并提供与观察相同对象的可见光图像的可见性更接近的可见性。
作为模态变换方法，可以采用使用模态变换数据库的方法。这里，模态变换数据库用于预注册成对的远红外图像和可见光图像。
当关注区域的远红外图像被输入时，模态变换部202执行例如模板匹配以在模态变换数据库中搜索类似的远红外图像，定位与检索到的远红外图像配对的可见光图像，并输出该可见光图像作为模态图像。当执行预处理以将大量配对的远红外图像和可见光图像预注册在模态变换数据库中时，模态变换部202能够执行到更可能的可见光图像的模态变换。
作为另一种模态变换方法，可以采用学习方法。例如，可以执行预处理以学习基于远红外图像的可见光图像生成的条件概率分布(即，在出现可见光图像的条件下远红外图像的概率)。例如，可以将自动编码器(autoencoder)或条件生成对抗网络(CGAN)应用于学习。
例如，预先学习在出现图18(A)所示的可见光图像(RGB)的条件下出现图18(B)所示的远红外图像(FIR)的概率。例如假定获得指示图18(C)所示的条件概率分布(p(RGB|FIR))的曲线。
随后，模态变换部202基于从区域提取部201输入的远红外图像(FIR)根据上面提到的预先学习的条件概率分布(p(RGB|FIR))对更可能的可见光图像(RGB)进行采样(参考图19)。然后将采样的可见光图像(RGB)作为模态图像输出到叠加部203。
图20示意性地示出了另一图像处理装置2000的功能配置。与图2所示的图像处理装置200的情况一样，图像处理装置2000具有通过以下操作来提供提高的可见性的功能：对远红外图像执行模态变换以获得模态图像，并将模态图像叠加在可见光图像内的可见性低的关注区域(诸如暗区)上。与图像处理装置200的主要区别在于，图像处理装置2000基于远红外图像和可见光图像内的物体检测结果来提取关注区域。
图20所示的图像处理装置2000可被例如包含作为图1所示的车辆控制系统100中的自主驾驶控制部112的组成要素。另外，图像处理装置2000输入由远红外相机2011捕获的远红外图像和由可见光相机2012捕获的可见光图像。远红外相机2011和可见光相机2012安装在车辆上。
基本上，假设安装远红外相机2011和可见光相机2012以观察相同的对象。另外，可以想到的是，图像处理装置2000也可以安装在车辆中。在图20的示例中，远红外相机2011和可见光相机2012在外部连接到图像处理装置2000。然而，可以想到的是，远红外相机2011和可见光相机2012中的至少任一个可以与图像处理装置2000成为一体。另外，可以想到的是，远红外相机2011和可见光相机2012可被包含作为图1所示的车辆控制系统100中的数据获取部102的组成要素。
物体检测部2001不仅从由远红外相机2011捕获的远红外图像中提取特征量并检测在远红外图像中描绘的物体，而且还从由可见光相机2012捕获的可见光图像中提取特征量并检测可见光图像中描绘的物体。
关注区域确定部2002确定包括由物体检测部2001从远红外图像和可见光图像中检测到的物体的区域是否是关注区域。例如，关注区域确定部2002将包括在远红外图像中描绘但未在可见光图像中描绘的物体的区域确定为关注区域。
模态变换部2003输入由远红外相机2011捕获的远红外图像，将远红外图像的与由关注区域确定部2002确定的关注区域相对应的部分变换为包括人类熟悉的信息模态的模态图像，并输出模态图像。
随后，叠加部2004输入由可见光相机2012捕获的可见光图像，将从模态变换部2003输出的模态图像叠加在可见光图像的与由关注区域确定部2002确定的关注区域相对应的部分上，并输出叠加结果，作为要呈现给人(例如，车辆的驾驶员)的呈现图像。
从图像处理装置2000输出的呈现图像例如出现在以下各项上：作为图1所示的车辆控制系统100的输出部106而并入的显示装置或仪表板、眼镜显示器、平视显示器、透射型显示器、具有AR显示功能的装置，或者由车辆乘员穿戴并适于在驾驶员的视野中显示视觉信息的其他装置。例如，代替将模态图像叠加在用于观察与远红外图像相同的对象的可见光图像上，可以通过以在挡风玻璃的与关注区域相对应的部分上显示模态图像的方式使用平视显示器来吸引驾驶员的注意。
图21是示出如下处理的流程图，该处理在图2所示的图像处理装置200或图20所示的图像处理装置2000中执行，以便通过将模态图像叠加在可见光图像内的关注区域上来生成呈现图像。
首先，执行物体检测处理以从可见光图像中检测包括对象物体的区域(步骤S2101)。物体检测处理由图像处理装置200中的区域提取部201执行，或者由图像处理装置2000中的物体检测部2001执行。
随后，在用于重复处理的步骤S2102至S2104中，对在步骤S2101中检测到的所有物体重复执行关注区域确定处理，以便确定包括物体的区域是否是关注区域(步骤S2103)。
步骤S2103中的关注区域确定处理由图像处理装置200中的区域提取部201或叠加部203执行，或者由图像处理装置2000中的关注区域确定部2002执行。
在通过步骤S2102至S2104中的上述重复处理获取了关于关注区域的信息之后(步骤S2105)，在随后的步骤S2106至S2109中对所有关注区域重复执行模态变换处理(步骤S2107)和叠加处理(步骤S2108)。模态变换处理将关注区域的远红外图像变换为模态图像。叠加处理将模态图像叠加在可见光图像内的关注区域上。
步骤S2107中的模态变换处理由图像处理装置200中的模态变换部202执行，或者由图像处理装置2000中的模态变换部2003执行。另外，步骤S2108中的叠加处理由图像处理装置200中的叠加部203执行，或者由图像处理装置2000中的叠加部2004执行。
随后，图像处理装置200或图像处理装置2000输出通过将模态图像叠加在可见光图像内的关注区域上而获得的呈现图像，并且执行显示处理(步骤S2101)。
呈现图像例如出现在以下各项上：作为图1所示的车辆控制系统100的输出部106而并入的显示装置或仪表板、眼镜显示器、平视显示器、透射型显示器、具有AR显示功能的装置，或者由车辆乘员穿戴并适于在驾驶员的视野中显示视觉信息的其他装置。
当诸如驾驶员之类的车辆乘员观察呈现图像时，车辆乘员能够容易地在视觉上识别例如暗区中的行人，并且适当地进行驾驶操作以避免碰撞或防止事故。
[工业适用性]
已经参考特定实施例详细描述了本文档中公开的技术。然而，显而易见的是，在不脱离本文档中公开的技术的精神的情况下，本领域的技术人员可以对实施例进行修改或改变。
本文档中公开的技术适用于各种车辆，诸如汽车(包括汽油车和柴油车)、电动汽车、混合动力电动汽车、摩托车、自行车和个人移动车辆。另外，本文档中公开的技术还适用于除道路行驶车辆之外的移动体。
另外，本文档中公开的技术也适用于非移动体。当将本文档中公开的技术应用于例如监控相机时，通过将可见光图像与模态图像组合可以准确地获得可疑人员的真实图像。
简而言之，已经以说明性方式描述了本文档中公开的技术。因此，不应以限制性方式解释本文档中的描述。为了理解本文档中公开的技术的实质，应当考虑所附权利要求的范围。
应当注意的是，本文档中公开的技术可以采用以下配置。
(1)一种图像处理装置，包括：
区域提取部，提取由可见光相机捕获的可见光图像内的关注区域；
模态变换部，接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像，并将接收到的图像变换为模态图像；和
叠加部，通过将该模态图像叠加在可见光图像内的关注区域上来生成呈现图像。
(2)如在上面的(1)中描述的图像处理装置，其中
区域提取部基于从远红外图像中检测物体的结果来提取关注区域。
(3)如在上面的(1)中描述的图像处理装置，其中
区域提取部从远红外图像中提取特定温度区域作为关注区域，该特定温度区域包括具有代表特定对象的特征的温度范围内的值的像素。
(4)如在上面的(1)中描述的图像处理装置，其中
区域提取部基于从远红外图像中和从可见光图像中检测物体的各个结果来提取关注区域。
(5)如在上面的(4)中描述的图像处理装置，其中
区域提取部提取包括在远红外图像中示出但未在可见光图像中示出的物体的区域作为关注区域。
(6)如在上面的(1)至(3)中的任一项中描述的图像处理装置，其中
区域提取部基于从远红外图像或可见光图像中检测到物体的区域中的可见光图像的亮度直方图来确定该区域是否包括关注区域。
(7)如在上面的(1)至(5)中的任一项中描述的图像处理装置，其中
模态变换部将关注区域的远红外图像变换为包括人类熟悉的信息模态的模态图像。
(8)如在上面的(1)至(7)中的任一项中描述的图像处理装置，其中
模态变换部通过使用其中预注册了成对的远红外图像和可见光图像的数据库来将关注区域的远红外图像变换为模态图像。
(9)如在上面的(1)至(7)中的任一项中描述的图像处理装置，其中
模态变换部根据基于远红外图像的可见光图像生成的条件概率分布来将关注区域的远红外图像变换为模态图像。
(10)如在上面的(1)中描述的图像处理装置，其中
叠加部将区域指示框或其他视觉指示符附加到叠加在可见光图像上的模态图像上。
(11)如在上面的(1)至(10)中的任一项中描述的图像处理装置，还包括：
呈现部，所述呈现部呈现所述呈现图像。
(12)如在上面的(1)至(11)中的任一项中描述的图像处理装置，其中
可见光相机和远红外相机安装在预定的移动体上。
(13)如在上面的(1)至(12)中的任一项中描述的图像处理装置，还包括：
可见光相机和远红外相机。
(14)如在上面的(1)至(13)中的任一项中描述的图像处理装置，其中
图像处理装置安装在移动体上。
(15)一种图像处理方法，包括：
提取由可见光相机捕获的可见光图像内的关注区域的区域提取步骤；
接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像并将接收到的图像变换为模态图像的模态变换步骤；和
通过将该模态图像叠加在可见光图像内的关注区域上来生成呈现图像的叠加步骤。
(16)一种以计算机可读形式编写的计算机程序，用于使计算机充当：
区域提取部，提取由可见光相机捕获的可见光图像内的关注区域；
模态变换部，接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像，并将接收到的图像变换为模态图像；和
叠加部，通过将该模态图像叠加在可见光图像内的关注区域上来生成呈现图像。
附图标记列表
100···车辆控制系统
101···输入部，102···数据获取部，103···通信部
104···车载装备，105···输出控制部，106···输出部
107···动力传动控制部，108···动力传动系统
109···车身控制部，110···车身系统，111···存储部
112···自主驾驶控制部，121···通信网络
131···检测部，132···自身位置估计部，133···状况分析部
134···计划部，135···运动控制部
141···车辆外部信息检测部，142···车辆内部信息检测部
143···车辆状态检测部
151···地图分析部，152···交通规则识别部
153···状况识别部，154···状况预测部
161···路线计划部，162···行动计划部，163···运动计划部
171···紧急情况避免部，172···加速/减速控制部，173···方向控制部
200···图像处理装置
201···区域提取部，202···模态变换部，202···叠加部
211···远红外相机，212···可见光相机
2000···图像处理装置
2001···物体检测部，2002···关注区域确定部
2003···模态变换部，2004···叠加部
2011···远红外相机，2012···可见光相机

Claims (15)

1.一种图像处理装置，包括：
区域提取部，提取由可见光相机捕获的可见光图像内的关注区域；
模态变换部，接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的所述关注区域的图像，并将接收到的图像变换为模态图像；以及
叠加部，通过将所述模态图像叠加在可见光图像内的关注区域上来生成呈现图像。
2.根据权利要求1所述的图像处理装置，其中
所述区域提取部基于从远红外图像中检测物体的结果来提取关注区域。
3.根据权利要求1所述的图像处理装置，其中
所述区域提取部从远红外图像中提取特定温度区域作为关注区域，所述特定温度区域包括具有表示特定对象的特征的温度范围内的值的像素。
4.根据权利要求1所述的图像处理装置，其中
所述区域提取部基于从远红外图像和从可见光图像中检测物体的各个结果来提取关注区域。
5.根据权利要求4所述的图像处理装置，其中
所述区域提取部提取包括在远红外图像中示出但未在可见光图像中示出的物体的区域作为关注区域。
6.根据权利要求1所述的图像处理装置，其中
所述区域提取部基于从远红外图像或可见光图像中检测到物体的区域中的可见光图像的亮度直方图来确定该区域是否包括关注区域。
7.根据权利要求1所述的图像处理装置，其中
所述模态变换部将关注区域的远红外图像变换为包括人类熟悉的信息模态的模态图像。
8.根据权利要求1所述的图像处理装置，其中
所述模态变换部通过使用其中预注册了成对的远红外图像和可见光图像的数据库来将关注区域的远红外图像变换为模态图像。
9.根据权利要求1所述的图像处理装置，其中
所述模态变换部根据基于远红外图像的可见光图像生成的条件概率分布来将关注区域的远红外图像变换为模态图像。
10.根据权利要求1所述的图像处理装置，其中
所述叠加部将区域指示框或其他视觉指示符附着到叠加在可见光图像上的模态图像上。
11.根据权利要求1所述的图像处理装置，还包括：
呈现部，所述呈现部呈现所述呈现图像。
12.根据权利要求1所述的图像处理装置，其中
可见光相机和远红外相机安装在预定的移动体上。
13.根据权利要求1所述的图像处理装置，还包括：
可见光相机和远红外相机。
14.根据权利要求1所述的图像处理装置，其中
所述图像处理装置安装在移动体上。
15.一种图像处理方法，包括：
提取由可见光相机捕获的可见光图像内的关注区域的区域提取步骤；
接收由与可见光相机观察同一对象的红外相机捕获的红外图像内的关注区域的图像并将接收到的图像变换为模态图像的模态变换步骤；以及
通过将所述模态图像叠加在可见光图像内的关注区域上来生成呈现图像的叠加步骤。
CN201880076885.XA 2017-12-04 2018-09-04 图像处理装置和图像处理方法 Active CN111386701B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017232968 2017-12-04
JP2017-232968 2017-12-04
PCT/JP2018/032719 WO2019111464A1 (ja) 2017-12-04 2018-09-04 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN111386701A true CN111386701A (zh) 2020-07-07
CN111386701B CN111386701B (zh) 2022-07-08

Family

ID=66750876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076885.XA Active CN111386701B (zh) 2017-12-04 2018-09-04 图像处理装置和图像处理方法

Country Status (6)

Country Link
US (1) US11641492B2 (zh)
EP (1) EP3723364A4 (zh)
JP (1) JP7188397B2 (zh)
KR (1) KR102533860B1 (zh)
CN (1) CN111386701B (zh)
WO (1) WO2019111464A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738132A (zh) * 2020-06-17 2020-10-02 银河水滴科技（北京）有限公司 人体温度的测量方法、装置、电子设备及可读存储介质
CN112464782A (zh) * 2020-11-24 2021-03-09 惠州华阳通用电子有限公司 一种行人识别方法和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
US11117511B2 (en) * 2018-03-29 2021-09-14 Mitsubishi Electric Corporation Vehicle lighting control apparatus, vehicle lighting control method, and computer readable medium
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera
CN110444277B (zh) * 2019-07-19 2023-03-28 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung
EP3832525A1 (en) * 2019-12-03 2021-06-09 Aptiv Technologies Limited Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
CN113034935A (zh) * 2021-03-02 2021-06-25 山东大学 一种基于射灯的交通事故安全预警及车辆导向设备及其使用方法
CN113506264B (zh) * 2021-07-07 2023-08-29 北京航空航天大学 道路车辆数识别方法和装置
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
WO2023242891A1 (ja) * 2022-06-13 2023-12-21 日本電気株式会社 オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202845A (zh) * 2007-11-14 2008-06-18 北京大学 红外图像转换为可见光图像的方法及其装置
CN101335841A (zh) * 2007-06-28 2008-12-31 索尼株式会社 摄像装置
JP2010278817A (ja) * 2009-05-29 2010-12-09 Victor Co Of Japan Ltd 撮影装置
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
CN103582906A (zh) * 2011-06-02 2014-02-12 丰田自动车株式会社 车辆用视野辅助装置
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN103996182A (zh) * 2013-02-15 2014-08-20 欧姆龙株式会社 图像处理装置、图像处理方法
CN104935822A (zh) * 2015-06-15 2015-09-23 努比亚技术有限公司 一种处理图像的方法和装置
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
KR20170093490A (ko) * 2016-02-05 2017-08-16 에스엘 주식회사 차량용 모니터링 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4363207B2 (ja) 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
US7822291B2 (en) * 2004-10-28 2010-10-26 Siemens Medical Solutions Usa, Inc. Non-rigid multi-modal registration using statistical learning methods
JP4872245B2 (ja) * 2005-06-06 2012-02-08 トヨタ自動車株式会社 歩行者認識装置
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8212877B2 (en) * 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
JP4973334B2 (ja) 2007-06-26 2012-07-11 ソニー株式会社 撮像装置および撮像装置の切り替え方法
KR101396326B1 (ko) * 2007-10-12 2014-05-16 삼성전자주식회사 얼굴 검출을 위한 디지털 영상 처리 장치의 제어 방법 및이 방법을 채용한 디지털 영상 처리 장치
WO2012073722A1 (ja) 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
JP5991648B2 (ja) 2013-03-28 2016-09-14 株式会社デンソー 車両用表示制御装置
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335841A (zh) * 2007-06-28 2008-12-31 索尼株式会社 摄像装置
CN101202845A (zh) * 2007-11-14 2008-06-18 北京大学 红外图像转换为可见光图像的方法及其装置
JP2010278817A (ja) * 2009-05-29 2010-12-09 Victor Co Of Japan Ltd 撮影装置
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
CN103582906A (zh) * 2011-06-02 2014-02-12 丰田自动车株式会社 车辆用视野辅助装置
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム
CN103996182A (zh) * 2013-02-15 2014-08-20 欧姆龙株式会社 图像处理装置、图像处理方法
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
CN104935822A (zh) * 2015-06-15 2015-09-23 努比亚技术有限公司 一种处理图像的方法和装置
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
KR20170093490A (ko) * 2016-02-05 2017-08-16 에스엘 주식회사 차량용 모니터링 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李艳梅等: "基于双变换的红外与可见光图像融合增强", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738132A (zh) * 2020-06-17 2020-10-02 银河水滴科技（北京）有限公司 人体温度的测量方法、装置、电子设备及可读存储介质
CN112464782A (zh) * 2020-11-24 2021-03-09 惠州华阳通用电子有限公司 一种行人识别方法和系统

Also Published As

Publication number Publication date
JPWO2019111464A1 (ja) 2021-01-14
KR102533860B1 (ko) 2023-05-19
US11641492B2 (en) 2023-05-02
EP3723364A4 (en) 2021-02-24
CN111386701B (zh) 2022-07-08
US20200410274A1 (en) 2020-12-31
JP7188397B2 (ja) 2022-12-13
WO2019111464A1 (ja) 2019-06-13
KR20200096215A (ko) 2020-08-11
EP3723364A1 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
CN111386701B (zh) 图像处理装置和图像处理方法
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11468574B2 (en) Image processing apparatus and image processing method
US20200409387A1 (en) Image processing apparatus, image processing method, and program
US11182880B2 (en) Image processing device, image processing method, and program
US11501461B2 (en) Controller, control method, and program
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112534487A (zh) 信息处理设备、移动体、信息处理方法和程序
US20220277556A1 (en) Information processing device, information processing method, and program
CN112567427A (zh) 图像处理装置、图像处理方法和程序
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
EP3863282A1 (en) Image processing device, and image processing method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant