CN112135753A - 信息处理装置、信息处理方法、拍摄装置、照明装置和移动体 - Google Patents

信息处理装置、信息处理方法、拍摄装置、照明装置和移动体 Download PDF

Info

Publication number
CN112135753A
CN112135753A CN201980033003.6A CN201980033003A CN112135753A CN 112135753 A CN112135753 A CN 112135753A CN 201980033003 A CN201980033003 A CN 201980033003A CN 112135753 A CN112135753 A CN 112135753A
Authority
CN
China
Prior art keywords
recognition
section
visible light
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980033003.6A
Other languages
English (en)
Inventor
山本启太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112135753A publication Critical patent/CN112135753A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/13—Ultraviolet light; Infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1431—Illumination control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)

Abstract

本技术涉及可以提高图像识别处理的精度的信息处理设备、信息处理方法、成像设备、照明设备和移动体。该信息处理设备设置有：识别单元，该识别单元用于对由成像单元捕获的图像执行图像识别处理，并且计算各个识别区域的识别结果的可靠性，该识别区域是基于物体的识别结果的区域；以及照射控制单元，该照射控制单元用于控制在成像单元的成像方向上的可见光的照射模式，以便增加对于识别区域中的至少一些的可靠性。可以将本技术应用于例如车辆控制设备。

Description

信息处理装置、信息处理方法、拍摄装置、照明装置和移动体
技术领域
本技术涉及信息处理装置、信息处理方法，拍摄装置、照明装置和移动体，尤其涉及在对于可见图像执行图像识别处理时适用的信息处理装置、信息处理方法、拍摄装置、照明装置和移动体。
背景技术
传统上，提出了基于车辆前方的道路使用者的检测结果来控制前灯装置的光分布模式以防止道路使用者目眩(例如，参考专利文献1)。
引文列表
专利文献
专利文献1：PCT申请第2013-511418号的日文翻译
发明内容
技术问题
在诸如夜间的黑暗环境中通过可见光相机对车辆的周围进行拍摄而获得的可见图像中，在来自车辆的照射光的照度低的区域内噪声或模糊增加，或在照射光的照度高的区域内出现像素的饱和。结果，对于可见图像的图像识别处理的精度下降，并且例如，车辆周围的物体的检测精度下降。
在这方面，专利文献1没有考虑为了提高图像识别处理的精度而控制前灯装置的光分布模式。
考虑到上述情况而设计了本技术，并且本发明的目的是提高图像识别处理的精度。
问题的解决方案
根据本技术的第一方面的信息处理装置包括：识别部，所述识别部被配置为对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及照射控制部，所述照射控制部被配置为控制在所述拍摄部的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
根据本技术的第二方面的信息处理方法包括：对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及控制在所述拍摄部的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
根据本技术的第三方面的拍摄装置包括：成像元件；识别部，所述识别部被配置为对于由成像元件拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及照射控制部，所述照射控制部被配置为控制在成像元件的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
根据本技术的第四方面的照明装置包括：光源部；识别部，所述识别部被配置为对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及照射控制部，所述照射控制部被配置为控制在拍摄部的拍摄方向上的基于所述光源部的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
根据本技术的第五方面的移动体包括：拍摄部；照明部，所述照明部被配置为在所述拍摄部的拍摄方向上照射可见光；识别部，所述识别部被配置为对于由所述拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及照射控制部，所述照射控制部被配置为控制所述照明部的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
在本技术的第一至第五方面中，执行图像识别处理，针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性，并且控制在拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
本发明的有益效果
根据本技术的第一至第五方面，可以提高图像识别处理的精度。
应当注意，上述有益效果不一定是限制性的，并且可以应用本公开中描述的任何有益效果。
附图说明
图1是示出应用本技术的车辆的配置示例的框图。
图2是示出照明部的配置示例的框图。
图3是示出拍摄部的配置示例的框图。
图4是示出信息处理部的配置示例的框图。
图5是用于说明照明控制处理的流程图。
图6是用于说明照射模式的控制方法的图。
图7是用于说明照射模式的控制方法的图。
图8是用于说明照射模式的控制方法的图。
具体实施方式
在下文中，将描述用于实现本技术的模式。将按照以下顺序给出描述。
1.实施例
2.变型
3.其他
<<1.实施例>>
<车辆101的配置示例>
图1是示出应用本技术的车辆101的示意性配置示例的框图。
车辆101包括车辆控制系统111。
车辆控制系统111包括经由通信网络121连接的多个控制单元。在图1中所示的示例中，车辆控制系统111包括驱动系统控制单元122、车身系统控制单元124、电池控制单元126、外部车辆信息检测单元127、内部车辆信息检测单元130和集成控制单元133。连接多个控制单元的通信网络121可以是兼容任意标准(诸如CAN(控制器局域网)、LIN(本地互连网络)、LAN(局域网)或FlexRay(注册商标))的车载通信网络。
每个控制单元包括：微型计算机，所述微型计算机根据各种程序执行运算处理；存储部，所述存储部存储要由微型计算机执行的程序、要在各种计算中使用的参数等；以及驱动电路，所述驱动电路驱动作为控制目标的各种装置。每个控制单元包括用于经由通信网络121与其他控制单元进行通信的网络I/F和用于经由有线通信或无线通信与车辆内部和外部的装置、传感器等进行通信的通信I/F。图1示出作为集成控制单元133的功能组件的微型计算机151、通用通信I/F 152、专用通信I/F 153、定位部154，信标接收部155、车载设备I/F 156、音频/视频输出部157、车载网络I/F 158和存储部159。其他控制单元类似地包括微型计算机、通信I/F、存储部等。
驱动系统控制单元122根据各种程序控制与车辆101的驱动系统有关的装置的操作。例如，驱动系统控制单元122用作用于产生车辆101的驱动力的驱动力产生装置(诸如内燃机或驱动马达)的控制装置、用于将驱动力传递给车轮的驱动力传递机构的控制装置、用于调整车辆101的转向角度的转向机构的控制装置、产生车辆101的制动力的制动装置的控制装置等。驱动系统控制单元122可以具有作为ABS(防抱死制动系统)的控制装置、ESC(电子稳定性控制)的控制装置等的功能。
将车辆状态检测部123连接至驱动系统控制单元122。例如，车辆状态检测部123包括检测车体的轴的旋转运动的角速度的陀螺仪传感器、检测车辆101的加速度的加速度传感器以及用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角度、引擎的转数、车轮的旋转速度等的传感器中的至少一个。驱动系统控制单元122使用从车辆状态检测部123输入的信号执行运算处理，并且控制内燃机、驱动马达、电动转向装置、制动装置等。
车身系统控制单元124根据各种程序控制安装至车体的各种装置的操作。例如，车身系统控制单元124用作无钥匙进入系统、智能钥匙系统、电动车窗装置或各种灯(诸如前灯、尾灯、制动灯、转向指示器和雾灯)的控制装置。在这种情况下，可以将从代替钥匙的便携式设备发送的各种开关的无线电波或信号输入到车身系统控制单元124。车身系统控制单元124接受无线电波或信号的输入，并且控制车辆101的门锁装置、电动车窗装置、灯等。
应当注意，图1仅示出照明部125作为车身系统控制单元124的控制目标。照明部125包括上述各种灯中的至少一部分。
电池控制单元126根据各种程序来控制作为驱动马达的电源的二次电池(未示出)。例如，将关于电池温度、电池输出电压、电池剩余容量等的信息从包括二次电池的电池装置输入到电池控制单元126。电池控制单元126使用这些信号来执行运算处理，以控制二次电池的温度调节或控制电池装置中包括的冷却装置等。
外部车辆信息检测单元127检测关于车辆101的外部的信息。例如，将拍摄部128和外部车辆信息检测部129中的至少一个连接到外部车辆信息检测单元127。拍摄部128包括ToF(飞行时间)相机、立体相机、单眼相机、红外相机和其他相机中的至少一个。例如，外部车辆信息检测部129包括用于检测当前天气或气象现象的环境传感器和用于检测车辆101周围的其他车辆、障碍物、行人等的环境信息检测传感器中的至少一个。
例如，环境传感器可以是检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器以及检测降雪的雪传感器中的至少一个。环境信息检测传感器可以是超声传感器、雷达装置和LIDAR(光检测和测距、激光成像检测和测距)装置中的至少一个。拍摄部128和外部车辆信息检测部129可以分别被包括为独立传感器或独立装置，或者可以被包括为集成多个传感器或装置的装置。
外部车辆信息检测单元127使拍摄部128拍摄车辆外部的图像并且接收所拍摄的图像数据。另外，外部车辆信息检测单元127从与其连接的外部车辆信息检测部129接收检测信息。当外部车辆信息检测部129是超声传感器、雷达装置或LIDAR装置时，外部车辆信息检测单元127使外部车辆信息检测部129发送超声波、电磁波等并且接收关于接收到的反射波的信息(在下文中，被称为反射波信息)。基于反射波信息，外部车辆信息检测单元127可以对于人、车辆、障碍物、标志、路面上的字符等执行物体检测处理或距离检测处理。基于反射波信息，外部车辆信息检测单元127可以执行用于识别降雨、雾、路面状况等的环境识别处理。基于反射波信息，外部车辆信息检测单元127可以计算与车辆外部的物体的距离。
另外，基于接收到的图像数据，外部车辆信息检测单元127可以执行用于识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理或距离检测处理。外部车辆信息检测单元127可以对于接收到的图像数据执行诸如畸变校正或定位之类的处理，并且合成由不同拍摄部128拍摄的图像数据，以产生鸟瞰图像或全景图像。外部车辆信息检测单元127可以使用由不同拍摄部128拍摄的图像数据来执行视点变换处理。
内部车辆信息检测单元130检测关于车辆内部的信息。例如，将检测驾驶员的状态的驾驶员状态检测部131连接到内部车辆信息检测单元130。驾驶员状态检测部131可以包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物特征传感器、收集车厢内部的声音的麦克风等。例如，在座椅表面、方向盘等上设置生物特征传感器，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部131输入的检测信息，内部车辆信息检测单元130可以计算驾驶员的疲劳程度或专注程度，或者可以确定驾驶员是否睡着了。内部车辆信息检测单元130可以对于所收集的声音信号执行诸如降噪处理之类的处理。
集成控制单元133根据各种程序来控制车辆控制系统111中的整体操作。将输入部132连接至集成控制单元133。输入部132由乘客可以在其上执行输入操作的装置(诸如触摸面板、按钮、麦克风、开关或操纵杆)来实现。通过使从麦克风输入的声音经受语音识别而获得的数据可以被输入到集成控制单元133。例如，输入部132可以是使用红外光或其他无线电波的远程控制装置或适应车辆控制系统111的操作的外部连接设备(诸如移动电话或PDA(个人数字助理))。例如，输入部132可以是相机，在这种情况下，乘客可以通过向相机打手势来输入信息。可替代地，可以输入通过检测由乘客穿戴的可穿戴装置的运动而获得的数据。此外，例如，上述输入部132可以包括输入控制电路等，所述输入控制电路等基于由乘客等使用输入部132输入的信息来产生输入信号，并且将产生的输入信号输出到集成控制单元133。通过操作输入部132，乘客等输入各种类型的数据并且发布指示以对于车辆控制系统111执行处理操作。
存储部159可以包括：ROM(只读存储器)，ROM存储要由微型计算机151执行的各种程序；以及RAM(随机存取存储器)，RAM存储各种参数、计算结果、传感器值等。另外，存储部159可以由诸如HDD(硬盘驱动器)之类的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等来实现，并且可以提供要由微型计算机151执行的各种程序。
通用通信I/F 152是对与在外部环境102中存在的各种设备的通信进行中介的通用通信I/F。通用通信I/F 152可以实现蜂窝通信协议(诸如GSM(注册商标)(全球移动通信系统)、WiMAX、LTE(长期演进)、或LTE-A(高级LTE))或其他无线通信协议(诸如无线LAN(也被称为Wi-Fi(注册)商标))或蓝牙(注册商标))。例如，通用通信I/F 152可以经由基站或接入点连接到在外部网络(例如因特网、云网络或特定于公司的网络)上存在的设备(例如应用服务器或控制服务器)。另外，例如，通用通信I/F 152可以使用P2P(点对点)技术连接到在车辆101附近存在的终端(例如，属于驾驶员或行人的终端、商店的终端或MTC(机器类型通信)终端)。
例如，可以从外部环境102提供要由微型计算机151执行的各种程序。
专用通信I/F 153是支持被设计用在车辆101中的通信协议的通信I/F。例如，专用通信I/F 153可以实现标准协议，诸如作为构成较低层的IEEE 802.11p和构成较高层的IEEE 1609的组合的WAVE(车辆环境中的无线接入)、DSRC(专用短程通信)或蜂窝通信协议。通常，专用通信I/F 153执行V2X通信，V2X通信是包括车辆之间的通信(车辆到车辆的通信)、道路和车辆之间的通信(车辆到基础设施的通信)、车辆101和家庭之间的通信(车辆到家庭的通信)以及行人和车辆之间的通信(车辆到行人的通信)中的一个或多个的概念。
例如，定位部154接收来自GNSS(全球导航卫星系统)卫星的GNSS信号(例如，来自GPS卫星的GPS(全球定位系统)信号)并且执行定位，以及产生包括车辆101的纬度、经度和海拔的位置信息。可替代地，定位部154可以通过与无线接入点交换信号来指定当前位置，或者从终端(诸如具有定位功能的移动电话、PHS或智能手机)获取位置信息。
例如，信标接收部155接收从安装在道路上的无线电台等发射的无线电波或电磁波，并且获取诸如当前位置、拥堵、封闭和所需时间之类的信息。可替代地，信标接收部155的功能可以被包括在上述专用通信I/F 153中。
车载设备I/F 156是对微型计算机151和车辆内部存在的各种车载设备134之间的连接进行中介的通信接口。车载设备I/F 156可以使用无线通信协议(诸如无线LAN、蓝牙(注册商标)、NFC(近场通信)或WUSB(无线USB))来建立无线连接。另外，车载设备I/F 156可以经由连接端子(未示出)(以及需要时还有线缆)建立有线连接，诸如USB(通用串行总线)、HDMI(注册商标)(高清晰度多媒体接口)或MHL(移动高清晰度链接)。例如，车载设备134可以包括由乘客持有或穿戴的移动设备或可穿戴设备、以及被携带到车辆101上或附接到车辆101的信息设备中的至少一个。此外，车载设备134可以包括搜索去往任意目的地的路线的导航装置。车载设备I/F156与车载设备134交换控制信号和数据信号。
车载网络I/F 158是对微型计算机151和通信网络121之间的通信进行中介的接口。车载网络I/F 158根据由通信网络121支持的规定的协议来发送和接收信号等。
集成控制单元133的微型计算机151基于经由通用通信I/F 152、专用通信I/F153、定位部154、信标接收部155、车载设备I/F 156和车载网络I/F 158中的至少一个获取的信息、根据各种程序来控制车辆控制系统111。例如，基于获取的关于车辆的外部和内部的信息，微型计算机151可以计算驱动力产生装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元122。例如，微型计算机151可以为了实现ADAS(高级驾驶员辅助系统)功能的目的执行协作控制，所述ADAS功能包括车辆101的碰撞避免或碰撞缓解、基于车辆间距离的车距控制、巡航控制、车辆101的碰撞警告和车辆101的车道偏离警告。另外，通过基于获取的关于车辆101的周围的信息来控制驱动力产生装置、转向机构、制动装置等，微型计算机151可以为了自动驾驶等目的执行协作控制，所述自动驾驶等使得车辆能够自主行驶而不需要依赖于驾驶员的操作。
微型计算机151可以产生车辆101和周围物体(例如结构体或人)之间的三维距离信息，并且基于经由通用通信I/F 152、专用通信I/F153、定位部154、信标接收部155、车载设备I/F 156和车载网络I/F 158中的至少一个获取的信息，创建包括车辆101当前位置的外围信息的局部地图信息。另外，基于获取的信息，微型计算机151可以预测危险(诸如涉及车辆101的碰撞、行人等的接近、或者进入封闭道路)，并且产生警告信号。例如，警告信号可以是用于产生警告声音或接通警告灯的信号。
音频/视频输出部157将声音和图像中的至少一个的输出信号发送到能够听觉地或视觉地向车辆101的乘客或车辆101的外部通知信息的输出装置。在图1中所示的示例中，音频扬声器135、显示部136和仪表板137被例示为输出装置。例如，显示部136可以包括车载显示器和平视显示器中的至少一个。显示部136可以具有AR(增强现实)显示功能。输出装置可以是除了上述那些以外的装置，诸如耳机、可穿戴设备(诸如由乘客穿戴的眼镜型显示器)、投影仪或灯。当输出装置是显示装置时，显示装置以诸如文本、图像、表格和图形之类的各种格式显示通过由微型计算机151执行各种类型的处理而获得的结果以及从其他控制单元接收到的信息。另外，当输出装置是音频输出装置时，音频输出装置将由再现的语音数据、声学数据等构成的音频信号转换为模拟信号，并且听觉地输出转换的模拟信号。
在图1中所示的示例中，可以将经由通信网络121连接的至少两个控制单元集成为单个控制单元。可替代地，每个控制单元可以由多个控制单元构成。此外，车辆控制系统111可以包括未示出的其他控制单元。另外，以上提供的描述中的任何控制单元所承担的部分或全部功能可以由另一控制单元来承担。换言之，当要经由通信网络121发送和接收信息时，可以由任何控制单元执行规定的运算处理。以类似的方式，连接到任何控制单元的传感器或装置可以连接到另一控制单元，并且同时，多个控制单元可以经由通信网络121相互发送和接收检测信息。
在下文中，将省略当控制单元经由通信网络121执行通信时的通信网络121的描述。例如，当驱动系统控制单元122和集成控制单元133经由通信网络121执行通信时，将使用“驱动系统控制单元122和集成控制单元133执行通信”的简单描述。
另外，在下文中，将省略当集成控制单元133的微型计算机151经由车载网络I/F158和通信网络121执行通信时的车载网络I/F 158和通信网络121的描述。例如，当微型计算机151经由车载网络I/F 158和通信网络121执行与驱动系统控制单元122的通信时，将使用“微型计算机151执行与驱动系统控制单元122的通信”的简单描述。
<照明部125的配置示例>
图2是示出图1中所示的照明部125的配置示例的一部分的框图。
照明部125包括可变照射灯201和红外灯202。
可变照射灯201包括发射可见光的可见光源部211，并且被安装在可以用可见光照射车辆101的前方的位置处。另外，可变照射灯201在车身系统控制单元124的控制下用可见光照射车辆101的前方。
另外，可变照射灯201能够控制通过将可见光的照射区域划分为多个而创建的每个单位区域的光强度，并且通过控制每个单位区域的光强度来控制照射模式。因此，照射模式指示从可变照射灯201发射的可见光在空间方向上的光强度分布，或者更具体地，指示可见光的每个单位区域的光强度分布。
例如，可见光源部211具有以阵列来布置多个光源(例如，LED)的配置。另外，通过单独地控制可见光源部211的每个光源的光强度来控制可见光的照射模式。控制每个光源的光强度包括将光强度设定为0，或者换言之，断开光源。
可替代地，例如，可见光源部211包括光源、DMD(数字镜器件)、透镜等。另外，通过控制可见光源部211的DMD的每个镜的接通/断开状态来控制可见光的照射模式。
应当注意，所有单位区域不一定具有相同形状和相同尺寸，而是可以包括具有不同形状或不同尺寸的单位区域。
红外灯202包括发射红外光的红外光源部221，并且被安装在可以用红外光照射车辆101的前方的位置处。另外，红外灯202在车身系统控制单元124的控制下用红外光照射车辆101的前方。
<拍摄部128的配置示例>
图3是示出图1中所示的拍摄部128的配置示例的框图。
拍摄部128包括可见光相机251和红外相机252。
可见光相机251包括对于可见光具有灵敏度的可见光成像元件261，并且被安装在可以拍摄车辆101的前方的位置处。例如，将可见光相机251安装在车辆101的前灯内部、仪表盘顶部、车厢内部的后视镜上方、车顶上等。另外，可见光相机251在外部车辆信息检测单元127的控制下拍摄车辆101的前方，并且向外部车辆信息检测单元127供应作为拍摄的结果而获得的彩色图像(在下文中，被称为可见图像)的数据。
上述可变照射灯201在可见光相机251(可见光成像元件261)的拍摄方向上照射可见光，并且至少能够在可见光相机251的视角内大致均匀地照射可见光。
红外相机252包括对于红外线(红外光)具有灵敏度的红外光成像元件271，并且被安装在可以拍摄车辆101的前方的位置处。例如，将红外相机252安装在与可见光相机251的位置类似的位置处。另外，红外相机252在外部车辆信息检测单元127的控制下拍摄车辆101的前方，并且向外部车辆信息检测单元127供应作为拍摄的结果而获得的黑白图像(在下文中，被称为红外图像)的数据。
上述红外灯202在红外相机252(红外光成像元件271)的拍摄方向上照射红外光，并且至少能够在红外相机252的视角内大致均匀地照射红外光。
<信息处理部301的配置示例>
图4示出信息处理部301的配置示例，该信息处理部301是当集成控制单元133的微型计算机151执行规定的控制程序时实现的功能的一部分。在该图中，省略了驱动系统控制单元122、车身系统控制单元124、外部车辆信息检测单元127和信息处理部301之间的通信网络121和车载网络I/F 158的图示。
信息处理部301包括识别部311、测距部312、照射控制部313和操作控制部314。
识别部311从外部车辆信息检测单元127获取可见图像和红外图像的数据，并且对于可见图像和红外图像执行图像识别处理。在这种情况下，图像识别处理指的是例如用于识别图像中的物体的处理。另外，识别部311针对基于通过图像识别处理的物体的识别结果的每个区域(在下文中，被称为识别区域)，计算指示识别结果的可靠性的识别分数。
识别区域是例如对应于每个识别物体的区域。然而，识别区域也可以包括物体识别失败的区域。另外，例如，识别分数指示在识别区域中的物体的识别结果的可靠性，或者换言之，已经在识别区域中识别出物体的确定性。
识别部311向照射控制部313和操作控制部314供应识别信息，该识别信息包括每个识别区域的位置、每个识别区域中的物体的类型以及识别分数。
测距部312基于从外部车辆信息检测单元127供应的立体相机的图像数据、ToF相机的图像数据、或者超声传感器、雷达装置或LIDAR装置的反射波信息，执行与车辆101前方的物体的距离的检测处理。测距部312向照射控制部313和操作控制部314供应包括与每个物体的距离的检测结果的测距信息。
照射控制部313基于车辆101前方的物体的识别结果、与车辆101前方的物体的距离的检测结果、从驱动系统控制单元122通知的车辆101的速度的检测结果等，控制通过照明部125进行的可见光和红外光的照射。
例如，照射控制部313产生包括可变照射灯201的照射模式的控制信号(在下文中，被称为可见光控制信号)，并且向车身系统控制单元124供应可见光控制信号。车身系统控制单元124基于可见光控制信号来控制可变照射灯201的照射模式。
另外，例如，照射控制部313产生控制红外灯202的红外光的照射的控制信号(在下文中，被称为红外光控制信号)，并且向车身系统控制单元124供应红外光控制信号。车身系统控制单元124基于红外光控制信号来控制红外灯202的红外光的照射。
操作控制部314基于车辆101前方的物体的识别结果、与车辆101前方的物体的距离的检测结果等，控制与车辆101的驱动系统有关的装置的操作。例如，操作控制部314产生包括将要成为控制目标的装置的控制内容的控制信号(在下文中，被称为驱动系统控制信号)，并且向驱动系统控制单元122供应驱动系统控制信号。驱动系统控制单元122基于驱动系统控制信号来控制将要成为控制目标的装置的操作。
另外，操作控制部314基于车辆101前方的物体的识别结果、与车辆101前方的物体的距离的检测结果等，控制安装到车辆101的车身的各种装置的操作。例如，操作控制部314产生包括将要成为控制目标的装置的控制内容的控制信号(在下文中，被称为车身系统控制信号)，并且向车身系统控制单元124提供车身系统控制信号。车身系统控制单元124基于车身系统控制信号来控制将要成为控制目标的装置的操作。
<照明控制处理>
接下来，将参考图5中所示的流程图来描述将要由车辆101执行的照明控制处理。
当例如满足开始可见光的照射的条件时(诸如，当在车辆101的启动期间周围亮度下降到规定的阈值以下时或者当接通可变照射灯201的开关时)，开始处理。另外，当例如满足结束可见光的照射的条件时(诸如，当断开车辆101的电源时、当车辆101的周围亮度等于或超过规定的阈值时、或当断开可变照射灯201的开关时)，结束处理。
在步骤S1中，车辆控制系统111开始红外光和可见光的照射。
具体地，例如，照射控制部313产生用于进行控制以使得以规定的光强度照射红外光的红外光控制信号，并且向车身系统控制单元124供应所产生的红外光控制信号。车身系统控制单元124基于红外线控制信号，控制红外灯202以便以规定的光强度照射红外光。因此，利用具有规定的光强度的红外光来照射车辆101的前方。
利用红外光，由于不用担心路人、其他车辆的驾驶员等的目眩，因此可以在不发生红外图像中的像素饱和的范围内尽可能地增加光强度。
另外，例如，照射控制部313产生用于进行控制以使得以标准照射模式照射可见光的可见光控制信号，并且向车身系统控制单元124供应所产生的可见光控制信号。车身系统控制单元124基于可见光控制信号来控制可变照射灯201以便以标准照射模式照射可见光。因此，利用标准模式的可见光照射车辆101的前方。
在这种情况下，标准照射模式例如是将所有单位区域的光强度设定为相同初始值的模式。
在步骤S2中，拍摄部128拍摄红外图像和可见图像。具体地，红外相机252拍摄车辆101的前方，并且经由外部车辆信息检测单元127向识别部311和测距部312供应作为拍摄的结果而获得的红外图像的数据。另外，可见光相机251拍摄车辆101的前方，并且经由外部车辆信息检测单元127向识别部311和测距部312供应作为拍摄的结果而获得的可见图像的数据。
在步骤S3中，识别部311执行图像识别处理。例如，识别部311执行语义分割作为图像识别处理。
具体地，识别部311对于红外图像执行语义分割，以像素水平执行红外图像中的每个物体的类型和位置的检测，并且基于识别结果将红外图像划分为多个识别区域。另外，识别部311计算红外图像中的每个识别区域的识别分数。
此外，识别部311对于可见图像以类似的方式执行语义分割，以像素水平执行可见图像中的每个物体的类型和位置的检测，并且基于识别结果将可见图像划分为多个识别区域。另外，识别部311计算可见图像中的每个识别区域的识别分数。
在这种情况下，基本上针对每个识别物体设定识别区域。因此，每个识别区域基本上包括一个物体。然而，例如，在物体的边界线模糊等的情况下，可以在一个识别区域中包括多个物体。另外，可以将物体识别失败的区域设定为识别区域。在这样的情况下，识别区域中的物体是未知的。
另外，可以使用任意方法作为识别分数的计算方法。
红外图像缺少颜色信息，并且比可见图像包含更多噪声。因此，对于红外图像的图像识别处理(在本示例中，语义分割)的结果具有比对于可见图像的图像识别处理的结果更低的可靠性。
识别部311向照射控制部313和操作控制部314供应识别信息，该识别信息包括每个识别区域的位置、每个识别区域中的物体的类型以及识别分数。
在步骤S4中，车辆控制系统111执行测距处理。例如，外部车辆信息检测部129经由外部车辆信息检测单元127向测距部312供应反射波信息。基于反射波信息，测距部312检测与车辆101前方的每个物体的距离。测距部312向照射控制部313和操作控制部314供应包括与每个物体的距离的检测结果的测距信息。
可以将任意方法用于测距处理。例如，可以使用立体相机的图像数据、ToF相机的图像数据等来执行测距处理。
在步骤S5中，驱动系统控制单元122检测车辆速度。具体地，驱动系统控制单元122基于从车辆状态检测部123输入的信号来检测车辆101的速度，并且向照射控制部313和操作控制部314供应包括检测结果的信息。
在步骤S6中，车辆控制系统111控制可见光的照射模式。具体地，照射控制部313通过设定每个单位区域的光强度来设定照射模式。例如，照射控制部313设定照射模式，以便尽可能地增加可见图像的每个识别区域的识别分数。照射控制部313产生包括所设定的照射模式的可见光控制信号，并且向车身系统控制单元124供应该可见光控制信号。车身系统控制单元124基于可见光控制信号来控制可变照射灯201的照射模式。
现在将描述照射模式的设定方法的示例。
例如，照射控制部313基于对于红外图像的图像识别处理的结果来设定照射模式。
例如，照射控制部313对于红外图像中的识别分数低于阈值T1的识别区域(在下文中，被称为低可靠性区域)设定可见光的光强度，以使得可见图像中的低可靠性区域的识别分数增加。例如，照射控制部313增加对于低可靠性区域的可见光的光强度(使低可靠性区域更亮)。
另一方面，照射控制部313基于例如识别区域中的物体的类型，对于红外图像中的识别分数等于或高于阈值T1的识别区域设定可见光的光强度。
例如，当识别区域中包括路面时，照射控制部313控制对于该识别区域的可见光的光强度，以使得以一定水平或更高水平的光强度恒定地照明该识别区域。
例如，当识别区域中包括人或另一辆车辆时，照射控制部313降低对于该识别区域的可见光的光强度。因此，防止路人和其他车辆的驾驶员变得目眩。可替代地，照射控制部313可以将可见光的光强度降低到0，以使得在识别区域中不照射可见光。
例如，当识别区域中包括发射光的物体(例如，交通灯或路灯)时，照射控制部313降低对于该识别区域的可见光的光强度。这是因为即使当没有被可见光照明时，发射光的物体也增加了图像识别处理的精度。可替代地，照射控制部313可以将可见光的光强度降低到0，以使得在识别区域中不照射可见光。
例如，当包括反射可见光的反射构件的物体(例如交通标志)被包括在识别区域中时，照射控制部313降低对于该识别区域的可见光的光强度。这是因为由于反射构件反射可见光，所以识别区域变得比其他区域更亮，并且在可见图像中可变得饱和。照射控制部313将对于识别区域的可见光的光强度降低到该识别区域在可见图像中没有变得饱和的水平。
另外，例如，照射控制部313基于对于可见图像的图像识别处理的结果来控制照射模式。
例如，当尽管基于对于红外图像的图像识别处理的结果来控制照射模式，但是在可见图像中存在识别分数低于阈值T1的识别区域(低可靠性区域)时，照射控制部313基于可见图像中的低可靠性区域的亮度的平均值来控制将要用来照射低可靠性区域的可见光的光强度。例如，当低可靠性区域的亮度的平均值低于阈值Th2时，照射控制部313增加对于低可靠性区域的可见光的光强度(使低可靠性区域更亮)。另一方面，当低可靠性区域的亮度的平均值等于或高于阈值Th2时，照射控制部313降低对于低可靠性区域的可见光的光强度(使低可靠性区域更暗)。
此外，例如，照射控制部313基于与识别区域中的物体的距离来设定对于识别区域的可见光的光强度。例如，与识别区域中的物体的距离越短，照射控制部313进一步降低对于识别区域的可见光的光强度(使识别区域更暗)。另一方面，与识别区域中的物体的距离越长，照射控制部313进一步增加对于识别区域的可见光的光强度(使识别区域更亮)。
另外，例如，当与识别区域中的物体的距离等于或大于阈值Th3时，照射控制部313可以将识别区域排除在图像识别处理之外，并且将要用来照射该识别区域的照射光的光强度设定为0。因此，例如，停止利用可见光照射诸如天空之类的远方物体。
例如，照射控制部313可以根据车辆101的速度来改变阈值Th3。例如，照射控制部313随着车辆101的速度增加而增加阈值Th3，以使得更远的物体受可见光照射。另一方面，例如，照射控制部313随着车辆101的速度降低而减小阈值Th3，以使得更远的物体不受可见光照射。这是因为，当车辆101的速度高时，为了碰撞防止等必须监视更远的物体，但是当车辆101的速度低时，就没有这样的对于监视更远的物体的需要。
现在将参考图6至图8描述照射模式的控制方法的具体示例。
图6示出车辆101的前方的所拍摄的红外图像的示例。
识别区域R1是包括骑自行车的人的区域。例如，当识别区域R1的识别分数等于或高于阈值Th1时，降低对于识别区域R1的可见光的光强度。另一方面，当识别区域R1的识别分数低于阈值Th1时，增加对于识别区域R1的可见光的光强度。另外，根据例如与识别区域R1内的人的距离来改变对于该识别区域R1的可见光的光强度。
识别区域R2是包括具有反射板的交通标志的区域。例如，降低对于识别区域R2的可见光的光强度。另外，根据例如与识别区域R2内的交通标志的距离来改变对于该识别区域R2的可见光的光强度。
识别区域R3是包括发射光的交通灯的区域。例如，降低对于识别区域R3的可见光的光强度。另外，根据例如与识别区域R3内的交通灯的距离来改变对于该识别区域R3的可见光的光强度。
识别区域R4是包括另一车辆的区域。例如，当识别区域R4的识别分数等于或高于阈值Th1时，降低对于识别区域R4的可见光的光强度。另一方面，当识别区域R4的识别分数低于阈值Th1时，增加对于识别区域R4的可见光的光强度。另外，例如根据与识别区域R4内的车辆的距离来改变对于该识别区域R4的可见光的光强度。
识别区域R5是包括远处的建筑物和天空的区域。例如，将对于识别区域R5的可见光的光强度设定为0。
识别区域R6是靠近车辆101的极暗区域，并且其识别分数极低。例如，为了提高识别分数，增加对于识别区域R6的可见光的光强度。
图7示出对于具有与图6中相同视角的可见图像执行的语义分割的结果的示例。
识别区域R11中存在路面。因此，执行控制以使得利用可见光来恒定地照射识别区域R11。根据例如与识别区域R11内的路面的距离来改变对于该识别区域R11的可见光的光强度。
识别区域R12是包括骑自行车的人的区域。例如，当识别区域R12的识别分数等于或高于阈值Th1时，降低对于识别区域R12的可见光的光强度。另一方面，当识别区域R12的识别分数低于阈值Th1时，增加对于识别区域R12的可见光的光强度。另外，根据例如与识别区域R12内的人的距离来改变对于该识别区域R12的可见光的光强度。
识别区域R13是包括交通标志的区域。例如，降低对于识别区域R13的可见光的光强度。另外，根据例如与识别区域R13内的交通标志的距离来改变对于该识别区域R13的可见光的光强度。
识别区域R14是包括交通灯的区域。例如，降低对于识别区域R14的可见光的光强度。另外，根据例如与识别区域R14内的交通灯的距离来改变对于该识别区域R14的可见光的光强度。
识别区域R15至R17是包括另一车辆的区域。例如，降低对于识别区域R15至R17当中的识别分数等于或高于阈值Th1的区域的可见光的光强度。另一方面，增加对于识别区域R15至R17当中的识别分数低于阈值Th1的区域的可见光的光强度。另外，根据例如与识别区域R15至R17内的车辆的距离来改变对于该识别区域R15至R17的可见光的光强度。
识别区域R18是靠近车辆101的极暗区域，并且其识别分数极低。例如，为了提高识别分数，增加对于识别区域R18的可见光的光强度。
图8示出车辆101的前方的所拍摄的红外图像的另一示例。
识别区域R21是靠近车辆101的极暗区域，并且其识别分数极低。例如，为了提高识别分数，增加对于识别区域R21的可见光的光强度。
识别区域R22和R23是包括人的区域。例如，降低对于识别区域R22和R23当中的识别分数等于或高于阈值Th1的区域的可见光的光强度。另一方面，增加对于识别区域R22和R23当中的识别分数低于阈值Th1的区域的可见光的光强度。另外，根据例如与识别区域R22和R23内的人的距离来改变对于该识别区域R22和R23的可见光的光强度。
返回图5，处理随后返回到步骤S2，并且执行步骤S2及其之后的处理。
如上所述，通过适当地控制可见光的照射模式，提高了对于可见图像的图像识别处理的精度。结果，例如，提高了可见图像中的物体的识别精度，并且反过来也提高了使用识别结果的车辆101的功能(例如，自动驾驶、ADAS等)的性能。
<<2.变型>>
在下文中，将描述上述本技术的实施例的变型。
尽管在以上给出的描述中已经提出了将语义分割用作图像识别处理的示例，但是当使用图像识别处理的其他方法时，也可以应用本技术。
另外，例如，当仅使用可见图像执行图像识别处理时，也可以应用本技术。在这种情况下，例如，根据与使用对于红外图像的图像识别处理的结果的情况相类似的方法，基于可见图像的每个识别区域的识别分数、物体的类型、以及与物体的距离来控制照射模式。
此外，在上述照射模式的控制处理中，可以创建可见光的光强度被减小或被设定为0的识别区域。这在不涉及驾驶员的自动驾驶的情况下没有特别的问题。另一方面，当驾驶员正在驾驶时，驾驶员的能见度可能劣化。因此，当驾驶员正在驾驶时，可以仅在执行图像识别处理的时间段期间通过上述方法来控制照射模式，并且可以在没有执行图像识别处理的时间段期间利用可见光均匀地照射车辆101的前方。
另外，尽管在以上给出的描述中已经提出了对于车辆101的前方的图像执行图像识别处理的示例，但是当对于在除了前方以外的方向(例如，侧面、后面、上方等)上的图像执行图像识别处理时，也可以应用本技术。在这种情况下，例如，控制在每个图像的拍摄方向上的可见光的照射模式。
此外，还可以将本技术应用于除了车辆以外的移动体。例如，还可以将本技术应用于诸如个人移动器、施工机械、以及农业和农场机械(拖拉机)之类的移动体。另外，还可以将本技术应用于在没有承载用户的情况下远程操作(操纵)的移动体(诸如无人机和机器人)以及能够自动驾驶的移动体。
另外，当对于除了从移动体拍摄的图像以外的图像执行图像识别处理时，也可以应用本技术。例如，当对于由安装在道路外围的相机拍摄的监视图像执行图像识别处理时，也可以应用本技术。
此外，图4中所示的信息处理部301中的全部不一定由集成控制单元133来实现，而是可由一个或多个其他控制单元来实现信息处理部301中的一部分或全部。
另外，可在例如可变照射灯201或可见光相机251中设置信息处理部301中的一部分或全部。
<<3.其他>>
可以通过硬件或通过软件来执行上述一系列处理。
由图1中所示的微型计算机151等执行的程序可以是使处理按照本说明书中描述的顺序按时间顺序执行的程序，或者是使处理并行或在需要的定时(诸如当进行调用时)执行的程序。
另外，在本说明书中，系统表示多个组件(装置、模块(部件)等)的集合，并且是否所有组件都存在于相同壳体内并不重要。因此，容纳在单独的壳体中但是经由网络彼此连接的多个装置以及多个模块被容纳在单个壳体中的单个装置两者都被认为是系统。
此外，本技术的实施例不限于上述实施例，并且可以在不偏离本技术的主旨的情况下做出各种变型。
例如，本技术可以采用云计算的配置，其中经由网络在多个装置之间共享单个功能，并且由多个装置协作地处理单个功能。
另外，上述流程图中说明的每个步骤除了由单个装置执行以外，还可以由多个装置以共享的方式来执行。
此外，当单个步骤包括多个处理步骤时，除了由单个装置执行以外，还可以由多个装置以共享的方式来执行单个步骤中包括的多个处理步骤。
<配置组合示例>
本技术还可以如下配置。
(1)一种信息处理装置，包括：
识别部，所述识别部被配置为对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制在所述拍摄部的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
(2)根据(1)所述的信息处理装置，其中，
所述照射控制部被配置为控制对于作为可靠性低于规定的阈值的识别区域的低可靠性区域的可见光的光强度，以使得对于所述低可靠性区域的可靠性增加。
(3)根据(2)所述的信息处理装置，其中，
所述照射控制部被配置为基于图像中的低可靠性区域的亮度来控制对于低可靠性区域的可见光的光强度。
(4)根据(1)至(3)中的任一项所述的信息处理装置，其中，
所述照射控制部被配置为进一步基于识别区域中的物体的类型来控制照射模式。
(5)根据(4)所述的信息处理装置，其中，
所述照射控制部被配置为降低对于包括发射光的物体和具有反射可见光的反射部件的物体的识别区域的可见光的光强度。
(6)根据(1)至(5)中的任一项所述的信息处理装置，其中，
所述照射控制部被配置为进一步基于与识别区域中的物体的距离来控制照射模式。
(7)根据(6)所述的信息处理装置，其中，
所述照射控制部被配置为将对于包括以规定的距离或更大距离分开的物体的识别区域的可见光的光强度设定为0。
(8)根据(1)至(7)中的任一项所述的信息处理装置，其中，
所述图像包括红外图像和可见图像，以及
所述照射控制部被配置为基于对于红外图像的图像识别处理的可靠性来控制照射模式。
(9)根据(8)所述的信息处理装置，其中，
所述照射控制部被配置为进一步基于对于可见图像的图像识别处理的可靠性来控制照射模式。
(10)根据(1)至(9)中的任一项所述的信息处理装置，其中，
所述图像是通过对移动体的周围进行拍摄而获得的图像。
(11)根据(10)所述的信息处理装置，其中，
所述移动体是车辆，以及
所述照射控制部被配置为控制照射模式，以便利用可见光来照射包括路面的识别区域。
(12)根据(10)或(11)所述的信息处理装置，其中，
所述移动体是车辆，以及
所述照射控制部被配置为降低对于包括人或其它车辆的识别区域的可见光的光强度。
(13)根据(1)至(12)中的任一项所述的信息处理装置，其中，
所述照射控制部被配置为通过以规定的区域单位控制可见光的光强度来控制照射模式。
(14)根据(1)至(13)中的任一项所述的信息处理装置，其中，
所述照射模式是可见光在空间方向上的光强度的分布。
(15)根据(1)至(14)中的任一项所述的信息处理装置，其中，
所述照射控制部被配置为输出包括照射模式的控制信号。
(16)根据(1)至(15)中的任一项所述的信息处理装置，其中，
所述识别部被配置为执行语义分割作为图像识别处理。
(17)一种信息处理方法，包括：
对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
控制在所述拍摄部的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
(18)一种拍摄装置，包括：
成像元件；
识别部，所述识别部被配置为对于由所述成像元件拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制在所述成像元件的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
(19)一种照明装置，包括：
光源部；
识别部，所述识别部被配置为对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制在所述拍摄部的拍摄方向上的基于所述光源部的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
(20)一种移动体，包括：
拍摄部；
照明部，所述照明部被配置为在所述拍摄部的拍摄方向上照射可见光；
识别部，所述识别部被配置为对于由所述拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制所述照明部的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
应当注意，本说明书中描述的有益效果仅仅是示例性的而不是限制性的，并且可以产生其他有益效果。
[参考标记列表]
101 车辆
111 车辆控制系统
122 驱动系统控制单元
124 车身系统控制单元
125 照明部
127 外部车辆信息检测单元
128 拍摄部
129 外部车辆信息检测部
133 集成控制单元
151 微型计算机
201 可变照射灯
202 红外灯
211 可见光源部
212 红外光源部
251 可见光相机
252 红外相机
261 可见光成像元件
271 红外光成像元件
301 信息处理部
311 识别部
312 测距部
313 照射控制部
314 操作控制部

Claims (20)

1.一种信息处理装置，包括：
识别部，所述识别部被配置为对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制在所述拍摄部的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
2.根据权利要求1所述的信息处理装置，其中，
所述照射控制部被配置为控制对于作为可靠性低于规定的阈值的识别区域的低可靠性区域的可见光的光强度，以使得对于所述低可靠性区域的可靠性增加。
3.根据权利要求2所述的信息处理装置，其中，
所述照射控制部被配置为基于图像中的低可靠性区域的亮度来控制对于低可靠性区域的可见光的光强度。
4.根据权利要求1所述的信息处理装置，其中，
所述照射控制部被配置为进一步基于识别区域中的物体的类型来控制照射模式。
5.根据权利要求4所述的信息处理装置，其中，
所述照射控制部被配置为降低对于包括发射光的物体和具有反射可见光的反射部件的物体的识别区域的可见光的光强度。
6.根据权利要求1所述的信息处理装置，其中，
所述照射控制部被配置为进一步基于与识别区域中的物体的距离来控制照射模式。
7.根据权利要求6所述的信息处理装置，其中，
所述照射控制部被配置为将对于包括以规定的距离或更大距离分开的物体的识别区域的可见光的光强度设定为0。
8.根据权利要求1所述的信息处理装置，其中，
所述图像包括红外图像和可见图像，以及
所述照射控制部被配置为基于对于红外图像的图像识别处理的可靠性来控制照射模式。
9.根据权利要求8所述的信息处理装置，其中，
所述照射控制部被配置为进一步基于对于可见图像的图像识别处理的可靠性来控制照射模式。
10.根据权利要求1所述的信息处理装置，其中，
所述图像是通过对移动体的周围进行拍摄而获得的图像。
11.根据权利要求10所述的信息处理装置，其中，
所述移动体是车辆，以及
所述照射控制部被配置为控制照射模式，以便利用可见光来照射包括路面的识别区域。
12.根据权利要求10所述的信息处理装置，其中，
所述移动体是车辆，以及
所述照射控制部被配置为降低对于包括人或其它车辆的识别区域的可见光的光强度。
13.根据权利要求1所述的信息处理装置，其中，
所述照射控制部被配置为通过以规定的区域单位控制可见光的光强度来控制照射模式。
14.根据权利要求1所述的信息处理装置，其中，
所述照射模式是可见光在空间方向上的光强度的分布。
15.根据权利要求1所述的信息处理装置，其中，
所述照射控制部被配置为输出包括照射模式的控制信号。
16.根据权利要求1所述的信息处理装置，其中，
所述识别部被配置为执行语义分割作为图像识别处理。
17.一种信息处理方法，包括：
对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
控制在所述拍摄部的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
18.一种拍摄装置，包括：
成像元件；
识别部，所述识别部被配置为对于由所述成像元件拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制在所述成像元件的拍摄方向上的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
19.一种照明装置，包括：
光源部；
识别部，所述识别部被配置为对于由拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制在所述拍摄部的拍摄方向上的基于所述光源部的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
20.一种移动体，包括：
拍摄部；
照明部，所述照明部被配置为在所述拍摄部的拍摄方向上照射可见光；
识别部，所述识别部被配置为对于由所述拍摄部拍摄的图像执行图像识别处理，并且针对作为基于物体的识别结果的区域的每个识别区域来计算识别结果的可靠性；以及
照射控制部，所述照射控制部被配置为控制所述照明部的可见光的照射模式，以使得对于识别区域中的至少一部分的可靠性增加。
CN201980033003.6A 2018-05-24 2019-05-10 信息处理装置、信息处理方法、拍摄装置、照明装置和移动体 Pending CN112135753A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018099296 2018-05-24
JP2018-099296 2018-05-24
PCT/JP2019/018676 WO2019225349A1 (ja) 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体

Publications (1)

Publication Number Publication Date
CN112135753A true CN112135753A (zh) 2020-12-25

Family

ID=68616697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033003.6A Pending CN112135753A (zh) 2018-05-24 2019-05-10 信息处理装置、信息处理方法、拍摄装置、照明装置和移动体

Country Status (6)

Country Link
US (2) US11850990B2 (zh)
EP (2) EP4227157A1 (zh)
JP (1) JP7226440B2 (zh)
KR (1) KR20210013044A (zh)
CN (1) CN112135753A (zh)
WO (1) WO2019225349A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390985A (zh) * 2019-09-11 2022-04-22 株式会社小糸制作所 车辆用灯系统
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung
EP3876143A1 (de) * 2020-03-02 2021-09-08 ZKW Group GmbH System zur überwachung der umgebung eines kraftfahrzeuges
JP7483552B2 (ja) 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置
US20220291701A1 (en) * 2021-03-10 2022-09-15 Flir Commercial Systems, Inc. Thermal imaging for navigation systems and methods
CN112963797A (zh) * 2021-03-19 2021-06-15 蔚来汽车科技(安徽)有限公司 基于红外光源的车辆照明系统及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099463A1 (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP2016169001A (ja) * 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
CN106985734A (zh) * 2015-10-28 2017-07-28 本田技研工业株式会社 车载设备控制系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720764B2 (ja) * 2006-11-16 2011-07-13 株式会社デンソー 前照灯制御装置
DE102008025947A1 (de) * 2008-05-30 2009-12-03 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Frontscheinwerfers eines Fahrzeugs
DE102009054227A1 (de) 2009-11-21 2011-05-26 Volkswagen Ag Verfahren zum Steuern einer Scheinwerferanordnung für ein Fahrzeug und Scheinwerferanordnung
JP6072448B2 (ja) 2012-04-03 2017-02-01 シャープ株式会社 発光装置、投光器、および車両用前照灯
US9534756B2 (en) * 2012-04-03 2017-01-03 Sharp Kabushiki Kaisha Light-emitting device, floodlight, and vehicle headlight
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
EP3067826B1 (en) * 2015-03-11 2021-05-05 Ricoh Company, Ltd. Image processing system and parallax image generation method
JP6672076B2 (ja) 2016-05-27 2020-03-25 株式会社東芝 情報処理装置及び移動体装置
JP6725396B2 (ja) * 2016-10-25 2020-07-15 スタンレー電気株式会社 車両用灯具システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099463A1 (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP2016169001A (ja) * 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
CN106985734A (zh) * 2015-10-28 2017-07-28 本田技研工业株式会社 车载设备控制系统

Also Published As

Publication number Publication date
EP3805045A4 (en) 2021-07-21
JP7226440B2 (ja) 2023-02-21
EP3805045B1 (en) 2023-07-19
KR20210013044A (ko) 2021-02-03
JPWO2019225349A1 (ja) 2021-06-10
US20240075866A1 (en) 2024-03-07
WO2019225349A1 (ja) 2019-11-28
EP4227157A1 (en) 2023-08-16
US20210232842A1 (en) 2021-07-29
US11850990B2 (en) 2023-12-26
EP3805045A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
EP3805045B1 (en) Information processing device, information processing method
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
JP6977722B2 (ja) 撮像装置、および画像処理システム
KR101790426B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
WO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination