CN108028022B - 图像处理装置、图像处理方法和车辆控制系统 - Google Patents

图像处理装置、图像处理方法和车辆控制系统 Download PDF

Info

Publication number
CN108028022B
CN108028022B CN201680055410.3A CN201680055410A CN108028022B CN 108028022 B CN108028022 B CN 108028022B CN 201680055410 A CN201680055410 A CN 201680055410A CN 108028022 B CN108028022 B CN 108028022B
Authority
CN
China
Prior art keywords
image
unit
analysis
discrimination information
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055410.3A
Other languages
English (en)
Other versions
CN108028022A (zh
Inventor
平泽康孝
小柳津秀纪
近藤雄飞
青木卓
赤间健人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108028022A publication Critical patent/CN108028022A/zh
Application granted granted Critical
Publication of CN108028022B publication Critical patent/CN108028022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

图像获取单元341‑1获取指示诸如车辆周边区域之类的移动体周边区域的偏振图像和非偏振图像。辨别信息生成单元342‑1使用由图像获取单元341‑1获取的偏振图像，并生成指示路面等的分析对象辨别信息。图像分析单元344‑1使用基于由辨别信息生成单元342‑1生成的分析对象辨别信息而针对由图像获取单元341‑1获取的非偏振图像设置的图像分析区域的图像，并且执行对诸如路面上的障碍物之类的对象的辨别。可以根据移动体周边区域的非偏振图像高效地执行对物体的存在的确定。

Description

图像处理装置、图像处理方法和车辆控制系统
技术领域
本技术涉及图像处理装置、图像处理方法和车辆控制系统，并且旨在使得能够根据移动体周边区域的图像来高效地执行对物体的存在的确定。
背景技术
在过去，通过使用通过拍摄真实空间获得的多个图像来执行对真实空间中物体的存在的确定。在专利文献1中，例如，从通过由多个相机拍摄真实空间而获得的各个图像中检测运动区域，并将其转换为平面坐标系。而且，检测转换后的运动区域的重叠，并且基于检测结果来确定在该空间中的指定平面中是否存在运动区域。
引用列表
专利文献
专利文献1 JP 2008-015573A
发明内容
技术问题
同时，物体所存在于的区域可能被限制于真实空间中的特定区域。在这种情况下，当通过使用通过拍摄真实空间而获得的整个图像来辨别物体的存在时，也会向不必要的区域执行对物体的存在的辨别，并且无法执行高效的处理。
因此，本技术的目的是提供一种图像处理装置、图像处理方法和车辆控制系统，其使得能够根据移动体周边区域的图像来高效地执行对物体的存在的确定。
问题的解决方案
根据本技术的第一方面的图像处理装置包括
辨别信息生成单元，其被配置为通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息，以及
图像分析单元，其被配置为通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别。
在该技术中，辨别信息生成单元通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息。例如，辨别信息生成单元基于偏振图像来计算法线，并且使用如下连续图像区域作为路面的区域来生成指示该路面的分析对象辨别信息，在该连续图像区域中法线的方向为移动体的垂直方向。而且，辨别信息生成单元生成与移动体的制动距离有关的信息作为分析对象辨别信息。在与移动体的制动距离有关的信息中，根据移动体的移动速度以及例如由能够进行距离检测的捕获单元生成的图像或能够检测距离信息的偏振图像和移动表面的粗糙度来计算制动距离，并且基于计算出的制动距离和非偏振图像上的距离来生成指示非偏振图像中的制动距离内的区域的信息。图像分析单元通过使用基于由辨别信息生成单元生成的分析对象辨别信息而在指示移动体周边区域的非偏振图像上设置的图像分析区域的图像来执行对象的辨别。例如，图像分析单元基于分析对象辨别信息通过使用路面的区域或制动距离内的图像来执行对象的辨别。
另外，在设置多个图像分析单元的情况下，多个图像分析单元分担其中基于分析对象辨别信息分割非偏振图像的区域，并执行对象的辨别。例如，多个图像分析单元在制动距离内的区域中通过使用多于其他图像区域的图像分析单元来执行对象的辨别。
另外，设置了执行对由图像获取单元获取的非偏振图像的传送的图像传送单元，图像分析单元经由通信网络而连接到图像传送单元，并且图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来执行对非偏振图像的传送的控制，并且例如将图像分析区域的图像或从捕获方向不同的多个图像中选择的图像和分析对象辨别信息的组合传送到图像分析单元。
此外，设置了图像分析控制单元和多个图像分析单元，并且图像分析控制单元生成用来控制所述多个图像分析单元如何基于由辨别信息生成单元生成的分析对象辨别信息来对从图像传送单元传送到图像分析单元的非偏振图像执行对象的辨别的图像分析控制信息，并将图像分析控制信息与非偏振图像一起发送到图像分析单元。
根据本技术的第二方面的图像处理方法包括
由辨别信息生成单元通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息，以及
由图像分析单元通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别。
根据本技术的第三方面的车辆控制系统包括
辨别信息生成单元，其被配置为通过使用指示车辆周边区域的偏振图像来生成分析对象辨别信息，
图像分析单元，其被配置为通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别，以及
驱动系统控制单元，其被配置为基于图像分析单元中的对象的辨别结果来执行车辆行驶控制单元。
发明的有利效果
根据本技术，由辨别信息生成单元通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息。图像分析单元通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别。因此，可以根据移动体周边区域的图像高效地执行对物体的存在的确定。注意，在本说明书中描述的效果仅仅是例示性的并且不限于此，并且可以有另外的效果。
附图说明
图1是例示车辆控制系统的概要配置的框图。
图2是例示出图像获取单元的安装示例的示图。
图3是例示出第一实施例的配置的示图。
图4是例示出由偏振图像获取单元获取的偏振图像的示图。
图5是例示辨别信息生成单元的配置的示图。
图6是例示出拍摄对象的形状和偏振图像的示意图。
图7是例示亮度与偏振角之间的关系的示图。
图8是例示出偏振度与天顶角的关系的示图。
图9是例示第一实施例的操作的流程图。
图10是例示第一实施例的操作的示图。
图11是例示出第二实施例的配置的示图。
图12是例示辨别信息生成单元的配置的示图。
图13是例示出在使用TOF相机的情况下的辨别信息生成单元的配置的示图。
图14是例示第二实施例的操作的示图。
图15是例示出第三实施例的配置的示图。
图16是例示辨别信息生成单元的配置的示图。
图17是例示第三实施例的操作的示图。
图18是例示第四实施例的配置的示图。
图19是例示第四实施例的操作的示图。
图20是例示第五实施例的配置的示图。
图21是例示第五实施例的操作的流程图。
图22是例示第六实施例的配置的示图。
图23是例示第六实施例的操作的示图。
图24是例示第七实施例的操作的示图。
图25是例示另一实施例的配置的示图。
具体实施方式
在下文中，将描述本技术的实施例。在本技术的图像处理装置中，获取指示移动体周边区域的偏振图像和非偏振图像。而且，通过使用所获取的偏振图像来生成分析对象辨别信息。另外，通过使用基于分析对象辨别信息而对非偏振图像设置的图像分析区域的图像来执行对象的辨别。接下来，将描述移动体例如是车辆的情况。注意，描述将按以下次序进行。
1.车辆控制系统
2.图像处理装置
3.第一实施例
4.第二实施例
5.第三实施例
6.第四实施例
7.第五实施例
8.第六实施例
9.第七实施例
10.另一实施例
<1.车辆控制系统>
图1是例示车辆控制系统的概要配置的框图。车辆控制系统10包括经由通信网络20而彼此连接的多个控制单元和检测单元。在图1所例示的示例中，车辆控制系统10包括驱动系统控制单元31、车身系统控制单元32、电池控制单元33、车辆外信息检测单元34和集成控制单元40。通信网络20可以例如是符合诸如CAN(控制器区域网络)、LIN(本地互连网络)、LAN(局域网)或FlexRay(注册商标)之类的任意标准的车载通信网络。而且，输入单元51、语音输出单元52和显示单元53连接到集成控制单元40。
每个控制单元包括根据各种程序执行算术处理的微型计算机、存储由微型计算机执行的程序、用于各种操作的参数等的存储单元，以及驱动要控制的各种设备的驱动电路。
驱动系统控制单元31根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元31用作用于生成内燃机、驱动用电机等的车辆的驱动力的驱动力生成设备、用于将驱动力传递到车轮的驱动力传递机构，以及用于调整车辆的舵角的转向机构。而且，驱动系统控制单元31可以具有作为生成车辆的阻尼力的诸如阻尼设备等的控制设备以及作为诸如ABS(防抱死制动系统)或ESC(电子稳定性控制)之类的控制设备的功能。
车辆状态检测单元311连接到驱动系统控制单元31。在车辆状态检测单元311中，例如，包括检测车辆的轴向旋转运动的角速率的陀螺仪传感器、检测车辆的加速度的加速度传感器以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、行驶速度等的中的至少一种。驱动系统控制单元31通过使用从车辆状态检测单元311输入的信号来执行算术处理，并且控制内燃机、驱动用电机、电动助力转向设备、制动设备等。
车身系统控制单元32根据各种程序来控制设置在车身上的各种设备的操作。例如，车身系统控制单元32用作无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、尾灯、刹车灯、转向信号或雾灯之类的各种灯的控制设备。在这种情况下，在车身系统控制单元32中，可以输入从代替钥匙的移动设备发送的无线电波或各个开关的信号。车身系统控制单元32接收无线电波或信号的这些输入，并且控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元33根据各种程序来控制作为驱动用电机的电力供给源的蓄电池331。在电池控制单元33中，例如，从设置有蓄电池331的电池设备输入与电池温度、电池输出电压、电池的剩余容量等有关的信息。电池控制单元33通过使用这些信号来执行算术处理，并且执行对蓄电池311的温度调节控制或对设置在电池设备中的冷却设备等的控制。
车辆外信息检测单元34检测其上安装有车辆控制系统10的车辆的外部信息。车辆外信息检测单元34包括图像获取单元341、辨别信息生成单元342和图像分析单元344。图像获取单元341具有获取偏振图像的相机、能够进行测量的TOF(飞行时间)相机、立体相机等。
图2是例示出图像获取单元的安装示例的示图。例如，图像获取单元341被安装在车辆80的前鼻、侧后视镜、后保险杠、后门以及车辆内部中的挡风玻璃的上部中的至少一个位置中。安装在前鼻中的图像获取单元341A和安装在车辆内部中的挡风玻璃的上部中的图像获取单元341B主要获取车辆80前方的图像。安装在侧后视镜中的图像获取单元341C和341D主要获取车辆80的侧面的图像。安装在后保险杠或后门中的图像获取单元341E主要获取车辆80后方的图像。此外，在图2中，例示出了各个图像获取单元341A至341E的拍摄范围的示例。捕获范围ARa指示安装在前鼻中的图像获取单元341A的捕获范围，并且捕获范围ARb指示安装在车辆内部中的挡风玻璃的上部中的图像获取单元341B的捕获范围。捕获范围ARc和ARd分别指示安装在侧后视镜中的图像获取单元341C和341D的捕获范围，并且捕获范围ARe指示安装在后保险杠或后门中的图像获取单元341E的捕获范围。
回到图1，车辆外信息检测单元34将通过由图像获取单元341捕获车辆的周边区域而获得的图像输出到辨别信息生成单元342和图像分析单元344。辨别信息生成单元342基于由图像获取单元341获得的图像来执行对路面的检测、制动距离的计算等，并且生成指示路面的检测结果、制动距离的计算结果等的分析对象辨别信息以将分析对象辨别信息输出到图像分析单元344。
图像分析单元344通过使用基于由辨别信息生成单元342生成的分析对象辨别信息而对由图像获取单元341获得的非偏振图像设置的图像分析区域的图像来执行图像分析，并执行对诸如障碍物之类的对象的确定。对象的确定结果是可用于车辆行驶的信息，并且图像分析单元344将对象的确定结果输出到集成控制单元40。此外，图像分析单元344可被安装在集成控制单元40中和车辆外信息检测单元34中，图像或图像和分析对象辨别信息的组合可以经由通信网络20而被输出到集成控制单元40。
输入单元51、语音输出单元52和显示单元53连接到集成控制单元40。输入单元51由能够由乘客进行输入操作的设备(例如，触摸板、按钮、麦克风、开关、控制杆等)来实现。输入单元51基于由乘客等输入的信息来生成输入信号，并将该输入信号输出到集成控制单元40。
语音输出单元52基于来自集成控制单元40的语音信号来输出语音，并且从而以听觉方式向车辆的乘客通知该信息。显示单元53基于来自集成控制单元40的图像信号来执行图像显示，并以视觉方式向车辆的乘客通知该信息。
集成控制单元40具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等。ROM(只读存储器)存储由CPU(中央处理单元)执行的各种程序。RAM(随机存取存储器)存储与各种参数、操作结果、传感器值等有关的信息。CPU执行存储在ROM中的各种程序，并且根据来自输入单元51的输入信号、通过经由通信网络20与每个控制单元和检测单元进行通信而获取的信息、存储在RAM中的信息等来控制车辆控制系统10中的全部操作。而且，集成控制单元40生成指示以听觉方式向车辆的乘客通知的信息的语音信号以将该语音信号输出到语音输出单元52，并且生成指示以视觉方式向车辆的乘客通知的信息的图像信号以将该图像信号输出到显示单元53。而且，集成控制单元40可以具有与存在于外部环境或其他车辆等中的各种设备进行通信的通信接口，生成包括车辆的纬度、经度和高度在内的位置信息的测量单元，等等。
此外，在图1所例示的示例中，经由通信网络20连接的至少两个控制单元可被集成到单个控制单元中。替代地，每个单独的控制单元可由多个控制单元构成。另外，车辆控制系统10可以包括未例示出的其他控制单元。而且，在前面的描述中，可以将由任何控制单元所承担的部分或全部功能给予其他控制单元。即，当经由通信网络20发送和接收信息时，可以由任何控制单元执行预定的算术处理。
<2.图像处理装置>
接下来，将描述如下情况的实施例：其中，本技术的图像处理装置被应用于如上所述的图1所例示的车辆控制系统的车辆外信息检测单元。
<3.第一实施例>
图3例示了第一实施例的配置。车辆外信息检测单元34包括图像获取单元341-1、辨别信息生成单元342-1和图像分析单元344-1。而且，图像获取单元341-1包括获取偏振图像的偏振图像获取单元3411以及获取非偏振图像的非偏振图像获取单元3412。
偏振图像获取单元3411获取偏振方向不同的多个偏振图像，例如偏振方向是三个或更多个方向的偏振图像。图4是例示出由偏振图像获取单元3411获取的偏振图像的示图。如图4的(a)所例示，例如，通过将在三个或更多个方向的偏振方向上配置有像素的偏振滤波器PLF布置在图像传感器IMS中并执行捕获来生成偏振图像。此外，在图4的(a)中，例示了如下情况：其中每个像素是四种不同类型的偏振方向(偏振方向由箭头指示)中的任意像素的偏振滤波器PLF被布置在图像传感器IMS的入射平面上。而且，如图4的(b)所例示，可以通过在相机CM1至CM4的前面安装偏振方向不同的偏光板PL1至PL4并由相机CM1至CM4执行捕获来生成偏振图像。另外，如图4的(c)所例示，可以通过使用多透镜阵列的配置来生成偏振方向不同的多个偏振图像。例如，在图像传感器IMS的前表面上设置多片(图中为四片)透镜LZ，并且通过每个透镜LZ将拍摄对象的光学图像分别形成在图像传感器IMS的捕获表面上。而且，将偏光板PL设置在每个透镜LZ的前表面上，并且将偏光板PL的偏振方向设置为不同的方向。这样的配置允许由图像传感器IMS生成偏振方向不同的偏振图像。
非偏振图像获取单元3412获取非偏振图像。非偏振图像获取单元3412在未在图像传感器的入射平面上设置偏光板或偏振滤波器的情况下执行捕获，从而生成非偏振图像。而且，非偏振图像获取单元3412可以根据由偏振图像获取单元3411获取的偏振图像来生成非偏振图像。当偏振图像获取单元3411未使用彩色滤波器时，可以获取亮度偏振图像。这里，在图4的(a)的情况下，例如，偏振方向不同的方向上的彼此相邻的四个像素的亮度被平均，从而可以获取与非偏振的正常亮度图像等价的图像。而且，在图4的(b)的情况下，每个像素中的偏振方向不同的亮度偏振图像的亮度被平均，从而可以获取与非偏振的正常亮度图像等价的图像。另外，在图4的(c)的情况下，当透镜LZ之间的距离与直到拍摄对象的距离相比短到可以忽略时，在偏振方向不同的多个偏振图像中，视差是可以忽略的。因此，偏振方向不同的偏振图像的亮度被平均，从而可以获取与非偏振的正常亮度图像等价的图像。而且，在视差不可忽略的情况下，根据视差量来定位偏振方向不同的偏振图像，并且当在定位之后对偏振图像的亮度求平均时，可以获取与非偏振的正常亮度图像等价的图像。
图5例示了辨别信息生成单元的配置。辨别信息生成单元342-1包括法线检测单元3421和路面确定单元3422。法线检测单元3421根据由偏振图像获取单元3411获取的偏振方向不同的多个偏振图像检测法线。
这里，将参照图6描述拍摄对象的形状和偏振图像。如图6所例示，例如，通过使用光源LT来执行对拍摄对象OB的照明，并且相机CM经由偏光板PL执行对拍摄对象OB的捕获。在这种情况下，在捕获的图像中，拍摄对象OB的亮度根据偏光板PL的偏振方向而改变。此外，为了易于描述，例如，在旋转偏光板PL的同时执行捕获以由此获取多个偏振图像，并且将最高亮度设置为lmax并将最低亮度设置为lmin。而且，当在偏光板PL的平面上存在二维坐标系中的x轴和y轴时，将旋转偏光板PL时在y轴方向上相对于x轴的角度设置为偏振角ν。
偏光板PL具有180度的周期，其中当被旋转180度时，偏光板PL返回到原始偏振状态。而且，将观察到最大亮度lmax时的偏振角ν设置为方位角α。当执行这样的定义时，在旋转偏光板PL时观察到的亮度l可以如公式(1)所示。此外，图7例示了亮度与偏振角之间的关系。而且，该示例指示漫反射的模型，并且在镜面反射的情况下，与偏振角相比，方位角偏离了90度。
[数学式1]
Figure BDA0001605704260000111
在公式(1)中，偏振角ν在生成偏振图像时明显，并且最大亮度lmax、最小亮度lmin和方位角α是变量。因此，通过使用其中偏振方向是三个或更多个方向的偏振图像的亮度，执行与在公式(1)中表示的模型公式的拟合，从而可以基于表示亮度与偏振角之间的关系的模型公式来辨别作为最大亮度时的偏振角的方位角α。
而且，由极坐标系表示物体表面上的法线，并将法线设置为方位角α和天顶角θ。此外，将天顶角θ设置为从z轴到法线的角度，并且如上所述将方位角α设置为在y轴方向上相对于x轴的角度。这里，当在旋转偏光板PL时获得最小亮度lmin和最大亮度lmax时，可以基于公式(2)来计算偏振度ρ。
[数学式2]
Figure BDA0001605704260000112
在漫反射的情况下，例如，已知偏振度与天顶角之间的关系根据菲涅耳的公式具有图8所例示的特性。因此，根据图8所例示的特性，可以基于偏振度ρ来辨别天顶角θ。此外，图8所例示的特性是例示性的，并且特性根据拍摄对象的折射率等而改变。例如，随着折射率变大，偏振度变大。
法线检测单元3421以这种方式为每个像素计算方位角α和天顶角θ，并且将指示计算出的方位角α和天顶角θ的每个像素的法线作为法线检测结果输出到路面确定单元3422。
基于来自法线检测单元3421的法线检测结果，路面确定单元3422将如下连续区域设置为路面：其中，法线存在于相对于车辆80的垂直方向的水平方向上的预定角度范围内。辨别信息生成单元342将指示路面的检测结果的分析对象辨别信息输出到图像分析单元344-1。
图像分析单元344-1对基于由辨别信息生成单元342-1生成的分析对象辨别信息而对由图像获取单元341-1获得的非偏振图像设置的图像分析区域执行图像分析。具体而言，图像分析单元344-1使用非偏振图像中被检测为路面的区域作为图像分析区域来执行图像分析，并且执行对障碍物等的确定。此外，为了便于检测位于路面末端的障碍物，图像分析单元344-1可以基于路面的区域将图像分析区域设置为在水平方向上加宽。
图9是例示出第一实施例的操作的流程图。在步骤ST1中，车辆外信息检测单元34获取捕获图像。车辆外信息检测单元34的图像获取单元341-1获取通过捕获车辆80的周边区域而获得的偏振图像和非偏振图像，然后前进到步骤ST2。
在步骤ST2中，车辆外信息检测单元34生成分析对象辨别信息。基于在步骤ST1中获取的偏振图像，例如，车辆外信息检测单元34的辨别信息生成单元342-1生成指示路面检测结果的分析对象辨别信息，并且前进到步骤ST3。
在步骤ST3中，车辆外信息检测单元34执行图像分析。车辆外信息检测单元34的图像分析单元344-1对基于在步骤ST2中生成的分析对象辨别信息而在步骤ST1中获取的非偏振图像上设置的图像分析区域执行图像分析。即，图像分析单元344-1使用非偏振图像中被检测为路面的区域作为图像分析区域来执行图像分析。
图10例示了第一实施例的操作。而且，图10的(a)例示了由图像获取单元341-1获取的非偏振图像。而且，图10的(b)通过箭头例示出了由辨别信息生成单元342-1检测到的法线方向。辨别信息生成单元342-1使用其中法线方向是朝向车辆80的近似垂直方向的连续区域作为路面来生成指示路面检测结果的分析对象辨别信息。而且，图10的(c)例示出了用于由图像分析单元344-1执行图像分析的图像分析区域。图像分析单元344-1基于分析对象辨别信息将被检测为路面的区域或通过使被检测为路面的区域左右加宽而获得的区域设置为图像分析区域AN。
根据如上所述的第一实施例，由于可以准确地检测路面，所以当基于检测到的路面来设置图像分析区域时，可以高效地执行对障碍物等的检测。
<4.第二实施例>
图11例示出了第二实施例的配置。车辆外信息检测单元34包括图像获取单元341-2、辨别信息生成单元342-2和图像分析单元344-2。而且，图像获取单元341-2包括获取偏振图像的偏振图像获取单元3411、获取非偏振图像的非偏振图像获取单元3412、以及距离检测图像获取单元3413。
与第一实施例类似，偏振图像获取单元3411生成偏振图像并将偏振图像输出到辨别信息生成单元342。与第一实施例类似，非偏振图像获取单元3412生成非偏振图像并将非偏振图像输出到图像分析单元344-2。
距离检测图像获取单元3413获取可用于检测距离的图像并将该图像输出到辨别信息生成单元342-2。距离检测图像获取单元3413例如由立体相机等构成，并且将由距离检测图像获取单元3413获取的右视角图像和左视角图像输出到辨别信息生成单元342。
图12例示了辨别信息生成单元的配置。辨别信息生成单元342-2包括路面粗糙度检测单元3423、距离检测单元3424、行驶速度检测单元3425以及制动距离信息生成单元3426。
路面粗糙度检测单元3423通过使用由偏振图像获取单元3411生成的偏振图像来检测路面粗糙度。路面粗糙度检测单元3423通过使用由偏振图像获取单元3411生成的水平偏振图像和垂直偏振图像以与JP 1999-230898A中相同的方式根据水平和垂直偏振分量的强度分布来检测例如路面粗糙度。路面粗糙度检测单元3423将路面粗糙度的检测结果输出到制动距离信息生成单元3426。
距离检测单元3424从由距离检测图像获取单元3413获取的图像(例如，右视角图像和左视角图像)中检测直到位于捕获方向上的拍摄对象的距离，并且将指示检测结果的距离信息输出到制动距离信息生成单元3426。
行驶速度检测单元3425检测车辆80的行驶速度，并将指示检测结果的速度信息输出到制动距离信息生成单元3426。此外，也可以从与驱动系统控制单元31相连的车辆状态检测单元311获取行驶信息。
制动距离信息生成单元3426基于由路面粗糙度检测单元3423检测到的路面粗糙度和由行驶速度检测单元3425检测到的行驶速度来计算车辆80的制动距离。而且，制动距离信息生成单元3426基于距离检测单元3424的距离检测结果来辨别在前进方向上相隔制动距离的位置，并将指示辨别结果的制动距离信息输出到图像分析单元344-2。
图像分析单元344-2执行对基于由辨别信息生成单元342-2生成的分析对象辨别信息而对由图像获取单元341-2获得的非偏振图像设置的图像分析区域执行图像分析。具体而言，图像分析单元344-2使用非偏振图像中的直到在前进方向上相隔制动距离的位置的区域作为图像分析区域来执行图像分析，并执行对障碍物等的确定
而且，在例如在距离检测图像获取单元3413中使用TOF相机的情况下，辨别信息生成单元342-2采用图13所例示的配置。在这种情况下，制动距离信息生成单元3426基于由路面粗糙度检测单元3423检测到的路面粗糙度和由行驶速度检测单元3425检测到的行驶速度来计算车辆80的制动距离。而且，制动距离信息生成单元3426基于由TOF相机获取的距离信息来辨别在前进方向上相隔制动距离的位置，并将指示辨别结果的制动距离信息输出到图像分析单元344-2。
在如上所述配置的第二实施例中，与图9所例示的流程图类似地执行处理，并且在生成分析对象辨别信息中生成指示相隔制动距离的位置的分析对象辨别信息。而且，在图像分析中，将非偏振图像中的直到在前进方向上相隔制动距离的位置的区域设置为图像分析区域。
图14例示了第二实施例的操作。而且，图14的(a)例示了由图像获取单元341-2获取的非偏振图像。而且，图14的(b)例示了其中由图像分析单元344-2执行图像分析的图像分析区域。图像分析单元344-2基于分析对象辨别信息将直到在前进方向上相隔制动距离的位置的区域设置为图像分析区域AN。
根据如上所述的第二实施例，可以根据制动距离来设置图像分析区域，并且因此可以高效地检测需要立即检测到的障碍物等。
<5.第三实施例>
第三实施例被配置为将第一实施例和第二实施例组合的情况。
图15例示出了第三实施例的配置。车辆外信息检测单元34包括图像获取单元341-3、辨别信息生成单元342-3和图像分析单元344-3。而且，图像获取单元341-3包括获取偏振图像的偏振图像获取单元3411、获取非偏振图像的非偏振图像获取单元3412，以及距离检测图像获取单元3413。
图16例示了辨别信息生成单元的配置。辨别信息生成单元342-3包括法线检测单元3421、路面确定单元3422、路面粗糙度检测单元3423、距离检测单元3424、行驶速度检测单元3425，以及制动距离信息生成单元3426。
法线检测单元3421根据由偏振图像获取单元3411获取的偏振方向不同的多个偏振图像检测法线。路面确定单元3422基于来自法线检测单元3421的法线检测结果来检测路面，并且将路面的检测结果作为分析对象辨别信息输出到图像分析单元344-3。
路面粗糙度检测单元3423通过使用由偏振图像获取单元3411生成的偏振图像来执行对路面粗糙度的检测，并将检测结果输出到制动距离信息生成单元3426。距离检测单元3424通过使用由距离检测图像获取单元3413获取的图像来执行对距离的检测，并将指示检测结果的距离信息输出到制动距离信息生成单元3426。行驶速度检测单元3425检测车辆80的行驶速度，并将指示检测结果的速度信息输出到制动距离信息生成单元3426。
制动距离信息生成单元3426基于由路面粗糙度检测单元3423检测到的路面粗糙度和由行驶速度检测单元3425检测到的行驶速度来计算车辆80的制动距离。而且，基于计算出的制动距离和由距离检测单元3424或TOF相机生成的距离信息，制动距离信息生成单元3426将指示在前进方向上相隔制动距离的位置的制动距离信息输出到图像分析单元344-3。
图像分析单元344-3对基于由辨别信息生成单元342-3生成的分析对象辨别信息而在由图像获取单元341-3获得的非偏振图像上设置的图像分析区域执行图像分析。具体而言，图像分析单元344-3使用非偏振图像上的被检测为路面并且直到在前进方向上相隔制动距离的位置的区域作为图像分析区域来执行图像分析，并且执行对障碍物等的确定。此外，为了便于检测位于路面末端的障碍物，图像分析单元344-3可以基于被检测为路面的区域将图像分析区域设置为在水平方向上加宽。
在如上所述配置的第三实施例中，与图9所例示的流程图类似地执行处理，并且在生成分析对象辨别信息中生成路面检测结果和指示相隔制动距离的位置的分析对象辨别信息。而且，在图像分析中，将非偏振图像上的被检测为路面并且直到在前进方向上相隔制动距离的位置的区域设置为图像分析区域。
图17例示了第三实施例的操作。而且，图17的(a)例示了由图像获取单元341-3获取的非偏振图像。而且，图17的(b)例示了其中由图像分析单元344-3执行图像分析的图像分析区域。基于分析对象辨别信息，图像分析单元344-3将被检测为路面并且直到在前进方向上相隔制动距离的位置的区域设置为图像分析区域AN。
根据如上所述的第三实施例，可以根据制动距离将图像分析区域设置为路面，并且因此可以高效地检测路面上的需要立即检测到的障碍物等。
<6.第四实施例>
同时，可能的是，当在图像分析单元中执行的处理花费时间时，在车辆的行驶期间无法实时检测路面上的障碍物等。而且，当不仅对路面也对其他位置执行对障碍物等的检测时，可以更安全地进行行驶。为了解决问题，在第四实施例中，将描述设置多个图像分析单元的情况。
图18是例示了第四实施例的配置的示图，并且设置了三个图像分析单元。车辆外信息检测单元34包括图像获取单元341-a、辨别信息生成单元342-a，以及图像分析单元344-a、344-b和344-c。
与前述第一至第三实施例中的任一个类似地配置图像获取单元341-a和辨别信息生成单元342-a。
图像分析单元344-a、344-b和344-c基于由辨别信息生成单元342-a生成的分析对象辨别信息来执行区域分割，并且在由所述多个图像分析单元分担的同时对由非偏振图像获取单元获取的非偏振图像上的分割区域执行图像分析。
在如上所述配置的第四实施例中，与图9所例示的流程图类似地执行处理，并且在图像分析中，基于分析对象辨别信息来分割非偏振图像，并且在由多个图像分析单元分担的同时执行对分割区域的图像分析。
图19例示了第四实施例的操作。而且，图19的(a)例示了由图像获取单元341-a获取的非偏振图像。而且，图19的(b)例示了其中由图像分析单元344-a至344-c进行图像分析的图像分析区域。基于分析对象辨别信息，图像分析单元344-a和344-b对直到在前进方向上相隔制动距离的位置为止的区域AS-ab中的图像分析区域ANab执行图像分析。而且，图像分析单元344-c对与区域AS-ab不同的剩余区域AS-c中的图像分析区域ANc执行图像分析。
根据如上所述的第四实施例，可以在由多个图像分析单元分担的同时执行图像分析，并且因此可以更高效地检测路面上的障碍物等。而且，当将更多的图像分析单元分配给直到在前进方向上相隔制动距离的位置的区域中的图像分析区域时，可以更高效地执行具有高即时性的对障碍物的检测。
<7.第五实施例>
在前述第一至第四实施例中，例示了在车辆外信息检测单元34中设置图像分析单元的情况；然而，不限于车辆外信息检测单元34，也可以由其他控制单元执行图像分析。在这种情况下，车辆外信息检测单元34经由通信网络20向其他控制单元输出非偏振图像。而且，可能的是，由于通信网络20的通信速度由标准确定，所以当增加从车辆外信息检测单元34传递到进行图像分析的其他控制单元的图像的数据量时，传递花费时间并且因此无法迅速执行其他控制单元之间的通信。因此，在捕获的图像中，车辆外信息检测单元34仅将作为图像分析的对象的区域的图像输出到其他控制单元。在下文中，将描述由集成控制单元40执行图像分析的情况。
图20例示了第五实施例的配置。车辆外信息检测单元34包括图像获取单元341-a、辨别信息生成单元342-a和图像传递单元346-1。与前述第一至第三实施例中的任一个类似地配置图像获取单元341-a和辨别信息生成单元342-a。
图像获取单元341-a生成偏振图像等，并将偏振图像等输出到辨别信息生成单元342-a。而且，图像获取单元341-a生成非偏振图像并将非偏振图像输出到图像传送单元346-1。辨别信息生成单元342-a通过使用从图像获取单元341-a供应的偏振图像等来生成分析对象辨别信息，并将分析对象辨别信息输出到图像传送单元346-1。
基于从辨别信息生成单元342-a供应的分析对象辨别信息，图像传送单元346-1对从图像获取单元341-a供应的非偏振图像设置其中进行图像分析的图像分析区域。而且，图像传送单元346-1将所设置的图像分析区域的图像经由通信网络20传送到集成控制单元40。集成控制单元40通过使用从车辆外信息检测单元34供应的图像来执行图像分析，并执行对障碍物等的检测。此外，在以行为单位执行图像的传送的情况下，图像传送单元346-1传送包括图像分析区域的行的图像。
例如，在从辨别信息生成单元342-a供应的分析对象辨别信息指示路面检测结果的情况下，图像传送单元346-1将被检测为路面的区域设置为图像分析区域，并将图像分析区域的图像传送到集成控制单元40。而且，在从辨别信息生成单元342-a供应的分析对象辨别信息指示路面检测结果的情况下，图像传送单元346-1将制动距离内的区域设置为图像分析区域，并将图像分析区域的图像经由通信网络20传送到集成控制单元40。
另外，从辨别信息生成单元342-a供应的分析对象辨别信息指示路面检测结果和制动距离信息，图像传送单元346-1将存在于制动距离内并被检测为路面的区域等设置为图像分析区域。图像传送单元346-1将图像分析区域的图像经由通信网络20传送到集成控制单元40。
图21是例示了第五实施例的操作的流程图。在步骤ST11中，车辆外信息检测单元34获取捕获图像。车辆外信息检测单元34的图像获取单元341-a获取通过捕获车辆80的周边区域而获得的偏振图像和非偏振图像，并且前进到步骤ST12。
在步骤ST12中，车辆外信息检测单元34生成分析对象辨别信息。车辆外信息检测单元34的辨别信息生成单元342-a基于在步骤ST11中获取的偏振图像来生成分析对象辨别信息，并且前进到步骤ST13。
在步骤ST13中，车辆外信息检测单元34传送图像。车辆外信息检测单元34的图像传送单元346-1将基于在步骤ST12中生成的分析对象辨别信息而相对于在步骤ST11中获取的非偏振图像设置的图像分析区域的图像经由通信网络20传送到集成控制单元40，并且前进到步骤ST14。
在步骤ST14中，集成控制单元40执行图像分析。集成控制单元40的图像分析单元通过使用在步骤ST13中从车辆外信息检测单元34发送的非偏振图像来执行图像分析。
根据如上所述的第五实施例，在通过经由车辆外信息检测单元和通信网络连接的其他控制单元等执行图像分析的情况下，经由通信网络20发送其中执行图像分析的区域的图像。因此，与传送整个非偏振图像的情况相比，可以减少要传送的数据量。
<8.第六实施例>
在第六实施例中，例示了设置捕获不同周边区域的图像获取单元的情况。例如，将描述设置图2所例示的图像获取单元341A、341C、341D和341E的情况。
图22例示了第六实施例的配置。车辆外信息检测单元34包括图像获取单元341A、341C、341D和341E、辨别信息生成单元342-b以及图像传送单元346-2。图像获取单元341A、341C、341D和341E对应于使用图20描述的根据第五实施例的图像获取单元341-a。辨别信息生成单元342-b为图像获取单元341A、341C、341D和341E中的每一个设置根据第五实施例的辨别信息生成单元342-a的功能。
图像获取单元341A、341C、341D和341E生成偏振图像等，并将偏振图像等输出到辨别信息生成单元342-b。而且，图像获取单元341A、341C、341D和341E生成非偏振图像，并将非偏振图像输出到图像传送单元346-2。
对于图像获取单元341A、341C、341D和341E中的每一个，辨别信息生成单元342-b通过使用从图像获取单元供应的偏振图像等来生成分析对象辨别信息，并将分析对象辨别信息输出到图像传送单元346-2。
基于从辨别信息生成单元342-b供应的分析对象辨别信息，图像传送单元346-2将其上进行图像分析的非偏振图像辨别为要传送的图像。基于分析对象辨别信息，例如，图像传送单元346-2将其中检测到路面的非偏振图像设置为要传送的图像。而且，在制动距离比确定的距离长的情况下，图像传送单元346-2可以将行驶方向前后的非偏振图像设置为要传送的图像。图像传送单元346-2将要传送的辨别图像与分析对象辨别信息一起经由通信网络20传送到集成控制单元40。而且，基于接收到的图像和分析对象辨别信息，集成控制单元40的图像分析单元通过使用图像分析区域的图像来执行图像分析。
在如上所述配置的第六实施例中，与图21所例示的流程图类似地执行处理；另外，在图像的传送中，包括基于分析对象辨别信息的图像分析区域在内的非偏振图像与分析区域辨别信息一起被传送。
图23例示了第六实施例的操作。而且，图23的(a)例示了由图像获取单元341A获取的非偏振图像。而且，图23的(b)、(c)和(d)分别例示了由图像获取单元341C、341D和341E获取的非偏振图像。这里，假设在由图像获取单元341A和341E获取的图像中检测到路面并计算出制动距离。而且，假设在由图像获取单元341C和341D获取的图像中未检测到路面。在这种情况下，图像传送单元346将其中指示路面和制动距离的位置的图像(具体而言，由图像获取单元341A和341E获取的非偏振图像)作为要传送的图像与分析对象辨别信息一起经由通信网络20传送到集成控制单元40。基于接收到的图像和分析对象辨别信息，集成控制单元40的图像分析单元在如图23的(e)和(f)所例示的图像分析区域AN和ANB中执行图像分析。当执行这样的处理时，可以通过图像分析来检测与制动距离相比距离较近的路面上存在的障碍物或者两车之间的距离小于制动距离的后续车辆。
根据如上所述的第六实施例，在由经由车辆外信息检测单元和通信网络连接的其他控制单元等来执行图像分析的情况下，只有由多个图像获取单元生成的非偏振图像上的进行图像分析的图像被经由通信网络20发送。因此，与传送由各个图像获取单元生成的非偏振图像的全部图像的情况相比，可以减少要传送的数据量。
<9.第七实施例>
在前述第六实施例中，基于分析对象辨别信息辨别的要传送的图像经由通信网络20而被传送到集成控制单元40；另外，可以与前述第五实施例类似地传送要传送的图像中的图像分析区域的图像。在第七实施例中，将描述将要传送的图像中的图像分析区域的图像经由通信网络20传送到集成控制单元40的情况。
在第七实施例中，与第六实施例类似地配置车辆外信息检测单元34。这里，基于从辨别信息生成单元342-b供应的分析对象辨别信息，图像传送单元346-2将其上进行图像分析的非偏振图像辨别为要传送的图像。基于分析对象辨别信息，例如，图像传送单元346-2将其中检测到路面的非偏振图像设置为要传送的图像。而且，在制动距离比所确定的距离长的情况下，图像传送单元346-2可以将行驶方向前后的非偏振图像设置为要传送的图像。
另外，图像传送单元346-2基于分析对象辨别信息将传送区域设置为要被传送的图像，并将传送区域的图像与分析对象辨别信息一起经由通信网络20传送到集成控制单元40。此外，在以行为单位执行图像传送的情况下，以行为单位设置传送区域。
在如上所述配置的第七实施例中，与图21所例示的流程图类似地执行处理；另外，在图像的传送中，将基于分析对象辨别信息辨别的传送区域的非偏振图像与分析对象辨别信息一起传送。
图24例示了第七实施例的操作。而且，图24的(a)例示了由图像获取单元341A获取的非偏振图像。而且，图24的(b)、(c)和(d)分别例示了由图像获取单元341C、341D和341E获取的非偏振图像。这里，假设在由图像获取单元341A和341E获取的图像中检测到路面并计算出制动距离。而且，假设在由图像获取单元341C和341D获取的图像中未检测到路面。在这种情况下，图像传送单元346将其中指示路面和制动距离的位置的图像(具体而言，由图像获取单元341A和341E获取的非偏振图像)设置为要传送的图像。另外，在以行为单位执行图像的传送的情况下，以行为单位设置传送区域。例如，直到制动距离的位置的区域中的行被设置为传送区域，具体而言，由图像获取单元341A和341E获取的非偏振图像中的直到制动距离的位置的传送区域的图像与分析对象辨别信息一起经由通信网络20而被传送到集成控制单元40。基于接收到的图像和分析对象辨别信息，集成控制单元40的图像获取单元通过使用图像分析区域AN和ANB的图像来执行图像分析，图像分析区域AN和ANB是图24的(e)和(f)所例示的传送区域ATA和ATE的图像中的路面的区域。
根据如上所述的第七实施例，在由经由车辆外信息检测单元和通信网络连接的其他控制单元等来执行图像分析的情况下，经由通信网络20发送基于分析对象辨别信息根据由多个图像获取单元生成的非偏振图像设置的传送区域的图像。因此，与传送由各个图像获取单元生成的非偏振图像的全部图像的情况或者传送包括图像分析区域在内的整个图像的图像的情况相比，可以进一步减少要传送的数据量。
<10.另一实施例>
而且，车辆外信息检测单元34的配置不限于前述实施例。在辨别信息生成单元中，例如，通过使用偏振图像来执行路面检测和路面粗糙度检测。图像分析单元或图像传送单元可以基于路面的检测结果和路面粗糙度的检测结果来设置图像分析区域，并且执行对图像分析区域的图像分析或者对图像分析区域的图像的传送。
而且，如图25所例示，图像分析控制单元348可被设置在车辆外信息检测单元34中。图像分析控制单元348基于分析对象辨别信息来生成图像分析控制信息，并将图像分析控制信息与图像一起传送到集成控制单元40。例如，在通过使用多个图像分析单元来执行图像分析的情况下，图像分析控制信息是用于控制图像到多个图像分析单元的分配等的信息。基于来自图像分析控制单元的分析控制信息，集成控制单元40将图像分配到多个图像分析单元，并与前述第四实施例类似地在由多个分析单元分担的同时执行图像分析。
此外，在前述实施方式中，根据指示移动体周边区域的偏振图像来生成分析对象辨别信息；另外，可以通过使用指示移动体周边区域的非偏振图像来执行识别处理等，并且可以生成分析对象辨别信息。而且，可以将距离的检测结果用作分析对象辨别信息。
在上述实施例中，详细描述了移动体是车辆的情况。然而，移动体不限于车辆。例如，可以将前述图像处理装置设置在机器人上，并且可以基于图像分析结果来执行对该机器人的移动控制。而且，可以将前述图像处理装置设置在船舶上，并且可以基于偏振图像来执行陆地和水面之间的辨别；另外，可以基于水面的图像分析结果来执行船舶的转向等。
而且，说明书中描述的一系列处理可以由硬件、软件或两者的混合构造来执行。在由软件执行处理的情况下，其中记录有处理序列的程序被安装在专用硬件中并入的计算机中的存储器中并被执行。替代地，程序可以被安装在能够执行各种处理的通用计算机中并且可以被执行。
例如，可以将程序预先记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。替代地，可以将程序临时或永久地存储(记录)在诸如软盘、CD-ROM(紧凑盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(蓝光盘(注册商标))、磁盘或半导体存储卡之类的可移动记录介质中。可以提供这种可移动记录介质作为所谓的套装软件。
而且，除了从可移动记录介质安装在计算机中之外，程序还可以通过诸如LAN(局域网)或因特网之类的网络通过无线电信道或通过有线线路而被从下载站点传送到计算机。计算机可以接收如上所述传送的程序并将程序安装在诸如内置硬盘之类的记录介质中。
此外，在本说明书中描述的效果仅仅是例示性的而不限于此，并且可能存在未描述的另外效果。而且，本技术不应被解释为限于本技术的前述实施例。本技术的实施例以示例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的要旨的情况下对这些实施例进行修改和替换。也就是说，为了确定本技术的要旨，应该考虑权利要求的范围。
而且，本技术的图像处理装置也可以采取以下配置。
(1)一种图像处理装置，包括：
辨别信息生成单元，该辨别信息生成单元被配置为通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息；以及
图像分析单元，该图像分析单元被配置为通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别。
(2)根据上面的(1)所述的图像处理装置，其中
辨别信息生成单元基于偏振图像来生成指示移动体周边区域中的路面的分析对象辨别信息，并且
图像分析单元根据路面的区域来设置图像分析区域。
(3)根据上面的(2)所述的图像处理装置，其中
辨别信息生成单元将根据偏振图像计算出的法线的方向为移动体的垂直方向的连续图像区域设置为路面的区域。
(4)根据以上(1)至(3)中任一项所述的图像处理装置，其中
辨别信息生成单元通过使用偏振图像来生成与移动体在移动体周边区域中的制动距离有关的信息作为分析对象辨别信息，并且
图像分析单元将在该制动距离内的区域设置为图像分析区域。
(5)根据上面的(4)所述的图像处理装置，其中
基于非偏振图像中的距离以及根据行进面上的粗糙度和移动速度计算出的制动距离，辨别信息生成单元生成指示非偏振图像中的在制动距离内的区域的信息作为分析对象辨别信息。
(6)根据以上(1)至(5)中任一项所述的图像处理装置，其中
设置多个图像分析单元，并且，
所述多个图像分析单元分担其中所述非偏振图像基于分析对象辨别信息而被分割的区域，并执行对象的辨别。
(7)根据上面的(6)所述的图像处理装置，其中
分析对象辨别信息是与移动体在移动体周边区域中的制动距离有关的信息和指示移动体周边区域中的路面的信息，并且
在制动距离内的区域中，所述多个图像分析单元通过使用多于其他图像区域的许多图像分析单元来执行对象的辨别。
(8)根据上面的(1)所述的图像处理装置，其中
设置执行对非偏振图像的传送的图像传送单元，
图像分析单元经由通信网络而连接到图像传送单元，并且
图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来控制非偏振图像到图像分析单元的传送。
(9)根据上面的(8)所述的图像处理装置，其中
图像传送单元传送图像分析区域的图像。
(10)根据上面的(8)所述的图像处理装置，其中
辨别信息生成单元通过使用每个捕获方向上的偏振图像来生成分析对象辨别信息，并且
图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来选择传送到图像分析单元的非偏振图像，并将所选择的非偏振图像与分析对象辨别信息一起传送。
(11)根据上面的(8)所述的图像处理装置，其中
辨别信息生成单元通过使用每个捕获方向上的偏振图像来生成分析对象辨别信息，并且
图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来选择传送到图像分析单元的非偏振图像，并且将所选择的非偏振图像中的图像分析区域的图像与分析对象辨别信息一起传送。
(12)根据上面的(8)所述的图像处理装置，其中
设置图像分析控制单元和所述多个图像分析单元，并且
图像分析控制单元生成用来控制所述多个图像分析单元如何基于由辨别信息生成单元生成的分析对象辨别信息来对从图像传送单元传送到图像分析单元的非偏振图像执行对象的辨别的图像分析控制信息，并将图像分析控制信息与非偏振图像一起发送到图像分析单元。
[工业应用性]
根据本技术的图像处理装置、图像处理方法和车辆控制系统，例如，由辨别信息生成单元通过使用指示车辆的周边区域的偏振图像来生成分析对象辨别信息。图像分析单元通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示车辆的周边区域的非偏振图像设置的图像分析区域的图像来执行对诸如路面上的障碍物等的对象的辨别。因此，可以根据移动体周边区域的图像高效地执行对物体的存在的确定。因此，例如，其适合于用于通过汽车等进行安全驾驶的控制系统。
[附图标记列表]
10 车辆控制系统
20 通信网络
31 驱动系统控制单元
32 车身系统控制单元
33 电池控制单元
34 车辆外信息检测单元
40 集成控制单元
51 输入单元
52 语音输出单元
53 显示单元
80 车辆
311 车辆状态检测单元
331 蓄电池
341 图像获取单元
3411 偏振图像获取单元
3412 非偏振图像获取单元
3413 距离检测图像获取单元
342 辨别信息生成单元
3421 法线检测单元
3422 路面确定单元
3423 路面粗糙度检测单元
3424 距离检测单元
3425 行驶速度检测单元
3426 制动距离信息生成单元
344 图像分析单元
346 图像传送单元
348 图像分析控制单元

Claims (13)

1.一种图像处理装置，包括：
辨别信息生成单元，所述辨别信息生成单元被配置为通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息；以及
图像分析单元，所述图像分析单元被配置为通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别，
其中，辨别信息生成单元通过使用所述偏振图像来生成与移动体在移动体周边区域中的制动距离有关的信息作为分析对象辨别信息，并且
图像分析单元将在所述制动距离内的区域设置为所述图像分析区域。
2.根据权利要求1所述的图像处理装置，其中
辨别信息生成单元基于所述偏振图像来生成指示移动体周边区域中的路面的分析对象辨别信息，并且
图像分析单元根据路面的区域来设置所述图像分析区域。
3.根据权利要求2所述的图像处理装置，其中
辨别信息生成单元将根据所述偏振图像计算出的法线的方向为移动体的垂直方向的连续图像区域设置为所述路面的区域。
4.根据权利要求1所述的图像处理装置，其中
基于所述非偏振图像中的距离以及根据行进面上的粗糙度和移动速度计算出的所述制动距离，辨别信息生成单元生成指示所述非偏振图像中的在所述制动距离内的区域的信息作为分析对象辨别信息。
5.根据权利要求1所述的图像处理装置，其中
设置多个图像分析单元，并且，
所述多个图像分析单元分担所述非偏振图像基于分析对象辨别信息而被分割的区域，并执行对象的辨别。
6.根据权利要求5所述的图像处理装置，其中
分析对象辨别信息是与移动体在移动体周边区域中的制动距离有关的信息和指示移动体周边区域中的路面的信息，并且
在所述制动距离内的区域中，所述多个图像分析单元通过使用多于其他图像区域的图像分析单元来执行对象的辨别。
7.根据权利要求1所述的图像处理装置，其中
设置执行对所述非偏振图像的传送的图像传送单元，
图像分析单元经由通信网络而连接到图像传送单元，并且
图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来控制非偏振图像到图像分析单元的传送。
8.根据权利要求7所述的图像处理装置，其中
图像传送单元传送所述图像分析区域的图像。
9.根据权利要求7所述的图像处理装置，其中
辨别信息生成单元通过使用每个捕获方向上的偏振图像来生成分析对象辨别信息，并且
图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来选择传送到图像分析单元的非偏振图像，并将所选择的非偏振图像与分析对象辨别信息一起传送。
10.根据权利要求7所述的图像处理装置，其中
辨别信息生成单元通过使用每个捕获方向上的偏振图像来生成分析对象辨别信息，并且
图像传送单元基于由辨别信息生成单元生成的分析对象辨别信息来选择传送到图像分析单元的非偏振图像，并且将所选择的非偏振图像中的图像分析区域的图像与分析对象辨别信息一起传送。
11.根据权利要求7所述的图像处理装置，其中
设置图像分析控制单元和多个图像分析单元，并且，
图像分析控制单元生成用来控制所述多个图像分析单元如何基于由辨别信息生成单元生成的分析对象辨别信息来对从图像传送单元传送到图像分析单元的非偏振图像执行对象的辨别的图像分析控制信息，并将图像分析控制信息与非偏振图像一起发送到图像分析单元。
12.一种图像处理方法，包括：
由辨别信息生成单元通过使用指示移动体周边区域的偏振图像来生成分析对象辨别信息；以及
由图像分析单元通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别，
其中，辨别信息生成单元通过使用所述偏振图像来生成与移动体在移动体周边区域中的制动距离有关的信息作为分析对象辨别信息，并且
图像分析单元将在所述制动距离内的区域设置为所述图像分析区域。
13.一种车辆控制系统，包括：
辨别信息生成单元，所述辨别信息生成单元被配置为通过使用指示车辆的周边区域的偏振图像来生成分析对象辨别信息；
图像分析单元，所述图像分析单元被配置为通过使用基于由辨别信息生成单元生成的分析对象辨别信息而对指示移动体周边区域的非偏振图像设置的图像分析区域的图像来执行对象的辨别；以及
驱动系统控制单元，所述驱动系统控制单元被配置为基于图像分析单元中的对象的辨别结果来执行车辆行驶控制单元，
其中，辨别信息生成单元通过使用所述偏振图像来生成与移动体在移动体周边区域中的制动距离有关的信息作为分析对象辨别信息，并且
图像分析单元将在所述制动距离内的区域设置为所述图像分析区域。
CN201680055410.3A 2015-09-30 2016-08-30 图像处理装置、图像处理方法和车辆控制系统 Active CN108028022B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015193300 2015-09-30
JP2015-193300 2015-09-30
PCT/JP2016/075295 WO2017056822A1 (ja) 2015-09-30 2016-08-30 画像処理装置と画像処理方法および車両制御システム

Publications (2)

Publication Number Publication Date
CN108028022A CN108028022A (zh) 2018-05-11
CN108028022B true CN108028022B (zh) 2021-06-15

Family

ID=58423195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055410.3A Active CN108028022B (zh) 2015-09-30 2016-08-30 图像处理装置、图像处理方法和车辆控制系统

Country Status (4)

Country Link
US (1) US10769951B2 (zh)
JP (1) JP6801666B2 (zh)
CN (1) CN108028022B (zh)
WO (1) WO2017056822A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3663882B1 (en) * 2017-08-04 2022-06-22 Sony Group Corporation Information processing device, information processing method, program and mobile unit
US20210178265A1 (en) * 2018-09-04 2021-06-17 Sony Interactive Entertainment Inc. Information processing apparatus and play field deviation detecting method
DE102018216983B3 (de) * 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475494A (en) * 1992-12-22 1995-12-12 Mitsubishi Denki Kabushiki Kaisha Driving environment surveillance apparatus
JP2000353231A (ja) * 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
CN1910623A (zh) * 2005-01-19 2007-02-07 松下电器产业株式会社 图像变换方法、纹理映射方法、图像变换装置、服务器客户机系统及图像变换程序
CN101000236A (zh) * 2006-01-13 2007-07-18 斯坦雷电气株式会社 反射型光学传感器以及测量面的表面粗糙度检测方法
CN101542232A (zh) * 2007-08-07 2009-09-23 松下电器产业株式会社 法线信息生成装置以及法线信息生成方法
CN102113021A (zh) * 2008-12-25 2011-06-29 松下电器产业株式会社 图像处理装置和模拟立体图像生成装置
US20120069181A1 (en) * 2010-09-16 2012-03-22 Xue Li Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus
JP2012142903A (ja) * 2011-01-06 2012-07-26 Ricoh Co Ltd 撮像装置
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
CN104008645A (zh) * 2014-06-12 2014-08-27 湖南大学 一种适用于城市道路车道线预测及预警方法
CN104129387A (zh) * 2014-07-25 2014-11-05 杭州电子科技大学 安全距离与碰撞时间权衡风险的单摄像头汽车防撞方法
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979172B2 (en) * 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
JP2008015573A (ja) 2006-07-03 2008-01-24 Sony Corp 画像処理装置、画像処理方法および画像監視システム
US9990556B2 (en) * 2012-07-27 2018-06-05 Kyocera Corporation Image processing apparatus, imaging apparatus, movable object, program, and region setting method
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
CN107548502B (zh) * 2015-02-25 2021-02-09 脸谱科技有限责任公司 基于由对象反射的光的特性识别体元中的对象

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475494A (en) * 1992-12-22 1995-12-12 Mitsubishi Denki Kabushiki Kaisha Driving environment surveillance apparatus
JP2000353231A (ja) * 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
CN1910623A (zh) * 2005-01-19 2007-02-07 松下电器产业株式会社 图像变换方法、纹理映射方法、图像变换装置、服务器客户机系统及图像变换程序
CN101000236A (zh) * 2006-01-13 2007-07-18 斯坦雷电气株式会社 反射型光学传感器以及测量面的表面粗糙度检测方法
CN101542232A (zh) * 2007-08-07 2009-09-23 松下电器产业株式会社 法线信息生成装置以及法线信息生成方法
CN102113021A (zh) * 2008-12-25 2011-06-29 松下电器产业株式会社 图像处理装置和模拟立体图像生成装置
US20120069181A1 (en) * 2010-09-16 2012-03-22 Xue Li Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus
US9025027B2 (en) * 2010-09-16 2015-05-05 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus
JP2012142903A (ja) * 2011-01-06 2012-07-26 Ricoh Co Ltd 撮像装置
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
CN104008645A (zh) * 2014-06-12 2014-08-27 湖南大学 一种适用于城市道路车道线预测及预警方法
CN104129387A (zh) * 2014-07-25 2014-11-05 杭州电子科技大学 安全距离与碰撞时间权衡风险的单摄像头汽车防撞方法

Also Published As

Publication number Publication date
CN108028022A (zh) 2018-05-11
US10769951B2 (en) 2020-09-08
JPWO2017056822A1 (ja) 2018-08-30
JP6801666B2 (ja) 2020-12-16
WO2017056822A1 (ja) 2017-04-06
US20180301032A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
US11206388B2 (en) Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
US10850680B2 (en) Vehicle display apparatus and vehicle having the same
US10131347B2 (en) Parking assistance apparatus and vehicle having the same
EP3481692B1 (en) Driver assistance apparatus
CN108028892B (zh) 信息获得设备和信息获得方法
US11182884B2 (en) Enhanced high-dynamic-range imaging and tone mapping
EP3306591A2 (en) Parking assistance apparatus, vehicle having the same, method of providing automatic parking function
US11908104B2 (en) Weighted normalized automatic white balancing
JPWO2018092540A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10523873B2 (en) Image processing device and image processing method
WO2017212928A1 (ja) 画像処理装置、画像処理方法、および車両
US11948315B2 (en) Image composition in multiview automotive and robotics systems
CN108028022B (zh) 图像处理装置、图像处理方法和车辆控制系统
WO2021206896A1 (en) Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
JP7147784B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
US20220250624A1 (en) Multi-view geometry-based hazard detection for autonomous systems and applications
US20230033470A1 (en) Belief propagation for range image mapping in autonomous machine applications
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2022061289A1 (en) Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant