CN114868381A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

一种图像处理装置,具有:决定部,其基于与移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的画质；以及输出部,其输出由上述决定部决定的画质的图像。

Description

图像处理装置、图像处理方法以及程序

技术领域

本发明涉及图像处理装置、图像处理方法以及程序。

背景技术

以往,公知有使用由搭载于车辆等的移动体的摄像机获得的在各时间点的图像(帧),对移动体的前方的物体进行检测的技术(例如,参照专利文献1)。

<现有技术文献>

<专利文献>

专利文献1:日本国特开2017-139631号公报

发明内容

<发明要解决的问题>

但是,在现有技术中,根据移动体的移动状况、以及移动体的周围环境等,物体的检测存在进一步改善的余地。在一个侧面中,目的在于提供一种能够更恰当地对物体进行检测的技术。

<用于解决问题的方法>

在一个方案中,提供一种图像处理装置,包括:决定部,其基于与移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的画质；以及输出部,其输出由上述决定部决定的画质的图像。

<发明的效果>

根据一个侧面,能够更恰当地对物体进行检测。

附图说明

图1是对实施方式的移动体中的摄像装置的设置例进行说明的图。

图2是对实施方式的移动体的构成的一个例子进行说明的图。

图3是对实施方式的图像处理装置以及控制装置的硬件构成例进行说明的图。

图4是示出实施方式的图像处理装置以及控制装置的构成的一个例子的图。

图5是示出实施方式的服务器的处理的一个例子的流程图。

图6是对实施方式的训练用数据的一个例子进行说明的图。

图7是示出实施方式的图像处理装置以及控制装置的处理的一个例子的流程图。

具体实施方式

以下,参照附图,对本发明的实施方式进行说明。

<整体构成>

图1是对实施方式的控制系统500的构成进行说明的图。在图1的例子中,控制系统500具有移动体1和服务器50。移动体1和服务器50的数量不限于图1的例子。

移动体1与服务器50例如通过5G(5th Generation、第五代移动通信系统)、4G、LTE(Long Term Evolution)、3G等的便携式电话网、无线LAN(Local Area Network)以及因特网等的网络进行通信。

移动体1例如是通过车轮在陆上行驶的车辆、用脚等进行移动的机器人、飞机、无人机(无人驾驶飞机(drone))等的移动的机械。需要说明的是,车辆例如包括汽车、摩托车(motorbike)、用车轮进行移动的机器人、在铁轨上行驶的铁轨车辆等。需要说明的是,汽车也包括在道路上行驶的汽车、有轨电车、用于建筑用途的建筑车辆、军事用的军用车辆、装卸搬运用的产业车辆、农业用车辆等。

服务器50基于例如通过移动体1进行摄影的图像等进行机器学习,生成用于识别物体的训练完毕模型。另外,服务器50将生成的训练完毕模型传送至移动体1。

《摄像装置的配置例》

在图1中,示出了自正上观察汽车即移动体1的情况的外观。在图1的例子中,移动体1具有摄像装置12A、摄像装置12B、摄像装置12C、以及摄像装置12D(以下,在不需要进行区別的情况下,仅称为“摄像装置12”。)。

摄像装置12是用于对图像进行摄影的装置。摄像装置12例如可以是摄像机。

摄像装置12A是用于对自移动体1观察的后方(与通常时的行进方向相反的方向)进行摄影的摄像装置(后方摄像机、后摄像机、后视摄像机)。摄像装置12B是用于对自移动体1观察的左方进行摄影的摄像装置(左方摄像机)。摄像装置12C是用于对自移动体1观察的右方进行摄影的摄像装置(右方摄像机)。摄像装置12D是用于对自移动体1观察的前方(通常时的行进方向)进行摄影的摄像装置(前方摄像机)。

摄像装置12A、摄像装置12B、摄像装置12C、以及摄像装置12D例如可以是对驾驶员的驾驶操作进行支援的先进驾驶支援系统(ADAS、Advanced driver-assistance systems)或对自动驾驶用的图像进行摄影的摄像装置。另外,摄像装置12A、摄像装置12B、摄像装置12C、以及摄像装置12D例如可以是对生成宛如自正上观察移动体1的图像的全方位显示器(环绕视图、全景视图、多视图、顶部视图)用的图像进行摄影的各摄像机。

摄像装置12A例如可以是用于对显示于后视镜(backmirror)显示器的图像进行摄影的摄像机。另外,摄像装置12A例如可以是在移动体1向后方移动(倒车)时,对显示于导航装置18的画面的图像进行摄影的摄像机。

摄像装置12B例如可以是对显示于左侧的侧视镜显示器的图像进行摄影的摄像机。摄像装置12C例如可以是对显示于右侧的侧视镜显示器的图像进行摄影的摄像机。

需要说明的是,对自移动体1观察的前方(通常时的行进方向)进行摄影的摄像装置12D可以是具有多个摄像机的立体像机。

<移动体1的构成>

图2是对实施方式的移动体1的构成的一个例子进行说明的图。在图2的例子中,移动体1具有图像处理装置10、控制装置11、摄像装置12、ECU13、无线通信装置14、传感器15、驱动装置16、灯装置17以及导航装置18。

这些各部分例如通过CAN(Controller Area Network)以及以太网(注册商标)等的内部网络(例如,车载网络)连接。

图像处理装置10基于通过摄像装置12摄影的图像(静止图像和动图像),生成用于使控制装置11检测移动体1的外部(周围)的物体的图像。需要说明的是,该物体例如可以包括其他的车辆、行人、自行车、白线、道路的侧壁、以及障碍物等。

控制装置11是用于控制移动体1的各部分的计算机(信息处理装置)。控制装置11基于由图像处理装置10生成的图像,对移动体1的外部的物体进行识别。另外,控制装置11基于由图像处理装置10生成的各时间点的图像,对识别的物体进行追踪。控制装置11通过基于检测到的物体(识别的物体、以及正在追踪的物体),对移动体1的ECU(ElectronicControl Unit)13等进行控制,从而控制移动体1的移动等。

控制装置11可以通过控制移动体1的移动等,实现例如驾驶员(使用者、司机、搭乘者)进行主控制系统(加速、转向、制动等)的操作的等级0至进行无人驾驶的等级5的任一等级的自动驾驶。

ECU13是用于控制移动体1的各装置的装置。需要说明的是,ECU13可以具有多个ECU。无线通信装置14例如通过便携电话网等的无线通信,进行与服务器50以及因特网上的服务器等的、移动体1的外部的装置的通信。

传感器15是用于检测各种信息的传感器。传感器15例如可以包括用于取得移动体1的现在的位置信息的位置传感器。需要说明的是,位置传感器例如可以是利用GPS(GlobalPositioning System)等的卫星定位系统的传感器。

另外,传感器15可以包括用于检测移动体1的速度的速度传感器。需要说明的是,速度传感器例如可以是用于测定车轮的车轴的转速的传感器。另外,传感器15可以包括用于检测移动体1的加速度的加速度传感器。另外,传感器15可以包括用于检测移动体1的横摆轴角速度(横摆率)的横摆轴角速度传感器。

另外,传感器15可以包括用于检测基于驾驶员、以及控制装置11的移动体1的操作量等的操作传感器。需要说明的是,操作传感器例如可以包括用于检测油门踏板的踏下量的油门传感器、用于检测方向盘(steering wheel)的旋转角度的转向传感器、用于检测刹车踏板的踏下量的刹车传感器、以及用于检测传动装置的位置的换挡位置传感器等。

驱动装置16是用于使移动体1移动的各种装置。驱动装置16例如可以包括发动机、转向装置(转向系统)以及制动装置(刹车)等。

灯装置17是搭载于移动体1的各种灯具。灯装置17例如可以包括前照灯(前灯)、用于在左右转弯或变道(lane change)时向周围示出其方向的方向指示器(转向灯)的灯、设于移动体1的后部且在传动装置处于倒挡范围时点亮的倒车灯、以及刹车灯等。

导航装置18是通过声音和显示来引导向目的地的路径的装置(汽车导航)。导航装置18中可以存储有地图信息。另外,导航装置18可以将移动体1的现在位置的信息发送至提供汽车导航服务的外部服务器,并且自该外部服务器获得移动体1的周边的地图信息。需要说明的是,地图信息中例如可以包含表示交叉路口等的连结点的节点、以及节点间的道路区间即路段的信息等。

<计算机的硬件构成>

图3是对实施方式的图像处理装置10、以及控制装置11的硬件构成例进行说明的图。以下,将图像处理装置10作为例子进行说明。控制装置11的硬件构成可以与图像处理装置10相同。

在图3的例子中,图像处理装置10具有各自通过总线B彼此连接的驱动装置1000、辅助存储装置1002、存储器装置1003、CPU1004、以及接口装置1005等。

存储介质1001提供用于实现在图像处理装置10的处理的信息处理程序。若存储有信息处理程序的存储介质1001被安置于驱动装置1000,则信息处理程序自存储介质1001通过驱动装置1000被安装于辅助存储装置1002。但是,信息处理程序的安装并非必须通过存储介质1001进行,也可以通过网络自其他的计算机下载。辅助存储装置1002存储安装的信息处理程序,并且存储必须的文件、数据等。

存储器装置1003在存在程序的起动指令时,自辅助存储装置1002读取程序并进行存储。CPU1004依照在存储器装置1003中存储的程序执行处理。接口装置1005被用作用于连接网络的接口。

需要说明的是,作为存储介质1001的一个例子,可以举出CD-ROM、DVD盘、或者USB存储器等的便携式存储介质。另外,作为辅助存储装置1002的一个例子,可以举出HDD(HardDisk Drive)或闪存等。存储介质1001以及辅助存储装置1002均相当于计算机可读取的存储介质。

需要说明的是,图像处理装置10例如可以由ASIC(Application SpecificIntegrated Circuit)或FPGA(Field-Programmable Gate Array)等的集成电路来实现。

<图像处理装置10、以及控制装置11的构成>

接下来,参照图4,对于图像处理装置10、以及控制装置11的构成进行说明。图4是示出实施方式的图像处理装置10、以及控制装置11的构成的一个例子的图。

《图像处理装置10》

图像处理装置10具有取得部101、判定部102、决定部103、以及输出部104。这些各个部可以通过安装于图像处理装置10的一个以上的程序与图像处理装置10的CPU1004等的硬件的协作来实现。

取得部101自其他的装置取得数据。取得部101例如自摄像装置12取得由该摄像装置12摄影的图像。另外,取得部101例如通过ECU13等自移动体1的各部分取得各种信息。另外,取得部101例如通过无线通信装置14等取得来自移动体1的外部的装置的信息。

判定部102基于通过取得部101取得的信息,对与移动体1的移动相关的状况进行判定。

决定部103基于通过判定部102进行判定的、与移动体1的移动相关的状况,决定对移动体1的外部的物体进行检测的图像的画质。

输出部104输出由决定部103决定的画质的图像,将该图像输入控制装置11。

《控制装置11》

控制装置11具有存储部111、识别部112、追踪部113、以及控制部114。这些各个部可以由安装于控制装置11的一个以上的程序与控制装置11的CPU等的硬件协作来实现。

存储部111用于存储由服务器50传送来的训练完毕模型。

识别部112基于在存储部111中存储的训练完毕模型、以及由图像处理装置10输出的图像等,对该图像中拍摄的物体进行识别。识别部112例如可以对该物体的类别、以及与移动体1的相对位置(距离)等进行识别。需要说明的是,识别部112作为物体的类别例如可以分类为车辆、摩托车、自行车、行人、其他等的类别。

追踪部113在各时间点追踪识别部112基于通过图像处理装置10在该各时间点输出的图像而识别的物体。

控制部114基于移动体1与通过追踪部113追踪的各物体的距离,对移动体1进行控制。

<处理>

《训练阶段》

接下来,参照图5,对服务器50的处理进行说明。图5是示出实施方式的服务器50的处理的一个例子的流程图。图6是对实施方式的训练用数据501的一个例子进行说明的图。

在步骤S1中,服务器50取得有监督训练的训练用数据501。在图6的例子中,训练用数据501中包括多组与移动体1的移动相关的状况(情景)、摄像装置12的图像、以及图像中的物体(被摄影物)的信息的组(数据集)。另外,图像中的物体的信息包括表示图像中的各物体的区域的信息以及该各物体的类别(标号)。表示物体的区域的信息例如为在图像中物体被摄影的矩形区域的左上坐标以及右下坐标。物体的类别例如可以包括车辆、摩托车、自行车、行人、以及其他等。

训练用数据501例如可以基于数据收集用的移动体1行驶时的图像来进行制作。在训练用数据501中包含的图像中的物体的信息例如可以作为正确数据而由开发移动体1的经营者的开发人员等进行设定。

另外,训练用数据501中包含的与移动体1的移动相关的状况例如可以作为正确数据而由开发移动体1的经营者的开发人员等进行设定,也可以通过图像处理装置10等自动设定。

接下来,服务器50基于训练用数据501进行机器学习,生成训练完毕模型(步骤S2)。这里,服务器50例如可以进行基于深度学习等的机器学习。在该情况下,服务器50例如可以针对每各与移动体1的移动相关的状况,通过卷积神经网络(CNN、ConvolutionalNeural Network)进行机器学习。由此,例如,在移动体1在高速公路上行驶的情况下,生成分类为车辆、摩托车、侧壁、以及其他等的训练完毕模型,能够使识别处理高速化。另外,在移动体1在街区中行驶的情况下,生成分类为车辆、摩托车、自行车、高龄者、大人、小孩、以及其他等的训练完毕模型,能够对识别对象的分类进行细分。

另外,服务器50可以通过迁移学习(Transfer Learning),基于训练用数据501进行机器学习,生成训练完毕模型。在该情况下,服务器50可以基于移动体1的摄像装置12的图像之外的图像,对于物体的各类别进行了训练的卷积神经网络,基于训练用数据501进行再训练。

另外,服务器50可以通过兼用使用与移动体1的移动相关的状况的其他分类器,使识别精度提高。在该情况下,服务器50例如可以生成通过使用与移动体1的移动相关的状况的其他分类器对使用卷积神经网络计算的特征量(CNN特征量)进行分类的训练完毕模型。在该情况下,服务器50作为该其他分类器例如可以使用支持向量机(SVM、Support VectorMachine)等。由此,例如,由于能够推断与状况相应的各类别相似性(各类别的概率),因此能够将某个物体的图像在移动体1在街区行驶的情况下识别为自行车,在移动体1在高速公路行驶的情况下识别为摩托车。

接下来,服务器50将训练完毕模型传送给移动体1(步骤S3)。由此,在移动体1的控制装置11的存储部111中,存储训练完毕模型。需要说明的是,服务器50可以每次根据移动体1的周围的状况而将训练完毕模型传送至移动体1并进行存储。另外,移动体1可以将由服务器50生成的训练完毕模型事先存储于存储部111中。另外,移动体1可以将由服务器50生成的多个训练完毕模型事先存储于存储部111中,并且根据移动体1的周围的状况选择多个训练完毕模型中的一个。

《推断阶段》

接下来,参照图7,对于移动体1的图像处理装置10、以及控制装置11的处理进行说明。图7是示出实施方式的图像处理装置10、以及控制装置11的处理的一个例子的流程图。

在步骤S21中,图像处理装置10的判定部102对于与移动体1的移动相关的状况进行判定。这里,图像处理装置10可以基于通过摄像装置12、ECU13、或无线通信装置14等取得的信息,对于与移动体1的移动相关的状况进行判定。

图像处理装置10例如可以基于通过摄像装置12摄影的图像,对于移动体1现在行驶的道路的状况、以及移动体1的外部的物体的状况进行判定。在该情况下,图像处理装置10例如可以基于通过摄像装置12摄影的静止图像(1帧),对于移动体1现在行驶的道路的宽度(车道宽度)、视野良好的程度、高速公路等的侧壁的有无、在路肩停车的车辆的有无、以及道路的拥堵状况等进行判定。另外,图像处理装置10例如可以基于通过摄像装置12摄影的动图像(多帧),对于移动体1的后续车辆与移动体1的接近速度进行判定。

另外,图像处理装置10可以基于通过ECU12等自移动体1的各部分取得的信息,对于与移动体1的移动相关的状况进行判定。在该情况下,图像处理装置10例如可以基于自导航装置18取得的信息,对于移动体1现在行驶的道路的属性、以及移动体1在自现在规定时间(例如1分种)以内的各时间点行驶的预定的道路的属性进行判定。这里,道路的属性例如可以包括表示高速公路、一般道路(一般国道)、主要地方道路、一般省市区道路、市镇村道路、以及私有道路等的道路的类别的信息。另外,道路的属性例如可以包括车道数量、车道宽度、路段内属性(桥·高架桥、隧道、洞门、道口、人行天桥、收费站、地下道、预计道路浸水场所等)的位置等的信息。另外,图像处理装置10例如可以基于自导航装置18取得的信息,对于移动体1现在行驶的道路的拥堵状况进行判定。

另外,图像处理装置10例如可以基于移动体1的现在的速度、加速度、基于方向盘操作的转向角、油门(油门踏板)操作(加速操作)、刹车(刹车踏板)操作(减速操作)、方向指示器(转向灯)的点亮、以及前照灯(头灯)的点亮等的信息,对于与移动体1的移动相关的状况进行判定。在该情况下,图像处理装置10可以自ECU等取得基于驾驶员的操作、或控制装置11的操作(自动驾驶控制)的各信息。

另外,图像处理装置10例如可以基于自VICS(注册商标)(Vehicle Informationand Communication System、道路交通信息通信系统)、或云服务等取得的信息,对于与移动体1的移动相关的状况进行判定。

在该情况下,图像处理装置10例如可以对于移动体1现在行驶的道路、以及移动体1在自现在规定时间(例如1分种)以内的各时间点行驶的预定的道路是否为交通事故频发的地点、是否为拥堵频发的地点、移动体1现在行驶的位置的天气等进行判定。

接下来,图像处理装置10的决定部103基于与移动体1的移动相关的状况,决定对于移动体1的外部的物体进行检测的图像(物体识别用的图像)的画质(步骤S22)。

(低分辨率、低帧速率的例子)

图像处理装置10例如可以在移动体1的周围的时间变化较小,识别对象的物体较少的状况下,决定低分辨率且低帧速率(例如,30fps)的画质。需要说明的是,图像处理装置10作为低分辨率可以设定为QVGA(Quarter Video Graphics Array、320×240像素、或VGA(Video Graphics Array、640×480像素)等的分辨率。

在该情况下,图像处理装置10例如可以在移动体1于停车场停车的状态下,或在停车动作中的情况下,决定低分辨率且低帧速率。图像处理装置10例如可以在自导航装置18取得的移动体1的现在位置的场所为停车场的情况下,以及该场所不是道路的情况下,判定移动体1位于停车场。另外,图像处理装置10例如可以在移动体1的速度为阈值(例如,时速5km)以下,并且被检测到传动装置处于倒挡范围的情况下,判定移动体1处于停车动作中,决定低分辨率且低帧速率的画质。

另外,图像处理装置10例如可以在移动体1在拥堵区间低速行驶的情况下,决定低分辨率且低帧速率。图像处理装置10例如可以基于自导航装置18取得的移动体1的现在位置的拥堵信息,判定移动体1正在拥堵区间行驶。另外,图像处理装置10例如可以在根据通过摄像装置12摄像的图像,识别为许多车辆在前方密集的情况下,判定移动体1正在拥堵区间行驶。

(低分辨率、高帧速率的例子)

图像处理装置10例如可以在移动体1的周围的时间性变化较大,识别对象的物体较少的状况下,决定低分辨率且高帧速率(例如,60fps或120fps)的画质。

在该情况下,图像处理装置10例如可以在移动体1以规定速度以上在高速公路上行驶中的情况下,决定低分辨率且高帧速率。这是由于,认为在高速公路上基本不存在例如以高分辨率的图像进行识别的对象即行人、自行车等,因此低分辨率即可。另外,由于为了预测进行车道的变道、自后方急速接近等的移动体1周边的物体与移动体1的今后的位置关系而避免碰撞等,物体的追踪精度相对重要,因此认为优选以高帧速率的图像进行追踪处理。

需要说明的是,图像处理装置10例如可以在自导航装置18取得的移动体1的现在位置为高速公路的情况下,判定移动体1处于高速公路行驶中。另外,图像处理装置10例如可以在根据通过摄像装置12摄像的图像识别出高速公路等的侧壁的情况下,判定为移动体1处于高速公路行驶中。并且,可以在移动体1的速度为规定速度(例如,时速60km)以上的情况下,判定为移动体1正以规定速度以上行驶于高速公路。

另外,图像处理装置10例如可以在移动体1进行行进路线变更时,决定低分辨率且高帧速率。在该情况下,图像处理装置10例如可以基于方向指示器的操作以及方向盘操作等,检测移动体1进行行进路线变更。

另外,图像处理装置10例如可以在移动体1的速度为阈值(例如,时速80km)以上的情况下,决定低分辨率且高帧速率。需要说明的是,图像处理装置10例如可以移动体1的速度越块,决定帧速率越高。这是由于,例如与接近移动体1的物体是什么的精度相比,接近的速度的精度变得重要,因此这是为了提高识别的物体的追踪精度(追随性)。

另外,图像处理装置10例如可以在移动体1的向行进方向的加速度为阈值以上的情况下,决定低分辨率且高帧速率。这是为了例如降低因移动体1的急起步导致的碰撞。

另外,图像处理装置10例如可以在移动体1的减速度(移动体1的向与行进方向相反方向的加速度)为阈值以上的情况下,决定低分辨率且高帧速率。这是为了降低例如因移动体1的急停车(急刹车)导致后续车辆追尾等。

(高分辨率、低帧速率的例子)

图像处理装置10可以在例如移动体1的周围的时间变化较小,识别对象的物体较多的状况下,决定高分辨率且低帧速率的画质。需要说明的是,图像处理装置10作为高分辨率可以设定为FHD(Full HD、1920×1080像素)、以及4K(4096×2160像素)等的分辨率。

在该情况下,图像处理装置10例如可以在移动体1处于高速公路之外的道路行驶中的情况下,决定为高分辨率且低帧速率。这是由于,在市镇村道路、道路的宽度较窄的道路、住宅地、以及街区(以下,适当也称为“市镇村道路等”。)行驶的情况下,为了预测物体与移动体1的今后的位置关系等,识别物体是行人还是行驶中的自行车等的精度相对重要,因此认为优选以高分辨率的图像进行识别处理。另外,由于移动体1的速度与例如在高速公路等行驶的情况相比为低速,因此认为低帧速率即可。

(高分辨率、高帧速率的例子)

图像处理装置10例如可以在移动体1的周围的时间变化较大,识别对象的物体较多的状况下,决定为高分辨率且高帧速率的画质。由此,例如,在危险性较高的状况下,能够进行高精度的物体检测。

在该情况下,图像处理装置10例如可以在移动体1进入交叉路口时,决定为高分辨率且高帧速率。例如,在进入交叉路口的情况下,存在对面车、走过人行横道的行人、信号灯、后续车辆等、许多应识别的对象,状况瞬息万变,通过使用高分辨率且高帧速率的图像,能够告诉且高精度地识别交叉路口种的移动体1的周围的应识别的对象。

另外,图像处理装置10例如可以在移动体1以高速行驶于市镇村道路等的情况下,决定为高分辨率且高帧速率。在该情况下,图像处理装置10例如在自导航装置18取得的移动体1的现在位置为市镇村道路等,并且移动体1的速度为阈值(例如,时速80km)以上的情况下,判定为移动体1正以高速行驶于市镇村道路等。

(决定亮度、对比度、颜色的例子)

图像处理装置10可以基于与移动体1的移动相关的状况,决定例如图像的亮度、对比度、以及颜色等的画质。在该情况下,图像处理装置10可以在例如夜间行驶的情况下、以及行驶于隧道时,将亮度以及对比度设定为较大,并且对于因头灯、以及隧道内的照明的颜色导致的物体的变色进行校正。

(决定多个摄像装置12的图像的画质的例子)

图像处理装置10可以基于与移动体1的移动相关的状况,决定能够自多个摄像装置12的每一个摄像装置获得的图像的画质。在该情况下,图像处理装置10例如可以在移动体1的向规定方向的加速度为阈值以上的情况下,使对于移动体1的该规定方向进行摄像的第一摄像装置的图像的分辨率以及帧速率的至少一者增加。并且,图像处理装置10可以使对于与该规定方向不同的方向进行摄像的第二摄像装置的图像的分辨率以及帧速率的至少一者减少。

在该情况下,图像处理装置10例如可以在移动体1的减速度为阈值以上的情况下,使对于移动体的前方进行摄像的摄像装置12D的图像的分辨率以及帧速率的至少一者减少,并且使摄像装置12A、摄像装置12B、以及摄像装置12C的图像的分辨率、以及帧速率的至少一者增加。由此,在例如移动体1急停车(急刹车)的情况下,能够使移动体1的后续车辆的识别精度提高。

另外,图像处理装置10例如可以在移动体1的向行进方向的加速度为阈值以上的情况下,使对于移动体1的后方进行摄像的摄像装置12A的图像的分辨率以及帧速率的至少一者减少,使摄像装置12D等的图像的分辨率以及帧速率的至少一者增加。由此,例如在移动体1急起步的情况下,能够提高位于移动体1的前方的车辆的识别精度。

接下来,图像处理装置10的输出部104以决定的画质输出物体识别用的图像(步骤S23)。由此,能够降低控制装置11的处理负载。

这里,图像处理装置10可以根据通过摄像装置12摄影的图像,生成物体识别用的图像。

另外,图像处理装置10可以使摄像装置12对于由决定部103决定的画质的图像进行摄像。在该情况下,图像处理装置10例如可以将设定画质的控制指令发送至摄像装置12。并且,摄像装置12以由接收的控制指令指定的画质对图像进行摄像,并且将摄像的图像输出至图像处理装置10、或控制装置11。

另外,图像处理装置10可以基于表示与移动体1的移动相关的状况的信息、以及由决定部103决定的画质的图像,使控制装置11识别移动体1的外部的物体。在该情况下,图像处理装置10使由判定部102判定的与移动体1的移动相关的状况的信息输入控制装置11。由此,控制装置11能够进行也基于与移动体1的移动相关的状况的推断,因此识别物体的精度提高。需要说明的是,图像处理装置10可以将与输出至控制装置11的图像相同或不同画质的图像输出至用于向移动体1的驾驶员进行显示的显示装置。显示装置例如可以是车内后视镜显示器、侧视镜显示器,也可以是包含于导航装置18的显示装置。

接下来,控制装置11的识别部112基于物体识别用的图像、以及在存储部111中存储的训练完毕模型等,对移动体1的外部的物体进行识别(步骤S24)。需要说明的是,控制装置11对于道路的白线等可以通过不使用机器学习的识别处理进行识别。

这里,控制装置11可以使用在图5的步骤S2的处理中进行了说明的、根据与移动体1的移动相关的状况的训练完毕模型,对于图像中的物体的区域、以及物体的类别进行推断。另外,控制装置11可以兼用在图5的步骤S2的处理中进行了说明的、使用了与移动体1的移动相关的状况的其他的分类器,对于图像中的物体的区域以及物体的类别进行推断。

接下来,控制装置11的追踪部113对于识别的物体与移动体1的位置关系的变化进行判定(追踪)(步骤S25)。由此,控制装置11能够对于识别的物体与移动体1的今后的位置关系进行预测。

这里,控制装置11例如通过以下那样的处理,对物体进行追踪。首先,控制装置11计算在上一帧识别的或追踪的物体A在当前帧中的预测位置。这里,控制装置11例如可以基于移动体1的速度以及正在追踪的物体A的速度和相对于移动体1的行进方向,计算物体A在当前帧中的预测位置。接下来,控制装置11在上次之前的帧中识别的物体A的类别与当前的帧中识别的物体B的类别相同且物体A的在当前帧中的预测位置与物体B的在当前帧中的位置的差为阈值以下的情况下,判定物体B为物体A,对于物体A(物体B)的类别、位置以及行进方向进行存储。

接下来,控制装置11的控制部114基于识别的物体与移动体1的位置关系的变化等,对于移动体1的各部分进行控制(步骤S26)。这里,控制装置11例如通过移动体1的显示器、扬声器等,向驾驶员通知障碍物的存在、后方的高速接近车等。另外,控制装置11例如可以进行移动体1的自动驾驶。

<变形例>

图像处理装置10、以及控制装置11的各功能部例如通过由1台以上的计算机提供的云计算来实现。另外,可以将图像处理装置10、以及控制装置11构成为一体的装置。另外,可以将图像处理装置10、以及摄像装置12构成为一体的装置。另外,可以设定为通过控制装置11进行服务器50的机器学习处理的构成。另外,移动体1可以具有半导体装置,并且在一个半导体装置中包含图像处理装置10以及控制装置11。另外,移动体1可以具有多个半导体装置,并且在其一个半导体装置中包含图像处理装置10,在另一个半导体装置中包含控制装置11。

以上,虽然对于本发明的实施例进行了详述,但是本发明不限于该特定的实施方式,在权利要求书中记载的本发明的主旨的范围内,各种变形·变更是可能的。

附图标记说明

500 控制系统

1 移动体

10 图像处理装置

101 取得部

102 判定部

103 决定部

104 输出部

11 控制装置

111 存储部

112 识别部

113 追踪部

114 控制部

12A 摄像装置

12B 摄像装置

12C 摄像装置

12D 摄像装置

14 无线通信装置

15 传感器

16 驱动装置

17 灯装置

18 导航装置

50 服务器。

Claims (11)

1.一种图像处理装置,具有:

决定部,其基于与移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的画质；以及

输出部,其输出由上述决定部决定的画质的图像。

2.根据权利要求1所述的图像处理装置,其中,

上述输出部基于来自搭载于上述移动体的摄像装置的图像,生成由上述决定部决定的画质的图像。

3.根据权利要求1或2所述的图像处理装置,其中,

上述输出部使搭载于上述移动体的摄像装置对由上述决定部决定的画质的图像进行摄像。

4.根据权利要求1至3中任一项所述的图像处理装置,其中,

上述输出部基于表示与上述移动体的移动相关的状况的信息以及由上述决定部决定的画质的图像,对上述移动体的外部的物体进行识别。

5.根据权利要求1至4中任一项所述的图像处理装置,其中,

上述决定部基于与上述移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的分辨率以及帧速率的至少一者。

6.根据权利要求1至5中任一项所述的图像处理装置,其中,

上述决定部基于与上述移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的亮度、对比度以及颜色的至少一者。

7.根据权利要求1至6中任一项所述的图像处理装置,其中,

上述决定部基于上述移动体的速度、加速度、转向角、加速操作、减速操作、方向指示器的点亮以及前照灯的点亮的至少一者,决定对上述移动体的外部的物体进行检测的图像的画质。

8.根据权利要求1至7中任一项所述的图像处理装置,其中,

上述决定部基于来自搭载于上述移动体的摄像装置的图像,决定对上述移动体的外部的物体进行检测的图像的画质。

9.根据权利要求1至8中任一项所述的图像处理装置,其中,

上述决定部在上述移动体的向规定方向的加速度为阈值以上的情况下,使对上述移动体的上述规定方向进行摄像的第一摄像装置的图像的分辨率以及帧速率的至少一者增加,并且使对与上述规定方向不同的方向进行摄像的第二摄像装置的图像的分辨率以及帧速率的至少一者减少。

10.一种图像处理方法,其执行以下处理:

图像处理装置基于与移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的画质,并且输出决定的画质的图像。

11.一种程序,其使计算机执行以下处理:

基于与移动体的移动相关的状况,决定对上述移动体的外部的物体进行检测的图像的画质,并且输出决定的画质的图像。

Images