CN107004363B - 图像处理装置及车载显示系统及显示装置及图像处理方法 - Google Patents

图像处理装置及车载显示系统及显示装置及图像处理方法 Download PDF

Info

Publication number
CN107004363B
CN107004363B CN201480083771.XA CN201480083771A CN107004363B CN 107004363 B CN107004363 B CN 107004363B CN 201480083771 A CN201480083771 A CN 201480083771A CN 107004363 B CN107004363 B CN 107004363B
Authority
CN
China
Prior art keywords
objects
extraction unit
unit
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083771.XA
Other languages
English (en)
Other versions
CN107004363A (zh
Inventor
佐佐木谅介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107004363A publication Critical patent/CN107004363A/zh
Application granted granted Critical
Publication of CN107004363B publication Critical patent/CN107004363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Abstract

图像处理装置(120)中，提取部(121)从拍摄图像(101)提取多个对象物。预测部(122)预测被提取部(121)提取出的多个对象物间的将来的距离。分类部(123)基于由预测部(122)预测到的将来的距离，将由提取部(121)提取出的多个对象物分类成小组。处理部(124)将拍摄图像(101)加工成强调显示图像(102)。强调显示图像(102)是对每个小组强调显示由分类部(123)分类的多个对象物的图像。

Description

图像处理装置及车载显示系统及显示装置及图像处理方法
技术领域
本发明涉及图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序。
背景技术
以往，存在有通过提供驾驶员的目视确认的状态作为行驶信息来辅助驾驶的行驶信息提供装置(例如，参照专利文献1)。该行驶信息提供装置根据对象物的属性将车辆的周围的对象物分类成若干的小组，并用不同的颜色来显示各个小组。作为对象物，有其他的车辆，步行者，标识，信号，人行横道等。对象物的“属性”例如是对象物的类别以及距离。
现有技术文献
专利文献
专利文献1：国际公开第2008/029802号
发明内容
发明所要解决的技术问题
以往的行驶提供情报装置将车辆的周围的对象物中类别一样，并且当前彼此间的距离在阈值以下的对象物分类成相同小组。在对象物分组时，不考虑对象物间将来的距离。
例如，在互相靠近站着的4个步行者中，认定1个步行者处于要开始跑的姿势。这种情况下，想要开始跑的步行者和余下的3个步行者间当前的距离小，但是可以预料到将来的距离会变大。但是，以往的行驶信息提供装置将四个步行者作为相同小组来显示。因此，驾驶员难以对想要开始跑的步行者和余下的3个步行者分别进行目视确认。其结果是，在步行者实际上已经跑出去的时候驾驶员才注意到该步行者是有所延迟的，对安全驾驶造成障碍。
如上所述，即使对象物间当前的距离在阈值以下，根据对象物间的将来的距离，有时也应该对对象物分别进行目视确认。但是，现有技术中，存在无法根据这种情况进行适宜的分组的课题。
本发明的目的在于，例如对于按每个小组强调显示的对象物，汇总应该分别目视确认的对象物并适当地分类应该目视确认的对象物。
用于解决技术问题的技术手段
本发明的一个实施方式的图像处理装置包括：
提取部，该提取部从拍摄了至少包含一个移动的对象物的多个对象物的拍摄图像中提取该多个对象物；
预测部，该预测部预测由所述提取部提取出的多个对象物间的将来的距离；
分类部，该分类部基于由所述预测部预测到的将来的距离将由所述提取部提取出的多个对象物分类成小组；以及
处理部，该处理部将所述拍摄图像加工成强调显示图像，该强调显示图像中按小组强调显示由所述分类部分类后的多个对象物。
发明效果
本实施方式中，基于对象物间的将来的距离，将对象物分类成小组，而无关乎对象物间的当前的距离。因此，根据本发明，对于按每个小组强调显示的对象物，能够汇总应该分别目视确认的对象物并适当地分类应该目视确认的对象物。
附图说明
图1是表示实施方式1所涉及的车载显示系统的结构的框图。
图2是表示实施方式1所涉及的车载显示系统的动作的流程图。
图3是表示实施方式1的对象物数据的示例的图。
图4是表示实施方式1所涉及的分类处理的步骤的流程图。
图5是表示实施方式1的关系性表格的示例的表
图6是表示实施方式1的强调显示图像的示例的图。
图7是表示实施方式1的强调显示图像的示例的图。
图8是表示实施方式1的强调显示图像的示例的图。
图9是表示实施方式1的强调显示图像的示例的图。
图10是表示实施方式2的关系性表格的示例的表
图11是表示本发明的实施方式所涉及的车载显示系统的硬件结构的一个示例的图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。另外，各图中，对于相同或相当部分标注相同标号。实施方式的说明中，对相同或相当部分适当省略或简化其说明。
实施方式1.
首先，对本实施方式的概要进行说明。
本实施方式中，被拍摄的对象物与对象物间的现在的距离无关，而是基于对象物间的将来的距离，被分类成若干小组，并按小组进行强调显示。在对象物分组时，考虑对象物间将来的距离。“强调显示”是指用框包围某一图像中的对象物，或者用颜色标注，从而在该图像内容易对对象物进行目视确认。作为对象物，有车辆、人类、动物这样的移动的对象物和标识、红绿灯、人行横道这样的不移动的对象物。作为车辆，有汽车，摩托车，自行车等。对象物具有属性。“属性”例如是对象物的类别以及距离以及速度。作为属性的一种的“类别”与对象物现在的状态无关，是能够区分对象物的特性或种类。例如，即使对象物现在没在移动但具有移动的能力的话，那该对象物的类别是移动的对象物。可认为类别具有阶层。例如，在移动的对象物的下层有车辆、人类、动物这样的下位的类别。在车辆的下层，有汽车，摩托车，自行车等进一步下位的类别。作为属性的一种的“距离”不是上述的“对象物间的现在的距离”和“对象物间的将来的距离”，而是从拍摄到对象物的地点到对象物的距离。
例如，设定在互相靠近站着的4个步行者中，有1个步行者处于要开始跑的姿势。这种情况下，想要开始跑的步行者和余下的3个步行者间的当时的距离小，但是可以预料到将来的距离会变大。假设在4个人汇总作为相同小组进行强调显示的时候，难以对想要开始跑的人和余下的3个人分别进行目视确认。本实施方式中，考虑四个人之间的将来的距离，想要开始跑的人和余下的3个人被分类成不同的小组。于是，拍摄到四个人的图像被加工成下述图像，即，将一个人作为一个小组进行强调显示，将余下的三个人汇总作为另一小组进行强调显示。因此，观察到加工后的图像的人容易分别对想要开始跑的人和余下的3个人进行目视确认。
本实施方式中，在对象物分组时，还考虑对象物间的关系性。
例如，设为在远离停着的1辆车的位置，有一个人正朝向该车辆移动。该情况下，停着的车辆与朝向车辆的人之间的现在的距离较大，但是可以认为将来的距离成为0。并且，还认为，停着的车辆与朝向车辆的人之间具有车辆及乘坐该车辆的人这一关系性。假设在使1辆车和一个人作为不同的小组分别强调显示了的时候，难以对停着的车辆和朝向车辆的人进行汇总来目视确认。但是，在这种情况下，汇总两者进行目视确认更高效。本实施方式中，考虑到一辆车与一个人之间的关系性，将停着的车辆与朝向车辆的人分类成相同小组。于是，拍摄到一辆车和一个人的图像被加工成将一辆车和一个人汇总为一个小组来进行强调显示的图像。因此，观察到加工后的图像的人容易汇总地来目视确认停着的车辆和朝向车辆的人。
例如，本实施方式能够适用于驾驶的辅助。本实施方式中，根据位于车辆周边的对象物的移动预测的结果、或者基于对象物之间的关系性推定的结果来分组，能够目视确认性较高地对车辆的周边状况进行显示。因此，有助于驾驶员的安全确认。
接着，作为本实施方式的详细情况，依次说明本实施方式所涉及的系统的结构、本实施方式所涉及的系统的动作、本实施方式的效果。
<结构的说明>
图1是表示实施方式所涉及的车载显示系统100的结构的框图。
如图1所示，车载显示系统100包括拍摄装置110、图像处理装置120、数据存储装置130、显示装置140。
拍摄装置110例如是立体相机或雷达。拍摄装置110搭载于车辆200。拍摄装置110拍摄车辆200的周边以获得拍摄图像101。拍摄图像101是拍摄到至少包含一个移动的对象物的多个对象物的图像。
图像处理装置120例如是计算机。图像处理装置120可以搭载于车辆200，可以由驾驶员拿到车辆200内，也可以设置在车辆200的外部。图像处理装置120包括提取部121、预测部122、分类部123、以及处理部124。
提取部121从拍摄装置110获取拍摄图像101。提取部121从获取到的拍摄图像101提取多个对象物。如上所述，多个对象物包含至少一个移动的对象物。
提取部121对于提取出的多个对象物主要进行下述三个处理。
作为第1处理，提取部121计算提取到的多个对象物间的当前的距离Dc。“当前”具体是指通过拍摄装置110拍摄到拍摄图像101的时间点。“多个对象物间的当前距离”，在存在两个对象物的情况下是指该两个对象物的一方与另一方间的当前的距离，在存在三个以上对象物的情况下是指该三个以上的对象物各自与其他对象物间的当前的距离。
作为第2处理，提取部121判定所提取出的多个对象物各自的类别。例如，提取部121判定对象物的类别是移动的对象物，还是不移动的对象物。本实施方式中，提取部121针对移动的对象物判定对象物的类别是车辆、人还是动物。并且，提取部121针对车辆判定对象物的类别是汽车、摩托车还是自行车。
作为第3处理，提取部121推定将类别判定为移动的对象物的对象物的当前的速度Vc。例如，提取部121对将类别判定为车辆或人的对象物的当前的速度Vc进行推定。
预测部122预测被提取部121提取出的多个对象物间的将来的距离Df。“将来”具体指从当前开始数秒、数十秒或数分钟后的时间点。“多个对象物间的将来的距离”，在存在两个对象物的情况下是指该两个对象物的一方与另一方间的将来的距离，在存在三个以上对象物的情况下是指该三个以上的对象物各自与其他对象物间的将来的距离。例如，预测部122根据被提取部121判定为类别是移动的对象物的对象物的过去的举动，预测该对象物的移动，基于移动预测的结果，计算移动之后的对象物和其他的对象物间的距离以作为将来的距离Df。“过去的举动”是对象物被提取部121最初提取之后，每隔一个时刻将提取部121获得的信息进行汇总而得的数据，相当于后述的对象物数据131。
作为移动预测的处理的一种，预测部122判断由提取部121判定为类别是人的对象物的姿势是否是要开始跑的姿势。预测部122基于判断结果，预测由提取部121判断为类别是人的对象物与提取部121提取出的其他的对象物间的将来的距离Df。
分类部123基于预测部122预测到的将来的距离Df，将提取部121提取出的多个对象物分类成小组。即，分类部123将提取部121提取出的多个对象物中的被预测部122预测到的彼此间的将来的距离Df大于阈值Ta的对象物分类成不同小组。分类部123将由提取部121提取出的多个对象物中的被预测部122预测到的彼此间的将来的距离Df小于阈值Ta的对象物分类成相同小组。分类部123对于由提取部121提取出的多个对象物中的被预测部122预测到的彼此间的将来的距离Df等于阈值Ta的对象物，可以分类成相同小组，也可以分类成不同小组。
本实施方式中，分类部123进一步根据由预测部122预测到的将来的距离Df和由提取部121判定出的类别，推定被提取部121提取出的多个对象物间的关系性。分类部123根据推定出的关系性将该多个对象物分类成小组。例如，分类部123在推定出两个对象物间具有以下两种的任一种关系性时，将该两个对象物分类成相同小组。
作为第1种的关系性，分类部123在推定为两个对象物之间存在另一方对象物靠近一方对象物这样的关系性时，将该2个对象物分类成相同小组。例如，分类部123在被提取部121提取出的多个对象物包含由提取部121判定为类别是人的第1对象物和由提取部121判定为类别是车辆的第2对象物，并且由预测部122预测到的第1对象物与第2对象物间的将来的距离Df小于阈值Ta，且由提取部121推定出的第2对象物的当前的速度Vc2的大小是0的情况下，推定在第1对象物和第2对象物之间具有车辆以及乘坐该车辆的人这一关系性。即，分类部123对于作为人的第1对象物和作为车辆的第2对象物的组合，在Df＜Ta且Vc2＝0这样的条件成立的情况下，将第1对象物和第2对象物分类成相同小组。此处的“车辆”既包含汽车也包含自行车。此外，例如，分类部123在被提取部121提取出的多个对象物包含由提取部121判定为各自的类别均是人的第1对象物和第2对象物，并且由预测部122预测到的第1对象物与第2对象物间的将来的距离Df小于阈值Ta的情况下，推定在第1对象物和第2对象物之间具有彼此相靠近的人这一关系性。即，分类部123对于均为人的第1对象物和第2对象物的组合，在Df＜Ta这一条件成立的情况下，将第1对象物和第2对象物分类成相同小组。
作为第2种的关系性，分类部123在推定两个对象物之间存在成列移动的对象物这一关系性时，将该2个对象物分类成相同小组。具体而言，分类部123在被提取部121提取出的多个对象物中存在由提取部121判定为类别是移动的对象物的第1对象物和第2对象物，且下述条件成立的情况下，推定在第1对象物和第2对象物之间具有成列移动的对象物这一关系性。第一个条件是由提取部121计算出的第1对象物和第2对象物间的当前距离Dc和由预测部122预测到的第1对象物和第2对象物间的将来的距离Df的差比阈值Tb要小这一条件。第2个条件是由提取部121推定出的第1对象物和第2对象物的当前的速度Vc1,Vc2的大小比0要大这一条件。第3个条件是速度Vc1、Vc2的大小的差比其他的阈值Tc要小这一条件。即，分类部123对于均为移动的对象物的第1对象物和第2对象物的组合，在|Dc－Df|＜Tb且|Vc1|＞0且|Vc2|＞0且|Vc1－Vc2|＜Tc这样的条件成立的情况下，将第1对象物和第2对象物分类成相同小组。该情况下的第1对象物和第2对象物例如是由提取部121判定为类别是自行车的对象物。该情况下，由分类部123推定出的关系性是成列行驶的自行车这一关系性。另外，将“差”设为绝对值。此外，速度Vc1、Vc2是包含方向的矢量。分类部123可以使用速度Vc1、Vc2所成的角度来推定关系性。具体而言，分类部123在上述第2个条件、上述第3个条件和速度Vc1,Vc2所成的角度比其他的阈值Td要小这一条件成立的情况下，推定在第1对象物和第2对象物之间存在成列移动的对象物这一关系性。即，分类部123对于均为移动的对象物的第1对象物和第2对象物的组合，在|Vc1|＞0且|Vc2|＞0且|Vc1－Vc2|＜Tc且「Vc1，Vc2所成的角度」＜Td这样的条件成立的情况下，将第1对象物和第2对象物分类成相同小组。即使使用这样的条件，结果，基于由提取部121计算出的第1对象物和第2对象物间的当前的距离Dc和由预测部122预测到的第1对象物和第2对象物间的将来的距离Df的差，将多个对象物分类成相同小组。
分类部123也可以在上述两种关系以外，推定各种关系性。
处理部124将拍摄图像101加工成强调显示图像102。强调显示图像102是按小组强调显示经分类部123分类后的多个对象物的图像。例如，强调显示图像102是对每个小组用一个框围住被分类部123所分类的多个对象物的图像。处理部124将强调显示图像102输入显示装置140。。
数据存储装置130例如是HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid StateDrive：固态硬盘)。数据存储装置130可以搭载于车辆200，可以由驾驶员拿到车辆200内，也可以设置在车辆200的外部。数据存储装置130存储对象物数据131和关系性表格132。对象物数据131是针对由图像处理装置120的提取部121提取出的多个对象物分别记录了提取部121的计算结果、判定结果、推定结果等的数据。对象物数据131被图像处理装置120的预测部122所参照。关系性表格132是预先定义了彼此间存在关系性的对象物的类别的组合的表格。关系性表格132被图像处理装置120的分类部123所参照。
显示装置140例如是LCD(Liquid Crystal Display：液晶显示器)或HUD(Head－UpDisplay：平视显示器)。显示装置140搭载于车辆200。显示装置140输出从图像处理装置120的处理部124输入的强调显示图像102。显示装置140包括输入部141和输出部142。
输入部141从图像处理装置120的处理部124接收强调显示图像102的输入。即，向输入部141输入强调显示图像102。
输出部142输出被输入至输入部141的强调显示图像102。
如上所述，强调显示图像102是将拍摄到至少包含一个移动的对象物在内的多个对象物的拍摄图像101经过加工而得到的图像，是对基于预测到的该多个对象物间的将来的距离Df来分类成小组的该多个对象物按小组强调显示的图像。本实施方式中，在对象物分组时，考虑到对象物间的将来的距离Df。因此，与不考虑对象物间的将来的距离Df的情况相比，能更适当地进行分组。即，在即使对象物间的当前的距离Dc较小但被预测为对象物间的将来的距离Df变大的时候，在强调显示图像102中，这些对象物被分别强调显示。因此，车辆200的驾驶员容易单独目视确认这些对象物。由此，本实施方式中，根据对象物间将来的距离Df，按驾驶员应目视确认的单位强调显示对象物，从而能够辅助安全驾驶。
图像处理装置120、数据存储装置130、显示装置140可以形成为一体，也可以任意两个形成为一体而另一个单独形成，也可以一个一个均单独形成。例如，显示装置140被安装为搭载于车辆200的导航装置或DA(Display Audio：显示音频)或HUD。图像处理装置120被安装为智能手机，平板、移动电话机这样的移动终端。或者，图像处理装置120作为服务器计算机进行安装。或者，图像处理装置120与显示装置140一起被安装为导航装置。数据存储装置130与图像处理装置120一起被安装为移动终端或伺服计算机。或者，数据存储装置130与显示装置140一起被安装为导航装置。或者，数据存储装置130作为独立于图像处理装置120和显示装置140的单独存储介质进行安装。移动终端由驾驶员带入车辆200，通过有线或无线与拍摄装置110和显示装置140通信。伺服计算机设置于数据中心等，经由互联网等网络，和拍摄装置110以及显示装置140通信。
另外，本实施方式所涉及的系统可以是车载显示系统100以外的显示系统。即，本实施方式可应用于车辆200的驾驶辅助以外的用途。例如，本实施方式能应用于住宅、办公室等的安全监视的辅助。该情况下，拍摄装置110和显示装置140被适当设置在车辆200以外的场所。
<动作的说明>
图2是相当于本实施方式所涉及的显示方法、示出车载显示系统100的动作的流程图。图3是表示对象物数据131的示例的表。
图2的S11是拍摄处理。图2的S12是提取处理。图2的S13是预测处理。图2的S14是分类处理。图2的S15是图像处理。图2的S16是显示处理。S12～S15是相当于本实施方式的图像处理方法，或本实施方式的图像处理程序的处理步骤的图像处理装置120的动作。
图2的S11中，拍摄装置110拍摄车辆200的周边从而获得拍摄图像101。例如，若拍摄装置110是立体相机，则拍摄图像101是拍摄到车辆200的周边的三维静止图像或动图像。若拍摄装置110是雷达，则拍摄图像101是表示到车辆200的周边的障碍物为止的距离的雷达图像。
图2的S12中，图像处理装置120的提取部121从S11获得的拍摄图像101中提取对象物。提取部121判断提取的对象物的属性。
具体而言，提取部121按提取到的对象物从S11获得的拍摄图像101中提取对象物的特征量。例如，在数据存储装置130预先按对象物种类存储对象物的特征量的基准值或基准范围。提取部121使用神经网、机器学习这样的具有模式识别功能的软件即识别器，通过将提取出的特征量与基准值或者基准范围进行比较，从而判定提取出的对象物的类别。提取部121将记录了当前时刻、提取到的特征量、判定出的类别的数据作为图3所示的对象物数据131写入数据存储装置130。
提取部121对提取出每个的对象物根据在S11获得的拍摄图像101计算对象物的当前的相对位置。“当前的相位位置”是指例如从车辆200到对象物的当前的距离及方向。例如，如果拍摄装置110是立体相机，则提取部121基于立体相机的视差，计算从车辆200到对象物的距离以及方向。若拍摄装置110是雷达，则提取部121根据雷达的观测值计算距离及方向。如图3所示，对象物数据131还记录有由提取部121计算出的当前的相对位置。
提取部121对每个提取出的对象物计算当前距离Dc，该当前距离Dc是所计算出的当前的相对位置与其他对象物的当前的相对位置的差。虽然图3没有示出，对象物数据131还可记录有由提取部121计算出的当前的距离Dc。
提取部121对每个提取出的对象物通过将本次提取出的特征量与上一次提取出的特征量进行比较来判断上一次是否也提取了相同的对象物。提取部121在判定为上一次也提取出相同的对象物的情况下，根据计算出的当前的相对位置与上一次计算出的相对位置，推定对象物当前的速度Vc。例如，提取部121从数据存储装置130读取对象物数据131，该对象物数据131中记录有由拍摄装置110上一次拍摄了拍摄图像101的时刻、以及与本次提取出的特征量接近的特征量。本次提取出的特征量和上次提取出的特征量是否接近通过使用上述识别器来判断。提取部121根据读取到的对象物数据131中记录的相对位置、本次计算出的当前的相对位置、读取到的对象物数据131中记录的时刻、以及当前的时刻这样的信息，来计算对象物当前的速度Vc。在因为车辆200通过行驶使车辆200的位置发生了变化的情况下，提取部121基于车辆200的位置的变化修正读取到的对象物数据131中记录的相对位置，并计算对象物的当前的速度Vc。另外，提取部121不仅参照当前的相对位置和上次的相对位置，而且也可以从相对位置的一系列的时间序列数据计算对象物的平均速度。如图3所示，对象物数据131中还记录有由提取部121推定出的当前的速度Vc。
在图2的S13中，图像处理装置120的预测部122对每个S12中被判定为类别为移动的对象物的对象物，参照S12中写入数据存储装置130的对象物数据131及过去写入的对象物数据131，进行对象物的移动预测。移动预测例如可以使用卡尔曼滤波器或粒子滤波器。S12中判定出的类别为人的情况下，预测部122通过姿势推定判定人是否成为要开始跑的姿势，预测将来的速度。作为姿势推定的方法例如可以使用如下方法：使用上述的识别器，学习人要开始跑的姿势和除此以外的姿势，从而识别姿势。
具体而言，预测部122对每个S12中判定为种类为移动的对象物的对象物，通过比较S12中提取出的特征量和由提取部121过去提取出的特征量判断是否从过去重复提取了相同的对象物。预测部122在判断为从过去重复提取到相同对象物的情况下，从相对位置和速度的历史，预测对象物的将来的相对位置。“将来的相对位置”例如是从车辆200到对象物的将来的距离和方向。例如，预测部122从数据存储装置130读取记录有与S12中提取出的特征量接近的特征量的对象物数据131。S12中提取出的特征量与过去提取出的特征量是否接近使用上述识别器来判断。预测部122根据记录在读取到的对象物数据131的相对位置、速度以及时刻，和在S12中计算出的当前的相对位置、以及在S12中推定出的速度、以及当前时刻，分析对象物的相对位置以及速度的时间序列变化。在车辆200通过行驶使车辆200的位置发生变化的情况下，提取部122基于车辆200的位置的变化修正读取到的对象物数据131中记录的相对位置，并对对象物的相对位置及速度的时间序列变化进行分析。预测部122根据分析结果预测对象物的将来的相对位置。
预测部122对每个S12中判定为类别是移动的对象物的对象物，计算预测到的将来的相对位置和其他的对象物的将来的相对位置的差即将来的距离Df。
图2的S14中，图像处理装置120的分类部123基于在S13预测到的将来的距离Df，将在S12提取出的对象物分类成小组。即，分类部123对每个在S12提取出的对象物决定对象物所属的小组。关于S14详细情况将在下文中进行描述。
图2的S15中，图像处理装置120的处理部124对在S11获得的拍摄图像101进行加工，生成强调显示图像102。强调显示图像102是对每个在S14决定的小组强调显示了在S12提取出的对象物的图像。例如，强调显示图像102是对每个在S14所决定的小组用一个框围住在S12提取出的对象物的图像。
图2的S16中，显示装置140输出在S15所生成的强调显示图像102。
图2的S17中，若车辆200的行驶结束，则流程结束。若车辆200的行驶不结束，则流程返回S11。车辆200的行驶的“结束”例如是车辆200的驱动源即发动机或电动机的停止。
图4是表示图2的S14的分类处理的步骤的流程图。图5是例示出了关系性表格132的表。
图4的S21中，图像处理装置120的分类部123在图2的S12提取出的对象物中选择任意的两个对象物即第1对象物和第2对象物。
图4的S22中，对于S21中选择的第1对象物和第2对象物，分类部123从数据存储装置130，参照图2的S12中写入数据存储装置130的对象物数据131，确定第1对象物的类别和第2对象物的类别。即，分类部123确定在S21中所选择的第1对象物和第2对象物的类别的组合。
图4的S23中，分类部123利用数据存储装置130中存储的关系性表格132来检索在S22中确定的类别的组合。
如图5所示，关系性表格132中，对每个“第1对象物”和“第2对象物”这两个对象物的类别的组合，定义了“条件”、以及满足了“条件”的情况下“第1对象物”和“第2对象物”之间是否存在“关系性”。在满足某“条件”时，若定义为在满足了该“条件”的情况下具有“关系性”，则将“第1对象物”和“第2对象物”分类成相同小组。另一方面，在满足了某“条件”时，若定义为在满足了该“条件”的情况下不存在“关系性”，则将“第1对象物”和“第2对象物”分类成不同小组。
例如，对于人和其他人的组合，定义为在人与其他人间的将来的距离Df大于阈值Ta这一条件C1满足的情况下，应推定没有特定的关系性。
对于人与汽车的组合，定义为在人与汽车间的将来的距离Df小于阈值Ta、汽车的当前的速度Vc2的大小为0这一条件C2满足的情况下，应推定具有汽车及乘坐该汽车的人这一关系性。
对于人与汽车的组合，定义为在人与汽车间的将来的距离Df小于阈值Ta、汽车的当前的速度Vc2大小为0这一条件C3满足的情况下，应推定具有汽车及乘坐该汽车的人这一关系性。
对于自行车和其他自行车的组合，定义为在自行车与其他自行车间的当前的距离Dc、自行车与其他自行车间将来的距离Df的差小于阈值Tb，自行车与其他自行车的当前的速度Vc1、Vc2的大小比0大，自行车与其他自行车的当前的速度Vc1、Vc2的大小的差小于阈值Tc这一条件C4满足的情况下，应推定具有成列行驶的自行车这一关系性。
对于汽车与其他汽车的组合，定义为在始终为真这一条件C5满足的情况下，应推定为没有特定的关系性。即，定义为由于无条件应推定为不存在关系性。
图4的S24中，分类部123判定在图2的S13所预测的第1对象物和第2对象物间的将来的距离Df相对于在S23检索出的类别的组合是否满足关系性表格132中定义的条件。分类部123根据需要进一步判定在图2的S12中计算出的第1对象物与第2对象物间的当前的距离Dc、在图2的S12中推定出的第1对象物当前的速度Vc1、在图2的S12中推定出的第2对象物的当前的速度Vc2中任一个或全部相对于在S23中检索出的类别的组合是否满足关系性表格132定义的条件。分类部123在判定为满足条件的情况下，在满足了该条件的情况下，判定关系性表格132中是否定义有第1对象物与第2对象物间具有关系性。在关系性表格132中定义为具有关系性的情况下，分类部123将第1对象物和第2对象物分类成相同小组。另一方面，在分类部123判定为不满足条件的情况下，或者在关系性表格132中定义为没有关系性的情况下，分类部123将第1对象物和第2对象物分类成不同小组。
图4的S25中，若从图2的S12中提取出的对象物能够选择的两个对象物的组合在S21中全部选择完毕，则流程结束。若有未选择的两个对象物的组合，则流程返回S21。
图6到图9是表示强调显示图像102的示例。
图6的示例中，一个人301和三个人302～304分别被框305、306包围。
例如，设在互相靠近站着的4个人301～304中，有1个人301处于将要开始跑的姿势。该情况下，一个人301和剩余的三个人302～304间的当前的距离Dc较小，但考虑到将来的距离Df变大。人301是第1对象物，人302是第2对象物，图2的S13中预测的人301和人302间的将来的距离Df比阈值Ta大的情况下，满足上述条件C1。分类部123通过参照关系性表格132，在条件C1满足的情况下，可推定没有特定的关系性。因此，在图4的S24中，分类部123推定人301与人302间没有关系性，将人301和人302分类成不同小组。另一方面，分类部123基于未图示的关系性表格132的其他定义，将人302和人303分类成相同小组。同样地，分类部123将人302和人304分类成相同小组。图2的S15中，处理部124生成图6所示的强调显示图像102。
图7的示例中，将人311和汽车312一并用一个框313包围。
例如，设定人311在离开停着的汽车312的位置，朝向汽车312。该情况下，人311和汽车312间的当前的距离Dc较大，但考虑将来的距离Df变为0。人311是第1对象物，汽车312是第2对象物，图2的S13中所预测的人311和汽车312间的将来的距离Df比阈值Ta小，图2的S12中所推定的汽车312的当前的速度Vc2的大小为0的情况下，满足上述条件C2。分类部123通过参照关系性表格132，在条件C2满足的情况下，可推定为具有汽车和乘坐该汽车的人这一关系性。因此，在图4的S24中，分类部123将人311和汽车312分类成相同小组。图2的S15中，处理部124生成图7所示的强调显示图像102。
图8的示例中，将两辆自行车321、322一并用一个框323包围。
例如，设有两辆自行车321、322成列行驶。该情况下，认为两辆自行车321、322间当前的距离Dc与将来的距离Df几乎没有差值。自行车321是第1对象物，自行车322是第2对象物，在图2的S12中计算出的自行车321与自行车322间的当前的距离Dc、图2的S13中所预测的自行车321和自行车322间的将来的距离Df的差小于阈值Tb、图2的S12中所推定的自行车321和自行车322的当前的速度Vc1、Vc2的大小大于0，图2的S12中所推定的自行车321和自行车322的当前的速度Vc1、Vc2的大小的差小于阈值Tc的情况下，满足所述条件C4，而与图2的S12中计算出的自行车321和自行车322间的当前的距离Dc无关。分类部123通过参照关系性表格132，在条件C4满足的情况下，可推定为具有成列行驶的自行车这一关系性。因此，在图4的S24中，分类部123将自行车321和自行车322分类成相同小组。图2的S15中，处理部124生成图8所示的强调显示图像102。
另外，在上述示例中，分类部123取代是否满足条件C4、或者在是否满足条件C4的基础上，还可根据图2的S13中后方的自行车322的移动预测的结果，判定后方的自行车322是否沿着前方的自行车321的移动轨迹。
另外，在上述示例中，处理部124可以生成图9所示的强调显示图像102以取代图8所示的强调显示图像102。图8所示的强调显示图像102是拍摄了车辆200的侧方的图像，将该图像中的两辆自行车321、322一并用一个框323包围。另一方面，图9所示的强调显示图像102是拍摄了车辆200的前方的图像，将该图像中的前方的自行车321、和代替该图像中没有拍摄到的后方的自行车322的标记324及箭头325一并用一个框323包围。图9所示的强调显示图像102中，可将标记324和箭头325视为一个对象物。
效果的说明
本实施方式中，基于对象物间的将来的距离Df，将对象物分类成小组，而与对象物间的当前的距离Dc无关。因此，根据本实施方式，对于按每个小组强调显示的对象物，能够恰当地分类成应该分别目视确认的对象物和应该一并目视确认的对象物。
在图6的例子中，在4个人301-304中有一个人301为要开始跑的姿势。因此，一个人301和剩余的三个人302～304间的当前的距离Dc较小，但图像处理装置120预测其将来的距离Df会变大。图像处理装置120生成强调显示图像102，该强调显示图像102中用独立的框305、306分别包围一个人301和剩余的三个人302～304。观察到该强调显示图像102的驾驶员至少能够从人301跑出去的瞬间开始单独目视确认到人301而区别于剩余的三个人302～304。因此，驾驶员容易注意到将要开始跑的人301，能够进行安全驾驶。
本实施方式中，进一步根据对象物间的关系性将对象物分类成小组。因此，根据本实施方式，对于按每个小组强调显示的对象物，能够将应该分别目视确认的对象物和应该一并目视确认的对象物更恰当地进行分类。
图7的示例中，人311朝向汽车312。因此，人311和汽车312间的当前的距离Dc较大，但图像处理装置120预测到其将来的距离Df会变小。图像处理装置120推定在人311和汽车312之间具有汽车和乘坐该汽车的人这一关系性。图像处理装置120生成强调显示图像102，该强调显示图像102中一并将人311和汽车312用一个框313包围。观察到该强调显示图像102的驾驶员在人311坐进汽车312之前能够一并对人311和汽车312进行目视确认。因此，驾驶员也容易注意其他事物，对于对象物与对象物之间的区域也能作为应注意的区域进行识别，从而能够安全驾驶。
实施方式2.
对于本实施方式，主要说明其与实施方式1的差异。
以下，依次说明本实施方式所涉及的系统的结构、本实施方式所涉及的系统的动作、本实施方式的效果。
<结构的说明>
本实施方式的车载显示系统100的结构与图1所示的实施方式1相同。
本实施方式中，图像处理装置120的提取部121针对人，判定对象物的类别是否是儿童。提取部121计算判定为类别是儿童或动物的对象物的动作的变化量Ma。
提取部121对于人进一步判定对象物的类别是否是从汽车的驾驶座出来的人、以及对象物的类别是否是从汽车的后排座椅出来的人。
本实施方式中，图像处理装置120的分类部123在由提取部121提取出的多个对象物包括由提取部121判定为类别是人的第1对象物和由提取部121判定为类别是儿童或动物的第2对象物，由提取部121计算出的第2对象物的动作的变化量Ma大于其他阈值Te的情况下，将第1对象物和第2对象物分类成不同小组。另外，第1对象物可以是由提取部121判定为类别不是儿童的对象物，也可以是由提取部121判定为类别是儿童的对象物。
本实施方式中，图像处理装置120的处理部124在被分类部123在过去分类成相同小组的2个以上的对象物中，至少一个对象物被分类部123分类成与剩余的对象物不同的小组的情况下，作为强调显示图像102的强调显示的形式，对该至少一个对象物和该剩余的对象物使用不同的形式。例如，在至此包含于小组A的对象物离开小组A，形成独立的小组B时，考虑用至此相同的粗细以及颜色的框包围属于小组A的对象物，用比小组A要粗或者与小组A不同颜色的框包围属于小组B的对象物。或者，考虑用与至此包围小组A的框相同的粗细和颜色的框包围属于小组B的对象物，用比小组B要粗或与小组B不同颜色的框包围属于小组A的对象物。在前者的情况下，能够更强地唤起对属于小组B的对象物的注意。在后者的情况下，能够更强地唤起对属于小组A的对象物的注意。
<动作的说明>
以下，使用图2说明相当于本实施方式所涉及的显示方法的车载显示系统100的动作。
图2的S11与实施方式1相同。
在图2的S12中，提取部121对每个判定为类别为儿童或动物的对象物，通过比较在S12中提取出的特征量和由提取部121过去提取出的特征量判断是否从过去重复提取了相同对象物。提取部121在判断为从过去重复提取了相同对象物的情况下，根据相对位置和速度的历史，计算对象物的动作的变化量Ma。另外，提取部121也可以计算对象物的光流来取代相对位置和速度的历史，并根据计算结果计算对象物的动作的变化量Ma。虽然没有图示，但通过提取部121写入数据存储装置130的对象物数据131还记录有由提取部121计算出的动作的变化量Ma。
图2的S12中提取部121的其他动作也与实施方式1相同。
图2的S13和S14与实施方式1相同。但本实施方式中，关系性表格132的结构与实施方式1不同。
图10是表示关系性表格132的示例的表。
如图10所示，关系性表格132中，对每个“第1对象物”和“第2对象物”这两个对象物的类别的组合，除了与图5所示的相同的“条件”和“关系性”之外，还定义了“解除后强调对象物”，该“解除后强调对象物”表示在解除了分组的情况下对“第1对象物”和“第2对象物”中哪一个对象物进行更强的强调显示。“解除了分组的情况”是指分类为相同小组的两个对象物被分类到不同小组的情况。
例如，对于人和汽车的组合，定义了下述情况，即：在人从汽车的驾驶座出来这一条件C6满足的情况下，更强地强调显示人，以及在人从汽车的后排座椅出来这一条件C7满足的情况下，更强地强调显示汽车。
对于人与动物的组合，定义了下述情况，即：在人和动物间的将来的距离Df比阈值Ta小这一条件C8满足的情况下，应该推定具有动物及带着该动物的人这一关系性，以及在动物的动作变化量Ma比阈值Te大这一条件C9满足的情况下，更强地强调显示动物。
另外，在对某两个对象物的类别的组合所定义的多个条件同时满足的情况下，这些多个条件中，推定为具有关系性的条件与推定为不具有关系性的条件混合存在时，推定为没有关系性的条件优先。例如，对于人和动物的组合，即使条件C8和条件C9均满足，也有条件C9优先，人和动物被分类成不同小组。在推定为没有关系性的两个以上的条件同时满足的情况下，例如，设为依照对于各个条件预先设定的优先顺序。
例如，设为人带着动物步行。人类是第1对象物，动物是第2对象物，在图2的S13中所预测的人类和动物间的将来的距离Df比阈值Ta小的情况下满足上述条件C8。分类部123通过参照关系性表格132，在条件C8满足了的情况下，可推定为具有动物及带着动物的人的关系性。因此，在图4的S24中，分类部123将人和动物分类成相同小组。
然后，动物频繁地进行突发的动作。在图2的S12中计算出的动物的动作的变化量Ma大于阈值Te的情况下，比条件C8优先度高的条件C9被满足。分类部123通过参照关系性表格132，在条件C9满足了的情况下，可推定没有特定的关系性。因此，在图4的S24中，分类部123将人和动物分类成不同小组。另外，分类部123在条件C9满足了的情况下，可以考虑通过推定人和人带着的危险动物这一关系性，将人和动物分类成不同小组。
如上所述，分类部123在关系性表格132中所定义的推定为没有关系性的条件被满足的情况下，解除分组。
图2的S15中，处理部124对在S11获得的拍摄图像101进行加工，生成强调显示图像102。S14中被分类成相同小组的两个以上对象物中，至少一个对象物被分类成与S14中剩余的对象物不同的小组的情况下，处理部124参照数据存储装置130中存储的关系性表格132，生成比分类成另一个小组的对象物更强地强调显示了分类成任一个小组的对象物的图像，以作为强调显示图像102。
效果的说明
本实施方式中，在过去分类成相同小组的两个以上的对象物中至少一个对象物被分类成与剩余的对象物不同的小组的情况下，作为强调显示的形式，对该至少一个对象物和该剩余的对象物使用不同的形式。因此，根据本实施方式，能够明确地，使与其他对象物一并进行目视确认的对象物变化成应单独进行目视确认的对象物。
例如，在正和成人一起步行的儿童或者饲养主人带的动物开始捣乱时，需要注意儿童或者动物。本实施方式中，能够在这种情况下解除分组，容易注意儿童或动物。
在人从汽车下来时，也需要注意人或汽车。本实施方式中，能够在这种情况下解除分组，容易注意人或汽车。
图11是表示本发明的实施方式所涉及的车载显示系统100的硬件结构的示例的图。
图11中，车载显示系统100是计算机，包括输出装置910、输入装置920、存储装置930、处理装置940这样的硬件。硬件被提取部121、预测部122、分类部123、处理部124这样的图像处理装置120的各部分所利用。
输出装置910例如是显示装置140、打印机、通信模块。输出装置910由图像处理装置120的各部分利用于数据、信息、信号的输出或发送。
输入装置920例如是拍摄装置110、键盘、鼠标、触摸面板、通信模块。输入装置920被利用于由图像处理装置120的各部分进行数据、信息、信号的输入或接收。
存储装置930例如是数据存储装置130、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)、HDD、SSD。存储装置930存储程序931、文件932。程序931中包含执行图像处理装置120的各部分的处理的程序。文件932中包含由图像处理装置120的各部分进行运算、加工、读取、写入、利用、输入、输出等的数据、信息、信号等。例如，数据存储装置130中存储的文件932包含对象物数据131和关系性表格132。
处理装置940例如是CPU(Central Processing Unit：中央处理器)、GPU(GraphicsProcessing Unit：图像处理单元)。处理装置940经由总线等与其他的硬件器件相连接，并控制这些硬件器件。处理装置940从存储装置930读取程序931，执行程序931。处理装置940被利用于图像处理装置120的各部分进行运算、加工、读取、写入、利用、输入、输出等。另外，多个处理装置940也可以协同执行程序931。例如，GPU执行将拍摄图像101加工成强调显示图像102的处理部124的处理，也可以使CPU执行其他提取部121和预测部122和分类部123的处理。
图像处理装置120的各部分可以将“部”替换为“电路”、“装置”、“设备”。此外，图像处理装置120的各部分，也也可以将“部”替换为“工序”、“步骤”、“处理”。即，图像处理装置120的各部分可以仅由软件实现，也可以仅由硬件处理，或者也可以由软件和硬件的组合来实现。软件作为程序931可以预先存储于存储装置930，可以从互联网等网络下载并存储于存储装置930，也可以从可拆卸的记录介质移动或拷贝并存储到存储装置930。程序931使计算机作为图像处理装置120的各部分发挥作用。或者，程序931使计算机执行图像处理装置120的各部分的处理。硬件例如可以是ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGC(Field Programmable Gate Array：现场可编程门阵列)这样的集成电路，也可以是分立元件的组合。
以上，对本发明的实施方式进行了说明，也可以组合这些实施方式中的某些来实施。或者，可以对这些实施方式中任一个或几个实施部分。例如，在这些实施方式的说明中作为“部”进行说明，可以仅采用其中任一个，也可以采用几个的任意组合。另外，本发明不限于这些实施方式，根据需要可进行各种变更。
标号说明
100车载显示系统，101拍摄图像，102强调显示图像，110拍摄装置，120图像处理装置，121提取部，122预测部，123分类部，124处理部，130数据存储装置，131对象物数据，132关系性表格，140显示装置，141输入部，142输出部，200车辆，301～304人，305、306框，311人，312汽车，313框，321、322自行车，323框，324标记，325箭头，910输出装置，920输入装置，930存储装置，931程序，932文件，940处理装置。

Claims (16)

1.一种图像处理装置，其特征在于，包括：
提取部，该提取部从拍摄到至少包含一个移动的对象物的多个对象物的拍摄图像提取该多个对象物；
预测部，该预测部预测由所述提取部提取出的多个对象物间的将来的距离；
分类部，该分类部基于由所述预测部预测到的将来的距离将由所述提取部提取出的多个对象物分类成小组；以及
处理部，该处理部将所述拍摄图像加工成强调显示图像，该强调显示图像中按小组强调显示经所述分类部分类后的多个对象物。
2.如权利要求1所述的图像处理装置，其特征在于，
所述分类部将由所述提取部提取出的多个对象物中由所述预测部预测出的彼此间将来的距离大于阈值的对象物分类成不同小组。
3.如权利要求1所述的图像处理装置，其特征在于，
所述分类部将由所述提取部提取出的多个对象物中由所述预测部预测出的彼此间将来的距离小于阈值的对象物分类成相同小组。
4.如权利要求1所述的图像处理装置，其特征在于，
所述提取部对提取出的多个对象物各自的类别进行判定，
所述分类部基于由所述预测部预测出的将来的距离和由所述提取部所判定的类别，推定由所述提取部提取出的多个对象物间的关系性，根据推定出的关系性将该多个对象物分类成小组。
5.如权利要求4所述的图像处理装置，其特征在于，
所述提取部对判定为类别为车辆的对象物的当前的速度进行推定，
所述分类部在由所述提取部提取出的多个对象物包含由所述提取部判定为类别为人的第1对象物、和由所述提取部判定出类别为车辆的第2对象物，由所述预测部预测出的所述第1对象物和所述第2对象物间的将来的距离小于阈值，由所述提取部推定出的所述第2对象物的当前速度大小为0的情况下，将所述第1对象物和所述第2对象物分类成相同小组。
6.如权利要求4所述的图像处理装置，其特征在于，
所述提取部计算提取出的多个对象物间的当前的距离，并推定判定为类别为移动的对象物的对象物的当前速度，
所述分类部在由所述提取部提取出的多个对象物中存在由所述提取部判定出类别为移动的对象物的第1对象物和第2对象物，由所述提取部计算出的所述第1对象物与所述第2对象物间的当前的距离、与由所述预测部预测出的所述第1对象物和所述第2对象物间的将来的距离的差小于阈值，由所述提取部推定出的所述第1对象物与所述第2对象物的当前的速度大小比0大，由所述提取部推定出的所述第1对象物和所述第2对象物的当前的速度的大小的差小于其他阈值的情况下，将所述第1对象物和所述第2对象物分类成相同小组。
7.如权利要求6所述的图像处理装置，其特征在于，
所述第1对象物和所述第2对象物是由所述提取部判定出类别为自行车的对象物。
8.如权利要求4所述的图像处理装置，其特征在于，
所述提取部计算判定出类别为儿童或动物的对象物的动作的变化量，
所述分类部在由所述提取部提取出的多个对象物包含由所述提取部判定出类别为人的第1对象物和由所述提取部判定出类别为儿童或动物的第2对象物，由所述提取部计算出的所述第2对象物的动作的变化量大于阈值的情况下，将所述第1对象物和所述第2对象物分类成不同小组。
9.如权利要求1至8的任一项所述的图像处理装置，其特征在于，
所述处理部在由所述分类部过去分类成相同小组的两个以上的对象物中至少一个对象物被所述分类部分类成与剩余的对象物不同的小组的情况下，对该至少一个对象物和该剩余的对象物使用不同的形式作为所述强调显示图像中强调显示的形式。
10.如权利要求1至3的任一项所述的图像处理装置，其特征在于，
所述提取部对提取出的多个对象物的各自的类别进行判定，
所述预测部判断由所述提取部判定出类别为人的对象物的姿势是否是开始要跑的姿势，基于判断结果，预测由所述提取部判定出类别为人的对象物与由所述提取部提取出的其他对象物间的将来的距离。
11.如权利要求1至8的任一项所述的图像处理装置，其特征在于，
所述强调显示图像是对每个小组用一个框围住经所述分类部分类后的多个对象物的图像。
12.如权利要求9所述的图像处理装置，其特征在于，
所述强调显示图像是对每个小组用一个框围住经所述分类部分类后的多个对象物的图像。
13.如权利要求10所述的图像处理装置，其特征在于，
所述强调显示图像是对每个小组用一个框围住经所述分类部分类后的多个对象物的图像。
14.一种车载显示系统，其特征在于，包括：
权利要求1至13的任一项所述的图像处理装置；
搭载于车辆，拍摄所述车辆的周边以获得所述拍摄图像的拍摄装置；以及
搭载于所述车辆，输出所述强调显示图像的显示装置。
15.一种显示装置，其特征在于，包括：
输入强调显示图像的输入部，该强调显示图像是对拍摄到至少含有一个移动的对象物的多个对象物的拍摄图像进行加工而得到的，对基于预测出的该多个对象物间的将来的距离将分类成小组的该多个对象物按小组进行强调显示的图像；以及
将输入至所述输入部的强调显示图像进行输出的输出部。
16.一种图像处理方法，其特征在于，
提取部从拍摄到至少包含一个移动的对象物的多个对象物的拍摄图像提取该多个对象物；
预测部预测由所述提取部提取出的多个对象物间的将来的距离；
分类部基于由所述预测部预测出的将来的距离将由所述提取部提取出的多个对象物分类成小组；
处理部将所述拍摄图像加工成强调显示图像，该强调显示图像中按小组对经所述分类部分类后的多个对象物进行强调显示。
CN201480083771.XA 2014-12-10 2014-12-10 图像处理装置及车载显示系统及显示装置及图像处理方法 Active CN107004363B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/082679 WO2016092650A1 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN107004363A CN107004363A (zh) 2017-08-01
CN107004363B true CN107004363B (zh) 2020-02-18

Family

ID=56106901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083771.XA Active CN107004363B (zh) 2014-12-10 2014-12-10 图像处理装置及车载显示系统及显示装置及图像处理方法

Country Status (5)

Country Link
US (1) US10235768B2 (zh)
JP (1) JP6227165B2 (zh)
CN (1) CN107004363B (zh)
DE (1) DE112014007249B4 (zh)
WO (1) WO2016092650A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056385A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3358546A4 (en) 2015-09-29 2019-05-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US10200581B2 (en) * 2016-03-31 2019-02-05 Peter G. Hartwell Heads down intelligent display and processing
BR112018077145A2 (pt) * 2016-06-27 2019-04-30 Nissan Motor Co., Ltd. método de rastreamento de objeto e dispositivo de rastreamento de objeto
CN110419063A (zh) * 2017-03-17 2019-11-05 麦克赛尔株式会社 Ar显示装置和ar显示方法
US10000153B1 (en) * 2017-08-31 2018-06-19 Honda Motor Co., Ltd. System for object indication on a vehicle display and method thereof
AU2018361251B2 (en) 2017-10-31 2020-12-24 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
GB201804195D0 (en) * 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Visual vehicle tracking through noise and occlusions using crowd-sourced maps
US20190377538A1 (en) * 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
DE102018005561A1 (de) 2018-07-09 2020-01-09 AKO Vermittlungs- und Beratungsgesellschaft UG Verfahren zur Verkehrsinformation
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
WO2020026381A1 (ja) * 2018-08-01 2020-02-06 楽天株式会社 警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
DE102018133441A1 (de) * 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
CN109624858B (zh) * 2019-01-04 2021-02-02 斑马网络技术有限公司 外后视镜的图像显示方法及装置
CN109886335B (zh) * 2019-02-21 2021-11-26 厦门美图之家科技有限公司 分类模型训练方法及装置
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11320830B2 (en) * 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
FR3107349B1 (fr) * 2020-02-14 2022-01-14 Amadeus Sas Procédé et système de carte et de navigation assistées par caméra
US11514618B2 (en) * 2020-11-06 2022-11-29 Adobe Inc. Generation of object hierarchies for logical selection of groups of objects in vector designs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681244B (zh) * 2007-05-09 2012-02-29 松下电器产业株式会社 显示装置、显示方法、显示程序
CN102415096A (zh) * 2009-04-23 2012-04-11 本田技研工业株式会社 车辆周围监测装置
CN102782740A (zh) * 2010-03-01 2012-11-14 本田技研工业株式会社 车辆周围监测装置
CN102782741A (zh) * 2010-03-03 2012-11-14 本田技研工业株式会社 车辆周围监测装置
DE102012224338A1 (de) * 2012-10-30 2014-04-30 Hyundai Motor Company Vorrichtung und verfahren zum schätzen einer geschwindigkeit eines fahrzeugs

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450189B2 (ja) * 1998-06-16 2003-09-22 ダイハツ工業株式会社 歩行者検知システム及びその制御方法
JP2006224740A (ja) 2005-02-16 2006-08-31 Advics:Kk 車両用走行支援装置
JP2007172541A (ja) 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
US7671725B2 (en) 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP5171629B2 (ja) 2006-09-04 2013-03-27 パナソニック株式会社 走行情報提供装置
JP2009040107A (ja) 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP5338273B2 (ja) 2008-11-24 2013-11-13 株式会社デンソー 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2011150475A (ja) 2010-01-20 2011-08-04 Toyota Motor Corp 周辺監視装置
JP2012153256A (ja) 2011-01-26 2012-08-16 Toyota Motor Corp 画像処理装置
JP2012169826A (ja) 2011-02-14 2012-09-06 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
JP5533766B2 (ja) 2011-04-05 2014-06-25 株式会社デンソー 車両用表示装置
JP5859741B2 (ja) 2011-04-15 2016-02-16 トヨタ自動車株式会社 運転支援装置
JP5895728B2 (ja) 2012-06-15 2016-03-30 株式会社デンソー 車群管理装置
JP5578254B2 (ja) 2013-05-14 2014-08-27 株式会社デンソー 画像生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681244B (zh) * 2007-05-09 2012-02-29 松下电器产业株式会社 显示装置、显示方法、显示程序
CN102415096A (zh) * 2009-04-23 2012-04-11 本田技研工业株式会社 车辆周围监测装置
CN102782740A (zh) * 2010-03-01 2012-11-14 本田技研工业株式会社 车辆周围监测装置
CN102782741A (zh) * 2010-03-03 2012-11-14 本田技研工业株式会社 车辆周围监测装置
DE102012224338A1 (de) * 2012-10-30 2014-04-30 Hyundai Motor Company Vorrichtung und verfahren zum schätzen einer geschwindigkeit eines fahrzeugs

Also Published As

Publication number Publication date
DE112014007249B4 (de) 2022-11-03
JP6227165B2 (ja) 2017-11-08
US10235768B2 (en) 2019-03-19
DE112014007249T5 (de) 2017-08-31
US20170301107A1 (en) 2017-10-19
CN107004363A (zh) 2017-08-01
WO2016092650A1 (ja) 2016-06-16
JPWO2016092650A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
CN107004363B (zh) 图像处理装置及车载显示系统及显示装置及图像处理方法
Bila et al. Vehicles of the future: A survey of research on safety issues
US10860873B2 (en) Driver behavior recognition and prediction
EP3498556B1 (en) Control method and control device for automatically driven vehicles
CN106611512B (zh) 前车起步的处理方法、装置和系统
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
CN103448653B (zh) 车辆碰撞报警系统和方法
US10336252B2 (en) Long term driving danger prediction system
EP3367363A1 (en) Parking support method and parking support device
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
US20140354684A1 (en) Symbology system and augmented reality heads up display (hud) for communicating safety information
CN111033510A (zh) 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
JP2016146162A (ja) 運転判定装置、運転判定プログラム、演算システム、検知装置、検知システム、検知方法及びプログラム
JP2009037622A (ja) 画像を評価するための方法および装置
US11003925B2 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
US10861336B2 (en) Monitoring drivers and external environment for vehicles
JP5898001B2 (ja) 車両周辺監視装置
AU2019337091A1 (en) Systems and methods for classifying driver behavior
KR20160135482A (ko) 동적 장애물 움직임 예측 장치 및 그 방법
US20120155711A1 (en) Apparatus and method for analyzing video
JP5895728B2 (ja) 車群管理装置
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
CN111278708A (zh) 用于辅助驾驶的方法和装置
JP7269694B2 (ja) 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant