CN109712431A - 驾驶辅助装置及驾驶辅助系统 - Google Patents

驾驶辅助装置及驾驶辅助系统 Download PDF

Info

Publication number
CN109712431A
CN109712431A CN201811214963.6A CN201811214963A CN109712431A CN 109712431 A CN109712431 A CN 109712431A CN 201811214963 A CN201811214963 A CN 201811214963A CN 109712431 A CN109712431 A CN 109712431A
Authority
CN
China
Prior art keywords
personage
dangerous scene
model information
barrier
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811214963.6A
Other languages
English (en)
Other versions
CN109712431B (zh
Inventor
堀敬滋
赤羽真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN109712431A publication Critical patent/CN109712431A/zh
Application granted granted Critical
Publication of CN109712431B publication Critical patent/CN109712431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供驾驶辅助装置及驾驶辅助系统。驾驶辅助装置具备：图像分析部，其对由前方拍摄用的车载摄像机所拍摄到的图像进行分析，并在识别出向面向车辆前方的行驶道路而存在的障碍物的方向进行动作的人物及从障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下，将该识别出的人物的动作以及物体的组合确定为危险场景的模型；存储部，其对与所确定的危险场景的模型相关的危险场景、模型信息进行存储；判断部，其对摄像机的拍摄图像所包含的人物的动作与所存储的危险场景、模型信息中所包含的人物的动作是否类似进行判断；驾驶辅助部，其提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上。

Description

驾驶辅助装置及驾驶辅助系统
技术领域
本发明涉及一种驾驶辅助装置及驾驶辅助系统。
背景技术
在下述专利文献1中公开了一种以如下方式进行辅助的驾驶辅助装置，即，在更早的阶段对处于本车辆行驶的行驶车道的路侧的行人的横穿可能性进行预测，从而防止与行人的碰撞。
在先技术文献
专利文献
专利文献1：日本特开2012-234499号公报
发明内容
发明所要解决的课题
在专利文献1中，虽然能够对由被搭载于本车辆的摄像机所检测出的行人的横穿可能性进行预测，但是无法对例如在面向行驶道路而存在的建筑物的背侧朝向行驶道路移动的人物等那样无法通过车载摄像机而进行检测的物体的横穿可能性进行预测。
因此，本发明的目的在于提供一种能够对无法通过车载摄像机而进行检测的物体的横穿可能性进行预测的驾驶辅助装置以及驾驶辅助系统。
用于解决课题的方法
本发明的一个方式所涉及的驾驶辅助装置为，被搭载于车辆上的驾驶辅助装置，并具备：发送部，其向服务器发送由被搭载于所述车辆上的前方拍摄用的摄像机所拍摄到的图像；接收部，其从服务器接收与如下的危险场景的模型相关的危险场景、模型信息，所述危险场景的模型由对上述图像进行分析而识别出的、向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物以及从所述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的组合构成；存储部，其对接收到的所述危险场景、模型信息进行存储；判断部，其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中所包含的人物的动作是否类似进行判断；驾驶辅助部，其在由所述判断部而判断为类似的情况下，通过提醒驾驶员注意被判断为类似的危险场景、模型信息所包含的所述物体可能会出现在车辆前方的行驶道路上，从而对驾驶进行辅助。
在上述方式中，也可以采用如下方式，即，所述接收部至少于危险场景、模型信息每次在服务器中被存储时、以及每隔预定的周期的任意一个时刻，而接收从服务器被发送的危险场景、模型信息。
在上述方式中，也可以采用如下方式，即，向所述障碍物的方向正在进行动作的人物至少为，向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
在上述方式中，也可以采用如下方式，即，所述驾驶辅助部通过从扬声器输出语音消息及通过在显示器上显示由包含文字的影像所构成的消息中的任意一个，来提醒驾驶员注意。
本发明的其他方式所涉及的驾驶辅助系统解析具备：图像分析部，其对由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像进行分析，并在识别出向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、以及从所述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下，将该识别出的人物的动作以及所述物体的组合确定为危险场景的模型；存储部，其对与所确定的所述危险场景的模型有关的危险场景、模型信息进行存储；判断部，其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中包含的人物的动作是否类似进行判断；驾驶辅助部，其在由所述判断部判断为类似的情况下，通过提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上，从而对驾驶进行辅助。
在上述方式中，也可以采用如下方式，向所述障碍物的方向正在进行动作的人物至少为，向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
在上述方式中，也可以采用如下方式，即，所述驾驶辅助部至少通过从扬声器输出语音消息及在显示器上显示由包含文字的影像所构成的消息中的任意一个，来提醒驾驶员注意。
发明效果
根据本发明，可提供一种能够对无法通过车载摄像机而进行检测的物体的横穿可能性进行预测的驾驶辅助装置以及驾驶辅助系统。
附图说明
图1为例示了包括实施方式所涉及的驾驶辅助系统的驾驶辅助装置的结构的图。
图2为例示了危险场景的模型的模式图
图3为例示出危险场景的模型的模式图。
图4为对存储危险场景、模型信息时的动作例进行说明的时序图。
图5为对利用危险场景、模型信息来提醒司机注意时的动作例的流程图。
具体实施方式
参照附图，对本发明的优选的实施方式进行说明。另外，在各附图中，标注了相同符号的部件具有相同或同样的结构。
参照图1，对包括实施方式所涉及的驾驶辅助装置的驾驶辅助系统的结构进行说明。驾驶辅助系统100例如包括被配置于数据中心等的服务器1、和被搭载于车辆上的驾驶辅助装置2。服务器1以及驾驶辅助装置2被构成为，能够经由无线网络而相互通信。
服务器1作为功能性的结构而具有例如图像分析部11、存储单元12和通信部13。服务器1被构成为，作为物理性的结构而具备例如包含CPU(Central Processing Unit：中央处理单元)及存储器的控制单元、存储装置、通信装置等。通过由CPU执行被存储于存储器中的预定的程序，从而实现了图像分析部11、存储部12以及通信部13的各个功能。以下，对各个功能进行说明。
图像分析部11对从驾驶辅助装置2接收的图像进行分析。从驾驶辅助装置2接收到的图像为，由后文所述的被搭载于的车辆上的前方拍摄用的摄像机所拍摄到的图像。
图像分析部11对图像进行分析，并确定危险场景的模型。危险场景的模型根据例如向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、和从障碍物的背侧朝向车辆前方的行驶道路而移动的物体的组合而确定。在物体中，例如包括人物、动物、车辆、自行车等进行移动的物体。
即，图像分析部11对图像进行分析，并分别对向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、以及从障碍物的背侧朝向车辆前方的行驶道路而移动的物体进行识别，并且基于识别出的人物和物体来确定危险场景的模型。参照图2和图3，对危险场景的模型进行具体说明。
图2为表示人物P和建筑物S落入正在行驶于行驶道路T上的车辆X所搭载的摄像机的拍摄范围R内的情况的示意图。人物(例如母亲)P向面向车辆X的前方的行驶道路T而存在的建筑物S的方向正在进行挥手的动作。之后，从建筑物S的背侧朝向车辆前方的行驶道路T移动的物体(例如孩子)被车载摄像机检测出，并通过图像分析部11而被识别出。
在该情况下，在正在进行向建筑物S的方向挥手的动作的人物和从建筑物S的背侧朝向行驶道路T而移动的物体(人物)被确定为危险场景的模型。
图3为表示多个人物P和建筑物S落入正在行驶于行驶道路T上的车辆X所搭载的摄像机的拍摄范围R内的情况的模式图。多个人物(例如行人)T正在进行将视线或面部朝向面向车辆X的前方的行驶道路T而存在的建筑物S的方向的动作。之后，从建筑物S的背侧朝向车辆前方的行驶道路T而移动的物体(例如消防车)被车载摄像机检测出，并通过图像分析部11而被识别出。
在该情况下，将正在进行将视线或面部朝向建筑物S的方向的动作的多个人物和从建筑物S的背侧朝向行驶道路T而移动的物体(车辆)等确定为危险场景的模型。
返回至图1的说明。服务器1的存储单元12对与由图像分析部11而被确定的危险场景的模型相关的危险场景、模型信息进行存储。
服务器1的通信部13对与其他装置的通信进行控制。例如，通信部13接收由驾驶辅助装置2所发送的图像，并将被存储于存储部12中的危险场景、模型信息发送至驾驶辅助装置2。将危险场景、模型信息发送至驾驶辅助装置2的时刻例如既可以是每次存储危险场景、模型信息时，也可以是每隔预定的周期时，能够任意地进行设定。
图1所示的驾驶辅助装置2作为功能性的结构而具有例如判断部21、驾驶辅助部22、通信部23以及存储部24。驾驶辅助装置2被构成为，作为物理性的结构而具备例如包含CPU以及存储器的控制单元、通信装置、存储装置、摄像机、操作部、显示器、扬声器等。通过由CPU执行被存储在存储器中的预定的程序，从而实现了判断部21、驾驶辅助部22、通信部23以及存储部24的各个功能。以下，对各个功能进行说明。
判断部21对基于由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像而识别出的人物的动作与由存储部24存储的危险场景、模型信息所包含的人物的动作是否类似进行判断。例如，判断部21对基于由摄像机所拍摄到的图像而识别出的人物部分与由存储部24存储的危险场景、模型信息所包含的模型图像进行对照，并在存在相似度为预定值以上的模型图像的情况下，判断为类似。以下进行具体说明。
例如，当在图2所示的人物P所处的位置上识别出了朝向建筑物S的方向而挥手的人物的情况下，判断部21判断为类似。另外，当在图3所示的多个人物P所处的位置上识别出了将视线、面部朝向建筑物S的方向的人物的情况下，判断部21判断为类似。
图1的驾驶辅助部22在由判断部21判断为类似的情况下，通过提醒驾驶员注意与被判断为类似的危险场景、模型信息对应的物体可能会出现在车辆前方的行驶道路上，从而对驾驶进行辅助。以下进行具体说明。
例如，在图2所示的人物T的位置上存在向建筑物S的方向挥手的人物的情况下，驾驶辅助部22提醒驾驶员注意从建筑物S的背侧朝向行驶道路T而移动的人物。另外，在图3所示的多个人物T的位置上存在将视线、面部朝向建筑物S的方向的人物的情况下，驾驶辅助部22提醒驾驶员注意从建筑物S的背侧朝向行驶道路T而移动的车辆。
提醒注意的方法既可以设为从扬声器输出语音信息，也可以设为在显示器等上显示由包含文字等的影像所构成的信息。
图1所示的驾驶辅助装置2的通信部23对与其他装置的通信进行控制。例如，通信部23向服务器1发送由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像，并从服务器1接收作为对图像进行了分析的结果的危险场景、模型信息。
驾驶辅助装置2的存储部24对从服务器1接收到的危险场景、模型信息进行存储。
另外，服务器1以及驾驶辅助装置2的构成要素并不限定于前述的构成要素，能够根据需要而适当地追加任意的构成要素。
接下来，对包括实施方式所涉及的驾驶辅助装置的驾驶辅助系统的动作的一个示例进行说明。首先，参照图4，对储存危险场景、模型信息时的动作进行说明。
首先，驾驶辅助装置2的通信部23向服务器1发送由前方拍摄用的车载摄像机所拍摄到的图像(步骤S101)。
接着，服务器1的图像解析部11对在上述步骤S101中接收到的图像进行分析，并确定危险场景的模型(步骤S102)。
接着，服务器1的存储部12对包含在上述步骤S102中所确定的危险场景的模型在内的危险场景、模型信息进行存储(步骤S103)。
接着，服务器1的通信部13将在上述步骤S103中所存储的危险场景模型信息向驾驶辅助装置2发送(步骤S104)。
接着，驾驶辅助装置2的存储部24对在上述步骤S104中从服务器1接收到的危险场景、模型信息进行存储(步骤S105)。然后，结束本动作。
接着，参照图5，对在驾驶辅助装置2中利用危险场景模型信息而提醒驾驶员注意时的动作进行说明。
首先，驾驶辅助装置2的判断部21对基于由前方拍摄用的车载摄像机所拍摄到的图像而识别出的人物的动作与被存储于存储部24中的危险场景、模型信息所包含的人物的动作是否类似进行判断(步骤S201)。在该判断为“否”的情况下(步骤S201为否)，结束本动作。
在上述步骤S201的判断中判断为类似的情况下(步骤S201为是)，驾驶辅助装置2的驾驶辅助部22提醒驾驶员注意被判断为类似的危险场景、模型信息所包含的物体可能会出现在车辆前方的行驶道路上(步骤S202)。然后，结束本动作。
如上文所述，根据实施方式中的驾驶辅助系统100，在对由前方拍摄用的车载摄像机所拍摄到的图像进行分析，并分别识别出向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物和从该障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下，能够将该识别出的人物的动作以及物体的组合确定为危险场景的模型，并作为危险场景、模型信息而进行存储。
而且，对基于车载摄像机的拍摄图像而被识别出的人物的动作与所存储的危险场景、模型信息所包含的人物的动作是否类似进行判断，并且在被判断为类似的情况下，能够提醒驾驶员注意与被判断为类似的该危险场景、模型信息相对应的物体可能会出现在车辆前方的行驶道路上。
换言之，根据实施方式中的驾驶辅助系统100，预先对由于障碍物的存在而使得驾驶员无法预测的危险场景的模型进行存储，并在车辆正在行驶时，利用车载摄像机而对行人等人物的运动进行识别，且在检测到与危险场景的模型类似的运动的情况下，能够提醒驾驶员注意物体可能会从障碍物出现在行驶道路上。由此，能够将事故防患于未然。
这样，根据实施方式中的驾驶辅助系统100，能够预测无法通过车载摄像机而进行检测的物体的横穿可能性。
[改变例]
另外，本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内，能够以其他各种形式来实施。因此，上述实施方式在所有方面上只不过为示例，并非被限定性地解释的实施方式。例如，上述的各处理步骤能够在处理内容不产生矛盾的范围内任意地改变顺序或者并列地执行。
另外，虽然在上述的实施方式中，在服务器1以及驾驶辅助装置2双方中利用存储部而对危险场景、模型信息进行存储，但是也可以通过任意一方或者另外设置的存储服务器装置等来存储危险场景、模型信息。在这种情况下，未存储危险场景、模型信息的装置只需设为经由通信部而参照危险场景、模型信息即可。
符号说明
1服务器；2…驾驶辅助装置；11…图像分析部；12…存储部；13…通信部；21…判断部；22…驾驶辅助部；23…通信部；24…存储部；100…驾驶辅助系统。

Claims (7)

1.一种驾驶辅助装置，其被搭载于车辆上，并具备：
发送部，其向服务器发送由被搭载于所述车辆上的前方拍摄用的摄像机所拍摄到的图像；
接收部，其从服务器接收与如下的危险场景的模型相关的危险场景、模型信息，所述危险场景的模型由对所述图像进行分析而识别出的、向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物以及从所述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的组合构成；
存储部，其对接收到的所述危险场景、模型信息进行存储；
判断部，其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中所包含的人物的动作是否类似进行判断；
驾驶辅助部，其在由所述判断部判断为类似的情况下，通过提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上，从而对驾驶进行辅助。
2.如权利要求1所述的驾驶辅助装置，其中，
所述接收部至少于危险场景、模型信息每次在服务器中被存储时、以及每隔预定的周期的任意一个时刻，而接收从服务器被发送的危险场景、模型信息。
3.如权利要求1所述的驾驶辅助装置，其中，
向所述障碍物的方向正在进行动作的人物至少为，向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
4.如权利要求1所述的驾驶辅助装置，其中，
所述驾驶辅助部通过从扬声器输出语音消息以及在显示器上显示由包含文字的影像所构成的消息中的任意一个，来提醒驾驶员注意。
5.一种驾驶辅助系统，其特征在于，具备：
图像分析部，其对由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像进行分析，并在识别出向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、以及从上述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下，将该识别出的人物的动作以及所述物体的组合确定为危险场景的模型，
存储部，其对与所确定的所述危险场景的模型相关的危险场景、模型信息进行存储；
判断部，其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中包含的人物的动作是否类似进行判断；
驾驶辅助部，其在由所述判断部判断为类似的情况下，通过提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上，从而对驾驶进行辅助。
6.如权利要求5所述的驾驶辅助系统，其中，
向所述障碍物的方向正在进行动作的人物至少为，向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
7.如权利要求5所述的驾驶辅助系统，其中，
所述驾驶辅助部至少通过从扬声器输出语音消息以及在显示器上显示由包含文字的影像所构成的消息中的任意一个，来提醒驾驶员注意。
CN201811214963.6A 2017-10-26 2018-10-18 驾驶辅助装置及驾驶辅助系统 Active CN109712431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-207359 2017-10-26
JP2017207359A JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム

Publications (2)

Publication Number Publication Date
CN109712431A true CN109712431A (zh) 2019-05-03
CN109712431B CN109712431B (zh) 2021-03-12

Family

ID=66244053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811214963.6A Active CN109712431B (zh) 2017-10-26 2018-10-18 驾驶辅助装置及驾驶辅助系统

Country Status (3)

Country Link
US (1) US10504371B2 (zh)
JP (1) JP6880455B2 (zh)
CN (1) CN109712431B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276322A (zh) * 2019-06-26 2019-09-24 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
CN110435672A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种基于场景预判安全驾驶辅助方法及其系统
CN111294586A (zh) * 2020-02-10 2020-06-16 Oppo广东移动通信有限公司 图像显示方法、装置、头戴显示设备及计算机可读介质
CN111572540A (zh) * 2020-04-09 2020-08-25 大连理工大学 一种检测视野外是否来车的安全辅助驾驶系统、车辆
CN112908032A (zh) * 2019-11-19 2021-06-04 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN113415232A (zh) * 2021-07-07 2021-09-21 深圳前海汉视科技有限公司 一种用于障碍物识别的车灯系统
CN114944082A (zh) * 2021-02-16 2022-08-26 丰田自动车株式会社 图像收集装置、图像收集方法以及记录介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225433B (zh) * 2021-03-26 2023-01-10 北京海纳川汽车部件股份有限公司 车辆语音提醒方法、装置、电子设备及存储介质
CN115009272B (zh) * 2022-07-08 2023-01-31 北京捷升通达信息技术有限公司 一种基于激光雷达路障分类识别的车辆全自主越障方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159214A (ja) * 2010-02-03 2011-08-18 Fuji Heavy Ind Ltd 行動検出装置
CN201946119U (zh) * 2010-11-02 2011-08-24 南通大学 一种道路交通警示装置
JP2012234499A (ja) * 2011-05-09 2012-11-29 Mitsubishi Motors Corp 運転支援装置
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
US20140249722A1 (en) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Method of Operating a Driver Assistance System of a Motor Vehicle
CN104361649A (zh) * 2014-10-14 2015-02-18 江苏科技大学 一种具有提示其他车辆的行车记录仪及其控制方法
CN105324803A (zh) * 2013-06-12 2016-02-10 沃伊斯拉夫·伊利耶夫 用于道路交通参与者的光-声警报系统
CN105513421A (zh) * 2014-10-13 2016-04-20 罗伯特·博世有限公司 用于对机动车的周围环境作出反应的方法
CN105612567A (zh) * 2013-07-19 2016-05-25 日产自动车株式会社 车辆用驾驶辅助装置以及车辆用驾驶辅助方法
CN105678316A (zh) * 2015-12-29 2016-06-15 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
US20170021765A1 (en) * 2015-07-21 2017-01-26 Toyota Jidosha Kabushiki Kaisha Information presentation system
CN106515580A (zh) * 2015-09-15 2017-03-22 北汽福田汽车股份有限公司 用于实现安全控制的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255906B2 (ja) * 2004-12-03 2009-04-22 富士通テン株式会社 運転支援装置
JP2007219836A (ja) * 2006-02-16 2007-08-30 Mazda Motor Corp 車両用走行支援装置
JP2008310376A (ja) * 2007-06-12 2008-12-25 Mazda Motor Corp 歩行者検出装置
JP2010113601A (ja) 2008-11-07 2010-05-20 Toyota Motor Corp 車両用警告装置
JP2014006700A (ja) 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP6630521B2 (ja) * 2014-12-26 2020-01-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険判定方法、危険判定装置、危険出力装置及び危険判定システム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159214A (ja) * 2010-02-03 2011-08-18 Fuji Heavy Ind Ltd 行動検出装置
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN201946119U (zh) * 2010-11-02 2011-08-24 南通大学 一种道路交通警示装置
JP2012234499A (ja) * 2011-05-09 2012-11-29 Mitsubishi Motors Corp 運転支援装置
US20140249722A1 (en) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Method of Operating a Driver Assistance System of a Motor Vehicle
CN105324803A (zh) * 2013-06-12 2016-02-10 沃伊斯拉夫·伊利耶夫 用于道路交通参与者的光-声警报系统
CN105612567A (zh) * 2013-07-19 2016-05-25 日产自动车株式会社 车辆用驾驶辅助装置以及车辆用驾驶辅助方法
CN105513421A (zh) * 2014-10-13 2016-04-20 罗伯特·博世有限公司 用于对机动车的周围环境作出反应的方法
CN104361649A (zh) * 2014-10-14 2015-02-18 江苏科技大学 一种具有提示其他车辆的行车记录仪及其控制方法
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
US20170021765A1 (en) * 2015-07-21 2017-01-26 Toyota Jidosha Kabushiki Kaisha Information presentation system
CN106515580A (zh) * 2015-09-15 2017-03-22 北汽福田汽车股份有限公司 用于实现安全控制的方法和系统
CN105678316A (zh) * 2015-12-29 2016-06-15 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276322A (zh) * 2019-06-26 2019-09-24 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
CN110276322B (zh) * 2019-06-26 2022-01-07 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
CN110435672A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种基于场景预判安全驾驶辅助方法及其系统
CN112908032A (zh) * 2019-11-19 2021-06-04 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
US11532231B2 (en) 2019-11-19 2022-12-20 Toyota Jidosha Kabushiki Kaisha Information collection system, relay device, collection device, and recording medium storing program
CN112908032B (zh) * 2019-11-19 2023-08-29 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN111294586A (zh) * 2020-02-10 2020-06-16 Oppo广东移动通信有限公司 图像显示方法、装置、头戴显示设备及计算机可读介质
CN111572540A (zh) * 2020-04-09 2020-08-25 大连理工大学 一种检测视野外是否来车的安全辅助驾驶系统、车辆
CN114944082A (zh) * 2021-02-16 2022-08-26 丰田自动车株式会社 图像收集装置、图像收集方法以及记录介质
CN113415232A (zh) * 2021-07-07 2021-09-21 深圳前海汉视科技有限公司 一种用于障碍物识别的车灯系统
CN113415232B (zh) * 2021-07-07 2022-02-01 深圳前海汉视科技有限公司 一种用于障碍物识别的车灯系统

Also Published As

Publication number Publication date
JP2019079413A (ja) 2019-05-23
US20190130757A1 (en) 2019-05-02
US10504371B2 (en) 2019-12-10
CN109712431B (zh) 2021-03-12
JP6880455B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
CN109712431A (zh) 驾驶辅助装置及驾驶辅助系统
KR102334318B1 (ko) 외부 이동 수단으로 릴레이 메시지를 전송하는 전자 장치 및 그 동작 방법
US20180164809A1 (en) Autonomous School Bus
CN112823372B (zh) 排队进入上车和下车位置
EP3260816B1 (en) Information processing system, on-vehicle device, and terminal device
US8340902B1 (en) Remote vehicle management system by video radar
WO2015122406A1 (ja) 通信装置、運転支援装置、および、運転支援システム
US20180356237A1 (en) Enhanced navigation instruction and user determination
US20200184827A1 (en) Electronic control device and vehicle comprising the same
US10546500B2 (en) Vehicle dispatch method, vehicle dispatch system, and parking fee charging system including the same
US11146918B2 (en) Systems and methods for network node communication using dynamically configurable interaction modes
JP6650596B2 (ja) 車両状況判定装置、車両状況判定方法、および車両状況判定プログラム
EP2629237A1 (en) Remote vehicle management system by video radar
US20190080614A1 (en) Vehicle Communication Management Systems and Methods
US10762778B2 (en) Device, method, and computer program for capturing and transferring data
US20150112590A1 (en) Method for Communicating within an Ad Hoc-Type Motor Vehicle Communication System
CN106314424A (zh) 基于汽车的超车辅助方法、装置及汽车
JP2021015459A (ja) 車両制御装置、車両制御方法、及びプログラム
JP2016189074A (ja) 通知装置、通知方法および通知プログラム
WO2017100790A1 (en) Enhanced navigation instruction and user determination
CN112185170A (zh) 交通安全提示方法及道路监控设备
JP6157644B2 (ja) 保持すべき総計算容量を削減するための方法、車対ｘ通信装置及び車対ｘ通信装置の使用
CN107054214B (zh) 信息提示方法及装置
CN105118330B (zh) 一种交通预警方法、装置及系统
US11294381B2 (en) Vehicle motion adaptation systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant