CN111712865A - 车载系统 - Google Patents

车载系统 Download PDF

Info

Publication number
CN111712865A
CN111712865A CN201980012914.0A CN201980012914A CN111712865A CN 111712865 A CN111712865 A CN 111712865A CN 201980012914 A CN201980012914 A CN 201980012914A CN 111712865 A CN111712865 A CN 111712865A
Authority
CN
China
Prior art keywords
vehicle
information
passer
passerby
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980012914.0A
Other languages
English (en)
Other versions
CN111712865B (zh
Inventor
冈本进一
大友贤太郎
石桥笃
河原悠
齐藤正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN111712865A publication Critical patent/CN111712865A/zh
Application granted granted Critical
Publication of CN111712865B publication Critical patent/CN111712865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/545—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other traffic conditions, e.g. fog, heavy traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4047—Attentiveness, e.g. distracted by mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

车载系统(1)具有：根据拍摄车辆V的前方而得到的图像来检测过路人的视线信息的检测部(15C3)、根据由检测部(15C3)检测到的过路人的视线信息来决定车辆(V)的动作的决定部(15C4)以及进行与决定部(15C4)决定的车辆(V)的动作对应的处理的工作部(15C5、15C6)。其结果，车载系统(1)起到能够根据过路人的视线信息来改善车辆与过路人的意思沟通这样的效果。

Description

车载系统
技术领域
本发明涉及车载系统。
背景技术
现有的车辆通过对车辆的周围的行人执行各种告知，以图减轻对行人造成的不安感。例如，在专利文献1中公开了一种车载装置，其利用传感器来检测车辆与人的位置关系，根据该检测结果，使可动设备转向车辆周围的人。
现有技术文献
专利文献
专利文献1：(日本)特开2015-174541号公报
发明内容
发明欲解决的技术问题
现有的车辆虽然实现了减轻对行人造成的不安感，但是在由行人向车辆侧传达意思这方面存在改善的余地。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够改善车辆与过路人的意思沟通的车载系统。
用于解决问题的技术手段
为了达成上述目的，本发明涉及的车载系统的特征在于，具有：检测部，根据拍摄车辆的前方而得到的图像来检测过路人的视线信息；决定部，根据由所述检测部检测到的所述过路人的视线信息，来决定所述车辆的动作；以及工作部，进行与由所述决定部决定的所述车辆的动作对应的处理。
另外，在上述车载系统中，也可以是，所述过路人是有可能在所述车辆的前方横穿的人物。
另外，在上述车载系统中，也可以是，所述决定部在所述过路人的视线信息朝向所述车辆的情况下，决定给所述过路人让路的所述车辆的动作，所述工作部进行以下处理：向所述过路人输出表示给所述过路人让路的第1信息。
另外，在上述车载系统中，也可以是，所述车载系统还具备第1判定部，所述第1判定部根据拍摄所述过路人而得到的图像，来判定所述过路人是否理解由所述工作部输出的所述第1信息，所述决定部在所述第1判定部判定为所述过路人理解所述第1信息的情况下，决定使所述车辆停止的动作，所述工作部进行与使所述车辆停止的动作对应的处理。
另外，在上述车载系统中，也可以是，所述车载系统还具备第2判定部，所述第2判定部在所述过路人的视线未朝向所述车辆的情况下，根据拍摄所述过路人而得到的图像，来判定所述过路人是否进行了让路的行动，所述决定部在所述第2判定部判定为所述过路人进行了让路的行动的情况下，决定使所述车辆行驶的动作，所述工作部进行与使所述车辆行驶的动作对应的处理。
另外，在上述车载系统中，也可以是，所述决定部在所述第2判定部判定为所述过路人未进行让路的行动的情况下，决定将所述车辆停止或缓行的动作，所述工作部进行与将所述车辆停止或缓行的动作对应的处理。
发明效果
本发明涉及的车载系统能够根据过路人的视线信息来决定车辆的动作。其结果，车载系统起到能够根据行人的视线信息来改善车辆与过路人的意思沟通这样的效果。
附图说明
图1是表示实施方式涉及的车载系统的概略结构的框图。
图2是表示实施方式涉及的车载系统所检测的过路人的一例的图。
图3是表示实施方式涉及的车载系统的控制装置的控制的一例的流程图。
图4是示出图3所示的第1处理的一例的流程图。
图5是示出图3所示的第2处理的一例的流程图。
图6是示出图3所示的第3处理的一例的流程图。
符号说明
1 车载系统
12 检测装置
12a 车辆状态检测部
12b 通信模块
12c GPS接收器
12d 外部摄像机
12e 外部雷达/声纳
13 显示装置
14 外部显示装置
15 控制装置
150 行动信息
15A 接口部
15B 存储部
15C 处理部
15C1 获取部
15C2 第1检测部
15C3 第2检测部(检测部)
15C4 决定部
15C5 行驶控制部(工作部)
15C6 输出控制部(工作部)
15C7 第1判定部
15C8 第2判定部
V 车辆
具体实施方式
以下，根据附图对本发明所涉及的实施方式进行详细的说明。需要说明的是，本发明并不被该实施方式限定。并且，下述实施方式中的构成要素包含本领域技术人员能够容易置换的要素或实质上相同的要素。
[实施方式]
图1所示的本实施方式的车载系统1是在车辆V中应用的系统。能够应用车载系统1的车辆V可以是电动车辆(EV(Electric Vehicle))、混合动力车辆(HEV(Hybrid ElectricVehicle))、插电式混合动力车辆(PHEV(Plug-in Hybrid Electric Vehicle))、汽油车辆、柴油车辆等使用电动机或发动机作为驱动源的任一种车辆。另外，该车辆V的驾驶可以是由驾驶员进行的手动驾驶、半自动驾驶、自动驾驶等中的任一种。另外，该车辆V也可以是所谓个人所有的自家用车、租赁汽车、共享汽车、公交车、出租车、共乘汽车中的任一种。
在以下的说明中，作为一例，以车辆V是能够自动驾驶(半自动驾驶、全自动驾驶)的车辆的情况进行了说明。车载系统1在实现车辆V中的所谓自动驾驶的基础上，推测其他车辆的提示意图。车载系统1通过将图1所示的构成要素搭载于车辆V从而实现。以下，参照图1，对车载系统1的各结构进行详细说明。在以下的说明中，有时将车辆V表述为“本车辆”。
需要说明的是，在图1中图示的车载系统1中，用于收发电力供给、控制信号、各种信息等的各构成要素之间的连接方式如无特别说明，则可以是经由电线、光纤等布线材料的基于有线的连接(例如，也包括经由光纤的光通信等)、无线通信、非接触供电等基于无线的连接中的任一种。
在以下的说明中，针对车载系统1是自动驾驶系统的情况下的一例进行说明。
车载系统1是车辆V中实现自动驾驶的系统。车载系统1通过将图1所示的构成要素搭载于车辆V而实现。具体而言，车载系统1具有：行驶系统致动器11、检测装置12、显示装置13、外部显示装置14和控制装置15。
行驶系统致动器11是用于使车辆V行驶的各种设备。行驶系统致动器11典型地被构成为包括：行驶用动力传动系、转向装置、制动装置等。行驶用动力传动系是使车辆V行驶的驱动装置。转向装置是进行车辆V的转向的装置。制动装置是进行车辆V的制动的装置。
检测装置12检测各种各样的信息。检测装置12例如检测车辆状态信息、周边状况信息等。车辆状态信息是表示车辆V的行驶状态的信息。周边状况信息是表示车辆V的周边状况的信息。车辆状态信息例如可以包括车辆V的车速信息、加速度(车辆前后方向加速度、车辆宽度方向加速度、车辆摇摆方向加速度等)信息、转向角信息、加速踏板的操作量(加速器踩踏量)信息、制动踏板的操作量(制动器踩踏量)信息、档位信息、各部的电流值/电压值信息、蓄电装置的蓄电量信息等。周边状况信息例如可以包括对车辆V的周边环境、车辆V的周边的人物、其他车辆、障碍物等外部物体进行拍摄而得到的周边图像信息、表示有无外部物体、与该外部物体的相对距离、相对速度、TTC(Time-To-Collision：碰撞时间)等的外部物体信息、车辆V所行驶的车道的白线信息、车辆V所行驶的行驶线路的交通信息、车辆V的当前位置信息(GPS信息)等。
图1所示的检测装置12中，作为一例而图示了被构成为包含车辆状态检测部12a、通信模块12b、GPS接收器12c、外部摄像机12d以及外部雷达/声纳12e的情况。
车辆状态检测部12a对包括车速信息、加速度信息、转向角信息、加速踏板的操作量信息、制动踏板的操作量信息、档位信息、电流值/电压值信息、蓄电量信息等在内的车辆状态信息进行检测。车辆状态检测部12a例如由车速传感器、加速度传感器、转向角传感器、加速传感器、制动传感器、档位传感器、电流/电压计等各种各样的检测器、传感器构成。车辆状态检测部12a可以包括车辆V中对各部进行控制的ECU(Electronic Control Unit)等处理部本身。
通信模块12b利用无线通信在与其他车辆、路上设备、云设备、车辆V外部的人物所持的电子设备等车辆V的外部设备之间相互收发信息。基于此，通信模块12b例如检测包括周边图像信息、外部物体信息、交通信息等在内的周边状况信息。通信模块12b例如利用广域无线、窄域无线等各种各样的方式的无线通信，与外部设备进行通信。此处，广域无线的方式例如是广播(AM、FM)、TV(UHF、4K、8K)、TEL、GPS、WiMAX(注册商标)等。另外，窄域无线的方式例如是ETC/DSRC、VICS(注册商标)、无线LAN、毫米波通信等。
GPS接收器12c对表示车辆V当前位置的当前位置信息进行检测，以作为周边状况信息。GPS接收器12c接收从GPS卫星发送的电波从而获取车辆V的GPS信息(经纬度坐标)，以作为当前位置信息。
外部摄像机12d拍摄构成周边图像信息的车辆V的周边的图像、构成白线信息的车辆V的行驶路面的图像，以作为周边状况信息。图像例如包括动态图像、静止画面等。外部摄像机12d拍摄车辆V前方的图像。周边状况信息例如包括能够对车辆V行驶时的车道以及在对侧车道行驶的前方的其他车辆进行拍摄的前方的图像。周边状况信息例如包括车辆V的前方的车道和沿着该车道的人行道的图像。周边状况信息例如包括能够对过路人的脸的位置、表情、视线、行动等进行判别的图像。过路人例如包括行人、骑自行车的人、驻足的人等。
外部雷达/声纳12e使用红外线、毫米波、超声波等对外部物体信息进行检测，以作为周边状况信息。外部物体信息例如包括人行道、道路等的过路人的信息。
显示装置13设置在车辆V，是该车辆V的驾驶员、搭乘者等能够目视的部件。显示装置13例如包括液晶显示器(Liquid Crystal Display)、有机EL显示器(Organic Electro-Luminescence Display)等显示设备。显示装置13例如被用作车辆V的组合仪表、平视显示器、电视等。显示装置13也可以是公知的导航装置。
外部显示装置14设置于车辆V，能够对该车辆V的外部的人物显示各种信息。外部显示装置14是车辆V的外部的人物能够目视的装置。外部显示装置14例如包括以外部的人物能够目视的方式设置于车辆V的上述显示设备。外部显示装置14例如包括在车辆V的挡风玻璃、侧门等中显示各种信息的显示装置。在本实施方式中，外部显示装置14对过路人显示例如图像、消息等信息。
控制装置15对车载系统1的各部进行统一控制。控制装置15也可以由对车辆V整体进行统一控制的电子控制单元兼用。控制装置15执行用于实现车辆V的行驶的各种各样的运算处理。控制装置15被构成为包含以具有CPU(Central Processing Unit，中央处理器)、MPU(Micro Processing Unit，微处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等中央运算处理装置、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)和接口的公知的微型计算机为主体的电子电路。控制装置15将行驶系统致动器11、检测装置12、显示装置13以及外部显示装置14电连接。控制装置15可以经由在车辆V中控制各部的ECU(例如车身ECU等)而将行驶系统致动器11、检测装置12、显示装置13以及外部显示装置14电连接。控制装置15能够与各部之间互相收发各种检测信号、用于驱动各部的驱动信号等各种电信号。
具体而言，控制装置15被构成为在功能概念上包含：接口部15A、存储部15B以及处理部15C。接口部15A、存储部15B以及处理部15C在与其电连接的各种设备之间相互收发各种各样的信息。
接口部15A是用于与行驶系统致动器11、检测装置12等的车载系统1的各部接收发送各种各样的信息的接口。另外，接口部15A被构成为能够与显示装置13及外部显示装置14电连接。接口部15A具有：与各部之间经由电线等而对信息进行有线通信的功能、与各部之间经由无线通信单元等而对信息进行无线通信的功能等。
存储部15B是自动驾驶系统的存储装置。存储部15B例如可以是硬盘、SSD(SolidState Drive)、光盘等较大容量的存储装置、或者RAM、闪速存储器、NVSRAM(Non VolatileStatic Random Access Memory，非易失性静态随机存取存储器)等可改写数据的半导体存储器。存储部15B存储有控制装置15中的各种处理所必须的条件、信息、控制装置15中执行的各种程序、应用、控制数据等。存储部15B例如对在根据由GPS接收器12c检测出的当前位置信息来确定车辆V的当前位置时所参照的表示地图的地图信息、用于判定后述的过路人的行动的行动信息150等进行数据库化并存储。另外，存储部15B例如也能够暂时存储由检测装置12检测出的各种信息、由后述的获取部15C1获取到的各种信息。存储部15B根据需要地利用处理部15C等来读取这些信息。
处理部15C是根据各种输入信号等来执行在存储部15B中存储的各种程序，通过使该程序动作而执行用于向各部输出输出信号并实现各种功能的各种各样的处理的部分。
更详细而言，处理部15C被构成为在功能概念上包括：获取部15C1、第1检测部15C2、第2检测部15C3、决定部15C4、行驶控制部15C5、输出控制部15C6、第1判定部15C7以及第2判定部15C8。
获取部15C1是具有能够执行如下处理的功能的部分：获取车载系统1中的各种处理所使用的各种各样的信息。获取部15C1获取由检测装置12检测出的车辆状态信息、周边状况信息等。例如，获取部15C1获取包括车辆V的前方的图像在内的周边状况信息。获取部15C1也可以将获取到的各种信息存储在存储部15B。
第1检测部15C2是具有能够执行如下处理的功能的部分：根据对车辆V的前方进行拍摄而得到的影像(图像)，来检测过路人。第1检测部15C2检测有可能横穿车辆V前方的过路人。有可能横穿车辆V前方的过路人例如包括朝向车辆V所行驶的道路移动的人物、在该道路的路边驻足的人物等。需要说明的是，第1检测部15C2也可以构成为在利用外部雷达/声纳12e来检测车辆V的前方的物体时进行过路人的检测。
在图2示出的一例中，车辆V在道路R上行驶。在车辆V前方的人行道W上，有2个过路人P1、P2在步行。过路人P1在车辆V的前方在人行道W上向道路R步行。过路人P1的视线信息E朝向车辆V。过路人P2在人行道W上向与车辆V的行进方向相同的方向步行。过路人P2的视线信息不朝向车辆V。此处，视线信息E是指能够识别过路人P1、P2的视线方向的信息。例如，视线信息E包括示出过路人的视线方向的信息。在图2所示的场景中，在车载系统1的外部摄像机12d拍摄车辆V的前方而得到的图像中包含过路人P1、P2。第1检测部15C2根据拍摄车辆V的前方而得到的影像(图像)，作为应成为目标的过路人，将朝向道路R步行的过路人P1检测为目标过路人。因此，第1检测部15C2能够检测车辆V前方存在的多个过路人中的需要注意的过路人。
返回图1，第2检测部15C3是具有能够执行如下处理的功能的部分：根据拍摄车辆V的前方而得到的影像(图像)，来检测由第1检测部15C2检测出的过路人的视线信息。第2检测部15C3例如从图像中确定过路人的内眼角、外眼角、瞳孔等眼周围的特征点，并检测表示过路人的视线方向的视线信息E。第2检测部15C3例如可以从图像中确定脸、头部等的朝向，并根据该朝向来检测表示过路人的视线方向的视线信息E。
决定部15C4是具有能够执行如下处理的功能的部分：根据由第2检测部15C3检测到的过路人的视线信息，来决定车辆V的动作。决定部15C4例如被构成为能够执行以下的处理：使用各种各样的公知的人工智能(Artificial Intelligence)技术、深度学习(DeepLearning)技术来决定车辆V的动作。决定部15C4通过使用了人工智能技术、深度学习技术的各种各样的手法，使用基于学习了过路人的视线信息和过路人的行动的结果的算法、数据库等来决定与过路人的视线信息对应的车辆V的动作。
例如，决定部15C4根据在存储部15B中存储的行动信息150等来决定与过路人的视线信息E对应的车辆V的动作。行动信息150例如是反映了通过使用人工智能技术、深度学习技术的各种各样的手法来学习过路人的视线信息E与行动的关系等的结果的信息。换言之，行动信息150是为了规定与过路人的视线信息和行动对应的车辆V的动作而采用使用了人工智能技术、深度学习技术的各种各样的手法进行数据库化后的信息。需要说明的是，针对决定部15C4决定车辆V的动作的一例，之后叙述。
行驶控制部15C5是具有能够执行如下处理的功能的部分：根据决定部15C4的决定结果，来控制车辆V的行驶。行驶控制部15C5是工作部的一例。行驶控制部15C5根据由获取部15C1获取到的信息(车辆状态信息、周边状况信息等)来控制行驶系统致动器11并执行与车辆V的行驶相关的各种各样的处理。行驶控制部15C5也可以经由ECU(例如车身ECU等)来控制行驶系统致动器11。本实施方式的行驶控制部15C5执行与车辆V的自动驾驶相关的各种各样的处理，对车辆V进行自动驾驶。
基于行驶控制部15C5进行的车辆V的自动驾驶根据由获取部15C1获取到的信息，优先于车辆V的驾驶员进行的驾驶操作地、或者无论驾驶员进行的驾驶操作如何都自动地控制车辆V的举动。作为自动驾驶，存在使驾驶员进行驾驶操作一定程度存在的半自动驾驶、不存在由驾驶员进行的驾驶操作的全自动驾驶。作为半自动驾驶，例如可以列举：车辆姿势稳定控制(VSC：Vehicle Stability Control)、恒速行驶/车间距离控制(ACC：Adaptive Cruise Control)、车道维持辅助(LKA：Lane Keeping Assist)等的驾驶。作为全自动驾驶，例如可以列举：使车辆V自动行驶到目的地的驾驶、使多个车辆V自动列队行驶的驾驶等。在全自动驾驶的情况，也可以存在驾驶员本身不在车辆V中的情况。而且，本实施方式的行驶控制部15C5利用决定部15C4，根据过路人的视线信息进行使车辆V的行动反映在该车辆V的行驶中的控制。换言之，行驶控制部15C5根据决定部15C4的决定结果进行车辆V的自动驾驶。
输出控制部15C6是具有能够执行如下处理的功能的部分：输出表示对过路人的消息、图像等的信息。输出控制部15C6是工作部的一例。输出控制部15C6使对过路人的第1信息经由接口部15A而显示在外部显示装置14。第1信息例如包括表示给过路人让路的信息。输出控制部15C6使表示对过路人的致意的第2信息经由接口部15A而显示在外部显示装置14。在本实施方式中，输出控制部15C6针对使第1信息、第2信息等向外部显示装置14输出的情况进行了说明，但是不限于此。输出控制部15C6例如也可以使第1信息、第2信息等从声音输出装置输出。
外部显示装置14例如将从输出控制部15C6输入的信息朝向车辆V的外部显示。外部显示装置14对过路人显示第1信息、第2信息等，从而能够实现过路人与车辆V侧的交流。
第1判定部15C7是具有能够执行如下处理的功能的部分：根据拍摄目标过路人而得到的图像，来判定过路人是否理解由输出控制部15C6输出的第1信息。例如，第1判定部15C7根据存储部15B中存储的行动信息150等，在能够从图像中检测到目标过路人的表情、手势等的情况下，判定过路人是否理解第1信息。例如，行动信息150是反映了通过使用了人工智能技术、深度学习技术的各种各样的手法学习了在过路人(人物)理解了所传达的内容的情况下的表情、手势等的结果的信息。即，第1判定部15C7能够判定是否已能够将给过路人让路传达给目标过路人。其结果，决定部15C4能够在能够将给过路人让路传达给目标过路人的情况下，决定使车辆V停止或缓行的工作。需要说明的是，在以下的说明中，车载系统1虽然针对使车辆V停止的情况进行说明，但是不限于此。例如也可以是，车载系统1的决定部15C4进一步判定车辆V与过路人的距离是否离开了一定距离，在离开了一定距离的情况下，决定使车辆V缓行的动作。
第2判定部15C8是具有能够执行如下处理的功能的部分：在目标过路人的视线未朝向车辆的情况下，根据拍摄过路人而得到的图像，来判定过路人是否进行了让路的行动。例如，第2判定部15C8根据存储部15B中存储的行动信息150等，在能够从图像中检测到目标过路人的让出道路的行动的情况下，判定为过路人进行了让路的行动。例如，行动信息150是反映了通过使用了人工智能技术、深度学习技术的各种各样的手法学习了过路人让路的情况下的行动的结果的信息。例如，让路的行动包括过路人将手朝向前方伸出的状态。另外，例如，行动信息150包括反映了通过使用了人工智能技术、深度学习技术的各种各样的手法学习了过路人不让路的情况下的行动的结果的信息。例如，在过路人进行了致意的动作的情况、过路人未驻足的情况以及过路人的重心前倾的情况中的至少一个情况下，第2判定部15C8判定为过路人未进行让路的行动。即，第1判定部15C7能够判定未将视线朝向车辆V的过路人是否进行了让路的行动。其结果，决定部15C4在过路人让路的情况下能够决定使车辆V行驶的动作。
接着，参照图3的流程图，对控制装置15的处理部15C的控制的一例进行说明。图3所示的流程图表示与车辆V的前方的过路人对应的车载系统1的处理过程的一例。图3所示的处理过程通过使处理部15C执行程序来实现。图3所示的处理过程利用处理部15C重复执行。例如，图3所示的处理过程利用处理部15C以每几ms至几十ms的控制周期(时钟单位)重复执行。
首先，车载系统1的控制装置15的处理部15C从外部摄像机12d获取车辆V的前方的图像(步骤S11)。处理部15从获取到的图像中检测有可能横穿车辆V前方的过路人(步骤S12)。例如，处理部15C利用图案匹配等来检测过路人。而且，处理部15C例如检测朝向道路的人物、在道路的路边驻足的人物等来作为有可能横穿的过路人。处理部15C通过执行步骤S12的处理，从而作为第1检测部15C2而发挥作用。处理部15C如果将表示是否检测到过路人的检测结果存储在存储部15B中，则处理进入步骤S13。需要说明的是，检测结果在检测到过路人的情况下，包括与该过路人相关的信息。
处理部15C参照存储部15B的检测结果，判定是否检测到过路人(步骤S13)。处理部15C在判定为未检测到过路人的情况下(步骤S13中，否)，结束图3所示的处理过程。处理部15C在判定为检测到过路人的情况下(步骤S13中，是)，使处理进入步骤S14。
处理部15C对检测到的过路人的视线信息进行检测(步骤S14)。例如，处理部15C根据拍摄车辆V的前方而得到的图像，来检测目标过路人的视线信息。处理部15C通过执行步骤S14的处理，从而作为第2检测部15C3而发挥作用。处理部15C如果将检测到的视线信息存储到存储部15B中，则使处理进入步骤S15。
处理部15C参照存储部15B的视线信息来判定过路人的视线信息是否朝向车辆V(步骤S15)。例如，处理部15C在存在至少一个朝向预先确定的方向的视线信息的情况下，判定为过路人的视线信息朝向车辆V。处理部15C在判定为过路人的视线信息朝向车辆V的情况下(步骤S15中，是)，使处理进入步骤S16。
处理部15C执行决定给过路人让路的车辆V的第1动作的第1处理(步骤S16)。第1处理是在过路人的视线信息朝向车辆V的情况下决定与目标过路人对应的处理并加以执行的处理。例如，第1处理是向目标过路人传递让路的意思并执行与该过路人的反应对应的车辆V的第1动作的处理。处理部15C通过执行步骤S16的处理，从而作为决定部15C4而发挥作用。需要说明的是，针对第1处理的详细情况，之后叙述。如果第1处理的执行结束，则处理部15C使图3所示的处理过程结束。
处理部15C在判定为过路人的视线信息未朝向车辆V的情况下(步骤S15中，否)，使处理进入步骤S17。处理部15C根据图像来判定过路人是否进行了让路的行动(步骤S17)。例如，处理部15C根据拍摄在目标过路人的视线未朝向车辆的情况下的过路人而得到的图像，来确定该过路人的行动。处理部15C例如确定过路人让路的行动、过路人进行致意的行动、过路人未驻足的行动以及过路人的重心向前移动的行动等。处理部15C在确定了过路人让路的行动的情况下，判定为过路人进行了让路的行动。例如，处理部15C在确定了过路人进行致意的行动、过路人未驻足的行动以及过路人的重心向前移动的行动中的任一行动的情况下，判定为过路人未进行让路的行动。处理部15C通过执行步骤S17的处理，从而作为第2判定部15C8而发挥作用。处理部15C在判定为过路人未进行让路的行动的情况下(步骤S17中，否)，使处理进入步骤S18。
处理部15C执行决定给过路人让路的车辆V的第2动作的第2处理(步骤S18)。第2处理是用于在过路人的视线信息未朝向车辆V的情况下决定给目标过路人让路处理并加以执行的处理。例如，第2处理是用于使车辆V停止并执行与该过路人的行动对应的车辆V的第2动作的处理。处理部15C通过执行步骤S18的处理，从而作为决定部15C4而发挥作用。需要说明的是，对于第2处理的详细情况，之后叙述。如果第2处理的执行结束，则处理部15C使图3所示的处理过程结束。
处理部15C在判定为过路人进行了让路的行动的情况下(步骤S17中，是)，使处理进入步骤S19。
处理部15C执行决定车辆V对过路人的第3动作的第3处理(步骤S19)。第3处理是用于在过路人的视线信息未朝向车辆V的情况下执行与目标过路人的行动对应的车辆V的动作的处理。例如，第3处理是在目标过路人的视线未朝向车辆的情况下，再次确认过路人的视线信息，并根据目标过路人的视线信息与行动来执行车辆V的第3动作的处理。处理部15C通过执行步骤S19的处理，从而作为决定部15C4而发挥作用。需要说明的是，对于第3处理的详细情况，之后叙述。如果第3处理的执行结束，则处理部15C使图3所示的处理过程结束。
接着，参照图4的流程图，对控制装置15的处理部15C所执行的第1处理的一例进行说明。图4所示的流程图示出决定给过路人让路的车辆V的第1动作的处理过程的一例。图4所示的处理过程通过使处理部15C执行图3所示的步骤S16的处理，从而利用处理部15C来执行。如果将图4所示的处理过程结束，则处理部15C恢复到图3所示的处理过程。
处理部15C决定给过路人让路的动作(步骤S101)。处理部15C输出表示给过路人让路的第1信息(步骤S102)。例如，处理部15C使第1信息显示在外部显示装置14。其结果，车载系统1中，作为让路的显示，对过路人显示例如“请您先行”等第1信息。例如，处理部15C也可以使第1信息从声音输出装置向车辆V的外部输出。处理部15C通过执行步骤S102的处理，从而作为输出控制部15C6而发挥作用。处理部15C如果输出第1信息，则使处理进入步骤S103。
处理部15C从外部摄像机12d获取车辆V前方的图像(步骤S103)。处理部15C根据获取到的图像来判定过路人是否理解第1信息(步骤S104)。例如，处理部15C在能够通过使用了人工智能技术、深度学习技术的各种各样的手法，从图像中提取到目标过路人的表情、手势等的情况下，判定为过路人理解第1信息。处理部15C通过执行步骤S104，从而作为第1判定部15C7而发挥作用。
处理部15C在步骤S104中判定为目标过路人未理解的情况下(步骤S104中，否)，使图4所示的处理过程结束。即，处理部15C在目标过路人未理解第1信息的情况下，再次执行图3所示的处理过程，重新决定车辆V的动作。
另外，处理部15C在判定为目标过路人理解第1信息的情况下(步骤S104中，是)，使处理进入步骤S105。处理部15C执行与使车辆停止的动作对应的处理(步骤S105)。例如，处理部15C执行控制车辆V停止的处理。处理部15C通过执行步骤S105的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V停止，则使处理进入步骤S106。其结果，如果车辆V停止，则目标过路人可以开始横穿车辆V的前方。
处理部15C从外部摄像机12d获取车辆V的前方的图像(步骤S106)。处理部15C根据获取到的图像，来判定目标过路人是否已结束横穿(步骤S107)。例如，处理部15C根据获取到的图像来检测目标过路人的位置变化，在能够检测出从车辆V所行驶的道路R的一侧移动到另一侧的情况下，判定为目标过路人结束横穿。
处理部15C在判定为目标过路人未结束横穿的情况下(步骤S107中，否)，使处理返回已说明的步骤S106。即，处理部15C通过反复进行步骤S106至步骤S107的处理，等待目标过路人的横穿结束。另外，处理部15C也可以在检测到目标过路人未开始横穿的情况下，结束图4所示的处理过程，再次执行图3所示的处理过程。
处理部15C在判定为目标过路人结束横穿的情况下(步骤S107中，是)，使处理进入步骤S108。处理部15C使第1信息的输出结束(步骤S108)。例如，处理部15C要求外部显示装置14停止第1信息的输出。处理部15C如果使第1信息的输出结束，则使处理进入步骤S109。
处理部15C执行与使车辆V行驶的动作对应的处理(步骤S109)。例如，处理部15C执行以下处理：进行使停止的车辆V行驶的控制。处理部15C通过执行步骤S109的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V行驶，则结束图4所示的处理过程。
以上说明的车载系统1在车辆V的前方的过路人的视线信息朝向车辆V的情况下，进行给该过路人让路动作。因此，车载系统1能够根据过路人的视线信息实现与过路人的意思沟通，来改善车辆与过路人的意思沟通。例如，车载系统1通过确认有可能横穿车辆V前方的过路人的视线信息，从而即使在过路人横穿没有人行横道的道路的情况下，也能够提高安全性。
车载系统1在车辆V的前方的过路人的视线信息朝向车辆V的情况下，对过路人输出表示给过路人让路的第1信息。因此，车载系统1能够通过传递给过路人让路的内容，来提高车辆与过路人的意思沟通以及安全性。
车载系统1在对过路人输出第1信息的情况下、并且该过路人理解第1信息的情况下，使车辆V停止，因此能够避免使车辆V胡乱地停止。因此，车载系统1能够抑制便利性下降并改善车辆与过路人的意思沟通。进一步地，车载系统1如果在过路人理解第1信息的情况下使车辆V停止，则能够维持车辆V的停止，直到该过路人的横穿结束。
接着，参照图5的流程图，针对控制装置15的处理部15C执行的第2处理的一例进行说明。图5所示的流程图示出决定给过路人让路的车辆V的第2动作的处理过程的一例。图5所示的处理过程通过使处理部15C执行图3所示的步骤S18的处理从而利用处理部15C执行。即，图5所示的处理过程在视线信息未朝向车辆V的过路人未进行让路的行动的情况下执行。处理部15C如果结束图5所示的处理过程，则返回到图3所示的处理过程。
处理部15C由于过路人未进行让路的行动，因此决定使车辆V停止的动作(步骤S201)。处理部15C执行与使车辆V停止的动作对应的处理(步骤S202)。例如，处理部15C执行以下的处理：进行使行驶的车辆V停止的控制。处理部15C通过执行步骤S202的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V停止，则使处理进入步骤S203。
处理部15C从外部摄像机12d获取车辆V的前方的图像(步骤S203)。处理部15C根据获取到的图像，判定目标过路人是否结束横穿(步骤S204)。处理部15C在判定为目标过路人未结束横穿的情况下(步骤S204中，No)，使处理返回到已说明的步骤S203。即，处理部15C通过重复步骤S203至步骤S204的处理，等待目标过路人的横穿结束。
处理部15C在判定为目标过路人结束横穿的情况下(步骤S204中，是)，使处理进入步骤S205。处理部15C执行与使车辆V行驶的动作对应的处理(步骤S205)。例如，处理部15C执行以下的处理，进行使停止的车辆V行驶的控制。处理部15C通过执行步骤S205的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V行驶，则结束图5所示的处理过程。
以上说明的车载系统1在车辆V的前方的过路人的视线信息未朝向车辆V的情况下并且在过路人未进行让路的行动的情况下，进行使车辆V停止的动作。因此，车载系统1通过根据过路人的视线信息和行动来决定使车辆V停止的动作，从而能够改善与过路人的意思沟通。
在车载系统1中，在车辆V的前方的目标过路人的视线信息未朝向车辆V的情况下使车辆V停止，因此例如能够提高对于未注意车辆V而要想横穿道路的过路人等的安全性。
接着，参照图6的流程图，针对控制装置15的处理部15C所执行的第3处理的一例进行说明。图6所示的流程图示出决定车辆V对过路人的第3动作的处理过程的一例。图6所示的处理过程通过使处理部15C执行图3所示的步骤S19的处理从而利用处理部15C执行。即，图6所示的处理过程在过路人进行了让路的行动情况下执行。处理部15C如果使图6所示的处理过程结束，则恢复到图3所示的处理过程。
处理部15C从外部摄像机12d获取车辆V的前方的图像(步骤S301)。处理部15C从获取到的图像中检测目标过路人的视线信息(步骤S302)。例如，处理部15C根据拍摄车辆V的前方而得到的图像来检测目标过路人的视线信息。处理部15C通过执行步骤S302的处理，从而作为第2检测部15C3而发挥作用。处理部15C如果将检测到的视线信息存储在存储部15B中，则使处理进入步骤S303。
处理部15C参照存储部15B的视线信息来判定过路人的视线信息是否朝向车辆V(步骤S303)。即，处理部15C再次确认判定为视线信息未朝向车辆V的过路人的视线信息。例如，过路人在从视线信息未朝向车辆V的状态变化为视线信息朝向车辆V的状态的情况下，存在注意到车辆V而不横穿道路的倾向。处理部15C在判定为过路人的视线信息朝向车辆V的情况下(步骤S303中，是)，使处理进入步骤S304。
处理部15C输出向过路人致意的第2信息(步骤S304)。例如，处理部15C使第2信息显示在外部显示装置14。例如，处理部15C也可以从声音输出装置向车辆V的外部输出第2信息。处理部15C通过执行步骤S304的处理，从而作为输出控制部15C6而发挥作用。处理部15C如果输出第2信息，则使处理进入步骤S305。
处理部15C从外部摄像机12d获取车辆V的前方的图像(步骤S305)。处理部15C根据获取到的图像，来判定是否结束第2信息的输出(步骤S306)。例如，处理部15C根据车辆V的前方的图像，在检测到理解了第2信息的过路人的表情、手势等的情况下，判定为结束第2信息的输出。例如，处理部15C也可以在开始第2信息的显示之后经过了一定时间的情况下等，判定为结束第2信息的输出。处理部15C在判定为未结束第2信息的输出的情况下(步骤S306中，否)，使处理返回到已说明的步骤S305。
处理部15C在判定为结束第2信息的输出的情况下(步骤S306中，是)，使处理进入步骤S307。处理部15C使第2信息的输出结束(步骤S307)。例如，处理部15C要求外部显示装置14停止第2信息的输出。处理部15C如果使第2信息的输出结束，则使处理进入步骤S308。
处理部15C执行与使车辆V行驶的动作对应的处理(步骤S308)。例如，处理部15C执行以下处理：进行使车辆V行驶或者维持车辆V的行驶的控制。处理部15C通过执行步骤S308的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V行驶，则使图6所示的处理过程结束。
另外，处理部15C在判定为过路人的视线信息未朝向车辆V的情况下(步骤S303中，否)，使处理进入步骤S309。处理部15C根据获取到的图像，判定是否为过路人不横穿道路的行动(步骤S309)。例如，处理部15C在过路人未移动的情况下、过路人进行让路的行动的情况下等，判定为过路人不横穿道路的行动。
处理部15C在判定为是过路人不横穿道路的行动的情况下(步骤S309中，是)，使处理进入已说明的步骤S308。处理部15C执行与使车辆V行驶的动作对应的处理(步骤S308)。处理部15C如果使车辆V行驶，则使图6所示的处理过程结束。
处理部15C在判定为不是过路人不横穿道路的行动的情况下(步骤S309中，否)，即在是过路人横穿道路的行动的情况下，使处理进入步骤S310。处理部15C执行与使车辆V停止的动作对应的处理(步骤S310)。例如，处理部15C执行以下的处理：进行使行驶的车辆V停止或者维持车辆V的停止的控制。处理部15C通过执行步骤S310的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V停止，则使处理进入步骤S311。
处理部15C从外部摄像机12d获取车辆V的前方的图像(步骤S311)。处理部15C根据获取到的图像来判定目标过路人是否结束横穿(步骤S312)。处理部15C在判定为目标过路人未结束横穿的情况下(步骤S312中，否)，使处理返回已说明的步骤S311。即，处理部15C通过重复步骤S311至步骤S312的处理，从而等待目标过路人的横穿结束。
处理部15C在判定为目标过路人结束横穿的情况下(步骤S312中，是)，使处理进入步骤S313。处理部15C执行与使车辆V行驶的动作对应的处理(步骤S313)。例如，处理部15C执行以下处理：进行使停止的车辆V行驶或者维持车辆V的行驶的控制。处理部15C通过执行步骤S313的处理，从而作为行驶控制部15C5而发挥作用。处理部15C如果使车辆V行驶，则使图6所示的处理过程结束。
以上说明的车载系统1在车辆V的前方的过路人的视线信息未朝向车辆V的情况下并且过路人未进行让路的行动的情况下，进行与过路人的视线信息以及行动对应的车辆V的动作。因此，车载系统1即使在过路人的视线信息未朝向车辆V的情况下，也能够通过实现与过路人的意思沟通，来改善车辆与过路人的意思沟通。
车载系统1在车辆V的前方的目标过路人的视线信息未朝向车辆V的情况下，如果过路人进行了让路的行动，则使车辆V行驶。因此，即使视线信息未朝向车辆V，车载系统1也能够通过再次确认过路人的视线信息、决定车辆V的动作，从而进一步改善与过路人的意思沟通，抑制事故的发生。
需要说明的是，上述的本发明的实施方式涉及的车载系统1不限于上述的实施方式，能够在权利要求记载的范围内进行各种各样的变更。
上述的在本实施方式中，车载系统1针对是没有驾驶员的自动驾驶系统的情况进行了说明，但不限于此。例如，车载系统1也可以搭载于由驾驶员驾驶的车辆中。这种情况下，车载系统1也可以将表示根据过路人的视线信息而决定的车辆V动作的信息显示在显示装置13。车载系统1也可以向驾驶员告知过路人有可能横穿。其结果，车载系统1使驾驶员识别已决定的车辆V的动作，能够提高安全性。
上述的车载系统1的第1检测部15C2能够使用公知的人工智能技术、深度学习技术从拍摄车辆V的前方而得到的图像中检测过路人。上述的车载系统1的第2检测部15C3能够使用公知的人工智能技术、深度学习技术，从图像中检测由第1检测部15C2检测到的过路人的视线信息。
以上说明的控制装置15可以通过将各部分别地构成并将该各部以能够相互收发各种电信号的方式连接而构成，一部分功能可以利用其他控制装置来实现。另外，以上说明的程序、应用、各种数据等可以适当更新，也可以存储在经由任意网络而与车载系统1连接的服务器中。以上说明的程序、应用、各种数据等例如可以根据需要地下载其全部或一部分。另外，例如，针对控制装置15所具有的处理功能，例如可以利用CPU等以及由该CPU等解释执行的程序来实现其全部或任意一部分，另外，也可以用基于逻辑布线等的硬件的形式来实现。

Claims (6)

1.一种车载系统，其特征在于，具有：
检测部，根据拍摄车辆的前方而得到的图像来检测过路人的视线信息；
决定部，根据由所述检测部检测到的所述过路人的视线信息，来决定所述车辆的动作；以及
工作部，进行与由所述决定部决定的所述车辆的动作对应的处理。
2.根据权利要求1所述的车载系统，其中，
所述过路人是有可能在所述车辆的前方横穿的人物。
3.根据权利要求1或2所述的车载系统，其中，
所述决定部在所述过路人的视线信息朝向所述车辆的情况下，决定给所述过路人让路的所述车辆的动作，
所述工作部进行以下处理：向所述过路人输出表示给所述过路人让路的第1信息。
4.根据权利要求3所述的车载系统，其中，
所述车载系统还具备第1判定部，所述第1判定部根据拍摄所述过路人而得到的图像，来判定所述过路人是否理解所述工作部输出的所述第1信息，
所述决定部在由所述第1判定部判定为所述过路人理解所述第1信息的情况下，决定使所述车辆停止的动作，
所述工作部进行与使所述车辆停止的动作对应的处理。
5.根据权利要求1至4中任一项所述的车载系统，其中，
所述车载系统还具备第2判定部，所述第2判定部在所述过路人的视线未朝向所述车辆的情况下，根据拍摄所述过路人而得到的图像，来判定所述过路人是否进行了让路的行动，
所述决定部在所述第2判定部判定为所述过路人进行了让路的行动的情况下，决定使所述车辆行驶的动作，
所述工作部进行与使所述车辆行驶的动作对应的处理。
6.根据权利要求5所述的车载系统，其中，
所述决定部在所述第2判定部判定为所述过路人未进行让路的行动的情况下，决定将所述车辆停止或缓行的动作，
所述工作部进行与将所述车辆停止或缓行的动作对应的处理。
CN201980012914.0A 2018-03-12 2019-01-23 车载系统 Active CN111712865B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018043903A JP6989418B2 (ja) 2018-03-12 2018-03-12 車載システム
JP2018-043903 2018-03-12
PCT/JP2019/002101 WO2019176310A1 (ja) 2018-03-12 2019-01-23 車載システム

Publications (2)

Publication Number Publication Date
CN111712865A true CN111712865A (zh) 2020-09-25
CN111712865B CN111712865B (zh) 2022-05-03

Family

ID=67907637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012914.0A Active CN111712865B (zh) 2018-03-12 2019-01-23 车载系统

Country Status (5)

Country Link
US (1) US20200372266A1 (zh)
JP (1) JP6989418B2 (zh)
CN (1) CN111712865B (zh)
DE (1) DE112019001268T5 (zh)
WO (1) WO2019176310A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052293A (ja) * 1999-08-11 2001-02-23 Hiisuto Kk 車両走行時の情報案内システム
JP2006015877A (ja) * 2004-07-01 2006-01-19 Pioneer Electronic Corp 情報表示装置、情報表示方法および情報表示プログラム
CN101872068A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的日间行人检测
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
CN105283883A (zh) * 2013-04-22 2016-01-27 福特全球技术公司 用于检测非机动车道路使用者的方法和装置
CN106627149A (zh) * 2016-11-25 2017-05-10 未来汽车科技（深圳）有限公司 一种汽车仪表盘及控制方法
CN206287926U (zh) * 2016-12-27 2017-06-30 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车装置
WO2017126012A1 (ja) * 2016-01-18 2017-07-27 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム
CN107264399A (zh) * 2016-03-31 2017-10-20 株式会社斯巴鲁 车辆周围监视装置
CN107415959A (zh) * 2016-05-17 2017-12-01 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序
JP2018024291A (ja) * 2016-08-08 2018-02-15 株式会社デンソー 車外表示処理装置及び車外表示システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4134891B2 (ja) * 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
JP2005322297A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp 情報記録装置及び方法、情報再生装置及び方法、並びにコンピュータプログラム
KR101901962B1 (ko) * 2013-11-08 2018-11-07 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
JP6206668B2 (ja) * 2013-11-14 2017-10-04 マツダ株式会社 車両用歩行者検出装置
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
JP6397934B2 (ja) * 2014-12-19 2018-09-26 株式会社日立製作所 走行制御装置
US20180260635A1 (en) * 2015-09-08 2018-09-13 Apple Inc. Intention recognition
US9969326B2 (en) * 2016-02-22 2018-05-15 Uber Technologies, Inc. Intention signaling for an autonomous vehicle
JP6617651B2 (ja) * 2016-07-07 2019-12-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
JP6703128B2 (ja) * 2016-10-25 2020-06-03 三菱電機株式会社 周辺情報判定装置
KR102648812B1 (ko) * 2016-12-15 2024-03-19 현대자동차주식회사 차량 및 그의 보행자 감지 알림 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052293A (ja) * 1999-08-11 2001-02-23 Hiisuto Kk 車両走行時の情報案内システム
JP2006015877A (ja) * 2004-07-01 2006-01-19 Pioneer Electronic Corp 情報表示装置、情報表示方法および情報表示プログラム
CN101872068A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的日间行人检测
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
CN105283883A (zh) * 2013-04-22 2016-01-27 福特全球技术公司 用于检测非机动车道路使用者的方法和装置
WO2017126012A1 (ja) * 2016-01-18 2017-07-27 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム
CN107264399A (zh) * 2016-03-31 2017-10-20 株式会社斯巴鲁 车辆周围监视装置
CN107415959A (zh) * 2016-05-17 2017-12-01 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序
JP2018024291A (ja) * 2016-08-08 2018-02-15 株式会社デンソー 車外表示処理装置及び車外表示システム
CN106627149A (zh) * 2016-11-25 2017-05-10 未来汽车科技（深圳）有限公司 一种汽车仪表盘及控制方法
CN206287926U (zh) * 2016-12-27 2017-06-30 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
辛晨: "车辆辅助驾驶中行人检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
JP6989418B2 (ja) 2022-01-05
CN111712865B (zh) 2022-05-03
WO2019176310A1 (ja) 2019-09-19
JP2019156087A (ja) 2019-09-19
US20200372266A1 (en) 2020-11-26
DE112019001268T5 (de) 2020-12-03

Similar Documents

Publication Publication Date Title
CN110281930B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110356402B (zh) 车辆控制装置、车辆控制方法及存储介质
CN109789778B (zh) 自动泊车辅助装置以及包括其的车辆
CN104115198B (zh) 车辆合流辅助系统和方法
CN110920521B (zh) 显示系统、显示方法及存储介质
CN109421799B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110228407B (zh) 显示系统以及车载系统
US10262629B2 (en) Display device
WO2018056103A1 (ja) 車両制御装置、車両制御方法、および移動体
KR20190007287A (ko) 차량 주행 시스템 및 차량
US20190135169A1 (en) Vehicle communication system using projected light
CN111830859A (zh) 车辆远程指示系统
US10102747B2 (en) Intersection traffic signal indicator systems and methods for vehicles
US11361687B2 (en) Advertisement display device, vehicle, and advertisement display method
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
CN113401056B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
CN109070799B (zh) 移动体周围显示方法及移动体周围显示装置
US20230120392A1 (en) Vehicle exterior display device
CN111712865B (zh) 车载系统
CN111824142B (zh) 显示控制装置、显示控制方法及存储介质
CN116670006A (zh) 信息处理设备、信息处理方法、程序、移动设备和信息处理系统
CN113044028A (zh) 自动驾驶车辆用信息提示装置
KR20190070693A (ko) 자율주행장치 및 그의 제어 방법
US20200372270A1 (en) In-vehicle system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant