CN107298021A - 信息提示控制装置、自动驾驶车及其驾驶辅助系统 - Google Patents

信息提示控制装置、自动驾驶车及其驾驶辅助系统 Download PDF

Info

Publication number
CN107298021A
CN107298021A CN201710224339.3A CN201710224339A CN107298021A CN 107298021 A CN107298021 A CN 107298021A CN 201710224339 A CN201710224339 A CN 201710224339A CN 107298021 A CN107298021 A CN 107298021A
Authority
CN
China
Prior art keywords
information
automatic pilot
identification part
car
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710224339.3A
Other languages
English (en)
Other versions
CN107298021B (zh
Inventor
石井育规
小冢和纪
藤村亮太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016252131A external-priority patent/JP7079069B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107298021A publication Critical patent/CN107298021A/zh
Application granted granted Critical
Publication of CN107298021B publication Critical patent/CN107298021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • B60W60/0055Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/161Explanation of functions, e.g. instructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/172Driving mode indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及信息提示控制装置、自动驾驶车及其驾驶辅助系统。信息提示控制装置(160)使自动驾驶车(100)所搭载的提示装置提示信息,信息提示控制装置具备:选择信息取得部(161),其取得表示多个识别部(152)的选择状况的选择信息,多个识别部(152)针对自动驾驶车(100)的周围状况识别互不相同的对象;以及提示控制部(166),其根据选择信息,使提示装置提示驾驶信息,该驾驶信息是基于自动驾驶车(100)能够执行的控制和不能执行的控制中的至少一方的、与由自动驾驶车(100)的自动驾驶系统(150)进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。由此,能够使具备自动驾驶系统的自动驾驶车的驾驶员得知自己应该进行的驾驶行动。

Description

信息提示控制装置、自动驾驶车及其驾驶辅助系统
技术领域
本发明涉及进行与由车载传感器检测出的周围状况相应的自动驾驶控制的自动驾驶车等。
背景技术
在与汽车有关的技术中,已有涉及如下显示装置的技术:使用各种车载传感器来取得作为与自身车辆的行驶环境有关的信息的行驶环境信息,将该行驶环境信息中的、根据自身车辆的行驶状况而对驾驶有用的信息提供给驾驶员(参照专利文献1)。
现有技术文献
专利文献1:日本特开平6-195595号公报
发明内容
发明所要解决的问题
然而,在如上的显示装置中,存在下述问题:具有自动控制的内容根据车载传感器的工作状况等而改变的自动驾驶功能的汽车(以下称为自动驾驶车)的驾驶员无法知晓需要由自己进行的驾驶的内容。
于是,本发明提供使自动驾驶车的驾驶员得知应该由自己进行的驾驶内容的信息提示控制装置等。
用于解决问题的技术方案
本发明的一个技术方案涉及的信息提示控制装置,其使自动驾驶车所搭载的提示装置提示信息,所述信息提示控制装置具备:选择信息取得部,其取得表示多个识别部的选择状况的选择信息,所述多个识别部针对自动驾驶车的周围状况识别互不相同的对象;以及提示控制部,其根据选择信息,使提示装置提示驾驶信息,所述驾驶信息是基于自动驾驶车能够执行的控制和不能执行的控制中的至少一方的、与由自动驾驶车的自动驾驶系统进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。
此外,这些总括性的或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
发明效果
本发明的信息提示控制装置能够使自动驾驶车的驾驶员得知应该由自己进行的驾驶的内容。
附图说明
图1是表示实施方式中的包括具备信息提示控制装置的自动驾驶车在内的网络的构成的概略图。
图2是表示上述的自动驾驶车的功能结构的功能框图。
图3是实施方式中的信息提示控制装置具备的选择部所参照的数据的例子。
图4是表示上述的自动驾驶车具备的自动驾驶系统中的、包括识别部的选择以及选择信息的提供在内的动作的步骤例的流程图。
图5是实施方式中的信息提示控制装置为了取得向驾驶员提示的信息的数据而参照的数据的例子。
图6是表示实施方式中的信息提示控制装置的从选择信息的取得到驾驶信息的提示的动作的步骤例的流程图。
图7是在实施方式中提示装置向驾驶员提示的驾驶信息的一例。
图8是在实施方式中提示装置向驾驶员提示的驾驶信息的另一例。
图9是在实施方式中提示装置向驾驶员提示的驾驶信息的又一例。
图10是表示实施方式的变形例中的具备信息提示控制装置的自动驾驶车的功能结构的功能框图。
图11A是表示实施方式的变形例中的选择部的动作的一例的流程图。
图11B是表示实施方式的变形例中的选择部的动作的另一例的流程图。
图11C是表示实施方式的变形例中的选择部的动作的又一例的流程图。
图12是在实施方式的变形例中提示装置向驾驶员提示的驾驶信息的一例。
图13是在其他实施方式中提示装置向驾驶员提示的驾驶信息的一例。
图14是表示其他实施方式中的具备自动驾驶车驾驶辅助系统的自动驾驶车的功能结构的功能框图。
标号说明
10:网络 100、1100、2100:自动驾驶车
1000:自动驾驶车驾驶辅助系统 110:驾驶辅助接口
1151:行驶地点信息取得部 1152:驾驶员状态信息取得部
1153:车外环境信息取得部 120:驾驶操作部
140:导航系统 150、1150:自动驾驶系统
151:检测部 152:识别部(车上的识别部)
153:状况判断部 154:驾驶控制部
155:自身车辆监视部 156:选择部
157:通信部 160:信息提示控制装置
166:提示控制部 180:存储部
190:天线 200:识别系统(车外的识别部)
300:通信线路 350:基站
具体实施方式
(成为本发明的基础的见解)
关于在“背景技术”中记载的显示装置,本发明的发明人发现会产生以下的问题。
在汽车中,如上使用车载传感器来取得的信息也可在由车载ECU(ElectronicControl Unit,电子控制单元)进行的所谓的电子控制中使用。然而,驾驶员不一定被通知自己所驾驶着的汽车中实际进行了的电子控制的内容或者由此引起的汽车的动作的变化。
然而,在具有由进一步高度发展的电子控制实现的自动驾驶功能的自动驾驶车中,自动驾驶的内容根据车载传感器的工作状况等而变化。例如,在行驶期间的自动驾驶车中,当检测车辆前方状况的传感器发生不良现象时,驾驶员需要知晓自动驾驶车无法进行对什么样的对象(例如人、道路标识、道路显示、障碍物、其他通行车辆等)的识别以及基于该识别结果的控制,也就是说,驾驶员需要知晓必须由自己进行的驾驶行动(识别、推定、判断、操作)。
另外,具备与外部进行通信的功能的自动驾驶车将通过车载传感器检测到的周围状况发送给外部的识别设备、例如构建为大规模神经网络的识别系统。在该神经网络中,进行基于深度学习(deep learning)的机器学习,相比于车载的轻量识别设备,能够以更高精度进行多类(class)的识别。而且,自动驾驶车接收表示该识别系统基于该周围状况识别出的对象物的信息,利用该信息进行自动驾驶。然而,根据地点不同,自动驾驶车与外部之间的通信的速度有可能达不到自动驾驶所要求的水平。在该情况下,由大规模神经网络得到的识别结果无法利用于自动驾驶,所以自动驾驶的内容发生变化。因此,在自动驾驶车的通信速度慢的状况下,驾驶员需要知晓在该状况下应该由自己进行的驾驶内容。
然而,在现有的显示装置中,并没有考虑这样的识别设备的变化以及伴随着该变化而引起的识别对象物的变化。因此,在自动驾驶车中,存在未对驾驶员通知随着该对象物的变化而变化的、需要驾驶员自己进行的驾驶的内容这一问题。
为了解决这样的问题,本发明的一个技术方案涉及的信息提示控制装置,其使自动驾驶车所搭载的提示装置提示信息,所述信息提示控制装置具备:选择信息取得部,其取得表示多个识别部的选择状况的选择信息,所述多个识别部针对自动驾驶车的周围状况识别互不相同的对象;以及提示控制部,其根据选择信息,使提示装置提示驾驶信息,所述驾驶信息是基于自动驾驶车能够执行的控制和不能执行的控制中的至少一方的、与由自动驾驶车的自动驾驶系统进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。
由此,能够向驾驶员提供关于根据自动驾驶车的车辆上的状况而变化的由自动驾驶系统进行的驾驶或者自己应该进行的驾驶行动的信息(驾驶信息)。
例如,也可以为,多个识别部的选择状况是从多个识别部中选择执行对象识别的识别部或者不执行对象识别的识别部的选择状况。
由此,信息提示控制装置能够基于表示在自动驾驶系统中被识别的对象或者不被识别的对象的信息,将驾驶信息提供给驾驶员。
例如,也可以为,选择信息取得部从所述自动驾驶系统取得表示从多个识别部选择的识别部的选择结果的选择信息。
由此,信息提示控制装置能够基于自动驾驶系统中的识别部的实际的选择状况,将驾驶信息提供给驾驶员。
另外,例如也可以为,选择信息取得部取得在为了从多个识别部选择识别部的判断中使用的选择判断材料信息,基于选择判断材料信息来推定选择状况,由此取得选择信息。或者,例如也可以为,选择信息取得部取得表示用于取得在对象识别中利用的信息的、自动驾驶车所具有的检测部或者通信部的工作状况的信息,基于表示工作状况的信息来判断所选择的识别部,由此取得选择信息。
由此,信息提示控制装置无需等待自动驾驶系统中的由选择部进行的对识别部的选择就能够取得选择信息,因此,能够迅速将驾驶信息提供给驾驶员。另外,无需设置与自动驾驶系统的接口就能够取得选择信息,因此,能够降低成本。
例如,也可以为,选择判断材料信息包括基于地图信息取得的、表示自动驾驶车正在行驶的地点的特征的行驶地点信息。
由此,信息提示控制装置能够在自动驾驶车的行驶地点发生了使自动驾驶系统的驾驶内容变更这样的变化的情况下,向驾驶员提供驾驶信息。
另外,例如也可以为,选择判断材料信息包括表示驾驶员的身体状态的驾驶员状态信息。
由此,信息提示控制装置能够在驾驶员的身体状况发生了使自动驾驶系统的驾驶内容变更这样的变化的情况下,向驾驶员提供驾驶信息。
另外,例如也可以为,选择判断材料信息包括表示自动驾驶车的车外环境的车外环境信息。
由此,信息提示控制装置能够在车外环境发生了使自动驾驶系统的驾驶内容变更这样的变化的情况下,向驾驶员提供驾驶信息。
另外,例如也可以为,表示工作状况的信息包括表示检测部所具有的检测器的异常的信息,不执行对象识别的识别部包括在对象识别中使用存在异常的检测器所输出的检测结果的识别部。或者,例如也可以为,表示工作状况的信息包括表示通信部的通信品质或者有没有执行通信的信息,不执行对象识别的识别部包括构成为在对象识别中使用通信部的通信品质比预定品质差的状况或者通信部没有在执行通信的状况下的、通过通信部来通信的信息的识别部。
由此,信息提示控制装置能够将如下驾驶信息提供给驾驶员,即所述驾驶信息反映了根据是否取得了对象识别所需的信息而选择的识别部的选择状况。
另外,例如也可以为,提示控制部166对使用声音和图像中的至少一方来向驾驶员提示驾驶信息进行控制。
由此,信息提示控制装置能够使用声音、动态图像、静态图像或指示灯、或者它们的组合,将驾驶信息随时提示给驾驶中的驾驶员。
另外,例如也可以为,驾驶信息是包含自动驾驶系统不执行或者没有在执行的驾驶内容的信息。
由此,信息提示控制装置能够明确地向驾驶员提示应该由其自己进行的驾驶行动。
另外,本发明的一个技术方案涉及的自动驾驶车驾驶辅助系统具备自动驾驶系统以及上述的某一个信息提示控制装置。
由此,自动驾驶车的驾驶员能够随时知晓根据车辆上的状况而变化的、应该由自己进行的驾驶行动。
另外,本发明的一个技术方案涉及的自动驾驶车具备自动驾驶系统以及上述的某一个信息提示控制装置。
在该自动驾驶车中,可随时向驾驶员通知根据车辆或者驾驶员的状况而变化的、应该由其自己进行的驾驶行动。
此外,这些总括性的或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
以下,参照附图,具体对实施方式进行说明。
此外,下面说明的实施方式均表示总括性的或者具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅为一例,并非旨在限定本发明。另外,对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素,作为任意的构成要素进行说明。
(实施方式)
图1是表示实施方式中的包括具备信息提示控制装置的自动驾驶车在内的网络的构成的概略图。
自动驾驶车100是网络10的节点之一。自动驾驶车100在网络10中,能够将位于自身车辆外部的识别系统200利用于在自动驾驶中对周围状况的识别。
识别系统200例如是执行使用神经网络的深度学习、支持向量机(Support VectorMachine)或者Boosting等机器学习的系统,能够以高精度进行多类的图像识别。这样的识别系统200位于自动驾驶车100的外部,是自动驾驶车100为了自动驾驶而利用的识别部的一部分。将在后面对详细内容进行说明。
自动驾驶车100与识别系统200经由互联网等通信线路300进行通信。
表示后述的车载传感器检测出的、自身车辆的周围状况的信息从自动驾驶车100发送到基站350,并经由通信线路300传送到识别系统200。例如该信息作为表示车载摄像头(camera)(图像传感器)拍摄到的、自身车辆的周围状况的图像数据,传送到识别系统200。
识别系统200从接收到的信息中识别车辆周围的人和/或物等的存在、方向、距离、活动、其他特性等,将表示该识别结果的信息送回到自动驾驶车100。例如接收到上述的图像数据的识别系统200执行图像识别,识别该图像所拍到的人、道路标识及道路显示、障碍物、其他通行车辆等对象,并将表示该对象的信息经由通信线路300送回到自动驾驶车100。
在接收到该信息的自动驾驶车100中,自动驾驶车100所具备的后述的自动驾驶系统基于该信息,对加速器、制动器以及转向器等各种系统进行控制。
图2是表示自动驾驶车100的功能结构的功能框图。此外,不对自动驾驶车100的动力源进行限定,可以是用燃料工作的发动机、用电力工作的马达、以及发动机和马达双方(混合动力)中的任一方。
自动驾驶车100具备驾驶辅助接口110、导航系统140、自动驾驶系统150、信息提示控制装置160、存储部180以及天线190。
驾驶辅助接口110是自动驾驶车100与作为其用户的驾驶员之间的接口,是受理来自驾驶员的输入的构成要素以及向驾驶员提示信息的构成要素。例如,自动驾驶车100的驾驶员所操作的加速器、制动器、方向盘等驾驶操作部120、包括显示器的显示装置、仪表(meters)、指示灯、扬声器、麦克风、触摸面板、按钮类包含于驾驶辅助接口110。此外,也将它们中的能够通过驾驶员的视觉、听觉或者触觉来向其提示信息的构成要素称为提示装置。例如显示装置、仪表、指示灯、扬声器、方向盘、踏板类可以成为提示装置。方向盘以及踏板类例如能够在满足预定条件时通过振动来唤起驾驶员注意。
另外,在本实施方式的说明中,通过对这些操作部的操作所控制的驱动系统、制动系统以及操舵系统也包含于驾驶操作部120。
存储部180是保存导航系统140、自动驾驶系统150以及信息提示控制装置160各自为了执行处理而参照的后述的地图信息以及其他各种数据和/或程序的存储装置,例如使用硬盘、半导体存储器或DVD(Digital Versatile Disc,数码视像光碟)等记录介质、或者它们的组合来实现。
天线190是用于导航系统140、自动驾驶系统150以及信息提示控制装置160所进行的、与自动驾驶车100外部的信息通信的天线。此外,这些构成要素所进行的信息通信可以包括从卫星定位系统的人工卫星的接收、从VICS(注册商标)(Vehicle Information andCommunication System:道路交通信息通信系统)和/或ITS(Intelligent TransportSystems:智能道路交通系统)的接收、互联网通信等多种通信。
此外,图2的驾驶辅助接口110、存储部180以及天线190由导航系统140、自动驾驶系统150以及信息提示控制装置160共享,可被任一方访问(access),但不限定于此。但是,在图2中,即使在存在导航系统140、自动驾驶系统150以及信息提示控制装置160各自专用的驾驶辅助接口、存储部以及天线的情况下,也作为自动驾驶车100所具备的驾驶辅助接口110、存储部180以及天线190来分别合并表示。
导航系统140进行对自动驾驶车100的当前位置的取得、向目的地的路径搜索以及对驾驶员的路径引导。导航系统140包括当前位置取得部141、路径搜索部142、路径引导部143以及自主导航部144。
当前位置取得部141基于经由天线190从GPS(Global Positioning System,全球定位系统)卫星等卫星定位系统的人工卫星接收的信号、以及从后述的自主导航部144接收的表示加速度、角速度及车速的信号,取得当前位置。
路径搜索部142算出1个以上从当前位置到目的地的路径。
路径引导部143通过经由驾驶辅助接口110输出的图像和/或语音等,进行沿着由路径搜索部142搜索并由驾驶员选择的路径的、到目的地的引导。
自主导航部144具备加速度传感器、陀螺仪传感器以及车速计测器,将表示通过它们计测并取得的自动驾驶车100的加速度、角速度以及车速的信号发送给上述的当前位置取得部141。
将当前位置取得部141所取得的当前位置、路径搜索部142搜索到的路径以及路径引导部143所进行的引导与存储部180所存储的或者经由天线190从自身车辆的外部取得的地图信息以及交通信息相组合,经由驾驶辅助接口110提示给驾驶员。
如上的当前位置取得部141、路径搜索部142、路径引导部143以及自主导航部144是通过导航系统140的ECU读出并执行程序,并根据需要从传感器取得数据、参照保存于存储部180的地图信息等数据来实现的构成要素。
自动驾驶系统150具备检测部151、识别部152、状况判断部153、驾驶控制部154、自身车辆监视部155、选择部156以及通信部157。
检测部151由对自动驾驶车100的周围状况进行检测的各种传感器(检测器)构成。各种传感器的例子包括图像传感器、雷达(radar)以及激光雷达(lidar)。这些传感器输出表示检测出的周围状况的图像、反射波或者反射光等数据。
识别部152基于从检测部151输出的数据,针对周围状况识别对象。
在图2的例子中,自动驾驶系统150具备多个识别部152,识别各不相同的对象。此处所说的“不同对象的识别”指的是,例如某个识别部152识别自动驾驶车100周边的道路显示、其他识别部152识别其他通行体这一所识别的物(对象物)不同的情况。另外,作为另一例,指的是某个识别部152对识别出的物的某个位置(方向和距离)进行识别,另一识别部152对识别出的物的活动(速度和方向)进行识别,又一识别部152进行对识别出的物的活动预测。换言之,各识别部152在周围状况的识别中发挥不同的作用。
另外,除了上述的车上的识别部152,自动驾驶系统150还能够利用位于车外的上述的识别系统200(参照图1)来作为识别部。识别系统200基于自动驾驶系统150经由通信部157发送的、来自检测部151的数据,针对周围状况识别对象。识别系统200也与各识别部152识别不同的对象。另外,例如即使与识别部152识别同一物,识别系统200也能够进行更高度的识别。更高度的识别指的是,例如根据相同的图像数据,识别部152识别人及其位置,识别系统200进一步确定此人的年龄段、行动或者所持物品等。或者根据相同的图像数据,识别部152识别道路标识及其位置,识别系统200进一步确定该标识的指示内容。这种识别内容的差异也是本实施方式中的“不同对象的识别”的一例。
此外,从安全性的观点出发,为了确保冗余性,各识别部152以及识别系统200的识别对象也可以有一部分重复。
状况判断部153基于由识别部152或者识别系统200得到的识别的结果来进行危险预测,和/或根据需要并依据当前或者被预测的状况判断由驾驶员进行的驾驶操作部120的操作是否适当。另外,基于该危险预测和/或适当与否判断的结果,判断自动驾驶系统150是否对驾驶操作部120进行操作,并在自动驾驶系统150进行操作的情况下决定其内容。作为一例,状况判断部153基于表示与车道左右的白线的距离的周围信息,判断在车道内的自动驾驶车100的左右位置,在自动驾驶车100偏离车道的附近而进入与一方的白线相距一定的距离的范围内的状况持续了某一时间的情况下,决定执行使自动驾驶车100靠近车道中央的操舵系统的操作及其内容。
驾驶控制部154将用于实现状况判断部153所决定的操作的控制信号发送给驾驶操作部120。在接收到该控制信号的驾驶操作部120中,自动驾驶车100的驱动系统、制动系统以及操舵系统按照该控制信号来动作,转向器以及各踏板也根据需要而动作。
自身车辆监视部155对自动驾驶车100的状态进行常时(或者以毫秒单位的极短的时间周期)监视。该监视的对象例如包括上述的检测部151所包含的各种检测器或者通信部157。更具体而言是,监视检测器或者通信部157的有无故障等工作状况。
另外,与各检测器的通信的速度或者有无连接、以及通信部157的通信品质(例如通信速度、有无用于通信的连接、通信的稳定性)或者有没有执行通信也可以成为监视的对象。例如,对通信速度是否在如下阈值以上进行监视,所述阈值根据从周围状况的检测到驾驶控制所收发的数据量及其处理速度来决定。
除此之外,可能对各检测器和/或通信部157的动作产生影响的自动驾驶车100的构成要素的状况也可以是监视的对象。例如自动驾驶车100的电池的剩余量、自动驾驶系统150的资源消耗量也可以包含在监视对象中。
自身车辆监视部155例如通过从由自动驾驶车100具备的CAN(Controller AreaNetwork:控制器局域网络,未图示)传输的车载的各设备的控制信息(CAN信息)中提取与各设备或者自动驾驶车100的状态有关的信息(状态信息),执行上述的监视。
自身车辆监视部155随时将表示这样的工作状况等的信息提供给选择部156。
选择部156基于从自身车辆监视部155提供的信息,从多个识别部152以及识别系统200中选择执行上述的对象识别的识别部、或者不执行对象识别的识别部。
例如,在与识别系统200的通信速度在上述阈值以上的期间,选择部156选择识别系统200作为执行对象识别的识别器。另外,在表示工作状况的信息示出某个检测器的故障的情况下,选择部156从多个识别部152以及识别系统200中,选择在识别中使用发生故障的检测器所输出的数据的识别部,作为不执行对象识别的识别部。或者,选择部156选择上述的识别部以外的识别部作为执行对象识别的识别部。
选择部156按照预定规则来执行这样的选择。该预定规则例如包含于存储部180所保存的各种数据。选择部156在由自身车辆监视部155例如通知了表示检测器的预定动作状态的代码(code)时,参照相应的数据,取得与该代码对应的规则,并按照该规则执行对识别部的选择。
图3是表示该数据的例子的图。在图3的例子中,在通信不良(代码:01-001)的情况下,车外的识别部、也就是识别系统200被选择为不执行对象识别的识别部。或者,对于该规则,选择部156也可以仅选择车上的识别部152作为执行对象识别的识别部。
另外,对于检测器2的故障,规则中有两个条目(代码:02-020、02-021),作为不执行对象识别的识别部而被选择的识别部152的数量根据异常等级而不同。例如假定检测器2是包括对车辆前方进行拍摄的两个一组的摄像头的立体摄像头。另外,假定作为识别部152之一的识别部-02能够基于从这两个摄像头接收的图像数据,取得到车辆前方的物体的距离的信息。而且,假定识别部-03能够基于从一组摄像头中的至少一方接收的图像数据,取得自身车辆前方的物体的有无以及方向的信息。检测器2的异常等级A的故障(代码:02-020)仅表示一组摄像头的一方的故障。在该情况下,无法获取取得距离所需的数据的识别部-02被选择为不执行对象识别的识别部。另外,检测器2的异常等级B的故障(代码:02-021)是一组摄像头双方的故障。在该情况下,除了识别部-02,识别部-03也被选择为不执行对象识别的识别部。
另外,在电池的剩余量小于预定阈值的情况下(代码:03-010),例如选择使用从耗电量大的检测器输出的数据的识别部152作为不执行对象识别的识别部,或者从安全的观点出发仅选择优先级高的识别部作为执行对象识别的识别部,从而限制进行工作的识别部。
此外,虽未在图3中示例,但也可以在检测到上述的自动驾驶系统150的资源的裕度不足等性能低下的征兆的情况下,限制进行工作的识别部。
另外,选择部156输出选择信息,该选择信息表示实际基于从自身车辆监视部155输出的信息所进行的选择的状况(选择结果)。该选择信息被提供给信息提示控制装置160。
通信部157如上所述将检测部151输出的数据发送给车外的识别系统200,对识别系统200的识别结果进行接收并发送给状况判断部153。另外,将选择部156输出的选择信息发送给信息提示控制装置160。
图4是表示如上所述构成的自动驾驶系统150中的、到根据自动驾驶车100的状态来从多个识别部152以及识别系统200中选择识别部并提供选择信息为止的动作的步骤例的流程图。在本例中,进行与经由通信部157的通信的速度相应的识别部的选择。
在自动驾驶系统150中,自身车辆监视部155取得表示通信部157的通信速度的状态信息(步骤S40)。
选择部156基于该状态信息,从多个识别部152以及识别系统200中选择执行对象识别的识别部或者不执行对象识别的识别部。在通信的速度在预定阈值以上的情况下(步骤S41:是),选择部156选择车外的识别部、即识别系统200作为执行对象识别的识别部(步骤S42)。在通信的速度小于预定阈值的情况下(步骤S41:否),选择部156选择车上的多个识别部152中的至少一个作为执行对象识别的识别部(步骤S43)。
接着,选择部156为了向信息提示控制装置160提供而输出表示实际经过上述的步骤所进行的选择的状况的选择信息(步骤S44)。输出的选择信息可以发送给信息提示控制装置160,也可以写入存储部180而保存为各种数据的一部分。
此外,在步骤S43中,也可以取代上述选择、或者在上述选择的基础上,执行如选择车外的识别部作为不执行对象识别的识别部这样的选择。
如上的自动驾驶系统150的各构成要素通过自动驾驶系统150的ECU从存储部180中读出程序并执行,并根据需要从传感器取得数据、经由通信模块收发数据、参照存储部180所保存的各种数据来实现。
信息提示控制装置160是具备选择信息取得部161以及提示控制部166的、本实施方式中的信息提示控制装置的例子。
选择信息取得部161取得表示多个识别部的选择状况的选择信息,该多个识别部针对自动驾驶车100的周围状况识别各不相同的对象。多个识别部包括多个识别部152以及识别系统200。在本实施方式中,选择信息取得部161通过接收来取得从自动驾驶系统150发送的、选择部156实际所做出的、从多个识别部中选择的识别部的选择结果,更具体而言是,取得作为对执行对象识别的识别部和不执行对象识别的识别部中的至少一方的选择状况的选择信息。
提示控制部166根据选择信息取得部161取得的选择信息,使提示装置提示驾驶信息,该驾驶信息是与由自动驾驶车100的自动驾驶系统150进行的驾驶以及由驾驶员进行的驾驶中的至少一方有关的信息。
在此,更详细地对“驾驶信息”及其提示进行说明。
驾驶信息是用于使自动驾驶车的驾驶员得知应该由驾驶员自己进行的驾驶内容的信息。此处所说的驾驶内容指的是识别、推定、判断以及操作的各种驾驶行动。而且,驾驶信息例如是在自动驾驶系统150中某个对象的识别没有被进行时,表示该对象识别、或者基于该识别的推定、判断、进而基于该推定或判断的操作的信息,作为自动驾驶系统150不执行或没有在执行这一状况、或者驾驶员应该由自己进行的驾驶行动来提示给驾驶员。
对该驾驶信息的提示例如根据自动驾驶车100的驾驶员的要求随时地、或者在自动驾驶系统150能够执行的控制或不能执行的控制发生了变化时,通过提示装置使用语音和图像中的至少一方来进行。关于该图像,只要是驾驶员能够视觉识别的显示物,显示的方式不作限制。驾驶信息也可以包括使用位于驾驶员座椅周边的指示灯、和显示于显示装置的静态图像或动态图像中的某一方所提示的信息。
这样的驾驶信息由提示控制部166根据选择信息取得部161取得的选择信息来取得。例如,如图5所示的表示根据识别部的选择状况来提示的信息的数据预先保存于存储部180,提示控制部166参照该数据,基于从选择部156提供的选择信息,取得在自动驾驶系统150中接下来要执行的驾驶内容或接下来不执行的驾驶内容、或者当前正在执行的驾驶内容或没有在执行的驾驶内容的信息,并将该信息作为驾驶信息提示给驾驶员。
例如,假定提示控制部166新收到了表示作为识别部152之一的识别部-01被选择为在执行对象识别的识别部的状况的选择信息的情况。在该情况下,提示控制部166在“识别部”列中寻找“识别部-01”,并在数据行的第2行将其找到。接着,参照该行的左起第2列,取得作为能够进行用于车道保持(lane keep)的自动操舵的信息。而且,提示控制部166将对预定的模板消息的可变部分代入该信息而得到的消息显示于显示部、或者通过来自扬声器的语音进行输出从而将驾驶信息提示给驾驶员。
列举由提示控制部166进行的驾驶信息提示的方式的另一例。在图5的表中,“识别执行时的提示信息1”列中示出了各识别部被选择为执行对象识别的识别部时显示于显示装置的图像数据的名字。
另外,“识别执行时的提示信息2”列中示出了各识别部被选择时显示于该显示装置的文字串数据的名字。
另外,“识别非执行时的提示信息1”列中示出了各识别部被选择为不执行对象识别的识别部时从扬声器输出的语音数据的名字。
这些图像数据、文字串数据以及语音数据分别是表示驾驶信息的数据,被保存于存储部180。提示控制部166也可以参照图5的表并基于选择信息取得部161取得的选择信息,取得各数据,通过使该数据的内容作为图像和/或文字串而显示于显示装置,或作为语音消息而从扬声器输出,从而将其作为驾驶信息提示给驾驶员。此外,作为信息提示的其他例子,可在如图5所示的表中按各识别部的选择的各状况来指定使其点亮的指示灯或者进一步指定其显示方式(点亮、熄灭、照明灯的颜色等)。提示控制部166通过按照该指定使指示灯动作,提示驾驶信息。
图6是表示根据如上所述构成的信息提示控制装置160中的、从选择信息的取得到驾驶信息的提示的动作的步骤例的流程图。
在信息提示控制装置160中,当选择信息取得部161取得自动驾驶系统150输出的选择信息时(步骤S61:是),提示控制部166基于该选择信息取得驾驶信息(步骤S62)。
接着,提示控制部166使所取得的该驾驶信息通过适当的提示装置提示给驾驶员(步骤S63)。
如上的选择信息取得部161以及提示控制部166是通过信息提示控制装置160的ECU读出并执行程序,并从其他构成要素取得所需的数据、参照存储部180所保存的数据来实现的构成要素。
至此,对自动驾驶系统150以及信息提示控制装置160各自的动作进行了说明。以下,列举在具备自动驾驶系统150以及信息提示控制装置160的自动驾驶车100中的从识别部的选择到驾驶信息的提示的一系列流程的具体例子。
例如,在自动驾驶系统150中,基于在自身车辆监视部155进行的监视中所取得的状态信息(图4的步骤S40),判明为通信部157正在进行的通信的速度小于预定阈值的情况下(图4的步骤S41:否),选择部156接收该判明的结果并选择车上的多个识别部152中的至少一个作为进行对象识别的识别器(图4的步骤S43)。
此时,假定被选择为进行对象识别的车上的识别器是识别部-01。识别部-01基于从检测部151取得的图像数据,识别自身车辆在车道内的左右位置,并向状况判断部153提供表示该识别结果的信息。状况判断部153基于该信息判断在车道内的左右位置是否适当,在不适当的情况下使驾驶控制部154进行将自身车辆返回到适当的左右位置的转向器操作。
表示这样的识别部的选择状况的选择信息从选择部156输出并提供给信息提示控制装置160(图4的步骤S44)。
在选择信息取得部161取得该选择信息时(图6的步骤S61),提示控制部166基于该选择信息,参照图5的表来取得驾驶信息的数据(步骤S62)。在上述的假定中,参照图5的表所取得的数据是图像数据imgLaneKeep以及文字串数据txtLaneKeep。图7是表示提示控制部166使提示装置中的显示装置提示这些数据(步骤S63)的例子的图。
在本例中,显示于画面左半部分的图像与图5的表所示的图像数据imgLaneKeep对应,显示于画面右半部分的消息与文字串数据txtLaneKeep对应。
在显示装置中,使用图像数据imgLaneKeep,示出选择了识别部-01时由自动驾驶系统150所执行的车道保持。此外,车道保持是包括识别、判断或推测、以及操舵系统的操作的驾驶。
另外,使用文字串数据txtLaneKeep,在画面右上方示出选择了识别部-01时由自动驾驶系统150所执行的车道保持。再者,在画面右下方,示出了与由驾驶员进行的驾驶有关的信息。此外,与由驾驶员进行的驾驶有关的信息也是自动驾驶系统150不执行或者没有在执行的驾驶的内容。通过该显示,驾驶员能够知晓需要由自己进行的驾驶行动。
此外,该文本也可以自动地或者根据驾驶员的要求而被读出,以使驾驶员可以不用注视显示装置的画面。
另外,作为另一例,假定在判明为通信部157正在进行的通信的速度小于预定阈值时(图4的步骤S41:否),选择部156选择了车上的识别部152中的识别部-03作为进行对象识别的车上的识别器的情况(图4的步骤S43)。
识别部-03基于从检测部151取得的数据,识别自动驾驶车100在路面上的位置,并向状况判断部153提供表示该识别结果的信息。状况判断部153基于该信息判断在路面上的位置是否适当,在不适当的情况下使驾驶控制部154进行使自身车辆返回到适当的位置的转向器操作、加速器操作以及制动器操作中所需的操作。
表示这样的识别部的选择状况的选择信息从选择部156输出并提供给信息提示控制装置160(图4的步骤S44)。
在选择信息取得部161取得该选择信息时(图6的步骤S61),提示控制部166基于该选择信息,参照图5的表来取得驾驶信息的数据(步骤S62)。在上述的假定中,参照图5的表所取得的数据是图像数据imgSfcKeep以及文字串数据txtSfcKeep。图8是表示提示控制部166使提示装置中的显示装置提示这些数据(步骤S63)的例子的图。
在本例中,显示于画面左半部分的图像与图5的表所示的图像数据imgSfcKeep对应,显示于画面右半部分的消息与文字串数据txtSfcKeep对应。
在显示装置中,使用图像数据imgSfcKeep,示出选择了识别部-03时由自动驾驶系统150所执行的路面保持驾驶。此外,路面保持是包括识别、判断或推测、以及驱动系统、制动系统和操舵系统的操作的驾驶。
另外,使用文字串数据txtSfcKeep,在画面右上方示出选择了识别部-03时由自动驾驶系统150所执行的路面保持驾驶。再者,在画面右下方,示出了与由驾驶员进行的驾驶有关的信息。通过该显示,驾驶员能够知晓需要由自己进行的驾驶行动。此外,与由驾驶员进行的驾驶有关的信息也是自动驾驶系统150不执行或者没有在执行的驾驶的内容。
另外,作为又一例,假定在判明为通信部157正在进行的通信的速度大于等于预定阈值时(图4的步骤S41:是),选择部156选择了车外的识别部(识别系统200)作为进行对象识别的识别器的情况(图4的步骤S42)。
识别系统200基于从检测部151取得的数据,对发生在自身车辆前方突然出现(突然窜出)人、其他通行体的情况进行预测,并向状况判断部153提供表示该预测结果的信息。状况判断部153基于该信息,使驾驶控制部154进行用于减速的制动、用于避撞的转向器操作。
表示这样的识别部的选择状况的选择信息从选择部156输出并提供给信息提示控制装置160(图4的步骤S44)。
在选择信息取得部161取得该选择信息时(图6的步骤S61),提示控制部166基于该选择信息,参照图5的表来取得驾驶信息的数据(步骤S62)。在上述的假定中,参照图5的表所取得的数据是图像数据imgRushPred以及文字串数据txtRushPred。图9是表示提示控制部166使提示装置中的显示装置提示这些数据(步骤S63)的例子的图。
在本例中,显示于画面左半部分的图像与图5的表所示的图像数据imgRushPred对应,显示于画面右半部分的消息与文字串数据txtRushPred对应。
在显示装置中,使用图像数据imgRushPred,示出选择了识别系统200时由自动驾驶系统150所执行的对突然出现的预测。此外,对突然出现的预测是包括识别、判断或推测、以及制动系统和操舵系统的操作的驾驶。
另外,使用文字串数据txtRushPred,在画面右上方示出选择了识别系统200时由自动驾驶系统150所执行的对突然出现的预测。再者,在画面右下方,示出了与由驾驶员进行的驾驶有关的信息。通过该显示,驾驶员能够知晓需要由自己进行的驾驶行动。此外,与由驾驶员进行的驾驶有关的信息也是自动驾驶系统150没有在执行的驾驶的内容。
如此,本实施方式中的信息提示控制装置160具备选择信息取得部161和提示控制部166。
选择信息取得部161取得表示多个识别部的选择状况的选择信息,该多个识别部针对自动驾驶车100的周围状况识别各不相同的对象。上述的多个识别部包括多个识别部152以及识别系统200。
提示控制部166根据该选择信息,使搭载于自动驾驶车100的提示装置提示驾驶信息,该驾驶信息是基于自动驾驶车100能够执行的控制和不能执行的控制中的至少一方的、与由自动驾驶车100的自动驾驶系统150进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。
由此,能够向驾驶员提供关于根据自动驾驶车的车辆上的状况而变化的由自动驾驶系统进行的驾驶或者自己应该进行的驾驶行动的信息(驾驶信息)。
例如,多个识别部的选择状况是从多个识别部中选择执行对象识别的识别部或者不执行对象识别的识别部的选择状况。
由此,信息提示控制装置160能够基于表示在自动驾驶系统150中被识别的对象或者不被识别的对象的信息,将驾驶信息提供给驾驶员。
例如,选择信息取得部161从自动驾驶系统150取得表示从多个识别部选择的识别部的选择结果的选择信息。
由此,信息提示控制装置160能够基于自动驾驶系统150中的识别部的实际的选择状况,将驾驶信息提供给驾驶员。
此外,选择信息的提供及取得的方式不限于此。
例如,也可以为,选择信息取得部161取得自动驾驶系统150中用于选择的判断所使用的选择判断材料信息,基于该选择判断材料信息来推定选择状况,由此取得选择信息。
此处所说的选择判断材料信息是在为了选择识别部的判断中使用的信息,例如是从上述的自身车辆监视部155提供的信息。在选择信息取得部161中,按照与选择部156使用的算法共通的算法,处理该选择判断材料信息。由此,选择信息取得部161通过推定选择部156要选择的识别部,取得表示选择状况的选择信息。
另外,例如也可以为,选择信息取得部161取得表示用于取得在对象识别中利用的信息的、自动驾驶车100所具有的检测部151或者通信部157的工作状况的信息,基于表示工作状况的信息来判断所选择的识别部,由此取得选择信息。
此处所说的表示工作状况的信息例如是自身车辆监视部155所取得的CAN上的控制信息。在选择信息取得部161中,基于该信息,判断不能执行对象识别的识别部。
通过上述这些,信息提示控制装置160无需等待自动驾驶系统150中的由选择部156进行的对识别部的选择就能够取得选择信息,因此,能够迅速将驾驶信息提供给驾驶员。
另外,也可以为,上述的表示工作状况的信息包括表示检测部151所具有的检测器的异常的信息,不执行对象识别的识别部包括在对象识别中使用存在异常的检测器所输出的检测结果的识别部。
另外,也可以为,上述的表示工作状况的信息包括表示通信部157的通信品质或者有没有执行通信的信息,不执行对象识别的识别部包括构成为在对象识别中使用通信部157的通信品质比预定品质差的状况或者通信部157没有在执行通信的状况下的、通过通信部157来通信的信息的识别部。
由此,信息提示控制装置160能够将如下驾驶信息提供给驾驶员,即所述驾驶信息反映了根据是否取得了对象识别所需的信息、或者是否发送了识别结果的数据而选择的识别部的选择状况。
另外,提示装置使用声音和图像中的至少一方来向驾驶员提示驾驶信息。
由此,信息提示控制装置160能够使用声音、动态图像、静态图像或由指示灯实现的视觉信息、或者它们的组合,将驾驶信息随时提示给驾驶中的驾驶员。
而且,驾驶信息是包含自动驾驶系统150不执行的驾驶内容的信息。
这样的信息表示自动驾驶系统150没有执行而需要驾驶员自己进行的驾驶行动。也就是说通过被提示该信息,驾驶员能够掌握应该由自己进行的驾驶行动。
(实施方式的变形例)
实施方式的变形例中的信息提示控制装置与信息提示控制装置160相同,搭载于具备自动驾驶系统的自动驾驶车。以下,以与实施方式的不同点为中心进行说明,对于共通的构成要素,使用共通的标号来表示,并省略说明。
图10是表示自动驾驶车1100的功能结构的功能框图。
在本变形例的自动驾驶车1100所具备的自动驾驶系统1150中,对于识别部的选择,除了实施方式,还能够进一步使用其他信息。
除了实施方式的构成要素,自动驾驶系统1150还具备行驶地点信息取得部1151、驾驶员状态信息取得部1152以及车外环境信息取得部1153。
行驶地点信息取得部1151基于保存于存储部180的地图信息,取得表示自动驾驶车1100正在行驶的地点的特征的行驶地点信息。“自动驾驶车1100正在行驶的地点”也称为自动驾驶车1100的行驶地点。
此处所说的“正在行驶的地点的特征”指的是,例如是普通道路还是高速道路等道路的划分;是连续直线还是连续弯曲等道路的形状;都市、城区或者山区等地域的类别;在隧道中还是隧道外面等特殊的状况。此外,例如从导航系统140的当前位置取得部141提供表示自动驾驶车1100正在行驶的地点、也就是当前位置的信息。行驶地点信息取得部1151取得的行驶地点信息被输出给选择部156。
驾驶员状态信息取得部1152监视位于自动驾驶车1100车内的驾驶员,取得表示驾驶员的身体状态的驾驶员状态信息。
此处所说的“驾驶员的身体状态”指的是,例如驾驶员的疲劳度、集中度、清醒度、身体状况变化等可能影响实现安全驾驶的状态。这样的驾驶员状态信息也可以通过如下方式取得:驾驶员状态信息取得部1152对驾驶员状态信息取得部1152所包含的、拍摄驾驶员或者计测驾驶员的生物体数据的各种传感器等(未图示)输出的数据、或者表示自动驾驶车1100的驾驶状况(例如连续驾驶时间、驾驶员对驾驶操作部120操作的状况)的CAN信息的数据进行解析而取得。驾驶员状态信息取得部1152取得的驾驶员状态信息被输出给选择部156。
车外环境信息取得部1153取得表示自动驾驶车1100的车外环境的车外环境信息。
此处所说的“车外环境”指的是,例如自动驾驶车1100正在行驶的地点的天气和/或亮度等自身车辆之外的状况、或者间接表示这些的信息(例如气温、时刻、视野、路面状况)。这样的车外环境信息既可以通过车外环境信息取得部1153所包含的传感器(未图示)来检测,也可以通过取得了自动驾驶系统1150的检测部151所包含的各检测器输出的数据的车外环境信息取得部1153对该数据进行解析来取得。或者,也可以经由通信部157取得来自自动驾驶系统的外部的可取得的信息(例如通过互联网发布的各地的气象信息或者交通信息)作为车外环境信息。车外环境信息取得部1153取得的车外环境信息被输出给选择部156。
如上的行驶地点信息取得部1151、驾驶员状态信息取得部1152以及车外环境信息取得部1153是通过自动驾驶系统1150的ECU读出并执行程序,并根据需要从传感器取得数据、参照保存于存储部180的数据来实现的构成要素。
另一方面,选择部156也可以为,除了自身车辆监视部155检测到的异常,还进一步根据从行驶地点信息取得部1151接收的行驶地点信息所表示的特征来选择识别部。或者,选择部156也可以进一步根据从驾驶员状态信息取得部1152接收的驾驶员状态信息所表示的驾驶员的身体状态来选择识别部。或者,选择部156也可以根据从车外环境信息取得部1153接收的车外环境信息所表示的车外环境来选择识别部。以下,使用具体例对根据这些信息所做的识别部的选择进行说明。
图11A是表示根据如上所述构成的自动驾驶系统1150中的选择部156的动作的一例的流程图。在本例中,除了与自身车辆监视部155所监视的通信状态有关的信息,选择部156还使用了行驶地点信息取得部1151输出的行驶地点信息。
选择部156基于从自身车辆监视部155提供的信息,对通信状态进行评价(步骤S80A)。具体而言,例如如果通信速度在预定阈值以上,则评价为通信状态良好。
在通信状态良好的情况下(步骤S80A:是),选择部156选择车外的识别部、即识别系统200作为执行对象识别的识别部(步骤S84A)。
在通信状态并非良好的情况下(步骤S80A:否),接着,选择部156从行驶地点信息取得部1151取得行驶地点信息。选择部156确定行驶地点信息所表示的自动驾驶车1100的行驶地点。
在自动驾驶车1100的行驶地点是高速道路的情况下(步骤S81A:“高速道路”),选择部156选择车上的识别部152之一的识别部-01作为执行对象识别的识别部(步骤S82A)。该所选择的识别部-01是识别表示道路的车辆通行区域(车道)的白线等的显示的识别部。
在自动驾驶车1100的行驶地点是山区的普通道路的情况下(步骤S81A:“山区普通道路”),选择部156选择不同于识别部-01的车上的另一识别部152、即识别部-05作为执行对象识别的识别部(步骤S83A)。所选择的识别部-05例如是识别妨碍通行的动物和/或石头等障碍物的识别部。
另外,例如第1规则以及第2规则也可以存储于存储部180。例如,第1规则是表示在通信状态并非良好并且自动驾驶车1100的行驶地点是高速道路的情况下,应该由选择部156选择的识别部是识别部-01这一情况的信息。例如,第2规则是表示在通信状态并非良好并且自动驾驶车1100的行驶地点是山区的普通道路的情况下,应该由选择部156选择的识别部是识别部-05这一情况的信息。
例如,在步骤S81A中,自动驾驶车1100的行驶地点是高速道路的情况下,选择部156也可以从存储部180中取得第1规则,作为与通信状态并非良好并且自动驾驶车1100的行驶地点是高速道路的情况对应的规则。在步骤S82A中,选择部156也可以按照第1规则来选择识别部-01。
例如,在步骤S81A中,自动驾驶车1100的行驶地点是山区的普通道路的情况下,选择部156也可以从存储部180中取得第2规则,作为与通信状态并非良好并且自动驾驶车1100的行驶地点是山区的普通道路的情况对应的规则。在步骤S83A中,选择部156也可以按照第2规则来选择识别部-05。
如此,在由选择部156按照预定的算法选择识别部后,选择信息被提供给信息提示控制装置160(步骤S85A)。在信息提示控制装置160中,提示控制部166取得与该选择信息相应的驾驶信息并提示给驾驶员。例如在选择了识别部-01的情况下,显示装置提示如图7所示的驾驶信息。
图11B是表示选择部156的动作的另一例的流程图。在本例中,进一步使用了驾驶员状态信息取得部1152输出的驾驶员状态信息。
选择部156基于从自身车辆监视部155提供的信息,对通信状态进行评价(步骤S80B)。
在通信状态良好的情况下(步骤S80B:是),选择部156选择车外的识别部、即识别系统200作为执行对象识别的识别部(步骤S85B)。
在通信状态并非良好的情况下(步骤S80B:否),接着,选择部156从行驶地点信息取得部1151取得行驶地点信息。选择部156确定行驶地点信息所表示的自动驾驶车1100的行驶地点。
在自动驾驶车1100的行驶地点是城区的普通道路的情况下(步骤S81B:“城区普通道路”),接着,选择部156从驾驶员状态信息取得部1152取得驾驶员状态信息。选择部156确定驾驶员状态信息所表示的驾驶员的身体的状态。在本例中,驾驶员的身体的状态指的是驾驶员的集中度。例如驾驶员的集中度指的是驾驶员对自动驾驶车1100的周围注视的程度。
此外,在步骤S81B中,行驶地点并非城区的普通道路的情况下,例如也可以进而进行上述的步骤S81A。而且也可以基于自动驾驶车1100的行驶地点来进行步骤S82A或者步骤S83A。例如也可以在步骤S82A或者步骤S83A之后进行步骤S85A。在本例中,省略对步骤S81A、步骤S82A、步骤S83A以及步骤S85A的说明。
在驾驶员状态信息表示驾驶员的集中度比预先确定的等级低的情况下(步骤S82B:“低”),选择部156判定为驾驶员没有注视着自动驾驶车1100的周围。在该情况下,选择部156选择车上的识别部152之一的识别部-06(步骤S83B)。此外,所选择的识别部-06是识别行人等人的识别部。
在驾驶员状态信息表示驾驶员的集中度在预先确定的等级以上的情况下(步骤S82B:“高”),选择部156判定为驾驶员注视着自动驾驶车1100的周围。在该情况下,选择部156选择不同于识别部-06的车上的另一识别部152、即识别部-02(步骤S84B)。此时所选择的识别部-02例如是识别与在同一车道前方行驶的汽车的距离(车间距离)的识别部。
另外,例如第3规则和第4规则也可以存储于存储部180。例如,第3规则是表示在通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路并且驾驶员状态信息表示驾驶员的集中度比预先确定的等级低的情况下,应该由选择部156选择的识别部是识别部-06这一情况的信息。例如,第4规则是表示在通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路并且驾驶员状态信息表示驾驶员的集中度在预先确定的等级以上的情况下,应该由选择部156选择的识别部是识别部-02这一情况的信息。
例如,在步骤S82B中,驾驶员状态信息表示驾驶员的集中度比预先确定的等级低的情况下,选择部156也可以从存储部180中取得第3规则,作为与通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路并且驾驶员的集中度比预先确定的等级低的情况对应的规则。在步骤S83B中,选择部156也可以按照第3规则来选择识别部-06。
例如,在步骤S82B中,驾驶员状态信息表示驾驶员的集中度在预先确定的等级以上的情况下,选择部156也可以从存储部180中取得第4规则,作为与通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路并且驾驶员状态信息表示驾驶员的集中度在预先确定的等级以上的情况对应的规则。在步骤S84B中,选择部156也可以按照第4规则来选择识别部-02。
如此,在由选择部156按照预定的算法选择识别部后,选择信息被提供给信息提示控制装置160(步骤S86B)。在信息提示控制装置160中,提示控制部166取得与该选择信息相应的驾驶信息并提示给驾驶员。例如在选择了识别部-06的情况下,显示装置提示如图12中示例的驾驶信息。在本例中,显示于画面左半部分的图像表示为提示控制部166所参照的图5的表中的图像数据imgPsnAvd,显示于画面右半部分的文本消息表示为文字串数据txtPsnAvd。图像数据imgPsnAvd表示选择了识别部-06时自动驾驶系统1150所执行的对人的避让。另外,关于文字串数据txtPsnAvd,选择了识别部-06时自动驾驶系统1150当前正在执行的驾驶(能够执行的驾驶)的内容表示在画面上方的框内,此时需要驾驶员自己进行的驾驶行动(自动驾驶系统1150没有在执行的驾驶内容)表示在画面下方的框内。
图11C是表示选择部156的动作的又一例的流程图。在本例中,进一步使用了车外环境信息取得部1153输出的车外环境信息。
选择部156基于从自身车辆监视部155提供的信息,对通信状态进行评价(步骤S80C)。
在通信状态良好的情况下(步骤S80C:是),选择部156选择车外的识别部、即识别系统200作为执行对象识别的识别部(步骤S86C)。
在通信状态并非良好的情况下(步骤S80C:否),接着,选择部156从行驶地点信息取得部1151取得行驶地点信息。选择部156确定行驶地点信息所表示的自动驾驶车1100的行驶地点。
在自动驾驶车1100的行驶地点是城区的普通道路的情况下(步骤S81C:“城区普通道路”),接着,选择部156从驾驶员状态信息取得部1152取得驾驶员状态信息。另外,选择部156确定驾驶员状态信息所表示的驾驶员的身体的状态。在本例中,驾驶员的身体的状态指的是驾驶员的集中度。
此外,在步骤S81C中,行驶地点并非城区的普通道路的情况下,例如也可以进行步骤S81A。而且也可以基于自动驾驶车1100的行驶地点来进行步骤S82A或者步骤S83A。例如也可以在步骤S82A或者步骤S83A之后进行步骤S85A。在本例中,省略对步骤S81A、步骤S82A、步骤S83A以及步骤S85A的说明。
在驾驶员状态信息表示驾驶员的集中度在预先确定的等级以上的情况下(步骤S82C:“高”),接着,选择部156从车外环境信息取得部1153取得车外环境信息。选择部156确定车外环境信息所表示的车外环境。车外环境在本例中是表示自动驾驶车1100外面的亮度的信息。
此外,在步骤S82C中,驾驶员状态信息表示驾驶员的集中度比预先确定的等级低的情况下,也可以进行步骤S83B以及步骤S86B。在本例中省略对步骤S83B以及步骤S86B的说明。
在车外环境信息表示自动驾驶车1100外面的亮度在预先确定的亮度以上的情况下(步骤S83C:“明亮”),选择部156选择车上的识别部152之一的识别部-02(步骤S84C)。此时所选择的识别部-02例如是识别与在同一车道前方行驶的汽车的距离(车间距离)的识别部。
在车外环境信息表示自动驾驶车1100外面的亮度比预先确定的亮度低的情况下(步骤S83C:“昏暗”),选择部156选择不同于识别部-02的车上的另一识别部152、即识别部-04(步骤S85C)。在此所选择的识别部-04例如是识别道路标识的显示内容的识别部。
另外,例如第5规则和第6规则也可以存储于存储部180。例如,第5规则是表示在通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路、驾驶员的集中度在预先确定的等级以上并且自动驾驶车1100外面的亮度在预先确定的亮度以上的情况下,应该由选择部156选择的识别部是识别部-06这一情况的信息。
第6规则是表示在通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路、驾驶员的集中度在预先确定的等级以上并且自动驾驶车1100外面的亮度比预先确定的亮度低的情况下,应该由选择部156选择的识别部是识别部-04这一情况的信息。
例如,在步骤S83C中,车外环境信息表示自动驾驶车1100外面的亮度在预先确定的亮度以上的情况下,选择部156也可以从存储部180中取得第5规则,作为与通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路、驾驶员的集中度在预先确定的等级以上并且自动驾驶车1100外面的亮度在预先确定的亮度以上的情况对应的规则。在步骤S84C中,选择部156也可以按照第5规则来选择识别部-02作为执行对象识别的识别部。
例如,在步骤S83C中,车外环境信息表示自动驾驶车1100外面的亮度比预先确定的亮度低的情况下,选择部156也可以从存储部180中取得第6规则,作为与通信状态并非良好、自动驾驶车1100的行驶地点是城区普通道路、驾驶员的集中度在预先确定的等级以上并且自动驾驶车1100外面的亮度比预先确定的亮度低的情况对应的规则。在步骤S85C中,选择部156也可以按照第6规则来选择识别部-04作为执行对象识别的识别部。
如此,在由选择部156按照预定的算法选择识别部后,选择信息被提供给信息提示控制装置160(步骤S87C)。在信息提示控制装置160中,提示控制部166取得与该选择信息相应的驾驶信息并提示给驾驶员。例如在选择了识别部-04的情况下,通过来自扬声器的语音消息,向驾驶员提示表示“按照标识对方向盘和制动器进行操作”这一自动驾驶系统1150当前正在执行的驾驶(能够执行的驾驶)的内容、以及“请多加注意行人和自行车并对方向盘和制动器进行操作”这一需要驾驶员自己进行的驾驶行动(自动驾驶系统1150没有在执行的驾驶内容)的驾驶信息。
以上说明的如图11A至图11C所示的识别部的选择以及与此相应的驾驶信息的提示例如在自动驾驶车中自动驾驶系统150在执行自动驾驶的期间反复进行,驾驶员能够随时收到关于需要由自己进行的驾驶行动的通知。
此外,选择信息的提供以及取得的方式不限于此。
例如,选择信息取得部161取得的选择判断材料信息也可以包括基于地图信息取得的、表示自动驾驶车正在行驶的地点的特征的行驶地点信息。另外,选择判断材料信息也可以包括驾驶员状态信息。另外,选择判断材料信息也可以包括车外环境信息。
在选择信息取得部161中,按照与选择部156使用的算法共通的算法,处理该选择判断材料信息。也就是说,选择信息取得部161也可以通过使用选择部156所使用的选择判断材料信息,执行图11A至图11C所记载的处理,推定选择部156要选择的识别部从而取得选择信息。
由此,信息提示控制装置160例如能够在自动驾驶车1100的行驶地点发生了使自动驾驶系统1150的驾驶内容变更这样的变化的情况下,将表示该变更的驾驶信息提供给驾驶员。或者,能够在驾驶员的身体状况发生了使自动驾驶系统1150的驾驶内容变更这样的变化的情况下,将表示该变更的驾驶信息提供给驾驶员。或者,能够在车外环境发生了使自动驾驶系统1150的驾驶内容变更这样的变化的情况下,将表示该变更的驾驶信息提供给驾驶员。
此外,自动驾驶系统1150的资源是有限的,所以,在自动驾驶系统1150中,不一定能够使所有的检测器和/或识别部一直工作来对驾驶控制进行辅助或者代为进行。因此,由自动驾驶系统1150进行的自动驾驶的内容限定于能够基于通过被选择部156选择出的识别部所取得的信息来进行的内容。而且,如上所述,识别部的选择不仅按照自身车辆上的设备的状况,而且还按照根据行驶地点、驾驶员的身体状态或者车外的环境而变化的、应该优先进行的自动驾驶的内容来变更。上述参照图11A至图11C说明的由选择部156进行的识别部的选择是用于该变更的选择的算法的例子,本发明不限定于这些例子。例如行驶地点信息、驾驶员状态信息和车外环境信息的组合、以及使用这些信息的顺序也可以不按照上述的说明。
(其他实施方式)
如上所述,作为在本申请中公开的技术的示例对实施方式以及变形例进行了说明。然而,本公开的技术不限定于此,也能够应用于进行了适当的变更、替换、附加、省略等的实施方式。另外,也能够将上述实施方式以及变形例中说明的各构成要素组合,作为新的实施方式。因此,以下示例其他实施方式。
识别部152所识别的对象并不限定于上述说明中作为例子列举出的车道、车间距离、人以及障碍物。例如识别的对象也可以是人当中的年轻人和/或老年人等更细分出的类型。或者,不限定于识别通行体的存在与否、到通行体为止的位置或距离、活动预测,也可以识别特定的动作状态。例如,也可以识别通行体的摇晃、行人对便携设备的画面的注视等动作状态。另外,也可以,根据这样细分并识别出的人和/或动作状态的识别来决定自身车辆的周围状况的危险度,根据该危险度决定与驾驶员之间的驾驶行动的分担,并将该决定内容作为驾驶信息使提示装置进行提示。
图13是在识别到危险度高的行人的情况下通过显示装置显示的驾驶信息的例子。在本例中,选择部156选择了识别部-07。根据表示该选择状况的选择信息,信息提示控制装置160的提示控制部166参照图5所示的表,取得图像数据imgSpdLmt以及文字串数据txtSpdLmt,使用这些数据来使显示装置显示图13的图像。在该图像中,作为驾驶信息而提示了与由自动驾驶系统进行的驾驶有关的信息以及与由驾驶员进行的驾驶有关的信息双方。
另外,在上述的例子中,关于驾驶信息的提示,仅示出了图像、文字以及语音的组合,但也可以仅使用它们中的某一个来提示。另外,不仅是将文字串读出的语音,也可以使用用于引起对驾驶信息存在变更这一情况的注意的声音。另外,也可以进一步与方向盘的振动和/或踏板的推回等触觉的通知进行组合。
另外,在上述的示例中,驾驶信息主要在车上的识别部之间选择有变更时被提示给驾驶员,但提示驾驶信息的定时不限定于此。也可以在选择从作为车外的识别部的识别系统200变更为车上的识别部时被提示。在该情况下,可以提示因通信状态不良而无法利用识别系统200的识别结果这一意思的信息。由于越是基于由车上轻量的识别部进行的识别的自动驾驶控制,功能受限制越多,因此在该情况下能够促使驾驶员注意到依赖自动驾驶系统的驾驶的辅助和/或代为进行少、也就是说应该由自己进行的驾驶行动多。
另外,在上述说明中,有在识别部的选择存在变更时将驾驶信息提示给驾驶员的记载,但提示驾驶信息的定时不限定于此。例如也可以作为对驾驶员的请求的响应来随时进行提示,所述请求是驾驶员通过驾驶辅助接口110并用预定的动作和/或语音做出的对驾驶信息的提示的请求。
另外,在上述说明中,有在信息提示控制装置中与异常的检测相应地进行识别部的选择的记载,但该选择例如只要根据异常有无的变化来进行即可。也就是说,例如也可以为,在有某些异常的情况下,选择部156被通知了表示没有该异常的信息时,选择部156也执行识别部的选择。由此,例如当能够根据来自自身车辆监视部155的信息判断出通信状态恢复了的情况和/或附着在车载传感器的表面的障碍物已消失的状况时,则选择部156执行识别部的选择。此外,变更识别部的选择状况的契机不限定于故障等异常,如上所述,自动驾驶车的当前位置、车外环境或者驾驶员的身体状态的变化等也可以成为契机。
另外,本发明也可以为,信息提示控制装置160与导航系统140或自动驾驶系统150(1150)、或者与它们双方合并从而作为自动驾驶车驾驶辅助系统来实现并提供。作为本例,图14是表示将自动驾驶系统1150和信息提示控制装置160合并而成的自动驾驶车驾驶辅助系统1000、以及具备该自动驾驶车驾驶辅助系统1000的自动驾驶车2100的构成的图。
另外,本发明也可以作为自动驾驶车100、1100或者2100来实现并提供。
此外,在上述各实施方式中,各构成要素既可以用专用的硬件构成,也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行装置将记录于硬盘或者半导体存储器等记录介质中的软件程序读出并执行来实现。在此,实现上述各实施方式的信息提示控制装置的程序如下。
即,该程序使自动驾驶车所搭载的计算机执行信息提示控制方法,所述信息提示控制方法是使自动驾驶车所搭载的提示装置提示信息的方法,包括:取得表示多个识别部的选择状况的选择信息的步骤,所述多个识别部针对自动驾驶车的周围状况识别互不相同的对象;根据选择信息,使提示装置提示驾驶信息的步骤,所述驾驶信息是基于自动驾驶车能够执行的控制和不能执行的控制中的至少一方的、与由自动驾驶车的自动驾驶系统进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。
另外,通过程序执行装置执行程序来实现的信息提示控制装置160、自动驾驶系统150或1500、或者自动驾驶车驾驶辅助系统1000、以及在它们各自所具有的功能性构成要素间的上述功能分担仅为一例,也可以进行变更。通过对这些构成要素以及功能任意进行分割、组合所实现的方式也包含在本发明的范围内。
以上,基于实施方式说明了一个或多个技术方案涉及的信息提示控制装置,但本发明并不限定于这些实施方式。只要不脱离本发明的宗旨,将本领域技术人员想到的各种变形应用于本实施方式和/或者将不同实施方式中的构成要素组合构成的形态也可以包含在一个或多个技术方案的范围内。
产业上的可利用性
本发明能够利用于自动驾驶车等。

Claims (16)

1.一种信息提示控制装置,其使自动驾驶车所搭载的提示装置提示信息,所述信息提示控制装置具备:
选择信息取得部,其取得表示多个识别部的选择状况的选择信息,所述多个识别部针对所述自动驾驶车的周围状况识别互不相同的对象;以及
提示控制部,其根据所述选择信息,使所述提示装置提示驾驶信息,所述驾驶信息是基于所述自动驾驶车能够执行的控制和不能执行的控制中的至少一方的、与由所述自动驾驶车的自动驾驶系统进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。
2.根据权利要求1所述的信息提示控制装置,
所述多个识别部的选择状况是从所述多个识别部中选择执行所述对象识别的识别部或者不执行所述对象识别的识别部的选择状况。
3.根据权利要求2所述的信息提示控制装置,
所述选择信息取得部从所述自动驾驶系统取得表示从所述多个识别部选择的识别部的选择结果的所述选择信息。
4.根据权利要求2所述的信息提示控制装置,
所述选择信息取得部取得在为了从所述多个识别部选择识别部的判断中使用的选择判断材料信息,基于所述选择判断材料信息来推定所述选择状况,由此取得所述选择信息。
5.根据权利要求2所述的信息提示控制装置,
所述选择信息取得部取得表示用于取得在所述对象识别中利用的信息的、所述自动驾驶车所具有的检测部或者通信部的工作状况的信息,基于表示所述工作状况的信息来判断所选择的识别部,由此取得所述选择信息。
6.根据权利要求4所述的信息提示控制装置,
所述选择判断材料信息包括基于地图信息取得的、表示所述自动驾驶车正在行驶的地点的特征的行驶地点信息。
7.根据权利要求4所述的信息提示控制装置,
所述选择判断材料信息包括表示所述驾驶员的身体状态的驾驶员状态信息。
8.根据权利要求4所述的信息提示控制装置,
所述选择判断材料信息包括表示所述自动驾驶车的车外环境的车外环境信息。
9.根据权利要求5所述的信息提示控制装置,
表示所述工作状况的信息包括表示所述检测部所具有的检测器的异常的信息,
不执行所述对象识别的识别部包括在所述对象识别中使用存在异常的所述检测器所输出的检测结果的识别部。
10.根据权利要求5所述的信息提示控制装置,
表示所述工作状况的信息包括表示所述通信部的通信品质或者有没有执行通信的信息,
不执行所述对象识别的识别部包括构成为在所述对象识别中使用所述通信部的通信品质比预定品质差的状况或者所述通信部没有在执行通信的状况下的、通过所述通信部来通信的信息的识别部。
11.根据权利要求1所述的信息提示控制装置,
所述提示控制部对使用声音和图像中的至少一方来向所述驾驶员提示所述驾驶信息进行控制。
12.根据权利要求1所述的信息提示控制装置,
所述驾驶信息是包含所述自动驾驶系统不执行或者没有在执行的驾驶内容的信息。
13.一种自动驾驶车驾驶辅助系统,具备:
自动驾驶系统,其基于从多个识别部中所选择的识别部的识别结果,控制自动驾驶车的驾驶的执行,所述多个识别部针对所述自动驾驶车的周围状况识别互不相同的对象;以及
权利要求1所述的信息提示控制装置。
14.一种自动驾驶车,具备权利要求13所述的自动驾驶车驾驶辅助系统。
15.一种信息提示控制方法,是使自动驾驶车所搭载的提示装置提示信息的方法,包括:
取得表示多个识别部的选择状况的选择信息,所述多个识别部针对所述自动驾驶车的周围状况识别互不相同的对象;
根据所述选择信息,使所述提示装置提示驾驶信息,所述驾驶信息是基于所述自动驾驶车能够执行的控制和不能执行的控制中的至少一方的、与由所述自动驾驶车的自动驾驶系统进行的驾驶和由驾驶员进行的驾驶中的至少一方有关的信息。
16.一种信息提示程序,是用于使计算机执行权利要求15所述的信息提示控制方法的程序,所述计算机搭载于自动驾驶车。
CN201710224339.3A 2016-04-15 2017-04-07 信息提示控制装置、自动驾驶车及其驾驶辅助系统 Active CN107298021B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-082105 2016-04-15
JP2016082105 2016-04-15
JP2016252131A JP7079069B2 (ja) 2016-04-15 2016-12-26 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
JP2016-252131 2016-12-26

Publications (2)

Publication Number Publication Date
CN107298021A true CN107298021A (zh) 2017-10-27
CN107298021B CN107298021B (zh) 2022-03-08

Family

ID=58714884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710224339.3A Active CN107298021B (zh) 2016-04-15 2017-04-07 信息提示控制装置、自动驾驶车及其驾驶辅助系统

Country Status (3)

Country Link
US (1) US10496889B2 (zh)
EP (1) EP3232289B1 (zh)
CN (1) CN107298021B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409280A (zh) * 2018-10-22 2019-03-01 郑州云海信息技术有限公司 一种行车告警系统、方法、设备、平台及介质
CN109835343A (zh) * 2017-11-27 2019-06-04 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110217228A (zh) * 2018-03-02 2019-09-10 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110254438A (zh) * 2018-03-12 2019-09-20 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN110733496A (zh) * 2018-07-18 2020-01-31 松下知识产权经营株式会社 信息处理装置、信息处理方法以及记录介质
CN110884495A (zh) * 2018-09-07 2020-03-17 上海擎感智能科技有限公司 自动驾驶功能的启动方法/系统、可读存储介质及车机端
CN111189464A (zh) * 2018-11-14 2020-05-22 丰田自动车株式会社 自动驾驶装置以及导航装置
CN111308999A (zh) * 2018-11-26 2020-06-19 丰田自动车株式会社 信息提供装置以及车载装置
WO2020147360A1 (zh) * 2019-01-15 2020-07-23 北京百度网讯科技有限公司 用于无人车的控制方法和装置
CN111627130A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 评价装置
CN112660145A (zh) * 2020-12-24 2021-04-16 李敏 一种无人驾驶车辆的控制系统及其控制方法
CN113581098A (zh) * 2020-04-30 2021-11-02 丰田自动车株式会社 车辆用控制系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器(美国)知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体
CN107298021B (zh) * 2016-04-15 2022-03-08 松下电器(美国)知识产权公司 信息提示控制装置、自动驾驶车及其驾驶辅助系统
CN106080590B (zh) * 2016-06-12 2018-04-03 百度在线网络技术(北京)有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
US10029698B2 (en) * 2016-07-19 2018-07-24 Futurewei Technologies, Inc. Adaptive passenger comfort enhancement in autonomous vehicles
US10549759B1 (en) * 2017-01-19 2020-02-04 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for improving operation of autonomous vehicles
US20180348751A1 (en) * 2017-05-31 2018-12-06 Nio Usa, Inc. Partially Autonomous Vehicle Passenger Control in Difficult Scenario
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
CN111038521A (zh) * 2018-10-11 2020-04-21 顾泽苍 一种自动驾驶“意识决定”模型的构成方法
JP7402861B2 (ja) * 2019-03-28 2023-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及び情報処理システム
US20220146664A1 (en) * 2019-03-28 2022-05-12 Sony Semiconductor Solutions Corporation Signal processing device, signal processing method, program, and information processing device
JP7226104B2 (ja) * 2019-05-30 2023-02-21 株式会社デンソー 情報提示装置、情報提示方法および情報提示プログラム
USD928804S1 (en) * 2019-06-12 2021-08-24 Perceptive Automata, Inc. Display panel of a programmed computer system with a graphical user interface
USD928177S1 (en) * 2019-06-12 2021-08-17 Perceptive Automata, Inc. Display panel of a programmed computer system with a graphical user interface
USD928803S1 (en) * 2019-06-12 2021-08-24 Perceptive Automata, Inc. Display panel of a programmed computer system with a graphical user interface
US20200019177A1 (en) * 2019-09-24 2020-01-16 Intel Corporation Cognitive robotic systems and methods with fear based action/reaction
CN113505830B (zh) * 2021-07-09 2024-04-02 西安交通大学 旋转机械故障诊断方法、系统、设备及存储介质
CN116788278A (zh) * 2022-03-17 2023-09-22 北京图森智途科技有限公司 用于无人驾驶车辆的信息提示系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175597A (ja) * 2000-12-07 2002-06-21 Hitachi Ltd 自動車の走行制御システム
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
CN104822573A (zh) * 2012-11-30 2015-08-05 谷歌公司 确定并显示自主车辆中的自动驾驶车道
US20150234382A1 (en) * 2014-02-17 2015-08-20 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for controlling driving device of self-driving vehicle
WO2015156146A1 (ja) * 2014-04-09 2015-10-15 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195595A (ja) 1992-12-25 1994-07-15 Mazda Motor Corp 車両用表示装置
US5983161A (en) * 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US8294975B2 (en) * 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
JP4197209B2 (ja) * 1999-05-21 2008-12-17 株式会社小松製作所 車両の無人走行システム
US7289019B1 (en) * 2004-05-13 2007-10-30 Jon Kertes Vehicle avoidance collision system
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
DE102006049249A1 (de) * 2006-10-19 2008-04-30 Robert Bosch Gmbh Verfahren zum Informieren des Fahrers eines Kraftfahrzeugs
US9006994B2 (en) * 2009-03-31 2015-04-14 Osram Sylvania Inc. Dual voltage and current control feedback loop for an optical sensor system
WO2013088535A1 (ja) * 2011-12-14 2013-06-20 トヨタ自動車株式会社 車両用情報伝達装置
US8718861B1 (en) * 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
DE102013002533A1 (de) * 2013-02-13 2014-08-14 Audi Ag Verfahren und Vorrichtung zur Darstellung von Informationen eines Systems
DE102013102087A1 (de) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
WO2016151750A1 (ja) * 2015-03-24 2016-09-29 パイオニア株式会社 地図情報記憶装置、自動運転制御装置、制御方法、プログラム及び記憶媒体
CN107298021B (zh) * 2016-04-15 2022-03-08 松下电器(美国)知识产权公司 信息提示控制装置、自动驾驶车及其驾驶辅助系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175597A (ja) * 2000-12-07 2002-06-21 Hitachi Ltd 自動車の走行制御システム
CN104822573A (zh) * 2012-11-30 2015-08-05 谷歌公司 确定并显示自主车辆中的自动驾驶车道
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US20150234382A1 (en) * 2014-02-17 2015-08-20 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for controlling driving device of self-driving vehicle
WO2015156146A1 (ja) * 2014-04-09 2015-10-15 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835343B (zh) * 2017-11-27 2022-03-08 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN109835343A (zh) * 2017-11-27 2019-06-04 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110217228A (zh) * 2018-03-02 2019-09-10 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110254438A (zh) * 2018-03-12 2019-09-20 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN110733496A (zh) * 2018-07-18 2020-01-31 松下知识产权经营株式会社 信息处理装置、信息处理方法以及记录介质
CN110884495A (zh) * 2018-09-07 2020-03-17 上海擎感智能科技有限公司 自动驾驶功能的启动方法/系统、可读存储介质及车机端
CN109409280A (zh) * 2018-10-22 2019-03-01 郑州云海信息技术有限公司 一种行车告警系统、方法、设备、平台及介质
CN111189464A (zh) * 2018-11-14 2020-05-22 丰田自动车株式会社 自动驾驶装置以及导航装置
CN111189464B (zh) * 2018-11-14 2023-04-11 丰田自动车株式会社 自动驾驶装置以及导航装置
CN111308999A (zh) * 2018-11-26 2020-06-19 丰田自动车株式会社 信息提供装置以及车载装置
CN111308999B (zh) * 2018-11-26 2023-10-03 丰田自动车株式会社 信息提供装置以及车载装置
WO2020147360A1 (zh) * 2019-01-15 2020-07-23 北京百度网讯科技有限公司 用于无人车的控制方法和装置
CN111627130A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 评价装置
CN111627130B (zh) * 2019-02-27 2023-01-17 丰田自动车株式会社 评价装置
CN113581098A (zh) * 2020-04-30 2021-11-02 丰田自动车株式会社 车辆用控制系统
CN113581098B (zh) * 2020-04-30 2024-01-02 丰田自动车株式会社 车辆用控制系统
CN112660145A (zh) * 2020-12-24 2021-04-16 李敏 一种无人驾驶车辆的控制系统及其控制方法

Also Published As

Publication number Publication date
EP3232289B1 (en) 2021-11-03
US10496889B2 (en) 2019-12-03
US20170300762A1 (en) 2017-10-19
CN107298021B (zh) 2022-03-08
EP3232289A1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
CN107298021A (zh) 信息提示控制装置、自动驾驶车及其驾驶辅助系统
CN109949590B (zh) 交通信号灯状态评估
CN112825136B (zh) 自主机器应用中使用radar传感器检测障碍物的深度神经网络
US10296796B2 (en) Video capturing device for predicting special driving situations
CN105835886B (zh) 驾驶辅助装置
JP7079069B2 (ja) 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
CN108883772A (zh) 驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助方法及程序
US20200307616A1 (en) Methods and systems for driver assistance
US10737702B2 (en) Visually simulating driving plans in autonomous vehicles
CN110641472A (zh) 基于神经网络的用于自主车辆的安全监控系统
JP2019145074A (ja) 少なくとも1つの道路と関連するインフラベースの安全警報を与えるためのシステム及び方法
CN108885836A (zh) 驾驶辅助方法和利用该驾驶辅助方法的驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助系统以及程序
JP6889274B2 (ja) 走行モデル生成システム、走行モデル生成システムにおける車両、処理方法およびプログラム
US11657318B2 (en) Assessing ride quality for autonomous vehicles
CN108973990A (zh) 用于自动驾驶控制的方法、介质和系统
JP2017159881A (ja) 認識結果提示装置、認識結果提示方法及び自律移動体
CN111186373B (zh) 报告装置
JP2019109675A (ja) 運転行動データ生成装置、運転行動データベース
JP2020125027A (ja) 車両並びにその制御装置及び制御方法
CN110371123A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2019079363A (ja) 車両制御装置
CN115699104A (zh) 交通灯分类系统的无标记性能评估器
CN116783105A (zh) 自主车辆的车载反馈系统
US20230415766A1 (en) Lane segment clustering using hybrid distance metrics
US11926259B1 (en) Alert modality selection for alerting a driver

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant