JP2020125106A - Ｖ２ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置 - Google Patents

Ｖ２ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置 Download PDF

Info

Publication number
JP2020125106A
JP2020125106A JP2020007738A JP2020007738A JP2020125106A JP 2020125106 A JP2020125106 A JP 2020125106A JP 2020007738 A JP2020007738 A JP 2020007738A JP 2020007738 A JP2020007738 A JP 2020007738A JP 2020125106 A JP2020125106 A JP 2020125106A
Authority
JP
Japan
Prior art keywords
pedestrian
vehicle
autonomous
traveling
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020007738A
Other languages
English (en)
Other versions
JP6921442B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
申東洙
Dongsoo Shin
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
李明春
Myeong-Chun Lee
李炯樹
Hyungsoo Lee
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020125106A publication Critical patent/JP2020125106A/ja
Application granted granted Critical
Publication of JP6921442B2 publication Critical patent/JP6921442B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265—Automatic obstacle avoidance by steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

【課題】歩行者や搭乗者に対して作動中である自律走行車両の現在の走行意図を示す信号を効果的に伝達することができる方法を提供する。【解決手段】走行意図シグナリング装置１００が、（ａ）周辺映像イメージを利用して自律走行車両前方に位置する歩行者を検出し、仮想横断歩道を利用して歩行者が道路を横断するか否かを判断する段階、（ｂ）歩行者が道路を横断するものと判断されると、特定歩行者の移動軌跡を参照して歩行者の予想経路に対応する横断軌跡を予測し、走行情報と横断軌跡とを参照して自律走行車両の走行プランを設定し、走行プランにしたがって自律走行車両に自律走行させる段階、及び（ｃ）視線パターンを参照して、特定歩行者が自律走行車両に注意しているのかを判断し、そうでなければ、外部ディスプレイ４２及び外部スピーカ４３を通じて前記走行意図が歩行者及び近傍の運転者に伝達されるようにする段階、を含む。【選択図】図２

Description

本発明は、自律走行車両の現在の走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）を他者にシグナリング（Ｓｉｇｎａｌｉｎｇ）する方法及び装置に関し、より詳細には、自律走行車両の道路を横断する歩行者の横断軌跡（Ｃｒｏｓｓｗａｌｋｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を予測して自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定し、歩行者が自律走行車両に注意していない場合、外部ディスプレイ及び外部スピーカのうち少なくとも一つを通じて自律走行車両の前記走行意図を歩行者に認知させる方法及び装置に関する。
自律走行車両は、ある場所から他の場所に乗客を輸送するのに役立つ様々なコンピューティングシステムを使用する。一部の自律走行車両は、パイロット、運転者または乗客のような運営者から一部の初期入力または連続入力を取得することができる。他の各システム、例えばオートパイロットシステムは、運営者が手動走行モードから自動走行モードに変更させることができる。
このような自動車は、周辺環境において物体を検出するために、様々な種類のセンサを一般的に装着している。例えば、自律走行車両はレーザー（Ｌａｓｅｒ）、音波探知機（Ｓｏｎａｒ）、レーダ（Ｒａｄａｒ）、カメラ及び自動車の周辺環境をスキャンして格納することができるその他の装置を含むことができる。このような装置からのセンサデータは、各物体とそれらにそれぞれ対応する特徴（位置、形、方向、速力など）を検出するのに使用され得る。
一般的な運転者は、アイコンタクト、手振りの使用、及び他の形態のコミュニケーションを含む多くの様々な方法により自らの意図を表現して、歩行者とコミュニケーションを取ることができる。これを通じて、運転者は歩行者に対して道を安全に渡れるということを知らせることができる。しかしながら、自律走行車両には、手動走行自動車に一般的に取り付けられるシグナリング装置である方向信号、ヘッドライト、ハイビーム、ブレーキランプ、バックランプ及び一部の聴覚信号（警笛、バックランプアラームなど）の他に自動車の未来行動に対して直接コミュニケーションを取ることができる機能がない。また、運転者が歩行者と視線を合わせたり、歩行者に対して手を振ったり、言葉をかけたり、明かりを照らしたりする以外に横断歩道で自動車の速度を落としたり、止めたりすることのみで歩行者に対して横断歩道を渡る間待機する意思を十分に知らせることができるが、このような運転者の開示信号なしに自動車が止まれば、歩行者は横断歩道を安全に渡ることができるとの確信が十分に得られないことがあり得る。
したがって、本発明では、自律走行車両の現在の走行意図を人に効果的にシグナリング（Ｓｉｇｎａｌｉｎｇ）し得るようにする方策を提案する。
本発明は、上述した問題点を全て解決することをその目的とする。
本発明は、少なくとも一人の歩行者や少なくとも一人の搭乗者が、作動中である自律走行車両の走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）を認識させることを他の目的とする。
本発明は、作動中である自律走行車両の走行意図を示す信号を歩行者や搭乗者に対して伝送するのに使用される最適情報（Ｏｐｔｉｍａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を取得することをまた他の目的とする。
本発明は、歩行者や搭乗者に対して作動中である自律走行車両の現在の走行意図を示す信号を効果的に伝達することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記のとおりである。
本発明の一態様によると、自律走行車両の少なくとも一つの走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）をシグナリング（Ｓｉｇｎａｌｉｎｇ）する方法において、（ａ）走行意図シグナリング装置（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ Ｓｉｇｎａｌｉｎｇ Ｄｅｖｉｃｅ）が、前記自律走行車両の少なくとも一つの周辺映像イメージ（Ｓｕｒｒｏｕｎｄｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｅ）を利用して前記自律走行車両の近傍前方領域に位置する少なくとも一人の歩行者を検出するプロセス、及び前記歩行者の位置のうち一つに対応する仮想横断歩道（Ｖｉｒｔｕａｌ Ｃｒｏｓｓｗａｌｋ）を利用して、前記歩行者のうち特定歩行者が、前記自律走行車両が走行する道路を横断するか否かを判断するプロセスを遂行する段階；（ｂ）前記特定歩行者が前記道路を横断するものと判断されれば、前記走行意図シグナリング装置は、前記特定歩行者の少なくとも一つの移動軌跡（Ｍｏｖｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を参照して前記特定歩行者が前記道路を横断しようとする少なくとも一つの予想経路に対応する少なくとも一つの横断軌跡（Ｃｒｏｓｓｗａｌｋｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を予測するプロセス、前記自律走行車両の走行情報と前記横断軌跡とを参照して前記自律軌跡を参照して前記自律走行車両の少なくとも一つの走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定するプロセス、及び前記走行プランにしたがって前記自律走行車両を走行させるプロセスを遂行する段階；及び（ｃ）前記走行意図シグナリング装置が、前記周辺映像イメージを利用することによって前記特定歩行者の少なくとも一つの視線パターン（Ｇａｚｅ Ｐａｔｔｅｒｎ）を参照して、前記特定歩行者が前記自律走行車両に注意しているのかを判断するプロセス、及び前記特定歩行者が前記自律走行車両に注意していないものと判断されると、前記自律走行車両に設置された外部ディスプレイ及び外部スピーカのうち少なくとも一つを通じて、前記走行プランに対応する前記自律走行車両の前記走行意図が、前記特定歩行者及び少なくとも一台の周辺自動車の少なくとも一人の運転者のうち少なくとも一人に伝達されるようにするプロセスを遂行する段階；を含むことを特徴とする。
一実施例において、前記（ｃ）段階で、前記走行意図シグナリング装置は、（ｉ）予め設定された参照時間（Ｐｒｅｓｅｔ Ｒｅｆｅｒｅｎｃｅ Ｔｉｍｅ）の間、前記特定歩行者の視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの視線タイムセクション（Ｇａｚｅ Ｔｉｍｅ Ｓｅｃｔｉｏｎ）の累積和が予め設定された第１閾値以下である場合、又は（ｉｉ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置していない時間が予め設定された第２閾値以上である場合には、前記特定歩行者の前記視線パターンを参照して、前記特定歩行者が前記自律走行車両に注意していないものと判断するプロセスを遂行することを特徴とする。
一実施例において、前記走行意図シグナリング装置は、（ｉｉｉ）前記予め設定された参照時間の間、前記特定歩行者の前記視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの前記視線タイムセクションの累積和が、前記予め設定された第１閾値超過である場合、又は（ｉｖ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置した時間が予め設定された第３閾値以上である場合には、前記特定歩行者が前記自律走行車両に注意しているものと判断するプロセスを遂行することを特徴とする。
一実施例において、前記（ａ）段階で、（ｉ）前記道路の道幅に対応し、両側が前記道路とそれぞれの歩道との間におけるそれぞれの境界線からそれぞれの前記歩道方向に第１距離分だけ延長された第１領域と、前記それぞれの第１領域上におけるそれぞれの所定の地点を参照して選択される追加領域である第２領域とを含むように前記仮想横断歩道が生成され、（ｉｉ）前記仮想横断歩道の長手方向中心軸が、前記特定歩行者の位置に対応するようにした状態で、前記走行意図シグナリング装置は、前記特定歩行者が前記第１領域のうち一つに位置する場合には前記特定歩行者が前記道路を横断中であるものと判断するプロセス、及び前記特定歩行者が前記第２領域のうち一つに位置する場合には、前記特定歩行者が前記道路を横断する意図があるものと判断するプロセスを遂行することを特徴とする。
一実施例において、前記（ｂ）段階で、前記走行意図シグナリング装置は、前記特定歩行者の移動速度及び加速度を参照して、（ｉ）横断終了地点から前記道路方向に第２距離以上である１次空間セクション（Ｐｒｉｍａｒｙ Ｓｐａｔｉａｌ Ｓｅｃｔｉｏｎ）では最大速力が制限された等加速度モデルを利用し、（ｉｉ）前記横断終了地点から前記道路方向に前記第２距離未満である第２空間セクションでは前記特定歩行者の移動方向は保持し、予め設定された音の加速度による前記等加速度モデルを利用して、前記特定歩行者の前記横断軌跡を予測するプロセスを遂行することを特徴とする。
一実施例において、前記走行意図シグナリング装置は、前記自律走行車両の位置、移動方向、速力、及び制動距離を参照して、前記自律走行車両が、前記特定歩行者の前記横断軌跡を避けるようにするか、前記特定歩行者が脅威を感じないようにするか、交通法規に違反しないように、走行経路、加速情報、減速情報及び操向情報を予測して前記走行プランを設定するプロセスを遂行することを特徴とする。
一実施例において、前記自律走行車両の加速動作、減速動作、及び操向動作のうち少なくとも一部に対応する第１アクションプラン（Ａｃｔｉｏｎ Ｐｌａｎ）ないし第ｊアクションプラン（前記ｊは１以上の整数（ｉｎｔｅｇｅｒ）である）が設定された状態であり、予め設定された時間間隔でｎ個のステップ（前記ｎは１以上の整数である）が設定された状態において、前記走行意図シグナリング装置は、第ｋ−１（前記ｋは１以上ｎ以下の整数である）ステップで予測された第ｋ−１最適アクションプラン（Ｏｐｔｉｍａｌ Ａｃｔｉｏｎ Ｐｌａｎ）に対応する前記自律走行車両の第ｋ−１走行情報を基準にして、前記第１アクションプランないし前記第ｊアクションプランそれぞれを遂行した場合の結果である前記走行情報の第１走行情報ないし第ｊ走行情報のうち歩行者傷害コスト、歩行者脅威コスト、法規違反コスト、及び乗り心地コストを最小化する特定のアクションプランを第ｋステップにおける第ｋ最適アクションプランとして予測するプロセスを繰り返すことによって、前記ｎ個のステップそれぞれで前記第１アクションプランないし前記第ｊアクションプランから選択されたそれぞれの第１最適アクションプランないし第ｎ最適アクションプランを参照して前記自律走行車両の前記走行プランを設定するプロセスを遂行することを特徴とする。
一実施例において、前記（ｃ）段階で、前記走行意図シグナリング装置は、前記外部ディスプレイを通じて前記走行意図に対応する色相、シンボル（Ｓｙｍｂｏｌ）、テキスト、及び絵文字（Ｅｍｏｊｉ）のうち少なくとも一部を表示させるプロセスを遂行することを特徴とする。
一実施例において、前記（ｃ）段階で、前記走行意図シグナリング装置は、前記自律走行車両の少なくとも一つの室内イメージ（Ｉｎｔｅｒｉｏｒ Ｉｍａｇｅ）を利用することによって搭乗者の少なくとも一つの視線パターンを参照して、前記自律走行車両の少なくとも一人の前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意しているのかを判断するプロセス、及び前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意していないものと判断されると、前記自律走行車両に設置された内部ディスプレイ及び内部スピーカのうち少なくとも一つを通じて前記走行プランに対応する前記自律走行車両の前記走行意図が前記搭乗者に伝達されるようにするプロセスを遂行することを特徴とする。
本発明の他の態様によると、自律走行車両の少なくとも一つの走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）をシグナリング（Ｓｉｇｎａｌｉｎｇ）する走行意図シグナリング装置（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ Ｓｉｇｎａｌｉｎｇ Ｄｅｖｉｃｅ）において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記自律走行車両の少なくとも一つの周辺映像イメージ（Ｓｕｒｒｏｕｎｄｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｅ）を利用して前記自律走行車両の近傍前方領域に位置する少なくとも一人の歩行者を検出するプロセス、及び前記歩行者の位置のうち一つに対応する仮想横断歩道（Ｖｉｒｔｕａｌ Ｃｒｏｓｓｗａｌｋ）を利用して、前記歩行者のうち特定歩行者が、前記自律走行車両が走行する道路を横断するか否かを判断するプロセス、（ＩＩ）前記特定歩行者が前記道路を横断するものと判断されれば、前記特定歩行者の少なくとも一つの移動軌跡（Ｍｏｖｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を参照して前記特定歩行者が前記道路を横断しようとする少なくとも一つの予想経路に対応する少なくとも一つの横断軌跡（Ｃｒｏｓｓｗａｌｋｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を予測するプロセス、前記自律走行車両の走行情報と前記横断軌跡とを参照して前記自律走行車両の少なくとも一つの走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定するプロセス、及び前記走行プランにしたがって前記自律走行車両を走行させるプロセス、及び（ＩＩＩ）前記周辺映像イメージを利用することによって前記特定歩行者の少なくとも一つの視線パターン（Ｇａｚｅ Ｐａｔｔｅｒｎ）を参照して、前記特定歩行者が前記自律走行車両に注意しているのかを判断するプロセス、及び前記特定歩行者が前記自律走行車両に注意していないものと判断されると、前記自律走行車両に設置された外部ディスプレイ及び外部スピーカのうち少なくとも一つを通じて前記走行プランに対応する前記自律走行車両の前記走行意図が前記特定歩行者及び少なくとも一台の周辺自動車の少なくとも一人の運転者のうち少なくとも一人に伝達されるようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）予め設定された参照時間（Ｐｒｅｓｅｔ Ｒｅｆｅｒｅｎｃｅ Ｔｉｍｅ）の間、前記特定歩行者の視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの視線タイムセクション（Ｇａｚｅ Ｔｉｍｅ Ｓｅｃｔｉｏｎ）の累積和が予め設定された第１閾値以下である場合、又は（ｉｉ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置していない時間が予め設定された第２閾値以上である場合には、前記特定歩行者の前記視線パターンを参照して、前記特定歩行者が前記自律走行車両に注意していないものと判断するプロセスを遂行することを特徴とする。
一実施例において、前記プロセッサは、（ｉｉｉ）前記予め設定された参照時間の間、前記特定歩行者の前記視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの前記視線タイムセクションの累積和が、前記予め設定された第１閾値超過である場合、又は（ｉｖ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置した時間が予め設定された第３閾値以上である場合には、前記特定歩行者が前記自律走行車両に注意しているものと判断するプロセスを遂行することを特徴とする。
一実施例において、前記（Ｉ）プロセスで、（ｉ）前記道路の道幅に対応し、両側が前記道路とそれぞれの歩道との間におけるそれぞれの境界線からそれぞれの前記歩道方向に第１距離分だけ延長された第１領域と、前記それぞれの第１領域上におけるそれぞれの所定の地点を参照して選択される追加領域である第２領域とを含むように前記仮想横断歩道が生成され、（ｉｉ）前記仮想横断歩道の長手方向中心軸が、前記特定歩行者の位置に対応するようにした状態で、前記プロセッサは、前記特定歩行者が前記第１領域のうち一つに位置する場合には前記特定歩行者が前記道路を横断中であるものと判断するプロセス、及び前記特定歩行者が前記第２領域のうち一つに位置する場合には、前記特定歩行者が前記道路を横断する意図があるものと判断するプロセスを遂行することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記特定歩行者の移動速度及び加速度を参照して、（ｉ）横断終了地点から前記道路方向に第２距離以上である１次空間セクション（Ｐｒｉｍａｒｙ Ｓｐａｔｉａｌ Ｓｅｃｔｉｏｎ）では最大速力が制限された等加速度モデルを利用し、（ｉｉ）前記横断終了地点から前記道路方向に前記第２距離未満である第２空間セクションでは前記特定歩行者の移動方向は保持し、予め設定された音の加速度による前記等加速度モデルを利用して、前記特定歩行者の前記横断軌跡を予測するプロセスを遂行することを特徴とする。
一実施例において、前記プロセッサは、前記自律走行車両の位置、移動方向、速力、及び制動距離を参照して、前記自律走行車両が、前記特定歩行者の前記横断軌跡を避けるようにするか、前記特定歩行者が脅威を感じないようにするか、交通法規に違反しないように、走行経路、加速情報、減速情報及び操向情報を予測して前記走行プランを設定するプロセスを遂行することを特徴とする。
一実施例において、前記自律走行車両の加速動作、減速動作及び操向動作のうち少なくとも一部に対応する第１アクションプラン（Ａｃｔｉｏｎ Ｐｌａｎ）ないし第ｊアクションプラン（前記ｊは１以上の整数である）が設定された状態であり、予め設定された時間間隔でｎ個のステップ（前記ｎは１以上の整数である）が設定された状態において、前記プロセッサは、第ｋ−１（前記ｋは１以上ｎ以下の整数である）ステップで予測された第ｋ−１最適アクションプラン（Ｏｐｔｉｍａｌ Ａｃｔｉｏｎ Ｐｌａｎ）に対応する前記自律走行車両の第ｋ−１走行情報を基準にして、前記第１アクションプランないし前記第ｊアクションプランそれぞれを遂行した場合の結果である前記走行情報の第１走行情報ないし第ｊ走行情報のうち歩行者傷害コスト、歩行者脅威コスト、法規違反コスト、及び乗り心地コストを最小化する特定のアクションプランを第ｋステップにおける第ｋ最適アクションプランとして予測するプロセスを繰り返すことによって、前記ｎ個のステップそれぞれにおいて前記第１アクションプランないし前記第ｊアクションプランから選択されたそれぞれの第１最適アクションプランないし第ｎ最適アクションプランを参照して前記自律走行車両の前記走行プランを設定するプロセスを遂行することを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記外部ディスプレイを通じて前記走行意図に対応する色相、シンボル（Ｓｙｍｂｏｌ）、テキスト、及び絵文字（Ｅｍｏｊｉ）のうち少なくとも一部を表示させるプロセスを遂行することを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記自律走行車両の少なくとも一つの室内イメージ（Ｉｎｔｅｒｉｏｒ Ｉｍａｇｅ）を利用することによって、搭乗者の少なくとも一つの視線パターンを参照して、前記自律走行車両の少なくとも一人の前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意しているのかを判断するプロセス、及び前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意していないものと判断されると、前記自律走行車両に設置された内部ディスプレイ及び内部スピーカのうち少なくとも一つを通じて前記走行プランに対応する前記自律走行車両の前記走行意図が前記搭乗者に伝達されるようにするプロセスを遂行することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、自律走行車両が歩道付近で自動車対人（Ｖ２Ｈ：Ｖｅｈｉｃｌｅ−Ｔｏ−Ｈｕｍａｎ）通信を介して自律的に走行する間、歩行者、搭乗者及び運転者に対して通知を行って歩行者に親和性のある自動運転（Ａｕｔｏｍａｔｉｃ Ｄｒｉｖｉｎｇ）を可能にする効果がある。
本発明は、自律走行車両の現在の走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）をシグナリングするための最適情報（Ｏｐｔｉｍａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を取得し、歩行者や搭乗者に対して自律走行車両の現在の走行意図を効果的にシグナリング（Ｓｉｇｎａｌｉｎｇ）することによって歩行者や搭乗者が自律走行車両の現在の走行意図を認識し得るようにして、歩行者、搭乗者、他の自動車の運転者を驚かせずに自律走行車両の行動を理解及び予測させる他の効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
本発明の一実施例にしたがって、自律走行車両の少なくとも一つの走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）を、シグナリング（Ｓｉｇｎａｌｉｎｇ）する走行意図シグナリング装置（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ Ｓｉｇｎａｌｉｎｇ Ｄｅｖｉｃｅ）を簡略に示したものであり、 本発明の一実施例にしたがって、自律走行車両の走行意図を、シグナリングする方法を簡略に示したものであり、 本発明の一実施例にしたがって、自律走行車両の走行意図を、シグナリングする方法において道路を横断する少なくとも一人の歩行者を確認するプロセスを簡略に示したものであり、 本発明の一実施例にしたがって、自律走行車両の走行意図を、シグナリングする方法において自律走行車両の少なくとも一つの走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定するプロセスを簡略に示したものであり、 本発明の一実施例にしたがって、自律走行車両の走行意図を、シグナリングする方法において、走行意図をシグナリングするのに使用される自律走行車両のディスプレイ（Ｄｉｓｐｌａｙ）を簡略に示したものである。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組み合わせせを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、自律走行車両の少なくとも一つの走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）を、シグナリング（Ｓｉｇｎａｌｉｎｇ）する走行意図シグナリング装置（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ Ｓｉｇｎａｌｉｎｇ Ｄｅｖｉｃｅ）を簡略に示したものである。図１を参照すると、走行意図シグナリング装置１００は、道路を横断しようとする少なくとも１人の歩行者の少なくとも一つの横断軌跡（Ｃｒｏｓｓｗａｌｋｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を予測し、それに応答して走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定して自律走行車両が少なくとも一つの走行プランにしたがって走行するようにし、歩行者が自律走行車両に注意していない場合、自律走行車両の走行意図をシグナリングするインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納するメモリ１１０と、メモリ１１０に格納されたインストラクションに対応して自律走行車両の走行意図をシグナリングするための動作を遂行するプロセッサ１２０とを含むことができる。
具体的に、走行意図シグナリング装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング構成要素の何らかの組み合わせを含む統合装置（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ）を排除するわけではない。
このように構成された本発明の一実施例による走行意図シグナリング装置１００を利用して、自律走行車両の走行意図をシグナリングする方法を、図２ないし図６を参照して説明すると以下のとおりである。
まず、図２を参照すると、走行意図シグナリング装置１００は、自律走行車両の少なくとも一つの周辺映像イメージ（Ｓｕｒｒｏｕｎｄｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｅ）を利用して、自律走行車両の近傍前方領域に位置する歩行者を検出することができる（Ｓ１０）。この場合、自律走行車両の近傍前方領域は自律走行車両の前側の近傍領域を表し、周辺映像イメージは自律走行車両の周辺環境のイメージであり得る。
この場合、走行意図シグナリング装置１００は、少なくとも一つの映像イメージセンサ１０から自律走行車両の周辺映像イメージを取得し、周辺映像イメージを利用して歩行者を検出することができる。そして、映像イメージセンサ１０は、自律走行車両の周辺環境を撮影する少なくとも一つの外部カメラと、少なくとも一つのライダー（ＬｉＤＡＲ）と、少なくとも一つのレーダ（Ｒａｄａｒ）とを含み得るが、これに限定されず、自律走行車両の周辺環境をスキャンして変換することができるセンサは何でも含むことができる。
一方、走行意図シグナリング装置１００は、周辺映像イメージから歩行者を検出するためにＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのようなディープラーニングネットワーク（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）を利用することができる。
そして、走行意図シグナリング装置１００は、歩行者の位置のうち一つに対応する仮想横断歩道（Ｖｉｒｔｕａｌ Ｃｒｏｓｓｗａｌｋ）を利用して、少なくとも一つの検出された歩行者のうち特定歩行者が、自律走行車両が走行する道路を横断するか否かを判断するプロセスを遂行することができる。
一例として、図３のように自律走行車両の近傍前方領域で特定歩行者Ｐが検出されると、道路を横切る仮想横断歩道ＶＣの長手方向中心軸ＣＰが特定歩行者Ｐの位置に対応するように仮想横断歩道ＶＣを生成して、特定歩行者Ｐが、自律走行車両が走行する道路を横断するか否かを判断することができる。
この場合、仮想横断歩道ＶＣは、道路上の実際の横断歩道に対応し得るが、本発明はこれに限定されず、横断歩道のない道路を特定歩行者Ｐが横断する場合にも同一に適用され得る。
一方、仮想横断歩道ＶＣは、（１）道路の道幅に対応し、両側が道路とそれぞれの歩道との間におけるそれぞれの境界線からそれぞれの歩道方向に第１距離（Ａ）分だけ延長された第１領域ＶＣ１と、（２）（ｉ）それぞれの歩道に位置し、（ｉｉ）それぞれの第１領域ＶＣ１を取り囲んで内部に含んでいるが、（ｉｉｉ）それぞれの第１領域ＶＣ１は、排除した追加領域である第２領域ＶＣ２を含むように設定され得る。この際、一例として、仮想横断歩道ＶＣの中心軸ＣＰ近傍の第２領域ＶＣ２は、中心軸ＣＰがそれぞれの境界線と接する中心軸ＣＰ上のそれぞれの両端地点から第１距離（Ａ）に予め設定された距離（Ｂ）をさらに加えた分の半径内におけるそれぞれの歩道上それぞれの領域にそれぞれの第１領域ＶＣ１は除いた領域として設定される。また、仮想横断歩道ＶＣは、中心軸ＣＰと両側方向にいずれもを横切る中心軸ＣＰから予め設定された幅Ｓ内の領域として設定され得、これは歩行者が脅威を感じないように自律走行車両から歩行者の最小距離Ｓを保持するためである。
そして、走行意図シグナリング装置１００は、特定歩行者Ｐが仮想横断歩道ＶＣの第１領域ＶＣ１のうち一つに位置すると判断される場合には、特定歩行者Ｐが道路を横断中であるものと判断するプロセス、及び特定歩行者Ｐが仮想横断歩道ＶＣの第２領域ＶＣ２のうち一つに位置すると判断される場合には、特定歩行者Ｐが道路を横断する意図があるものと判断するプロセスを遂行することができる。しかし、特定歩行者Ｐが仮想横断歩道ＶＣの第１領域ＶＣ１及び第２領域ＶＣのうちどこにも位置していないものと判断される場合には、特定歩行者Ｐが道路を横断しないものと判断することができる。
すなわち、特定歩行者Ｐが道路上に位置するか、ＶＣ１に位置すると判断される場合は、特定歩行者Ｐが道路を横断中であるか横断し始めるものと判断することができる。そして、特定歩行者ＰがＶＣ２に位置する場合には、特定歩行者Ｐが道路を横断しようとする意図はあるが、まだ横断を開始していないものと判断することができる。この場合、信号灯（歩行者用信号灯又は車両用信号灯）の状態をともに参照して、より正確度を高めることができるのはもちろんである。
次に、特定歩行者が道路を横断するものと判断されると、走行意図シグナリング装置１００は、特定歩行者の少なくとも一つの移動軌跡（Ｍｏｖｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を参照して特定歩行者が道路を横断しようとする少なくとも一つの予想経路に対応する少なくとも一つの横断軌跡を予測するプロセスを遂行することができる（Ｓ２０）。
一例として、走行意図シグナリング装置１００は、周辺映像イメージで検出された特定歩行者をトラッキング（Ｔｒａｃｋｉｎｇ）して、特定歩行者Ｐの取得された移動速度及び加速度を参照して特定歩行者Ｐの横断軌跡を予測することができる。
この際、図３を参照すると、走行意図シグナリング装置１００は、特定歩行者の移動速度及び加速度を参照して、（ｉ）道路と反対側の歩道との間の境界線である横断終了地点から道路方向に第２距離Ｄ以上である１次空間セクション（Ｐｒｉｍａｒｙ Ｓｐａｔｉａｌ Ｓｅｃｔｉｏｎ）では、最大速力が制限された等加速度モデルを利用し、（ｉｉ）横断終了地点から道路方向に第２距離Ｄ未満である第２空間セクションでは、特定歩行者の持続移動方向（Ｃｏｎｓｔａｎｔ Ｍｏｖｉｎｇ Ｄｉｒｅｃｔｉｏｎ）と予め設定された音の加速度による等加速度モデルとを利用して、特定歩行者の横断軌跡を予測するプロセスを遂行することができる。
この場合、前記持続移動方向は、特定歩行者Ｐの移動速度が保持される方向であり得る。
すなわち、走行意図シグナリング装置１００は、特定歩行者Ｐの移動速度と加速度とを使用する等加速度モデルを利用して横断軌跡を予測し、より詳細に例を挙げると、（ｉ）所定の空間セクション内では特定歩行者Ｐの最大速力が制限され、（ｉｉ）横断終了地点付近で特定歩行者Ｐが減速する等加速度モデルを利用することができる。
次に、走行意図シグナリング装置１００は、自律走行車両の走行情報と特定歩行者の横断軌跡とを参照して自律走行車両の少なくとも一つの走行プランを設定するプロセスと、走行プランにしたがって自律走行車両を走行させるプロセスとを遂行することができる。
一例として、走行意図シグナリング装置１００は、自律走行車両の少なくとも一つのセンサ２０から取得されるセンサ情報、例えば、ＧＰＳ情報、加速情報、車輪の速力、操向角などを参照して自律走行車両の位置、自律走行車両の移動方向、自律走行車両の速力、及び自律走行車両の制動距離などを含む、自律走行車両の走行情報を取得することができる（Ｓ３０）。
そして、走行意図シグナリング装置１００は、自律走行車両の走行情報と特定歩行者の横断軌跡とを参照して自律走行車両の走行プランを設定するプロセス（Ｓ４０）と、走行プランにしたがって、自律走行車両の少なくとも一つの走行アクチュエータ３０を作動させて自律走行車両を走行させるプロセスとを遂行することができる。
すなわち、走行意図シグナリング装置１００は、自律走行車両の位置、移動方向、速力、及び制動距離を参照して、自律走行車両が、特定歩行者の横断軌跡を避けるようにしたり、特定歩行者が脅威を感じないようにしたり、交通法規を違反しないように、自律走行車両の予想走行経路、減速情報、及び操向情報を予測して自律走行車両の走行プランを設定するプロセスを遂行することができる。
この場合、図４を参照すると、自律走行車両の加速動作、減速動作及び操向動作のうち少なくとも一部に対応する第１アクションプラン（Ａｃｔｉｏｎ Ｐｌａｎ）ないし第ｊアクションプランが設定された状態であり、予め設定された時間間隔（同一の時間間隔である必要なし）でｎ個のステップが設定された状態で、走行意図シグナリング装置１００は、第ｋ−１ステップで予測された第ｋ−１最適アクションプラン（Ｏｐｔｉｍａｌ Ａｃｔｉｏｎ Ｐｌａｎ）に対応する自律走行車両の第ｋ−１走行情報を基準にして第１アクションプランないし第ｊアクションプランそれぞれを遂行した場合の結果である走行情報の第１走行情報ないし第ｊ走行情報のうち歩行者傷害コスト、歩行者脅威コスト、法規違反コスト、及び乗り心地コストを最小化する特定のアクションプランを第ｋステップにおける第ｋ最適アクションプランとして予測するプロセスを繰り返すことによって、ｎ個のステップそれぞれにおいて第１アクションプランないし第ｊアクションプランから選択されたそれぞれの第１最適アクションプランないし第ｎ最適アクションプランを参照して、自律走行車両の走行プランを設定するプロセスを遂行することができる。この際、ｊは１以上の整数（ｉｎｔｅｇｅｒ）であり、ｎも１以上の整数であり、ｋは１以上ｎ以下の整数であり得る。
一例として、走行意図シグナリング装置１００は、予め設定された時間Ｔ間隔で（ｉ）加速、減速、速力保持の３つのアクションと（ｉｉ）左側車線変更、右側車線変更、車線保持の３つの異なるアクションの組み合わせ、すなわち、合計９個のアクションプランを決定し、現在の時点から未来にｎステップだけ、つまり、Ｔ＊ｎ回数だけＴ時間間隔でアクションプランを演算して最適アクションプランを決定することができる。この際、すべての場合の数は９Ｎになり得る。併せて、本発明は、予め設定された時間Ｔに制限されるわけではない。すなわち、時間間隔は、場合に応じて多様であり得る。
この際、走行意図シグナリング装置１００は、ダイナミックプログラミング（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）により９ｘＮサイズのテーブルを作成することができ、列はＮ個のステップを表し、行は９個のアクションプランを表すようにする。そうすると、特定列の特定行は、当該ステップにおいてそれに対応する行のアクションプランにしたがって加速、減速及び操向（ｓｔｅｅｒｉｎｇ）のうち少なくとも一部を遂行した場合に得られる最小コスト（Ｃｏｓｔ）を表すことができ、これは次の数学式で表現され得る。
最小コスト（第ｉ行、第ｊ列）＝すべてのｋ行に対する最小コスト｛最少コスト（第ｋ行、第ｊ−１列）＋乗り心地コスト（ｋ，ｉ；ＬＯＣ（ｋ，ｊ−１））＋法規違反コスト（ｋ，ｉ；ＬＯＣ（ｋ，ｊ−１））＋歩行者脅威コスト（ｋ，ｉ；ＬＯＣ（ｋ，ｊ−１））＋歩行者傷害コスト（ｋ，ｉ，ＬＯＣ（ｋ，ｊ−１））｝
この場合、ＬＯＣ（ｋ，ｊ−１）は、最小コスト（第ｋ行，第ｊ−１列）に該当する第ｊ−１ステップで第ｋ行のアクションプランに対応する加速、減速及び操向のうち少なくとも一部が遂行される場合において、自律走行車両の位置、移動方向、速力、及び制動距離を表すことができる。
すなわち、前記数式によると、自律走行車両の位置、移動方向、速力、及び制動距離がＬＯＣ（ｋ，ｊ−１）に対応する状態で、走行意図シグナリング装置１００は、第ｉ行のアクションプランに対応する加速、減速及び操向のうち少なくとも一部を第ｊステップで遂行した場合、乗り心地の低下に関するコスト、法規違反に関するコスト、歩行者脅威に関するコスト、歩行者傷害に関するコストの増加を最小化させるアクションプランを決定することができる。
この際、（ｉ）乗り心地コストは、加減速または車線変更を繰り返して生成される搭乗者が感じ得る乗り心地の低下を数値化したものであり得、（ｉｉ）法規違反コストは、制限速力超過、中央線侵入、横断歩道の停止線違反、一時停止義務違反、実線区間の車線変更禁止違反などの法規違反を数値化したものであり得、（ｉｉｉ）歩行者脅威コストは、歩行者が感じ得る脅威を数値化したものであって、歩行者が脅威を感じない自律走行車両と歩行者との間の最小距離Ｓ以上に自律走行車両が歩行者から離れている場合、歩行者脅威コストは０であるが、自律走行車両と歩行者との間の距離が最小距離Ｓ未満である場合は距離が近くなるほどこのコストが幾何級数的に増加し得、（ｉｖ）歩行者傷害コストは、予想される歩行者の傷害の程度を数値化したものであり得る。そして、それぞれのコストの重要度は、歩行者傷害コスト、歩行者脅威コスト、法規違反コスト、乗り心地コストの順序通りであり得る。
次に、走行意図シグナリング装置１００は、自律走行車両の周辺映像イメージを利用して検出された特定歩行者の少なくとも一つの視線パターン（Ｇａｚｅ Ｐａｔｔｅｒｎ）を参照して、特定歩行者が自律走行車両に注意しているのかを判断するプロセス、及び特定歩行者が自律走行車両に注意していないものと判断されると、自律走行車両に設置された外部ディスプレイ４２及び外部スピーカ４３のうち少なくとも一つを通じて走行プランに対応する自律走行車両の走行意図が、（ｉ）特定歩行者及び（ｉｉ）少なくとも一つの近傍の自動車の少なくとも一人の運転者のうち少なくとも一人に伝達されるようにすることができる。
すなわち、走行意図シグナリング装置１００は、特定歩行者が眺める方向を基準にして、特定歩行者が特定の自律走行車両に注意しているか否かを確認することができる（Ｓ５０）。
一例として、視線方向予測及び視線トラッキング（Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ＆ Ｇａｚｅ Ｔｒａｃｋｉｎｇ）を通じて特定歩行者の自律走行車両に対する視線パターンを参照して、走行意図シグナリング装置１００は、（ｉ）予め設定された第１参照時間（Ｆｉｒｓｔ Ｐｒｅｓｅｔ Ｒｅｆｅｒｅｎｃｅ Ｔｉｍｅ）の間、特定歩行者の視線が自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの視線タイムセクション（Ｇａｚｅ Ｔｉｍｅ Ｓｅｃｔｉｏｎ）の累積和が予め設定された第１閾値以下である場合、又は（ｉｉ）特定歩行者の視線が自律走行車両に位置する状態とそうでない状態とが繰り返された後、特定歩行者の視線が自律走行車両に位置していない時間が予め設定された第２閾値以上である場合には、特定歩行者が自律走行車両に注意していないものと判断するプロセスを遂行することができる。また、走行意図シグナリング装置１００は、（ｉｉｉ）予め設定された第１参照時間の間、特定歩行者の視線が自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの視線タイムセクションの累積和が予め設定された第１閾値超過である場合、又は（ｉｖ）特定歩行者の視線が自律走行車両に位置する状態とそうでない状態とが繰り返された後、特定歩行者の視線が自律走行車両に位置した時間が予め設定された第３閾値以上である場合には、特定歩行者が自律走行車両に注意しているものと判断するプロセスを遂行することができる。この際、それぞれの予め設定された第１参照時間と予め設定された第１閾値、予め設定された第２閾値、予め設定された第３閾値は、固定された値であるか変化する値であり得、視線タイムセクションは、自律走行車両に視線が留まっている間の時間を表し得る。
一例として、特定歩行者が自律走行車両を眺めている間の視線タイムセクションの累積和は、予め設定された第１参照時間の間の視線タイムセクションの総和、例えば、１０秒間の視線タイムセクションの総和であり得る。
その他の例として、最も最近の連続した視線タイムセクションは、特定歩行者が自律走行車両を現在眺めている場合に最後の視線タイムセクションのみを考慮して特定歩行者が自律走行車両を眺めているか否かを判断するのに使用され得る。すなわち、特定歩行者が自律走行車両を現在見ていないのであれば、最も最近の連続した視線タイムセクションは０に保持されるであろう。最も最近の連続した非視線タイムセクションは、特定歩行者が自律走行車両を現在眺めていない場合に最後の非視線タイムセクションのみを考慮して、特定歩行者が自律走行車両を眺めていないか否かを判断するのに使用され得る。すなわち、特定歩行者が自律走行車両を現在見ていれば、最も最近の連続した非視線タイムセクションは０に保持されるはずである。ここで、非視線タイムセクションは、自律走行車両から視線が離れた時間を意味し得る。
そして、特定歩行者が自律走行車両を眺める視線タイムセクションの累積和が、予め設定された第１閾値、一例として、３秒以上である場合には、特定歩行者が自律走行車両の走行意図に関心があるものと判断するか、特定歩行者が自律走行車両を眺める最も最近の連続した視線タイムセクションが、予め設定された第３閾値、一例として、１秒以上である場合には、歩行者が自律走行車両の走行意図に関心があるものと判断することができる。
また、特定歩行者が自律走行車両を眺める視線タイムセクションの累積和が、予め設定された第１参照時間、一例として、３秒未満である場合には、特定歩行者が自律走行車両の走行意図に関心がないものと判断するか、特定歩行者が自律走行車両を眺めていない最も最近の連続した非視線タイムセクションが、予め設定された第２閾値、一例として、２秒以上である場合には、歩行者が自律走行車両の走行意図に関心がないものと判断することができる。
そして、特定歩行者が自律走行車両に注意していないものと判断されれば、走行意図シグナリング装置１００は、少なくとも一つの走行意図シグナルを生成し（Ｓ６０）、自律走行車両の外部ディスプレイ４２及び外部スピーカ４３を通じて走行意図シグナルが外部に伝達されるようにすることができる。この際、走行意図シグナリング装置１００は、走行意図シグナルを外部ディスプレイ４２及び外部スピーカ４３に直接伝達するか、走行意図シグナルを外部コントローラ４１に伝送して外部コントローラ４１をもって外部ディスプレイ４２及び外部スピーカ４３を通じて走行意図シグナルが外部に伝達されるようにすることができる。
この場合、図５を参照すると、自律走行車両の外部ディスプレイは、自律走行車両の外部に設置された少なくとも一つのディスプレイ及び少なくとも一つの車体下部照明を含むことができる。
一方、走行意図シグナルは、自律走行車両の走行意図に対応する予め設定された色相、予め設定されたシンボル（Ｓｙｍｂｏｌ）、予め設定されたテキスト、予め設定された絵文字（Ｅｍｏｊｉ）、予め設定された音響などの少なくとも一部を含むことができ、これを通じて特定歩行者及び他の自動車の搭乗客が自律走行車両の走行意図を認知することができる。
また、特定歩行者の注意集中状態を確認することと同様に、走行意図シグナリング装置１００は、自律走行車両の搭乗者が注意しているのか否かを確認し（Ｓ７０）、確認された結果に対応して走行意図シグナルを生成して（Ｓ６０）搭乗者に自律走行車両の走行意図を認知させることができる。
すなわち、走行意図シグナリング装置１００は、自律走行車両の室内を撮影する少なくとも一つの内部カメラ５０を通じて撮影された少なくとも一つの室内イメージを利用して、搭乗者の少なくとも一つの視線パターンを参照して自律走行車両内の少なくとも一人の搭乗者が自律走行車両の近傍前方領域または特定歩行者に注意しているのかを判断するプロセスと、搭乗者が自律走行車両の近傍前方領域または特定歩行者に注意していないものと判断されると、自律走行車両に設置された内部ディスプレイ及び内部スピーカのうち少なくとも一つを通じて、走行プランに対応する自律走行車両の走行意図が搭乗者に伝達されるようにするプロセスとを遂行することができる。
一例として、自律走行車両の内部に設置された内部カメラから少なくとも一つの内部映像が取得されると、走行意図シグナリング装置１００は、視線トラッキングを利用して（ｉ）自律走行車両内の搭乗者が近傍前方領域または道路を横断しようとする特定歩行者を眺める視線タイムセクションの累積和、（ｉｉ）最も最近の連続した視線タイムセクション、及び（ｉｉｉ）最も最近の非視線タイムセクションを算出することができる。
この際、搭乗者が自律走行車両の近傍前方領域または特定歩行者を眺める間である視線タイムセクションの累積和は、予め設定された第２参照時間の間、例えば、１０秒間の視線タイムセクションの和であり得る。
その他の例として、最も最近の連続した視線タイムセクションは、搭乗者が現在自律走行車両の近傍前方領域または特定歩行者を眺めている場合に最後の視線タイムセクションのみを考慮して、自律走行車両の搭乗者が自律走行車両の近傍前方領域または特定歩行者を眺めているか否かを判断するのに使用され得る。すなわち、最も最近の連続した視線タイムセクションは、搭乗者が現在自律走行車両の近傍前方領域または特定歩行者を眺めていなければ０に保持される。そして、最も最近の非視線タイムセクションは、搭乗者が現在自律走行車両の近傍前方領域または特定歩行者を眺めていない場合に、最後の非視線タイムセクションのみを考慮して、搭乗者が自律走行車両の近傍前方領域または特定歩行者を眺めているか否かを判断するのに使用され得る。すなわち、最も最近の連続した非視線タイムセクションは、搭乗者が現在自律走行車両の近傍前方領域または特定歩行者を眺めていれば０に保持される。この際、予め設定された第２参照時間は、固定値であるか変化する値であり得る。
そして、搭乗者が近傍前方領域または歩行者を眺める視線タイムセクションの累積和が、予め設定された第１閾値、一例として、３秒以上である場合には搭乗者が自律走行車両の走行意図に関心があるものと判断するか、搭乗者が近傍前方領域または特定歩行者を、最近連続的に眺める最も最近の連続した視線タイムセクションが予め設定された第２閾値、一例として、１秒以上である場合には搭乗者が自律走行車両の走行意図に関心があるものと判断することができる。
また、搭乗者が自律走行車両の近傍前方領域または特定歩行者を眺める視線タイムセクションの累積和が、予め設定された第２参照時間、一例として、３秒未満である場合には、搭乗者が自律走行車両の走行意図に関心がないものと判断するか、搭乗者が自律走行車両の近傍前方領域または特定歩行者を眺めていない最も最近の連続した非視線タイムセクションが、予め設定された第３閾値、一例として、２秒以上である場合には、搭乗者が自律走行車両の走行意図に関心がないものと判断することができる。この際、それぞれの予め設定された第１閾値、予め設定された第２閾値、及び予め設定された第３閾値は、固定値であるか変化する値であり得る。
一方、一例として、自律走行車両の走行意図シグナルは、以下のように生成され得る。
自律走行車両の走行状況は、以下のように設定され得る。
ａ．横断中である歩行者がいる／横断しようとする意図はあるがまだ横断し始めていない歩行者がいる／横断しようとする歩行者がいない
ｂ．歩行者が自律走行車両の走行意図に注意している／そうでない
ｃ．歩行者が自律走行車両に注意している／そうでない
ｄ．搭乗者が自律走行車両の近傍前方領域、または自律走行車両の近傍前方領域にある道路を横断中であるか横断しようとする歩行者に注意している／そうでない
ｅ．搭乗者が感じる乗り心地が低下することが予想される／そうでない
ｆ．法規違反が予想される／そうでない
ｇ．歩行者に対する威嚇的な運行が予想される／そうでない
ｈ．歩行者に対する傷害が予想される／そうでない
ｉ．自律走行車両が減速中である／加速中である／速力を保持している／停止中である
ｊ．自律走行車両が車線を左側車線に変更中である／右側車線に変更中である／車線を保持している
そして、前記走行状況に対応する走行意図シグナルは、以下のように表すことができる。
ａ．（歩行者に対して）横断しようとする歩行者が存在し、まだ自律走行車両の運行が歩行者の安全に脅威とはならないが、歩行者に対して注意を傾けていることを表示する。
ｂ．（歩行者、搭乗者、他の自動車の運転者に対して）横断しようとする歩行者が存在し、自律走行車両が歩行者の安全を脅かさないように徐行又は停止する。
ｃ．（歩行者、搭乗者、他の自動車の運転者に対して）横断中である歩行者が存在し、自律走行車両が歩行者の安全を脅かすことが予想されるが、歩行者が自律走行車両に注意を傾けていないため、直ちに注意することができるように照明をつけ、大音量の音を聞かせる。
ｄ．（搭乗者、他の自動車の運転者に対して）横断中である歩行者が存在し、自律走行車両が歩行者の安全を脅かさないようにするために、やむを得ず法規に違反する
ｅ．（搭乗者に対して）横断中である歩行者が存在し、自律走行車両が歩行者の安全を脅かさず、かつ法規に違反しないために、やむを得ず搭乗者の乗り心地が低下する。
ｆ．（搭乗者、他の自動車運転者に対して）横断中である歩行者が存在し、自律走行車両が歩行者の安全を脅かさないようにするために、やむを得ず急に車線を変更する。
しかし、本発明における走行状況と走行意図は、前記羅列された例示に限定されず、多様な走行状況と走行意図とが設定され得る。
そして、前記走行意図シグナルにしたがって、（ｉ）道路を横断するか横断しようとする歩行者のために自律走行車両が安全に減速あるいは停止しようとする意図がある場合、これを青信号、スマイル表示及び音なしで表示することができ、（ｉｉ）自律走行車両が道路を横断しようとする歩行者を認識し、歩行者が道路を横断し始める場合に自律走行車両が条件付きの減速あるいは停止意図がある場合、これを緑色信号、徐行表示、音なしで表示することができ、（ｉｉｉ）自律走行車両が道路を横断する歩行者との衝突を避けるために急停止を試みる場合、これを赤信号、感嘆符表示、停止シンボル、警告音で表示することができ、（ｉｖ）自律走行車両が道路を横断しようとする歩行者を認識し、歩行者が道路を横断する場合、衝突が予想されるために横断しないように要請する場合、これを黄色信号の点滅、危険表示、警告音で表示することができる。
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
［付記］
本発明は、Ｖ２Ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＳＩＧＮＡＬＩＮＧ ＰＲＥＳＥＮＴ ＤＲＩＶＩＮＧ ＩＮＴＥＮＴＩＯＮ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＴＯ ＨＵＭＡＮＳ ＢＹ ＵＳＩＮＧ ＶＡＲＩＯＵＳ Ｖ２Ｘ−ＥＮＡＢＬＥＤ ＡＰＰＬＩＣＡＴＩＯＮ｝に関する。
１００：走行意図シグナリング装置
１１０：メモリ
１２０：プロセッサ

Claims (18)

  1. 自律走行車両の少なくとも一つの走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）をシグナリング（Ｓｉｇｎａｌｉｎｇ）する方法において、
    （ａ）走行意図シグナリング装置（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ Ｓｉｇｎａｌｉｎｇ Ｄｅｖｉｃｅ）が、前記自律走行車両の少なくとも一つの周辺映像イメージ（Ｓｕｒｒｏｕｎｄｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｅ）を利用して前記自律走行車両の近傍前方領域に位置する少なくとも一人の歩行者を検出するプロセス、及び前記歩行者の位置のうち一つに対応する仮想横断歩道（Ｖｉｒｔｕａｌ Ｃｒｏｓｓｗａｌｋ）を利用して、前記歩行者のうち特定歩行者が、前記自律走行車両が走行する道路を横断するか否かを判断するプロセスを遂行する段階；
    （ｂ）前記特定歩行者が前記道路を横断するものと判断されれば、前記走行意図シグナリング装置は、前記特定歩行者の少なくとも一つの移動軌跡（Ｍｏｖｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を参照して前記特定歩行者が前記道路を横断しようとする少なくとも一つの予想経路に対応する少なくとも一つの横断軌跡（Ｃｒｏｓｓｗａｌｋｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を予測するプロセス、前記自律走行車両の走行情報と前記横断軌跡とを参照して前記自律走行車両の少なくとも一つの走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定するプロセス、及び前記走行プランにしたがって前記自律走行車両を走行させるプロセスを遂行する段階；及び
    （ｃ）前記走行意図シグナリング装置が、前記周辺映像イメージを利用することによって前記特定歩行者の少なくとも一つの視線パターン（Ｇａｚｅ Ｐａｔｔｅｒｎ）を参照して、前記特定歩行者が前記自律走行車両に注意しているのかを判断するプロセス、及び前記特定歩行者が前記自律走行車両に注意していないものと判断されると、前記自律走行車両に設置された外部ディスプレイ及び外部スピーカのうち少なくとも一つを通じて、前記走行プランに対応する前記自律走行車両の前記走行意図が、前記特定歩行者及び少なくとも一台の周辺自動車の少なくとも一人の運転者のうち少なくとも一人に伝達されるようにするプロセスを遂行する段階；
    を含むことを特徴とする方法。
  2. 前記（ｃ）段階で、
    前記走行意図シグナリング装置は、（ｉ）予め設定された参照時間（Ｐｒｅｓｅｔ Ｒｅｆｅｒｅｎｃｅ Ｔｉｍｅ）の間、前記特定歩行者の視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの視線タイムセクション（Ｇａｚｅ Ｔｉｍｅ Ｓｅｃｔｉｏｎ）の累積和が予め設定された第１閾値以下である場合、又は（ｉｉ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置していない時間が予め設定された第２閾値以上である場合には、前記特定歩行者の前記視線パターンを参照して、前記特定歩行者が前記自律走行車両に注意していないものと判断するプロセスを遂行することを特徴とする請求項１に記載の方法。
  3. 前記走行意図シグナリング装置は、（ｉｉｉ）前記予め設定された参照時間の間、前記特定歩行者の前記視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの前記視線タイムセクションの累積和が、前記予め設定された第１閾値超過である場合、又は（ｉｖ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置した時間が予め設定された第３閾値以上である場合には、前記特定歩行者が前記自律走行車両に注意しているものと判断するプロセスを遂行することを特徴とする請求項２に記載の方法。
  4. 前記（ａ）段階で、
    （ｉ）前記道路の道幅に対応し、両側が前記道路とそれぞれの歩道との間におけるそれぞれの境界線からそれぞれの前記歩道方向に第１距離分だけ延長された第１領域と、前記それぞれの第１領域上におけるそれぞれの所定の地点を参照して選択される追加領域である第２領域とを含むように前記仮想横断歩道が生成され、（ｉｉ）前記仮想横断歩道の長手方向中心軸が、前記特定歩行者の位置に対応するようにした状態で、前記走行意図シグナリング装置は、前記特定歩行者が前記第１領域のうち一つに位置する場合には前記特定歩行者が前記道路を横断中であるものと判断するプロセス、及び前記特定歩行者が前記第２領域のうち一つに位置する場合には、前記特定歩行者が前記道路を横断する意図があるものと判断するプロセスを遂行することを特徴とする請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記走行意図シグナリング装置は、前記特定歩行者の移動速度及び加速度を参照して、（ｉ）横断終了地点から前記道路方向に第２距離以上である１次空間セクション（Ｐｒｉｍａｒｙ Ｓｐａｔｉａｌ Ｓｅｃｔｉｏｎ）では最大速力が制限された等加速度モデルを利用し、（ｉｉ）前記横断終了地点から前記道路方向に前記第２距離未満である第２空間セクションでは前記特定歩行者の移動方向は保持し、予め設定された音の加速度による前記等加速度モデルを利用して、前記特定歩行者の前記横断軌跡を予測するプロセスを遂行することを特徴とする請求項１に記載の方法。
  6. 前記走行意図シグナリング装置は、前記自律走行車両の位置、移動方向、速力、及び制動距離を参照して、前記自律走行車両が、前記特定歩行者の前記横断軌跡を避けるようにするか、前記特定歩行者が脅威を感じないようにするか、交通法規に違反しないように、走行経路、加速情報、減速情報及び操向情報を予測して前記走行プランを設定するプロセスを遂行することを特徴とする請求項１に記載の方法。
  7. 前記自律走行車両の加速動作、減速動作、及び操向動作のうち少なくとも一部に対応する第１アクションプラン（Ａｃｔｉｏｎ Ｐｌａｎ）ないし第ｊアクションプラン（前記ｊは１以上の整数（ｉｎｔｅｇｅｒ）である）が設定された状態であり、予め設定された時間間隔でｎ個のステップ（前記ｎは１以上の整数である）が設定された状態において、前記走行意図シグナリング装置は、第ｋ−１（前記ｋは１以上ｎ以下の整数である）ステップで予測された第ｋ−１最適アクションプラン（Ｏｐｔｉｍａｌ Ａｃｔｉｏｎ Ｐｌａｎ）に対応する前記自律走行車両の第ｋ−１走行情報を基準にして、前記第１アクションプランないし前記第ｊアクションプランそれぞれを遂行した場合の結果である前記走行情報の第１走行情報ないし第ｊ走行情報のうち歩行者傷害コスト、歩行者脅威コスト、法規違反コスト、及び乗り心地コストを最小化する特定のアクションプランを第ｋステップにおける第ｋ最適アクションプランとして予測するプロセスを繰り返すことによって、前記ｎ個のステップそれぞれで前記第１アクションプランないし前記第ｊアクションプランから選択されたそれぞれの第１最適アクションプランないし第ｎ最適アクションプランを参照して前記自律走行車両の前記走行プランを設定するプロセスを遂行することを特徴とする請求項６に記載の方法。
  8. 前記（ｃ）段階で、
    前記走行意図シグナリング装置は、前記外部ディスプレイを通じて前記走行意図に対応する色相、シンボル（Ｓｙｍｂｏｌ）、テキスト、及び絵文字（Ｅｍｏｊｉ）のうち少なくとも一部を表示させるプロセスを遂行することを特徴とする請求項１に記載の方法。
  9. 前記（ｃ）段階で、
    前記走行意図シグナリング装置は、前記自律走行車両の少なくとも一つの室内イメージ（Ｉｎｔｅｒｉｏｒ Ｉｍａｇｅ）を利用することによって搭乗者の少なくとも一つの視線パターンを参照して、前記自律走行車両の少なくとも一人の前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意しているのかを判断するプロセス、及び前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意していないものと判断されると、前記自律走行車両に設置された内部ディスプレイ及び内部スピーカのうち少なくとも一つを通じて前記走行プランに対応する前記自律走行車両の前記走行意図が前記搭乗者に伝達されるようにするプロセスを遂行することを特徴とする請求項１に記載の方法。
  10. 自律走行車両の少なくとも一つの走行意図（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ）をシグナリング（Ｓｉｇｎａｌｉｎｇ）する走行意図シグナリング装置（Ｄｒｉｖｉｎｇ Ｉｎｔｅｎｔｉｏｎ Ｓｉｇｎａｌｉｎｇ Ｄｅｖｉｃｅ）において、
    各インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）前記自律走行車両の少なくとも一つの周辺映像イメージ（Ｓｕｒｒｏｕｎｄｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｅ）を利用して前記自律走行車両の近傍前方領域に位置する少なくとも一人の歩行者を検出するプロセス、及び前記歩行者の位置のうち一つに対応する仮想横断歩道（Ｖｉｒｔｕａｌ Ｃｒｏｓｓｗａｌｋ）を利用して、前記歩行者のうち特定歩行者が、前記自律走行車両が走行する道路を横断するか否かを判断するプロセス、（ＩＩ）前記特定歩行者が前記道路を横断するものと判断されれば、前記特定歩行者の少なくとも一つの移動軌跡（Ｍｏｖｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を参照して前記特定歩行者が前記道路を横断しようとする少なくとも一つの予想経路に対応する少なくとも一つの横断軌跡（Ｃｒｏｓｓｗａｌｋｉｎｇ Ｔｒａｊｅｃｔｏｒｙ）を予測するプロセス、前記自律走行車両の走行情報と前記横断軌跡とを参照して前記自律走行車両の少なくとも一つの走行プラン（Ｄｒｉｖｉｎｇ Ｐｌａｎ）を設定するプロセス、及び前記走行プランにしたがって前記自律走行車両を走行させるプロセス、及び（ＩＩＩ）前記周辺映像イメージを利用することによって前記特定歩行者の少なくとも一つの視線パターン（Ｇａｚｅ Ｐａｔｔｅｒｎ）を参照して、前記特定歩行者が前記自律走行車両に注意しているのかを判断するプロセス、及び前記特定歩行者が前記自律走行車両に注意していないものと判断されると、前記自律走行車両に設置された外部ディスプレイ及び外部スピーカのうち少なくとも一つを通じて前記走行プランに対応する前記自律走行車両の前記走行意図が前記特定歩行者及び少なくとも一台の周辺自動車の少なくとも一人の運転者のうち少なくとも一人に伝達されるようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
  11. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、（ｉ）予め設定された参照時間（Ｐｒｅｓｅｔ Ｒｅｆｅｒｅｎｃｅ Ｔｉｍｅ）の間、前記特定歩行者の視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの視線タイムセクション（Ｇａｚｅ Ｔｉｍｅ Ｓｅｃｔｉｏｎ）の累積和が予め設定された第１閾値以下である場合、又は（ｉｉ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置していない時間が予め設定された第２閾値以上である場合には、前記特定歩行者の前記視線パターンを参照して、前記特定歩行者が前記自律走行車両に注意していないものと判断するプロセスを遂行することを特徴とする請求項１０に記載の装置。
  12. 前記プロセッサは、（ｉｉｉ）前記予め設定された参照時間の間、前記特定歩行者の前記視線が前記自律走行車両に位置する時間を意味するそれぞれの少なくとも一つの前記視線タイムセクションの累積和が、前記予め設定された第１閾値超過である場合、又は（ｉｖ）前記特定歩行者の前記視線が前記自律走行車両に位置する状態とそうでない状態とが繰り返された後、前記特定歩行者の前記視線が、前記自律走行車両に位置した時間が予め設定された第３閾値以上である場合には、前記特定歩行者が前記自律走行車両に注意しているものと判断するプロセスを遂行することを特徴とする請求項１１に記載の装置。
  13. 前記（Ｉ）プロセスで、
    （ｉ）前記道路の道幅に対応し、両側が前記道路とそれぞれの歩道との間におけるそれぞれの境界線からそれぞれの前記歩道方向に第１距離分だけ延長された第１領域と、前記それぞれの第１領域上におけるそれぞれの所定の地点を参照して選択される追加領域である第２領域とを含むように前記仮想横断歩道が生成され、（ｉｉ）前記仮想横断歩道の長手方向中心軸が、前記特定歩行者の位置に対応するようにした状態で、前記プロセッサは、前記特定歩行者が前記第１領域のうち一つに位置する場合には前記特定歩行者が前記道路を横断中であるものと判断するプロセス、及び前記特定歩行者が前記第２領域のうち一つに位置する場合には、前記特定歩行者が前記道路を横断する意図があるものと判断するプロセスを遂行することを特徴とする請求項１０に記載の装置。
  14. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記特定歩行者の移動速度及び加速度を参照して、（ｉ）横断終了地点から前記道路方向に第２距離以上である１次空間セクション（Ｐｒｉｍａｒｙ Ｓｐａｔｉａｌ Ｓｅｃｔｉｏｎ）では最大速力が制限された等加速度モデルを利用し、（ｉｉ）前記横断終了地点から前記道路方向に前記第２距離未満である第２空間セクションでは前記特定歩行者の移動方向は保持し、予め設定された音の加速度による前記等加速度モデルを利用して、前記特定歩行者の前記横断軌跡を予測するプロセスを遂行することを特徴とする請求項１０に記載の装置。
  15. 前記プロセッサは、前記自律走行車両の位置、移動方向、速力、及び制動距離を参照して、前記自律走行車両が、前記特定歩行者の前記横断軌跡を避けるようにするか、前記特定歩行者が脅威を感じないようにするか、交通法規に違反しないように、走行経路、加速情報、減速情報及び操向情報を予測して前記走行プランを設定するプロセスを遂行することを特徴とする請求項１０に記載の装置。
  16. 前記自律走行車両の加速動作、減速動作及び操向動作のうち少なくとも一部に対応する第１アクションプラン（Ａｃｔｉｏｎ Ｐｌａｎ）ないし第ｊアクションプラン（前記ｊは１以上の整数である）が設定された状態であり、予め設定された時間間隔でｎ個のステップ（前記ｎは１以上の整数である）が設定された状態において、前記プロセッサは、第ｋ−１（前記ｋは１以上ｎ以下の整数である）ステップで予測された第ｋ−１最適アクションプラン（Ｏｐｔｉｍａｌ Ａｃｔｉｏｎ Ｐｌａｎ）に対応する前記自律走行車両の第ｋ−１走行情報を基準にして、前記第１アクションプランないし前記第ｊアクションプランそれぞれを遂行した場合の結果である前記走行情報の第１走行情報ないし第ｊ走行情報のうち歩行者傷害コスト、歩行者脅威コスト、法規違反コスト、及び乗り心地コストを最小化する特定のアクションプランを第ｋステップにおける第ｋ最適アクションプランとして予測するプロセスを繰り返すことによって、前記ｎ個のステップそれぞれにおいて前記第１アクションプランないし前記第ｊアクションプランから選択されたそれぞれの第１最適アクションプランないし第ｎ最適アクションプランを参照して前記自律走行車両の前記走行プランを設定するプロセスを遂行することを特徴とする請求項１５に記載の装置。
  17. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、前記外部ディスプレイを通じて前記走行意図に対応する色相、シンボル（Ｓｙｍｂｏｌ）、テキスト、及び絵文字（Ｅｍｏｊｉ）のうち少なくとも一部を表示させるプロセスを遂行することを特徴とする請求項１０に記載の装置。
  18. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、前記自律走行車両の少なくとも一つの室内イメージ（Ｉｎｔｅｒｉｏｒ Ｉｍａｇｅ）を利用することによって、搭乗者の少なくとも一つの視線パターンを参照して、前記自律走行車両の少なくとも一人の前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意しているのかを判断するプロセス、及び前記搭乗者が前記自律走行車両の前記近傍前方領域または前記特定歩行者を注意していないものと判断されると、前記自律走行車両に設置された内部ディスプレイ及び内部スピーカのうち少なくとも一つを通じて前記走行プランに対応する前記自律走行車両の前記走行意図が前記搭乗者に伝達されるようにするプロセスを遂行することを特徴とする請求項１０に記載の装置。
JP2020007738A 2019-01-31 2020-01-21 Ｖ２ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置 Active JP6921442B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799259P 2019-01-31 2019-01-31
US62/799259 2019-01-31
US16/732,009 US10780897B2 (en) 2019-01-31 2019-12-31 Method and device for signaling present driving intention of autonomous vehicle to humans by using various V2X-enabled application
US16/732009 2019-12-31

Publications (2)

Publication Number Publication Date
JP2020125106A true JP2020125106A (ja) 2020-08-20
JP6921442B2 JP6921442B2 (ja) 2021-08-18

Family

ID=69191859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020007738A Active JP6921442B2 (ja) 2019-01-31 2020-01-21 Ｖ２ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置

Country Status (5)

Country Link
US (1) US10780897B2 (ja)
EP (1) EP3690860A1 (ja)
JP (1) JP6921442B2 (ja)
KR (1) KR102325029B1 (ja)
CN (1) CN111497864B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112622937A (zh) * 2021-01-14 2021-04-09 长安大学 一种面对行人时自动驾驶汽车的通行权决策方法
KR20220047532A (ko) * 2020-10-08 2022-04-18 모셔널 에이디 엘엘씨 보행자에게 차량 정보 전달

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11040714B2 (en) * 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
US12100228B2 (en) * 2019-04-24 2024-09-24 Mitsubishi Electric Corporation Travel environment analysis apparatus, travel environment analysis system, and travel environment analysis method
US11816914B2 (en) * 2019-09-05 2023-11-14 Humanising Autonomy Limited Modular predictions for complex human behaviors
US11754408B2 (en) * 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
US12012118B2 (en) * 2019-11-02 2024-06-18 Perceptive Automata, Inc. Generating training datasets for training machine learning based models for predicting behavior of traffic entities for navigating autonomous vehicles
JP6833111B1 (ja) * 2019-11-28 2021-02-24 三菱電機株式会社 表示制御装置、表示システム、及び、表示制御方法
US11414102B2 (en) * 2020-01-28 2022-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle communication consistency
US11688184B2 (en) * 2020-06-17 2023-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Driving automation external communication location change
CN111912423B (zh) * 2020-10-13 2021-02-02 北京三快在线科技有限公司 一种预测障碍物轨迹以及模型训练的方法及装置
CN112550309B (zh) * 2020-12-21 2022-05-10 阿波罗智联(北京)科技有限公司 自动驾驶车辆、信息显示方法、装置、设备以及存储介质
JP7468401B2 (ja) * 2021-02-22 2024-04-16 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び表示装置
CN113428176B (zh) * 2021-06-25 2023-11-14 阿波罗智联(北京)科技有限公司 无人车驾驶策略的调整方法、装置、设备和存储介质
US11639180B1 (en) 2021-06-30 2023-05-02 Gm Cruise Holdings Llc Notifications from an autonomous vehicle to a driver
CN113486822B (zh) * 2021-07-12 2022-04-29 吉林大学 一种基于驾驶意图的周围车辆轨迹预测方法及系统
CN113306552B (zh) * 2021-07-31 2021-10-01 西华大学 混合道路拥堵状态下无人驾驶汽车的超低速蠕行方法
US11904906B2 (en) * 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
KR102452124B1 (ko) * 2021-10-01 2022-10-07 주식회사 제일엔지니어링종합건축사사무소 지능형 횡단보도 보행 안전지원 장치 및 방법
KR20230082777A (ko) * 2021-12-02 2023-06-09 한국전자기술연구원 주행 시나리오 추천 방법 및 장치
CN114312836A (zh) * 2021-12-24 2022-04-12 阿波罗智联(北京)科技有限公司 自动驾驶车辆礼让行人的方法、装置、设备及存储介质
CN114379587B (zh) * 2021-12-28 2024-05-24 阿波罗智联(北京)科技有限公司 自动驾驶中避让行人的方法与装置
EP4224288A1 (en) * 2022-02-07 2023-08-09 Robert Ohrenstein Gaze direction determination apparatus
CN116788278A (zh) * 2022-03-17 2023-09-22 北京图森智途科技有限公司 用于无人驾驶车辆的信息提示系统及方法
CN114872731A (zh) * 2022-05-23 2022-08-09 北京小马睿行科技有限公司 确定躲避非机动车策略的方法及装置、一种车辆
CN116153051B (zh) * 2022-11-01 2023-11-24 西部科学城智能网联汽车创新中心(重庆)有限公司 基于车路协同的虚拟人行横道构建方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119408A (ja) * 2004-10-22 2006-05-11 Sony Corp 映像表示方法および映像表示装置
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
US8954252B1 (en) * 2012-09-27 2015-02-10 Google Inc. Pedestrian notifications
KR20180085585A (ko) * 2017-01-19 2018-07-27 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
US20180276706A1 (en) * 2017-03-21 2018-09-27 Kellogg Company Media Content Tracking
JPWO2017130643A1 (ja) * 2016-01-29 2018-11-15 日産自動車株式会社 車両の走行制御方法および車両の走行制御装置
US20180326982A1 (en) * 2016-11-28 2018-11-15 drive.ai Inc. Method for influencing entities at a roadway intersection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2400655A (en) * 1941-03-20 1946-05-21 John J Sala Guide for public safety of vehicles and pedestrians
CA2449797A1 (en) * 2002-12-04 2004-06-04 Bombardier Recreational Products Mobile electronic video game
US7912629B2 (en) * 2007-11-30 2011-03-22 Nokia Corporation Methods, apparatuses, and computer program products for traffic data aggregation using virtual trip lines and a combination of location and time based measurement triggers in GPS-enabled mobile handsets
US7818114B2 (en) * 2007-11-30 2010-10-19 Nokia Corporation Methods, apparatuses, and computer program product for traffic data aggregation using virtual trip lines and GPS-enabled mobile handsets
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
JP2015072570A (ja) * 2013-10-02 2015-04-16 本田技研工業株式会社 車両の制御装置
US20150268665A1 (en) * 2013-11-07 2015-09-24 Google Inc. Vehicle communication using audible signals
CN107851378A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 用于在车辆到万物通信系统中提供服务的装置和方法
JP6814153B2 (ja) * 2015-10-27 2021-01-13 株式会社小糸製作所 車両用照明装置、車両システム及び車両
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP7011783B2 (ja) * 2017-02-17 2022-01-27 日本精機株式会社 車両用表示装置
JP7039940B2 (ja) * 2017-11-09 2022-03-23 トヨタ自動車株式会社 車両制御装置
CN108109413B (zh) * 2017-12-13 2020-06-26 厦门金龙旅行车有限公司 一种无人驾驶车辆与非智能交通参与者的信息交互系统
US10347132B1 (en) * 2018-10-30 2019-07-09 GM Global Technology Operations LLC Adjacent pedestrian collision mitigation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119408A (ja) * 2004-10-22 2006-05-11 Sony Corp 映像表示方法および映像表示装置
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
US8954252B1 (en) * 2012-09-27 2015-02-10 Google Inc. Pedestrian notifications
JPWO2017130643A1 (ja) * 2016-01-29 2018-11-15 日産自動車株式会社 車両の走行制御方法および車両の走行制御装置
US20180326982A1 (en) * 2016-11-28 2018-11-15 drive.ai Inc. Method for influencing entities at a roadway intersection
KR20180085585A (ko) * 2017-01-19 2018-07-27 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
US20180276706A1 (en) * 2017-03-21 2018-09-27 Kellogg Company Media Content Tracking

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047532A (ko) * 2020-10-08 2022-04-18 모셔널 에이디 엘엘씨 보행자에게 차량 정보 전달
US11738682B2 (en) 2020-10-08 2023-08-29 Motional Ad Llc Communicating vehicle information to pedestrians
KR102684460B1 (ko) * 2020-10-08 2024-07-12 모셔널 에이디 엘엘씨 보행자에게 차량 정보를 전달하는 방법
US12090921B2 (en) 2020-10-08 2024-09-17 Motional Ad Llc Communicating vehicle information to pedestrians
CN112622937A (zh) * 2021-01-14 2021-04-09 长安大学 一种面对行人时自动驾驶汽车的通行权决策方法

Also Published As

Publication number Publication date
CN111497864B (zh) 2023-05-05
JP6921442B2 (ja) 2021-08-18
US20200247434A1 (en) 2020-08-06
CN111497864A (zh) 2020-08-07
KR102325029B1 (ko) 2021-11-15
KR20200096121A (ko) 2020-08-11
US10780897B2 (en) 2020-09-22
EP3690860A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP2020125106A (ja) Ｖ２ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置
JP7427280B2 (ja) 自動運転制御装置及び車両
JP2020015504A (ja) 車両の活動に基づくナビゲーション
JP2020163900A (ja) 車両制御装置、車両制御方法、及びプログラム
WO2016170647A1 (ja) オクルージョン制御装置
WO2021054051A1 (ja) 電子制御装置
CN106846906A (zh) 用于提高骑行者安全性的动态车道定位
JP2017194961A (ja) 車両の運転において運転者を支援する方法および運転者支援システム
JP2020059389A (ja) 報知装置
JP7435787B2 (ja) 経路確認装置および経路確認方法
JP2021172264A (ja) 車両の走行支援方法及び走行支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6921442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250