CN114895662A - 自动驾驶车辆的远程支援系统以及远程支援方法 - Google Patents

自动驾驶车辆的远程支援系统以及远程支援方法 Download PDF

Info

Publication number
CN114895662A
CN114895662A CN202210039904.XA CN202210039904A CN114895662A CN 114895662 A CN114895662 A CN 114895662A CN 202210039904 A CN202210039904 A CN 202210039904A CN 114895662 A CN114895662 A CN 114895662A
Authority
CN
China
Prior art keywords
vehicle
information
control
satisfied
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210039904.XA
Other languages
English (en)
Inventor
松尾芳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114895662A publication Critical patent/CN114895662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Abstract

本发明提供一种自动驾驶车辆的远程支援系统以及远程支援方法。提供在进行在车辆的前方存在的信号灯的指示内容的辨识支援的情况下，车辆能够根据该指示内容的实时信息安全地行驶的技术。车辆判定是否满足依照车辆前方的信号灯的指示内容的车辆的通行许可条件。在判定为不满足通行许可条件的情况下，车辆在信号灯的跟前临时停止，将支援要求信号发送给远程设施。在远程设施的显示装置中显示表示车辆的临时停止中的摄像图像信息的参照图像信息。远程设施的操作人员输入构成参照图像信息所包含的信号灯的像素的位置信息。远程设施将包括该位置信息的支援信息发送给车辆。车辆根据位置信息，再次判定是否满足通行许可条件。

Description

自动驾驶车辆的远程支援系统以及远程支援方法
技术领域
本发明涉及支援自动驾驶车辆的自动行驶的系统以及方法。
背景技术
日本特开2019-156192号公报公开进行单侧交替通行区间中的车辆的自动驾驶的控制装置。单侧交替通行区间例如是在相向通行道路的一方中进行工程的情况下，为了确保跨越该工程区间的车辆的往来而设置的。以往的控制装置根据用摄像机取得的图像信息，辨识工程区间的存在、以及工程区间特有的设置物。作为特有的设置物，例示出工程车辆、三角锥、临时安设信号灯。
临时安设信号灯设置于工程区间的跟前。以往的控制装置根据临时安设信号灯表示的信息(例如显示颜色、时间显示)，判定单侧交替通行区间中的车辆可否通行。在未辨识到临时安设信号灯的情况下，根据其他信息判定可否该通行。作为其他信息，例示出交通引导员的活动、和先行车辆的行动。在未辨识到这些信息的情况下，以往的控制装置执行催促驾驶员进行的手动驾驶的控制。
现有技术文献
专利文献
专利文献1：日本特开2019-156192号公报
专利文献2：日本特开2019-156196号公报
专利文献3：日本特开2019-036100号公报
发明内容
作为未辨识到临时安设信号灯的原因，可以举出车辆难以掌握地图上的临时安设信号灯的设置部位，因此，相比于常设信号灯在摄像机图像上难以辨识。该辨识性的问题在设置于私有地产(例如商业设施的停车场)的信号灯中也存在。
因此，考虑在车辆的前方存在的信号灯的指示内容的辨识精度低而对远程设施的操作人员要求该指示内容的辨识支援的情形。在在该情形中，车辆在信号灯的跟前临时停止的同时，将要求辨识支援的信号发送给远程设施。在该信号的发送时，车载摄像机的图像信息被提供给操作人员。因此，操作人员易于辨识信号灯的指示内容。然后，操作人员依照信号灯的指示内容，将通行许可信号输入给计算机。该通行许可信号从远程设施发送给车辆。
但是，由于通信线路的传送速度、从远程设施至车辆的距离而产生通信延迟。因此，存在在车辆接收通行许可信号的定时、或者、车辆根据该通行许可信号起动的定时，信号灯的指示内容变为不期望车辆通行的指示内容的可能性。因此，要求用于适当地应对这样的指示内容的变化的改良。
本发明的1个目的在于提供一种在对车辆的前方存在的信号灯的指示内容进行辨识支援的情况下车辆能够根据该指示内容的实时信息安全地行驶的技术。
第1观点是车辆的远程支援系统，具有接下来的特征。
所述远程支援系统具备进行自动行驶的车辆、和与所述车辆进行通信的远程设施。
所述车辆具备控制装置，该控制装置根据包括所述车辆的前方的摄像图像信息的驾驶环境信息，进行所述车辆的自动驾驶控制。
所述远程设施具备输入装置、显示装置、以及信息处理装置。所述输入装置由操作人员操作。所述显示装置显示所述摄像图像信息。所述信息处理装置进行处理所述输入装置接受的输入信息的输入信息处理、以及所述显示装置的显示控制处理。
所述控制装置在所述自动驾驶控制中，
根据所述驾驶环境信息，判定是否满足依照所述车辆的前方的信号灯的指示内容的所述车辆的通行许可条件，
在判定为不满足所述通行许可条件的情况下，使所述车辆在所述信号灯的跟前临时停止，
将要求由所述操作人员实施支援的支援要求信号发送给所述远程设施。
所述信息处理装置
在接收到所述支援要求信号的情况下，在所述显示控制处理中，进行用于显示表示所述车辆的临时停止中的所述摄像图像信息的参照图像信息的处理，
在接受了构成所述参照图像信息所包含的信号灯的像素的位置信息作为所述输入信息的情况下，在所述输入信息处理中，将包括所述位置信息的支援信息发送给所述车辆。
所述控制装置在所述自动驾驶控制中，进一步
在接收到所述支援信息的情况下，根据所述位置信息，再次判定是否满足所述通行许可条件，
在判定为满足所述通行许可条件的情况下，解除所述车辆的临时停止状态，进行用于依照所述信号灯的指示内容行驶的车辆控制。
第2观点在第1观点中，还具有接下来的特征。
所述信息处理装置在接受到所述车辆的通行许可信号作为所述输入信息的情况下，在所述输入信息处理中，将包括所述通行许可信号的所述支援信息发送给所述车辆。
所述控制装置在所述自动驾驶控制中，进一步
在所述通行许可信号的接收之后判定为满足所述通行许可条件的情况下，解除所述临时停止状态，进行所述车辆控制。
第3观点是对车辆的自动行驶进行远程支援的车辆的远程支援方法，具有接下来的特征。
在所述远程支援方法中，
所述车辆的控制装置根据包括所述车辆的前方的摄像图像信息的驾驶环境信息，进行所述车辆的自动驾驶控制，
与所述车辆进行通信的远程设施的信息处理装置进行：输入信息处理，处理由操作人员操作的输入装置接受到的输入信息；以及显示所述摄像图像信息的显示装置的显示控制处理。
所述控制装置在所述自动驾驶控制中，
根据所述驾驶环境信息，判定是否满足依照所述车辆的前方的信号灯的指示内容的所述车辆的通行许可条件，
在判定为不满足所述通行许可条件的情况下，使所述车辆在所述信号灯的跟前临时停止，
将要求由所述操作人员实施支援的支援要求信号发送给所述远程设施。
所述信息处理装置
在接收到所述支援要求信号的情况下，在所述显示控制处理中，进行用于显示表示所述车辆的临时停止中的所述摄像图像信息的参照图像信息的处理，
在接受到构成所述参照图像信息所包含的信号灯的像素的位置信息作为所述输入信息的情况下，在所述输入信息处理中，将包括所述位置信息的支援信息发送给所述车辆。
所述控制装置在所述自动驾驶控制中，进一步
在接收到所述支援信息的情况下，根据所述位置信息，再次判定是否满足所述通行许可条件，
在判定为满足所述通行许可条件的情况下，解除所述车辆的临时停止状态，进行用于依照所述信号灯的指示内容行驶的车辆控制。
第4观点在第3观点中，还具有接下来的特征。
所述信息处理装置在接受到所述车辆的通行许可信号作为所述输入信息的情况下，在所述输入信息处理中，将包括所述通行许可信号的所述支援信息发送给所述车辆。
所述控制装置在所述自动驾驶控制中，进一步
在所述通行许可信号的接收之后判定为满足所述通行许可条件的情况下，解除所述临时停止状态，进行所述车辆控制。
根据第1或者3的观点，即使在信号灯的指示内容的辨识精度低的情况下，仍应答支援要求信号，从远程设施对车辆提供支援信息。在支援信息中，包括构成车辆的临时停止中的摄像图像信息(参照图像信息)所包含的信号灯的像素的位置信息。因此，能够改善信号灯的指示内容的辨识精度低的状况。因此，能够在车辆中辨识信号灯的指示内容的实时信息，进行通行许可条件的判定。因此，能够提高依照信号灯的指示内容的车辆的行驶安全性。
根据第2或者4的观点，在对车辆提供包括通行许可信号的支援信息的情况下也能够在车辆中辨识信号灯的指示内容的实时信息，从而进行通行许可条件的判定。
附图说明
图1是说明本发明的实施方式的概要的图。
图2是说明本发明的实施方式的概要的图。
图3是说明本发明的实施方式的概要的图。
图4是示出本发明的实施方式所涉及的远程支援系统的结构例的图。
图5是示出在辨识到不可通行区间的情况下在自动驾驶车辆中进行的自动驾驶控制处理的流程的流程图。
图6是示出在辨识到不可通行区间的情况下在自动驾驶车辆中进行的其他自动驾驶控制处理的流程的流程图。
图7是示出在远程设施中进行的信息处理的流程的流程图。
(符号说明)
1：远程支援系统；2：网络；3：自动驾驶车辆；4：远程设施；37：通信装置；38：控制装置；41：通信装置；42：信息处理装置；43：显示装置；44：输入装置；DR：着眼区域；L1、L2：行车道；TS：信号灯；ASS：支援信息；IPS：不可行驶区间；OAS：单侧交替通行区间；PPS：位置信息；REF：参照图像信息；REQ：支援要求信号；STA：通行许可信号。
具体实施方式
以下，参照附图，说明本发明的实施方式。此外，实施方式所涉及的远程支援方法通过在实施方式所涉及的远程支援系统中进行的计算机处理实现。另外，在各图中，对同一或者相当的部分附加同一符号而简化或者省略其说明。
1.实施方式的概要
图1～3是说明实施方式的概要的图。在图1以及2中，描绘出在行车道L1上行驶的自动驾驶车辆3。自动驾驶车辆3构成实施方式所涉及的车辆的远程支援系统的一部分。在自动驾驶车辆3的前方存在工程机械CM。工程机械CM的周围的区域构成车辆不可通行的区间IPS(impassable section：不可行驶区间)。即，在图1以及2的例子中，设定有作为工程区间的区间IPS。但是，区间IPS的例子不限于此。例如，也可以在停止车辆(例如故障车辆)的周围的区域中设定区间IPS。
与行车道L1邻接的行车道L2是用于相向车辆行驶的道路。在行车道L1与行车道L2之间没有中央隔离带等构造物。因此，行车道L1以及L2构成单侧一个行车道的相向通行道路。当在相向通行道路中设定有区间IPS的情况下，区间IPS的周围的区域有时构成车辆可交替通行的区间OAS(one-side alternate section：单侧交替通行区间)。区间OAS包括行车道L1中的区间IPS的跟前及后面的区域、与区间IPS邻接的行车道L2的区域、以及该邻接区域的跟前及后面的区域。
在行车道L1中的区间IPS的跟前，设置有信号灯TS。信号灯TS是在行车道L1上行驶的车辆(即自动驾驶车辆3)在区间OAS通行用的临时安设信号灯。信号灯TS具备点亮部(例如绿色以及红色点亮部)。点亮部的点亮状态以预定的间隔切换。信号灯TS也可以具备显示直至点亮状态切换为止的时间的显示部。
在图1中，自动驾驶车辆3在区间OAS的跟前减速。作为自动驾驶车辆3进行减速的例子，可以举出点亮部的指示内容与“停止”相应(具体而言，红色点亮部点亮)。作为其他例子，可以举出由自动驾驶车辆3辨识信号灯TS、点亮部或者点亮状态的精度低的情况(包括无法辨识信号灯TS等的情况)。在信号灯TS等的辨识的精度低的情况下，自动驾驶车辆3在区间OAS的跟前临时停止。
在图2中，描绘在区间OAS的跟前临时停止的自动驾驶车辆3。在信号灯TS等的辨识的精度低的情况下，自动驾驶车辆3在停止动作的完成后(或者减速动作的实施中)，将要求支援区间OAS中的通行的信号(支援要求信号)REQ发送给远程设施4。驻派在远程设施4的操作人员应答支援要求信号REQ而实施该支援。在支援要求信号REQ的发送时，将自动驾驶车辆3停止中的自动驾驶车辆3前方的摄像图像信息作为“参照图像信息REF”来发送。
图3是示意地示出参照图像信息REF的一部分的图。在远程设施4中，以操作人员可视觉辨认的方式显示图3所示的参照图像信息REF。因此，看到参照图像信息REF的操作人员辨识信号灯TS。辨识到信号灯TS的操作人员将包括构成信号灯TS的像素的位置信息PPS的支援信息ASS发送给自动驾驶车辆3。像素的位置信息PPS是用于提高由自动驾驶车辆3进行的信号灯TS等的辨识的精度的信息。
参照图像信息REF由多个像素构成。在图3所示的例子中，以包围信号灯TS的方式，设定着眼区域DR。着眼区域DR是由看到参照图像信息REF的操作人员指定的区域。着眼区域DR是将坐标(i-1，j-1)、(i+2，j-1)、(i-1，j+2)以及(i+2，j+2)作为顶点的矩形区域，构成该着眼区域DR的坐标信息与位置信息PPS相应。
接收到包括位置信息PPS的支援信息ASS的自动驾驶车辆3根据该位置信息PPS、和摄像图像信息，判定是否满足用于依照信号灯TS的指示内容自动通过区间OAS的通行许可条件。通行许可条件例如包括下面的条件。
(i)辨识信号灯TS
(ii)点亮部的指示内容与“通行许可”相应(具体而言绿色点亮部点亮)
在判定为满足通行许可条件的情况下，自动驾驶车辆3解除临时停止状态并起动，自动通过区间OAS。
辨识到信号灯TS的操作人员也可以在点亮部的指示内容与“通行许可”相应的情况下，将通行许可信号STA发送给自动驾驶车辆3。在该情况下，将通行许可信号STA，作为支援信息ASS的追加信息发送给自动驾驶车辆3。在接收到通行许可信号STA的情况下，自动驾驶车辆3在该通行许可信号STA的接收之后，判定是否满足通行许可条件。然后，在判定为满足通行许可条件的情况下，自动驾驶车辆3解除临时停止状态并起动，自动通过区间OAS。即，当在通行许可信号STA的接收之后判定为满足通行许可条件的情况下，自动驾驶车辆3自动通过区间OAS。
这样，根据实施方式，在信号灯TS等的辨识的精度低的情况下，由操作人员进行区间OAS中的通行的支援。在该支援中，由看到参照图像信息REF的操作人员，对自动驾驶车辆3提供包括位置信息PPS的支援信息ASS。根据位置信息PPS，由自动驾驶车辆3进行的信号灯TS等的辨识的精度提高。因此，能够在自动驾驶车辆3中进行是否满足通行许可条件的判定。
在对自动驾驶车辆3仅提供通行许可信号STA的情况下，在该通行许可信号STA的发送接收中发生的时滞成为问题。特别，在产生通信延迟的情况下，时滞扩大。因此，在自动驾驶车辆3的起动的定时，存在点亮部的指示内容从“通行许可”变为“停止”的可能性。该点，根据基于位置信息PPS的通行许可条件的判定，能够考虑信号灯TS表示的实时信息。因此，能够提高依照信号灯TS的指示内容自动通过区间OAS时的安全性。
此外，在图1～3中，说明在区间OAS中设置信号灯TS的例子。然而，在应用了实施方式的信号灯TS中，还包括设置于私有地产的信号灯(以下还称为“私设信号灯”)。私设信号灯是设置于私有地产的特定区域(例如多个道路的交叉地点或者合流地点)的安保器具。作为私设信号灯的典型的设置部位，设想特定区域的侧方或者上方。通过将图1～3的说明中的“区间OAS”换称为“特定区域”，说明应用于私设信号灯的实施方式的概要。
以下，详细说明实施方式所涉及的车辆的远程支援系统。
2.远程支援系统的结构例
2-1.整体结构例
本实施方式所涉及的车辆的远程支援系统是将自动驾驶车辆3和远程设施4用网络连接的系统。图4是示出本实施方式所涉及的远程支援系统1的结构例的图。
远程支援系统1具备自动驾驶车辆3、和经由网络(即因特网)2与自动驾驶车辆3进行通信的远程设施4。自动驾驶车辆3的驾驶状况由远程设施4监视。远程设施4既可以专属监视1台自动驾驶车辆3，也可以同时监视多台自动驾驶车辆3。
在远程设施4中，由操作人员监视自动驾驶车辆3的驾驶状况。为了实现由操作人员的监视，远程设施4具备通信装置(设施侧通信装置)41、信息处理装置42、显示装置43以及输入装置44。
通信装置41是用于接收来自自动驾驶车辆3的摄像图像信息的装置。信息处理装置42由具有至少1个处理器、和至少1个存储器的微型计算机构成。在信息处理装置42中，作为用于处理摄像图像信息并显示于显示装置43的处理而进行显示控制处理。输入装置44是用于由操作人员针对信息处理装置42输入指示的HMI(Human Machine Interface，人机接口)。在从操作人员输入了指示的情况下，信息处理装置42进行处理该输入信息的输入信息处理。通信装置41将由信息处理装置42进行的输入信息处理后的信息的一部分或者全部发送给自动驾驶车辆3。
在自动驾驶车辆3中，作为用于取得用于其自动行驶的驾驶环境信息的设备而具备摄像机31、毫米波雷达32、以及激光雷达33。摄像机31是用于取得自动驾驶车辆3的周围的摄像图像信息的设备，是自动驾驶车辆3必须的结构。毫米波雷达32以及激光雷达33是用于取得自动驾驶车辆3的周围的物标信息的设备。还能够省略毫米波雷达32以及激光雷达33。摄像机31例如安装于自动驾驶车辆3的前挡风玻璃。摄像机31、毫米波雷达32以及激光雷达33取得的信息被发送给控制装置38。
控制装置38取入包括来自摄像机31、毫米波雷达32以及激光雷达33的信息的驾驶环境信息、和来自远程设施4的支援信息。然后，控制装置38通过处理这些信息而得到的操作信号，操作各种致动器。在各种致动器中包括驱动致动器34、制动致动器35以及转向致动器36。驱动致动器34驱动自动驾驶车辆3。制动致动器35对自动驾驶车辆3赋予制动力。转向致动器36对自动驾驶车辆3进行转向。
在驾驶环境信息中，包括由未图示的车速传感器、加速度传感器等车载传感器取得的与车辆状态有关的信息。在驾驶环境信息中，还包括由未图示的GPS接收机取得的表示自动驾驶车辆3的当前地的位置信息、和地图数据库具有的地图信息。通过利用通信装置(车辆侧通信装置)37的无线通信，取得来自远程设施4的支援信息。作为通信装置37利用的无线通信的通信标准，例示出4G、LTE、5G等移动通信的标准。
控制装置38由具有至少1个处理器38a、和至少1个存储器38b的微型计算机构成。在存储器38b中，存储有用于自动行驶的至少1个程序。包括驾驶环境信息的各种信息被储存到存储器38b。通过读出存储于存储器38b的程序并由处理器38a执行，实现控制装置38的各种功能。
2-2.控制装置的功能例子
2-2-1.自动驾驶控制功能
控制装置38(处理器38a)例如根据自动驾驶车辆3的位置信息以及地图信息，计算自动驾驶车辆3的行驶路线。然后，控制装置38进行以使自动驾驶车辆3沿着计算出的行驶路线行驶的方式，控制自动驾驶车辆3的驱动、转向以及制动的自动驾驶控制。在自动驾驶控制的执行时，适宜地使用来自摄像机31的摄像图像信息、来自毫米波雷达32以及激光雷达33的物标信息、来自车载传感器的车辆状态信息。此外，关于自动驾驶的方法存在各种公知方法，在本发明中该方法自身没有限定。因此，在本说明书中，省略关于沿着行驶路线的自动驾驶方法的说明。
在自动驾驶控制中，包括碰撞避免控制。碰撞避免控制是用于避免自动驾驶车辆3碰撞到周围的物标(避免对象)的控制。作为避免对象，例示出图1所示的工程机械CM。在物标(避免对象)的辨识中，利用使用人工智能的图像处理技术。在从摄像图像信息(或者摄像图像信息和物标信息的综合信息)辨识到三角锥等安保器具的情况下，控制装置38将用安保器具划分的区域辨识为区间IPS。在辨识到区间IPS的情况下，控制装置38执行将区间IPS作为避免对象的碰撞避免控制。
在将区间IPS作为避免对象的碰撞避免控制的执行时，控制装置38根据摄像图像信息、位置信息以及地图信息，判定区间IPS的周围的区域是否与区间OAS相应。例如，根据位置信息以及地图信息，得知自动驾驶车辆3在单侧一个行车道的相向通行道路上行驶。另外，根据摄像图像信息，得知区间IPS所占的行车道宽度方向的比值。因此，判定区间IPS的占有比值是否为阈值以上。由此，能够判定区间IPS的周围的区域是否与区间OAS相应。
在根据摄像图像信息或者综合信息辨识到信号灯TS的情况下，也可以省略基于区间IPS的占有比值的判定。信号灯TS是设置于区间OAS的典型的安保器具。因此，在辨识到信号灯TS的情况下，能够容易地判定为区间IPS的周围的区域与区间OAS相应。
在判定为在自动驾驶车辆3的前方存在区间OAS的情况下，控制装置38根据摄像图像信息，判定是否满足用于自动通过区间OAS的通行许可条件。通行许可条件例如包括以下的条件。
(i)辨识信号灯TS
(ii)点亮部的指示内容与“通行许可”相应
在判定为满足通行许可条件的情况下，自动驾驶车辆3自动通过区间OAS。在区间OAS的自动通过时，例如设定自动驾驶车辆3的当前位置至区间OAS内的任意的位置为止的行驶路线(目标轨迹)。然后，控制装置38以使自动驾驶车辆3沿着设定的目标轨迹行驶的方式，控制自动驾驶车辆3的驱动、转向以及制动。在区间IPS的通过后，控制装置38设定自动驾驶车辆3的从当前位置至行车道L1内的任意的位置为止的目标轨迹。然后，控制装置38以使自动驾驶车辆3沿着设定的目标轨迹行驶的方式，控制自动驾驶车辆3的驱动、转向以及制动。
在判定为不满足通行许可条件的情况下，控制装置38(处理器38a)以使自动驾驶车辆3在区间OAS的跟前停止的方式，控制自动驾驶车辆3的驱动、转向以及制动。然后，控制装置38将支援要求信号REQ发送给远程设施4。支援要求信号REQ的发送在自动驾驶车辆3的停止动作的完成后进行。支援要求信号REQ的发送也可以在停止动作的完成前进行。即，也可以在自动驾驶车辆3的减速动作的实施中进行支援要求信号REQ的发送。
2-2-2.摄像图像发送功能
控制装置38(处理器38a)将来自摄像机31的摄像图像信息发送给远程设施4。在发送的摄像图像信息中，至少包括自动驾驶车辆3的前方的摄像图像信息。在信号灯TS的跟前处的临时停止中被发送的摄像图像信息是参照图像信息REF。参照图像信息REF被发送给远程设施4，并且被存储到存储器38b的预定区域(或者处理器38a的高速缓存存储器)。
控制装置38依照远程设施4与通信装置37之间的通信循环，发送摄像图像信息。发送给远程设施4的摄像图像信息被用于自动驾驶车辆3的周围的远程监视。通信循环既可以固定，也可以根据驾驶环境信息变化。例如，也可以延长汽车专用行车道的行驶中的通信循环，缩短信号灯存在的交叉点的行驶中的通信循环。信号灯TS的跟前处的临时停止中的通信循环例如能够设为这些通信循环的中间。
3.在相向通行道路中设定区间IPS的情况下的处理例子
3-1.自动驾驶车辆(控制装置)侧的处理
图5是示出在辨识到区间IPS的情况下控制装置38进行的自动驾驶控制处理的流程的流程图。每当辨识到区间IPS时，反复执行图5所示的例程。
在图5所示的例程中，首先，判定在自动驾驶车辆3的前方是否存在区间OAS(步骤S11)。根据摄像图像信息、位置信息以及地图信息，判定是否存在区间OAS。例如，控制装置38根据位置信息以及地图信息，判定自动驾驶车辆3是否在单侧一个行车道的相向通行道路上行驶。另外，控制装置38根据摄像图像信息，计算区间IPS所占的行车道宽度方向的比值。然后，控制装置38判定占有比值是否为阈值以上。在占有比值是阈值以上的情况下，判定为存在区间OAS。
在步骤S11的判定结果是否定的情况下，结束本例程的处理。此外，在该情况下，控制装置38依照与本例程不同的控制程序，进行将区间IPS作为避免对象的碰撞避免控制。在步骤S11的判定结果是肯定的情况下，根据摄像图像信息，判定是否满足通行许可条件(步骤S12)。关于通行许可条件的例子，如上述说明。
在步骤S12的判定结果是肯定的情况下，进行用于自动通过区间OAS的车辆控制(步骤S13)。例如，控制装置38设定自动驾驶车辆3的从当前位置至区间OAS内的任意的位置为止的目标轨迹。然后，控制装置38以使自动驾驶车辆3沿着目标轨迹行驶的方式，控制自动驾驶车辆3的驱动、转向以及制动。在区间IPS的通过后，控制装置38设定自动驾驶车辆3的从当前位置至行车道L1内的任意的位置为止的目标轨迹。然后，控制装置38以使自动驾驶车辆3沿着设定的目标轨迹行驶的方式，控制自动驾驶车辆3的驱动、转向以及制动。
在步骤S12的判定结果是否定的情况下，进行区间OAS的跟前处的临时停止(步骤S14)。例如，控制装置38以使自动驾驶车辆3在区间OAS的跟前处停止的方式，控制自动驾驶车辆3的驱动、转向以及制动。
接着步骤S14的处理，输出支援要求信号REQ(步骤S15)。将支援要求信号REQ从控制装置38被发送给通信装置37。之后，支援要求信号REQ经由网络2被发送给通信装置41。
接着步骤S15的处理，判定是否接收到包括位置信息PPS的支援信息ASS(步骤S16)。如以上说明，位置信息PPS是构成包含于参照图像信息REF的信号灯TS的像素的位置信息(参照图3)。直至得到肯定的判定结果，反复执行步骤S16的处理。
在步骤S16的判定结果是肯定的情况下，判定是否满足通行许可条件(步骤S17)。即，在接收到位置信息PPS的情况下，控制装置38再次进行是否满足通行许可条件的判定。步骤S17的处理的内容与步骤S12基本上相同。但是，相对于在步骤S12的处理中根据摄像图像信息进行判定，在步骤S17的处理中根据位置信息PPS以及摄像图像信息进行判定。
如以上说明，位置信息PPS是构成信号灯TS的像素的位置信息。即，位置信息PPS是表示在参照图像信息REF的哪个像素坐标中存在信号灯TS的信息。在此，自动驾驶车辆3临时停止，所以在该期间取得的摄像图像信息中的信号灯TS的像素坐标与参照图像信息REF中的相同。因此，根据位置信息PPS，能够提高由控制装置38进行的信号灯TS的辨识的精度。因此，易于满足通行许可条件的第1条件(i)。
在同时满足该第1条件(i)和通行许可条件的第2条件(ii)的情况下，判定为满足通行许可条件。在步骤S17的判定结果是肯定的情况下，进行步骤S13的处理。即，控制装置38进行用于从区间OAS的跟前的停止位置起动而自动通过区间OAS的车辆控制。
图6是示出在辨识到区间IPS的情况下控制装置38进行的其他自动驾驶控制处理的流程的流程图。图6所示的例程与图5所示的例程同样地，每当辨识到区间IPS时反复执行。
图6所示的步骤S21～S25的处理与在图5中说明的步骤S11～S15的处理相同。因此，以下，说明步骤S26以后的处理。
接着步骤S25的处理，判定是否接收到包括位置信息PPS以及通行许可信号STA的支援信息ASS(步骤S26)。关于位置信息PPS接收判定，如在图5的步骤S16中说明那样。通行许可信号STA是许可自动驾驶车辆3的起动的信号。直至得到肯定的判定结果为止，反复执行步骤S26的处理。
在步骤S26的判定结果是肯定的情况下，判定是否满足通行许可条件(步骤S27)。步骤S27的处理的内容与图5的步骤S17的处理基本上相同。但是，在步骤S27的处理中，在通行许可信号STA的接收后，根据位置信息PPS以及摄像图像信息进行判定。
在步骤S27的判定结果是肯定的情况下，进行步骤S23的处理。即，控制装置38进行用于从区间OAS的跟前的停止位置起动而自动通过区间OAS的车辆控制。
3-2.远程设施(信息处理装置)侧的处理
图7是示出在操作人员应答支援要求信号REQ而进行远程支援的情况下信息处理装置42进行的输入信息处理的流程的流程图。每当信息处理装置42接收到支援要求信号REQ时，反复执行图7所示的例程。
在图7所示的例程中，首先判定是否有由操作人员实施的操作输入(步骤S31)。进行远程支援的操作人员根据显示于显示装置43的参照图像信息REF，辨识信号灯TS。此外，根据显示控制处理，进行参照图像信息REF的显示。辨识到信号灯TS的操作人员操作输入装置44，以包围信号灯TS的方式指定着眼区域DR。直至得到肯定的判定结果为止，反复执行步骤S31的处理。
在步骤S31的判定结果是肯定的情况下，生成位置信息PPS(步骤S32)。信息处理装置42根据由操作人员实施的区域指定，生成构成信号灯TS的像素的坐标信息(即位置信息PPS)。
接着步骤S32的处理，输出包括位置信息PPS的支援信息ASS(步骤S33)。将该支援信息ASS从信息处理装置42发送给通信装置41。之后，支援信息ASS经由网络2被发送给通信装置37。
进行远程支援的操作人员也可以辨识点亮部的指示内容与“通行许可”相应的情况。在该情况下，操作人员也可以操作输入装置44，输入通行许可信号STA。在被输入通行许可信号STA的情况下，信息处理装置42将该通行许可信号STA追加到支援信息ASS。
接着步骤S33，判定是否有由操作人员实施的操作结束输入(步骤S34)。进行远程支援的操作人员根据显示于显示装置43的摄像图像信息，辨识自动驾驶车辆3的起动、或者、确认自动驾驶车辆3的区间OAS的通过。或者，进行远程支援的操作人员辨识支援要求信号REQ的接收结束了的情况。不论在哪一个情况下，操作人员都操作输入装置44，输入结束应答支援要求信号REQ的远程支援的指令。直至得到肯定的判定结果，反复执行步骤S34的处理。
4.效果
根据以上说明的本实施方式所涉及的远程支援系统，即使在信号灯TS等的辨识的精度低的情况下，也应答支援要求信号REQ，将包括位置信息PPS的支援信息ASS从远程设施4提供给自动驾驶车辆3。因此，能够改善信号灯TS等的辨识的精度低的状况。因此，能够在自动驾驶车辆3中辨识信号灯TS表示的实时信息，进行通行许可条件的判定。因此，能够提高自动通过区间OAS时的安全性。

Claims (4)

1.一种车辆的远程支援系统，具备：
车辆，进行自动行驶；以及
远程设施，与所述车辆进行通信，
所述车辆的远程支援系统的特征在于，
所述车辆具备控制装置，该控制装置根据包括所述车辆的前方的摄像图像信息的驾驶环境信息，进行所述车辆的自动驾驶控制，
所述远程设施具备：输入装置，由操作人员操作；显示装置，显示所述摄像图像信息；以及信息处理装置，进行处理所述输入装置接受的输入信息的输入信息处理、及所述显示装置的显示控制处理，
所述控制装置在所述自动驾驶控制中，
根据所述驾驶环境信息，判定是否满足依照所述车辆的前方的信号灯的指示内容的所述车辆的通行许可条件，
在判定为不满足所述通行许可条件的情况下，使所述车辆在所述信号灯的跟前临时停止，
将要求由所述操作人员实施支援的支援要求信号发送给所述远程设施，
所述信息处理装置
在接收到所述支援要求信号的情况下，在所述显示控制处理中，进行用于显示表示所述车辆的临时停止中的所述摄像图像信息的参照图像信息的处理，
在接受了构成所述参照图像信息所包含的信号灯的像素的位置信息作为所述输入信息的情况下，在所述输入信息处理中，将包括所述位置信息的支援信息发送给所述车辆，
所述控制装置在所述自动驾驶控制中，进一步
在接收到所述支援信息的情况下，根据所述位置信息，再次判定是否满足所述通行许可条件，
在判定为满足所述通行许可条件的情况下，解除所述车辆的临时停止状态，进行用于依照所述信号灯的指示内容行驶的车辆控制。
2.根据权利要求1所述的远程支援系统，其特征在于，
所述信息处理装置在接受到所述车辆的通行许可信号作为所述输入信息的情况下，在所述输入信息处理中，将包括所述通行许可信号的所述支援信息发送给所述车辆，
所述控制装置在所述自动驾驶控制中，进一步
在所述通行许可信号的接收之后判定为满足所述通行许可条件的情况下，解除所述临时停止状态，进行所述车辆控制。
3.一种车辆的远程支援方法，对车辆的自动行驶进行远程支援，其特征在于，
所述车辆的控制装置根据包括所述车辆的前方的摄像图像信息的驾驶环境信息，进行所述车辆的自动驾驶控制，
与所述车辆进行通信的远程设施的信息处理装置进行：输入信息处理，处理由操作人员操作的输入装置接受到的输入信息；以及显示所述摄像图像信息的显示装置的显示控制处理，
所述控制装置在所述自动驾驶控制中，
根据所述驾驶环境信息，判定是否满足依照所述车辆的前方的信号灯的指示内容的所述车辆的通行许可条件，
在判定为不满足所述通行许可条件的情况下，使所述车辆在所述信号灯的跟前临时停止，
将要求由所述操作人员实施支援的支援要求信号发送给所述远程设施，
所述信息处理装置
在接收到所述支援要求信号的情况下，在所述显示控制处理中，进行用于显示表示所述车辆的临时停止中的所述摄像图像信息的参照图像信息的处理，
在接受到构成所述参照图像信息所包含的信号灯的像素的位置信息作为所述输入信息的情况下，在所述输入信息处理中，将包括所述位置信息的支援信息发送给所述车辆，
所述控制装置在所述自动驾驶控制中，进一步
在接收到所述支援信息的情况下，根据所述位置信息，再次判定是否满足所述通行许可条件，
在判定为满足所述通行许可条件的情况下，解除所述车辆的临时停止状态，进行用于依照所述信号灯的指示内容行驶的车辆控制。
4.根据权利要求3所述的远程支援方法，其特征在于，
所述信息处理装置在接受到所述车辆的通行许可信号作为所述输入信息的情况下，在所述输入信息处理中，将包括所述通行许可信号的所述支援信息发送给所述车辆，
所述控制装置在所述自动驾驶控制中，进一步
在所述通行许可信号的接收之后判定为满足所述通行许可条件的情况下，解除所述临时停止状态，进行所述车辆控制。
CN202210039904.XA 2021-01-26 2022-01-14 自动驾驶车辆的远程支援系统以及远程支援方法 Pending CN114895662A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021010594A JP7327420B2 (ja) 2021-01-26 2021-01-26 自動運転車両の遠隔支援システム及び遠隔支援方法
JP2021-010594 2021-01-26

Publications (1)

Publication Number Publication Date
CN114895662A true CN114895662A (zh) 2022-08-12

Family

ID=82495259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210039904.XA Pending CN114895662A (zh) 2021-01-26 2022-01-14 自动驾驶车辆的远程支援系统以及远程支援方法

Country Status (3)

Country Link
US (1) US11891089B2 (zh)
JP (1) JP7327420B2 (zh)
CN (1) CN114895662A (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4996979B2 (ja) 2007-05-29 2012-08-08 日立オートモティブシステムズ株式会社 ナビ協調走行制御システム、および、ナビ協調走行制御方法
JP6106495B2 (ja) 2013-04-01 2017-03-29 パイオニア株式会社 検出装置、制御方法、プログラム及び記憶媒体
JP2019036100A (ja) 2017-08-14 2019-03-07 株式会社デンソー 運転支援装置
JP2019156192A (ja) 2018-03-14 2019-09-19 本田技研工業株式会社 車両制御装置
JP6637537B2 (ja) 2018-03-14 2020-01-29 本田技研工業株式会社 車両制御装置および車両制御方法
JP7140037B2 (ja) 2019-04-15 2022-09-21 トヨタ自動車株式会社 車両遠隔指示システム
US11565722B2 (en) * 2020-01-15 2023-01-31 The Regents Of The University Of Michigan Vehicle trajectory prediction near or at traffic signal

Also Published As

Publication number Publication date
US11891089B2 (en) 2024-02-06
US20220234619A1 (en) 2022-07-28
JP2022114333A (ja) 2022-08-05
JP7327420B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
CN108202743B (zh) 车辆控制装置
CN110050301B (zh) 车辆控制装置
CN109891474B (zh) 车辆用控制装置
US11130492B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7128623B2 (ja) 車両の予見的制御
CN108091155B (zh) 车联网中的交通流控制方法及其装置
JP7039940B2 (ja) 車両制御装置
CN111762113A (zh) 车辆控制装置、车辆控制方法及存储介质
CN111746511A (zh) 车辆控制系统
CN112622908B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110276986B (zh) 车辆控制装置和车辆控制方法
US11312394B2 (en) Vehicle control device
EP3524935B1 (en) Vehicle perception-data gathering system and method
CN116373869A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2019156195A (ja) 車両制御装置
US20220028272A1 (en) Method for assisting a motor vehicle
CN111824142B (zh) 显示控制装置、显示控制方法及存储介质
CN113401056A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
CN110320905B (zh) 车辆控制装置
CN114080340A (zh) 用于至少自动化地引导机动车的方法
CN114895662A (zh) 自动驾驶车辆的远程支援系统以及远程支援方法
JP7145178B2 (ja) 走行制御装置、走行制御方法およびプログラム
CN115311876A (zh) 远程辅助管理系统、远程辅助管理方法以及远程辅助管理程序
JP7003512B2 (ja) 車両走行制御方法及び装置
US11180166B2 (en) Vehicle control device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination