CN114175123A - 行驶辅助方法、道路摄影图像收集方法以及路侧装置 - Google Patents
行驶辅助方法、道路摄影图像收集方法以及路侧装置 Download PDFInfo
- Publication number
- CN114175123A CN114175123A CN202080055211.9A CN202080055211A CN114175123A CN 114175123 A CN114175123 A CN 114175123A CN 202080055211 A CN202080055211 A CN 202080055211A CN 114175123 A CN114175123 A CN 114175123A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- interest
- event
- captured image
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 70
- 238000004891 communication Methods 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims abstract description 56
- 239000002131 composite material Substances 0.000 claims description 18
- 206010039203 Road traffic accident Diseases 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 71
- 238000010586 diagram Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 29
- 238000013459 approach Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000005315 distribution function Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
不使ITS通信的负荷显著增大就能够减轻用于探测关注事件来进行危险躲避动作的控制的负荷,从而适当地辅助自动驾驶车辆的行驶控制。搭载于结束了在道路的对象区间通行的车辆(1)的作为信息提供源的车载终端(4)当在对象区间通行的期间探测到关注事件时,向位于对象区间的终点的终点侧的路侧机(6)发送与该关注事件有关的摄影图像及附加信息,终点侧的路侧机(6)将与关注事件有关的摄影图像及附加信息发送到位于对象区间的起点的起点侧的路侧机(6),起点侧的路侧机(6)将与关注事件有关的摄影图像及附加信息发送到搭载于要开始在对象区间通行的作为信息提供目的地的车载终端,作为信息提供目的地的车载终端基于与关注事件有关的摄影图像及附加信息来进行与本车辆的行驶控制有关的处理。
Description
技术领域
本发明涉及辅助车辆的行驶控制的行驶辅助方法、收集道路的摄影图像的道路摄影图像收集方法、以及辅助车辆的行驶控制或收集道路的摄影图像的路侧装置。
背景技术
近年来,利用ITS(Intelligent Transport System:智能交通系统)的安全驾驶辅助无线系统已实用化。另外,近年来正在开展面向辅助自动驾驶车的行驶的自动行驶系统的实用化的研究,特别是还正在进行用于在自动行驶系统中应用ITS通信的研究。在这样的自动行驶系统中应用ITS通信,利用车辆之间的通信(车车间通信)、设置在道路上的路侧机与车辆之间的通信(路车间通信),来交换道路状况等各种信息,由此能够辅助自动驾驶车辆的行驶控制。
作为与这样的通过道路状况等信息的交换来辅助自动驾驶车辆的行驶控制相关联的技术,已知以下技术:当用户指定场所时,收集由搭载于正在该场所行驶的车辆的摄像机(行车记录仪)拍摄到的摄影图像,并向用户呈现该摄影图像(参照专利文献1)。另外,已知以下技术:基于由搭载于车辆的摄像机拍摄到的摄影图像来检测行驶关联信息、即车辆的周围的交通状况或异常事件(落石等),并通过车车间通信向其它车辆发送该行驶关联信息(参照专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2017-182757号公报
专利文献2:日本特开2001-283381号公报
发明内容
发明要解决的问题
那么,考虑由先通行的车辆获取与道路上发生的关注事件、例如道路上的障碍物或交通事故的发生状况等有关的信息,向之后要通行的其它车辆提供该信息。如果这样,则该车辆能够一边预测关注事件一边行驶,因此能够减轻用于进行危险躲避动作的控制的负荷,特别是能够适当地辅助自动驾驶车辆的行驶控制。在该情况下,作为与关注事件有关的信息,考虑如专利文献1所公开的技术那样发送搭载于车辆的摄像机的摄影图像。
然而,ITS通信(车车间通信)是进行多个终端间的信息交换的通信,以数据量少的信息的发送接收为前提。因此,如专利文献2所公开的技术那样,在发送由小容量的文字信息构成的行驶关联信息时,能够利用ITS通信。另一方面,在如专利文献1所公开的技术那样从行驶中的车辆发送数据量多的摄影图像的情况下,存在如下问题:ITS通信的负荷显著增大因此ITS通信不是优选的。
因此,本公开的主要目的在于提供不使ITS通信的负荷显著增大就能够减轻用于事先探测关注事件来进行危险躲避动作的控制的负荷、从而适当地辅助自动驾驶车辆的行驶控制的行驶辅助方法、道路摄影图像收集方法以及路侧装置。
用于解决问题的方案
本公开的行驶辅助方法构成为:搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置当在所述对象区间通行的期间探测到关注事件时,向路侧装置发送与该关注事件有关的摄影图像及附加信息,所述路侧装置将与所述关注事件有关的摄影图像及附加信息直接或经由其它路侧装置发送到搭载于要开始在所述对象区间通行的车辆的作为信息提供目的地的车载装置,所述作为信息提供目的地的车载装置基于与所述关注事件有关的摄影图像及附加信息来进行与本车辆的行驶控制有关的处理。
另外,本公开的道路摄影图像收集方法构成为:搭载于结束了在道路的对象区间通行的车辆的车载装置当在所述对象区间通行的期间探测到关注事件时,将与该关注事件有关的摄影图像及附加信息发送到路侧装置,所述路侧装置将与所述关注事件有关的摄影图像及附加信息发送到服务器装置,所述服务器装置累积与所述关注事件有关的摄影图像及附加信息,所述服务器装置根据来自用户的指定了地点的浏览请求,来向用户呈现所指定的地点的与所述关注事件有关的摄影图像及附加信息。
另外,本公开的路侧装置设为以下结构:具备与车载装置进行通信的路车间通信部以及处理器,其中,所述处理器当通过所述路车间通信部从搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置接收到由所述作为信息提供源的车载装置在所述对象区间通行的期间探测到的与关注事件有关的摄影图像及附加信息时,将与所述关注事件有关的摄影图像及附加信息通过所述路车间通信部直接或经由其它路侧装置发送到搭载于要开始在所述对象区间通行的车辆的作为信息提供目的地的车载装置。
另外,本公开的路侧装置设为以下结构:具备与车载装置进行通信的路车间通信部;以及处理器,其中,所述处理器当通过所述路车间通信部从搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置接收到由所述作为信息提供源的车载装置在所述对象区间通行的期间探测到的与关注事件有关的摄影图像及附加信息时,将与所述关注事件有关的摄影图像及附加信息发送到服务器装置。
发明的效果
根据本公开,能够将由在对象区间通行后的车辆探测到的与关注事件有关的摄影图像及附加信息经由路侧装置提供给之后要在对象区间通行的车辆,从而辅助该车辆的行驶控制。由此,不使ITS通信的负荷显著增大就能够减轻用于事先探测危险事件来进行危险躲避动作的控制的负荷,并且能够适当地辅助自动驾驶车辆的安全行驶。
附图说明
图1是第一实施方式所涉及的行驶辅助系统的整体结构图。
图2是示出第一实施方式所涉及的行驶辅助系统的概要的说明图。
图3是示出第一实施方式所涉及的摄像机2的摄影图像以及车载终端4所生成的关注事件信息的说明图。
图4是示出第一实施方式所涉及的由车辆1进行的关注地点接近判定处理的概要的说明图。
图5是示出第一实施方式所涉及的车辆1和路侧机6的概要结构的框图。
图6是示出第一实施方式所涉及的由车辆1和路侧机6进行的处理的过程的顺序图。
图7是示出第二实施方式所涉及的行驶辅助系统的概要的说明图。
图8是示出第二实施方式所涉及的摄像机2的摄影图像以及车载终端4所生成的关注事件信息的说明图。
图9是示出第二实施方式所涉及的由路侧机6进行的反向车道图像合成处理的概要的说明图。
图10是示出第二实施方式所涉及的车辆1和路侧机6的概要结构的框图。
图11是示出第二实施方式所涉及的由车辆和路侧机6进行的处理的过程的顺序图。
图12是示出第三实施方式所涉及的行驶辅助系统的概要的说明图。
图13是示出第三实施方式所涉及的摄像机2的摄影图像以及车载终端4所生成的关注事件信息的说明图。
图14是示出第三实施方式所涉及的车辆1和路侧机6的概要结构的框图。
图15是示出第三实施方式所涉及的由车辆和路侧机6进行的处理的过程的顺序图。
图16是示出第四实施方式所涉及的行驶辅助系统的概要的说明图。
图17是示出第四实施方式所涉及的车辆1、路侧机6以及服务器8的概要结构的框图。
图18是示出第四实施方式所涉及的由车辆1、路侧机6以及服务器8进行的处理的过程的顺序图。
具体实施方式
为了解决上述问题而完成的第一发明设为以下结构:搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置当在所述对象区间通行的期间探测到关注事件时,向路侧装置发送与该关注事件有关的摄影图像及附加信息,所述路侧装置将与所述关注事件有关的摄影图像及附加信息直接或经由其它路侧装置发送到搭载于要开始在所述对象区间通行的车辆的作为信息提供目的地的车载装置,所述作为信息提供目的地的车载装置基于与所述关注事件有关的摄影图像及附加信息来进行与本车辆的行驶控制有关的处理。
由此,能够将在对象区间进行了通行的车辆所探测到的与关注事件有关的摄影图像及附加信息经由路侧装置提供给之后要在对象区间通行的车辆,从而辅助该车辆的行驶控制。由此,不使ITS通信的负荷显著增大就能够减轻用于事先探测关注事件来进行危险躲避动作的控制的负荷,并且能够适当地辅助自动驾驶车辆的行驶控制。
另外,第二发明设为以下结构:所述附加信息包含车辆当前所在的区间的区间信息、与车辆的行进方向有关的信息、与关注事件的内容有关的信息、探测到关注事件时车辆在地图上的位置信息、发生了关注事件的地点在摄影图像上的位置信息以及探测到关注事件时的时间信息。
由此,能够适当地掌握关注事件的发生状况。
另外,第三发明设为以下结构:所述作为信息提供目的地的车载装置基于与所述关注事件有关的摄影图像同当前时间点的摄影图像的相似性,来对本车辆正在接近所述关注事件的发生地点这一情况进行判定。
由此,即使在由于卫星电波的状态差而导致通过卫星定位获取的位置信息的精度低的情况下,也能够高精度地对本车辆正在接近关注地点这一情况进行判定。在该情况下,如果基于从摄影图像去除移动物而得到的背景图像的相似性来进行判定,则能够进一步提高精度。
另外,第四发明设为以下结构:所述作为信息提供目的地的车载装置在判定为本车辆正在接近所述关注事件的发生地点的情况下,向行驶控制装置输出危险躲避动作指示。
由此,能够使行驶控制装置适当地进行危险躲避动作。
另外,第五发明设为以下结构:所述作为信息提供源的车载装置将与所述关注事件有关的摄影图像及附加信息发送到位于所述对象区间的终点的终点侧的路侧装置,所述终点侧的路侧装置将与所述关注事件有关的摄影图像及附加信息发送到位于所述对象区间的起点的起点侧的路侧装置,所述起点侧的路侧装置将与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
由此,能够将两个路侧装置之间的道路设为对象区间,从到目前为止在对象区间进行了通行的车辆的车载装置可靠地获取在对象区间内发生的与关注事件有关的摄影图像及附加信息,另外,能够向此后进入对象区间的车辆的车载装置可靠地提供与关注事件有关的摄影图像及附加信息。
另外,第六发明设为以下结构:所述作为信息提供源的车载装置搭载于在所述对象区间中向第一方向通行的车辆,所述作为信息提供目的地的车载装置搭载于在所述对象区间中向与所述第一方向相反的第二方向通行的车辆,所述路侧装置在从向所述第一方向通行的所述作为信息提供源的车载装置获取到的所述摄影图像中提取映现在遮蔽物的跟前侧的移动物的摄影图像,计算所述移动物在从过去向所述第二方向进行了通行的车辆的车载装置获取到的第二方向的摄影图像上的位置,基于计算出的位置来生成将所述移动物的摄影图像叠加于所述第二方向的摄影图像而得到的合成图像,所述路侧装置将所述合成图像作为与所述关注事件有关的摄影图像发送到所述作为信息提供目的地的车载装置。
由此,向车载装置提供被遮蔽物(例如停放车辆)遮挡而处于视野外的移动物(例如行人)被虚拟地看到的状态下的合成图像,因此能够基于移动物的状况来进行避免与移动物的碰撞事故的适当的行驶控制。
另外,第七发明设为以下结构:所述关注事件是交通事故,所述路侧装置将从所述作为信息提供源的车载装置获取到的与所述关注事件有关的摄影图像及附加信息累积于本装置,除了最新的与所述关注事件有关的摄影图像及附加信息以外,所述路侧装置还将在此之前的与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
由此,能够在交通事故频繁发生的地点,基于过去的交通事故的状况来进行避免交通事故的适当的行驶控制。
另外,第八发明设为以下结构:搭载于结束了在道路的对象区间通行的车辆的车载装置当在所述对象区间通行的期间探测到关注事件时,将与该关注事件有关的摄影图像及附加信息发送到路侧装置,所述路侧装置将与所述关注事件有关的摄影图像及附加信息发送到服务器装置,所述服务器装置累积与所述关注事件有关的摄影图像及附加信息,所述服务器装置根据来自用户的指定了地点的浏览请求,来向用户呈现所指定的地点的与所述关注事件有关的摄影图像及附加信息。
由此,能够与存在定点摄像机的情况同样地收集各地点的摄影图像。另外,通过用户指定地点来向用户呈现该地点的摄影图像,因此能够确认所需要的地点的过去状况。
另外,第九发明设为以下结构:具备与车载装置进行通信的路车间通信部以及处理器,其中,所述处理器当通过所述路车间通信部从搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置接收到由所述作为信息提供源的车载装置在所述对象区间通行的期间探测到的与关注事件有关的摄影图像及附加信息时,将与所述关注事件有关的摄影图像及附加信息通过所述路车间通信部直接或经由其它路侧装置发送到搭载于要开始在所述对象区间通行的车辆的作为信息提供目的地的车载装置。
由此,能够将在对象区间进行了通行的车辆所探测到的与关注事件有关的摄影图像及附加信息提供给之后要在对象区间通行的车辆,从而辅助该车辆的行驶控制。由此,能够减轻用于探测关注事件来进行危险躲避动作的控制的负荷,并且能够适当地辅助自动驾驶车辆的行驶控制。
另外,第十发明设为以下结构:在本装置位于所述对象区间的终点的情况下,所述路车间通信部从所述作为信息提供源的车载装置接收与所述关注事件有关的摄影图像及附加信息,在本装置位于所述对象区间的起点的情况下,所述路车间通信部将与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
由此,能够将两个路侧装置之间的道路设为对象区间,从到目前为止在对象区间进行了通行的车辆的车载装置可靠地获取在对象区间内发生的与关注事件有关的摄影图像及附加信息,另外,能够向此后进入对象区间的车辆的车载装置可靠地提供与关注事件有关的摄影图像及附加信息。
另外,第十一发明设为以下结构:所述路车间通信部从搭载于在所述对象区间中向第一方向通行的车辆的所述作为信息提供源的车载装置接收与所述关注事件有关的摄影图像及附加信息,所述路车间通信部向搭载于在所述对象区间中向与所述第一方向相反的第二方向通行的车辆的所述作为信息提供目的地的车载装置发送与所述关注事件有关的摄影图像及附加信息,所述处理器在从向所述第一方向通行的所述作为信息提供源的车载装置获取到的所述摄影图像中提取映现在遮蔽物的跟前侧的移动物的摄影图像,计算所述移动物在从过去向所述第二方向进行了通行的车辆的车载装置获取到的第二方向的摄影图像上的位置,基于计算出的位置来生成将所述移动物的摄影图像叠加于所述第二方向的摄影图像而得到的合成图像,所述处理器将所述合成图像作为与所述关注事件有关的摄影图像发送到所述作为信息提供目的地的车载装置。
由此,向车载装置提供被遮蔽物(例如停放车辆)遮挡而处于视野外的移动物(例如行人)被虚拟地看到的状态下的合成图像,因此能够基于移动物的状况来进行避免与移动物的碰撞事故的适当的行驶控制。
另外,第十二发明设为以下结构:所述关注事件是交通事故,所述处理器将从所述作为信息提供源的车载装置获取到的与所述关注事件有关的摄影图像及附加信息累积于本装置的存储单元,除了最新的与所述关注事件有关的摄影图像及附加信息以外,所述处理器还将累积于所述存储单元中的在此之前的与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
由此,能够在交通事故频繁发生的地点,基于过去的交通事故的状况来进行避免交通事故的适当的行驶控制。
另外,第十三发明设为以下结构:具备与车载装置进行通信的路车间通信部以及处理器,其中,所述处理器当通过所述路车间通信部从搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置接收到由所述作为信息提供源的车载装置在所述对象区间通行的期间探测到的与关注事件有关的摄影图像及附加信息时,将与所述关注事件有关的摄影图像及附加信息发送到服务器装置。
由此,能够与存在定点摄像机的情况同样地收集各地点的摄影图像。
下面,参照附图来说明本公开的实施方式。
(第一实施方式)
图1是第一实施方式所涉及的行驶辅助系统的整体结构图。
该行驶辅助系统是辅助车辆1(自动驾驶车辆)的行驶的系统,具备搭载于车辆1的摄像机2、传感器3、车载终端4(车载装置)以及自动驾驶ECU 5(移动控制装置、行驶控制装置)以及设置于道路的路侧机6(路侧装置)。
摄像机2拍摄车辆1的前方。传感器3是雷达、激光雷达、加速度传感器、陀螺仪传感器、转向角传感器、速度传感器等。自动驾驶ECU 5基于传感器3的输出来探测车辆1的周围的障碍物,另外,检测车辆1的状态来控制本车辆1的行驶。
在车载终端4与路侧机6之间进行ITS通信。该ITS通信是利用了在安全驾驶辅助无线系统中采用的频带(例如700MHz频带或5.8GHz频带)的无线通信,该安全驾驶辅助无线系统利用了ITS(Intelligent Transport System:智能交通系统)。在该ITS通信中,发送和接收包含车辆1的位置信息等所需的信息的消息。
此外,将该ITS通信中的在车载终端4彼此之间进行的通信称为车车间通信,将该ITS通信中的在路侧机6与车载终端4之间进行的通信称为路车间通信。另外,车载终端4及路侧机6能够与行人终端(未图示)之间进行ITS通信(人车间通信、人路间通信)。
车载终端4通过ITS通信(车车间通信)与其它车载终端4之间发送和接收包含位置信息等的消息,来判定车辆1彼此碰撞的危险性,在存在碰撞的危险性的情况下,对驾驶员进行注意唤起动作。此外,可以使用与车载终端4连接的汽车导航装置(未图示)进行注意唤起动作。另外,车载终端4通过ITS通信(人车间通信)与行人终端之间发送和接收消息,来判定行人与车辆1碰撞的危险性。
路侧机6通过ITS通信(路车间通信、人路间通信),向车载终端4、行人终端通知位于本装置的周边的车辆1、行人的存在。由此,能够防止在视野外的交叉路口左右转弯时的碰撞。此外,路侧机6除此之外还向车载终端4、行人终端发布交通信息。
另外,在路侧机6与车载终端4之间进行WiFi(注册商标)等无线LAN通信。另外,在路侧机6彼此之间,经由基于专用的路侧网络(有线或无线)、蜂窝通信等的网络来进行通信(路路间通信)。
接着,对第一实施方式所涉及的行驶辅助系统的概要进行说明。图2是示出行驶辅助系统的概要的说明图。图3是示出摄像机2的摄影图像以及车载终端4所生成的关注事件信息的说明图。图4是示出由车辆1进行的关注地点接近判定处理的概要的说明图。
如图2所示,路侧机6设置在道路的适当位置,例如交叉路口。在本实施方式中,将2台路侧机6之间的道路设为对象区间。在图2所示的例子中,在道路上设置有2台路侧机6,但在道路上设置有3台以上的路侧机6的情况下,可以连续地设定多个2台路侧机6之间的对象区间。在该情况下,终点侧的路侧机6成为位于下一个对象区间的起点的起点侧的路侧机6。
在对象区间通行的车辆1中,摄像机2拍摄车辆1的前方,车载终端4基于摄像机2的摄影图像来探测在车辆1的前方的道路上发生的关注事件(关注事件探测处理)。在此,关注事件是指有可能成为车辆1安全通行的障碍的物体或状态,例如,道路上存在的障碍物(例如,轮胎、座椅等车辆落下物)、路面上形成的由车辆引起的打滑的痕迹、路面上发生的凹陷等。另外,在车辆1的左侧通行的自行车、摩托车等例如在车辆1左转弯时有可能成为事故的原因,因此也可以被包含于关注事件。并且,右转弯的车辆、速度为规定值以上的车辆、行驶位置不稳定的车辆等也有可能成为与车辆1发生事故的原因,因此也可以被包含于关注事件。
此时,车载终端4还基于摄影图像判别该关注事件的内容。例如,车载终端4在探测到关注物体(落下物等)的情况下,判别该关注物体的种类。另外,车载终端4在探测关注事件时,获取关注地点即发生了关注事件的地点在摄影图像上的位置信息(图像坐标系中的坐标值)、例如发生了事故的地点、存在障碍物(车辆的落下物等)的地点在摄影图像上的位置信息(图像坐标系中的坐标值)。
另外,车载终端4在探测到关注事件时生成关注事件信息。该关注事件信息作为关注事件探测时间点的摄影图像的附加信息而被保存在构成行车记录仪的存储器14中。在该关注事件信息中包含本车辆1当前所在的区间的区间信息、与本车辆1的行进方向有关的信息、与关注事件的内容(障碍物的种类等)有关的信息、探测到关注事件时车辆1的位置信息(纬度、经度)、关注地点(发生了关注事件的地点)在摄影图像上的位置信息以及探测到关注事件时的时间信息。此外,关于区间信息,在车辆1在对象区间通行时从位于对象区间的起点的起点侧的路侧机6获取即可。
图3所示的例子是作为关注事件而在道路上存在落下物(轮胎)的情况,在图3的(A)所示的时间点拍摄到在车辆1的前方的道路上没有障碍物的状况,但在图3的(B)所示的时间点拍摄到在道路上存在落下物的状况,在图3的(C)所示的时间点拍摄到在经过关注地点后在车辆1的前方的道路上没有障碍物的状况。
另外,如图2所示,关于在对象区间进行了通行的车辆1,当本车辆1到达对象区间的终点的附近时,车载终端4将关注事件探测时间点的摄影图像和关注事件信息发送到位于对象区间的终点的终点侧的路侧机6。
终点侧的路侧机6将从车载终端4接收到的关注事件探测时间点的摄影图像和关注事件信息发送到位于对象区间的起点的起点侧的路侧机6。
起点侧的路侧机6将从终点侧的路侧机6接收到的关注事件探测时间点的摄影图像和关注事件信息发送到将要在对象区间通行的车辆1的车载终端4。
在将要在对象区间通行的车辆1中,车载终端4基于从起点侧的路侧机6接收到的关注事件探测时间点的摄影图像和关注事件信息来指示危险躲避动作,自动驾驶ECU 5根据来自车载终端4的危险躲避动作的指示来进行行驶控制。
此时,如图4所示,车载终端4基于从摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像和关注事件探测时间点的摄影图像,来判定本车辆1是否到达了关注地点的附近(关注地点接近判定处理)。
在该判定处理中,从当前时间点的摄影图像中提取背景图像。另外,车载终端4从关注事件探测时间点的摄影图像中提取背景图像(背景图像提取处理)。然后,将从当前时间点的摄影图像提取出的背景图像与从关注事件探测时间点的摄影图像中提取出的背景图像进行比较,来判定两者是否一致、即两者的相似度是否比规定值高,由此判定本车辆1是否到达了关注地点的附近(图像匹配处理)。此外,随着本车辆1接近关注地点,图像的相似度逐渐变高,在相似度比规定值高的时间点,判定为本车辆1到达了关注地点的附近。
这样,在本实施方式中,由于利用去除车辆1、行人等移动物之后的背景图像的相似度来判别同一地点的摄影图像,因此即使在由于卫星电波的状态差而导致由定位部获取的位置信息的精度低的情况下,也能够高精度地判定本车辆1到达了关注地点的附近。
当本车辆1到达关注地点的附近时,车载终端4向自动驾驶ECU 5输出危险躲避动作指示。自动驾驶ECU 5基于来自车载终端4的危险躲避动作指示来进行行驶控制。由此,在基于搭载于车辆1的传感器3的检测结果、对摄像机2的摄影图像进行识别而得到的图像识别结果来进行实时的障碍物探测之前,能够一边预测在车辆1的前方存在关注地点即存在车辆的落下物、事故车辆等障碍物的情况一边进行行驶控制。例如,由于以提前绕开障碍物的方式控制车辆1的行驶,因此能够安全、可靠且顺利地避免与障碍物发生碰撞。
此外,在背景图像提取处理中,根据基于传感器3的输出的障碍物的探测结果、对摄像机2的摄影图像进行移动体探测而得到的探测结果,来检测摄影图像中的障碍物、移动物的区域,并生成去除该障碍物、移动物的区域后的背景图像。在图像匹配处理中,例如采用模板匹配等公知的方法即可。
另外,在关注地点接近判定处理中,可以参考探测到关注事件时车辆1的位置信息(纬度、经度)。
另外,在本实施方式中,车载终端4进行了从关注事件探测时间点的摄影图像提取背景图像的处理(背景图像提取处理),但该关注事件探测时间点的摄影图像是从路侧机6向车载终端4提供的图像,因此也可以事先由路侧机6针对关注事件探测时间点的摄影图像进行背景图像提取处理。由此,能够减轻车载终端4的处理负荷。
接着,对第一实施方式所涉及的车辆1和路侧机6的概要结构进行说明。图5是示出车辆1和路侧机6的概要结构的框图。
车载终端4具备ITS通信部11(车车间通信部、第一路车间通信部)、无线LAN通信部12(第二路车间通信部)、定位部13、存储器14以及处理器15。
ITS通信部11通过ITS通信(车车间通信),以广播的方式向其它车载终端4发送消息,另外,接收从其它车载终端4发送的消息。另外,ITS通信部11通过ITS通信(路车间通信)向路侧机6发送消息,另外,接收从路侧机6发送的消息。特别是在本实施方式中,ITS通信部11发送和接收与碰撞危险性判定有关的信息。
无线LAN通信部12通过WiGig(注册商标)、WiFi(注册商标)等无线LAN通信向路侧机6发送消息,另外,接收从路侧机6发送的消息。特别是在本实施方式中,无线LAN通信部12发送和接收摄影图像及其附加信息。
定位部13利用GPS(Global Positioning System:全球定位系统)、QZSS(Quasi-Zenith Satellite System:准天顶卫星系统)等卫星定位系统测定本装置的位置,来获取本装置的位置信息(纬度、经度)。
存储器14存储地图信息、由处理器15执行的程序等。
处理器15通过执行存储在存储器14中的程序来进行与行驶辅助有关的各种处理。在本实施方式中,处理器15进行行车记录仪处理、关注事件探测处理以及关注地点接近判定处理。
在行车记录仪处理中,处理器15进行将摄像机2的摄影图像保存在存储器14中的录像。
在关注事件探测处理中,处理器15基于由摄像机2拍摄到的摄影图像来探测在车辆1的前方的道路上发生了的关注事件,并生成关注事件信息。
在关注地点接近判定处理中,处理器15基于从摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像和关注事件探测时间点的摄影图像,来判定本车辆1是否到达了关注地点的附近。在本实施方式中,将从当前时间点的摄影图像中提取出的背景图像与从关注事件探测时间点的摄影图像中提取出的背景图像进行比较,来判定两者是否一致、即两者的相似度是否比规定值高,由此判定本车辆1是否到达了关注地点的附近。
自动驾驶ECU 5与转向ECU 31、驱动ECU 32以及制动ECU 33连接,基于传感器3的检测结果来控制转向ECU 31、驱动ECU 32以及制动ECU 33,从而实现车辆1的自动驾驶(自主行驶)。
在此,转向ECU 31控制本车辆1的转向机构,驱动ECU 32控制本车辆1的驱动机构(发动机、电动马达等),制动ECU 33控制本车辆1的制动机构。
此外,在自动驾驶中存在不需要驾驶员的自主行驶和辅助驾驶员的驾驶的驾驶辅助,也可以设为能够在自主行驶与驾驶辅助这两种模式之间切换。在驾驶辅助的情况下,在存在碰撞的危险性的情况下,需要唤起驾驶员的注意,例如在汽车导航中,基于车载终端4的控制来使用声音输出和图像显示的功能对驾驶员实施注意唤起动作。
路侧机6具备ITS通信部21(第一路车间通信部)、无线LAN通信部22(第二路车间通信部)、路路间通信部23(第三通信部)、存储器24以及处理器25。
ITS通信部21通过ITS通信(路车间通信)以广播的方式向车载终端4发送消息,另外,接收从车载终端4发送的消息。特别是在本实施方式中,ITS通信部21发送和接收与碰撞危险性判定有关的信息。
无线LAN通信部22通过WiFi(注册商标)等无线LAN通信来接收从车载终端4发送的消息,另外,将接收到的消息发送到车载终端4。特别是在本实施方式中,无线LAN通信部22发送和接收摄影图像及其附加信息。
路路间通信部23经由专用的路侧网络(有线或无线)或基于蜂窝通信等的网络,与相邻的路侧机6进行通信。
存储器24存储由处理器25执行的程序等。
处理器25通过执行存储在存储器24中的程序来进行各种处理。在本实施方式中,处理器25进行信息传送处理和信息发布处理。
在信息传送处理中,处理器25进行以下控制:基于从车载终端4发送来的消息中所包含的关注事件信息、特别是区间信息,选择位于对象区间的起点的起点侧的路侧机6来作为传送目的地,并将包含关注事件探测时间点的摄影图像和关注事件信息的消息从路路间通信部23发送到起点侧的路侧机6。
在信息发布处理中,处理器25进行以下控制:获取从终点侧的路侧机6发送的消息中所包含的关注事件探测时间点的摄影图像和关注事件信息并保存到存储器24中,将包含该关注事件探测时间点的摄影图像和关注事件信息的消息从路路间通信部23发送到要在周边通过的车载终端4。
接着,对第一实施方式所涉及的由车辆1和路侧机6进行的处理的过程进行说明。图6是示出由车辆1和路侧机6进行的处理的过程的顺序图。
在先在对象区间进行了通行的车辆1中,摄像机2拍摄本车辆1的前方。然后,车载终端4的处理器15当探测到作为关注事件的存在于前方道路上的障碍物(落下物)时,生成关注事件信息,并将该关注事件信息作为摄影图像的附加信息保存在构成行车记录仪的存储器14中。
接着,车载终端4的处理器15在基于定位部13的定位结果探测到本车辆1到达了对象区间的终点时,从存储器14获取关注事件发生时的摄影图像和关注事件信息。然后,车载终端4的无线LAN通信部12将包含关注事件发生时的摄影图像和关注事件信息的消息发送到位于对象区间的终点的终点侧的路侧机6。
在终点侧的路侧机6中,当无线LAN通信部22接收到从车载终端4发送来的消息时,处理器25基于消息中包含的关注事件信息、特别是区间信息,选择位于对象区间的起点的起点侧的路侧机6,来作为传送目的地。然后,路路间通信部23将包含关注事件探测时间点的摄影图像和关注事件信息的消息发送到起点侧的路侧机6。
在起点侧的路侧机6中,当路路间通信部23接收到从终点侧的路侧机6发送的消息时,处理器25获取消息中包含的关注事件探测时间点的摄影图像和关注事件信息,并保存到存储器24中。然后,无线LAN通信部22将包含关注地点的关注事件发生时间点的摄影图像和关注事件信息的消息发送到要在周边通过的车载终端4。
在之后要在对象区间通行的车辆1中,当车载终端4的无线LAN通信部12接收到从起点侧的路侧机6发送的消息时,车载终端4的处理器15获取消息中包含的关注事件探测时间点的摄影图像和关注事件信息并保存到存储器14中。然后,车载终端4的处理器15基于关注事件探测时间点的摄影图像,来选择用于躲避事故的危险躲避动作(减速、绕开等)(危险躲避动作选择处理)。
接着,车载终端4的处理器15基于从摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像和关注地点的事故时间点的摄影图像,来判定本车辆1是否到达了关注地点的附近(关注地点接近判定处理)。
然后,在本车辆1到达了关注地点的附近的情况下,处理器15向自动驾驶ECU 5输出危险躲避动作指示。自动驾驶ECU 5基于来自车载终端4的危险躲避动作指示来进行行驶控制,以躲避障碍物。
(第二实施方式)
接着,对第二实施方式进行说明。此外,在此没有特别提及的点与上述实施方式相同。图7是示出第二实施方式所涉及的行驶辅助系统的概要的说明图。图8是示出摄像机2的摄影图像以及车载终端4所生成的关注事件信息的说明图。图9是示出由路侧机6进行的反向车道图像合成处理的概要的说明图。
如图7所示,当行人从正停放在道路上的车辆的背后突然出现时,车辆1没有避开行人的余地,因此发生车辆1碰撞行人的事故。另一方面,隐藏在正停放在道路上的车辆的背后而看不到的行人能够从在反向车道上行驶的对向车辆看到,利用该对向车辆的摄像机2能够得到在停放车辆的跟前侧映现有行人的摄影图像。
图8所示的例子是在正停放在反向车道上的车辆的跟前有行人的情况。在该情况下,行人隐藏在正停放的车辆的背后而无法从在反向车道上行驶的对向车辆看到,因此由于行人从正停放的车辆的背后突然出现而存在该行人与在反向车道上行驶的车辆发生碰撞的危险性。
因此,在本实施方式中,位于对象区间一端的路侧机6从在反向车道上向第一方向(参照图7)进行了通行的对向车辆获取存在隐藏在静止的遮蔽物(停放车辆等)的背后而看不到的移动物(行人等)这样的视野外信息,并将该视野外信息提供给将要在对象区间中向与第一方向相反的第二方向(参照图7)通行的车辆的车载终端4。作为信息提供目的地的车辆利用自动驾驶ECU 5进行行驶控制以避开突然出现的行人。
如图9所示,路侧机6基于从在对象区间进行了通行的车辆获取到的关注事件探测时间点的摄影图像和关注事件信息,来生成将从反向车道拍摄关注地点(存在障碍物的地点)所得到的摄影图像与移动物图像合成而得到的合成图像(反向车道图像合成处理)。
具体地说,首先,根据消息中包含的关注事件探测时间点的摄影图像,来探测移动物(行人等)和在从反向车道看的情况下处于将移动物遮蔽的位置关系的遮蔽物。在此,移动物是行人、自行车以及动物等。另外,遮蔽物是停放车辆等。
另外,基于消息中包含的关注事件信息、特别是关注事件探测时间点的车辆的位置信息,从累积于本装置的对象区间的摄影图像中选择从反向车道拍摄关注地点而得到的摄影图像,来作为反方向摄影图像。此时,选择摄影时刻最新的摄影图像、即,由紧挨的之前进行了通行的车辆拍摄到的且映现有遮蔽物的摄影图像。
然后,基于消息中包含的关注事件信息、特别是关注事件探测时间点的摄影图像上的障碍物的位置信息,从关注事件探测时间点的摄影图像剪切出障碍物、特别是移动物的区域,来获取移动物图像。接着,以移动物的朝向为实际的朝向的方式使移动物图像进行左右反转,来生成反转移动物图像。此外,在本实施方式中,进行了使移动物图像进行左右反转的图像处理,但对移动物图像进行的图像处理并不限于反转。另外,也可以不对移动物图像实施反转等图像处理。另外,除了反转以外,还可以对移动物图像实施其它图像处理(例如旋转等)。
接着,基于关注事件探测时间点的摄影图像上的障碍物的位置信息来生成在反方向摄影图像上叠加反转移动物图像而得到的合成图像。此时,计算移动物在反方向摄影图像上的位置,基于计算出的位置将反转移动物图像叠加在反方向摄影图像上。由此,以与反方向摄影图像内的遮蔽物叠加的方式来叠加反转移动物图像。此外,也可以在对反方向摄影图像叠加反转移动物图像时,将反转移动物图像进行放大缩小,以使反转移动物图像与遮蔽物的大小匹配。
另外,车载终端4基于从摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像和关注地点(发生了关注事件的地点)的关注事件探测时间点的摄影图像,来判定本车辆是否到达了关注地点的附近(关注地点接近判定处理)。此时,车载终端4基于作为关注事件探测时间点的摄影图像的在路侧机6中生成的合成图像,来进行关注地点接近判定处理。
接着,对第二实施方式所涉及的车辆和路侧机6的概要结构进行说明。图10是示出车辆1和路侧机6的概要结构的框图。
车辆1的结构与第一实施方式(图5)相同。
路侧机6与上述实施方式大致相同,但处理器25除了进行信息传送处理和信息发布处理之外,还进行反向车道图像合成处理。在该处理中,处理器25基于消息中包含的关注事件探测时间点的摄影图像和关注事件信息,来生成将从反向车道拍摄关注地点(存在障碍物的地点)所得到的摄影图像与移动物图像合成而得到的合成图像。
接着,对第二实施方式所涉及的由车辆和路侧机6进行的处理的过程进行说明。图11是示出由车辆和路侧机6进行的处理的过程的顺序图。
在对象区间中向第一方向行驶的车辆1中,摄像机2拍摄本车辆的前方。然后,车载终端4的处理器15当探测到作为关注事件而在本车辆的前方存在障碍物时,生成关注事件信息,并将该关注事件信息作为摄影图像的附加信息保存在构成行车记录仪的存储器14中。
接着,车载终端4的处理器15在基于定位部13的定位结果而探测到本车辆到达了对象区间的终点时,从存储器14获取关注事件发生时的摄影图像和关注事件信息。然后,车载终端4的无线LAN通信部12将包含关注事件发生时的摄影图像和关注事件信息的消息发送到位于对象区间的终点的终点侧的路侧机6。
在路侧机6中,当无线LAN通信部22接收到从车载终端4发送来的消息时,处理器25基于消息中包含的关注事件探测时间点的摄影图像和关注事件信息,来生成将从反向车道拍摄关注地点(存在障碍物的地点)所得到的摄影图像与移动物图像合成而得到的合成图像(反向车道图像合成处理)。
接着,无线LAN通信部22将包含合成图像和关注事件信息的消息发送到周边的车载终端4。
在对象区间中向第二方向通行的车辆1中,当车载终端4的无线LAN通信部12接收到从路侧机6发送的消息时,车载终端4的处理器15获取消息中包含的关注地点的事故时间点的摄影图像和关注事件信息并保存到存储器14中。然后,车载终端4的处理器15基于关注地点的事故时间点的摄影图像,选择用于躲避事故的危险躲避动作(减速、绕开等)。
接着,车载终端4的处理器15基于从摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像和关注地点的事故时间点的摄影图像,来判定本车辆是否到达了关注地点的附近(关注地点接近判定处理)。
然后,在本车辆到达了关注地点的附近的情况下,处理器15向自动驾驶ECU 5输出危险躲避动作指示。自动驾驶ECU 5基于来自车载终端4的危险躲避动作指示来进行行驶控制。
(第三实施方式)。
接着,对第三实施方式进行说明。此外,在此没有特别提及的点与上述实施方式相同。图12是示出第三实施方式所涉及的行驶辅助系统的概要的说明图。图13是示出摄像机2的摄影图像以及车载终端4所生成的关注事件信息的说明图。
如图12所示,在车辆1中,摄像机2拍摄车辆的前方,车载终端4基于由摄像机2拍摄到的摄影图像来探测在车辆的前方的道路上发生的关注事件,并生成关注事件信息(关注事件探测处理)。在本实施方式中,作为关注事件,探测本车辆发生了事故。另外,作为关注事件,探测本车辆即将发生事故前的状态、例如像要与突然出现在车道上的行人发生碰撞的状态。
图13所示的例子是作为关注事件而发生了由行人的突然出现引起的碰撞事故的情况,在图13的(A)所示的时间点,拍摄到在车辆的前方的道路上没有障碍物的状况,但在图13的(B)所示的时间点,在摄影图像中拍摄到行人突然出现在车道上的状况,在图13的(C)所示的时间点,在摄影图像中拍摄到本车辆碰撞到行人而行人跌倒了的状况。在该情况下,作为关注事件探测时间点的摄影图像,将图13的(B)、(C)所示的时间点的摄影图像上传到终点侧的路侧机6。
另外,如图12所示,终点侧的路侧机6将从车载终端4接收到的关注事件探测时间点的摄影图像和关注事件信息发送到位于对象区间的起点的起点侧的路侧机6。
起点侧的路侧机6将从终点侧的路侧机6接收到的关注事件探测时间点的摄影图像和关注事件信息累积于本装置中。然后,将关注事件探测时间点的摄影图像和关注事件信息发送到将要在对象区间通行的车辆的车载终端4。
在将要在对象区间通行的车辆中,车载终端4基于从起点侧的路侧机6接收到的关注事件探测时间点的摄影图像和关注事件信息,来指示危险躲避动作(减速、绕开等),自动驾驶ECU 5根据来自车载终端4的危险躲避动作的指示来进行行驶控制。
此外,在本实施方式中,将关注事件探测时间点(事故发生时间点)的摄影图像提供给之后要在对象区间通行的车辆,来辅助该车辆的行驶控制,但也可以将关注事件探测时间点的摄影图像从路侧机6上传到服务器,并作为用于自动驾驶车辆的行驶控制的AI(人工智能)的强化学习用数据来利用。另外,也可以向用户终端发布累积于服务器中的关注事件探测时间点的摄影图像。
接着,对第三实施方式所涉及的车辆1和路侧机6的概要结构进行说明。图14是示出车辆1和路侧机6的概要结构的框图。
车辆1与第一实施方式(参照图5)大致相同,但特别是在本实施方式中,作为关注事件探测处理,车载终端4的处理器15基于传感器3(加速度传感器等)的输出来探测本车辆发生了事故的情况。另外,处理器15基于摄像机2的摄影图像或传感器3的输出来探测本车辆即将发生事故前的状态。然后,将关注事件探测时间点的摄影图像保存到存储器14中。
路侧机6与第一实施方式(参照图5)大致相同,但特别是在本实施方式中,处理器25获取从本装置为始端侧的对象区间的在终端侧的其它路侧机6获取到的关注事件探测时间点的摄影图像和关注事件信息,并累积于存储器24中(摄影图像累积处理)。此外,所累积的摄影图像和关注事件信息被保持规定期间。另外,也可以设置大容量的存储设备以大量地累积摄影图像。
接着,对第三实施方式所涉及的由车辆和路侧机6进行的处理的过程进行说明。图15是示出由车辆和路侧机6进行的处理的过程的顺序图。
在先在对象区间进行了通行的车辆1中,摄像机2拍摄本车辆1的前方。然后,车载终端4的处理器15当探测到本车辆发生了关注事件(事故或即将发生事故前的状态)时,生成关注事件信息,并将该关注事件信息作为摄影图像的附加信息保存在构成行车记录仪的存储器14中。
接着,车载终端4的处理器15在基于定位部13的定位结果而探测到本车辆到达了对象区间的终点附近时,从存储器14获取关注事件发生时的摄影图像和关注事件信息。然后,车载终端4的无线LAN通信部12将包含关注事件发生时的摄影图像和关注事件信息的消息发送到位于对象区间的终点的终点侧的路侧机6。
在终点侧的路侧机6中,当无线LAN通信部22接收到从车载终端4发送来的消息时,处理器25基于消息中包含的关注事件信息、特别是区间信息,选择位于对象区间的起点的起点侧的路侧机6,来作为通知目的地。然后,路路间通信部23将包含关注事件探测时间点的摄影图像和关注事件信息的消息发送到起点侧的路侧机6。
在起点侧的路侧机6中,当路路间通信部23接收到从终点侧的路侧机6发送的消息时,处理器25获取消息中包含的关注事件探测时间点的摄影图像和关注事件信息,并累积于存储器24中。然后,无线LAN通信部22将包含关注事件探测时间点的摄影图像和关注事件信息的消息发送到要在周边通过的车载终端4。此时,过去的规定期间内的关注事件探测时间点的摄影图像和关注事件信息累积于存储器24中,除了最新的关注事件探测时间点的摄影图像和关注事件信息以外,在此之前的关注事件探测时间点的摄影图像和关注事件信息也被发送到车载终端4。
在之后要在对象区间通行的车辆1中,当车载终端4的无线LAN通信部12接收到从起点侧的路侧机6发送的消息时,车载终端4的处理器15获取消息中包含的关注地点的事故时间点的摄影图像和关注事件信息并保存在存储器14中。然后,车载终端4的处理器15基于关注地点的事故时间点的摄影图像来选择用于躲避事故的危险躲避动作(减速、绕开等)。
接着,车载终端4的处理器15基于从摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像和关注地点的事故时间点的摄影图像,来进行关注地点接近判定处理。在该处理中,从当前时间点的摄影图像中提取背景图像(背景提取处理)。接着,将该背景图像与从关注事件探测时间点的摄影图像中提取出的背景图像进行比较,来判定两者是否一致、即两者的相似度是否比规定值高,由此判定本车辆是否到达了关注地点的附近。
然后,在本车辆到达了关注地点的附近的情况下,处理器15向自动驾驶ECU 5输出危险躲避动作指示。自动驾驶ECU 5基于来自车载终端4的危险躲避动作指示来进行行驶控制。
(第四实施方式)
接着,对第四实施方式进行说明。此外,在此没有特别提及的点与上述实施方式相同。图16是示出第四实施方式所涉及的行驶辅助系统的概要的说明图。
在本实施方式中,与上述实施方式同样地,在对象区间通行的车辆中,摄像机2拍摄车辆的前方,车载终端4基于由摄像机2拍摄到的摄影图像来探测在车辆的前方的道路上发生的关注事件。例如,车载终端4探测到发生了从停放车辆的背后突然出现的行人与本车辆碰撞的事故。然后,车载终端4将关注事件探测时间点的摄影图像和关注事件信息发送到位于对象区间的终点的终点侧的路侧机6。
另外,在本实施方式中,与上述实施方式同样地,终点侧的路侧机6将从车载终端4接收到的关注事件探测时间点的摄影图像和关注事件信息发送到位于对象区间的起点的起点侧的路侧机6。接着,起点侧的路侧机6向将要在对象区间通行的车辆的车载终端4发送关注事件探测时间点的摄影图像和关注事件信息。然后,车辆基于关注事件探测时间点的摄影图像而判定为本车辆到达了关注地点的附近,从而使自动驾驶ECU 5提前开始进行危险躲避动作。
另一方面,在本实施方式中,与上述实施方式不同,位于对象区间的终点的终点侧的路侧机6首先从探测到关注事件的车辆获取关注事件探测时间点的摄影图像和关注事件状态,之后,每当其它车辆在对象区间通行时,都从该车辆获取关注地点的摄影图像。
服务器8(服务器装置)首先从位于对象区间的终点的终点侧的路侧机6获取关注事件探测时间点的摄影图像和关注事件状态,之后,获取关注地点的摄影图像。由此,服务器8能够以正在发生关注事件的摄影图像为首,收集摄影时刻一点点偏移后的关注地点的摄影图像。因此,即使在没有定点摄像机(固定摄像机)的地点,监视者也能够确认发生了关注事件(事故等)的现场的状况。
另外,服务器8根据来自管理者所操作的用户终端9(用户装置)的访问(浏览请求),向用户终端9发布管理者所指定的地点的摄影图像。此时,在用户终端9中,在地图上显示表示过去发生了事故的地点的图标。当管理者通过操作图标来指定地点时,显示所指定的地点的摄影图像。
此外,在本实施方式中,车载终端4判定本车辆是否到达了关注地点的附近,将本车辆到达了关注地点的附近时所拍摄到的摄影图像、即关注地点的当前时间点的摄影图像上传到路侧机6,但车载终端4不限于将关注地点上传到路侧机6,也可以将对象区间内的所有摄影图像上传到路侧机6,路侧机6根据位置信息或图像匹配等来提取对象区间内的关注地点的摄影图像。
另外,不限于收集关注地点的摄影图像,也可以收集对象区间内的所有摄影图像。由此,通过在地图中指定道路上的任意地点,来显示该地点的最近的摄影图像,由此能够确认道路上的任意地点的最近的状况。例如,能够用于搜索痴呆症的老年人、走失的孩子等人物的用途。另外,例如也能够用于防犯罪、防灾等用途。并且,也可以仅在特定的时间段收集对象区间内的所有摄影图像。例如,通过仅在儿童的上下学时间段收集对象区间内的所有摄影图像,能够用于看护上下学时的儿童的用途。
另外,如果收集对象区间内的所有摄影图像,则能够基于图像匹配和位置信息来获取发生关注事件(事故等)以前的关注地点的摄影图像。由此,监视者能够确认发生关注事件前后的现场的状况。
接着,对第四实施方式所涉及的车辆1、路侧机6以及服务器8的概要结构进行说明。图17是示出车辆1、路侧机6以及服务器8的概要结构的框图。
车辆1的结构与第一实施方式(参照图5)相同。
路侧机6与上述实施方式大致相同,但路侧机6除了具备ITS通信部21、无线LAN通信部22以及路路间通信部23以外,还具备网络通信部26。该网络通信部26经由网络与服务器8之间进行通信。
服务器8具备网络通信部41、存储器42以及处理器43。
网络通信部41经由网络与路侧机6进行通信。另外,网络通信部41经由网络与监视者所操作的用户终端9进行通信。
存储器42累积从路侧机6收集到的各地点的摄影图像。另外,存储器42存储由处理器43执行的程序等。此外,也可以设置大容量的存储设备以大量地累积摄影图像。
处理器43通过执行存储在存储器42中的程序来进行各种处理。在本实施方式中,处理器43进行地点图像合成处理、监视地图生成处理以及摄影图像显示处理。
在地点图像合成处理中,处理器43将从路侧机6收集到的各地点的摄影图像按每个地点且按摄影时刻顺序排列并进行合成。
在监视地图生成处理中,处理器43基于关注地点的位置信息来生成在地图上叠加有表示关注地点的图标的画面信息。该画面信息从通信部被发送到用户终端9,在用户终端9中显示在地图上叠加有表示各地点的图标的画面。监视者能够通过操作图标来指定地点。
在摄影图像显示处理中,处理器43从存储器42获取监视者所指定的地点的摄影图像,并生成用于显示(再现)指定地点的当前的摄影图像的画面信息。该画面信息从网络通信部41被发送到用户终端9,在用户终端9中显示用于显示摄影图像的画面。
此外,在本实施方式中,合成了每个地点的摄影图像,但也可以不合成每个地点的摄影图像,而是按照摄影时刻依次再现监视者所指定的地点的摄影图像。
另外,在本实施方式中,再现了监视者所指定的地点的摄影图像,但在同一地点发生了情形(行人事故、自行车事故等)不同的多个关注事件(事故及即将发生事故前的状态)的情况下,也可以按事故的每种情形将摄影图像进行分类,并再现监视者所指定的情形的摄影图像。
接着,对第四实施方式所涉及的由车辆1、路侧机6以及服务器8进行的处理的过程进行说明。图18是示出由车辆1、路侧机6以及服务器8进行的处理的过程的顺序图。
在先在对象区间进行了通行的车辆1中,车载终端4的处理器15当探测到本车辆发生了关注事件(事故或即将发生事故前的状态)时,生成关注事件信息,并将该关注事件信息作为摄影图像的附加信息保存在构成行车记录仪的存储器14中。
接着,车载终端4的处理器15在基于定位部13的定位结果探测到本车辆到达了对象区间的终点的附近时,从构成行车记录仪的存储器14获取关注事件发生时的摄影图像和关注事件信息。然后,车载终端4的无线LAN通信部12将包含关注事件发生时的摄影图像和关注事件信息的消息发送到位于对象区间的终点的终点侧的路侧机6。
在终点侧的路侧机6中,当无线LAN通信部22接收到从车载终端4发送来的消息时,处理器25基于消息中包含的关注事件信息、特别是区间信息,选择位于对象区间的起点的起点侧的路侧机6,来作为通知目的地。然后,路路间通信部23将包含关注事件探测时间点的摄影图像和关注事件信息的消息发送到起点侧的路侧机6。另外,网络通信部26将包含关注事件探测时间点的摄影图像和关注事件信息的关注地点报告发送到服务器8。
在起点侧的路侧机6中,当路路间通信部23接收到从终点侧的路侧机6发送的消息时,处理器25获取消息中包含的关注事件探测时间点的摄影图像和关注事件信息。然后,无线LAN通信部22将包含关注事件探测时间点的摄影图像和关注事件信息的消息发送到要在周边通过的车载终端4。
在之后要在对象区间通行的车辆1中,当车载终端4的无线LAN通信部12接收到从起点侧的路侧机6发送的消息时,车载终端4的处理器15从消息中包含的关注事件探测时间点的摄影图像中提取背景图像(背景提取处理)。另外,从由摄像机2输出并累积于构成行车记录仪的存储器14中的当前时间点的摄影图像中提取背景图像(背景提取处理)。
接着,车载终端4的处理器15开始进行关注地点接近判定处理。在该处理中,将从当前时间点的摄影图像中提取出的背景图像与从关注事件探测时间点的摄影图像中提取出的背景图像进行比较,来判定两者是否一致、即两者的相似度是否比规定值高。然后,当从当前时间点的摄影图像中发现相应的摄影图像、即关注地点的当前时间点的摄影图像时,处理器15将关注事件信息作为该摄影图像的附加信息而保存在构成行车记录仪的存储器14中。
接着,车载终端4的处理器15在基于定位部13的定位结果而探测到本车辆到达了对象区间的终点时,从存储器14获取关注地点的摄影图像。然后,无线LAN通信部12将包含关注地点的摄影图像的消息发送到位于对象区间的终点的终点侧的路侧机6。
此外,在本实施方式中,在车载终端4中进行了关注地点图像搜索处理,但也可以向路侧机6提供对象区间的所有摄影图像来在路侧机6中进行关注地点图像搜索处理。
在终点侧的路侧机6中,当无线LAN通信部22接收到从车载终端4发送来的消息时,处理器25获取消息中包含的关注事件探测时间点的摄影图像和关注事件信息。然后,网络通信部26将包含关注事件探测时间点的摄影图像和关注事件信息的作为关注地点报告的消息发送到服务器8。
在服务器8中,当网络通信部41接收到从路侧机6发送的作为关注地点通行报告的消息时,处理器43将作为关注地点通行报告的消息中所包含的关注地点的摄影图像和关注事件信息累积于存储器42中。此时,处理器43将摄影图像按每个地点且按摄影时刻顺序排列并进行合成,并保存在存储器42中(图像合成处理)。接着,基于关注地点的位置信息,在地图上叠加表示关注地点的图标(监视地图生成处理)。当监视者在与服务器8连接的用户终端9中操作被进行了画面显示的地图上的图标来指定关注地点时,处理器43从存储器42获取所指定的关注地点的摄影图像,生成用于再现当前的关注地点的摄影图像的画面并显示于用户终端9(图像再现处理)。
另外,在上述实施方式中,在从某个车辆向其它车辆提供信息的情况下,通过路车间的间接通信,经由路侧机6从某个车辆向其它车辆发送信息,但也可以在车车间的直接通信(ITS通信)与路车间的间接通信(无线LAN通信)之间切换。也可以在规定的条件的情况下选择直接通信,在除此以外的情况下选择间接通信。例如,与过去采取过危险行为(突然出现等)的人物(危险人物)有关的行人信息由于紧急性高,因此通过车车间的直接通信发送到周边的车载终端4。另一方面,与施工、拥堵等有关的道路信息等由于紧急性低,因此通过路车间的间接通信而经由路侧机6发送到周边的车载终端4。
另外,也可以同时利用车车间的直接通信(ITS通信)和路车间的间接通信(无线LAN通信)。这特别是在紧急性高的情况下、例如紧急车辆(救护车等)的情况下能够提高通信的稳定性。
另外,在上述实施方式中,将由在对象区间进行了通行的车辆获取到的摄影图像和关注事件信息提供给之后要在对象区间通行的车辆,但也可以将通过用路侧机6的摄像机2拍摄周边(例如交叉路口)而获取到的摄影图像和关注事件信息提供给车辆。在该情况下,将位于车辆的行进方向的前方的路侧机6所收集到的关注事件信息经由位于车辆的行进方向的跟前侧的路侧机6提供给车辆即可。由此,能够事先掌握行进方向的前方的道路(例如交叉路口)的状况。
另外,在长时间内没有搭载有行车记录仪和图像发布功能的车辆通行的情况下,在长时间内无法收集道路的状况。因此,如果没有搭载有行车记录仪功能的车辆通行的状态持续规定时间,则使路侧机6的信息处理开始。
在该情况下,可以将表示车辆搭载有行车记录仪和图像发布功能的信息通知给路侧机6。由此,路侧机6能够探测到搭载有行车记录仪和图像发布功能的车辆。路侧机6当接收到该信息时,停止进行关注事件的探测及关注事件信息(包含摄影图像)的发送的处理即可。
或者,也可以在路侧机6的周边配置搭载有行车记录仪和图像发布功能的无人机等飞行型机器人或步行型机器人等,该飞行型机器人或步行型机器人进行上述信息的收集和发布等。并且,也可以是,在用搭载于车辆的行车记录仪难以进行拍摄的情况下(例如,在本车辆的正左侧后方自行车或摩托车在行驶,而在本车辆的后方不存在搭载有行车记录仪和图像发布功能的车辆等情况下),路侧机6或飞行型机器人、步行型机器人等进行上述信息的收集和发布。
另外,也能够将收集到的关注事件信息汇集到例如服务器等中来进行分析,并事先通知位于相应场所附近的车辆等。由此,对于容易发生事故的场所,不仅能够事先通知事故件数多的情况,还能够事先通知例如与事故的种类或发生原因有关的信息。
另外,也可以在探测到与被认为危险的行为相关联的关注事件信息的情况下,例如在探测到规定值以上的车辆的速度、规定值以下的车间距离等的情况下,立即通知给警察等。由此,例如能够抑制酒后驾驶、路怒症等危险行为。
如上所述,作为本申请中公开的技术的例示,说明了实施方式。然而,本公开的技术不限定于此,也能够应用于进行了变更、替换、添加、省略等而得到的实施方式。另外,也能够将在上述实施方式中说明过的各构成要素进行组合来设为新的实施方式。
产业上的可利用性
本公开所涉及的行驶辅助方法、道路摄影图像收集方法以及路侧装置具有能够减轻用于探测关注事件来进行危险躲避动作的控制的负荷并且适当地辅助自动驾驶车辆的行驶控制的效果,作为辅助车辆的行驶控制的行驶辅助方法、收集道路的摄影图像的道路摄影图像收集方法以及辅助车辆的行驶控制或收集道路的摄影图像的路侧装置等是有用的。
附图标记说明
1:车辆;2:摄像机;3:传感器;4:车载终端(车载装置);5:自动驾驶ECU(行驶控制装置);6:路侧机(路侧装置);8:服务器(服务器装置);9:用户终端(用户装置);11:ITS通信部;12:无线LAN通信部;13:定位部;14:存储器;15:处理器;21:ITS通信部;22:无线LAN通信部;23:路路间通信部;24:存储器;25:处理器;26:网络通信部;31:转向ECU;32:驱动ECU;33:制动ECU;41:网络通信部;42:存储器;43:处理器。
Claims (13)
1.一种行驶辅助方法,其特征在于,
搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置当在所述对象区间通行的期间探测到关注事件时,向路侧装置发送与该关注事件有关的摄影图像及附加信息,
所述路侧装置将与所述关注事件有关的摄影图像及附加信息直接或经由其它路侧装置发送到搭载于要开始在所述对象区间通行的车辆的作为信息提供目的地的车载装置,
所述作为信息提供目的地的车载装置基于与所述关注事件有关的摄影图像及附加信息来进行与本车辆的行驶控制有关的处理。
2.根据权利要求1所述的行驶辅助方法,其特征在于,
所述附加信息包含车辆当前所在的区间的区间信息、与车辆的行进方向有关的信息、与关注事件的内容有关的信息、探测到关注事件时车辆在地图上的位置信息、发生了关注事件的地点在摄影图像上的位置信息以及探测到关注事件时的时间信息。
3.根据权利要求1所述的行驶辅助方法,其特征在于,
所述作为信息提供目的地的车载装置基于与所述关注事件有关的摄影图像同当前时间点的摄影图像的相似性,来对本车辆正在接近所述关注事件的发生地点这一情况进行判定。
4.根据权利要求3所述的行驶辅助方法,其特征在于,
所述作为信息提供目的地的车载装置在判定为本车辆正在接近所述关注事件的发生地点的情况下,向行驶控制装置输出危险躲避动作指示。
5.根据权利要求1所述的行驶辅助方法,其特征在于,
所述作为信息提供源的车载装置将与所述关注事件有关的摄影图像及附加信息发送到位于所述对象区间的终点的终点侧的路侧装置,
所述终点侧的路侧装置将与所述关注事件有关的摄影图像及附加信息发送到位于所述对象区间的起点的起点侧的路侧装置,
所述起点侧的路侧装置将与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
6.根据权利要求1所述的行驶辅助方法,其特征在于,
所述作为信息提供源的车载装置搭载于在所述对象区间中向第一方向通行的车辆,
所述作为信息提供目的地的车载装置搭载于在所述对象区间中向与所述第一方向相反的第二方向通行的车辆,
所述路侧装置在从向所述第一方向通行的所述作为信息提供源的车载装置获取到的所述摄影图像中提取映现在遮蔽物的跟前侧的移动物的摄影图像,计算所述移动物在从过去向所述第二方向进行了通行的车辆的车载装置获取到的第二方向的摄影图像上的位置,基于计算出的位置来生成将所述移动物的摄影图像叠加于所述第二方向的摄影图像而得到的合成图像,
所述路侧装置将所述合成图像作为与所述关注事件有关的摄影图像发送到所述作为信息提供目的地的车载装置。
7.根据权利要求1所述的行驶辅助方法,其特征在于,
所述关注事件是交通事故,
所述路侧装置将从所述作为信息提供源的车载装置获取到的与所述关注事件有关的摄影图像及附加信息累积于本装置,
除了最新的与所述关注事件有关的摄影图像及附加信息以外,所述路侧装置还将累积于所述本装置中的在此之前的与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
8.一种道路摄影图像收集方法,其特征在于,
搭载于结束了在道路的对象区间通行的车辆的车载装置当在所述对象区间通行的期间探测到关注事件时,将与该关注事件有关的摄影图像及附加信息发送到路侧装置,
所述路侧装置将与所述关注事件有关的摄影图像及附加信息发送到服务器装置,
所述服务器装置累积与所述关注事件有关的摄影图像及附加信息,
所述服务器装置根据来自用户的指定了地点的浏览请求,来向用户呈现所指定的地点的与所述关注事件有关的摄影图像及附加信息。
9.一种路侧装置,其特征在于,具备:
与车载装置进行通信的路车间通信部;以及
处理器,
其中,所述处理器当通过所述路车间通信部从搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置接收到由所述作为信息提供源的车载装置在所述对象区间通行的期间探测到的与关注事件有关的摄影图像及附加信息时,
将与所述关注事件有关的摄影图像及附加信息通过所述路车间通信部直接或经由其它路侧装置发送到搭载于要开始在所述对象区间通行的车辆的作为信息提供目的地的车载装置。
10.根据权利要求9所述的路侧装置,其特征在于,
在本装置位于所述对象区间的终点的情况下,所述路车间通信部从所述作为信息提供源的车载装置接收与所述关注事件有关的摄影图像及附加信息,
在本装置位于所述对象区间的起点的情况下,所述路车间通信部将与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
11.根据权利要求9所述的路侧装置,其特征在于,
所述路车间通信部从搭载于在所述对象区间中向第一方向通行的车辆的所述作为信息提供源的车载装置接收与所述关注事件有关的摄影图像及附加信息,
所述路车间通信部向搭载于在所述对象区间中向与所述第一方向相反的第二方向通行的车辆的所述作为信息提供目的地的车载装置发送与所述关注事件有关的摄影图像及附加信息,
所述处理器在从向所述第一方向通行的所述作为信息提供源的车载装置获取到的所述摄影图像中提取映现在遮蔽物的跟前侧的移动物的摄影图像,计算所述移动物在从过去向所述第二方向进行了通行的车辆的车载装置获取到的第二方向的摄影图像上的位置,基于计算出的位置来生成将所述移动物的摄影图像叠加于所述第二方向的摄影图像而得到的合成图像,
所述处理器将所述合成图像作为与所述关注事件有关的摄影图像发送到所述作为信息提供目的地的车载装置。
12.根据权利要求9所述的路侧装置,其特征在于,
所述关注事件是交通事故,
所述处理器将从所述作为信息提供源的车载装置获取到的与所述关注事件有关的摄影图像及附加信息累积于本装置的存储单元,
除了最新的与所述关注事件有关的摄影图像及附加信息以外,所述处理器还将累积于所述存储单元中的在此之前的与所述关注事件有关的摄影图像及附加信息发送到所述作为信息提供目的地的车载装置。
13.一种路侧装置,其特征在于,具备:
与车载装置进行通信的路车间通信部;以及
处理器,
其中,所述处理器当通过所述路车间通信部从搭载于结束了在道路的对象区间通行的车辆的作为信息提供源的车载装置接收到由所述作为信息提供源的车载装置在所述对象区间通行的期间探测到的与关注事件有关的摄影图像及附加信息时,
将与所述关注事件有关的摄影图像及附加信息发送到服务器装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-144711 | 2019-08-06 | ||
JP2019144711A JP7445882B2 (ja) | 2019-08-06 | 2019-08-06 | 走行支援方法、道路撮影画像収集方法、および路側装置 |
PCT/JP2020/028268 WO2021024798A1 (ja) | 2019-08-06 | 2020-07-21 | 走行支援方法、道路撮影画像収集方法、および路側装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114175123A true CN114175123A (zh) | 2022-03-11 |
CN114175123B CN114175123B (zh) | 2024-01-12 |
Family
ID=74503821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080055211.9A Active CN114175123B (zh) | 2019-08-06 | 2020-07-21 | 行驶辅助方法、道路摄影图像收集方法以及路侧装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12067875B2 (zh) |
JP (1) | JP7445882B2 (zh) |
CN (1) | CN114175123B (zh) |
WO (1) | WO2021024798A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10726640B2 (en) * | 2016-11-15 | 2020-07-28 | At&T Mobility Ii Llc | Facilitation of smart communications hub to support driverless vehicles in 5G networks or other next generation networks |
JP7161458B2 (ja) * | 2019-09-09 | 2022-10-26 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP7141480B2 (ja) * | 2021-02-25 | 2022-09-22 | 本田技研工業株式会社 | 地図生成装置 |
JP7521462B2 (ja) | 2021-03-10 | 2024-07-24 | 株式会社デンソー | 走行支援制御装置、走行支援制御方法、走行支援制御プログラム |
JP7256835B2 (ja) * | 2021-03-24 | 2023-04-12 | 本田技研工業株式会社 | 画像処理装置 |
JP2023109072A (ja) * | 2022-01-26 | 2023-08-07 | パナソニックホールディングス株式会社 | 交通流計測システムおよび交通流計測方法 |
WO2023175660A1 (ja) * | 2022-03-14 | 2023-09-21 | 日本電気株式会社 | 移動体、管理サーバ、データの送信方法及び記録媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283381A (ja) * | 2000-03-30 | 2001-10-12 | Toshiba Corp | 車車間通信システム |
JP2007051973A (ja) * | 2005-08-19 | 2007-03-01 | Denso Corp | 危険箇所情報表示装置 |
JP2017021745A (ja) * | 2015-07-15 | 2017-01-26 | パイオニア株式会社 | 情報収集装置、情報収集サーバ及び情報収集システム |
JP2017151148A (ja) * | 2016-02-22 | 2017-08-31 | Necプラットフォームズ株式会社 | 位置推定装置、位置検出方法及びプログラム |
JP2018147055A (ja) * | 2017-03-01 | 2018-09-20 | ソフトバンク株式会社 | 情報報知装置、移動体及び情報報知システム |
CN109559558A (zh) * | 2018-12-14 | 2019-04-02 | 深圳市元征科技股份有限公司 | 事故提醒方法、智能警示牌、路侧单元及事故提醒系统 |
US20190130742A1 (en) * | 2016-04-28 | 2019-05-02 | Sumitomo Electric Industries, Ltd. | Safety drving assistant system, vehicle, and program |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08124069A (ja) * | 1994-10-25 | 1996-05-17 | Toyota Motor Corp | 車両事故情報伝達装置 |
JP3833845B2 (ja) * | 1999-04-21 | 2006-10-18 | 株式会社東芝 | 自動走行支援システム |
JP5664129B2 (ja) * | 2010-10-29 | 2015-02-04 | 住友電気工業株式会社 | 車両位置情報出力装置及びこの装置を備えた路側装置 |
US10133530B2 (en) * | 2014-05-19 | 2018-11-20 | Allstate Insurance Company | Electronic display systems connected to vehicles and vehicle-based systems |
US20180299284A1 (en) * | 2014-12-02 | 2018-10-18 | Kevin Sunlin Wang | Method and System For Avoidance of Accidents |
JP6728897B2 (ja) | 2016-03-31 | 2020-07-22 | 日本電気株式会社 | 画像収集装置、画像収集システム、画像収集方法及びプログラム |
US10137890B2 (en) * | 2016-06-28 | 2018-11-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Occluded obstacle classification for vehicles |
US10169999B2 (en) * | 2016-11-10 | 2019-01-01 | Allstate Solutions Private Limited | Identifying roadway obstacles based on vehicular data |
US10012993B1 (en) * | 2016-12-09 | 2018-07-03 | Zendrive, Inc. | Method and system for risk modeling in autonomous vehicles |
US10474164B2 (en) * | 2016-12-30 | 2019-11-12 | DeepMap Inc. | Representing navigable surface boundaries of lanes in high definition maps for autonomous vehicles |
US10281920B2 (en) * | 2017-03-07 | 2019-05-07 | nuTonomy Inc. | Planning for unknown objects by an autonomous vehicle |
US10095234B2 (en) * | 2017-03-07 | 2018-10-09 | nuTonomy Inc. | Planning for unknown objects by an autonomous vehicle |
US10234864B2 (en) * | 2017-03-07 | 2019-03-19 | nuTonomy Inc. | Planning for unknown objects by an autonomous vehicle |
US11377108B2 (en) * | 2017-04-03 | 2022-07-05 | Motional Ad Llc | Processing a request signal regarding operation of an autonomous vehicle |
US20180281795A1 (en) * | 2017-04-03 | 2018-10-04 | nuTonomy Inc. | Processing a request signal regarding operation of an autonomous vehicle |
US11198436B2 (en) * | 2017-04-03 | 2021-12-14 | Motional Ad Llc | Processing a request signal regarding operation of an autonomous vehicle |
US20180284772A1 (en) * | 2017-04-03 | 2018-10-04 | nuTonomy Inc. | Processing a request signal regarding operation of an autonomous vehicle |
US10384690B2 (en) * | 2017-04-03 | 2019-08-20 | nuTonomy Inc. | Processing a request signal regarding operation of an autonomous vehicle |
US10850734B2 (en) * | 2017-04-03 | 2020-12-01 | Motional Ad Llc | Processing a request signal regarding operation of an autonomous vehicle |
WO2018217784A1 (en) * | 2017-05-22 | 2018-11-29 | Chase Arnold | Bi-directional beacon information system |
US10627810B2 (en) * | 2017-06-16 | 2020-04-21 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10740988B2 (en) * | 2017-06-16 | 2020-08-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10599141B2 (en) * | 2017-06-16 | 2020-03-24 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10317899B2 (en) * | 2017-06-16 | 2019-06-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US11112789B2 (en) * | 2017-06-16 | 2021-09-07 | Motional Ad Llc | Intervention in operation of a vehicle having autonomous driving capabilities |
US10595175B2 (en) * | 2017-06-23 | 2020-03-17 | Veniam, Inc. | Methods and systems for detecting anomalies and forecasting optimizations to improve smart city or region infrastructure management using networks of autonomous vehicles |
US10386836B2 (en) * | 2017-07-07 | 2019-08-20 | Zoox, Inc. | Interactions between vehicle and teleoperations system |
US10606259B2 (en) * | 2017-07-07 | 2020-03-31 | Zoox, Inc. | Interactions between vehicle and teleoperations system |
US10922903B2 (en) * | 2017-07-11 | 2021-02-16 | Waymo Llc | Methods and systems for providing remote assistance to a stopped vehicle |
US11009868B2 (en) * | 2017-07-20 | 2021-05-18 | Nuro, Inc. | Fleet of autonomous vehicles with lane positioning and platooning behaviors |
EP3655836A4 (en) * | 2017-07-20 | 2021-04-21 | Nuro, Inc. | REPOSITIONING AN AUTONOMOUS VEHICLE |
US10518729B2 (en) * | 2017-08-02 | 2019-12-31 | Allstate Insurance Company | Event-based connected vehicle control and response systems |
US10902720B2 (en) * | 2018-02-09 | 2021-01-26 | Here Global B.V. | Traffic light signal adjustment notification improvement |
US20210142590A1 (en) * | 2018-12-26 | 2021-05-13 | Allstate Insurance Company | System generated damage analysis using scene templates |
WO2020139392A1 (en) * | 2018-12-28 | 2020-07-02 | Didi Research America, Llc | Vehicle-based road obstacle identification system |
US20210063162A1 (en) * | 2019-08-26 | 2021-03-04 | Mobileye Vision Technologies Ltd. | Systems and methods for vehicle navigation |
US11514482B2 (en) * | 2019-09-06 | 2022-11-29 | Honda Motor Co., Ltd. | Systems and methods for estimating a remaining value |
US11802959B2 (en) * | 2020-01-22 | 2023-10-31 | Preact Technologies, Inc. | Vehicle driver behavior data collection and reporting |
US11408750B2 (en) * | 2020-06-29 | 2022-08-09 | Toyota Research Institute, Inc. | Prioritizing collecting of information for a map |
US11756350B2 (en) * | 2020-09-30 | 2023-09-12 | Rivian Ip Holdings, Llc | Model development using parallel driving data collected from multiple computing systems |
JP2022114508A (ja) * | 2021-01-27 | 2022-08-08 | 日立Astemo株式会社 | 情報システム、データ収集装置、及び、情報端末 |
CN114333314A (zh) * | 2021-12-29 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 车路协同信息处理方法和装置、系统 |
-
2019
- 2019-08-06 JP JP2019144711A patent/JP7445882B2/ja active Active
-
2020
- 2020-07-21 WO PCT/JP2020/028268 patent/WO2021024798A1/ja active Application Filing
- 2020-07-21 CN CN202080055211.9A patent/CN114175123B/zh active Active
- 2020-07-21 US US17/633,168 patent/US12067875B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283381A (ja) * | 2000-03-30 | 2001-10-12 | Toshiba Corp | 車車間通信システム |
JP2007051973A (ja) * | 2005-08-19 | 2007-03-01 | Denso Corp | 危険箇所情報表示装置 |
JP2017021745A (ja) * | 2015-07-15 | 2017-01-26 | パイオニア株式会社 | 情報収集装置、情報収集サーバ及び情報収集システム |
JP2017151148A (ja) * | 2016-02-22 | 2017-08-31 | Necプラットフォームズ株式会社 | 位置推定装置、位置検出方法及びプログラム |
US20190130742A1 (en) * | 2016-04-28 | 2019-05-02 | Sumitomo Electric Industries, Ltd. | Safety drving assistant system, vehicle, and program |
JP2018147055A (ja) * | 2017-03-01 | 2018-09-20 | ソフトバンク株式会社 | 情報報知装置、移動体及び情報報知システム |
CN109559558A (zh) * | 2018-12-14 | 2019-04-02 | 深圳市元征科技股份有限公司 | 事故提醒方法、智能警示牌、路侧单元及事故提醒系统 |
Also Published As
Publication number | Publication date |
---|---|
US12067875B2 (en) | 2024-08-20 |
CN114175123B (zh) | 2024-01-12 |
US20220301427A1 (en) | 2022-09-22 |
WO2021024798A1 (ja) | 2021-02-11 |
JP7445882B2 (ja) | 2024-03-08 |
JP2021026554A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114175123B (zh) | 行驶辅助方法、道路摄影图像收集方法以及路侧装置 | |
CN109472975B (zh) | 驾驶支援系统、驾驶支援装置及驾驶支援方法 | |
CN110114253B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
KR102011618B1 (ko) | 자동 운전 지원 시스템, 자동 운전 감시 장치, 도로 관리 장치 및 자동 운전 정보 수집 장치 | |
JP6691032B2 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
CN110920521B (zh) | 显示系统、显示方法及存储介质 | |
WO2016186039A1 (ja) | 自動車周辺情報表示システム | |
US20190265736A1 (en) | Information provision system, vehicular device, and non-transitory computer-readable storage medium | |
JP4752836B2 (ja) | 道路環境情報通知装置及び道路環境情報通知プログラム | |
US20130147955A1 (en) | Warning system, vehicular apparatus, and server | |
CN112424846B (zh) | 行驶辅助装置 | |
CN111376853B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
JP4258485B2 (ja) | 車両の追い越し支援装置 | |
WO2008056780A1 (en) | Driving assistance device, driving assistance method, and program | |
JP4093026B2 (ja) | 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム | |
JP2004310315A (ja) | 情報提供装置、情報提供システムおよび情報提供用プログラム | |
CN111830859A (zh) | 车辆远程指示系统 | |
JP3572977B2 (ja) | 車両用走行制御装置 | |
WO2017104209A1 (ja) | 運転支援装置 | |
WO2021261228A1 (ja) | 障害物情報管理装置、障害物情報管理方法、車両用装置 | |
JP2020161039A (ja) | 遠隔操作用画像の表示方法及び遠隔操作装置 | |
CN116438583A (zh) | 可用泊车位识别装置、可用泊车位识别方法和程序 | |
CN111645705A (zh) | 一种下发驾驶路线调整的方法和一种服务器 | |
JP7155047B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2003312415A (ja) | 車両の事前提示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |