CN114333414A - 停车让行检测装置、停车让行检测系统以及记录介质 - Google Patents

停车让行检测装置、停车让行检测系统以及记录介质 Download PDF

Info

Publication number
CN114333414A
CN114333414A CN202110923833.5A CN202110923833A CN114333414A CN 114333414 A CN114333414 A CN 114333414A CN 202110923833 A CN202110923833 A CN 202110923833A CN 114333414 A CN114333414 A CN 114333414A
Authority
CN
China
Prior art keywords
parking
vehicle
distance
detected
passing position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110923833.5A
Other languages
English (en)
Inventor
上田健挥
立花亮介
川端伸一朗
北川敬
加藤隆典
新田英智
原山康平
森瑞希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114333414A publication Critical patent/CN114333414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种停车让行检测装置、停车让行检测系统以及记录介质。停车让行检测装置包括：存储器；处理器，其与存储器连接。处理器被构成为，取得表示由被设置于车辆上的拍摄装置拍摄到的拍摄图像的图像信息，根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。

Description

停车让行检测装置、停车让行检测系统以及记录介质
技术领域
本公开涉及对根据从车辆处拍摄到的拍摄图像而对车辆的停车让行进行检测的停车让行检测装置、停车让行检测系统以及记录有停车让行检测程序的非临时性计算机可读记录介质。
背景技术
在日本特开2007-052645号公报中，公开了一种路面标识识别方法，该路面标识识别方法包括：取得路面的图像数据的工序；在图像数据中对第一路面标识进行检测并将位置数据存储在存储装置中的工序；在图像数据中对第二路面标识进行检测并将位置数据存储在存储装置中的工序；基于被存储于存储装置中的位置数据，针对第一路面标识以及第二路面标识而对被预先规定的正常时的相互位置关系是否成立进行判断的位置关系判断工序；利用由位置关系判断工序得到的判断结果，而实施第一路面标识以及第二路面标识的置信度的评价的工序。
发明内容
发明所要解决的课题
虽然在日本特开2007-052645号公报中，在路面标识识别中以人行横道、停止线的位置关系为基础而计算出置信度，但有时难以实施停车让行线的检测。例如，在对停车让行位置进行检测时，存在由于前方车辆等挡住了停止线或人行横道的情况、或由于随着时间的老化而引起的涂布的剥离等而难以实施停止位置的检测的情况，为了对停车让行位置处的未停车进行检测，存在改善的余地。
本公开的目的在于，提供一种能够可靠地对停车让行位置进行检测的停车让行检测装置以及记录有停车让行检测程序的非临时性计算机可读记录介质。
用于解决课题的手段
本公开的一个方式的第一方式为一种停车让行检测装置，其包括：存储器；处理器，其与存储器连接，处理器被构成为，取得表示由被设置于车辆上的拍摄装置拍摄到的拍摄图像的图像信息，根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。
根据第一方式，取得表示由被设置于车辆上的拍摄装置拍摄到的拍摄图像的图像信息。
根据所取得的图像信息，对包含停车让行标识在内的多个道路标识进行检测。
利用包围包含所检测出的多个道路标识在内的区域的范围框，对停车让行位置进行检测。这样，利用包含多个道路标识在内的范围框来对停车让行位置进行检测，从而即使产生由于前方车辆等而挡住停止线或人行横道的情况、或随着时间的老化而引起的道路显示的涂布的剥离等，也能够可靠地对停车让行位置进行检测。
第二方式为，在第一方式的停车让行检测装置中，所述处理器被构成为，利用作为包含所述多个道路标识在内的图像中的区域而学习了停车让行位置的学习模型，对停车让行位置进行检测。由此，能够根据多个道路标识而进行复合判断，从而对停车让行位置进行检测。
第三方式为，在第一方式或者第二方式的停车让行检测装置中，所述处理器被构成为，将所述范围框的底边的位置检测为停车让行位置。由此，即使产生由于前方车辆等而挡住停止线的情况、或随着时间的老化而引起的停止线的涂布的剥离等，也能够对停车让行位置进行检测。
第四方式为，在第一方式至第三方式的任意一个方式的停车让行检测装置中，所述处理器被构成为，还取得表示车速的车辆信息，基于所取得的所述图像信息，对到所检测出的所述停车让行位置为止的距离进行推断，基于检测结果、所取得的所述车辆信息以及所推断出的到所述停车让行位置为止的距离，对所检测出的所述停车让行位置处的未停车进行检测。由此，即使产生由于前方车辆等而挡住停止线或人行横道的情况、或随着时间的老化而引起的道路显示的涂布的剥离等，也能够对停车让行位置进行检测，从而准确地对停车让行位置未停车进行检测。
第五方式为，在第四方式的停车让行检测装置中，所述处理器被构成为，在所推断出的到所述停车让行位置为止的距离在预先规定的距离以内而检测出停车让行标识、且所述预先规定的距离以内的作为所述车辆信息的车速为预先规定的速度以上的情况下，检测为停车让行位置未停车。由此，根据图像而对停车让行位置进行检测，虽然在实际的停车让行位置的稍前处被本车辆挡住而未检测出停车让行位置，但能够通过对到停车让行位置为止的距离为预先规定的距离内的车速进行检测，从而对停车让行位置处的未停车进行检测。
第六方式为，在第五方式的停车让行检测装置中，所述预先规定的距离以及所述预先规定的速度的至少一方根据每个驾驶员以及每个车型的至少一方来设定。由此，能够根据利用者的感觉以及每个车型的特性的至少一方，实施停车让行位置未停车的检测。
第七方式为，在第四方式的停车让行检测装置中，所述处理器被构成为，在推断出预先规定的第一距离以内的到停车让行位置为止的接近、且推断出与所述第一距离相比较短的第二距离以内的到停车让行位置为止的接近的情况下，判断为通过了停车让行线，当在所述第一距离以内检测出停车让行标识且在所述第一距离以内所述车速为预先规定的速度以上的情况下，检测为停车让行位置未停车。由此，能够对停车让行位置的通过、和停车让行位置的未停车进行检测。
第八方式为，第七方式的停车让行检测装置中，所述第一距离及所述第二距离、以及所述预先规定的速度的至少一方根据每个驾驶员以及每个车型的至少一方来设定。由此，能够根据利用者的感觉、以及每个车型的特性的至少一方而实施停车让行位置未停车的检测。
第九方式为一种停车让行检测系统，包括：停车让行检测装置；车载器，其被搭载于具备拍摄装置的车辆上，所述停车让行检测装置包括：存储器；处理器，其与存储器连接，处理器被构成为，取得表示由被设置于车辆上的所述拍摄装置拍摄到的拍摄图像的图像信息，根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。
第十方式为一种非临时性计算机可读记录介质，其记录有停车让行检测程序，所述停车让行检测程序使计算机执行停车让行检测处理，在所述停车让行检测处理中，取得表示由被设置于车辆上的拍摄装置拍摄到的拍摄图像的图像信息，根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。
发明效果
根据本公开，可以提供能够可靠地对停车让行位置进行检测的停车让行检测装置、停车让行检测系统以及记录有停车让行检测程序的非临时性计算机可读记录介质。
附图说明
图1为表示本实施方式所涉及的危险驾驶检测系统的概要结构的图。
图2为表示本实施方式所涉及的危险驾驶检测系统中的车载器以及危险驾驶数据收集服务器的功能结构的功能框图。
图3为表示车载器以及危险驾驶数据收集服务器的结构的框图。
图4为表示危险驾驶检测部的功能结构的框图。
图5为表示包围包含多个道路标识在内的区域的范围框和包围各个物体的物体范围框的一个示例的图。
图6为通过停车让行位置未停车检测部而对停车让行位置未停车进行检测时的状态转变图。
图7为表示由本实施方式所涉及的危险驾驶检测系统中的车载器的控制部实施的处理的流程的一个示例的流程图。
具体实施方式
以下，参照附图，对本公开的实施方式的一个示例进行详细的说明。在本实施方式中，作为停车让行检测系统，以危险驾驶检测系统为一个示例，进行说明。图1为表示本实施方式所涉及的危险驾驶检测系统的概要结构的图。
在本实施方式所涉及的危险驾驶检测系统10中，作为被搭载于车辆14上的停车让行检测装置的一个示例的车载器16、和危险驾驶数据收集服务器12经由通信网络18而被连接。在本实施方式所涉及的危险驾驶检测系统10中，将通过多个车载器16的拍摄而获得的图像信息以及表示各台车辆14的状态的车辆信息发送至危险驾驶数据收集服务器12，危险驾驶数据收集服务器12对图像信息以及车辆信息进行储存。而且，危险驾驶数据收集服务器12实施基于所储存的图像信息以及车辆信息而对驾驶员进行评价的处理等。
此外，在本实施方式中，在车载器16中，实施对乘员的危险驾驶进行检测的处理，并将危险驾驶的检测结果发送至危险驾驶数据收集服务器12。在本实施方式中，作为由车载器16检测的危险驾驶的一个示例，以下，对检测停车让行位置处的未停车的示例进行说明。
图2为，表示本实施方式所涉及的危险驾驶检测系统10中的车载器16以及危险驾驶数据收集服务器12的功能结构的功能框图。
车载器16具备控制装置20、车辆信息检测装置22、拍摄装置24、通信装置26以及显示装置28。
车辆信息检测装置22对与车辆14相关的车辆信息进行检测。作为车辆信息的一个示例，例如，对车辆14的位置信息、车速、加速度、转向角、加速器开度、到车辆周边的障碍物为止的距离、路径等车辆信息进行检测。作为车辆信息检测装置22，详细而言，能够应用取得表示车辆14的周边环境是怎样的状况的信息的多个种类的传感器或装置。作为传感器或装置的一个示例，可以列举车速传感器以及加速度传感器等被搭载于车辆14上的传感器、或GNSS(Global Navigation Satellite System，全球导航卫星系统)装置、车载通信机、导航系统以及雷达装置等。GNSS装置从多个GNSS卫星接收GNSS信号，从而对本车辆14的位置进行定位。GNSS装置随着可接收的GNSS信号的数量变多，其定位的精度会提高。车载通信机为，经由通信装置26而实施与其他的车辆14之间的车车间通信以及与路边设备之间的路车间通信的至少一方的通信装置。导航系统包括对地图信息进行存储的地图信息存储部，并实施基于从GNSS装置中获得的位置信息和被存储于地图信息存储部中的地图信息而在地图上显示本车辆14的位置或引导到目的地为止的路径的处理。此外，雷达装置包括检测范围相互不同的多个雷达，并对在本车辆14的周边存在的行人或其他车辆14等物体进行检测，并取得所检测出的物体和本车辆14的相对位置以及相对速度。此外，雷达装置内置有对周边的物体的探测结果进行处理的处理装置。该处理装置基于最近的多次探测结果所包含的与各个物体之间的相对位置或相对速度的变化等，将噪声或护栏等路侧物等从监控对象中排除在外，并将行人、其他车辆14等作为监控对象物体来追踪监控。而且，雷达装置输出与各个监控对象物体之间的相对位置、相对速度等信息。另外，在本实施方式中，作为车辆信息，至少对车速进行检测。
在本实施方式中，拍摄装置24被搭载于车辆14上，从而对车辆14的前方等的车辆周边进行拍摄，而生成表示动态图像的拍摄图像的动态图像数据。作为拍摄装置24，例如，能够应用行车记录仪等的摄像机。另外，拍摄装置24也可以进一步对车辆14的侧方以及后方的至少一方的车辆周边进行拍摄。此外，拍摄装置24也可以进一步对车厢内进行拍摄。
通信装置26经由通信网络18而与危险驾驶数据收集服务器12建立通信，并实施通过拍摄装置24的拍摄而获得的图像信息、由车辆信息检测装置22检测出的车辆信息等信息的发送或接收。
显示装置28通过显示信息而向乘员提供各种信息。在本实施方式中，例如，显示由危险驾驶数据收集服务器12提供的信息等。
如图3所示，控制装置20为，包括作为硬件处理器的一个示例的CPU(CentralProcessing Unit，中央处理单元)20A、作为存储器的示例的ROM(Read Only Memory，只读存储器)20B、RAM(Random Access Memory，随机存储器存储器)20C、储存器20D、接口(I/F)20E、以及总线20F等在内的微型计算机。也可以代替CPU，例如使用GPU。
控制装置20通过CPU20A经由RAM20C而加载被存储于ROM20B中的程序并执行，从而实现危险驾驶检测部50(详细情况将在后文叙述)的功能。此外，控制装置20实施使表示由拍摄装置24拍摄到的图像的动态图像的图像信息、以及拍摄图像时由车辆信息检测装置22检测出的车辆信息上载至危险驾驶数据收集服务器12中的控制等。另外，在上载图像信息以及车辆信息时，赋予对车辆以及驾驶员的各自进行识别的识别信息并发送。对驾驶员进行识别的信息例如既可以为对驾驶员进行拍摄而得到的拍摄图像，也可以为驾驶员所携带的智能钥匙的识别信息，也可以为能够对驾驶员进行识别的其他的信息。程序可以被记录于HDD、SSD、DVD等非临时性计算机可读记录介质中，并经由RAM20C而被加载至CPU20A中。
另一方面，危险驾驶数据收集服务器12具备中央处理装置30、中央通信装置36、车辆信息DB(数据库)40、以及视频DB38。
如图3所示，中央处理装置30为包括CPU30A、ROM30B、以及RAM30C、储存器30D、接口(I/F)30E、以及总线30F等在内的微型计算机。
中央处理装置30通过CPU30A经由RAM30C而加载被存储于ROM30B中的程序并执行，从而实现车辆信息收集部32以及视频数据收集部34的功能。程序也可以被记录于HDD、SSD、DVD等非临时性计算机可读记录介质中，并经由RAM30C而被加载至PU30A中。
车辆信息收集部32实施对由多台车辆14的车载器16各自检测出的车辆信息进行收集并储存在车辆信息DB40中的处理。
视频数据收集部34实施将由多台车辆14的车载器16各自拍摄到的动态图像数据作为图像信息来收集并储存在视频DB38中的处理。
中央通信装置36经由通信网络18而与车载器16建立通信，从而实施图像信息、车辆信息等信息的发送或接收。
车辆信息DB40使由车辆信息收集部32收集到的车辆信息和对车辆以及驾驶员分别进行识别的识别信息建立对应并进行储存。
视频DB38使由视频数据收集部34收集到的动态图像数据和对车辆以及驾驶员分别进行识别的识别信息建立对应并进行储存。
危险驾驶数据收集服务器12实施基于被储存于车辆信息DB40以及视频DB38中的车辆信息以及动态图像数据而对危险驾驶进行检测的处理、根据危险驾驶的检测结果而对驾驶员进行评价的处理等。而且，危险驾驶数据收集服务器12提供将危险驾驶的检测结果、驾驶评价结果反馈给驾驶员的服务等各种服务。
接下来，对车载器16的控制装置20中的上述的危险驾驶检测部50的详细的功能结构进行说明。图4为表示危险驾驶检测部50的功能结构的框图。
如图4所示，危险驾驶检测部50具有取得部52、作为检测部的一个示例的物体检测部54、作为停止位置检测部的一个示例的停车让行位置检测部56、作为推断部的距离推断部58、以及作为停止检测部的一个示例的停车让行位置未停车检测部60的功能。
取得部52取得表示由被搭载于车辆14上的拍摄装置24拍摄到的动态图像的拍摄图像的作为图像信息的动态图像数据、以及由车辆信息检测部22检测出的车辆信息。此外，取得部52实施通过进行动态图像数据和车辆信息的对时等而使动态图像数据和车辆信息同步的处理等前处理。
物体检测部54利用公知的物体检测处理，对在图像中存在的路标、人行横道、信号、停止线等道路标识进行检测。
停车让行位置检测部56利用包围包含由物体检测部54检测出的多个道路标识在内的区域的范围框(bounding box)，对停车让行位置进行检测。详细而言，利用作为包含多个道路标识在内的图像中的区域而学习了停车让行位置的学习模型，如图5所示，生成包围包含多个道路标识在内的区域的范围框72，将范围框72的底边的位置检测为停车让行位置。这样，利用作为包含多个道路标识在内的图像中的区域而学习了停车让行位置的学习模型，来对停车让行位置进行检测，从而能够根据多个道路标识进行复合判断来对停车让行位置进行检测。另外，除了包围包含多个道路标识在内的区域的范围框72之外，包围各个物体(例如，图5中的标识或车辆14等)的范围框70也在物体检测部54检测出物体时被生成。此外，在对学习模型进行学习时，将包含停车让行线、人行横道、标识等在内的区域的图像作为注解来学习。
距离推断部58根据由拍摄部24拍摄到的图像，对从本车辆至停车让行位置为止的距离进行推断。例如，使用利用上述的范围框70或者范围框72的底边的位置坐标和与车辆相距的距离的正确答案值的数据集而预先导出的、用于根据底边的位置坐标来推断对象物的距离的回归方程，将底边的位置坐标作为输入，而对从拍摄部的拍摄位置至停车让行位置为止的距离进行推断。另外，预先导出的回归方程被预先存储于储存器20D中。
停车让行位置未停车检测部60对停车让行位置的通过进行检测，从而对停车让行位置处的未停车进行检测。在本实施方式中，在到停车让行位置为止的距离在预先规定的第一距离以内时检测出停车让行标识、且到停车让行位置为止的距离接近至与第一距离相比较短的第二距离以内的情况下，判断为通过了停车让行线。而且，在到停车让行位置为止的距离在第一阈值以内时的车速为预先规定的速度以上的情况下，检测为停车让行位置未停车。详细而言，在到停车让行位置为10m以内时检测出停车让行标识、且接近至到停车让行位置为3m以内的情况下，判断为通过了停车让行线，在到停车让行位置为10m以内时的最低速度为10km/h以上的情况下，检测为停车让行位置未停车。以下，虽然将第一距离设为10m，将第二距离设为3m，将预先规定的速度设为10km/h，对一个示例进行说明，但并不限于此。例如，也可以设为根据车辆14的车辆前方的长度等而不同的距离。此外，也可以对根据车型而不同的距离以及速度的至少一方进行设定。此外，也可以设为，能够针对每个驾驶员而对距离以及速度的至少一方进行设定。由此，能够根据利用者的感觉以及每种车型的特性的至少一方而实施停车让行位置未停车的检测。
在此，参照图6，对由停车让行位置未停车检测部60实施的停车让行位置未停车的检测方法的一个示例进行说明。图6为，通过停车让行位置未停车检测部60而对停车让行位置未停车进行检测时的状态转变图的一个示例。
首先，从“通常”的状态起，当停车让行位置检测部56检测出停车让行位置时，向“正在接近停止位置”的状态进行转变。
从“正在接近停止位置”的状态起，当至停车让行位置为止的距离成为10m以内时，转变为“到停止位置为10m以内”的状态。
此外，从“到停止位置为10m以内”的状态起，当至停车让行位置为止的距离成为3m以内时，转变为“到停止位置为3m以内”的状态。
此外，当在“正在接近停止位置”的状态下通过物体检测部54而检测出停车让行标识时，转变为“正在接近停止位置且检测出停车让行标识”的状态。同样，当在“到停止位置为10m以内”的状态下通过物体检测部54而检测出停车让行标识时，转变为“到停止位置为10m以内且检测出停车让行标识”的状态。同样，当在“到停止位置为3m以内”的状态下通过物体检测部54而检测出停车让行标识时时，向“到停止位置为3m以内且检测出停车让行标识”的状态进行转变。
此外，当在“正在接近停止位置”、“到停止位置为10m以内”、以及“到停止位置为3m以内”的各个状态下，未由停车让行位置检测部56检测到停车让行位置(停车让行位置丢失)时，转变为“通常”的状态。
此外，从“正在接近停止位置且检测出停车让行标识”的状态起，当至停车让行位置为止的距离成为10m以内时，转变为“到停止位置为10m以内且检测出停车让行标识”的状态。
此外，从“到停止位置为10m以内且检测出停车让行标识”的状态起，当至停车让行位置为止的距离成为3m以内时，转变为“到停止位置为3m以内且检测出停车让行标识”的状态。
此外，当在“正在接近停止位置且检测出停车让行标识”、以及“到停止位置为10m以内且检测出停车让行标识”的各个状态下未由停车让行位置检测部56检测到停车让行位置(停车让行位置丢失)时，转变为“通常”的状态。
而且，在本实施方式中，在到停车让行位置为10m以内时检测出停车让行标识、且接近至到停车让行位置为3m以内的情况下，判断为通过了停车让行线。在此，在到停车让行位置为10m以内时的最低速度为10km/h以上的情况下，停车让行位置未停车检测部60判断为停车让行位置未停车，从而检测出停车让行位置未停车。
接下来，对由如上所述构成的本实施方式所涉及的危险驾驶检测系统10中的车载器16的控制装置20实施的处理进行说明。图7为，表示由本实施方式所涉及的危险驾驶检测系统10中的车载器16的控制装置20实施的处理的流程的一个示例的流程图。另外，图7的处理例如在点火开关被开启的情况等下开始。
在步骤100中，CPU20A读取视频帧以及车辆信息，并向步骤102进行转移。即，取得部52取得表示由被搭载于车辆14上的拍摄装置24拍摄到的动态图像的拍摄图像的动态图像数据的视频帧、以及由车辆信息检测装置22检测出的车辆信息。
在步骤102中，CPU20A实施视频帧中的物体检测，并向步骤104进行转移。即，物体检测部54利用公知的物体检测处理，对在图像中存在的路标、人行横道、信号、停止线等道路标识进行检测。
在步骤104中，CPU20A根据视频帧而对停车让行位置进行检测，并向步骤106进行转移。即，停车让行位置检测部56利用包围包含由物体检测部54检测出的多个道路标识在内的区域的范围框72，对停车让行位置进行检测。在本实施方式中，利用作为包含多个道路标识在内的图像中的区域而学习了停车让行位置的学习模型，如图5所示，生成包围包含多个道路标识在内的区域的范围框72，并将范围框72的底边的位置检测为停车让行位置。由此，即使存在由于前方车辆等而挡住停止线的情况、或随着时间的老化而引起的停止线的涂布的剥离等，也能够对停车让行位置进行检测。
在步骤106中，CPU20A对是否检测出停车让行位置进行判断。在该判断被否定的情况下，返回至步骤100，反复实施上述的处理，在被肯定的情况下，向步骤108进行转移。
在步骤108中，CPU20A对到停车让行位置为止的距离进行推断，并向步骤110进行转移。即，距离推断部58根据由拍摄部24拍摄到的图像，而对从本车辆至停车让行位置为止的距离进行推断。在本实施方式中，使用利用上述的范围框70或者范围框72的底边的位置坐标和与车辆相距的距离的正确答案值的数据集而预先导出的、用于根据底边的位置坐标来推断对象物的距离的回归方程，将底边的位置坐标作为输入，而对从拍摄部的拍摄位置至停车让行位置为止的距离进行推断。由此，即使存在由于前方车辆等而挡住停止线的情况、或随着时间的老化而引起的停止线的涂布的剥离等，也能够对从拍摄图像至停车让行位置为止的距离进行推断。
在步骤110中，CPU20A对到停车让行位置为止的距离是否在10m以内进行判断。关于该判断，停车让行位置未停车检测部60对由距离推断部58推断出的到停车让行位置为止的距离是否在10m以内进行判断。在该判断被否定的情况下，返回至步骤100，反复实施上述的处理，在被肯定的情况下，向步骤112进行转移。另外，关于该判断，例如，也可以设为，为了防止每一帧的判断的波动，而考虑过去的几帧(例如，对平均值等进行计算)，来对到停车让行位置为止的距离是否在10m以内进行判断。
在步骤112中，CPU20A对最低速度以及有无检测出停车让行标识进行存储，并向步骤114进行转移。
在步骤114中，CPU20A对到停车让行位置为止的距离是否成为3m以内进行判断。关于该判断，停车让行位置未停车检测部60对由距离推断部58推断出的到停车让行位置为止的距离是否在3m以内进行判断。在该判断被否定的情况下，返回至步骤100，从而反复实施上述的处理，在被肯定的情况下，向步骤116进行转移。另外，关于该判断，例如，也可以设为，为了防止每一帧的判断的波动，而考虑过去的几帧(例如，对平均值等进行计算)，来对到停车让行位置为止的距离是否在3m以内进行判断。
在步骤116中，CPU20A对是否已检测出停车让行标识进行判断。关于该判断，停车让行位置未停车检测部60对在上述的步骤112中是否存储有停车让行标识已被检测出的情况进行判断。在该判断被否定的情况下，返回至步骤100，反复实施上述的处理，在被肯定的情况下，向步骤118进行转移。
在步骤118中，CPU20A判断为通过了停车让行位置，并向步骤120进行转移。即，停车让行位置未停车检测部60当在到停车让行位置为10m以内时检测出停车让行标识、且接近至到停车让行位置为3m以内的情况下，判断为通过了停车让行线，从而检测出停车让行位置的通过。
在步骤120中，对到停车让行为止的距离在10m以内的最低速度是否为10km/h以上进行判断。关于该判断，停车让行位置未停车检测部60对在步骤112中被存储的最低车速是否为10km/h以上进行判断。在该判断被否定的情况下，返回至步骤100，反复实施上述的处理，在被肯定的情况下，向步骤122进行转移。
在步骤122中，CPU20A判断为停车让行位置未停车，并结束一系列的处理。即，停车让行位置未停车检测部60在通过步骤118而判断为通过了停车让行线、且到停车让行位置为10m以内时的最低速度10km/h以上的情况下，判断为在停车让行位置处未停车。
另外，在上述的实施方式中，在推断出预先规定的第一距离以内的到停车让行位置为止的接近、且推断出与第一距离相比较短的第二距离以内的到停车让行位置为止的接近的情况下，判断为通过了停车让行线，在第一距离以内检测出停车让行标识且在第一距离以内车速为预先规定的速度以上的情况下，检测为停车让行位置未停车，但停车让行位置未停车的检测未被限于此。例如，也可以设为，省略上述的步骤114～118，在到停车让行位置为止的距离在预先规定的距离以内时检测出停车让行标识、且预先规定的距离以内的作为车辆信息的车速为预先规定的速度以上的情况下，检测为停车让行位置未停车。由此，为了根据图像而对停车让行位置进行检测，虽然在实际的停车让行位置的稍前处被本车辆挡住而为检测出停车让行位置，但通过对到停车让行位置为止的距离为预先规定的距离下的车速进行检测，从而能够对停车让行位置处的未停车进行检测。
此外，虽然在上述的实施方式中，将危险驾驶检测部50的功能设为车载器16的控制装置20的功能而进行了说明，但未被限于此。例如，也可以设为危险驾驶数据收集服务器12的中央处理装置30的功能。或者，也可以设为与通信网络18连接的其他的服务器的功能。或者，也可以设为在乘员所携带的便携终端中安装的应用程序所具备的功能。
此外，虽然在上述的实施方式中，将范围框72的底边的位置设为停车让行位置并进行学习从而检测出停车让行位置，但未被限于范围框72的底边。例如，也可以将从范围框的底边向图像上方向而预先规定的位置设为停车让行位置来进行学习，从而进行检测。或者，也可以将范围框72的中央位置设为停车让行位置来进行学习，从而进行检测。
此外，虽然由上述的各个实施方式中的车载器16的控制装置20实施的处理作为通过执行程序来实施的软件处理而进行了说明，但未被限于此。例如，也可以设为，由ASIC(Application Specific Integrated Circuit，特定用途集成电路)、以及FPGA(Field-Programmable Gate Array，现场可编程门阵列)等硬件而实施处理。或者，也可以设为将软件以及硬件这两方进行组合的处理。此外，在设为软件的处理的情况下，也可以设为，将程序存储在各种非临时性计算机可读记录介质中并使其流通。
而且，本发明未被限定于上述内容，除了上述内容之外，也能够在不脱离其主旨的范围内进行各种变形并实施。

Claims (14)

1.一种停车让行检测装置，其包括：
存储器；
处理器，其与存储器连接，
处理器被构成为，
取得表示由被设置于车辆上的拍摄装置拍摄到的拍摄图像的图像信息，
根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，
利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。
2.如权利要求1所述的停车让行检测装置，其中，
所述处理器被构成为，利用作为包含所述多个道路标识在内的图像中的区域而学习了停车让行位置的学习模型，对停车让行位置进行检测。
3.如权利要求1或权利要求2所述的停车让行检测装置，其中，
所述处理器被构成为，将所述范围框的底边的位置检测为停车让行位置。
4.如权利要求1至3中的任意一项所述的停车让行检测装置，其中，
所述处理器被构成为，
还取得表示车速的车辆信息，
基于所取得的所述图像信息，对到所检测出的所述停车让行位置为止的距离进行推断，
基于检测结果、所取得的所述车辆信息以及所推断出的到所述停车让行位置为止的距离，对所检测出的所述停车让行位置处的未停车进行检测。
5.如权利要求4所述的停车让行检测装置，其中，
所述处理器被构成为，
在所推断出的到所述停车让行位置为止的距离在预先规定的距离以内而检测出停车让行标识且所述预先规定的距离以内的作为所述车辆信息的车速为预先规定的速度以上的情况下，检测为停车让行位置未停车。
6.如权利要求5所述的停车让行检测装置，其中，
所述预先规定的距离以及所述预先规定的速度的至少一方根据每个驾驶员以及每个车型的至少一方来设定。
7.如权利要求4所述的停车让行检测装置，其中，
所述处理器被构成为，
在推断出预先规定的第一距离以内的到停车让行位置为止的接近且推断出与所述第一距离相比较短的第二距离以内的到停车让行位置为止的接近的情况下，判断为通过了停车让行线，当在所述第一距离以内检测出停车让行标识且在所述第一距离以内所述车速为预先规定的速度以上的情况下，检测为停车让行位置未停车。
8.如权利要求7所述的停车让行检测装置，其中，
所述第一距离及所述第二距离以及所述预先规定的速度的至少一方根据每个驾驶员以及每个车型的至少一方来设定。
9.一种停车让行检测系统，包括：
停车让行检测装置；
车载器，其被搭载于具备拍摄装置的车辆上，
所述停车让行检测装置包括：
存储器；
处理器，其与存储器连接，
处理器被构成为，
取得表示由被设置于车辆上的所述拍摄装置拍摄到的拍摄图像的图像信息，
根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，
利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。
10.如权利要求9所述的停车让行检测系统，其中，
所述处理器被构成为，利用作为包含所述多个道路标识的图像中的区域而学习了停车让行位置的学习模型，对停车让行位置进行检测。
11.如权利要求9或权利要求10所述的停车让行检测系统，其中，
所述处理器被构成为，将所述范围框的底边的位置检测为停车让行位置。
12.一种非临时性计算机可读记录介质，其记录有停车让行检测程序，
所述停车让行检测程序使计算机执行停车让行检测处理，
在所述停车让行检测处理中，
取得表示由被设置于车辆上的拍摄装置拍摄到的拍摄图像的图像信息，
根据所取得的所述图像信息，对包含停车让行标识在内的多个道路标识进行检测，
利用包围包含所检测出的所述多个道路标识在内的区域的范围框，对停车让行位置进行检测。
13.如权利要求12所述的非临时性计算机可读记录介质，其中，
在所述停车让行检测处理中，利用作为包含所述多个道路标识在内的图像中的区域而学习了停车让行位置的学习模型，对停车让行位置进行检测。
14.如权利要求12或权利要求13所述的非临时性计算机可读记录介质，其中，
在所述停车让行检测处理中，将所述范围框的底边的位置检测为停车让行位置。
CN202110923833.5A 2020-09-29 2021-08-12 停车让行检测装置、停车让行检测系统以及记录介质 Pending CN114333414A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020164004A JP2022056153A (ja) 2020-09-29 2020-09-29 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
JP2020-164004 2020-09-29

Publications (1)

Publication Number Publication Date
CN114333414A true CN114333414A (zh) 2022-04-12

Family

ID=80821340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110923833.5A Pending CN114333414A (zh) 2020-09-29 2021-08-12 停车让行检测装置、停车让行检测系统以及记录介质

Country Status (3)

Country Link
US (1) US20220101025A1 (zh)
JP (1) JP2022056153A (zh)
CN (1) CN114333414A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783587B2 (en) * 2020-03-04 2023-10-10 Nec Corporation Deep learning tattoo match system based

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070041614A1 (en) * 2005-08-18 2007-02-22 Fujitsu Limited Road marking recognition apparatus and method
JP2007102357A (ja) * 2005-09-30 2007-04-19 Toyota Central Res & Dev Lab Inc 車両制御装置
CN101091103A (zh) * 2005-01-28 2007-12-19 爱信艾达株式会社 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
US20160110623A1 (en) * 2014-10-20 2016-04-21 Samsung Sds Co., Ltd. Method and apparatus for setting region of interest
JP2016122362A (ja) * 2014-12-25 2016-07-07 本田技研工業株式会社 交通支援装置
CN109165579A (zh) * 2018-08-08 2019-01-08 奇瑞汽车股份有限公司 检测停止线的方法和装置
JP2019082916A (ja) * 2017-10-31 2019-05-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定装置、判定方法および判定プログラム
CN110097659A (zh) * 2019-05-16 2019-08-06 深圳市捷赛机电有限公司 一种飞机上轮挡、撤轮挡的时间记录方法及相关产品
JP2020109560A (ja) * 2019-01-04 2020-07-16 日産自動車株式会社 信号機認識方法及び信号機認識装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101091103A (zh) * 2005-01-28 2007-12-19 爱信艾达株式会社 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
US20070041614A1 (en) * 2005-08-18 2007-02-22 Fujitsu Limited Road marking recognition apparatus and method
JP2007102357A (ja) * 2005-09-30 2007-04-19 Toyota Central Res & Dev Lab Inc 車両制御装置
US20160110623A1 (en) * 2014-10-20 2016-04-21 Samsung Sds Co., Ltd. Method and apparatus for setting region of interest
JP2016122362A (ja) * 2014-12-25 2016-07-07 本田技研工業株式会社 交通支援装置
JP2019082916A (ja) * 2017-10-31 2019-05-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定装置、判定方法および判定プログラム
CN109165579A (zh) * 2018-08-08 2019-01-08 奇瑞汽车股份有限公司 检测停止线的方法和装置
JP2020109560A (ja) * 2019-01-04 2020-07-16 日産自動車株式会社 信号機認識方法及び信号機認識装置
CN110097659A (zh) * 2019-05-16 2019-08-06 深圳市捷赛机电有限公司 一种飞机上轮挡、撤轮挡的时间记录方法及相关产品

Also Published As

Publication number Publication date
US20220101025A1 (en) 2022-03-31
JP2022056153A (ja) 2022-04-08

Similar Documents

Publication Publication Date Title
US20200298846A1 (en) Apparatus for preventing pedestrian collision accident, system having the same, and method thereof
CN110400478A (zh) 一种路况通知方法及装置
CN109427213B (zh) 用于车辆的防碰撞装置、方法及非暂时性存储介质
US20200247404A1 (en) Information processing device, information processing system, information processing method, and program
JP7362733B2 (ja) 道路環境情報の自動化クラウドソーシング
CN111009146A (zh) 服务器、信息处理方法和存储程序的非暂时性存储介质
CN113272877A (zh) 用于车辆的控制系统
US20220388506A1 (en) Control apparatus, movable object, control method, and computer-readable storage medium
CN112785874A (zh) 信息处理装置、系统及方法以及非暂时性记录介质
CN109887321B (zh) 无人车变道安全判别方法、装置及存储介质
CN114333414A (zh) 停车让行检测装置、停车让行检测系统以及记录介质
US20200250970A1 (en) Information processing apparatus, information processing method and program
JP7359099B2 (ja) 移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラム
US20220237926A1 (en) Travel management device, travel management method, and recording medium
JP7347390B2 (ja) 運転評価装置、運転評価システム、及び運転評価プログラム
CN113220805B (zh) 地图生成装置、记录介质以及地图生成方法
CN112785875B (zh) 信息处理装置、信息处理系统及方法以及记录介质
CN114093160A (zh) 危险驾驶检测装置、系统、方法及存储介质
US11702094B2 (en) Driving support apparatus and driving support method
US20230256976A1 (en) Reverse traveling determination device
CN110884501B (zh) 车辆感知的数据处理方法、装置、电子设备与存储介质
US20220028258A1 (en) Warning presentation control device, warning presentation control system, method of controlling warning presentation, and recording medium storing warning presentation control program
JP2023114695A (ja) 車載装置、情報処理方法及びプログラム
CN117037121A (zh) 信息处理装置、信息处理系统、信息处理方法及存储介质
JP2023166227A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220412

WD01 Invention patent application deemed withdrawn after publication