CN117098893A - 路面信息收集装置、路面劣化检测系统及路面信息收集方法 - Google Patents

路面信息收集装置、路面劣化检测系统及路面信息收集方法 Download PDF

Info

Publication number
CN117098893A
CN117098893A CN202180096637.3A CN202180096637A CN117098893A CN 117098893 A CN117098893 A CN 117098893A CN 202180096637 A CN202180096637 A CN 202180096637A CN 117098893 A CN117098893 A CN 117098893A
Authority
CN
China
Prior art keywords
image
road surface
captured
unit
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180096637.3A
Other languages
English (en)
Inventor
大柳礼子
泷本康明
河野卓矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN117098893A publication Critical patent/CN117098893A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明包括:获取车辆(10)周边的路面的拍摄图像的图像获取部(11);获取与在图像获取部(11)获取到的拍摄图像中拍摄到的路面上的区域相关的拍摄区域信息的拍摄区域信息获取部(12);基于拍摄区域信息获取部(12)获取到的拍摄区域信息来提取图像获取部(11)获取到的拍摄图像中对路面上的某个区域进行拍摄而得的一个以上的候补图像的图像管理部(13、13a);从图像管理部(13、13a)提取出的候补图像中选择向服务器(2)发送的选择图像的图像选择部(15、15a);以及将图像选择部(15、15a)选择出的选择图像发送到服务器(2)的发送部(16)。

Description

路面信息收集装置、路面劣化检测系统及路面信息收集方法
技术领域
本公开涉及一种搭载于车辆并对检测路面劣化的服务器发送拍摄路面而得的拍摄图像的路面信息收集装置、由路面信息收集装置和服务器构成的路面劣化检测系统、以及路面信息收集方法。
背景技术
以往,已知有车载装置将拍摄路面而得的拍摄图像上传到服务器,服务器对从车载装置上传的拍摄图像进行分析来检测路面劣化的技术(例如专利文献1)。
现有技术文献
专利文献
专利文献1:日本专利特开2013-139671号公报
发明内容
发明所要解决的技术问题
在现有技术中,服务器在从车载装置获取到对分析没有用处的拍摄图像的情况下,指示再次获取该没有用处的拍摄图像。这里,“对分析没有用处的图像”是指画质差、难以判断路面劣化的形状或程度等不能灵活用于路面劣化的检测的图像。
另一方面,车载装置在多次拍摄了路面的同一区域的情况下,将重复拍摄路面的同一区域而得的多个拍摄图像上传到服务器。这样,多个拍摄图像中一部分拍摄图像有可能不被用于检测路面劣化。由此,即使所拍摄到的区域重复且未被用于检测路面劣化的图像是画质好的图像,也可以说是“对分析没有用处的图像”。
现有技术中存在下述问题,即:因从车载装置向服务器上传对分析没有用处的拍摄图像、如来自服务器的图像的再次获取指示和基于该再次获取指示的车载装置的拍摄图像的再次上传、或者车载装置的拍摄区域重复的拍摄图像的上传等,而引起额外的通信频带。
本公开是为了解决上述那样的问题而完成的,其目的在于,提供一种能够削减因从车载装置向服务器上传对分析没有用处的拍摄图像而引起的通信频带的路面信息收集装置。
解决技术问题的技术方案
本公开所涉及的路面信息收集装置搭载在车辆上,向检测路面劣化的服务器发送拍摄路面而得的拍摄图像,包括:图像获取部,该图像获取部获取由搭载在车辆上的拍摄装置拍摄的、车辆周边的路面的拍摄图像;拍摄区域信息获取部,该拍摄区域信息获取部获取与在图像获取部获取到的拍摄图像中拍摄到的路面上的区域相关的拍摄区域信息;图像管理部,该图像管理部基于拍摄区域信息获取部获取到的拍摄区域信息,提取图像获取部获取到的拍摄图像中对路面上的某个区域进行拍摄而得的一个以上的候补图像;图像选择部,该图像选择部从图像管理部提取出的候补图像中,选择向服务器发送的选择图像;以及发送部,该发送部将图像选择部选择出的选择图像发送到所述服务器。
发明效果
根据本公开,能够实现因从车载装置向服务器上传对分析没有用处的拍摄图像而引起的通信频带的削减。
附图说明
图1是表示实施方式1所涉及的路面劣化检测系统的结构例的图。
图2是表示实施方式1所涉及的路面信息收集装置的结构例的图。
图3是用于说明在实施方式1中拍摄区域信息获取部获取拍摄区域信息的方法的一个示例的图。
图4是表示实施方式1中存储在存储部中的信息的一个示例的图。
图5是用于说明在实施方式1中拍摄区域的一部分重复的拍摄图像的一个示例的图。
图6A和图6B是用于说明在实施方式1中图像选择部根据推测劣化区域的像素数量相对于候补图像的全部区域的像素数量的比例来计算图像选择用分数的情况下的、候补图像和图像选择用分数的一个示例的图。
图7是用于对实施方式1所涉及的路面信息收集装置的动作进行说明的流程图。
图8是用于对图7的步骤ST3中的图像管理部的动作进行详细说明的流程图。
图9是用于对图7的步骤ST4中的图像选择部的动作进行详细说明的流程图。
图10是表示在实施方式1中与多个摄像头连接时的路面信息收集装置的结构例的图。
图11是用于说明在实施方式1中在路面信息收集装置与多个摄像头连接的情况下多个摄像头拍摄同一区域的示例的图。
图12A以及图12B是表示实施方式1所涉及的路面信息收集装置的硬件结构的一个示例的图。
图13是表示实施方式2所涉及的路面信息收集装置的结构例的图。
图14是用于说明在实施方式2中路面信息收集装置考虑摄像头拍摄路面时的亮度作为环境条件、从图像选择用分数最大的多个候补图像中选择选择图像的一个示例的图。
图15是用于说明在实施方式2中路面信息收集装置考虑摄像头的振动状况作为环境条件、从图像选择用分数最大的多个候补图像中选择选择图像的一个示例的图。
图16是表示实施方式2中存储在存储部中的拍摄区域信息的一个示例的图。
图17是用于对实施方式2所涉及的路面信息收集装置的动作进行说明的流程图。
图18是用于对图17的步骤ST15中的图像选择部的动作进行详细说明的流程图。
图19是表示在实施方式2中取代传感器与ECU连接时的路面信息收集装置的结构例的图。
具体实施方式
以下,对本公开的实施方式,参照附图进行详细说明。
实施方式1
图1是表示实施方式1所涉及的路面劣化检测系统100的结构例的图。
由作为搭载在车辆10上的车载装置的路面信息收集装置1和服务器2构成路面劣化检测系统100。路面信息收集装置1和服务器2通过无线通信连接。
路面信息收集装置1从摄像头3(参照后述的图2)获取拍摄车辆10周边的路面而得的拍摄图像,从所获取到的拍摄图像中选择作为进行用于检测路面劣化的分析的对象而提供的拍摄图像(以下称为“选择图像”),并将所选择的选择图像发送给服务器2。即,路面信息收集装置1将选择图像上传到服务器2。
服务器2分析从路面信息收集装置1发送的选择图像,进行检测塌陷或裂缝等路面的劣化的路面劣化检测处理。例如,服务器2对选择图像进行已知的图像识别处理等,分析路面劣化的形状或路面劣化的程度,检测路面是否劣化。
与服务器2进行路面劣化检测处理而检测到的路面劣化相关的信息例如被输出到管理装置(省略图示),在管理装置中,作为用于现场确认的信息或用于制作修缮计划的信息而被使用。
图2是表示实施方式1所涉及的路面信息收集装置1的结构例的图。
路面信息收集装置1搭载在车辆10上。
另外,路面信息收集装置1与服务器2、摄像头3以及GPS(Global PositioningSystem:全球定位系统)4连接。
摄像头3是搭载在车辆10上的拍摄装置,对车辆10行驶的道路的路面等车辆10周边的路面进行拍摄。另外,在实施方式1中,摄像头3搭载在路面信息收集装置1的外部,但这只是一个示例,摄像头3也可以搭载于路面信息收集装置1。
GPS4搭载在车辆10上,获取车辆10的当前位置。另外,在实施方式1中,GPS4搭载在路面信息收集装置1的外部,但这只是一个示例,GPS4也可以搭载与路面信息收集装置1。
路面信息收集装置1具备图像获取部11、拍摄区域信息获取部12、图像管理部13、存储部14、图像选择部15及发送部16。
图像获取部11从摄像头3获取由该摄像头3拍摄到的、车辆10周边的路面的拍摄图像。另外,图像获取部11以帧为单位获取拍摄图像。
图像获取部11将获取到的拍摄图像输出到图像管理部13。
拍摄区域信息获取部12获取与在图像获取部11获取到的拍摄图像中所拍摄到的路面上的区域相关的信息(以下称为“拍摄区域信息”)。
在实施方式1中,拍摄区域信息是能够确定拍摄图像是拍摄了路面上的哪个区域的图像的信息。
当从摄像头3输出拍摄了路面的意思的信息(以下称为“拍摄通知信息”)时,拍摄区域信息获取部12获取拍摄区域信息。
在实施方式1中,摄像头3例如在向图像获取部11输出拍摄图像的定时,对拍摄区域信息获取部12输出拍摄通知信息。
这里,图3是用于说明在实施方式1中拍摄区域信息获取部12获取拍摄区域信息的方法的一个示例的图。
拍摄区域信息获取部12例如基于与摄像头3相关的信息和车辆10的当前位置,确定在拍摄图像中所拍摄的路面上的区域。与摄像头3相关的信息例如是摄像头3的设置位置和视角。与该摄像头3相关的信息预先决定,例如存储在拍摄区域信息获取部12可参照的场所。拍摄区域信息获取部12从GPS4获取与车辆10的当前位置相关的信息。
由于预先知道摄像头3的设置位置和视角,因此,拍摄区域信息获取部12如果知道车辆10的当前位置(图3中由201所示),则能够根据该车辆10的当前位置,确定摄像头3的拍摄区域的中心(图3中由202所示)。车辆10的当前位置和摄像头3的拍摄区域的中心的相对位置始终恒定。在实施方式1中,摄像头3的拍摄区域的中心是实际空间上的一点,例如由可映射到地图上的坐标值来表示。
另外,由于摄像头3可拍摄的拍摄区域始终恒定,因此拍摄区域信息获取部12能够从确定的摄像头3的拍摄区域的中心掌握摄像头3的拍摄区域(图3中由203所示)。
拍摄区域信息获取部12每当从摄像头3输出拍摄通知信息时,换言之,每当摄像头3拍摄拍摄图像时,都获取拍摄区域信息。
此外,拍摄区域信息获取部12无需在每次从摄像头3输出拍摄通知信息时都从GPS4获取车辆10的当前位置。例如,拍摄区域信息获取部12也可以获取车速信息,基于所获取到的车速信息和上次从GPS4获取车辆10的当前位置信息后的经过时间来计算车辆10前进的距离,从而获取车辆10的当前位置。在该情况下,拍摄区域信息获取部12例如可以从搭载于车辆10的车速传感器获取车速信息。
拍摄区域信息获取部12将确定的摄像头3的拍摄区域中心的坐标作为拍摄区域信息输出到图像管理部13。
另外,在实施方式1中,拍摄区域信息获取部12在从摄像头3输出拍摄通知信息时获取拍摄区域信息,但这只是一个示例。例如,当图像获取部11从摄像头3获取拍摄图像时,也可以向拍摄区域信息获取部12通知获取了拍摄图像的意思,拍摄区域信息获取部12接受该通知,获取拍摄区域信息。
例如,在车辆10因等待交通信号灯等而停止的情况下,如上所述,当图像获取部11从摄像头3获取拍摄图像时,能够向拍摄区域信息获取部12通知获取了拍摄图像的意思。这是因为,如果车辆10停止,则车辆10不会在从摄像头3拍摄路面到图像获取部11获取拍摄图像为止的时间内行驶,车辆10的位置不会发生变化。另外,如果车辆10的位置在从摄像头3拍摄路面到图像获取部11获取拍摄图像为止的时间内发生变化,则拍摄区域信息获取部12不能正确获取与图像获取部11获取到的拍摄图像对应的拍摄区域信息、换言之、摄像头3进行路面拍摄时的拍摄区域信息。
图像管理部13将从图像获取部11输出的拍摄图像与从拍摄区域信息获取部12输出的拍摄区域信息对应地进行管理。具体而言,图像管理部13将拍摄图像和拍摄区域信息对应地存储在存储部14中。
这里,图4是表示实施方式1中、存储在存储部14中的信息的一个示例的图。
如图4所示,图像管理部13将拍摄图像和拍摄区域信息对应地存储在存储部14中。此时,图像管理部13对拍摄图像标注图像编号。图像管理部13对于从图像获取部11获取到的拍摄图像,按照从图像获取部11获取的顺序,换言之,按照图像获取部11从摄像头3获取的顺序,来标注图像编号。在图4中,设图像管理部13对从图像获取部11获取的拍摄图像按照从图像获取部11获取的顺序按升序标注“1”~“n”的图像编号。
另外,图像管理部13在有来自图像选择部15的图像输出请求的情况下,从存储部14提取拍摄图像(以下称为“候补图像”),并输出到图像选择部15。
更详细地说,图像管理部13在有上述图像输出请求的情况下,基于在存储部14中与拍摄图像对应地存储的拍摄区域信息,提取存储在存储部14中的拍摄图像中的、对路面上的某个区域进行拍摄而得的一个以上的候补图像,并输出到图像选择部15。
即,图像管理部13基于拍摄区域信息,提取存储在存储部14中的拍摄图像作为候补图像。此时,图像管理部13在存在拍摄同一区域而得的多个拍摄图像的情况下,将该拍摄同一区域而得的多个拍摄图像汇总提取为候补图像。图像管理部13的同一区域的判定方法将在后文中阐述。
图像管理部13在向图像选择部15输出候补图像时,将拍摄区域信息与该候补图像对应地输出。
另外,图像管理部13输出给图像选择部15的候补图像是作为发送给服务器2的候补的拍摄图像。由图像选择部15从该候补图像中选择发送给服务器2的拍摄图像(以下称为“选择图像”)。图像选择部15的详细情况将在后文中阐述。
具体说明图像管理部13提取候补图像的处理。
首先,图像管理部13判定是否有从图像选择部15输出图像的请求。
图像选择部15以预先设定的周期,向图像管理部13输出请求候补图像的信号(以下称为“图像输出请求信号”)。图像管理部13如果获取该图像输出请求信号,则判定为有来自图像选择部15的候补图像的输出请求。在实施方式1中,图像选择部15对图像管理部13进行的候补图像的请求也称为“图像输出请求”。
图像管理部13如果判定为从图像选择部15有图像输出请求,则提取存储在存储部14中的最旧的拍摄图像(以下称为“最旧图像”),将提取出的最旧图像作为候补图像输出到图像选择部15。
图像管理部13例如可以根据对拍摄图像标注的图像编号来确定最旧图像设对拍摄图像标注与拍摄日期时间相关的信息,图像管理部13也可以根据与拍摄日期时间相关的信息来确定存储在存储部14中的最旧图像。
接着,图像管理部13提取在存储部14中存储的拍摄图像中拍摄了与最旧图像同一区域的拍摄图像(以下称为“同一区域图像”),换言之,提取最旧图像和拍摄区域为同一个的同一区域图像,将提取出的同一区域图像作为候补图像输出到图像选择部15。
这里,“拍摄同一区域”不仅包含拍摄区域完全一致,还包含拍摄区域在一定以上范围内重叠。
例如,所谓“拍摄图像A的拍摄区域与拍摄图像B的拍摄区域为同一个”,既可以是拍摄图像A的拍摄区域与拍摄图像B的拍摄区域完全一致,也可以是拍摄图像A的拍摄区域与拍摄图像B的拍摄区域重叠一半以上,也可以是拍摄图像A的拍摄区域和拍摄图像B的拍摄区域的一部分重叠。在拍摄区域重叠了多少的情况下,预先决定是否视为“拍摄了同一拍摄区域”。
图5是用于说明在实施方式1中拍摄区域的一部分重叠的拍摄图像的一个示例的图。
在图5中,作为一个示例,示出了拍摄图像A的拍摄区域和拍摄图像B的拍摄区域的一部分重叠的示例。在图5中,拍摄图像A的拍摄区域用501表示,拍摄图像B的拍摄区域用502表示。另外,在图5中,用503表示拍摄图像A的拍摄区域和拍摄图像B的拍摄区域重叠的重叠区域。另外,在图5中,51是拍摄图像A的拍摄区域中心,52是拍摄图像B的拍摄区域中心。
在实施方式1中,当图5的503所示的重叠区域的大小为一定以上的大小时,视为在拍摄图像A和拍摄图像B中“拍摄了同一拍摄区域”。
“拍摄了同一拍摄区域”能够基于与拍摄图像对应地存储在存储部14中的拍摄区域信息、即拍摄区域中心的距离来判定。
在图5所示的一个示例中,例如,如果拍摄图像A的拍摄区域中心(图5的51)与拍摄图像B的拍摄区域中心(图5的52)的距离小于预先设定的阈值(以下称为“重叠判定用阈值”),则在拍摄图像A和拍摄图像B中被视为“拍摄了同一拍摄区域”。
例如,在最旧图像的拍摄区域中心与在存储部14中存储的拍摄图像的拍摄区域中心一致时,或者在最旧图像的拍摄区域中心与在存储部14中存储的拍摄图像的拍摄区域中心的距离小于重叠判定用阈值的情况下,图像管理部13判定为最旧图像与在存储部14中存储的拍摄图像拍摄了同一拍摄区域。
另外,在实施方式1中,例如设想在车辆10停止时、车辆10以低速行驶时、或者车辆10的速度相对于摄像头3的拍摄周期较慢时,拍摄了同一拍摄区域的拍摄图像能够连续地从摄像头3输出并存储在存储部14中。
例如,图像管理部13在提取最旧图像时,先暂时存储该最旧图像以及与最旧图像对应的拍摄区域信息。然后,图像管理部13进行所暂时存储的拍摄区域信息和与在存储部14中存储的拍摄图像对应的拍摄区域信息的比较,在存储部14中存储的拍摄图像中,将该拍摄图像的拍摄区域中心与最旧图像的拍摄区域中心一致、或该拍摄图像的拍摄区域中心与最旧图像的拍摄区域中心的距离小于重叠判定用阈值的拍摄图像判定为同一区域图像。然后,图像管理部13提取同一区域图像作为候补图像,输出到图像选择部15。
图像管理部13在提取存储部14中存储的所有的同一区域图像作为候补图像之前,反复进行该候补图像的提取以及提取出的候补图像向图像选择部15的输出。
另外,从存储部14中删除与图像管理部13提取出的候补图像相关的信息。
当全部候补图像的提取和输出都结束时,图像管理部13向图像选择部15输出通知结束了候补图像的输出的信号(以下称为“输出结束信号”)。
存储部14存储被标注图像编号并与拍摄区域信息对应的拍摄图像。
另外,实施方式1中,存储部14设于路面信息收集装置1,但这只是一个示例。存储部14可以设在路面信息收集装置1的外部的路面信息收集装置1能参照的位置。
图像选择部15从图像管理部13提取出的候补图像中选择向服务器2发送的候补图像(以下称为“选择图像”)。
更详细而言,首先,图像选择部15以预先设定的周期对图像管理部13输出图像输出请求信号,由此进行图像输出请求。
图像选择部15在进行了图像输出请求之后,在从图像管理部13输出输出结束信号之前的期间暂时存储从该图像管理部13输出的候补图像。
当从图像管理部13输出输出结束信号时,图像选择部15从暂时存储的候补图像中选择选择图像。
图像选择部15对暂时存储的候补图像,换言之对图像管理部13提取出的候补图像进行通过该候补图像而拍摄到的路面是否存在劣化的检测处理,基于检测处理的结果选择选择图像。另外,图像选择部15进行的检测处理是比由服务器2进行的路面劣化检测处理更简单的处理,换言之,是“路面劣化检测试行处理”。图像选择部15在由服务器2进行的路面劣化检测处理之前,将作为被推测为拍摄了劣化了的路面的拍摄图像的、在该路面劣化检测处理中被设想为对分析有用的拍摄图像进行缩小。
首先,图像选择部15判定从图像管理部13输出的候补图像是存在1个还是多个。
在存在多个从图像管理部13输出的候补图像的情况下,图像选择部15对每个候补图像进行“路面劣化检测试行处理”。
图像选择部15通过“路面劣化检测试行处理”,提取候补图像的全部区域中被推测为拍摄到路面劣化的区域(以下称为“推测劣化区域”)。例如,图像选择部15使用已知的边缘检测技术,提取在候补图像中被推测为拍摄到路面劣化的区域的轮廓。例如,在候补图像的像素中部分地出现亮度比周围的像素要低的像素的情况下,该亮度低的像素的区域可能是拍摄到路面劣化的区域。
图像选择部15在“路面劣化检测试行处理”的结果是检测到路面劣化的情况下,换言之,在能够从候补图像提取出推测劣化区域的情况下,对候补图像计算图像选择用分数。在实施方式1中,图像选择用分数表示候补图像在服务器2进行的路面劣化检测处理中被设想为对分析有用的程度。图像选择用分数越大,越是表示计算出该图像选择用分数的候补图像是在服务器2进行的路面劣化检测处理中被设想为对分析有用的候补图像。
在此,关于图像选择部15的图像选择用分数的计算方法,举出几个具体例进行说明。
例如,图像选择部15计算推测劣化区域的像素数量相对于候补图像的全部区域的像素数量的比例,作为图像选择用分数。
图6A和图6B是用于说明在实施方式1中图像选择部15根据推测劣化区域的像素数量相对于候补图像的全部区域的像素数量的比例来计算图像选择用分数的情况下的、候补图像和图像选择用分数的一个示例的图。
图6A所示的候补图像(用图6A的61a表示)是从远离被推测为路面劣化的部分(用图6A的62a表示)的位置拍摄的,推测劣化区域相对于候补图像的全部区域所占的比例较小。在图6A中,图像选择部15基于候补图像的全部区域的像素数量和推测劣化区域的像素数量,计算出图像选择用分数为“10”。
与此相对,图6B所示的候补图像(用图6B的61b表示)是从接近被推测为路面劣化的部分(用图6B的62b表示)的位置拍摄的,推测劣化区域相对于候补图像的全部区域所占的比例与图6A中推测劣化区域相对于候补图像的全部区域所占的比例相比要大。在图6B中,图像选择部15基于候补图像的全部区域的像素数量和推测劣化区域的像素数量,计算出图像选择用分数为“50”。
另外,例如,图像选择部15也可以根据候补图像中的推测劣化区域的轮廓的清晰度,换言之根据推测劣化区域的边缘的锐度,计算图像选择用分数。根据推测劣化区域的边缘的锐度计算图像选择用分数的计算式被预先设定。另外,在该计算式中,设定了推测劣化区域的边缘越尖锐、图像选择用分数越大的计算式。
图像选择部15在“路面劣化检测试行处理”的结果是无法从候补图像中提取推测劣化区域的情况下,废弃该候补图像。从候补图像中未提取出推测劣化区域是指被推测为在该候补图像中未拍摄到路面劣化。没有拍摄到路面劣化的候补图像无需设为路面劣化的检测对象即,没有拍摄到路面劣化的候补图像无需选择为要发送给服务器2的选择图像。
图像选择部15如果对存在多个的全部候补图像进行“路面劣化检测试行处理”,对提取了推测劣化区域的候补图像计算图像选择用分数,则将计算出的图像选择用分数最大的候补图像选择为选择图像。
例如,假设从图像管理部13输出如图6A和图6B所示的多个候补图像(图6A的61a、61b),则图像选择部15选择图像选择用分数大的、图6B所示的候补图像作为选择图像。
这样,图像选择部15进行“路面劣化检测试行处理”来提取推测劣化区域,选择基于所提取出的推测劣化区域的大小而计算出的图像选择用分数大的候补图像,换言之选择在候补图像中拍摄得较大的推测劣化区域的候补图像作为选择图像。也可以说,推测劣化区域拍摄得越大的候补图像,越容易检测路面劣化的形状或路面劣化的程度等。即,也可以说推测劣化区域拍摄得越大的候补图像,越是在由服务器2进行的路面劣化检测处理中是对分析有用的拍摄图像。
另外,例如,图像选择部15进行“路面劣化检测试行处理”来提取推测劣化区域,在根据推测劣化区域边缘的锐度计算出图像选择用分数的情况下,在多个候补图像中,选择推测劣化区域的边缘尖锐的候补图像,换言之选择在候补图像中鲜明地拍摄到推测劣化区域的轮廓的候补图像作为选择图像。也可以说,推测劣化区域的轮廓拍摄得越鲜明的候补图像,越容易检测路面劣化的形状或路面劣化的程度等。即,也可以说推测劣化区域的轮廓拍摄得越鲜明的候补图像,越是在由服务器2进行的路面劣化检测处理中是对分析有用的拍摄图像。
图像选择部15通过进行作为简易的路面劣化检测处理的“路面劣化检测试行处理”,缩小向服务器2发送的选择图像,从而能够向服务器2发送对路面劣化检测处理有用的摄影图像(选择图像)。另外,选择图像向服务器2的发送由发送部16进行。
这样,图像选择部15在存在多个候补图像的情况下,对每个候补图像计算图像选择用分数,基于计算出的图像选择用分数来选择选择图像。然后,图像选择部15将选择出的选择图像输出到发送部16。
另一方面,在从图像管理部13输出的候补图像仅为一个的情况下,图像选择部15对该一个候补图像进行“路面劣化检测试行处理”。
图像选择部15对一个候补图像进行“路面劣化检测试行处理”的结果是,在从候补图像中提取出推测劣化区域的情况下,将该一个候补图像选择为选择图像。然后,图像选择部15将选择出的选择图像输出到发送部16。
图像选择部15对一个候补图像进行“路面劣化检测试行处理”的结果是,在未从候补图像中提取出推测劣化区域的情况下,丢弃该候补图像,不选择选择图像。
另外,图像选择部15在向发送部16输出选择图像时,将拍摄区域信息与该选择图像对应地输出。
另外,图像选择部15如果向发送部16输出选择图像,则删除暂时存储的候补图像。
发送部16将图像选择部15选择出的选择图像发送给服务器2。
发送部16将选择图像与拍摄区域信息对应地输出。
对实施方式1所涉及的路面信息收集装置1的动作进行说明。
图7是用于对实施方式1所涉及的路面信息收集装置1的动作进行说明的流程图。
图像获取部11从摄像头3获取由该摄像头3拍摄到的、车辆10周边的路面的拍摄图像(步骤ST1)。
图像获取部11将获取到的拍摄图像输出到图像管理部13。
拍摄区域信息获取部12获取与在步骤ST1中图像获取部11获取的拍摄图像中拍摄的路面上的区域相关的拍摄区域信息(步骤ST2)。
拍摄区域信息获取部12将获取到的拍摄区域信息输出到图像管理部13。
图像管理部13将在步骤ST1从图像获取部11输出的拍摄图像、与在步骤ST2从拍摄区域信息获取部12输出的拍摄区域信息对应地管理。具体而言,图像管理部13将拍摄图像和拍摄区域信息对应地存储在存储部14中。
图像管理部13在有来自图像选择部15的图像输出请求的情况下,从存储部14提取候补图像,并输出到图像选择部15(步骤ST3)。
图像选择部15从在步骤ST3中图像管理部13提取出的候补图像中选择发送给服务器2的选择图像(步骤ST4)。
另外,图像选择部15在进行该步骤ST4的处理之前,以预先设定的周期对图像管理部13输出图像输出请求信号,从而进行图像输出请求。图像管理部13接收该图像输出请求信号,进行上述步骤ST3的处理。
图像选择部15将选择图像输出到发送部16。
发送部16将在步骤ST4中图像选择部15选择出的选择图像发送给服务器2(步骤ST5)。
图8是用于对图7的步骤ST3中的图像管理部13的动作进行详细说明的流程图。
图像管理部13判定是否从图像选择部15有图像输出请求(步骤ST31),待机至有图像输出请求(步骤ST31的“否”的情况)为止。
当图像管理部13判定为从图像选择部15有图像输出请求时(步骤ST31的“是”的情况),提取在存储部14中存储的最旧图像,将提取出的最旧图像作为候补图像输出到图像选择部15(步骤ST32)。
接着,图像管理部13基于与拍摄图像对应地存储在存储部14中的拍摄区域信息,判定在存储部14中存储的拍摄图像中是否存在拍摄了与最旧图像同一个区域的同一区域图像(步骤ST33)。
在存在同一区域图像的情况下(步骤ST33的“是”的情况),图像管理部13提取同一区域图像,将提取出的同一区域图像作为候补图像输出到图像选择部15(步骤ST34)。
图像管理部13重复步骤ST33~ST34处理,直到提取在存储部14中存储的全部同一区域图像作为候补图像为止。
在结束存储部14中存储的全部候补图像的提取及输出、并在步骤ST33中判定为没有同一区域图像的情况下(步骤ST33的“否”的情况),图像管理部13对图像选择部15输出输出结束信号,该输出结束信号通知结束了候补图像的输出的意思(步骤ST35)。
图9是用于对图7的步骤ST4中的图像选择部15的动作进行详细说明的流程图。
当从图像管理部13输出输出结束信号时,图像选择部15进行图9的流程图所示的处理。
图像选择部15判定在图7的步骤ST3中从图像管理部13输出的候补图像是存在一个还是多个(步骤ST41)。
在存在多个从图像管理部13输出的候补图像的情况下(步骤ST41的“是”的情况),图像选择部15对每个候补图像进行“路面劣化检测试行处理”(步骤ST42)。
图像选择部15在“路面劣化检测试行处理”的结果是检测到路面劣化的情况下,换言之,在能够从候补图像提取出推测劣化区域的情况下(步骤ST43的“是”的情况),对候补图像计算图像选择用分数(步骤ST44)。然后,图像选择部15的动作前进至步骤ST46的处理。
图像选择部15在“路面劣化检测试行处理”的结果是无法从候补图像中提取推测劣化区域的情况下(步骤ST43的“否”的情况),废弃该候补图像(步骤ST45)。然后,图像选择部15的动作前进至步骤ST46的处理。
图像选择部15在存在未实施“路面劣化检测试行处理”的候补图像的期间(步骤ST46的“是”的情况),重复步骤ST42~步骤ST45的动作。
图像选择部15对存在多个的全部候补图像进行了“路面劣化检测试行处理”的结果是,提取推测劣化区域,判定是否计算出图像选择用分数(步骤ST47)。
对存在多个的全部候补图像进行了“路面劣化检测试行处理”的结果是,在存在多个的全部候补图像中未检测到路面劣化的情况下(步骤ST47的“否”的情况),图像选择部15结束图9的流程图所示的动作,路面信息收集装置1结束图7的流程图所示的动作。即,不从路面信息收集装置1向服务器2发送选择图像。
对存在多个的全部候补图像进行了“路面劣化检测试行处理”的结果是,如果存在多个的候补图像中的至少一个中检测到路面劣化,且对提取了推测劣化区域的候补图像计算图像选择用分数(步骤ST47的“是”的情况),则图像选择部15将计算出的图像选择用分数最大的候补图像选择为选择图像(步骤ST48)。
另一方面,在从图像管理部13输出的候补图像仅为一个的情况下(步骤ST41的“否”的情况),图像选择部15对该一个候补图像进行“路面劣化检测试行处理”(步骤ST49)。
对一个候补图像进行了“路面劣化检测试行处理”的结果是,在从候补图像提取推测劣化区域的情况下,换言之,在从候补图像检测到路面劣化的情况下(步骤ST50的“是”的情况),图像选择部15将该一个候补图像选择为选择图像(步骤ST51)。然后,图像选择部15将选择出的选择图像输出到发送部16。
对一个候补图像进行了“路面劣化检测试行处理”的结果是,在从候补图像未提取出推测劣化区域的情况下,换言之,在从候补图像未检测到路面劣化的情况下(步骤ST50的“否”的情况),图像选择部15丢弃该候补图像,不选择选择图像。然后,图像选择部15结束图9的流程图所示的动作,路面信息收集装置1结束图7的流程图所示的动作。即,不从路面信息收集装置1向服务器2发送选择图像。
这样,路面信息收集装置1获取由摄像头3拍摄的、车辆10周边的路面的拍摄图像,根据基于该拍摄图像而获取到的拍摄区域信息,从该拍摄图像中提取拍摄某个区域而得的一个以上的候补图像。然后,路面信息收集装置1从一个以上的候补图像中选择向服务器2发送的选择图像,并将选择出的选择图像发送给服务器2。
例如,设想在摄像头3多次拍摄了某个区域的情况下,即,在摄像头3多次拍摄了同一区域的情况下,如果存在路面劣化,则该路面劣化也被重复地拍摄。
在服务器2在路面劣化检测处理中检测路面劣化情况下,拍摄了该路面劣化的拍摄图像有一个就足够了。如果拍摄同一区域而得的多个拍摄图像被发送到服务器2,则发送到服务器2的多个拍摄图像中的一部分的拍摄图像有可能成为可不用于路面劣化检测处理的拍摄图像。即,发送给服务器2的多个拍摄图像中的一部分的拍摄图像有可能成为在路面劣化检测处理中对分析没有用处的拍摄图像。
与此相对,实施方式1所涉及的路面信息收集装置1在存在拍摄同一区域而得的多个拍摄图像的情况下,从其中选择选择图像,仅将选择图像发送给服务器2。这样,路面信息收集装置1不发送重复拍摄同一区域而得的、在服务器2的路面检测处理中对分析没有用处的拍摄图像。其结果,路面信息收集装置1能够削减用于发送对分析没有用处的拍摄图像的通信频带。
另外,路面信息收集装置1在选择发送给服务器2的选择图像时,进行“路面劣化检测试行处理”,作为服务器2进行路面劣化检测处理的前阶段的处理,进行简易的路面劣化检测处理。并且,路面信息收集装置1进行了“路面劣化检测试行处理”的结果是,不选择被推测为没有拍摄路面劣化的拍摄图像作为选择图像。进行了“路面劣化检测试行处理”的结果是,被推测为没有拍摄到路面劣化的拍摄图像不会发送给服务器2。没有拍摄到路面劣化的拍摄图像原本在服务器2中的路面劣化检测处理中不是必要的。即,没有拍摄到路面劣化的拍摄图像也可以说是在服务器2的路面劣化检测处理中对分析没有用处的拍摄图像。路面信息收集装置1进行了“路面劣化检测试行处理”的结果是,通过不对被推测为没有拍摄到路面劣化的拍摄图像进行图像选择,从而能够削减用于发送对分析没有用处的拍摄图像的通信频带。
此外,路面信息收集装置1在选择发送给服务器2的选择图像时进行了“路面劣化检测试行处理”的结果是,在检测到路面劣化且存在多个拍摄同一区域而得的候补图像的情况下,计算图像选择用分数,将图像选择用分数最大的拍摄图像选择为选择图像。这样,路面信息收集装置1向服务器2发送被设想为在服务器2的路面劣化检测处理中对分析最有用的选择图像。由此,路面信息收集装置1例如能够减少在基于发送的拍摄图像对服务器2进行路面劣化检测处理时由于难以分析该拍摄图像等理由而必须发送拍摄图像的再发送指示这样的事态的发生。其结果是,路面信息收集装置1能够削减由于发送了对分析没有用处的拍摄图像而从服务器2发送的拍摄图像的再发送指示用的通信频带。
如上所述,路面信息收集装置1在路面劣化检测系统100中,能够实现削减因从车载装置(路面信息收集装置1)向服务器2上传在服务器2的路面劣化检测处理中对分析没有用处的拍摄图像而引起的通信频带。用于将拍摄图像从路面信息收集装置1上传到服务器2的通信频带可以是将由路面信息收集装置1选择出的选择图像进行上传的通信频带。
另外,在以上的实施方式1中,路面信息收集装置1与一个摄像头3连接,但这只是一个示例。
路面信息收集装置1也可以与多个摄像头连接。
图10是表示在实施方式1中与多个摄像头3-1~3-n连接时的路面信息收集装置1的结构例的图。
另外,图1所示的路面信息收集装置1和图10所示的路面信息收集装置1仅是所连接的摄像头的数量不同。
多个摄像头3-1~3-n设想搭载在车辆10上。多个摄像头3-1~3-n的设置位置可以是适当的位置。例如,在车辆10的前方和后方,可以分别设置对车辆10前方的路面进行拍摄的摄像头、及对车辆10后方的路面进行拍摄的摄像头,也可以在车辆10的左右侧面分别设置对车辆10左侧的路面进行拍摄的摄像头、及对车辆10右侧的路面进行拍摄的摄像头。另外,例如也可以在车辆10的前方设置多个摄像头。例如,多个摄像头3-1~3-n可以是视角或分辨率不同的摄像头。
在这种情况下,在路面信息收集装置1中,图像获取部11分别从多个摄像头3-1~3-n获取拍摄图像。
拍摄区域信息获取部12针对由多个摄像头3-1~3-n拍摄到的每个拍摄图像获取拍摄区域信息。
另外,摄像头3-1~3-n对拍摄图像及拍摄通知信息赋予能够确定拍摄了该拍摄图像的摄像头3-1~3-n的信息,并输出给路面信息收集装置1。另外,预先知道摄像头3-1~3-n的设置位置及视角等。
拍摄区域信息获取部12根据从哪个摄像头3-1~3-n输出了拍摄通知信息,来确定拍摄了拍摄图像的摄像头3-1~3-n,基于所确定的摄像头3-1~3-n的设置位置及视角等和车辆10的当前位置,获取每个拍摄图像的拍摄区域信息。
另外,该情况下,拍摄区域信息获取部12也可以获取车速信息,并基于所获取到的车速信息和从上次GPS4获取车辆10的当前位置信息后的经过时间来计算车辆10前进的距离,从而获取车辆10的当前位置。
另外,例如,如果是车辆10因等待交通信号灯等而停止的情况,图像获取部11在从摄像头3-1~3-n获取拍摄图像时,向拍摄区域信息获取部12通知获取了拍摄图像的意思,拍摄区域信息获取部12也可以接受该通知,获取拍摄区域信息。
图像管理部13在将从图像获取部11输出的拍摄图像与从拍摄区域信息获取部12输出的拍摄区域信息对应地进行管理时,进行赋予拍摄图像的能够确定摄像头3-1~3-n的信息、和赋予拍摄区域信息的能够确定摄像头3-1~3-n的信息的对照,将经对照后的拍摄图像和拍摄区域信息对应地存储在存储部14中。另外,图像管理部13对存储在存储部14中的拍摄图像标注图像编号。图像管理部13不必管理拍摄图像是由哪个摄像头3-1~3-n拍摄的拍摄图像。
如图10所示,即使路面信息收集装置1与多个摄像头3-1~3-n连接,也与连接到一个摄像头3的情况同样地,路面信息收集装置1在路面劣化检测系统100中,能够实现削减因从车载装置(路面信息收集装置1)向服务器2上传对分析没有用处的拍摄图像而引起的通信频带。
另外,路面信息收集装置1根据基于由多个不同的摄像头3-1~3-n拍摄到的拍摄图像而获取到的拍摄区域信息,来提取拍摄同一区域而得的一个以上的候补图像,从提取出的候补图像中选择发送给服务器2的选择图像。由此,路面信息收集装置1能够从视角或分辨率等不同的多个拍摄图像中选择对服务器2的路面劣化检测处理有用的选择图像。在视角或分辨率等不同的情况下,即使在拍摄图像中拍摄到相同的路面劣化,该拍摄图像中的路面劣化的外观也不同。路面信息收集装置1通过从路面劣化的外观不同的拍摄图像中选择选择图像,从而与从路面劣化的外观相同的拍摄图像中选择选择图像的情况相比,能够选择更有用的选择图像。
图11是用于说明在实施方式1中在路面信息收集装置1与多个摄像头3-1~3-n连接的情况下多个摄像头3-1~3-n拍摄同一区域的示例的图。
在图11中,作为一个示例,在车辆10前方搭载有拍摄车辆10前方的路面的摄像头(设为前方摄像头)3-1,并在车辆10的后方搭载有拍摄车辆10后方的路面的摄像头(设为后方摄像头)3-2,搭载有这两个摄像头,路面信息收集装置1与前方摄像头3-1及后方摄像头3-2连接。
例如,当车辆10向行进方向前进时,摄像头3-1首先拍摄路面上的某个区域(图11中用203表示),车辆10通过该某个区域后,后方摄像头3-2拍摄相同的某个区域。
路面信息收集装置1在作为同一区域摄像的、由前方摄像头3-1拍摄到的拍摄图像、以及由后方摄像头3-2拍摄到的拍摄图像中的任意拍摄图像中都拍摄到路面劣化的情况下,将图像选择用分数高的拍摄图像作为选择图像发送给服务器2。
另外,在以上的实施方式1中,图像管理部13每次提取候补图像时,都将提取出的候补图像输出到图像选择部15,但这只是一个示例。
例如,图像管理部13也可以在提取完全部的候补图像之前,暂时保存提取出的候补图像,在提取了全部的候补图像的时刻,将事先储存的候补图像一次性地输出到图像选择部15。
图12A以及图12B是示出实施方式1所涉及的路面信息收集装置1的硬件结构的一个示例的图。
在实施方式1中,信息获取部11、拍摄区域信息获取部12、图像管理部13、图像选择部15、发送部16的功能由处理电路1001实现。即,路面信息收集装置1具有处理电路1001,该处理电路1001用于进行向检测路面劣化的服务器2发送拍摄路面而得的摄影图像的控制。
处理电路1001可以如图12A所示那样是专用硬件,也可以如图12B所示那样是执行存储于存储器的程序的处理器1004。
在处理电路1001是专用硬件的情况下,处理电路1001例如与单一电路、复合电路、程序化后的处理器、并联程序化后的处理器、ASIC(Application Specific IntegratedCircuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)或它们的组合相对应。
在处理电路是处理器1004时,图像获取部11、拍摄区域信息获取部12、图像管理部13、图像选择部15、发送部16的功能通过软件、固件或软件和固件的组合来实现。软件和固件被表记为程序,存储于存储器1005中。处理器1004通过读取并执行存储在存储器1005中的程序来执行图像获取部11、拍摄区域信息获取部12、图像管理部13、图像选择部15、发送部16的功能。也就是说,路面信息收集装置1包括存储器1005,该存储器1005用于存储程序,在由处理器1004执行该程序时,结果为执行上述图7中的步骤ST1~步骤ST5。另外,存储在存储器1005中的程序使计算机执行图像获取部11、拍摄区域信息获取部12、图像管理部13、图像选择部15、发送部16的处理的程序或方法。此处,存储器1005例如对应于RAM、ROM(ReadOnly Memory:只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-OnlyMemory:电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、或磁盘、软盘、光盘、压缩磁盘、小型磁盘、DVD(Digital Versatile Disc:数字通用盘)等。
另外,关于图像获取部11、拍摄区域信息获取部12、图像管理部13、图像选择部15、发送部16的功能,也可以用专用的硬件实现一部分,用软件或固件实现一部分。例如,图像获取部11和发送部16可以通过作为专用硬件的处理电路1001来实现其功能,拍摄区域信息获取部12、图像管理部13、图像选择部15可以通过处理器1004读取并执行存储在存储器1005中的程序来实现其功能。
另外,存储部14使用存储器1005。另外,这是一个示例,存储部14可以由HDD、SSD(Solid State Drive:固态硬盘)或DVD等构成。
此外,路面信息收集装置1包括服务器或摄像头3等装置、进行有线通信或无线通信的输入接口装置1002和输出接口装置1003。
如上所述,根据实施方式1,路面信息收集装置1构成为包括:图像获取部11,该图像获取部11获取由搭载在车辆10上的拍摄装置(摄像头3)拍摄到的、车辆10周边的路面的拍摄图像;拍摄区域信息获取部12,该拍摄区域信息获取部12获取与在图像获取部11获取到的拍摄图像中所拍摄的路面上的区域相关的拍摄区域信息;图像管理部13,该图像管理部13基于由拍摄区域信息获取部12获取到的拍摄区域信息,提取由图像获取部11获取到的拍摄图像中的、拍摄路面上的某个区域而得的一个以上的候补图像;图像选择部15,该图像选择部15从图像管理部13提取出的候补图像中选择发送给服务器2的选择图像;以及发送部16,该发送部16将图像选择部15选择出的选择图像发送给服务器2。因此,路面信息收集装置1能够实现削减因从车载装置向服务器上传对分析没有用处的拍摄图像而引起的通信频带。
实施方式2
在实施方式1中,路面信息收集装置对候补图像进行“路面劣化检测试行处理”,对推测为拍摄到路面劣化的候补图像计算图像选择用分数,将计算出的图像选择用分数为最大的候补图像选择为选择图像。
在实施方式2中,说明在存在多个在路面信息收集装置中计算出的图像选择用分数为最大的候补图像的情况下,路面信息收集装置考虑摄像头拍摄路面时的拍摄环境而选择选择图像的实施方式。
图13是表示实施方式2所涉及的路面信息收集装置1a的结构例的图。
另外,实施方式2所涉及的路面劣化检测系统100的结构例与实施方式1中使用图1说明的路面劣化检测系统100的结构例相同,因此省略图示。在实施方式2中,由路面信息收集装置1a和服务器2构成路面劣化检测系统100。
实施方式2所涉及的路面信息收集装置1a除了服务器2和摄像头3之外,还与传感器5连接。
路面信息收集装置1a从传感器5获取与摄像头3拍摄路面时的拍摄环境相关的信息(以下称为“环境条件”)。在实施方式2中,摄像头3拍摄路面时的拍摄环境例如设想为摄像头3的振动状况或摄像头3周边的亮度。更具体地说,摄像头3的振动状况是摄像头3的振动的大小。
传感器5搭载在车辆10上,例如设想为能够检测摄像头3的振动状况的振动传感器、或者能够检测摄像头3周边的亮度的照度传感器。
传感器5可以与路面信息收集装置1a直接连接,也可以经由车内网络连接。
另外,在图13中,在路面信息收集装置1a上连接有一个传感器5,但这只是一个示例。路面信息收集装置1a也可以与多个传感器5连接,从多个传感器5获取环境条件。
另外,在实施方式2中,传感器5搭载在路面信息收集装置1a的外部,但这只是一个示例,传感器5也可以搭载于路面信息收集装置1a。
另外,在图13中,在路面信息收集装置1a与一个摄像头3相连接,但这只是一个示例。路面信息收集装置1a也可以与多个摄像头3连接(例如,参照实施方式1所示的图10)。
在实施方式2中,路面信息收集装置1a在存在多个所计算出的图像选择用分数为最大的候补图像的情况下,考虑从传感器5获取到的环境条件,将设想为摄像头3拍摄候补图像时的环境条件更好的候补图像选择为选择图像。
这里,对路面信息收集装置1a将设想为环境条件更好的候补图像选择为选择图像的意义进行说明。
图14是用于说明在实施方式2中路面信息收集装置1a考虑摄像头3拍摄路面时的亮度作为环境条件而从图像选择用分数为最大的多个候补图像中选择选择图像的一个示例的图。
另外,在图14中,为了便于说明,假设路面信息收集装置1a与拍摄车辆10前方的路面的前方摄像头(图14中用3-1表示)和拍摄车辆10后方的路面的后方摄像头(图14中用3-2表示)这两个摄像头连接。
例如,当车辆10向行进方向前进时,前方摄像头首先拍摄路面上的某个区域(图14中用1403表示),车辆10通过该某个区域后,后方摄像头拍摄相同的某个区域。于是,路面信息收集装置1a提取前方摄像头拍摄某个拍摄区域而得的拍摄图像(图14中用1401表示)、和后方摄像头拍摄某个拍摄区域而得的拍摄图像(图14中用1402表示),作为拍摄同一区域而得的候补图像。这里,将在图14中用1401表示的、作为前方摄像头拍摄某个拍摄区域而得的拍摄图像的候补图像称为“图像D”,将在图14中用1402表示的、作为后方摄像头拍摄某个拍摄区域而得的拍摄图像的候补图像称为“图像E”。
这里,对图像D和图像E都拍摄路面劣化,若基于该路面劣化计算图像选择用分数,则图像D的图像选择用分数与图像E的图像选择用分数相等。
但是,设前方摄像头在车辆10不在构造物的阴影中的状况下拍摄了图像D,与此相对,后方摄像头在车辆10在桥或高速公路等构造物的阴影中而从暗处出来从而周围变亮的瞬间拍摄了图像E。
这样一来,在由前方摄像头进行的图像D的拍摄定时的前后,该前方摄像头的周边的亮度稳定,与此相对,在由后方摄像头进行的图像E的摄影定时的前后,该后方摄像头的周边急剧变亮(参照图14的中段的图)。
由此,实际上,在图像E中发生过度曝光,整体上成为白色图像。在图像D中没有发生过度曝光。
在该情况下,图像E有可能由于过度曝光而难以进行路面劣化检测处理中的分析,不能说是对服务器2中的路面劣化检测处理有用的拍摄图像。
因此,路面信息收集装置1a在将摄像头3(前方摄像头及后方摄像头)拍摄了路面时的亮度与之前获取到的亮度进行比较时,将变化更小的候补图像即图像D选择为选择图像。
例如,路面信息收集装置1a通过考虑摄像头3(前方摄像头及后方摄像头)拍摄路面时的亮度,从而能够不将发生过度曝光而不能说是对服务器2的路面劣化检测处理有用的拍摄图像的候补图像选择为选择图像。
图15是用于说明在实施方式2中路面信息收集装置1a考虑摄像头3的振动状况作为环境条件而从图像选择用分数为最大的多个候补图像中选择选择图像的一个示例的图。
另外,在图15中也与图14相同,假设路面信息收集装置1a与前方摄像头和后方摄像头这两个摄像头连接。
例如,当车辆10向行进方向前进时,前方摄像头首先拍摄路面上的某个区域(图15中用1503表示),车辆10通过该某个区域后,后方摄像头拍摄相同的某个区域。即,路面信息收集装置1a提取前方摄像头拍摄某个拍摄区域而得的拍摄图像(图15中用1501表示)、和后方摄像头拍摄某个拍摄区域而得的拍摄图像(图15中用1502表示),作为拍摄同一区域而得的候补图像。这里,将在图15中用1501表示的、作为前方摄像头拍摄某个拍摄区域而得的拍摄图像的候补图像称为“图像F”,将在图15中用1502表示的、作为后方摄像头拍摄某个拍摄区域而得的拍摄图像的候补图像称为“图像G”。
这里,对图像F和图像G都拍摄路面劣化,若基于该路面劣化计算图像选择用分数,则图像F的图像选择用分数与图像G的图像选择用分数相等。
然而,设在由前方摄像头在车辆10在光滑路面的道路上行驶的过程中拍摄了图像F,与此相对,后方摄像头在车辆10在路面的接缝等处越过台阶的瞬间拍摄了图像G。
这样,在由前方摄像头进行的图像F的拍摄定时的前后,该前方摄像头不怎么振动,与此相对,在由后方摄像头进行的图像G的拍摄定时的前后,该后方摄像头大幅振动(参照图15的中段的图)。
由此,实际上,图像G成为发生了抖动的图像。图像F不发生抖动。
在该情况下,图像F有可能由于抖动而难以进行路面劣化检测处理中的分析,不能说是对服务器2中的路面劣化检测处理有用的拍摄图像。
因此,路面信息收集装置1a将摄像头3(前方摄像头及后方摄像头)拍摄路面时的振动更小的候补图像即图像F选择为选择图像。
例如,路面信息收集装置1a通过考虑摄像头3(前方摄像头及后方摄像头)拍摄路面时的摄像头3的振动状况,从而能够不将发生抖动而不能说是对服务器2的路面劣化检测处理有用的拍摄图像的候补图像选择为选择图像。
说明图13所示的、实施方式2所涉及的路面信息收集装置1a的结构。
关于实施方式2所涉及的路面信息收集装置1a的结构,对与实施方式1中使用图2说明的路面信息收集装置1相同的结构标注相同的标号,省略重复的说明。
实施方式2所涉及的路面信息收集装置1a与实施方式1所涉及的路面信息收集装置1的不同之处在于具备环境条件获取部17。
另外,实施方式2所涉及的路面信息收集装置1a中的图像管理部13a和图像选择部15a的具体动作与实施方式1所涉及的路面信息收集装置1中的图像管理部13和图像选择部15的具体动作不同。
环境条件获取部17从传感器5获取与拍摄了拍摄图像的环境相关的环境条件。
当从摄像头3输出拍摄通知信息时,环境条件获取部17从传感器5获取环境条件。
在实施方式2中,摄像头3在拍摄车辆10周边的路面并向图像获取部11输出拍摄图像的定时,对拍摄区域信息获取部12输出拍摄通知信息,并且也向环境条件获取部17输出拍摄通知信息。
环境条件获取部17基于从传感器5获取到的环境条件,将表示拍摄图像的拍摄环境的信息(以下称为“拍摄环境信息”)输出到图像管理部13。
具体而言,例如,在环境条件是表示摄像头3的振动大小的值的情况下,环境条件获取部17将该值作为拍摄环境信息输出到图像管理部13a。另外,例如,在环境条件是表示摄像头3周边的亮度的值的情况下,环境条件获取部17将来自上次获取到的值的变化量作为拍摄环境信息输出到图像管理部13。环境条件获取部17存储从传感器5获取到的最近的环境条件。例如,环境条件获取部17在从传感器5获取到的表示摄像头3周边的亮度的值比上次获取到的值大的情况下用正值表示拍摄环境信息,在从传感器5获取到的表示摄像头3周边的亮度的值比上次获取到的值小的情况下用负值表示拍摄环境信息,在从传感器5获取到的表示摄像头3周边的亮度的值与上次获取到的值相比没有变化的情况下用“0”表示拍摄环境信息。
在实施方式2中,图像管理部13a将从图像获取部11输出的拍摄图像、从拍摄区域信息获取部12输出的拍摄区域信息、和从环境条件获取部17输出的拍摄环境信息对应地进行管理。具体而言,图像管理部13a将拍摄图像、拍摄区域信息和拍摄环境信息对应地存储在存储部14中。
这里,图16是表示在实施方式2中存储在存储部14中的信息的一个示例的图。
如图16所示,图像管理部13a将拍摄图像和拍摄区域信息对应地存储在存储部14中。
在实施方式2中,图像管理部13a存储在存储部14中的信息与实施方式1中图4所示的图像管理部13存储在存储部14中的信息的不同之处仅在于拍摄环境信息与拍摄图像对应这点。
另外,在图16中,将拍摄环境信息表示为环境条件。另外,在图16中,作为一个示例,拍摄环境信息是表示摄像头3周边的亮度的变化量的信息。
另外,图像管理部13a在有来自图像选择部15a的图像输出请求的情况下,从存储部14提取候补图像,并输出到图像选择部15a。
另外,实施方式2的图像选择部15a与实施方式1的图像选择部15同样,以预先设定的周期输出图像输出请求信号。图像管理部13a如果获取该图像输出请求信号,则判定为有来自图像选择部15a的图像输出请求,进行候补图像的提取及输出。
图像管理部13a提取候补图像的具体动作与实施方式1中图像管理部13提取候补图像的具体动作相同,因此省略重复的说明。
但是,在实施方式2中,图像管理部13a在将提取出的候补图像输出到图像选择部15a时,将与该候补图像对应的拍摄环境信息一并输出。
在实施方式2中,图像选择部15a从图像管理部13a提取出的候补图像中选择发送给服务器2的选择图像。
图像选择部15a在存在多个候补图像的情况下,对每个候补图像进行“路面劣化检测试行处理”,计算图像选择用分数。
在存在多个候补图像的情况下的直到图像选择部15a计算出图像选择用分数为止的具体动作与在实施方式1中到图像选择部15计算出图像选择用分数为止的具体动作相同,因此省略详细的说明。
在实施方式2中,图像选择部15a如果计算出图像选择用分数,则检索所计算出的图像选择用分数为最大的候补图像,判定是否存在多个图像选择用分数为最大的候补图像。
图像选择部15a在存在多个图像选择用分数为最大的候补图像的情况下,换言之,在存在多个基于图像选择用分数而能够成为选择图像的图像的情况下,从图像选择用分数为最大的多个候补图像中,将环境条件最好的候补图像选择为选择图像。
具体而言,图像选择部15a基于与候补图像对应的拍摄环境信息,确定环境条件最好的候补图像。例如,图像选择部15a在拍摄环境信息是表示摄像头3周边的亮度的变化量的拍摄环境信息的情况下,将该亮度的变化量最小的候补图像选择为选择图像。另外,例如,图像选择部15a在拍摄环境信息是表示摄像头3的振动大小的值的情况下,将该值最小的候补图像选择为选择图像。
然后,图像选择部15a将选择出的选择图像输出到发送部16。
另一方面,图像选择部15a在不存在多个图像选择用分数为最大的候补图像的情况下,将图像选择用分数为最大的候补图像选择为选择图像。
然后,图像选择部15a将选择出的选择图像输出到发送部16。
图像选择部15a在从图像管理部13a输出的候补图像仅是一个的情况下,对该一个候补图像进行“路面劣化检测试行处理”,其结果,在从候补图像提取了推测劣化区域的情况下,将该一个候补图像选择为选择图像。
图像选择部15a在候补图像仅是一个的情况下选择选择图像的具体动作与实施方式1中图像选择部15在候补图像仅是一个的情况下选择选择图像的具体动作相同。
然后,图像选择部15a将选择出的选择图像输出到发送部16。
对实施方式2所涉及的路面信息收集装置1a的动作进行说明。
图17是用于对实施方式2所涉及的路面信息收集装置1a的动作进行说明的流程图。
图17的步骤ST11~步骤ST12以及步骤ST16的具体动作分别与实施方式1中已说明的图7的步骤ST1~步骤ST2、步骤ST5的具体动作相同,因此省略重复的说明。
环境条件获取部17从传感器5获取与拍摄了拍摄图像的环境相关的环境条件(步骤ST13)。
当从摄像头3输出拍摄通知信息时,环境条件获取部17从传感器5获取环境条件。
环境条件获取部17将基于从传感器5获取到的环境条件的拍摄环境信息输出到图像管理部13。
图像管理部13a将在步骤ST11中从图像获取部11输出的拍摄图像、在步骤ST12中从拍摄区域信息获取部12输出的拍摄区域信息、和在步骤ST13中从环境条件获取部17输出的拍摄环境信息对应地存储在存储部14中。
图像管理部13a在有来自图像选择部15a的图像输出请求的情况下,从存储部14提取候补图像,并输出到图像选择部15a(步骤ST14)。
步骤ST14中的图像管理部13a提取候补图像的具体动作与实施方式1中使用图8说明的图像管理部13提取候补图像的具体动作相同,因此省略重复的说明。
但是,图像管理部13a在将提取出的候补图像输出到图像选择部15a时,将与该候补图像对应的拍摄环境信息一并输出。
图像选择部15a从在步骤ST13中图像管理部13提取出的候补图像中选择发送给服务器2的选择图像(步骤ST15)。
另外,图像选择部15a在进行该步骤ST15的处理之前,以预先设定的周期对图像管理部13a输出图像输出请求信号,从而进行图像输出请求。图像管理部13a接收该图像输出请求信号,进行上述步骤ST14的处理。
图像选择部15a将选择图像输出到发送部16。
图18是用于对图17的步骤ST15中的图像选择部15a的动作进行详细说明的流程图。
当从图像管理部13a输出输出结束信号时,图像选择部15a进行图18的流程图所示的处理。
图18的步骤ST151~步骤ST157、步骤ST161~步骤ST163的具体动作分别与实施方式1中已说明的图9的步骤ST41~步骤ST47、步骤ST49~步骤ST51的具体动作相同,因此省略重复的说明。
对存在多个的全部候补图像进行了“路面劣化检测试行处理”的结果是,如果存在多个的候补图像中的至少一个中检测到路面劣化,对提取了推测劣化区域的候补图像计算图像选择用分数(步骤ST157的“是”的情况),则图像选择部15a检索计算出的图像选择用分数为最大的候补图像,判定图像选择用分数为最大的候补图像是否存在多个(步骤ST158)。
在存在多个图像选择用分数为最大的候补图像的情况下(步骤ST158的“是”的情况),图像选择部15a从图像选择用分数为最大的多个候补图像中将环境条件最好的候补图像选择为选择图像(步骤ST160)。然后,图像选择部15a将选择出的选择图像输出到发送部16。
在不存在多个图像选择用分数为最大的候补图像的情况下(步骤ST158的“否”的情况),图像选择部15a将图像选择用分数为最大的候补图像选择为选择图像(步骤ST159)。然后,图像选择部15a将选择出的选择图像输出到发送部16。
这样,路面信息收集装置1a在存在多个计算出的图像选择用分数为最大的候补图像的情况下,根据环境条件,从该多个候补图像中选择选择图像。因此,路面信息收集装置1a在路面劣化检测系统100中,能够实现因从车载装置(路面信息收集装置1a)向服务器2上传在服务器2的路面劣化检测处理中对分析没有用处的拍摄图像而引起的通信频带的削减。
此外,考虑到环境条件,路面信息收集装置1a能够上传在服务器2中的路面劣化检测处理中推测为更有用的拍摄图像。
在以上的实施方式2中,路面信息收集装置1a从传感器5获取了环境条件,但这只是一个示例。
例如,如图19所示,路面信息收集装置1a也可以与ECU(Engine Control unit:发动机控制单元)6连接,在路面信息收集装置1a中,环境条件获取部17从ECU6获取环境条件。
ECU6可以与路面信息收集装置1a直接连接,也可以经由车内网络连接。
路面信息收集装置1a也可以与多个ECU6连接。
实施方式2所涉及的路面信息收集装置1a的硬件结构与使用图12A和图12B说明的实施方式1所涉及的路面信息收集装置1的硬件结构相同,因此省略图示。
在实施方式2中,信息获取部11、拍摄区域信息获取部12、图像管理部13a、图像选择部15a、发送部16和环境条件获取部17的功能由处理电路1001实现。即,路面信息收集装置1a具有处理电路1001,该处理电路1001用于进行向检测路面劣化的服务器2发送拍摄路面而得的摄影图像的控制。
处理器1001通过读取并执行存储在存储器1005中的程序来执行图像获取部11、拍摄区域信息获取部12、图像管理部13a、图像选择部15a、发送部16及环境条件获取部17的功能。即,路面信息收集装置1a包括存储器1005,该存储器1005用于存储程序,在由处理电路1001执行该程序时,结果为执行上述图17中的步骤ST11~步骤ST16。另外,存储在存储器1005中的程序使计算机执行图像获取部11、拍摄区域信息获取部12、图像管理部13a、图像选择部15a、发送部16及环境条件获取部17的处理的程序或方法。
另外,存储部14使用存储器1005。另外,这是一个示例,存储部14可以由HDD、SSD(Solid State Drive:固态硬盘)或DVD等构成。
此外,路面信息收集装置1a包括服务器2、摄像头3、传感器5、ECU6等装置、及进行有线通信或无线通信的输入接口装置1002和输出接口装置1003。
如上所述,根据实施方式2,路面信息收集装置1a构成为包括环境条件获取部17,该环境条件获取部17获取与拍摄到拍摄图像的拍摄环境相关的环境条件,图像选择部15a在存在多个基于计算出的图像选择用分数而能够成为选择图像的候补图像的情况下,基于环境条件获取部17获取到的环境条件,从候补图像中选择选择图像。因此,路面信息收集装置1a能够实现削减因从车载装置向服务器2上传对分析没有用处的拍摄图像而引起的通信频带。此外,考虑到环境条件,路面信息收集装置1a能够上传在服务器2中的路面劣化检测处理中推测为更有用的拍摄图像。
此外,能够自由组合各实施方式,或者将各实施方式的任意构成要素进行变形,或者也可以在各实施方式中省略任意的构成要素。
工业上的实用性
本公开的路面信息收集装置能够实现削减因从车载装置向服务器上传对分析没有用处的拍摄图像而引起的通信频带。
标号说明
1、1a路面信息收集装置
2服务器
3摄像头
4GPS
5传感器
6ECU
10车辆
100路面劣化检测系统
11图像获取部
12拍摄区域信息获取部
13、13a图像管理部
14存储部
15、15a图像选择部
16发送部
17环境条件获取部
1001 处理电路
1002 输入接口装置
1003 输出接口装置
1004 处理器
1005 存储器。

Claims (8)

1.一种路面信息收集装置,该路面信息收集装置搭载在车辆上,向检测路面劣化的服务器发送拍摄路面而得的拍摄图像,所述路面信息收集装置的特征在于,包括:
图像获取部,该图像获取部获取由搭载在所述车辆上的拍摄装置拍摄的、所述车辆周边的所述路面的所述拍摄图像;
拍摄区域信息获取部,该拍摄区域信息获取部获取与在所述图像获取部获取到的所述拍摄图像中拍摄到的所述路面上的区域相关的拍摄区域信息;
图像管理部,该图像管理部基于所述拍摄区域信息获取部获取到的所述拍摄区域信息,提取所述图像获取部获取到的所述拍摄图像中对所述路面上的某个区域进行拍摄而得的一个以上的候补图像;
图像选择部,该图像选择部从所述图像管理部提取出的所述候补图像中,选择向所述服务器发送的选择图像;以及
发送部,该发送部将所述图像选择部选择出的所述选择图像发送到所述服务器。
2.如权利要求1所述的路面信息收集装置,其特征在于,
所述图像选择部对于所述图像管理部提取出的所述候补图像,进行对通过该候补图像而拍摄到的所述路面是否存在劣化进行检测的检测处理,基于所述检测处理的结果选择所述选择图像。
3.如权利要求1所述的路面信息收集装置,其特征在于,
所述图像选择部在存在多个所述候补图像的情况下,针对每个所述候补图像计算图像选择用分数,基于计算出的所述图像选择用分数选择所述选择图像。
4.如权利要求1所述的路面信息收集装置,其特征在于,
所述图像获取部获取由多个不同的所述拍摄装置拍摄到的所述拍摄图像。
5.如权利要求3所述的路面信息收集装置,其特征在于,
包括环境条件获取部,该环境条件获取部获取与拍摄到所述拍摄图像的拍摄环境相关的环境条件,
所述图像选择部在存在多个基于计算出的所述图像选择用分数而能够成为所述选择图像的所述候补图像的情况下,基于所述环境条件获取部获取到的所述环境条件,从所述候补图像中选择所述选择图像。
6.如权利要求5所述的路面信息收集装置,其特征在于,
所述拍摄环境是所述拍摄装置的振动状况或所述拍摄装置周边的亮度。
7.一种路面劣化检测系统,其特征在于,包括:
如权利要求1至6中的任一项所述的路面信息收集装置;以及
分析所述发送部发送的所述选择图像来检测所述路面的劣化的所述服务器。
8.一种路面信息收集方法,该路面信息收集方法利用搭载在车辆上且向检测路面劣化的服务器发送拍摄路面而得的拍摄图像的路面信息收集装置来执行,所述路面信息收集方法的特征在于,包括:
图像获取部获取由搭载在所述车辆上的拍摄装置拍摄到的、所述车辆周边的所述路面的所述拍摄图像的步骤;
拍摄区域信息获取部获取与在所述图像获取部获取到的所述拍摄图像中拍摄到的所述路面上的区域相关的拍摄区域信息的步骤;
图像管理部基于所述拍摄区域信息获取部获取到的所述拍摄区域信息,提取所述图像获取部获取到的所述拍摄图像中对所述路面上的某个区域进行摄影而得的一个以上的候补图像的步骤;
图像选择部从所述图像管理部提取出的所述候补图像中,选择向所述服务器发送的选择图像的步骤;以及
发送部将所述图像选择部选择出的所述选择图像发送到所述服务器的步骤。
CN202180096637.3A 2021-04-07 2021-04-07 路面信息收集装置、路面劣化检测系统及路面信息收集方法 Pending CN117098893A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/014687 WO2022215182A1 (ja) 2021-04-07 2021-04-07 路面情報収集装置、路面劣化検知システム、および、路面情報収集方法

Publications (1)

Publication Number Publication Date
CN117098893A true CN117098893A (zh) 2023-11-21

Family

ID=83545317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180096637.3A Pending CN117098893A (zh) 2021-04-07 2021-04-07 路面信息收集装置、路面劣化检测系统及路面信息收集方法

Country Status (5)

Country Link
US (1) US20240127604A1 (zh)
JP (1) JP7433517B2 (zh)
CN (1) CN117098893A (zh)
DE (1) DE112021007464T5 (zh)
WO (1) WO2022215182A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5776545B2 (ja) 2011-12-28 2015-09-09 富士通株式会社 路面調査プログラム及び路面調査装置
JP6631190B2 (ja) * 2015-11-18 2020-01-15 カシオ計算機株式会社 画像評価装置、画像評価方法及びプログラム
WO2017145928A1 (ja) * 2016-02-25 2017-08-31 株式会社村田製作所 検知装置および路面情報システム、並びに車両
JP6713368B2 (ja) 2016-07-29 2020-06-24 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム
JP6902774B2 (ja) * 2017-01-25 2021-07-14 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム
JP7128723B2 (ja) * 2018-11-12 2022-08-31 本田技研工業株式会社 画像管理装置、路面情報管理システム、車両、プログラム、及び、画像管理方法
JP7358762B2 (ja) * 2019-04-02 2023-10-11 トヨタ自動車株式会社 道路異常検知装置、道路異常検知方法および道路異常検知プログラム

Also Published As

Publication number Publication date
JPWO2022215182A1 (zh) 2022-10-13
WO2022215182A1 (ja) 2022-10-13
DE112021007464T5 (de) 2024-02-01
JP7433517B2 (ja) 2024-02-19
US20240127604A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
JP7218535B2 (ja) 交通違反車両識別システム及びサーバ
JP4603970B2 (ja) 道路区画線検出装置
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
WO2017134982A1 (ja) 撮像装置
WO2012141053A1 (ja) 画像処理装置
KR101038650B1 (ko) 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템
CN111340710B (zh) 一种基于图像拼接获取车辆信息的方法及系统
JP6723079B2 (ja) 物体距離検出装置
JP6970568B2 (ja) 車両の周辺監視装置と周辺監視方法
WO2006123754A1 (ja) 車両用画像処理装置
JP4882577B2 (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
US10576823B2 (en) Image display system
CN117098893A (zh) 路面信息收集装置、路面劣化检测系统及路面信息收集方法
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP4797441B2 (ja) 車両用画像処理装置
US11206303B2 (en) Image sharing assistance device, image sharing system, and image sharing assistance method
JP2018151999A (ja) 物体距離検出装置
JP5148573B2 (ja) 画像処理システム、画像処理方法およびプログラム
JP2001357396A (ja) 画像処理装置および画像認識装置
JP6922447B2 (ja) 情報処理システム、サーバおよび通信方法
JP5911623B1 (ja) 道路のジョイント部の検出装置及び検出方法
KR101697211B1 (ko) 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템
JP6443144B2 (ja) 情報出力装置、情報出力プログラム及び情報出力方法、並びに情報出力システム
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination