CN113052791A - 图像处理系统、装置、方法以及非暂时性存储介质 - Google Patents

图像处理系统、装置、方法以及非暂时性存储介质 Download PDF

Info

Publication number
CN113052791A
CN113052791A CN202011283840.5A CN202011283840A CN113052791A CN 113052791 A CN113052791 A CN 113052791A CN 202011283840 A CN202011283840 A CN 202011283840A CN 113052791 A CN113052791 A CN 113052791A
Authority
CN
China
Prior art keywords
obstacle
image
captured image
subsequent
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011283840.5A
Other languages
English (en)
Inventor
尾首亮太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113052791A publication Critical patent/CN113052791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供图像处理系统、图像处理装置、图像处理方法及非暂时性存储介质。图像处理系统具备：可能性判断部，判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；发送部，从所述车辆发送由所述可能性判定部判定为有可能包含有障碍物的所述拍摄图像所涉及的图像信息；接收部，从多个所述车辆接收所述图像信息；处理部，进行确定所述图像信息所涉及的拍摄图像中所包含的障碍物的图像处理；重复判定部，判定在所述接收部接收到的后续图像信息所涉及的后续拍摄图像中是否包含在先前图像信息所涉及的先前拍摄图像中确定的障碍物，所述处理部对由所述重复判定部判定为不包含所述确定的障碍物的后续的拍摄图像执行所述图像处理。

Description

图像处理系统、装置、方法以及非暂时性存储介质
技术领域
本公开涉及进行图像的处理的图像处理系统、图像处理装置、图像处理方法以及程序存储介质。
背景技术
在日本特开2017-174244号公报中公开了一种信息处理装置，其目的在于向作为基于外界识别单元的识别结果被控制的网联汽车(connected car)的车辆提供适当的信息。
在此，在日本特开2017-174244号公报的信息处理装置中执行对由车辆拍摄到的拍摄图像的图像处理，以确定道路上障碍物的情况下，如果在该信息处理装置中对从车辆侧发送来的所有拍摄图像进行图像处理，则信息处理装置侧的负荷变高。
发明内容
本公开提供一种在基于车辆中的拍摄图像来收集障碍物所涉及的信息的情况下，能够降低进行图像处理的装置的处理负荷的图像处理系统、图像处理装置、图像处理方法以及程序存储介质。
本公开的第一方式是一种图像处理系统，具备：可能性判断部，判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；发送部，发送由所述可能性判定部判定为存在障碍物的所述拍摄图像所涉及的图像信息；接收部，从多个所述车辆接收所述图像信息；处理部，进行确定所述图像信息所涉及的拍摄图像中所包含的障碍物的图像处理；及重复判定部，判定在所述接收部接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中已经确定的障碍物，所述处理部对由所述重复判定部判定为不包含所述已经确定的障碍物的后续的拍摄图像执行所述图像处理。
本方式的图像处理系统在发送侧的装置中，可能性判定部判定有无可能在拍摄图像中包含有障碍物，在接收侧的装置中，处理部进行确定拍摄图像中所包含的障碍物的图像处理。而且，在接收侧的装置中，重复判定部判定在接收到的新的(后续的)拍摄图像中是否包含在先前的拍摄图像中已经确定的障碍物，并且处理部对被判定为不包含已经确定的障碍物的新的拍摄图像执行图像处理。
从发送侧的装置向接收侧的装置发送被判定为存在障碍物的拍摄图像所涉及的图像信息以及被赋予给该拍摄图像的位置信息。因此，根据该图像处理系统，能够降低图像信息相对于进行图像处理的接收侧的装置的发送量，由此能够降低该装置中的处理负荷。另外，根据该图像处理系统，能够抑制尽管确定了障碍物，还反复执行以相同的障碍物为对象的图像处理的情况，因此能够降低进行图像处理的接收侧的装置中的处理负荷。
在第一方式中，也可以采用如下方式，即，所述接收部将被赋予给拍摄图像的位置信息与图像信息一起进行接收，所述重复判定部至少判定在与所述先前的拍摄图像相同的位置处的所述后续的拍摄图像中是否包含所述确定的障碍物。
上述结构中，在接收侧的装置中，重复判定部将被赋予给拍摄图像的位置信息纳入考虑来执行是否包含所确定的障碍物的判定。根据该图像处理系统，能够使确定障碍物的精度提高，因此能够降低接收侧的装置中的处理负荷。
在第一方式中，也可以采用如下方式，即，所述接收部接收其他车辆的其他位置信息，所述图像处理系统具备：接近判定部，判定具有所述其他位置信息的所述其他车辆是否接近与所述位置信息对应的已经确定的所述障碍物；及通知部，在所述接近判定部判定为接近已经确定的所述障碍物的情况下，向所述其他车辆通知危险信息。
在上述结构中，接收部接收拍摄图像的位置信息以及其他车辆的其他位置信息，接近判定部判定其他车辆是否已接近障碍物。并且，在判定为其他车辆接近障碍物的情况下，通知部向其他车辆通知危险信息。根据该图像处理系统，能够基于障碍物的位置信息对其他车辆唤起对道路上的障碍物的注意。
本公开的第二方式为一种图像处理方法，包括如下步骤：判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；将被判定为有可能包含有障碍物的所述拍摄图像所涉及的图像信息从所述车辆发送到服务器；在服务器中，从多个车辆接收所述图像信息；判定在接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物；及在判定为不包含所述确定的障碍物的情况下，对所述后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
本公开的第三方式是一种非暂时性存储介质，存储有使计算机执行图像处理的程序，所述图像处理包括如下步骤：判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；将被判定为有可能包含有障碍物的所述拍摄图像所涉及的图像信息从所述车辆发送到服务器；在服务器中，从多个车辆接收所述图像信息；判定在接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物；及在判定为不包含所述确定的障碍物的情况下，对所述后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
本公开的第四方式是一种图像处理装置，具备：接收部，从多个车辆接收被判定为存在障碍物的所述车辆的拍摄图像所涉及的图像信息；处理部，进行确定所述图像信息所涉及的拍摄图像中所包含的障碍物的图像处理；及重复判定部，判定在所述接收部接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中已经确定的障碍物，所述处理部对由所述重复判定部判定为不包含已经确定的所述障碍物的后续的拍摄图像执行所述图像处理。
在第四方式的图像处理装置中，接收部从多个车辆接收被判定为存在障碍物的车辆的拍摄图像所涉及的图像信息。另外，在该图像处理装置中，重复判定部判定在接收到的新的(后续的)拍摄图像中是否包含已经确定的障碍物，处理部对被判定为不包含在先前的拍摄图像中已经确定的障碍物的新的拍摄图像执行图像处理来确定障碍物。因此，根据该图像处理装置，能够抑制尽管确定了障碍物，还反复执行以相同的障碍物为对象的图像处理的情况，因此能够降低该装置中的处理负荷。
本公开的第五方式为一种图像处理方法，包括如下步骤：从多个车辆接收被判定为存在障碍物的所述车辆的拍摄图像所涉及的图像信息；进行重复判定，在该重复判定中，判定在所述接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中已经确定的障碍物；及对通过所述重复判定而判定为不包含已经确定的所述障碍物的后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
本公开的第六方式是一种非暂时性存储介质，存储有使计算机执行图像处理的程序，所述图像处理包括如下步骤：从多个车辆接收被判定为存在障碍物的所述车辆的拍摄图像所涉及的图像信息；进行重复判定，在该重复判定中，判定在所述接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中已经确定的障碍物；及对通过所述重复判定而判定为不包含已经确定的所述障碍物的后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
在第五及第六方式中，执行以下的处理。即，接收被判定为存在障碍物的车辆的拍摄图像所涉及的图像信息。另外，进行判定在接收到的新的(后续的)拍摄图像中是否包含在先前的拍摄图像中已经确定的障碍物的重复判定，并对被判定为不包含已经确定的障碍物的新的拍摄图像执行图像处理来确定障碍物。因此，根据第五及第六方式，在进行图像处理的装置中，能够抑制尽管确定了障碍物，还反复执行以相同的障碍物为对象的图像处理的情况，因此能够降低该装置中的处理负荷。
根据本公开，在基于车辆中的拍摄图像来收集障碍物所涉及的信息的情况下，能够降低进行图像处理的装置的处理负荷。
附图说明
图1是表示实施方式所涉及的图像处理系统的概略结构的图。
图2是对通过障碍物的通过车辆进行说明的图。
图3是表示实施方式的车辆的硬件结构的框图。
图4是表示实施方式的控制装置中的CPU的功能结构的例子的框图。
图5是表示实施方式的中心服务器的硬件结构的框图。
图6的(A)是表示存储在实施方式的中心服务器的存储器中的数据的例子的框图。
图6的(B)是表示实施方式的中心服务器的CPU的功能结构的例子的框图。
图7是表示在实施方式的控制装置中执行的推定处理的流程的流程图。
图8是表示在实施方式的中心服务器中执行的信息化处理的流程的流程图。
图9是表示在实施方式的中心服务器中执行的通知处理的流程的流程图。
图10是对执行通知处理的状态进行说明的图。
具体实施方式
如图1所示，本实施方式的图像处理系统10包括多个车辆12和作为图像处理装置的中心服务器30。在各车辆12搭载有控制装置20。
如图2所示，车辆12具有在行驶路径T上行驶的通过车辆12A和在通过车辆12A的周边行驶的周边车辆12B(参照图10)。这里，通过车辆12A是在确定障碍物O为何物之前通过障碍物O的车辆12，周边车辆12B是在确定障碍物O之后接近障碍物O的车辆12。
在本实施方式中，通过车辆12A相当于本公开的“车辆”，周边车辆12B相当于本公开的“其他车辆”。另外，周边车辆12B并不限于在行驶路径T上行驶于与通过车辆12A相同的车道的后续车辆，还包括在相对车道上行驶的相对车辆、在与行驶路径T连接的其他行驶路径上行驶的车辆。另外，障碍物O相当于本公开的“已经确定的障碍物”。
各车辆12的控制装置20与中心服务器30经由网络N1相互连接。
另外，在图1的图像处理系统10中，相对于一台中心服务器30连接有5台车辆12，但并不局限于此。即，相对于一台中心服务器30可以连接一台或多台车辆12(详细而言为控制装置20)。
(车辆)
如图3所示，本实施方式所涉及的车辆12包括控制装置20、作为拍摄装置的照相机22、GPS(Global Positioning System：全球定位系统)接收器24、报知装置26。
控制装置20包括CPU(Central Processing Unit：中央处理单元)20A、ROM(ReadOnly Memory：只读存储器)20B、RAM(Random Access Memory：随机存取存储器)20C、通信I/F(Inter Face：接口)20E以及输入输出I/F(Inter Face：接口)20F。CPU20A、ROM20B、RAM20C、通信I/F20E以及输入输出I/F20F经由总线20G彼此以能够通信的方式连接。
CPU20A是中央运算处理单元，执行各种程序，或者控制各部分。即，CPU20A从ROM20B读出程序，并将RAM20C作为作业区域来执行程序。
ROM20B存储有各种程序和各种数据。在本实施方式的ROM20B中存储有控制程序200和基准图像数据210。控制程序200是用于进行后述的推定处理的程序。在基准图像数据210存储有已知的障碍物所涉及的多个图像信息。另外，基准图像数据210也可以存储于与控制装置20连接的SD(Secure Digital：安全数字)卡、USB(Universal Serial Bus：通用串行总线)存储器等。
RAM20C作为作业区域而暂时存储程序或数据。
通信I/F20E是为了与中心服务器30进行通信而用于与网络N1连接的接口。与中心服务器30的通信例如使用5G、LTE、Wi-Fi(注册商标)等通信标准。
输入输出I/F20F是用于与搭载于车辆12的照相机22、GPS接收器24以及报知装置26进行通信的接口。
照相机22例如固定于车辆12的前窗的上部，对车辆12的前方进行拍摄。另外，照相机22也可以不仅对车辆12的前方进行拍摄，而且还对车辆12的后方或车厢内进行拍摄。
GPS接收器24从多个GPS卫星接收GPS信号来对车辆12的当前位置进行定位。
报知装置26是设置在车辆12的车厢内并向驾驶者报知障碍物O所涉及的信息的装置。报知装置26既可以包含于仪表单元或汽车导航系统，也可以是独立的装置。
图4是表示控制装置20的功能结构的例子的框图。各功能结构通过由CPU20A读出存储在ROM20B中的控制程序200并执行该程序200来实现。本实施方式的CPU20A通过控制程序200的执行而作为取得部250、可能性判定部255、发送部260、通知受理部270以及报知部280发挥作用。
取得部250具有取得在照相机22中拍摄到的拍摄图像所涉及的图像信息、GPS接收器24检测出的车辆12的位置信息、以及当前时刻等的功能。取得部250在照相机22拍摄了行驶路径T上的障碍物的情况下，或者以由驾驶者作出的拍摄指示(例如，拍摄用的开关的操作)为契机来取得图像信息、位置信息以及当前时刻等信息。另外，在本实施方式中，通过车辆12A的位置信息相当于本公开的“位置信息”，周边车辆12B的位置信息相当于本公开的“其他位置信息”。另外，在本实施方式中取得的拍摄图像既可以是动态图像也可以是静态图像。
可能性判定部255具有判定有无可能在由设置于车辆12的照相机22拍摄到的拍摄图像中包含有障碍物的功能。可能性判定部255针对存储于基准图像数据210的已知的每个障碍物，计算由照相机22拍摄到的拍摄图像的相似度。这里，相似度的计算使用公知的方法。例如，可以分别提取拍摄图像的特征点和已知的障碍物的特征点，并根据两者的特征点的一致程度来计算相似度。然后，在相似度超过了规定的阈值的情况下，可能性判定部255判定为有可能在拍摄图像中包含有障碍物。
发送部260具有将在取得部250中所取得的图像信息发送到中心服务器30的功能。具体而言，发送部260将由可能性判定部255判定为有可能在拍摄图像中包含有障碍物的拍摄图像所涉及的图像信息发送到中心服务器30。在此，与图像信息对应的附属信息被赋予给在发送部260中发送的图像信息。该附属信息包含拍摄到拍摄图像时的车辆12的位置信息、行驶的行驶路径T的信息、行驶方向、行驶时刻。
通知受理部270具有受理从中心服务器30发送来的后述的危险信息的功能。在车辆12为周边车辆12B的情况下，当接近基于在车辆12A中拍摄到的拍摄图像而被确定的障碍物O时，从中心服务器30通知危险信息。
报知部280具有基于从中心服务器30受理的危险信息，向驾驶者报知正在接近障碍物O的情况的功能。报知部280在受理了危险信息的定时使报知装置26工作。
(中心服务器)
如图5所示，中心服务器30包括CPU30A、ROM30B、RAM30C、存储器30D以及通信I/F30E。CPU30A、ROM30B、RAM30C、存储器30D及通信I/F30E经由总线30G彼此以能够通信的方式连接。CPU30A、ROM30B、RAM30C以及通信I/F30E的功能与上述的控制装置20的CPU20A、ROM20B、RAM20C以及通信I/F20E相同。
存储器30D由HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)构成，存储有各种程序和各种数据。
CPU30A从存储器30D读出程序，并将RAM30C作为作业区域来执行程序。
在本实施方式的中心服务器30中，如图6的(A)所示，在存储器30D存储有处理程序320、学习完毕模型330以及障碍物数据库340。处理程序320是用于进行后述的信息化处理及通知处理的程序。CPU30A通过执行处理程序320，作为图6的(B)所示的接收部360、图像处理部362、重复判定部363、接近判定部364以及通知部366发挥作用。
接收部360具有接收从一个或多个控制装置20发送来的被赋予了附属信息的图像信息的功能。
作为处理部的图像处理部362具有对拍摄图像进行确定障碍物的图像处理的功能。在图像处理中，通过向学习完毕模型330输入图像信息来执行，该学习完毕模型330预先将已知的障碍物作为教师数据进行了机器学习。在作为图像处理的结果，能够确定障碍物O为何物的情况下，障碍物O的形状、大小的信息、以及位置信息等作为障碍物信息被存储于障碍物数据库340。
重复判定部363具有判定在接收部360中接收到的图像信息所涉及的拍摄图像中是否包含所确定的障碍物O的功能。具体而言，重复判定部363从接收到的新的图像信息中提取附属信息，并检索在该新的图像信息所涉及的新的拍摄图像中是否不包含与障碍物O相同的位置信息、相同的行驶路径T、近似的行驶时刻的信息。另外，新的图像信息相当于本公开的“后续的图像信息”，新的拍摄图像相当于本公开的“后续的拍摄图像”。
然后，检索的结果，重复判定部363将对存在于与障碍物O相同的位置、相同的行驶路径T、相同的时间段的障碍物进行拍摄所得的拍摄图像判定为包含障碍物O的重复图像。对该重复图像不执行图像处理部362中的图像处理。另外，重复判定部363不将与重复图像对应的图像信息存储于存储器30D，而是从RAM30B中删除。另外，作为成为上述判定的条件的“时间段”，可以设定早晨傍晚等以几个小时为单位的宽度，也可以设定几十分钟左右的时间的宽度。在时间段不一致的情况下，即使是具有与障碍物O相同的位置信息的拍摄图像，也再次执行图像处理。
接近判定部364具有判定周边车辆12B是否接近障碍物O的功能。接近判定部364在根据被赋予给障碍物O的位置信息而在规定距离内(例如，距离R的范围内，参照图10)存在周边车辆12B的情况下，判定为接近障碍物O。
通知部366具有向周边车辆12B通知危险信息的功能。在由接近判定部364判定为接近障碍物O的情况下，本实施方式的通知部366向周边车辆12B通知危险信息。即，中心服务器30向周边车辆12B的控制装置20发送危险信息。
(控制的流程)
利用图7～图9的流程图对在本实施方式的图像处理系统10中执行的处理的流程的例子进行说明。
首先，在障碍物O落下到行驶路径T的情况下避开障碍物O等而通过的通过车辆12A(参照图2)的控制装置20中执行的推定处理的流程如下所述。
在图7的步骤S100中，CPU20A从照相机22取得拍摄图像。
在步骤S101中，CPU20A判定在拍摄图像中是否包含有障碍物的可能性。具体而言，CPU20A针对存储于基准图像数据210的已知的每个障碍物，计算由照相机22拍摄到的拍摄图像的相似度。然后，在相似度超过了规定的阈值的情况下，CPU20A判定为有可能在拍摄图像中包含有障碍物。另外，在该时间点并不一定要确定被认为有可能的障碍物为何物。
在步骤S102中，CPU20A判定是否有可能在拍摄图像中包含有障碍物。CPU20A在判定为有可能在拍摄图像中包含有障碍物的情况下，进入步骤S103。另一方面，CPU20A在判定为没有可能在拍摄图像中包含有障碍物的情况下，结束推定处理。
在步骤S103中，CPU20A对拍摄图像赋予作为附属信息的车辆12(通过车辆12A)的位置信息、行驶的行驶路径T的信息、行驶方向、行驶时刻。
在步骤S104中，CPU20A向中心服务器30发送被赋予了附属信息的图像信息。然后，推定处理结束。
接着，在中心服务器30中执行的信息化处理的流程如下所述。
在图8的步骤S200中，CPU30A判定是否从控制装置20接收到图像信息。CPU30A在判定为接收到图像信息的情况下，进入步骤S201。另一方面，CPU30A在判定为没有接收到图像信息的情况下，结束信息化处理。
在步骤S201中，CPU30A判定在接收到的图像信息中是否存在与已经确定的障碍物O相同的障碍物的信息。具体而言，CPU30A判定接收到的图像信息是否相当于对存在于与已经确定的障碍物O相同的位置、相同的行驶路径T、相同的时间段的障碍物进行拍摄所得的重复图像。CPU30A在判定为在接收到的图像信息中存在与障碍物O相同的障碍物的信息的情况下，结束信息化处理。另一方面，CPU30A在判定为在接收到的图像信息中没有与障碍物O相同的障碍物的信息的情况下，进入步骤S202。
在步骤S202中，CPU30A对接收到的图像信息执行图像处理。即，CPU30A向学习完毕模型330输入图像信息，尝试确定新的障碍物O。
在步骤S203中，CPU30A判定是否确定了新的障碍物O。CPU30A在判定为确定了新的障碍物O的情况下，进入步骤S204。另一方面，CPU30A在判定为没有确定新的障碍物O的情况下，结束信息化处理。
在步骤S204中，CPU30A保存障碍物信息。具体而言，CPU30A将新确定的障碍物O的种类、大小所涉及的信息以及位置信息作为障碍物信息存储于障碍物数据库340。然后，信息化处理结束。
另外，在信息化处理中，在一定时间内没有接收到与存储在障碍物数据库中的障碍物O中的任一个相同的障碍物的信息的情况下，视为该障碍物O已经从行驶路径T上撤去，从而可以从障碍物数据库340中删除障碍物O所涉及的信息。
另一方面，在确定了障碍物O之后，在中心服务器30中执行的通知处理的流程如下所述。
在图9的步骤S310中，CPU30A取得周边车辆12B的位置信息。
在步骤S311中，CPU30A基于障碍物数据库的障碍物信息，判定周边车辆12B中的任一个是否接近障碍物O。例如，如图10所示，在判定为在行驶路径T上存在方形材料、瓦楞纸箱、货柜箱等有可能对车辆12的行驶产生妨碍的障碍物O的情况下，判定是否存在进入到距该障碍物O在距离R的范围内的周边车辆12B。CPU30A在判定为周边车辆12B接近存储在障碍物数据库中的障碍物O的情况下，进入图9的步骤S312。另一方面，CPU30A在判定为周边车辆12B未接近障碍物O的情况下，结束通知处理。
在步骤S312中，CPU30A向接近障碍物O的周边车辆12B通知障碍物信息作为危险信息。然后，通知处理结束。
通过以上的通知处理，在接收到障碍物信息的周边车辆12B中，向驾驶者进行对障碍物O的注意唤起。
另外，周边车辆12B的控制装置20在虽然接收到障碍物信息，但无法检测到行驶路径T上的障碍物O的情况下，也可以对中心服务器30通知不存在障碍物O的情况。由此，在中心服务器30中，能够从障碍物数据库340中删除被撤除等的障碍物O所涉及的信息。
(总结)
本实施方式的图像处理系统10由搭载于车辆12的控制装置20和中心服务器30的组合构成。在控制装置20中，可能性判定部255判定有无可能在拍摄图像中包含有障碍物，并向中心服务器30发送判定为存在障碍物的拍摄图像所涉及的图像信息。另一方面，在中心服务器30中，图像处理部362执行图像处理来确定拍摄图像中所包含的障碍物。
如上所述，根据本实施方式的图像处理系统10，不向进行图像处理的中心服务器30发送被判定为没有障碍物的拍摄图像所涉及的图像信息。即，由于不是从所有的通过车辆12A向中心服务器30发送所有的拍摄图像所涉及的图像信息，所以在中心服务器30中，能够抑制处理的延迟，能够降低处理负荷。
另外，在本实施方式中，在中心服务器30中，重复判定部363判定在接收到的新的拍摄图像中是否包含所确定的障碍物O，图像处理部362对被判定为不包含所确定的障碍物O的拍摄图像执行图像处理。因此，根据本实施方式，能够抑制尽管确定了障碍物O，还反复执行以相同的障碍物为对象的图像处理的情况，因此能够降低中心服务器30中的处理负荷。
另外，在本实施方式中，在中心服务器30中，重复判定部363将被赋予给拍摄图像的附属信息纳入考虑来执行是否包含所确定的障碍物O的判定。根据本实施方式，能够使确定障碍物的精度提高，因此能够降低中心服务器30中的处理负荷。
另外，在通过中心服务器30的图像处理而最先确定的障碍物O的确定精度差的情况下，尽管在接收到的新的拍摄图像中包含有已经确定的障碍物O，重复判定部363仍有可能判定为不包含。在该情况下，再次执行图像处理来再次确定障碍物O。因此，通过利用分辨率高的拍摄图像再次执行图像处理，能够提高障碍物O的位置、形状、大小等所涉及的确定的精度。
另外，在本实施方式的图像处理系统10中，在中心服务器30中接收部360接收周边车辆12B的位置信息，接近判定部364基于障碍物数据库的障碍物信息来判定周边车辆12B是否接近障碍物O。然后，在判定为周边车辆12B接近存储在障碍物数据库中的障碍物O的情况下，通知部366向周边车辆12B通知危险信息。根据本实施方式，能够基于存储在障碍物数据库中的障碍物O的位置信息来对周边车辆12B的驾驶者唤起对行驶路径T上的障碍物O的注意。
[备注]
本实施方式的图像处理系统10由搭载于车辆12的控制装置20和中心服务器30的组合构成，但并不局限于此。例如，也可以在两者之间设置对控制装置20与中心服务器30之间的通信进行中继的边缘服务器。在该情况下，边缘服务器针对车辆12行驶的多个区域中的每一个区域而设置。
另外，在设置了边缘服务器的情况下，也可以在搭载于车辆12的控制装置20中判定有无可能在拍摄图像中包含有障碍物，在边缘服务器中判定在接收到的新的拍摄图像中是否包含所确定的障碍物O。即，能够向边缘服务器赋予重复判定部363的功能。
另外，在本实施方式中，在搭载于各车辆12的控制装置20中，判定有无可能在拍摄图像中包含有障碍物。与此相对，在如上述那样设置了边缘服务器的情况下，也可以从控制装置20向边缘服务器发送被赋予了附属信息的图像信息，在接收到该图像信息的边缘服务器中判定有无可能在拍摄图像中包含有障碍物。在该情况下，不仅减轻了中心服务器30中的处理负担，还减轻了控制装置20中的处理负担。
另外，也可以由CPU以外的各种处理器执行在上述实施方式中由CPU20A、30A读入软件(程序)而执行的各种处理。作为该情况下的处理器，可例示出FPGA(Field-Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的PLD(Programmable Logic Device：可编程逻辑器件)、ASIC(Application SpecificIntegrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。另外，也可以利用上述各种处理器中的一个来执行上述的处理，还可以利用相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、以及CPU与FPGA的组合等)来执行上述的处理。另外，更具体而言，上述各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路。
另外，在上述实施方式中，以各程序被预先存储(安装)于计算机可读的非暂时性记录介质的方式进行了说明。例如，在控制装置20中，控制程序200被预先存储于ROM20B。另外，例如，中心服务器30中的处理程序320被预先存储于存储器30D。然而，并不限于此，各程序也可以以记录于CD-ROM(Compact Disk Read Only Memory：光盘只读存储器)、DVD-ROM(Digital Versatile Disk Read Only Memory：数字通用盘只读存储器)和USB(UniversalSerial Bus：通用串行总线)存储器等非暂时性记录介质的形式提供。另外，程序也可以是经由网络从外部装置下载的形式。
在上述实施方式中所说明的处理的流程也是一例，可以在不脱离主旨的范围内删除不必要的步骤、添加新的步骤、或调换处理顺序。

Claims (8)

1.一种图像处理系统，具备：
可能性判断部，判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；
发送部，从所述车辆发送由所述可能性判定部判定为有可能包含有障碍物的所述拍摄图像所涉及的图像信息；
接收部，从多个所述车辆接收所述图像信息；
处理部，进行确定所述图像信息所涉及的拍摄图像中所包含的障碍物的图像处理；及
重复判定部，判定在所述接收部接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物，
所述处理部对由所述重复判定部判定为不包含所述确定的障碍物的后续的拍摄图像执行所述图像处理。
2.根据权利要求1所述的图像处理系统，其中，
所述接收部将被赋予给拍摄图像的位置信息与图像信息一起进行接收，
所述重复判定部至少判定在与所述先前的拍摄图像相同的位置处的所述后续的拍摄图像中是否包含所述确定的障碍物。
3.根据权利要求1或2所述的图像处理系统，其中，
所述接收部接收其他车辆的其他位置信息，
所述图像处理系统具备：
接近判定部，判定具有所述其他位置信息的所述其他车辆是否接近与所述位置信息对应的所述确定的障碍物；及
通知部，在所述接近判定部判定为接近所述确定的障碍物的情况下，向所述其他车辆通知危险信息。
4.一种图像处理方法，包括如下步骤：
判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；
将被判定为有可能包含有障碍物的所述拍摄图像所涉及的图像信息从所述车辆发送到服务器；
在服务器中，从多个车辆接收所述图像信息；
判定在接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物；及
在判定为不包含所述确定的障碍物的情况下，对所述后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
5.一种非暂时性存储介质，存储有使计算机执行图像处理的程序，所述图像处理包括如下步骤：
判定有无可能在由设置于车辆的拍摄装置拍摄到的拍摄图像中包含有障碍物；
将被判定为有可能包含有障碍物的所述拍摄图像所涉及的图像信息从所述车辆发送到服务器；
在服务器中，从多个车辆接收所述图像信息；
判定在接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物；及
在判定为不包含所述确定的障碍物的情况下，对所述后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
6.一种图像处理装置，具备：
接收部，从多个车辆接收被判定为有可能包含有障碍物的所述车辆的拍摄图像所涉及的图像信息；
处理部，进行确定所述图像信息所涉及的拍摄图像中所包含的障碍物的图像处理；及
重复判定部，判定在所述接收部接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物，
所述处理部对由所述重复判定部判定为不包含已经确定的所述障碍物的后续的拍摄图像执行所述图像处理。
7.一种图像处理方法，包括如下步骤：
从多个车辆接收被判定为有可能包含有障碍物的所述车辆的拍摄图像所涉及的图像信息；
判定在接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物；及
对被判定为不包含所述确定的障碍物的后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
8.一种非暂时性存储介质，存储有使计算机执行图像处理的程序，所述图像处理包括如下步骤：
从多个车辆接收被判定为有可能包含有障碍物的所述车辆的拍摄图像所涉及的图像信息；
判定在接收到的后续的图像信息所涉及的后续的拍摄图像中是否包含在先前的图像信息所涉及的先前的拍摄图像中确定的障碍物；及
对被判定为不包含所述确定的障碍物的后续的拍摄图像执行确定所述后续的拍摄图像中所包含的障碍物的图像处理。
CN202011283840.5A 2019-12-10 2020-11-17 图像处理系统、装置、方法以及非暂时性存储介质 Pending CN113052791A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-223168 2019-12-10
JP2019223168A JP2021092967A (ja) 2019-12-10 2019-12-10 画像処理システム、画像処理装置及びプログラム

Publications (1)

Publication Number Publication Date
CN113052791A true CN113052791A (zh) 2021-06-29

Family

ID=75962693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283840.5A Pending CN113052791A (zh) 2019-12-10 2020-11-17 图像处理系统、装置、方法以及非暂时性存储介质

Country Status (4)

Country Link
US (1) US11373414B2 (zh)
JP (1) JP2021092967A (zh)
CN (1) CN113052791A (zh)
DE (1) DE102020130111A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273552A (zh) * 2022-09-19 2022-11-01 南通立信自动化有限公司 一种汽车仪表的hmi控制系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186853A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323117A (ja) * 2006-05-30 2007-12-13 Kenwood Corp 道路通信システム、移動体装置、および、移動体装置の情報処理方法
US20120081542A1 (en) * 2010-10-01 2012-04-05 Andong University Industry-Academic Cooperation Foundation Obstacle detecting system and method
CN104937648A (zh) * 2013-01-25 2015-09-23 丰田自动车株式会社 道路环境识别系统
US20160217333A1 (en) * 2015-01-26 2016-07-28 Ricoh Company, Ltd. Information processing apparatus and information processing system
CN105989727A (zh) * 2015-03-19 2016-10-05 现代自动车株式会社 车辆、服务器及具有车辆和服务器的车辆监测系统
CN106463059A (zh) * 2014-06-06 2017-02-22 日立汽车系统株式会社 障碍物信息管理装置
WO2019003263A1 (ja) * 2017-06-26 2019-01-03 三菱電機株式会社 運転支援装置、及びその運転支援装置を用いた運転支援システム
JP2019172166A (ja) * 2018-03-29 2019-10-10 アイシン・エィ・ダブリュ株式会社 自動運転システムおよび自動運転プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2212175A1 (de) * 1972-03-14 1973-09-20 Pmd Entwicklungswerk Abfallentfern- und transportvorrichtung fuer geblasene und gefuellte kunststoffbehaelter in einer blas- und fuellmaschine
JP4197209B2 (ja) * 1999-05-21 2008-12-17 株式会社小松製作所 車両の無人走行システム
JP2017174244A (ja) 2016-03-25 2017-09-28 株式会社日立製作所 情報提供装置
JP6806107B2 (ja) * 2018-03-20 2021-01-06 日本電気株式会社 障害物認識支援装置、障害物認識支援方法、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323117A (ja) * 2006-05-30 2007-12-13 Kenwood Corp 道路通信システム、移動体装置、および、移動体装置の情報処理方法
US20120081542A1 (en) * 2010-10-01 2012-04-05 Andong University Industry-Academic Cooperation Foundation Obstacle detecting system and method
CN104937648A (zh) * 2013-01-25 2015-09-23 丰田自动车株式会社 道路环境识别系统
CN106463059A (zh) * 2014-06-06 2017-02-22 日立汽车系统株式会社 障碍物信息管理装置
US20160217333A1 (en) * 2015-01-26 2016-07-28 Ricoh Company, Ltd. Information processing apparatus and information processing system
CN105989727A (zh) * 2015-03-19 2016-10-05 现代自动车株式会社 车辆、服务器及具有车辆和服务器的车辆监测系统
WO2019003263A1 (ja) * 2017-06-26 2019-01-03 三菱電機株式会社 運転支援装置、及びその運転支援装置を用いた運転支援システム
JP2019172166A (ja) * 2018-03-29 2019-10-10 アイシン・エィ・ダブリュ株式会社 自動運転システムおよび自動運転プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273552A (zh) * 2022-09-19 2022-11-01 南通立信自动化有限公司 一种汽车仪表的hmi控制系统

Also Published As

Publication number Publication date
DE102020130111A1 (de) 2021-06-10
JP2021092967A (ja) 2021-06-17
US20210174099A1 (en) 2021-06-10
US11373414B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
US10089877B2 (en) Method and device for warning other road users in response to a vehicle traveling in the wrong direction
CN112908032B (zh) 信息收集系统、中继装置、收集装置以及记录介质
US11491992B2 (en) Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program
KR102268032B1 (ko) 서버 장치 및 차량
US12077171B2 (en) Vehicle control device, automated driving vehicle development system, vehicle control method, and storage medium for verifying control logic
JPWO2018061425A1 (ja) センサ故障検出装置およびそのための制御方法
CN113052791A (zh) 图像处理系统、装置、方法以及非暂时性存储介质
US11600076B2 (en) Detection of a hazardous situation in road traffic
CN110648539A (zh) 车载装置以及控制方法
CN115457804A (zh) 控制装置、移动体、控制方法和计算机可读存储介质
US20200158520A1 (en) Map update apparatus, map update system, map update method, and program
CN114968187A (zh) 用于自动驾驶系统的感知系统开发的平台
CN112455465A (zh) 一种行驶环境感知方法、装置、电子设备和存储介质
CN115039158A (zh) 通信装置、车辆、程序和通信方法
CN116433988A (zh) 一种多源异构的图像数据分类治理方法
US11301699B2 (en) Image processing system, processing device, relay device, and recording medium storing program
CN115497332A (zh) 警告控制装置、移动体、警告控制方法和计算机可读存储介质
JP6523907B2 (ja) 車間距離検出システム、車間距離検出方法、およびプログラム
CN110995981B (zh) 图像处理装置及其控制方法、非暂时性可读记录介质、信息处理系统
JP6933069B2 (ja) 経路探索装置
CN112829757A (zh) 自动驾驶控制系统、服务器装置以及存储程序的存储介质
US20240233544A1 (en) Information processing device
US10580293B2 (en) Traffic volume determination system, traffic volume determination method, and non-transitory computer-readable storage medium storing traffic volume determination program
CN115497334A (zh) 警告控制装置、移动体、警告控制方法和计算机可读存储介质
JP2023165318A (ja) 情報処理装置、運転診断方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210629