CN114944082A - 图像收集装置、图像收集方法以及记录介质 - Google Patents

图像收集装置、图像收集方法以及记录介质 Download PDF

Info

Publication number
CN114944082A
CN114944082A CN202210129012.9A CN202210129012A CN114944082A CN 114944082 A CN114944082 A CN 114944082A CN 202210129012 A CN202210129012 A CN 202210129012A CN 114944082 A CN114944082 A CN 114944082A
Authority
CN
China
Prior art keywords
image
moving object
distance
risk
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210129012.9A
Other languages
English (en)
Inventor
瀧俊贵
晴山阳平
天野浩之
香川和之
高桥祐希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114944082A publication Critical patent/CN114944082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像收集装置、图像收集方法以及记录介质。该图像收集装置具有:检测部(21),其从通过拍摄部(3)而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测;判断部(22),其对从图像中被检测出的移动物体与其它物体的距离进行推断,并且基于距离来对是否具有移动物体和其它物体发生碰撞的危险进行判断;保存部(23),其在判断为具有危险的情况下,将图像保存在存储部(12)中。

Description

图像收集装置、图像收集方法以及记录介质
技术领域
本发明涉及一种对呈现出预定的场景的图像进行收集的图像收集装置、图像收集方法以及图像收集用计算机程序。
背景技术
目前提出有一种对呈现出预定的场景的图像适当地进行收集的技术(参照日本特开2019-40368号公报)。在日本特开2019-40368号公报所公开的技术中,按照在交叉路口处所发生的事件的每个种类而保持有表示事件的发生当时的状况的图像的提取条件。而且,根据经由输入部而被输入的、包括事件的种类在内的事件信息而生成图像检索关键字,所述图像检索关键字包括表示事件的发生当时的状况的图像的提取条件。被生成的图像检索关键字向搜查辅助装置被发送,所述搜查辅助装置将被设置在多个交叉路口中的每一个处的各个摄像机的拍摄图像以与摄像机信息以及交叉路口信息建立对应关系的方式而进行存储。
发明内容
发明所要解决的课题
在上述的技术中,为了对在交叉路口处所发生的预定的事件的图像进行检索,从而要求输入用于确定该预定的事件的事件信息。因此,当实际上未发生像交通事故这样的预定的事件时,为了收集似乎与该预定的事件相关联的图像而利用上述的技术较为困难。
因此,本发明的目的在于,提供一种能够适当地对具有呈现与交通的安全性相关而应该注意的场景的可能性的图像进行收集的图像收集装置。
用于解决课题的手段
根据一个实施方式而提供了一种图像收集装置。该图像收集装置具有:检测部,其从通过拍摄部而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测;判断部,其对从图像中被检测出的移动物体与其它物体的距离进行推断,并且基于推断出的距离来对是否具有移动物体和其它物体发生碰撞的危险进行判断;保存部,其在判断为具有危险的情况下,将图像保存在存储部中。
在该图像收集装置中,优选为,判断部在推断出的距离为预定的距离阈值以下的情况下,判断为具有危险。
或者,在该图像收集装置中,优选为,判断部通过将被检测出的移动物体与相比于图像而更早地由拍摄部获得的图像中所呈现的移动物体建立对应关系,从而对移动物体进行追踪,并且基于移动物体的追踪结果来对移动物体所经过的轨迹进行预测,并且在所预测出的轨迹上的任意的位置处的移动物体与其它物体间的距离成为比预定的距离阈值小的第二阈值以下的情况下,判断为具有危险。
此外,在该图像收集装置中,优选为,保存部将从获得了被判断为具有危险的图像的时间点起在一定期间之内通过拍摄部而获得的时间序列的一系列的图像保存在存储部中。
在该情况下,优选为,检测部还对在一定期间内移动物体与其它物体发生了碰撞的情况、或者移动物体实施了躲避与其它物体的碰撞的举动的情况进行检测,保存部将一系列的图像中的对移动物体与其它物体发生了碰撞时或者移动物体实施了该举动时的图像进行识别的信息、与一系列的图像一起保存在存储部中。
根据其它的实施方式而提供了一种图像收集方法。该图像收集方法包括:从通过拍摄部而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测;对从图像中被检测出的移动物体与其它物体的距离进行推断,并且基于推断出的距离来对是否具有移动物体和其它物体发生碰撞的危险进行判断;在判断为具有危险的情况下,将图像保存在存储部中。
而且,根据其它的实施方式而提供了一种图像收集用计算机程序。该图像收集用计算机程序包括用于使计算机执行如下处理的命令,所述处理为:从通过拍摄部而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测,对从图像中被检测出的移动物体与其它物体的距离进行推断,基于推断出的距离来对是否具有移动物体和其它物体发生碰撞的危险进行判断,在判断为具有危险的情况下,将图像保存在存储部中。
发明效果
本公开所涉及的图像收集装置实现如下的效果,即,能够适当地对具有呈现与交通的安全性相关而应该注意的场景的可能性的图像进行收集。
附图说明
图1为包含图像收集装置的图像收集系统的示意结构图。
图2为作为图像收集装置的一个示例的服务器的硬件结构图。
图3为与图像收集处理相关联的服务器的处理器的功能框图。
图4A为对是否将图像设为需要注意图像的判断的概要进行说明的图。
图4B为对是否将图像设为需要注意图像的判断的概要进行说明的图。
图5为图像收集处理的工作流程图。
具体实施方式
以下,在参照附图的同时,对图像收集装置以及在图像收集装置中被执行的图像收集方法和图像收集用计算机程序进行说明。该图像收集装置从通过以对预定的地点进行拍摄的方式而被设置的摄像机而被生成的该地点的图像中,对成为检测对象的一个以上的物体(例如,车辆、行人等)进行检测。然后,该图像收集装置基于被检测出的物体与其它物体的距离,来对是否具有移动物体和其它物体发生碰撞的危险进行判断。在判断为具有移动物体和其它物体发生碰撞的危险的情况下,该图像收集装置将该图像作为具有发生碰撞事故的可能性这样的、具有呈现与交通的安全性相关而应该注意的场景的可能性的需要注意图像而存储在储存装置中。由此,该图像收集装置能够适当地对需要注意图像进行收集。
通过根据本实施方式的图像收集装置而被收集到的各个需要注意图像在与AI或者人工智能相关的技术领域中,作为被包含在所谓大数据中的各个数据而被利用。例如,被收集到的各个需要注意图像作为示教数据而被利用,该示教数据为,用于学习通过输入图像来对有无发生事故等危险的状况的可能性进行判断的、基于机器学习或者深度学习的识别器的数据。虽然这种识别器作为基于所谓的神经网络的构件而被构成,但并不被限定于此,也可以作为基于其它的机器学习系统的构件而被构成。
而且,使用通过根据本实施方式的图像收集装置而被收集到的需要注意图像而被进行了学习的识别器例如在被实施自动驾驶控制的车辆中、或者道路的管理系统中被利用。
图1为包含图像收集装置的图像收集系统的示意结构图。在本实施方式中,图像收集系统1具有作为图像收集装置的一个示例的服务器2、和至少一个摄像机3。摄像机3例如被用于灵活运用大数据等先进技术的智能城市或者互联城市(Connected city)内的道路的观测上。摄像机3以对交叉路口之类的预定的地点进行拍摄的方式而被设置,并且经由网关(未图示)等而与连接了服务器2的通信网络4相连接。因此,摄像机3能够经由通信网络4而与服务器2进行通信。另外,虽然在图1中仅图示了一个摄像机3,但是图像收集系统1也可以具有多个摄像机3。
摄像机3为拍摄部的一个示例,并按照每个预定的拍摄周期而对预定的地点进行拍摄,且生成呈现出该预定的地点的图像。摄像机3还具有存储器,并且将所生成的图像临时性地存储在该存储器中。并且,摄像机3在被存储于存储器中的图像的张数达到预定张数、或者被存储在存储器中的图像的数据量达到预定量时,将被存储的各个图像经由通信网络4而向服务器2进行发送。
图2为作为图像收集装置的一个示例的服务器2的硬件结构图。服务器2具有通信接口11、储存装置12、存储器13和处理器14。通信接口11、储存装置12以及存储器13经由信号线路而与处理器14被连接。服务器2也可以还具有键盘以及鼠标之类的输入装置、和液晶显示器之类的显示装置。
通信接口11为通信部的一个示例,并且具有用于将服务器2与通信网络4连接的接口电路。也就是说,通信接口11被构成为,能够经由通信网络4而与摄像机3进行通信。并且,通信接口11将从摄像机3经由通信网络4而接收到的图像转给处理器14。
储存装置12为存储部的一个示例,例如具有硬盘装置或者光记录介质及其访问装置。并且,储存装置12对从摄像机3接收到的图像等进行存储。而且,储存装置12也可以对在处理器14上被执行的、用于执行图像收集处理的计算机程序进行存储。
存储器13为存储部的其它一个示例,并且例如具有非易失性的半导体存储器以及易失性的半导体存储器。并且,存储器13存储有在图像收集处理中被使用的各种的信息、例如距离阈值、用于对为了检测呈现在图像中的移动物体而被使用的识别器进行确定的参数组、摄像机3的焦点距离、光轴方向、设置高度等。而且,存储器13临时性地对从摄像机3接收到的图像以及在图像收集处理的执行过程中被生成的各种数据等进行存储。
处理器14为控制部的一个示例,并且具有一个或者多个CPU(Central ProcessingUnit:中央处理器)以及其周边电路。处理器14也可以还具有逻辑运算单元、数值运算单元、或者图形处理单元之类的其它的运算电路。并且,处理器14在每次从摄像机3接收图像时,针对接收到的图像而执行图像收集处理。
图3为与图像收集处理相关联的处理器14的功能框图。处理器14具有检测部21、判断部22、以及保存部23。处理器14所具有的这些各个部分例如为通过在处理器14上进行工作的计算机程序而被实现的功能模块。或者,处理器14所具有的这些各个部分也可以为被设置在处理器14上的专用的运算电路。
检测部21对成为被呈现在图像中的检测对象的物体进行检测。在本实施方式中,成为检测对象的物体(在下文中,有时简称为物体或者对象物体)为具有发生碰撞事故的危险的移动物体,例如为车辆以及行人等。
检测部21例如通过将图像输入识别器中,从而对被呈现在图像中的对象物体进行检测。作为这样的识别器,检测部21例如能够使用Single Shot MultiBox Detector、或者Faster R-CNN之类的、持有卷积神经网络型(CNN)的系统结构的深层神经网络(DNN)。或者,检测部21也可以使用AdaBoost识别器之类的、基于其它的机器学习手法的识别器。这样的识别器以从图像对设为检测对象的物体进行检测的方式而被预先进行学习。
识别器输出表示呈现出被检测到的物体的区域(在下文中为物体区域)的信息。例如,识别器作为这样的信息而输出包围物体区域的外接矩形。因此,检测部21针对被检测到的各个物体而将表示物体区域的信息转给判断部22。
判断部22针对从自摄像机3接收到的图像中被检测出的各个物体来推断该物体与其它物体间的距离,并且基于推断出的距离来对是否具有该物体和其它物体发生碰撞的危险进行判断。并且,判断部22在针对从图像中被检测出的任意的物体而判断为具有和其它物体发生碰撞的危险的情况下,将该图像设为成为保存对象的需要注意图像。
在本实施方式中,判断部22在针对从图像中被检测出的物体中的任意一个与其它的被检测出的物体的距离为预定的距离阈值以下的情况下,判断为具有该物体和其它物体发生碰撞的危险,并且将呈现出这些物体的图像设为需要注意图像。因此,判断部22基于表示物体区域的信息,而针对被检测出的各个物体来确定最接近的其它物体。
判断部22针对被检测出的各个物体,基于呈现出这些物体的物体区域的位置以及物体区域间的间隔来对该物体和最接近于该物体的其它物体间的距离进行推断。由于图像上的各个像素与从摄像机3观察到的方位一一对应,因此基于图像上的物体区域的预定的位置(例如,物体区域的重心的位置)而确定从摄像机3观察到的朝向呈现在该物体区域中的物体的方位。而且,由于推断为被检测出的物体位于路面上,因而,判断部22能够基于从摄像机3观察到的朝向该物体的方位、摄像机3的焦点距离、光轴方向以及设置高度,来对被检测出的物体的实际空间中的位置进行推断。因此,判断部22只要通过基于图像上的呈现出这些物体的物体区域的位置、摄像机3的焦点距离、光轴方向以及设置高度来对被检测出的物体与最接近于该物体的其它物体的位置进行推断,从而推断出实际空间中的这些物体间的距离即可。
判断部22在针对被检测出的物体中的每一个而对该物体与最接近于该物体的其它物体间的距离进行推断时,确定距离的推断值为最小的物体的组。并且,判断部22将关于所确定的物体的组的物体间的距离的推断值与阈值进行比较,且在该距离的推断值为阈值以下的情况下,判断为具有所确定的物体的组中所包含的物体彼此发生碰撞的危险,并且将呈现出这些物体的图像设为需要注意图像。
图4A以及图4B分别为对是否将图像设为需要注意图像的判断的概要进行说明的图。从图4A所示的图像400以及图4B所示的图像410之中,分别检测出车辆401和行人402。
在图4A中所示的示例中,车辆401与行人402的距离d1成为预定的距离阈值Th以下。因此,判断部22判断为具有车辆401和行人402发生碰撞的危险,从而将图像400设为需要注意图像。另一方面,在图4B所示的示例中,车辆401和行人402的距离d2大于预定的距离阈值Th。因此,判断部22判断为在图像410被生成的时间点处不具有车辆401和行人402发生碰撞的危险,从而将图像410设为不需要注意图像。
根据改变例,也可以设为,判断部22将图像上的物体间的距离的最小值与预定的距离阈值进行比较,并且在该最小值为预定的距离阈值以下的情况下,将该图像设为需要注意图像。在该情况下,判断部22能够削减被检测出的物体间的距离的推断中所需要的运算量。
根据其它的改变例,也可以设为,判断部22通过将从最新的图像中被检测出的物体与从过去由摄像机3获得的图像中被检测出的物体建立对应关系从而进行追踪,并且关于被检测出的各个物体而基于其追踪结果来对该物体所经过的轨迹进行预测。并且,判断部22也可以针对于任意的物体而在存在所预测的轨迹上的位置(在下文中,有时称为预测位置)与正在追踪的其它物体的预测位置的距离为第二阈值以下的时间点的情况下,判断为具有正在追踪的物体和其它物体发生碰撞的危险。另外,第二阈值被设定为比上述的预定的阈值小的值。
在该情况下,判断部22通过将Lucas-Kanade法之类的、基于光流的追踪处理应用于由摄像机3获得的最新的图像中的所着眼的物体区域以及过去的图像中的物体区域中,从而对呈现在该物体区域中的物体进行追踪。因此,判断部22例如通过对所着眼的物体区域应用SIFT或者Harris角点之类的特征点提取用的滤光器,而从该物体区域中提取多个特征点。并且,判断部22只要通过针对多个特征点中的每一个而按照所应用的追踪手法来确定过去的图像中的物体区域中的所对应的点从而计算出光流即可。或者,判断部22也可以通过将被应用于从图像中被检测出的移动物体的追踪中的其它的追踪手法应用于最新的图像中的、所着眼的物体区域以及过去的图像中的物体区域中,从而对呈现在该物体区域中的物体进行追踪。
判断部22通过针对正在追踪的各个物体而使用摄像机3的光轴方向、焦点距离以及设置高度等信息来执行视角变换处理,从而将该物体的图像内坐标变换为鸟瞰图像上的坐标(鸟瞰坐标)。并且,判断部22通过对从在追踪过程中得到的一系列的图像中所获得的各个鸟瞰坐标执行使用了Kalman Filter或者Particle filter等的预测处理,从而能够推断该物体的到未来预定时间为止的预测轨迹。
判断部22只要通过针对正在追踪的各个物体而求取到未来预定时间为止的各个时间点的预测位置与其它的正在追踪的物体的预测位置的距离,从而求取该物体的预测位置与其它的正在追踪的物体的预测位置的距离的最小值即可。并且,判断部22只要通过将该最小值与第二距离阈值进行比较,从而针对正在追踪的各个物体来对是否具有与其它的正在追踪的物体发生碰撞的危险进行判断即可。
而且,根据其它的改变例,判断部22也可以采用如下方式,即,根据被检测出的物体的实际空间内的位置而对所应用的距离阈值进行变更、或者将被检测出的物体自身从碰撞的危险性的判断对象中排除。例如,判断部22也可以采用如下方式,即,在被检测出的物体为行人、并且该行人的位置在人行道上的情况下,不基于与其它行人的距离来判断有无碰撞的危险性。此外,判断部22也可以在被检测出的物体为车辆的情况下,使和与行驶于该车辆正在行驶的车道所邻接的车道上的其它车辆的距离被进行比较的距离阈值小于和车辆与行人间的距离被进行比较的距离阈值。另外,在本实施方式中,由于摄像机3被固定设置,因而相对于实际空间内的人行道、各个车道等的图像上的位置为已知。因此,只要使表示人行道、各个车道等的图像上的位置的参照地图被预先存储在存储器13中即可。判断部22通过参照该参照地图以及被检测出的物体的图像上的位置,从而能够确定被检测出的物体的实际空间内的位置。此外,只要使被应用的距离阈值也针对每个实际空间内的位置而被预先存储在存储器13中即可。而且,判断部22也可以根据摄像机3拍摄了预定的地点的时刻的、被设置在该地点处的交通信号控制器的点亮状态,来对所应用的距离阈值进行变更。例如,如果交通信号控制器为红色信号,则由于会在该交叉路口的近前处停止,因而即使行人在车辆的前方通行也不具有该车辆与行人发生碰撞的危险。因此,判断部22也可以使在交通信号控制器的点亮状态为红色信号的情况下所应用的距离阈值小于在交通信号控制器的点亮状态为绿色信号的情况下所应用的距离阈值。另外,判断部22对在图像上呈现出交通信号控制器的区域的颜色的平均值进行计算,并且将该平均值与针对交通信号控制器的每种亮灯状态而被预先设定的颜色的范围进行比较。并且,判断部22只要将相当于包含颜色的平均值的范围的点亮状态判断为实际的交通信号控制器的点亮状态即可。或者,判断部22也可以依照根据图像来对交通信号控制器的点亮状态进行判断的其它手法,来对交通信号控制器的点亮状态进行判断。
判断部22将从摄像机3接收到的图像是否为需要注意图像的判断结果通知给保存部23。
保存部23在针对从摄像机3接收到的图像而从判断部22收到是需要注意图像的判断结果时,将该图像保存至储存装置12中。此时,保存部23也可以将表示包括从图像中被检测出的物体在内的物体区域以及被检测出的物体的种类的信息与图像一起保存在储存装置12中。另一方面,保存部23在针对从摄像机3接收到的图像而从判断部22收到不是需要注意图像的判断结果时,将该图像废弃。
图5为图像收集处理的工作流程图。处理器14在每次从摄像机3接收图像时,对接收到的图像而依照下述的工作流程图来执行图像收集处理。
处理器14的检测部21对成为被呈现在图像中的检测对象的物体进行检测(步骤S101)。处理器14的判断部22针对被检测出的各个物体而对从该物体起至其它物体为止的距离进行推断,并求取针对各个物体而被推断出的距离中的最小值(步骤S102)。然后,判断部22对距离的最小值是否为预定的距离阈值Th以下进行判断(步骤S103)。
在距离的最小值为阈值Th以下的情况下(步骤S103-是),判断部22判断为在从摄像机3接收到的图像中具有碰撞的危险(步骤S104)。然后,处理器14的保存部23将判断为具有碰撞的危险的图像作为需要注意图像而保存在储存装置12中(步骤S105)。
另一方面,在距离的最小值大于阈值Th的情况下(步骤S103-否),判断部22判断为在从摄像机3接收到的图像中不具有碰撞的危险(步骤S106)。然后,保存部23将图像废弃(步骤S107)。在步骤S105或者S107之后,处理器14结束图像收集处理。
如以上所说明的那样,该图像收集装置从通过摄像机而被生成的预定的地点的图像中对成为检测对象的一个以上的物体进行检测,并且基于被检测出的物体与其它物体的距离,来对是否具有移动物体和其它物体发生碰撞的危险进行判断。并且,在判断为具有移动物体和其它物体发生碰撞的危险的情况下,该图像收集装置将该图像作为需要注意图像而存储在储存装置中。由此,该图像收集装置能够适当地对需要注意图像进行收集。
根据改变例,判断部22也可以为,针对在某个时间点所获得的图像,在从该图像中被检测出的物体彼此的距离为预定的距离阈值以下的情况下,将从该时间点起在一定期间内从摄像机3所获得的时间序列的一系列的图像分别设为需要注意图像。并且,保存部23也可以将在该一定期间内所获得的时间序列的一系列的需要注意图像保存在储存装置12中。由此,图像收集装置能够提高可将发生了事故时、或者即使未发生事故但车辆或者行人也采取了紧急躲避行动时的图像作为保存对象的可能性。另外,一定期间既可以为被预先设定的长度的期间,或者判断部22也可以在被检测出的物体彼此的距离的最小值变为大于预定的距离阈值的时间点处使该一定期间结束。
而且,检测部21也可以在该一定期间内对事故发生了的情况、或者实施了紧急躲避行动的情况(在下文中,为了便于说明而将它们统称为需要注意事件)进行检测。并且,保存部23也可以将对检测出需要注意事件的图像进行识别的信息、以及表示与需要注意事件相关联的物体的信息与一系列的需要注意图像一起保存在储存装置12中。
在该情况下,检测部21在一定期间内的任意的图像中,在从该图像中被检测出的两个物体间的距离小于接触判断阈值的情况下,判断为在该图像中发生了需要注意事件,并且将这两个物体确定为与需要注意事件相关联的物体。接触判断阈值被设定为比上述的预定的距离阈值小的值,例如被设定为数十cm左右的值。
或者,检测部21也可以在一定期间内的任意的图像中,在与其它物体的距离为预定的距离阈值以下的物体的姿势成为特定的姿势的情况时,判断为发生了需要注意事件。特定的姿势例如能够设为关于行人的躺卧在路面上的姿势、或者关于车辆的成为横穿道路的延伸方向的朝向的姿势。在该情况下,检测部21例如通过将包含成为对象的物体的物体区域输入至以对该物体的姿势进行检测的方式而被预先进行了学习的识别器中,从而对该物体的姿势是否为特定的姿势进行判断。检测部21作为姿势检测用的识别器而例如能够使用DeepPose或者HRNet之类的、具有CNN型的系统结构的DNN。或者,检测部21也可以基于包含成为对象的物体的物体区域的纵横比来对该物体的姿势是否为特定的姿势进行判断。例如,对于行人而言,通常情况下,相对于路面的铅直方向上的长度(在下文中,称为高度)的一方会长于与路面相平行的水平方向上的长度(在下文中,称为宽度)。可是,当行人躺卧在路面上时,物体区域的宽度的一方会长于物体区域的高度。因此,检测部21也可以在包含成为对象的物体的物体区域的高度相对于宽度之比为预定的比率以下的情况下,判断为该物体的姿势为特定的姿势。
或者此外,检测部21也可以在一定期间内的任意的图像中,在检测出与其它物体的距离为预定的距离阈值以下的物体(在下文中,称为着眼物体)采取了用于躲避碰撞的举动时,判断为发生了需要注意事件。在该情况下,如上述的实施方式中所说明的那样,检测部21只要通过对着眼物体进行追踪从而求取在一定期间内的着眼物体的轨迹,并且基于该轨迹来对着眼物体是否采取了用于躲避碰撞的举动进行判断即可。例如,检测部21只要在着眼物体的前进方向变化了预定角度以上的情况下、或者着眼物体的减速度成为预定的减速度阈值以上的情况下,判断为着眼物体采取了用于躲避碰撞的举动即可。
判断部22也可以在获得了预定数量以上的一系列的需要注意图像的组时,使用这些需要注意图像的组来对用于从摄像机3所获得的图像是否为需要注意图像的判断上的预定的距离阈值进行更新。例如,判断部22将这些一系列的需要注意图像的各个组分类为发生了需要注意事件的组和未发生需要注意事件的组。判断部22针对发生了需要注意事件的组和未发生需要注意事件的组而分别对被检测出的物体间的距离的最小值的平均值以及方差进行计算。然后,判断部22可以基于各自的组的方差,而在距发生了需要注意事件的组的距离的最小值的平均值的马氏距离和距未发生需要注意事件的组的距离的最小值的平均值的马氏距离相等的距离中对该预定的距离阈值进行更新。如此,通过更新预定的距离阈值,从而图像收集装置能够更适当地对需要注意图像进行收集。
而且,根据其它的改变例,摄像机3还可以具有处理器以及存储器,并且该摄像机3的处理器执行由上述的实施方式或者改变例所实现的检测部21、判断部22以及保存部23的处理。在该情况下,摄像机3自身成为图像收集装置的另外的一个示例。此外,在该情况下,摄像机3的处理器只要仅将通过摄像机3而被生成的图像中的判断为是需要注意图像的图像向服务器2进行发送,并且使服务器2的储存装置12保存需要注意图像即可。根据该改变例,由于只有需要注意图像从摄像机3向服务器2被发送,因而减轻了通信负担。
此外,摄像机3也可以在两轮车、普通汽车或者卡车之类的车辆中以对该车辆的周围进行拍摄的方式而被安装。在该情况下,摄像机3通过以无线通信的方式访问与通信网络4连接的无线基站(未图示),从而经由该无线基站以及通信网络4而以能够与服务器2进行通信的方式被连接在一起。此外,在该情况下,判断部22也可以在安装了摄像机3的车辆与从图像中被检测出的移动物体的距离成为预定的距离阈值以下的情况下,判断为具有该移动物体和车辆发生碰撞的危险性,并且将该图像判断为是需要注意图像。在该情况下,安装了摄像机3的车辆为其它物体的一个示例。
判断部22也可以基于被呈现在图像中的移动物体的种类以及图像上的包含该移动物体的物体区域的尺寸,来对车辆与该移动物体间的距离进行推断。在该情况下,在存储器13中,预先按照移动物体的每个种类而存储有表示图像上的尺寸和移动物体与车辆间的距离的关系的参照表格。并且,判断部22只要通过参照该参照表格而对车辆与移动物体间的距离进行推断即可。或者,由于推断为图像上的移动物体的下端的位置表示该移动物体与路面相接的位置,因而判断部22也可以基于图像上的移动物体的下端的位置来对从车辆起至该移动物体为止的距离进行推断。在该情况下,判断部22能够基于图像上的移动物体的下端的位置、摄像机3的光轴方向以及焦点距离,来对到从摄像机3观察到的移动物体的下端的位置为止的方位进行推断。进一步而言,判断部22能够基于到从摄像机3观察到的移动物体的下端的位置为止的方位、和摄像机3的距路面的高度,来对从车辆起至该移动物体为止的距离进行推断。
如以上所述,本领域技术人员能够在本发明的范围内结合被实施的方式而实施各种各样的变更。

Claims (7)

1.一种图像收集装置,具有:
检测部,其从通过拍摄部而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测;
判断部,其对从所述图像中被检测出的移动物体与其它物体的距离进行推断,并且基于所述距离来对是否具有所述移动物体和所述其它物体发生碰撞的危险进行判断;
保存部,其在判断为具有所述危险的情况下,将所述图像保存在存储部中。
2.如权利要求1中所述的图像收集装置,其中,
所述判断部在所述距离为预定的距离阈值以下的情况下,判断为具有所述危险。
3.如权利要求2中所述的图像收集装置,其中,
所述判断部通过将所述移动物体与相比于所述图像而更早地由所述拍摄部获得的图像中所呈现的所述移动物体建立对应关系,从而对所述移动物体进行追踪,并且基于所述移动物体的追踪结果来对所述移动物体所经过的轨迹进行预测,并且在所预测出的所述轨迹上的任意的位置处的所述移动物体与所述其它物体间的距离成为比所述预定的距离阈值小的第二阈值以下的情况下,判断为具有所述危险。
4.如权利要求1至3中的任意一项所述的图像收集装置,其中,
所述保存部将从获得了被判断为具有所述危险的图像的时间点起在一定期间之内通过所述拍摄部而获得的时间序列的一系列的图像保存在所述存储部中。
5.如权利要求4中所述的图像收集装置,其中,
所述检测部还对在所述一定期间内所述移动物体与所述其它物体发生了碰撞的情况、或者所述移动物体实施了躲避与所述其它物体的碰撞的举动的情况进行检测,
所述保存部将所述一系列的图像中的对所述移动物体与所述其它物体发生了碰撞时或者所述移动物体实施了所述举动时的图像进行识别的信息、与所述一系列的图像一起保存在所述存储部中。
6.一种图像收集方法,包括:
从通过拍摄部而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测;
对从所述图像中被检测出的移动物体与其它物体的距离进行推断,并且基于所述距离来对是否具有所述移动物体和所述其它物体发生碰撞的危险进行判断;
在判断为具有所述危险的情况下,将所述图像保存在存储部中。
7.一种记录介质,其记录有用于使计算机执行如下处理的图像收集用计算机程序,所述处理为:
从通过拍摄部而获得的表示预定的地点或者预定的车辆的周围的图像中对移动物体进行检测,
对从所述图像中被检测出的移动物体与其它物体的距离进行推断,
基于所述距离来对是否具有所述移动物体和所述其它物体发生碰撞的危险进行判断,
在判断为具有所述危险的情况下,将所述图像保存在存储部中。
CN202210129012.9A 2021-02-16 2022-02-11 图像收集装置、图像收集方法以及记录介质 Pending CN114944082A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021022546A JP7384181B2 (ja) 2021-02-16 2021-02-16 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム
JP2021-022546 2021-02-16

Publications (1)

Publication Number Publication Date
CN114944082A true CN114944082A (zh) 2022-08-26

Family

ID=82800743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210129012.9A Pending CN114944082A (zh) 2021-02-16 2022-02-11 图像收集装置、图像收集方法以及记录介质

Country Status (3)

Country Link
US (1) US20220262122A1 (zh)
JP (1) JP7384181B2 (zh)
CN (1) CN114944082A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207676A (ja) * 1999-01-08 2000-07-28 Nec Corp 交通事故検出装置
KR20070104992A (ko) * 2006-04-24 2007-10-30 한국교통연구원 네비게이션 일체형 교통사고 자동녹화 시스템
JP2008186170A (ja) * 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2009181420A (ja) * 2008-01-31 2009-08-13 Yazaki Corp 車両用周辺状況記録装置
JP2010191793A (ja) * 2009-02-19 2010-09-02 Denso It Laboratory Inc 警告表示装置及び警告表示方法
JP2010198552A (ja) * 2009-02-27 2010-09-09 Konica Minolta Holdings Inc 運転状況監視装置
WO2010109831A1 (ja) * 2009-03-23 2010-09-30 コニカミノルタホールディングス株式会社 ドライブレコーダ
JP2011134207A (ja) * 2009-12-25 2011-07-07 Konica Minolta Holdings Inc 運転記録装置および地図作成システム
JP2014078071A (ja) * 2012-10-09 2014-05-01 Denso Corp 移動体用画像記憶装置
JP2014199546A (ja) * 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法
CN109712431A (zh) * 2017-10-26 2019-05-03 丰田自动车株式会社 驾驶辅助装置及驾驶辅助系统
CN111615717A (zh) * 2018-12-26 2020-09-01 Jvc建伍株式会社 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法以及程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015011195A1 (de) * 2015-08-26 2016-03-24 Daimler Ag Verfahren zum Anzeigen einer Kollision eines Objekts mit einem abgestellten Kraftfahrzeug und Vorrichtung dazu
US10363944B1 (en) * 2018-02-14 2019-07-30 GM Global Technology Operations LLC Method and apparatus for evaluating pedestrian collision risks and determining driver warning levels
US10817732B2 (en) * 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
JP7354295B2 (ja) * 2019-05-23 2023-10-02 ストリートスコープ,インコーポレイテッド 車両信号を処理して挙動危険性の測度を計算するための装置及び方法
US10885775B2 (en) * 2019-06-06 2021-01-05 Verizon Patent And Licensing Inc. Monitoring a scene to analyze an event using a plurality of image streams
US10916131B1 (en) * 2019-10-01 2021-02-09 Paul Schottland Intersection and road monitoring for distracted or unsafe drivers
US11663830B2 (en) * 2020-08-21 2023-05-30 Ubicquia Iq Llc Node-based near-miss detection

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207676A (ja) * 1999-01-08 2000-07-28 Nec Corp 交通事故検出装置
KR20070104992A (ko) * 2006-04-24 2007-10-30 한국교통연구원 네비게이션 일체형 교통사고 자동녹화 시스템
JP2008186170A (ja) * 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2009181420A (ja) * 2008-01-31 2009-08-13 Yazaki Corp 車両用周辺状況記録装置
JP2010191793A (ja) * 2009-02-19 2010-09-02 Denso It Laboratory Inc 警告表示装置及び警告表示方法
JP2010198552A (ja) * 2009-02-27 2010-09-09 Konica Minolta Holdings Inc 運転状況監視装置
WO2010109831A1 (ja) * 2009-03-23 2010-09-30 コニカミノルタホールディングス株式会社 ドライブレコーダ
JP2011134207A (ja) * 2009-12-25 2011-07-07 Konica Minolta Holdings Inc 運転記録装置および地図作成システム
JP2014078071A (ja) * 2012-10-09 2014-05-01 Denso Corp 移動体用画像記憶装置
JP2014199546A (ja) * 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法
CN109712431A (zh) * 2017-10-26 2019-05-03 丰田自动车株式会社 驾驶辅助装置及驾驶辅助系统
CN111615717A (zh) * 2018-12-26 2020-09-01 Jvc建伍株式会社 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法以及程序

Also Published As

Publication number Publication date
JP2022124740A (ja) 2022-08-26
JP7384181B2 (ja) 2023-11-21
US20220262122A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US11380105B2 (en) Identification and classification of traffic conflicts
EP3576008B1 (en) Image based lane marking classification
US8379926B2 (en) Vision based real time traffic monitoring
CN102792314B (zh) 交叉通行碰撞警报系统
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
JP2019106026A (ja) 車載環境認識装置
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
Mithun et al. Video-based tracking of vehicles using multiple time-spatial images
Song et al. Vehicle behavior analysis using target motion trajectories
JP2016148962A (ja) 物体検知装置
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
JP5482672B2 (ja) 移動物体検出装置
JP2001216519A (ja) 交通監視装置
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
Park et al. Vision-based surveillance system for monitoring traffic conditions
JP7454685B2 (ja) 車両走行路内のデブリの検出
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
Dinh et al. Development of a tracking-based system for automated traffic data collection for roundabouts
CN112906428B (zh) 影像侦测区域取得方法及空间使用情况的判定方法
CN111985295A (zh) 一种电动自行车行为识别方法、系统、工控机及摄像头
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration
US20220262122A1 (en) Image collection apparatus and image collection method
JP2023156963A (ja) オブジェクト追跡統合方法及び統合装置
CN117523914A (zh) 碰撞预警方法、装置、设备、可读存储介质及程序产品
JPH1040490A (ja) 道路監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination