CN107181908B - 图像处理方法、图像处理装置及计算机可读记录介质 - Google Patents

图像处理方法、图像处理装置及计算机可读记录介质 Download PDF

Info

Publication number
CN107181908B
CN107181908B CN201710107769.7A CN201710107769A CN107181908B CN 107181908 B CN107181908 B CN 107181908B CN 201710107769 A CN201710107769 A CN 201710107769A CN 107181908 B CN107181908 B CN 107181908B
Authority
CN
China
Prior art keywords
time
region
image
images
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710107769.7A
Other languages
English (en)
Other versions
CN107181908A (zh
Inventor
小冢和纪
谷川彻
齐藤雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016188647A external-priority patent/JP6796442B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107181908A publication Critical patent/CN107181908A/zh
Application granted granted Critical
Publication of CN107181908B publication Critical patent/CN107181908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

提供能够抑制学习用数据的质量偏差的图像处理方法、图像处理装置及计算机可读记录介质。图像处理方法包括：判定步骤(S102)，在时序上连续且对至少一部分图像已赋予表示第1区域的第1注释的多个图像中，一边从时序上的最后时刻开始回溯，一边基于有无第1注释判定该图像中有无第1区域；决定步骤(S103)，确定被判定为没有第1区域的最初的第1时刻的图像，决定第1时刻的图像的包含遮挡物的区域的一部分在内的第2区域，第2区域表示运动物体被遮挡且处于运动物体要从遮挡物出现在行驶路径中之前，第2区域的大小与时序上的第1时刻的下一时刻即第2时刻的图像中的第1区域的大小相应；以及赋予步骤(S104)，将表示第2区域的第2注释赋予给第2时刻的图像。

Description

图像处理方法、图像处理装置及计算机可读记录介质
技术领域
本发明涉及图像处理方法、图像处理装置及程序。
背景技术
近年来，基于使用了神经网络的机器学习技术的一般物体识别，呈现出高性能而受到关注。
但是，在基于神经网络的一般物体识别中，为了引导出高识别性能，需要大量使用作为识别目标的物体的名称或种类等作为注释(正确解答信息)而标注的图像来进行学习处理。
另外，在机器学习中，已知若提供海量的数据(大数据)作为学习用数据则精度会提高。
作为收集大数据的方法之一，存在利用众包(Crowd-sourcing)等向第三者外包的方法。众包是通过互联网将简单的作业(任务)以低廉的价格委托给不特定的许多人(工作人员)的方法。因而，若利用众包来进行大数据的数据收集，则能够将针对构成大数据的各个数据的任务分配并委托给许多工作人员，因此能够高效地(以比较低廉的价格在短时间内)收集大数据。
例如，专利文献1中公开了一种通过尽量少的人数以高作业精度来实现众包的技术。
现有技术文献
专利文献
专利文献1：日本特开2013-197785号公报
发明内容
发明要解决的问题
但是，即使使用专利文献1所公开的技术，也存在如下问题：在标注注释的作业需要高度识别的情况下，标注注释的作业容易出现众包的工作人员的个人差异。作为标注注释的作业需要高度识别的情况，存在标注表示危险区域的注释的情况，所述危险区域例如是在车辆行驶时人突然出现而变得危险的区域。对于危险区域的注释，与赋予特定物体的种类或位置的注释相比，难以对位置的特定和危险的程度进行决定，工作人员的个人差异会增大。因此，在标注注释的作业需要高度识别的情况下，存在通过众包得到的学习用数据的质量会产生偏差这一问题。并且，在使用包含存在质量偏差的学习用数据的大数据进行了机器学习的情况下，学习的精度不会提高。
本公开是鉴于上述情况而完成的，目的在于提供一种能够抑制学习用数据的质量偏差的图像处理方法、图像处理装置及程序。
用于解决问题的技术方案
为了达成上述目的，本发明的一个技术方案涉及的图像处理方法，包括：取得步骤，取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述多个图像的至少一部分图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且所述车辆的行驶路径中存在的运动物体；判定步骤，对在所述取得步骤中取得的所述多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无所述第1注释来判定该图像中有无所述第1区域；决定步骤，确定所述多个图像中的在所述判定步骤中判定为没有所述第1区域的最初的第1 时刻的图像，决定所确定出的所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的第2区域，所述第2区域表示所述运动物体被遮挡且处于所述运动物体要从所述遮挡物出现在所述行驶路径中之前，所述第2区域的大小与时序上的所述第1时刻的下一时刻即第2时刻的图像中的所述第1区域的大小相应；以及赋予步骤，将表示在所述决定步骤中决定的所述第2区域的第2注释赋予给所述第2时刻的图像。
此外，这些总括性或具体的技术方案既可以由系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质来实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
发明的效果
根据本发明，能够实现可抑制学习用数据的质量偏差的图像处理方法等。
附图说明
图1是示出实施方式1中的图像处理装置的功能结构的一例的图。
图2是示出实施方式1中的注释部取得的多个图像的一例的图。
图3是实施方式1中的注释部对图2所示的多个图像进行的图像处理的说明图。
图4是实施方式1中的注释部对图2所示的多个图像进行的图像处理的一例的说明图。
图5是实施方式1中的注释部对图2所示的多个图像进行的图像处理的另一例的说明图。
图6是示出图1所示的筛选部的详细功能结构的一例的图。
图7是实施方式1中的筛选部的第1筛选方法的说明图。
图8是实施方式1中的筛选部的第2筛选方法的说明图。
图9是示出实施方式1中的图像处理装置的筛选部的工作的流程图。
图10是示出实施方式1中的图像处理装置的注释部的工作的流程图。
图11是示出实施方式1中的注释部取得的多个图像的一例的图。
图12是示出实施方式1中的注释部决定并赋予的第2区域的一例的图。
图13是实施方式1的效果的说明图。
图14是示出变形例1中的注释部取得的多个图像的一例的图。
图15是示出变形例1中的注释部决定的第2区域的一例的图。
图16是示出变形例2中的注释部取得的多个图像的一例的图。
图17是示出变形例2中的注释部决定的第2区域的一例的图。
图18是示出变形例3中的注释部取得的多个图像的一例的图。
图19是示出变形例3中的注释部决定的第2区域的一例的图。
图20是示出变形例4的第1例中的注释部通过取得处理所取得的多个图像的一例的图。
图21是示出变形例4的第1例中的注释部赋予的第2注释的一例的图。
图22是示出变形例4的第2例中的注释部取得的多个图像的一例的图。
图23是示出变形例4的第2例中的注释部赋予的第2注释的一例的图。
图24是变形例4的第3例中的注释部赋予的危险度的决定方法的说明图。
图25是示出实施方式2中的判定部的详细结构的一例的图。
图26是示出实施方式2中的图像处理装置的判定部的工作的流程图。
图27是示出实施方式2中的取得部取得的多个图像的一例的图。
图28是实施方式2中的判定部对图27所示的多个图像进行的图像处理的说明图。
图29是示出实施方式3中的图像处理装置的功能结构的一例的图。
标号说明
10、10A图像处理装置
11、11A注释部
12筛选部
13、20、20B、30、40存储部
60、61、62、63、64、65、66、67、68运动物体
101、101a、101b、101c、101d、101e、101f、102、102a、102b、103a、 103b、104a、104b、104n、105a、105b、105c、105n、106a、106b、107a、 107b帧
111取得部
112、112A判定部
113决定部
121第1筛选部
122第2筛选部
1011、1020、1021、1031、1041、1051、1061、1071道路
1012、1022、1032、1042、1052、1062、1063、1072遮挡物
具体实施方式
本发明的一个技术方案涉及的图像处理方法，包括：取得步骤，取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述多个图像的至少一部分图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且所述车辆的行驶路径中存在的运动物体；判定步骤，对在所述取得步骤中取得的所述多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无所述第1注释来判定该图像中有无所述第1区域；决定步骤，确定所述多个图像中的在所述判定步骤中判定为没有所述第1区域的最初的第1时刻的图像，决定所确定出的所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的第 2区域，所述第2区域表示所述运动物体被遮挡且处于所述运动物体要从所述遮挡物出现在所述行驶路径中之前，所述第2区域的大小与时序上的所述第1时刻的下一时刻即第2时刻的图像中的所述第1区域的大小相应；以及赋予步骤，赋予表示在所述决定步骤中决定的所述第2区域的第2注释。
如此，能够对由车载摄像头拍摄到的多个图像以机器的方式标注第2 注释，所述第2注释表示若是众包的工作人员则需要高度识别的第2区域。由此，能够抑制包含该多个图像的学习用数据的质量偏差。
在此，例如也可以，在所述决定步骤中，通过将所述第2时刻的图像中的所述第1区域沿从该第1区域向所述遮挡物的方向按原样挪动预定距离，决定所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的所述第2区域。
由此，能够以机器的方式标注表示第2区域的第2注释。
另外，例如也可以，在所述决定步骤中，进一步，确定从所述第1时刻到在时序上比所述第1时刻靠前预定时间的时刻为止的范围所包含的一个以上的图像，在所确定出的一个以上的图像中决定包含所述遮挡物的区域的一部分在内的所述第2区域。
由此，能够对一个以上的图像以机器的方式标注表示第2区域的第2 注释。
另外，例如也可以，所述图像处理方法还包括：第1筛选步骤，选择第1筛选图像，所述第1筛选图像是由搭载于所述车辆的车载摄像头拍摄到的时序上连续且与表示所述车辆的制动强度或加速度的信息相关联的所有图像中的、从所述车辆的制动强度或加速度比阈值大的时间点到一定期间前的时间点为止的多个图像；和第2筛选步骤，通过选择在所述第1筛选步骤中选择出的所述第1筛选图像中的、包括已被赋予表示如下区域的注释的一个以上的图像在内的时序上连续的多个图像，由此从所述所有图像筛选为对所述至少一部分图像已赋予所述第1注释的所述多个图像，该区域为表示是存在于所述车辆的行驶路径中的运动物体的区域在所述取得步骤中，取得在所述第2筛选步骤中筛选出的所述多个图像。
由此，能够在筛选为由车载摄像头拍摄到的多个图像中的有可能会标注表示第2区域的第2注释且包含已标注表示第1区域的第1注释的图像的时序图像之后，以机器的方式标注表示第2区域的第2注释。
在此，例如也可以，所述图像处理方法还包括如下工作人员步骤：在所述第1筛选步骤之前，使众包的工作人员对所述所有图像赋予表示如下区域的注释，该区域为表示是存在于图像中的运动物体的区域。
另外，例如也可以，所述图像处理方法还包括如下工作人员步骤：在所述第2筛选步骤之前，使众包的工作人员对在所述第1筛选步骤中选择出的所述第1筛选图像赋予表示如下区域的注释，该区域为表示是存在于该第1筛选图像中的运动物体的区域。
由此，能够使众包的工作人员赋予表示如下区域的注释，该区域为表示是存在于图像中的运动物体的区域。
在此，例如也可以，所述第2区域是在所述车辆行驶时有可能会与所述运动物体发生碰撞的危险区域，所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释包含与所述车辆的制动强度或加速度比所述阈值大的时间点的所述制动强度或加速度的大小相应的危险度。
由此，能够使表示作为车辆行驶时的危险区域的第2区域的第2注释还包含危险度。
另外，例如也可以，所述运动物体是人物，所述第2区域是与所述第 1区域相同大小的区域。
由此，能够将第2区域作为在车辆行驶时有可能会与人物发生碰撞的危险区域，以机器的方式标注表示第2区域的第2注释。
另外，例如也可以，所述遮挡物是驻停车中的汽车，所述运动物体是汽车的门，所述第2区域是与所述第1区域相同大小的区域。
由此，能够将第2区域作为在车辆行驶时有可能会发生碰撞的危险区域，以机器的方式标注表示第2区域的第2注释。
另外，例如也可以，所述运动物体是儿童玩耍所使用的物体，所述第 2区域是与在所述第1时刻的图像中的高度方向上对所述第1区域进行了放大后的区域相同大小的区域。
由此，能够将第2区域作为在车辆行驶时有可能会与儿童发生碰撞的危险区域，以机器的方式标注表示第2区域的第2注释。
另外，例如也可以，所述第2区域是在所述车辆行驶时有可能会与所述运动物体发生碰撞的危险区域，所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含与所述运动物体的属性相应的危险度。
由此，能够使表示作为车辆行驶时的危险区域的第2区域的第2注释还包含危险度。
另外，例如也可以，所述第2区域是所述车辆行驶时有可能会与所述运动物体发生碰撞的危险区域，所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含所述第2区域的大小越大则越高的危险度。
由此，能够使表示作为车辆行驶时的危险区域的第2区域的第2注释还包含危险度。
另外，例如也可以，所述判定步骤包括：第1判定步骤，对在所述取得步骤中取得的多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边判定未被赋予所述第1注释的最初图像；和第2判定步骤，对于在所述第1判定步骤中判定出的所述最初图像的第3时刻的时序上的下一时刻的图像中的所述第1区域，一边从所述第3时刻的图像开始按时序依次回溯时刻，一边通过图像处理来判定在沿从该第1区域向所述遮挡物的方向挪动后的该图像各自中的位置是否存在所述第1区域。
由此，即使在未标注应该对一部分图像标注的表示第1区域的第1注释的情况下，也能够通过图像处理来判定在该一部分图像中是否存在第1 区域。由此，能够进一步标注表示需要高度识别的第2区域的第2注释，因此能够抑制包含该多个图像的学习用数据的质量偏差。
另外，本发明的一个技术方案涉及的图像处理装置，具备：取得部，取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述多个图像的至少一部分图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且所述车辆的行驶路径中存在的运动物体；判定部，对所述取得部取得的所述多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无所述第1注释来判定该图像中有无所述第1区域；决定部，确定所述多个图像中的由所述判定部判定为没有所述第1区域的最初的第1时刻的图像，决定所确定出的所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的第2区域，所述第2区域表示所述运动物体被遮挡且处于所述运动物体要从所述遮挡物出现在所述行驶路径中之前，所述第2区域的大小与时序上的所述第1时刻的下一时刻的图像中的所述第1区域的大小相应；以及赋予部，将表示由所述决定部决定的所述第2区域的第2注释赋予给所述第2时刻的图像。
此外，这些总括性或具体的技术方案既可以由系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质来实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，参照附图，对本发明的一个技术方案涉及的图像处理方法等进行具体说明。此外，以下说明的实施方式均示出本发明的一个具体例。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置等只是一例，并非旨在对本发明进行限定。另外，关于以下的实施方式中的构成要素中未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素来进行说明。另外，也可以在所有的实施方式中对各自的内容进行组合。
(实施方式1)
[图像处理装置10的结构]
图1是示出实施方式1中的图像处理装置10的功能结构的一例的图。
图像处理装置10对存储部20所存储的注释赋予数据进行进一步以机器的方式标注若是工作人员则需要高度识别的注释的图像处理，并作为学习用数据输出给存储部30。在本实施方式中，注释赋予数据是由众包的工作人员赋予了表示明确存在的运动物体的注释、且由车载摄像头拍摄到的多个图像。此外，对于在运动物体明确存在于图像中的情况下标注注释，不要求工作人员进行高度识别，因此不容易出现工作人员的个人差异，质量不存在偏差。
在本实施方式中，如图1所示，图像处理装置10具备注释部11、筛选部12和存储部13。以下，对各构成要素进行详细说明。
[注释部11]
图2是示出实施方式1中的注释部11取得的多个图像的一例的图。图 3及图4是示出实施方式1中的注释部11对图2所示的多个图像进行的图像处理的一例的说明图。
如图1所示，注释部11具备取得部111、判定部112、决定部113和赋予部114。
(取得部111)
取得部111取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述图像的的至少一部分的图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且车辆的行驶路径中存在的运动物体。
在本实施方式中，取得部111从存储部13取得例如如图2所示的时序上连续的多个图像那样的被标注了表示第1区域的第1注释的数据。
在此，使用图2对时序上连续的多个图像进行说明。
图2所示的多个图像是构成学习用数据的多个图像的一部分，例如是构成由搭载于车辆的车载摄像头拍摄到的影像的一部分的时序上连续的多个图像。更具体而言，图2所示的多个图像包括帧101a、帧101b、帧101c、帧101d、帧101e、帧101f等。在该多个图像的各图像中包含有(显现有) 道路1011和遮挡物1012，在该多个图像的一部分(帧101b～帧101f)中包含有人物等运动物体60。通常，在构成由车载摄像头拍摄到的影像的图像中，车等车辆的动作比人物等运动物体60的动作大(快)，因此在该多个图像中，运动物体60正在远离(或正在接近)。另外，图2所示的运动物体60是人物。
进而，对该多个图像的一部分的图像(帧101c～帧101f)已赋予第1 区域(第1注释)。在此，第1区域(第1注释)表示是明确存在的运动物体60中的位于遮挡物的附近且车辆的行驶路径中的运动物体。
以下，以运动物体60为人物来进行说明。
(判定部112)
判定部112在取得部111所取得的多个图像中，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无第1注释来判定该图像中有无第1区域。
在本实施方式中，判定部112例如在图2所示的多个图像中，对于帧 101f、帧101e、……、帧101a，按照该顺序，根据有无对各个图像(帧) 标注的第1注释来判定有无第1区域。例如，由于对帧101f标注有第1注释，所以判定部112判定为在帧101f中存在第1区域，并判定表示存在于帧101d中的第1区域的框的位置和大小。判定部112针对帧101e～帧101c也按该顺序进行同样的判定，由于与上述相同，所以省略说明。另外，例如对帧101b以及帧101a未标注第1注释，因此判定部112判定为在帧101a 以及帧101b中没有第1区域。
(决定部113)
决定部113确定多个图像中的由判定部112判定为没有第1区域的最初的第1时刻的图像。决定部113决定所确定出的第1时刻的图像的包含遮挡物的区域的一部分在内的第2区域，所述第2区域表示运动物体被遮挡并处于该运动物体要从该遮挡物出现在行驶路径中之前，所述第2区域的大小与时序上的第1时刻的下一时刻即第2时刻的图像中的第1区域的大小相应。在此，决定部113通过将第2时刻的图像中的第1区域沿从该第1区域向遮挡物的方向按原样挪动预定距离，决定第1时刻的图像的包含遮挡物的区域的一部分在内的第2区域。此外，在运动物体是人物的情况下，第2区域是与第1区域相同大小的区域。
在本实施方式中，决定部113在图2所示的多个图像中确定由判定部 112判定为没有第1区域的最初的第1时刻的图像，决定所确定出的第1 时刻的图像中的包含遮挡物的一部分的第2区域。此外，第2区域是在车辆行驶时有可能会与运动物体(人物)发生碰撞的危险区域。
更具体而言，如图3所示，决定部113在图2所示的多个图像中确定由判定部112判定为没有第1区域的最初的第1时刻即时刻t1的帧101b。并且，如图4所示，决定部113决定所确定出的时刻t1的帧101b中的包含遮挡物1012的一部分的第2区域。
在此，第2区域的大小与所确定出的时刻t1的下一时刻t2的图像即帧101c中的包围作为人物的运动物体60的框所示的第1区域的大小相同。另外，第2区域被决定为在时刻t1的帧101b中位于从与时刻t2的帧101c 中的第1区域对应的位置挪动预定距离后的位置。预定距离例如是运动物体60在时间(t2-t1)内移动的距离。另外，第2区域包含时刻t1的帧101b 的遮挡物1012的区域的一部分，表示运动物体60被遮挡且处于该运动物体60要从该遮挡物1012出现在车辆的行驶路径中之前。这意味着在时刻 t1时车辆正在行驶的情况下，在时刻t2时存在该车辆与作为人物的运动物体60发生碰撞的危险性。也就是说，第2区域意味着在车辆行驶时有可能会与运动物体(人物)发生碰撞的危险区域。
如此，决定部113能够对一个以上的图像以机器的方式决定第2区域。
此外，决定部113在所确定出的第1时刻的图像中决定第2区域，但不限于此。决定部113也可以确定第1时刻的图像，进一步，确定从第1 时刻的图像起在时序上回溯预定时间后的时刻为止所包含的一个以上的图像，在所确定出的一个以上的图像中决定包含遮挡物的区域的一部分在内的第2区域。
以下，使用图5进行具体说明。图5是实施方式1中的注释部11对图 2所示的多个图像进行的图像处理的另一例的说明图。
如图5所示，决定部113在图2所示的多个图像中确定由判定部112 判定为没有第1区域的最初的第1时刻即时刻t1的帧101b。然后，决定部113确定从所确定出的时刻t1的帧101b起回溯预定时间后的时刻(t1-△) 为止所包含的图像(在图中为帧101a)。然后，决定部113决定所确定出的时刻(t1-△)～时刻t1所包含的帧101b以及帧101a中的包含遮挡物1012 的一部分的第2区域。第2区域的具体的决定方法如上述那样，因此在此省略详细说明。如此，决定部113能够对一个以上的图像以机器的方式决定第2区域。
此外，决定部113也可以在图2所示的多个图像中确定由判定部112 判定为存在第1区域的最后的时刻t2的图像。该情况下，决定部113也可以进一步确定从所确定出的时刻t2的帧101c回溯预定时间后的时刻 (t2-△)为止所包含的图像(在图中为帧101a、帧101b)。然后，也可以决定所确定出的时刻(t2-△)～时刻t2所包含的帧101b以及帧101a中的包含遮挡物1012的一部分的第2区域。
(赋予部114)
赋予部114赋予表示由决定部113决定的第2区域的第2注释。
在本实施方式中，赋予部114将表示由决定部113决定的第2区域的第2注释例如赋予给图4或图5所示的图像。另外，赋予部114将标注了第2注释的多个图像(对注释赋予数据进一步标注了第2注释的图像)作为学习用数据输出给存储部30。
[筛选12的结构]
图6是示出图1所示的筛选部12的详细功能结构的一例的图。图7 是实施方式1中的筛选部12的第1筛选方法的说明图。图8是实施方式1 中的筛选部12的第2筛选方法的说明图。
如图6所示，筛选部12具备第1筛选部121和第2筛选部122。
筛选部12将从存储部20取得的注释赋予数据筛选为预定的时序图像，并保存于存储部13。在此，预定的时序图像是指有可能会标注危险区域的时序图像，所述危险区域是在车辆行驶时有可能会与运动物体发生碰撞、且若是工作人员则需要高度识别的区域。
在本实施方式中，存储部20由HDD(Hard Disk Drive，硬盘驱动器)、存储器等构成，存储有由众包的工作人员标注了注释的数据(注释赋予数据)。在此，注释赋予数据是由搭载于车辆的车载摄像头拍摄到的时序上连续、且与表示车辆的制动强度或加速度的信息相关联的所有图像。并且，关于注释赋予数据，由众包的工作人员在该所有图像中标注有表示如下区域的注释，该区域为表示是存在于图像中的运动物体的区域。
第1筛选部121将存储部20所存储的作为注释赋予数据的所有图像通过制动信息等而筛选为例如如图7所示的与第1期间关联的多个图像(第 1筛选图像)。更具体而言，第1筛选部121选择第1筛选图像，所述第1 筛选图像是由搭载于车辆的车载摄像头拍摄到的时序上连续且与表示车辆的制动强度或加速度的信息相关联的所有图像中的、从该车辆的制动强度或加速度比阈值大的时间点到一定期间前的时间点为止的多个图像。
并且，第2筛选部122将由第1筛选部121筛选出的多个图像(第1 筛选图像)，进一步通过图像处理等筛选为在车辆行驶的行驶路径中包含标注有注释的图像的时序上连续的多个图像。在此，车辆行驶的行驶路径例如是指图8所示的图像(帧102)中的道路1020上。更具体而言，第2 筛选部122通过选择由第1筛选部121选择出的第1筛选图像中的、包括已被赋予表示如下区域的注释的一个以上的图像在内的时序上连续的多个图像，由此从所有图像筛选为对至少一部分的图像已赋予表示第1区域的第1注释的多个图像，该区域为表示是存在于该车辆的行驶路径中的运动物体的区域。
并且，第2筛选部122将筛选出的该多个图像存储于存储部13。
[存储部13]
存储部13由HDD(Hard Disk Drive)、存储器等构成。存储部13 存储有由筛选部12筛选出的多个图像。
[图像处理装置10的工作]
接着，使用图9～图12，对如以上那样构成的图像处理装置10的工作进行说明。
图9是示出实施方式1中的图像处理装置10的筛选部12的工作的流程图。
在图9中，首先，图像处理装置10的筛选部12从存储部20取得注释赋予数据。
接着，筛选部12进行通过制动信息等对所取得的注释赋予数据进行筛选的第1筛选处理(S90)。具体而言，如上所述，筛选部12选择第1筛选图像，所述第1筛选图像是由搭载于车辆的车载摄像头拍摄到的时序上连续且与表示车辆的制动强度或加速度的信息相关联的所有图像中的、从该车辆的制动强度或加速度比阈值大的时间点到一定期间前的时间点为止的多个图像。
接着，筛选部12进行进一步通过图像处理等对在S90中筛选出的第1 筛选图像进行筛选的第2筛选处理(S91)。更具体而言，如上所述，筛选部12通过选择由第1筛选处理筛选出的第1筛选图像中的、包括已被赋予表示如下区域的注释的一个以上的图像在内的时序上连续的多个图像，由此从所有图像筛选为对至少一部分的图像已赋予表示第1区域的第1注释的多个图像，该区域为表示是存在于该车辆的行驶路径中的运动物体的区域。然后，将由第2筛选处理筛选出的多个图像存储于存储部13。
图10是示出实施方式1中的图像处理装置10的注释部11中的工作的流程图。图11是示出实施方式1中的注释部11取得的多个图像的一例的图。图12是示出实施方式1中的注释部11决定并赋予的第2区域的一例的图。
在图10中，首先，图像处理装置10的注释部11进行从存储部13中取得通过第2筛选处理筛选出的多个图像的取得处理(S101)。更具体而言，如上所述，注释部11取得通过第2筛选处理筛选出的时序上连续的多个图像，对所述多个图像的至少一部分的图像已赋予表示第1区域的第1 注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且车辆的行驶路径中存在的运动物体。例如，注释部11取得图11所示那样的包括帧 102a、帧102b、……的多个图像，在所述多个图像的至少一部分的帧中，作为遮挡物1022而包含巴士，作为在遮挡物1022的附近且作为行驶路径的道路1021上存在的运动物体61而包含人物。
接着，注释部11对在S101中取得的多个图像分别进行对是否存在第 1区域进行判定的判定处理(S102)。更具体而言，如上所述，注释部11 对在S101中取得的多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无第1注释来判定该图像中有无第1区域。
接着，注释部11进行如下决定处理：确定多个图像中的在S102中判定为没有第1区域的最初的第1时刻的图像，决定所确定出的第1时刻的图像中的包含遮挡物的一部分的第2区域(S103)。具体而言，如上所述，注释部11首先确定多个图像中的在S102中被判定为没有第1区域的最初的第1时刻的图像。接着，注释部11决定所确定出的第1时刻的图像的包含遮挡物的区域的一部分在内的第2区域，所述第2区域的大小与时序上的第1时刻的下一时刻即第2时刻的图像中的第1区域的大小相同。例如，注释部11将图12所示的时刻t1的帧102a确定为被判定为没有第1区域的最初的第1时刻的图像。然后，注释部11在帧102a中的作为巴士的遮挡物1022的一部分的位置，决定第2区域，该第2区域表示人物(运动物体61)被遮挡且在时刻t1的下一时刻会从巴士(遮挡物1022)出现而对行驶中的车辆而言变得危险的危险区域。在此，第2区域的大小与时序上的时刻t1的下一时刻即时刻t2的帧102b的第1区域的大小相同。
接着，注释部11进行赋予表示通过S103决定的第2区域的第2注释的赋予处理(S104)。例如，注释部11对图12所示的时刻t1的帧102a，赋予表示存在通过S103决定的第2区域的第2注释。然后，注释部11将进一步赋予了第2注释的多个图像作为学习用数据输出给存储部30。
如此，图像处理装置10能够进行对存储部20所存储的注释赋予数据以机器的方式进一步标注若是工作人员则需要高度识别的注释的图像处理，并作为学习用数据输出给存储部30。
此外，在上述中，虽然说明为图像处理装置10使用存储部20所存储的注释赋予数据来进行第1筛选处理(S90)及第2筛选处理(S91)，但不限于此。即，虽然说明为图像处理装置10在第1筛选处理(S90)之前使众包的工作人员对所有图像赋予表示如下区域的注释并生成了注释赋予数据，但不限于此，该区域为表示是存在于图像中的运动物体的区域。
图像处理装置10也可以取得未被赋予注释的由车载摄像头拍摄到的时序上连续的所有图像，并对所取得的所有图像进行第1筛选处理(S90)。在该情况下，使众包的工作人员对进行了第1筛选处理后的多个图像(第 1筛选图像)赋予表示如下区域的注释即可，该区域为表示是存在于图像中的运动物体的区域。即，图像处理装置10在第2筛选处理(S91)之前使众包的工作人员对在第1筛选处理(S90)中选择出的第1筛选图像赋予表示如下区域的注释即可，该区域为表示是存在于该第1筛选图像中的运动物体的区域。
[效果等]
如上述那样，根据本实施方式，能够实现可抑制包含该多个图像的学习用数据的质量偏差的图像处理方法等。
在此，使用图13对本实施方式的图像处理方法等的效果进行说明。图 13是实施方式1的效果的说明图。图13的(a)所示的多个图像是由搭载于车辆的车载摄像头对前方(行驶方向)进行了拍摄而得到的时序上连续的多个图像的一例。在图13的(b)中示出了与图13的(a)所示的多个图像分别关联的制动强度或加速度。此外，对与图2～图4等同样的要素标注了同一标号，省略详细的说明。
从图13的(a)以及(b)可知如下情形：搭载有该车载摄像头的车辆的驾驶员在时刻t2的帧101c开始从遮挡物1012看到人物(运动物体60)，进行紧急制动以使得该车辆不会撞上人物，加速度正在变化。
因此，为了向车辆的驾驶员通知在车辆行驶时可能会突然出现人物等运动物体而变得危险的区域(危险区域)，需要使用标注有该危险区域作为注释(正确解答信息)的图像来进行学习处理。
但是，在众包的工作人员识别在车辆行驶时可能会突然出现人物等运动物体而发生碰撞的遮挡物中的危险区域并标注注释的情况下，标注包含遮挡物的一部分的危险区域(例如表示大小和/或位置等的框)的注释作业容易出现工作人员的个人差异。这是因为：例如观察图13的(a)所示的时刻t1的帧101b，对于识别在车辆行驶时可能会突然出现人物等运动物体60而发生碰撞的危险区域，需要经验和/或进行与下一时刻的图像的比较等的高度识别。
另一方面，如图13的(a)所示的时刻t2之后的图像(帧101c～帧101f) 那样，在作为人物的运动物体60出现在图像中的情况下，标注表示运动物体60的危险区域的注释作业不容易出现众包的工作人员的个人差异。这是因为：工作人员能够在图像中如所看到的那样标注表示运动物体60的注释，因此不需要高度识别。
根据以上所述，在本实施方式的图像处理方法中，使众包的工作人员在由车载摄像头拍摄到的时序图像中进行表示图像内能看到的人物等运动物体的注释即可。另一方面，使图像处理装置10或执行图像处理方法的计算机等机器进行表示在车辆行驶时可能会突然出现人物等运动物体60那样的危险区域(第2区域)的注释的赋予即可。具体而言，筛选为由车载摄像头拍摄到的时序图像中的、包括标注有表示在车辆的行驶路径上已从遮挡物出现的人物等运动物体的区域(第1区域)作为第1注释的图像在内的时序上的多个图像。然后，对该多个图像，一边在时序上回溯时刻，一边确定没有第1区域的最初时刻的图像，决定所确定出的该图像的包含遮挡物的一部分在内的第2区域，赋予表示危险区域(第2区域)的第2 注释即可。
如上所述，本实施方式的图像处理方法等能够使众包的工作人员赋予表示如下区域的注释，该区域为表示是存在于图像中的运动物体的区域。另外，本实施方式的图像处理方法等能够对由车载摄像头拍摄到的多个图像，以机器的方式标注第2注释，所述第2注释表示若是众包的工作人员则需要高度识别的第2区域。由此，能够抑制包含该多个图像的学习用数据的质量偏差。
(变形例1)
在实施方式1中，作为运动物体的例子，列举了人物为例，但不限于此。也可以为遮挡物是驻停车中的汽车且运动物体是驻停车中的汽车的门。该情况下，第2区域的大小可以与第1区域相同。以下，使用图14以及图 15进行具体说明。
图14是示出变形例1中的注释部11取得的多个图像的一例的图。图 15是示出变形例1中的注释部11决定的第2区域的一例的图。
变形例1中的注释部11取得图14所示那样的包括帧103a、帧 103b、……的多个图像，在所述多个图像的至少一部分的帧中包含驻停车中的汽车即遮挡物1032和在遮挡物1032的附近且作为行驶路径的道路 1031上存在的汽车的门即运动物体62。
另外，变形例1中的注释部11将图15所示的时刻t1的帧103a确定为被判定为没有第1区域的最初的第1时刻的图像。然后，变形例1中的注释部11在帧103a的驻停车中的汽车即遮挡物1032的一部分的位置(包含一部分的位置)，决定第2区域，该第2区域表示门(运动物体62)被遮挡且在时刻t1的下一时刻会从该汽车(遮挡物1032)出现而对行驶中的车辆而言变得危险的危险区域。在此，与实施方式1同样地，第2区域被决定为大小与时序上的时刻t1的下一时刻即时刻t2的帧103b的第1区域的大小相同。
另外，变形例1中的注释部11对图15所示的时刻t1的帧103a，赋予表示存在所决定的第2区域的第2注释。并且，该注释部11将包含进一步赋予了第2注释的至少一个图像的多个图像作为学习用数据输出给存储部 30。
如此，本变形例的图像处理方法等能够以机器的方式决定表示驻停车中的汽车的门的第2区域作为在车辆行驶时有可能会发生碰撞的危险区域，并以机器的方式标注表示该第2区域的第2注释。
(变形例2)
在变形例1中，作为运动物体的例子，列举了汽车的门为例，但不限于此。运动物体也可以是球或飞碟等儿童玩耍所使用的物体。该情况下，第2区域也可以是与在第1时刻的图像中的高度方向对第1区域进行了放大后的区域相同大小的区域。以下，使用图16以及图17对运动物体是球的情况下的例子进行具体说明。
图16是示出变形例2中的注释部11取得的多个图像的一例的图。图 17是示出变形例2中的注释部11决定的第2区域的一例的图。
变形例2中的注释部11取得图16所示那样的包括帧104a、帧 104b、……、帧104n的多个图像，在所述多个图像的至少一部分的帧中包含遮挡物1042和在遮挡物1042的附近且作为行驶路径的道路1041上存在的球即运动物体63。此外，在变形例2中的注释部11所取得的多个图像中，既可以包括还包含作为儿童的运动物体64的帧104n，也可以不包括该帧104n。
另外，变形例2中的注释部11将图17所示的时刻t1的帧104a确定为被判定为没有第1区域的最初的第1时刻的图像。然后，变形例2中的注释部11在帧104a的遮挡物1042的一部分的位置(包含一部分的位置)，决定第2区域，该第2区域表示球(运动物体63)被遮挡且在时刻t1的下一时刻会从遮挡物1042出现、然后儿童会出现而对行驶中的车辆而言变得危险的危险区域。在此，与实施方式1不同，第2区域被决定为存在于作为球的运动物体63的附近的作为儿童的运动物体64的大小。即，第2区域被决定为与对时序上的时刻t1的下一时刻即时刻t2的帧104b的第1区域在时刻t1的帧104a的高度方向上进行了放大后的区域相同大小的区域。另外，高度方向的放大率根据作为球的运动物体63的轨迹的高度来决定。
另外，变形例2中的注释部11对图17所示的时刻t1的帧104a，赋予表示存在所决定的第2区域的第2注释。然后，该注释部11将包括赋予了第2注释的图像的多个图像作为学习用数据输出给存储部30。
如此，本变形例的图像处理方法等能够以机器的方式决定表示儿童玩耍所使用的物体的第2区域作为在车辆行驶时有可能会与儿童发生碰撞的危险区域，并以机器的方式标注表示该第2区域的第2注释。
(变形例3)
在实施方式1中，说明为车载摄像头是前方摄像头，但不限于此。车载摄像头也可以是对向前方行驶的车辆的左方或右方进行拍摄的侧方摄像头。
在此，在车载摄像头是前方摄像头、且人的突然出现等在车辆前方出现运动物体的情况下，在由该车载摄像头拍摄到的时序图像中，该运动物体看起来像是向图像的中央方向移动。另一方面，静止的物体在由该车载摄像头拍摄到的时序图像中，看起来像是从图像的中央向外移动。
与此相对，若变形例3中的车载摄像头是左摄像头、且在车辆的左侧出现运动物体，则在由该车载摄像头拍摄到的时序图像中，该运动物体看起来像是向图像的右侧移动。另一方面，静止的物体在由该车载摄像头拍摄到的时序图像中，看起来像是从图像的右侧向左移动。
根据以上所述，在车载摄像头是左摄像头等侧方摄像头的情况下，通过将与车辆并行且骑着要追赶或赶超的自行车的人物作为运动物体来处理，能够如实施方式1中说明的那样，以机器的方式标注表示需要高度识别的第2区域的第2注释。
以下，作为运动物体是与车辆并行且骑着要追赶或赶超的自行车的人物的情况，使用图18以及图19对变形例3中的注释部11的工作进行说明。
图18是示出变形例3中的注释部11取得的多个图像的一例的图。图 19是示出变形例3中的注释部11决定的第2区域的一例的图。
变形例3中的注释部11取得图18所示那样的包括帧105a、帧105b、帧105c、……、105n的多个图像，在所述多个图像的至少一部分的帧中包含遮挡物1052和在遮挡物1052的附近且作为行驶路径的道路1051上存在的骑着自行车的人物即运动物体65。此外，在变形例3中的注释部11所取得的多个图像中，既可以包括不包含遮挡物1052的帧105a，也可以不包括该帧105a。
另外，变形例3中的注释部11将图19所示的时刻t1的帧105b确定为被判定为没有第1区域的最初的第1时刻的图像。然后，变形例3中的注释部11在帧105b的遮挡物1052的一部分的位置(包含一部分的位置)，决定第2区域，该第2区域表示骑着自行车的人物即运动物体65被遮挡且在时刻t1的下一时刻会从遮挡物1052出现故而有可能会被行驶中的车辆剐蹭的危险区域。在此，与实施方式1同样地，第2区域被决定为大小与时序上的时刻t1的下一时刻即时刻t2的帧105c的第1区域的大小相同。
另外，变形例3中的注释部11对图19所示的时刻t1的帧105b，赋予表示存在所决定的第2区域的第2注释。然后，该注释部11将包括赋予了第2注释的图像的多个图像作为学习用数据输出给存储部30。
如此，根据本变形例3，车载摄像头也可以是侧方摄像头，对由作为侧方摄像头的车载摄像头拍摄到的多个图像，也能够以机器的方式标注表示需要高度识别的第2区域的第2注释。
(变形例4)
在上述的实施方式1以及变形例1～变形例3中，对注释部11决定第2 区域并标注表示所决定的第2区域的第2注释的情况进行了说明，但不限于此。注释部11也可以除了决定作为对于行驶中的车辆而言的危险区域的第2区域之外，还决定第2区域的危险度。在该情况下，注释部11赋予除了表示作为对于行驶中的车辆而言的危险区域的第2区域之外还表示其危险度的第2注释即可。以下，对第2区域的危险度的决定方法等进行具体说明。
<第1例：危险度的决定方法>
图20是示出变形例4的第1例中的注释部11通过取得处理所取得的多个图像的一例的图。图21是示出变形例4的第1例中的注释部11赋予的第2注释的一例的图。
变形例4的第1例中的注释部11取得图20所示那样的包括帧106a、帧106b、……的多个图像。在图20所示的多个图像中，在至少一部分的帧中包含遮挡物1062及遮挡物1063、在遮挡物1062的附近且作为行驶路径的道路1061上存在的人物即运动物体66、和在遮挡物1063的附近且作为行驶路径的道路1061上存在的人物即运动物体67。
另外，变形例4的第1例中的注释部11将图21所示的时刻t1的帧106a 确定为被判定为没有第1区域的最初的第1时刻的图像。接着，该注释部 11在帧106a的遮挡物1062以及遮挡物1063的一部分的位置(包含一部分的位置)，决定第2区域，该第2区域表示运动物体66以及运动物体 67被遮挡且在时刻t1的下一时刻会从遮挡物1062以及遮挡物1063出现故而存在与行驶中的车辆发生碰撞的危险性的危险区域。在此，与实施方式 1同样地，第2区域被决定为大小与时序上的时刻t1的下一时刻即时刻t2 的帧106b的对应的第1区域的大小相同。进而，该注释部11根据所决定的第2区域的大小来决定危险度。在图21所示的例子中，表示运动物体 66的第1区域比表示运动物体67的第1区域大。因此，该注释部11将与表示运动物体66的第1区域对应的第2区域的危险度决定为比与表示运动物体67的第1区域对应的第2区域的危险度高。这是因为：例如设为人物真正的大小大致相同来进行处理，因此在图像中人物的大小大的情况下，离行驶中的车辆近，可以认为更危险。
另外，该注释部11对图21所示的时刻t1的帧106a，赋予表示如上述那样决定的第2区域和该第2区域的危险度的第2注释。也就是说，在变形例4的第1例中，注释部11使已赋予的表示第2区域的第2注释还包含第2区域的大小越大则表示越高的值的危险度。
此外，危险度的值可以根据第2区域的最大面积(框的面积)的比率、和/或与第2区域对应的第1区域所表示的人物等运动物体的大小的比率来决定。
<第2例：危险度的决定方法>
图22是示出变形例4的第2例中的注释部11取得的多个图像的一例的图。图23是示出变形例4的第2例中的注释部11赋予的第2注释的一例的图。
变形例4的第2例中的注释部11取得图22所示那样的包括帧107a、帧107b、……的多个图像。在图22所示的多个图像中，在至少一部分的帧中包含遮挡物1072和在遮挡物1072的附近且作为行驶路径的道路1071 上存在的儿童即运动物体68。
另外，变形例4的第2例中的注释部11将图23所示的时刻t1的帧107a 确定为被判定为没有第1区域的最初的第1时刻的图像。接着，该注释部 11在帧107a的遮挡物1072的一部分的位置(包含一部分的位置)，决定第2区域，该第2区域表示运动物体68被遮挡且在时刻t1的下一时刻会从遮挡物1072出现故而对行驶中的车辆而言变得危险的危险区域。在此，与实施方式1同样地，第2区域被决定为大小与时序上的时刻t1的下一时刻即时刻t2的帧107b的对应的第1区域的大小相同。进而，该注释部11 根据与第2区域对应的第1区域所表示的运动物体的属性来决定第2区域的危险度。在图23所示的例子中，由于第1区域的运动物体是儿童，因此将危险度决定得高。这是因为：如果运动物体的属性是儿童，则可以认为容易出现在行驶中的车辆附近而危险。此外，在运动物体的属性是儿童及老年人、成年人、其他汽车、球等物体的情况下，设为越处于左侧则危险度越高(儿童及高年人>成年人>其他汽车>球等物体)即可。
该注释部11对图23所示的时刻t1的帧107a，赋予表示如上述那样决定的第2区域和该第2区域的危险度的第2注释。也就是说，在变形例4 的第2例中，注释部11使已赋予的第2注释还包含与第2区域所对应的第 1区域的运动物体的属性相应的危险度。
<第3例：危险度的决定方法>
此外，危险度的决定方法不限于如上述那样基于注释部11取得的多个图像的情况。也可以基于与该多个图像相关联的表示车辆的制动强度或加速度的信息来决定危险度。
图24是变形例4的第3例中的注释部11赋予的危险度的决定方法的说明图。此外，对与图7同样的要素标注同一标号，省略详细的说明。
变形例4的第3例中的注释部11确定被判定为没有第1区域的最初的第1时刻(时刻t1)的图像。然后，在所确定出的时刻t1的图像的遮挡物的一部分的位置(包含一部分的位置)，决定第2区域，该第2区域表示运动物体被遮挡且在时刻t1的下一时刻会从遮挡物出现故而对于行驶中的车辆而言变得危险的危险区域。在此，该注释部11根据与多个图像相关联的信息所表示的车辆的制动强度或加速度比阈值大的时间点的制动强度或加速度的大小来决定第2区域的危险度。也就是说，该注释部11如图24 所示那样，不是决定与所确定出的时刻t1(与所确定出的图像相同的定时) 的制动强度相应的危险度，而是决定与实际发生危险且制动强度为最大的 Ra(图中时刻tp的制动强度Ra)相应的危险度。此外，在图24中，示出了制动强度是纵轴的情况下的例子，但不限于此，也可以是方向盘回避量或车辆的加速度。
如上所述，根据本变形例的图像处理方法等，能够使表示作为在车辆行驶时危险的危险区域的第2区域的第2注释还包含该第2区域的危险度。
(实施方式2)
在实施方式1中，说明为使众包的工作人员在由车载摄像头拍摄到的时序图像中进行表示图像内能看到的人物等运动物体的注释。但是，也考虑如下情况：由于工作人员的作业质量不是恒定的，所以在由车载摄像头拍摄到的时序图像中的一部分图像中，即使人物等运动物体在图像内能看到，也未标注出表示第1区域的注释，该第1区域为表示存在该运动物体的区域。
以下，针对该情况，作为实施方式2，以与实施方式1不同之处为中心进行说明。
[图像处理装置10A的结构]
实施方式2的图像处理装置10A与实施方式1的图像处理装置10相比，在注释部11A的判定部112A的结构上不同。除此以外的结构与实施方式1的图像处理装置10是同样的，所以省略说明。
[判定部112A]
图25是示出实施方式2中的判定部112A的详细结构的一例的图。
判定部112A在取得部111所取得的多个图像中，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无第1注释来判定该图像中有无第1区域。
在本实施方式中，判定部112A在取得部111所取得的多个图像中，一边从时序上的最后时刻的图像开始依次回溯时刻，一边判定未被赋予第 1注释的最初图像。判定部112A对于从所判定出的最初图像的第3时刻的时序上的下一时刻的图像中的第1区域，一边从第3时刻的图像开始按时序依次回溯时刻，一边通过图像处理来判定在沿从该第1区域向所述遮挡物的方向挪动后的该图像各自中的位置是否存在第1区域。
[图像处理装置10A的工作]
接着，使用图26～图29，对如以上那样构成的图像处理装置10A的工作进行说明。
图26是示出实施方式2中的图像处理装置10A的判定部112A的工作的流程图。图27是示出实施方式2中的取得部111取得的多个图像的一例的图。图28是实施方式2中的判定部112A对图27所示的多个图像进行的图像处理的说明图。此外，对与图2～图4同样的要素标注了同一标号，省略详细的说明。
首先，图像处理装置10A的取得部111从存储部20取得作为注释赋予数据的多个图像。在本实施方式中，对于取得部111所取得的多个图像，在一部分图像中，即使在图像内看得到作为人物的运动物体60，也未标注表示存在该运动物体60的第1区域(第1注释)。在图27所示的例子中，在一部分图像(帧101c、帧101d、帧101e)中，即使在图像(帧)内看得到作为人物的运动物体60，也未标注第1区域。
接着，如图26所示，判定部112A进行如下第1判定处理：在取得部 111所取得的多个图像中，一边从时序上的最后时刻的图像开始依次回溯时刻，一边判定未被赋予第1注释的最初图像(S2021)。例如，判定部112A在图27所示的多个图像(帧101a～帧101f)中，一边从时序上的最后时刻的图像即帧101f开始依次回溯时刻，一边判定未被赋予第1注释即第1区域的最初图像即帧101e。
接着，判定部112A进行如下第2判定处理：判定部112A对于所判定出的最初图像的第3时刻的时序上的下一时刻的图像中的第1区域，一边从第3时刻的图像开始按时序依次回溯时刻，一边通过图像处理来判定在沿该第1区域向所述遮挡物的方向挪动后的该图像各自中的位置是否存在第1区域(S1022)。例如，如图28所示，判定部112A对于帧101e的第 3时刻即时刻t3的时序上的下一时刻t4的帧101f中的第1区域，一边从时刻t3的帧101e开始按时序依次回溯时刻，一边通过图像处理来判定在沿从该第1区域向遮挡物1012的方向挪动后的该图像(帧101e～帧101a) 各自中的位置是否存在第1区域。在图28所示的例子中，判定部112A在帧101c～帧101e中通过图像处理判定为存在第1区域。
这样，判定部112A对取得部111所取得的多个图像中的没有第1注释的图像，进一步通过图像处理来判定有无表示是在遮挡物的附近且车辆的行驶路径中存在的运动物体的第1区域。
[效果等]
如以上那样，根据本实施方式，即使在由车载摄像头拍摄到的多个图像的一部分图像中未标注表示不需要高度识别的第1区域的第1注释的情况下，通过一边回放多个图像(影像)一边追踪第1区域，也能够利用图像识别来以机器的方式判定有无该第1区域。也就是说，即使在对一部分图像未标注应该标注的表示第1区域的第1注释的情况下，也能够通过图像处理来判定该一部分图像中是否存在第1区域。由此，能够对由车载摄像头拍摄到的多个图像以机器的方式标注表示需要高度识别的第2区域的第2注释，因此能够实现可抑制包含该多个图像的学习用数据的质量偏差的图像处理方法等。
(实施方式3)
在实施方式1中，说明为使众包的工作人员在由行车载摄像头拍摄到的时序图像中进行表示图像内能看到的人物等运动物体的注释，但不限于此。也可以不是由工作人员而是由图像处理装置来对该时序图像标注表示运动物体的区域及表示该区域的注释。
以下，针对该情况，作为实施方式3，以与实施方式1不同之处为中心进行说明。
[图像处理装置10B的结构]
图29是示出实施方式3中的图像处理装置10B的功能结构的一例的图。此外，对与图1等同样的要素标注了同一标号，省略详细的说明。
图29所示的图像处理装置10B与实施方式1涉及的图像处理装置10 相比，在追加了注释赋予部14B及存储部20B这点上结构不同。除此以外的结构与实施方式1涉及的图像处理装置10是同样的，所以省略说明。
存储部40由HDD(Hard Disk Drive)、存储器等构成。存储部40 存储有由车载摄像头拍摄到的影像数据(时序图像)。
注释赋予部14B取得存储部40所存储的由车载摄像头拍摄到的影像数据(时序图像)。注释赋予部14B对所取得的影像数据(时序图像)，通过进行图像处理来标注表示存在图像内能看到的人物等运动物体的区域及表示该区域的注释。注释赋予部14B将标注有注释的影像数据(时序图像)作为注释赋予数据输出给存储部20B。
存储部20B由HDD(Hard Disk Drive)、存储器等构成。存储部40 存储由注释赋予部14B标注了注释的数据(注释赋予数据)。
[效果等]
如以上那样，根据本实施方式，能够不是通过众包的工作人员而是以机器的方式(由图像处理装置10B)在由车载摄像头拍摄到的影像数据(时序图像)中标注表示不需要高度识别的区域及表示该区域的注释。并且，能够对由车载摄像头拍摄到的多个图像进一步以机器的方式标注表示需要高度识别的第2区域的第2注释。
如此，根据本实施方式，能够实现可抑制包含该多个图像的学习用数据的质量偏差的图像处理方法等。
以上，虽然基于实施方式对本发明的一个或多个技术方案的图像处理方法等进行了说明，但本发明不限定于该实施方式。在不脱离本发明的主旨的范围内，对本实施方式实施本领域技术人员想到的各种变形而得到的方案和将不同实施方式中的构成要素组合而构成的方案也可以包含于本发明的一个或多个技术方案的范围内。例如，以下那样的情况也包含于本发明。
(1)上述的各装置具体是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作，各装置实现其功能。在此，计算机程序是为了达成预定的功能而组合多个表示针对计算机的指令的命令代码而构成的程序。
(2)构成上述的各装置的构成要素的一部分或全部也可以由一个系统 LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而制造出的超多功能LSI，具体而言，是构成为包含微处理器、ROM、RAM等的计算机系统。在所述RAM中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作，系统LSI 实现其功能。
(3)构成上述的各装置的构成要素的一部分或全部也可以由能够相对于各装置装卸的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包含上述的超多功能LSI。通过微处理器按照计算机程序进行工作，所述 IC卡或所述模块实现其功能。该IC卡或该模块也可以具有抗篡改性。
(4)本公开也可以是上述所示的方法。另外，也可以是由计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。
(5)另外，本公开可以是将所述计算机程序或所述数字信号记录于计算机可读的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、 DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等的形态。另外，还可以是记录于这些记录介质的所述数字信号。
(6)另外，本公开也可以是将所述计算机程序或所述数字信号经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据播放等来传送的形态。
(7)另外，本公开也可以是具备微处理器和存储器的计算机系统，所述存储器存储有上述计算机程序，所述微处理器按照所述计算机程序进行工作。
(8)另外，也可以通过将所述程序或所述数字信号记录于所述记录媒体并转送，或将所述程序或所述数字信号经由所述网络等转送，而由独立的其他计算机系统来实施。
产业上的可利用性
本发明能够利用于图像处理方法、图像处理装置及其程序。特别是，能够利用于用于质量均匀地制作学习用数据的图像处理方法、图像处理装置及其程序，所述学习用数据在以机器方式学习在车辆行驶时人等突然出现而变得危险的危险区域时使用。

Claims (15)

1.一种图像处理方法，包括：
取得步骤，取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述多个图像的至少一部分图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且所述车辆的行驶路径中存在的运动物体的区域；
判定步骤，对在所述取得步骤中取得的所述多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无所述第1注释来判定该图像中有无所述第1区域；
决定步骤，确定所述多个图像中的在所述判定步骤中判定为没有所述第1区域的最初的第1时刻的图像，决定所确定出的所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的第2区域，所述第2区域表示所述运动物体被遮挡且处于所述运动物体要从所述遮挡物出现在所述行驶路径中之前的区域，所述第2区域的大小与时序上的所述第1时刻的下一时刻即第2时刻的图像中的所述第1区域的大小相应；以及
赋予步骤，将表示在所述决定步骤中决定的所述第2区域的第2注释赋予给所述第1时刻的图像。
2.根据权利要求1所述的图像处理方法，
在所述决定步骤中，通过将所述第2时刻的图像中的所述第1区域沿从该第1区域向所述遮挡物的方向按原样挪动预定距离，决定所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的所述第2区域。
3.根据权利要求1所述的图像处理方法，
在所述决定步骤中，进一步，确定从所述第1时刻到在时序上比所述第1时刻靠前预定时间的时刻为止的范围所包含的一个以上的图像，在所确定出的一个以上的图像中决定包含所述遮挡物的区域的一部分在内的所述第2区域。
4.根据权利要求1所述的图像处理方法，
所述图像处理方法还包括：
第1筛选步骤，选择第1筛选图像，所述第1筛选图像是由搭载于所述车辆的车载摄像头拍摄到的时序上连续且与表示所述车辆的制动强度或加速度的信息相关联的所有图像中的、从所述车辆的制动强度或加速度比阈值大的时间点到一定期间前的时间点为止的多个图像；和
第2筛选步骤，通过选择在所述第1筛选步骤中选择出的所述第1筛选图像中的、包括已被赋予表示如下区域的注释的一个以上的图像在内的时序上连续的多个图像，由此从所述所有图像筛选为对所述至少一部分图像已赋予所述第1注释的所述多个图像，该区域为表示是存在于所述车辆的行驶路径中的运动物体的区域，
在所述取得步骤中，取得在所述第2筛选步骤中筛选出的所述多个图像。
5.根据权利要求4所述的图像处理方法，
所述图像处理方法还包括如下工作人员步骤：在所述第1筛选步骤之前，使众包的工作人员对所述所有图像赋予表示如下区域的注释，该区域为表示是存在于图像中的运动物体的区域。
6.根据权利要求5所述的图像处理方法，
所述图像处理方法还包括如下工作人员步骤：在所述第2筛选步骤之前，使众包的工作人员对在所述第1筛选步骤中选择出的所述第1筛选图像赋予表示如下区域的注释，该区域为表示是存在于该第1筛选图像中的运动物体的区域。
7.根据权利要求4所述的图像处理方法，
所述第2区域是在所述车辆行驶时有可能会与所述运动物体发生碰撞的危险区域，
所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释包含与所述车辆的制动强度或加速度比所述阈值大的时间点的所述制动强度或加速度的大小相应的危险度。
8.根据权利要求1所述的图像处理方法，
所述运动物体是人物，
所述第2区域是与所述第1区域相同大小的区域。
9.根据权利要求1所述的图像处理方法，
所述遮挡物是驻停车中的汽车，
所述运动物体是汽车的门，
所述第2区域是与所述第1区域相同大小的区域。
10.根据权利要求1所述的图像处理方法，
所述运动物体是儿童玩耍所使用的物体，
所述第2区域是与在所述第1时刻的图像中的高度方向上对所述第1区域进行了放大后的区域相同大小的区域。
11.根据权利要求8所述的图像处理方法，
所述第2区域是在所述车辆行驶时有可能会与所述运动物体发生碰撞的危险区域，
所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含与所述运动物体的属性相应的危险度。
12.根据权利要求1所述的图像处理方法，
所述第2区域是所述车辆行驶时有可能会与所述运动物体发生碰撞的危险区域，
所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含所述第2区域的大小越大则越高的危险度。
13.根据权利要求1所述的图像处理方法，
所述判定步骤包括：
第1判定步骤，对在所述取得步骤中取得的多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边判定未被赋予所述第1注释的最初图像；和
第2判定步骤，对于在所述第1判定步骤中判定出的所述最初图像的第3时刻的时序上的下一时刻的图像中的所述第1区域，一边从所述第3时刻的图像开始按时序依次回溯时刻，一边通过图像处理来判定在沿从该第1区域向所述遮挡物的方向挪动后的该图像各自中的位置是否存在所述第1区域。
14.一种图像处理装置，具备：
取得部，取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述多个图像的至少一部分图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且所述车辆的行驶路径中存在的运动物体的区域；
判定部，对所述取得部取得的所述多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无所述第1注释来判定该图像中有无所述第1区域；
决定部，确定所述多个图像中的由所述判定部判定为没有所述第1区域的最初的第1时刻的图像，决定所确定出的所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的第2区域，所述第2区域表示所述运动物体被遮挡且处于所述运动物体要从所述遮挡物出现在所述行驶路径中之前的区域，所述第2区域的大小与时序上的所述第1时刻的下一时刻即第2时刻的图像中的所述第1区域的大小相应；以及
赋予部，将表示由所述决定部决定的所述第2区域的第2注释赋予给所述第1时刻的图像。
15.一种计算机可读记录介质，其中存储有用于使计算机执行如下步骤的程序：
取得步骤，取得由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，对所述多个图像的至少一部分图像已赋予表示第1区域的第1注释，所述第1区域表示是存在于该图像中的在遮挡物的附近且所述车辆的行驶路径中存在的运动物体的区域；
判定步骤，对在所述取得步骤中取得的所述多个图像，一边从时序上的最后时刻的图像开始依次回溯时刻，一边基于有无所述第1注释来判定该图像中有无所述第1区域；
决定步骤，确定所述多个图像中的在所述判定步骤中判定为没有所述第1区域的最初的第1时刻的图像，决定所确定出的所述第1时刻的图像的包含所述遮挡物的区域的一部分在内的第2区域，所述第2区域表示所述运动物体被遮挡且处于所述运动物体要从所述遮挡物出现在所述行驶路径中之前的区域，所述第2区域的大小与时序上的所述第1时刻的下一时刻即第2时刻的图像中的所述第1区域的大小相应；以及
赋予步骤，将表示在所述决定步骤中决定的所述第2区域的第2注释赋予给所述第1时刻的图像。
CN201710107769.7A 2016-03-11 2017-02-27 图像处理方法、图像处理装置及计算机可读记录介质 Active CN107181908B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662306827P 2016-03-11 2016-03-11
US62/306827 2016-03-11
JP2016-188647 2016-09-27
JP2016188647A JP6796442B2 (ja) 2016-03-11 2016-09-27 画像処理方法、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
CN107181908A CN107181908A (zh) 2017-09-19
CN107181908B true CN107181908B (zh) 2020-09-11

Family

ID=58192137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710107769.7A Active CN107181908B (zh) 2016-03-11 2017-02-27 图像处理方法、图像处理装置及计算机可读记录介质

Country Status (3)

Country Link
US (1) US10210420B2 (zh)
EP (1) EP3217358B1 (zh)
CN (1) CN107181908B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
KR20180037414A (ko) * 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
US10332002B2 (en) * 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
US10850732B2 (en) 2017-09-05 2020-12-01 Aptiv Technologies Limited Automated speed control system
US20190217791A1 (en) 2018-01-12 2019-07-18 Uber Technologies, Inc. Systems and Methods for Streaming Processing for Autonomous Vehicles
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US11514310B2 (en) 2018-12-21 2022-11-29 Waymo Llc Training a classifier to detect open vehicle doors
CN110517506B (zh) * 2019-08-26 2021-10-12 重庆同枥信息技术有限公司 基于交通视频图像检测停车事件的方法、装置及存储介质
JP7121715B2 (ja) * 2019-09-19 2022-08-18 本田技研工業株式会社 推定装置、推定方法、及びプログラム
CN110866486B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684590B2 (en) * 2004-04-19 2010-03-23 Ibeo Automobile Sensor Gmbh Method of recognizing and/or tracking objects
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN104346955A (zh) * 2014-10-16 2015-02-11 浙江吉利汽车研究院有限公司 基于人车通信的行人避撞方法和避撞系统
CN104584529A (zh) * 2012-08-17 2015-04-29 株式会社尼康 图像处理装置、拍摄装置以及程序
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示系统以及信息显示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5880182B2 (ja) 2012-03-19 2016-03-08 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US9070020B2 (en) * 2012-08-21 2015-06-30 International Business Machines Corporation Determination of train presence and motion state in railway environments
US9201900B2 (en) * 2013-08-29 2015-12-01 Htc Corporation Related image searching method and user interface controlling method
JP2016001170A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
KR20160049897A (ko) * 2014-10-28 2016-05-10 삼성전자주식회사 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684590B2 (en) * 2004-04-19 2010-03-23 Ibeo Automobile Sensor Gmbh Method of recognizing and/or tracking objects
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN104584529A (zh) * 2012-08-17 2015-04-29 株式会社尼康 图像处理装置、拍摄装置以及程序
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
CN104346955A (zh) * 2014-10-16 2015-02-11 浙江吉利汽车研究院有限公司 基于人车通信的行人避撞方法和避撞系统

Also Published As

Publication number Publication date
EP3217358B1 (en) 2023-04-05
EP3217358A1 (en) 2017-09-13
US10210420B2 (en) 2019-02-19
CN107181908A (zh) 2017-09-19
US20170262727A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN107181908B (zh) 图像处理方法、图像处理装置及计算机可读记录介质
JP2017162438A (ja) 危険予測方法
JP6109593B2 (ja) 危険情報処理方法、装置及びシステム、並びにプログラム
JP6227165B2 (ja) 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
US20200211395A1 (en) Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle
JP3288474B2 (ja) 画像処理装置
JP6445024B2 (ja) 交通標識認識方法と装置
CN110321916B (zh) 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质
US20140002657A1 (en) Forward collision warning system and forward collision warning method
US10282634B2 (en) Image processing method, image processing apparatus, and recording medium for reducing variation in quality of training data items
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
EP2963632A1 (en) Manoeuvre assistance
CN112513873A (zh) 根据摄像机图像识别行人的运动意图
WO2019088033A1 (ja) 評価装置、評価システム、車両、およびプログラム
JP6796442B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP6857211B2 (ja) 情報処理方法およびサーバ装置
JP6726075B2 (ja) 画像処理方法、画像処理装置およびプログラム
CN107180067B (zh) 图像处理方法、图像处理装置及记录介质
JP2009093341A (ja) 認知再現装置及びプログラム並びに交通流シミュレーション装置及びプログラム
Leibner et al. GERALD: A novel dataset for the detection of German mainline railway signals
CN111527014A (zh) 确定载运工具的非期望动作
JP2019207541A (ja) 画像処理装置及びその方法
CN109859527A (zh) 一种非机动车转弯预警方法及装置
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
JP2018092494A (ja) 画像センサ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant