CN107180067B - 图像处理方法、图像处理装置及记录介质 - Google Patents

图像处理方法、图像处理装置及记录介质 Download PDF

Info

Publication number
CN107180067B
CN107180067B CN201710100005.5A CN201710100005A CN107180067B CN 107180067 B CN107180067 B CN 107180067B CN 201710100005 A CN201710100005 A CN 201710100005A CN 107180067 B CN107180067 B CN 107180067B
Authority
CN
China
Prior art keywords
image
images
region
time
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710100005.5A
Other languages
English (en)
Other versions
CN107180067A (zh
Inventor
小冢和纪
谷川彻
齐藤雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016196795A external-priority patent/JP6726075B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107180067A publication Critical patent/CN107180067A/zh
Application granted granted Critical
Publication of CN107180067B publication Critical patent/CN107180067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/424—Syntactic representation, e.g. by using alphabets or grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本发明提供图像处理方法、图像处理装置及程序，能抑制学习用数据的质量偏差。图像处理方法包括：判定步骤(S102)，在被赋予表示两个以上的第1区域的第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的、至少包含一个以上的该两个以上的第1区域存在于所述车辆的行驶路径中且第1区域彼此的距离为阈值以下的图像的多个图像中，一边从时序上最后的时刻起回溯，一边判定该两个以上的第1区域各自的位置；决定步骤(S103)，确定判定为该两个以上的第1区域各自的位置不在行驶路径中的最初的第1时刻的第1图像，将所确定的第1图像中的该两个以上的第1区域彼此间的区域决定为第2区域；和赋予步骤(S104)，向第1时刻的第1图像赋予表示所决定的第2区域的第2注释。

Description

图像处理方法、图像处理装置及记录介质
技术领域
本发明涉及图像处理方法、图像处理装置及程序。
背景技术
近年来，基于使用了神经网络的机器学习技术的一般物体识别呈现出高性能而正受到关注。
但是，在基于神经网络的一般物体识别中，为了引出高识别性能，需要大量使用作为识别目标的物体的名称和/或种类等作为注释(正确解答信息)而标注的图像来进行学习处理。
另外，已知在机器学习中若提供大规模的数据(大数据)作为学习用数据，则精度会提高。
作为收集大数据的方法之一，存在利用众包(Crowd-sourcing)等向第三者外包的方法。众包是通过互联网将简单的作业(任务)以低廉的价格委托给不特定的许多人(工作人员)的方法。因而，若利用众包来进行大数据的数据收集，则能够将针对构成大数据的各个数据的任务分配并委托给许多工作人员，所以能够高效地(以比较低廉的价格在短时间内)收集大数据。
例如，专利文献1中公开了一种通过尽量少的人数、以高作业精度实现众包的技术。
现有技术文献
专利文献
专利文献1：日本特开2013-197785号公报
发明内容
发明要解决的问题
但是，即使使用专利文献1所公开的技术，也存在如下问题：在标注注释的作业需要高度的识别的情况下，标注注释的作业的精度容易出现众包的工作人员的个人差异。作为标注注释的作业需要高度的识别的情况，可举出例如标注表示人会横穿车辆行驶的前方而可能成为危险的危险区域的注释。因此，在标注注释的作业需要高度的识别的情况下，存在通过众包得到的学习用数据的质量会产生偏差这一问题。并且，在使用包含存在质量偏差的学习用数据的大数据进行了机器学习的情况下，学习的精度不会提高。
本公开鉴于上述情况而完成，目的在于提供一种能够抑制学习用数据的质量偏差的图像处理方法、图像处理装置及程序。
用于解决问题的技术方案
为了达成上述目的，本发明的一个技术方案的图像处理方法包括：取得步骤，取得多个图像，所述多个图像是被赋予第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，所述第1注释表示至少一个是人物区域的两个以上的第1区域，所述多个图像至少包含一个以上的所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为阈值以下的图像；判定步骤，在所述取得步骤中取得的所述多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定所述两个以上的第1区域各自的位置；决定步骤，确定所述多个图像中的在所述判定步骤中判定为所述两个以上的第1区域各自的位置不在所述行驶路径中的最初的第1时刻的第1图像，将所确定的所述第1图像中的所述两个以上的第1区域彼此之间的区域决定为第2区域；以及赋予步骤，向所述第1时刻的第1图像赋予表示在所述决定步骤中决定出的所述第2区域的第2注释。
此外，这些概括的或具体的方式既可以由系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质来实现，又可以由系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
发明的效果
根据本发明，能够实现能够抑制学习用数据的质量偏差的图像处理方法等。
附图说明
图1是示出实施方式1中的图像处理装置的功能结构的一例的图。
图2是示出实施方式1中的注释部所取得的多个图像的一例的图。
图3是实施方式1中的注释部对图2所示的多个图像进行的图像处理的说明图。
图4是实施方式1中的注释部对图2所示的多个图像进行的图像处理的一例的说明图。
图5是示出图1所示的筛选部的详细功能结构的一例的图。
图6是实施方式1中的筛选部的第1筛选方法的说明图。
图7是实施方式1中的筛选部的第2筛选方法的说明图。
图8是示出实施方式1中的图像处理装置的筛选部的工作的流程图。
图9是示出实施方式1中的图像处理装置的注释部中的工作的流程图。
图10是实施方式1的效果的说明图。
图11A是示出实施方式1中的注释部所决定的第2区域的一例的图。
图11B是示出变形例1中的注释部所决定的第2区域的一例的图。
图12是示出变形例2中的注释部所取得的多个图像的一例的图。
图13是示出变形例2中的注释部所决定的第2区域的一例的图。
图14是示出变形例3中的注释部所取得的多个图像的一例的图。
图15是示出变形例3中的注释部所决定的第2区域的一例的图。
图16是示出变形例4的第1例中的注释部所赋予的第2注释的一例的图。
图17是示出变形例4的第2例中的注释部所赋予的第2注释的一例的图。
图18是示出实施方式2中的判定部的详细结构的一例的图。
图19是示出实施方式2中的图像处理装置的判定部的工作的流程图。
图20是示出实施方式2中的取得部所取得的多个图像的一例的图。
图21是实施方式2中的判定部对图20所示的多个图像进行的图像处理的说明图。
图22是示出实施方式3中的图像处理装置的功能结构的一例的图。
具体实施方式
本发明的一个技术方案的图像处理方法包括：取得步骤，取得多个图像，所述多个图像是被赋予第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，所述第1注释表示至少一个是人物区域的两个以上的第1区域，所述多个图像至少包含一个以上的所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为阈值以下的图像；判定步骤，在所述取得步骤中取得的所述多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定所述两个以上的第1区域各自的位置；决定步骤，确定所述多个图像中的在所述判定步骤中判定为所述两个以上的第1区域各自的位置不在所述行驶路径中的最初的第1时刻的第1图像，将所确定的所述第1图像中的所述两个以上的第1区域彼此之间的区域决定为第2区域；以及赋予步骤，向所述第1时刻的第1图像赋予表示在所述决定步骤中决定出的所述第2区域的第2注释。
这样，能够对由车载摄像头拍摄到的多个图像以机器的方式标注表示若是众包的工作人员则需要高度的识别的第2区域的第2注释。由此，能够抑制包含该多个图像的学习用数据的质量偏差。
在此，例如可以是，在所述决定步骤中，进一步，确定所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为所述阈值以下的第2图像，将从所确定的所述第1图像到所述第2图像为止所包含的时序上连续的多个图像中的所述两个以上的第1区域彼此之间的区域决定为所述第2区域。
由此，能够对一个以上的图像以机器的方式标注表示第2区域的第2注释。
另外，例如可以是，所述图像处理方法还包括：第1筛选步骤，选择第1筛选图像，所述第1筛选图像是由搭载于所述车辆的车载摄像头拍摄到的时序上连续的、与表示所述车辆的制动强度或加速度的信息相关联的所有图像中的从所述车辆的制动强度或加速度比阈值大的时刻到一定期间前的时刻为止的多个图像；和第2筛选步骤，从在所述第1筛选步骤中选择出的所述第1筛选图像中选择所述多个图像。
由此，能够在筛选为由车载摄像头拍摄到的多个图像中的有可能标注表示第2区域的第2注释的、包含被标注了表示第1区域的第1注释的图像的时序图像后，以机器的方式标注表示第2区域的第2注释。
在此，例如可以是，所述图像处理方法还包括如下工作人员步骤：在所述第1筛选步骤之前，使众包的工作人员对所述所有图像赋予表示存在于图像中的所述第1区域的第1注释。
另外，例如可以是，所述图像处理方法还包括如下工作人员步骤：在所述第2筛选步骤之前，使众包的工作人员对在所述第1筛选步骤中选择出的所述第1筛选图像赋予表示存在于该第1筛选图像中的所述第1区域的第1注释。
由此，能够使众包的工作人员赋予表示存在于图像中的第1区域的第1注释。
在此，例如可以是，所述两个以上的第1区域分别是表示人物的人物区域。
由此，能够将第2区域作为在车辆行驶时有可能与人物碰撞的危险区域，以机器的方式标注表示第2区域的第2注释。
另外，例如可以是，所述两个以上的第1区域包括表示人物的人物区域和表示驻停车中的汽车的汽车区域。
由此，能够将第2区域作为在车辆行驶时有可能碰撞的危险区域，以机器的方式标注表示第2区域的第2注释。
另外，例如可以是，所述第2区域是若所述两个以上的第1区域所示的物体彼此接近则至少一个所述物体会横穿所述车辆的前方而有可能与所述车辆碰撞的危险区域，所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含所述第2区域的面积越小则成为越高的值的危险度。
由此，能够使表示作为车辆行驶时的危险区域的第2区域的第2注释还包含危险度。
另外，例如可以是，所述第2区域是若所述两个以上的第1区域所示的物体彼此接近则至少一个所述物体会横穿所述车辆的前方而有可能与所述车辆碰撞的危险区域，所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含危险度，所述危险度在构成所述第2区域的一侧区域及另一侧区域中不同，所述危险度在夹着所述第2区域的两个所述第1区域中移动的大小大的所述第1区域所在侧的所述一侧区域或所述另一侧区域成为高的值。
由此，能够使表示作为车辆行驶时的危险区域的第2区域的第2注释还包含危险度。
另外，例如可以是，所述判定步骤包括：第1判定步骤，在所述取得步骤中取得的多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定未被赋予所述第1注释的最初的图像；和第2判定步骤，对于在所述第1判定步骤中判定出的所述最初的图像的第3时刻的时序上的下一时刻的图像中的所述第1区域，一边从所述第3时刻的图像开始按照时序依次回溯时刻，一边通过图像处理判定在沿朝向与所述车辆的移动方向垂直的方向的方向挪动后的该图像各自中的位置是否存在所述第1区域。
由此，即使在未标注应该对一部分图像标注的表示第1区域的第1注释的情况下，也能够通过图像处理来判定在该一部分图像中是否存在第1区域。由此，能够进一步标注表示需要高度的识别的第2区域的第2注释，所以能够抑制包含该多个图像的学习用数据的质量偏差。
另外，本发明的一个技术方案的图像处理装置具备：取得部，取得多个图像，所述多个图像是被赋予第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，所述第1注释表示至少一个是人物区域的两个以上的第1区域，所述多个图像至少包含一个以上的所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为阈值以下的图像；判定部，在所述取得部取得的所述多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定所述两个以上的第1区域各自的位置；决定部，确定所述多个图像中的在所述判定部中判定为所述两个以上的第1区域各自的位置不在所述行驶路径中的最初的第1时刻的第1图像，将所确定的所述第1图像中的所述两个以上的第1区域彼此之间的区域决定为第2区域；以及赋予部，向所述第1时刻的第1图像赋予表示由所述决定部决定出的所述第2区域的第2注释。
此外，这些总体的或具体的技术方案可以由系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质来实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，参照附图，对本发明的一个技术方案的图像处理方法等进行具体说明。此外，以下说明的实施方式均示出本发明的一个具体例。在以下的实施方式中示出的数值、形状、材料、结构要素、结构要素的配置位置等只是一例，并非旨在对本发明进行限定。另外，关于以下的实施方式中的结构要素中未记载于表示最上位概念的独立权利要求的结构要素，作为任意的结构要素来进行说明。另外，在所有实施方式中，也能够对各自的内容进行组合。
(实施方式1)
[图像处理装置10的结构]
图1是示出实施方式1中的图像处理装置10的功能结构的一例的图。
图像处理装置10对存储于存储部20的注释赋予数据进行进一步以机器的方式标注若是工作人员则需要高度的识别的注释的图像处理，并作为学习用数据向存储部30输出。在本实施方式中，注释赋予数据是由众包的工作人员赋予了表示在图像中明确地存在的人物(人物区域)的注释(第1注释)的、由车载摄像头拍摄到的多个图像。此外，在人物明确地存在于图像中的情况下标注注释这一工作不要求工作人员进行高度的识别，所以不容易出现工作人员的个人差异，质量不存在偏差。
在本实施方式中，如图1所示，图像处理装置10具备注释部11、筛选部12和存储部13。以下，对各结构要素进行详细说明。
[注释部11]
图2是示出实施方式1中的注释部11所取得的多个图像的一例的图。图3及图4是示出实施方式1中的注释部11对图2所示的多个图像进行的图像处理的一例的说明图。
如图1所示，注释部11具备取得部111、判定部112、决定部113和赋予部114。
(取得部111)
取得部111取得多个图像，该多个图像是被赋予表示至少一个是人物区域的两个以上的第1区域的第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的、至少包含一个以上的该两个以上的第1区域存在于车辆的行驶路径中且第1区域彼此的距离为阈值以下的图像的多个图像。以下，假设两个以上的第1区域分别是表示人物的人物区域来进行说明。
在本实施方式中，取得部111从存储部13取得例如图2所示的在时序上连续的多个图像那样的被标注了表示第1区域的第1注释的数据。
在此，使用图2对时序上连续的多个图像进行说明。
图2所示的多个图像，是构成学习用数据的多个图像的一部分，例如是构成由搭载于车辆的车载摄像头拍摄到的影像的一部分的时序上连续的多个图像。更具体而言，图2所示的多个图像，由帧101a、帧101b、帧101c、帧101d等构成。在该多个图像的各图像中包含(映现有)道路1011和人物60及人物61。通常，在构成由车载摄像头拍摄到的影像的图像中，汽车等车辆的运动比人物60及人物61的运动大(快)，所以在该多个图像中，人物60及人物61正在远离(或正在接近)。
而且，对该多个图像(帧101a～帧101d)赋予了第1区域(第1注释)。在此，第1区域(第1注释)是表示明确地存在的人物60及人物61的人物区域。并且，例如在帧101d和帧101c(该多个图像中的一个以上的图像)中，表示人物60及人物61的两个第1区域存在于车辆的行驶路径即道路1011中，该两个第1区域彼此的距离为阈值以下。在此，阈值例如可以是人物的一人宽度以下，也可以是零距离。
(判定部112)
判定部112在取得部111所取得的多个图像中，一边从时序上的最后的时刻的图像起依次回溯时刻，一边判定两个以上的第1区域各自的位置。
在本实施方式中，判定部112例如在图2所示的多个图像中，按照帧101d、帧101c、帧101b、帧101a的顺序，基于对各个图像(帧)标注的第1注释来判定两个第1区域各自的位置。例如，由于对帧101d标注了两个第1注释，所以判定部112判定为在帧101d中存在两个第1区域，并判定表示存在于帧101d中的两个第1区域的框的位置和大小。判定部112针对帧101c～帧101a也按该顺序进行同样的判定，由于与上述相同，所以省略说明。
(决定部113)
决定部113确定多个图像中由判定部112判定为两个以上的第1区域各自的位置不在行驶路径中的最初的第1时刻的第1图像。然后，决定部113将确定出的第1图像中的该两个以上的第1区域彼此之间的区域决定为第2区域。此外，决定部113也可以进一步确定该两个以上的第1区域存在于车辆的行驶路径中且该第1区域彼此的距离为阈值以下的第2图像。在该情况下，决定部113将从所确定的第1图像到第2图像为止所包含的时序上连续的多个图像中的该两个以上的第1区域彼此之间的区域决定为第2区域即可。
在本实施方式中，如图3所示，决定部113确定在图2所示的多个图像中由判定部112判定为表示人物60的第1区域和表示人物61的第1区域各自的位置不在道路1011中的最初的时刻t1的帧101b(第1图像)。然后，决定部113将所确定的帧101b中的表示人物60的第1区域与表示人物61的第1区域之间的区域决定为第2区域。在此，第2区域意味着在车辆行驶时有可能与第1区域所示的人物等物体碰撞的危险区域。
此外，决定部113进一步将帧101d(或帧101c)确定为表示人物60的第1区域和表示人物61的第1区域存在于车辆的行驶路径即道路1011中且这些第1区域彼此的距离为阈值以下的第2图像。在该情况下，决定部113将从第1图像即帧101b到第2图像即帧101d为止所包含的多个图像即帧101b～帧101d中的表示人物60的第1区域与表示人物61的第1区域之间的区域决定为第2区域。
这样，决定部113能够对一个以上的图像以机器的方式决定第2区域。
(赋予部114)
赋予部114赋予表示由决定部113决定出的第2区域的第2注释。
在本实施方式中，赋予部114将表示由决定部113决定出的第2区域的第2注释例如向图4所示的图像赋予。另外，赋予部114将标注了第2注释的多个图像(对注释赋予数据进一步标注了第2注释后的图像)作为学习用数据而输出至存储部30。
此外，注释部11也可以不输出多个图像。在该情况下，赋予部114例如输出表示人物60、61的第1区域的坐标值和第2区域的坐标值等与应该标注注释的多个图像相关的信息即可。
[筛选部12的结构]
图5是示出图1所示的筛选部12的详细功能结构的一例的图。图6是实施方式1中的筛选部12的第1筛选方法的说明图。图7是实施方式1中的筛选部12的第2筛选方法的说明图。
如图5所示，筛选部12具备第1筛选部121和第2筛选部122。
筛选部12将从存储部20取得的注释赋予数据筛选为预定的时序图像，并保存于存储部13。在此，预定的时序图像是指有可能标注危险区域的时序图像，该危险区域是在车辆行驶时若人物彼此接近则会横穿车辆的前方而有可能与车辆碰撞的、若是工作人员则需要高度的识别的危险区域。
在本实施方式中，存储部20由HDD(Hard Disk Drive)和存储器等构成，存储有由众包的工作人员标注了注释的数据(注释赋予数据)。
更具体而言，注释赋予数据是由搭载于车辆的车载摄像头拍摄到的时序上连续的、与表示车辆的制动强度或加速度的信息相关联的所有图像。另外，关于注释赋予数据，由众包的工作人员在该所有图像中标注了表示作为在图像中存在的人物区域的第1区域的第1注释。
第1筛选部121将存储于存储部20的作为注释赋予数据的所有图像通过制动信息等而筛选为例如如图6所示的与第1期间相关联的多个图像(第1筛选图像)。更具体而言，第1筛选部121选择由搭载于车辆的车载摄像头拍摄到的时序上连续的与表示车辆的制动强度或加速度的信息相关联的所有图像中的、作为从该车辆的制动强度或加速度比阈值大的时刻到一定期间前的时刻为止的多个图像的第1筛选图像。
然后，第2筛选部122从由第1筛选部121选择出的第1筛选图像中筛选出上述的多个图像。在本实施方式中，第2筛选部122进一步通过图像处理等对由第1筛选部121筛选出的多个图像(第1筛选图像)进行筛选。更具体而言，第2筛选部122筛选为如下的多个图像，该多个图像例如如图7的帧101d所示，是被赋予了表示示出人物60、61的两个第1区域的第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的、至少包含该两个第1区域存在于道路1011中且第1区域彼此的距离为阈值以下的一个以上的图像的多个图像。
然后，第2筛选部122将筛选出的该多个图像存储于存储部13。
[存储部13]
存储部13由HDD(Hard Disk Drive)和存储器等构成。存储部13存储有由筛选部12筛选出的多个图像。
[图像处理装置10的工作]
接着，使用图8及图9，对如以上那样构成的图像处理装置10的工作进行说明。
图8是示出实施方式1中的图像处理装置10的筛选部12的工作的流程图。
在图8中，首先，图像处理装置10的筛选部12从存储部20取得注释赋予数据。
接着，筛选部12进行通过制动信息等对所取得的注释赋予数据进行筛选的第1筛选处理(S90)。具体而言，如上所述，筛选部12选择由搭载于车辆的车载摄像头拍摄到的时序上连续的与表示车辆的制动强度或加速度的信息相关联的所有图像中的、作为从该车辆的制动强度或加速度比阈值大的时刻到一定期间前的时刻为止的多个图像的第1筛选图像。
接着，筛选部12进行进一步通过图像处理等对在S90中筛选出的第1筛选图像进行筛选的第2筛选处理(S91)。更具体而言，如上所述，筛选部12选择由第1筛选处理筛选出的第1筛选图像中的多个图像，该多个图像是被赋予了表示示出人物的两个第1区域的第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的、至少包含该两个第1区域存在于行驶路径中且第1区域彼此的距离为阈值以下的一个以上的图像的多个图像。然后，将由第2筛选处理选择出(筛选出)多个图像存储于存储部13。
图9是示出实施方式1中的图像处理装置10的注释部11中的工作的流程图。
在图9中，首先，图像处理装置10的注释部11进行取得处理：从存储部13取得由第2筛选处理筛选出的多个图像(S101)。
接着，注释部11进行判定处理：一边在S101中取得的多个图像的各个图像中从时序上的最后的时刻的图像开始依次回溯时刻，一边判定两个以上的第1区域各自的位置(S102)。
接着，注释部11进行决定处理：确定在S102中在多个图像中被判定为两个以上的第1区域各自的位置不在行驶路径中的最初的第1时刻的第1图像，并将所确定的第1图像中的该两个以上的第1区域彼此之间的区域决定为第2区域(S103)。
接着，注释部11进行赋予处理：赋予表示在S103中决定出的第2区域的第2注释(S104)。然后，注释部11将赋予了第2注释的多个图像作为学习用数据向存储部30输出。
这样，图像处理装置10能够对存储于存储部20的注释赋予数据进行进一步以机器的方式标注若是工作人员则需要高度的识别的注释的图像处理，并作为学习用数据向存储部30输出。
此外，在上述，虽然说明为图像处理装置10使用存储于存储部20的注释赋予数据来进行第1筛选处理(S90)及第2筛选处理(S91)，但不限于此。即，虽然说明为图像处理装置10在第1筛选处理(S90)之前使众包的工作人员对所有图像赋予表示作为存在于图像中的人物区域的第1区域的第1注释并生成了注释赋予数据，但不限于此。
也就是说，也可以是，图像处理装置10取得未被赋予注释的由车载摄像头拍摄到的时序上连续的所有图像，并对所取得的所有图像进行第1筛选处理(S90)。在该情况下，使众包的工作人员对进行了第1筛选处理后的多个图像(第1筛选图像)赋予表示示出是存在于图像中的运动物体的区域的注释即可。即，图像处理装置10在第2筛选处理(S91)之前使众包的工作人员对在第1筛选处理(S90)中选择出的第1筛选图像赋予表示作为存在于该第1筛选图像中的人物区域的第1区域的第1注释即可。
[效果等]
如上述那样，根据本实施方式，能够实现能够抑制包含该多个图像的学习用数据的质量偏差的图像处理方法等。
在此，使用图10对本实施方式的图像处理方法等的效果进行说明。图10是实施方式1的效果的说明图。图10的(a)所示的多个图像是由搭载于车辆的车载摄像头对前方(行驶方向)进行拍摄而得到的时序上连续的多个图像的一例。在图10的(b)中示出了与图10的(a)所示的多个图像分别相关联的制动强度或加速度。此外，对与图2等同样的要素标注了同一标号，省略详细的说明。
从图10的(a)及(b)可知如下情形：该搭载有车载摄像头的车辆的驾驶员在时刻tp的帧101c中开始看见人物60及人物61接近而横穿车辆的前方，进行紧急制动而加速度正在变化，以便避免该车辆与人物60及人物61相撞。
于是，为了将在人物60及人物61接近时会横穿车辆的前方而在车辆行驶时成为危险区域的人物60及人物61之间的区域通知给车辆的驾驶员，需要使用将该危险区域作为注释(正确解答信息)标注的图像来进行学习处理。
但是，若因为当人物彼此接近时会横穿车辆的前方而在车辆行驶时变得危险，所以这些人物之间的区域是车辆不能通过的危险区域，则众包的工作人员的识别情况容易产生工作人员的个人差异。因而，对这样的危险区域标注注释的作业，容易出现工作人员的个人差异。这是因为，例如观察图10的(a)所示的时刻t1的帧101b，将人物60及人物61之间的区域识别为当人物60及人物61接近时会横穿车辆的前方而在车辆行驶时是危险区域，需要经验和/或与下一时刻的图像进行比较等高度的识别。
另一方面，在图10的(a)所示的所有图像(帧101a～帧101d)中，标注表示人物60及人物61的第1区域的注释作业，不容易出现众包的工作人员的个人差异。这是因为，工作人员能够在图像中如所看到的那样标注表示人物60及人物61的注释(第1区域)，所以不需要高度的识别。
由以上可知，在本实施方式的图像处理方法中，使众包的工作人员在由车载摄像头拍摄到的时序图像中进行表示图像内看到的人物等物体的注释即可。
并且，使图像处理装置10或执行图像处理方法的计算机等机器进行表示当人物彼此接近时会横穿车辆的前方而在车辆行驶时成为危险区域的人物彼此之间的区域(第2区域)的注释的赋予即可。具体而言，首先，筛选为多个图像，该多个图像是被赋予了表示示出人物的两个第1区域的第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的、至少包含该两个第1区域存在于该车辆的行驶路径中且第1区域彼此的距离为阈值以下的一个以上的图像的多个图像。然后，在该多个图像中，一边回溯时序上的时刻，一边确定判定为该两个第1区域各自的位置不在行驶路径中的最初的时刻的第1图像，将确定出的第1图像中的该两个以上的第1区域彼此之间的区域决定为第2区域，向第1图像赋予表示危险区域(第2区域)的第2注释即可。
通过以上那样，本实施方式的图像处理方法等能够使众包的工作人员赋予表示作为存在于图像中的人物区域的第1区域的第1注释。另外，本实施方式的图像处理方法等，能够对由车载摄像头拍摄到的多个图像以机器的方式标注表示若是众包的工作人员则需要高度的识别的第2区域的第2注释。由此，能够抑制包含该多个图像的学习用数据的质量偏差。
此外，本实施方式的图像处理方法等，确定判定为该两个第1区域各自的位置不在行驶路径中的最初的时刻的第1图像，并将所确定的第1图像中的该两个以上的第1区域彼此之间的区域决定为第2区域，但不限于此。也可以确定分别表示人物的两个第1区域存在于车辆的行驶路径中且两个第1区域彼此的距离为阈值以下的第2图像。在该情况下，可以将包含第2图像在内的从第2图像到预定时间前的图像(例如第1图像)中该两个以上的第1区域彼此之间的区域决定为第2区域。
(变形例1)
图11A是示出实施方式1中的注释部11所决定的第2区域的一例的图。图11B是示出变形例1中的注释部11所决定的第2区域的一例的图。
在实施方式1中，如图11A所示，第2区域作为两个第1区域之间的二维区域而进行了说明，但不限于此。在注释部11所取得的多个图像所包含的两个第1区域所示的人物分别存在距离信息的情况下，注释部11也可以如图11B所示那样，将连结两个人物(人物区域)之间的空间决定为第2区域。
(变形例2)
在实施方式1中，作为两个以上的第1区域所表示的物体，以两个第1区域所表示的两个人物区域为例来进行了说明，但不限于此。两个以上的第1区域也可以设为表示三个以上的人物区域。在本变形例中，对四个第1区域表示四人的人物区域的情况进行说明。
图12是示出变形例2中的注释部11所取得的多个图像的一例的图。图13是示出变形例2中的注释部11所决定的第2区域的一例的图。
变形例2中的注释部11取得如图12所示的包含帧103i及帧103n的多个图像。在图12所示的多个图像中分别包含道路1031和人物62、人物63、人物64及人物65。而且，对图12所示的多个图像赋予了表示人物62、人物63、人物64及人物65的四个第1区域(第1注释)。
在此，变形例2中的注释部11在图12所示的多个图像中，将帧103a(未图示)确定为被判定为表示人物62～65的四个第1区域的位置不在道路1031中的最初的时刻的第1图像。另外，变形例2中的注释部11将时刻t2的帧103n确定为表示人物62～65的四个第1区域的位置存在于车辆的行驶路径即道路1031中且这些第1区域彼此的距离为阈值以下的第2图像。
然后，变形例2中的注释部11如图13所示那样，例如将从作为第1图像的帧103a到作为第2图像的帧103n所包含的多个图像即帧103i中的表示人物62～65的四个第1区域之间的区域决定为第2区域即可。
这样一来，本变形例的图像处理方法等，即使在三个以上的第1区域表示三个以上的人物区域的情况下，也能够同样地以机器的方式决定作为车辆行驶时的危险区域的第2区域，能够以机器的方式标注表示该第2区域的第2注释。
(变形例3)
在实施方式1及变形例1、2中，设为第1区域表示人物而进行了说明，但不限于此。第1区域所表示的物体也可以是驻停车中的汽车。在本变形例中，设为两个第1区域的一方是人物区域，另一方是表示驻停车中的汽车的汽车区域，使用图14及图15来进行说明。
图14是示出变形例3中的注释部11所取得的多个图像的一例的图。图15是示出变形例3中的注释部11所决定的第2区域的一例的图。
变形例3中的注释部11取得图14所示的包含帧104a、…、帧104i、…、帧104n的多个图像。在图14所示的多个图像中分别包含道路1041和汽车66及人物67。而且，对图14所示的多个图像赋予了表示汽车66及人物67的两个第1区域(第1注释)。
变形例3中的注释部11在图14所示的多个图像中，将时刻t1的帧104a确定为被判定为表示人物67的第1区域的位置不在道路1041中的最初的时刻的第1图像。另外，变形例3中的注释部11将时刻t2的帧104n确定为表示汽车66及人物67的两个第1区域的位置存在于车辆的行驶路径即道路1041中且该两个第1区域彼此的距离为阈值以下的第2图像。
然后，变形例3中的注释部11如图15的帧104i所示那样，将例如从作为第1图像的帧104a到作为第2图像的帧104n所包含的多个图像(帧104a～104n)中的表示汽车66及人物67的两个第1区域之间的区域决定为第2区域。
这样一来，本变形例的图像处理方法等，即使在两个第1区域所示的物体中的一方是驻停车中的汽车，也能够与上述同样地以机器的方式决定作为人会横穿车辆行驶的前方、若车辆在它们之间通过则会碰撞的危险区域的第2区域，能够以机器的方式标注表示该第2区域的第2注释。
(变形例4)
在上述的实施方式1及变形例1～变形例3中，对注释部11决定第2区域，并标注表示所决定的第2区域的第2注释的情况进行了说明，但不限于此。注释部11也可以除了决定作为对于行驶中的车辆而言的危险区域的第2区域之外，还决定第2区域的危险度。在该情况下，注释部11赋予除了表示第2区域之外还表示其危险度的第2注释即可。以下，对第2区域的危险度的决定方法等进行具体说明。
<第1例：危险度的决定方法>
图16是示出变形例4的第1例中的注释部11所赋予的第2注释的一例的图。
设为变形例4的第1例中的注释部11取得了图14所示的多个图像，并如图15所示那样，决定了第2区域，该第2区域是当第1区域所示的物体彼此接近时会横穿车辆的前方，有可能与该车辆碰撞，所以是车辆行驶时的危险区域。此外，关于注释部11决定第2区域的工作，由于在变形例3中已经说明，所以在此省略说明。
在本变形例的第1例中，注释部11还根据所决定的第2区域的面积来决定危险度。更具体而言，注释部11决定第2区域的大小越小则为越高的值的危险度。这是因为，第2区域的面积越小，则当车辆在第1区域所示的汽车66及人物67之间行驶时，与汽车66及人物67碰撞的可能性越高，所以车辆不能通过。此外，在第2区域的面积为预定的面积以下的情况下，也可以决定为危险度1.0(危险度100％)。
然后，注释部11赋予表示所决定的第2区域和该第2区域的危险度的第2注释。更具体而言，在变形例4的第1例中，注释部11使表示第2区域的第2注释还包含第2区域的面积越小则呈现越高的值的危险度。例如在图16所是的例子中，注释部11对时刻t1的帧104a的第2区域赋予表示危险度0.7的第2注释，对时刻ti的帧104i的第2区域赋予表示危险度1.0的第2注释。此外，当车辆通过帧104i的第2区域时，必然会与人物67碰撞，所以赋予表示危险度1.0的第2注释。
<第2例：危险度的决定方法>
图17是示出变形例4的第2例中的注释部11所赋予的第2注释的一例的图。
设为变形例4的第2例中的注释部11也取得了图14所示的多个图像，并如图15所示那样，决定了第2区域，该第2区域是若第1区域所示的物体彼此接近则会横穿车辆的前方，有可能与该车辆碰撞，所以是车辆行驶时的危险区域。此外，关于注释部11决定第2区域的工作，由于在变形例3中已经说明，所以在此也省略说明。
在本变形例的第2例中，注释部11还将所决定的第2区域的危险度在该第2区域内赋予权重而决定。更具体而言，注释部11将第2区域内划分为两个区域，并将赋予权重后的危险度决定为使表示更大幅移动的人物等的一方的第1区域侧的区域成为比另一方的第1区域侧的区域高的值。这是因为，可以说车辆在进行穿过行驶路径的行驶时与大幅移动的人物碰撞的可能性高。
然后，注释部11赋予表示所决定的第2区域和该第2区域的危险度的第2注释。更具体而言，在变形例4的第2例中，注释部11使表示第2区域的第2注释还包含危险度，该危险度是构成第2区域的一侧区域及另一侧区域不同的、夹着第2区域的两个第1区域中移动的大小较大的第1区域所在侧的一侧区域或另一侧区域成为更高的值的危险度。例如在图17所示的例子中，注释部11对时刻t1的帧104a的第2区域中的人物67附近的区域赋予表示危险度1.0的第2注释，对该第2区域中的汽车66附近的区域赋予表示危险度0.7的第2注释。
在此，注释部11对时刻ti的帧104i的第2区域整体赋予表示危险度1.0的第2注释。这是因为，上述的人物67附近的区域的面积成为了预定的面积以下。此外，在第2区域的面积为预定的面积以下的情况下，也可以不赋予上述的带有权重的危险度，而赋予均一的危险度。
如以上那样，根据本变形例的图像处理方法等，能够使表示在车辆行驶时成为危险的危险区域的第2区域的第2注释还包含车辆行驶时的该第2区域的危险度。
(实施方式2)
在实施方式1中，说明为使众包的工作人员在由车载摄像头拍摄到的时序图像中进行表示图像内看到的人物等物体的注释。但是，也可考虑如下情况：由于工作人员的作业质量不是恒定的，所以在由车载摄像头拍摄到的时序图像中的一部分图像中，即使人物等物体在图像内看得到，也未标注表示示出该物体存在的第1区域的注释。
以下，针对该情况，作为实施方式2，以与实施方式1不同之处为中心进行说明。
[图像处理装置10A的结构]
实施方式2的图像处理装置10A与实施方式1的图像处理装置10相比，在注释部11A的判定部112A的结构上不同。除此以外的结构与实施方式1的图像处理装置10是同样的，所以省略说明。
[判定部112A]
图18是示出实施方式2中的判定部112A的详细结构的一例的图。
判定部112A在取得部111所取得的多个图像中，一边从时序上的最后的时刻的图像起依次回溯时刻，一边判定未被赋予第1注释的最初的图像。
在本实施方式中，判定部112A在取得部111所取得的多个图像中，一边从时序上的最后的时刻的图像起依次回溯时刻，一边判定未被赋予第1注释的最初的图像。判定部112A，对于判定出的最初的图像的第3时刻的时序上的下一时刻的图像中的第1区域，一边从第3时刻的图像起按照时序依次回溯时刻，一边通过图像处理判定在沿与所述车辆的移动方向垂直的方向挪动后的该图像各自中的位置是否存在第1区域。
[图像处理装置10A的工作]
接着，使用图19～图21，对如以上那样构成的图像处理装置10A的工作进行说明。
图19是示出实施方式2中的图像处理装置10A的判定部112A的工作的流程图。图20是示出实施方式2中的取得部111所取得的多个图像的一例的图。图21是实施方式2中的判定部112A对图20所示的多个图像进行的图像处理的说明图。此外，对与图2～图4同样的要素标注了同一标号，省略详细的说明。
首先，图像处理装置10A的取得部111从存储部20取得作为注释赋予数据的多个图像。在本实施方式中，在取得部111所取得的多个图像的一部分图像中，即使在图像内看得到人物60或人物61，也未标注表示存在人物60或人物61的第1区域(第1注释)。在图20所示的例子中，在一部分图像(帧101a、帧101b)中，即使人物60或人物61在图像(帧)内看得到，也未标注第1区域。
接着，判定部112A进行第1判定处理：在取得部111所取得的多个图像中，一边从时序上的最后的时刻的图像起依次回溯时刻，一边判定未被赋予第1注释的最初的图像(S1021)。例如，判定部112A在图20所示的多个图像(帧101a～帧101d)中，一边从作为时序上的最后的时刻的图像的帧101d起依次回溯时刻，一边判定作为未被赋予第1注释即第1区域的最初的图像的帧101b。
接着，判定部112A进行第2判定处理：判定部112A，对于判定出的最初的图像的第3时刻的时序上的下一时刻的图像中的第1区域，一边从第3时刻的图像起按照时序依次回溯时刻，一边通过图像处理判定在沿与车辆的移动方向垂直的方向挪动后的该图像各自中的位置是否存在第1区域(S1022)。例如，如图21所示，判定部112A，对于帧101b的时刻t3(第3时刻)的时序上的下一时刻t4的帧101c中的第1区域，一边从时刻t3的帧101b起按照时序依次回溯时刻，一边通过图像处理判定在沿与车辆的移动方向垂直的方向挪动后的该图像(帧101b～帧101a)各自中的位置是否存在第1区域。在图21所示的例子中，判定部112A在帧101a～帧101b中通过图像处理判定为存在第1区域。
这样，判定部112A对取得部111所取得的多个图像中没有第1注释的图像进一步通过图像处理来判定表示人物等的第1区域的有无。
[效果等]
如以上那样，根据本实施方式，即使在由车载摄像头拍摄到的多个图像的一部分图像中未标注表示不需要高度的识别的第1区域的第1注释的情况下，通过一边回放多个图像(影像)，一边追踪第1区域，也能够利用图像识别来以机器的方式判定该第1区域的有无。也就是说，即使在对一部分图像未标注应该标注的表示第1区域的第1注释的情况下，也能够通过图像处理来判定该一部分图像中是否存在第1区域。由此，能够对由车载摄像头拍摄到的多个图像以机器的方式标注表示需要高度的识别的第2区域的第2注释，所以能够实现能够抑制包含该多个图像的学习用数据的质量偏差的图像处理方法等。
(实施方式3)
在实施方式1中，说明为使众包的工作人员在由行车载摄像头拍摄到的时序图像中进行表示图像内能看到的人物等物体的注释，但不限于此。也可以不是由工作人员而是由图像处理装置来对该时序图像标注表示人物等的第1区域及表示该第1区域的第1注释。
以下，针对该情况，作为实施方式3，以与实施方式1不同的方面为中心进行说明。
[图像处理装置10B的结构]
图22是示出实施方式3的图像处理装置10B的功能结构的一例的图。此外，对与图1等同样的要素标注了同一标号，省略详细的说明。
图22所示的图像处理装置10B与实施方式1的图像处理装置10相比，结构在追加了注释赋予部14B及存储部20B这点上不同。除此以外的结构与实施方式1的图像处理装置10是同样的，所以省略说明。
存储部40由HDD(Hard Disk Drive)或存储器等构成。存储部40存储有由车载摄像头拍摄到的影像数据(时序图像)。
注释赋予部14B取得存储于存储部40的由车载摄像头拍摄到的影像数据(时序图像)。注释赋予部14B对所取得的影像数据(时序图像)通过进行图像处理来标注表示图像内能看到的人物等物体的第1区域及表示该第1区域的注释。注释赋予部14B将标注有第1注释的影像数据(时序图像)作为注释赋予数据向存储部20B输出。
存储部20B由HDD(Hard Disk Drive)和/或存储器等构成。存储部20B存储由注释赋予部14B标注了第1注释的数据(注释赋予数据)。
[效果等]
如以上那样，根据本实施方式，能够不是通过众包的工作人员而是以机器的方式(由图像处理装置10B)在由车载摄像头拍摄到的影像数据(时序图像)中标注表示不需要高度的识别的人物等的第1区域及表示该第1区域的注释。并且，能够对由车载摄像头拍摄到的多个图像进一步以机器的方式标注表示需要高度的识别的第2区域的第2注释。
这样一来，根据本实施方式，能够实现能够抑制包含该多个图像的学习用数据的质量偏差的图像处理方法等。
以上，虽然基于实施方式对本发明的一个或多个技术方案的图像处理方法等进行了说明，但本发明不限定于该实施方式。只要不脱离本发明的主旨，那么将本领域技术人员想到的各种变形对本实施方式实施后而得到的方案和/或将不同实施方式中的结构要素组合而构建的方案也可以包含于本发明的一个或多个技术方案的范围内。例如，以下那样的情况也包含于本发明。
(1)上述的各装置，具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作，各装置达成其功能。在此，计算机程序是为了达成预定的功能而组合多个表示针对计算机的指令的命令代码而构成的程序。
(2)构成上述的各装置的结构要素的一部分或全部也可以由一个系统LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个结构部集成在一个芯片上而制造出的超多功能LSI，具体而言，是构成为包含微处理器、ROM、RAM等的计算机系统。在所述RAM中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作，系统LSI达成其功能。
(3)构成上述的各装置的结构要素的一部分或全部也可以由能够相对于各装置装卸的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包含上述的超多功能LSI。通过微处理器按照计算机程序进行工作，所述IC卡或所述模块达成其功能。该IC卡或该模块也可以具有抗篡改性。
(4)本公开也可以是上述所示的方法。另外，也可以是由计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。
(5)另外，本公开可以是将所述计算机程序或所述数字信号记录于计算机可读记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等的形态。另外，还可以是记录于这些记录介质的所述数字信号。
(6)另外，本公开也可以是将所述计算机程序或所述数字信号经由电力通信线路、无线或有线通信线路、以互联网为代表的网络、数据播放等来传送的形态。
(7)另外，本公开也可以是具备微处理器和存储器的计算机系统，所述存储器存储有上述计算机程序，所述微处理器按照所述计算机程序进行工作。
(8)另外，也可以通过将所述程序或所述数字信号记录于所述记录媒体并转送，或将所述程序或所述数字信号经由所述网络等转送，而由独立的其他计算机系统来实施。
产业上的可利用性
本发明能够利用于图像处理方法、图像处理装置及其程序。尤其是，能够利用于用于质量均匀地制作在以机器方式学习车辆行驶时若人物彼此接近则会横穿车辆的前方而有可能与车辆碰撞的危险区域时所使用的学习用数据的图像处理方法、图像处理装置及其程序。
标号的说明
10、10A、10B图像处理装置；11、11A注释部；12筛选部；13、20、20B、30、40存储部；14B注释赋予部；60、61、62、63、64、65、67人物；66汽车；101a、101b、101c、101d、102、102A、103a、103i、103n、104a、104i、104n帧；111取得部；112、112A判定部；113决定部；114赋予部；121第1筛选部；122第2筛选部；1011、1021、1031、1041道路。

Claims (12)

1.一种图像处理方法，包括：
取得步骤，取得多个图像，所述多个图像是被赋予第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，所述第1注释表示至少一个是人物区域的两个以上的第1区域，所述多个图像至少包含一个以上的所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为阈值以下的图像；
判定步骤，在所述取得步骤中取得的所述多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定所述两个以上的第1区域各自的位置；
决定步骤，确定所述多个图像中的在所述判定步骤中判定为所述两个以上的第1区域各自的位置不在所述行驶路径中的最初的第1时刻的第1图像，将所确定的所述第1图像中的所述两个以上的第1区域彼此之间的区域决定为第2区域；以及
赋予步骤，向所述第1时刻的第1图像赋予表示在所述决定步骤中决定出的所述第2区域的第2注释。
2.根据权利要求1所述的图像处理方法，
在所述决定步骤中，进一步，
确定所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为所述阈值以下的第2图像，
将从所确定的所述第1图像到所述第2图像为止所包含的时序上连续的多个图像中的所述两个以上的第1区域彼此之间的区域决定为所述第2区域。
3.根据权利要求1或2所述的图像处理方法，
所述图像处理方法还包括：
第1筛选步骤，选择第1筛选图像，所述第1筛选图像是由搭载于所述车辆的车载摄像头拍摄到的时序上连续的、与表示所述车辆的制动强度或加速度的信息相关联的所有图像中的从所述车辆的制动强度或加速度比阈值大的时刻到一定期间前的时刻为止的多个图像；和
第2筛选步骤，从在所述第1筛选步骤中选择出的所述第1筛选图像中选择所述多个图像。
4.根据权利要求3所述的图像处理方法，
所述图像处理方法还包括如下工作人员步骤：在所述第1筛选步骤之前，使众包的工作人员对所述所有图像赋予表示存在于图像中的所述第1区域的第1注释。
5.根据权利要求4所述的图像处理方法，
所述图像处理方法还包括如下工作人员步骤：在所述第2筛选步骤之前，使众包的工作人员对在所述第1筛选步骤中选择出的所述第1筛选图像赋予表示存在于该第1筛选图像中的所述第1区域的第1注释。
6.根据权利要求1或2所述的图像处理方法，
所述两个以上的第1区域分别是表示人物的人物区域。
7.根据权利要求1或2所述的图像处理方法，
所述两个以上的第1区域包括，表示人物的人物区域，和表示驻停车中的汽车的汽车区域。
8.根据权利要求1或2所述的图像处理方法，
所述第2区域是若所述两个以上的第1区域所示的物体彼此接近则至少一个所述物体会横穿所述车辆的前方而有可能与所述车辆碰撞的危险区域，
所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含所述第2区域的面积越小则成为越高的值的危险度。
9.根据权利要求1或2所述的图像处理方法，
所述第2区域是若所述两个以上的第1区域所示的物体彼此接近则至少一个所述物体会横穿所述车辆的前方而有可能与所述车辆碰撞的危险区域，
所述图像处理方法还包括如下危险度赋予步骤：使在所述赋予步骤中赋予的所述第2注释还包含危险度，所述危险度在构成所述第2区域的一侧区域及另一侧区域中不同，所述危险度在夹着所述第2区域的两个所述第1区域中移动的大小大的所述第1区域所在侧的所述一侧区域或所述另一侧区域成为高的值。
10.根据权利要求1或2所述的图像处理方法，
所述判定步骤包括：
第1判定步骤，在所述取得步骤中取得的多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定未被赋予所述第1注释的最初的图像；和
第2判定步骤，对于在所述第1判定步骤中判定出的所述最初的图像的第3时刻的时序上的下一时刻的图像中的所述第1区域，一边从所述第3时刻的图像开始按照时序依次回溯时刻，一边通过图像处理判定在沿朝向与所述车辆的移动方向垂直的方向的方向挪动后的图像各自中的位置是否存在所述第1区域。
11.一种图像处理装置，具备：
取得部，取得多个图像，所述多个图像是被赋予第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，所述第1注释表示至少一个是人物区域的两个以上的第1区域，所述多个图像至少包含一个以上的所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为阈值以下的图像；
判定部，在所述取得部取得的所述多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定所述两个以上的第1区域各自的位置；
决定部，确定所述多个图像中的在所述判定部中判定为所述两个以上的第1区域各自的位置不在所述行驶路径中的最初的第1时刻的第1图像，将所确定的所述第1图像中的所述两个以上的第1区域彼此之间的区域决定为第2区域；以及
赋予部，向所述第1时刻的第1图像赋予表示由所述决定部决定出的所述第2区域的第2注释。
12.一种计算机可读的记录介质，记录有使计算机执行如下步骤的程序：
取得步骤，取得多个图像，所述多个图像是被赋予第1注释且由搭载于车辆的车载摄像头拍摄到的时序上连续的多个图像，所述第1注释表示至少一个是人物区域的两个以上的第1区域，所述多个图像至少包含一个以上的所述两个以上的第1区域存在于所述车辆的行驶路径中且所述第1区域彼此的距离为阈值以下的图像的多个图像；
判定步骤，在所述取得步骤中取得的所述多个图像中，一边从时序上的最后的时刻的图像开始依次回溯时刻，一边判定所述两个以上的第1区域各自的位置；
决定步骤，确定所述多个图像中的在所述判定步骤中判定为所述两个以上的第1区域各自的位置不在所述行驶路径中的最初的第1时刻的第1图像，将所确定的所述第1图像中的所述两个以上的第1区域彼此之间的区域决定为第2区域；以及
赋予步骤，向所述第1时刻的第1图像赋予表示在所述决定步骤中决定出的所述第2区域的第2注释。
CN201710100005.5A 2016-03-11 2017-02-23 图像处理方法、图像处理装置及记录介质 Active CN107180067B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662306939P 2016-03-11 2016-03-11
US62/306939 2016-03-11
JP2016196795A JP6726075B2 (ja) 2016-03-11 2016-10-04 画像処理方法、画像処理装置およびプログラム
JP2016-196795 2016-10-04

Publications (2)

Publication Number Publication Date
CN107180067A CN107180067A (zh) 2017-09-19
CN107180067B true CN107180067B (zh) 2022-05-13

Family

ID=81470057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710100005.5A Active CN107180067B (zh) 2016-03-11 2017-02-23 图像处理方法、图像处理装置及记录介质

Country Status (1)

Country Link
CN (1) CN107180067B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6960875B2 (ja) * 2018-03-22 2021-11-05 本田技研工業株式会社 撮像装置および撮像システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530420A (en) * 1993-12-27 1996-06-25 Fuji Jukogyo Kabushiki Kaisha Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
CN105128836A (zh) * 2014-05-30 2015-12-09 株式会社万都 自主紧急制动系统及其中识别行人的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354438B (zh) * 2008-08-28 2011-12-28 阮树成 毫米波时分线性调频多目标检测汽车防撞雷达
US20110182493A1 (en) * 2010-01-25 2011-07-28 Martin Huber Method and a system for image annotation
CN105915880B (zh) * 2010-08-10 2018-02-23 株式会社尼康 图像处理装置和图像处理方法
TW201405486A (zh) * 2012-07-17 2014-02-01 Univ Nat Taiwan Science Tech 利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法
JP5892254B2 (ja) * 2012-08-31 2016-03-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN105393252B (zh) * 2013-04-18 2019-04-19 数字标记公司 生理数据采集和分析

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530420A (en) * 1993-12-27 1996-06-25 Fuji Jukogyo Kabushiki Kaisha Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
CN105128836A (zh) * 2014-05-30 2015-12-09 株式会社万都 自主紧急制动系统及其中识别行人的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Left-turn gap acceptance models considering pedestrian movement characteristics;Wael K.M.Alhajyaseen，等;《Accident Analysis & Prevention》;20130131;第50卷;第175-185页 *
Pedestrian crossing prediction using multiple context-based models;Sarah Bonnin，等;《17TH International IEEE Conference on Intelligence Transportation System（ITSC）》;20141120;第378-385页 *
Recognising safety critical events: Can automatic video processing improve naturalistic data analyses;Marco Dozza，等;《Accident Analysis & Prevention》;20131130;第60卷;第298-304页 *

Also Published As

Publication number Publication date
CN107180067A (zh) 2017-09-19

Similar Documents

Publication Publication Date Title
CN107181908B (zh) 图像处理方法、图像处理装置及计算机可读记录介质
JP2017162438A (ja) 危険予測方法
JP6227165B2 (ja) 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
CN111033512B (zh) 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置
US10282634B2 (en) Image processing method, image processing apparatus, and recording medium for reducing variation in quality of training data items
JP6109593B2 (ja) 危険情報処理方法、装置及びシステム、並びにプログラム
JP2019179372A (ja) 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム
US20140002657A1 (en) Forward collision warning system and forward collision warning method
CN112513873A (zh) 根据摄像机图像识别行人的运动意图
CN109415053A (zh) 用于控制车辆的方法和设备
US20230253008A1 (en) Systems and methods for utilizing models to predict hazardous driving conditions based on audio data
CN107180067B (zh) 图像处理方法、图像处理装置及记录介质
JP6796442B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP6726075B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP6857211B2 (ja) 情報処理方法およびサーバ装置
US11634159B2 (en) Determining an undesired action of a vehicle
WO2016038872A1 (ja) 情報処理装置、表示方法およびプログラム記憶媒体
KR101849354B1 (ko) 이동 로봇의 경로계획 생성 장치 및 방법
JP7230113B2 (ja) 制御装置、移動体、制御方法及びプログラム
KR101969503B1 (ko) 다기능 도로환경 인지 시스템 및 이를 이용한 도로정보 생성 방법
EP3088270A1 (en) System, method, and computer program for detecting one or more activities of a driver of a vehicle
JP2021033521A (ja) 情報処理装置、自動車制御方法、自動車制御プログラムおよび車両
JP6749210B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN105160333A (zh) 一种车型识别方法及识别装置
JP2018092494A (ja) 画像センサ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant