CN108073943A - 图像数据提取装置以及图像数据提取方法 - Google Patents

图像数据提取装置以及图像数据提取方法 Download PDF

Info

Publication number
CN108073943A
CN108073943A CN201710838703.5A CN201710838703A CN108073943A CN 108073943 A CN108073943 A CN 108073943A CN 201710838703 A CN201710838703 A CN 201710838703A CN 108073943 A CN108073943 A CN 108073943A
Authority
CN
China
Prior art keywords
image data
study
extracted
dynamic
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710838703.5A
Other languages
English (en)
Inventor
庄田幸惠
谷川彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN108073943A publication Critical patent/CN108073943A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及图像数据提取装置以及图像数据提取方法，图像数据提取装置具备存储装置和电路，所述电路在运行中执行包括以下的工作：从配置于可移动的移动体的拍摄装置取得动态图像数据；取得与所述移动体和所述拍摄装置的至少一方的移动有关的移动信息；基于所述移动信息从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。

Description

图像数据提取装置以及图像数据提取方法
技术领域
本公开涉及从动态图像数据中提取在对图像中的对象物进行识别的识别器的学习中使用的学习用图像数据的图像数据提取装置以及图像数据提取方法。
背景技术
以往已知使用识别器识别图像数据中的对象物的识别装置。在以往的识别装置中，通过使识别器进行机器学习，提高了识别器的识别精度。在根据动态图像数据制作用于机器学习的学习数据的情况下，为了增加学习数据的变化(variation)，对按适当的时间间隔提取出的图像数据进行注释处理。在注释处理中，通过用户输入表示识别器要识别的对象物的正解标签，对学习用图像数据赋予所输入的正解标签。
例如，在非专利文献1所记载的行人检测中，贴标机(labeller)对动态图像数据的全部帧，描画有表示行人整体的全部范围的边界框(BB)。
现有技术文献
非专利文献1：Piotr Dollar，Christian Wojek，Bernt Schiele，Pietro Perona，“Pedestrian Detection:A Benchmark”，The IEEE Conference on Computer Vision andPattern Recognition(CVPR)，20-25June 2009，pp.304-311
发明内容
发明要解决的技术问题
在非专利文献1所示的以往的行人检测中，将动态图像数据的全部帧作为对象进行注释处理。在将动态图像数据的全部帧作为对象进行了注释处理的情况下，注释处理会花费大量时间。
因此，为了在削减注释处理的同时也增加学习数据的变化，考虑按一定的时间间隔提取注释处理对象的帧。
然而，在按一定的时间间隔提取出了帧的情况下，会提取未包含对象物的帧的图像数据，在注释处理中徒劳地浪费了时间。
本公开是为了解决上述的问题而完成的，其目的在于，提供能够增加学习数据的变化、并且能够削减注释处理的图像数据提取装置以及图像数据提取方法。
用于解决问题的技术方案
本公开涉及的图像数据提取装置，具备存储装置和电路，所述电路在运行中执行包括以下的工作：从配置于可移动的移动体的拍摄装置取得动态图像数据；取得与所述移动体和所述拍摄装置的至少一方的移动有关的移动信息；基于所述移动信息从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
发明的效果
根据本公开，能够增加学习数据的变化，并且能够削减注释处理。
附图说明
图1是表示本实施方式1涉及的自动驾驶车辆的构成的框图。
图2是表示本实施方式1涉及的图像数据提取装置的构成的框图。
图3是表示本实施方式1涉及的学习装置的构成的框图。
图4是用于对本实施方式1涉及的图像数据提取装置的工作进行说明的流程图。
图5是用于对本实施方式1涉及的学习装置的工作进行说明的流程图。
图6是表示本实施方式2涉及的图像数据提取装置的构成的框图。
图7是用于对本实施方式2涉及的图像数据提取装置的工作进行说明的流程图。
图8是表示本实施方式3涉及的图像数据提取装置的构成的框图。
图9是用于对本实施方式3涉及的图像数据提取装置的工作进行说明的流程图。
图10是表示本实施方式4涉及的图像数据提取装置的构成的框图。
图11是用于对本实施方式4涉及的图像数据提取装置的工作进行说明的流程图。
图12是用于说明本实施方式4涉及的图像数据提取装置的区域提取处理的示意图。
图13是表示本实施方式5涉及的图像数据提取装置的构成的框图。
图14是用于对本实施方式5涉及的图像数据提取装置的工作进行说明的流程图。
图15A是用于说明本实施方式5涉及的图像数据提取装置的图像数据提取处理的示意图。
图15B是用于说明本实施方式5涉及的图像数据提取装置的图像数据提取处理的示意图。
具体实施方式
(发明本公开涉及的一个技术方案的经过)
如上所述，例如，在非专利文献1所记载的行人检测中，贴标机对动态图像数据的全部帧，描画有表示行人整体的全部范围的边界框(BB)。
在非专利文献1所示的以往的行人检测中，将动态图像数据的全部帧作为对象进行注释处理。在将动态图像数据的全部帧作为对象进行了注释处理的情况下，注释处理会花费大量时间。
因此，为了在削减注释处理的同时也增加学习数据的变化，考虑按一定的时间间隔提取注释处理对象的帧。
然而，在按一定的时间间隔提取了帧的情况下，有可能会提取未包含对象物的帧的图像数据，在注释处理中徒劳地浪费了时间。例如，在从由位置固定的监视摄像头拍摄到的动态图像数据中检测人物的情况下，根据时间段不同，也会包含很多完全没有拍到人物的图像数据。另外，在从随着时间经过而变化少的动态图像数据中检测人物的情况下，会对大致相同的图像数据进行注释处理，无法增加学习数据的变化。
为了解决以上的问题，本公开的一个技术方案涉及的图像数据提取装置，具备存储装置和电路，所述电路在运行中执行包括以下的工作：从配置于可移动的移动体的拍摄装置取得动态图像数据；取得与所述移动体和所述拍摄装置的至少一方的移动有关的移动信息；基于所述移动信息从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
根据该构成，从配置于可移动的移动体的拍摄装置取得动态图像数据。取得与移动体和拍摄装置的至少一方的移动有关的移动信息。基于移动信息从动态图像数据中提取学习用图像数据。
因此，可基于移动信息提取包含对象物的可能性高的图像数据，所以能够增加学习数据的变化，并且能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，所述移动信息包含所述移动体的移动速度，在所述提取中，基于所述移动速度从所述动态图像数据中提取所述学习用图像数据。
根据该构成，移动信息包含移动体的移动速度。因为基于移动速度从动态图像数据中提取学习用图像数据，所以不需要对动态图像数据所包含的全部图像数据进行注释处理，能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，在所述提取中，在所述移动速度为预定的速度以上的情况下，按第1帧间隔从所述动态图像数据中提取所述学习用图像数据，在所述移动速度比预定的速度慢的情况下，按比所述第1帧间隔长的第2帧间隔从所述动态图像数据中提取所述学习用图像数据。
根据该构成，在移动速度为预定的速度以上的情况下，按第1帧间隔从动态图像数据中提取学习用图像数据，在移动速度比预定的速度慢的情况下，按比第1帧间隔长的第2帧间隔从动态图像数据中提取学习用图像数据。
因此，在移动体正在高速移动的情况下，使提取学习用图像数据的频度提高，使要取得的学习用图像数据的数量增加，由此能够增加学习用图像数据的变化。另外，在移动体正在低速移动的情况下，使提取学习用图像数据的频度降低，使要取得的学习用图像数据的数量减少，由此能够削减相同的学习用图像数据，能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，所述移动信息包含所述移动体的加速度，在所述提取中，基于所述加速度从所述动态图像数据中提取所述学习用图像数据。
根据该构成，移动信息包含移动体的加速度。因为基于加速度从动态图像数据中提取学习用图像数据，所以不需要对动态图像数据所包含的全部图像数据进行注释处理，能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，在所述提取中，判断所述加速度是否为预定的加速度以上，在判断为所述加速度为预定的加速度以上的情况下，从所述动态图像数据中提取所述学习用图像数据，在判断为所述加速度小于预定的加速度的情况下，不从所述动态图像数据中提取所述学习用图像数据。
根据该构成，判断加速度是否为预定的加速度以上，在判断为加速度为预定的加速度以上的情况下，从动态图像数据中提取学习用图像数据，在判断为加速度小于预定的加速度的情况下，不从动态图像数据中提取学习用图像数据。
因此，可在判断为加速度为预定的加速度以上的情况下，从动态图像数据中提取学习用图像数据，在判断为加速度比预定的加速度小的情况下，不从动态图像数据中提取学习用图像数据，所以使提取学习用图像数据的频度降低，使要取得的学习用图像数据的数量减少，由此能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，所述移动信息包含所述移动体的转向角度，在所述提取中，基于所述转向角度从所述动态图像数据中提取所述学习用图像数据。
根据该构成，移动信息包含移动体的转向角度。因为基于转向角度从动态图像数据中提取学习用图像数据，所以不需要对动态图像数据所包含的全部图像数据进行注释处理，能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，在所述提取中，判断所述转向角度是否为预定的角度以上，在判断为所述转向角度为预定的角度以上的情况下，从所述动态图像数据中提取所述学习用图像数据，在判断为所述转向角度小于预定的角度的情况下，不从所述动态图像数据中提取所述学习用图像数据。
根据该构成，判断转向角度是否为预定的角度以上，在判断为转向角度为预定的角度以上的情况下，从动态图像数据中提取学习用图像数据，在判断为转向角度小于预定的角度的情况下，不从动态图像数据中提取学习用图像数据。
因此，可在判断为转向角度为预定的角度以上的情况下，从动态图像数据中提取学习用图像数据，在判断为转向角度小于预定的角度的情况下，不从动态图像数据中提取学习用图像数据，所以使提取学习用图像数据的频度降低，使要取得的学习用图像数据的数量减少，由此能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，所述工作还包括：算出所述提取出的学习用图像数据与所述提取出的学习用图像数据的前一个提取出的学习用图像数据之间的每个像素的第1图像变化量；算出所述提取出的学习用图像数据的前一个提取出的学习用图像数据与所述提取出的学习用图像数据的前第二个提取出的学习用图像数据之间的每个像素的第2图像变化量；从所述提取出的学习用图像数据中，提取由所述第1图像变化量的值和所述第2图像变化量的值不同的像素构成的区域来作为新的学习用图像数据。
根据该构成，算出所提取出的学习用图像数据与所提取出的学习用图像数据的前一个提取出的学习用图像数据之间的每个像素的第1图像变化量，并且算出所提取出的学习用图像数据的前一个提取出的学习用图像数据与所提取出的学习用图像数据的前第二个提取出的学习用图像数据之间的每个像素的第2图像变化量。从所提取出的学习用图像数据中，提取由第1图像变化量的值和第2图像变化量的值不同的像素构成的区域来作为新的学习用图像数据。
因此，不是将从动态图像数据中提取出的图像数据直接作为学习用图像数据进行蓄积，而是仅将从动态图像数据中提取出的图像数据中的、从上次提取出的图像数据发生了变化的区域作为学习用图像数据进行蓄积，所以能够削减要蓄积的数据量。
另外，在上述的图像数据提取装置中，也可以为，所述移动信息包含所述移动体的移动速度，所述工作还包括：按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量；根据所述移动速度来修正所述图像变化量，在所述提取中，在修正后的所述图像变化量的总和为预定的值以上的情况下，从所述动态图像数据中提取所述学习用图像数据。
根据该构成，移动信息包含移动体的移动速度。按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量。根据移动速度来修正图像变化量。在修正后的图像变化量的总和为预定的值以上的情况下，从动态图像数据中提取学习用图像数据。
因此，在根据移动体的移动速度修正后的图像变化量的总和为预定的值以上的情况下，可从动态图像数据中提取学习用图像数据，所以能够根据图像数据中的物体的实际的移动量从动态图像数据中提取学习用图像数据。
另外，在上述的图像数据提取装置中，也可以为，与所述拍摄装置的移动有关的移动信息，包含所述拍摄装置的镜头的移动速度或移动角速度，
在所述提取中，基于所述移动速度或所述移动角速度，从所述动态图像数据中提取所述学习用图像数据。
根据该构成，与拍摄装置的移动有关的移动信息，包含拍摄装置的镜头的移动速度或移动角速度。因为基于移动速度或移动角速度从动态图像数据中提取学习用图像数据，所以不需要对动态图像数据所包含的全部图像数据进行注释处理，能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，在所述提取中，在所述移动速度为预定的速度以上或所述移动角速度为预定的角速度以上的情况下，按第1帧间隔从所述动态图像数据中提取所述学习用图像数据，在所述移动速度比预定的速度慢或所述移动角速度比预定的角速度慢的情况下，按比所述第1帧间隔长的第2帧间隔从所述动态图像数据中提取所述学习用图像数据。
根据该构成，在移动速度为预定的速度以上或移动角速度为预定的角速度以上的情况下，按第1帧间隔从动态图像数据中提取学习用图像数据。在移动速度比预定的速度慢或移动角速度比预定的角速度慢的情况下，按比第1帧间隔长的第2帧间隔从动态图像数据中提取学习用图像数据。
因此，在拍摄装置的镜头正在高速移动的情况下，使提取学习用图像数据的频度提高，使要取得的学习用图像数据的数量增加，由此能够增加学习用图像数据的变化。另外，在拍摄装置的镜头正在低速移动的情况下，使提取学习用图像数据的频度降低，使要取得的学习用图像数据的数量减少，由此能够削减相同的学习用图像数据，能够削减注释处理。
另外，在上述的图像数据提取装置中，也可以为，与所述拍摄装置的移动有关的移动信息，包含所述拍摄装置的镜头的移动速度或移动角速度，所述工作还包括：按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量；根据所述移动速度或所述移动角速度来修正所述图像变化量，在所述提取中，在修正后的所述图像变化量的总和为预定的值以上的情况下，从所述动态图像数据中提取所述学习用图像数据。
根据该构成，与拍摄装置的移动有关的移动信息，包含拍摄装置的镜头的移动速度或移动角速度。按动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量。根据移动速度或移动角速度来修正图像变化量。在修正后的图像变化量的总和为预定的值以上的情况下，从动态图像数据中提取学习用图像数据。
因此，在根据拍摄装置的镜头的移动速度或移动角速度修正后的图像变化量的总和为预定的值以上的情况下，可从动态图像数据中提取学习用图像数据，所以能够根据图像数据中的物体的实际的移动量从动态图像数据中提取学习用图像数据。
另外，在上述的图像数据提取装置中，也可以为，所述拍摄装置的镜头的移动速度或移动角速度，基于与所述移动体的移动相对的所述拍摄装置的相对移动来算出。
根据该构成，能够基于与移动体的移动相对的拍摄装置的相对移动来算出拍摄装置的镜头的移动速度或移动角速度。
另外，在上述的图像数据提取装置中，也可以为，所述拍摄装置的镜头的移动速度或移动角速度，通过所述拍摄装置自身的活动而产生。
根据该构成，能够利用因拍摄装置自身的活动而产生的拍摄装置的镜头的移动速度或移动角速度。
另外，在上述的图像数据提取装置中，也可以为，所述拍摄装置的镜头的移动速度或移动角速度，通过所述拍摄装置的变焦、摇动或俯仰而产生。
根据该构成，能够利用因拍摄装置的变焦、摇动或俯仰而产生的拍摄装置的镜头的移动速度或移动角速度。
本公开的另一技术方案涉及的图像数据提取方法，包括：从配置于可移动的移动体的拍摄装置取得动态图像数据；取得与所述移动体和所述拍摄装置的至少一方的移动有关的移动信息；基于所述移动信息从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
根据该构成，从配置于可移动的移动体的拍摄装置取得动态图像数据。取得与移动体和拍摄装置的至少一方的移动有关的移动信息。基于移动信息从动态图像数据中提取学习用图像数据。
因此，可基于移动信息提取包含对象物的可能性高的图像数据，所以能够增加学习数据的变化，并且能够削减注释处理。
本公开的另一技术方案涉及的图像数据提取方法，包括：从固定的拍摄装置取得动态图像数据；按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量；基于所述算出的图像变化量从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
根据该构成，从固定的拍摄装置取得动态图像数据。按动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量。基于所算出的图像变化量从动态图像数据中提取学习用图像数据。
因此，可在图像发生了变化的情况下从动态图像数据中提取学习用图像数据，所以能够增加学习数据的变化，并且能够削减注释处理。
以下，参照附图对本公开的实施方式进行说明。此外，以下的实施方式是使本公开具体化的一例，并非限定本公开的技术范围。
(实施方式1)
图1是表示本实施方式1涉及的自动驾驶车辆的构成的框图。图1所示的自动驾驶车辆1具备自动驾驶系统301、车辆控制处理器302、制动器控制系统303、加速器控制系统304、转向控制系统305、车辆导航系统306、摄像头307、GPS(Global Positioning System，全球定位系统)308、识别装置309以及图像数据提取装置11。
自动驾驶车辆1是进行自主行驶的车辆。在本实施方式1中，自动驾驶车辆1是汽车，但本公开并不特别限定于此，自动驾驶车辆1也可以是摩托车、卡车、公交车、电车以及飞行器等各种各样的车辆。
自动驾驶系统301具备处理器310、存储器311、用户输入部312、显示部313以及传感器314。
存储器311是计算机可读取的记录介质，例如是硬盘驱动器、ROM(Read OnlyMemory)、RAM(Random Access Memory)、光盘以及半导体存储器等。存储器311存储有自动驾驶程序321以及数据322。数据322包含地图数据331。地图数据331包含地形信息、表示行驶车道的车道信息、与交叉路口有关的交叉路口信息以及表示限制速度的限制速度信息等。此外，作为地图数据331，并不限于上述的信息。
处理器310例如是CPU(中央运算处理装置)，执行存储器311所存储的自动驾驶程序321。通过处理器310执行自动驾驶程序321，自动驾驶车辆1自主地行驶。另外，处理器310从存储器311中读出数据322，向存储器311写入数据322，更新存储器311所存储的数据322。
用户输入部312受理由用户进行的各种信息的输入。显示部313显示各种信息。传感器314测定自动驾驶车辆1周围的环境以及自动驾驶车辆1内部的环境。传感器314例如包括计测自动驾驶车辆1的速度的速度计、计测自动驾驶车辆1的加速度的加速度计、计测自动驾驶车辆1的方向的陀螺仪、以及发动机温度传感器等。此外，传感器314并不限于上述的传感器。
车辆控制处理器302控制自动驾驶车辆1。制动器控制系统303进行控制以使自动驾驶车辆1减速。加速器控制系统304控制自动驾驶车辆1的速度。转向控制系统305调节自动驾驶车辆1的行进方向。车辆导航系统306决定自动驾驶车辆1的行驶路径，提示自动驾驶车辆1的行驶路径。
摄像头307是拍摄装置的一例，配置于自动驾驶车辆1的后视镜(back mirror)的附近，拍摄自动驾驶车辆1的前方的图像。此外，摄像头307也可以不仅拍摄自动驾驶车辆1的前方还拍摄自动驾驶车辆1的后方、自动驾驶车辆1的右方以及自动驾驶车辆1的左方等自动驾驶车辆1周围的图像。GPS308取得自动驾驶车辆1的当前位置。
识别装置309使用识别器，从由摄像头307拍摄到的图像数据中识别对象物，输出识别结果。处理器310基于识别装置309的识别结果来控制自动驾驶车辆1的自主驾驶。例如，在对象物为行人的情况下，识别装置309从由摄像头307拍摄到的图像数据中识别行人，输出识别结果。在从图像数据中识别出行人的情况下，处理器310基于识别装置309的识别结果，控制自动驾驶车辆1的自主驾驶以避开行人。
此外，识别装置309也可以从图像数据中不仅识别行人还识别其他车辆、位于道路上的障碍物、交通信号、道路标识、行驶车道或者树木等车辆外部的物体。
处理器310基于传感器314的感测(sensing)结果以及识别装置309的识别结果，控制自动驾驶车辆1的方向以及速度。处理器310通过加速器控制系统304使自动驾驶车辆1加速，通过制动器控制系统303使自动驾驶车辆1减速，通过转向控制系统305使自动驾驶车辆1的方向变化。
图像数据提取装置11从动态图像数据中提取在对图像中的对象物进行识别的识别器的学习中使用的学习用图像数据。图像数据提取装置11从由摄像头307拍摄到的动态图像数据中提取用于使由识别装置309使用的识别器学习的学习用图像数据。
此外，在本实施方式1中，自动驾驶车辆1具备图像数据提取装置11，但本公开并不特别限定于此，也可以是驾驶员进行驾驶的车辆具备图像数据提取装置11。
图2是表示本实施方式1涉及的图像数据提取装置的构成的框图。图2所示的图像数据提取装置11具备车辆信息取得部101、提取时刻(timing)决定部102、动态图像数据取得部103、动态图像数据蓄积部104、图像数据提取部105以及提取图像数据蓄积部106。
车辆信息取得部101取得与自动驾驶车辆1的移动有关的车辆信息。提取时刻决定部102基于由车辆信息取得部101取得的车辆信息，决定从动态图像数据中提取学习用图像数据的时刻。
动态图像数据取得部103从配置于可移动的自动驾驶车辆1的摄像头取得动态图像数据。动态图像数据蓄积部104蓄积由动态图像数据取得部103取得的动态图像数据。
图像数据提取部105根据由提取时刻决定部102决定的时刻，从动态图像数据蓄积部104所蓄积的动态图像数据中提取学习用图像数据。提取图像数据蓄积部106蓄积由图像数据提取部105提取出的学习用图像数据。
车辆信息例如包含自动驾驶车辆1的移动速度。该情况下，图像数据提取部105基于移动速度从动态图像数据中提取学习用图像数据。即，图像数据提取部105在移动速度为预定的速度以上的情况下，按第1帧间隔从动态图像数据中提取学习用图像数据，在移动速度比预定的速度慢的情况下，按比第1帧间隔长的第2帧间隔从动态图像数据中提取学习用图像数据。
另外，车辆信息例如也可以包含自动驾驶车辆1的加速度。该情况下，图像数据提取部105也可以基于加速度从动态图像数据中提取学习用图像数据。即，图像数据提取部105也可以判断加速度是否为预定的加速度以上，在判断为加速度为预定的加速度以上的情况下，从动态图像数据中提取学习用图像数据，在判断为加速度小于预定的加速度的情况下，不从动态图像数据中提取学习用图像数据。
另外，车辆信息例如也可以包含自动驾驶车辆1的转向角度。图像数据提取部105也可以基于转向角度从动态图像数据中提取学习用图像数据。即，图像数据提取部105也可以判断转向角度是否为预定的角度以上，在判断为转向角度为预定的角度以上的情况下，从动态图像数据中提取学习用图像数据，在判断为转向角度小于预定的角度的情况下，不从动态图像数据中提取学习用图像数据。
接着，对本实施方式1涉及的学习装置的构成进行说明。
图3是表示本实施方式1涉及的学习装置的构成的框图。学习装置3例如由个人计算机构成，生成用于识别图像数据中的对象物的识别器。学习装置3具备提取图像数据蓄积部400、图像数据读出部401、用户输入部402、标签赋予部403、学习部404以及存储器405。
提取图像数据蓄积部400蓄积由图像数据提取装置11提取出的学习用图像数据。此外，自动驾驶车辆1和学习装置3经由网络以能够互相通信的方式连接，自动驾驶车辆1的通信部(未图示)将图像数据提取装置11的提取图像数据蓄积部106所蓄积的学习用图像数据向学习装置3发送，学习装置3的通信部(未图示)将接收到的学习用图像数据存储于提取图像数据蓄积部400。此外，图像数据提取装置11的提取图像数据蓄积部106所蓄积的学习用图像数据，也可以记录于USB(通用串行总线)闪速驱动器或者存储器卡等便携式记录介质，学习装置3也可以从便携式记录介质中读出学习用图像数据并存储于提取图像数据蓄积部400。
图像数据读出部401从提取图像数据蓄积部400中读出学习用图像数据。
用户输入部402例如由触摸面板或者键盘等用户接口构成，受理由用户进行的表示识别器要识别的对象物的正解标签的输入。例如，如果对象物为行人，则用户输入部402受理表示行人的正解标签的输入。此外，正解标签在机器学习中使用。
标签赋予部403进行将由用户输入部402输入的正解标签赋予从提取图像数据蓄积部400读出的学习用图像数据的注释处理。
学习部404将学习用图像数据输入预定的模型，学习表示对象物的特征的信息，将表示对象物的特征的信息适用于预定的模型。学习部404使用作为机器学习之一的深度学习来学习学习用图像数据。此外，深度学习是一般性的技术，因此省略说明。
存储器405存储由学习部404生成的识别器。存储器405存储识别器406。识别器406由自动驾驶车辆1的识别装置309使用。识别器406也可以经由网络发送给自动驾驶车辆1。
此外，在本实施方式1中，也可以是自动驾驶车辆1具备学习装置3。
接着，对本实施方式1涉及的图像数据提取装置11的工作进行说明。
图4是用于对本实施方式1涉及的图像数据提取装置的工作进行说明的流程图。
首先，在步骤S1中，摄像头307拍摄动态图像。
接着，在步骤S2中，动态图像数据取得部103取得由摄像头307拍摄到的动态图像数据。
接着，在步骤S3中，动态图像数据取得部103将所取得的动态图像数据蓄积于动态图像数据蓄积部104。
接着，在步骤S4中，车辆信息取得部101取得与自动驾驶车辆1的移动有关的车辆信息。在此，车辆信息包含自动驾驶车辆1的移动速度。
接着，在步骤S5中，提取时刻决定部102判断自动驾驶车辆1的移动速度是否为预定的速度以上。
在此，在判断为自动驾驶车辆1的移动速度为预定的速度以上的情况下(步骤S5：是)，在步骤S6中，提取时刻决定部102将从动态图像数据中提取学习用图像数据的提取时刻决定为第1帧间隔。
另一方面，在判断为自动驾驶车辆1的移动速度比预定的速度慢的情况下(步骤S5：否)，在步骤S7中，提取时刻决定部102将从动态图像数据中提取学习用图像数据的提取时刻决定为比第1帧间隔长的第2帧间隔。
接着，在步骤S8中，图像数据提取部105根据由提取时刻决定部102决定的提取时刻，从动态图像数据蓄积部104所蓄积的动态图像数据中提取学习用图像数据。在提取时刻被决定为第1帧间隔的情况下，图像数据提取部105按第1帧间隔从动态图像数据中提取学习用图像数据。另外，在提取时刻被决定为第2帧间隔的情况下，图像数据提取部105按第2帧间隔从该动态图像数据中提取学习用图像数据。
接着，在步骤S9中，图像数据提取部105将所提取出的学习用图像数据蓄积于提取图像数据蓄积部106。然后，返回到步骤S1的处理，反复进行步骤S1～步骤S9的处理，直到动态图像的拍摄结束为止。
如此，在自动驾驶车辆1正在高速移动的情况下，通过使提取学习用图像数据的频度提高，使要取得的学习用图像数据的数量增加，由此能够增加学习用图像数据的变化。另外，在自动驾驶车辆1正在低速移动的情况下，通过使提取学习用图像数据的频度降低，使要取得的学习用图像数据的数量减少，由此能够削减相同的学习用图像数据，能够削减注释处理。
接着，对本实施方式1涉及的学习装置3的工作进行说明。
图5是用于对本实施方式1涉及的学习装置的工作进行说明的流程图。
首先，在步骤S11中，图像数据读出部401从提取图像数据蓄积部400中读出学习用图像数据。
接着，在步骤S12中，标签赋予部403将由用户输入部402输入的表示识别器要识别的对象物的正解标签赋予由图像数据读出部401读出的学习用图像数据。
接着，在步骤S13中，学习部404将学习用图像数据输入神经网络模型，学习表示对象物的特征的权重信息，将表示对象物的特征的权重信息适用于神经网络模型。
接着，在步骤S14中，图像数据读出部401判断是否已从提取图像数据蓄积部400中读出全部学习用图像数据。在此，在判断为已读出全部学习用图像数据的情况下(步骤S14：是)，结束处理。另一方面，在判断为未读出全部学习用图像数据的情况下(步骤S14：否)，返回到步骤S11的处理。
(实施方式2)
对本实施方式2涉及的图像数据提取装置进行说明。
图6是表示本实施方式2涉及的图像数据提取装置的构成的框图。此外，本实施方式2的自动驾驶车辆的构成与实施方式1的自动驾驶车辆1的构成相同。自动驾驶车辆1取代图1所示的图像数据提取装置11而具备图6所示的图像数据提取装置12。另外，本实施方式2的学习装置的构成与实施方式1的学习装置3的构成相同。
图6所示的图像数据提取装置12具备车辆信息取得部101、提取时刻决定部102、动态图像数据取得部103、动态图像数据蓄积部104、图像数据提取部105、变化量算出部111、区域提取部112以及提取图像数据蓄积部113。此外，在本实施方式2中，对与实施方式1相同的构成标注相同的标号，省略说明。
变化量算出部111算出所提取出的学习用图像数据与所提取出的学习用图像数据的前一个提取出的学习用图像数据之间的每个像素的第1图像变化量，并且算出所提取出的学习用图像数据的前一个提取出的学习用图像数据与所提取出的学习用图像数据的前第二个提取出的学习用图像数据之间的每个像素的第2图像变化量。
第1图像变化量是表示所提取出的学习用图像数据的前一个提取出的学习用图像数据的各像素向所提取出的学习用图像数据的哪个像素进行了移动的移动量向量(光流)。另外，第2图像变化量是表示所提取出的学习用图像数据的前第二个提取出的学习用图像数据的各像素向所提取出的学习用图像数据的前一个提取出的学习用图像数据的哪个像素进行了移动的移动量向量(光流)。
变化量算出部111算出所提取出的学习用图像数据的各像素的移动量向量和所提取出的学习用图像数据的前一个提取出的学习用图像数据的各像素的移动量向量。
区域提取部112从所提取出的学习用图像数据中提取由第1图像变化量的值和第2图像变化量的值不同的像素构成的区域来作为新的学习用图像数据。区域提取部112对所提取出的学习用图像数据的各像素的移动量向量和所提取出的学习用图像数据的前一个提取出的学习用图像数据的各像素的移动量向量进行比较，提取由移动量向量的大小或方向不同的像素构成的区域。
提取图像数据蓄积部113将由区域提取部112提取出的区域作为学习用图像数据进行蓄积。
接着，对本实施方式2涉及的图像数据提取装置12的工作进行说明。
图7是用于对本实施方式2涉及的图像数据提取装置的工作进行说明的流程图。
此外，图7所示的步骤S21～步骤S28的处理与图4所示的步骤S1～步骤S8的处理相同，因此省略说明。
接着，在步骤S29中，变化量算出部111算出所提取出的学习用图像数据与所提取出的学习用图像数据的前一个提取出的学习用图像数据之间的第1图像变化量，并且算出所提取出的学习用图像数据的前一个提取出的学习用图像数据与所提取出的学习用图像数据的前第二个提取出的学习用图像数据之间的第2图像变化量。
接着，在步骤S30中，区域提取部112对所算出的第1图像变化量和第2图像变化量进行比较，判断是否存在图像变化量互不相同的区域。在此，在判断为不存在图像变化量互不相同的区域的情况下(步骤S30：否)，向步骤S21的处理返回。
另一方面，在判断为存在图像变化量互不相同的区域的情况下(步骤S30：是)，在步骤S31中，区域提取部112从所提取出的学习用图像数据中提取图像变化量互不相同的区域。
接着，在步骤S32中，区域提取部112将所提取出的区域作为学习用图像数据蓄积于提取图像数据蓄积部113。然后，返回到步骤S21的处理，反复进行步骤S21～步骤S32的处理，直到动态图像的拍摄结束为止。
如此，不是将从动态图像数据中提取出的图像数据直接作为学习用图像数据进行蓄积，而是仅将从动态图像数据中提取出的图像数据中的从上次提取出的图像数据发生了变化的区域作为学习用图像数据进行蓄积，因此能够削减要蓄积的数据量。
(实施方式3)
对本实施方式3涉及的图像数据提取装置进行说明。
图8是表示本实施方式3涉及的图像数据提取装置的构成的框图。此外，本实施方式3的自动驾驶车辆的构成与实施方式1的自动驾驶车辆1的构成相同。自动驾驶车辆1取代图1所示的图像数据提取装置11而具备图8所示的图像数据提取装置13。另外，本实施方式3的学习装置的构成与实施方式1的学习装置3的构成相同。
图8所示的图像数据提取装置13具备车辆信息取得部101、动态图像数据取得部103、动态图像数据蓄积部104、变化量算出部121、修正部122、图像数据提取部123以及提取图像数据蓄积部124。此外，在本实施方式3中，对与实施方式1、2相同的构成标注相同的标号，省略说明。
车辆信息取得部101取得包含自动驾驶车辆1的移动速度的车辆信息。6
变化量算出部121按动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量。图像变化量是表示动态图像数据的第1帧的前一个的第2帧的各像素向第1帧的哪个像素进行了移动的移动量向量(光流)。变化量算出部121算出动态图像数据的各帧的各像素的移动量向量。
修正部122根据移动速度来修正图像变化量。修正部122根据取得各帧的图像数据时的移动速度的变化量，修正各帧的图像数据的图像变化量。图像变化量表示图像数据中的物体的移动量向量。因此，根据自动驾驶车辆1的移动速度，可知帧间的自动驾驶车辆1的移动量，通过从图像数据中的物体的移动量减去自动驾驶车辆1的移动量，能够算出图像数据中的物体的实际的移动量。
图像数据提取部123在修正后的图像变化量的总和为预定的值以上的情况下，从动态图像数据中提取学习用图像数据。
提取图像数据蓄积部124蓄积由图像数据提取部123提取出的学习用图像数据。
接着，对本实施方式3涉及的图像数据提取装置13的工作进行说明。
图9是用于对本实施方式3涉及的图像数据提取装置的工作进行说明的流程图。
此外，图9所示的步骤S41～步骤S43的处理与图4所示的步骤S1～步骤S3的处理相同，因此省略说明。
接着，在步骤S44中，变化量算出部121算出所取得的动态图像数据的当前帧的图像数据与当前帧的前一个帧的图像数据之间的各像素的图像变化量。
接着，在步骤S45中，车辆信息取得部101取得与自动驾驶车辆1的移动有关的车辆信息。在此，车辆信息包含自动驾驶车辆1的移动速度。
接着，在步骤S46中，修正部122根据移动速度来修正图像变化量。即，修正部122通过从所取得的动态图像数据的当前帧的图像数据的各像素的图像变化量减去与自动驾驶车辆1的移动速度相应的变化量，由此修正各像素的图像变化量。
接着，在步骤S47中，图像数据提取部123判断当前帧的图像数据的全部像素的图像变化量的总和是否为预定的值以上。在此，在判断为图像变化量的总和小于预定的值的情况下(步骤S47：否)，返回到步骤S41的处理。
另一方面，在判断为图像变化量的总和为预定的值以上的情况下(步骤S47：是)，在步骤S48中，图像数据提取部123将当前帧的图像数据提取为学习用图像数据。
接着，在步骤S49中，图像数据提取部123将所提取出的学习用图像数据蓄积于提取图像数据蓄积部124。然后，返回到步骤S41的处理，反复进行步骤S41～步骤S49的处理，直到动态图像的拍摄结束为止。
如此，根据自动驾驶车辆1的移动速度，可知帧间的自动驾驶车辆1的移动量，通过从图像数据中的物体的移动量减去自动驾驶车辆1的移动量，能够算出图像数据中的物体的实际的移动量。
(实施方式4)
对本实施方式4涉及的图像数据提取装置进行说明。
图10是表示本实施方式4涉及的图像数据提取装置的构成的框图。此外，本实施方式4的学习装置的构成与实施方式1的学习装置3的构成相同。
图10所示的图像数据提取装置14具备动态图像数据取得部131、动态图像数据蓄积部132、变化量算出部133、区域提取部134以及提取图像数据蓄积部135。
摄像头501例如是监视摄像头，对预先决定的预定场所进行拍摄。摄像头501的位置固定。
动态图像数据取得部131从固定的摄像头501取得动态图像数据。
动态图像数据蓄积部132蓄积由动态图像数据取得部131取得的动态图像数据。
变化量算出部133按动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量。图像变化量是表示动态图像数据的第1帧的前一个的第2帧的各像素向第1帧的哪个像素进行了移动的移动量向量(光流)。变化量算出部121算出动态图像数据的各帧的各像素的移动量向量。
区域提取部134基于所算出的图像变化量从动态图像数据中提取学习用图像数据。区域提取部134提取由图像变化量为图像数据整体的代表值以上的像素构成的区域。此外，代表值例如是1个帧的图像数据的全部像素的图像变化量的平均值、1个帧的图像数据的全部像素的图像变化量的最小值、1个帧的图像数据的全部像素的图像变化量的中间值或者1个帧的图像数据的全部像素的图像变化量的众值。区域提取部134对图像数据的各像素的图像变化量(移动量向量)与图像数据的全部像素的图像变化量(移动量向量)的代表值进行比较，提取由图像变化量(移动量向量)为代表值以上的像素构成的区域。
提取图像数据蓄积部135蓄积由区域提取部134提取出的学习用图像数据。区域提取部134将所提取出的区域作为学习用图像数据蓄积于提取图像数据蓄积部135。
接着，对本实施方式4涉及的图像数据提取装置14的工作进行说明。
图11是用于对本实施方式4涉及的图像数据提取装置的工作进行说明的流程图。
首先，在步骤S51中，摄像头501拍摄动态图像。
接着，在步骤S52中，动态图像数据取得部131取得由摄像头501拍摄到的动态图像数据。
接着，在步骤S53中，动态图像数据取得部131将所取得的动态图像数据蓄积于动态图像数据蓄积部132。
接着，在步骤S54中，变化量算出部133算出所取得的动态图像数据的当前帧的图像数据和当前帧的前一个帧的图像数据之间的各像素的图像变化量。
接着，在步骤S55中，区域提取部134判断是否存在图像变化量为图像数据整体的代表值以上的像素。在此，在判断为不存在图像变化量为代表值以上的像素的情况下(步骤S55：否)，向步骤S51的处理返回。
另一方面，在判断为存在图像变化量为代表值以上的像素的情况下(步骤S55：是)，在步骤S56中，区域提取部134提取由图像变化量为图像数据整体的代表值以上的像素构成的区域。
接着，在步骤S57中，区域提取部134将所提取出的区域作为学习用图像数据蓄积于提取图像数据蓄积部135。然后，返回到步骤S51的处理，反复进行步骤S51～步骤S57的处理，直到动态图像的拍摄结束为止。
图12是用于说明本实施方式4涉及的图像数据提取装置的区域提取处理的示意图。图12所示的图像数据601是从固定的摄像头501拍摄的，拍摄到两辆汽车。图12中的箭头示出了图像数据601中的各像素的移动量向量。由于两辆汽车正在移动，因此移动量向量的方向成为汽车的行进方向。
变化量算出部133算出所取得的动态图像数据的当前帧的图像数据601与当前帧的前一个帧的图像数据之间的各像素的移动量向量。因为表示汽车的图像的移动量向量为图像数据整体的代表值以上，所以可从图像数据601中提取包含汽车的区域602、603。此外，在本实施方式4中，区域602、603的形状是包含移动量向量为图像数据整体的代表值以上的像素的矩形形状。区域602、603的形状并不限定于矩形形状。
如此，在图像数据存在变化的情况下，该图像数据被提取为学习用图像数据，因此能够增加学习用图像数据的变化。另外，在图像数据没有变化的情况下，该图像数据不被提取为学习用图像数据，因此能够减少要取得的学习用图像数据的数量，能够削减注释处理。
此外，在本实施方式4中，提取由图像变化量为图像数据整体的代表值以上的像素构成的区域，但本公开并不特别限定于此，也可以判断图像数据的全部像素的图像变化量的总和是否为预定的值以上，在判断为图像变化量的总和为预定的值以上的情况下，提取图像数据作为学习用图像数据。
(实施方式5)
对本实施方式5涉及的图像数据提取装置进行说明。
图13是表示本实施方式5涉及的图像数据提取装置的构成的框图。此外，本实施方式5的学习装置的构成与实施方式1的学习装置3的构成相同。
图13所示的图像数据提取装置15具备动态图像数据取得部131、动态图像数据蓄积部132、变化量算出部133、变化量累计部141、累计值判断部142、图像数据提取部143以及提取图像数据蓄积部144。此外，在本实施方式5中，对与实施方式4相同的构成标注相同的标号，省略说明。
变化量累计部141对由变化量算出部133算出的各像素的图像变化量的总和进行累计。
累计值判断部142判断图像变化量的总和的累计值是否为预定的值以上。
图像数据提取部143在判断为图像变化量的总和的累计值为预定的值以上的情况下，将与判断为累计值为预定的值以上时所累计出的图像变化量的总和对应的图像数据提取为学习用图像数据。
提取图像数据蓄积部144蓄积由图像数据提取部143提取出的学习用图像数据。
接着，对本实施方式5涉及的图像数据提取装置15的工作进行说明。
图14是用于对本实施方式5涉及的图像数据提取装置的工作进行说明的流程图。
此外，图14所示的步骤S61～步骤S64的处理与图11所示的步骤S51～步骤S54的处理相同，因此省略说明。
接着，在步骤S65中，变化量累计部141对由变化量算出部133算出的各像素的图像变化量的总和进行累计。即，变化量累计部141将由变化量算出部133算出的各像素的图像变化量的总和加到累计值上。
接着，在步骤S66中，累计值判断部142判断图像变化量的总和的累计值是否为预定的值以上。在此，在判断为累计值小于预定的值的情况下(步骤S66：否)，向步骤S61的处理返回。
另一方面，在判断为累计值为预定的值以上的情况下(步骤S66：是)，在步骤S67中，图像数据提取部143将与判断为累计值为预定的值以上时所累计出的图像变化量的总和对应的图像数据提取为学习用图像数据。
接着，在步骤S68中，图像数据提取部143将所提取出的学习用图像数据蓄积于提取图像数据蓄积部144。
接着，在步骤S69中，变化量累计部141对累计值进行复位(reset)。然后，返回到步骤S61的处理，反复进行步骤S61～步骤S69的处理，直到动态图像的拍摄结束为止。
图15A、图15B是用于说明本实施方式5涉及的图像数据提取装置的图像数据提取处理的示意图。图15A所示的动态图像数据701由多个帧的图像数据701a～701f构成，图15B所示的动态图像数据702由多个帧的图像数据702a～702f构成。1个帧的图像变化量的总和是1个帧的移动量向量(光流)的向量长度的总和。
对于图像数据701a～701f，分别算出作为图像变化量的移动量向量的向量长度，各图像数据701a～701f各自的移动量向量的总和例如为3。另外，与累计值进行比较的预定的值设为4。时刻t时的累计值为3，时刻t+1时的累计值为6。因为在时刻t+1时累计值成为预定的值以上，所以可从动态图像数据701中提取图像数据701b、图像数据701d以及图像数据701f。
另一方面，对于图像数据702a～702f，分别算出作为图像变化量的移动量向量的向量长度，图像数据702a、702c、702e、702f各自的移动量向量的总和例如为1，图像数据702b、702d各自的移动量向量的总和例如为0。另外，与累计值进行比较的预定的值设为4。时刻t时的累计值为1，时刻t+1时的累计值为1。因为在时刻t+5时累计值成为预定的值以上，所以可从动态图像数据702中提取图像数据702f。
如此，在图像变化量大的情况下，可提取较多帧的图像数据，在图像变化量小的情况下，被提取的图像数据的数量变少，因此能够增加学习数据的变化。
此外，在实施方式1～5中，也可以识别图像数据中的对象物，从动态图像数据中提取至少包含一个对象物的图像数据。
另外，在实施方式1～5中，也可以识别与图像数据中的对象物一起被拍摄的可能性高的物体，从动态图像数据中提取至少包含一个该物体的图像数据。该情况下，例如，对象物为人物，物体为人物持有的包。
另外，在实施方式1～5中，自动驾驶车辆是移动体的一例，也可以是自主飞行的自主飞行器或者自主移动的机器人等其他移动体。
另外，在实施方式1～5中，图像数据提取部也可以基于摄像头的镜头的移动速度或移动角速度，从动态图像数据中提取学习用图像数据。该情况下，图像数据提取部也可以在移动速度为预定的速度以上或移动角速度为预定的角速度以上的情况下，按第1帧间隔从动态图像数据中提取学习用图像数据，在移动速度比预定的速度慢或移动角速度比预定的角速度慢的情况下，按比第1帧间隔长的第2帧间隔从动态图像数据中提取学习用图像数据。
另外，在实施方式3中，修正部122也可以根据摄像头的镜头的移动速度或移动角速度来修正图像变化量。
此外，摄像头的镜头的移动速度或移动角速度也可以基于与车辆(移动体)的移动对应的摄像头的相对移动来算出。另外，摄像头的镜头的移动速度或移动角速度也可以通过摄像头自身的活动而产生。进而，摄像头的镜头的移动速度或移动角速度也可以通过摄像头的变焦(zoom)、摇动(pan)或俯仰(tilt)而产生。
在本公开中，单元、装置、部件或部的全部或一部分或者图示的框图的功能块的全部或一部分，也可以通过包括半导体装置、半导体集成电路(IC)或LSI(Large ScaleIntegration，大规模集成电路)的一个或多个电子电路来执行。LSI或IC既可以集成到一个芯片，也可以组合多个芯片来构成。例如，存储元件以外的功能块也可以集成到一个芯片。在此，虽然称为LSI或IC，但称呼会根据集成的程度而改变，也可以称为系统LSI、VLSI(VeryLarge Scale Integration，特大规模集成电路)或ULSI(Ultra Large ScaleIntegration，超大规模集成电路)。在LSI制造后可编程的现场可编程门阵列(FieldProgrammable Gate Array(FPGA))或者能够进行LSI内部的接合关系的重构或者LSI内部的电路区划的设立(setup)的可重构逻辑器件(Reconfigurable Logic Device)也可以以相同目的来使用。
进而，单元、装置、部件或部的全部或一部分的功能或操作能够通过软件处理来执行。该情况下，软件被记录于一个或多个ROM、光盘、硬盘驱动器等非瞬时性记录介质，在软件被处理装置(Processor)执行时，由该软件确定的功能被处理装置(Processor)以及外围装置执行。系统或装置也可以具备记录有软件的一个或多个非瞬时性记录介质、处理装置(Processor)以及需要的硬件设备例如接口。
产业上的可利用性
本公开涉及的图像数据提取装置以及图像数据提取方法能够增加学习数据的变化，并且能够削减注释处理，作为从动态图像数据中提取在对图像中的对象物进行识别的识别器的学习中使用的学习用图像数据的图像数据提取装置以及图像数据提取方法是有用的。

Claims (17)

1.一种图像数据提取装置，具备存储装置和电路，所述电路在运行中执行包括以下的工作：
从配置于可移动的移动体的拍摄装置取得动态图像数据；
取得与所述移动体和所述拍摄装置的至少一方的移动有关的移动信息；
基于所述移动信息，从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
2.根据权利要求1所述的图像数据提取装置，
所述移动信息包含所述移动体的移动速度，
在所述提取中，基于所述移动速度，从所述动态图像数据中提取所述学习用图像数据。
3.根据权利要求2所述的图像数据提取装置，
在所述提取中，在所述移动速度为预定的速度以上的情况下，按第1帧间隔从所述动态图像数据中提取所述学习用图像数据，在所述移动速度比预定的速度慢的情况下，按比所述第1帧间隔长的第2帧间隔从所述动态图像数据中提取所述学习用图像数据。
4.根据权利要求1所述的图像数据提取装置，
所述移动信息包含所述移动体的加速度，
在所述提取中，基于所述加速度，从所述动态图像数据中提取所述学习用图像数据。
5.根据权利要求4所述的图像数据提取装置，
在所述提取中，判断所述加速度是否为预定的加速度以上，在判断为所述加速度为预定的加速度以上的情况下，从所述动态图像数据中提取所述学习用图像数据，在判断为所述加速度小于预定的加速度的情况下，不从所述动态图像数据中提取所述学习用图像数据。
6.根据权利要求1所述的图像数据提取装置，
所述移动信息包含所述移动体的转向角度，
在所述提取中，基于所述转向角度，从所述动态图像数据中提取所述学习用图像数据。
7.根据权利要求6所述的图像数据提取装置，
在所述提取中，判断所述转向角度是否为预定的角度以上，在判断为所述转向角度为预定的角度以上的情况下，从所述动态图像数据中提取所述学习用图像数据，在判断为所述转向角度小于预定的角度的情况下，不从所述动态图像数据中提取所述学习用图像数据。
8.根据权利要求1～7中任一项所述的图像数据提取装置，所述工作还包括：
算出所述提取出的学习用图像数据与所述提取出的学习用图像数据的前一个提取出的学习用图像数据之间的每个像素的第1图像变化量；
算出所述提取出的学习用图像数据的前一个提取出的学习用图像数据与所述提取出的学习用图像数据的前第二个提取出的学习用图像数据之间的每个像素的第2图像变化量；
从所述提取出的学习用图像数据中，提取由所述第1图像变化量的值和所述第2图像变化量的值不同的像素构成的区域来作为新的学习用图像数据。
9.根据权利要求1所述的图像数据提取装置，
所述移动信息包含所述移动体的移动速度，
所述工作还包括：
按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量；
根据所述移动速度来修正所述图像变化量，
在所述提取中，在修正后的所述图像变化量的总和为预定的值以上的情况下，从所述动态图像数据中提取所述学习用图像数据。
10.根据权利要求1所述的图像数据提取装置，
与所述拍摄装置的移动有关的移动信息，包含所述拍摄装置的镜头的移动速度或移动角速度，
在所述提取中，基于所述移动速度或所述移动角速度，从所述动态图像数据中提取所述学习用图像数据。
11.根据权利要求10所述的图像数据提取装置，
在所述提取中，在所述移动速度为预定的速度以上或所述移动角速度为预定的角速度以上的情况下，按第1帧间隔从所述动态图像数据中提取所述学习用图像数据，在所述移动速度比预定的速度慢或所述移动角速度比预定的角速度慢的情况下，按比所述第1帧间隔长的第2帧间隔从所述动态图像数据中提取所述学习用图像数据。
12.根据权利要求1所述的图像数据提取装置，
与所述拍摄装置的移动有关的移动信息，包含所述拍摄装置的镜头的移动速度或移动角速度，
所述工作还包括：
按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量；
根据所述移动速度或所述移动角速度来修正所述图像变化量，
在所述提取中，在修正后的所述图像变化量的总和为预定的值以上的情况下，从所述动态图像数据中提取所述学习用图像数据。
13.根据权利要求10～12中任一项所述的图像数据提取装置，
所述拍摄装置的镜头的移动速度或移动角速度，基于与所述移动体的移动相对的所述拍摄装置的相对移动来算出。
14.根据权利要求10～13中任一项所述的图像数据提取装置，
所述拍摄装置的镜头的移动速度或移动角速度，通过所述拍摄装置自身的活动而产生。
15.根据权利要求10～13中任一项所述的图像数据提取装置，
所述拍摄装置的镜头的移动速度或移动角速度，通过所述拍摄装置的变焦、摇动或俯仰而产生。
16.一种图像数据提取方法，包括：
从配置于可移动的移动体的拍摄装置取得动态图像数据；
取得与所述移动体和所述拍摄装置的至少一方的移动有关的移动信息；
基于所述移动信息，从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
17.一种图像数据提取方法，包括：
从固定的拍摄装置取得动态图像数据；
按所述动态图像数据的每个帧，算出该帧与以前的帧之间的每个像素的图像变化量；
基于所述算出的图像变化量，从所述动态图像数据中提取学习用图像数据，所述学习用图像数据在对图像中的对象物进行识别的识别器的学习中使用。
CN201710838703.5A 2016-11-17 2017-09-18 图像数据提取装置以及图像数据提取方法 Pending CN108073943A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-224029 2016-11-17
JP2016224029A JP2018081545A (ja) 2016-11-17 2016-11-17 画像データ抽出装置及び画像データ抽出方法

Publications (1)

Publication Number Publication Date
CN108073943A true CN108073943A (zh) 2018-05-25

Family

ID=60320740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710838703.5A Pending CN108073943A (zh) 2016-11-17 2017-09-18 图像数据提取装置以及图像数据提取方法

Country Status (4)

Country Link
US (1) US20180137628A1 (zh)
EP (1) EP3324335A1 (zh)
JP (1) JP2018081545A (zh)
CN (1) CN108073943A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507458A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 提供个性化及自适应深度学习模型的方法及装置
CN112585942A (zh) * 2018-08-31 2021-03-30 索尼半导体解决方案公司 电子装置和固态摄像装置
US11595608B2 (en) 2018-08-31 2023-02-28 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program including sequential recognition processing on units of readout
US12080061B2 (en) 2018-08-31 2024-09-03 Sony Group Corporation Imaging apparatus, imaging system, imaging method, and imaging program

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366490B2 (en) * 2017-03-27 2019-07-30 Siemens Healthcare Gmbh Highly integrated annotation and segmentation system for medical imaging
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
KR102015939B1 (ko) * 2018-09-27 2019-08-28 주식회사 크라우드웍스 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법
US20220405894A1 (en) * 2019-11-25 2022-12-22 Nec Corporation Machine learning device, machine learning method, andrecording medium storing machine learning program
KR102467632B1 (ko) * 2020-11-23 2022-11-17 서울대학교산학협력단 차량 후방 감지 장치 및 방법
KR102343056B1 (ko) * 2021-07-08 2021-12-24 주식회사 인피닉 어노테이션을 위한 이미지의 데이터 로드를 감축시키는 방법
KR102378890B1 (ko) * 2021-07-08 2022-03-28 주식회사 인피닉 어노테이션을 위한 3d 점군의 데이터 로드를 감축시키는 방법
WO2023170772A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585942A (zh) * 2018-08-31 2021-03-30 索尼半导体解决方案公司 电子装置和固态摄像装置
US11595608B2 (en) 2018-08-31 2023-02-28 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program including sequential recognition processing on units of readout
US11704904B2 (en) 2018-08-31 2023-07-18 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program
US11741700B2 (en) 2018-08-31 2023-08-29 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program
US11763554B2 (en) 2018-08-31 2023-09-19 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program
US11889177B2 (en) 2018-08-31 2024-01-30 Sony Semiconductor Solutions Corporation Electronic device and solid-state imaging device
CN112585942B (zh) * 2018-08-31 2024-04-26 索尼半导体解决方案公司 电子装置和固态摄像装置
US12080061B2 (en) 2018-08-31 2024-09-03 Sony Group Corporation Imaging apparatus, imaging system, imaging method, and imaging program
CN111507458A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 提供个性化及自适应深度学习模型的方法及装置

Also Published As

Publication number Publication date
US20180137628A1 (en) 2018-05-17
EP3324335A1 (en) 2018-05-23
JP2018081545A (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
CN108073943A (zh) 图像数据提取装置以及图像数据提取方法
US10747996B2 (en) Identification method, identification apparatus, classifier creating method, and classifier creating apparatus
Gurghian et al. Deeplanes: End-to-end lane position estimation using deep neural networksa
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
KR102202343B1 (ko) 객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차
CN102646343B (zh) 车辆检测装置
US8452103B2 (en) Scene matching reference data generation system and position measurement system
CN105096655B (zh) 物体检测装置、驾驶辅助装置、物体检测方法
CN105022985B (zh) 车道识别装置
CN105405319B (zh) 车辆的接近物体检测装置以及车辆的接近物体检测方法
CN107924465A (zh) 物体识别装置、物体识别方法以及物体识别程序
CN109284661A (zh) 学习数据生成装置、学习数据生成方法和程序
US10896542B2 (en) Moving body image generation recording display device and program product
CN104424487A (zh) 车外环境识别装置
US11829153B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN109328376A (zh) 物体跟踪方法及物体跟踪装置
US11776277B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN104937648A (zh) 道路环境识别系统
KR20210149037A (ko) 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법
CN109997149A (zh) 信息处理设备、成像设备、设备控制系统、移动体、信息处理方法和信息处理程序
CN111881245A (zh) 能见度动态地图的产生方法、装置、计算机设备及存储介质
CN105320928A (zh) 对象物识别装置
Soh et al. Analysis of road image sequences for vehicle counting
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN114120266A (zh) 车辆变道检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180525

WD01 Invention patent application deemed withdrawn after publication