CN108932470A - 图像处理系统、图像处理方法、信息处理装置和记录介质 - Google Patents

图像处理系统、图像处理方法、信息处理装置和记录介质 Download PDF

Info

Publication number
CN108932470A
CN108932470A CN201810482208.XA CN201810482208A CN108932470A CN 108932470 A CN108932470 A CN 108932470A CN 201810482208 A CN201810482208 A CN 201810482208A CN 108932470 A CN108932470 A CN 108932470A
Authority
CN
China
Prior art keywords
image
vehicle
unit
position data
balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810482208.XA
Other languages
English (en)
Other versions
CN108932470B (zh
Inventor
铃木功
铃木功一
井川纯郎
井川纯一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Publication of CN108932470A publication Critical patent/CN108932470A/zh
Application granted granted Critical
Publication of CN108932470B publication Critical patent/CN108932470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本公开涉及图像处理系统、图像处理方法、信息处理装置和记录介质。图像处理系统包括：车辆以及信息处理装置，其中，车辆包括：图像拾取装置；第一图像获取单元，其被配置成获取由图像拾取装置拾取的第一图像；以及位置数据发送单元，其被配置成向信息处理装置发送位置数据，并且信息处理装置包括：位置数据接收单元，其被配置成接收位置数据；第二图像获取单元，其被配置成获取用于机器学习的多个第二图像；分组单元，其被配置成将多个第二图像划分成多个组；以及分析单元，其被配置成分析多个组之间的平衡。

Description

图像处理系统、图像处理方法、信息处理装置和记录介质
技术领域
本发明涉及图像处理系统、图像处理方法、信息处理装置和记录介质。
背景技术
存在基于对车辆周边的拾取图像来调查拥堵等的原因的技术。
例如，为了确定拥堵的原因，首先，系统收集车辆周边的拾取图像。接下来，系统基于所收集的图像检测作为拥堵的源头的车辆。然后，系统从多个方向拾取源头车辆所位于的源头地点的图像，并且基于所拾取的图像确定拥堵的原因。存在允许系统检测交通拥堵并且以这种方式确定拥堵的原因的技术(例如，日本专利申请公开第2008-65529号等)。
发明内容
然而，可能从车辆收集数据例如使用相似参数拾取的图像，并且可能会产生偏差。在当以这种方式使数据的平衡较差时基于图像进行机器学习的情况下，机器学习的准确度可能会受到影响。然而，不可能掌握要被用于机器学习等的数据例如图像的平衡。
因此，根据本发明的实施方式的图像处理系统提供了使得可以掌握要被用于机器学习等的数据例如图像的平衡的技术。
根据本发明的第一方面的图像处理系统包括：车辆以及信息处理装置，其中，所述车辆包括：图像拾取装置；第一图像获取单元，其被配置成获取示出车辆周边的第一图像，第一图像由图像拾取装置拾取；以及位置数据发送单元，其被配置成向信息处理装置发送位置数据，位置数据指示车辆在第一图像被拾取时的位置，并且所述信息处理装置包括：位置数据接收单元，其被配置成从位置数据发送单元接收位置数据；第二图像获取单元，其被配置成获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；分组单元，其被配置成基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及分析单元，其被配置成分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
在以上方面中，图像处理系统可以基于位置数据和第二图像来确定第二图像的参数。然后，图像处理系统可以对第二图像分组并且可以分析参数的平衡。由此，可以知道要被用于后续步骤中执行的机器学习等的数据例如图像是否存在偏差。
此外，在平衡较差的情况下，图像处理系统可以例如通过添加用于修复较差平衡的图像来改善平衡。
可以掌握要被用于机器学习等的数据例如图像的平衡。
在以上方面中，信息处理装置还包括：图像请求单元，其被配置成基于分析单元的分析结果向车辆请求第三图像，第三图像是从第一图像中选择的并且通过其调整平衡的图像；图像接收单元，其从车辆接收第三图像；以及学习单元，其基于第二图像和第三图像执行学习并且生成学习数据库。
在以上方面中，车辆还包括：分析结果接收单元，其被配置成接收分析单元的分析结果；选择单元，其被配置成基于分析结果从第一图像中选择第三图像，第三图像是通过其调整平衡的图像；以及图像发送单元，其被配置成向信息处理装置发送第三图像，并且信息处理装置还包括：图像接收单元，其被配置成从车辆接收第三图像；以及学习单元，其被配置成基于第二图像和第三图像执行学习并且生成学习数据库。
在以上方面中，车辆还包括：地图数据获取单元，其被配置成获取指示车辆的当前位置、目的地和从当前位置到目的地的路径的地图数据；以及引导单元，其被配置成基于地图数据和学习数据库来执行对车辆行驶的路线的引导，并且引导单元被配置成使用地标来执行对交叉路口的引导。
在以上方面中，参数是第二图像被拾取的位置、第二图像被拾取的道路、第二图像被拾取的时间、天气、拾取第二图像的车辆的车辆类型、图像拾取装置的型号、关于拾取第二图像的车辆的控制信息、第二图像被拾取的位置周围的拥堵状态、第二图像被拾取的位置周围的拥挤状态、第二图像被拾取的位置周围的空间状态、拾取第二图像的车辆的车辆速度、拾取第二图像的车辆所位于的车道或其组合。
根据本发明的第二方面的图像处理方法包括：第一图像获取步骤，其中，车辆获取示出车辆的周边并且由图像拾取装置拾取的第一图像；位置数据发送步骤，其中，车辆向信息处理装置发送位置数据，该位置数据指示车辆在第一图像被拾取时的位置；位置数据接收步骤，其中，信息处理装置接收在位置数据发送步骤中发送的位置数据；第二图像获取步骤，其中，信息处理装置获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；分组步骤，其中，信息处理装置基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及分析步骤，其中，信息处理装置分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
根据本发明的第三方面的信息处理装置包括：位置数据接收单元，其被配置成接收位置数据，该位置数据指示车辆在第一图像被拾取时的位置，第一图像示出车辆的周边并且由车辆中装备的图像拾取装置来拾取，图像获取单元，其被配置成获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；分组单元，其被配置成基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及分析单元，其被配置成分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
根据本发明的第四方面的计算机可读非暂态记录介质记录程序，该程序使计算机执行：i)位置数据接收步骤，其中，计算机接收位置数据，位置数据指示车辆在第一图像被拾取时的位置，第一图像示出车辆的周边并且由车辆中装备的图像拾取装置拾取；ii)图像获取步骤，其中，计算机获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；iii)分组步骤，其中，计算机基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及iv)分析步骤，其中，计算机分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
附图说明
下面将参照附图描述本发明的示例性实施方式的特征、优点以及技术和工业意义，在附图中相同的附图标记表示相同的元素，并且在附图中：
图1是示出根据本发明的实施方式的图像处理系统的示例性整体配置和示例性硬件配置的图；
图2是示出根据本发明的第一实施方式的图像处理系统中的整体处理的示例的流程图；
图3是示出根据本发明的第一实施方式的图像处理系统中的示例性平衡分析的图；
图4是示出车辆中的示例性导航的图；
图5是示出根据本发明的第一实施方式的图像处理系统中的用于机器学习等的示例性处理的流程图；
图6是示出根据本发明的第二实施方式的图像处理系统中的整体处理的示例的流程图；
图7是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的示例的流程图；
图8是示出本发明的实施方式中的车辆行驶的示例性道路和示例性图像的图；
图9是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的修改的流程图；
图10是示出作为根据本发明的第三实施方式的图像处理系统中的第三图像的候选的图像的生成的示例的图；
图11是示出根据本发明的第一实施方式的图像处理系统的示例性功能配置的功能框图；
图12是示出根据本发明的第二实施方式的图像处理系统的示例性功能配置的功能框图；
图13是示出根据本发明的实施方式的图像处理系统中的示例性处理结果的图；以及
图14是示出比较示例的图。
具体实施方式
在下文中，将参照附图描述本发明的实施方式。
第一实施方式
示例性整体配置和示例性硬件配置
图1是示出根据本发明的实施方式的图像处理系统的示例性整体配置和示例性硬件配置的图。在所示出的示例中，图像处理系统IS包括作为示例性图像拾取装置的摄像机CM和作为示例性信息处理装置的服务器SR。
如图所示，作为示例性图像拾取装置的摄像机CM被装备在车辆CA中。摄像机CM拍摄车辆CA的周边并且生成图像。例如，如图所示，摄像机CM拾取车辆CA的前方视野的图像。接下来，由图像获取装置IM获取由摄像机CM生成的图像。此外，车辆CA装备有电子控制单元(ECU)CT和通信装置CD。
例如，图像获取装置IM包括运算装置例如电子电路、电子控制单元(ECU)或中央处理单元(CPU)以及控制装置。图像获取装置IM还包括辅助存储装置例如硬盘，并且存储从摄像机CM获取的图像。此外，图像获取装置IM包括通信部分例如天线和处理集成电路(处理IC)，并且通过网络NW将图像发送到外部装置例如服务器SR。
ECU CT是运算装置和控制装置的示例。ECU CT连接至存储装置例如存储器。
通信装置CD通过网络NW执行用于与外部装置发送和接收数据的通信。例如，通信装置CD包括天线、处理电路等。
在此，可以设置多个摄像机CM和多个图像获取装置IM。此外，可以设置多个车辆CA。
另一方面，服务器SR通过网络连接至车辆CA。例如，服务器SR包括CPU SH1、存储装置SH2、输入装置SH3、输出装置SH4和通信装置SH5。
服务器SR中包括的硬件资源通过总线SH6相互连接。硬件资源通过总线SH6发送和接收信号和数据。
CPU SH1包括运算装置和控制装置。存储装置SH2是主存储装置例如存储器。存储装置SH2还可以包括辅助存储装置。输入装置SH3是键盘等，并且输入来自用户的操作。输出装置SH4是显示器等，并且向用户输出处理结果等。通信装置SH5是连接器、天线等，并且通过网络NW、电缆等与外部装置发送和接收数据。
服务器SR不限于所示出的配置，并且例如还可以包括其他装置。此外，可以设置多个服务器SR。
示例性整体处理
图2是示出根据本发明的第一实施方式的图像处理系统中的整体处理的示例的流程图。在该图中，在图2的左侧示出车辆CA(参见图1)中的处理，并且另一方面，在图2的右侧示出服务器SR(参见图1)中的处理。
在步骤SA01中，图像处理系统利用车辆CA中包括的图像拾取装置来拾取图像。在下文中，将在步骤SA01中拾取的图像称为作为示例性第一图像的“图像IMG1”。例如，在车辆CA侧，以预设时间段拾取图像IMG1。
在步骤SA02中，图像处理系统从车辆CA向服务器SR发送位置数据。例如，位置数据是指示车辆CA的位置的以10m(米)为单位的坐标的数据或指示车辆CA的位置的链接号码的数据。
链接号码是允许识别道路地图上的节点和节点之间的路段的编号。节点是道路网络中的节点，并且具体地是交叉路口等。即，当发现找到链接号码时，图像处理系统可以基于先前输入的地图数据等来识别车辆CA所位于的道路。具体地，链接号码例如是“http://www.drm.jp/database/expression.html”中描述的编号。
位置数据是文本数据等，并且因此在数据量上小于图像数据等。因此，在图像处理系统中，可以在步骤SA02中减少通信量。
在步骤SB01中，图像处理系统接收从车辆CA发送的位置数据。即，在步骤SA02之后，图像处理系统接收服务器SR侧的位置数据。
在步骤SA03中，图像处理系统在车辆CA侧缓存第一图像。即，图像处理系统将在步骤SA01中拾取的图像IMG1保存在车辆CA侧。优选地将图像IMG1与位置数据、关于图像IMG1的图像拾取的参数等相关联地保存。
在步骤SB02中，图像处理系统在服务器SR侧获取第二图像。第二图像是先前输入的图像、从车辆CA定期发送的图像、其组合等。即，第二图像仅需要是从外部装置等收集的图像，并且输入路线等不受限制。在此，第二图像可以与第一图像部分相同。在下文中，将第二图像的示例称为“图像IMG2”。
在步骤SB03中，图像处理系统在服务器SR侧执行对图像IMG2的分组并且分析平衡。首先，在服务器SR中预先设置执行分析的参数。
参数是当图像IMG2被拾取时的状态等。具体地，参数是图像IMG2被拾取时的每个时间、图像IMG2被拾取时的每个天气等。
例如，在图像IMG2的图像处理之后确定参数。例如，通过在亮度等的图像处理之后调查图像IMG2，图像处理系统可以估计天气、时间等。此外，通过对图像IMG2的光流处理，图像处理系统可以估计车辆速度等。为了确定参数，可以使用传感器数据等。例如，可以基于速度传感器的数据来确定车辆速度。另外，可以通过从外部装置获取气象数据等来确定天气的参数。类似地，可以通过获取时间数据来确定时间的参数。此外，可以根据位置数据来确定图像被拾取的位置的参数等。
此外，参数是配备有拾取图像IMG2的图像拾取装置的车辆的每种车辆类型、拾取图像IMG2的图像拾取装置的每个附接位置、拾取图像IMG2的图像拾取装置的每个型号(model)等。当在后续步骤中执行图像识别处理时，优选地将车辆类型、位置、型号等设置成参数。
此外，参数是在图像IMG2被拾取时将前灯设置成远光灯还是近光灯的车辆控制信息等。当在后续步骤中执行图像识别处理时，优选地将控制信息设置成参数。
另外，参数是指示图像IMG2被拾取的位置周围的拥堵状态、拥挤状态或者空间状态、车辆速度等的数据。当在后续步骤中使用交通信息时，优选地将数据设置成参数。例如，车辆速度可以是单位为10km/h(千米每小时)等的车辆速度。
此外，参数是指示拾取图像IMG2的车辆所位于的车道的车道数据。当在后续步骤中使用交通信息时或者当在后续步骤中执行图像识别处理时，优选地将车道数据设置成参数。
在步骤SB03中，首先，图像处理系统将具有相同参数的图像IMG2设置成一组。然后，图像处理系统分析关于组间图像数目是否大致相等的平衡。例如，如下分析平衡。
图3是示出根据本发明的第一实施方式的图像处理系统中的示例性平衡分析的图。例如，如图所示，图像处理系统将图像IMG2分组成三个状态：“状态1”，“状态2”和“状态3”。具体地，假设参数是“天气”。此外，假设“状态1”是“晴朗”组，“状态2”是“多云”组，并且“状态3”是“下雨”组。在该图中，横坐标轴表示状态并且纵坐标轴表示图像的数目。在该示例中，图像IMG2包括许多属于“状态1”的组的图像。具体地，最多收集的图像是在“晴朗”天拾取的图像，并且第二多收集的图像是在“多云”天拾取的图像。在示例中，最少收集的图像是在“下雨”天拾取的图像。在下文中，所示平衡的情况将被作为示例描述。
在该示例中，对“状态1”存在偏差，并且图像处理系统输出较差平衡的分析结果。具体地，基于“状态1”，“状态2”的图像的数目少于“状态1”的图像的数目，差为DF1。此外，基于“状态1”，“状态3”的图像的数目少于“状态1”的图像的数目，差为DF2。另一方面，当不存在差时或者当差等于或小于预定值时，图像处理系统输出良好平衡的分析结果。在较差平衡的分析结果的情况下，图像处理系统确定调整平衡。
在步骤SB04中，图像处理系统确定是否在服务器SR侧调整平衡。即，图像处理系统基于步骤SB03中的分析结果来确定是否调整平衡。
接下来，当图像处理系统确定图像处理系统调整平衡时(步骤SB04中为是)，图像处理系统进行到步骤SB05。另一方面，当图像处理系统确定图像处理系统不调整平衡时(步骤SB04中为否)，图像处理系统进行到步骤SB07。
在步骤SB05中，图像处理系统从服务器SR侧向车辆侧请求图像。即，在图3中示出的示例的情况下，在步骤SB05中，图像处理系统调整平衡，使得差DF1和差DF2减小。具体地，在图3中示出的示例的情况下，图像处理系统向车辆CA请求满足“状态2”的图像，以用于减小差DF1。类似地，图像处理系统向车辆CA请求满足“状态3”的图像，以用于减小差DF2。
在步骤SA04中，图像处理系统确定是否已经请求图像。即，当执行步骤SB05时，图像处理系统确定已经请求了图像。
接下来，当图像处理系统确定已经请求了图像时(步骤SA04中为是)，图像处理系统进行到步骤SA05。另一方面，当图像处理系统确定还未请求图像时(步骤SA04中为否)，图像处理系统结束处理。
在步骤SA05中，图像处理系统从第一图像中选择所请求的图像(在下文中，将从第一图像中选择的图像称为“第三图像”)，并且发送所选择的图像。即，在图3中示出的示例的情况下，图像处理系统从图像IMG1中选择满足“状态2”的图像和满足“状态3”的图像，并且将所选择的图像作为第三图像从车辆CA发送到服务器SR。
在步骤SB06中，图像处理系统接收第三图像。即，图像处理系统在服务器SR侧接收在步骤SA05中发送的图像IMG1。
在步骤SA04、步骤SA05、步骤SB05和步骤SB06中，通过所谓的推送(push)通信，图像处理系统通过添加允许补偿差的第三图像来调整平衡。
在步骤SB07中，图像处理系统执行机器学习等。例如，假设如下执行导航的情况。
图4是示出车辆中的示例性导航的图。
例如，假设车辆CA如图所示行驶到目的地。如图所示，车辆CA在作为到目的地的路线的以下路线(由图中箭头所示的路线)上行驶，车辆CA沿着该路线在车辆CA前方的交叉路口CR处向右转弯。即，在这种情况下，在车辆CA中装备有所谓的汽车导航装置的情况下，汽车导航装置通过语音、图像、其组合等引导操作车辆CA的驾驶员，使得车辆CA在交叉路口CR处向右转弯。
此外，例如，当车辆CA从外部装置接收地图数据DM或者通过来自记录介质的输入获取地图数据DM时，车辆CA可以掌握车辆CA的位置、交叉路口CR的位置、目的地在从交叉路口CR的向右方向上的事实等。
在下文中，所示出的情况将被作为示例描述。使用图像处理系统的情况不限于所示出的情况，并且例如，可以在除了交叉路口以外的情况中使用图像处理系统。
此外，如图所示，假设汽车导航装置期望使用布置在交叉路口CR附近的标识牌(signboard)LM作为地标来执行对路线的引导。在这种情况下，在车辆CA中，由图像拾取装置拾取车辆CA的前方视野的图像，并且执行对所拾取的图像上的标识牌LM的图像识别。例如，对于这种图像识别，期望基于包含标识牌LM的图像来执行机器学习，如下所述。
图5是示出根据本发明的第一实施方式的图像处理系统中的用于机器学习等的示例性处理的流程图。在图2中示出的步骤SB07中，例如执行图5中示出的处理。
在步骤SB0701中，图像处理系统确定要被用于机器学习的图像的平衡是否良好。即，当在图2中示出的步骤SA04、步骤SA05、步骤SB05、步骤SB06等中调整了平衡时，如图3中示出的偏差较小，并且要被用于机器学习的图像通常是较好地平衡的。在这种情况下，图像处理系统确定要被用于机器学习的图像的平衡良好。
接下来，当图像处理系统确定要被用于机器学习的图像的平衡良好时(步骤SB0701中为是)，图像处理系统进行到步骤SB0702。另一方面，当图像处理系统确定要被用于机器学习的图像的平衡不佳时(步骤SB0701中为否)，图像处理系统结束图5中示出的处理。
在步骤SB0702中，图像处理系统执行对标识牌等的学习。具体地，如图4所示，在使用标识牌LM来引导的情况下，图像处理系统使用包含标识牌LM的图像来执行学习。由此，图像处理系统可以执行对图像上的标识牌LM的图像识别。
在步骤SB0703中，图像处理系统确定识别准确度是否增加。在该示例中，图像处理系统确定对图像上的标识牌LM的图像识别的识别准确度是否增加。即，图像处理系统基于由于步骤SB0702中的学习而产生的识别准确度是否比学习之前的识别准确度增加来确定识别准确度是否增加。
接下来，当图像处理系统确定识别准确度增加时(步骤SB0703中为是)，图像处理系统进行到步骤SB0704。另一方面，当图像处理系统确定识别准确度未增加时(步骤SB0703中为否)，图像处理系统结束图5中示出的处理。
在步骤SB0704中，图像处理系统更新学习数据库。即，图像处理系统在后续汽车导航等中使用更新的学习数据库。学习数据库可以被配置成由除了图像处理系统以外的外部装置使用。
第二实施方式
可以在车辆CA侧通过所谓的本地管理来调整平衡，而不是通过第一实施方式中的推送通信来调整平衡。
在下文中，整体配置和硬件配置与第一实施方式中的整体配置和硬件配置相同的情况将被作为示例描述。因此，将省略重复的描述。下面将主要描述不同点。第二实施方式与第一实施方式在整体处理上不同。
图6是示出根据本发明的第二实施方式的图像处理系统中的整体处理的示例的流程图。在该图中，相同的附图标记被分配给与第一实施方式中的处理相同的处理，并且将省略描述。
在步骤SB20中，图像处理系统将来自服务器SR的分析结果发送到车辆CA。即，图像处理系统将指示步骤SB03中分析的图像的平衡的数据发送到本地侧。
在步骤SA20中，图像处理系统在车辆CA侧接收分析结果。即，图像处理系统在车辆CA侧接收指示步骤SB20中发送的分析结果的数据。由此，车辆CA例如可以知道服务器SR侧的图像处于图3中示出的状态。因此，基于分析结果，车辆CA可以知道应该被发送到服务器SR以改善平衡的图像的参数。
在步骤SA21中，图像处理系统基于分析结果在车辆CA侧从第一图像中选择第三图像。具体地，在图3中示出的示例的情况下，图像处理系统在车辆CA侧从图像IMG1中选择满足“状态2”的第三图像和满足“状态3”的第三图像，并且在步骤SA05中发送所选择的图像。
因此，当在步骤SA21中将所选择的图像发送到服务器SR时，图像处理系统可以利用在步骤SA05中发送的图像来调整图像IMG2的平衡。
第三实施方式
车辆CA可以被配置成如下选择第三图像。
在下文中，如图4所示的汽车导航使用对象例如道路上的标识牌LM用于引导的情况将被作为示例描述。即，车辆CA期望向服务器SR发送包含标识牌LM的图像。例如，第三图像可以通过以下处理来选择。
图7是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的示例的流程图。例如，图7中示出的处理在第一图像被缓存之后并且在第三图像被发送到服务器SR之前的定时处在车辆CA侧执行。
在以下描述中，假设图像处理系统被设置成收集包含出现在车辆CA行驶的道路左侧的对象的图像。设置不限于左侧并且也可以采用其他设置例如设置到右侧。
在步骤S311中，图像处理系统确定车辆CA正在行驶的道路是否具有三个或更多车道。例如，图像处理系统可以通过例如对图像IMG1执行用于检测白线并且对存在于与行驶方向RD正交的方向上的白线进行计数的图像处理来计算车辆CA正在行驶的道路的车道的数目。
接下来，当图像处理系统确定车辆CA正在行驶的道路具有三个或更多车道时(步骤S311中为是)，图像处理系统进行到步骤S312。另一方面，当图像处理系统确定车辆CA正在行驶的道路不具有三个或更多车道时(步骤S311中为否)，图像处理系统结束处理。
在步骤S312中，图像处理系统确定车辆CA是否在最左侧车道上行驶。例如，通过对图像IMG1的图像处理、车辆CA的位置等，图像处理系统可以知道车辆CA是否在最左侧车道上。
接下来，当图像处理系统确定车辆CA在最左侧车道上行驶时(步骤S312中为是)，图像处理系统进行到步骤S313。另一方面，当图像处理系统确定车辆CA不在最左侧车道上行驶时(步骤S312中为否)，图像处理系统结束处理。
在步骤S313中，图像处理系统选择在当前行驶状态下拾取的图像IMG1作为第三图像的候选。
例如，车辆CA在以下道路上行驶的情况将被作为示例描述。
图8是示出本发明的实施方式中的车辆行驶的示例性道路和示例性图像的图。如图所示，假设车辆CA正在行驶方向RD(在该图中，在从下侧到上侧的方向上)上行驶。在该示例中，道路具有左车道LAL、中央车道LAC和右车道LAR。因此，当车辆CA正在该道路上行驶时，图像处理系统在步骤S311中确定车辆CA正在行驶的道路具有三个或更多车道(步骤S311中为是)。
此外，当车辆CA正在左车道LAL上行驶时，图像处理系统在步骤S312中确定车辆CA正在最左侧车道上行驶(步骤S312中为是)。
在车辆CA正在具有三个或更多车道的道路上行驶的情况下，如图所示，只有在车辆CA正在左车道LAL上行驶时拾取的图像包含对象例如出现在车辆CA正在行驶的道路的左侧的标识牌LM。具体地，例如，获得图像IMG31作为在车辆CA正在左车道LAL上行驶时拾取的图像。此外，例如，获得图像IMG32作为在车辆CA正在中央车道LAC上行驶时拾取的图像。
在很多情况下，标识牌LM处于左车道LAL上的图像拾取装置的角视场中，但是标识牌LM不处于中央车道LAC或右车道LAR上的图像拾取装置的角视场中。因此，在很多情况下，图像IMG31包含标识牌LM并且图像IMG32不包含标识牌LM，如图所示。因此，图像处理系统选择在车辆CA正在左车道LAL上行驶时拾取的图像(如由图像IMG31所例示的那样)作为第三图像的候选(步骤S313)。同时，由于诸如图像IMG32的图像未被选择为第三图像，因此诸如图像IMG32的图像不被发送到服务器SR。因此，图像处理系统可以减少通信量。
即，图像处理系统可以通过将第三图像缩减为当车辆CA处于以下位置时拾取的图像(如由图像IMG31所例示的那样)来减少通信量：该位置允许对旨在用于通过机器学习进行图像识别的对象的图像拾取。
例如可以采用以下处理来替代图7中示出的处理。
图9是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的修改的流程图。图9中示出的处理与图7中示出的处理不同，不同之处在于采用步骤S321替代步骤S313。下面将主要描述不同点。相同的附图标记被分配给相同的处理，并且将省略描述。
在步骤S313中，图像处理系统删除图像IMG1的右侧并且选择删除之后的图像作为第三图像的候选。具体地，在步骤S313中，图像处理系统如下生成图像。
图10是示出在根据本发明的第三实施方式的图像处理系统中的生成作为第三图像的候选的图像的示例的图。例如，假设所示出的图像IMG1作为第一图像被拾取并且被缓存。在步骤S313中，图像处理系统处理图像IMG1，以生成图像IMG33或图像IMG34。
具体地，图像IMG33是如图所示删除了图像IMG1的右侧的图像。由此，图像IMG33在数据量上比图像IMG1小。
此外，图像IMG34是图像IMG1的右侧被填充的图像。在这种情况下，确定不需要发送右侧的数据，并且因此，图像IMG34是可以以比图像IMG1更小的通信量发送的图像。
在机器学习等中(步骤SB07)，使用包含作为学习的目标的对象的图像。因此，在图像中，除了对象例如标识牌LM出现的范围以外的范围的数据通常对于机器学习等是不必要的。因此，如图所示，图像处理系统处理图像IMG1，以从图像IMG1中删除未被用于机器学习等的范围或者禁止将未被用于机器学习等的范围发送到服务器SR。由此，图像处理系统可以减少通信量。
示例性功能配置
图11是示出根据本发明的第一实施方式的图像处理系统的示例性功能配置的功能框图。例如，如图所示，图像处理系统IS包括第一图像获取单元ISF1、位置数据发送单元ISF2、第二图像获取单元ISF3、位置数据接收单元ISF4、分组单元ISF5和分析单元ISF6。如图所示，图像处理系统IS优选地具有还包括以下项的功能配置：图像请求单元ISF7、图像接收单元ISF8、学习单元ISF9、引导单元ISF10和地图数据获取单元ISF11。在下文中，所示出的功能配置将被作为示例描述。
第一图像获取单元ISF1执行获取示出车辆CA的周边的第一图像例如图像IMG1的第一图像获取步骤，该第一图像由图像拾取装置例如摄像机CM拾取。例如，第一图像获取单元ISF1由图像获取装置IM(参见图1)等实现。
位置数据发送单元ISF2执行向服务器SR发送指示车辆CA的位置的位置数据POS的位置数据发送步骤。例如，位置数据发送单元ISF2由通信装置CD(参见图1)等实现。
第二图像获取单元ISF3执行获取第二图像例如图像IMG2的第二图像获取步骤。例如，第二图像获取单元ISF3由通信装置SH5(参见图1)等实现。
位置数据接收单元ISF4执行从位置数据发送单元ISF2获取位置数据POS的位置数据接收步骤。例如，位置数据接收单元ISF4由通信装置SH5(参见图1)等实现。
分组单元ISF5执行分组步骤，该分组步骤基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组。例如，分组单元ISF5由CPUSH1(参见图1)等实现。
分析单元ISF6执行分析步骤，该分析步骤分析作为属于多个组的第二图像的数目的平衡的多个组之间的平衡并且输出分析结果ANS。例如，分析单元ISF6由CPU SH1(参见图1)等实现。
图像请求单元ISF7执行图像请求步骤，该图像请求步骤基于分析结果ANS向车辆CA请求第三图像例如图像IMG3，第三图像从图像IMG1中选择并且通过第三图像调整平衡。例如，图像请求单元ISF7由通信装置SH5(参见图1)等实现。
图像接收单元ISF8执行从车辆CA接收图像IMG3的图像接收步骤。例如，图像接收单元ISF8由通信装置SH5(参见图1)等实现。
学习单元ISF9执行学习步骤，该学习步骤基于图像IMG2、图像IMG3等执行学习并且生成学习数据库DB。例如，学习单元ISF9由CPU SH1(参见图1)等实现。
引导单元ISF10执行引导步骤，该引导步骤基于地图数据DM和学习数据库DB来引导驾驶员DV沿着车辆CA行驶的路线。例如，引导单元ISF10由ECU CT(参见图1)等实现。
地图数据获取单元ISF11执行地图数据获取步骤，该地图数据获取步骤获取指示车辆CA的当前位置、目的地以及从当前位置到目的地的路径的地图数据DM。例如，地图数据获取单元ISF11由通信装置CD(参见图1)等实现。
例如，功能配置可以是以下功能配置。
图12是示出了根据本发明的第二实施方式的图像处理系统的示例性功能配置的功能框图。图12与图11的不同之处在于车辆CA包括选择单元ISF20、图像发送单元ISF21和分析结果接收单元ISF22。下面将主要描述与图11的不同点。
选择单元ISF20执行基于分析结果ANS从图像IMG1中选择图像IMG3的选择步骤。例如，选择单元ISF20由ECU CT(参见图1)等实现。
图像发送单元ISF21执行向服务器SR发送图像IMG3的图像发送步骤。例如，图像发送单元ISF21由通信装置CD(参见图1)等实现。
分析结果接收单元ISF22执行接收分析结果ANS的分析结果接收步骤。例如，分析结果接收单元ISF22由通信装置CD(参见图1)等实现。
在以上配置的情况下，图像处理系统IS首先可以利用第二图像获取单元ISF3获取图像IMG2。此外，图像处理系统IS可以基于位置数据等来确定图像IMG2的每个参数。
参数指示图像IMG2中的每一个的图像拾取状态等。例如，参数是图像IMG2被拾取的时间、天气、拾取图像IMG2的车辆的车辆类型、摄像机CM的型号、关于拾取图像IMG2的车辆的控制信息、图像IMG2被拾取的位置周围的拥堵状态、图像IMG2被拾取的位置周围的拥挤状态、图像IMG2被拾取的位置周围的空间状态、拾取图像IMG2的车辆的车辆速度、拾取图像IMG2的车辆所位于的车道、或其组合。此外，具有相同参数的图像被分组到相同的组。因此，当分析单元ISF6可以掌握参数时，分析单元ISF6可以分析平衡，如图3所示。
在机器学习等中，当在图像的状态中存在偏差时，使用包括机器学习的结果的学习数据库DB的处理的准确度经常降低。例如，使用学习数据库DB，在车辆CA等中执行生成交通信息例如拥堵预测、汽车导航中的图像识别等的处理。
图像处理系统IS可以从分析结果ANS中掌握要被用于机器学习等的图像的平衡。然后，图像处理系统IS可以基于用于生成学习数据库DB的图像的平衡来预测例如使用学习数据库DB的处理的准确度。例如，可以基于平衡是好还是差来预测拥堵的命中率或检测率、图像识别中的预定对象的识别率等是否高。
例如，当图像处理系统IS可以掌握平衡时，图像处理系统IS可以请求车辆CA发送用于改善平衡的第三图像，如图11所示。此外，当图像处理系统IS可以掌握平衡时，图像处理系统IS可以通过向车辆CA发送分析结果ANS来使车辆CA发送用于改善平衡的第三图像。
因此，在以上配置的情况下，例如会产生以下效果。
图13是示出根据本发明的实施方式的图像处理系统中的示例性处理结果的图。图13的左侧是示出作为与图3中的平衡相同的平衡的分析结果ANS的图。当发送图像IMG3时，添加满足“状态2”的图像和满足“状态3”的图像。在此，优选地，图像处理系统IS禁止将满足“状态1”的图像发送到信息处理装置。
因此，例如，图像处理系统IS大致地均衡状态的各个图像数目，如图13的右侧所示，并且由此可以改善平衡。
在受监督的机器学习等中，当在要被用于学习的数据中即在所谓的监督数据中存在偏差使得平衡较差时，后续步骤中的处理的准确度通常降低。同时，当不调整平衡时，数据例如图像的平衡通常会降低。例如，在拥堵状态下的图像和非拥堵状态下的图像被收集用于拥堵预测的处理的情况下，由于非拥堵状态更频繁，所以更可能收集非拥堵状态下的图像。
此外，在大都市区域、主要道路等中，由于存在许多车辆，所以容易收集图像。相比之下，在乡村、一般道路等中，与在大都市区域、主要道路等中相比，更难收集图像。因此，当采用位置、道路等作为状态时，在大都市区域、主要道路等中拾取的图像的数目经常变大，使得平衡变差。此外，就气候而言，在一些情况下，“下雨”天的数目会根据季节等变大。在这种情况下，可能收集“下雨”状态下拾取的图像。此外，在很多情况下，可能收集早晨或白天期间拾取的图像，并且不大可能收集夜晚期间拾取的图像。
因此，通过添加第三图像并且改善平衡，图像处理系统IS可以执行例如用于执行精确处理的机器学习。如图13的右侧所示，当已经收集到足够的数据量时，禁止数据的收集。由此，可以避免不必要的数据被收集，并且因此可以减少数据发送中的通信量，并且减少通信成本或保存数据的存储区域。
在图11和图12中示出的配置中，图像处理系统IS可以准确地检测标识牌等，并且因此可以通过消息MS等向驾驶员DV准确地通知关于作为引导中的地标的标识牌等。
比较示例
图14是示出比较示例的图。例如，如图所示，为了调整平衡，删除数据的方法是可能的。具体地，在与图13的左侧的平衡相同的平衡的情况下，删除“状态1”的图像和“状态2”的图像，使得“状态1”的图像的数目和“状态2”的图像的数目变得与“状态3”的图像的数目相等。当采用这种方法调整平衡时，删除的图像被浪费。
其他实施方式
引导单元ISF10和地图数据获取单元ISF11可以被包括在除了装备有图像拾取装置的车辆以外的车辆中。
根据本发明的实施方式可以通过使计算机例如信息处理装置或信息处理系统执行上述图像处理方法中的步骤的程序来实现。程序可以被分发同时被存储在计算机可读记录介质中。
此外，作为如上所述的每个装置，可以设置多个装置。此外，可以以并行、分布式的或冗余的方式执行以上图像处理方法中的全部或一些步骤。
因此，已经描述了本发明的优选实施方式。然而，本发明不限于所描述的实施方式，并且可以在权利要求中描述的本发明的精神的范围内进行各种修改或改变。

Claims (8)

1.一种图像处理系统，其特征在于包括：
车辆；以及
信息处理装置，其中，
所述车辆包括：
图像拾取装置；
第一图像获取单元，其被配置成获取示出所述车辆的周边的第一图像，所述第一图像由所述图像拾取装置拾取；以及
位置数据发送单元，其被配置成向所述信息处理装置发送位置数据，所述位置数据指示所述车辆在所述第一图像被拾取时的位置，并且
所述信息处理装置包括：
位置数据接收单元，其被配置成从所述位置数据发送单元接收所述位置数据；
第二图像获取单元，其被配置成获取用于机器学习的多个第二图像，所述多个第二图像与基于所述位置数据的所述车辆的位置有关；
分组单元，其被配置成基于指示图像拾取时的状态的参数来将所述多个第二图像划分成多个组；以及
分析单元，其被配置成分析所述多个组之间的平衡，所述平衡是属于所述多个组的第二图像的数目的平衡。
2.根据权利要求1所述的图像处理系统，其特征在于，
所述信息处理装置还包括：
图像请求单元，其被配置成基于所述分析单元的分析结果向所述车辆请求第三图像，所述第三图像是从所述第一图像中选择的并且用于调整所述平衡的图像；
图像接收单元，其从所述车辆接收所述第三图像；以及
学习单元，其基于所述第二图像和所述第三图像执行学习，并且生成学习数据库。
3.根据权利要求1所述的图像处理系统，其特征在于，
所述车辆还包括：
分析结果接收单元，其被配置成接收所述分析单元的分析结果；
选择单元，其被配置成基于所述分析结果从所述第一图像中选择第三图像，所述第三图像是用于调整所述平衡的图像；以及
图像发送单元，其被配置成向所述信息处理装置发送所述第三图像，并且
所述信息处理装置还包括：
图像接收单元，其被配置成从所述车辆接收所述第三图像；以及
学习单元，其被配置成基于所述第二图像和所述第三图像执行学习，并且生成学习数据库。
4.根据权利要求1或2所述的图像处理系统，其特征在于，
所述车辆还包括：
地图数据获取单元，其被配置成获取指示所述车辆的当前位置、目的地和从所述当前位置到所述目的地的路径的地图数据；以及
引导单元，其被配置成基于所述地图数据和所述学习数据库执行对所述车辆行驶的路线的引导，并且
所述引导单元被配置成使用地标来执行对交叉路口的引导。
5.根据权利要求1至4中任一项所述的图像处理系统，其特征在于，
所述参数是所述第二图像被拾取的位置、所述第二图像被拾取的道路、所述第二图像被拾取的时间、天气、拾取所述第二图像的车辆的车辆类型、所述图像拾取装置的型号、关于拾取所述第二图像的车辆的控制信息、所述第二图像被拾取的位置周围的拥堵状态、所述第二图像被拾取的位置周围的拥挤状态、所述第二图像被拾取的位置周围的空间状态、拾取所述第二图像的车辆的车辆速度、拾取所述第二图像的车辆所位于的车道或其组合。
6.一种图像处理方法，其特征在于包括：
第一图像获取步骤，其中，车辆获取示出所述车辆的周边并且由图像拾取装置拾取的第一图像；
位置数据发送步骤，其中，所述车辆向信息处理装置发送位置数据，所述位置数据指示所述车辆在所述第一图像被拾取时的位置；
位置数据接收步骤，其中，所述信息处理装置接收在所述位置数据发送步骤中发送的位置数据；
第二图像获取步骤，其中，所述信息处理装置获取用于机器学习的多个第二图像，所述多个第二图像与基于所述位置数据的所述车辆的位置有关；
分组步骤，其中，所述信息处理装置基于指示图像拾取时的状态的参数来将所述多个第二图像划分成多个组；以及
分析步骤，其中，所述信息处理装置分析所述多个组之间的平衡，所述平衡是属于所述多个组的第二图像的数目的平衡。
7.一种信息处理装置，其特征在于包括：
位置数据接收单元，其被配置成接收位置数据，所述位置数据指示车辆在第一图像被拾取时的位置，所述第一图像示出所述车辆的周边并且由所述车辆中装备的图像拾取装置拾取；
图像获取单元，其被配置成获取用于机器学习的多个第二图像，所述多个第二图像与基于所述位置数据的所述车辆的位置有关；
分组单元，其被配置成基于指示图像拾取时的状态的参数来将所述多个第二图像划分成多个组；以及
分析单元，其被配置成分析所述多个组之间的平衡，所述平衡是属于所述多个组的第二图像的数目的平衡。
8.一种记录程序的计算机可读非暂态记录介质，所述程序使计算机执行：
位置数据接收步骤，其中，所述计算机接收位置数据，所述位置数据指示车辆在第一图像被拾取时的位置，所述第一图像示出所述车辆的周边并且由所述车辆中装备的图像拾取装置拾取；
图像获取步骤，其中，所述计算机获取用于机器学习的多个第二图像，所述多个第二图像与基于所述位置数据的所述车辆的位置有关；
分组步骤，其中，所述计算机基于指示图像拾取时的状态的参数来将所述多个第二图像划分成多个组；以及
分析步骤，其中，所述计算机分析所述多个组之间的平衡，所述平衡是属于所述多个组的第二图像的数目的平衡。
CN201810482208.XA 2017-05-22 2018-05-18 图像处理系统、图像处理方法、信息处理装置和记录介质 Active CN108932470B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017100700A JP6828587B2 (ja) 2017-05-22 2017-05-22 画像処理システム、画像処理方法、情報処理装置及び記録媒体
JP2017-100700 2017-05-22

Publications (2)

Publication Number Publication Date
CN108932470A true CN108932470A (zh) 2018-12-04
CN108932470B CN108932470B (zh) 2021-07-13

Family

ID=64271858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810482208.XA Active CN108932470B (zh) 2017-05-22 2018-05-18 图像处理系统、图像处理方法、信息处理装置和记录介质

Country Status (4)

Country Link
US (1) US10740629B2 (zh)
JP (1) JP6828587B2 (zh)
CN (1) CN108932470B (zh)
DE (1) DE102018111935A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6688970B2 (ja) * 2016-07-15 2020-04-28 パナソニックＩｐマネジメント株式会社 画像認識システム
US10635940B1 (en) * 2018-12-11 2020-04-28 Capital One Services, Llc Systems and methods for updating image recognition models
US20230005273A1 (en) * 2019-12-18 2023-01-05 Sony Group Corporation Information processing apparatus, information processing method, program, and movable object
CN111325984B (zh) * 2020-03-18 2023-05-05 阿波罗智能技术(北京)有限公司 样本数据的获取方法、装置和电子设备
DE102020206433A1 (de) 2020-05-25 2021-11-25 Hitachi Astemo, Ltd. Computerprogrammprodukt und Trainingssteuervorrichtung für künstliche Intelligenz
JP7494666B2 (ja) * 2020-09-09 2024-06-04 トヨタ自動車株式会社 情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバ
JP7452377B2 (ja) 2020-10-21 2024-03-19 株式会社豊田中央研究所 走行車線判定装置及び走行車線判定プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010016797A1 (en) * 2000-02-22 2001-08-23 Yazaki Corporation Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor
CN101046390A (zh) * 2006-03-29 2007-10-03 株式会社电装 导航设备与对车辆导航的方法
JP2008012636A (ja) * 2006-07-07 2008-01-24 Toyota Motor Corp 人物識別システム
CN101593518A (zh) * 2008-05-28 2009-12-02 中国科学院自动化研究所 实际场景语料和有限状态网络语料的平衡方法
CN101630363A (zh) * 2009-07-13 2010-01-20 中国船舶重工集团公司第七○九研究所 复杂背景下彩色图像人脸的快速检测方法
CN102495901A (zh) * 2011-12-16 2012-06-13 山东师范大学 通过局部均值保持实现类数据平衡的方法
CN104077499A (zh) * 2014-05-25 2014-10-01 南京理工大学 基于有监督上采样学习的蛋白质-核苷酸绑定位点预测方法
JP2015161592A (ja) * 2014-02-27 2015-09-07 パイオニア株式会社 ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
CN106504111A (zh) * 2016-09-19 2017-03-15 清华大学 异常电力用户挖掘中类分布不平衡问题的解决方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176813B2 (en) * 2004-09-10 2007-02-13 Xanavi Informatics Corporation System and method for processing and displaying traffic information in an automotive navigation system
JP4207941B2 (ja) * 2005-09-02 2009-01-14 パナソニック株式会社 画像表示装置及び画像生成装置
JP4929933B2 (ja) 2006-09-06 2012-05-09 株式会社デンソー 渋滞要因判断システム
ITRM20130274A1 (it) * 2013-05-08 2014-11-09 Smart I S R L Sistema di sensori ottici distribuiti ed intelligenti per il controllo adattivo, predittivo ed on-demand dell'illuminazione pubblica
JP6223059B2 (ja) * 2013-08-21 2017-11-01 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP6569138B2 (ja) * 2015-03-04 2019-09-04 三菱重工機械システム株式会社 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010016797A1 (en) * 2000-02-22 2001-08-23 Yazaki Corporation Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor
CN101046390A (zh) * 2006-03-29 2007-10-03 株式会社电装 导航设备与对车辆导航的方法
JP2008012636A (ja) * 2006-07-07 2008-01-24 Toyota Motor Corp 人物識別システム
CN101593518A (zh) * 2008-05-28 2009-12-02 中国科学院自动化研究所 实际场景语料和有限状态网络语料的平衡方法
CN101630363A (zh) * 2009-07-13 2010-01-20 中国船舶重工集团公司第七○九研究所 复杂背景下彩色图像人脸的快速检测方法
CN102495901A (zh) * 2011-12-16 2012-06-13 山东师范大学 通过局部均值保持实现类数据平衡的方法
JP2015161592A (ja) * 2014-02-27 2015-09-07 パイオニア株式会社 ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
CN104077499A (zh) * 2014-05-25 2014-10-01 南京理工大学 基于有监督上采样学习的蛋白质-核苷酸绑定位点预测方法
CN106504111A (zh) * 2016-09-19 2017-03-15 清华大学 异常电力用户挖掘中类分布不平衡问题的解决方法

Also Published As

Publication number Publication date
US20180336426A1 (en) 2018-11-22
DE102018111935A1 (de) 2018-11-22
CN108932470B (zh) 2021-07-13
US10740629B2 (en) 2020-08-11
JP2018195237A (ja) 2018-12-06
JP6828587B2 (ja) 2021-02-10

Similar Documents

Publication Publication Date Title
CN108932470A (zh) 图像处理系统、图像处理方法、信息处理装置和记录介质
US10642268B2 (en) Method and apparatus for generating automatic driving strategy
KR102593948B1 (ko) 주석 달기를 위한 데이터 샘플의 자동 선택
US11912271B2 (en) Trajectory prediction from precomputed or dynamically generated bank of trajectories
CN109760675B (zh) 预测车辆轨迹的方法、装置、存储介质和终端设备
CN101681426B (zh) 图像处理设备和图像处理方法
WO2009118987A1 (en) Travel pattern information obtaining device, travel pattern information obtaining method, and travel pattern information obtaining program
CN107479032B (zh) 用于自动化车辆的对象检测系统
CN111723854B (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
CN112055666A (zh) 用于确定道路的特征的方法、系统和介质
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7131990B2 (ja) 交通状況判定システム及び交通状況判定装置
JP2021503105A (ja) 軌跡データを用いてｓｃａｔｓ適応信号システムを最適化するシステム
GB2599175A (en) AV path planning with calibration information
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及系统
JP2010191737A (ja) 車両動作推定装置、車両動作推定方法および車両動作推定プログラム
CN114049760B (zh) 基于交叉路口的交通控制方法、装置及系统
US20210370986A1 (en) Artificially falsifying sensor data to initiate a safety action for an autonomous vehicle
US20230168100A1 (en) Automatic annotation of drivable road segments
CN112258881B (zh) 基于智慧交通的车辆管理方法
US11946749B2 (en) Driving data guided spatial planning
WO2022240882A1 (en) Improving lidar point cloud segmentation using box prediction
CN115203536A (zh) 基于驾驶场景推荐智能驾驶参数的方法及装置
JP2022007526A (ja) 周辺車両判別システム、周辺車両判別プログラム
CN114926984B (zh) 一种实时交通冲突收集与道路安全评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191231

Address after: TOYOTA City, Aichi Prefecture, Japan

Applicant after: Toyota Motor Corp.

Address before: TOYOTA City, Aichi Prefecture, Japan

Applicant before: Toyota Motor Corp.

Applicant before: AISIN AW Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant