CN113139567A - 信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法 - Google Patents

信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法 Download PDF

Info

Publication number
CN113139567A
CN113139567A CN202011589363.5A CN202011589363A CN113139567A CN 113139567 A CN113139567 A CN 113139567A CN 202011589363 A CN202011589363 A CN 202011589363A CN 113139567 A CN113139567 A CN 113139567A
Authority
CN
China
Prior art keywords
image
processing
information processing
gradation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011589363.5A
Other languages
English (en)
Inventor
安井裕司
有吉斗纪知
松永英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN113139567A publication Critical patent/CN113139567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法，在装置中的图像识别处理中，即使在使用CG图像作为学习数据的情况下，也能够更加稳健地对实际图像进行推定。本发明所涉及的信息处理装置具有：处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及识别单元，其使用实施规定的图像处理后的图像，对拍摄到的图像内的目标物进行识别。在此，处理单元对实际图像的灰度实施减小实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、规定的图像处理。

Description

信息处理装置及其控制方法、车辆、记录介质、信息处理服务 器、信息处理方法
技术领域
本发明涉及信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法。
背景技术
近年来，已知有如下技术：将由车辆所具备的摄像机拍摄到的图像输入至神经网络，并通过神经网络的推定处理来进行物体识别(也称为对象检测)(专利文献1)。
现有技术文献
专利文献
专利文献1：日本特表2018-527660号公报
发明内容
发明所要解决的问题
然而，在使用拍摄到的图像进行物体识别处理，并根据该物体识别处理的结果来进行车辆的行动控制的情况下，要求在车辆行驶时可能发生的各种状况下得到稳健(Robust)的识别结果。另一方面，由于难以确保拍摄到所有状况的图像作为学习数据，因此有时也将由计算机图形(CG)绘制的CG图像作为学习数据来使用。
在实际拍摄到的图像(也称为实际图像)和CG图像中，即使是具有相同的对象、背景的配置等的场景，图像的特性也不同。因此，即使使用将实际图像和CG图像混合而成的学习数据对学习模型进行学习，也存在在使用实际的拍摄图像进行推定处理时不能充分提高识别精度的情况。
在专利文献1中，公开了为了得到更加稳健的识别结果，作为物体识别处理的预处理而进行单色转换、对比度调整的内容，但对于使用CG图像作为学习数据的情况没有任何考虑。
本发明是鉴于上述问题而完成的，其目的在于提供一种在装置中的图像识别处理中，即使在使用CG图像作为学习数据的情况下，也能够更加稳健地对实际图像进行推定的技术。
用于解决问题的手段
根据本发明，提供一种信息处理装置，其特征在于，
所述信息处理装置具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
另外，根据本发明，提供一种车辆，所述车辆具备信息处理装置，其特征在于，
所述信息处理装置具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
进一步地，根据本发明，提供一种信息处理装置的控制方法，其特征在于，
所述信息处理装置的控制方法具有：
处理步骤，在该处理步骤中，对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别步骤，在该识别步骤中，使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
在所述处理步骤中，对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
另外，根据本发明，提供一种记录介质，所述记录介质记录用于使计算机作为信息处理装置的各单元而发挥功能的程序，其特征在于，
所述信息处理装置具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
进一步地，根据本发明，提供一种信息处理服务器，其特征在于，
所述信息处理服务器具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
另外，根据本发明，提供一种信息处理方法，其是由信息处理服务器执行的信息处理方法，其特征在于，
所述信息处理方法具有：
处理步骤，在该处理步骤中，对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别步骤，在该识别步骤中，使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
在所述处理步骤中，对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
发明效果
根据本发明，在装置中的图像识别处理中，即使在使用CG图像作为学习数据的情况下，也能够更加稳健地对实际图像进行推定。
附图说明
图1是表示第一实施方式所涉及的车辆的功能构成例的框图。
图2是对用于第一实施方式所涉及的车辆的行驶控制的主要构成进行说明的图。
图3是对第一实施方式所涉及的CG化处理部和模型处理部的神经网络的构成例进行说明的图。
图4是表示第一实施方式所涉及的模型处理部的输出的一个例子的图。
图5是表示第一实施方式所涉及的CG化处理部和模型处理部中的学习阶段的一系列的动作的流程图。
图6是表示第一实施方式所涉及的CG化处理部中的学习阶段的一系列的动作的流程图。
图7是表示第一实施方式所涉及的CG化处理部以及模型处理部中的推定阶段的一系列的动作的流程图。
图8是对第二实施方式所涉及的CG化处理部和模型处理部的构成例进行说明的图。
图9是表示从第二实施方式所涉及的CG化处理部输出的图像信号的特性的一个例子的图。
图10是表示第三实施方式所涉及的信息处理服务器的功能构成例的框图。
附图标记说明
100：车辆；200：控制部；213：CG化处理部；214：模型处理部；106：行驶控制部。
具体实施方式
(第一实施方式)
以下，参照附图对实施方式进行详细说明。此外，以下的实施方式并非对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。另外，在以下的例子中，以控制部200是组装在车辆100中的控制单元的情况为例进行说明，但控制部200也可以是搭载在车辆100中的信息处理装置。即，车辆100也可以是搭载了具备包含在控制部200中的CPU210、CG化处理部213等构成的信息处理装置的车辆。
<车辆的构成>
首先，参照图1，对本实施方式所涉及的车辆100的功能构成例进行说明。此外，参照之后的附图而说明的各功能块可以合并或分离，并且所说明的功能也可以由其他功能块来实现。另外，作为硬件说明的功能也可以由软件来实现，反之亦然。
传感器部101包括输出对车辆的前方(或者，进而后方方向、周围)进行拍摄而得到的拍摄图像的摄像机(拍摄单元)。传感器部101还可以包括输出对车辆的前方(或者，进而后方方向、周围)的距离进行测量而得到的距离图像的光学雷达(Lidar,Light Detectionand Ranging)。所拍摄的实际图像例如在后述的控制部200所进行的物体识别处理等中使用。另外，也可以包括输出车辆100的加速度、位置信息、转向角等的各种传感器。
通信部102例如是包含通信用电路等的通信设备，例如经由作为LTE、LTE-Advanced等或者所谓的5G而标准化的移动体通信与外部的服务器、周围的交通系统等进行通信。可以从外部服务器接收地图数据的一部分或全部，或者从其他交通系统接收交通信息等。
操作部103除了安装在车辆100内的按钮、触摸面板等操作构件之外，还包含转向装置、制动踏板等接受用于驾驶车辆100的输入的构件。电源部104例如包含由锂离子电池等构成的电池，向车辆100内的各部供电。动力部105例如包含产生用于使车辆行驶的动力的发动机、马达。
行驶控制部106基于从控制部200输出的物体识别的结果，例如以维持同一车道上的行驶，或者跟随前方车辆而行驶的方式，对车辆100的行驶进行控制。此外，在本实施方式中，该行驶控制可以使用已知的方法来进行。
存储部107包含半导体存储器等非易失性的大容量的存储设备。临时存储从传感器部101输出的实际图像、其他从传感器部101输出的各种传感器数据。另外，例如也可以临时存储经由有线通信或无线通信从外部服务器等外部装置接收到的、用于模型处理部214的学习的学习数据。
控制部200例如包含CPU210、RAM211、ROM212，对车辆100的各部的动作进行控制。另外，控制部200从传感器部101获取实际图像，并执行物体识别处理。控制部200通过由CPU210将存储在ROM212中的计算机程序在RAM211中加载、执行，由此发挥控制部200所具有的模型处理部214等各部的功能。
CPU210包括一个以上的处理器。RAM211例如由DRAM等易失性的存储介质构成，作为CPU210的工作存储器而发挥功能。ROM212由非易失性的存储介质构成，存储由CPU210执行的计算机程序、使控制部200进行动作时的设定值等。此外，在以下的实施方式中，以CPU210执行模型处理部214的处理的情况为例进行说明，但模型处理部214的处理也可以由未图示的一个以上的其他处理器(例如GPU)来执行。
CG化处理部213获取从传感器部101输出的实际图像、包含在学习数据中的图像(实际图像以及CG图像)，并对所获取的图像进行规定的图像处理(称为CG化处理)。关于CG化处理，在后文中进行叙述。
模型处理部214例如进行使用了深层学习(深度神经网络)的机器学习算法的运算，例如对图像内的目标物进行识别。目标物包括图像内所包含的行人、车辆、两轮车、广告牌、标识、道路、在道路上以白色或黄色绘制的线等。此外，在以下的说明中，有时将目标物简称为物体等。
在本实施方式中，以神经网络包括例如包含一个以上的卷积层、池化层以及全连接层的被称为CNN(Convolutional Neural Network：卷积神经网络)的网络结构的情况为例进行说明。但是，网络结构并不限于CNN，也可以是其他构成。另外，也可以是如ResNet(Residual Network，残差网络)那样还具有跳跃连接的构成。或者，例如也可以是如自动编码器那样，在具有CNN结构的编码器的构成的基础上，还具有解码器的构成。当然，不限于这些结构，只要是对图像这样的在空间上分布的信号使用的神经网络的结构，则可以是其他结构。
<用于车辆的行驶控制的主要构成>
接着，参照图2，对用于车辆100的行驶控制的主要构成进行说明。传感器部101例如对车辆100的前方进行拍摄，以每秒为规定的张数输出所拍摄的实际图像。控制部200的CG化处理部213对从传感器部101输出的实际图像应用后述的CG化处理，并将CG化后的图像输出至控制部200的模型处理部214。对图像信号的特性进行转换，以使得通过CG化处理部213后的实际图像具有与CG图像类似的特性。
模型处理部214使用所输入的CG化图像，例如执行基于神经网络的物体识别处理，并将识别结果输出至行驶控制部106。关于识别结果的详细内容，在后文中进行叙述，例如，按对输入图像进行分割而成的每个网格，输出物体的有无、识别到的物体区域的位置、大小、识别到的物体的类别等信息。
行驶控制部106基于物体识别的结果以及从传感器部101得到的车辆的加速度、转向角等各种传感器信息，例如向动力部105输出控制信号，来进行车辆100的车辆控制。如上所述，由行驶控制部106进行的车辆控制能够使用公知的方法来进行，因此在本实施方式中省略详细说明。动力部105根据行驶控制部106的控制信号，对动力的产生进行控制。
<CG化处理部和模型处理部的神经网络的构成例>
接着，参考图3，对物体识别处理所涉及的CG化处理部和模型处理部的神经网络的构成例进行说明。图3示意性地示出了CG化处理部213和模型处理部214分别所实施的神经网络的构成例。
CG化处理部213具有被称为深度神经网络的、具有多个隐藏层的神经网络的构成，主要包含输入层310、隐藏层311以及输出层312。例如，将所拍摄的一张实际图像330的各像素值输入至输入层310的各神经元。
图3所示的实际图像330示意性地示出了对车辆的前方进行拍摄而得到的实际图像。实际图像330是对存在配置于道路的中央的线331、车辆100的前方的第一被摄体332(例如车辆)以及第二被摄体333(例如两轮车)的情形进行拍摄而得到的图像。
输入层310例如具有实际图像的图像尺寸×3ch的数量的神经元。构成为从输入层310输入的信号从输入层向输出层依次传播，在输出层312中输出CG化后的图像(CG化图像)。在本实施方式中，例如，输出层312的神经元数量与输入层相同，以使得输出层312输出与输入层相同尺寸的图像。
从CG化处理部213的输出层输出的CG化图像被输入至模型处理部214的输入层320。模型处理部214的输入层320的神经元数量例如与CG化处理部213的输出层312的神经元数量相同。
模型处理部214也具有深度神经网络的构成。如上所述，隐藏层321的构成例如可以是包含卷积层、池化层以及全连接层的CNN的构成。
输出层323由将实际图像分割为多个网格(例如19×19)并在各网格中存储识别结果这样的、输出图4所示的数据的数量的神经元构成。在图4中，作为模型处理部214进行物体识别处理后的识别结果的输出例，示出了按每个网格输出识别结果的例子。
识别结果401是用于存储例如在网格位置为(0，0)、即左上的网格的情况下的识别结果的输出例。输出该网格的物体的有无(例如，在存在物体的情况下设定为1，在不存在物体的情况下设定为0)、物体区域的中心位置、大小。另外，在物体类别中，例如在识别到行人的情况下，将识别到存在的物体类别(行人)的值设定为1，并将未识别到存在的其他物体类别的值设定为0。物体类别的输出值也可以作为各物体存在的概率而输出。
<CG化处理部和模型处理部所涉及的学习阶段的一系列的动作>
接着，参照图5，对CG化处理部和模型处理部中的学习阶段的一系列的动作进行说明。此外，本处理通过由控制部200的CPU210将存储在ROM212中的程序在RAM211中加载、执行而实现。另外，本处理是预先使CG化处理部213的神经网络成为学习完毕的状态(即，已决定神经元之间的加权)的处理。另一方面，模型处理部214的神经网络未学习完毕，通过本处理成为学习完毕的状态。另外，在车辆100的存储部107中临时存储有从外部装置传送来的学习数据，控制部200将该学习数据中的规定的学习数据用于本处理中的学习。
在S501中，控制部200从存储部107中获取学习数据。在此，学习数据是将实际在车辆中拍摄到的实际图像和注解(Annotation)作为一组的数据，或者是将CG图像和注解作为一组的数据。注解是记载有实际图像或CG图像内的物体的有无、其位置的数据，表示由人工(根据不同情况而由机器)提供的正解。注解数据的形式可以与图4中说明的每个网格的识别结果相同，例如，只要记载有物体的有无、物体区域的中心位置、物体区域的大小、物体的类别(对属于该类别的物体赋予1，对其他物体类别赋予0)即可。
在S502中，CG化处理部213对学习数据的输入图像应用(基于当前时间点的神经网络的)CG化处理。CG图像与实际图像相比，一般而言，亮度或RGB值中的边缘部分较强，在非边缘部分的区域中噪声(noise)、浓淡变化较少。因此，CG化处理是指为了降低实际图像的灰度特性与示出同一场景的CG图像的灰度特性之差，例如在保持图像中的边缘分量的同时，去除随机噪声的处理。例如，在图9中示意性地示出了应用该CG化处理时的输入信号的变化。在图9所示的例子中，信号901表示所输入的实际图像的信号，表示在边缘的两侧存在高频的噪声、浓淡变化的情形。另一方面，信号902表示CG化处理后的特性，表示在保持边缘部分的同时，在非边缘部分的区域中噪声、浓淡变化变少。
CG化处理部213使用CG化用学习数据进行学习，该CG化用学习数据是作为输入图像的实际图像和通过人工对该实际图像进行CG化而得到的正解数据的组合，CG化处理部213以构成将所输入的实际图像数据转换为CG化图像的滤波器的方式构成神经网络。
在作为CG化处理部213中的处理的转换特性，而具有在保持实际图像数据的亮度或RGB值中的边缘部分的同时去除随机噪声的特性的情况下，即使向CG化处理部213中输入CG图像，CG图像也几乎不受影响。在该情况下，即使无区别地将CG图像和实际图像输入至CG化处理部213，CG图像也几乎保持原样地被输出，仅转换实际图像的特性。
此外，在应用CG化处理时，在无区别地将包含在学习数据中的CG图像和实际图像输入至CG化处理部213的情况下，CG化处理部213可以具有判定输入图像是CG图像还是实际图像的构成(CG图像判定部)。例如，CG图像判定部可以由为了判定输入图像是实际图像还是CG图像而进行了学习的神经网络构成。然后，CG化处理部213对CG图像判定部判定为是实际图像的图像实施CG化处理。另一方面，对于CG图像判定部判定为不是实际图像的图像，可以不实施处理而直接输入至模型处理部214。
这样，即使CG化处理具有强调输入图像的边缘这样的、不仅改变实际图像而且改变CG图像的特性这样的特性的情况下，也能够无区别地将实际图像和CG图像输入至CG化处理部213。
在S503中，模型处理部214将CG化图像或CG图像输入至模型处理部214，并输出基于(学习中的)神经网络的推定结果(即，图4所示的输出)。在S504中，模型处理部214基于该推定结果与包含在学习数据中的注解之间的差异来计算损失函数的输出。例如，模型处理部214使用由推定结果与注解之间的差异(预测误差)的平方和而定义的损失函数来计算损失函数的输出。
在S505中，模型处理部214判定是否使用了学习数据中的预先规定的数据样本的全部来计算损失函数的输出。模型处理部214在对学习数据中的预先规定的数据样本的全部执行了处理的情况下，判定为一个时期(epoch)的处理结束，使处理进入S506，在不是这样的情况下，使处理返回至S502。
在S506中，模型处理部214以使损失函数的输出的总和减小的方式变更学习模型的权重。例如，模型处理部214使用被称为反向传播(Back propagation)的公知的方法，基于损失函数的偏微分值，从输出层向输入层依次变更神经元之间的权重。
在S507中，模型处理部214判定是否已结束规定的时期数的处理。即，判定是否将S502～S506的处理反复进行了预先规定的次数。通过反复进行S502～S507的处理，将神经网络的权重变更为逐渐向最佳值收敛。模型处理部214在判定为尚未结束规定的时期数的情况下，使处理返回至S502，在不是这样的情况下，结束本一系列的处理。这样，当模型处理部214的学习阶段的一系列的动作完成时，模型处理部214中的神经网络成为学习完毕的状态。
<CG化处理部所涉及的学习阶段的一系列的动作>
接着，参照图6，对CG化处理部213中的学习阶段的一系列的动作进行说明。此外，本处理通过由控制部200的CPU210将存储在ROM212中的程序在RAM211中加载、执行来实现。另外，在本处理中，CG化处理部213的神经网络未学习完毕，通过本处理而成为学习完毕的状态。另外，在车辆100的存储部107中，临时存储有从外部装置传送来的CG化用学习数据，控制部200将该CG化用学习数据中的规定的学习数据用于本处理中的学习。
在S601中，控制部200从存储部107中获取CG化用学习数据。在此，CG化用学习数据是实际图像和通过人工对该实际图像进行CG化而得到的正解CG化数据的组合。
在S602中，CG化处理部213通过对学习数据的实际图像应用(基于当前时间点的神经网络的)CG化处理并输出CG化图像。
在S603中，CG化处理部213基于CG化图像与包含在学习数据中的正解CG化数据之间的差异来计算损失函数的输出。例如，CG化处理部213使用由CG化图像与正解CG化数据之间的差异(预测误差)的平方和而定义的损失函数，来计算损失函数的输出。
在S604中，CG化处理部213判定是否使用了学习数据中的预先规定的数据样本的全部来计算损失函数的输出。CG化处理部213在对学习数据中的预先规定的数据样本的全部执行了处理的情况下，判定为一个时期的处理结束，使处理进入S605，在不是这样的情况下，使处理返回至S602。
在S605中，CG化处理部213以使损失函数的输出的总和减小的方式变更学习模型的权重。例如，CG化处理部213使用被称为反向传播的公知的方法，基于损失函数的偏微分值，从输出层向输入层依次变更神经元之间的权重。
在S606中，CG化处理部213判定是否已结束规定的时期数的处理。即，判定是否将S602～S605的处理反复进行了预先规定的次数。通过反复进行S602～S606的处理，将神经网络的权重变更为逐渐向最佳值收敛。CG化处理部213在判定为尚未结束规定的时期数的情况下，使处理返回至S602，在不是这样的情况下，结束本一系列的处理。这样，当CG化处理部213中的学习阶段的一系列的动作完成时，CG化处理部213中的神经网络成为学习完毕的状态。
<模型处理部214中的推定阶段的一系列的动作>
接着，参照图7，对模型处理部214中的推定阶段的一系列的动作进行说明。本处理是在车辆100中对实际拍摄到的实际图像进行物体识别处理，从而推定对象物体的种类、物体的位置等的处理。此外，本处理通过由控制部200的CPU210将存储在ROM212中的程序在RAM211中加载、执行来实现。另外，在本处理中，CG化处理部213的神经网络和模型处理部214的神经网络是预先学习完毕的状态(即，已决定神经元之间的加权)。
在S701中，控制部200获取从传感器部101输出的实际图像。在S702中，CG化处理部213将上述的CG化处理应用于实际图像，并输出CG化后的图像。
在S703中，模型处理部214对CG化后的图像应用学习完毕的学习模型(神经网络)而执行对图像内的目标物进行识别的处理，并(以图4所示的形式)输出通过处理而得到的推定结果。控制部200在推定处理结束时，结束本处理所涉及的一系列的动作。
如以上说明的那样，在本实施方式中，对在车辆中获取到的实际图像数据进行作为CG化处理的转换处理的基础上，对转换后的CG化图像进行识别图像内的目标物的图像识别处理。这样，无论是学习阶段的学习数据中的实际图像，还是在推定阶段输入的实际图像，都成为与CG图像特性近似的图像，从而能够降低由CG图像和实际图像的差异引起的误学习、误检测的比例。因而，在装置中的图像识别处理中，即使在使用CG图像作为学习数据的情况下，也能够更加稳健地对实际图像进行推定。
(第二实施方式)
接着，对本发明的第二实施方式进行说明。在上述实施方式中，使用了利用神经网络而安装的CG化处理部213来执行CG化处理。与此相对地，在本实施方式中，对执行基于规则库的CG化处理的例子进行说明。因而，本实施方式与上述第一实施方式的不同之处仅在于CG化处理部的内部构成。因而，对于与上述实施方式实质上相同的构成标注相同的附图标记并省略其说明。
<CG化处理部和模型处理部的神经网络的构成例>
参照图8，对本实施方式所涉及的CG化处理部和模型处理部的构成例进行说明。此外，在图8中，模型处理部214与第一实施方式相同，因此标注相同的附图标记来表示相同的构成。另一方面，CG化处理部801通过规则库的处理来实现。
CG化处理部801例如通过ε滤波器执行CG化处理。ε滤波器例如针对以实际图像中的关注像素Xi为中心的5×5的像素块区域所包含的全部像素(称为周边像素X(i，j))，进行以下的滤波处理。使关注像素依次移动而对实际图像中的全部关注像素进行以下的处理。
在滤波处理中，首先，针对像素块内的周边像素X(i，j)，计算与关注像素Xi的像素值的差分(灰度差ΔX(i，j))。在像素块内的像素中，将计算出的差分的绝对值小于规定的阈值(ε值)的像素的像素值(满足|ΔX(i、j)|<ε的X(i，j))进行平均而得到的值作为关注像素的像素值。即，关注图像的像素值是将Σ(相应的X(i，j))以相应的像素数进行平均化而得到的值。因而，ε滤波器能够在保持实际图像中的边缘分量的同时去除随机噪声。
<物体识别处理所涉及的一系列的动作>
在上述CG化处理部801的构成中，控制部200可以以与第一实施方式相同的方式进行图5以及图7所示的学习阶段中的图像识别处理(S501～S507)以及推定阶段中的图像识别处理(S701～S703)。
此外，由于本实施方式的CG化处理部801不由神经网络构成，因此不需要进行图6所示的学习阶段的处理。
如以上说明的那样，在本实施方式中，对在车辆中获取到的实际图像数据进行使用了ε滤波器的CG化处理的基础上，对转换后的CG化图像进行识别图像内的目标物的图像识别处理。由此，无论是模型处理部214处于学习阶段的情况下的学习数据中的实际图像，还是模型处理部214处于推定阶段的情况下的实际图像，都成为与CG图像特性近似的图像。因此，能够降低由CG图像和实际图像的差异引起的误学习、误检测的比例。因而，在装置中的图像识别处理中，即使在使用CG图像作为学习数据的情况下，也能够更加稳健地对实际图像进行推定。
(第三实施方式)
在上述实施方式中，以在车辆100中执行图像识别处理的情况为例进行了说明。但是，本实施方式不限于在车辆中执行图像识别的情况，也可以应用于在信息处理服务器中执行图像识别的情况。即，也可以是信息处理服务器接收在车辆100中获取到的实际图像，并对接收到的实际图像执行图像识别处理，并将该识别结果发送至车辆100。以下，对这样的实施方式中的信息处理服务器的功能构成例进行说明。
<信息处理服务器的构成>
接着，参照图10，对信息处理服务器的功能构成例进行说明。此外，参照之后的附图而说明的各功能块可以合并或分离，并且所说明的功能也可以由其他功能块来实现。另外，作为硬件说明的功能也可以由软件来实现，反之亦然。
控制部1004例如包含CPU1010、RAM1011、ROM1012，对信息处理服务器1000的各部的动作进行控制。控制部1004通过由CPU1010将存储在ROM1012中的计算机程序在RAM1011中加载、执行，由此发挥构成控制部1004的各部的功能。
CG化处理部1013例如可以具有与CG化处理部213相同的构成。即，具有深度神经网络的构成，例如具有参照图3而说明的输入层310、隐藏层311以及输出层312。例如，通过与图6中上述的学习阶段相同的处理(S601～S606)而成为学习完毕的状态。此外，CG化用学习数据可以预先存储在存储部1003中。
模型处理部1014例如可以具有与模型处理部214相同的构成。即，具有深度神经网络的构成，例如具有参照图3而说明的输入层320、隐藏层321和隐藏层322、以及输出层323。例如，通过与图5中上述的学习阶段相同的处理(S501～S507)而成为学习完毕的状态。此外，学习数据可以预先存储在存储部1003中。
通信部1001例如是包含通信用电路等的通信设备，例如通过因特网等网络而与车辆100进行通信。通信部1001接收从车辆100发送的实际图像，将上述控制部1004中的图像识别的结果发送至车辆100。电源部1002向信息处理服务器1000内的各部供电。存储部1003是硬盘、半导体存储器等非易失性存储器。存储部1003存储上述学习数据的信息。
另外，信息处理服务器1000也可以代替在服务器侧进行图像识别处理，而将学习完毕的模型发送至车辆100，在车辆100内也进行图像识别处理。在该情况下，信息处理服务器1000还具有用于将学习完毕模型的信息发送至车辆100的模型提供部1015。
为了对车辆100的模型处理部214进行版本升级，模型提供部1015将在信息处理服务器1000中通过与S501～S507、S601～S606相同的处理而进行了学习的学习完毕模型提供至车辆100。该学习完毕模型的信息包含该学习模型的版本信息、学习完毕的神经网络的加权参数等。
在信息处理服务器中，与车辆相比，能够更容易地收集各种状况下的(包括CG图像)学习数据，因此能够进行与更多的状况对应的学习。因此，如果能够向车辆100提供使用在服务器上收集到的学习数据而进行了学习的学习完毕模型，则能够更加稳健地对车辆中的图像进行推定。
(其他实施方式)
此外，在上述实施方式中，以在控制部200或控制部1004使用CG图像以及实际图像进行了学习的基础上，使用实际图像来执行物体识别处理的情况为例进行了说明。但是，上述实施方式也能够应用于实施图像识别处理所涉及的其他处理的情况。即，本实施方式例如也能够应用于行驶路线识别、场景理解、交通参加者行为预测等基于图像的识别处理。例如，模型处理部1014也可以为了进行场景理解而执行上述处理。
另外，也可以在使用预先使用CG图像和实际图像进行了学习的物体识别用的学习模型而识别出特定的目标物的区域的基础上，根据所识别的目标物的类别，使CG化处理部1013所进行的处理不同。例如，对于车辆、存在于道路上的目标物，可以与除此以外的区域相比而增大ε滤波器的ε值，或者施加强调边缘的处理。或者，也可以在识别到特定的类别的目标物的情况下进行CG化处理。
<实施方式的总结>
1、上述实施方式的信息处理装置(例如，包含在车辆100中的信息处理装置)具有：
处理单元(例如，213)，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元(例如，214)，其使用实施规定的图像处理后的图像，对拍摄到的图像内的目标物进行识别，
处理单元对实际图像的灰度实施减小实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、规定的图像处理。
根据本实施方式，在装置中的图像识别处理中，即使在使用CG图像作为学习数据的情况下，也能够更加稳健地对实际图像进行推定。
2、根据上述实施方式，识别单元包含第一学习模型(例如，320、321、322、323)，
用于学习第一学习模型的学习数据包含实际图像和CG图像。
根据本实施方式，能够通过使用CG图像来补充在实际图像中难以收集的学习数据。
3、根据上述实施方式，处理单元能够进一步对学习数据实施规定的图像处理，
处理单元在判定为所要实施规定的图像处理的图像是CG图像的情况下，不对该图像实施规定的图像处理。
根据本实施方式，在使用学习数据的情况下，能够仅对实际图像实施规定的图像处理。
4、根据上述实施方式，识别单元进一步使用未实施规定的图像处理的CG图像来识别CG图像内的目标物。
根据本实施方式，在使用学习数据的情况下，能够执行使用了CG图像的识别处理。
5、根据上述实施方式，处理单元实施具有在保持图像中的边缘分量的同时去除随机噪声的特性的规定的图像处理(例如，S502)。
根据本实施方式，能够将实际图像转换为与CG类似的图像。
6、根据上述实施方式，处理单元使用ε滤波器来实施规定的图像处理(例如，S502)。
根据本实施方式，能够使用ε滤波器进行CG化处理。
7、根据上述实施方式，处理单元构成为通过第二学习模型来实施规定的图像处理，第二学习模型使用实际图像和将该实际图像CG化后的正解数据的组合作为学习数据来进行学习。
根据本实施方式，能够使用学习模型来进行CG化处理。
8、根据上述实施方式，在实际图像中存在特定的目标物的情况下，处理单元使针对特定的目标物的区域和其他区域而进行的规定的图像处理不同。
根据本实施方式，能够更加稳健地对特定的目标物进行处理。
本发明不限于上述的实施方式，可以在本发明的主旨的范围内进行各种变形、变更。

Claims (13)

1.一种信息处理装置，其特征在于，
所述信息处理装置具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述识别单元包含第一学习模型，
用于学习所述第一学习模型的学习数据包含所述实际图像和所述CG图像。
3.根据权利要求2所述的信息处理装置，其特征在于，
所述处理单元能够进一步对所述学习数据实施所述规定的图像处理，
所述处理单元在判定为所要实施所述规定的图像处理的图像是所述CG图像的情况下，不对该图像实施所述规定的图像处理。
4.根据权利要求3所述的信息处理装置，其特征在于，
所述识别单元进一步使用未实施所述规定的图像处理的所述CG图像来识别所述CG图像内的目标物。
5.根据权利要求1所述的信息处理装置，其特征在于，
所述处理单元实施具有在保持所述图像中的边缘分量的同时去除随机噪声的特性的所述规定的图像处理。
6.根据权利要求1所述的信息处理装置，其特征在于，
所述处理单元使用ε滤波器来实施所述规定的图像处理。
7.根据权利要求1所述的信息处理装置，其特征在于，
所述处理单元构成为通过第二学习模型来实施所述规定的图像处理，
所述第二学习模型使用所述实际图像和将该实际图像CG化后的正解数据的组合作为学习数据来进行学习。
8.根据权利要求1所述的信息处理装置，其特征在于，
在所述实际图像中存在特定的目标物的情况下，所述处理单元使针对所述特定的目标物的区域和其他区域而进行的所述规定的图像处理不同。
9.一种车辆，所述车辆具备信息处理装置，其特征在于，
所述信息处理装置具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
10.一种信息处理装置的控制方法，其特征在于，
所述信息处理装置的控制方法具有：
处理步骤，在该处理步骤中，对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别步骤，在该识别步骤中，使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
在所述处理步骤中，对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
11.一种记录介质，所述记录介质记录用于使计算机作为信息处理装置的各单元而发挥功能的程序，其特征在于，
所述信息处理装置具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
12.一种信息处理服务器，其特征在于，
所述信息处理服务器具有：
处理单元，其对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别单元，其使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
所述处理单元对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
13.一种信息处理方法，其是由信息处理服务器执行的信息处理方法，其特征在于，
所述信息处理方法具有：
处理步骤，在该处理步骤中，对由拍摄单元拍摄到的实际图像实施规定的图像处理；以及
识别步骤，在该识别步骤中，使用实施所述规定的图像处理后的图像，对拍摄到的所述图像内的目标物进行识别，
在所述处理步骤中，对所述实际图像的灰度实施减小所述实际图像的灰度与示出同一场景的由计算机图形表示的CG图像的灰度之差的、所述规定的图像处理。
CN202011589363.5A 2020-01-16 2020-12-29 信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法 Pending CN113139567A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-005391 2020-01-16
JP2020005391A JP6992099B2 (ja) 2020-01-16 2020-01-16 情報処理装置、車両、車両の制御方法、プログラム、情報処理サーバ、情報処理方法

Publications (1)

Publication Number Publication Date
CN113139567A true CN113139567A (zh) 2021-07-20

Family

ID=76809816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589363.5A Pending CN113139567A (zh) 2020-01-16 2020-12-29 信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法

Country Status (3)

Country Link
US (1) US11860627B2 (zh)
JP (1) JP6992099B2 (zh)
CN (1) CN113139567A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
WO2024069886A1 (ja) * 2022-09-29 2024-04-04 株式会社ニコン 演算装置、演算システム、ロボットシステム、演算方法及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286395A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 画像処理システムおよびその方法
JP2005332054A (ja) * 2004-05-18 2005-12-02 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム
US20150110398A1 (en) * 2013-10-22 2015-04-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN107851195A (zh) * 2015-07-29 2018-03-27 诺基亚技术有限公司 利用神经网络进行目标检测

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074272B2 (ja) 2013-01-17 2017-02-01 キヤノン株式会社 画像処理装置および画像処理方法
JP6282045B2 (ja) 2013-05-23 2018-02-21 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP6548690B2 (ja) 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
JP7207846B2 (ja) 2017-03-24 2023-01-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11403560B2 (en) 2017-04-26 2022-08-02 Sony Interactive Entertainment Inc. Training apparatus, image recognition apparatus, training method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286395A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 画像処理システムおよびその方法
JP2005332054A (ja) * 2004-05-18 2005-12-02 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム
US20150110398A1 (en) * 2013-10-22 2015-04-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN107851195A (zh) * 2015-07-29 2018-03-27 诺基亚技术有限公司 利用神经网络进行目标检测

Also Published As

Publication number Publication date
JP2021114048A (ja) 2021-08-05
JP6992099B2 (ja) 2022-01-13
US20210224554A1 (en) 2021-07-22
US11860627B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
WO2019230339A1 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US11783593B2 (en) Monocular depth supervision from 3D bounding boxes
WO2018168539A1 (ja) 学習方法およびプログラム
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN113139567A (zh) 信息处理装置及其控制方法、车辆、记录介质、信息处理服务器、信息处理方法
US20230326055A1 (en) System and method for self-supervised monocular ground-plane extraction
JP2019139420A (ja) 立体物認識装置、撮像装置および車両
CN113496194B (zh) 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质
JP2019128153A (ja) 距離算出装置及び車両制御装置
US20230033466A1 (en) Information processing method and storage medium for estimating camera pose using machine learning model
US11568653B2 (en) Vehicle environment modeling with a camera
CN115115530B (zh) 一种图像去模糊的方法、装置、终端设备及介质
CN115191928A (zh) 信息处理装置、信息处理方法、学习方法以及存储介质
US11398043B2 (en) System and method for self-supervised monocular depth regularization from surface normals
JP7501481B2 (ja) 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム
JP7158515B2 (ja) 学習装置、学習方法及びプログラム
EP4258243A1 (en) Image processing device, image processing method, and program
CN118096562A (zh) 图像增强方法、装置、计算机设备以及存储介质
CN117681862A (zh) 一种自动泊车方法、自动泊车装置及车辆
CN115205829A (zh) 信息处理装置、信息处理方法、学习方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination