CN115053280B - 模型生成装置、车载装置和模型生成方法 - Google Patents

模型生成装置、车载装置和模型生成方法 Download PDF

Info

Publication number
CN115053280B
CN115053280B CN202080095790.XA CN202080095790A CN115053280B CN 115053280 B CN115053280 B CN 115053280B CN 202080095790 A CN202080095790 A CN 202080095790A CN 115053280 B CN115053280 B CN 115053280B
Authority
CN
China
Prior art keywords
model
unit
information
weight
weights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080095790.XA
Other languages
English (en)
Other versions
CN115053280A (zh
Inventor
奥田太郎
田中元气
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN115053280A publication Critical patent/CN115053280A/zh
Application granted granted Critical
Publication of CN115053280B publication Critical patent/CN115053280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/34—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes
    • G06F9/345—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes of multiple operands or results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Eletrric Generators (AREA)

Abstract

本发明的模型生成装置包括：选择信息获取部(11)，该选择信息获取部(11)从可生成的多个神经网络模型中获取用于确定作为生成对象的对象模型的选择信息；模型确定部(12)，该模型确定部(12)基于由选择信息获取部(11)获取到的选择信息确定对象模型；权重获取部(13)，该权重获取部(13)获取由模型确定部(12)确定的对象模型的权重；以及模型生成部(14)，该模型生成部(14)基于定义了与多个神经网络模型的结构相关的结构信息和用于在该结构中映射权重的信息的权重映射、以及权重获取部(13)所获取到的权重来生成模型确定部(12)所确定的对象模型。

Description

模型生成装置、车载装置和模型生成方法
技术领域
本公开涉及一种用于生成神经网络模型的模型生成装置、搭载了该模型生成装置的车载装置以及模型生成方法。
背景技术
近年来，已知通过使用与各种条件相匹配的各种神经网络模型进行运算，来获得与该各种条件相匹配的信息的技术(例如，专利文献1)。这里，“神经网络模型”是指神经网络中通过深度学习来学习到的已学习模型。
现有技术文献
专利文献
专利文献1：日本专利特开2018-81404号公报
发明内容
发明所要解决的技术问题
一般来说，表示神经网络模型的数据大小较大。因此，在用于进行使用了该神经网络模型的运算的装置中，存在无法将表示与各种条件相匹配的各种神经网络模型的数据全部预先存储起来的问题。
本公开是为了解决上述问题而完成的，其目的在于提供一种模型生成装置，其在无需预先存储所有表示与各种条件相匹配的各种神经网络模型的数据的情况下，能够获得与上述各种条件匹配的信息。
用于解决技术问题的技术手段
本公开所涉及的模型生成装置包括：选择信息获取部，该选择信息获取部从可生成的多个神经网络模型中获取用于确定作为生成对象的对象模型的选择信息；模型确定部，该模型确定部基于由选择信息获取部获取到的选择信息确定对象模型；权重获取部，该权重获取部获取由模型确定部确定的对象模型的权重；以及模型生成部，该模型生成部基于定义了与多个神经网络模型的结构相关的结构信息和用于在该结构中映射权重的信息的权重映射、以及权重获取部所获取到的权重来生成模型确定部所确定的对象模型。
发明效果
根据本公开，在无需预先存储所有表示与各种条件相匹配的各种神经网络模型的数据的情况下，能够获得与上述各种条件相匹配的信息。
附图说明
图1是表示实施方式1的模型生成装置的结构例的图。
图2是用于说明实施方式1中模型确定部参照的模型确定用信息的一例的图像的图。
图3是用于说明实施方式1中存储有权重的权重信息的一个示例的图像的图。
图4是用于说明实施方式1的模型生成装置的动作的流程图。
图5是表示实施方式2的模型生成装置的结构例的图。
图6是用于说明实施方式2的模型生成装置的动作的流程图。
图7是表示实施方式3的模型生成装置的结构例的图。
图8是用于说明实施方式3的模型生成装置的动作的流程图。
图9A、图9B是表示实施方式1～3的模型生成装置的硬件结构的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细说明。
实施方式1.
图1是表示实施方式1的模型生成装置1的结构例的图。
在实施方式1中，模型生成装置1生成神经网络模型。模型生成装置1不基于学习，而是基于权重映射和从模型生成装置1外部的装置等获取的权重来生成神经网络模型。后面将描述权重映射和权重的详细情况。
模型生成装置1可以生成多个神经网络模型。可以由模型生成装置1生成的神经网络模型是预先决定的。以下，将模型生成装置1可以生成的神经网络模型简称为“模型”。
在实施方式1中，假设模型生成装置1搭载在车载装置100上，该车载装置100搭载在车辆上。假设车载装置100是例如进行车辆的驾驶控制的车辆控制装置。模型生成装置1生成在车辆控制装置中进行车辆运行控制时使用的驾驶辅助用模型。
如图1所示，模型生成装置1包括选择信息获取部11、模型确定部12、权重获取部13、模型生成部14、特征量获取部15、运算部16、输出部17以及存储部18。
选择信息获取部11从模型生成装置1能够生成的多个模型中获取用于确定作为生成对象的模型(以下称为“对象模型”)的信息(以下称为“选择信息”)。根据模型生成装置1能够生成的模型来预先决定怎样的内容的信息是选择信息。
选择信息获取部11首先获取例如搭载在车辆上的传感器(省略图示)输出的传感器信息、搭载在车辆上的拍摄装置(省略图示)对车辆周边进行拍摄的图像信息、搭载在车辆上的GPS(Global Positioning System：全球定位系统，省略图示)输出的与本车位置有关的信息、GPS输出的地形信息、存在于车辆外部的地图服务器(省略图示)存储的道路信息、存在于车辆外部的天气服务器(省略图示)存储的天气信息、或者用户操作输入装置(省略图示)而输入的指定使用模式的信息。
选择信息获取部11基于获取到的信息获取选择信息。具体地说，例如，选择信息获取部11基于指定了人检测模式作为使用模式的信息，判定该信息具有模型的使用用途，并且是指定了“物体检测”的信息，获取指定“物体检测”的信息作为选择信息。设为预先决定哪个使用模式是指定模型的哪个使用用途的使用模式。这里，人检测模式是指定“物体检测”的模式。
此外，例如，选择信息获取部11基于天气信息获取表示“雨天”或“晴天”的信息作为选择信息。另外，例如，选择信息获取部11基于道路信息，获取表示“山路”的信息等表示道路种类的信息作为选择信息。例如，选择信息获取部11可以基于图像信息获取表示“雨天”、“晴天”或“山路”的信息作为选择信息。选择信息获取部11例如可以使用图像识别技术等现有技术从图像信息获取选择信息。
选择信息获取部11获取上述那样的表示“雨天”的信息、表示“晴天”的信息、或表示“山路”的信息等中的一个以上信息作为选择信息。
选择信息获取部11将获取到的选择信息输出到模型确定部12。
模型确定部12基于由选择信息获取部11获取到的选择信息确定对象模型。
具体地，模型确定部12基于由选择信息获取部11获取到的选择信息，参照模型确定用信息来确定对象模型。模型确定用信息是条件和模型相对应关联的信息。在模型确定用信息中，根据条件，与可靠度高的模型相对应关联。
模型确定用信息预先在模型生成装置1的产品出厂时等生成，并存储在存储部18中。
图2是用于说明实施方式1中模型确定部12参照的模型确定用信息的一例的图像的图。
在图2所示的模型确定用信息中，将模型的使用用途、以及模型被使用时的状况作为条件来定义。
根据图2所示的模型确定用信息，例如，当模型的使用用途是“物体检测”，并且模型被使用时的状况是“晴天”时，作为被使用的模型，可靠度高的模型是“模型X”。
模型确定部12基于选择信息检索与该选择信息一致的模型确定用信息的条件。当模型确定部12检索与选择信息一致的模型确定用信息的条件时，模型确定部12将与检索的条件相对应的模型确定为对象模型。
例如，设为由选择信息获取部11获取到的选择信息中包括表示“物体检测”的信息和表示雨天的信息。另外，设为模型确定用信息是如图2所示的内容。
在这种情况下，模型确定部12确定“模型Y”作为对象模型。
模型确定部12将与确定的对象模型相关的信息输出到权重获取部13和模型生成部14。
另外，图2所示的模型确定用信息只是一个示例。模型确定用信息只要定义基于由选择信息获取部11获取到的选择信息能够确定由模型生成装置1生成的对象模型的信息即可。
权重获取部13获取模型确定部12所确定的对象模型的权重。
具体地说，权重获取部13参照在生成各模型时使用的权重被分类划分并存储的权重信息，从该权重信息获取对象模型的权重。
权重存储在设置于车辆外部的模型生成装置1可参照的存储装置(省略图示)。例如，存储装置被设置在服务器中，该服务器存在于车辆外部。存储装置例如由HDD(HardDisk Drive：硬盘驱动器)或SDD(Super Density Disc：超密度光盘)构成。
表示模型权重的数据大小变大，存储权重的存储装置的容量变大。模型生成装置1通过从车辆外部的存储装置获取需要特别大的存储容量的模型的权重，从而不需要在包括车辆控制装置的车载装置100预先存储能够生成的模型的全部权重，空出车载装置100中的存储区域。
这里，图3是用于说明实施方式1中存储有权重的权重信息的一个示例的图像的图。
图3中，作为一个示例，示出了模型X和模型Y的权重被分类划分并存储的权重信息的图像。
这里，作为一个示例，设为模型X是具有模型结构S_X的模型，该模型结构S_X由三层卷积层+一层全耦合层构成，并且模型Y是具有模型结构S_Y的模型，该模型结构S_Y由三层卷积层+一层全耦合层构成。在模型X中，设为卷积层中的权重为W_C1、W_C2、以及W_C3，并且全耦合层中的权重为W_F1。在模型Y中，设为卷积层中的权重为W_C1、W_C2、以及W_C3，而全耦合层中的权重为W_F2。
另外，这里，为了使说明简单，将某一层中的1以上的权重进行汇总表示。例如，在模型X中，将3层卷积层中的某一层的权重表示为W_C1，W_C1汇总表示1以上权重，该1以上权重分别表示该某一层的1个以上节点彼此的耦合状态。
例如，如图3所示，权重信息可以是以层为单位对权重进行分类划分的信息。图3中，权重信息是以卷积层为单位对权重进行分类划分的信息。
如上所述，模型X和模型Y具有相同的结构，在卷积层中的权重是共通的。另外，已知在一般情况下，在神经网络中，对于多个模型，在模型结构中的后级，若使一部分层的权重不同，则会成为在相互不同的用途、或者在相互不同的条件下具有高精度的模型。模型结构中的前级具体是指从输入层到接着该输入层的一个以上卷积层。另一方面，模型结构中的后级具体是指到模型结构中的前级之后的全耦合层为止。
通过将权重信息设为以卷积层为单位对权重进行分类划分并存储的信息，能对卷积层中的共通的权重进行统一管理，以必要最小限度的组合，预先存储多个模型的权重。如上所述，通过以必要最小限度的组合预先存储多个模型的权重，能削减存储装置中用于存储权重的存储区域。
在实施方式1中，如上所述，存储权重的存储装置设置在车辆外部。但这只是一个示例。假设，如图3所示，在模型生成装置1能够生成的多个模型中，存在卷积层的权重是共通的，并且能对该共通的权重进行统一管理的两个以上模型的情况下，存储权重的存储装置可以设置在车辆内部。这是因为，即使存储装置设置在车辆内部，通过对多个模型共通的权重进行统一管理，能削减该共通权重这部分的存储领域。
另外，图3所示的权重信息的图像只是一个示例。例如，权重信息可以是以模型为单位对权重进行分类划分并存储的信息，也可以是以1权重为单位对权重进行分类划分并存储的信息。权重信息可以是存储模型生成装置1能够生成的多个模型的权重的信息。
现在，假设由模型确定部12将模型Y确定为对象模型。权重信息是如图3所示的内容。在这种情况下，权重获取部13获取“W_C1、W_C2、W_C3和W_F2”作为模型Y的权重。
权重获取部13将获取到的对象模型的权重输出到模型生成部14。
模型生成部14基于权重映射和由权重获取部13获取到的对象模型的权重生成对象模型。
权重映射是定义了与模型结构相关的结构信息和用于在该结构中映射权重的信息的信息。在权重映射中，针对在模型结构中映射的权重，以模型单位、层单位或1权重单位定义该权重的分配方法。这里，模型单位的权重是ConvNet等1个模型单位的权重的集合。层单位的权重是Conv2D_1或Conv2D_2这样的层单位的权重的集合。1权重单位的权重是-0.3或者0.2这样的单纯的数值。
预先生成权重映射并存储在存储部18中。
若举出关于权重映射的具体示例，则例如，对于上述模型Y，在权重映射中定义了表示模型结构S_Y的结构信息和表示将权重W_C1、W_C2、W_C3和W_F2映射到哪里的信息。结构信息例如包括与中间层的数量、各个层的节点的数量、以及层之间的节点彼此的耦合状态相关的信息。
在权重映射中，除了与模型的结构相关的结构信息和用于在该结构中映射权重的信息之外，还可以对应关联能够确定使用模型进行运算的设备的信息。
使用模型进行运算的设备例如是CPU(Central Processing Unit：中央处理器)、GPU(Graphics Processing Unit：图形处理器)、或者FPGA(Field-Programmable GateArray：现场可编程门阵列)。
模型生成部14基于权重映射和由权重获取部13获取到的权重而不是基于学习来生成对象模型。在生成对象模型时，模型生成部14将生成了该对象模型这一内容通知给特征量获取部15和运算部16。
此外，模型生成部14将生成的对象模型加载到使用该对象模型进行运算的设备上。例如，模型生成部14可以基于权重映射确定使用对象模型进行运算的设备。此外，可以在存储部18中预先存储将模型生成装置1能生成的模型与使用该模型进行运算的设备相对应关联的信息(以下称为“设备确定用信息”)。模型生成部14可以基于设备确定用信息确定使用对象模型进行运算的设备。
然而，在基于权重映射确定设备的情况下，模型生成部14仅通过获取权重映射就能够确定设备，因此，相比于与权重映射分开地获取设备确定用信息的情况，模型生成部14能够有效地确定使用对象模型进行运算的设备。
特征量获取部15获取作为模型生成部14生成的对象模型的输入的特征量。
具体而言，特征量获取部15例如首先获取搭载在车辆上的传感器输出的传感器信息、搭载在车辆上的拍摄装置对车辆周边进行拍摄的图像信息、搭载在车辆上的GPS输出的与本车位置有关的信息、GPS输出的地形信息、地图服务器存储的道路信息、天气服务器存储的天气信息、或者用户操作输入装置而输入的指定使用模式的信息。然后，特征量获取部15基于获取到的信息获取上述特征量。特征量获取部15使用图像识别技术等现有技术来获取特征量即可。另外，对于每个模型，输入什么样的特征量是预先决定的。
特征量获取部15将获取到的特征量输出到运算部16。
运算部16基于特征量获取部15获取到的特征量，使用模型生成部14生成的对象模型进行运算。
在模型生成部14生成对象模型之前使用该对象模型以外的模型进行运算的情况下，运算部16将进行的运算从使用该对象模型以外的模型的运算切换到使用对象模型的运算。若举出具体示例，例如，设为运算部16在晴天时使用在晴天时精度较高的模型(以下称为“晴天时模型”)，进行用于物体检测的运算，但天气从晴天变为雨天。在这种情况下，基于由选择信息获取部11获取到的选择信息，模型确定部12将在雨天时精度较高的模型确定为对象模型。例如，模型确定用信息是如图2所示的内容时，晴天时模型是模型X。模型确定部12将模型Y确定为对象模型。权重获取部13获取模型Y的权重，并且模型生成部14生成模型Y。若模型生成部14生成模型Y，则模型生成部14将已生成模型Y这一内容通知给运算部16。
运算部16接受来自模型生成部14的通知，并且从用于使用了模型X的物体检测的运算切换到用于使用了模型Y的物体检测的运算。
运算部16将用于运算的模型从模型X切换到模型Y的定时是任意的。例如，运算部16可以通过某种方法检测在设备上加载模型Y并且能够进行使用了该模型Y的运算的状态，在检测到该状态时，从模型X切换到模型Y。作为检测能够进行使用了模型Y的运算的状态的方法，例如，可以例举通过测量从模型Y被加载在设备上开始的时间来检测该状态的方法、或者根据是否从模型生成部14发出了表示已加载模型Y的通知来检测该状态的方法。此外，例如，当切换模型时，运算部16可以将使用了模型X的运算停止预先设定的时间，然后进行使用了模型Y的运算。
运算部16基于特征量获取部15获取到的特征量，将使用模型生成部14生成的对象模型进行运算后得到的运算结果输出到输出部17。
在上述示例中，运算部16将用于使用模型Y进行的物体检测的运算结果输出到输出部17。
输出部17输出从运算部16输出的运算结果。例如，输出部17将运算结果输出到车辆控制装置。车辆控制装置基于输出部17输出的运算结果进行车辆的运行控制。
存储部18存储模型确定用信息和权重映射。
在图1中，存储部18被设置在模型生成装置1中，但这只是一个示例。存储部18可以设置在模型生成装置1的外部的模型生成装置1能参照的部位。例如，存储部18可以设置在车辆控制装置中。
对实施方式1所涉及的模型生成装置1的动作进行说明。
图4是用于说明实施方式1所涉及的模型生成装置1的动作的流程图。
以模型生成装置1在晴天时使用晴天时模型进行用于物体检测的运算，但天气从晴天变为雨天的情况为例，用图4说明模型生成装置1的动作。另外，设为在晴天时和雨天时，使用模式没有变更。进行使用了晴天时模型的运算的设备是设备A。
另外，模型确定用信息是如图2所示的内容。也就是说，晴天时模型为模型X。权重信息是如图3所示的内容。
选择信息获取部11获取选择信息(步骤ST401)。
这里，设为选择信息获取部11获取包括表示物体检测的信息和表示雨天的信息的选择信息。
选择信息获取部11将获取到的选择信息输出到模型确定部12。
模型确定部12基于在步骤ST401中由选择信息获取部11获取到的选择信息确定对象模型(步骤ST402)。
这里，模型确定部12基于包括表示物体检测的信息和表示雨天的信息的选择信息，并参照模型确定用信息，将模型Y确定作为对象模型。
模型确定部12将与确定的对象模型相关的信息输出到权重获取部13和模型生成部14。
权重获取部13获取模型确定部12在步骤ST402中确定的对象模型的权重(步骤ST403)。
这里，权重获取部13参照权重信息，获取“W_C1、W_C2、W_C3、以及W_F2”作为对象模型即模型Y的权重。
权重获取部13将获取到的对象模型的权重输出到模型生成部14。
模型生成部14基于权重映射和权重获取部13在步骤ST403中获取到的对象模型的权重来生成对象模型(步骤ST404)。
这里，模型生成部14基于权重映射和权重“W_C1、W_C2、W_C3、以及W_F2”生成模型Y。设为在权重映射中，对应关联有表示作为使用模型Y进行运算的设备、即设备A的信息。模型生成部14将生成的模型Y加载到设备A中。在生成模型Y时，模型生成部14将已生成该模型Y的意思通知给特征量获取部15以及运算部16。
特征量获取部15在步骤ST404获取作为模型生成部14生成的对象模型的输入的特征量(步骤ST405)。
这里，特征量获取部15获取作为模型Y的输入的特征量。
特征量获取部15将获取到的特征量输出到运算部16。
运算部16基于在步骤ST405中特征量获取部15获取到的特征量，使用在步骤ST404中模型生成部14生成的对象模型来进行运算(步骤ST406)。
这里，运算部16在设备A上从模型X切换到模型Y，并使用该模型Y进行用于物体检测的运算。运算部16向模型Y输入在步骤ST406中特征量获取部15获取到的特征量，并获取在雨天时精度较高的模型Y所输出的信息作为运算结果。
运算部16将使用模型Y进行用于物体检测的运算的结果所得到的运算结果输出到输出部17。
输出部17输出在步骤ST406中从运算部16输出的运算结果(步骤ST407)。例如，输出部17将运算结果输出到车辆控制装置。车辆控制装置基于输出部17输出的运算结果进行车辆的控制。
如上所述，模型生成装置1基于选择信息确定对象模型，并且基于权重映射和权重而不是基于学习来生成对象模型。模型生成装置1使特别消耗存储容量的权重存储在车辆外部的存储装置中，并从该存储装置获取权重。模型生成装置1空出车载装置100中的存储区域。因此，模型生成装置1能在不需要预先存储与各种条件相匹配的表示各种模型的所有数据的情况下，获得与上述各种条件相匹配的信息，换句话说，能获得进行使用了各种模型的运算后得到的运算结果。
在以上的实施方式1中，作为一个示例，列举了模型生成装置1能够生成像模型X和模型Y那样的在其结构和权重上具有相互共通的部分、用于同一用途的模型的示例。但这只是一个示例。模型生成装置1可以生成具有彼此不同的结构或权重的多个模型。此外，模型生成装置1可以生成用于彼此不同的用途的多个模型。
另外，在以上的实施方式1中，作为一例，设对象模型为1个，但对象模型也可以是多个。模型生成装置1可以一次生成多个对象模型。模型生成装置1可以通过组合存储在车辆外部的存储装置中的权重来生成多个对象模型。若举出具体示例，例如，模型生成装置1可以通过组合权重来分别生成像以“物体检测”作为使用用途的模型和以“分割”作为使用用途的模型那样的用于不同用途的两个模型。此外，例如，模型生成装置1可以生成用于故障安全的分别加载到两个不同的设备中的相同模型。
另外，在以上的实施方式1中，设为模型的权重全部存储在车辆外部的存储装置中，但这只是一个示例。例如，可以设为模型生成装置1能够生成的所有模型的权重中，一部分权重预先加载到加载目标的设备中，剩余的权重预先存储在车辆外部的存储装置中。若举出具体示例，例如，可以将模型生成装置1能够生成的模型中共通使用的权重预先加载到加载目标的设备中。由此，能够减轻权重获取部13从存储装置获取权重的负荷。
另外，在以上的实施方式1中，特征量获取部15、运算部16以及输出部17被设置在模型生成装置1中，但特征量获取部15、运算部16以及输出部17不是必须被设置在模型生成装置1中。特征量获取部15、运算部16和输出部17可以被设置在模型生成装置1外部的装置中。例如，特征量获取部15、运算部16以及输出部17也可以被设置于车辆控制装置中。
如上所述，根据实施方式1，模型生成装置1包括：选择信息获取部11，该选择信息获取部11从能够生成的多个神经网络模型中获取用于确定作为生成对象的对象模型的选择信息；模型确定部12，该模型确定部12基于由选择信息获取部11获取到的选择信息确定对象模型；权重获取部13，该权重获取部13获取由模型确定部12确定的对象模型的权重；以及模型生成部14，该模型生成部14基于定义了与多个神经网络模型的结构相关的结构信息和用于在该结构中映射权重的信息的权重映射、以及权重获取部13所获取到的权重来生成模型确定部12所确定的对象模型。因此，模型生成装置1在不需要预先存储与各种条件相匹配的表示各种模型的所有数据的情况下，能获得与上述各种条件相匹配的信息，换句话说，能获得进行使用了各种模型的运算后得到的运算结果。
实施方式2.
通常，当在各种设备上使神经网络模型进行动作时，有时会根据神经网络模型和作为进行动作的硬件的设备，对该神经网络模型进行最优化。通过进行与神经网络模型、以及进行动作的硬件相对应的最优化，与不进行最优化的情况相比，神经网络能执行与硬件相对应的更优化的动作。
在实施方式2中，说明在模型生成装置1a中将生成的对象模型加载到设备上时，对该对象模型进行最优化并进行加载的实施方式。
另外，在实施方式2中，所谓“模型的最优化”，包括与进行使用了模型的运算的设备的环境相对应的编译、与该设备的环境相对应的模型形式的变换、或者在模型形式变换后为了进一步提高该模型的性能而进行的动作等。变换模型形式后，为了进一步提高该模型的性能而进行的动作是指量子化或者编译时的运算方法的最优化等。
图5是表示实施方式2的模型生成装置1a的结构例的图。
图5中，对于与实施方式1中用图1所说明的模型生成装置1的结构相同的结构，标注相同的标号并省略重复的说明。
实施方式2的模型生成装置1a与实施方式1的模型生成装置1的不同之处在于具备模型转换部19。
模型转换部19对与模型生成部14所生成的对象模型和使用该对象模型进行运算的设备相对应的该对象模型进行最优化。由模型转换部19进行的模型的最优化假设为例如TFcompile或TVM(Tensor Virtual Machine：张量虚拟机)等深度学习编译器。深度学习编译器是公知的技术，因此省略详细的说明。
在实施方式2中，模型生成部14在生成对象模型时，向模型转换部19通知已生成该对象模型的意思。此时，模型生成部14还向模型转换部19通知与使用对象模型进行运算的设备相关的信息。例如，模型转换部19例如可以从模型生成部14获取与使用对象模型进行运算的设备相关的信息。
例如，若使用对象模型进行运算的设备是CPU，则模型转换部19进行面向CPU的最优化。例如，若使用对象模型进行运算的设备是GPU，则模型转换部19进行面向GPU的最优化。例如，若使用对象模型进行运算的设备是FPGA，则模型转换部19进行面向FPGA的最优化。
当进行最优化时，模型转换部19还根据需要进行量子化。
对于每个设备和每个模型，预先决定模型转换部19进行怎样的最优化。也就是说，根据要进行该最优化的对象模型是哪个模型并在哪个设备上进行使用了该对象模型的运算，来预先决定模型转换部19进行怎样的最优化。
例如，在模型生成装置1a的产品出厂时，将进行怎样的最优化的信息存储在存储部18中。此外，进行怎样的最优化的信息例如可以预先存储在模型生成装置1a外部的模型生成装置1a能经由网络参照的部位。
当进行对象模型的最优化时，模型转换部19向特征量获取部15和运算部16通知进行了该对象模型的最优化的意思。
模型转换部19将进行了最优化之后的对象模型加载到设备中。
对实施方式2所涉及的模型生成装置1a的动作进行说明。
图6是用于说明实施方式2所涉及的模型生成装置1a的动作的流程图。
以模型生成装置1a在晴天时使用晴天时模型进行用于物体检测的运算，但天气从晴天变为雨天的情况为例，用图6说明模型生成装置1a的动作。进行使用了晴天时模型的运算的设备是设备A。
另外，模型确定用信息是如图2所示的内容。也就是说，晴天时模型为模型X。权重信息是如图3所示的内容。
图6的步骤ST601～步骤ST604以及步骤ST606～步骤ST608的具体动作分别与实施方式1中说明的图4的步骤ST401～步骤ST407的具体动作相同，因此省略重复的说明。
在步骤ST604，模型生成部14生成对象模型。这里，模型生成部14生成模型Y。
模型生成部14向模型转换部19通知生成了模型Y这一内容。此时，模型生成部14一并通知使用模型Y进行运算的设备是设备A这一内容。
模型转换部19对与在步骤ST604中模型生成部14所生成的对象模型和使用该对象模型进行运算的设备相对应的该对象模型进行最优化(步骤ST605)。这里，模型转换部19进行与模型Y和设备A相对应的最优化。若对模型Y进行最优化，则模型转换部19将进行了最优化后的模型Y加载到设备A中。若对模型Y进行最优化，则模型转换部19向特征量获取部15和运算部16通知对该模型Y进行了最优化这一内容。
模型转换部19将进行了最优化之后的对象模型加载到设备中。
如上所述，模型生成装置1a在进行了对象模型的最优化的基础上，将进行了最优化后的对象模型加载到使用该对象模型进行运算的设备中。在设备中使用对象模型进行运算时，不需要进行最优化的处理。因此，能减轻使用对象模型进行运算时的处理负荷。
如上所述，根据实施方式2，在模型生成装置1a中，包括模型转换部19，该模型转换部19根据模型生成部14生成的对象模型以及使用该对象模型进行运算的设备进行该对象模型的最优化，并将进行了优化后的对象模型加载到设备中。因此，模型生成装置1a能减轻使用对象模型进行运算时的处理负荷。
实施方式3.
如上所述，已知在一般情况下，在神经网络中，对于多个模型，在模型结构中的后级，若使一部分层的权重不同，则会成为在彼此不同的用途、或者在彼此不同的条件下具有高精度的模型。即，对于多个模型，在模型的结构中的前级，结构和权重是共通的，而在模型的结构中的后级，若使结构或权重的一部分改变，则该多个模型成为在彼此不同的用途或彼此不同的条件下具有高精度的模型。
在实施方式3中，说明当模型生成装置1b进行使用了所生成的多个模型的运算时，对结构和在该结构中映射的权重共通的部分的运算结果进行共用的实施方式。
在实施方式3中，以在模型生成装置1b中，模型生成部14能够一次生成作为输入的特征量相同的多个模型，该多个模型具有在其结构以及在该结构中映射的权重相互共通的部分为前提。
另外，在作为输入的特征量相同的多个模型中，其结构以及在该结构中映射的权重共通的部分存在于该结构的前级。
图7是表示实施方式3的模型生成装置1b的结构例的图。
图7中，对于与实施方式1中用图1所说明的模型生成装置1的结构例相同的结构，标注相同的标号并省略重复的说明。
实施方式3的模型生成装置1b与实施方式1的模型生成装置1的不同之处在于，运算部16a包括第一运算部161和第二运算部162。
在模型生成部14生成的多个对象模型是在其结构和该结构中映射的权重具有共通的部分的对象模型时，运算部16a在多个对象模型中对使用该共通的部分进行运算后得到的运算结果进行共用。
以下，在多个对象模型中，该结构及在该结构中映射的权重共通的部分也简称为“共通部分”。
更详细地，在模型生成部14生成的多个对象模型中的两个以上对象模型是彼此具有共通部分的对象模型时，第一运算部161将特征量获取部15获取的特征量作为输入，并且进行仅使用该共通部分的运算。第一运算部161对多个对象模型进行一次仅使用共通部分的运算。
在实施方式3中，若模型生成部14生成多个对象模型，则向运算部16a通知已生成该多个对象模型，并且通知权重映射。例如，在权重映射中，各个模型与是否是和其他模型具有共通部分的模型的信息、在具有共通部分的情况下的其他模型、以及共通部分的权重映射相对应关联。
第一运算部161可以基于权重映射确定多个对象模型是否是具有共通部分的模型、以及在多个对象模型是具有共通部分的模型的情况下确定共通部分的权重映射。
第一运算部161将进行仅使用共通部分的运算后得到的运算结果输出到第二运算部162。
另外，在由模型生成部14生成的多个对象模型中没有彼此具有共通部分的对象模型的情况下，第一运算部161将表示没有具有共通部分的对象模型这一内容的信息输出到第二运算部162。此外，在模型生成部14生成的多个对象模型中除了具有共通部分的对象模型之外还存在不具有共通部分的对象模型的情况下，第一运算部161将用于确定不具有该共通部分的对象模型的信息输出到第二运算部162。
对于彼此具有共通部分的多个对象模型，第二运算部162分别将从第一运算部161输出的运算结果作为输入，并进行使用了多个对象模型的结构中的除共通部分之外的部分的运算。
对于彼此具有共通部分的多个对象模型，第二运算部162分别将进行使用了除共通部分之外的部分的运算后得到的运算结果，作为使用了对象模型的最终的运算结果输出到输出部17。此时，如果除了具有共通部分的对象模型之外，还从第一运算部161输出了用于确定不具有共通部分的对象模型的信息，则第二运算部162基于特征量获取部15获取到的特征量，对不具有该共通部分的对象模型，进行使用了对象模型的运算。然后，第二运算部162将使用不具有共通部分的对象模型进行运算后得到的运算结果添加到使用了对象模型的最终运算结果。
在从第一运算部161输出表示不存在具有共通部分的对象模型的信息的情况下，第二运算部162分别基于特征量获取部15获取到的特征量，对模型生成部14生成的多个对象模型进行使用了对象模型的运算。第二运算部162将分别使用模型生成部14所生成的多个对象模型进行运算后得到的运算结果作为使用了对象模型的最终运算结果输出到输出部17。
对实施方式3所涉及的模型生成装置1b的动作进行说明。
图8是用于说明实施方式3所涉及的模型生成装置1b的动作的流程图。
图8的步骤ST801～步骤ST805以及步骤ST808的具体动作分别与实施方式1中说明的图4的步骤ST401～步骤ST407的具体动作相同，因此省略重复的说明。
在实施方式3中，在步骤ST802，模型确定部12确定多个模型作为对象模型，并在步骤ST804，模型生成部14生成多个对象模型。
在步骤ST804中模型生成部14所生成的多个对象模型中的两个以上对象模型是彼此具有共通部分的对象模型的情况下，第一运算部161将特征量获取部15所获取到的特征量作为输入，并进行仅使用该共通部分的运算(步骤ST806)。第一运算部161对多个对象模型进行一次仅使用共通部分的运算。
第一运算部161将进行仅使用共通部分的运算后得到的运算结果输出到第二运算部162。
另外，在由模型生成部14生成的多个对象模型中没有彼此具有共通部分的对象模型的情况下，第一运算部161将表示没有具有共通部分的对象模型的信息输出到第二运算部162。此外，在模型生成部14所生成的多个对象模型中除了具有共通部分的对象模型之外还存在不具有共通部分的对象模型的情况下，第一运算部161将用于确定不具有该共通部分的对象模型的信息输出到第二运算部162。
对于彼此具有共通部分的多个对象模型，第二运算部162分别将在步骤ST806中从第一运算部161输出的运算结果作为输入，并进行使用了多个对象模型的结构中的除共通部分之外的部分的运算(步骤ST807)。
对于彼此具有共通部分的多个对象模型，第二运算部162分别将进行使用了除共通部分之外的部分的运算后得到的运算结果，作为使用了对象模型的最终的运算结果输出到输出部17。此时，如果除了具有共通部分的对象模型之外，还从第一运算部161输出了用于确定不具有共通部分的对象模型的信息，则第二运算部162基于特征量获取部15获取到的特征量，对不具有该共通部分的对象模型，进行使用了对象模型的运算。然后，第二运算部162将使用不具有共通部分的对象模型进行运算后得到的运算结果添加到使用了对象模型的最终运算结果。
在从第一运算部161输出表示不存在具有共通部分的对象模型的信息的情况下，第二运算部162分别基于特征量获取部15获取到的特征量，对模型生成部14生成的多个对象模型进行使用了对象模型的运算。第二运算部162将分别使用模型生成部14所生成的多个对象模型进行运算后得到的运算结果作为使用了对象模型的最终运算结果输出到输出部17。
如上所述，根据实施方式3，在模型生成装置1b中，模型生成部14一次生成作为输入的特征量相同的多个对象模型，该多个对象模型在其结构和在该结构中映射的权重具有共通的部分，在模型生成部14生成的多个对象模型是在其结构和在该结构中映射的权重具有共通的部分的对象模型的情况下，运算部16a在多个对象模型中共用使用该共通的部分进行运算后得到的运算结果。因此，模型生成装置1b能减少使用对象模型的运算所花费的时间，并且能减少运算量。
图9A、图9B是示出实施方式1～3所涉及的模型生成装置1、1a、1b的硬件结构的一个示例的图。
在实施方式1～3中，由处理电路901实现选择信息获取部11、模型确定部12、权重获取部13、模型生成部14、特征量获取部15、运算部16、16a、输出部17以及模型转换部19的功能。换句话说，模型生成装置1、1a、1b包括处理电路901，该处理电路901用于基于权重映射和从模型生成装置1外部的装置等获取到的权重进行用于生成神经网络模型的控制。
处理电路901可以如图9A所示那样是专用硬件，也可以如图9B所示那样是执行存储于存储器906的程序的CPU905。
在处理电路901是专用硬件的情况下，处理电路901例如与单一电路、复合电路、程序化后的处理器、并联程序化后的处理器、ASIC(Application Specific IntegratedCircuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或它们的组合相对应。
在处理电路901为CPU905的情况下，通过软件、固件或软件与固件的组合来实现选择信息获取部11、模型确定部12、权重获取部13、模型生成部14、特征量获取部15、运算部16、16a、输出部17以及模型转换部19的功能。即，选择信息获取部11、模型确定部12、权重获取部13、模型生成部14、特征量获取部15、运算部16、16a、输出部17以及模型转换部19由执行HDD902、存储器906等中存储的程序的CPU905、系统LSI(Large-Scale Integration：大规模集成)等处理电路901来实现。另外，存储在HDD 902、存储器906等中的程序也可以说是使计算机执行选择信息获取部11、模型确定部12、权重获取部13、模型生成部14、特征量获取部15、运算部16、16a、输出部17以及模型转换部19的步骤或方法的程序。此处，存储器906例如可以是RAM、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable ProgrammableRead Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory：电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、或磁盘、软盘、光盘、压缩磁盘、小型磁盘、DVD(Digital Versatile Disc：数字通用盘)等。
另外，关于选择信息获取部11、模型确定部12、权重获取部13、模型生成部14、特征量获取部15、运算部16、16a、输出部17以及模型转换部19的功能，也可以通过专用的硬件来实现一部分，通过软件或者固件来实现一部分。例如，对于选择信息获取部11、权重获取部13以及输出部17，能通过作为专用硬件的处理电路901来实现其功能，对于模型确定部12、模型生成部14、特征量获取部15、运算部16、16a以及模型转换部19，能通过处理电路901读取并执行存储在存储器906中的程序来实现其功能。
存储部18由HDD902构成。存储部18可以由未图示的SDD构成。
另外，模型生成装置1、1a、1b包括未图示的运行控制装置等装置、用于进行有线通信或无线通信的输入接口装置903以及输出接口装置904。
在以上的实施方式1～3中，模型生成装置1、1a、1b搭载在车载装置100上，该车载装置100搭载在车辆上，生成用于车辆的驾驶控制的模型。但这只是一个示例。例如，模型生成装置1、1a、1b可以搭载在检测装置上，该检测装置在制造多个产品的工厂的生产线中进行使用专用于各个产品的模型从多个产品中检测出不良品等的运算，并且该模型生成装置1、1a、1b可以生成专用于各个产品的模型。模型生成装置1、1a、1b不是基于学习，而是基于权重映射和从模型生成装置1的外部装置等获取到的权重，生成各个产品的专用的模型，从而检测装置能够针对每个产品，在不良品等的检测中使用高精度的模型。另外，检测装置在一次生成具有共通部分的多个模型时，能减少计算资源。
如上所述，实施方式1～3的模型生成装置1、1a、1b能应用于需要切换多个模型来进行控制的各种装置。
此外，能够自由组合各实施方式，或者将各实施方式的任意构成要素进行变形，或者也可以在各实施方式中省略任意的构成要素。
工业上的实用性
本公开的模型生成装置构成为在不需要预先存储表示与各种条件匹配的各种神经网络模型的所有数据的情况下，能够获得与上述各种条件匹配的信息，因此能应用于在需要切换多个模型来进行控制的各种装置中生成神经网络模型的模型生成装置。
标号说明
1、1a、1b模型生成装置，11选择信息获取部，12模型确定部，13权重获取部，14模型生成部，15特征量获取部，16、16a运算部，161第一运算部，162第二运算部，17输出部，18存储部，19模型转换部，901处理电路，902HDD，903输入接口装置，904输出接口装置，905CPU，906存储器，100车载装置。

Claims (6)

1.一种模型生成装置，其特征在于，包括：
选择信息获取部，该选择信息获取部获取传感器信息、对车辆周边进行拍摄的图像信息、与本车位置有关的信息、地形信息、道路信息、天气信息、或者用户操作输入装置而输入的指定使用模式的信息，根据可生成的多个神经网络模型，基于所获取的这些信息，获取用于确定作为生成对象的对象模型的选择信息；
模型确定部，该模型确定部基于由所述选择信息获取部获取到的选择信息确定所述对象模型；
权重获取部，该权重获取部获取由所述模型确定部确定的对象模型的权重；以及
模型生成部，该模型生成部基于定义了与多个所述神经网络模型的结构相关的结构信息和用于在该结构中映射权重的信息的权重映射、以及所述权重获取部所获取到的权重，来生成所述模型确定部所确定的对象模型，
用于在所述结构中映射权重的信息中，针对在所述结构中映射的所述权重，以模型单位、层单位或1权重单位定义该权重的分配方法。
2.如权利要求1所述的模型生成装置，其特征在于，包括：
特征量获取部，该特征量获取部获取作为由所述模型生成部生成的对象模型的输入的特征量；以及
运算部，该运算部基于所述特征量获取部所获取到的特征量，使用所述模型生成部生成的对象模型来进行运算。
3.如权利要求1所述的模型生成装置，其特征在于，
包括模型转换部，该模型转换部与所述模型生成部所生成的对象模型和使用该对象模型进行运算的设备相对应地进行该对象模型的最优化，并将进行了所述最优化之后的所述对象模型加载到所述设备中。
4.如权利要求2所述的模型生成装置，其特征在于，
所述模型生成部一次生成作为输入的特征量相同的多个所述对象模型，该多个所述对象模型关于其结构和在该结构中映射的权重具有共通的部分，
在所述模型生成部所生成的所述多个所述对象模型是关于其结构和在该结构中映射的权重具有共通的部分的所述对象模型的情况下，所述运算部在所述多个所述对象模型中共用使用该共通的部分进行运算后得到的运算结果。
5.一种车载装置，其特征在于，
包括如权利要求1至4中任一项所述的模型生成装置。
6.一种模型生成方法，其特征在于，包括：
选择信息获取部获取传感器信息、对车辆周边进行拍摄的图像信息、与本车位置有关的信息、地形信息、道路信息、天气信息、或者用户操作输入装置而输入的指定使用模式的信息，根据可生成的多个神经网络模型，基于所获取的这些信息，获取用于确定作为生成对象的对象模型的选择信息的步骤；
模型确定部基于由所述选择信息获取部获取到的选择信息确定所述对象模型的步骤；
权重获取部获取由所述模型确定部确定的对象模型的权重的步骤；以及
模型生成部基于定义了与多个所述神经网络模型的结构相关的结构信息和用于在该结构中映射权重的信息的权重映射、以及所述权重获取部所获取到的权重，来生成所述模型确定部所确定的对象模型，
用于在所述结构中映射权重的信息中，针对在所述结构中映射的所述权重，以模型单位、层单位或1权重单位定义该权重的分配方法。
CN202080095790.XA 2020-02-17 2020-02-17 模型生成装置、车载装置和模型生成方法 Active CN115053280B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005937 WO2021166011A1 (ja) 2020-02-17 2020-02-17 モデル生成装置、車載装置、および、モデル生成方法

Publications (2)

Publication Number Publication Date
CN115053280A CN115053280A (zh) 2022-09-13
CN115053280B true CN115053280B (zh) 2024-05-03

Family

ID=77391472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080095790.XA Active CN115053280B (zh) 2020-02-17 2020-02-17 模型生成装置、车载装置和模型生成方法

Country Status (5)

Country Link
US (1) US20230037499A1 (zh)
JP (1) JP7143546B2 (zh)
CN (1) CN115053280B (zh)
DE (1) DE112020006752T5 (zh)
WO (1) WO2021166011A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023148287A (ja) * 2022-03-30 2023-10-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404886A (zh) * 2014-09-16 2016-03-16 株式会社理光 特征模型生成方法和特征模型生成装置
WO2019021369A1 (ja) * 2017-07-25 2019-01-31 三菱電機株式会社 データ解析装置
JP2019028489A (ja) * 2017-07-25 2019-02-21 ヤフー株式会社 予測装置、予測方法、予測プログラム、学習データ、及びモデル
CN109716362A (zh) * 2016-07-21 2019-05-03 电装It研究所 神经网络装置、车辆控制系统、分解处理装置以及程序
CN109840660A (zh) * 2017-11-29 2019-06-04 北京四维图新科技股份有限公司 一种车辆特征数据处理方法及车辆风险预测模型训练方法
CN109858438A (zh) * 2019-01-30 2019-06-07 泉州装备制造研究所 一种基于模型拟合的车道线检测方法
CN110431569A (zh) * 2017-03-21 2019-11-08 首选网络株式会社 服务器装置、已学习模型提供程序、已学习模型提供方法以及已学习模型提供系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7603330B2 (en) * 2006-02-01 2009-10-13 Honda Motor Co., Ltd. Meta learning for question classification
JP2018081404A (ja) 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 識別方法、識別装置、識別器生成方法及び識別器生成装置
JP6852365B2 (ja) * 2016-11-25 2021-03-31 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
JP6756661B2 (ja) * 2017-04-28 2020-09-16 日立オートモティブシステムズ株式会社 車両電子制御装置
DE112018007550T5 (de) * 2018-06-05 2021-01-28 Mitsubishi Electric Corporation Lernvorrichtung, Inferenzvorrichtung, Verfahren und Programm
GB201813561D0 (en) * 2018-08-21 2018-10-03 Shapecast Ltd Machine learning optimisation method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404886A (zh) * 2014-09-16 2016-03-16 株式会社理光 特征模型生成方法和特征模型生成装置
CN109716362A (zh) * 2016-07-21 2019-05-03 电装It研究所 神经网络装置、车辆控制系统、分解处理装置以及程序
CN110431569A (zh) * 2017-03-21 2019-11-08 首选网络株式会社 服务器装置、已学习模型提供程序、已学习模型提供方法以及已学习模型提供系统
WO2019021369A1 (ja) * 2017-07-25 2019-01-31 三菱電機株式会社 データ解析装置
JP2019028489A (ja) * 2017-07-25 2019-02-21 ヤフー株式会社 予測装置、予測方法、予測プログラム、学習データ、及びモデル
CN109840660A (zh) * 2017-11-29 2019-06-04 北京四维图新科技股份有限公司 一种车辆特征数据处理方法及车辆风险预测模型训练方法
CN109858438A (zh) * 2019-01-30 2019-06-07 泉州装备制造研究所 一种基于模型拟合的车道线检测方法

Also Published As

Publication number Publication date
US20230037499A1 (en) 2023-02-09
CN115053280A (zh) 2022-09-13
JP7143546B2 (ja) 2022-09-28
WO2021166011A1 (ja) 2021-08-26
JPWO2021166011A1 (zh) 2021-08-26
DE112020006752T5 (de) 2022-12-29

Similar Documents

Publication Publication Date Title
CN108073519B (zh) 测试用例生成方法和装置
Velez et al. Embedding vision‐based advanced driver assistance systems: a survey
CN105745647B (zh) 调用路径查找器
CN112334918A (zh) 深度学习系统
US11756308B2 (en) Neural network device and method using a neural network for sensor fusion
JP6843203B2 (ja) 地面検出方法、装置、電子機器、車両及び記憶媒体
CN112015847A (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN111461106A (zh) 基于可重配置网络的对象检测方法及装置
CN110969079A (zh) 运载工具的对象检测系统
EP3525119A1 (en) Deep learning fpga converter
WO2024041480A1 (zh) 一种数据处理方法以及相关装置
US10613546B2 (en) Stochastic map-aware stereo vision sensor model
CN115053280B (zh) 模型生成装置、车载装置和模型生成方法
JP2023046378A (ja) コード欠陥を検出するための方法、システム、製品および装置
CN112445497A (zh) 一种基于插件式可扩展架构的遥感图像处理系统
KR102182654B1 (ko) 증강현실을 활용한 수치지형도 검수 방법
EP4174710A1 (en) Generating synthetic training data for perception machine learning models using simulated environments
Shekhar et al. Knowledge-based control of vision systems
CN116304720A (zh) 一种代价模型训练的方法、装置、存储介质及电子设备
WO2020054345A1 (ja) 電子制御装置、ニューラルネットワーク更新システム
CN112465886A (zh) 模型生成方法、装置、设备和可读存储介质
WO2017095590A1 (en) Stochastic map generation and bayesian update based on stereo vision
CN116502679A (zh) 一种模型构建方法、装置、存储介质及电子设备
Mohanty et al. Learning GNSS positioning corrections for smartphones using graph convolution neural networks
Nieto et al. Optimising computer vision based ADAS: vehicle detection case study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant