CN109598184B - 一种多分割任务的处理方法和装置 - Google Patents

一种多分割任务的处理方法和装置 Download PDF

Info

Publication number
CN109598184B
CN109598184B CN201810776976.6A CN201810776976A CN109598184B CN 109598184 B CN109598184 B CN 109598184B CN 201810776976 A CN201810776976 A CN 201810776976A CN 109598184 B CN109598184 B CN 109598184B
Authority
CN
China
Prior art keywords
network
training
branch
task
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810776976.6A
Other languages
English (en)
Other versions
CN109598184A (zh
Inventor
赵翔辰
李天�
王泮渠
陈鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN109598184A publication Critical patent/CN109598184A/zh
Application granted granted Critical
Publication of CN109598184B publication Critical patent/CN109598184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多分割任务的处理方法，用以解决现有技术中自动驾驶控制无法有效的利用处理资源、提高处理速度和处理效率的问题。该方法包括：在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自的特定任务特征；运行多分割任务模型输出多个分割任务的处理结果。

Description

一种多分割任务的处理方法和装置
技术领域
本发明涉及机器视觉领域，具体地，涉及一种多分割任务的处理方法和装置。
背景技术
在自动驾驶技术中，自动驾驶控制系统期待具有更高的处理能力、更大的处理资源以及更快的处理速度。更高的处理能力和更大的处理资源意味着更全面和更精准的控制，更快的处理速度意味着更安全和更高效的控制。但是现实中，自动驾驶控制系统能够使用的处理资源和能够达到的处理能力、处理速度与现有的硬件发展水平相关。
在有限的处理资源的情况下，如何有效的利用处理资源、实现较快的处理速度和较高的处理效率，是自动驾驶控制需要解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种多分割任务的处理方法和装置，用以解决现有技术中自动驾驶控制无法有效的利用处理资源、提高处理速度和处理效率的问题。
一方面，本申请实施例提供了一种多分割任务的处理方法，包括：
在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自的特定任务特征；
运行多分割任务模型输出多个分割任务的处理结果。
另一方面，本申请实施例提供了一种多分割任务的处理装置，包括：
数据输入单元，用于在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自的特定任务特征；
处理单元，包括所述多分割任务模型，用于运行所述多分割任务模型，输出得到多个分割任务的处理结果。
另一方面，本申请实施例提供了一种多分割任务的处理装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自的特定任务特征；
运行多分割任务模型输出多个分割任务的处理结果。
根据本申请实施例提供的技术方案，通过预先训练得到一个多分割任务模型，该模型根据输入的一个图像数据，运行输出多个分割任务的处理结果，也即能够通过多分割任务模型的一次处理输出得到多个分割任务的处理结果；相比于分别运行实现各个分割任务的处理模型，通过多次处理输出得到多个分割任务的处理结果，本申请实施例提供的方法能够有效地利用处理资源、提高处理速度和处理效率，能够解决现有技术中自动驾驶控制对无法实现有效的利用处理资源、提高处理速度和处理效率的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的多分割任务的处理方法的处理流程图；
图2为本申请实施例提供的多分割任务的处理方法的另一种处理流程图；
图3为训练得到分割任务模型的深度神经网络的结构示意图；
图4a为本申请实施例提供的预训练深度神经网络得到多分割任务模型的处理流程图；
图4b为本申请实施例提供的预训练深度神经网络得到多分割任务模型的处理流程图；
图5为本申请实施例提供的考察分支网络是否训练完成的处理流程图；
图6为图5中步骤502迭代修改分支网络中的参数的处理流程图；
图7为图5中步骤502迭代修改主干网络中的参数的处理流程图；
图8为本申请实施例提供的多分割任务的处理装置的结构框图；
图9为本申请实施例提供的多分割任务的处理装置的另一个结构框图；
图10为本申请实施例提供的多分割任务的处理装置的另一个结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
目前在现有技术中，自动驾驶控制对更高的处理能力、更大的处理资源以及更快的处理速度有着较大的需求，但是在硬件处理资源有限的情况下，如何有效的利用处理资源、提高处理速度和处理效率，是自动驾驶控制技术需要解决的问题。
在本申请实施例提供的技术方案中，通过预先训练得到一个多分割任务模型，该模型根据输入的一个图像数据，运行输出多个分割任务的处理结果，也即能够通过多分割任务模型的一次处理输出得到多个分割任务的处理结果；相比于分别运行实现各个分割任务的处理模型，通过多次处理输出得到多个分割任务的处理结果，本申请实施例提供的方法能够有效地利用处理资源、提高处理速度和处理效率。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请实施例提供的多分割任务的处理方法的处理流程，该方法包括：
步骤102、在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自特定的任务特征；
其中，图像数据可以是在实时预测处理过程中，通过自动驾驶车辆的车载摄像头获取得到的；
多分割任务包括至少以下两个任务：语义分割任务、车道线识别任务、道路表面识别任务、物体轮廓识别或提取任务。也即这多个任务都包括共同的任务特征即像素分割，多个任务在像素分割的基础上分别包括各自的特定任务特征，例如，语义分割任务包括生成并输出像素类别，车道线识别任务包括识别并输出车道线像素或者车道线图像。
步骤103、运行多分割任务模型输出多个分割任务的处理结果。
例如，在多分割任务包括语义分割任务、车道线识别任务和物体轮廓提取任务的情况下，多分割任务模型输出语义分割任务的像素类别、车道线识别任务的车道线图像，以及输出所识别的目标物体的轮廓图像。
根据上述方法，通过预先训练得到的多分割任务模型的一次处理，能够输出得到多个分割任务的处理结果；相比于分别运行实现各个分割任务的处理模型，通过多次处理输出得到多个分割任务的处理结果，本申请实施例提供的方法能够有效地利用处理资源、提高处理速度和处理效率。
进一步地，本申请实施例还提出了一种多分割任务的处理方法，该方法在图1所示的处理流程的基础上，还包括预先训练得到多任务分割模型的处理，如图2所示，包括：
步骤100、在预先训练过程中，设置深度神经网络的结构，该结构中包括主干网络和多个分支网络，主干网络和多个分支网络均包括多个网络层，主干网络用于学习多个分割任务中的共同任务特征，多个分支网络分别用于学习对应的分割任务中的特定任务特征；其中，深度神经网络的输入数据是主干网络的输入，主干网络的输出数据是各个分支网络的输入，各个分支网络的输出数据是深度神经网络的输出；
并且，在主干网络的最后一层设置梯度平衡层；梯度平衡层仅在后向传播过程中用于确定从分支网络回传给主干网络的梯度，使主干网络对各个分割任务的学习更加平衡；
图3中示出了用于训练得到多分割任务模型的深度神经网络的结构；
步骤101、根据训练数据使用监督方法迭代训练深度神经网络，得到多分割任务模型。
下面对于预训练得到多分割任务模型的处理进行具体说明，如图4a所示，预训练的处理过程包括：
步骤201、设置多个教师网络，一个教师网络与多个分割任务中的一个任务相对应；
步骤202、根据训练数据中的真实数据训练教师网络，得到执行对应分割任务的教师模型；
设置多个教师网络来分别执行对应的分割任务，能够通过设置结构较为复杂的教师网络来获得效果较优的教师模型；
其中，真实数据(ground truth)是具有准确的全部类别标记的图像数据，可以是手工标定的图像数据；
步骤203、将部分标记的图像数据作为输入分别提供给多个教师模型，多个教师模型分别输出得到用于训练对应分割任务的学习图像数据，学习图像数据是完整标记的图像数据；将该学习图像数据保存到训练数据的集合中；
在上述处理过程中，教师网络一方面可以针对部分标记的图像数据进行预测，得到完整标记的学习图像数据，这样可以针对部分标记的图像数据无法应用于多分割任务模型、导致大量的部分标记数据被浪费的问题，扩充训练数据的数据量，使得训练数据的集合中包括真实数据和对部分标记数据预测得到的完整标记的学习数据；另一方面，可以通过教师网络训练得到完成不同分割任务的教师模型，为后续得到能够快速进行实时预测处理的多分割任务模型提供训练参考；
在具体应用场景中，在完整标记的图像数据(例如真实数据)充足的情况下，如图4b所示，也可以省略步骤203，也即步骤202的处理跳转到步骤204；
步骤204、设置一个学生网络，学生网络的结构包括主干网络和多个分支网络，主干网络的最后一层为梯度平衡层；步骤204对应上述步骤100；
步骤205、训练学生网络学习多个教师模型各自对相对应的分割任务的理解，得到多分割任务模型；步骤205对应上述步骤101。
设置结构相对简单的学生网络来学习多个教师模型对多分割任务的理解，能够通过学生网络获得较快的处理速度，满足实时的预测处理需求。
上述步骤205对深度神经网络也即学生网络进行训练得到多分割任务模型的方式可以包括多种，本申请这里列举如下：
方式一：随机初始化深度神经网络(也即学生网络)的参数，根据训练数据使用监督方法迭代训练深度神经网络同时对多个分割任务进行学习，得到多分割任务模型；
方式二：用预先确定的学习难度最大的分割任务对应的已有模型的参数初始化深度神经网络(也即学生网络)的主干网络和该分割任务对应的分支网络的参数，随机初始化其它分支网络的参数；根据训练数据使用监督方法依次迭代训练深度神经网络的各个分支网络、对各分支网络对应的分割任务进行学习；得到多分割任务模型。
其中，分割任务的难易程度是预先确定的，可以根据训练经验进行确定得到。
采用上述方式一训练深度神经网络对全部分割任务进行同时学习，容易导致网络的损失值(loss value)(如下步骤501详述)难以收敛到一个理想的值。上述方式二采用已有的模型的参数来初始化深度神经网络的主干网络和对应的分支网络的参数，随机初始化其它分支网络的参数，并对其他的各个分支网络依次进行训练，可以使网络的损失值达到一个更低的更理想的值，达到更好的训练效果。
本领域的普通技术人员还可以根据上述方式一或方式二，设置其它等同的或者可替代的训练方式，本申请这里不一一列举。
在上述方式一或方式二的训练过程中，本申请实施例提供的方法分别考察每个分支网络是否训练完成，如图5所示，包括如下处理过程：
步骤501、对于一个分支网络，将该分支网络输出的预测值与训练数据中的真实值输入到一个预定义的损失函数中，该损失函数输出一个损失值(loss value)；
步骤502、在该损失值大于一个预定的置信度值的情况下，迭代修改分支网络和主干网络中的参数；在该损失值小于或等于该置信度值的情况下，确定该分支网络的迭代训练完成。
接上例，例如对于语义分割任务对应的分支网络，将该分支网络输出像素类别的预测值与训练数据(例如手工标定物体类别的真实数据)中对应的真实值输入到损失函数中，损失函数输出一个损失值，该损失值能够反应预测值与真实值之间的一个距离或者差值；
在损失值大于一个预定的置信度值的情况下，表明预测值与真实值之间的差距较大，预测值未能收敛；在该损失值小于或等于预定的置信度值的情况下，说明预测值有真实值之间的差距较小，预测值收敛，对该分支网络的迭代训练完成。
其中，在步骤502中，迭代修改分支网络中的参数，如图6所示，包括：
步骤5021a、在一次迭代训练的后向传播过程中，确定一个分支网络的学习率为预设的网络学习率与该分支网络的预设权重值的乘积。
例如，对于语义分割任务对应的分支网络i，该分支网络i的预设权重值为a，该权重值可以是上述步骤205a中的分支网络的预设权重值，网络学习率为αn，则该分支网络i的学习率αi＝a*αn。
步骤5022a、根据确定的该分支网络的学习率修改该分支网络中的参数。
将一个分支网络的学习率设置为该分支网络的权重值与网络学习率的乘积，可以通过权重值影响该分支网络的参数的学习速度。
在步骤502中，迭代修改主干网络中的参数，如图7所示，包括：
步骤5021b、在一次迭代训练的后向传播过程中，确定梯度平衡层的梯度为各个分支网络的梯度与各分支网络的预设权重值的乘积的和值，并将确定的梯度值回传给主干网络中的下一个网络层；
例如，当网络中包括三个分支网络i、j、k的情况下，这三个分支网络回传给主干网络的梯度分别为gi、gj、gk，这三个分支网络的预设权重值分别为a、b、c，该权重值可以是上述步骤205中预设的权重值。则，梯度平衡层确定得到是梯度为g＝a*gi+b*gj+c*gk。
步骤5022b、对于主干网络中除梯度平衡层之外的其它每个网络层，根据上一层回传的梯度修改该层的参数。
在主干网络中设置梯度平衡层，并将该层的梯度确定为各个分支网络回传的梯度的加权和值，能够通过分支网络的权重值来影响主干网络的学习偏向、并且平衡主干网络的学习速度。
在上述处理的基础上，可以得到用于同时处理多分割任务的模型，也即多分割任务模型。
进一步地，在由于多分割任务模型用于实时的实际预测，在实际预测中没有后向传播的处理，在该模型中可以不包括主干网络中的梯度平衡层。
更进一步地，在多分割任务模型中还可以不包括softmax层。由于这softmax层执行的操作为指数级运算，而指数级运算会占用较大的处理资源，导致降低整个预测处理的处理速度。本申请实施例提供的多分割任务模型中不包括softmax层，能够显著地提高处理速度，并且不对预测结果产生实质性的影响，从而能够更好的满足实时预测处理对处理速度和处理效率的需求。
在本申请实施例提供的方法中，预先训练得到一个多分割任务模型，该模型根据输入的一个图像数据，运行输出多个分割任务的处理结果，也即能够通过多分割任务模型的一次处理输出得到多个分割任务的处理结果；相比于分别运行实现各个分割任务的处理模型，通过多次处理输出得到多个分割任务的处理结果，本申请实施例提供的方法能够有效地利用处理资源、提高处理速度和处理效率。
基于相同的发明构思，本申请实施例还提供了一种多分割任务的处理装置。
图8示出了本申请实施例提供的多分割任务的处理装置的结构框图，该装置包括：
数据输入单元81，用于在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自的特定任务特征；
处理单元82，包括所述多分割任务模型，用于运行所述多分割任务模型，输出得到多个分割任务的处理结果。
在图8所示装置的基础上，本申请实施例提供的多分割任务的处理装置还可以进一步包括一个预训练单元80，如图9所示。预训练单元80用于：
在预先训练过程中，设置深度神经网络的结构，该结构中包括主干网络和多个分支网络，主干网络和多个分支网络均包括多个网络层，主干网络用于学习多个分割任务中的共同任务特征，多个分支网络分别用于学习对应的分割任务中的特定任务特征；其中，深度神经网络的输入数据是主干网络的输入，主干网络的输出数据是各个分支网络的输入，各个分支网络的输出数据是深度神经网络的输出；
根据训练数据使用监督方法迭代训练深度神经网络，得到多分割任务模型。
在一些实施例中，预训练单元80根据训练数据使用监督方法迭代训练深度神经网络，包括：随机初始化深度神经网络的参数；根据训练数据使用监督方法迭代训练深度神经网络同时对多个分割任务进行学习。
可选地，在一些实施中，预训练单元80根据训练数据使用监督方法迭代训练深度神经网络，还可以包括：用预先确定的学习难度最大的分割任务对应的已有模型的参数初始化深度神经网络的主干网络的参数以及该分割任务对应的分支网络的参数，随机初始化其它分支网络的参数；根据训练数据使用监督方法依次迭代训练深度神经网络的各个分支网络、对各分支网络对应的分割任务进行学习。
在一些实施例中，预训练单元80根据训练数据使用监督方法迭代训练深度神经网络，包括：对于一个分支网络，将该分支网络输出的预测值与训练数据中的真实值输入到一个预定义的损失函数中，该损失函数输出一个损失值；在该损失值大于一个预定的置信度值的情况下，迭代修改分支网络和主干网络中的参数；在该损失值小于或等于该预定的置信度值的情况下，确定该分支网络的迭代训练完成。
在一些实施例中，预训练单元80迭代修改分支网络中的参数，包括：在一次迭代训练的后向传播过程中，确定一个分支网络的学习率为预设的网络学习率与该分支网络的预设权重值的乘积；根据确定的该分支网络的学习率修改该分支网络中的参数。
在一些实施例中，预训练单元80迭代修改主干网络中的参数，包括：主干网络的最后一层包括一个梯度平衡层；在一次迭代训练的后向传播过程中，确定该梯度平衡层的梯度为各个分支网络的梯度与各分支网络的预设权重值的乘积的和值，并将确定的梯度值回传给主干网络中的下一个网络层；对于主干网络中除梯度平衡层之外的其它每个网络层，根据上一层回传的梯度值修改该层的参数。
在一些实施例中，训练得到的多分割任务模型中不包括梯度平衡层。
在一些实施例中，预训练单元80还用于：设置多个教师网络，一个教师网络与多个分割任务中的一个任务相对应；根据训练数据中的真实数据分别训练多个教师网络，得到执行对应分割任务的多个教师模型；将部分标记的图像数据作为输入分别提供给多个教师模型，多个教师模型分别输出得到用于训练对应分割任务的学习图像数据，学习图像数据是完整标记的图像数据；将该学习图像数据保存到训练数据的集合中。
在一些实施例中，预训练单元80还用于：设置所述深度神经网络为学生网络；则，根据训练数据使用监督方法迭代训练深度神经网络，得到多分割任务模型，包括：训练学生网络学习多个教师模型各自对相对应的分割任务的理解，得到多分割任务模型。
在一些实施例中，训练得到的多分割任务模型中不包括softmax层。
在一些实施例中，多分割任务包括至少以下两个任务：语义分割任务、车道线识别任务、道路表面识别任务、物体轮廓识别或提取任务。
根据如图8或图9所示的装置，通过预先训练得到的多分割任务模型的一次处理，能够输出得到多个分割任务的处理结果；相比于分别运行实现各个分割任务的处理模型，通过多次处理输出得到多个分割任务的处理结果，本申请实施例提供的装置能够有效地利用处理资源、提高处理速度和处理效率。
基于相同的发明构思，本申请实施例还提供了一种多分割任务的处理装置。
如图10所示，本申请实施例提供的多分割任务的处理装置包括一个处理器1001和至少一个存储器1002，至少一个存储器1002中存储有至少一条机器可执行指令，处理器1001执行至少一条机器可执行指令实现：
在处理过程中，将一个图像数据作为输入提供给预先训练得到的多分割任务模型；其中，多个分割任务之间包括共同的任务特征，多个分割任务还分别包括各自的特定任务特征；
运行多分割任务模型输出多个分割任务的处理结果。
在一些实施例中，处理器1001执行至少一条机器可执行指令还实现：在预先训练过程中，设置深度神经网络的结构，该结构中包括主干网络和多个分支网络，主干网络和多个分支网络均包括多个网络层，主干网络用于学习多个分割任务中的共同任务特征，多个分支网络分别用于学习对应的分割任务中的特定任务特征；其中，深度神经网络的输入数据是主干网络的输入，主干网络的输出数据是各个分支网络的输入，各个分支网络的输出数据是深度神经网络的输出；根据训练数据使用监督方法迭代训练深度神经网络，得到多分割任务模型。
在一些实施例中，处理器1001执行至少一条机器可执行指令实现根据训练数据使用监督方法迭代训练深度神经网络，包括：随机初始化深度神经网络的参数；根据训练数据使用监督方法迭代训练深度神经网络同时对多个分割任务进行学习。
在一些实施例中，处理器1001执行至少一条机器可执行指令实现根据训练数据使用监督方法迭代训练深度神经网络，包括：用预先确定的学习难度最大的分割任务对应的已有模型的参数初始化深度神经网络的主干网络的参数以及该分割任务对应的分支网络的参数，随机初始化其它分支网络的参数；根据训练数据使用监督方法依次迭代训练深度神经网络的各个分支网络、对各分支网络对应的分割任务进行学习。
在一些实施例中，处理器1001执行至少一条机器可执行指令实现根据训练数据使用监督方法迭代训练深度神经网络，包括：对于一个分支网络，将该分支网络输出的预测值与训练数据中的真实值输入到一个预定义的损失函数中，该损失函数输出一个损失值；在该损失值大于一个预定的置信度值的情况下，迭代修改分支网络和主干网络中的参数；在该损失值小于或等于该预定的置信度值的情况下，确定该分支网络的迭代训练完成。
在一些实施例中，处理器1001执行至少一条机器可执行指令实现迭代修改分支网络中的参数，包括：在一次迭代训练的后向传播过程中，确定一个分支网络的学习率为预设的网络学习率与该分支网络的预设权重值的乘积；根据确定的该分支网络的学习率修改该分支网络中的参数。
在一些实施例中，处理器1001执行至少一条机器可执行指令实现迭代修改主干网络中的参数，包括：主干网络的最后一层包括一个梯度平衡层；在一次迭代训练的后向传播过程中，确定该梯度平衡层的梯度为各个分支网络的梯度与各个分支网络的预设权重值的乘积的和值，并将确定的梯度值回传给主干网络中的下一个网络层；对于主干网络中除梯度平衡层之外的其它每个网络层，根据上一层回传的梯度值修改该层的参数。
在一些实施例中，训练得到的多分割任务模型中不包括梯度平衡层。
在一些实施例中，处理器1001执行至少一条机器可执行指令还实现：设置多个教师网络，一个教师网络与多个分割任务中的一个任务相对应；根据训练数据中的真实数据分别训练多个教师网络，得到执行对应分割任务的多个教师模型；将部分标记的图像数据作为输入分别提供给多个教师模型，多个教师模型分别输出得到用于训练对应分割任务的学习图像数据，学习图像数据是完整标记的图像数据；将该学习图像数据保存到训练数据的集合中。
在一些实施例中，处理器1001执行至少一条机器可执行指令还实现：设置所述深度神经网络为学生网络；处理器1001执行至少一条机器可执行指令实现根据训练数据使用监督方法迭代训练深度神经网络，得到多分割任务模型，包括：训练学生网络学习多个教师模型各自对相对应的分割任务的理解，得到多分割任务模型。
在一些实施例中，训练得到的多分割任务模型中不包括softmax层。
在一些实施例中，多分割任务包括至少以下两个任务：语义分割任务、车道线识别任务、道路表面识别任务、物体轮廓识别或提取任务。
根据如图8或图9所示的装置，通过预先训练得到的多分割任务模型的一次处理，能够输出得到多个分割任务的处理结果；相比于分别运行实现各个分割任务的处理模型，通过多次处理输出得到多个分割任务的处理结果，本申请实施例提供的装置能够有效地利用处理资源、提高处理速度和处理效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (27)

1.一种多分割任务的处理方法，其特征在于，包括：
运行预先训练过程，包括：
设置深度神经网络的结构，包括主干网络和多个分支网络；以及
根据训练数据的集合使用监督方法迭代训练所述深度神经网络，得到多分割任务模型，包括：
用多个分割任务之中预先确定的学习难度最大的分割任务对应的已有模型的参数初始化所述深度神经网络的所述主干网络的参数以及所述分割任务对应的所述分支网络的参数，并随机初始化其它所述分支网络的参数；以及
根据所述训练数据的集合使用监督方法依次迭代训练所述深度神经网络的各个分支网络，并对各分支网络对应的分割任务进行学习；
将一个图像数据作为输入提供给预先训练的所述多分割任务模型；其中，所述多个分割任务之间包括共同的任务特征，所述多个分割任务还分别包括各自的特定任务特征；其中，所述图像数据是在实时预测处理过程中通过自动驾驶车辆的车载摄像头获取得到的；以及
运行所述多分割任务模型输出所述多个分割任务的处理结果；
其中，所述方法还包括：
设置多个教师网络，一个教师网络与多个分割任务中的一个任务相对应；
根据训练数据中的真实数据分别训练多个教师网络，得到执行对应分割任务的多个教师模型；
将部分标记的图像数据作为输入分别提供给多个教师模型，多个教师模型分别输出得到用于训练对应分割任务的学习图像数据，学习图像数据是完整标记的图像数据；以及
将所述学习图像数据保存到所述训练数据的集合中。
2.根据权利要求1所述的方法，其特征在于，所述主干网络和所述多个分支网络均包括多个网络层，所述主干网络用于学习所述多个分割任务中的共同任务特征，所述多个分支网络分别用于学习对应的所述分割任务中的所述特定任务特征，其中，所述深度神经网络的输入数据是所述主干网络的输入，所述主干网络的输出数据是所述各个分支网络的输入，所述各个分支网络的输出数据是所述深度神经网络的输出。
3. 根据权利要求2所述的方法，其特征在于，根据训练数据的集合使用监督方法迭代训练所述深度神经网络，包括：
对于一个分支网络，将所述分支网络输出的预测值与训练数据中的真实值输入到一个预定义的损失函数中，所述损失函数输出一个损失值；以及
在所述损失值大于一个预定的置信度值的情况下，迭代修改分支网络和主干网络中的参数；在所述损失值小于或等于所述预定的置信度值的情况下，确定所述分支网络的迭代训练完成。
4.根据权利要求3所述的方法，其特征在于，迭代修改分支网络中的参数，包括：
在一次迭代训练的后向传播过程中，确定一个分支网络的学习率为预设的网络学习率与所述分支网络的预设权重值的乘积；以及
根据确定的所述分支网络的学习率修改所述分支网络中的参数。
5.根据权利要求3所述的方法，其特征在于，迭代修改主干网络中的参数，包括：
主干网络的最后一层包括一个梯度平衡层；
在一次迭代训练的后向传播过程中，确定所述梯度平衡层的梯度为各个分支网络的梯度与各分支网络的预设权重值的乘积的和值，并将确定的梯度值回传给主干网络中的下一个网络层；以及
对于主干网络中除梯度平衡层之外的其它每个网络层，根据上一层回传的梯度修改所述层的参数。
6.根据权利要求5所述的方法，其特征在于，训练得到的多分割任务模型中不包括梯度平衡层。
7. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
设置所述深度神经网络为学生网络；以及
根据训练数据的集合使用监督方法迭代训练深度神经网络，得到多分割任务模型，包括：
训练学生网络学习多个教师模型各自对相对应的分割任务的理解，得到多分割任务模型。
8.根据权利要求2所述的方法，其特征在于，训练得到的多分割任务模型中不包括softmax层。
9.根据权利要求1所述的方法，其特征在于，多分割任务包括至少以下两个任务：语义分割任务、车道线识别任务、道路表面识别任务、物体轮廓识别或提取任务。
10.一种多分割任务的处理装置，其特征在于，包括：
预训练单元，用于运行预先训练过程，包括：
设置深度神经网络的结构，包括主干网络和多个分支网络；以及
根据训练数据的集合使用监督方法迭代训练深度神经网络，得到多分割任务模型，包括：
用多个分割任务之中预先确定的学习难度最大的分割任务对应的已有模型的参数初始化所述深度神经网络的所述主干网络的参数以及所述分割任务对应的所述分支网络的参数，并随机初始化其它所述分支网络的参数；以及
根据所述训练数据的集合使用监督方法依次迭代训练深度神经网络的各个分支网络、对各分支网络对应的分割任务进行学习；
数据输入单元，用于将一个图像数据作为输入提供给预先训练的所述多分割任务模型；其中，所述多个分割任务之间包括共同的任务特征，所述多个分割任务还分别包括各自的特定任务特征；其中，所述图像数据是在实时预测处理过程中通过自动驾驶车辆的车载摄像头获取得到的；以及
处理单元，包括所述多分割任务模型，用于运行所述多分割任务模型，输出所述多个分割任务的处理结果；
其中，所述预训练单元还用于：
设置多个教师网络，一个教师网络与多个分割任务中的一个任务相对应；
根据训练数据中的真实数据分别训练多个教师网络，得到执行对应分割任务的多个教师模型；
将部分标记的图像数据作为输入分别提供给多个教师模型，多个教师模型分别输出得到用于训练对应分割任务的学习图像数据，学习图像数据是完整标记的图像数据；以及
将所述学习图像数据保存到所述训练数据的集合中。
11.根据权利要求10所述的装置，其特征在于，所述主干网络和所述多个分支网络均包括多个网络层，所述主干网络用于学习所述多个分割任务中的共同任务特征，所述多个分支网络分别用于学习对应的所述分割任务中的所述特定任务特征，其中，所述深度神经网络的输入数据是所述主干网络的输入，所述主干网络的输出数据是所述各个分支网络的输入，所述各个分支网络的输出数据是所述深度神经网络的输出。
12.根据权利要求11所述的装置，其特征在于，所述预训练单元根据训练数据的集合使用监督方法迭代训练所述深度神经网络，包括：
对于一个分支网络，将所述分支网络输出的预测值与训练数据中的真实值输入到一个预定义的损失函数中，所述损失函数输出一个损失值；以及
在所述损失值大于一个预定的置信度值的情况下，迭代修改分支网络和主干网络中的参数；在所述损失值小于或等于所述预定的置信度值的情况下，确定所述分支网络的迭代训练完成。
13.根据权利要求12所述的装置，其特征在于，所述预训练单元迭代修改分支网络中的参数，包括：
在一次迭代训练的后向传播过程中，确定一个分支网络的学习率为预设的网络学习率与所述分支网络的预设权重值的乘积；以及
根据确定的所述分支网络的学习率修改所述分支网络中的参数。
14.根据权利要求12所述的装置，其特征在于，所述预训练单元迭代修改主干网络中的参数，包括：
主干网络的最后一层包括一个梯度平衡层；
在一次迭代训练的后向传播过程中，确定所述梯度平衡层的梯度为各个分支网络的梯度与各分支网络的预设权重值的乘积的和值，并将确定的梯度值回传给主干网络中的下一个网络层；以及
对于主干网络中除梯度平衡层之外的其它每个网络层，根据上一层回传的梯度值修改所述层的参数。
15.根据权利要求14所述的装置，其特征在于，训练得到的多分割任务模型中不包括梯度平衡层。
16. 根据权利要求10所述的装置，其特征在于，所述预训练单元还用于：
设置所述深度神经网络为学生网络；以及
根据训练数据的集合使用监督方法迭代训练深度神经网络，得到多分割任务模型，包括：
训练学生网络学习多个教师模型各自对相对应的分割任务的理解，得到多分割任务模型。
17.根据权利要求11所述的装置，其特征在于，训练得到的多分割任务模型中不包括softmax层。
18.根据权利要求10所述的装置，其特征在于，所述多分割任务包括至少以下两个任务：语义分割任务、车道线识别任务、道路表面识别任务、物体轮廓识别或提取任务。
19.一种多分割任务的处理装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现：
运行预先训练过程，包括：
设置深度神经网络的结构，包括主干网络和多个分支网络；以及
根据训练数据的集合使用监督方法迭代训练所述深度神经网络，得到多分割任务模型，包括：
用多个分割任务之中预先确定的学习难度最大的分割任务对应的已有模型的参数初始化所述深度神经网络的所述主干网络的参数以及所述分割任务对应的所述分支网络的参数，并随机初始化其它所述分支网络的参数；以及
根据所述训练数据的集合使用监督方法依次迭代训练所述深度神经网络的各个分支网络、并对各分支网络对应的分割任务进行学习；
将一个图像数据作为输入提供给预先训练的所述多分割任务模型；其中，所述多个分割任务之间包括共同的任务特征，所述多个分割任务还分别包括各自的特定任务特征；其中，所述图像数据是在实时预测处理过程中通过自动驾驶车辆的车载摄像头获取得到的；以及
运行所述多分割任务模型输出所述多个分割任务的处理结果；
其中，处理器执行至少一条机器可执行指令还实现：
设置多个教师网络，一个教师网络与多个分割任务中的一个任务相对应；
根据训练数据中的真实数据分别训练多个教师网络，得到执行对应分割任务的多个教师模型；
将部分标记的图像数据作为输入分别提供给多个教师模型，多个教师模型分别输出得到用于训练对应分割任务的学习图像数据，学习图像数据是完整标记的图像数据；以及
将所述学习图像数据保存到所述训练数据的集合中。
20.根据权利要求19所述的装置，其特征在于，所述主干网络和所述多个分支网络均包括多个网络层，所述主干网络用于学习所述多个分割任务中的共同任务特征，所述多个分支网络分别用于学习对应的所述分割任务中的所述特定任务特征，其中，所述深度神经网络的输入数据是所述主干网络的输入，所述主干网络的输出数据是所述各个分支网络的输入，所述各个分支网络的输出数据是所述深度神经网络的输出。
21. 根据权利要求20所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现根据训练数据的集合使用监督方法迭代训练所述深度神经网络，包括：
对于一个分支网络，将所述分支网络输出的预测值与训练数据中的真实值输入到一个预定义的损失函数中，所述损失函数输出一个损失值；以及
在所述损失值大于一个预定的置信度值的情况下，迭代修改分支网络和主干网络中的参数；在所述损失值小于或等于所述预定的置信度值的情况下，确定所述分支网络的迭代训练完成。
22. 根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现迭代修改分支网络中的参数，包括：
在一次迭代训练的后向传播过程中，确定一个分支网络的学习率为预设的网络学习率与所述分支网络的预设权重值的乘积；以及
根据确定的所述分支网络的学习率修改所述分支网络中的参数。
23.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现迭代修改主干网络中的参数，包括：
主干网络的最后一层包括一个梯度平衡层；
在一次迭代训练的后向传播过程中，确定所述梯度平衡层的梯度为各个分支网络的梯度与各个分支网络的预设权重值的乘积的和值，并将确定的梯度值回传给主干网络中的下一个网络层；以及
对于主干网络中除梯度平衡层之外的其它每个网络层，根据上一层回传的梯度值修改所述层的参数。
24.根据权利要求23所述的装置，其特征在于，训练得到的多分割任务模型中不包括梯度平衡层。
25.根据权利要求19所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
设置所述深度神经网络为学生网络；以及
处理器执行至少一条机器可执行指令实现根据训练数据的集合使用监督方法迭代训练深度神经网络，得到多分割任务模型，包括：
训练学生网络学习多个教师模型各自对相对应的分割任务的理解，得到多分割任务模型。
26.根据权利要求20所述的装置，其特征在于，训练得到的多分割任务模型中不包括softmax层。
27.根据权利要求19所述的装置，其特征在于，多分割任务包括至少以下两个任务：语义分割任务、车道线识别任务、道路表面识别任务、物体轮廓识别或提取任务。
CN201810776976.6A 2017-09-30 2018-07-16 一种多分割任务的处理方法和装置 Active CN109598184B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/721,797 2017-09-30
US15/721,797 US10962979B2 (en) 2017-09-30 2017-09-30 System and method for multitask processing for autonomous vehicle computation and control

Publications (2)

Publication Number Publication Date
CN109598184A CN109598184A (zh) 2019-04-09
CN109598184B true CN109598184B (zh) 2021-08-24

Family

ID=65897300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810776976.6A Active CN109598184B (zh) 2017-09-30 2018-07-16 一种多分割任务的处理方法和装置

Country Status (2)

Country Link
US (1) US10962979B2 (zh)
CN (1) CN109598184B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
WO2019036425A1 (en) * 2017-08-17 2019-02-21 Walmart Apollo, Llc SYSTEMS AND METHODS FOR DELIVERY OF RETAIL ITEMS
US20190129831A1 (en) * 2017-10-27 2019-05-02 Uber Technologies, Inc. Autonomous Vehicle Simulation Testing Systems and Methods
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10586456B2 (en) 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
US11551095B2 (en) * 2018-10-25 2023-01-10 Runai Labs Ltd. Sharing preprocessing, computations, and hardware resources between multiple neural networks
CN110287782A (zh) * 2019-05-17 2019-09-27 北京迈格威科技有限公司 行人分割模型训练方法及装置
WO2021068180A1 (en) * 2019-10-11 2021-04-15 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for continual meta-learning
CN112825196B (zh) * 2019-11-20 2023-04-25 阿里巴巴集团控股有限公司 一种道路标记的确定方法、装置、存储介质及编辑平台
CN111046973B (zh) * 2019-12-26 2024-06-11 北京市商汤科技开发有限公司 多任务检测方法及装置、存储介质
CN113127431A (zh) * 2020-01-10 2021-07-16 浙江大学 智能多任务特征数据共享方法及装置
EP4201744A1 (de) * 2021-12-22 2023-06-28 Volkswagen Aktiengesellschaft Verfahren und system zur regelung der lichtemission einer fahrzeugleuchte
CN114816719B (zh) * 2022-06-23 2022-09-30 小米汽车科技有限公司 多任务模型的训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN106548190A (zh) * 2015-09-18 2017-03-29 三星电子株式会社 模型训练方法和设备以及数据识别方法
CN106875446A (zh) * 2017-02-20 2017-06-20 清华大学 相机重定位方法及装置

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
EP3454315A1 (en) 2004-04-08 2019-03-13 Mobileye Vision Technologies Ltd. Collision warning system
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
EP2383713B1 (en) 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
JP2012521708A (ja) 2009-03-26 2012-09-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 色周波数に基づく顕著性マップを用いて画像を修正する方法及び装置
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
US9251708B2 (en) 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
DE112012003140T5 (de) 2011-07-28 2014-06-26 Honda Motor Co., Ltd. Drahtloses Energieübertragungsverfahren
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
EP2946336B1 (en) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9671243B2 (en) 2013-06-13 2017-06-06 Mobileye Vision Technologies Ltd. Vision augmented navigation
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
EP3092599B1 (en) 2013-12-04 2019-03-06 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
US9248832B2 (en) 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
US9664789B2 (en) 2014-02-20 2017-05-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
WO2015177648A1 (en) 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
WO2015186002A2 (en) 2014-06-03 2015-12-10 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US10089576B2 (en) * 2015-07-28 2018-10-02 Microsoft Technology Licensing, Llc Representation learning using multi-task deep neural networks
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10867416B2 (en) * 2017-03-10 2020-12-15 Adobe Inc. Harmonizing composite images using deep learning
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
CN108401449A (zh) * 2017-03-31 2018-08-14 深圳市大疆创新科技有限公司 基于多传感器数据融合的飞行模拟方法、装置及设备
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US11741354B2 (en) * 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks
US10452956B2 (en) * 2017-09-29 2019-10-22 Here Global B.V. Method, apparatus, and system for providing quality assurance for training a feature prediction model
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548190A (zh) * 2015-09-18 2017-03-29 三星电子株式会社 模型训练方法和设备以及数据识别方法
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106875446A (zh) * 2017-02-20 2017-06-20 清华大学 相机重定位方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Distilling the Knowledge in a Neural Network;Geoffrey Hinton等;《arXiv:1503.02531v1 [stat.ML]》;20150309;全文 *
一种基于残差网络的多任务模型.一种基于残差网络的多任务模型.《中国集成电路》.2017, *
一种基于残差网络的多任务模型;一种基于残差网络的多任务模型;《中国集成电路》;20170831;第64-71页 *

Also Published As

Publication number Publication date
US10962979B2 (en) 2021-03-30
US20190101927A1 (en) 2019-04-04
CN109598184A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109598184B (zh) 一种多分割任务的处理方法和装置
CN112001585B (zh) 多智能体决策方法、装置、电子设备及存储介质
US11983245B2 (en) Unmanned driving behavior decision-making and model training
US11559887B2 (en) Optimizing policy controllers for robotic agents using image embeddings
US20210158162A1 (en) Training reinforcement learning agents to learn farsighted behaviors by predicting in latent space
JP7109091B2 (ja) 物体検出器の学習方法及びテスト方法、それを利用した学習装置及びテスト装置
JP2020126607A (ja) カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
US11087049B2 (en) Online self-driving car virtual test and development system
CN111461226A (zh) 对抗样本生成方法、装置、终端及可读存储介质
CN113377888B (zh) 训练目标检测模型和检测目标的方法
EP3847619B1 (en) Unsupervised depth prediction neural networks
JP2020502665A (ja) ターゲット・ドメイン画像へのソース・ドメイン画像の変換
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
US20210073997A1 (en) Future semantic segmentation prediction using 3d structure
CN114792359B (zh) 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN114494718A (zh) 一种图像分类方法、装置、存储介质及终端
WO2020152233A1 (en) Action selection using interaction history graphs
CN113561986A (zh) 自动驾驶汽车决策方法及装置
KR102320995B1 (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN112114592B (zh) 一种实现无人机自主穿越可移动框形障碍物的方法
CN113326826A (zh) 网络模型的训练方法、装置、电子设备及存储介质
JP2021111388A (ja) ニューラル・ネットワーク・アーキテクチャ・サーチ・システム及び方法
CN112947466B (zh) 一种面向自动驾驶的平行规划方法、设备及存储介质
CN113077237B (zh) 一种自适应混合算法的排课方法及系统
Polosky et al. Machine learning subsystem for autonomous collision avoidance on a small uas with embedded gpu

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant