CN110879949B - 基于融合神经网络的图像处理及网络的生成方法和装置 - Google Patents

基于融合神经网络的图像处理及网络的生成方法和装置 Download PDF

Info

Publication number
CN110879949B
CN110879949B CN201811036021.3A CN201811036021A CN110879949B CN 110879949 B CN110879949 B CN 110879949B CN 201811036021 A CN201811036021 A CN 201811036021A CN 110879949 B CN110879949 B CN 110879949B
Authority
CN
China
Prior art keywords
task
network
image
network layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811036021.3A
Other languages
English (en)
Other versions
CN110879949A (zh
Inventor
王哲
丁明宇
戴兴
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811036021.3A priority Critical patent/CN110879949B/zh
Publication of CN110879949A publication Critical patent/CN110879949A/zh
Application granted granted Critical
Publication of CN110879949B publication Critical patent/CN110879949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于融合神经网络的图像处理及网络的生成方法和装置，所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务，其中基于融合神经网络的图像处理方法包括：经所述共享网络层提取所输入的图像的特征，获得所述图像的特征；基于所述至少两个任务网络层分别对所述特征进行处理，得到分别对应所述至少两类图像处理任务的至少两个图像处理结果。基于本申请上述实施例，实现了同时处理至少两类的图像处理任务，并提高了图像处理任务的处理速度。

Description

基于融合神经网络的图像处理及网络的生成方法和装置
技术领域
本申请涉及计算机视觉技术，尤其是一种基于融合神经网络的图像处理及网络的生成方法和装置。
背景技术
图像处理技术在很多领域得到应用，例如：高级驾驶辅助系统(ADAS)是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。当图像处理技术应用到ADAS系统时，需要处理包括车辆检测、行人检测、交通标志识别、车道线检测等多种任务。
发明内容
本申请实施例提供了一种基于融合神经网络的图像处理及融合神经网络的生成技术。
根据本申请实施例的一个方面，提供的一种基于融合神经网络的图像处理方法，所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务，所述方法包括：
经所述共享网络层提取所输入的图像的特征，获得所述图像的特征；
基于所述至少两个任务网络层分别对所述特征进行处理，得到分别对应所述至少两类图像处理任务的至少两个图像处理结果。
可选地，在本发明上述任一方法实施例中，每类所述图像处理任务对应至少一个所述任务网络层。
可选地，在本发明上述任一方法实施例中，每个所述任务网络层输出对应一类图像处理任务的至少一个图像处理结果。
可选地，在本发明上述任一方法实施例中，所述至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层；
所述至少两类图像处理任务包括：目标检测任务和语义分割任务；
所述至少两个图像处理结果包括：对应所述目标检测任务的至少一个目标检测处理结果，和对应所述语义分割任务的至少一个语义分割处理结果。
可选地，在本发明上述任一方法实施例中，所述至少一个目标检测任务包括以下至少之一：车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统；和/或，
所述至少一个语义分割任务包括以下至少之一：交通标志识别，交通信号灯识别和车道线类型识别。
可选地，在本发明上述任一方法实施例中，经所述共享网络层提取所输入的图像的特征之前，还包括：
根据至少两个任务神经网络生成所述融合神经网络。
可选地，在本发明上述任一方法实施例中，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述根据至少两个任务神经网络生成所述融合神经网络，包括：
获取第一任务神经网络和第二任务神经网络；
将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；
将共享处理的浅层网络层作为所述共享网络层、将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为所述至少两个任务网络层，生成所述融合神经网络。
可选地，在本发明上述任一方法实施例中，在经所述共享网络层对待处理图像提取特征，获得所述待处理图像的特征之前，还包括：
利用训练图像集中的图像训练所述融合神经网络。
可选地，在本发明上述任一方法实施例中，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
可选地，在本发明上述任一方法实施例中，所述利用训练图像集中的图像训练所述融合神经网络，包括：
分别利用所述至少两个图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
可选地，在本发明上述任一方法实施例中，所述分别利用所述至少两个图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，包括：
利用所述至少两个图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；
固定所述共享网络层的参数，利用所述至少两个所述图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数，所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；
获得训练后的共享网络层和至少两个任务网络层。
可选地，在本发明上述任一方法实施例中，所述获得训练后的共享网络层和至少两个任务网络层之后，还包括：
基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；
基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
可选地，在本发明上述任一方法实施例中，所述基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集，包括：
按照设定比例获取所述至少两个图像子集中的图像；
基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
根据本申请实施例的另一个方面，提供的一种融合神经网络的生成方法，其特征在于，包括：
获取对应至少两类图像处理任务的至少两个任务神经网络，每个所述图像处理任务对应至少一个任务神经网络；
基于所述至少两个任务神经网络生成所述融合神经网络。
可选地，在本发明上述任一方法实施例中，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述基于至少两个任务神经网络生成所述融合神经网络，包括：
将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；
将所述共享处理的浅层网络层作为共享网络层，将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为至少两个任务网络层；
连接所述共享网络层和所述至少两个任务网络层，生成融合神经网络。
可选地，在本发明上述任一方法实施例中，还包括：
利用训练图像集中的图像训练所述融合神经网络。
可选地，在本发明上述任一方法实施例中，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
可选地，在本发明上述任一方法实施例中，所述利用训练图像集中的图像训练所述融合神经网络，包括：
分别利用至少两个所述图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
可选地，在本发明上述任一方法实施例中，所述分别利用至少两个所述图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，包括：
利用至少两个所述图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；
固定所述共享网络层的参数，利用至少两个所述图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数，所述第二图像子集为至少两个所述图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；
获得训练后的共享网络层和至少两个任务网络层。
可选地，在本发明上述任一方法实施例中，还包括：
基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；
基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
可选地，在本发明上述任一方法实施例中，基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集，包括：
按照设定比例获取至少两个所述图像子集中的图像；
基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
根据本申请实施例的另一个方面，提供的一种基于融合神经网络的图像处理装置，所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务，所述装置包括：
特征提取单元，用于经所述共享网络层提取所输入的图像的特征，获得所述图像的特征；
图像处理单元，用于基于所述至少两个任务网络层分别对所述特征进行处理，得到分别对应所述至少两类图像处理任务的至少两个图像处理结果。
可选地，在本发明上述任一装置实施例中，每类所述图像处理任务对应至少一个所述任务网络层。
可选地，在本发明上述任一装置实施例中，每个所述任务网络层输出对应一类图像处理任务的至少一个图像处理结果。
可选地，在本发明上述任一装置实施例中，所述至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层，所述至少两类图像处理任务包括：目标检测任务和语义分割任务，所述至少两个图像处理结果包括：对应所述目标检测任务的至少一个目标检测处理结果，和对应所述语义分割任务的至少一个语义分割处理结果。
可选地，在本发明上述任一装置实施例中，所述至少一个目标检测任务包括以下至少之一：车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统；和/或，
所述至少一个语义分割任务包括以下至少之一：交通标志识别，交通信号灯识别和车道线类型识别。
可选地，在本发明上述任一装置实施例中，所述装置还包括：
网络生成单元，用于根据至少两个任务神经网络生成所述融合神经网络。
可选地，在本发明上述任一装置实施例中，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述网络生成单元，具体用于获取第一任务神经网络和第二任务神经网络；将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；将共享处理的浅层网络层作为所述共享网络层、将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为所述至少两个任务网络层，生成所述融合神经网络。
可选地，在本发明上述任一装置实施例中，所述装置还包括：网络训练单元，用于利用训练图像集中的图像训练所述融合神经网络。
可选地，在本发明上述任一装置实施例中，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，用于分别利用所述至少两个图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，具体用于利用所述至少两个图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；固定所述共享网络层的参数，利用所述至少两个所述图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数，所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；获得训练后的共享网络层和至少两个任务网络层。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，还用于基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
可选地，在本发明上述任一装置实施例中，所述网络训练单元在基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集时，用于按照设定比例获取所述至少两个图像子集中的图像；基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
根据本申请实施例的另一个方面，提供的一种融合神经网络的生成装置，包括：
网络获取单元，用于获取对应至少两类图像处理任务的至少两个任务神经网络，每个所述图像处理任务对应至少一个任务神经网络；
融合网络生成单元，用于基于所述至少两个任务神经网络生成所述融合神经网络。
可选地，在本发明上述任一装置实施例中，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述融合网络生成单元，用于将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；将所述共享处理的浅层网络层作为共享网络层，将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为至少两个任务网络层；连接所述共享网络层和所述至少两个任务网络层，生成融合神经网络。
可选地，在本发明上述任一装置实施例中，所述装置还包括：
网络训练单元，用于利用训练图像集中的图像训练所述融合神经网络。
可选地，在本发明上述任一装置实施例中，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，用于分别利用至少两个所述图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，具体用于利用至少两个所述图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；固定所述共享网络层的参数，利用至少两个所述图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数，所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；获得训练后的共享网络层和至少两个任务网络层。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，还用于基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
可选地，在本发明上述任一装置实施例中，所述网络训练单元在基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集时，用于按照设定比例获取至少两个所述图像子集中的图像；基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的基于融合神经网络的图像处理装置或如上任意一项所述的融合神经网络的生成装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述基于融合神经网络的图像处理方法或如上任意一项所述融合神经网络的生成方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述基于融合神经网络的图像处理方法或如上任意一项所述融合神经网络的生成方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述基于融合神经网络的图像处理方法或如上任意一项所述融合神经网络的生成方法的指令。
基于本申请上述实施例提供的一种基于融合神经网络的图像处理及网络的生成方法和装置，经共享网络层提取所输入的图像的特征，获得图像的特征；基于至少两个任务网络层分别对特征进行处理，得到分别对应至少两类图像处理任务的至少两个图像处理结果；实现了同时处理至少两类的图像处理任务，并提高了图像处理任务的处理速度。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请基于融合神经网络的图像处理方法一个实施例的流程图。
图2为本申请基于融合神经网络的图像处理方法一个示例的网络结构示意图。
图3为本申请基于融合神经网络的图像处理装置一个实施例的结构示意图。
图4为本申请融合神经网络的生成方法一个实施例的流程图。
图5为本申请融合神经网络的生成装置一个实施例的结构示意图。
图6为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本申请基于融合神经网络的图像处理方法一个实施例的流程图。可选地，融合神经网络包括共享网络层和至少两个任务网络层，至少两个任务网络层对应至少两类图像处理任务，其中，至少两类图像处理任务分别属于不同类别的图像处理任务，例如：至少两类图像处理任务包括目标检测、语义分割和分类任务等等，每个类别的图像处理任务可以对应一个或多个任务网络层；通过至少两类图像处理任务对应的至少两个任务网络层，本实施例中的融合神经网络可实现同时处理至少两类图像处理任务。
如图1所示，该实施例方法包括：
步骤110，经共享网络层对待处理图像提取特征，获得待处理图像的特征。
可选地，融合神经网络可看做将多个处理不同图像处理任务的神经网络(如：目标检测网络、语义分割网络、分类网络等)融合获得，其中各神经网络都可分解为底部网络层和顶部网络层两部分，其中底部网络层提取的是不同图像处理任务都涉及到的边缘和/或纹理等浅层特征，例如：分割、分类或检索任务中的前几个卷积层；而顶部网络层以底部网络层得到的浅层特征为基础得到对应具体任务的处理结果；在本实施例中，将对应多个神经网络的底部网络层(结构相同)作为共享网络层，将多个神经网络的各顶部网络层分别作为任务网络层，通过共享网络层连接多个任务网络层，压缩了网络结构的大小，并且仅需提取一次浅层特征，提高了图像处理速度。
可选地，图像处理任务包括但不限于目标检测、语义分割和分类任务。
步骤120，基于至少两个任务网络层分别对特征进行处理，得到至少两个图像处理结果。
现有神经网络通常只处理一类图像处理任务，在面对目标检测、语义分割等多个任务时往往需要训练多个神经网络，消耗大量资源，本实施例不限制任务网络层的数量，可同时实现对任意数量的图像处理任务。
基于本申请上述实施例提供的一种基于融合神经网络的图像处理方法，经共享网络层提取所输入的图像的特征，获得图像的特征；基于至少两个任务网络层分别对特征进行处理，得到分别对应至少两类图像处理任务的至少两个图像处理结果；实现了同时处理至少两类的图像处理任务，并提高了图像处理任务的处理速度。
在一个或多个可选的实施例中，每类图像处理任务对应至少一个任务网络层。
本实施例中，不限制任务网络层的数量，只需保证图像处理任务的种类包括至少两类，即可克服现有技术中无法同时处理多种图像任务的缺点；而同时处理一类图像处理任务对应的多个分支任务(如：以一个网络同时处理多个分割任务)，可以以现有技术中的方案实现，本申请对具体如何处理多个相同任务不做限制。
在一个或多个可选的实施例中，每个任务网络层输出对应一类图像处理任务的至少一个图像处理结果。
在本实施例中，将相同图像处理任务的多个分支任务(如：以一个网络同时处理多个分割任务)融合在一个任务网络层中进行处理，此时在任务网络层中还可以包括任务共享网络层和任务分支网络层。
在一个或多个可选的实施例中，至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层，至少两类图像处理任务包括：目标检测任务和语义分割任务，至少两个图像处理结果包括：对应目标检测任务的至少一个目标检测处理结果，和对应语义分割任务的至少一个语义分割处理结果。
本实施例中融合神经网络处理的至少两类图像处理任务包括：目标检测任务和语义分割任务，每类图像处理任务对应一个任务网络层或多个任务网络层；为了更快的处理突出处理任务，对于同一类的图像处理任务(目标检测任务或语义分割任务)，通过一个任务网络层处理可达到更快的处理速度，此时，一个任务网络层中包括任务共享网络层和至少一个任务分支网络层。例如：图2为本申请基于融合神经网络的图像处理方法一个示例的网络结构示意图。如图2所示，以检测任务和分割任务为例，该融合神经网络包括共享网络层和两个任务网络层(分割任务网络层和检测任务网络层)；检测任务网络层包括检测任务共享部分和两个检测任务分支(检测任务1和检测任务2)；分割任务网络层包括分割任务共享部分和3个分割任务分支(分割任务1、分割任务2和分割任务3)。
可选地，至少一个目标检测任务包括以下至少之一：车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统；和/或，
至少一个语义分割任务包括以下至少之一：交通标志识别，交通信号灯识别和车道线类型识别。
本实施例通过对提供的至少一个目标检测任务和至少一个语义分割任务进行处理，可作为车辆智能控制的信息获取部分，基于本实施例提供的图像处理方法，实现对车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统中至少一个进行检测，和/或，实现对交通标志识别，交通信号灯识别和车道线类型识别中至少一个进行识别，为车辆智能控制提供车辆行驶环境的检测和/或识别结果，以这些检测和/或识别结果可实现安全性更高的车辆智能控制。
在一个或多个可选的实施例中，在执行步骤110之前，还包括：
根据至少两个任务神经网络生成融合神经网络。
本申请提供的图像处理方法是基于融合神经网络实现的，融合神经网络的结构包括共享网络层和至少两个任务网络层，至少两个任务网络层对应至少两类图像处理任务；为了使获得的融合神经网络能够实现处理至少两类图像处理任务，本实施例基于至少两个任务神经网络生成融合神经网络，该至少两个任务神经网络对应至少两类图像处理任务，其中，至少两类图像处理任务分别属于不同类的图像处理任务，例如：至少两类图像处理任务包括目标检测、语义分割和分类任务等等。
可选地，至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；根据至少两个任务神经网络生成融合神经网络，包括：
获取第一任务神经网络和第二任务神经网络；
将第一任务神经网络和第二任务神经网络进行浅层网络层的共享处理；
将共享处理的浅层网络层作为共享网络层、将第一任务神经网络除浅层网络层之外的其他网络层以及第二任务神经网络除浅层网络层之外的其他网络层作为至少两个任务网络层，生成融合神经网络。
本实施例中，第一任务神经网络和第二任务神经网络可分别对应不同类别的图像处理任务，任务神经网络包括多个网络层，这些网络层可分解为浅层网络层和其他网络层两部分，其中浅层网络层提取的是不同图像处理任务都涉及到的边缘和/或纹理等浅层特征，而即使是不同的图像处理任务，其对应的浅层特征是相同的，因此，将获得浅层特征的浅层网络层作为共享网络层，即，将第一任务神经网络和第二任务神经网络中任一浅层网络层作为共享网络层，在共享网络层的基础上连接至少两个任务网络层，即构成了具有多分支的融合神经网络。例如：分割、分类或检索任务中的前几个卷积层；而其他网络层以浅层网络层得到的浅层特征为基础得到对应具体任务的处理结果；在本实施例中，将对应多个神经网络的浅层网络层(结构相同)作为共享网络层，将多个神经网络的各其他网络层分别作为任务网络层，通过共享网络层连接多个任务网络层，压缩了网络结构的大小，并且仅需提取一次浅层特征，提高了图像处理速度。
在一个或多个可选的实施例中，在执行步骤110之前，还包括：
利用训练图像集中的图像训练融合神经网络。
本实施例通过训练将多个不同图像处理任务进行融合，例如：将目标检测任务和语义分割任务进行融合，融合后的网络模型可以同时处理上述两类任务，每类任务使用不同的数据源，各自训练各自的分支，互不干扰。
可选地，为了克服现有技术对于一个网络的训练只能采用对于同一图像处理任务的图像，而导致的深层网络中参数相互影响的问题，本实施例训练图像集包括至少两个图像子集，每个图像子集中的图像对应一个图像处理任务。每类任务使用不同的数据源，各自训练各自的分支，互不干扰，且不限于融合的任务网络层的个数。
可选地，利用训练图像集中的图像训练融合神经网络，包括：
分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层。
其中，每个图像子集与其所训练的任务网络层对应相同的图像处理任务。
本实施例克服了只能采用相同任务数据进行网络训练导致的弊端，采用图像处理任务对应的图像子集对融合神经网络进行训练，使得到的多任务神经网络对各图像处理任务都能得到准确的结果。
可选地，分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层，包括：
利用至少两个图像子集中的第一图像子集，调整共享网络层和至少两个任务网络层中第一任务网络层的参数；
固定共享网络层的参数，利用至少两个图像子集中的第二图像子集，调整至少两个任务网络层中的第二任务网络层的参数；
获得训练后的共享网络层和至少两个任务网络层。
其中，第二图像子集为至少两个图像子集中除第一图像子集的其他图像子集，第二任务网络层为至少两个任务网络层中除所述第一任务网络层的其他任务网络层。
在本实施例中，训练过程包括两部分：训练共享网络层和一个任务网络层组成的神经网络，此时训练集中的图像采用对于该任务网络层任务的图像子集中的图像，得到训练后的共享网络层和一个任务网络层；基于训练后的共享网络层和其他剩余的任务网络层组合至少一个神经网络，对该至少一个神经网络进行训练，在对这些神经网络进行训练的过程中，共享网络层的参数不变，得到训练后的融合神经网络，即共享网络层只进行一次训练，在后续参与其他任务网络层的训练时，共享网络层的参数不变，提高了训练速度。
在一个可选的示例中，例如：以语义分割任务和目标检测任务为例：基于目标检测任务设计一个多检测神经网络(此处的多检测神经网络就是现有的多任务方法，本示例将其扩展到同时处理多个目标检测的任务)，并使用检测的训练数据进行训练，得到检测任务的模型。基于语义分割的相关任务设计一个多分割神经网络(此处的多分割神经网络就是现有的多任务方法，本示例将其扩展到同时处理多个语义分割的任务)，由于两类任务可以共享浅层信息(浅层信息指图像边缘和/或纹理等不同任务可以共享的信息)，分割网络采用和检测网络相同的网络底部，并设置网络底部的学习率为0。使用训练后的共享网络层的参数对分割任务的任务网络层进行参数初始化，并用分割的训练数据训练分割网络的任务网络层，得到分割任务的模型。分割模型训练好后，将检测任务的上层分支加入到分割网络结构中并对模型进行融合(反之也可)。由于两个模型网络底部具有相同的权重，所以融合模型的两个分支都可以正常工作，分别对应检测和分割两类任务。
可选地，分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层之后，还可以包括：
基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；
基于融合图像集，调整训练后的共享网络层和至少两个任务网络层的参数。
为了使融合神经网络的性能进一步提升，在得到训练后的共享网络层和至少两个任务网络层之后，通过包括多个任务的样本图像(融合图像集中包括多个样本图像)对基于训练后的共享网络层和至少两个任务网络层构成的融合神经网络进行微调，此时将融合神经网络作为一个整体，每个输入的样本图像都经过共享网络层和至少两个任务网络层，输出至少两个样本处理结果，基于至少两个样本处理结果对共享网络层和至少两个任务网络层的参数进行微调，以获得处理效果更好的融合神经网络。
可选地，基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集，包括：
按照设定比例获取至少两个图像子集中的图像；
基于获取的图像确定对应至少两个图像处理任务的融合图像集。
上述本实施例进行的整体训练过程中，可以按照设定比例获取对应不同类别任务的图像，具体比例根据任务分支的数量或具体任务情况进行调整，利用混合的数据对融合神经网络进行微调，例如：以检测任务和分割任务为例，合并检测数据和分割数据，对融合神经网络进行finetune微调(就是使用之前的数据，设置一个小的学习率，对整体模型再训练一遍)。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本申请基于融合神经网络的图像处理装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。可选地，融合神经网络包括共享网络层和至少两个任务网络层，至少两个任务网络层对应至少两类图像处理任务，其中，至少两类图像处理任务分别属于不同类别的图像处理任务，例如：至少两类图像处理任务包括目标检测、语义分割和分类任务等等，每个类别的图像处理任务可以对应一个或多个任务网络层；通过至少两类图像处理任务对应的至少两个任务网络层，本实施例中的融合神经网络可实现同时处理至少两类图像处理任务。
如图3所示，该实施例的装置包括：
特征提取单元31，用于经共享网络层提取所输入的图像的特征，获得图像的特征。
可选地，图像处理任务包括但不限于目标检测、语义分割和分类任务。
图像处理单元32，用于基于至少两个任务网络层分别对特征进行处理，得到分别对应至少两类图像处理任务的至少两个图像处理结果。
基于本申请上述实施例提供的一种基于融合神经网络的图像处理装置，经共享网络层提取所输入的图像的特征，获得图像的特征；基于至少两个任务网络层分别对特征进行处理，得到分别对应至少两类图像处理任务的至少两个图像处理结果；实现了同时处理至少两类的图像处理任务，并提高了图像处理任务的处理速度。
可选地，每类图像处理任务对应至少一个所述任务网络层。
在一个或多个可选的实施例中，每个任务网络层输出对应一类图像处理任务的至少一个图像处理结果。
在本实施例中，将相同图像处理任务的多个分支任务(如：以一个网络同时处理多个分割任务)融合在一个任务网络层中进行处理，此时在任务网络层中还可以包括任务共享网络层和任务分支网络层。
在一个或多个可选的实施例中，至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层，至少两类图像处理任务包括：目标检测任务和语义分割任务，至少两个图像处理结果包括：对应目标检测任务的至少一个目标检测处理结果，和对应语义分割任务的至少一个语义分割处理结果。
本实施例中融合神经网络处理的至少两类图像处理任务包括：目标检测任务和语义分割任务，每类图像处理任务对应一个任务网络层或多个任务网络层；为了更快的处理突出处理任务，对于同一类的图像处理任务(目标检测任务或语义分割任务)，通过一个任务网络层处理可达到更快的处理速度，此时，一个任务网络层中包括任务共享网络层和至少一个任务分支网络层。例如：图2为本申请基于融合神经网络的图像处理方法一个示例的网络结构示意图。如图2所示，以检测任务和分割任务为例，该融合神经网络包括共享网络层和两个任务网络层(分割任务网络层和检测任务网络层)；检测任务网络层包括检测任务共享部分和两个检测任务分支(检测任务1和检测任务2)；分割任务网络层包括分割任务共享部分和3个分割任务分支(分割任务1、分割任务2和分割任务3)。
可选地，至少一个目标检测任务包括以下至少之一：车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统；和/或，
至少一个语义分割任务包括以下至少之一：交通标志识别，交通信号灯识别和车道线类型识别。
在一个或多个可选的实施例中，本实施例装置还可以包括：
网络生成单元，用于根据至少两个任务神经网络生成融合神经网络。
本申请提供的图像处理方法是基于融合神经网络实现的，融合神经网络的结构包括共享网络层和至少两个任务网络层，至少两个任务网络层对应至少两类图像处理任务；为了使获得的融合神经网络能够实现处理至少两类图像处理任务，本实施例基于至少两个任务神经网络生成融合神经网络，该至少两个任务神经网络对应至少两类图像处理任务，其中，至少两类图像处理任务分别属于不同类的图像处理任务，例如：至少两类图像处理任务包括目标检测、语义分割和分类任务等等。
可选地，至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；
网络生成单元，具体用于获取第一任务神经网络和第二任务神经网络；将第一任务神经网络和第二任务神经网络进行浅层网络层的共享处理；将共享处理的浅层网络层作为共享网络层、将第一任务神经网络除浅层网络层之外的其他网络层以及第二任务神经网络除浅层网络层之外的其他网络层作为至少两个任务网络层，生成融合神经网络。
在一个或多个可选的实施例中，本实施例装置还可以包括：网络训练单元，用于利用训练图像集中的图像训练融合神经网络。
本实施例通过训练将多个不同图像处理任务进行融合，例如：将目标检测任务和语义分割任务进行融合，融合后的网络模型可以同时处理上述两类任务，每类任务使用不同的数据源，各自训练各自的分支，互不干扰。
可选地，训练图像集包括至少两个图像子集，每个图像子集中的图像对应一个图像处理任务。
可选地，网络训练单元，用于分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层，每个图像子集与其所训练的任务网络层对应相同的图像处理任务。
可选地，网络训练单元，具体用于利用至少两个图像子集中的第一图像子集，调整共享网络层和至少两个任务网络层中第一任务网络层的参数；固定共享网络层的参数，利用至少两个所述图像子集中的第二图像子集，调整至少两个任务网络层中的第二任务网络层的参数，第二图像子集为至少两个图像子集中除第一图像子集的其他图像子集，第二任务网络层为至少两个任务网络层中除第一任务网络层的其他任务网络层；获得训练后的共享网络层和至少两个任务网络层。
可选地，网络训练单元，还用于基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；基于融合图像集，调整训练后的共享网络层和至少两个任务网络层的参数。
可选地，网络训练单元在基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集时，用于按照设定比例获取至少两个图像子集中的图像；基于获取的图像确定对应至少两个图像处理任务的融合图像集。
本申请实施例提供的基于融合神经网络的图像处理装置任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
图4为本申请融合神经网络的生成方法一个实施例的流程图。如图4所示，本实施例方法包括：
步骤410，获取对应至少两类图像处理任务的至少两个任务神经网络。
其中，每个图像处理任务对应至少一个任务神经网络，至少两类图像处理任务分别属于不同类别的图像处理任务，例如：至少两类图像处理任务包括目标检测、语义分割和分类任务等等。
步骤420，基于至少两个任务神经网络生成融合神经网络。
基于本申请上述实施例提供的一种融合神经网络的生成方法，基于至少两类图像处理任务进行融合，获得的融合神经网络可同时具有融合之前的至少两个任务神经网络的性能，可同时处理多类别的图像处理任务，基于该实施例生成的融合神经网络处理图像任务提高了多任务图像的处理速度。
可选地，至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；步骤420可以包括：
将第一任务神经网络和第二任务神经网络进行浅层网络层的共享处理；
将共享处理的浅层网络层作为共享网络层，将第一任务神经网络除浅层网络层之外的其他网络层以及第二任务神经网络除浅层网络层之外的其他网络层作为至少两个任务网络层；
连接共享网络层和至少两个任务网络层，生成融合神经网络。
本实施例中，第一任务神经网络和第二任务神经网络可分别对应不同类别的图像处理任务，任务神经网络包括多个网络层，这些网络层可分解为浅层网络层和其他网络层两部分，其中浅层网络层提取的是不同图像处理任务都涉及到的边缘和/或纹理等浅层特征，而即使是不同的图像处理任务，其对应的浅层特征是相同的，因此，将获得浅层特征的浅层网络层作为共享网络层，即，将第一任务神经网络和第二任务神经网络中任一浅层网络层作为共享网络层，在共享网络层的基础上连接至少两个任务网络层，即构成了具有多分支的融合神经网络。例如：分割、分类或检索任务中的前几个卷积层；而其他网络层以浅层网络层得到的浅层特征为基础得到对应具体任务的处理结果；在本实施例中，将对应多个神经网络的浅层网络层(结构相同)作为共享网络层，将多个神经网络的各其他网络层分别作为任务网络层，通过共享网络层连接多个任务网络层，压缩了网络结构的大小，并且仅需提取一次浅层特征，提高了图像处理速度。
在一个或多个可选的实施例中，本实施例方法还可以包括：
利用训练图像集中的图像训练融合神经网络。
本申请实施例获取融合神经网络的目的是为了实现同时对多类图像处理任务进行处理，为了实现较好的图像处理效果，需要对生成的融合神经网络进行训练，本实施例提供的融合神经网络将多个不同图像处理任务进行融合，例如：将目标检测任务和语义分割任务进行融合，融合后的网络模型可以同时处理上述两类任务，每类任务使用不同的数据源，各自训练各自的分支，互不干扰。
可选地，为了克服现有技术对于一个网络的训练只能采用对于同一图像处理任务的图像，而导致的深层网络中参数相互影响的问题，本实施例训练图像集包括至少两个图像子集，每个图像子集中的图像对应一个图像处理任务。每类任务使用不同的数据源，各自训练各自的分支，互不干扰，且不限于融合的任务网络层的个数。
可选地，利用训练图像集中的图像训练融合神经网络，包括：
分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层，每个图像子集与其所训练的任务网络层对应相同的图像处理任务。
本实施例克服了只能采用相同任务数据进行网络训练导致的弊端，采用图像处理任务对应的图像子集对融合神经网络进行训练，使得到的多任务神经网络对各图像处理任务都能得到准确的结果。
可选地，分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层，包括：
利用至少两个图像子集中的第一图像子集，调整共享网络层和至少两个任务网络层中第一任务网络层的参数；
固定共享网络层的参数，利用至少两个所述图像子集中的第二图像子集，调整至少两个任务网络层中的第二任务网络层的参数；第二图像子集为至少两个图像子集中除第一图像子集的其他图像子集，第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；
获得训练后的共享网络层和至少两个任务网络层。
在本实施例中，训练过程包括两部分：训练共享网络层和一个任务网络层组成的神经网络，此时训练集中的图像采用对于该任务网络层任务的图像子集中的图像，得到训练后的共享网络层和一个任务网络层；基于训练后的共享网络层和其他剩余的任务网络层组合至少一个神经网络，对该至少一个神经网络进行训练，在对这些神经网络进行训练的过程中，共享网络层的参数不变，得到训练后的融合神经网络，即共享网络层只进行一次训练，在后续参与其他任务网络层的训练时，共享网络层的参数不变，提高了训练速度。
可选地，本实施例方法还可以包括：
基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；
基于融合图像集，调整训练后的共享网络层和至少两个任务网络层的参数。
为了使融合神经网络的性能进一步提升，在得到训练后的共享网络层和至少两个任务网络层之后，通过包括多个任务的样本图像(融合图像集中包括多个样本图像)对基于训练后的共享网络层和至少两个任务网络层构成的融合神经网络进行微调，此时将融合神经网络作为一个整体，每个输入的样本图像都经过共享网络层和至少两个任务网络层，输出至少两个样本处理结果，基于至少两个样本处理结果对共享网络层和至少两个任务网络层的参数进行微调，以获得处理效果更好的融合神经网络。
可选地，基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集，包括：
按照设定比例获取至少两个图像子集中的图像；
基于获取的图像确定对应至少两个图像处理任务的融合图像集。
上述本实施例进行的整体训练过程中，可以按照设定比例获取对应不同类别任务的图像，具体比例根据任务分支的数量或具体任务情况进行调整，利用混合的数据对融合神经网络进行微调，例如：以检测任务和分割任务为例，合并检测数据和分割数据，对融合神经网络进行微调(finetune，就是使用之前的数据，设置一个小的学习率，对整体模型再训练一遍)。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图5为本申请融合神经网络的生成装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图5所示，该实施例的装置包括：
网络获取单元51，用于获取对应至少两类图像处理任务的至少两个任务神经网络，每个图像处理任务对应至少一个任务神经网络。
其中，每个图像处理任务对应至少一个任务神经网络，至少两类图像处理任务分别属于不同类别的图像处理任务，例如：至少两类图像处理任务包括目标检测、语义分割和分类任务等等。
融合网络生成单元52，用于基于至少两个任务神经网络生成融合神经网络。
基于本申请上述实施例提供的一种融合神经网络的生成装置，基于至少两类图像处理任务进行融合，获得的融合神经网络可同时具有融合之前的至少两个任务神经网络的性能，可同时处理多类别的图像处理任务，基于该实施例生成的融合神经网络处理图像任务提高了多任务图像的处理速度。
可选地，至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；融合网络生成单元52，用于将第一任务神经网络和第二任务神经网络进行浅层网络层的共享处理；将共享处理的浅层网络层作为共享网络层，将第一任务神经网络除浅层网络层之外的其他网络层以及第二任务神经网络除浅层网络层之外的其他网络层作为至少两个任务网络层；连接共享网络层和至少两个任务网络层，生成融合神经网络。
在一个或多个可选的实施例中，本实施例装置还可以包括：
网络训练单元，用于利用训练图像集中的图像训练融合神经网络。
本申请实施例获取融合神经网络的目的是为了实现同时对多类图像处理任务进行处理，为了实现较好的图像处理效果，需要对生成的融合神经网络进行训练，本实施例提供的融合神经网络将多个不同图像处理任务进行融合，例如：将目标检测任务和语义分割任务进行融合，融合后的网络模型可以同时处理上述两类任务，每类任务使用不同的数据源，各自训练各自的分支，互不干扰。
可选地，训练图像集包括至少两个图像子集，每个图像子集中的图像对应一个图像处理任务。
可选地，网络训练单元，用于分别利用至少两个图像子集训练融合神经网络中的共享网络层和至少两个任务网络层，每个图像子集与其所训练的任务网络层对应相同的图像处理任务。
可选地，网络训练单元，具体用于利用至少两个图像子集中的第一图像子集，调整共享网络层和至少两个任务网络层中第一任务网络层的参数；固定共享网络层的参数，利用至少两个所述图像子集中的第二图像子集，调整至少两个任务网络层中的第二任务网络层的参数，第二图像子集为至少两个图像子集中除第一图像子集的其他图像子集，第二任务网络层为至少两个任务网络层中除第一任务网络层的其他任务网络层；获得训练后的共享网络层和至少两个任务网络层。
可选地，网络训练单元，还用于基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；基于融合图像集，调整训练后的共享网络层和至少两个任务网络层的参数。
可选地，网络训练单元在基于至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集时，用于按照设定比例获取至少两个图像子集中的图像；基于获取的图像确定对应至少两个图像处理任务的融合图像集。
本申请实施例提供的融合神经网络的生成装置任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
本申请实施例还提供了一种电子设备，包括处理器，该处理器包括上述任意一项实施例的基于融合神经网络的图像处理装置或上述任意一项实施例的融合神经网络的生成装置。
本申请实施例还提供了一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成上述任意一项实施例基于融合神经网络的图像处理方法或上述任意一项实施例融合神经网络的生成方法的操作。
本申请实施例还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时执行上述任意一项实施例基于融合神经网络的图像处理方法的操作，或上述任意一项实施例融合神经网络的生成方法的操作。
本申请实施例还提供了一种计算机程序产品，包括计算机可读代码，当该计算机可读代码在设备上运行时，设备中的处理器执行用于实现上述任意一项实施例基于融合神经网络的图像处理方法，或上述任意一项实施例融合神经网络的生成方法的指令。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备600的结构示意图。如图6所示，电子设备600包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)601，和/或一个或多个专用处理器，专用处理器可作为加速单元613，可包括但不限于图像处理器(GPU)、FPGA、DSP以及其它的ASIC芯片之类专用处理器等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器602和/或随机访问存储器603中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，经共享网络层对待处理图像提取特征，获得待处理图像的特征；基于至少两个任务网络层分别对特征进行处理，得到至少两个图像处理结果。
此外，在RAM 603中，还可存储有装置操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使中央处理单元601执行上述通信方法对应的操作。输入/输出(I/O)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元613和CPU601可分离设置或者可将加速单元613集成在CPU601上，通信部可分离设置，也可集成设置在CPU601或加速单元613上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，经共享网络层对待处理图像提取特征，获得待处理图像的特征；基于至少两个任务网络层分别对特征进行处理，得到至少两个图像处理结果。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能的操作。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (36)

1.一种基于融合神经网络的图像处理方法，其特征在于，所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务，所述方法包括：
经所述共享网络层提取所输入的图像的特征，获得所述图像的特征；
基于所述至少两个任务网络层分别对所述特征进行处理，得到分别对应所述至少两类图像处理任务的至少两个图像处理结果；
在经所述共享网络层对待处理图像提取特征，获得所述待处理图像的特征之前，还包括：
利用训练图像集包括的至少两个图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；
固定所述共享网络层的参数，利用所述至少两个图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数；所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；
获得包括训练后的共享网络层和至少两个任务网络层的所述融合神经网络；
按照设定比例获取对应不同类别任务的图像，得到混合的图像；利用所述混合的图像对所述融合神经网络进行微调；
所述至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层；
所述至少两类图像处理任务包括：目标检测任务和语义分割任务；
所述至少两个图像处理结果包括：对应所述目标检测任务的至少一个目标检测处理结果，和对应所述语义分割任务的至少一个语义分割处理结果。
2.根据权利要求1所述的方法，其特征在于，每类所述图像处理任务对应至少一个所述任务网络层。
3.根据权利要求1所述的方法，其特征在于，每个所述任务网络层输出对应一类图像处理任务的至少一个图像处理结果。
4.根据权利要求1所述的方法，其特征在于，所述至少一个目标检测任务包括以下至少之一：车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统；和/或，
所述至少一个语义分割任务包括以下至少之一：交通标志识别，交通信号灯识别和车道线类型识别。
5.根据权利要求1-4任一所述的方法，其特征在于，经所述共享网络层提取所输入的图像的特征之前，还包括：
根据至少两个任务神经网络生成所述融合神经网络。
6.根据权利要求5所述的方法，其特征在于，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述根据至少两个任务神经网络生成所述融合神经网络，包括：
获取第一任务神经网络和第二任务神经网络；
将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；
将共享处理的浅层网络层作为所述共享网络层、将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为所述至少两个任务网络层，生成所述融合神经网络。
7.根据权利要求1-4任一所述的方法，其特征在于，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
8.根据权利要求7所述的方法，其特征在于，所述利用训练图像集中的图像训练所述融合神经网络，包括：
分别利用所述至少两个图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
9.根据权利要求8所述的方法，其特征在于，所述获得训练后的共享网络层和至少两个任务网络层之后，还包括：
基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；
基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
10.根据权利要求9所述的方法，其特征在于，所述基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集，包括：
按照设定比例获取所述至少两个图像子集中的图像；
基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
11.一种融合神经网络的生成方法，其特征在于，包括：
获取对应至少两类图像处理任务的至少两个任务神经网络，每个所述图像处理任务对应至少一个任务神经网络；
基于所述至少两个任务神经网络生成所述融合神经网络；所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务；
还包括：利用训练图像集包括的至少两个图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；
固定所述共享网络层的参数，利用所述至少两个图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数；所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；
获得包括训练后的共享网络层和至少两个任务网络层的所述融合神经网络；
按照设定比例获取对应不同类别任务的图像，得到混合的图像；利用所述混合的图像对所述融合神经网络进行微调；
所述至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层；
所述至少两类图像处理任务包括：目标检测任务和语义分割任务；
所述至少两个图像处理结果包括：对应所述目标检测任务的至少一个目标检测处理结果，和对应所述语义分割任务的至少一个语义分割处理结果。
12.根据权利要求11所述的方法，其特征在于，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述基于至少两个任务神经网络生成所述融合神经网络，包括：
将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；
将所述共享处理的浅层网络层作为共享网络层，将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为至少两个任务网络层；
连接所述共享网络层和所述至少两个任务网络层，生成融合神经网络。
13.根据权利要求12所述的方法，其特征在于，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
14.根据权利要求13所述的方法，其特征在于，所述利用训练图像集中的图像训练所述融合神经网络，包括：
分别利用至少两个所述图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
15.根据权利要求14所述的方法，其特征在于，还包括：
基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；
基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
16.根据权利要求15所述的方法，其特征在于，基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集，包括：
按照设定比例获取至少两个所述图像子集中的图像；
基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
17.一种基于融合神经网络的图像处理装置，其特征在于，所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务，所述装置包括：
特征提取单元，用于经所述共享网络层提取所输入的图像的特征，获得所述图像的特征；
图像处理单元，用于基于所述至少两个任务网络层分别对所述特征进行处理，得到分别对应所述至少两类图像处理任务的至少两个图像处理结果；
所述装置还包括：网络训练单元，用于利用训练图像集包括的至少两个图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；固定所述共享网络层的参数，利用所述至少两个图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数；所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；获得包括训练后的共享网络层和至少两个任务网络层的所述融合神经网络，还用于按照设定比例获取对应不同类别任务的图像，得到混合的图像；利用所述混合的图像对所述融合神经网络进行微调；
所述至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层；
所述至少两类图像处理任务包括：目标检测任务和语义分割任务；
所述至少两个图像处理结果包括：对应所述目标检测任务的至少一个目标检测处理结果，和对应所述语义分割任务的至少一个语义分割处理结果。
18.根据权利要求17所述的装置，其特征在于，每类所述图像处理任务对应至少一个所述任务网络层。
19.根据权利要求17所述的装置，其特征在于，每个所述任务网络层输出对应一类图像处理任务的至少一个图像处理结果。
20.根据权利要求17所述的装置，其特征在于，所述至少一个目标检测任务包括以下至少之一：车道线保持，前车碰撞，可行驶区域，车道偏移报警，行人检测系统；和/或，
所述至少一个语义分割任务包括以下至少之一：交通标志识别，交通信号灯识别和车道线类型识别。
21.根据权利要求17-20任一所述的装置，其特征在于，所述装置还包括：
网络生成单元，用于根据至少两个任务神经网络生成所述融合神经网络。
22.根据权利要求21所述的装置，其特征在于，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述网络生成单元，具体用于获取第一任务神经网络和第二任务神经网络；将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；将共享处理的浅层网络层作为所述共享网络层、将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为所述至少两个任务网络层，生成所述融合神经网络。
23.根据权利要求17-20任一所述的装置，其特征在于，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
24.根据权利要求23所述的装置，其特征在于，所述网络训练单元，用于分别利用所述至少两个图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
25.根据权利要求24所述的装置，其特征在于，所述网络训练单元，还用于基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
26.根据权利要求25所述的装置，其特征在于，所述网络训练单元在基于所述至少两个图像子集中的图像，获得对应至少两个图像处理任务的融合图像集时，用于按照设定比例获取所述至少两个图像子集中的图像；基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
27.一种融合神经网络的生成装置，其特征在于，包括：
网络获取单元，用于获取对应至少两类图像处理任务的至少两个任务神经网络，每个所述图像处理任务对应至少一个任务神经网络；
融合网络生成单元，用于基于所述至少两个任务神经网络生成所述融合神经网络；所述融合神经网络包括共享网络层和至少两个任务网络层，所述至少两个任务网络层对应至少两类图像处理任务；
所述装置还包括：
网络训练单元，用于利用训练图像集包括的至少两个图像子集中的第一图像子集，调整所述共享网络层和所述至少两个任务网络层中第一任务网络层的参数；固定所述共享网络层的参数，利用所述至少两个图像子集中的第二图像子集，调整所述至少两个任务网络层中的第二任务网络层的参数；所述第二图像子集为所述至少两个图像子集中除所述第一图像子集的其他图像子集，所述第二任务网络层为所述至少两个任务网络层中除所述第一任务网络层的其他任务网络层；获得包括训练后的共享网络层和至少两个任务网络层的所述融合神经网络，还用于按照设定比例获取对应不同类别任务的图像，得到混合的图像；利用所述混合的图像对所述融合神经网络进行微调；
所述至少两个任务网络层包括：至少一个目标检测网络层和至少一个语义分割网络层；
所述至少两类图像处理任务包括：目标检测任务和语义分割任务；
所述至少两个图像处理结果包括：对应所述目标检测任务的至少一个目标检测处理结果，和对应所述语义分割任务的至少一个语义分割处理结果。
28.根据权利要求27所述的装置，其特征在于，所述至少两个任务神经网络包括第一任务神经网络和第二任务神经网络；所述融合网络生成单元，用于将所述第一任务神经网络和所述第二任务神经网络进行浅层网络层的共享处理；将所述共享处理的浅层网络层作为共享网络层，将所述第一任务神经网络除所述浅层网络层之外的其他网络层以及所述第二任务神经网络除所述浅层网络层之外的其他网络层作为至少两个任务网络层；连接所述共享网络层和所述至少两个任务网络层，生成融合神经网络。
29.根据权利要求27所述的装置，其特征在于，所述训练图像集包括至少两个图像子集，每个所述图像子集中的图像对应一个图像处理任务。
30.根据权利要求29所述的装置，其特征在于，所述网络训练单元，用于分别利用至少两个所述图像子集训练所述融合神经网络中的共享网络层和至少两个任务网络层，每个所述图像子集与其所训练的任务网络层对应相同的图像处理任务。
31.根据权利要求30所述的装置，其特征在于，所述网络训练单元，还用于基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集；基于融合图像集，调整所述训练后的共享网络层和至少两个任务网络层的参数。
32.根据权利要求31所述的装置，其特征在于，所述网络训练单元在基于至少两个所述图像子集中的图像，获得对应至少两个图像处理任务的融合图像集时，用于按照设定比例获取至少两个所述图像子集中的图像；基于所述获取的图像确定所述对应至少两个图像处理任务的融合图像集。
33.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求17至26任意一项所述的基于融合神经网络的图像处理装置或权利要求27至32任意一项所述的融合神经网络的生成装置。
34.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至10任意一项所述基于融合神经网络的图像处理方法或权利要求11至16任意一项所述融合神经网络的生成方法的操作。
35.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至10任意一项所述基于融合神经网络的图像处理方法或权利要求11至16任意一项所述融合神经网络的生成方法的操作。
36.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至10任意一项所述基于融合神经网络的图像处理方法或权利要求11至16任意一项所述融合神经网络的生成方法的指令。
CN201811036021.3A 2018-09-05 2018-09-05 基于融合神经网络的图像处理及网络的生成方法和装置 Active CN110879949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811036021.3A CN110879949B (zh) 2018-09-05 2018-09-05 基于融合神经网络的图像处理及网络的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811036021.3A CN110879949B (zh) 2018-09-05 2018-09-05 基于融合神经网络的图像处理及网络的生成方法和装置

Publications (2)

Publication Number Publication Date
CN110879949A CN110879949A (zh) 2020-03-13
CN110879949B true CN110879949B (zh) 2023-04-07

Family

ID=69727571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811036021.3A Active CN110879949B (zh) 2018-09-05 2018-09-05 基于融合神经网络的图像处理及网络的生成方法和装置

Country Status (1)

Country Link
CN (1) CN110879949B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070093A (zh) * 2020-09-22 2020-12-11 网易（杭州）网络有限公司 生成图像分类模型的方法、图像分类方法、装置和设备
CN112818853B (zh) * 2021-02-01 2022-07-19 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN108229680A (zh) * 2017-12-15 2018-06-29 北京市商汤科技开发有限公司 神经网络系统、遥感图像识别方法、装置、设备及介质
CN108280488A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于共享神经网络的可抓取物体识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN108229680A (zh) * 2017-12-15 2018-06-29 北京市商汤科技开发有限公司 神经网络系统、遥感图像识别方法、装置、设备及介质
CN108280488A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于共享神经网络的可抓取物体识别方法

Also Published As

Publication number Publication date
CN110879949A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
US20210103763A1 (en) Method and apparatus for processing laser radar based sparse depth map, device and medium
CN110249304B (zh) 电子设备的视觉智能管理
WO2018121690A1 (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN111241989B (zh) 图像识别方法及装置、电子设备
US11798281B2 (en) Systems and methods for utilizing machine learning models to reconstruct a vehicle accident scene from video
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN112966742A (zh) 模型训练方法、目标检测方法、装置和电子设备
US20170293856A1 (en) Clustering high dimensional data using gaussian mixture copula model with lasso based regularization
US11255678B2 (en) Classifying entities in digital maps using discrete non-trace positioning data
CN113591573A (zh) 多任务学习深度网络模型的训练及目标检测方法、装置
CN110879949B (zh) 基于融合神经网络的图像处理及网络的生成方法和装置
Arunpriyan et al. Real-time speed bump detection using image segmentation for autonomous vehicles
CN112508005B (zh) 用于处理图像的方法、装置、设备以及存储介质
Hashemi et al. Runtime monitoring for out-of-distribution detection in object detection neural networks
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
Mohsin et al. Convolutional neural networks for real-time wood plank detection and defect segmentation
CN113139463A (zh) 用于训练模型的方法、装置、设备、介质和程序产品
US20220245829A1 (en) Movement status learning apparatus, movement status recognition apparatus, model learning method, movement status recognition method and program
CN114078204A (zh) 目标检测方法、装置、电子设备及存储介质
Wainwright et al. Fat and thin adaptive HMM filters for vision based detection of moving targets
CN116168366B (zh) 点云数据生成方法、模型训练方法、目标检测方法和装置
US20240144589A1 (en) Three-dimensional object part segmentation using a machine learning model
Nam et al. A robust real-time road detection algorithm using color and edge information
CN113343979B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
Gao et al. Rapid human finding with motion segmentation for mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant