CN112733681A - 图像处理方法、模型训练方法、装置、设备和存储介质 - Google Patents

图像处理方法、模型训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112733681A
CN112733681A CN202011636592.8A CN202011636592A CN112733681A CN 112733681 A CN112733681 A CN 112733681A CN 202011636592 A CN202011636592 A CN 202011636592A CN 112733681 A CN112733681 A CN 112733681A
Authority
CN
China
Prior art keywords
image
network model
processed
preset number
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011636592.8A
Other languages
English (en)
Inventor
马文男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202011636592.8A priority Critical patent/CN112733681A/zh
Publication of CN112733681A publication Critical patent/CN112733681A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、模型训练方法、装置、设备和存储介质，该图像处理方法包括：获取待处理图像；基于预先训练好的预设数量的网络模型中的各个网络模型对待处理图像进行处理，以分别得到预设数量的模型输出图像；基于预设投票机制以及预设数量的模型输出图像，生成处理后的图像；其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据，本申请实施例提供的图像处理方法，通过多种基于不同训练数据训练的模型进行图像处理，提高了模型的稳定性，以及图像处理结果的一致性和图像处理质量。

Description

图像处理方法、模型训练方法、装置、设备和存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、模型训练方法、装置、设备和存储介质。
背景技术
为了预测事物在未来一段时间的运动规律，如降水量预测、自然灾害预测、桥梁形变监测、无人驾驶车辆控制等，往往需要根据历史拍摄的图像，基于训练好的预测模型，进行分析，从而得到预测的未来时间段的图像，进而根据该图像进行预测。
传统的预测模型往往采用训练数据训练一个模型，以根据该模型进行预测，而采用不同的训练数据得到的预测模型相差较大，从而导致预测结果出现较大的偏差。因此，现有的预测模型稳定性较差，相应的预测结果可靠性也较差。
发明内容
本申请提供一种图像处理方法、模型训练方法、装置、设备和存储介质，通过训练数据训练多种预测模型，并基于投票机制根据多种预测模型的输出，确定最终预测结果，提高了预测模型的稳定度和预测结果的准确度。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取待处理图像；
基于预先训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像；
基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像；
其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
可选地，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；
相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
可选地，所述图像处理方法，还包括：
根据所述待处理图像的类型以及采样频率确定所述预设数量。
可选地，所述预设数量为3，所述网络模型包括第一网络模型、第二网络模型和第三网络模型；
相应的，所述基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像，包括：
基于所述第一网络模型、第二网络模型和第三网络模型分别对所述待处理图像进行处理，以分别得到第一图像、第二图像和第三图像；
相应的，所述基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像，包括：
基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像；
其中，所述第一网络模型的训练数据包括预设数量的训练子数据，所述训练子数据为在历史时间生成的预设帧数的训练图像，所述第二网络模型的训练数据为所述第一网络模型的训练图像中的奇数帧训练图像，所述第三网络模型的训练数据为所述第一网络模型的训练图像中的偶数帧训练图像。
可选地，所述基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像，包括：
统计各个所述模型输出图像的各个像素点的像素值；
针对每个像素点，根据所述像素点对应的各个所述模型输出图像的像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，所述基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像，包括：
获取各个所述模型输出图像的权重；
根据各个所述模型输出图像的权重，对预设数量的所述模型输出图像进行加权处理，从而得到处理后的图像。
可选地，所述基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像，包括：
统计所述第一图像各个像素点的第一像素值、所述第二图像各个像素点的第二像素值以及第三图像各个像素点的第三像素值；
针对处理后的图像的各个像素点，根据所述像素点对应的第一像素值、第二像素值、第三像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，所述基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像，包括：
获取所述第一图像的第一权重、所述第二图像的第二权重以及所述第三图像的第三权重；
根据所述第一权重、第二权重和第三权重，对所述第一图像、第二图像和第三图像进行加权处理，从而得到处理后的图像。
可选地，所述第一权重大于或等于所述第二权重，且所述第一权重大于或等于所述第三权重。
可选地，所述第一网络模型、第二网络模型和第三网络模型具有相同的网络模型结构。
可选地，所述待处理图像为雷达回波图像。
可选地，在生成处理后的图像之后，所述方法还包括：
根据所述处理后的图像进行降水量预测。
第二方面，本申请实施例还提供了一种模型训练方法，该模型训练方法包括：
获取预设数量的网络模型的训练数据，其中，所述预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据；
根据所述第一网络模型的训练数据进行所述第一网络模型的训练，以及根据各个所述分组网络模型的训练数据进行分组网络模型的训练，以得到训练好的预设数量的网络模型。
可选的，在获取预设数量的网络模型的训练数据之前，还包括：
根据待处理图像的类型以及采样频率确定所述预设数量。
可选地，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；
相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
第三方面，本申请实施例还提供了一种图像处理装置，该装置包括：
待处理图像获取模块，用于获取待处理图像；
图像处理模块，用于基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像；
处理后图像生成模块，用于基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像；
其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
可选地，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；
相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
可选地，所述图像处理装置，还包括：
预设数量确定模块，用于根据所述待处理图像的类型以及采样频率确定所述预设数量。
可选地，所述预设数量为3，所述网络模型包括第一网络模型、第二网络模型和第三网络模型；
相应的，所述图像处理模块，具体用于：
基于所述第一网络模型、第二网络模型和第三网络模型分别对所述待处理图像进行处理，以分别得到第一图像、第二图像和第三图像；
相应的，所述处理后图像生成模块，具体用于：
基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像；
其中，所述第一网络模型的训练数据包括预设数量的训练子数据，所述训练子数据为在历史时间生成的预设帧数的训练图像，所述第二网络模型的训练数据为所述第一网络模型的训练图像中的奇数帧训练图像，所述第三网络模型的训练数据为所述第一网络模型的训练图像中的偶数帧训练图像。
可选地，所述处理后图像生成模块，包括：
像素值统计单元，用于统计各个所述模型输出图像的各个像素点的像素值；
处理后图像确定单元，用于针对每个像素点，根据所述像素点对应的各个所述模型输出图像的像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，所述处理后图像生成模块，包括：
权重获取单元，用于获取各个所述模型输出图像的权重；
加权处理单元，用于根据各个所述模型输出图像的权重，对预设数量的所述模型输出图像进行加权处理，从而得到处理后的图像。
可选地，所述像素值统计单元，具体用于：
统计所述第一图像各个像素点的第一像素值、所述第二图像各个像素点的第二像素值以及第三图像各个像素点的第三像素值。
相应的，所述处理后图像确定单元，具体用于：
针对处理后的图像的各个像素点，根据所述像素点对应的第一像素值、第二像素值、第三像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，所述权重获取单元，具体用于：
获取所述第一图像的第一权重、所述第二图像的第二权重以及所述第三图像的第三权重。
相应的，加权处理单元，具体用于：
根据所述第一权重、第二权重和第三权重，对所述第一图像、第二图像和第三图像进行加权处理，从而得到处理后的图像。
可选地，所述第一权重大于或等于所述第二权重，且所述第一权重大于或等于所述第三权重。
可选地，所述第一网络模型、第二网络模型和第三网络模型具有相同的网络模型结构。
可选地，所述待处理图像为雷达回波图像。
可选地，所述图像处理装置还包括：
降水量预测模块，用于在生成处理后的图像之后，根据所述处理后的图像进行降水量预测。
第四方面，本申请实施例还提供了一种图像处理设备，包括存储器和至少一个处理器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如本申请第一方面对应的任意实施例提供的图像处理方法或者本申请第二方面对应的实施例提供的模型训练方法。
第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如本申请第一方面对应的任意实施例提供的图像处理方法或者本申请第二方面对应的实施例提供的模型训练方法。
本申请实施例提供的图像处理方法、模型训练方法、装置、设备和存储介质，针对待处理图像，根据预设数量的训练好的网络模型分别对其进行图像处理，从而得到各个模型输出图像，并基于预设投票机制以及各个模型输出图像确定最终的处理后的图像，其中，预设数量的网络模型的训练数据互不相同，且第一网络模型的训练数据包括所有分组网络模型的训练数据，提高了模型的稳定性，同时基于多个模型输出的结果以及投票机制确定最终的处理后的图像，提供了图像处理的质量以及图像处理结果的一致性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的图像处理方法的一种应用场景图；
图2为本申请一个实施例提供的图像处理方法的流程图；
图3为本申请另一个实施例提供的图像处理方法的流程图；
图4为本申请另一个实施例提供的图像处理方法的流程图；
图5为本申请一个实施例提供的模型训练方法的流程图；
图6为本申请一个实施例提供的图像处理装置的结构示意图；
图7为本申请一个实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
下面对本申请实施例的应用场景进行解释：
图1为本申请实施例提供的图像处理方法的一种应用场景图，如图1所示，本申请实施例提供的图像处理方法可以运行在电子设备上，如计算机、服务器等。针对运动的事物，为了确定其运动规律、对其运行趋势进行预测，需要设计相应的网络模型进行预测。以雷达回波图为例，为了实现根据雷达回波图进行短期降水量预测，往往需要通过雷达发射设备110发送雷达信息，通过雷达回波采集卡120收集和存储雷达回波，再经由图像处理设备130根据存储的雷达回波绘制雷达回波综合图，并根据预测模型以及绘制的雷达回波综合图，根据雷达回波综合图的运行情况，预测未来时间的雷达回波图，并根据未来时间段的雷达回波图确定该时间段的降水量，现有的预测模型往往为根据大量训练数据训练的一个预测模型。然而，由于雷达回波图的不稳定性以及大气运动的复杂性，仅采用一个预测模型进行图像处理和降水量预测，由于模型本身稳定性较差，导致预测结果稳定性较差，准确度也较差。
需要了解的是，本申请实施例提供的图像处理方法，不仅仅适用于雷达回波图像的处理，同样适用于无人驾驶系统采集的图像的处理以及自然灾害的预测等应用场景。本申请实施例提供的图像处理方法可以适用于任何包含运动事物的图像的处理。
为了提高用于处理图像的网络模型的稳定性以及图像处理结果的一致性和质量，本申请实施例提供了一种图像处理方法，其主要构思为：通过预先训练好的预设数量的网络模型进行待处理图像的处理，该预设数量的网络模型包括第一网络模型和至少两个分组网络模型，各个网络模型的训练数据互不相同，且第一网络模型的训练数据包括全部分组网络模型的训练数据，从而提高了图像处理的网络模型的稳定性，并基于投票机制，根据各个网络模型输出的图像确定最终的处理后的图像，提高了图像处理的质量和图像处理结果的稳定性。
图2为本申请一个实施例提供的图像处理方法的流程图，如图2所示，该图像处理方法可以由电子设备执行，如计算机、服务器等。本实施例提供的图像处理方法包括以下步骤：
步骤S201，获取待处理图像。
其中，待处理图像为包括运动目标的图像，可以是雷达回波图、车辆驾驶时采集的车辆外部环境的图像、进行运动项目时采集的运动员的图像、水面的监测图像等。
具体的，可以获取设定数量的待处理图像，其中，该设定数量的待处理图像可以是时间连续的图像，如可以是图像采集设备的设定时间段采集的序号连续的设定帧数的图像。
进一步地，在获取待处理图像之后，还包括：
对各个所述待处理图像进行预处理。
其中，预处理操作可以是降噪处理、颜色转换处理、图像分割处理等操作。
步骤S202，基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像。
其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
示例性的，预设数量可以是3、5、7或者其他值。
具体的，预设数量可以由用户输入，或者根据待处理图像的类型确定。
进一步地，可以根据待处理图像中运动目标的运动速度确定。
具体的，各个网络模型可以具有相同的网络结构，如可以是卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)、长短时记忆神经网络(Long Short Term Memory Networks，LSTM)或者其他网络模型。
具体的，各个网络模型可以一次性输入全部的待处理图像，还可以按顺序一次输入一帧待处理图像。
具体的，可以根据该预设数量将第一网络模型的训练数据进行等分，从而分成n组训练数据分组，其中，预设数量为n+1，进而将训练数据分组作为相应的分组网络模型的训练数据，以基于该训练数据分组对该分组网络模型进行训练。
可选地，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，N≥3；所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
具体的，m＝[m′]，m′＝N/n。其中，运算符[m′]表示不大于m′的最大整数，即向下取整。
示例性的，以预设数量为5为例，则预设数的网络模型包括第一网络模型和4个分组网络模型，假设第一网络模型的训练数据包括100帧训练图像，即N＝100，则n＝4，m＝25，第一个分组网络模型的训练数据为：i1，i5，i9，…，i97；第二个分组网络模型的训练数据为i2，i6，i10，…，i98；第三个分组网络模型的训练数据为i3，i7，i11，…，i99；第二个分组网络模型的训练数据为i4，i8，i12，…，i100。
步骤S203，基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像。
其中，预设投票机制可以是任意一种投票机制，如少数服从多数、取平均、加权取平均等。
具体的，在得到各个网络模型输出的模型输出图像之后，可以对各个模型输出图像进行取平均，得到模型平均图像，从而将该模型平均图像作为处理后的图像，以根据该处理后的图像进行待处理图像上的运动目标的运动趋势的判断。
所述基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像，包括：
获取各个所述模型输出图像的权重；根据各个所述模型输出图像的权重，对预设数量的所述模型输出图像进行加权处理，从而得到处理后的图像。
其中，模型输出图像的权重可以为相应的网络模型的权重。
具体的，第一网络模型的权重可以是各个网络模型的权重中的最大值。
本申请实施例提供的图像处理方法，针对待处理图像，根据预设数量的训练好的网络模型分别对其进行图像处理，从而得到各个模型输出图像，并基于预设投票机制以及各个模型输出图像确定最终的处理后的图像，其中，预设数量的网络模型的训练数据互不相同，且第一网络模型的训练数据包括所有分组网络模型的训练数据，提高了模型的稳定性，同时基于多个模型输出的结果以及投票机制确定最终的处理后的图像，提供了图像处理的质量以及图像处理结果的一致性。
图3为本申请另一个实施例提供的图像处理方法的流程图，本实施例提供的图像处理方法是在图2所示实施例的基础上，对步骤S203进行进一步细化，以及在步骤S201之后增加确定预设数量的步骤，如图3所示，本实施例提供的图像处理方法包括以下步骤：
步骤S301，获取待处理图像。
步骤S302，根据所述待处理图像的类型以及采样频率确定所述预设数量。
具体的，可以获取待处理图像的运动目标的运动速率，进而根据该运动速率和待处理图像的采样频率确定预设数量。
其中，运动目标的运动速率可以由外部设备进行采集和输入。也可以基于识别算法，通过识别该待处理图像获取。采样频率可以由采集该待处理图像的设备输入，或者由用户手动输入。
具体的，若运动速率一定，采样频率越高，则预设数量越大；若采样频率一定，运动速率越大，则预设数量越小。
进一步地，可以预先建立运动速率、采样频率和预设数量的对应关系，进而根据该对应关系确定预设数量。
进一步地，还可以根据运动速率与采样频率的比值确定预设数量。还可以根据运动速率与采样频率的比值以及用户需求确定预设数量，其中，用户需求可以是预测精度需求。
示例性的，以待处理图像为雷达回波图为例，运动目标可以是大气或云，运动目标的运动速率可以是风速决定，风速越高，则相应的预设数量越小。
示例性的，以待处理图像为无人驾驶车辆采集的外部环境图为例，运动目标可以是无人驾驶车辆外部环境中的行人、其他车辆或者其他移动物体，其运动速率需要根据无人驾驶车辆的车速以及所采集的图像进行确定。
步骤S303，基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像。
其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
具体的，可以预先训练各个预设数量的网络模型，形成网络模型群组，如预先训练3个网络模型、5个网络模型和7个网络模型组成的网络模型群组，从而根据步骤S302中确定的预设数量，从该网络模型群组中确定预设数量的网络模型为进行待处理图像处理的网络模型。
具体的，在确定预设数量之后，还可以根据该预设数量，进行预设数量的网络模型的训练，进而得到训练好的预设数量的网络模型，从而基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像。
步骤S304，统计各个所述模型输出图像的各个像素点的像素值。
具体的，针对各个网络模型输出的模型输出图像，统计其各个像素点的像素值。
示例性的，当模型输出图像为黑白图像时，该像素值可以是灰度值，其范围可以是0～255。当模型输出图像为彩色图像时，如RGB图像，该像素值可以RGB三个颜色通道的颜色值。
步骤S305，针对每个像素点，根据所述像素点对应的各个所述模型输出图像的像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
具体的，对应每个位置的像素点，对各个所述模型输出图像的该位置的像素点的像素值进行取平均或加权取平均处理，将处理结果作为处理后的图像的该位置的像素点的像素值，进而遍历各个位置，便可以得到处理后的图像。
进一步地，针对每个像素点，统计该像素点对应的各个所述模型输出图像的像素值，生成该像素点的像素值集合，并确定该像素点的最大像素值和最小像素值，将该最大像素值和最小像素值从该像素点的像素值集合中剔除，得到该像素值的新像素值集合，对该新像素值集合中的各个像素值进行取平均或加权取平均处理，将处理结果作为处理后的图像的该像素点的像素值。
进一步地，还可以将该像素点的像素值集合中的众数作为处理后的图像的该像素点的像素值。
可选地，所述待处理图像为雷达回波图像，在生成处理后的图像之后，所述方法还包括：
根据所述处理后的图像进行降水量预测。
具体的，可以根据处理后的图像中各个区域的基本反射率确定各个区域的降水量。
可选地，所述待处理图像为无人驾驶车辆的外部环境图，在生成处理后的图像之后，所述方法还包括：
根据所述处理后的图像进行所述无人驾驶车辆的控制。
在本实施例中，根据待处理图像的类型以及采样频率确定待处理图像对应的网络模型的数量，提高了网络模型的自适应性；该预设数量的网络模型的训练数据互不相同，且第一网络模型的训练数据包括所有分组网络模型的训练数据，提高了模型的稳定性，同时基于多个模型输出的结果以及投票机制确定最终的处理后的图像，提供了图像处理的质量以及图像处理结果的一致性。
图4为本申请另一个实施例提供的图像处理方法的流程图，本实施例针对预设数量为3的情况，如图4所示，本实施例提供的图像处理方法包括以下步骤：
步骤S401，获取待处理图像。
步骤S402，基于所述第一网络模型、第二网络模型和第三网络模型分别对所述待处理图像进行处理，以分别得到第一图像、第二图像和第三图像。
其中，所述第一网络模型的训练数据包括预设数量的训练子数据，所述训练子数据为在历史时间生成的预设帧数的训练图像，所述第二网络模型的训练数据为所述第一网络模型的训练图像中的奇数帧训练图像，所述第三网络模型的训练数据为所述第一网络模型的训练图像中的偶数帧训练图像。
其中，第二网络模型和第三网络模型即为上述实施例中的至少两个分组网络模型。第一图像、第二图像和第三图像即为上述实施例中的模型输出图像。
步骤S403，基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像。
可选地，所述基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像，包括：
统计所述第一图像各个像素点的第一像素值、所述第二图像各个像素点的第二像素值以及第三图像各个像素点的第三像素值；针对处理后的图像的各个像素点，根据所述像素点对应的第一像素值、第二像素值、第三像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，所述基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像，包括：
获取所述第一图像的第一权重、所述第二图像的第二权重以及所述第三图像的第三权重；根据所述第一权重、第二权重和第三权重，对所述第一图像、第二图像和第三图像进行加权处理，从而得到处理后的图像。
可选地，所述第一权重大于或等于所述第二权重，且所述第一权重大于或等于所述第三权重。
进一步地，所述第一权重可以是0.5。
可选地，所述第一网络模型、第二网络模型和第三网络模型具有相同的网络模型结构。
本申请实施例提供的图像处理方法，分别根据训练数据的偶数帧数据、奇数帧数据以及全部训练数据训练三种网络模型，并基于训练好的三种模型对待处理图像进行处理，得到相应的第一图像、第二图像和第三图像，基于预设投票机制，确定最终的处理后的图像，通过三种采用不同训练数据的网络模型进行图像处理，提高了模型的稳定性，基于投票机制确定处理后的图像，提高了图像处理的质量和图像处理结果的一致性。
图5为本申请一个实施例提供的模型训练方法的流程图，本实施例提供的模型训练方法为图2-图4任意一个实施例中的预设数量的网络模型的训练方法，如图5所示，本实施例提供的模型训练方法包括以下步骤：
步骤S501，获取预设数量的网络模型的训练数据。
其中，所述预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
步骤S502，根据所述第一网络模型的训练数据进行所述第一网络模型的训练，以及根据各个所述分组网络模型的训练数据进行分组网络模型的训练，以得到训练好的预设数量的网络模型。
可选地，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
可选地，在获取预设数量的网络模型的训练数据之前，还包括：
根据待处理图像的类型以及采样频率确定所述预设数量。
在本实施例中，通过第一网络模型的训练数据训练第一网络模型，并基于预设数量将第一网络模型的训练数据等间隔划分为数量相等的预设数量减一个分组，作为各个分组网络模型的训练数据，并基于分组网络模型的训练数据进行分组网络模型的训练，从而得到了训练好的预设数量的网络模型，以基于该预设数量的网络模型进行图像处理，提高了网络模型的稳定性。
图6为本申请一个实施例提供的图像处理装置的结构示意图，如图6所述，该图像处理装置包括：待处理图像获取模块610、图像处理模块620和处理后图像生成模块630。
其中，待处理图像获取模块610，用于获取待处理图像；图像处理模块620，用于基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像；处理后图像生成模块630，用于基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像；其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
可选地，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
可选地，所述图像处理装置，还包括：
预设数量确定模块，用于根据所述待处理图像的类型以及采样频率确定所述预设数量。
可选地，所述预设数量为3，所述网络模型包括第一网络模型、第二网络模型和第三网络模型；相应的，图像处理模块620，具体用于：
基于所述第一网络模型、第二网络模型和第三网络模型分别对所述待处理图像进行处理，以分别得到第一图像、第二图像和第三图像；其中，所述第一网络模型的训练数据包括预设数量的训练子数据，所述训练子数据为在历史时间生成的预设帧数的训练图像，所述第二网络模型的训练数据为所述第一网络模型的训练图像中的奇数帧训练图像，所述第三网络模型的训练数据为所述第一网络模型的训练图像中的偶数帧训练图像。
相应的，处理后图像生成模块630，具体用于：
基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像。
可选地，处理后图像生成模块630，包括：
像素值统计单元，用于统计各个所述模型输出图像的各个像素点的像素值；处理后图像确定单元，用于针对每个像素点，根据所述像素点对应的各个所述模型输出图像的像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，处理后图像生成模块630，包括：
权重获取单元，用于获取各个所述模型输出图像的权重；加权处理单元，用于根据各个所述模型输出图像的权重，对预设数量的所述模型输出图像进行加权处理，从而得到处理后的图像。
可选地，所述像素值统计单元，具体用于：统计所述第一图像各个像素点的第一像素值、所述第二图像各个像素点的第二像素值以及第三图像各个像素点的第三像素值。相应的，所述处理后图像确定单元，具体用于：针对处理后的图像的各个像素点，根据所述像素点对应的第一像素值、第二像素值、第三像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
可选地，所述权重获取单元，具体用于：获取所述第一图像的第一权重、所述第二图像的第二权重以及所述第三图像的第三权重。相应的，加权处理单元，具体用于：根据所述第一权重、第二权重和第三权重，对所述第一图像、第二图像和第三图像进行加权处理，从而得到处理后的图像。
可选地，所述第一权重大于或等于所述第二权重，且所述第一权重大于或等于所述第三权重。
可选地，所述第一网络模型、第二网络模型和第三网络模型具有相同的网络模型结构。
可选地，所述待处理图像为雷达回波图像。相应的，所述图像处理装置还包括：
降水量预测模块，用于在生成处理后的图像之后，根据所述处理后的图像进行降水量预测。
本申请实施例所提供的图像处理装置可执行本申请任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
图7为本申请一个实施例提供的电子设备的结构示意图，如图7所示，该电子设备包括：存储器710，处理器720以及计算机程序。
其中，计算机程序存储在存储器710中，并被配置为由处理器720执行以实现本申请图2-图4所对应的实施例中任一实施例提供的图像处理方法或者本申请图5所示实施例提供的模型训练方法。
其中，存储器710和处理器720通过总线730连接。
相关说明可以对应参见图2-图5的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请图2-图4所对应的实施例中任一实施例提供的图像处理方法或者本申请图5所示实施例提供的模型训练方法。
其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像；
基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像；
其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
2.根据权利要求1所述的方法，其特征在于，所述第一网络模型的训练数据为：i1，i2，i3，…，iN，其中，N为所述第一网络模型的训练数据的总帧数，ij为所述第一网络模型的第j帧训练图像，j＝1，2，3…，N；
相应的，第k个所述分组网络模型的训练数据为：
ik，ik+n，ik+2n，…，ik+(m-1)n
其中，所述预设数量为n+1；m为所述总帧数与预设数量的比值的整数部分。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述待处理图像的类型以及采样频率确定所述预设数量。
4.根据权利要求1所述的方法，其特征在于，所述预设数量为3，所述网络模型包括第一网络模型、第二网络模型和第三网络模型；
相应的，所述基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像，包括：
基于所述第一网络模型、第二网络模型和第三网络模型分别对所述待处理图像进行处理，以分别得到第一图像、第二图像和第三图像；
相应的，所述基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像，包括：
基于预设投票机制，根据所述第一图像、第二图像和第三图像生成处理后的图像；
其中，所述第一网络模型的训练数据包括预设数量的训练子数据，所述训练子数据为在历史时间生成的预设帧数的训练图像，所述第二网络模型的训练数据为所述第一网络模型的训练图像中的奇数帧训练图像，所述第三网络模型的训练数据为所述第一网络模型的训练图像中的偶数帧训练图像。
5.根据权利要求1所述的方法，其特征在于，所述基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像，包括：
统计各个所述模型输出图像的各个像素点的像素值；
针对每个像素点，根据所述像素点对应的各个所述模型输出图像的像素值以及所述预设投票机制，确定所述处理后的图像的所述像素点的像素值。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述待处理图像为雷达回波图像，在生成处理后的图像之后，所述方法还包括：
根据所述处理后的图像进行降水量预测。
7.一种模型训练方法，其特征在于，所述方法包括：
获取预设数量的网络模型的训练数据，其中，所述预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据；
根据所述第一网络模型的训练数据进行所述第一网络模型的训练，以及根据各个所述分组网络模型的训练数据进行分组网络模型的训练，以得到训练好的预设数量的网络模型。
8.一种图像处理装置，其特征在于，包括：
待处理图像获取模块，用于获取待处理图像；
图像处理模块，用于基于训练好的预设数量的网络模型中的各个所述网络模型对所述待处理图像进行处理，以分别得到预设数量的模型输出图像；
处理后图像生成模块，用于基于预设投票机制以及预设数量的所述模型输出图像，生成处理后的图像；
其中，预设数量的网络模型包括第一网络模型和至少两个分组网络模型，所述第一网络模型的训练数据包括所述至少两个分组网络模型的训练数据。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。
CN202011636592.8A 2020-12-31 2020-12-31 图像处理方法、模型训练方法、装置、设备和存储介质 Pending CN112733681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011636592.8A CN112733681A (zh) 2020-12-31 2020-12-31 图像处理方法、模型训练方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011636592.8A CN112733681A (zh) 2020-12-31 2020-12-31 图像处理方法、模型训练方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112733681A true CN112733681A (zh) 2021-04-30

Family

ID=75608662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011636592.8A Pending CN112733681A (zh) 2020-12-31 2020-12-31 图像处理方法、模型训练方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112733681A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781309A (zh) * 2021-09-17 2021-12-10 北京金山云网络技术有限公司 图像处理方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781309A (zh) * 2021-09-17 2021-12-10 北京金山云网络技术有限公司 图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
US20190172193A1 (en) Method and apparatus for evaluating image definition, computer device and storage medium
CN109118532B (zh) 视觉景深估计方法、装置、设备及存储介质
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN109211277A (zh) 视觉惯性里程计的状态确定方法、装置和电子设备
CN116433559A (zh) 产品外观缺陷检测方法、电子设备及存储介质
WO2021217937A1 (zh) 姿态识别模型的训练方法及设备、姿态识别方法及其设备
CN115345905A (zh) 目标对象跟踪方法、装置、终端及存储介质
CN111797733A (zh) 一种基于图像的行为识别方法、装置、设备和存储介质
US11974050B2 (en) Data simulation method and device for event camera
CN116416190A (zh) 瑕疵检测方法及装置、电子设备及存储介质
CN112036381A (zh) 视觉跟踪方法、视频监控方法及终端设备
CN117274133A (zh) 瑕疵侦测方法、电子设备及存储介质
CN115546705A (zh) 目标识别方法、终端设备及存储介质
CN115965658A (zh) 球类运动轨迹预测方法、系统、电子设备及存储介质
CN114170558B (zh) 用于视频处理的方法、系统、设备、介质和产品
CN112733681A (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN114358540A (zh) 指标时序数据的异常检测方法、装置、设备及存储介质
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN111967529B (zh) 识别方法、装置、设备及系统
CN113313633A (zh) 超分网络模型的训练方法、装置和电子设备
CN113065533A (zh) 一种特征提取模型生成方法、装置、电子设备和存储介质
CN111950507A (zh) 数据处理和模型训练方法、装置、设备及介质
CN110633630A (zh) 一种行为识别方法、装置及终端设备
CN115115991A (zh) 视频特征提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination