CN113643406B - 图像生成方法、电子设备及计算机可读存储介质 - Google Patents
图像生成方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113643406B CN113643406B CN202110923640.XA CN202110923640A CN113643406B CN 113643406 B CN113643406 B CN 113643406B CN 202110923640 A CN202110923640 A CN 202110923640A CN 113643406 B CN113643406 B CN 113643406B
- Authority
- CN
- China
- Prior art keywords
- curve
- image
- line offset
- original image
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 61
- 238000001914 filtration Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 2
- 230000002146 bilateral effect Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及图像处理技术领域，公开了一种图像生成方法、电子设备及计算机可读存储介质。上述图像生成方法包括：判断获取到的曲线是否满足预设的行偏移曲线判断标准；若所述曲线满足预设的行偏移曲线判断标准，则根据所述曲线生成映射关系；根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，其中，所述目标图像与所述原始图像之间存在所述曲线表征的行偏移。本申请实施例提供的图像生成方法，可以简单快速地获得大量存在行偏移的图像及图像的行偏移曲线，有效降低模型的训练成本，同时使得模型的训练样本更加丰富。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像生成方法、电子设备及计算机可读存储介质。
背景技术
机器视觉领域中最具活力的技术分支当属深度感知技术，而立体视觉技术则是深度感知技术中的重要部分，无论是主动式或者被动式的立体视觉的研究，还是传统算法、机器学习乃至深度学习的深度恢复算法的研究，都需要使用大量的图像数据，图像数据量直接关系到各种深度学习模型的训练规模。
图像数据的获取方式，除了直接采集外，还包括数据增广和数据模拟生成，图像增广方法包括对图像数据进行旋转、放缩、镜像、裁剪等方式，以获取更多的图像数据；数据模拟生成方法可以按照实际的需求生成图像数据，对于深度恢复技术而言，大部分的算法都不可避免的对双目图像使用同名点匹配的方式来获取视差，进而解算出深度，在匹配时，算法会搜索同一扫描线的同名点，若图像存在着行偏移，那么算法则需要跨行搜索方能找到正确的同名点。无论是双目结构的相机，还是单目—投射器结构的相机，其在装配时的微小失误或在使用时的磕碰，都会使双目结构或单目—投射器结构不可避免地不处在同一水平面，相机在不同距离成像就会呈现着各种各样的行偏移，同时，相机易受温度影响，温度因素也会导致相机成像时出现行偏移，因此，在训练各种研究相机成像的深度学习模型时，需要使用大量存在行偏移的图像作为训练样本。
然而，想要获取到图像的行偏移数据，就需要知道相机的结构的真实工况，以及温度对相机结构的真实影响，但相机的结构的真实工况和温度对相机结构的真实影响很难测量，因此行图像的行偏移曲线很难获得，训练样本的获取成本过高，模型的训练样本的丰富性不足，不利于模型的训练。
发明内容
本申请实施方式的目的在于提供一种图像生成方法、电子设备及计算机可读存储介质，可以简单快速地获得大量存在行偏移的图像及图像的行偏移曲线，有效降低模型的训练成本，同时使得模型的训练样本更加丰富。
为解决上述技术问题，本申请的实施例提供了一种图像生成方法，包括以下步骤：判断获取到的曲线是否满足预设的行偏移曲线判断标准；若所述曲线满足预设的行偏移曲线判断标准，则根据所述曲线生成映射关系；根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，其中，所述目标图像与所述原始图像之间存在所述曲线表征的行偏移。
本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像生成方法。
本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述图像生成方法。
本申请实施例提供的图像生成方法、电子设备及计算机可读存储介质，先判断获取到的曲线是否满足预设的行偏移曲线判断标准，即判断获取到的曲线是否可以作为行偏移曲线，若该曲线满足预设的行偏移曲线判断标准，则根据该曲线生成映射关系，再根据获取到的原始图像和生成的映射关系，生成原始图像对应的目标图像，目标图像与原始图像之间存在着该曲线表征的行偏移，即通过图像数据模拟生成的方式，先得到行偏移数据，即行偏移曲线，再根据行偏移曲线得到存在行偏移的图像，无需人工耗时耗力地采集图像，无需通过拆解图像对应的相机以知晓相机内部的结构工况，也无需通过测量相机的温度推算温度对相机内部的结构的真实影响，可以大幅降低关于相机成像的深度学习模型的训练样本的获取难度和成本，同时可以简单快速地获得大量存在行偏移的图像及图像的行偏移数据，使得模型的训练样本更加丰富，训练出的模型效果更加精确，性能更加稳定。
另外，所述若所述曲线满足预设的行偏移曲线判断标准，则根据所述曲线生成映射关系，包括：若所述曲线满足预设的行偏移曲线判断标准，则对所述曲线进行低通滤波；根据低通滤波后的所述曲线生成映射关系，虽然已判定获取到的曲线可以作为行偏移曲线，但曲线中可能有波动过于剧烈的部分，若不处理这些波动过于剧烈的部分，后续确定映射关系，最终生成的目标图像也会存在剧烈波动的部分，生成的目标图像效果不佳，本申请的实施例对获取到的曲线进行低通滤波，将波动剧烈的部分滤掉，可以使得生成的目标图像效果更好。
另外，所述判断获取到的曲线是否满足预设的行偏移曲线判断标准，包括：将获取到的曲线输入至预训练的行偏移曲线判断模型中，获取所述行偏移曲线判断模型输出的目标值；其中，所述预训练的行偏移曲线判断模型用于表征所述预设的行偏移曲线判断标准；若所述目标值小于预设阈值，则确定所述曲线满足预设的行偏移曲线判断标准，使用预训练的行偏移曲线判断模型进行判断，可以更科学、准确、快速地判断获取到的曲线是否可以作为行偏移曲线，进一步提升获取到的存在行偏移的图像及图像的行偏移曲线的真实性。
另外，所述根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，包括：遍历获取到的原始图像的每一行上的像素，根据所述映射关系，获得所述原始图像的每一行上的像素对应的目标行上的像素；根据所述目标行上的像素，生成所述原始图像对应的目标图像，遍历原始图像，对原始图像进行逐行映射，可以提升每一个目标行的效果，图像生成的过程简洁、清晰，可以在短时间内快速获得大量存在行偏移的图像和这些图像对应的行偏移曲线。
另外，所述根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，包括：根据获取到的原始图像，获得所述原始图像对应的空白的目标图像模板；根据所述映射关系，确定所述空白的目标图像模板的每一行在所述原始图像上对应的行；根据所述在所述原始图像上对应的行上的像素，对所述空白的目标图像模板的每一行进行插值，生成所述原始图像对应的目标图像，通过插值的方式生成原始图像对应的目标图像，不会引起像素最大最小值的改变，生成的目标图像效果更好。
另外，所述对所述曲线进行的低通滤波包括以下任意之一或其任意组合：线性滤波、均值滤波、高斯滤波、中值滤波和双边滤波，这些低通滤波方式可以很好地滤去获取到的曲线中波动剧烈的部分，使用多种滤波方式组合滤波可以使给定曲线更加平滑。
另外，所述插值包括以下任意之一：最近邻插值、线性插值、面积插值、三次插值和兰索斯插值。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是相机结构变化产生的线性偏移曲线的示意图；
图2是相机结构变化产生的弓形偏移曲线的示意图；
图3是温度变化产生的线性偏移曲线的示意图；
图4是根据本申请一个实施例的图像生成方法的流程图一；
图5是根据本申请一个实施例中，判断获取到的曲线是否满足预设的行偏移曲线判断标准的流程图；
图6是根据本申请另一个实施例的图像生成方法的流程图二；
图7是根据本申请另一个实施例的图像生成方法的流程图三；
图8是根据本申请另一个实施例的图像生成方法的流程图四；
图9是根据本申请另一个实施例的图像生成方法的流程图五；
图10是根据本申请另一个实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
随着深度感知技术的飞速发展，基于机器学习和深度学习的各种各样的研究相机成像的深度学习模型被建立起来，这些研究相机成像的深度学习模型需要使用大量的图像数据进行训练，在此基础上，无论是双目结构的相机，还是单目—投射器结构的相机，其在装配时的微小失误或在使用时的磕碰，都会使双目结构或单目—投射器结构不可避免地不处在同一水平面，相机在不同距离成像就会呈现着各种各样的行偏移，同时，相机易受温度影响，温度因素也会导致相机成像时出现行偏移，结构的变化对行偏移的影响比较复杂，存在着线性变化、弓形变化和旋转变化等，图1是相机结构变化产生的线性偏移曲线的示意图，图2是相机结构变化产生的弓形偏移曲线的示意图，此外，结构的变化对行偏移的影响还可以叠加成不同的形态，温度对行偏移的影响呈从中心向外线性扩散的状态，如图3所示，综上所述，行偏移曲线的形式是多种多样的，无法穷尽的，因此，在训练各种研究相机成像的深度学习模型时，需要使用大量存在行偏移的图像作为训练样本。
相关技术中，大多通过采集的方式获取存在行偏移的图像，在拆解图像对应的相机的结构，以了解相机的结构的真实工况，测量相机的温度，以推算温度对相机内部的结构的真实影响，从而确定行偏移图像的行偏移曲线，将行偏移图像与行偏移曲线作为训练样本，训练各种研究相机成像的深度学习模型。
本申请的发明人发现，相机的结构的真实工况和温度对相机结构的真实影响都是多变的，很难进行准确的测量与推算，因此图像的行偏移曲线很难获得，训练样本的获取成本过高，模型的训练样本的丰富性不足，不利于模型的训练。
为了解决上述的训练样本的获取成本过高，模型的训练样本的丰富性不足的技术问题，本申请的一个实施例提出了一种图像生成方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下个各个实施例中电子设备以服务器为例进行说明。下面对本实施例的图像生成方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例的图像生成方法的具体流程可以如图4所示，包括：
步骤101，判断获取到的曲线是否满足预设的行偏移曲线判断标准。
在具体实现中，考虑到并不是所有曲线都可以作为行偏移曲线，因此服务器在获取到曲线后，可以判断获取到的曲线是否满足预设的行偏移曲线判断标准，其中，预设的行偏移曲线判断标准可以由本领域的技术人员根据实际需要进行设置，若获取到的曲线满足预设的行偏移曲线判断标准，则服务器继续进行图像生成的流程，若获取到的曲线不满足预设的行偏移曲线判断标准，则服务器丢弃该曲线，开始获取新的曲线。
在一个例子中，服务器在需要大量存在行偏移的图像作为研究相机成像的深度学习模型训练样本时，可以从互联网中下载大量曲线，将从互联网中下载的大量曲线作为获取到的曲线，并判断获取到的曲线是否满足预设的行偏移曲线判断标准。
在另一个例子中，服务器支持用户自定义编辑曲线，并可以实时接收用户输入的曲线，服务器在获取到用户输入的曲线后，可以判断用户输入的的曲线是否满足预设的行偏移曲线判断标准。
在一个例子中，判断获取到的曲线是否满足预设的行偏移曲线判断标准，可以由如图5所示的各子步骤实现，具体包括：
子步骤1011，将获取到的曲线输入至预训练的行偏移曲线判断模型中，获取行偏移曲线判断模型输出的目标值。
具体而言，预设的行偏移曲线判断标准具体可以为预训练的行偏移曲线判断模型，服务器在获取到曲线后，可以将用于表征该曲线的公式作为输入，输入至预训练的行偏移曲线判断模型中，获取该行偏移曲线判断模型的输出的目标值，行偏移曲线判断模型的具体函数和具体网络层次可以由本领域的技术人员根据实际需要进行设置。
在具体实现中，行偏移曲线判断模型可以为从互联网中下载的成熟的模型，也可以是服务器基于大量已知的行偏移曲线进行训练得到的模型。
在一个例子中，行偏移曲线判断模型可以包括以下公式：
式中，e(v)表示服务器获取到的曲线，rms为行偏移曲线判断模型输出的目标值，S(R,t)用于表征相机的结构变化对行偏移的影响，R为旋转矩阵，可以表征相机的结构发生了旋转变化，t为平移矩阵，可以表征相机的结构发生了平移变化，T(c,k)用于表征温度变化对行偏移的影响，c为温度变化的中心，k为温度变化的线性变化率，‖·‖v为定义在0到预设的图像高度之间的泛函空间的模函数，用以计算泛函的模长度，λ1为结构变化的线性系数，λ2为温度变化的线性系数，服务器将获取到的曲线e(v)输入至行偏移曲线判断模型后，行偏移曲线判断模型可以输出目标值rms，结构变化的线性系数λ1和温度变化的线性系数λ2，目标值rms越小表示输入的曲线越接近行偏移曲线，λ1越小表示结构因素对行偏移的影响越小，λ2越小表示温度因素对行偏移的影响越小。
在一个例子中，行偏移曲线判断模型可以包括以下公式：
服务器可以获取大量已知的S(v)类的曲线和大量已知的T(v)类的曲线对行偏移曲线判断模型进行无监督的机器学习，学习方法可以为主成分分析法(Principal Component Analysis，简称：PCA)。
本实施例，使用预训练的行偏移曲线判断模型进行判断，可以更科学、准确、快速地判断获取到的曲线是否可以作为行偏移曲线，进一步提升获取到的存在行偏移的图像及图像的行偏移曲线的真实性。
子步骤1012，若目标值小于预设阈值，则确定曲线满足预设的行偏移曲线判断标准。
在具体实现中，服务器在获取到行偏移曲线判断模型输出的目标值rms后，可以判断rms是否小于预设阈值，若rms小于预设阈值，则认定该曲线满足预设的行偏移曲线判断标准，可以作为行偏移曲线，若rms大于或等于预设阈值，则认定该曲线不满足预设的行偏移曲线判断标准，不可以作为行偏移曲线，其中，预设阈值可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不做具体限定。
步骤102，若曲线满足预设的行偏移曲线判断标准，则根据曲线生成映射关系。
在具体实现中，若获取到的曲线满足预设的行偏移曲线判断标准，则服务器可以基于该曲线的公式生成映射关系，服务器将获取到的曲线记作e(v)，服务器生成的映射关系可以表示为：g(v)＝v+e(v)。
步骤103，根据获取到的原始图像和映射关系，生成原始图像对应的目标图像。
在具体实现中，服务器生成映射关系后，可以根据获取到的原始图像和映射关系，生成原始图像对应的目标图像，即将原始图像中的每一个像素基于映射关系进行映射，得到原始图像中的每一个像素对应的目标像素，服务器再将所有目标像素进行整合，生成原始图像对应的目标图像，生成的目标图像与获取到的原始图像之间存在该曲线表征的行偏移。
本实施例，相较于通过采集图像，获取图像对应的相机的内部结构工况和温度对相机结构的影响，从而获取存在行偏移的图像及图像的行偏移数据的技术方案而言，本申请的实施例，先判断获取到的曲线是否满足预设的行偏移曲线判断标准，即判断获取到的曲线是否可以作为行偏移曲线，若该曲线满足预设的行偏移曲线判断标准，则根据该曲线生成映射关系，再根据获取到的原始图像和生成的映射关系，生成原始图像对应的目标图像，目标图像与原始图像之间存在着该曲线表征的行偏移，即通过图像数据模拟生成的方式，先得到行偏移数据，即行偏移曲线，再根据行偏移曲线得到存在行偏移的图像，无需人工耗时耗力地采集图像，无需通过拆解图像对应的相机以知晓相机内部的结构工况，也无需通过测量相机的温度推算温度对相机内部的结构的真实影响，可以大幅降低关于相机成像的深度学习模型的训练样本的获取难度和成本，同时可以简单快速地获得大量存在行偏移的图像及图像的行偏移数据，使得模型的训练样本更加丰富，训练出的模型效果更加精确，性能更加稳定。
本申请的另一个实施例涉及一种图像生成方法，下面对本实施例的图像生成方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的图像生成方法的具体流程可以如图6所示，包括：
步骤201，判断获取到的曲线是否满足预设的行偏移曲线判断标准。
其中，步骤201与步骤101大致相同，此处不再赘述。
步骤202，若曲线满足预设的行偏移曲线判断标准，则对曲线进行低通滤波。
步骤203，根据低通滤波后的曲线生成映射关系。
具体而言，服务器在判断获取到的曲线满足预设的行偏移曲线判断标准后，可以对该曲线进行低通滤波，考虑到曲线中可能有波动过于剧烈的部分，若不对这些波动过于剧烈的部分进行处理，那么在后续映射后，生成的图像中的这些位置同样会出现剧烈的波动，比如某散斑图像中的某散斑点的大小为5x5，基于存在剧烈波动的映射关系映射后，会额外拉长至10x5，对应的在另一处则会有某个散斑点收缩至2x5，导致生成的图像不合理，因此服务器对获取到的曲线进行低通滤波，将波动剧烈的部分滤掉，可以使得生成的目标图像效果更好。
在具体实现中，对曲线进行的低通滤波包括以下任意之一或其任意组合：线性滤波、均值滤波、高斯滤波、中值滤波和双边滤波，这些低通滤波方式可以很好地滤去获取到的曲线中波动剧烈的部分，使用多种滤波方式组合滤波可以使给定曲线更加平滑。
步骤204，根据获取到的原始图像和映射关系，生成原始图像对应的目标图像。
其中，步骤204与步骤103大致相同，此处不再赘述。
本实施例，所述若所述曲线满足预设的行偏移曲线判断标准，则根据所述曲线生成映射关系，包括：若所述曲线满足预设的行偏移曲线判断标准，则对所述曲线进行低通滤波；根据低通滤波后的所述曲线生成映射关系，虽然已判定获取到的曲线可以作为行偏移曲线，但曲线中可能有波动过于剧烈的部分，若不处理这些波动过于剧烈的部分，后续确定映射关系，最终生成的目标图像也会存在剧烈波动的部分，生成的目标图像效果不佳，本申请的实施例对获取到的曲线进行低通滤波，将波动剧烈的部分滤掉，可以使得生成的目标图像效果更好。
本申请的另一个实施例涉及一种图像生成方法，下面对本实施例的图像生成方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的图像生成方法的具体流程可以如图7所示，包括：
步骤301，判断获取到的曲线是否满足预设的行偏移曲线判断标准。
步骤302，若曲线满足预设的行偏移曲线判断标准，则根据曲线生成映射关系。
其中，步骤301至步骤302与步骤101至步骤102大致相同，此处不再赘述。
步骤303，遍历获取到的原始图像的每一行上的像素，根据映射关系，获得原始图像的每一行上的像素对应的目标行上的像素。
步骤304，根据目标行上的像素，生成原始图像对应的目标图像。
在具体实现中，服务器可以采用直接映射的方式，根据获取到的原始图像和映射关系，生成原始图像对应的目标图像，直接映射的方式即服务器遍历获取到的原始图像的每一行上的像素，根据映射关系，获得原始图像的每一行上的像素对应的目标行上的像素，直接根据已知的原始图像和映射关系，推出目标图像，图像生成的过程简洁、清晰，可以在短时间内快速获得大量存在行偏移的图像和这些图像对应的行偏移曲线。
本实施例，所述根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，包括：遍历获取到的原始图像的每一行上的像素，根据所述映射关系，获得所述原始图像的每一行上的像素对应的目标行上的像素；根据所述目标行上的像素，生成所述原始图像对应的目标图像，遍历原始图像，对原始图像进行逐行映射，可以提升每一个目标行的效果，图像生成的过程简洁、清晰，可以在短时间内快速获得大量存在行偏移的图像和这些图像对应的行偏移曲线。
本申请的另一个实施例涉及一种图像生成方法，下面对本实施例的图像生成方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的图像生成方法的具体流程可以如图8所示，包括：
步骤401，判断获取到的曲线是否满足预设的行偏移曲线判断标准。
步骤402，若曲线满足预设的行偏移曲线判断标准，则根据曲线生成映射关系。
其中，步骤401至步骤402与步骤101至步骤102大致相同，此处不再赘述。
步骤403，根据获取到的原始图像，获得原始图像对应的空白的目标图像模板。
在具体实现中，服务器在获取到原始图像后，可以基于原始图像的大小，生成原始图像对应的空白的目标图像模板，空白的目标图像模板的大小与原始图像的大小一致。
步骤404，根据映射关系，确定空白的目标图像模板的每一行在原始图像上对应的行。
步骤405，根据在原始图像上对应的行上的像素，对空白的目标图像模板的每一行进行插值，生成原始图像对应的目标图像。
在具体实现中，服务器可以通过间接映射的方式，根据获取到的原始图像和映射关系，生成原始图像对应的目标图像，间接映射的方式即服务器先遍历空白的目标图像模板的每一行，并根据映射关系确定空白的目标图像模板的每一行在原始图像上对应的行，再根据原始图像上对应的行上的像素，对空白的目标图像模板的每一行进行插值，从而生成原始图像对应的目标图像，即基于未知的目标图像，根据已知的映射关系，反推已知的目标图像，从而根据反推的结果得到未知的目标图像，考虑到直接映射的方式可能会存在一些网状线需要进行额外的处理，而通过插值的间接映射的方式不会引起像素最大值和最小值的改变，生成的目标图像效果更好。
在一个例子中，对空白的目标图像模板的每一行进行的插值可以包括：最近邻插值、线性插值、面积插值、三次插值和兰索斯插值等。
本实施例，所述根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，包括：根据获取到的原始图像，获得所述原始图像对应的空白的目标图像模板；根据所述映射关系，确定所述空白的目标图像模板的每一行在所述原始图像上对应的行；根据所述在所述原始图像上对应的行上的像素，对所述空白的目标图像模板的每一行进行插值，生成所述原始图像对应的目标图像，通过插值的方式生成原始图像对应的目标图像，不会引起像素最大最小值的改变，生成的目标图像效果更好。
在一个实施例中，图像生成方法的具体流程可以如图9所示，具体包括：
步骤501，将获取到的曲线输入至预训练的行偏移曲线判断模型中，获取行偏移曲线判断模型输出的目标值。
步骤502，若目标值小于预设阈值，则确定曲线满足预设的行偏移曲线判断标准。
步骤503，若曲线满足预设的行偏移曲线判断标准，则对曲线进行高斯滤波。
步骤504，根据高斯滤波后的曲线生成映射关系。
步骤505，根据获取到的原始图像，获得原始图像对应的空白的目标图像模板。
步骤506，根据映射关系，确定空白的目标图像模板的每一行在原始图像上对应的行。
步骤507，根据在原始图像上对应的行上的像素，对空白的目标图像模板的每一行进行线性插值，生成原始图像对应的目标图像。
本实施例，对曲线进行滤波时使用高斯滤波，对空白的目标图像模板的每一行进行插值时使用线性插值，可以进一步提升目标图像的效果，从而更好地解决深度恢复算法等模型的训练样本量不足的问题。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的另一个实施例涉及一种电子设备，如图10所示，包括：至少一个处理器601；以及，与所述至少一个处理器601通信连接的存储器602；其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行上述各实施方式中的图像生成方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请的另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。
Claims (9)
1.一种图像生成方法，其特征在于，包括：
判断获取到的曲线是否满足预设的行偏移曲线判断标准；
若所述曲线满足预设的行偏移曲线判断标准，则根据所述曲线生成映射关系；
根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，其中，所述目标图像与所述原始图像之间存在所述曲线表征的行偏移；
所述判断获取到的曲线是否满足预设的行偏移曲线判断标准，包括：
将获取到的曲线输入至预训练的行偏移曲线判断模型中，获取所述行偏移曲线判断模型输出的目标值；其中，所述预训练的行偏移曲线判断模型用于表征所述预设的行偏移曲线判断标准；
若所述目标值小于预设阈值，则确定所述曲线满足预设的行偏移曲线判断标准。
2.根据权利要求1所述的图像生成方法，其特征在于，所述若所述曲线满足预设的行偏移曲线判断标准，则根据所述曲线生成映射关系，包括：
若所述曲线满足预设的行偏移曲线判断标准，则对所述曲线进行低通滤波；
根据低通滤波后的所述曲线生成映射关系。
3.根据权利要求1所述的图像生成方法，其特征在于，所述行偏移曲线判断模型包括以下公式：
其中，e(v)为所述曲线，rms为所述目标值，S(R,t)用于表征相机的结构变化对行偏移的影响，R为旋转矩阵，t为平移矩阵，T(c,k)用于表征温度变化对行偏移的影响，c为所述温度变化的中心，k为所述温度变化的线性变化率，||·||v为泛函空间的模函数，λ1为所述结构变化的线性系数，λ2为所述温度变化的线性系数。
4.根据权利要求1所述的图像生成方法，其特征在于，所述根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，包括：
遍历获取到的原始图像的每一行上的像素，根据所述映射关系，获得所述原始图像的每一行上的像素对应的目标行上的像素；
根据所述目标行上的像素，生成所述原始图像对应的目标图像。
5.根据权利要求1所述的图像生成方法，其特征在于，所述根据获取到的原始图像和所述映射关系，生成所述原始图像对应的目标图像，包括：
根据获取到的原始图像，获得所述原始图像对应的空白的目标图像模板；
根据所述映射关系，确定所述空白的目标图像模板的每一行在所述原始图像上对应的行；
根据所述在所述原始图像上对应的行上的像素，对所述空白的目标图像模板的每一行进行插值，生成所述原始图像对应的目标图像。
6.根据权利要求2所述的图像生成方法，其特征在于，所述对所述曲线进行的低通滤波包括以下任意之一或其任意组合：线性滤波、均值滤波、高斯滤波、中值滤波和双边滤波。
7.根据权利要求5所述的图像生成方法，其特征在于，所述插值包括以下任意之一：最近邻插值、线性插值、面积插值、三次插值和兰索斯插值。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的图像生成方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923640.XA CN113643406B (zh) | 2021-08-12 | 2021-08-12 | 图像生成方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923640.XA CN113643406B (zh) | 2021-08-12 | 2021-08-12 | 图像生成方法、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113643406A CN113643406A (zh) | 2021-11-12 |
| CN113643406B true CN113643406B (zh) | 2022-03-25 |
Family
ID=78421063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110923640.XA Active CN113643406B (zh) | 2021-08-12 | 2021-08-12 | 图像生成方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643406B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2584604A1 (en) * | 2006-04-19 | 2007-10-19 | Kneebone Inc. | Method and apparatus for generating performance curves |
| WO2012050089A1 (ja) * | 2010-10-12 | 2012-04-19 | 株式会社Ｊｖｃケンウッド | 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5796410A (en) * | 1990-06-12 | 1998-08-18 | Lucent Technologies Inc. | Generation and use of defective images in image analysis |
| US6704501B1 (en) * | 1997-02-18 | 2004-03-09 | Canon Kabushiki Kaisha | Image blur prevention apparatus |
| US8014034B2 (en) * | 2005-04-13 | 2011-09-06 | Acd Systems International Inc. | Image contrast enhancement |
| US9924116B2 (en) * | 2014-08-05 | 2018-03-20 | Seek Thermal, Inc. | Time based offset correction for imaging systems and adaptive calibration control |
| US10198794B2 (en) * | 2015-12-18 | 2019-02-05 | Canon Kabushiki Kaisha | System and method for adjusting perceived depth of an image |
| US10230912B2 (en) * | 2016-06-28 | 2019-03-12 | Seek Thermal, Inc. | Fixed pattern noise mitigation for a thermal imaging system |
| CN109087370B (zh) * | 2018-06-29 | 2020-10-27 | 华南理工大学 | 一种铸件海绵状缺陷图像生成方法 |
| CN109871841B (zh) * | 2019-02-14 | 2023-04-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN112396074A (zh) * | 2019-08-15 | 2021-02-23 | 广州虎牙科技有限公司 | 基于单目图像的模型训练方法、装置及数据处理设备 |
| CN110490951A (zh) * | 2019-08-21 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 一种图像绘制方法和装置 |
| CN112767235A (zh) * | 2019-11-06 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN111462206B (zh) * | 2020-03-24 | 2022-06-24 | 合肥的卢深视科技有限公司 | 一种基于卷积神经网络的单目结构光深度成像方法 |
| CN111968048B (zh) * | 2020-07-30 | 2024-03-26 | 国网智能科技股份有限公司 | 电力巡检少样本图像数据增强方法及系统 |
| CN112489189B (zh) * | 2020-11-17 | 2021-11-30 | 北京的卢深视科技有限公司 | 一种神经网络的训练方法及系统 |
| CN112541867A (zh) * | 2020-12-04 | 2021-03-23 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN112836755B (zh) * | 2021-02-05 | 2024-04-16 | 中国科学院深圳先进技术研究院 | 基于深度学习的样本图像生成方法及其系统 |
| CN112967248B (zh) * | 2021-03-03 | 2024-01-23 | 北京百度网讯科技有限公司 | 生成缺陷图像样本的方法、装置、介质及程序产品 |
-
2021
- 2021-08-12 CN CN202110923640.XA patent/CN113643406B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2584604A1 (en) * | 2006-04-19 | 2007-10-19 | Kneebone Inc. | Method and apparatus for generating performance curves |
| WO2012050089A1 (ja) * | 2010-10-12 | 2012-04-19 | 株式会社Ｊｖｃケンウッド | 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113643406A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chowdhury et al. | 3D face reconstruction from video using a generic model | |
| CN111462206B (zh) | 一种基于卷积神经网络的单目结构光深度成像方法 | |
| CN108224895B (zh) | 基于深度学习的物品信息录入方法、装置、冰箱和介质 | |
| CN113888689A (zh) | 图像渲染模型训练、图像渲染方法及装置 | |
| CN106355195B (zh) | 用于测量图像清晰度值的系统及其方法 | |
| CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN113706472B (zh) | 公路路面病害检测方法、装置、设备及存储介质 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN111862040B (zh) | 人像图片质量评价方法、装置、设备及存储介质 | |
| CN111612731A (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN111179235A (zh) | 图像检测模型的生成方法及装置、应用方法及装置 | |
| CN113034528A (zh) | 基于影像组学的靶区及危及器官勾画轮廓准确性检验方法 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| CN113643406B (zh) | 图像生成方法、电子设备及计算机可读存储介质 | |
| CN113344941A (zh) | 一种基于聚焦图像的深度估计方法及图像处理装置 | |
| CN112329920A (zh) | 磁共振参数成像模型的无监督训练方法及无监督训练装置 | |
| CN117151983A (zh) | 一种基于小波启发和高频增强的图像全色锐化方法 | |
| CN112336337B (zh) | 磁共振参数成像模型的训练方法及训练装置、介质和设备 | |
| CN113065566B (zh) | 一种误匹配去除方法、系统及应用 | |
| CN114743150A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN112800829A (zh) | 一种基于三维测量的物体局部破损程度的识别方法 | |
| CN114414065B (zh) | 物体温度探测方法、装置、计算机设备和介质 | |
| CN111967342B (zh) | 平面参数设置的方法、装置、电子装置和存储介质 | |
| CN117852312B (zh) | 仿真模型验证方法、系统、电子设备和计算机程序产品 | |
| CN114612510B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230322 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Patentee after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Patentee before: Hefei lushenshi Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |