CN115034962A - 通道可视化训练数据合成方法、装置、设备和存储介质 - Google Patents

通道可视化训练数据合成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115034962A
CN115034962A CN202210961888.XA CN202210961888A CN115034962A CN 115034962 A CN115034962 A CN 115034962A CN 202210961888 A CN202210961888 A CN 202210961888A CN 115034962 A CN115034962 A CN 115034962A
Authority
CN
China
Prior art keywords
image
camera
real scene
target object
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210961888.XA
Other languages
English (en)
Inventor
王齐
陈尚锋
汪暾
邱鹏
欧阳开一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Kaichuang Guangzhou Intelligent Technology Development Co ltd
Original Assignee
Zhongke Kaichuang Guangzhou Intelligent Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Kaichuang Guangzhou Intelligent Technology Development Co ltd filed Critical Zhongke Kaichuang Guangzhou Intelligent Technology Development Co ltd
Priority to CN202210961888.XA priority Critical patent/CN115034962A/zh
Publication of CN115034962A publication Critical patent/CN115034962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及数字图像处理技术领域，特别是涉及到一种通道可视化训练数据合成方法、装置、设备和存储介质，其中方法包括：获取多张包含待检测目标对象的相关图像，对相关图像进行处理；获取摄像机的相关参数；获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；根据摄像机的相关参数和种子点的位置，计算得出摄像头到每个种子点对应真实场景中的位置的实际距离；根据实际距离，将处理后的相关图像进行尺寸调整，并与真实场景图像进行合成，得到合成图像，合成图像用于通道可视化训练。通过本方法合成的图像数据会更接近于物距远目标小、物距近的目标大的真实情况。

Description

通道可视化训练数据合成方法、装置、设备和存储介质
技术领域
本申请涉及数字图像处理技术领域，特别是涉及到一种通道可视化训练数据合成方法、装置、设备和存储介质。
背景技术
数据对于深度学习训练非常重要，但现实世界所收集的真实数据在数量和质量上有时无法满足需求。例如在电力行业等通道可视化领域，某些检测对象通常出现机率低，优质数据无法大量获取甚至无法获取，比如森林山火、烟雾等。因此，需要人工合成数据作为训练数据的补充，合成数据是计算机模拟或算法所生成的带有注释的信息，可用于模拟真实数据。虽然是人造数据，但合成数据能够从数学或统计学上反映真实数据。研究表明，在训练 AI 模型方面，使用合成数据进行训练，与基于实际物体、事件或人的真实数据进行训练效果相同，甚至能达到更好的效果。
现有图像合成技术包括：图像拼接和蒙版合成。图像拼接，是将从其他图像中裁切的目标对象直接拼接到新的图像中，该方法不去除背景。蒙版合成，是将从其他图像中裁切的目标对象通过蒙版合成到新的图像中，该方法去除背景。具体原理如下：
Figure DEST_PATH_IMAGE001
其中
Figure DEST_PATH_IMAGE002
代表像素属于前景的概率图，
Figure DEST_PATH_IMAGE003
代表待合成的场景图像，
Figure DEST_PATH_IMAGE004
代表含有待检测目标对象的图像，
Figure DEST_PATH_IMAGE005
代表合成后的图像。
上述两种图像合成技术，其中图像拼接由于未去除目标对象的背景，合成的图像会有强烈的视觉违和感，与真实数据相差较大。蒙版合成由于去除了目标对象的背景，合成的图像较为真实，因此蒙版合成是一种较好的合成数据方法。但蒙版合成图像时如果不考虑物距因素会导致合成的图像不符合远景目标对象小和近景目标对象大的客观情况，在数学或统计学上无法反映真实数据的分布情况，导致通道可视化训练数据集质量低，进而影响训练效果。
发明内容
本申请的主要目的为提供一种通道可视化训练数据合成方法、装置、设备和存储介质，旨在解决现有通道可视化训练数据合成中，合成的图像不符合远景目标对象小和近景目标对象大的客观情况，不能够人工合成高质量的通道可视化训练数据集的技术问题。
为了实现上述发明目的，本申请提出一种通道可视化训练数据合成方法，所述方法包括：
获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；
获取摄像机的相关参数；
获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；
根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离；
根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
进一步地，所述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理，包括：
获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；
将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
进一步地，所述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点，包括：
根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；
在划定的区域内生成随机数量和随机位置的种子点。
进一步地，所述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离，包括：
运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
进一步地，所述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练，包括：
根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图；
将所述实际距离进行排序；
根据实际距离排序结果，调整所述蒙版图尺寸；
将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
本申请还提供了一种通道可视化训练数据合成装置，所述装置包括：
相关图像处理模块，用于获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；
摄像机参数获取模块，用于获取摄像机的相关参数；
真实场景图像处理模块，用于获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；
实际距离测量模块，用于根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离;
合成模块，用于根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
进一步地，所述相关图像处理模块，包括：
相关图像处理子模块，用于获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
进一步地，所述真实场景图像处理模块，包括：
真实场景图像处理子模块，用于根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请提供的一种通道可视化训练数据合成方法，通过摄像机参数和真实场景图像中选定的点，通过几何关系计算出摄像机到真实场景中每个选定点的实际距离。基于实际距离使用蒙版合成的方法合成数据，可根据实际距离自动生成符合近景和远景目标不同大小的高质量通道可视化训练数据。例如在电力行业通道可视化领域中，可以对难以获取的数据起到仿真扩充的作用，有利于后期深度学习模型的训练。
附图说明
图1为本申请一实施例的通道可视化训练数据合成方法的流程示意图；
图2为本申请一实施例的摄像机与真实场景点在标定平面上的几何投影示意图；
图3为本申请一实施例的摄像机到真实场景点实际距离的几何投影示意图；
图4为本申请一实施例的摄像机所拍图像中真实场景点和标定点几何示意图；
图5为本申请一实施例的包含待检测目标对象的相关图像；
图6为本申请一实施例的合成数据效果图；
图7 为本申请一实施例的通道可视化训练数据合成装置的结构示意框图；
图8 为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种通道可视化训练数据合成方法，包括步骤S1-S5，具体地：
S1、获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理。
具体地，对于步骤S1，从网络中爬取一定数量包含待检测目标对象的相关图像，例如，需要合成发生森林山火的图像数据，则相关图像为包含火、烟雾等目标对象的图像；需要合成发生森林开发挖掘的图像数据，则相关图像为包含打桩机、挖掘机等目标对象的图像（如图5）。对获取的相关图像进行裁切和分类，便于后续合成前进行尺寸调整。
S2、获取摄像机的相关参数。
具体地，对于步骤S2，使用张正友相机标定法，用高精度棋盘格标定板对摄像机进行标定，获取摄像机焦距f、像素大小、像素距离-实际距离映射比
Figure DEST_PATH_IMAGE006
等内参。相机标定指建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像中坐标与世界坐标的对应关系。然后，如图4所示，在摄像机真实视野内的纵向中心线处选定A、B两点，使用测距仪分别测得场景中AB两点之间的实际距离dAB，如图2所示，A点和B点到摄像机镜头中心O点的实际距离dOA和dOB。摄像机的相关参数用于后续实际距离的计算，合成的数据图像适用于相同参数的摄像机。
S3、获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点。
具体地，对于步骤S3，获取多张不同时段不同天气条件且不包含检测目标项的真实场景图像，例如，需要合成森林开发挖掘的图像数据，检测目标对象为则包括晴天、阴天、上午和晚上等天气条件和时段的森林图像。由于每张真实场景图像所包含的图像内容不相同，合成训练数据的要求也可能不同，所以对每张真实场景图像进行区域划分，在每个区域有对应的监控等级。在划分的区域内生成随机数量和位置的种子点，用于确定目标对象在真实场景图像中的数量和位置。
S4、根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离。
S5、根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
具体地，对于步骤S4和S5，根据所述摄像机的相关参数和所述种子点的位置，运用几何变换方法计算出摄像头到每个所述种子点对应真实场景中的位置的实际距离。根据实际距离的大小调整包含目标对象的相关图像尺寸大小，再移动到对应的种子点位置处，得到合成图像。使得合成的图像数据符合于远景目标小、近景目标大的客观规律。有助于提升模型的训练学习效果。
在一个实施例中，上述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理的步骤S1，包括：
S101、获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图。
S102、将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
具体地，对于步骤S101，根据合成图像的要求，获取多张包含待检测目标对象的相关图像。例如，需要合成发生森林山火的图像数据，则相关图像为包含火、烟雾等目标对象的图像；需要合成发生森林开发挖掘的图像数据，则相关图像为包含打桩机、挖掘机等目标对象的图像。使用AI交互式抠图工具将火、烟雾、打桩机、挖掘机等目标对象从相关图像中分割出来，去除掉相关图像中的背景，得到目标对象的蒙版图。蒙版图将用于与真实场景图片进行合成，得到合成的图像训练数据。
具体地，对于步骤S102，按照最小外接矩形的方式对每张图像的目标对象进行裁切，并将裁切后的图像进行分类，分类的依据为裁切后的图像尺寸宽度与高度大小关系。并在保持目标不变形的情况下，分别将每种类别的图像统一缩放为相同的尺寸，构建目标素材库。例如，挖掘机、推土机、水泥车等这类宽度大于高度目标素材统一缩放为宽高（300，200）。打桩机、烟雾等这类高度大于宽度的目标素材统一缩放为宽高（200，300）。
在一个实施例中，上述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点的步骤S3，包括：
S301、根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分。
S302、在划定的区域内生成随机数量和随机位置的种子点。
具体地，对于步骤S301和S302，例如，实际发生森林山火时，一般会有树木着火、天空漂浮着浓烟的情景。因此在合成发生森林山火的图像数据时，真实的森林场景图像中的树林区域、天空区域是监控等级较高的，其余水池、泥路等其他区域监控等级更低。将真实场景图像的区域划分后，对每个区域进行标号，根据监控关注度设置种子点，在每个划定区域内生成1-5个随机数量和位置的种子点记为Pij，其中，Pij代表第i个区域内的第j个种子点。通过种子点作为合成图像的位置标记，后续将目标对象的蒙版图移动到对应种子点的位置进行图像合成。
在一个实施例中，上述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离的步骤S4，包括：
S401、运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
具体地，对于步骤S401，如图4所示，摄像机视野纵向中心线上的两个标记点是A和B，E是场景中任意点，即图像上种子点在真实场景中的映射点，D为E点在中心线AB上的投影点。立体示意图如图3所示，O是摄像机镜头中心点，OAD是垂直于地面的平面，根据立体几何定理：
Figure DEST_PATH_IMAGE007
如图3，在直角
Figure DEST_PATH_IMAGE008
中，摄像机到场景E点的物距OE可通过以下公式计算得到：
Figure DEST_PATH_IMAGE009
(1)
E点到中心线上的实际距离DE可通过像素距离-实际距离映射比
Figure 356915DEST_PATH_IMAGE006
计算得到（
Figure 195427DEST_PATH_IMAGE006
为步骤S2中使用张正友相机标定法获得的参数之一）：
Figure DEST_PATH_IMAGE010
(2)
在图2中，
Figure DEST_PATH_IMAGE011
是物投影面，
Figure DEST_PATH_IMAGE012
是像投影面，M’是相机成像面的中心点，OM’也即为相机焦距f（f为步骤S2中使用张正友相机标定法获得的参数之一），D’是D点相机上的成像点，H是摄像机镜头安装高度。摄像机镜头安装高度H是根据模型的应用场景预先确定的值。
在直角
Figure DEST_PATH_IMAGE013
中：
Figure DEST_PATH_IMAGE014
(3)
在
Figure DEST_PATH_IMAGE015
中，
Figure DEST_PATH_IMAGE016
(4)
将公式（3）中求得的
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
代入公式（4）可求得
Figure DEST_PATH_IMAGE020
，又有
Figure DEST_PATH_IMAGE021
。
在
Figure DEST_PATH_IMAGE022
中，
Figure DEST_PATH_IMAGE023
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
(5)
将公式（2）和公式（5）中计算得到的OD和DE代入公式（1）即可求得摄像机到场景点E的物距OE，即实际距离。
在一个实施例中，上述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练的步骤S5，包括：
S501、根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图。
S502、将所述实际距离进行排序。
S503、根据实际距离排序结果，调整所述蒙版图尺寸。
S504、将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
具体地，对于步骤S501，在真实场景中的每个种子点位置都需要与一个目标对象进行合成，因此在这一步骤中，根据种子点数量，在目标素材库中随机获取相同数量的裁剪后的蒙版图。
具体地，对于步骤S502、S503和S504，将上一步骤中计算得出的实际距离进行排序，实际距离最小对应的种子点对应的裁剪后的蒙版图不进行尺寸调整，其余种子点对应的裁剪后的所述蒙版图根据实际距离做相应比例的尺寸压缩，具体计算公式如下：
Figure DEST_PATH_IMAGE026
其中，dmin代表图像种子点中最小物距，di代表第i个种子点所对应的物距，S0代表目标素材原始尺寸，Si代表第i个种子点处目标素材缩放后尺寸。通过这种方式调整的蒙版图尺寸大小，再进行合成，使得合成的图像符合远景目标对象小和近景目标对象大的客观情况（如图6），从而使模型的训练效果更好。
参照图7，是本申请一实施例中通道可视化训练数据合成装置结构框图，装置包括：
相关图像处理模块100，用于获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；
摄像机参数获取模块200，用于获取摄像机的相关参数；
真实场景图像处理模块300，用于获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；
实际距离测量模块400，用于根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离;
合成模块500，用于根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
在一个实施例中，上述通道可视化训练数据合成装置，还包括：
相关图像处理子模块，用于获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
在一个实施例中，上述通道可视化训练数据合成装置，还包括：
真实场景图像处理子模块，用于根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
在一个实施例中，上述通道可视化训练数据合成装置，还包括：
实际距离计算模块，用于运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
在一个实施例中，上述通道可视化训练数据合成装置，还包括：
合成调整模块，用于根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图；将所述实际距离进行排序；根据实际距离排序结果，调整所述蒙版图尺寸；将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
参照图8，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储通道可视化训练数据合成方法过程中的使用数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一实施例的一种通道可视化训练数据合成方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种通道可视化训练数据合成方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
本申请提供的一种通道可视化训练数据合成方法，通过摄像机参数和真实场景图像中选定的点，通过几何关系计算出摄像机到真实场景中每个选定点的实际距离。基于实际距离使用蒙版合成的方法合成数据，可根据实际距离自动生成符合近景和远景目标不同大小的高质量通道可视化训练数据。例如在电力行业通道可视化领域中，可以对难以获取的数据起到仿真扩充的作用，有利于后期深度学习模型的训练。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种通道可视化训练数据合成方法，其特征在于，所述方法包括：
获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；
获取摄像机的相关参数；
获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；
根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离；
根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
2.根据权利要求1所述的通道可视化训练数据合成方法，其特征在于，所述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理，包括：
获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；
将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
3.根据权利要求1所述的通道可视化训练数据合成方法，其特征在于，所述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点，包括：
根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；
在划定的区域内生成随机数量和随机位置的种子点。
4.根据权利要求1所述的通道可视化训练数据合成方法，其特征在于，所述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离，包括：
运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
5.根据权利要求2所述的通道可视化训练数据合成方法，其特征在于，所述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练，包括：
根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图；
将所述实际距离进行排序；
根据实际距离排序结果，调整所述蒙版图尺寸；
将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
6.一种通道可视化训练数据合成装置，其特征在于，所述装置包括：
相关图像处理模块，用于获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；
摄像机参数获取模块，用于获取摄像机的相关参数；
真实场景图像处理模块，用于获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；
实际距离测量模块，用于根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离;
合成模块，用于根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
7.根据权利要求6所述的通道可视化训练数据合成装置，其特征在于，所述相关图像处理模块，包括：
相关图像处理子模块，用于获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
8.根据权利要求6所述的通道可视化训练数据合成装置，其特征在于，所述真实场景图像处理模块，包括：
真实场景图像处理子模块，用于根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202210961888.XA 2022-08-11 2022-08-11 通道可视化训练数据合成方法、装置、设备和存储介质 Pending CN115034962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961888.XA CN115034962A (zh) 2022-08-11 2022-08-11 通道可视化训练数据合成方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961888.XA CN115034962A (zh) 2022-08-11 2022-08-11 通道可视化训练数据合成方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115034962A true CN115034962A (zh) 2022-09-09

Family

ID=83130486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961888.XA Pending CN115034962A (zh) 2022-08-11 2022-08-11 通道可视化训练数据合成方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115034962A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492343A (zh) * 2018-03-28 2018-09-04 东北大学 一种扩充目标识别的训练数据的图像合成方法
CN113378953A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火灾检测模型的训练样本制作方法、装置、设备及介质
CN113469929A (zh) * 2021-09-03 2021-10-01 北京美摄网络科技有限公司 训练数据生成方法、装置、电子设备及计算机可读存储介质
CN113792764A (zh) * 2021-08-24 2021-12-14 北京遥感设备研究所 一种样本扩充方法、系统、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492343A (zh) * 2018-03-28 2018-09-04 东北大学 一种扩充目标识别的训练数据的图像合成方法
CN113378953A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火灾检测模型的训练样本制作方法、装置、设备及介质
CN113792764A (zh) * 2021-08-24 2021-12-14 北京遥感设备研究所 一种样本扩充方法、系统、存储介质及电子设备
CN113469929A (zh) * 2021-09-03 2021-10-01 北京美摄网络科技有限公司 训练数据生成方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111523414A (zh) 人脸识别方法、装置、计算机设备和存储介质
KR20100074264A (ko) 다중 소스의 지리 정보를 이용한 지리공간 모델링 시스템 및 관련 방법
CN109146898B (zh) 一种仿真数据量增强方法、装置以及终端
CN111784588A (zh) 图像数据增强方法、装置、计算机设备和存储介质
CN111179274A (zh) 地图地面分割方法、装置、计算机设备和存储介质
CN112712535A (zh) 基于模拟困难样本的Mask-RCNN滑坡分割方法
CN111103595A (zh) 一种数字线划图的生成方法和装置
CN109186618B (zh) 地图构建方法、装置、计算机设备及存储介质
CN113989510B (zh) 一种河道排水口溢流检测方法、装置及相关设备
CN111275765B (zh) 一种确定目标gps的方法、装置及摄像机
CN112668461A (zh) 一种具有野生动物识别的智能监管系统
Al-Muqdadi et al. Automated watershed evaluation of flat terrain
CN114219958B (zh) 一种多视角遥感影像的分类方法、装置、设备和存储介质
CN115034962A (zh) 通道可视化训练数据合成方法、装置、设备和存储介质
CN111476308B (zh) 基于先验几何约束的遥感影像分类方法、装置和电子设备
CN110570521B (zh) 一种城市地面粗糙度计算方法
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质
CN116486312B (zh) 一种视频图像的处理方法、装置、电子设备和存储介质
CN114861475B (zh) 一种基于传感数据的实时海洋模拟方法及系统
CN117853904A (zh) 道路病害检测方法、装置、设备、介质及系统
KR20240082769A (ko) 2차원 항공이미지를 활용한 3차원 공간 모델 생성 방법
US20220215645A1 (en) Computer Vision Systems and Methods for Determining Roof Conditions from Imagery Using Segmentation Networks
CN111738051B (zh) 点云处理方法、装置、计算机设备和存储介质
CN115376018A (zh) 建筑物高度及占地面积计算方法、装置、设备及存储介质
CN115797310A (zh) 一种光伏电站组串倾角的确定方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220909

RJ01 Rejection of invention patent application after publication