CN108805201A - 目标图像数据集生成方法及其装置 - Google Patents

目标图像数据集生成方法及其装置 Download PDF

Info

Publication number
CN108805201A
CN108805201A CN201810590027.9A CN201810590027A CN108805201A CN 108805201 A CN108805201 A CN 108805201A CN 201810590027 A CN201810590027 A CN 201810590027A CN 108805201 A CN108805201 A CN 108805201A
Authority
CN
China
Prior art keywords
image
object model
image data
library
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810590027.9A
Other languages
English (en)
Inventor
曹源
康来
郭金林
张翀
于存威
郭石峰
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Chen Han Information Technology Co Ltd
Original Assignee
Hunan Chen Han Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Chen Han Information Technology Co Ltd filed Critical Hunan Chen Han Information Technology Co Ltd
Priority to CN201810590027.9A priority Critical patent/CN108805201A/zh
Publication of CN108805201A publication Critical patent/CN108805201A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标图像数据集生成方法及其装置。该方法包括，获取多个第一图像，并构建第一图像库；自动识别与理解该第一图像库中的多个第一物体模型图像；获取多个第二图像，并构建第二图像库；自动识别与理解该第二图像库中的多个第二物体模型图像；依据关于该多个第一物体模型图像和该多个第二物体模型图像的多个图像视觉效果中的至少一个，得到不同环境模型下及/或不同运动条件下的目标图像数据集。本发明提供的目标图像数据集生成方法及其装置，可快速自动生成海量的定制化学习样本。

Description

目标图像数据集生成方法及其装置
技术领域
本发明涉及一种图像处理方法及其装置，更具体而言，本发明涉及一种目标图像数据集 生成方法及其装置。
背景技术
目前，由于人工智能产业的迅猛发展，深度学习已经在计算机视觉、语音识别、自然语 言处理等领域中取得了突破性进展。深度学习研究的巨大成功很大程度上得益于是否能够取 得优秀的大量训练样本数据集。
目前在世界范围内已经存在大量公开的数据集可供研究评估使用。比如：ImageNet、 MINIST、COCO、PASCAL VOC等等。此外，针对大型数据集的标注，在世界范围内基本都采用 众包形式，使用一些数据集标注工具进行人工标注，以确保样本数据集的高度准确性。较为 常见的标注工具有：BRAT、LambelImage等。这些标注工具都是采用基于已有的二维(2D)图 像或者视频进行人工标注，生成特定格式的数据文件储存训练样本。例如，张小国等描述了 一种图像数据集进行快速获取和标定的方法(张小国,叶绯,王宇,王庆姜.一种深度学习 中图像数据集的快速获取和快速标定方法:CN,201711027026.5[P].2018-04-13.)。此方 法的原生数据来源于已有的视频数据。需要指出的是，针对特定的领域，大量训练样本(特 别是正样本)难以得到。例如，由于军事应用的特殊性，很难得到关于军事领域的大量训练 样本数据集。对于难以获取公开样本数据的特定领域，张小国等并未提出有效的解决途径。
因此，需要提出一种目标图像数据集生成方法及其装置，快速自动生成海量的定制化学 习样本。
发明内容
本发明提供一种目标图像数据集生成方法及其装置，以解决上述技术问题。
本发明一方面提供了一种目标图像数据集生成方法。该方法包括，获取多个第一图像， 并构建第一图像库；自动识别与理解该第一图像库中的多个第一物体模型图像；获取多个第 二图像，并构建第二图像库；自动识别与理解该第二图像库中的多个第二物体模型图像；依 据关于该多个第一物体模型图像和该多个第二物体模型图像的多个图像视觉效果中的至少一 个，得到不同环境模型下及/或不同运动条件下的目标图像数据集。
本发明的另一方面提供了一种目标图像数据集生成装置。该装置包括一个或多个电子电 路，用于执行存储在存储器中的程序以实现根据本发明实施方式的目标图像数据集生成方法。
本发明提供的目标图像数据集生成方法及其装置，可快速自动生成海量的定制化学习样 本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图示出的结构获得其他的附图。
图1为根据发明实施方式的目标图像数据集生成方法的流程图。
图2为根据发明实施方式的融合视觉注意机制算法的流程图。
图3为根据发明实施方式的基于显著性检测的图像目标要素自动分割算法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”、“耦接”等应做广义 理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。“耦接”可以是两个电气元件的直接 连接或者间接连接。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本 发明中的具体含义。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指 示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第 二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可 以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相 互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之 内。
接下来的描述是实现本发明的最佳实施例，其是为了描述本发明原理的目的，并非对本 发明的限制。可以理解地是，本发明实施例可由软件、硬件、固件或其任意组合来实现。
根据本发明的实施方式，提供一种目标图像数据集生成方法及其装置。该方法及装置通 过图像合成技术，生成特定领域的训练样本。该装置可以是利用目标图像数据集生成方法的 任意装置，包括但不限于目标数据集生成及管理平台。
请参考图1，图1为根据发明实施方式的目标图像数据集生成方法的流程图。
在步骤S102中，获取多个第一图像，并构建第一图像库。根据本发明一实施方式，通过 网络爬虫、实景拍摄等方式，获取多个第一图像。第一图像为背景图像，其包括背景物体模 型图像，并且背景物体模型图像的面积占图幅(整个背景图像面积)的50％以上。根据本发 明的一实施方式，背景物体模型图像为海洋区域场景模型图像。也就是说，选择海洋区域为 主的背景图像。为了提高场景识别率，海洋区域要尽量占图幅的50％以上，分辨率至少满足 1024×1024。然而，本发明并非限于此，背景图像也可以包括港口模型图像，或其他背景物 体模型图像。背景图像数据可以通过平台提供的数据库接口录入。
在步骤S104中，自动识别与理解第一图像库中的多个第一物体模型图像。在一个实施方 式中，第一物体模型图像为背景物体模型图像。在此步骤中，进一步包括利用深度学习方法 中的融合视觉注意机制，自动识别与理解第一图像库中的多个第一物体模型图像(例如，海 洋区域场景模型图像)，并对其进行标注。根据本发明一实施方式，为确保数据集的高度准确 性，可以进行一定的人工干预确认。例如，提供图形化输入输出接口，并利用图形化输入输 出接口，手动识别多个第一物体模型图像。
在步骤S106中，获取多个第二图像，并构建第二图像库。第二图像为舰船目标图像(也 称为舰船原始图像)，包括目标物体模型(例如，舰船模型)图像。在一个实施方式中，第二 图像库为舰船目标库。使用数码相机从多个角度拍摄第二物体模型图像的等比例缩放模型。 拍摄角度可以为俯仰角度，或环视角度，角度的数目可以为10×5。然后，第二图像数据可 以通过平台提供的数据库接口录入。第二物体模型图像为舰船模型图像。本发明并非限于此， 第二图像也可以包括其他物体模型图像。根据本发明另一实施方式，利用关于目标物体模型 (例如，舰船模型)三维数字模型，进行多角度渲染获得多个第二图像。根据本发明一实施 方式，第一图像和第二图像的产生方式及来源可不相同。
在步骤S108中，自动识别与理解第二图像库中的多个第二物体模型图像。在一个实施方 式中，第二物体模型图像为舰船模型图像。在此步骤中，进一步包括利用基于显著性检测的 图像目标要素自动分割方法对第二图像库(例如，舰船目标库)中的图片进行目标分割，得 到相应的多个第二物体模型(例如，舰船模型图像)，并对其进行标注。同样，在这个过程中， 为确保数据集的高度准确性，可以进行一定的人工干预确认。
在步骤S110中，依据关于多个第一物体模型图像和多个第二物体模型图像的多个图像视 觉效果中的至少一个，得到不同环境模型下及/或不同运动条件下的目标图像数据集。
在步骤S110中，进一步包括构建多个环境模型，并生成关于多个第一物体模型图像和多 个第二物体模型图像的多个图像视觉效果。根据本发明的一实施方式，基于粒子系统仿真方 法，构建复杂环境雨、雪、云、雾等气象模型，再利用二维纹理映射方法，生成真实感气象 特效。根据本发明的一实施方式，对气动光学效应进行了模拟仿真。在此实施方式中，对流 场热辐射、流场光线追迹、头罩结构及折射率变化分析、头罩热辐射、头罩光线追踪进行仿 真计算，得到光学图像。重点对视觉效果(例如，气象特效及/或运动视觉效果)进行仿真， 得到不同运动速度条件下的合成样本。
根据平台提供的输入接口，根据需求，以第一图像库作为背景库、以第二图像库作为目 标图像库、以环境模型(例如，气象模型)为依托，自定义生成不同环境模型下及/或不同运 动条件下的样本库(即，目标图像数据集)。也就是说，得到以第一图像库为背景的目标图像 数据集。根据本发明的一实施方式，不同运动条件包括低动态条件和高动态条件。根据本发 明的另一实施方式，当第一图像库为海洋、港口图像库，第二图像库为舰船目标库时，得到 以海洋、港口为背景的舰船目标图片数据集。
请参考图2，图2为根据发明实施方式的融合视觉注意机制算法的流程图。具体进行的 融合视觉注意机制算法包括如下步骤：
在步骤S202中，使用空间变换模型，以探测源背景图像(也称为原始图像、或原始背景 图像)中对背景物体模型图像区分有贡献的区域或目标。在模型中，对空间变换的6个参数 所构成的仿射变换进行如下约束：
其中，Sx，Sy分别表示注意窗口在x-轴、y-轴方向上相比于源背景图像的缩放比例；tx， ty分别表示注意窗口中心位置在x-轴、y-轴方向上的移动。
此时，作为视觉注意模型，基于点的变换可以表示为：
在式(2)中，表示在源坐标系下输入的特征图中的采样点的坐标，表示在目标 坐标系中对应的变换以后的采样点的坐标。在前述两个坐标系中，均使用高度和宽带标准化 以后的坐标系，即的取值区间为[-1，1]。
然后，设置多个并行的基于空间变换的视觉注意流来探测源背景图像中对场景类别区分 有贡献的区域或目标。也就是说，设置多个并行的基于空间变换的视觉注意流来探测源背景 图像中对背景物体模型图像区分有贡献的区域或目标。
在步骤S204中，建立定位子网络，以得到视觉注意窗口对应的区域。为了能够获得更 多的原始背景图像中的细节信息，首先使用B样条差值算法，将输入的原始图像尺度统一为 454×454×3，将统一尺寸的图像进行预处理后输入定位子网络。首先，经过一个步长为2， 核大小2×2的最大池化层，得到尺寸为227×227×3的降采样图像；接着使用96个11×11 的卷积核进行卷积操作，得到55×55×96的特征图；接着再经过4次卷积操作和2次最大池 化操作。
将通过定位子网络学习得到的N组参数与454×454×3的输入图像同时输入空间变换模 型的栅格生成器和采样器，将从输入图像中得到N个视觉注意窗口对应的区域，这些区域将 分别通过特征提取和分类网络获得各自的特征表示，接着通过特征融合增强特征的表达能力， 最终利用融合得到的特征表示完成对源背景图像中包含的场景种类的分类任务(即，自动识 别与理解多个背景物体模型图像)。
在步骤S206中，在视觉注意窗口对应的区域中，构建特征提取与分类子网络，以识别 背景物体模型图像。在此步骤中，特征提取与分类子网络将完成特征提取、融合和场景分类， 得到源背景图像的场景(即，背景物体模型图像)的识别标签，如海洋、港口等。
若识别率并未达到100％，则通过平台提供的背景目标查询和背景目标标注模块进行人工 干预，进一步标注背景目标数据(即，背景物体模型图像)，再录入数据库。
请参考图3，图3为根据发明实施方式的基于显著性检测的图像目标要素自动分割算法 的流程图。具体进行的基于显著性检测的图像目标要素自动分割算法包括如下步骤：
在步骤S302中，在第二图像库中，利用色彩增强的Harris角点检测构造前景凸包。
在步骤S304中，利用包含背景区域的超像素作为随机游走模型的吸收节点。为了增强 检测结果的准确性，首先应用简单的线性迭代聚类(Simple Linear IterativeClustering, SLIC)算法将图像划分为Nsup个超像素，其经验值为Nsup＝300。后面的计算均基于超像素进行 计算。然后，利用K-means聚类算法，除掉凸包中的背景区域。
K-means聚类算法的计算步骤，如下所示：
依据凸包内各超像素的L，A，B特征值将凸包内的超像素分为K类。根据本发明的一实 施方式，K＝4。然后，结合边界先验理论，将凸包内每个超像素与图像四周的超像素进行对比， 计算凸包内各超像素距边界超像素的色彩欧式距离。此处假定边界的超像素更有可能成为背 景。凸包内各超像素与边界差异越大，则其显著值越高。设置凸包外超像素显著值全为0， 以用于抑制背景区域。若凸包外可能存在的其他显著对象，则在后面的计算中逐步将这些其 他显著对象添加进凸包内。利用公式(5)，计算凸包内第k个聚类中的第i个超像素的显著 值。其中，0<k≤K。
其中，Nedge代表边界超像素总的个数，‖ci，cj‖是第i个和第j个超像素在CIELab颜色 空间中的欧氏距离，依照经验设置平衡权重β＝10。取凸包内第k个聚类的显著值为聚类内所有超像素的显著值均值，如下所示：
其中，代表第k个聚类中超像素总数量，Sk(i)代表第k个聚类中第i个超像素的显著值。
考虑到凸包覆盖的范围可能有些部分并不是显著对象，而是在构造凸包时添加进来的背 景区域，利用公式(6)对凸包内聚类进行一定的优化。若凸包内各聚类的显著值都不小于0.6， 则我们认为凸包内区域有很大可能性接近于正规的多边形，此时凸包内区域几乎都是前景区 域，无需做进一步处理；若显著值小于0.6，则进行归一化操作，使显著值最低的聚类区域 显著值为0，以便有效去除了凸包内的背景区域，并同时增加了前景区域的显著值。计算公 式如下所示：
其中，min(Sk)表示K个聚类中的最小显著值，max(Sk)表示K个聚类中的最大显著值。通过凸包内聚类处理，可以使得在去除背景区域后，获得的前景区域几乎不包含背景像素，从而更加接近于真值图。
在步骤S306中，利用随机游走模型来计算整幅图像中超像素的显著值，以进一步增加 凸包内超像素显著值的准确性，计算步骤如下：
首先，建立一个图模型G＝(V，E)，其中V代表图中所有超像素，E代表超像素间连边。根据本发明的实施方式，在图模型G中，使得每个超像素与它的直接邻居还有它邻居的邻居(即两跳邻居)都相邻。另外，使得所有边界的超像素彼此相邻，相邻超像素间存在边相连。在此实施方式中，建立顶点V间的一个邻接矩阵其中，Nsup表示超像素的数目，没有边连接的位置Wij＝0，有边连接的位置权值计算如公式(8)：
其中，‖ci，cj‖表示相邻两超像素i和j之间CIELab颜色空间中的欧式距离，依照经验 设置
为了得到更加准确的前景吸收节点，通过前面计算可得到的凸包内精准前景区域中超像 素的平均显著值Save，将前景区域中超像素显著值大于0.6Save的超像素视为随机游走模型的 吸收节点，将所有超像素视为转移节点，构造随机游走模型转移矩阵P的标准格式如公式(9) 所示：
其中，Q表示转移节点间的概率转移矩阵，并且Q＝D-1W。Q中元素Qij表示从第i 个节点转移到第j个转移节点的概率，R表示转移节点与吸收节点间的转移概率矩阵，并且 R＝D-1A。R中元素Rij表示从第i个节点转移到第j个吸收节点的概率。这里Nabsorb表示吸收节点的数目，aij表示第i个超像素与第j个吸收节 点间的连接权值。D＝D1+D2，D1是图G的度矩阵， 表示邻接矩阵W中第i行的和。 表示权值矩阵A中第i行的和。0表示Nabsorb×Nsup阶的0矩阵，I表示 Nabsorb×Nabsorb阶的单位矩阵。
转移矩阵P的基本矩阵N的计算如公式(10)所示：
N＝(I1-Q)-1 (10)
其中，I1表示与Q同维度的单位矩阵，矩阵N的每个元素Nij表示节点i经过转移节点j可以到达吸收节点的次数。
随机游走模型的吸收概率矩阵B可以表示为公式(11)：
B＝NR (11)
其中，B中每一个元素bij表示从节点i转移到吸收节点j的概率。接下来我们对吸收概 率矩阵B进行行内排序，使得矩阵B每行从左到右显著值递减，并取前40％的显著值相加作 为每一行所对应超像素的显著值。如公式(12)所示：
其中，SB(i)表示第i个超像素的显著值，其中0≤i≤Nsup。表示行排序后矩阵B中第i行第j列的值，Nabsorb表示吸收节点的数目。
在步骤S308中，聚类内显著传播计算超像素前景概率。
由于超像素显著值分别进行计算，可能造成即使属于同一区域的超像素间显著值不连续。 为了解决该问题，使用K-means算法划分为K1类(经验性设置K1＝8)，然后在每一个聚类内 综合考虑其他超像素的影响来优化每个超像素的显著值，减少单个超像素显著值计算不准确 的可能性。首先，设置每个超像素i的显著值为Spro(i)＝SB(i)，每个超像素聚类内传播后 显著值的计算公式如公式(13)，(14)所示：
其中代表利用聚类内显著值传播机制优化后第K1个聚类内第i个超像素的显著 值，代表传播之前第K1个聚类内第i个超像素的显著值。μ1代表自身显著值的影响 权重，μ2代表与超像素在同一个聚类内其他超像素的影响权重，这里μ1，μ2我们均取值为0.5。nk代表第k个聚类内超像素数目。表示同在第K1个聚类中的第i个超像素与第j个超像素间的关联权值。表示同在第K1个聚类中的第i个超像素与第j个超像 素间的CIELab颜色欧式距离。表示CIELab空间中3个维度方差和的均值。进而我们得到 整幅图中第i个超像素前景概率fgPro(SPi)计算公式如下：
其中，整幅图中第i个超像素与第K1个聚类内第j个超像素为同一超像素。
在步骤S310中，依据边界连通性，计算超像素背景概率。
计算图像中各超像素的边界连通性，连通性越低的位置背景概率便越低；连通性越高的 地方，背景概率越高。每个区块的边界连通性，计算公式如下：
其中，RGm代表图像中第m个区块，bdconn(RGm)代表第m个区域的边界连通性，SPi代表图像中第i个超像素，BD代表边界区域。即同时在第m个区块及边界上的超像素数目与 在第m个区块中超像素数目开平方的比值表示了区块m的边界连通性。
接着计算各区块中超像素的边界连通性。计算公式如下：
bdconn(SPi)＝bdconn(RGm).(SPi∈RGm) (17)
其中，超像素i的边界连通性与其所在区块m的边界连通性相同。一个超像素的边界连 通性越高，该超像素是背景的概率就会越高。定义各超像素的背景概率计算公式如下：
其中，bdPro(SPi)代表第i个超像素的背景概率。经验性设置σ4＝1。
在步骤S312中，综合分析边界连通性与局部对比性。
为了充分利用局部对比性的特征与边界连通性的特征，综合两种特征的优势，利用以下 公式来对超像素的前景概率fgPro(SPi)与背景概率bdPro(SPi)进行融合：
其中，Si,Sj(i,j＝1,2,...,Nsup)为优化后的超像素显著值，cost为代价函数。代价函数(19) 旨在使得总体代价最低。fgPro(SPi)表示超像素i的前景概率，取值为公式(20)中超像素i传 播后的显著值。Wij为超像素i,j间的相似系数，||ci,cj||为超像素i,j间CIELab色彩空间欧氏 距离。λ是常量，取值为0.1，σ5＝10。代价函数(19)等式右边第一项使得超像素i的前景 概率比较大时，显著值Si更接近于1；等式右边第二项使得超像素i的背景概率比较大时，显 著值Si更接近于0；等式右边第三项是平滑项，相邻超像素i,j差异越大，彼此影响就越小， 该项使得显著图连续性更好。
在步骤S314中，抑制背景超像素，使其显著值更低，并得到最终显著图。如下所示：
其中，S*(i)为最终显著图中第i个超像素显著值，t为阈值，这里取t＝0.6。其中，最终 显著图为蒙版图像，其尺寸大小与第二图像(例如，舰船目标图像，也称为船舰原始图像) 尺寸大小相同。将该蒙版图像与第二图像进行叠加，以获得第二物体模型图像(例如，舰船 模型图像)。经过叠加处理，第二物体模型图像的背景透明。接下来，通过平台提供的舰船 目标查询和舰船目标标注模块进行人工干预，进一步标注舰船目标数据。
根据本发明的一实施方式，基于深度学习方法中的融合视觉注意机制，自动识别与理解 图像库中的物体模型图像。根据本发明的另一实施方式，基于显著性检测的图像目标要素自 动分割方法，对图像库中的图像进行目标分割，得到相应物体模型图像。根据本发明的另一 实施方式，构建了复杂的环境模型，并在不同运动条件下进行了仿真。根据本发明的又一实 施方式，提供了各种图形化输入输出接口，可处理过程中进行人工干预，提高了数据集的准 确性。
需要说明的是，本领域技术人员可以在不脱离本发明基本原理的前提下，对本发明实施 方式揭示的各个步骤的进行重排列、拆分、或组合。
根据本发明的又一实施方式，目标图像数据集生成装置包括一个或多个电子电路。这些 电子电路控制目标图像数据集生成的相关操作，其可以由处理器来实现，处理器还可以称为CPU(Central Processing Unit，中央处理单元)。这些电子电路可能是一种集成电路芯片， 具有信号的处理能力。这些电子电路还可以是通用处理器、数字信号处理器(DSP)、专用集 成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻 辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理 器等。在此实施方式中，这些电子电路用于执行计算机指令以实现本发明上述实施方式中任 一个以及任意不冲突的组合所提供的目标图像数据集生成方法。
根据本发明的又一实施方式，目标图像数据集生成装置包括存储器。其中，存储器存储 有计算机指令，该计算机指令被执行时实现本发明上述实施方式中任一个以及任意不冲突的 组合所提供的目标图像数据集生成方法。存储器可以包括只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、闪存(FlashMemory)、硬盘、 光盘等。
以上该仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发 明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关 的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种目标图像数据集生成方法，其特征在于，包括：
获取多个第一图像，并构建第一图像库；
自动识别与理解该第一图像库中的多个第一物体模型图像；
获取多个第二图像，并构建第二图像库；
自动识别与理解该第二图像库中的多个第二物体模型图像；
依据关于该多个第一物体模型图像和该多个第二物体模型图像的多个图像视觉效果中的至少一个，得到不同环境模型下及/或不同运动条件下的目标图像数据集。
2.根据权利要求1所述的目标图像数据集生成方法，其特征在于，进一步包括：
构建多个环境模型，并生成关于该多个第一物体模型图像和该多个第二物体模型图像的多个图像视觉效果；
利用气动光学效应进行了模拟仿真，得到不同运动速度条件下的合成样本。
3.根据权利要求2所述的目标图像数据集生成方法，其特征在于，
该第一图像为背景图像；
该第二图像为舰船目标图像；
该第一图像库为背景图像库；
该第二图像库为舰船目标库；
该多个第一物体模型图像为海洋区域场景模型图像，其中，该海洋区域场景模型图像包括港口图像；
该多个第二物体模型图像为舰船模型图像；
该目标图像数据集为以海洋区域场景模型图像为背景的舰船模型图像数据集；
该多个环境模型包括气象环境模型；
该多个图像视觉效果包括气象特效及/或运动视觉效果。
4.根据权利要求1所述的目标图像数据集生成方法，其特征在于，获取第一图像，并构建第一图像库的步骤包括：通过网络爬虫及/或实景拍摄，获取该多个第一图像，构建该第一图像库。
5.根据权利要求1所述的目标图像数据集生成方法，其特征在于，识别与理解该第一图像库中的多个第一物体模型图像的步骤包括：利用深度学习方法中的融合视觉注意机制，自动识别与理解该第一图像库中的多个第一物体模型图像，并对该多个第一物体模型图像进行标注。
6.根据权利要求1所述的目标图像数据集生成方法，其特征在于，识别与理解该多个第二图像库中的该多个第二物体模型图像的步骤包括：利用基于显著性检测的图像目标要素自动分割方法，对该第二图像库中的该多个第二图像进行目标分割，得到该多个第二物体模型图像，并对该多个第二物体模型图像进行标注。
7. 根据权利要求1所述的目标图像数据集生成方法，其特征在于， 依据关于该多个第一物体模型图像和该多个第二物体模型图像的多个图像视觉效果中的至少一个，得到不同运动条件下的目标图像数据集的步骤包括：
提供图形化输入输出接口；以及
利用该图形化输入输出接口输入用户需求，依据关于该多个第一物体模型图像和该多个第二物体模型图像的该多个图像视觉效果中的至少一个的仿真结果，得到不同环境模型下及/或不同运动速度条件下的目标图像数据集。
8.根据权利要求1所述的目标图像数据集生成方法，其特征在于，进一步包括：提供图形化输入输出接口，并利用该图形化输入输出接口，手动识别该多个第一物体模型图像及/或该多个第二物体模型图像。
9.一种目标图像数据集生成装置，其特征在于，该装置包括一个或多个电子电路，用于执行存储在存储器中的程序以实现权利要求1-8种任一项所述的方法。
CN201810590027.9A 2018-06-08 2018-06-08 目标图像数据集生成方法及其装置 Pending CN108805201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810590027.9A CN108805201A (zh) 2018-06-08 2018-06-08 目标图像数据集生成方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810590027.9A CN108805201A (zh) 2018-06-08 2018-06-08 目标图像数据集生成方法及其装置

Publications (1)

Publication Number Publication Date
CN108805201A true CN108805201A (zh) 2018-11-13

Family

ID=64087974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810590027.9A Pending CN108805201A (zh) 2018-06-08 2018-06-08 目标图像数据集生成方法及其装置

Country Status (1)

Country Link
CN (1) CN108805201A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544496A (zh) * 2018-11-19 2019-03-29 南京旷云科技有限公司 训练数据的生成方法、对象检测模型的训练方法和装置
CN110276779A (zh) * 2019-06-04 2019-09-24 华东师范大学 一种基于前后景分割的密集人群图像生成方法
CN110570352A (zh) * 2019-08-26 2019-12-13 腾讯科技（深圳）有限公司 图像标注方法、装置、系统及细胞标注方法
CN111428764A (zh) * 2020-03-17 2020-07-17 电子科技大学 一种用于图像类别识别的图像聚类方法
CN112084280A (zh) * 2020-09-04 2020-12-15 广州南方智能技术有限公司 一种多尺度地形的裁剪及拼接方法
CN112613397A (zh) * 2020-12-21 2021-04-06 中国人民解放军战略支援部队航天工程大学 多视角光学卫星遥感影像目标识别训练样本集构建方法
CN116562299A (zh) * 2023-02-08 2023-08-08 中国科学院自动化研究所 文本信息的论元抽取方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129700A (zh) * 2011-03-11 2011-07-20 上海海事大学 一种海洋背景下的红外仿真图像平台及其图像生成方法
CN105976345A (zh) * 2016-04-27 2016-09-28 北京航空航天大学 一种可见光遥感图像合成方法
CN107862702A (zh) * 2017-11-24 2018-03-30 大连理工大学 一种结合边界连通性与局部对比性的显著性检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129700A (zh) * 2011-03-11 2011-07-20 上海海事大学 一种海洋背景下的红外仿真图像平台及其图像生成方法
CN105976345A (zh) * 2016-04-27 2016-09-28 北京航空航天大学 一种可见光遥感图像合成方法
CN107862702A (zh) * 2017-11-24 2018-03-30 大连理工大学 一种结合边界连通性与局部对比性的显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUXUAN GUO，ET AL: "An Attention Model Based on Spatial Transformers for Scene Recognition", 《23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544496A (zh) * 2018-11-19 2019-03-29 南京旷云科技有限公司 训练数据的生成方法、对象检测模型的训练方法和装置
CN110276779A (zh) * 2019-06-04 2019-09-24 华东师范大学 一种基于前后景分割的密集人群图像生成方法
CN110570352A (zh) * 2019-08-26 2019-12-13 腾讯科技（深圳）有限公司 图像标注方法、装置、系统及细胞标注方法
CN111428764A (zh) * 2020-03-17 2020-07-17 电子科技大学 一种用于图像类别识别的图像聚类方法
CN111428764B (zh) * 2020-03-17 2022-06-03 电子科技大学 一种用于图像类别识别的图像聚类方法
CN112084280A (zh) * 2020-09-04 2020-12-15 广州南方智能技术有限公司 一种多尺度地形的裁剪及拼接方法
CN112084280B (zh) * 2020-09-04 2023-07-21 广州南方智能技术有限公司 一种多尺度地形的裁剪及拼接方法
CN112613397A (zh) * 2020-12-21 2021-04-06 中国人民解放军战略支援部队航天工程大学 多视角光学卫星遥感影像目标识别训练样本集构建方法
CN112613397B (zh) * 2020-12-21 2022-11-29 中国人民解放军战略支援部队航天工程大学 多视角光学卫星遥感影像目标识别训练样本集构建方法
CN116562299A (zh) * 2023-02-08 2023-08-08 中国科学院自动化研究所 文本信息的论元抽取方法、装置、设备及存储介质
CN116562299B (zh) * 2023-02-08 2023-11-14 中国科学院自动化研究所 文本信息的论元抽取方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108805201A (zh) 目标图像数据集生成方法及其装置
Cao et al. Adversarial objects against lidar-based autonomous driving systems
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
Wang et al. Modeling indoor spaces using decomposition and reconstruction of structural elements
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Budroni et al. Automatic 3D modelling of indoor manhattan-world scenes from laser data
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
Yeum et al. Autonomous image localization for visual inspection of civil infrastructure
CN104134234A (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
Huang et al. LiDARTag: A real-time fiducial tag system for point clouds
Ying et al. A mask R-CNN based approach to automatically construct as-is IFC BIM objects from digital images
Axelsson et al. Roof type classification using deep convolutional neural networks on low resolution photogrammetric point clouds from aerial imagery
CN113686314A (zh) 船载摄像头的单目水面目标分割及单目测距方法
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Cai et al. Semantic segmentation of terrestrial laser scanning point clouds using locally enhanced image-based geometric representations
Li et al. 3DCentripetalNet: Building height retrieval from monocular remote sensing imagery
Wu et al. TAL: Topography-aware multi-resolution fusion learning for enhanced building footprint extraction
Wang et al. Instance segmentation of point cloud captured by RGB-D sensor based on deep learning
CN114639115A (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
Xie et al. Automatic indoor building reconstruction from mobile laser scanning data
Zhang et al. Robust water level measurement method based on computer vision
CN110211190B (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
Tao et al. An efficient 3D object detection method based on fast guided anchor stereo RCNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113