CN109191379B - 一种全景拼接的语义标注方法、系统、终端和存储介质 - Google Patents

一种全景拼接的语义标注方法、系统、终端和存储介质 Download PDF

Info

Publication number
CN109191379B
CN109191379B CN201810833831.5A CN201810833831A CN109191379B CN 109191379 B CN109191379 B CN 109191379B CN 201810833831 A CN201810833831 A CN 201810833831A CN 109191379 B CN109191379 B CN 109191379B
Authority
CN
China
Prior art keywords
image
panoramic
stitching
module
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810833831.5A
Other languages
English (en)
Other versions
CN109191379A (zh
Inventor
吴子章
王凡
唐锐
李坤仑
丁丽珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Beijing Zongmu Anchi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zongmu Anchi Intelligent Technology Co ltd filed Critical Beijing Zongmu Anchi Intelligent Technology Co ltd
Priority to CN201810833831.5A priority Critical patent/CN109191379B/zh
Publication of CN109191379A publication Critical patent/CN109191379A/zh
Application granted granted Critical
Publication of CN109191379B publication Critical patent/CN109191379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种全景拼接的语义标注方法、系统、终端和存储介质，包括以下步骤：S01：将连续的若干帧图像使用全景拼接的手段，拼接为一幅全景图像；S02：在全景图像上，进行语义级别的标注，将标注结果保存为相应的坐标结果；S03：根据步骤S01中进行全景拼接的图像映射方法，将前面的标注结果投射回原图像；S04：将投射回原图像的标注结果可视化。本发明对于连续的多帧图像，首先利用一定的全景拼接手段，将多帧图像拼接为一幅全景图像，再进行语义标注，标注完成后再投影回拼接前的每帧图像。这样无需标注每帧图像，减少了工作量，同时利用一定的全景拼接手段，可以保证投射回的图像标注正确。

Description

一种全景拼接的语义标注方法、系统、终端和存储介质
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种全景拼接的语义标注方法、系统、终端 和存储介质。
背景技术
当前，语义分割算法越来越成熟，但是语义分割的数据标注还是有一定的难度，人工标 注每帧图像不但工作量巨大，同时标注质量可能参差不齐。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种全景拼接的语义标注方 法、系统、终端和存储介质，对于连续的多帧图像，首先利用一定的全景拼接手段，将多帧 图像拼接为一幅全景图像，再进行语义标注，标注完成后再投影回拼接前的每帧图像。这样 无需标注每帧图像，减少了工作量，同时利用一定的全景拼接手段，可以保证投射回的图像 标注正确。
一种全景拼接的语义标注方法，包括以下步骤：
S01：将连续的若干帧图像使用全景拼接的手段，拼接为一幅全景图像；
S02：在全景图像上，进行语义级别的标注，将标注结果保存为相应的坐标结果；
S03：根据步骤S01中进行全景拼接的图像映射方法，将前面的标注结果投射回原图像；
S04：将投射回原图像的标注结果可视化。
进一步地，所述步骤S01后还包括利用标注人员对全景拼接图像进行检测，筛选出其中 拼接错误的图像的步骤。
进一步地，所述步骤S04中，可视化结果还包括使用标注人员进行人工检查的步骤，将 投射错误的标注结果筛选出来。
进一步地，所述步骤S05中挑选新的图像序列进行上述过程，要保证与上面的图像序列 有一定长度的交集，即有部分图像是可以连接起来的。这样会使整体标注的结果更加平滑， 过渡阶段不会剧烈抖动。
一种全景拼接的语义标注系统，包括全景拼接模块、语义标注模块、映射模块以及可视 化模块；
所述全景拼接模块用于将连续的若干帧图像拼接为一幅全景图像；
所述语义标注模块用于给全景图像做标注，标注结果保存为相应的坐标结果；
所述映射模块用于将语义标注模块标注的坐标结果映射回原图像；
所述可视化模块用于将映射回原图像的坐标结果可视化的呈现。
进一步地，还包括全景拼接自检模块，所述全景拼接自检模块由标注人员检查全景拼接 的拼接效果是否合格。
进一步地，还包括投影自检模块，所述投影自检模块用于自检投影结果的准确性。
进一步地，还包括连续性自检模块，所述连续性自检模块在一次循环完成后执行；检查 上一次标注完成的若干连续图像和此次标注的若干连续图像中是否有交集，若无交集，则此 次连续图像与上一次标注的图像拼接；若有交集，则此次连续图像与上一次标注完成的图像 拼接。
一种全景拼接的语义标注终端，其特征在于，包括处理器和存储器，所述存储器存储有 程序指令，所述处理器运行程序指令实现上述的方法中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行 时实现上述的方法中的步骤。
如上所述，本发明的具有以下有益效果：对于连续的多帧图像，首先利用一定的全景拼 接手段，将多帧图像拼接为一幅全景图像，再进行语义标注，标注完成后再投影回拼接前的 每帧图像。这样无需标注每帧图像，减少了工作量，同时利用一定的全景拼接手段，可以保 证投射回的图像标注正确。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的 内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具 技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能 产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。 同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便 于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变 更技术内容下，当亦视为本发明可实施的范畴。
参见图1，一种全景拼接的语义标注方法，包括以下步骤：
S01：将连续的若干帧图像使用全景拼接的手段，拼接为一幅全景图像；
S02：在全景图像上，进行语义级别的标注，将标注结果保存为相应的坐标结果；
S03：根据步骤S01中进行全景拼接的图像映射方法，将前面的标注结果投射回原图像；
S04：将投射回原图像的标注结果可视化。
作为优选实施例，所述步骤S01后还包括利用标注人员对全景拼接图像进行检测，筛选 出其中拼接错误的图像的步骤。
作为优选实施例，所述步骤S04中，可视化结果还包括使用标注人员进行人工检查的步 骤，将投射错误的标注结果筛选出来。
作为优选实施例，所述步骤S05中挑选新的图像序列进行上述过程，要保证与上面的图 像序列有一定长度的交集，即有部分图像是可以连接起来的。这样会使整体标注的结果更加 平滑，过渡阶段不会剧烈抖动。
一种全景拼接的语义标注系统，包括全景拼接模块、语义标注模块、映射模块以及可视 化模块；
所述全景拼接模块用于将连续的若干帧图像拼接为一幅全景图像；
所述语义标注模块用于给全景图像做标注，标注结果保存为相应的坐标结果；
所述映射模块用于将语义标注模块标注的坐标结果映射回原图像；
所述可视化模块用于将映射回原图像的坐标结果可视化的呈现。
进一步地，还包括全景拼接自检模块，所述全景拼接自检模块由标注人员检查全景拼接 的拼接效果是否合格。
作为优选实施例，还包括投影自检模块，所述投影自检模块用于自检投影结果的准确性。
作为优选实施例，还包括连续性自检模块，所述连续性自检模块在一次循环完成后执行； 检查上一次标注完成的若干连续图像和此次标注的若干连续图像中是否有交集，若无交集， 则此次连续图像与上一次标注的图像拼接；若有交集，则此次连续图像与上一次标注完成的 图像拼接。
一种全景拼接的语义标注终端，其特征在于，包括处理器和存储器，所述存储器存储有 程序指令，所述处理器运行程序指令实现上述的方法中的步骤。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电 脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器 (包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少 包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件 存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的 实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器 (例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读 存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存 储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该 计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计 算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于 计算机设备的操作系统和各类应用软件，例如实施例中的全景拼接的语义标注的程序代码等。 此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、 微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。 本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行全景拼接的 语义标注程序，以实现实施例中全景拼接的语义标注系统的功能。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行 时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例 如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实 现相应功能。本实施例的计算机可读存储介质用于存储全景拼接的语义标注方法，被处理器执行时实现实施例中的全景拼接的语义标注方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种全景拼接的语义标注方法，其特征在于，包括以下步骤：
S01：将连续的若干帧图像使用全景拼接的手段，拼接为一幅全景图像；
S02：在全景图像上，进行语义级别的标注，将标注结果保存为相应的坐标结果；
S03：根据步骤S01中进行全景拼接的图像映射方法，将前面的标注结果投射回原图像；
S04：将投射回原图像的标注结果可视化；
S05：在一次循环完成后，检查上一次标注完成的若干连续图像和此次标注的若干连续图像中是否有交集，若无交集，则此次连续图像与上一次标注的图像拼接；若有交集，则此次连续图像与上一次标注完成的图像拼接。
2.根据权利要求1所述的全景拼接的语义标注方法，其特征在于，所述步骤S01后还包括利用标注人员对全景拼接图像进行检测，筛选出其中拼接错误的图像的步骤。
3.根据权利要求2所述的全景拼接的语义标注方法，其特征在于，所述步骤S04中，可视化结果还包括使用标注人员进行人工检查的步骤，将投射错误的标注结果筛选出来。
4.根据权利要求3所述的全景拼接的语义标注方法，其特征在于，所述步骤S05中挑选新的图像序列进行S01至S04，要保证与上面的图像序列存在交集，即有部分图像是可以连接起来的。
5.一种全景拼接的语义标注系统，其特征在于，包括全景拼接模块、语义标注模块、映射模块以及可视化模块；
所述全景拼接模块用于将连续的若干帧图像拼接为一幅全景图像；
所述语义标注模块用于给全景图像做标注，标注结果保存为相应的坐标结果；
所述映射模块用于将语义标注模块标注的坐标结果映射回原图像；
所述可视化模块用于将映射回原图像的坐标结果可视化的呈现；
连续性自检模块用于在一次循环完成后执行；检查上一次标注完成的若干连续图像和此次标注的若干连续图像中是否有交集，若无交集，则此次连续图像与上一次标注的图像拼接；若有交集，则此次连续图像与上一次标注完成的图像拼接。
6.根据权利要求5所述的全景拼接的语义标注系统，其特征在于，还包括全景拼接自检模块，所述全景拼接自检模块由标注人员检查全景拼接的拼接效果是否合格。
7.根据权利要求6所述的全景拼接的语义标注系统，其特征在于，还包括投影自检模块，所述投影自检模块用于自检投影结果的准确性。
8.一种全景拼接的语义标注终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如权利要求1至4任一权利要求所述的方法中的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至4任一权利要求所述的方法中的步骤。
CN201810833831.5A 2018-07-26 2018-07-26 一种全景拼接的语义标注方法、系统、终端和存储介质 Active CN109191379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810833831.5A CN109191379B (zh) 2018-07-26 2018-07-26 一种全景拼接的语义标注方法、系统、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810833831.5A CN109191379B (zh) 2018-07-26 2018-07-26 一种全景拼接的语义标注方法、系统、终端和存储介质

Publications (2)

Publication Number Publication Date
CN109191379A CN109191379A (zh) 2019-01-11
CN109191379B true CN109191379B (zh) 2022-03-29

Family

ID=64937569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810833831.5A Active CN109191379B (zh) 2018-07-26 2018-07-26 一种全景拼接的语义标注方法、系统、终端和存储介质

Country Status (1)

Country Link
CN (1) CN109191379B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461972A (zh) * 2019-01-19 2020-07-28 北京初速度科技有限公司 一种地下车库的自动导航驾驶地图更新方法及系统
CN111429518B (zh) * 2020-03-24 2023-10-03 浙江大华技术股份有限公司 一种标注方法、装置、计算设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2555156A1 (en) * 2011-08-05 2013-02-06 ST-Ericsson SA Image mosaicing
US9589350B1 (en) * 2013-05-30 2017-03-07 360 Lab Llc. Utilizing three overlapping images for exposure correction during panoramic image stitching
CN106780334A (zh) * 2016-12-15 2017-05-31 北京奇艺世纪科技有限公司 一种图像分类方法及系统
CN106952225A (zh) * 2017-02-15 2017-07-14 山东科技大学 一种面向森林防火的全景拼接方法
CN107632811A (zh) * 2017-09-30 2018-01-26 威创集团股份有限公司 图像拼接墙的标注方法及图像拼接墙系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903714B2 (en) * 2011-12-21 2014-12-02 Nuance Communications, Inc. Concept search and semantic annotation for mobile messaging
US9330501B2 (en) * 2012-08-20 2016-05-03 Autodesk, Inc. Systems and methods for augmenting panoramic image data with performance related data for a building
US9251421B2 (en) * 2012-09-13 2016-02-02 General Electric Company System and method for generating semantic annotations
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
CN104484666A (zh) * 2014-12-17 2015-04-01 中山大学 一种基于人机交互的图像高级语义解析的方法
US9565521B1 (en) * 2015-08-14 2017-02-07 Samsung Electronics Co., Ltd. Automatic semantic labeling based on activity recognition
US20170103558A1 (en) * 2015-10-13 2017-04-13 Wipro Limited Method and system for generating panoramic images with real-time annotations
CN105930841B (zh) * 2016-05-13 2018-01-26 百度在线网络技术（北京）有限公司 对图像进行自动语义标注的方法、装置与计算机设备
RU2619712C1 (ru) * 2016-05-13 2017-05-17 Общество с ограниченной ответственностью "Аби Девелопмент" Оптическое распознавание символов серии изображений

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2555156A1 (en) * 2011-08-05 2013-02-06 ST-Ericsson SA Image mosaicing
US9589350B1 (en) * 2013-05-30 2017-03-07 360 Lab Llc. Utilizing three overlapping images for exposure correction during panoramic image stitching
CN106780334A (zh) * 2016-12-15 2017-05-31 北京奇艺世纪科技有限公司 一种图像分类方法及系统
CN106952225A (zh) * 2017-02-15 2017-07-14 山东科技大学 一种面向森林防火的全景拼接方法
CN107632811A (zh) * 2017-09-30 2018-01-26 威创集团股份有限公司 图像拼接墙的标注方法及图像拼接墙系统

Also Published As

Publication number Publication date
CN109191379A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN108345882B (zh) 用于图像识别的方法、装置、设备和计算机可读存储介质
CN108984328B (zh) 一种堆栈回溯的方法及装置
CN112417899A (zh) 文字翻译方法、装置、计算机设备和存储介质
CN109191379B (zh) 一种全景拼接的语义标注方法、系统、终端和存储介质
CN107704253B (zh) 控件的文字颜色变换方法、系统及电子装置
CN117194306A (zh) 设备信息显示方法及系统
CN109871205B (zh) 界面代码调整方法、装置、计算机装置及存储介质
CN111752565A (zh) 一种界面生成方法、装置、计算机设备及可读存储介质
CN117407048B (zh) 一种插件化数据处理软件的流程配置方法及系统
CN110908644B (zh) 状态节点的配置方法、装置、计算机设备和存储介质
CN111078529B (zh) 客户端写入模块测试方法、装置、电子设备
US20180278472A1 (en) System and method for performing mass renaming of list of items at run-time with variable differentiation factor
CN111913777A (zh) 信息处理方法、装置、电子设备及存储介质
CN109426497B (zh) 数据嵌入方法、装置、系统以及存储介质
CN111124730A (zh) 一种服务器的错误定位方法、装置及计算机存储介质
CN115761778A (zh) 一种文献重构方法、装置、设备和存储介质
CN113595762B (zh) 一种网卡配置的保存方法及装置
CN115618468A (zh) 基于Revit的门窗大样图快速出图方法、存储介质及设备
CN109582411A (zh) 图形用户界面生成方法、装置、计算机设备及存储介质
CN111610908B (zh) 一种生成框架图的方法、计算机设备及可读存储介质
CN114201207A (zh) 一种资源同步方法、装置、电子设备及存储介质
CN113781275A (zh) 一种教育资源管理方法及服务器
CN112734876A (zh) 图形绘制方法、装置、电子设备及存储介质
CN112559362A (zh) 动态用户界面的自动化测试方法及测试装置
WO2019056857A1 (zh) 一种对多个视图执行不同属性动画的实现方法、装置及存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240906

Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone, No. 366 Shangke Road and No. 10, Lane 55, Chuanhe Road

Patentee after: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd.

Country or region after: China

Address before: 102200 b5-035, maker Plaza, 338 Huilongguan East Street, Changping District, Beijing

Patentee before: BEIJING ZONGMU ANCHI INTELLIGENT TECHNOLOGY CO.,LTD.

Country or region before: China