CN116630633B - 语义分割自动标注方法、系统、存储介质及电子设备 - Google Patents
语义分割自动标注方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116630633B CN116630633B CN202310920399.4A CN202310920399A CN116630633B CN 116630633 B CN116630633 B CN 116630633B CN 202310920399 A CN202310920399 A CN 202310920399A CN 116630633 B CN116630633 B CN 116630633B
- Authority
- CN
- China
- Prior art keywords
- text
- image
- input image
- acquiring
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种语义分割自动标注方法、系统、存储介质及电子设备，所述方法包括以下步骤：获取输入图像；获取所述输入图像的文本特征；获取所述输入图像的图像特征；基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息。本发明的语义分割自动标注方法、系统、存储介质及电子设备能够自动生成图像的掩膜，从而实现语义分割的自动标注。
Description
技术领域
本发明属于图像处理的技术领域，特别是涉及一种语义分割自动标注方法、系统、存储介质及电子设备。
背景技术
在计算机视觉领域中，语义分割（semantic segmentation）是一个很重要的研究方向，语义分割为场景理解提供了比较高层级的信息。语意分割是对图像中的每一个像素进行分类，在很多领域和场景中都有重要的应用。例如，自动驾驶系统、人机交互系统、移动设备的摄影、图像搜索引擎以及增强现实应用。在自动驾驶系统中，语义分割技术能够很好地对街景图像进行识别和理解，输出更加真实的场景图，并使得自动驾驶系统可以做出更加安全可靠的行驶操作；在无人机应用，语义分割技术有利于无人机更加精准地定位着落点的位置；在穿戴式设备应用中，语义分割技术能够提高穿戴设备识别周围物体的精确度，从而提高人们对穿戴设备的体验感受。
通常，语义分割方法通常采用监督学习的学习方式。为保证监督学习的语义分割方法的精确度，需要训练样本图像中的像素级标注结果，在此标注过程中需要耗费过多的人力物力。
现有技术中，语义分割通常采用语义分割标注工具abelme进行多边形的标注。然而，上述标注方法存在以下问题。
（1）需要人工手动操作，导致人工成本高。
（2）只能利用图像本身的信息，无法利用文本、语音信息引入跨模态信息，导致标注效果不佳。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种语义分割自动标注方法、系统、存储介质及电子设备，能够自动生成图像的掩膜，从而实现语义分割的自动标注。
第一方面，本发明提供一种语义分割自动标注方法，所述方法包括以下步骤：获取输入图像；获取所述输入图像的文本特征；获取所述输入图像的图像特征；基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息。
在第一方面的一种实现方式中，获取所述输入图像的文本特征包括以下步骤：
基于BLIP模型获取所述输入图像的图像描述；
基于BERT+LSTM+CRF模型获取所述图像描述的多个实体标签；
合并所述多个实体标签，获取合并文本；
基于BERT模型从所述合并文本提取所述文本特征。
在第一方面的一种实现方式中，还包括获取所述输入图像的描述文本，并通过合并所述多个实体标签和所述描述文本来获取所述合并文本。
在第一方面的一种实现方式中，还包括获取所述输入图像的描述语音，获取所述描述语音对应的语音文本，并通过合并所述多个实体标签和所述语音文本来获取所述合并文本。
在第一方面的一种实现方式中，获取所述输入图像的图像特征包括以下步骤：
基于VIT模型获取所述输入图像的图像特征。
在第一方面的一种实现方式中，基于所述文本特征和所述图像特征获取所述输入图像的掩码包括以下步骤：
对所述文本特征和所述图像特征进行求和，获取特征和；
基于所述特征和获取所述输入图像的物体坐标框信息；
将所述物体坐标框信息映射为特征坐标框信息；
对所述特征坐标框信息、所述图像特征和所述文本特征进行交叉注意力特征融合，获取融合特征；
将所述融合特征经过多次二维反卷积和全连接网络获取所述掩码。
在第一方面的一种实现方式中，基于所述特征和获取所述输入图像中物体的坐标框信息包括以下步骤：
将所述特征和经过多次自注意力机制和二维卷积后输入分类全连接网络，获取第一坐标框信息；
将所述特征和经过多次自注意力机制和二维卷积后输入回归全连接网络，获取第二坐标框信息；
由所述第一坐标框信息和所述第二坐标框信息组成所述坐标框信息。
第二方面，本发明提供一种语义分割自动标注系统，所述系统包括图像获取模块、文本特征获取模块、图像特征获取模块和标注模块；
所述图像获取模块用于获取输入图像；
所述文本特征获取模块用于获取所述输入图像的文本特征；
所述图像特征获取模块用于获取所述输入图像的图像特征；
所述标注模块用于基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息。
第三方面，本发明提供一种电子设备，所述电子设备包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的语义分割自动标注方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现上述的语义分割自动标注方法。
如上所述，本发明所述的语义分割自动标注方法、系统、存储介质及电子设备，具有以下有益效果。
本发明所述的语义分割自动标注方法、系统、存储介质及电子设备能够自动生成图像的掩膜，从而实现语义分割的自动标注，且标注时可以增加文本、语音信息，从而实现跨模态信息引入，提升了标注效果。
附图说明
图1显示为本发明的电子设备于一实施例中的场景示意图。
图2显示为本发明实施例所述的语义分割自动标注方法于一实施例中的流程图。
图3显示为本发明实施例所述的基于所述文本特征和所述图像特征获取所述输入图像的掩码于一实施例中的流程图。
图4显示为本发明实施例所述的语义分割自动标注系统于一实施例中的结构示意图。
图5显示为本发明的电子设备于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明以下实施例提供了语义分割自动标注方法，其可应用于如图1所示的电子设备。本发明中所述电子设备可以包括具备无线充电功能的手机11、平板电脑12、笔记本电脑13、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(VirtualReality，VR)设备、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等，本发明实施例对电子设备的具体类型不作任何限制。
例如，所述电子设备可以是具备无线充电功能的 WLAN 中的站点(STAION，ST)，可以是具备无线充电功能的蜂窝电话、无绳电话、会话启动协议(SessionInitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具备无线充电功能的手持设备、计算设备或其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G 网络中的移动终端、未来演进的公共陆地移动网络(PublicLand Mobile Network，PLMN)中的移动终端或者未来演进的非地面网络（Non-terrestrial Network，NTN）中的移动终端等。
例如，所述电子设备可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobilecommunication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)、BT，GNSS，WLAN，NFC，FM，和/或 IR 技术等。所述 GNSS可以包括全球卫星定位系统 (Global Positioning System，GPS)，全球导航卫星系统(Global Navigation Satellite System，GLONASS)，北斗卫星导航系统(BeiDounavigation Satellite System，BDS)，准天顶卫星系统(Quasi-Zenith SatelliteSystem，QZSS)和/或星基增强系统(Satellite Based Augmentation Systems，SBAS)。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
如图2所示，于一实施例中，本发明的语义分割自动标注方法包括步骤S1-步骤S4。
步骤S1、获取输入图像。
具体地，首先获取需要进行语义分割标注的输入图像。所述输入图像可以是由图像生成装置，如相机等生成，也可以从网络获取。
步骤S2、获取所述输入图像的文本特征。
具体地，获取所述输入图像的文本特征包括以下步骤。
21）基于BLIP模型获取所述输入图像的图像描述。
其中，BLIP（Bootstrapping Language-Image Pre-training）模型一个全新的VLP框架，其采用Visual Transformer作为图像编码器，将输入的图像划分为patch，然后将patches编码为一个embedding序列，并用一个额外的[CLS]标记来代表全局图像特征。与使用预训练的目标检测器进行视觉特征提取相比，使用ViT更便于计算，并且已经逐渐成为主流。
在本发明中，将所述输入图像输入所述BLIP模型，所述BLIP模型输出对应的图像描述。所述图像描述是指针对所述输入图像的描述信息，包括输入图像中涉及的物体、地点、事件等信息。例如，所述图像描述可以为什么人在什么地方做什么事情。
22）基于BERT+LSTM+CRF模型获取所述图像描述的多个实体标签。
其中，本发明中采用命名实体识别模型，即BERT+LSTM+CRF模型来提取所述图像描述对应的多个实体标签。将所述图像描述输入所述BERT+LSTM+CRF模型，所述BERT+LSTM+CRF模型即可输出对应的实体标签tag1、tag2…tagN。
23）合并所述多个实体标签，获取合并文本。
其中，采用concat函数对所述多个实体标签进行合并，得到合并文本text_concat。
于一实施例中，本发明的语义分割自动标注方法在标注时还可以增加文本和/或语音信息。
在增加所述文本信息时，首先获取所述输入图像的描述文本text_input，通过concat函数合并所述多个实体标签tag1、tag2…tagN和所述描述文本text_input来获取所述合并文本text_concat。
在增加所述语音信息时，首先获取所述输入图像的描述语音，通过conformer模型获取所述描述语音对应的语音文本text_speech，最后通过concat函数合并所述多个实体标签tag1、tag2…tagN和所述语音文本text_speech来获取所述合并文本text_concat。
24）基于BERT模型从所述合并文本提取所述文本特征。
其中，BERT（Bidirectional Encoder Representations from Transformers） 是一个语言表示模型(language representation model)。将所述合并文本输入BERT模型，所述BERT模型输出对应的文本特征feature_text。
步骤S3、获取所述输入图像的图像特征。
具体地，基于VIT（Vision Transformer）模型获取所述输入图像的图像特征feature_image。
步骤S4、基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息。
具体地，如图3所示，基于所述文本特征和所述图像特征获取所述输入图像的掩码包括以下步骤。
41）对所述文本特征和所述图像特征进行求和，获取特征和。
其中，对所述文本特征feature_text和所述图像特征feature_image通过SUM函数进行求和，得到特征和feature_sum。
42）基于所述特征和获取所述输入图像的物体坐标框信息。
其中，基于所述特征和获取所述输入图像中物体的坐标框信息包括以下步骤。
A）将所述特征和经过多次自注意力机制和二维卷积后输入分类全连接网络，获取第一坐标框信息。
其中，所述特征和feature_sum输入连续的自注意力机制self-attention和二维卷积2D conv后，输入分类全连接网络FC（class），从而得到所述第一坐标框信息。
B）将所述特征和经过多次自注意力机制和二维卷积后输入回归全连接网络，获取第二坐标框信息。
其中，所述特征和feature_sum输入连续的自注意力机制self-attention和二维卷积2D conv后，输入回归全连接网络FC（box），从而得到所述第二坐标框信息。
C）由所述第一坐标框信息和所述第二坐标框信息组成所述坐标框信息box。
43）将所述物体坐标框信息映射为特征坐标框信息。
其中，将所述特征坐标框信息box信息通过全连接网络FC映射为特征坐标框信息feature_box。
44）对所述特征坐标框信息、所述图像特征和所述文本特征进行交叉注意力特征融合，获取融合特征。
其中，将所述特征坐标框信息feature_box作为Q，所述图像特征feature_image作为V，所述文本特征feature_text作为K，进行通过cross-attention机制进行交叉注意力特征融合，得到融合特征feature_fusion。其中，Query表示输入信息，具有引导作用；Key表示内容信息，代表其他待匹配的内容；Value表示信息本身，只是单纯表达输入特征的信息。
45）将所述融合特征经过多次二维反卷积和全连接网络获取所述掩码。
其中，将所述融合特征feature_fusion输入连续的二维反卷积2D transposeconv二号全连接网络FCclass，得到所述输入图像的掩码，即标注信息。
本发明实施例所述的语义分割自动标注方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明实施例还提供一种语义分割自动标注系统，所述语义分割自动标注系统可以实现本发明所述的语义分割自动标注方法，但本发明所述的语义分割自动标注系统的实现装置包括但不限于本实施例列举的语义分割自动标注系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
如图4所示，于一实施例中，本发明的语义分割自动标注系统包括图像获取模块41、文本特征获取模块42、图像特征获取模块43和标注模块44。
所述图像获取模块41用于获取输入图像。
所述文本特征获取模块42与所述图像获取模块41相连，用于获取所述输入图像的文本特征。
所述图像特征获取模块43与所述图像获取模块41相连，用于获取所述输入图像的图像特征。
所述标注模块44与所述文本特征获取模块42和所述图像特征获取模块43相连，用于基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息。
其中，图像获取模块41、文本特征获取模块42、图像特征获取模块43和标注模块44的结构和原理与上述语义分割自动标注方法中的步骤一一对应，故在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本发明实施例的目的。例如，在本发明各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性（non-transitory）介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带（magnetic tape），软盘（floppy disk），光盘（optical disc）及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。
本发明实施例还提供了一种电子设备。所述电子设备包括处理器和存储器。
所述存储器用于存储计算机程序。
所述存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的语义分割自动标注方法。
优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图5所示，本发明的电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器或者处理单元51，存储器52，连接不同系统组件（包括存储器52和处理单元51）的总线53。
总线53表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器52可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）521和/或高速缓存存储器522。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统523可以用于读写不可移动的、非易失性磁介质（图5未显示，通常称为“硬盘驱动器”）。尽管图5中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM ，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线53相连。存储器52可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块5241的程序/实用工具524，可以存储在例如存储器52中，这样的程序模块5241包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5241通常执行本发明所描述的实施例中的功能和/或方法。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备、显示器等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口54进行。并且，电子设备还可以通过网络适配器55与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图5所示，网络适配器55通过总线53与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种语义分割自动标注方法，其特征在于，所述方法包括以下步骤：
获取输入图像；
获取所述输入图像的文本特征；
获取所述输入图像的图像特征；
基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息；
获取所述输入图像的文本特征包括以下步骤：
基于BLIP模型获取所述输入图像的图像描述；
基于BERT+LSTM+CRF模型获取所述图像描述的多个实体标签；
合并所述多个实体标签，获取合并文本；
基于BERT模型从所述合并文本提取所述文本特征；
基于所述文本特征和所述图像特征获取所述输入图像的掩码包括以下步骤：
对所述文本特征和所述图像特征进行求和，获取特征和；
基于所述特征和获取所述输入图像的物体坐标框信息；
将所述物体坐标框信息映射为特征坐标框信息；
对所述特征坐标框信息、所述图像特征和所述文本特征进行交叉注意力特征融合，获取融合特征；
将所述融合特征经过多次二维反卷积和全连接网络获取所述掩码；
基于所述特征和获取所述输入图像中物体的坐标框信息包括以下步骤：
将所述特征和经过多次自注意力机制和二维卷积后输入分类全连接网络，获取第一坐标框信息；
将所述特征和经过多次自注意力机制和二维卷积后输入回归全连接网络，获取第二坐标框信息；
由所述第一坐标框信息和所述第二坐标框信息组成所述坐标框信息。
2.根据权利要求1所述的语义分割自动标注方法，其特征在于：还包括获取所述输入图像的描述文本，并通过合并所述多个实体标签和所述描述文本来获取所述合并文本。
3.根据权利要求1所述的语义分割自动标注方法，其特征在于：还包括获取所述输入图像的描述语音，获取所述描述语音对应的语音文本，并通过合并所述多个实体标签和所述语音文本来获取所述合并文本。
4.根据权利要求1所述的语义分割自动标注方法，其特征在于：获取所述输入图像的图像特征包括以下步骤：
基于VIT模型获取所述输入图像的图像特征。
5.一种语义分割自动标注系统，其特征在于，所述系统包括图像获取模块、文本特征获取模块、图像特征获取模块和标注模块；
所述图像获取模块用于获取输入图像；
所述文本特征获取模块用于获取所述输入图像的文本特征；
所述图像特征获取模块用于获取所述输入图像的图像特征；
所述标注模块用于基于所述文本特征和所述图像特征获取所述输入图像的掩码，以将所述掩码作为所述输入图像的标注信息；
获取所述输入图像的文本特征包括以下步骤：
基于BLIP模型获取所述输入图像的图像描述；
基于BERT+LSTM+CRF模型获取所述图像描述的多个实体标签；
合并所述多个实体标签，获取合并文本；
基于BERT模型从所述合并文本提取所述文本特征；
基于所述文本特征和所述图像特征获取所述输入图像的掩码包括以下步骤：
对所述文本特征和所述图像特征进行求和，获取特征和；
基于所述特征和获取所述输入图像的物体坐标框信息；
将所述物体坐标框信息映射为特征坐标框信息；
对所述特征坐标框信息、所述图像特征和所述文本特征进行交叉注意力特征融合，获取融合特征；
将所述融合特征经过多次二维反卷积和全连接网络获取所述掩码；
基于所述特征和获取所述输入图像中物体的坐标框信息包括以下步骤：
将所述特征和经过多次自注意力机制和二维卷积后输入分类全连接网络，获取第一坐标框信息；
将所述特征和经过多次自注意力机制和二维卷积后输入回归全连接网络，获取第二坐标框信息；
由所述第一坐标框信息和所述第二坐标框信息组成所述坐标框信息。
6.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至4中任一项所述的语义分割自动标注方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至4中任一项所述的语义分割自动标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310920399.4A CN116630633B (zh) | 2023-07-26 | 2023-07-26 | 语义分割自动标注方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310920399.4A CN116630633B (zh) | 2023-07-26 | 2023-07-26 | 语义分割自动标注方法、系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630633A CN116630633A (zh) | 2023-08-22 |
| CN116630633B true CN116630633B (zh) | 2023-11-07 |
Family
ID=87613921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310920399.4A Active CN116630633B (zh) | 2023-07-26 | 2023-07-26 | 语义分割自动标注方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630633B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984769A (zh) * | 2020-06-30 | 2020-11-24 | 联想(北京)有限公司 | 一种应答系统的信息处理方法及装置 |
| CN112364709A (zh) * | 2020-10-20 | 2021-02-12 | 浙江工业大学 | 基于编码识别的机柜智能资产盘点方法 |
| CN113435438A (zh) * | 2021-06-28 | 2021-09-24 | 中国兵器装备集团自动化研究所有限公司 | 一种图像和字幕融合的视频报幕板提取及视频切分方法 |
| CN113590765A (zh) * | 2021-09-27 | 2021-11-02 | 成都索贝数码科技股份有限公司 | 多模态信息融合广播电视新闻关键词与摘要联合抽取方法 |
| CN115527229A (zh) * | 2022-09-27 | 2022-12-27 | 同济人工智能研究院(苏州)有限公司 | 一种文档图像关键信息提取方法和系统 |
| CN115861616A (zh) * | 2022-12-09 | 2023-03-28 | 复旦大学 | 面向医学图像序列的语义分割系统 |
| CN116071553A (zh) * | 2023-02-16 | 2023-05-05 | 之江实验室 | 基于朴素VisionTransformer的弱监督语义分割方法与装置 |
| CN116152267A (zh) * | 2023-04-24 | 2023-05-23 | 中国民用航空飞行学院 | 基于对比性语言图像预训练技术的点云实例分割方法 |
| CN116167910A (zh) * | 2023-01-03 | 2023-05-26 | 深圳前海环融联易信息科技服务有限公司 | 文本编辑方法、装置、计算机设备及计算机可读存储介质 |
| CN116246213A (zh) * | 2023-05-08 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备以及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11368760B2 (en) * | 2012-08-17 | 2022-06-21 | Flextronics Ap, Llc | Applications generating statistics for user behavior |
| CN111860506B (zh) * | 2020-07-24 | 2024-03-29 | 北京百度网讯科技有限公司 | 识别文字的方法和装置 |
| US20230132061A1 (en) * | 2021-10-22 | 2023-04-27 | International Business Machines Corporation | Information extraction from document corpora |
| CN114168745B (zh) * | 2021-11-30 | 2022-08-09 | 大连理工大学 | 面向环氧乙烷衍生品生产过程的知识图谱构建方法 |
-
2023
- 2023-07-26 CN CN202310920399.4A patent/CN116630633B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984769A (zh) * | 2020-06-30 | 2020-11-24 | 联想(北京)有限公司 | 一种应答系统的信息处理方法及装置 |
| CN112364709A (zh) * | 2020-10-20 | 2021-02-12 | 浙江工业大学 | 基于编码识别的机柜智能资产盘点方法 |
| CN113435438A (zh) * | 2021-06-28 | 2021-09-24 | 中国兵器装备集团自动化研究所有限公司 | 一种图像和字幕融合的视频报幕板提取及视频切分方法 |
| CN113590765A (zh) * | 2021-09-27 | 2021-11-02 | 成都索贝数码科技股份有限公司 | 多模态信息融合广播电视新闻关键词与摘要联合抽取方法 |
| CN115527229A (zh) * | 2022-09-27 | 2022-12-27 | 同济人工智能研究院(苏州)有限公司 | 一种文档图像关键信息提取方法和系统 |
| CN115861616A (zh) * | 2022-12-09 | 2023-03-28 | 复旦大学 | 面向医学图像序列的语义分割系统 |
| CN116167910A (zh) * | 2023-01-03 | 2023-05-26 | 深圳前海环融联易信息科技服务有限公司 | 文本编辑方法、装置、计算机设备及计算机可读存储介质 |
| CN116071553A (zh) * | 2023-02-16 | 2023-05-05 | 之江实验室 | 基于朴素VisionTransformer的弱监督语义分割方法与装置 |
| CN116152267A (zh) * | 2023-04-24 | 2023-05-23 | 中国民用航空飞行学院 | 基于对比性语言图像预训练技术的点云实例分割方法 |
| CN116246213A (zh) * | 2023-05-08 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备以及介质 |
Non-Patent Citations (2)
| Title |
|---|
| Radical embedding combined dynamic embedding based BERT in Bi-LSTM-CRF model for Chinese named entity recognition from Adverse Drug Event records(Preprint);Hong Wu等;《JMIR Medical Informatics》;第1-27页 * |
| 基于Bi-LSTM与注意力机制的实体关系抽取;李金珊;《中国优秀硕士学位论文全文数据库信息科技辑》;第I138-3154页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630633A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584276B (zh) | 关键点检测方法、装置、设备及可读介质 | |
| CN111340131B (zh) | 图像的标注方法、装置、可读介质和电子设备 | |
| CN115471662B (zh) | 语义分割模型的训练方法、识别方法、装置和存储介质 | |
| CN111782980B (zh) | 地图兴趣点的挖掘方法、装置、设备及存储介质 | |
| Qi et al. | A DNN-based object detection system on mobile cloud computing | |
| CN104572830A (zh) | 推荐拍摄信息的处理方法及装置 | |
| CN115858839B (zh) | 一种跨模态logo检索方法、系统、终端及存储介质 | |
| CN116630633B (zh) | 语义分割自动标注方法、系统、存储介质及电子设备 | |
| CN112036307A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113361519B (zh) | 目标处理方法、目标处理模型的训练方法及其装置 | |
| CN114445778A (zh) | 一种计数方法及装置、电子设备和存储介质 | |
| CN116092087B (zh) | Ocr识别方法、系统、存储介质及电子设备 | |
| CN116701708B (zh) | 多模态增强的视频分类方法、系统、存储介质及电子设备 | |
| CN116912353B (zh) | 多任务图像处理方法、系统、存储介质及电子设备 | |
| CN118279611A (zh) | 图像差异描述方法、系统、存储介质及电子设备 | |
| CN118154883A (zh) | 目标语义分割方法、系统、存储介质及电子设备 | |
| EP4336454A1 (en) | 3d map retrieval method and apparatus | |
| CN118314409A (zh) | 多模态图像分类方法、系统、存储介质及电子设备 | |
| CN118196695A (zh) | 视频语义分割方法、系统、存储介质及电子设备 | |
| CN116912871B (zh) | 身份证信息抽取方法、系统、存储介质及电子设备 | |
| CN117079198A (zh) | 液滴阴阳性识别方法、系统、存储介质及电子设备 | |
| CN116361493A (zh) | Logo识别方法、系统、存储介质及电子设备 | |
| EP4344200A1 (en) | Methods and apparatus for encoding and decoding 3d map | |
| CN118195964A (zh) | 图像霉斑移除方法、系统、存储介质及电子设备 | |
| CN117392260B (zh) | 一种图像生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204 Patentee after: Shanghai Mido Technology Co.,Ltd. Address before: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204 Patentee before: SHANGHAI MDATA INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |