CN114627426A - 一种融合建筑数字孪生语义图的图像检测方法及装置 - Google Patents

一种融合建筑数字孪生语义图的图像检测方法及装置 Download PDF

Info

Publication number
CN114627426A
CN114627426A CN202210516762.1A CN202210516762A CN114627426A CN 114627426 A CN114627426 A CN 114627426A CN 202210516762 A CN202210516762 A CN 202210516762A CN 114627426 A CN114627426 A CN 114627426A
Authority
CN
China
Prior art keywords
target
building
image
category
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210516762.1A
Other languages
English (en)
Other versions
CN114627426B (zh
Inventor
周小平
王佳
任远
陆一昕
陈丹燕
宋有利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Saab Weitong Technology Co.,Ltd.
Original Assignee
Bim Winner Shanghai Technology Co ltd
Foshan Yingjia Smart Space Technology Co ltd
Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd
Shandong Jiaying Internet Technology Co ltd
Shenzhen Bim Winner Technology Co ltd
Shenzhen Qianhai Yingjia Data Service Co ltd
Yingjia Internet Beijing Smart Technology Co ltd
Bim Winner Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bim Winner Shanghai Technology Co ltd, Foshan Yingjia Smart Space Technology Co ltd, Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd, Shandong Jiaying Internet Technology Co ltd, Shenzhen Bim Winner Technology Co ltd, Shenzhen Qianhai Yingjia Data Service Co ltd, Yingjia Internet Beijing Smart Technology Co ltd, Bim Winner Beijing Technology Co ltd filed Critical Bim Winner Shanghai Technology Co ltd
Priority to CN202210516762.1A priority Critical patent/CN114627426B/zh
Publication of CN114627426A publication Critical patent/CN114627426A/zh
Application granted granted Critical
Publication of CN114627426B publication Critical patent/CN114627426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种融合建筑数字孪生语义图的图像检测方法及装置，涉及图像处理技术领域，包括：获取目标图像，目标图像为目标建筑内部中的目标区域图像；确定目标图像的预估类别概率矩阵；根据目标建筑的建筑数字孪生模型，创建目标建筑语义图；根据目标建筑语义图，创建目标类别关系矩阵G；将预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得目标图像的建筑语义图融合特征；将目标图像的建筑语义图融合特征输入预先训练完成的头部网络，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。本申请通过将建筑语义图融入图像检测模型，提高图像识别精度。

Description

一种融合建筑数字孪生语义图的图像检测方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种融合建筑数字孪生语义图的图像检测方法及装置。
背景技术
现有技术中，将视频中的目标帧图像输入现有的图像检测模型（如Faster RCNN等），现有的图像检测模型可将视频中的某一帧图像转化为其面向物体检测的视觉特征，输出识别出的目标帧图像中的物体，然后完成对目标帧图像的识别。
但是，受室内场景的弱视觉特征（如物体遮挡等）的影响，降低了现有图像检测模型对物体的识别精度。
发明内容
有鉴于此，本申请的目的在于至少提供一种融合建筑数字孪生语义图的图像检测方法及装置，通过将建筑语义图融入图像检测模型，提高图像识别精度。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种融合建筑数字孪生语义图的图像检测方法，包括：获取目标图像，目标图像为目标建筑内部中的目标区域图像；确定目标图像的预估类别概率矩阵，预估类别概率矩阵中的每个元素表示目标图像中的预估目标物体区域对应的预估物体类别概率值，预估物体是通过分类器对目标图像进行识别确定的；根据目标建筑的建筑数字孪生模型，创建目标建筑语义图；根据目标建筑语义图，创建目标类别关系矩阵G，目标类别关系矩阵中的每个元素表示目标建筑中的任意两个物体之间的类别关系；将预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得目标图像的建筑语义图融合特征；将目标图像的建筑语义图融合特征输入头部网络，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
在一种可能的实施方式中，目标建筑语义图包括目标建筑内部的物体集合E和物体关系集合R， 其中，根据目标建筑语义图，创建目标类别关系矩阵G的步骤包括：根据目标建筑语义图，创建初始类别关系矩阵G0，初始类别关系矩阵G0的初始值为零；遍历目标建筑语义图中的物体
Figure M_220512163126009_009562001
E与物体
Figure M_220512163126041_041332002
E之间的物体关系集合
Figure M_220512163126056_056974003
，将初始类别关系矩阵中的元素G0[T(
Figure M_220512163126088_088217004
)][T(
Figure M_220512163126119_119460005
)]和G0[T(
Figure M_220512163126135_135110006
)][T(
Figure M_220512163126166_166347007
)]的值都设置为1，并对初始类别关系矩阵G0进行更新，得到更新后的初始类别关系矩阵G1，其中，T(
Figure M_220512163126181_181968008
)和T(
Figure M_220512163126197_197622009
)表示物体
Figure M_220512163126214_214677010
E与物体
Figure M_220512163126230_230776011
E的物体类别；对更新后的初始类别关系矩阵G1进行归一化处理，得到目标类别关系矩阵G。
在一种可能的实施方式中，通过以下公式确定目标图像的建筑语义图融合特征：
Figure M_220512163126262_262049001
该公式中，
Figure M_220512163126293_293308001
表示目标图像的建筑语义图融合特征，P表示预估类别概率矩阵，
Figure M_220512163126308_308962002
表示目标类别关系矩阵，
Figure M_220512163126324_324565003
表示分类器的网络权重参数，
Figure M_220512163126340_340163004
表示第一全连接层的网络权重参数。
在一种可能的实施方式中，图像检测方法还包括：从主干网络中获取目标图像的第一基础特征；将第一基础特征输入注意力机制神经网络的卷积层，得到第二基础特征，卷积层由步长为2，
Figure M_220512163126371_371434001
个5×5大小的卷积核构成，其中，
Figure M_220512163126403_403625002
表示第一基础特征的特征向量长度；将第二基础特征，输入注意力机制神经网络中按通道维度进行池化的池化层，得到形状为1×
Figure M_220512163126419_419764003
的第三基础特征
Figure M_220512163126435_435393004
∈
Figure M_220512163126466_466655005
；将第三基础特征
Figure M_220512163126497_497895006
∈
Figure M_220512163126513_513511007
输入注意力机制神经网络中的第二全连接层，得到第四基础特征；根据第四基础特征，确定注意力机制系数。
在一种可能的实施方式中，通过以下公式确定注意力机制系数：
Figure M_220512163126529_529146001
该公式中，
Figure M_220512163126576_576005001
表示注意力机制系数，
Figure M_220512163126591_591675002
表示第三基础特征，
Figure M_220512163126608_608193003
表示第二全连接层的网络权重参数，
Figure M_220512163126671_671219004
表示分类器的网络权重参数，
Figure M_220512163126686_686857005
表示激励函数。
在一种可能的实施方式中，图像检测方法还包括：对建筑语义图融合特征和注意力机制系数进行融合，得到融入注意力机制的建筑语义图融合特征；对第一基础特征进行对齐处理，得到第五基础特征；将融入注意力机制的建筑语义图融合特征和第五基础特征进行融合，获得目标图像的目标融合特征。
在一种可能的实施方式中，通过以下公式确定融入注意力机制的建筑语义图融合特征：
Figure M_220512163126718_718114001
在该公式中，
Figure M_220512163126749_749356001
表示融入注意力机制的建筑语义图融合特征，P表示预估类别概率矩阵，
Figure M_220512163126765_765003002
表示注意力机制系数，
Figure M_220512163126796_796271003
表示目标类别关系矩阵，
Figure M_220512163126811_811382004
表示分类器的网络权重参数，
Figure M_220512163126827_827935005
表示第一全连接层的网络权重参数，
Figure M_220512163126859_859708006
表示按照通道维度进行乘积运算。
在一种可能的实施方式中，目标图像的目标融合特征为：
Figure M_220512163126875_875335001
在该公式中，
Figure M_220512163126906_906599001
表示目标图像的目标融合特征，
Figure M_220512163126922_922221002
表示第五基础特征，
Figure M_220512163126953_953456003
表示融入注意力机制的建筑语义图融合特征。
在一种可能的实施方式中，通过以下公式确定目标图像中各实际物体区域：
Figure M_220512163126969_969082001
在该公式中，
Figure M_220512163127000_000328001
表示目标图像中各目标物体的实际物体区域，
Figure M_220512163127016_016921002
表示目标图像的目标融合特征，
Figure M_220512163127048_048698003
表示头部网络的第一头部权重参数；
通过以下公式确定目标图像中每个实际物体区域对应的实际物体类别：
Figure M_220512163127064_064323001
在该公式中，
Figure M_220512163127095_095560001
表示目标图像中每个实际物体区域对应的实际物体类别，
Figure M_220512163127126_126784002
表示目标图像的目标融合特征，
Figure M_220512163127142_142446003
表示头部网络的第二头部权重参数，
Figure M_220512163127173_173690004
表示激励函数。
第二方面，本申请实施例还提供一种融合建筑数字孪生语义图的图像检测装置，图像检测装置包括：第一获取模块，用于获取目标图像，目标图像为目标建筑内部中的目标区域图像；第二获取模块，用于确定目标图像的预估类别概率矩阵，预估类别概率矩阵中的每个元素表示目标图像中的预估目标物体区域对应的预估物体类别概率值，预估物体是通过分类器对所述目标图像进行识别确定的；第一创建模块，用于根据目标建筑的建筑数字孪生模型，创建目标建筑语义图；第二创建模块，用于根据目标建筑语义图，创建目标类别关系矩阵G，目标类别关系矩阵中的每个元素表示目标建筑中的任意两个物体之间的类别关系；融合模块，用于将预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得目标图像的建筑语义图融合特征；第三获取模块，用于将目标图像的建筑语义图融合特征输入头部网络，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
本申请实施例提供的一种融合建筑数字孪生语义图的图像检测方法及装置，包括：获取目标图像，目标图像为目标建筑内部中的目标区域图像；确定目标图像的预估类别概率矩阵；根据目标建筑的建筑数字孪生模型，创建目标建筑语义图；根据目标建筑语义图，创建目标类别关系矩阵G；将预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得目标图像的建筑语义图融合特征；将目标图像的建筑语义图融合特征输入头部网络，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。本申请通过将建筑语义图融入图像检测模型，提高图像识别精度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种图像检测方法的流程图；
图2示出了本申请实施例所提供的建筑语义图中的局部示意图；
图3示出了本申请实施例提供的一种图像检测装置的结构示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
现有技术中，图像检测模型（如Faster RCNN等）可将视频某一帧图像转化为其面向物体检测的视觉特征，并输出识别出的目标帧图像中的物体，但由于室内场景的弱视觉特征（包括物体遮挡、室内视野小、室内大量区域纹理少、室内和室外照明导致室内光照条件复杂以及室内人或物体移等），降低了现有图像检测模型对物体的识别精度，例如由于室内场景的弱视觉特征，可能将图像中的“窗户”误检为“电视”。
基于此，本申请实施例提供了一种图像检测方法，通过将建筑语义图融入图像检测模型，提高图像识别精度，具体如下：
请参阅图1，图1示出了本申请实施例所提供的一种融合建筑数字孪生语义图的图像检测方法的流程图。如图1所示，本申请实施例提供的图像检测方法，包括以下步骤：
S100、获取目标图像。
具体的，目标图像为目标建筑内部中的目标区域图像，在目标建筑内部的多个区域设置有图像采集传感器，图像采集传感器用于采集目标建筑内部的图像信息，图像采集传感器可以为监控摄像头等。
S200、确定目标图像的预估类别概率矩阵。
具体的，预估类别概率矩阵中的每个元素表示目标图像中的预估目标物体区域对应的预估物体类别概率值，预估物体是通过分类器对所述目标图像进行识别确定的，其中，预估类别概率矩阵P∈
Figure M_220512163127189_189272001
，
Figure M_220512163127222_222964002
表示目标图像中预估物体的数量，
Figure M_220512163127238_238646003
表示预估物体类别。
S300、根据目标建筑的建筑数字孪生模型，创建目标建筑语义图。
建筑数字孪生语义图，简称建筑语义图，即对建筑数字孪生模型一种形式化描述。
在一优选实施例中，目标建筑的建筑数字孪生模型由目标建筑内部物体以及物体间关系构成，也就是说，目标建筑语义图包括目标建筑内部的物体集合E和物体关系集合R，物体集合E包括目标建筑内部所有物体，物体关系集合R包括目标建筑内部所有物体之间的物体关系。
在一具体实施例中，请参阅图2，图2示出了本申请实施例所提供的建筑语义图中的局部示意图，如图2所示，S1、S2、S3、S4、S5、S6表示建筑中的物体，其中，每一种形状对应一种物体类型，例如，物体类型可以为桌子、椅子、窗户、墙体等，①、②、③表示物体间不同的物体关系，例如，物体关系包括但不限于物体间的从属关系、结构关系、遮挡关系、相交关系等。
返回图1，S400、根据目标建筑语义图，创建目标类别关系矩阵G。
优选地，目标类别关系矩阵中的每个元素表示目标建筑中的任意两个物体之间的类别关系，其中，目标类别关系矩阵G∈
Figure M_220512163127285_285524001
。
优选地，创建目标类别关系矩阵G的步骤包括：
根据目标建筑语义图，创建初始类别关系矩阵G0，其中，G0∈
Figure M_220512163127316_316780001
，初始类别关系矩阵G0的初始值为零。
遍历目标建筑语义图中的物体
Figure M_220512163127347_347985001
E与物体
Figure M_220512163127363_363627002
E之间的物体关系集合
Figure M_220512163127394_394861003
，将初始类别关系矩阵中的元素G0[T(
Figure M_220512163127413_413864004
)][T(
Figure M_220512163127445_445651005
)]和G0[T(
Figure M_220512163127476_476886006
)][T(
Figure M_220512163127492_492514007
)]的值都设置为1，并对初始类别关系矩阵G0进行更新，得到更新后的初始类别关系矩阵G1，其中，T(
Figure M_220512163127675_675681008
)和T(
Figure M_220512163127753_753774009
)表示目标建筑语义图中物体
Figure M_220512163127785_785016010
E与物体
Figure M_220512163127835_835802011
E的物体类别；
对更新后的初始类别关系矩阵G1进行归一化处理，得到目标类别关系矩阵G。
S500、将预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得目标图像的建筑语义图融合特征。
在一优选实施例中，分类器的网络权重参数
Figure P_220512163127867_867058001
预先经过大量图像数据不断地训练后，能够表达目标图像的全局语义特征，其中，D表示分类器从主干网络中提取的特征向量长度，用于对分类器的网络权重参数进行训练的数据为已经标注好物体区域以及物体类别的预先从历史数据库获取的历史图像。
具体的，通过目标类别关系矩阵G，对分类器的网络权重参数C进行全局扩散，将分类器的网络权重参数C融入目标类别关系矩阵G，形成带有目标建筑语义图的语义特征矩阵GC，然后，通过第一全连接层，获得目标图像的建筑语义图融合特征。
在一具体实施例中，通过以下公式确定所述目标图像的建筑语义图融合特征：
Figure M_220512163127898_898311001
该公式中，
Figure M_220512163127929_929579001
表示所述目标图像的建筑语义图融合特征，
Figure M_220512163127960_960812002
∈
Figure M_220512163127976_976440003
,其中，N表示目标图像中预估物体的数量，M表示目标建筑语义图融合后的特征向量维度，P表示预估类别概率矩阵，
Figure M_220512163128008_008612004
表示目标类别关系矩阵，
Figure M_220512163128040_040393005
表示分类器的网络权重参数，
Figure M_220512163128056_056008006
表示所述第一全连接层的网络权重参数，其中，
Figure M_220512163128087_087275007
∈
Figure M_220512163128118_118537008
， D表示分类器从主干网络中提取的特征向量长度。
在一优选实施例中，图像检测方法还包括：
从主干网络中获取目标图像的第一基础特征。
其中，通过主干网络抽取得到的目标图像的第一基础特征
Figure M_220512163128134_134151001
∈
Figure M_220512163128165_165390002
，其中，W、H分别对应主干网络中不同的网络参数。
将第一基础特征输入注意力机制神经网络的卷积层，得到第二基础特征。
注意力机制神经网络的卷积层由步长为2，
Figure M_220512163128196_196626001
个5×5大小的卷积核构成，其中，
Figure M_220512163128229_229840002
表示分类器从主干网络中提取的特征向量长度。
在一具体实施例中，带有目标建筑语义图的语义特征矩阵GC是一种全局特征，包含整个目标建筑语义图中所有类别的物体的特征信息，但是，对于识别一个特定图像中的物体来说，并非目标建筑语义图中所有类别的物体的特征信息都是有效用的，基于此，本方法融入必要的注意力机制神经网络，将目标图像的第一基础特征作为注意力机制神经网络的输入由步长为2，
Figure M_220512163128261_261105001
个5×5大小的卷积核构成的卷积层，降低第一基础特征大小，获得第二基础特征。
将第二基础特征，输入注意力机制神经网络中按通道维度进行池化的池化层，得到形状为1×
Figure M_220512163128276_276727001
的第三基础特征
Figure M_220512163128307_307992002
∈
Figure M_220512163128339_339226003
。
将第三基础特征
Figure M_220512163128370_370477001
∈
Figure M_220512163128386_386089002
输入注意力机制神经网络中的第二全连接层，得到第四基础特征。
根据第四基础特征，确定注意力机制系数，具体的，可以将第四基础特征与激励函数结合，以确定注意力机制系数。
在一优选实施例中，通过以下公式确定注意力机制系数：
Figure M_220512163128419_419280001
该公式中，
Figure M_220512163128450_450547001
表示注意力机制系数，其中，
Figure M_220512163128481_481803002
∈
Figure M_220512163128513_513059003
，
Figure M_220512163128528_528666004
表示第三基础特征，其中，
Figure M_220512163128559_559924005
∈
Figure M_220512163128591_591175006
，
Figure M_220512163128607_607746007
表示注意力机制神经网络中的第二全连接层的网络权重参数，
Figure M_220512163128639_639527008
∈
Figure M_220512163128655_655160009
，
Figure M_220512163128701_701975010
表示分类器的网络权重参数，
Figure M_220512163128717_717626011
表示激励函数。
S600、将目标图像的建筑语义图融合特征输入头部网络，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
在一具体实施例中，图像检测方法还包括：
对建筑语义图融合特征和注意力机制系数进行融合，得到融入注意力机制的建筑语义图融合特征，对第一基础特征进行对齐处理，得到第五基础特征，将融入注意力机制的建筑语义图融合特征和第五基础特征进行融合，获得目标图像的目标融合特征。
具体的，会对获取到的第一基础特征
Figure M_220512163128748_748888001
进行对齐处理，可以采用Roi-Align算法进行对齐处理，以获取第五基础特征F，其中，第五基础特征F∈
Figure M_220512163128764_764494002
。
在一优选实施例中，通过以下公式确定融入注意力机制的建筑语义图融合特征：
Figure M_220512163128795_795735001
在该公式中，
Figure M_220512163128829_829900001
表示融入注意力机制的建筑语义图融合特征，其中，
Figure M_220512163128862_862637002
∈
Figure M_220512163128893_893900003
，N表示目标图像中预估物体的数量，M表示目标建筑语义图融合后的特征向量维度，P表示预估类别概率矩阵，
Figure M_220512163128909_909490004
表示注意力机制系数，
Figure M_220512163128925_925115005
表示目标类别关系矩阵，
Figure M_220512163128956_956381006
表示分类器的网络权重参数，
Figure M_220512163128972_972024007
表示第一全连接层的网络权重参数，
Figure M_220512163128987_987627008
表示按照通道维度进行乘积运算。
在一具体实施例中，目标图像的目标融合特征：
Figure M_220512163129020_020342001
在该公式中，
Figure M_220512163129051_051625001
表示目标图像的目标融合特征，其中
Figure M_220512163129082_082844002
∈
Figure M_220512163129113_113630003
，F∈
Figure M_220512163129145_145342004
表示第五基础特征，
Figure M_220512163129176_176626005
表示融入注意力机制的建筑语义图融合特征。
在一具体实施例中，会将目标图像的目标融合特征输入头部网络（BoundingBox-Head Hbb和Classifier-Head HC），然后，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
具体的，可以通过大量的历史图像数据对头部网络进行不断地训练，以使头部网络对头部BoundingBox-Head Hbb对应的第一头部权重及Classifier-Head HC对应的第二头部权重进行学习，以获得训练好的头部网络。
在一优选实施例中，通过以下公式确定目标图像中各实际物体区域：
Figure M_220512163129209_209285001
在该公式中，
Figure M_220512163129241_241049001
表示目标图像中各目标物体的实际物体区域，其中，
Figure M_220512163129256_256675002
，
Figure M_220512163129287_287942003
表示目标图像的目标融合特征，
Figure M_220512163129319_319196004
表示头部网络的第一头部权重参数；
通过以下公式确定目标图像中每个实际物体区域对应的实际物体类别：
Figure M_220512163129350_350460001
在该公式中，
Figure M_220512163129381_381721001
表示目标图像中每个实际物体区域对应的实际物体类别，其中，
Figure M_220512163129413_413888002
，
Figure M_220512163129445_445682003
表示目标图像的目标融合特征，
Figure M_220512163129476_476937004
表示头部网络的第二头部权重参数，
Figure M_220512163129492_492518005
表示激励函数。
在一具体实施例中，目标图像中各实际物体区域可以以包围框的形式在目标图像中进行显示，同时每个实际物体区域对应的实际物体类别会显示在对应的包围框附近，已完成对目标图像的检测识别。
在一优选实施例中，本申请涉及到的图像检测方法可共同构成一个基于建筑语义图增强图像特征的图像检测模型，且本申请的图像检测方法涉及到的各项网络权重参数，均为已经训练好的。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的图像检测方法对应的图像检测装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的图像检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图3，图3示出了本申请实施例提供的一种融合建筑数字孪生语义图的图像检测装置的结构示意图。
第一获取模块710，用于获取目标图像，目标图像为目标建筑内部中的目标区域图像；第二获取模块720，用于确定目标图像的预估类别概率矩阵，预估类别概率矩阵中的每个元素表示目标图像中的预估目标物体区域对应的预估物体类别概率值，预估物体是通过分类器对所述目标图像进行识别确定的；第一创建模块730，用于根据目标建筑的建筑数字孪生模型，创建目标建筑语义图；第二创建模块740，用于根据目标建筑语义图，创建目标类别关系矩阵G，目标类别关系矩阵中的每个元素表示目标建筑中的任意两个物体之间的类别关系；融合模块750，用于将预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，以获得目标图像的建筑语义图融合特征；第三获取模块760，用于将目标图像的建筑语义图融合特征输入预先训练完成的头部网络，获得目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
优选地，目标建筑语义图包括目标建筑内部的物体集合E和物体关系集合R，第二模块740，还用于：根据目标建筑语义图，创建初始类别关系矩阵G0，初始类别关系矩阵G0的初始值为零；遍历目标建筑语义图中的物体
Figure M_220512163129523_523780001
E与物体
Figure M_220512163129555_555023002
E之间的物体关系集合
Figure M_220512163129570_570652003
，将初始类别关系矩阵中的元素G0[T(
Figure M_220512163129602_602856004
)][T(
Figure M_220512163129634_634614005
)]和G0[T(
Figure M_220512163129665_665888006
)][T(
Figure M_220512163129681_681529007
)]的值都设置为1，并对初始类别关系矩阵G0进行更新，得到更新后的初始类别关系矩阵G1，其中，T(
Figure M_220512163129712_712742008
)和T(
Figure M_220512163129743_743995009
)表示物体
Figure M_220512163129775_775266010
E与物体
Figure M_220512163129790_790908011
E的物体类别；对更新后的初始类别关系矩阵G1进行归一化处理，得到目标类别关系矩阵G。
优选地，融合模块750，还用于：通过以下公式确定目标图像的建筑语义图融合特征：
Figure M_220512163129824_824554001
该公式中，
Figure M_220512163129855_855784001
表示目标图像的建筑语义图融合特征，P表示预估类别概率矩阵，
Figure M_220512163129887_887056002
表示目标类别关系矩阵，
Figure M_220512163129902_902694003
表示分类器的 网络权重参数，
Figure M_220512163129933_933962004
表示第一全连接层的网络权重参数。
优选地，图像检测装置还包括确定模块（图中未示出），用于：从主干网络中获取目标图像的第一基础特征；将第一基础特征输入注意力机制神经网络的卷积层，得到第二基础特征，卷积层由步长为2，
Figure M_220512163129965_965217001
个5×5大小的卷积核构成，其中，
Figure M_220512163129980_980836002
表示特征向量长度；将第二基础特征，输入注意力机制神经网络中按通道维度进行池化的池化层，得到形状为1×
Figure M_220512163130013_013007003
的第三基础特征
Figure M_220512163130044_044808004
∈
Figure M_220512163130060_060414005
；将第三基础特征
Figure M_220512163130107_107291006
∈
Figure M_220512163130122_122916007
输入注意力机制神经网络中的第二全连接层，得到第四基础特征；根据第四基础特征，确定注意力机制系数。
优选地，确定模块，还用于：通过以下公式确定注意力机制系数：
Figure M_220512163130185_185401001
该公式中，
Figure M_220512163130239_239112001
表示注意力机制系数，
Figure M_220512163130254_254725002
表示第三基础特征，
Figure M_220512163130285_285972003
表示第二全连接层的网络权重参数，
Figure M_220512163130317_317257004
表示分类器的网络权重参数，
Figure M_220512163130348_348463005
表示激励函数。
优选地，图像检测装置还包括第二融合模块（图中未示出），第二融合模块，用于：对建筑语义图融合特征和注意力机制系数进行融合，得到融入注意力机制的建筑语义图融合特征；对第一基础特征进行对齐处理，得到第五基础特征；将融入注意力机制的建筑语义图融合特征和第五基础特征进行融合，获得目标图像的目标融合特征。
优选地，第二融合模块还用于通过以下公式确定融入注意力机制的建筑语义图融合特征：
Figure M_220512163130364_364161001
在该公式中，
Figure M_220512163130411_411945001
表示融入注意力机制的建筑语义图融合特征，P表示预估类别概率矩阵，
Figure M_220512163130443_443712002
表示注意力机制系数，
Figure M_220512163130459_459335003
表示目标类别关系矩阵，
Figure M_220512163130490_490621004
表示分类器的网络权重参数，
Figure M_220512163130506_506183005
表示第一全连接层的网络权重参数，
Figure M_220512163130537_537491006
表示按照通道维度进行乘积运算。
优选地，目标图像的目标融合特征：
Figure M_220512163130568_568714001
在该公式中，
Figure M_220512163130616_616022001
表示目标图像的目标融合特征，
Figure M_220512163130632_632691002
表示第五基础特征，
Figure M_220512163130664_664400003
表示融入注意力机制的建筑语义图融合特征。
优选地，第三获取模块760还用于通过以下公式确定所述目标图像中各实际物体区域：
Figure M_220512163130695_695644001
在该公式中，
Figure M_220512163130742_742527001
表示所述目标图像中各目标物体的实际物体区域，
Figure M_220512163130773_773756002
表示所述目标图像的目标融合特征，
Figure M_220512163130810_810343003
表示所述头部网络的第一头部权重参数；
通过以下公式确定所述目标图像中每个实际物体区域对应的实际物体类别：
Figure M_220512163130857_857762001
在该公式中，
Figure M_220512163130889_889004001
表示所述目标图像中每个实际物体区域对应的实际物体类别，
Figure M_220512163130920_920245002
表示所述目标图像的目标融合特征，
Figure M_220512163130951_951565003
表示所述头部网络的第二头部权重参数，
Figure M_220512163130982_982781004
表示激励函数。
基于同一申请构思，请参阅图4，图4示出了本申请实施例提供的一种电子设备800的结构示意图，包括：处理器810、存储器820和总线830，所述存储器820存储有所述处理器810可执行的机器可读指令，当电子设备800运行时，所述处理器810与所述存储器820之间通过所述总线830进行通信，所述机器可读指令被所述处理器810运行时执行如上述实施例中任一的图像检测方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的图像检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种融合建筑数字孪生语义图的图像检测方法，其特征在于，所述图像检测方法包括：
获取目标图像，所述目标图像为目标建筑内部中的目标区域图像；
确定所述目标图像的预估类别概率矩阵，所述预估类别概率矩阵中的每个元素表示所述目标图像中的预估物体对应的预估物体类别概率值，预估物体是通过分类器对所述目标图像进行识别确定的；
根据所述目标建筑的建筑数字孪生模型，创建目标建筑语义图；
根据所述目标建筑语义图，创建目标类别关系矩阵G，所述目标类别关系矩阵中的每个元素表示所述目标建筑中的任意两个物体之间的类别关系；
将所述预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得所述目标图像的建筑语义图融合特征；
将所述目标图像的建筑语义图融合特征输入头部网络，获得所述目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
2.根据权利要求1所述的图像检测方法，其特征在于，目标建筑语义图包括目标建筑内部的物体集合E和物体关系集合R，
其中，根据所述目标建筑语义图，创建目标类别关系矩阵G的步骤包括：
根据所述目标建筑语义图，创建初始类别关系矩阵G0，所述初始类别关系矩阵G0的初始值为零；
遍历目标建筑语义图中的物体
Figure M_220512163121215_215629001
E与物体
Figure M_220512163121263_263011002
E之间的物体关系集合
Figure M_220512163121309_309909003
，将初始类别关系矩阵中的元素G0[T(
Figure M_220512163121341_341132004
)][T(
Figure M_220512163121404_404592005
)]和G0[T(
Figure M_220512163121436_436378006
)][T(
Figure M_220512163121467_467617007
)]的值都设置为1，并对初始类别关系矩阵G0进行更新，得到更新后的初始类别关系矩阵G1，其中，T(
Figure M_220512163121498_498875008
)和T(
Figure M_220512163121545_545739009
)表示物体
Figure M_220512163121592_592708010
E与物体
Figure M_220512163121626_626293011
E的物体类别；
对更新后的初始类别关系矩阵G1进行归一化处理，得到目标类别关系矩阵G。
3.根据权利要求1所述的图像检测方法，其特征在于，通过以下公式确定所述目标图像的建筑语义图融合特征：
Figure M_220512163121657_657593001
该公式中，
Figure M_220512163121704_704465001
表示所述目标图像的建筑语义图融合特征，P表示预估类别概率矩阵，
Figure M_220512163121735_735695002
表示目标类别关系矩阵，
Figure M_220512163121766_766927003
表示所述分类器的网络权重参数，
Figure M_220512163121814_814388004
表示所述第一全连接层的网络权重参数。
4.根据权利要求1所述的图像检测方法，其特征在于，所述图像检测方法还包括：
从主干网络中获取所述目标图像的第一基础特征；
将所述第一基础特征输入注意力机制神经网络的卷积层，得到第二基础特征，所述卷积层由步长为2，
Figure M_220512163121862_862658001
个5×5大小的卷积核构成，其中，
Figure M_220512163121909_909549002
表示特征向量长度；
将所述第二基础特征，输入注意力机制神经网络中按通道维度进行池化的池化层，得到形状为1×
Figure M_220512163121956_956371001
的第三基础特征
Figure M_220512163122004_004190002
∈
Figure M_220512163122035_035979003
；
将所述第三基础特征
Figure M_220512163122082_082866001
∈
Figure M_220512163122098_098458002
输入注意力机制神经网络中的第二全连接层，得到第四基础特征；
根据所述第四基础特征，确定注意力机制系数。
5.根据权利要求4所述的图像检测方法，其特征在于，通过以下公式确定注意力机制系数：
Figure M_220512163122114_114104001
该公式中，
Figure M_220512163122160_160962001
表示注意力机制系数，
Figure M_220512163122176_176625002
表示第三基础特征，
Figure M_220512163122208_208801003
表示所述第二全连接层的网络权重参数，
Figure M_220512163122224_224938004
表示分类器的网络权重参数，
Figure M_220512163122240_240592005
表示激励函数。
6.根据权利要求4所述的图像检测方法，其特征在于，所述图像检测方法还包括：
对所述建筑语义图融合特征和所述注意力机制系数进行融合，得到融入注意力机制的建筑语义图融合特征；
对所述第一基础特征进行对齐处理，得到第五基础特征；
将所述融入注意力机制的建筑语义图融合特征和所述第五基础特征进行融合，获得所述目标图像的目标融合特征。
7.根据权利要求6所述的图像检测方法，其特征在于，通过以下公式确定融入注意力机制的建筑语义图融合特征：
Figure M_220512163122271_271817001
在该公式中，
Figure M_220512163122303_303054001
表示融入注意力机制的建筑语义图融合特征，P表示预估类别概率矩阵，
Figure M_220512163122334_334293002
表示注意力机制系数，
Figure M_220512163122349_349927003
表示目标类别关系矩阵，
Figure M_220512163122365_365574004
表示分类器的网络权重参数，
Figure M_220512163122396_396830005
表示所述第一全连接层的网络权重参数，
Figure M_220512163122414_414351006
表示按照通道维度进行乘积运算。
8.根据权利要求7所述的图像检测方法，其特征在于，所述目标图像的目标融合特征为：
Figure M_220512163122430_430485001
在该公式中，
Figure M_220512163122461_461749001
表示所述目标图像的目标融合特征，
Figure M_220512163122492_492994002
表示所述第五基础特征，
Figure M_220512163122508_508664003
表示融入注意力机制的建筑语义图融合特征。
9.根据权利要求1所述的图像检测方法，其特征在于，通过以下公式确定所述目标图像中各实际物体区域：
Figure M_220512163122524_524291001
在该公式中，
Figure M_220512163122555_555057001
表示所述目标图像中各目标物体的实际物体区域，
Figure M_220512163122586_586758002
表示所述目标图像的目标融合特征，
Figure M_220512163122603_603325003
表示所述头部网络的第一头部权重参数；
通过以下公式确定所述目标图像中每个实际物体区域对应的实际物体类别：
Figure M_220512163122619_619459001
在该公式中，
Figure M_220512163122650_650732001
表示所述目标图像中每个实际物体区域对应的实际物体类别，
Figure M_220512163122681_681952002
表示所述目标图像的目标融合特征，
Figure M_220512163122697_697608003
表示所述头部网络的第二头部权重参数，
Figure M_220512163122728_728830004
表示激励函数。
10.一种融合建筑数字孪生语义图的图像检测装置，其特征在于，所述图像检测装置包括：
第一获取模块，用于获取目标图像，所述目标图像为目标建筑内部中的目标区域图像；
第二获取模块，用于确定所述目标图像的预估类别概率矩阵，所述预估类别概率矩阵中的每个元素表示所述目标图像中的预估目标物体区域对应的预估物体类别概率值，预估物体是通过分类器对所述目标图像进行识别确定的；
第一创建模块，用于根据所述目标建筑的建筑数字孪生模型，创建目标建筑语义图；
第二创建模块，用于根据所述目标建筑语义图，创建目标类别关系矩阵G，所述目标类别关系矩阵中的每个元素表示所述目标建筑中的任意两个物体之间的类别关系；
融合模块，用于将所述预估类别概率矩阵、目标类别关系矩阵G和分类器的网络权重参数输入第一全连接层进行特征融合，获得所述目标图像的建筑语义图融合特征；
第三获取模块，用于将所述目标图像的建筑语义图融合特征输入头部网络，获得所述目标图像中的各实际物体区域以及每个实际物体区域对应的实际物体类别。
CN202210516762.1A 2022-05-13 2022-05-13 一种融合建筑数字孪生语义图的图像检测方法及装置 Active CN114627426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210516762.1A CN114627426B (zh) 2022-05-13 2022-05-13 一种融合建筑数字孪生语义图的图像检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210516762.1A CN114627426B (zh) 2022-05-13 2022-05-13 一种融合建筑数字孪生语义图的图像检测方法及装置

Publications (2)

Publication Number Publication Date
CN114627426A true CN114627426A (zh) 2022-06-14
CN114627426B CN114627426B (zh) 2022-08-23

Family

ID=81906961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210516762.1A Active CN114627426B (zh) 2022-05-13 2022-05-13 一种融合建筑数字孪生语义图的图像检测方法及装置

Country Status (1)

Country Link
CN (1) CN114627426B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359564A (zh) * 2018-09-29 2019-02-19 中山大学 一种图像场景图生成方法及装置
CN110516670A (zh) * 2019-08-26 2019-11-29 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN110619044A (zh) * 2019-08-16 2019-12-27 华南师范大学 一种情感分析方法、系统、存储介质及设备
CN111340882A (zh) * 2020-02-20 2020-06-26 盈嘉互联（北京）科技有限公司 基于图像的室内定位方法及装置
CN113239954A (zh) * 2021-04-01 2021-08-10 河海大学 基于注意力机制的图像语义分割特征融合方法
CN113808251A (zh) * 2021-08-09 2021-12-17 杭州易现先进科技有限公司 一种基于语义分割的稠密重建的方法、系统、装置和介质
CN114155299A (zh) * 2022-02-10 2022-03-08 盈嘉互联（北京）科技有限公司 一种建筑数字孪生构建方法及系统
CN114419121A (zh) * 2022-01-20 2022-04-29 盈嘉互联（北京）科技有限公司 一种基于图像的bim纹理生成方法
CN114463460A (zh) * 2022-01-07 2022-05-10 中国铁道科学研究院集团有限公司 视觉交通场景的场景图生成方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359564A (zh) * 2018-09-29 2019-02-19 中山大学 一种图像场景图生成方法及装置
CN110619044A (zh) * 2019-08-16 2019-12-27 华南师范大学 一种情感分析方法、系统、存储介质及设备
CN110516670A (zh) * 2019-08-26 2019-11-29 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN111340882A (zh) * 2020-02-20 2020-06-26 盈嘉互联（北京）科技有限公司 基于图像的室内定位方法及装置
CN113239954A (zh) * 2021-04-01 2021-08-10 河海大学 基于注意力机制的图像语义分割特征融合方法
CN113808251A (zh) * 2021-08-09 2021-12-17 杭州易现先进科技有限公司 一种基于语义分割的稠密重建的方法、系统、装置和介质
CN114463460A (zh) * 2022-01-07 2022-05-10 中国铁道科学研究院集团有限公司 视觉交通场景的场景图生成方法及装置
CN114419121A (zh) * 2022-01-20 2022-04-29 盈嘉互联（北京）科技有限公司 一种基于图像的bim纹理生成方法
CN114155299A (zh) * 2022-02-10 2022-03-08 盈嘉互联（北京）科技有限公司 一种建筑数字孪生构建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHOU XIAOPING等: ""Matching Real-world Facilities to Building Information Modeling Data Using Natural Language Processing"", 《IEEE ACCESS》 *
谢青生: ""基于建筑信息模型的三维室内路网自动化构建方法研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN114627426B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN109829437B (zh) 图像处理方法、文本识别方法、装置和电子系统
US8965112B1 (en) Sequence transcription with deep neural networks
US20220414911A1 (en) Three-dimensional reconstruction method and three-dimensional reconstruction apparatus
CN111782921A (zh) 检索目标的方法和装置
WO2012132418A1 (ja) 属性推定装置
CN113360701B (zh) 一种基于知识蒸馏的素描图处理方法及其系统
CN112232241A (zh) 一种行人重识别方法、装置、电子设备和可读存储介质
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN116402063B (zh) 多模态讽刺识别方法、装置、设备以及存储介质
CN110490262B (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
CN111292334B (zh) 一种全景图像分割方法、装置及电子设备
CN113838058B (zh) 一种基于小样本分割的医学图像自动标注方法及系统
CN112668608B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN116151263A (zh) 多模态命名实体识别方法、装置、设备以及存储介质
CN114743009A (zh) 一种高光谱影像波段选择方法、系统及电子设备
KR101966750B1 (ko) 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법
CN114627426B (zh) 一种融合建筑数字孪生语义图的图像检测方法及装置
CN110210572B (zh) 图像分类方法、装置、存储介质及设备
CN111062388A (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN115937662A (zh) 智能家居系统控制方法、装置、服务器及存储介质
CN113807316B (zh) 烟雾浓度估计模型的训练方法、装置、电子设备及介质
WO2022237065A1 (zh) 分类模型的训练方法、视频分类方法及相关设备
CN116258937A (zh) 基于注意力机制的小样本分割方法、装置、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231027

Address after: Building 5, Niujiahou River, 100 meters east of Bijia Village, Beizhai Street, Laoshan District, Qingdao City, Shandong Province, 266000

Patentee after: Qingdao Saab Weitong Technology Co.,Ltd.

Address before: Room 1008, 10th floor, building 16, yard 30, Shixing street, Shijingshan District, Beijing 100049

Patentee before: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD.

Patentee before: BIM WINNER (SHANGHAI) TECHNOLOGY Co.,Ltd.

Patentee before: SHENZHEN BIM WINNER TECHNOLOGY Co.,Ltd.

Patentee before: Yingjia Internet (Beijing) Smart Technology Co.,Ltd.

Patentee before: Foshan Yingjia Smart Space Technology Co.,Ltd.

Patentee before: SHENZHEN QIANHAI YINGJIA DATA SERVICE Co.,Ltd.

Patentee before: JIAXING WUZHEN YINGJIA QIANZHEN TECHNOLOGY Co.,Ltd.

Patentee before: Shandong Jiaying Internet Technology Co.,Ltd.