CN116129279B - 图像处理方法、装置、设备及介质 - Google Patents

图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116129279B
CN116129279B CN202310399180.4A CN202310399180A CN116129279B CN 116129279 B CN116129279 B CN 116129279B CN 202310399180 A CN202310399180 A CN 202310399180A CN 116129279 B CN116129279 B CN 116129279B
Authority
CN
China
Prior art keywords
intersection
sample
feature
mask
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310399180.4A
Other languages
English (en)
Other versions
CN116129279A (zh
Inventor
张译心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310399180.4A priority Critical patent/CN116129279B/zh
Publication of CN116129279A publication Critical patent/CN116129279A/zh
Application granted granted Critical
Publication of CN116129279B publication Critical patent/CN116129279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

本申请公开了一种图像处理方法、装置、设备及介质。本申请可以应用于地图导航技术领域。该方法包括:基于样本路口图像得到第一样本图像处理特征和第二样本图像处理特征,基于初始样本查询特征和第二样本图像处理特征得到初始样本解构元素预测信息,基于初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征得到目标解码样本查询特征,以得到样本路口属性预测信息,基于目标解码样本查询特征和第二样本图像处理特征得到目标样本解构元素预测信息,以确定样本路口元素掩膜预测信息,基于样本路口元素掩膜预测信息和样本路口属性预测信息训练得到目标路口识别模型。采用本申请,可以提升路口识别解构的精确度。

Description

图像处理方法、装置、设备及介质
技术领域
本申请涉及图像处理技术领域,具体涉及地图导航技术领域,尤其涉及一种图像处理方法、装置、设备及介质。
背景技术
目前,可以对道路图像(比如卫星影像)中的道路实例进行识别和渲染,以实现地图的构建。其中,对道路图像的识别涉及对道路路口的识别。现有方式中,在对道路图像进行路口的识别时,仅能识别出一个路口的大致形态。
然而,在实践中发现,在通过现有方式确定路口形态的情况下,对路口进行渲染时,只能渲染出路口的粗略形态,以至于降低对道路图像中路口的渲染真实性。因此,如何提升对路口进行识别及解构的精确度成为了一个亟待解决的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及介质,可以提升对路口进行识别与解构的精确度。
一方面,本申请实施例提供了一种图像处理方法,方法包括:
获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息;训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征;初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;样本路口标签信息包括:样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息;N为大于1的正整数;
将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征;
将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征;一个掩膜分支对应一个初始样本解构元素预测信息;
将目标解码样本查询特征输入路口识别组件,由路口识别组件对目标解码样本查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息;
将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;
基于N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息,基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
另一方面,本申请实施例提供了一种图像处理方法,方法包括:
获取包含目标路口的目标路口图像、目标查询特征,以及用于对目标路口图像进行图像解构处理的目标路口识别模型;目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;
将目标路口图像输入关键特征提取组件,由关键特征提取组件对目标路口图像进行图像处理,得到目标路口图像的第一图像处理特征和第二图像处理特征;
将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始解构元素预测信息,将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件,由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征;
将目标解码查询特征输入路口识别组件,由路口识别组件对目标解码查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息;
若目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口,则将目标解码查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。
一方面,本申请实施例提供了一种图像处理装置,装置包括:
训练样本获取模块,用于获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息;训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征;初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;样本路口标签信息包括:样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息;N为大于1的正整数;
样本特征提取模块,用于将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征;
样本特征提取模块,还用于将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征;一个掩膜分支对应一个初始样本解构元素预测信息;
样本特征识别模块,用于将目标解码样本查询特征输入路口识别组件,由路口识别组件对目标解码样本查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息;
样本特征变换模块,用于将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;
模型训练模块,用于基于N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息,基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
另一方面,本申请实施例提供了一种图像处理装置,装置包括:
图像处理模块,用于获取包含目标路口的目标路口图像、目标查询特征,以及用于对目标路口图像进行图像解构处理的目标路口识别模型;目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;
目标特征提取模块,用于将目标路口图像输入关键特征提取组件,由关键特征提取组件对目标路口图像进行图像处理,得到目标路口图像的第一图像处理特征和第二图像处理特征;
目标特征提取模块,还用于将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始解构元素预测信息,将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件,由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征;
目标特征识别模块,用于将目标解码查询特征输入路口识别组件,由路口识别组件对目标解码查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息;
目标特征变换模块,用于若目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口,则将目标解码查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。
本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,存储器与处理器相连,存储器用于存储计算机程序,处理器用于调用计算机程序,以使得该计算机设备执行本申请实施例中上述一方面提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序适于由处理器加载并执行,以使得具有处理器的计算机设备执行本申请实施例中上述一方面提供的方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面提供的方法。
本申请实施例中,可以获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息;将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征,将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征;该目标解码样本查询特征中包含了从样本路口图像中所识别出的样本路口的特征信息,实现了对样本路口的识别;将目标解码样本查询特征输入路口识别组件,由路口识别组件对目标解码样本查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息;该样本路口属性预测信息可以用于指示是否通过目标解码样本查询特征从样本路口图像中识别出样本路口,即样本路口属性预测信息对应的预测路口是否表示一个真实的样本路口实例,可以理解,若样本路口属性预测信息指示通过目标解码样本查询特征从样本路口图像中识别出样本路口,则样本路口属性预测信息对应的预测路口为样本路口图像中的一个样本路口;若样本路口属性预测信息指示未通过目标解码样本查询特征从样本路口图像中识别出样本路口,则样本路口属性预测信息对应的预测路口不为样本路口图像中的一个样本路口,即此时预测路口不表征任何样本路口实例;将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;可以理解,该N个掩膜分支中一个掩膜分支对应一个解构元素(即路口元素),通过该N个目标样本解构元素预测信息可以确定一个样本路口在N个解构元素下的相关参数,从而实现对样本路口的解构,也就是说,相较于现有仅得到路口形态参数,本方案可以得到样本路口更详细的多种解构元素参数,实现对样本路口的全方位解构以确定样本路口在多种解构元素下的结构化信息;基于N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息,基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型;因此,所训练得到的目标路口识别模型可以识别解构出一个目标路口的N个目标解构元素预测信息,进一步准确得到在N个解构元素下的相关参数,可以提升对路口进行识别与解构的精确度;后续,在通过在N个解构元素下的相关参数对目标路口进行渲染时,可以实现精准渲染,提升目标路口的渲染真实性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构示意图;
图2为本申请实施例提供的一种目标路口识别模型的训练过程示意图;
图3为本申请实施例提供的一种目标路口识别模型的应用过程示意图;
图4为本申请实施例提供的一种路口的示意图;
图5是本申请实施例提供的一种图像处理方法的流程示意图一;
图6是本申请实施例提供的一种路口识别模型的示意图;
图7是本申请实施例提供的一种获取目标上采样图像特征的场景示意图;
图8是本申请实施例提供的一种获取目标解码样本查询特征的场景示意图;
图9是本申请实施例提供的一种模型训练场景示意图一;
图10是本申请实施例提供的一种模型训练场景示意图二;
图11是本申请实施例提供的一种模型训练场景示意图三;
图12是本申请实施例提供的一种模型预测效果的展示示意图;
图13是本申请实施例提供的一种图像处理方法的流程示意图二;
图14是本申请实施例提供的一种目标路口的渲染场景示意图;
图15是本申请实施例提供的一种目标路口的参数处理场景示意图;
图16是本申请实施例提供的一种目标路口的识别解构效果示意图一;
图17是本申请实施例提供的一种目标路口的识别解构效果示意图二;
图18是本申请实施例提供的一种目标路口的识别解构效果示意图三;
图19是本申请实施例提供的一种目标路口的识别解构效果示意图四;
图20是本申请实施例提供的一种图像处理装置的结构示意图一;
图21是本申请实施例提供的一种图像处理装置的结构示意图二;
图22是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,图1是本申请实施例提供的一种网络架构示意图。如图1所示,该网络架构可以包括业务服务器100以及业务终端集群,其中,业务终端集群可以包括一个或多个业务终端(比如为用户终端),这里将不对业务终端集群中的业务终端的数量进行限定。如图1所示,业务终端集群中的多个业务终端具体可以包括:业务终端200a、业务终端200b、…、业务终端200n,其中,业务终端集群之间可以存在通信连接,例如业务终端200a与业务终端200b之间存在通信连接,业务终端200a与业务终端200n之间存在通信连接。同时,业务终端集群中的任一业务终端可以与业务服务器100存在通信连接,以便于业务终端集群中的每个业务终端均可以通过该通信连接与业务服务器100进行数据交互,例如业务终端200a与业务服务器100之间存在通信连接。其中,上述通信连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其它方式,本申请在此不做限制。
应该理解,如图1所示的业务终端集群中的每个业务终端均可以安装有用于路口识别的客户端。当客户端运行于各业务终端中时,可以分别与上述图1所示的业务服务器100之间进行数据交互。其中,该客户端可以为任意类型的客户端,比如可以是地图处理客户端、社交客户端、即时通信客户端(例如,会议客户端)、娱乐客户端(例如,游戏客户端、直播客户端)、多媒体客户端(例如,视频客户端)、资讯类客户端(例如,新闻资讯客户端)、购物客户端、车载客户端、智能家居客户端等具有显示文字、图像、音频以及视频等数据信息功能的客户端。比如,在一些实施例中,客户端为地图处理客户端,可以通过地图处理客户端上传包含目标路口的目标路口图像,由地图处理客户端按照本申请实施例所提出的图像处理方法在目标路口图像中实现目标路口的识别和解构。在此对应用客户端的具体类型不做限定。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如地图处理客户端等)中的嵌入式子客户端,在此不做限定。以应用客户端为地图处理客户端为例,业务服务器100可以为包括地图处理客户端对应的后台服务器、数据处理服务器等多个服务器的集合,比如可以为地图处理客户端关联的应用服务器。因此,每个业务终端均可以通过该地图处理客户端与业务服务器100进行数据传输。
比如,业务服务器100可以通过本申请所提出的图像处理方法预先训练好用于路口识别的目标路口识别模型;业务终端200a可以通过地图处理客户端上传包含目标路口的目标路口图像,并将该目标路口图像发送给业务服务器100,由业务服务器100调用该目标路口识别模型在目标路口图像中对目标路口进行识别和解构,以得到目标路口的N个目标解构元素掩膜图,业务终端可以接收业务服务器100返回的N个目标解构元素掩膜图,并在地图处理客户端中输出显示。
其中,可以理解的是,本申请实施例所涉及的计算机设备可以是服务器(例如,图1所示的业务服务器100),也可以是终端(例如,图1所示的业务终端集群中的任意一个业务终端)。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端等,但并不局限于此。
可以理解的是,图1只是示例性地表征本申请技术方案的可能存在的网络架构,并不对本申请技术方案的具体架构进行限定,即本申请技术方案还可以提供其他形式的网络架构。
进一步地,请参见图2,图2为本申请实施例提供的一种目标路口识别模型的训练过程示意图。其中,如图2所示的计算机设备20可以为上述图1所对应实施例中的业务服务器100或者业务终端集群中的任意一个业务终端(例如,业务终端200a),这里不做限定。该目标路口识别模型的训练过程用于表征本申请所提出的图像处理方法。其中,计算机设备20可以获取训练样本21和样本路口标签信息22,训练样本21包括:样本路口图像23以及初始样本查询特征24,样本路口图像23包括样本路口;样本路口标签信息22包括:样本路口的路口属性标注信息25和样本路口的路口元素掩膜标注信息26;训练样本21和样本路口标签信息22用于训练初始路口识别模型27;初始路口识别模型27包括关键特征提取组件28、路口识别组件29以及路口元素解析组件210,该路口元素解析组件210由N个掩膜分支211(比如表示为211a、211b、...、211n)所构成;N为大于1的正整数;通过关键特征提取组件28,对样本路口图像23以及初始样本查询特征24进行特征提取处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征,以及与初始样本查询特征24相关联的目标解码样本查询特征;该目标解码样本查询特征的特征维度与初始样本查询特征的特征维度相同,即可以理解为将初始样本查询特征输入关键特征提取组件可以得到一个新的初始样本查询特征,该新的初始样本查询特征包括从样本路口图像中所识别出的样本路口的特征信息,以实现对样本路口的识别;通过路口识别组件29对目标解码样本查询特征进行特征识别,得到目标解码样本查询特征对应的预测路口的样本路口属性预测信息;该样本路口属性预测信息用于指示预测路口是否为样本路口;通过路口元素解析组件210中的N个掩膜分支211(211a、211b、...、211n),对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支输出一个目标样本解构元素预测信息,一个掩膜分支关联一个路口元素,一个目标样本解构元素预测信息可以是指一个解构元素对应的样本解构元素预测掩膜图;在基于N个掩膜分支的N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息时,基于路口属性标注信息25、样本路口属性预测信息、样本路口元素掩膜预测信息和路口元素掩膜标注信息26,对初始路口识别模型27进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型212。可以理解,初始样本查询特征用于在样本路口图像中查询识别样本路口。初始样本查询特征可以作为初始路口识别模型的模型输入参数,在对初始路口识别模型进行训练时训练该初始样本查询特征,以训练得到对应的目标查询特征。目标查询特征用于在目标路口图像中查询识别目标路口。
其中,通过关键特征提取组件28,对样本路口图像23以及初始样本查询特征24进行特征提取处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征,以及与初始样本查询特征24相关联的目标解码样本查询特征可以是:将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征,将初始样本查询特征和第二样本图像处理特征输入N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,一个掩膜分支对应一个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解构样本查询特征。
通过上述方式所训练出的目标路口识别模型可以对目标路口图像中的目标路口进行识别和解构,可以输出目标路口的N个解构元素掩膜图,从而可以得到目标路口在N个路口元素下的元素参数。该N个路口元素即为一个目标路口的N个构成元素,可以实现对目标路口的全方位结构化,提升对目标路口的识别解构精度。后续,在对目标路口进行渲染时,也可以基于该不同路口元素下的元素参数实现精细渲染,提升道路渲染真实性。
进一步地,请参见图3,图3为本申请实施例提供的一种目标路口识别模型的应用过程示意图。其中,如图3所示的计算机设备30可以为上述图1所对应实施例中的业务服务器100或者业务终端集群中的任意一个业务终端(例如,业务终端200a),这里不做限定。其中,计算机设备30可以通过由图2所示的训练过程所训练得到的目标路口识别模型进行目标路口的识别和解构。具体过程可以包括:获取包含目标路口31的目标路口图像32、目标查询特征33以及用于对目标路口图像32进行图像解构处理的目标路口识别模型34;该目标路口识别模型34包括:关键特征提取组件35、路口识别组件36以及由N个掩膜分支37(比如表示为37a、37b、...、37n)所构成的路口元素解析组件38;N为大于1的正整数;目标查询特征33是在训练得到目标路口识别模型时所训练得到的;通过关键特征提取组件35,对目标路口图像32以及目标查询特征33进行特征提取处理,得到第一图像处理特征和第二图像处理特征,以及与目标查询特征33相关联的目标解码查询特征39;通过路口识别组件36对目标解码查询特征39进行特征识别,基于特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息;若目标解码查询特征39对应的路口属性预测信息指示目标解码查询特征39对应的预测路口为目标路口31,则通过路口元素解析组件38中的N个掩膜分支37,对目标解码查询特征39和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。后续,可以基于该N个目标解构元素预测信息对目标路口进行路口渲染,以实现道路渲染,比如基于N个目标解构元素预测信息确定目标路口的路口构成信息,以利用路口构成信息对目标路口进行路口渲染。
其中,通过关键特征提取组件35,对目标路口图像32以及目标查询特征33进行特征提取处理,得到第一图像处理特征和第二图像处理特征,以及与目标查询特征33相关联的目标解码查询特征39可以是:将目标路口图像输入关键特征提取组件,由关键特征提取组件对目标路口图像进行图像处理,得到目标路口图像的第一图像处理特征和第二图像处理特征,将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始解构元素预测信息,将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件,由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征。
可选的,在一种可能的实施方式中,计算机设备可根据实际的业务需求,执行该图像处理方法以提升道路渲染效果。可以理解,本申请技术方案可以应用于任意道路渲染场景中。比如,可以在地图构建场景(又称卫片建图场景)中,可以通过本申请实施例在提取卫星影像中道路信息时进行路口的识别和解构,并对路口进行精细渲染,从而可以制作出更精准的地图,即通过提取到的路口构成信息进行地形图中的路口部分的制作,进而可以将构建的地图应用于地图导航技术领域,也就是可以在导航时,通过构建得到的地图确保导航定位的精准度。又如,可以在路况渲染场景中,可以通过本申请实施例提取在提取路况图像中道路信息时进行路口的识别和解构。也就是说,本申请实施例可以对任意包含路口的图像实现路口识别。其中,此处的道路可以是任意场景下的道路,比如车道、林业道路、人行道路等等。本申请可以从任意场景下的道路中识别出所包含的路口。此外,该路口可以是任意类型的道路中的路口,比如可以是十字形道路中的路口,丁字形道路中的路口等等,在此不做限定。
为便于理解,接下来,对本申请实施例的方案可能应用的技术领域中涉及的技术术语进行相关介绍:
一、人工智能:
本申请实施例涉及人工智能技术领域,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
在一种可能的实现方式中,本申请实施例提供的图像处理方法可以与人工智能中的计算机视觉(Computer Vision, CV)技术相结合。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。计算机设备可以应用CV技术在目标路口图像中实现目标路口的识别与解构。
二、路口:
路口是指二条或二条以上的道路交会处。本申请技术方案实现对任意类型的路口的识别和解构,以得到一个路口的N个解构元素掩膜图(解构元素预测掩膜图)。比如十字形路口、丁字形路口等等。一个解构元素掩膜图用于表示一个路口的解构元素(又称路口元素)对应的掩膜图。也就是说,N个解构元素掩膜图关联N个路口元素,该N个路口元素又可以称为路口的构成元素。该N个路口元素比如可以是:路口路面元素(又称路口多边形元素)、路口关键点元素(即表征路口多边形的顶点元素)、路口连接边元素(又称路段连接边元素)、非路口连接边元素(又称非路段连接边元素)等等。可以通过该N个路口元素确定一个图像中的路口,该N个路口元素表征了一个路口的点线面信息。也就是说,一个路口的N个路口元素对应的元素参数可以表征一个路口的结构化信息。即得到一个路口的结构化表达。一个目标路口图像的一个目标路口可以称为一个路口实例。
因此本申请技术方案所训练出的目标路口识别模型可以对目标路口图像中的目标路口进行识别和解构,以输出目标路口的N个解构元素对应的解构元素预测掩膜图,比如为:路口关键点预测掩膜图、路口连接边预测掩膜图、非路口连接边预测掩膜图、路口路面预测掩膜图。其中,路口关键点预测掩膜图可以包括第一掩膜值和第二掩膜值,第一掩膜值用于标注目标路口的路口关键点,比如为1;第二掩膜值为路口关键点预测掩膜图中除第一掩膜值以外的掩膜值,比如为0。相应地,路口连接边预测掩膜图可以包括第一掩膜值和第二掩膜值,第一掩膜值用于标注目标路口的路口连接边、第二掩膜值为路口连接边预测掩膜图中除第一掩膜值以外的掩膜值。相应地,非路口连接边预测掩膜图可以包括第一掩膜值和第二掩膜值,第一掩膜值用于标注目标路口的非路口连接边、第二掩膜值为非路口连接边预测掩膜图中除第一掩膜值以外的掩膜值。相应地,路口路面预测掩膜图可以包括第一掩膜值和第二掩膜值,第一掩膜值用于标注目标路口的路口路面、第二掩膜值为路口路面预测掩膜图中除第一掩膜值以外的掩膜值。可以理解,路口关键点预测掩膜图、路口连接边预测掩膜图、非路口连接边预测掩膜图、路口路面预测掩膜图中的第一掩膜值可以相同或不同,且第二掩膜值可以相同或不同。
其中,如图4所示,图4为本申请实施例提供的一种路口的示意图;其中,为了便于理解,路口图像40中的黑色实线表示两条道路,两条道路的交出处构成路口41,即路口图像40中的黑色虚线所示,以图中所示的路口41对N个路口元素进行示例,路口关键点元素42可以理解为是路口的多边形形态的顶点,即表示路口的关键点,即不同语义边的交点;路口连接边元素43表示路口关键点在同一条道路上的连接边(通常为直线段),即表示路口结构的路段连接边,是路口与路段相连的边;非路口连接边元素44表示路口关键点不在同一条道路上的连接边(通常为曲线段),即表示非路段连接边,通常是路口的边缘,不与路段相连接;路口路面元素45表示一个路口的路面形态,可以理解,根据路口类型的不同,该路面形态不同,即路口的路段连接边和非路段连接边,按照顺或逆时针顺序,组成了最终的路口多边形,该四种解构元素构成了路口的路口构成信息。可以理解,N个路口元素包括但不限于上述4种所示例元素,在实际场景下,还可以包括其他构成元素,在此对N个路口元素的具体内容不做限定,可以根据实际场景设置。
需要说明的是,本申请实施例中的计算机设备在获取相关数据时,比如可以是用户上传的待识别的目标路口图像时,可以显示提示界面或者弹窗,该提示界面或者弹窗用于提示用户当前正在获取目标路口图像等数据,仅仅在获取到用户对该提示界面或者弹窗发出确认操作后,开始执行数据获取的相关的步骤,否则结束。可以理解的是,在本申请的具体实施方式中,可能涉及到用户数据(例如,目标路口图像等),当本申请以上实施例运用到具体产品或技术中时,需要获得用户的许可或同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
进一步的,请参见图5,图5是本申请实施例提供的一种图像处理方法,如图5所示,方法可以由上述提及的计算机设备来执行,比如,如图1中所示的任意一个业务终端或业务服务器,方法具体可以包括以下步骤S101-步骤S106:
S101、获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息。
其中,训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征。样本路口图像可以包括一个或多个样本路口。初始样本查询特征可以为一个或多个。一个初始样本查询特征用于从样本路口图像中查询识别一个样本路口,每个初始样本查询特征所涉及的模型执行过程和原理相同。可以理解,样本路口图像中除样本路口以外的部分可以称为图像背景。当一个初始样本查询特征未能从样本路口图像中查询识别出一个样本路口时,表示该初始样本查询特征从样本路口中查询识别的是图像背景信息。可以理解,在一开始训练初始路口识别模型时,用于构成训练样本的初始样本查询特征为预设的初始查询向量,该初始样本查询特征可以作为初始路口识别模型的模型输入参数,在每轮对初始路口识别模型进行训练时,也会对构成训练样本的初始样本查询特征进行训练,即将该初始样本查询特征视为初始路口识别模型的模型输入参数进行修正,将修正后的初始样本查询特征作为新的训练样本中的初始样本查询特征,以对初始路口识别模型进行迭代训练,也就是说,后续训练样本中的初始样本查询特征是在前一轮初始路口识别模型的模型训练过程中所得到的。可以理解,在初始路口识别模型训练完成时,可以得到训练完成的初始样本查询特征,即目标查询特征。
其中,初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数。样本路口图像和初始样本查询特征可以在关键特征提取组件中进行相关特征交互处理,以使得初始样本查询特征可以在样本路口图像中进行样本路口的查询和识别。其中,关键特征提取组件可以包括主干特征提取器(又称Backbone)、像素解码器(又称Pixel Decoder)以及特征变换解码器(又称Transformer(一种神经网络模型) 解码器),像素解码器用于进行上采样处理。此外,N个掩膜分支用于确定N个解构元素预测信息,比如可以是N个路口元素对应的N个解构元素掩膜图。一个掩膜分支对应一个解构元素预测信息。即一个掩膜分支关联一种解构元素。
例如,如图6所示,图6是本申请实施例提供的一种路口识别模型的示意图;其中,路口识别模型60包括关键特征提取组件61、路口识别组件62以及由N个掩膜分支(63a、63b、...、63n)所构成的路口元素解析组件64;关键特征提取组件61包括主干特征提取器65、像素解码器66以及特征变换解码器67,像素解码器66包括多个图像采样层(比如为四个图像采样层,表示为68a、68b、68c和68d),特征变换解码器67包括多个特征变换层(比如为3个特征变换层,表示为69a、69b、69c),且图像采样层的层数等于特征变换层的层数加一。
其中,样本路口标签信息包括:样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息。可以理解,路口属性标注信息为指示存在样本路口的标签信息(比如为路口属性标注信息的值为1),也就是指示初始样本查询特征从样本路口图像中查询识别的信息为样本路口的概率为1,即初始样本查询特征从样本路口图像中查询识别的信息为图像背景的概率为0。此外,样本路口标签信息还可以包括图像背景的背景属性标注信息。背景属性标注信息为指示不存在样本路口的标签信息(比如背景属性标注信息的值为0),也就是指示初始样本查询特征从样本路口图像中查询识别的信息为样本路口的概率为0,即初始样本查询特征从样本路口图像中查询识别的信息为图像背景的概率为1。样本路口的路口元素掩膜标注信息包括样本路口的N个解构元素标注掩膜图。比如,样本路口的路口元素掩膜标注信息包括:样本路口的路口关键点元素对应的路口关键点标注掩膜图、样本路口的路口连接边元素对应的路口连接边标注掩膜图、样本路口的非路口连接边元素对应的非路口连接边标注掩膜图、样本路口的路口路面元素对应的路口路面标注掩膜图。可以理解,一个样本路口图像有多少个样本路口,就有多少个样本路口的路口元素掩膜标注信息。
S102、将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征。
其中,可以通过关键特征提取组件对样本路口图像进行特征提取处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征,第一样本图像处理特征和第二样本图像处理特征用于同初始样本查询特征一齐确定与初始样本查询特征相关联的目标解码样本查询特征。一个初始样本查询特征可以得到一个目标解码样本查询特征。
其中,获取第一样本图像处理特征和第二样本图像处理特征的方式可以是,将样本路口图像输入关键特征提取组件中的主干特征提取器,由主干特征提取器对样本路口图像进行主干特征提取处理,将提取到的主干特征作为样本路口图像的参考样本图像特征;将参考样本图像特征输入关键特征提取组件中的像素解码器,由像素解码器对参考样本图像特征进行上采样处理,得到与参考样本图像特征相关联的目标上采样样本图像特征,从目标上采样样本图像特征中获取用于输入特征变换解码器的第一采样样本图像特征和用于输入N个掩膜分支的第二采样样本图像特征;将第一采样样本图像特征作为第一样本图像处理特征,并将第二采样样本图像特征作为第二样本图像处理特征。目标上采样样本图像特征用于与初始样本查询特征进行特征交互以得到目标解码样本查询特征。其中,目标上采样样本图像特征中的图像特征的特征分辨率依次递增,且第二样本图像处理特征的特征分辨率可以与样本路口图像的图像分辨率相同。
其中,可以理解,参考样本图像特征为低分辨率特征图,通过上采样可以得到高分辨特征图,也就是说,第二采样图像特征为对参考样本图像特征逐渐上采样所生成高分辨率的像素级向量表示。
其中,像素解码器包括M1个图像采样层,M1为大于1的正整数;将参考样本图像特征输入关键特征提取组件中的像素解码器,由像素解码器对参考样本图像特征进行上采样处理,得到与参考样本图像特征相关联的目标上采样样本图像特征可以是:从M1个图像采样层中获取第i个图像采样层和第i+1个图像采样层;i为小于或者等于M2的正整数,M2=M1-1;将参考样本图像特征输入第i个图像采样层,由第i个图像采样层对参考样本图像特征进行上采样处理,得到第i个图像采样层对应的第i个上采样样本图像特征;基于第i个上采样样本图像特征对参考样本图像特征进行更新处理,将更新后的参考样本图像特征输入第i+1个图像采样层,由第i+1个图像采样层对更新后的参考样本图像特征进行上采样处理,得到第i+1个图像采样层对应的第i+1个上采样样本图像特征;基于更新后的参考样本图像特征和第i+1个上采样样本图像特征,确定与参考样本图像特征相关联的目标上采样样本图像特征。
可以理解的是,每个图像采样层均会输出对应的上采样样本图像特征,且前一个图像采样层的输出作为后一个图像采样层的输入,且M1个图像采样层中的前M2个图像采样层所输出的上采样样本图像特征会对参考样本图像特征进行更新。也就是说,像素解码器中的第一个图像采样层的输入为通过主干特征提取器所提取到的参考样本图像特征,像素解码器中的其余图像采样层的输入为前一个图像采样层所输出的上采样样本图像特征。此外,可以将更新后的参考样本图像特征和第i+1个上采样样本图像特征作为目标上采样样本图像特征,也就是将每个图像采样层所输出的上采样样本图像特征作为目标上采样样本图像特征。
其中,目标上采样样本图像特征包括更新后的参考样本图像特征和第M1个图像采样层对应的第M1个上采样样本图像特征;更新后的参考样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的。从目标上采样样本图像特征中获取用于输入特征变换解码器的第一采样样本图像特征和用于输入N个掩膜分支的第二采样样本图像特征可以是:从目标上采样样本图像特征中获取更新后的参考样本图像特征,将获取到的更新后的参考样本图像特征作为用于输入特征变换解码器的第一采样样本图像特征;从目标上采样图像特征中获取第M1个上采样样本图像特征,将第M1个上采样样本图像特征作为用于输入N个掩膜分支的第二采样样本图像特征。
例如,如图7所示,图7是本申请实施例提供的一种获取目标上采样样本图像特征的场景示意图;其中,以像素解码器70中的图像采样层为四个为例(比如表示为70a、70b、70c、70d),该像素解码器70中的图像采样层即对应上述图6中的像素解码器66中的图像采样层,将样本路口图像71输入主干特征提取器72,得到参考样本图像特征(p0),并将参考样本图像特征(p0)输入图像采样层70a,由图像采样层70a对参考样本图像特征进行上采样处理,得到图像采样层70对应的第一个上采样样本图像特征(p1),基于第一个上采样样本图像特征(p1)对参考样本图像特征(p0)进行更新处理,得到更新后的参考样本图像特征(p1),并将更新后的参考样本图像特征(p1)输入图像采样层70b,即将第一个上采样样本图像特征(p1)输入图像采样层70b,由图像采样层70b对第一个上采样样本图像特征(p1)进行上采样处理,得到图像采样层70b对应的第二个上采样样本图像特征(p2),基于第二个上采样样本图像特征(p2)对参考样本图像特征进行更新处理,得到更新后的参考样本图像特征(p2),并将更新后的参考样本图像特征(p2)输入图像采样层70c,即将第二个上采样样本图像特征(p2)输入图像采样层70c,由图像采样层70c对第二个上采样样本图像特征(p2)进行上采样处理,得到图像采样层70c对应的第三个上采样样本图像特征(p3),基于第三个上采样样本图像特征(p3)对参考样本图像特征进行更新处理,得到更新后的参考样本图像特征(p3),并将更新后的参考样本图像特征(p3)输入图像采样层70d,即将第三个上采样样本图像特征(p3)输入图像采样层70d,由图像采样层70d对第三个上采样样本图像特征(p3)进行上采样处理,得到图像采样层70d对应的第四个上采样样本图像特征(p4),将第一个上采样样本图像特征(p1)、第二个上采样样本图像特征(p2)、第三个上采样样本图像特征(p3)、第四个上采样样本图像特征(p4)作为目标上采样样本图像特征。可以理解,第一个上采样样本图像特征、第二个上采样样本图像特征、第三个上采样样本图像特征即为更新后的参考样本图像特征,且第一个上采样样本图像特征、第二个上采样样本图像特征、第三个上采样样本图像特征为从目标上采样样本图像特征中获取到的第一采样样本图像特征(即第一样本图像处理特征),第四个上采样样本图像为从目标上采样样本图像特征中获取到的第二采样样本图像特征(即第二样本图像处理特征)。
也就是说,目标上采样样本图像特征中的上采样样本图像特征为依次进行上采样处理所得到的。比如,目标上采样样本图像特征中的上采样样本图像特征的特征分辨率可以是HixWi,且特征维度可以为HixWixEmbedding size。比如,第二样本图像处理特征的特征分辨率为HxW,且此时第二样本图像处理特征的特征维度为HxWxEmbedding size。相应地,第一个上采样样本图像特征的特征分辨率可以为H1xW1、特征维度为H1xW1xEmbeddingsize;第二个上采样样本图像特征的特征分辨率可以为H2xW2、特征维度为H2xW2xEmbedding size;第三个上采样样本图像特征的特征分辨率可以为H3xW3、特征维度为H3xW3xEmbedding size。其中,H1<H2<H3<H、W1<W2<W3<W。比如,H1可以为
Figure SMS_1
H、H2可以为/>
Figure SMS_2
H、H3可以为/>
Figure SMS_3
H;W1可以为/>
Figure SMS_4
W、W2可以为/>
Figure SMS_5
W、W3可以为/>
Figure SMS_6
W。在此对目标上采样样本图像特征中的上采样样本图像特征的特征分辨率不做限定。
S103、将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征。
其中,一个掩膜分支对应一个初始样本解构元素预测信息。
其中,以N个掩膜分支包括四个掩膜分支为例,比如包括:样本路口的路口关键点元素对应的第一掩膜分支、样本路口的路口连接边元素对应的第二掩膜分支、样本路口的非路口连接边元素对应的第三掩膜分支以及样本路口的路口路面元素对应的第四掩膜分支。因此确定N个掩膜分支的N个初始样本解构元素预测信息具体可以是,将初始样本查询特征和第二样本图像处理特征输入第一掩膜分支,由第一掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口关键点元素相关联的样本路口关键点元素特征,基于样本路口关键点元素特征和第一掩膜分支所提供的掩膜特征,输出路口关键点元素对应的第一样本路口关键点预测掩膜图,将第一样本路口关键点预测掩膜图作为第一掩膜分支对应的初始样本解构元素预测信息;将初始样本查询特征和第二样本图像处理特征输入第二掩膜分支,由第二掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口连接边元素相关联的样本路口连接边元素特征,基于样本路口连接边元素特征和第二掩膜分支所提供的掩膜特征,输出路口连接边元素对应的第一样本路口连接边预测掩膜图,将第一样本路口连接边预测掩膜图作为第二掩膜分支对应的初始样本解构元素预测信息;将初始样本查询特征和第二样本图像处理特征输入第三掩膜分支,由第三掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与非路口连接边元素相关联的样本非路口连接边元素特征,基于样本非路口连接边元素特征和第三掩膜分支所提供的掩膜特征,输出非路口连接边元素对应的第一样本非路口连接边预测掩膜图,将第一样本非路口连接边预测掩膜图作为第三掩膜分支对应的初始样本解构元素预测信息;将初始样本查询特征和第二样本图像处理特征输入第四掩膜分支,由第四掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口路面元素相关联的样本路口路面元素特征,基于样本路口路面元素特征和第四掩膜分支所提供的掩膜特征,输出路口路面元素对应的第一样本路口路面预测掩膜图,将第一样本路口路面预测掩膜图作为第四掩膜分支对应的初始样本解构元素预测信息;将第一掩膜分支对应的初始样本解构元素预测信息、第二掩膜分支对应的初始样本解构元素预测信息、第三掩膜分支对应的初始样本解构元素预测信息,和第四掩膜分支对应的初始样本解构元素预测信息作为N个掩膜分支的N个初始样本解构元素预测信息。
其中,每个掩膜分支对初始样本查询特征和第二样本图像处理特征的特征处理过程和原理相同。此处以一个掩膜分支(比如为第一掩膜分支)为例进行说明。第二样本图像处理特征的特征维度可以为HxWxEmbedding size,一个初始样本查询特征的特征维度可以为1xEmbedding size。由第一掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理得到样本路口关键点元素特征可以是,通过与第一掩膜分支相关联的变换矩阵对初始样本查询特征进行第一矩阵变换处理,得到与路口关键点元素相关联的样本路口关键点解构特征,对路口关键点解构特征以及第二样本图像处理特征进行第二矩阵变换处理,解析得到与路口关键点元素相关联的样本路口关键点元素特征。比如,一个初始样本查询特征的特征维度为1xEmbedding size,一个变换矩阵的特征维度为EmbeddingsizexEmbedding size,因此得到的一个样本路口关键点元素特征的特征维度为1xEmbedding size。
其中,第二矩阵变换处理具体为通过样本路口关键点解构特征对第二样本图像处理特征进行特征卷积处理,得到样本路口关键点元素特征。比如,样本路口关键点解构特征的特征维度为1xEmbedding size,第二样本图像处理特征的特征维度为HxWxEmbeddingsize,特征卷积处理可以是通过样本路口关键点解构特征对第二样本图像处理特征中的每个Embedding size(即特征向量)进行特征卷积处理,得到第二样本图像处理特征中的每个特征向量对应的特征卷积结果,并将第二样本图像处理特征中的每个特征向量对应的特征卷积结果作为样本路口关键点元素特征。也就是说,L个第二样本图像处理特征(维度是Lxembedding size)与像素解码器生成的第二样本图像处理特征(维度是HxWxEmbeddingsize)作矩阵乘法,最终得到与初始样本查询特征数量相同的L组掩膜信息。
其中,第一掩膜分支所提供的掩膜特征可以是掩膜值阈值(比如为0.5)。基于获取到的样本路口关键点元素特征和第一掩膜分支所提供的掩膜特征,输出路口关键点元素对应的第一样本路口关键点预测掩膜图可以是,若第二样本图像处理特征中的任一特征向量对应的特征卷积结果的数值大于或等于掩膜特征的数值,则将第二样本图像处理特征中的任一特征向量对应的掩膜值设置为第一掩膜值,若第二样本图像处理特征中的任一特征向量对应的特征卷积结果的数值小于掩膜特征的数值,则将第二样本图像处理特征中的任一特征向量对应的掩膜值设置为第二掩膜值,基于得到第二样本图像处理特征中的每个特征向量对应的掩膜值确定第一样本路口关键点预测掩膜图。可以理解,每个初始样本查询特征均为执行上述相同的过程,基于每个初始样本查询特征得到各自对应的N个样本解构元素预测掩膜图,即各自对应的N个样本解构元素预测信息,且每个掩膜分支所提供的掩膜特征可以相同也可以不同,具体可以根据经验值设置。
在一些实施例中,关键特征提取组件包含特征变换解码器;通过N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征确定目标解码样本查询特征具体可以是,基于N个初始样本解构元素预测信息、第一样本图像处理特征以及初始样本查询特征,确定用于输入特征变换解码器的目标样本组合输入特征;将目标样本组合输入特征输入特征变换解码器,由特征变换解码器对目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与初始样本查询特征相关联的目标解码样本查询特征。
其中,可以理解,关键特征提取组件包含像素解码器,该像素解码器包括M1个图像采样层;第一采样图像特征包含由M1个图像采样层中的M2个图像采样层所采样得到的M2个上采样样本图像特征,即M1个图像采样层中的前M2个图像采样层所采样得到的上采样样本图像特征;一个图像采样层用于采样得到一个上采样样本图像特征;M2=M1-1,M1和M2均为正整数。因此基于N个初始样本解构元素预测信息、第一样本图像处理特征以及初始样本查询特征,确定目标样本组合输入特征具体可以是:从M2个上采样样本图像特征中获取第i个上采样样本图像特征;i为小于或者等于M2的正整数;在特征变换解码器所包含的M2个特征变换层中确定与第i个上采样样本图像特征相关联的第i个特征变换层;基于N个初始样本解构元素预测信息确定用于输入特征变换解码器的目标样本掩膜图像特征,并基于目标样本掩膜图像特征确定与第i个特征变换层相关联的第i个样本掩膜图像特征;在基于初始样本查询特征确定出第i个样本查询输入特征时,将第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征,确定为特征变换解码器中的第i个特征变换层的目标样本组合输入特征。可以理解,特征变换解码器中的每个特征变换层均对应一个目标样本组合输入特征,且每个目标样本组合输入特征中的样本查询输入特征、样本掩膜图像特征和采样样本图像特征不同。
可以理解,可以将N个初始样本解构元素预测信息作为目标样本掩膜图像特征,且第i个样本掩膜图像特征是通过第i个样本查询输入特征确定,也就是将第i个样本查询输入特征和第二样本图像处理特征输入至N个掩膜分支所得到的。也就是说,可以基于目标掩膜图像特征确定M2个样本掩膜图像特征,该M2个掩膜图像特征通过M2个查询输入特征以及第二样本图像处理特征所确定,且第i个样本掩膜图像特征可以是目标掩膜图像特征,也可以是通过目标掩膜图像特征所确定的。可以理解,初始样本查询特征的数量与第i个查询输入特征的数量相同。
因此,将目标样本组合输入特征输入特征变换解码器,由特征变换解码器对目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与初始样本查询特征相关联的目标解码样本查询特征可以是:将第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征输入特征变换解码器的第i个特征变换层,由第i个特征变换层对第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征进行特征变换,将特征变换所得到的解码特征确定为第i+1个样本查询输入特征,并基于第i+1个样本查询输入特征确定与初始样本查询特征相关联的目标解码样本查询特征。
其中,可以基于第i+1个样本查询输入特征对初始样本查询特征进行更新处理,得到更新后的初始样本查询特征,后续又基于更新后的初始样本查询特征执行上述过程,也就是在确定N个初始样本解构元素预测信息(即目标掩膜图像特征)时,可以是基于第二样本图像处理特征和更新后的初始样本查询特征所确定的。可以理解,第i次确定出的目标样本掩膜图像特征即为M2个样本掩膜图像特征中的第i个样本掩膜图像特征。可以理解,后续从M2个上采样样本图像特征所包含的M2个特征变换层中确定与第i+1个上采样样本图像特征相关联的第i+1个特征变换层,基于目标样本掩膜图像特征获取与第i+1个特征变换层相关联的第i+1个样本掩膜图像特征(也就是第i+1次确定出的目标样本掩膜图像特征),在基于初始样本查询特征确定出第i+1个样本查询输入特征时,将第i+1个样本查询输入特征、第i+1个样本掩膜图像特征和第i+1个上采样样本图像特征,确定为第i+1个特征变换层的目标样本组合输入特征。
可以理解,重复上述训练过程,当第M2个特征变换层输出第M2个样本查询输入特征时,可以将该第M2个样本查询输入特征作为目标解码样本查询特征,也可以是将该M2个样本查询输入特征作为新的初始样本查询特征,再次重复上述过程,直至指定重复次数(比如重复2次,一共执行三次),再将第M2个特征变换层所输出的第M2个样本查询输入特征作为目标解码样本查询特征。初始样本查询特征的数量与目标解码样本查询特征的数量相同。可以理解,对于第i层的特征变换层,其输入为第i层图像采样层所输出的第i个上采样样本图像特征、第i-1的特征变换层所输出的第i个样本查询输入特征(即通过第i个样本查询输入特征对初始样本查询特征进行更新处理所得到的更新后的初始样本查询特征)、由第i个上采样样本图像特征和第i个样本查询输入特征所确定出的第i个样本掩膜图像特征。
下述以图像采样层为4个,特征变换层为3个为例,对目标解码样本查询特征的获取过程进行阐述,如图8所示,图8是本申请实施例提供的一种获取目标解码样本查询特征的场景示意图;其中,通过像素解码器80(即上述图6中的像素解码器66)中的4个图像采样层(80a、80b、80c、80d)依次输出的上采样样本图像特征依次为p1、p2、p3、p4,p4为第二样本图像处理特征,该p1、p2、p3、p4的确定过程可以参见图7示例的相关描述;特征变换解码器81(即上述图6中的特征变换解码器67)包括第1个特征变换层(81a)、第2个特征变换层(81b)、第3个特征变换层(81c);获取初始样本查询特征q1,且将q1作为第1个样本查询输入特征,通过q1和p4确定第1个样本掩码图像特征mask1(比如可以是,将q1和p4输入N个掩膜分支,由N个掩膜分支分别对q1和p4进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息1(比如路口关键点元素对应的第一样本路口关键点预测掩膜图、路口连接边元素对应的第一样本路口连接边预测掩膜图、非路口连接边元素对应的第一样本非路口连接边预测掩膜图、路口路面元素对应的第一样本路口路面预测掩膜图),并将该N个初始样本解构元素预测信息1作为第1个样本掩码图像特征mask1,即第1次确定出的目标样本掩膜图像特征),将p1、q1和mask1作为第1个特征变换层(81a)的目标样本组合输入特征1,并将目标样本组合输入特征1输入第1个特征变换层(81a),得到第2个样本查询输入特征q2,且通过第2个样本查询输入特征q2对初始样本查询特征进行更新处理,得到更新后的初始样本查询特征(q2);通过q2和p4确定第2个样本掩码图像特征mask2(比如可以是,将q2和p4输入N个掩膜分支,由N个掩膜分支分别对q2和p4进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息2(比如路口关键点元素对应的第二样本路口关键点预测掩膜图、路口连接边元素对应的第二样本路口连接边预测掩膜图、非路口连接边元素对应的第二样本非路口连接边预测掩膜图、路口路面元素对应的第二样本路口路面预测掩膜图),并将该N个初始样本解构元素预测信息2作为第2个样本掩码图像特征mask2,即第2次确定出的目标样本掩膜图像特征),将p2、q2和mask2作为第2个特征变换层(81b)的目标样本组合输入特征2,并将目标样本组合输入特征2输入第2个特征变换层(81b),得到第3个样本查询输入特征q3,且通过第3个样本查询输入特征q3对初始样本查询特征进行更新处理,得到更新后的初始样本查询特征(q3);通过q3和p4确定第3个样本掩码图像特征mask3(比如可以是,将q3和p4输入N个掩膜分支,由N个掩膜分支分别对q3和p4进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息3(比如路口关键点元素对应的第三样本路口关键点预测掩膜图、路口连接边元素对应的第三样本路口连接边预测掩膜图、非路口连接边元素对应的第三样本非路口连接边预测掩膜图、路口路面元素对应的第三样本路口路面预测掩膜图),并将该N个初始样本解构元素预测信息3作为第3个样本掩码图像特征mask3,即第3次确定出的目标样本掩膜图像特征),将p3、q3和mask3作为第3个特征变换层(81c)的目标样本组合输入特征3,并将目标样本组合输入特征3输入第3个特征变换层(81c),得到第4个样本查询输入特征q4,可以通过第4个样本查询输入特征q4对初始样本查询特征进行更新处理,得到更新后的初始样本查询特征(q4),并通过更新后的初始样本查询特征(q4)再次重复上述过程,当上述过程执行次数达到指定次数(比如3次),将第3个特征变换层输出的新的q4作为目标解码样本查询特征。
其中,将第i个特征变换层的目标样本组合输入特征输入特征变换解码器的第i个特征变换层得到第i+1个样本查询输入特征
Figure SMS_7
的过程可以是:/>
Figure SMS_8
Figure SMS_9
其中,
Figure SMS_10
表示第i个样本掩膜图像特征中的第j个样本解构元素预测掩膜图所构建的第i个掩膜矩阵(可选地,该第i个掩膜矩阵还可以通过第i个特征变换层中的神经网络进行处理,且处理后的特征维度不变),第i个样本查询输入特征有L个,每个第i个样本查询输入特征可以得到N个样本解构元素预测信息,每个第i个样本查询输入特征各自对应得到的N个样本解构元素预测信息中的第j个样本解构元素预测信息即为第i个样本掩膜图像特征中的第j个样本解构元素预测掩膜图,其中,一个第j个样本解构元素预测信息为特征维度为HxW,将其转换为一维矩阵,即1xHW,L个第j个样本解构元素预测信息拼接得到第i个掩膜矩阵,其特征维度为LxHW。/>
Figure SMS_11
表示第i个掩膜矩阵对应的特征位置(x, y)的注意掩码;可以理解,对于第i个样本查询输入特征可以得到一组样本解构元素预测掩膜图,均会输入第i个特征变换层;/>
Figure SMS_12
表示第i个样本查询输入特征通过第i个特征变换层中的神经网络进行处理所得到的第一样本处理特征,该第一样本处理特征的特征维度为1xEmbedding size,若第i个样本查询输入特征为L个,则对应L个第一样本处理特征,即特征维度为LxEmbedding size;/>
Figure SMS_13
均表示第i个上采样样本图像特征通过第i个特征变换层中的神经网络进行处理所得到的第二样本处理特征,该第二样本处理特征的特征维度为HWxEmbedding size。比如,第i个上采样样本图像特征的特征维度为H1xW1xEmbedding size,将该第i个上采样样本图像特征中每个Embedding size依次拼接,得到特征维度为H1W1xEmbedding size的拼接特征,然后通过神经网络进行处理第二样本处理特征;/>
Figure SMS_14
表示第i个样本查询输入特征。
或者,得到第i+1个样本查询输入特征
Figure SMS_15
的过程还可以是:
Figure SMS_16
Figure SMS_17
其中,
Figure SMS_18
表示特征位置(x, y)的注意掩码。
S104、将目标解码样本查询特征输入路口识别组件,由路口识别组件对目标解码样本查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息。
其中,可以通过路口识别组件对目标解码样本查询特征进行特征识别,也就是对目标解码样本查询特征进行矩阵变换处理,将矩阵变换结果(即特征识别结果)作为样本路口属性预测信息。可以理解,每个初始样本查询特征用于查询识别一个样本路口,也就是说,每个初始样本查询特征对应的目标解码样本查询特征可以对应一个预测路口,该预测路口并不表征一个实际的样本路口。样本路口属性预测信息用于指示通过初始样本查询特征从样本路口图像中查询识别出的信息为一个样本路口或图像背景的可能性,也即可以通过样本路口属性预测信息确定目标解码样本查询特征中包含一个样本路口的特征信息或图像背景的特征信息,也即可以通过样本路口属性预测信息确定目标解码样本查询特征对应的预测路口是否为样本路口。也就是对每个目标解码样本查询特征进行类别预测。
比如,当样本路口属性预测信息所指示的预测值大于或等于0.5时,表示通过初始样本查询特征从样本路口图像中查询识别出的信息为一个样本路口,即目标解码样本查询特征对应的预测路口为一个样本路口;当样本路口属性预测信息所指示的预测值小于0.5时,表示通过初始样本查询特征从样本路口图像中查询识别出的信息为图像背景,即目标解码样本查询特征对应的预测路口不为一个样本路口。
S105、将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息。
其中,一个掩膜分支对应一个目标样本解构元素预测信息。
可以理解的是,确定N个掩膜分支的N个目标样本解构元素预测信息的方式可以同上述N个初始样本解构元素预测信息的确定方式。具体可以是,将目标解码样本查询特征和第二样本图像处理特征输入第一掩膜分支,由第一掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口关键点元素相关联的目标样本路口关键点元素特征,基于目标样本路口关键点元素特征和第一掩膜分支所提供的掩膜特征,输出路口关键点元素对应的目标样本路口关键点预测掩膜图,将目标样本路口关键点预测掩膜图作为第一掩膜分支对应的目标样本解构元素预测信息;将目标解码样本查询特征和第二样本图像处理特征输入第二掩膜分支,由第二掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口连接边元素相关联的目标样本路口连接边元素特征,基于目标样本路口连接边元素特征和第二掩膜分支所提供的掩膜特征,输出路口连接边元素对应的目标样本路口连接边预测掩膜图,将目标样本路口连接边预测掩膜图作为第二掩膜分支对应的目标样本解构元素预测信息;将目标解码样本查询特征和第二样本图像处理特征输入第三掩膜分支,由第三掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到与非路口连接边元素相关联的目标样本非路口连接边元素特征,基于目标样本非路口连接边元素特征和第三掩膜分支所提供的掩膜特征,输出非路口连接边元素对应的目标样本非路口连接边预测掩膜图,将目标样本非路口连接边预测掩膜图作为第三掩膜分支对应的目标样本解构元素预测信息;将目标解码样本查询特征和第二样本图像处理特征输入第四掩膜分支,由第四掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口路面元素相关联的目标样本路口路面元素特征,基于目标样本路口路面元素特征和第四掩膜分支所提供的掩膜特征,输出路口路面对应的目标样本路口路面预测掩膜图,将目标样本路口路面预测掩膜图作为第四掩膜分支对应的目标样本解构元素预测信息;将第一掩膜分支对应的目标样本解构元素预测信息、第二掩膜分支对应的目标样本解构元素预测信息、第三掩膜分支对应的目标样本解构元素预测信息,和第四掩膜分支对应的目标样本解构元素预测信息作为N个掩膜分支的N个目标样本解构元素预测信息。
可以理解,N个掩膜分支均会对目标解码样本查询特征进行第一矩阵变换处理,得到各个掩膜分支所关联的目标样本路口元素解构特征。可以理解,目标解码样本查询特征中包括预测路口的特征信息,一个目标样本路口元素解构特征中包括针对该预测路口的一个解构元素的特征信息,比如一个掩膜分支关联的路口元素为路口关键点元素,则该掩膜分支对应的目标样本路口元素解构特征中包括预测路口的路口关键点元素对应的特征信息。也就是说,第一矩阵变换处理也可以理解为是针对预测路口的路口元素解析处理(即路口元素解构处理)。比如,一个目标解码样本查询特征的特征维度为1xEmbedding size,一个变换矩阵的特征维度为Embedding sizexEmbedding size,因此得到的一个目标样本路口元素解构特征的特征维度为1xEmbedding size。也就是说,对每一个输出的目标解码样本查询特征,经过不同的特征变换,得到用于不同语义预测的最终目标解码样本查询特征(即目标样本路口元素解构特征),并输入到相应的掩膜分支,从而预测出不同语义的目标样本解构元素预测信息。这样最终输出的每个路口实例就会在常规的路口路面预测掩膜图基础上,同时预测输出关键点预测掩膜图、路口连接边预测掩膜图和非路口连接边预测掩膜图,为后续的后处理和参数化提供了路口结构各元素的语义信息。
因此,可以通过新增多种掩膜分支实现对样本路口的全面解构,从而得到样本路口的多种路口元素(解构元素)对应的解构元素预测掩膜图。也就是说,初始路口识别模型可以包括N+1个预测输出分支。比如,一个预测输出分支(class head)用于输出预测路口的路口属性预测信息,即预测路口实例的类别概率分布;一个预测输出分布(路口key pointhead)用于输出预测路口在路口关键点元素的预测掩膜图(mask),通过该预测掩膜图可以提取出预测路口的路口关键点;一个预测输出分支(路段连接边mask head)用于输出预测路口在路口连接边元素下的预测掩膜图,通过预测掩膜图可以提取出预测路口的路口连接边;一个预测输出分支(非路段连接边mask head)用于输出预测路口在非路口连接边元素下的预测掩膜图,通过预测掩膜图可以提取出预测路口的非路口连接边;一个预测输出分支(路口面mask head)用于输出预测路口在路口路面元素下的预测掩膜图,通过预测掩膜图可以提取出预测路口的路面轮廓。
S106、基于N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息,基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
其中,对初始路口识别模型进行模型训练可以是,基于路口属性标注信息、样本路口属性预测信息、样本路口元素掩膜预测信息和路口元素掩膜标注信息对初始路口识别模型进行迭代训练,得到迭代训练结果;当迭代训练结果指示迭代训练后的初始路口识别模型满足模型收敛条件时,将满足模型收敛条件的初始路口识别模型作为目标路口识别模型。
其中,可以将N个掩膜分支的N个目标样本解构元素预测信息作为样本路口元素掩膜预测信息。可以理解,N个掩膜分支包括样本路口的路口关键点元素对应的第一掩膜分支、样本路口的路口连接边元素对应的第二掩膜分支、样本路口的非路口连接边元素对应的第三掩膜分支以及样本路口的路口路面元素对应的第四掩膜分支。因此,样本路口元素掩膜预测信息包括第一掩膜分支对应的目标样本解构元素预测信息所指示的样本路口关键点预测掩膜图、第二掩膜分支对应的目标样本解构元素预测信息所指示的样本路口连接边预测掩膜图、第三掩膜分支对应的目标样本解构元素预测信息所指示的样本非路口连接边预测掩膜图、以及第四掩膜分支对应的目标样本解构元素预测信息所指示的样本路口路面预测掩膜图。相应地,路口元素掩膜标注信息包括样本路口关键点预测掩膜图对应的路口关键点标注掩膜图、样本路口连接边预测掩膜图对应的路口连接边标注掩膜图、样本非路口连接边预测掩膜图对应的非路口连接边标注掩膜图、以及样本路口路面预测掩膜图对应的路口路面标注掩膜图。
其中,初始样本查询特征为L个,相应地,目标解码样本查询特征为L个,每个目标解码样本查询特征均对应N个目标样本解构元素预测信息,因此,每个目标解码样本查询特征均对应一个样本路口元素掩膜预测信息以及一个样本路口属性预测信息,L为正整数。对初始路口识别模型进行模型训练可以是,从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息,将与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息对应的目标解码样本查询特征作为参考解码样本查询特征,将路口元素掩膜标注信息作为参考解码样本查询特征所关联的样本掩膜图标签,并将路口属性标注信息作为参考解码样本查询特征所关联的样本路口属性标签;获取背景属性标注信息,并将背景属性标注信息作为L个目标解码样本查询特征中除参考解码样本查询特征以外的目标解码样本查询特征所关联的样本路口属性标签;基于参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值,并基于L个目标解码样本查询特征对应的样本路口属性预测信息以及所关联的样本路口属性标签确定第二损失值;通过第一损失值和第二损失值对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。比如,可以是向着减小第一损失值和第二损失值的方向,对初始路口识别模型进行模型训练,得到目标路口识别模型。其中,背景属性标注信息可以是作为样本路口标签信息中的标签信息输入至初始路口识别模型的,也可以是由初始路口识别模型被动生成的。
其中,确定第一损失值可以是,确定样本路口关键点预测掩膜图与路口关键点标注掩膜图之间的第一掩膜偏差、样本路口连接边预测掩膜图与路口连接边标注掩膜图之间的第二掩膜偏差、样本非路口连接边预测掩膜图与非路口连接边标注掩膜图之间的第三掩膜偏差、以及样本非路口连接边预测掩膜图与非路口连接边标注掩膜图之间的第四掩膜偏差;基于第一掩膜偏差、第二掩膜偏差、第三掩膜偏差以及第四掩膜偏差确定第一损失值。比如,对第一掩膜偏差、第二掩膜偏差、第三掩膜偏差以及第四掩膜偏差进行加权求和,得到第一损失值。
其中,以样本路口图像中包括M个样本路口为例,每个样本路口对应一个路口元素掩膜标注信息。从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息可以是,确定每个目标解码样本查询特征对应的样本路口元素掩膜预测信息分别与每个样本路口对应的路口元素掩膜标注信息之间的相似度,按照相似度算法,基于每个目标解码样本查询特征对应的样本路口元素掩膜预测信息分别与每个样本路口对应的路口元素掩膜标注信息之间的相似度从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定出与每个样本路口对应的路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息。一个样本路口对应的路口元素掩膜标注信息对应一个相匹配的样本路口元素掩膜预测信息。比如,相似度算法可以是匈牙利算法。
其中,确定一个目标解码样本查询特征对应的样本路口元素掩膜预测信息与一个样本路口对应的路口元素掩膜标注信息之间的相似度可以是,分别确定每个样本解构元素预测掩膜图与对应解构元素标注掩膜图之间的掩膜相似度,根据每个样本解构元素预测掩膜图对应的掩膜相似度确定目标解码样本查询特征对应的路口元素掩膜预测信息与样本路口对应的路口元素掩膜标注信息之间的相似度。比如将每个样本解构元素预测掩膜图对应的掩膜相似度的相似度平均值作为目标解码样本查询特征对应的样本路口元素掩膜预测信息与样本路口对应的路口元素掩膜标注信息之间的相似度。可以理解,样本解构元素预测掩膜图关联的解构元素与该样本解构元素预测掩膜图对应的解构元素标注掩膜图关联的解构元素相同。
可以理解,当一个目标解码样本查询特征对应的样本路口元素掩膜预测信息存在相匹配的路口元素掩膜标注信息时,表示可以视为该目标解码样本查询特征对应的预测路口应为样本路口,即该目标解码样本查询特征从样本路口图像中查询识别出一个样本路口,因此可以将路口元素掩膜标注信息作为该目标解码样本查询特征关联的样本掩膜图标签,且可以将样本路口的路口属性标注信息作为该目标解码样本查询特征关联的样本路口属性标签。也就是说,训练目标是使得该目标解码样本查询特征对应的样本路口元素掩膜预测信息与相匹配的路口元素掩膜标注信息越来越接近,且目标解码样本查询特征对应的样本路口元素掩膜预测信息与样本路口的路口元素掩膜标注信息越来越接近。
可以理解,L个目标解码样本查询特征中除参考解码样本查询特征以外的目标解码样本查询特征是未能从样本路口图像中查询识别出一个样本路口的查询特征,即查询识别出的是图像背景,因此,可以将背景属性标注信息作为L个目标解码样本查询特征中除参考解码样本查询特征以外的目标解码样本查询特征关联的样本路口属性标签。也就是说,在确定第一损失值时,是通过参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定的。同理,在确定第二损失值时,是通过每个目标解码样本查询特征的样本路口属性预测信息以及所关联的样本路口属性标签确定的。
由此,训练得到的目标路口识别模型可以用于对目标路口图像中的目标路口进行识别和解构,以输出目标路口的N个目标解构元素预测信息,即目标路口的N个解构元素对应的解构元素掩膜图。例如,目标解码样本查询特征为3个(w1、w2、w3),w1对应的样本路口属性预测信息为class1、w2对应的样本路口属性预测信息为class2、w3对应的样本路口属性预测信息为class3;w1对应的样本路口元素掩膜预测信息为mask1(mask1a、mask1b、mask1c和mask1d);w2对应的样本路口元素掩膜预测信息为mask2(mask2a、mask2b、mask2c和mask2d);w3对应的样本路口元素掩膜预测信息为mask3(mask3a、mask3b、mask3c和mask3d);若样本路口图像中的样本路口为一个,则有一个路口元素掩膜标注信息MASK(MASKa、MASKb、MASKc和MASKd)和一个路口属性标注信息(CLASS1);确定MASK分别与mask1、mask2、mask3之间的相似度,若从mask1、mask2、mask3中确定出mask1与MASK相匹配,则将MASK作为w1所关联的样本掩膜图标签,并将CLASS1作为w1所关联的样本路口属性标签,同时将背景属性标注信息(CLASS2)作为w2和w3所关联的样本路口属性标签;通过mask1与MASK确定第一损失值,根据class1和CLASS1、class2和CLASS2、class3和CLASS2确定第二损失值。又如,若前述样本路口图像中的样本路口为两个,则有两个样本路口的路口元素掩膜标注信息MASK1(MASK1a、MASK1b、MASK1c和MASK1d)和MASK2(MASK2a、MASK2b、MASK2c和MASK2d),每个样本路口的路口属性标注信息均为CLASS1;确定MASK1分别与mask1、mask2、mask3之间的相似度以及确定MASK2分别与mask1、mask2、mask3之间的相似度,以从mask1、mask2、mask3中确定与MASK1相匹配的mask以及与MASK2相匹配的mask,若从mask1、mask2、mask3中确定出mask1与MASK1相匹配以及mask2与MASK2相匹配,则将MASK1作为w1所关联的样本掩膜图标签,并将CLASS1作为w1所关联的样本路口属性标签,以及将MASK2作为w2所关联的样本掩膜图标签,并将CLASS1作为w2所关联的样本路口属性标签,同时将背景属性标注信息(CLASS2)作为w3所关联的样本路口属性标签;通过mask1与MASK1、mask2与MASK2确定第一损失值,根据class1和CLASS1、class2和CLASS1、class3和CLASS2确定第二损失值。
例如,如图9-图11所示,图9-图11是本申请实施例提供的一种模型训练场景示意图;其中,初始路口识别模型90即为上述图6所示模型,其包含:关键特征提取组件91、路口识别组件92以及由四个掩膜分支(93a、93b、93c、93d)所构成的路口元素解析组件93,关键特征提取组件91包括主干特征提取器94、像素解码器95以及特征变换解码器96;像素解码器95包括图像采样层(95a、95b、95c、95d);特征变换解码器96包括特征变换层(96a、96b、96c);获取样本路口图像97以及初始样本查询特征(比如有三个初始样本查询特征q11、q21、q31,即构成3xEmbedding size维向量),将样本路口图像97输入主干特征提取器94得到参考样本图像特征(p0),并将p0输入图像采样层(95a、95b、95c、95d)进行上采样处理,每个图像采样层输出一个上采样样本图像特征(依次为p1、p2、p3、p4),该p1、p2、p3为第一样本图像处理特征,p4为第二样本图像处理特征,且确定p1、p2、p3、p4的方式可以参见上述图7示例,基于初始样本查询特征(q11、q21、q31)和p4确定目标样本组合查询特征1(g11、g21、g21),一个目标样本组合查询特征包括一个初始样本查询特征以及p4;将目标样本组合查询特征1(g11、g21、g21)分别输入四个掩膜分支(93a、93b、93c、93d),由第一掩膜分支93a对目标样本组合查询特征1(g11、g21、g31)进行特征处理,得到目标样本组合查询特征1(g11、g21、g31)各自对应的第一样本路口关键点预测掩膜图(m111、m211、m311)、由第二掩膜分支93b对目标样本组合查询特征1(g11、g21、g31)进行特征处理,得到目标样本组合查询特征1(g11、g21、g31)各自对应的第一样本路口连接边预测掩膜图(m121、m221、m321)、由第三掩膜分支93c对目标样本组合查询特征1(g11、g21、g31)进行特征处理,得到目标样本组合查询特征1(g11、g21、g31)各自对应的第一样本非路口连接边预测掩膜图(m131、m231、m331)、由第四掩膜分支93d对目标样本组合查询特征1(g11、g21、g31)进行特征处理,得到目标样本组合查询特征1(g11、g21、g31)各自对应的第一样本路口路面预测掩膜图(m141、m241、m341),将第一样本路口关键点预测掩膜图(m111、m211、m311)、第一样本路口连接边预测掩膜图(m121、m221、m321)、第一样本非路口连接边预测掩膜图(m131、m231、m331)、第一样本路口路面预测掩膜图(m141、m241、m341)作为输入特征变换层96a的第1个样本掩膜图像特征(M.1),将第1个样本掩膜图像特征(M.1)、p1和第1个样本查询输入特征(即初始样本查询特征98)作为目标样本组合输入特征1,并输入特征变换层96a进行特征变换,将特征变换所得到的解码特征作为第2个样本查询输入特征(即q12、q22、q32,构成3xEmbedding size维向量)。
因此,基于第2个样本查询输入特征(q12、q22、q32)和p4确定目标样本组合查询特征2(g12、g22、g22),一个目标样本组合查询特征包括一个第2个样本查询输入特征以及p4,将目标样本组合查询特征2(g12、g22、g22)分别输入四个掩膜分支(93a、93b、93c、93d),由第一掩膜分支93a对目标样本组合查询特征2(g12、g22、g22)进行特征处理,得到目标样本组合查询特征2(g12、g22、g22)各自对应的第二样本路口关键点预测掩膜图(m122、m222、m322)、由第二掩膜分支93b对目标样本组合查询特征(g12、g22、g22)进行特征处理,得到目标样本组合查询特征(g12、g22、g22)各自对应的第二样本路口连接边预测掩膜图(m122、m222、m322)、由第三掩膜分支93c对目标样本组合查询特征(g12、g22、g22)进行特征处理,得到目标样本组合查询特征(g12、g22、g22)各自对应的第二样本非路口连接边预测掩膜图(m132、m232、m332)、由第四掩膜分支93d对目标样本组合查询特征(g12、g22、g22)进行特征处理,得到目标样本组合查询特征(g12、g22、g22)各自对应的第二样本路口路面预测掩膜图(m142、m242、m342),将第二样本路口关键点预测掩膜图(m121、m221、m321)、第二样本路口连接边预测掩膜图(m122、m222、m322)、第二样本非路口连接边预测掩膜图(m132、m232、m332)、第二样本路口路面预测掩膜图(m142、m242、m342)作为输入b2的第2个样本掩膜图像特征(M.2),将第2个样本掩膜图像特征(M.2)、p2和第2个样本查询输入特征(q12、q22、q32)作为目标样本组合输入特征2,并输入特征变换层96b进行特征变换,将特征变换所得到的解码特征作为第3个样本查询输入特征(即q13、q23、q33,构成3xEmbedding size维向量)。
因此,基于第3个样本查询输入特征(q13、q23、q33)和p4确定目标样本组合查询特征3(g13、g23、g23),一个目标样本组合查询特征q13、q23、q33包括一个第3个样本查询输入特征以及p4,将目标样本组合查询特征3(g13、g23、g23)分别输入四个掩膜分支,由第一掩膜分支93a对目标样本组合查询特征3(g13、g23、g23)进行特征处理,得到目标样本组合查询特征3(g13、g23、g23)各自对应的第三样本路口关键点预测掩膜图(m113、m213、m313)、由第二掩膜分支93b对目标组合查询特征3(g13、g23、g23)进行特征处理,得到目标组合查询特征3(g13、g23、g23)各自对应的第三样本路口连接边预测掩膜图(m123、m223、m323)、由第三掩膜分支93c对目标样本组合查询特征3(g13、g23、g23)进行特征处理,得到目标样本组合查询特征3(g13、g23、g23)各自对应的第三样本非路口连接边预测掩膜图(m133、m233、m333)、由第四掩膜分支93d对目标样本组合查询特征3(g13、g23、g23)进行特征处理,得到目标样本组合查询特征3(g13、g23、g23)各自对应的第三样本路口路面预测掩膜图(m143、m243、m343),将第三样本路口关键点预测掩膜图(m123、m223、m323)、第三样本路口连接边预测掩膜图(m123、m223、m323)、第三样本非路口连接边预测掩膜图(m133、m233、m333)、第三样本路口路面预测掩膜图(m143、m243、m343)作为输入b3的第3个样本掩膜图像特征(M.3),将第3个样本掩膜图像特征(M.3)、p3和第3个样本查询输入特征(q13、q23、q33)输入特征变换层96c进行特征变换,将特征变换所得到的解码特征作为第4个样本查询输入特征(即q14、q24、q34,构成3xEmbedding size维向量)。
可以理解,可以基于第4个样本查询输入特征(q14、q24、q34)再次执行上述过程,也就是将第4个样本查询输入特征(q14、q24、q34)作为初始样本查询特征(q11、q21、q31),重复执行上述过程,得到特征变换层96c所输出的最终的第4个样本查询输入特征,并将该最终的第4个样本查询输入特征作为目标解码样本查询特征(q14、q24、q34)。
由此,可以将目标解码样本查询特征和p4输入四个掩膜分支,由四个掩膜分支输出四个掩膜分支的四个目标样本解构元素预测信息(即目标样本路口关键点预测掩膜图(m124、m224、m324)、目标样本路口连接边预测掩膜图(m124、m224、m324)、目标样本非路口连接边预测掩膜图(m134、m234、m334)、目标样本路口路面预测掩膜图(m144、m244、m344)),并将四个掩膜分支的四个目标样本解构元素预测信息作为样本路口元素掩膜预测信息,同时,将目标解码样本查询特征输入路口识别组件,由路口识别组件输出样本路口属性预测信息,后续,可以根据路口元素掩膜标注信息和样本路口元素掩膜预测信息确定第一损失值,根据路口属性标注信息和样本路口属性预测信息确定第二损失值,通过第一损失值和第二损失值训练初始路口识别模型,得到目标路口识别模型。可以理解,在对初始路口识别模型训练时,除了会修正关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件中的网络参数,还会修正初始样本查询特征(即q11、q21、q31)的特征参数,得到修正后的初始样本查询特征,将该修正后的初始样本查询特征作为新的训练样本中的初始样本查询特征,以迭代训练初始路口识别模型。在初始路口识别模型训练完成时,表示初始样本查询特征训练完成,将训练后的初始样本查询特征作为目标查询特征,目标查询特征和目标路口图像可以输入目标路口识别模型,通过目标查询特征从目标路口图像中查询识别目标路口。
此外,特征变换解码器96包括特征变换层(96a、96b、96c)的具体结构如图10所示;其中,特征变换层基于transformer解码器的结构而构建;以特征变换层96a为例,特征变换层依次包括隐蔽注意力网络(又称masked attention)、加&规范化网络(又称add&norm)、多头注意力网络(self-attention)、加&规范化网络(又称add&norm)、逐位前馈网络(又称FFN)、加&规范化网络(又称add&norm);一个特征变换层的输入包括一个样本查询输入特征、一个样本掩膜图像特征和一个上采样样本图像特征;且样本查询输入特征作为输入特征变换层的Query(q,又称查询向量),样本采样图像特征作为输入特征变换层的Key(k,表示被查询信息与其他信息的相关性的向量)和Value(v,表示被查询信息的向量);其中,隐蔽注意力网络中的执行过程如上述步骤S102中的所示公式部分(即对应“将第i个特征变换层的目标样本组合输入特征输入特征变换解码器的第i个特征变换层得到第i+1个样本查询输入特征
Figure SMS_19
的过程”的相关描述)。可以理解,特征变换层96a输入的样本查询输入特征为q11、q21、q31,以及输入包括第一个上采样样本图像特征p1和第1个样本掩膜图像特征(M.1),输出为第2个样本查询输入特征(q12、q22、q32)。可以理解,样本查询输入特征可以扩增为4个,也就是q11、q21、q31、q41;此时4个样本查询输入特征的执行过程和原理相同,所输出的第2个样本查询输入特征即为q12、q22、q32、q42。
其中,上述路口识别组件和路口元素解析组件的具体输出形式如图11所示,基于最终的第4个样本查询输入特征(q14、q24、q34)和p4确定目标样本组合查询特征4(g14、g24、g24),一个目标样本组合查询特征q14、q24、q34包括一个第4个样本查询输入特征q13、q23、q33以及p4;将目标样本组合查询特征4(g14、g24、g24)分别输入四个掩膜分支,由第一掩膜分支93a对目标样本组合查询特征4(g14、g24、g24)进行特征处理,得到目标样本组合查询特征4(g14、g24、g24)各自对应的目标样本路口关键点预测掩膜图(m114、m214、m314),即第一掩膜分支对应的目标样本解构元素预测信息、由第二掩膜分支93b对得到目标样本组合查询特征4(g14、g24、g24)进行特征处理,得到目标样本组合查询特征4(g14、g24、g24)各自对应的目标样本路口连接边预测掩膜图(m124、m224、m324),即第二掩膜分支对应的目标样本解构元素预测信息、由第三掩膜分支93c对目标样本组合查询特征4(g14、g24、g24)进行特征处理,得到目标样本组合查询特征4(g14、g24、g24)各自对应的目标样本非路口连接边预测掩膜图(m134、m234、m334),即第三掩膜分支对应的目标样本解构元素预测信息、由第四掩膜分支93d对目标样本组合查询特征4(g14、g24、g24)进行特征处理,得到目标样本组合查询特征4(g14、g24、g24)各自对应的目标样本路口路面预测掩膜图(m144、m244、m344),即第四掩膜分支对应的目标样本解构元素预测信息。可以理解,m114、m124、m134、m144为基于初始样本查询特征q11所预测出的样本解构元素掩膜图;m214、m224、m234、m244为基于初始样本查询特征q21所预测出的样本解构元素掩膜图;m314、m324、m334、m344为基于初始样本查询特征q31所预测出的样本解构元素掩膜图;同时,将第4个样本查询输入特征(即目标解码样本查询特征)q14、q24、q34输入路口识别组件,得到目标解码样本查询特征q14、q24、q34各自对应的样本路口属性预测信息(c1、c2、c3)。
也就是说,可以基于以上的模型设计搭建目标路口识别模型的模型网络结构。同时,对样本路口图像进行样本路口的数据标注,即标注样本路口的关键点、路口连接边、非路口连接边和路口路面。基于标注好的数据对模型进行训练、测试和部署,最终实现将目标路口图像输入目标路口识别模型,输出该目标路口图像上的路口实例,这里的每个路口实例都包含路口路面预测掩膜图(即路口多边形mask)、路口关键点预测掩膜图(即路口关键点mask)、路口连接边预测掩膜图(即路段连接边mask)和非路口连接边预测掩膜图(即非路段连接边mask)。如图12所示,图12是本申请实施例提供的一种模型预测效果的展示示意图:其中,可以通过路口路面预测掩膜图确定目标路口图像的路口路面元素所对应预测到的路口路面、通过路口关键点预测掩膜图确定目标路口图像的路口关键点元素所对应预测到的路口关键点、通过路口连接边预测掩膜图确定目标路口图像的路口连接边元素所对应预测到的路口连接边、通过非路口连接边预测掩膜图确定目标路口图像的非路口连接边元素所对应预测到的非路口连接边,可以对该路口路面、路口关键点、路口连接边和非路口连接边进行突出渲染,并渲染显示在目标路口图像中(比如对路口路面、路口关键点、路口连接边和非路口连接边进行顺时针或者逆时针连接得到路口的解构信息,并进行渲染显示),由此得到模型预测效果;其中,突出显示可以任意方式,比如,浅灰色虚线表示通过路口多边形mask提取出的路口轮廓,即预测路口路面;虚线圆点表示通过关键点预测掩膜图提取出的预测路口关键点;黑色线表示通过路口连接边预测掩膜图提取出的预测路口连接边;深灰色线表示通过非路口连接边预测掩膜图提取出的预测非路口连接边。
因此,本申请可以实现在路口图像对路口的识别解构,即对现有深度学习方法进行创新,即在对路口进行实例分割的基础上,同时解构识别出路口的点线面,也就是具体解构出路口路面(即路口面)、路口连接边(即路段连接边界)、非路口连接边(即非路段连接边界)和路口关键点,从而实现对路口的识别和解构,也就是可以通过路口识别模型在识别路口实例的同时,对构成路口的点线面进行端到端的预测,对组成路口的不同边及关键点等,路口识别模型可以进行识别并赋予相应的语义(比如对于组成路口的不同边,路口识别模型可以区分该条边是否与路段相连接,从而赋予其相应的语义为路口连接边或者非路口连接边),可以与路口实例建立实例间的关系,可以获取对路口的结构化表达。此外,可以理解,N个掩膜分支的预测结果相互作用,共同训练初始路口识别模型,也就是不同掩膜分支在训练过程中会相互促进预测效果,最终实现对路口的全方位结构化,这为后续获取路口各个路口元素的关系,并对不同语义的路口元素进行有针对性的参数化处理,进而可以使得最终确定出的路口信息可以更加真实美观,从而可以提升路口的渲染效果。
可以理解,本申请可以应用于在路口渲染场景,比如地图渲染中的路口渲染,该需要更加结构化的路口信息,而非仅仅是路口路面形态,因此提出了一种在路口图像上对路口进行识别解构的方法,可以对组成路口的点、线和面进行识别,具体包含路口路面(多边形表示)、路口连接边(线段表示)、非路口连接边(曲线或线段表示)和路口关键点(点表示),实现了对路口的结构化表达,可以为判断路口路段关系提供了依据,同时也使得路口形态更加美观。可以理解,由上述过程所训练的目标路口识别模型可以实现端到端地识别目标路口的点、边和面,具体包含路口路面、路口连接边、非路口连接边和路口关键点。
本申请实施例提供了一种图像处理方法,在于可以通过初始样本查询特征从样本路口图像中查询样本路口,得到包含了从样本路口图像中所识别出的样本路口的特征信息的目标解码样本查询特征,实现了对样本路口的识别;可以通过目标解码样本查询特征对应的预测路口的样本路口属性预测信息确定是否从样本路口图像中识别出样本路口,即样本路口属性预测信息对应的预测路口是否表示一个真实的样本路口实例,可以理解,若样本路口属性预测信息指示通过目标解码样本查询特征从样本路口图像中识别出样本路口,则样本路口属性预测信息对应的预测路口为样本路口图像中的一个样本路口;另外,可以通过目标解码样本查询特征确定预测路口的N个掩膜分支的N个目标样本解构元素预测信息;可以理解,该N个掩膜分支中一个掩膜分支对应一个目标样本解构元素预测信息,通过该N个目标样本解构元素预测信息可以确定一个样本路口在N个解构元素下的相关参数,从而实现对样本路口的解构,也就是说,相较于现有仅得到路口形态参数,本方案可以得到样本路口更详细的多种解构元素参数,实现对样本路口的全方位解构以确定样本路口在多种构成元素下的结构化信息;由此,训练得到的目标路口识别模型可以识别解构出一个目标路口的N个目标样本路口属性预测信息,进一步准确得到在N个解构元素下的相关参数,可以提升对路口进行识别与解构的精确度;后续,在通过在N个解构元素下的相关参数对目标路口进行渲染时,可以实现精准渲染,提升目标路口的渲染真实性。
进一步的,请参见图13,图13是本申请实施例提供的一种图像处理方法,如图13所示,方法可以由上述提及的计算机设备来执行,比如,如图1中所示的任意一个业务终端或业务服务器,方法具体可以包括以下步骤S201-步骤S205:
S201、获取包含目标路口的目标路口图像、目标查询特征,以及用于对目标路口图像进行图像解构处理的目标路口识别模型。
其中,目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;目标路口识别模型是通过将训练样本以及训练样本的样本路口标签信息输入初始路口识别模型,对初始路口识别模型进行模型训练所得到的。训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征。初始路口识别模型的训练过程可以参见上述实施例相关描述。
可以理解,目标查询特征是在训练得到目标路口识别模型时所训练得到的。即目标查询特征是对初始样本查询特征进行训练所得到的。目标查询特征的数量为L,L为正整数。一个目标查询特征用于查询识别一个路口实例。
其中,目标路口图像可以是用户上传的任意路口图像,也可以是由卫星采集的卫星道路影像等等,在此不做限定。目标路口图像中可以包括一个或多个目标路口。
S202、将目标路口图像输入关键特征提取组件,由关键特征提取组件对目标路口图像进行图像处理,得到目标路口图像的第一图像处理特征和第二图像处理特征。
S203、将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始解构元素预测信息,将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件,由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征。
S204、将目标解码查询特征输入路口识别组件,由路口识别组件对目标解码查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息。
其中,在目标路口识别模型中确定目标解码查询特征、路口属性预测信息等信息的过程和原理同在初始路口识别模型中确定目标解码样本查询特征、样本路口属性预测信息等信息的过程和原理,具体可以参见上述实施例的相关描述,在此不做赘述。
S205、若目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口,则将目标解码查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标解构元素预测信息。
其中,一个目标查询特征得到一个目标解码查询特征。一个掩膜分支对应一个目标解构元素预测信息。
可以理解,当目标解码查询特征对应的路口属性预测信息所指示的预测值大于或等于预测阈值(比如为0.5)时,表示通过目标查询特征从目标路口图像中查询识别出的信息为一个目标路口,也就是目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口,相应地,当目标解码查询特征对应的路口属性预测信息所指示的预测值小于预测阈值(比如为0.5)时,表示通过目标查询特征从目标路口图像中查询识别出的信息为图像背景,也就是目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口不为目标路口。可以理解,每个目标解码查询特征均会执行此步骤,以从L个目标解码查询特征中确定出查询识别出目标路口的目标解码查询特征,并基于确定出的目标解码查询特征生成对应的N个目标解构元素预测信息。一个目标解码查询特征得到一组目标解构元素预测信息。也就是说,对应路口属性预测信息所指示的预测值大于或等于预测阈值的目标解码查询特征可以得到一个目标路口的N个目标解构元素预测信息。
其中,通过N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理得到N个目标解构元素预测信息的具体过程可以参见上述实施例的相关描述。可以理解,N个掩膜分支包括目标路口的路口关键点元素对应的第一掩膜分支、目标路口的路口连接边元素对应的第二掩膜分支、目标路口的非路口连接边元素对应的第三掩膜分支以及目标路口的路口路面元素对应的第四掩膜分支。第一掩膜分支对应的目标解构元素预测信息用于指示路口关键点元素对应的目标关键点预测掩膜图、第二掩膜分支对应的目标解构元素预测信息用于指示路口连接边元素对应的目标路口连接边预测掩膜图、第三掩膜分支对应的目标解构元素预测信息用于指示非路口连接边元素对应的目标非路口连接边预测掩膜图、以及第四掩膜分支对应的目标解构元素预测信息用于指示路口路面元素对应的目标路口路面预测掩膜图。
因此,可以基于N个目标解构元素预测信息进行参数化处理,得到目标路口的结构化信息,并可以进一步基于结构化信息对目标路口进行渲染。比如可以是,基于目标路口关键点预测掩膜图、目标路口连接边预测掩膜图、目标非路口连接边预测掩膜图以及目标路口路面预测掩膜图,在目标路口图像中对目标路口进行渲染显示。
其中,对目标路口的渲染显示可以是,基于目标路口关键点预测掩膜图确定路口关键点元素对应的路口关键点元素参数,基于目标路口连接边预测掩膜图确定路口连接边元素对应的路口连接边元素参数,基于目标非路口连接边预测掩膜图确定非路口连接边元素对应的非路口连接边元素参数,基于目标路口路面预测掩膜图确定路口路面元素对应的路口路面元素参数;基于路口关键点元素参数、路口连接边元素参数、非路口连接边元素参数以及路口路面元素参数,在目标路口图像中对目标路口进行渲染显示。进一步的,还可以对前述四种元素参数进行参数化处理,以得到更标准更准确的元素参数,也就是对路口关键点元素参数、路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到路口关键点元素对应的标准路口关键点元素参数、路口连接边元素对应的标准路口连接边元素参数、非路口连接边元素对应的标准非路口连接边元素参数,以及路口路面元素对应的标准路口路面元素参数;基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数以及标准路口路面元素参数,在目标路口图像中对目标路口进行渲染显示。
可以理解,以路口关键点为例,目标路口关键点预测掩膜图用于标记目标路口的路口关键点,可以通过目标关键点预测掩膜图在目标路口图像中确定目标路口的路口关键点,并基于所确定的路口关键点生成路口关键点元素参数。即该路口关键点元素参数用于在目标路口图像中指示路口关键点。
其中,对目标路口的渲染显示可以是,基于标准路口关键点元素参数确定目标路口的路口关键点,基于标准路口连接边元素参数确定目标路口的路口连接边,基于标准非路口连接边元素参数确定目标路口的非路口连接边,基于标准路口路面元素参数确定目标路口的路口路面;将目标路口的路口关键点、目标路口的路口连接边、目标路口的非路口连接边和目标路口的路口路面作为目标路口的路口构成信息,对路口构成信息进行突出渲染,并将突出渲染的路口构成信息渲染显示在目标路口图像中。也就是,按照与解构元素相匹配的显示方式对目标路口的路口关键点、路口连接边、非路口连接边和路口路面进行突出显示,比如将路口关键点突出显示为绿色、路口连接边突出显示为蓝色等等。在此对突出显示不做限定。其突出显示的效果图可以参见下述图14所示的效果。
此外,对目标路口的渲染显示可以是,基于标准路口关键点元素参数确定目标路口的路口关键点,基于标准路口连接边元素参数确定目标路口的路口连接边,基于标准非路口连接边元素参数确定目标路口的非路口连接边,基于标准路口路面元素参数确定目标路口的路口路面,基于目标路口的路口关键点、目标路口的路口连接边、目标路口的非路口连接边和目标路口的路口路面对目标路口图像中的目标路口进行虚拟渲染显示。即基于目标路口图像中的目标道路和目标路口的路口构成信息生成目标路口图像的虚拟渲染图像。
例如,如图14所示,图14是本申请实施例提供的一种目标路口的渲染场景示意图;其中,获取真实路口图像,比如卫星影像,通过目标路口识别模型可以从真实路口图像中确定目标路口的路口构成信息(为了便于理解,此处基于路口构成信息在目标路口图像中对目标路口进行突出显示,不同解构元素用于不同颜色进行突出渲染),以及获取目标道路的路口构成信息,并通过目标路口的路口构成信息和目标道路的路口构成信息对目标路口图像进行虚拟渲染,得到虚拟渲染图像,即虚拟路口图像,虚拟路口图像包括了目标路口图像中的道路信息和路口信息。该可以应用于在卫片建图、道路渲染等场景中。该可以通过目标路口的路口构成信息对目标路口进行更精细的虚拟渲染,以使得渲染出的目标路口更加切近真实图像,以提高渲染效果。
可以理解,由于目标路口的各个解构元素是单独预测的,因此各个解构元素的元素参数不一定贴合。因此可对其进行标准参数化处理,以进一步校准各个解构元素的元素参数。其具体可以是,根据路口路面元素参数所指示的预测路口路面确定U个备选路口关键点,并从U个备选路口关键点中筛选出V个候选路口关键点;U为大于1的正整数、V为小于或等于U的正整数;获取路口关键点元素参数所指示的Q个预测路口关键点,获取Q个预测路口关键点中每个预测路口关键点分别与V个候选路口关键点中每个候选路口关键点之间的关键点距离,并基于关键点距离从V个候选路口关键点中确定出与Q个预测路口关键点之间的关键点距离最小的Q个候选路口关键点;一个预测路口关键点用于确定一个候选路口关键点;Q为正整数;根据Q个候选路口关键点确定标准路口关键点元素参数,并基于标准路口关键点元素参数对路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到标准路口连接边元素参数、标准非路口连接边元素参数,以及标准路口路面元素参数。
其中,路口路面元素参数所指示的预测路口路面为路口多边形,可以将构成路口多边形的路面点作为备选路口关键点。可以从V个候选路口关键点中获取与每个预测路口关键点之间的关键点距离最小的候选路口关键点,将每个预测路口关键点对应的候选路口关键点确定为Q个候选路口关键点。也就是从V个候选路口关键点中确定出与每个预测路口关键点距离最近的候选路口关键点。
其中,U个备选路口关键点包括目标备选关键点。筛选出V个候选路口关键点具体可以是,从U个备选路口关键点中获取与目标备选关键点相邻的第一备选关键点以及第二备选关键点;获取第一关键点线段与第二关键点线段之间的线段夹角;第一关键点线段为目标备选关键点与第一备选关键点所连接而成的线段、第二关键点线段为目标备选关键点与第二备选关键点所连接而成的线段;若线段夹角处于目标夹角范围内,则将目标备选关键点作为候选路口关键点。其中,目标夹角范围可以根据经验值预设,比如可以是90度-160度。可以理解,该候选路口关键点为可能作为路口关键点的点。例如,V个候选路口关键点包括关键点1、关键点2、关键点3,对于关键点2,其第一备选关键点为关键点1、第二备选关键点为关键点3,因此第一关键点线段为关键点1和关键点2所连接而成的线段、第二关键点线段为关键点2和关键点3所连接而成的线段;若第一关键点线段和第二关键点线段所构成的线段夹角处于目标夹角范围内,则将关键点2作为候选路口关键点。
在一些实施例中,基于标准路口关键点元素参数对路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到标准路口连接边元素参数、标准非路口连接边元素参数,以及标准路口路面元素参数具体可以是,基于标准路口关键点元素参数所指示的Q个候选路口关键点以及路口路面元素参数所指示的预测路口路面确定Q条路口线段;基于路口连接边元素参数所指示的预测路口连接边从Q条路口线段中确定出与预测路口连接边相关联的路口线段,并通过与预测路口连接边相关联的路口线段确定标准路口连接边元素参数;基于非路口连接边元素参数所指示的预测非路口连接边从Q条路口线段中确定出与预测非路口连接边相关联的路口线段,并通过与预测非路口连接边相关联的路口线段确定标准非路口连接边元素参数;基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数,对路口路面元素参数进行标准参数化处理,得到标准路口路面元素参数。
其中,可以通过路口路面元素参数所指示的预测路口路面确定对应的预测路口多边形,可以通过在预测路口多边形上的Q个候选路口关键点,将预测路口多边形划分为Q条路口线段。可以通过预测路口连接边和预测非路口连接边为Q条路口线段赋予相应的路段语义。比如,确定每条路口线段分别与每条预测连接边(即预测路口连接边和预测非路口连接边)之间相似度(即线段IOU(Intersection over Union,并集上的交点)),从而确定与每条路口线段最相似的预测连接边,并将该最相似的预测连接边的语义赋予对应的路口线段。也就是确定与预测路口连接边相关联的路口线段以及与预测非路口连接边相关联的路口线段。与预测路口连接边相关联的路口线段的语义为路口连接边、与预测非路口连接边相关联的路口线段的语义为非路口连接边。可以理解,将未确定出具有相似的预测连接边的路口线段确定为未定义连接边,即不具有任一语义。
其中,通过与预测路口连接边相关联的路口线段确定标准路口连接边元素参数可以是,按照与路口连接边元素相匹配的线段拟合方式对与预测路口连接边相关联的路口线段进行线段拟合处理,得到拟合路口线段;若与预测路口连接边相关联的路口线段与拟合路口线段之间满足线段匹配关系,则将拟合路口线段作为目标路口的路口连接边,并基于目标路口的路口连接边确定标准路口连接边元素参数。其中,与路口连接边元素相匹配的线段拟合方式为按照直线拟合方式对与预测路口连接边相关联的路口线段进行拟合。与非路口连接边元素相匹配的线段拟合方式为按照曲线拟合方式对将与预测非路口连接边相关联的路口线段进行拟合。该曲线拟合方式可以是按照二阶贝塞尔曲线进行拟合。对于不具有任一语义的非定义连接边,则不做拟合。
可以理解,将拟合后的线段确定为拟合路口线段,若拟合前后的线段(即与预测路口连接边相关联的路口线段与拟合路口线段)变化过大,即不满足线段匹配关系,则将该与预测路口连接边相关联的路口线段作为未定义连接边。其中,线段匹配关系可以基于与预测路口连接边相关联的路口线段与拟合路口线段之间的相似度确定。
可以理解,基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数,对路口路面元素参数进行标准参数化处理,得到标准路口路面元素参数可以是,将标准路口关键点元素参数指示的路口关键点、路口连接边元素参数指示的路口连接边、非路口连接边元素参数指示的非路口连接边所构成的多边形作为目标路口的路口路面,并基于目标路口的路口路面确定标准路口路面元素参数。也就是说,将标准路口关键点元素参数指示的路口关键点、路口连接边元素参数指示的路口连接边、非路口连接边元素参数指示的非路口连接边按照顺时针或者逆时针的方向进行连接,以构成路口多边形,将该路口多边形确定为最终确定的路口路面,进而得到标准路口路面元素参数。
例如,如图15所示,图15是本申请实施例提供的一种目标路口的参数处理场景示意图;其中,在通过目标路口识别模型对目标路口图像进行模型推理,得到N个掩膜分支的N个目标解构元素预测信息(即获得一个目标路口实例的各解构元素的语义mask)时,可以通过该N个目标解构元素预测信息确定目标路口的预测识别结果,后续可以进行进一步的后处理,即参数化处理,最终得到参数化的完整路口结构,也就是进行标准参数化处理,其过程可以是:①获取备选路口关键点:遍历路口路面元素参数所指示的路口多边形的全部点,根据点与前后相邻点构成的向量夹角是否处于目标夹角范围选出备选路口关键点。备选路口关键点的数量以及目标夹角范围可以是预设的合理阈值;②获取候选路口关键点:在步骤①生成的备选路口关键点中找到与路口关键点参数所指示的预测路口关键点最近的候选路口关键点,以作为路口关键点,进而得到标准路口关键点参数;③获取路口线段:根据确定出的路口关键点和路口多边形,将路口多边形划分成Q条路口线段;④对路口线段赋予语义:根据路口连接边参数所指示的预测路口连接边和非路口连接边参数所指示的预测非路口连接边,对步骤③得到的Q条路口线段赋予不同的语义,即通过比较路口线段与预测路口连接边(或预测非路口连接边)之间的IOU,进而将Q条路口线段划分为路口连接边、非路口连接边或未定义连接边(即没有预测出语义的边);⑤路口线段的参数化:对于赋予路口连接边的路口线段,直接拟合为直线(线段);对于赋予非路口连接边的路口线段,使用二阶贝塞尔曲线拟合;对于未定义连接边,不作拟合;进一步的,同时对于赋予路口连接边(或非路口连接边)的路口线段,若拟合前后的线段变化过大时,将会把其重新确定为未定义连接边,由此可以得到目标路口最终的路口结构化结果,即包括路口关键点以及参数化的带语义的连接边,各个路口关键点和连接边构成最终的路口路面,进而可以得到在进行参数化处理后的标准识别结果。这样的路口识别效果不仅包含了各个结构,同时也使得路口的形态更加美观和贴合现实,为下游的路口数据制作(比如地图道路的制作)提供了有力的基础。因此本申请技术方式可以通过对路口实例的路面、路口关键点、路口连接边和非路口连接边等多维度的识别,实现了对路口的精细解构。通过端到端的模型预测、后处理及参数化,可得到更加美观和贴近现实的路口形态,并可以应用在卫片建图和地图路口大图渲染等业务中,可以提升后续应用效果,为下游的路口数据制作提供了有力的基础。
例如,如图16-图19所示,图16-图19是本申请实施例提供的一种目标路口的识别解构效果示意图;以下是在不同场景下对各种类型的目标路口(包括十字路口、丁字路口、Y字路口和较复杂的路口)的识别解构效果:从左到右依次是目标路口的标注结果、模型推理结果、后处理未参数化结果(边的参数化前,即跳过上述示例中的步骤⑤时的展示结果)和后处理参数化结果(边的参数化后,即执行上述示例中的步骤⑤后的展示结果)。可以看到,参数化的路口结构化结果是更加平滑美观和贴近现实的。其中,图16中所指示的目标路口为十字型路口、图17中所指示的目标路口为丁字型路口、图18中所指示的目标路口为Y字型路口、图19中所指示的目标路口为复杂型路口。其中,浅灰色虚线表示路口路面;虚线圆点表示路口关键点;黑色线表示路口连接边;深灰色线表示非路口连接边。
本申请实施例提供了一种图像处理方法,在于可以通过训练得到的目标路口识别模型识别解构出一个目标路口的N个路口元素掩膜图,进一步准确得到N个解构元素对应的相关参数,可以提升对路口进行识别与解构的精确度,同时还可以对N个解构元素对应的相关参数进行进一步调整处理,得到更准确的解构元素参数;后续,在通过调整处理后的解构元素参数对目标路口进行渲染时,可以实现精准渲染,提升目标路口的渲染真实性。
进一步的,请参见图20,图20是本申请实施例提供的一种图像处理装置的结构示意图。如图20所示,图像处理装置1可应用于计算机设备。应当理解,该图像处理装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置1可以为一个应用软件;可以理解的是,该图像处理装置1可以用于执行本申请实施例提供的方法中的相应步骤。如图20所示,图像处理装置1可以包括:训练样本获取模块11、样本特征提取模块12、样本特征识别模块13、样本特征变换模块14、模型训练模块15;
训练样本获取模块11,用于获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息;训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征;初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;样本路口标签信息包括:样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息;N为大于1的正整数;
样本特征提取模块12,用于将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征;
样本特征提取模块12,还用于将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征;一个掩膜分支对应一个初始样本解构元素预测信息;
样本特征识别模块13,用于将目标解码样本查询特征输入路口识别组件,由路口识别组件对目标解码样本查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息;
样本特征变换模块14,用于将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;
模型训练模块15,用于基于N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息,基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
其中,关键特征提取组件包含主干特征提取器、像素解码器以及特征变换解码器;
样本特征提取模块12包括:
主干特征提取单元121,用于将样本路口图像输入关键特征提取组件中的主干特征提取器,由主干特征提取器对样本路口图像进行主干特征提取处理,将提取到的主干特征作为样本路口图像的参考样本图像特征;
上采样单元122,用于将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器,由所述像素解码器对所述参考样本图像特征进行上采样处理,得到与所述参考样本图像特征相关联的目标上采样样本图像特征,从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征;
上采样单元122,还用于将第一采样样本图像特征作为第一样本图像处理特征,并将第二采样样本图像特征作为第二样本图像处理特征。
其中,像素解码器包括M1个图像采样层,M1为大于1的正整数;
上采样单元122包括:
采样层获取子单元1221,用于从M1个图像采样层中获取第i个图像采样层和第i+1个图像采样层;i为小于或者等于M2的正整数,M2=M1-1;
上采样处理子单元1222,用于将参考样本图像特征输入第i个图像采样层,由第i个图像采样层对参考样本图像特征进行上采样处理,得到第i个图像采样层对应的第i个上采样图像特征;
上采样处理子单元1222,还用于基于第i个上采样图像特征对参考样本图像特征进行更新处理,将更新后的参考样本图像特征输入第i+1个图像采样层,由第i+1个图像采样层对更新后的参考样本图像特征进行上采样处理,得到第i+1个图像采样层对应的第i+1个上采样样本图像特征;
上采样处理子单元1222,还用于基于更新后的参考样本图像特征和第i+1个上采样样本图像特征,确定与参考样本图像特征相关联的目标上采样样本图像特征。
其中,目标上采样样本图像特征包括更新后的参考样本图像特征和第M1个图像采样层对应的第M1个上采样样本图像特征;更新后的参考样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的;
上采样单元122包括:
第一采样获取子单元1223,用于从目标上采样样本图像特征中获取更新后的参考样本图像特征,将获取到的更新后的参考样本图像特征作为用于输入特征变换解码器的第一采样样本图像特征;
第二采样获取子单元1224,用于从目标上采样图像特征中获取第M1个上采样样本图像特征,将第M1个上采样样本图像特征作为用于输入N个掩膜分支的第二采样样本图像特征。
其中,N个掩膜分支包括样本路口的路口关键点元素对应的第一掩膜分支、样本路口的路口连接边元素对应的第二掩膜分支、样本路口的非路口连接边元素对应的第三掩膜分支以及样本路口的路口路面元素对应的第四掩膜分支;
样本特征提取模块12包括:
第一解构信息确定子单元123,用于将初始样本查询特征和第二样本图像处理特征输入第一掩膜分支,由第一掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口关键点元素相关联的样本路口关键点元素特征,基于样本路口关键点元素特征和第一掩膜分支所提供的掩膜特征,输出路口关键点元素对应的第一样本路口关键点预测掩膜图,将第一样本路口关键点预测掩膜图作为第一掩膜分支对应的初始样本解构元素预测信息;
第二解构信息确定子单元124,用于将初始样本查询特征和第二样本图像处理特征输入第二掩膜分支,由第二掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口连接边元素相关联的样本路口连接边元素特征,基于样本路口连接边元素特征和第二掩膜分支所提供的掩膜特征,输出路口连接边元素对应的第一样本路口连接边预测掩膜图,将第一样本路口连接边预测掩膜图作为第二掩膜分支对应的初始样本解构元素预测信息;
第三解构信息确定子单元125,用于将初始样本查询特征和第二样本图像处理特征输入第三掩膜分支,由第三掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与非路口连接边元素相关联的样本非路口连接边元素特征,基于样本非路口连接边元素特征和第三掩膜分支所提供的掩膜特征,输出非路口连接边元素对应的第一样本非路口连接边预测掩膜图,将第一样本非路口连接边预测掩膜图作为第三掩膜分支对应的初始样本解构元素预测信息;
第四解构信息确定子单元126,用于将初始样本查询特征和第二样本图像处理特征输入第四掩膜分支,由第四掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口路面元素相关联的样本路口路面元素特征,基于样本路口路面元素特征和第四掩膜分支所提供的掩膜特征,输出路口路面元素对应的第一样本路口路面预测掩膜图,将第一样本路口路面预测掩膜图作为第四掩膜分支对应的初始样本解构元素预测信息;
解构元素确定子单元127,用于将第一掩膜分支对应的初始样本解构元素预测信息、第二掩膜分支对应的初始样本解构元素预测信息、第三掩膜分支对应的初始样本解构元素预测信息,和第四掩膜分支对应的初始样本解构元素预测信息作为N个掩膜分支的N个初始样本解构元素预测信息。
其中,关键特征提取组件包含特征变换解码器;样本特征提取模块12包括:
查询特征确定单元128,用于基于N个初始样本解构元素预测信息、第一样本图像处理特征以及初始样本查询特征,确定用于输入特征变换解码器的目标样本组合输入特征;
查询特征确定单元128,还用于将目标样本组合输入特征输入特征变换解码器,由特征变换解码器对目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与初始样本查询特征相关联的目标解码样本查询特征。
其中,关键特征提取组件包含像素解码器;像素解码器包括M1个图像采样层;第一样本图像处理特征包含由M1个图像采样层中的M2个图像采样层所采样得到的M2个上采样样本图像特征;一个图像采样层用于采样得到一个上采样样本图像特征;M2=M1-1,M1和M2均为正整数;
查询特征确定单元128包括:
图像特征获取子单元1281,用于从M2个上采样样本图像特征中获取第i个上采样样本图像特征;i为小于或者等于M2的正整数;
特征变换层确定子单元1282,用于在特征变换解码器所包含的M2个特征变换层中确定与第i个上采样样本图像特征相关联的第i个特征变换层;
掩膜图像特征获取子单元,用于基于N个初始样本解构元素预测信息确定用于输入特征变换解码器的目标样本掩膜图像特征,并基于目标样本掩膜图像特征确定与第i个特征变换层相关联的第i个样本掩膜图像特征;
输入特征确定子单元1283,用于在基于初始样本查询特征确定出第i个样本查询输入特征时,将第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征,确定为特征变换解码器中的第i个特征变换层的目标样本组合输入特征。
其中,查询特征确定单元128具体用于:
将第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征输入特征变换解码器的第i个特征变换层,由第i个特征变换层对第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征进行特征变换,将特征变换所得到的解码特征确定为第i+1个样本查询输入特征,并基于第i+1个样本查询输入特征确定与初始样本查询特征相关联的目标解码样本查询特征。
其中,查询特征确定单元128还用于:
基于第i+1个样本查询输入特征对初始样本查询特征进行更新处理,得到更新后的初始样本查询特征。
其中,目标解码样本查询特征为L个,每个目标解码样本查询特征均对应一个样本路口元素掩膜预测信息以及一个样本路口属性预测信息;L为正整数;
模型训练模块15包括:
参考查询特征确定单元151,用于从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息,将与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息对应的目标解码样本查询特征作为参考解码样本查询特征;
第一标签确定单元152,用于将路口元素掩膜标注信息作为参考解码样本查询特征所关联的样本掩膜图标签,并将路口属性标注信息作为参考解码样本查询特征所关联的样本路口属性标签;
第二标签确定单元153,还用于获取背景属性标注信息,并将背景属性标注信息作为L个目标解码样本查询特征中除参考解码样本查询特征以外的目标解码样本查询特征所关联的样本路口属性标签;
损失值确定单元154,用于基于参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值,并基于L个目标解码样本查询特征对应的样本路口属性预测信息以及所关联的样本路口属性标签确定第二损失值;
模型训练单元155,用于通过第一损失值和第二损失值对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
其中,N个掩膜分支包括样本路口的路口关键点元素对应的第一掩膜分支、样本路口的路口连接边元素对应的第二掩膜分支、样本路口的非路口连接边元素对应的第三掩膜分支以及样本路口的路口路面元素对应的第四掩膜分支;样本路口元素掩膜预测信息包括第一掩膜分支对应的目标样本解构元素预测信息所指示的样本路口关键点预测掩膜图、第二掩膜分支对应的目标样本解构元素预测信息所指示的样本路口连接边预测掩膜图、第三掩膜分支对应的目标样本解构元素预测信息所指示的样本非路口连接边预测掩膜图、以及第四掩膜分支对应的目标样本解构元素预测信息所指示的样本路口路面预测掩膜图;路口元素掩膜标注信息包括样本路口关键点预测掩膜图对应的关键点标注掩膜图、样本路口连接边预测掩膜图对应的路口连接边标注掩膜图、样本非路口连接边预测掩膜图对应的非路口连接边标注掩膜图、以及样本路口路面预测掩膜图对应的路口路面标注掩膜图;
损失值确定单元154具体用于:
确定样本路口关键点预测掩膜图与关键点标注掩膜图之间的第一掩膜偏差、样本路口连接边预测掩膜图与路口连接边标注掩膜图之间的第二掩膜偏差、样本非路口连接边预测掩膜图与非路口连接边标注掩膜图之间的第三掩膜偏差、以及样本路口路面预测掩膜图与路口路面标注掩膜图之间的第四掩膜偏差;
基于第一掩膜偏差、第二掩膜偏差、第三掩膜偏差以及第四掩膜偏差确定第一损失值。
其中,训练样本获取模块11、样本特征提取模块12、样本特征识别模块13、样本特征变换模块14、模型训练模块15的具体实现方式,可以参见上述实施例中的相关描述,这里将不再继续进行赘述。应当理解,对采用相同方法所得到的有益效果描述,也不再进行赘述。
进一步的,请参见图21,图21是本申请实施例提供的一种图像处理装置的结构示意图。如图21所示,图像处理装置2可应用于计算机设备。应当理解,该图像处理装置2可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置2可以为一个应用软件;可以理解的是,该图像处理装置2可以用于执行本申请实施例提供的方法中的相应步骤。如图21所示,图像处理装置2可以包括:图像处理模块21、目标特征提取模块22、目标特征识别模块23、目标特征变换模块24;
图像处理模块21,用于获取包含目标路口的目标路口图像、目标查询特征,以及用于对目标路口图像进行图像解构处理的目标路口识别模型;目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;
目标特征提取模块22,用于将目标路口图像输入关键特征提取组件,由关键特征提取组件对目标路口图像进行图像处理,得到目标路口图像的第一图像处理特征和第二图像处理特征;
目标特征提取模块22,还用于将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始解构元素预测信息,将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件,由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征;
目标特征识别模块23,用于将目标解码查询特征输入路口识别组件,由路口识别组件对目标解码查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息;
目标特征变换模块24,用于若目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口,则将目标解码查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。
其中,N个掩膜分支包括目标路口的路口关键点元素对应的第一掩膜分支、目标路口的路口连接边元素对应的第二掩膜分支、目标路口的非路口连接边元素对应的第三掩膜分支以及目标路口的路口路面元素对应的第四掩膜分支;第一掩膜分支对应的目标解构元素预测信息用于指示路口关键点元素对应的目标路口关键点预测掩膜图、第二掩膜分支对应的目标解构元素预测信息用于指示路口连接边元素对应的目标路口连接边预测掩膜图、第三掩膜分支对应的目标解构元素预测信息用于指示非路口连接边元素对应的目标非路口连接边预测掩膜图、以及第四掩膜分支对应的目标解构元素预测信息用于指示路口路面元素对应的目标路口路面预测掩膜图;
图像处理模块21还用于:
基于目标路口关键点预测掩膜图、目标路口连接边预测掩膜图、目标非路口连接边预测掩膜图以及目标路口路面预测掩膜图,在目标路口图像中对目标路口进行渲染显示。
其中,图像处理模块21包括:
参数确定单元211,用于基于目标路口关键点预测掩膜图确定路口关键点元素对应的路口关键点元素参数,基于目标路口连接边预测掩膜图确定路口连接边元素对应的路口连接边元素参数,基于目标非路口连接边预测掩膜图确定非路口连接边元素对应的非路口连接边元素参数,基于目标路口路面预测掩膜图确定路口路面元素对应的路口路面元素参数;
参数标准化单元212,用于对路口关键点元素参数、路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到路口关键点元素对应的标准路口关键点元素参数、路口连接边元素对应的标准路口连接边元素参数、非路口连接边元素对应的标准非路口连接边元素参数,以及路口路面元素对应的标准路口路面元素参数;
路口渲染单元213,用于基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数以及标准路口路面元素参数,在目标路口图像中对目标路口进行渲染显示。
其中,路口渲染单元213具体用于:
基于标准路口关键点元素参数确定目标路口的路口关键点,基于标准路口连接边元素参数确定目标路口的路口连接边,基于标准非路口连接边元素参数确定目标路口的非路口连接边,基于标准路口路面元素参数确定目标路口的路口路面;
将目标路口的路口关键点、目标路口的路口连接边、目标路口的非路口连接边和目标路口的路口路面作为目标路口的路口构成信息,对路口构成信息进行突出渲染,并将突出渲染的路口构成信息渲染显示在目标路口图像中。
其中,参数标准化单元212包括:
关键点确定子单元2121,用于根据路口路面元素参数所指示的预测路口路面确定U个备选路口关键点,并从U个备选路口关键点中筛选出V个候选路口关键点;U为大于1的正整数、V为小于或等于U的正整数;
关键点确定子单元2121,还用于获取路口关键点元素参数所指示的Q个预测路口关键点,获取Q个预测路口关键点中每个预测路口关键点分别与V个候选路口关键点中每个候选路口关键点之间的关键点距离,并基于关键点距离从V个候选路口关键点中确定出与Q个预测路口关键点之间的关键点距离最小的Q个候选路口关键点;一个预测路口关键点用于确定一个候选路口关键点;Q为正整数;
参数标准化子单元2122,用于根据Q个候选路口关键点确定标准路口关键点元素参数,并基于标准路口关键点元素参数对路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到标准路口连接边元素参数、标准非路口连接边元素参数,以及标准路口路面元素参数。
其中,U个备选路口关键点包括目标备选关键点;
关键点确定子单元2121具体用于:
从U个备选路口关键点中获取与目标备选关键点相邻的第一备选关键点以及第二备选关键点;
获取第一关键点线段与第二关键点线段之间的线段夹角;第一关键点线段为目标备选关键点与第一备选关键点所连接而成的线段、第二关键点线段为目标备选关键点与第二备选关键点所连接而成的线段;
若线段夹角处于目标夹角范围内,则将目标备选关键点作为候选路口关键点。
其中,参数标准化子单元2122具体用于:
基于标准路口关键点元素参数所指示的Q个候选路口关键点以及路口路面元素参数所指示的预测路口路面确定Q条路口线段;
基于路口连接边元素参数所指示的预测路口连接边从Q条路口线段中确定出与预测路口连接边相关联的路口线段,并通过与预测路口连接边相关联的路口线段确定标准路口连接边元素参数;
基于非路口连接边元素参数所指示的预测非路口连接边从Q条路口线段中确定出与预测非路口连接边相关联的路口线段,并通过与预测非路口连接边相关联的路口线段确定标准非路口连接边元素参数;
基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数,对路口路面元素参数进行标准参数化处理,得到标准路口路面元素参数。
其中,参数标准化子单元2122具体用于:
按照与路口连接边元素相匹配的线段拟合方式对与预测路口连接边相关联的路口线段进行线段拟合处理,得到拟合路口线段;
若与预测路口连接边相关联的路口线段与拟合路口线段之间满足线段匹配关系,则将拟合路口线段作为目标路口的路口连接边,并基于目标路口的路口连接边确定标准路口连接边元素参数。
其中,参数标准化子单元2122具体用于:
将标准路口关键点元素参数指示的路口关键点、路口连接边元素参数指示的路口连接边、非路口连接边元素参数指示的非路口连接边所构成的多边形作为目标路口的路口路面,并基于目标路口的路口路面确定标准路口路面元素参数。
其中,图像处理模块21、目标特征提取模块22、目标特征识别模块23、目标特征变换模块24的具体实现方式,可以参见上述实施例中的相关描述,这里将不再继续进行赘述。应当理解,对采用相同方法所得到的有益效果描述,也不再进行赘述。
进一步地,请参见图22,图22是本申请实施例提供的一种计算机设备的结构示意图。如图22所示,该计算机设备2200可以为业务终端,还可以为服务器,这里将不对其进行限制。为便于理解,本申请以计算机设备为服务器为例,该计算机设备2200可以包括:处理器2201,网络接口2204和存储器2205,此外,该计算机设备2200还可以包括:用户接口2203,和至少一个通信总线2202。其中,通信总线2202用于实现这些组件之间的连接通信。其中,用户接口2203还可以包括标准的有线接口、无线接口。网络接口2204可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器2205可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器2205可选的还可以是至少一个位于远离前述处理器2201的存储装置。如图22所示,作为一种计算机可读存储介质的存储器2205中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中,该计算机设备2200中的网络接口2204还可以提供网络通讯功能。在图22所示的计算机设备2200中,网络接口2204可提供网络通讯功能;而用户接口2203主要用于为用户提供输入的接口;而处理器2201可以用于调用存储器2205中存储的设备控制应用程序,以执行上述图5和图13所对应实施例中对图像处理方法的描述,还可以执行前文图20所对应实施例中对图像处理装置1的描述以及图21所对应实施例中对图像处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
在一个可能的实施方式中,存储器2202用于存储程序指令。处理器2201可以调用程序指令,执行以下步骤:
获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息;训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征;初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;样本路口标签信息包括:样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息;N为大于1的正整数;
将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征;
将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息,将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征;一个掩膜分支对应一个初始样本解构元素预测信息;
将目标解码样本查询特征输入路口识别组件,由路口识别组件对目标解码样本查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息;
将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;
基于N个目标样本解构元素预测信息,确定预测路口的样本路口元素掩膜预测信息,基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
其中,关键特征提取组件包含主干特征提取器、像素解码器以及特征变换解码器;
处理器2201在用于将样本路口图像输入关键特征提取组件,由关键特征提取组件对样本路口图像进行图像处理,得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征时,具体用于:
将样本路口图像输入关键特征提取组件中的主干特征提取器,由主干特征提取器对样本路口图像进行主干特征提取处理,将提取到的主干特征作为样本路口图像的参考样本图像特征;
将参考样本图像特征输入关键特征提取组件中的像素解码器,由像素解码器对参考样本图像特征进行上采样处理,得到与参考样本图像特征相关联的目标上采样样本图像特征,从目标上采样样本图像特征中获取用于输入特征变换解码器的第一采样样本图像特征和用于输入N个掩膜分支的第二采样样本图像特征;
将第一采样样本图像特征作为第一样本图像处理特征,并将第二采样样本图像特征作为第二样本图像处理特征。
其中,像素解码器包括M1个图像采样层,M1为大于1的正整数;
处理器2201在用于将参考样本图像特征输入关键特征提取组件中的像素解码器,由像素解码器对参考样本图像特征进行上采样处理,得到与参考样本图像特征相关联的目标上采样样本图像特征时,具体用于:
从M1个图像采样层中获取第i个图像采样层和第i+1个图像采样层;i为小于或者等于M2的正整数,M2=M1-1;
将参考样本图像特征输入第i个图像采样层,由第i个图像采样层对参考样本图像特征进行上采样处理,得到第i个图像采样层对应的第i个上采样样本图像特征;
基于第i个上采样样本图像特征对参考样本图像特征进行更新处理,将更新后的参考样本图像特征输入第i+1个图像采样层,由第i+1个图像采样层对更新后的参考样本图像特征进行上采样处理,得到第i+1个图像采样层对应的第i+1个上采样样本图像特征;
基于更新后的参考样本图像特征和第i+1个上采样样本图像特征,确定与参考样本图像特征相关联的目标上采样样本图像特征。
其中,目标上采样样本图像特征包括更新后的参考样本图像特征和第M1个图像采样层对应的第M1个上采样样本图像特征;更新后的参考样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的;
处理器2201在用于从目标上采样样本图像特征中获取用于输入特征变换解码器的第一采样样本图像特征和用于输入N个掩膜分支的第二采样样本图像特征时,具体用于:
从目标上采样样本图像特征中获取更新后的参考样本图像特征,将获取到的更新后的参考样本图像特征作为用于输入特征变换解码器的第一采样样本图像特征;
从目标上采样图像特征中获取第M1个上采样样本图像特征,将第M1个上采样样本图像特征作为用于输入N个掩膜分支的第二采样样本图像特征。
其中,N个掩膜分支包括样本路口的路口关键点元素对应的第一掩膜分支、样本路口的路口连接边元素对应的第二掩膜分支、样本路口的非路口连接边元素对应的第三掩膜分支以及样本路口的路口路面元素对应的第四掩膜分支;
处理器2201在用于将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始样本解构元素预测信息时,具体用于:
将初始样本查询特征和第二样本图像处理特征输入第一掩膜分支,由第一掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口关键点元素相关联的样本路口关键点元素特征,基于样本路口关键点元素特征和第一掩膜分支所提供的掩膜特征,输出路口关键点元素对应的第一样本路口关键点预测掩膜图,将第一样本路口关键点预测掩膜图作为第一掩膜分支对应的初始样本解构元素预测信息;
将初始样本查询特征和第二样本图像处理特征输入第二掩膜分支,由第二掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口连接边元素相关联的样本路口连接边元素特征,基于样本路口连接边元素特征和第二掩膜分支所提供的掩膜特征,输出路口连接边元素对应的第一样本路口连接边预测掩膜图,将第一样本路口连接边预测掩膜图作为第二掩膜分支对应的初始样本解构元素预测信息;
将初始样本查询特征和第二样本图像处理特征输入第三掩膜分支,由第三掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与非路口连接边元素相关联的样本非路口连接边元素特征,基于样本非路口连接边元素特征和第三掩膜分支所提供的掩膜特征,输出非路口连接边元素对应的第一样本非路口连接边预测掩膜图,将第一样本非路口连接边预测掩膜图作为第三掩膜分支对应的初始样本解构元素预测信息;
将初始样本查询特征和第二样本图像处理特征输入第四掩膜分支,由第四掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理,得到与路口路面元素相关联的样本路口路面元素特征,基于样本路口路面元素特征和第四掩膜分支所提供的掩膜特征,输出路口路面元素对应的第一样本路口路面预测掩膜图,将第一样本路口路面预测掩膜图作为第四掩膜分支对应的初始样本解构元素预测信息;
将第一掩膜分支对应的初始样本解构元素预测信息、第二掩膜分支对应的初始样本解构元素预测信息、第三掩膜分支对应的初始样本解构元素预测信息,和第四掩膜分支对应的初始样本解构元素预测信息作为N个掩膜分支的N个初始样本解构元素预测信息。
其中,关键特征提取组件包含特征变换解码器;处理器2201在用于将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件,由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征时,具体用于:
基于N个初始样本解构元素预测信息、第一样本图像处理特征以及初始样本查询特征,确定用于输入特征变换解码器的目标样本组合输入特征;
将目标样本组合输入特征输入特征变换解码器,由特征变换解码器对目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与初始样本查询特征相关联的目标解码样本查询特征。
其中,关键特征提取组件包含像素解码器;像素解码器包括M1个图像采样层;第一样本图像处理特征包含由M1个图像采样层中的M2个图像采样层所采样得到的M2个上采样样本图像特征;一个图像采样层用于采样得到一个上采样样本图像特征;M2=M1-1,M1和M2均为正整数;
处理器2201在用于基于N个初始样本解构元素预测信息、第一样本图像处理特征以及初始样本查询特征,确定用于输入特征变换解码器的目标样本组合输入特征时,具体用于:
从M2个上采样样本图像特征中获取第i个上采样样本图像特征;i为小于或者等于M2的正整数;
从M2个上采样样本图像特征中获取第i个上采样样本图像特征;i为小于或者等于M2的正整数;
在特征变换解码器所包含的M2个特征变换层中确定与第i个上采样样本图像特征相关联的第i个特征变换层;
基于N个初始样本解构元素预测信息确定用于输入特征变换解码器的目标样本掩膜图像特征,并基于目标样本掩膜图像特征确定与第i个特征变换层相关联的第i个样本掩膜图像特征;
在基于初始样本查询特征确定出第i个样本查询输入特征时,将第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征,确定为特征变换解码器中的第i个特征变换层的目标样本组合输入特征。
其中,处理器2201在用于将目标样本组合输入特征输入特征变换解码器,由特征变换解码器对目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与初始样本查询特征相关联的目标解码样本查询特征时,具体用于:
将第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征输入特征变换解码器的第i个特征变换层,由第i个特征变换层对第i个样本查询输入特征、第i个样本掩膜图像特征和第i个上采样样本图像特征进行特征变换,将特征变换所得到的解码特征确定为第i+1个样本查询输入特征,并基于第i+1个样本查询输入特征确定与初始样本查询特征相关联的目标解码样本查询特征。
其中,处理器2201还用于:
基于第i+1个样本查询输入特征对初始样本查询特征进行更新处理,得到更新后的初始样本查询特征。
其中,目标解码样本查询特征为L个,每个目标解码样本查询特征均对应一个样本路口元素掩膜预测信息以及一个样本路口属性预测信息;L为正整数;
处理器2201在用于基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息,对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型时,具体用于:
从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息,将与路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息对应的目标解码样本查询特征作为参考解码样本查询特征;
将路口元素掩膜标注信息作为参考解码样本查询特征所关联的样本掩膜图标签,并将路口属性标注信息作为参考解码样本查询特征所关联的样本路口属性标签;
获取背景属性标注信息,并将背景属性标注信息作为L个目标解码样本查询特征中除参考解码样本查询特征以外的目标解码样本查询特征所关联的样本路口属性标签;
基于参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值,并基于L个目标解码样本查询特征对应的样本路口属性预测信息以及所关联的样本路口属性标签确定第二损失值;
通过第一损失值和第二损失值对初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
其中,N个掩膜分支包括样本路口的路口关键点元素对应的第一掩膜分支、样本路口的路口连接边元素对应的第二掩膜分支、样本路口的非路口连接边元素对应的第三掩膜分支以及样本路口的路口路面元素对应的第四掩膜分支;样本路口元素掩膜预测信息包括:第一掩膜分支对应的目标样本解构元素预测信息所指示的样本路口关键点预测掩膜图、第二掩膜分支对应的目标样本解构元素预测信息所指示的样本路口连接边预测掩膜图、第三掩膜分支对应的目标样本解构元素预测信息所指示的样本非路口连接边预测掩膜图、以及第四掩膜分支对应的目标样本解构元素预测信息所指示的样本路口路面预测掩膜图;路口元素掩膜标注信息包括:样本路口关键点预测掩膜图对应的路口关键点标注掩膜图、样本路口连接边预测掩膜图对应的路口连接边标注掩膜图、样本非路口连接边预测掩膜图对应的非路口连接边标注掩膜图、以及样本路口路面预测掩膜图对应的路口路面标注掩膜图;
处理器2201在用于基于参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值时,具体用于:
确定样本路口关键点预测掩膜图与路口关键点标注掩膜图之间的第一掩膜偏差、样本路口连接边预测掩膜图与路口连接边标注掩膜图之间的第二掩膜偏差、样本非路口连接边预测掩膜图与非路口连接边标注掩膜图之间的第三掩膜偏差、以及样本路口路面预测掩膜图与路口路面标注掩膜图之间的第四掩膜偏差;
基于第一掩膜偏差、第二掩膜偏差、第三掩膜偏差以及第四掩膜偏差确定第一损失值。
在一个可能的实施方式中,存储器2202用于存储程序指令。处理器2201可以调用程序指令,执行以下步骤:
获取包含目标路口的目标路口图像、目标查询特征,以及用于对目标路口图像进行图像解构处理的目标路口识别模型;目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;
将目标路口图像输入关键特征提取组件,由关键特征提取组件对目标路口图像进行图像处理,得到目标路口图像的第一图像处理特征和第二图像处理特征;
将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个初始解构元素预测信息,将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件,由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征;
将目标解码查询特征输入路口识别组件,由路口识别组件对目标解码查询特征进行特征识别,基于路口识别组件输出的特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息;
若目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口,则将目标解码查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支,由N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理,得到N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。
其中,N个掩膜分支包括目标路口的路口关键点元素对应的第一掩膜分支、目标路口的路口连接边元素对应的第二掩膜分支、目标路口的非路口连接边元素对应的第三掩膜分支以及目标路口的路口路面元素对应的第四掩膜分支;第一掩膜分支对应的目标解构元素预测信息用于指示路口关键点元素对应的目标路口关键点预测掩膜图、第二掩膜分支对应的目标解构元素预测信息用于指示路口连接边元素对应的目标路口连接边预测掩膜图、第三掩膜分支对应的目标解构元素预测信息用于指示非路口连接边元素对应的目标非路口连接边预测掩膜图、以及第四掩膜分支对应的目标解构元素预测信息用于指示路口路面元素对应的目标路口路面预测掩膜图;
处理器2201还用于:
基于目标路口关键点预测掩膜图、目标路口连接边预测掩膜图、目标非路口连接边预测掩膜图以及目标路口路面预测掩膜图,在目标路口图像中对目标路口进行渲染显示。
其中,处理器2201在用于基于目标路口关键点预测掩膜图、目标路口连接边预测掩膜图、目标非路口连接边预测掩膜图以及目标路口路面预测掩膜图,在目标路口图像中对目标路口进行渲染显示时,具体用于:
基于目标路口关键点预测掩膜图确定路口关键点元素对应的路口关键点元素参数,基于目标路口连接边预测掩膜图确定路口连接边元素对应的路口连接边元素参数,基于目标非路口连接边预测掩膜图确定非路口连接边元素对应的非路口连接边元素参数,基于目标路口路面预测掩膜图确定路口路面元素对应的路口路面元素参数;
对路口关键点元素参数、路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到路口关键点元素对应的标准路口关键点元素参数、路口连接边元素对应的标准路口连接边元素参数、非路口连接边元素对应的标准非路口连接边元素参数,以及路口路面元素对应的标准路口路面元素参数;
基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数以及标准路口路面元素参数,在目标路口图像中对目标路口进行渲染显示。
其中,处理器2201在用于基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数以及标准路口路面元素参数,在目标路口图像中对目标路口进行渲染显示时,具体用于:
基于标准路口关键点元素参数确定目标路口的路口关键点,基于标准路口连接边元素参数确定目标路口的路口连接边,基于标准非路口连接边元素参数确定目标路口的非路口连接边,基于标准路口路面元素参数确定目标路口的路口路面;
将目标路口的路口关键点、目标路口的路口连接边、目标路口的非路口连接边和目标路口的路口路面作为目标路口的路口构成信息,对路口构成信息进行突出渲染,并将突出渲染的路口构成信息渲染显示在目标路口图像中。
其中,处理器2201在用于对路口关键点元素参数、路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到路口关键点元素对应的标准路口关键点元素参数、路口连接边元素对应的标准路口连接边元素参数、非路口连接边元素对应的标准非路口连接边元素参数,以及路口路面元素对应的标准路口路面元素参数时,具体用于:
根据路口路面元素参数所指示的预测路口路面确定U个备选路口关键点,并从U个备选路口关键点中筛选出V个候选路口关键点;U为大于1的正整数、V为小于或等于U的正整数;
获取路口关键点元素参数所指示的Q个预测路口关键点,获取Q个预测路口关键点中每个预测路口关键点分别与V个候选路口关键点中每个候选路口关键点之间的关键点距离,并基于关键点距离从V个候选路口关键点中确定出与Q个预测路口关键点之间的关键点距离最小的Q个候选路口关键点;一个预测路口关键点用于确定一个候选路口关键点;Q为正整数;
根据Q个候选路口关键点确定标准路口关键点元素参数,并基于标准路口关键点元素参数对路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到标准路口连接边元素参数、标准非路口连接边元素参数,以及标准路口路面元素参数。
其中,U个备选路口关键点包括目标备选关键点;
处理器2201在用于从U个备选路口关键点中筛选出V个候选路口关键点时,具体用于:
从U个备选路口关键点中获取与目标备选关键点相邻的第一备选关键点以及第二备选关键点;
获取第一关键点线段与第二关键点线段之间的线段夹角;第一关键点线段为目标备选关键点与第一备选关键点所连接而成的线段、第二关键点线段为目标备选关键点与第二备选关键点所连接而成的线段;
若线段夹角处于目标夹角范围内,则将目标备选关键点作为候选路口关键点。
其中,处理器2201在用于基于标准路口关键点元素参数对路口连接边元素参数、非路口连接边元素参数、以及路口路面元素参数进行标准参数化处理,得到标准路口连接边元素参数、标准非路口连接边元素参数,以及标准路口路面元素参数时,具体用于:
基于标准路口关键点元素参数所指示的Q个候选路口关键点以及路口路面元素参数所指示的预测路口路面确定Q条路口线段;
基于路口连接边元素参数所指示的预测路口连接边从Q条路口线段中确定出与预测路口连接边相关联的路口线段,并通过与预测路口连接边相关联的路口线段确定标准路口连接边元素参数;
基于非路口连接边元素参数所指示的预测非路口连接边从Q条路口线段中确定出与预测非路口连接边相关联的路口线段,并通过与预测非路口连接边相关联的路口线段确定标准非路口连接边元素参数;
基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数,对路口路面元素参数进行标准参数化处理,得到标准路口路面元素参数。
其中,处理器2201在用于通过与预测路口连接边相关联的路口线段确定标准路口连接边元素参数时,具体用于:
按照与路口连接边元素相匹配的线段拟合方式对与预测路口连接边相关联的路口线段进行线段拟合处理,得到拟合路口线段;
若与预测路口连接边相关联的路口线段与拟合路口线段之间满足线段匹配关系,则将拟合路口线段作为目标路口的路口连接边,并基于目标路口的路口连接边确定标准路口连接边元素参数。
其中,处理器2201在用于基于标准路口关键点元素参数、标准路口连接边元素参数、标准非路口连接边元素参数,对路口路面元素参数进行标准参数化处理,得到标准路口路面元素参数时,具体用于:
将标准路口关键点元素参数指示的路口关键点、路口连接边元素参数指示的路口连接边、非路口连接边元素参数指示的非路口连接边所构成的多边形作为目标路口的路口路面,并基于目标路口的路口路面确定标准路口路面元素参数。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的图像处理装置1和图像处理装置2所执行的计算机程序,且计算机程序包括计算机指令,当处理器执行计算机指令时,能够执行前文图5和图13所对应实施例中对图像处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,计算机指令可被部署在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行,分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
此外,需要说明的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序可以包括计算机指令,该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器可以执行该计算机指令,使得该计算机设备执行前文图5和图13所对应实施例中对图像处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储器(Read-Only Memory,ROM)或随机存储器(Random Access Memory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (18)

1.一种图像处理方法,其特征在于,所述方法包括:
获取用于训练初始路口识别模型的训练样本以及所述训练样本的样本路口标签信息;所述训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征;所述初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;所述样本路口标签信息包括:所述样本路口的路口属性标注信息和所述样本路口的路口元素掩膜标注信息;N为大于1的正整数;所述N个掩膜分支对应所述样本路口的N个解构元素,一个掩膜分支对应一个解构元素;所述N个解构元素包括:路口关键点元素、路口连接边元素、非路口连接边元素、路口路面元素;所述关键特征提取组件包含:主干特征提取器、像素解码器,以及特征变换解码器;所述像素解码器包括M1个图像采样层,M1为大于1的正整数;
将所述样本路口图像输入所述关键特征提取组件中的所述主干特征提取器,由所述主干特征提取器对所述样本路口图像进行主干特征提取处理,将提取到的主干特征作为所述样本路口图像的参考样本图像特征,将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器,由所述像素解码器对所述参考样本图像特征进行上采样处理,得到与所述参考样本图像特征相关联的目标上采样样本图像特征,从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征,将所述第一采样样本图像特征作为第一样本图像处理特征,并将所述第二采样样本图像特征作为第二样本图像处理特征;所述第一采样样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的;所述第二采样样本图像特征是第M1个图像采样层对应的第M1个上采样样本图像特征;i为小于或者等于M2的正整数,M2=M1-1;
将所述初始样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个初始样本解构元素预测信息,将所述N个初始样本解构元素预测信息、所述第一样本图像处理特征和所述初始样本查询特征输入所述关键特征提取组件,由所述关键特征提取组件输出与所述初始样本查询特征相关联的目标解码样本查询特征;一个掩膜分支对应一个初始样本解构元素预测信息;
将所述目标解码样本查询特征输入所述路口识别组件,由所述路口识别组件对所述目标解码样本查询特征进行特征识别,基于所述路口识别组件输出的特征识别结果确定所述目标解码样本查询特征对应的预测路口的样本路口属性预测信息;
将所述目标解码样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述目标解码样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;
基于所述N个目标样本解构元素预测信息,确定所述预测路口的样本路口元素掩膜预测信息,基于所述路口属性标注信息、所述样本路口属性预测信息、所述路口元素掩膜标注信息和所述样本路口元素掩膜预测信息,对所述初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
2.根据权利要求1所述的方法,其特征在于,所述将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器,由所述像素解码器对所述参考样本图像特征进行上采样处理,得到与所述参考样本图像特征相关联的目标上采样样本图像特征,包括:
从所述M1个图像采样层中获取所述第i个图像采样层和第i+1个图像采样层;
将所述参考样本图像特征输入所述第i个图像采样层,由所述第i个图像采样层对所述参考样本图像特征进行上采样处理,得到所述第i个图像采样层对应的所述第i个上采样样本图像特征;
基于所述第i个上采样样本图像特征对所述参考样本图像特征进行更新处理,将更新后的参考样本图像特征输入所述第i+1个图像采样层,由所述第i+1个图像采样层对所述更新后的参考样本图像特征进行上采样处理,得到所述第i+1个图像采样层对应的第i+1个上采样样本图像特征;
基于所述更新后的参考样本图像特征和所述第i+1个上采样样本图像特征,确定与所述参考样本图像特征相关联的所述目标上采样样本图像特征。
3.根据权利要求2所述的方法,其特征在于,所述目标上采样样本图像特征包括所述更新后的参考样本图像特征和所述第M1个图像采样层对应的所述第M1个上采样样本图像特征;所述更新后的参考样本图像特征是由所述第i个图像采样层所输出的所述第i个上采样样本图像特征所确定的;
所述从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征,包括:
从所述目标上采样样本图像特征中获取所述更新后的参考样本图像特征,将获取到的所述更新后的参考样本图像特征作为用于输入所述特征变换解码器的所述第一采样样本图像特征;
从所述目标上采样图像特征中获取所述第M1个上采样样本图像特征,将所述第M1个上采样样本图像特征作为用于输入所述N个掩膜分支的所述第二采样样本图像特征。
4.根据权利要求1所述的方法,其特征在于,所述N个掩膜分支包括所述样本路口的所述路口关键点元素对应的第一掩膜分支、所述样本路口的所述路口连接边元素对应的第二掩膜分支、所述样本路口的所述非路口连接边元素对应的第三掩膜分支以及所述样本路口的所述路口路面元素对应的第四掩膜分支;
所述将所述初始样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个初始样本解构元素预测信息,包括:
将所述初始样本查询特征和所述第二样本图像处理特征输入所述第一掩膜分支,由所述第一掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到与所述路口关键点元素相关联的样本路口关键点元素特征,基于所述样本路口关键点元素特征和所述第一掩膜分支所提供的掩膜特征,输出所述路口关键点元素对应的第一样本路口关键点预测掩膜图,将所述第一样本路口关键点预测掩膜图作为所述第一掩膜分支对应的初始样本解构元素预测信息;
将所述初始样本查询特征和所述第二样本图像处理特征输入所述第二掩膜分支,由所述第二掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到与所述路口连接边元素相关联的样本路口连接边元素特征,基于所述样本路口连接边元素特征和所述第二掩膜分支所提供的掩膜特征,输出所述路口连接边元素对应的第一样本路口连接边预测掩膜图,将所述第一样本路口连接边预测掩膜图作为所述第二掩膜分支对应的初始样本解构元素预测信息;
将所述初始样本查询特征和所述第二样本图像处理特征输入所述第三掩膜分支,由所述第三掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到与所述非路口连接边元素相关联的样本非路口连接边元素特征,基于所述样本非路口连接边元素特征和所述第三掩膜分支所提供的掩膜特征,输出所述非路口连接边元素对应的第一样本非路口连接边预测掩膜图,将所述第一样本非路口连接边预测掩膜图作为所述第三掩膜分支对应的初始样本解构元素预测信息;
将所述初始样本查询特征和所述第二样本图像处理特征输入所述第四掩膜分支,由所述第四掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到与所述路口路面元素相关联的样本路口路面元素特征,基于所述样本路口路面元素特征和所述第四掩膜分支所提供的掩膜特征,输出所述路口路面元素对应的第一样本路口路面预测掩膜图,将所述第一样本路口路面预测掩膜图作为所述第四掩膜分支对应的初始样本解构元素预测信息;
将所述第一掩膜分支对应的初始样本解构元素预测信息、所述第二掩膜分支对应的初始样本解构元素预测信息、所述第三掩膜分支对应的初始样本解构元素预测信息,和所述第四掩膜分支对应的初始样本解构元素预测信息作为所述N个掩膜分支的N个初始样本解构元素预测信息。
5.根据权利要求1所述的方法,其特征在于,所述将所述N个初始样本解构元素预测信息、所述第一样本图像处理特征和所述初始样本查询特征输入所述关键特征提取组件,由所述关键特征提取组件输出与所述初始样本查询特征相关联的目标解码样本查询特征,包括:
基于所述N个初始样本解构元素预测信息、所述第一样本图像处理特征以及所述初始样本查询特征,确定用于输入所述特征变换解码器的目标样本组合输入特征;
将所述目标样本组合输入特征输入所述特征变换解码器,由所述特征变换解码器对所述目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与所述初始样本查询特征相关联的目标解码样本查询特征。
6.根据权利要求5所述的方法,其特征在于,所述第一样本图像处理特征包含由所述M1个图像采样层中的M2个图像采样层所采样得到的M2个上采样样本图像特征;一个图像采样层用于采样得到一个上采样样本图像特征;
所述基于所述N个初始样本解构元素预测信息、所述第一样本图像处理特征以及所述初始样本查询特征,确定用于输入所述特征变换解码器的目标样本组合输入特征,包括:
从所述M2个上采样样本图像特征中获取所述第i个上采样样本图像特征;
在所述特征变换解码器所包含的M2个特征变换层中确定与所述第i个上采样样本图像特征相关联的第i个特征变换层;
基于所述N个初始样本解构元素预测信息确定用于输入所述特征变换解码器的目标样本掩膜图像特征,并基于所述目标样本掩膜图像特征确定与所述第i个特征变换层相关联的第i个样本掩膜图像特征;
在基于所述初始样本查询特征确定出第i个样本查询输入特征时,将所述第i个样本查询输入特征、所述第i个样本掩膜图像特征和所述第i个上采样样本图像特征,确定为所述特征变换解码器中的所述第i个特征变换层的目标样本组合输入特征。
7.根据权利要求6所述的方法,其特征在于,所述将所述目标样本组合输入特征输入所述特征变换解码器,由所述特征变换解码器对所述目标样本组合输入特征进行特征变换,基于特征变换所得到的解码特征,确定与所述初始样本查询特征相关联的目标解码样本查询特征,包括:
将所述第i个样本查询输入特征、所述第i个样本掩膜图像特征和所述第i个上采样样本图像特征输入所述特征变换解码器的所述第i个特征变换层,由所述第i个特征变换层对所述第i个样本查询输入特征、所述第i个样本掩膜图像特征和所述第i个上采样样本图像特征进行特征变换,将特征变换所得到的解码特征确定为第i+1个样本查询输入特征,并基于所述第i+1个样本查询输入特征确定与所述初始样本查询特征相关联的目标解码样本查询特征。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
基于所述第i+1个样本查询输入特征对所述初始样本查询特征进行更新处理,得到更新后的所述初始样本查询特征。
9.根据权利要求1所述的方法,其特征在于,所述目标解码样本查询特征为L个,每个目标解码样本查询特征均对应一个样本路口元素掩膜预测信息以及一个样本路口属性预测信息;L为正整数;
所述基于所述路口属性标注信息、所述样本路口属性预测信息、所述路口元素掩膜标注信息和所述样本路口元素掩膜预测信息,对所述初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型,包括:
从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定与所述路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息,将与所述路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息对应的目标解码样本查询特征作为参考解码样本查询特征;
将所述路口元素掩膜标注信息作为所述参考解码样本查询特征所关联的样本掩膜图标签,并将所述路口属性标注信息作为所述参考解码样本查询特征所关联的样本路口属性标签;
获取背景属性标注信息,并将所述背景属性标注信息作为所述L个目标解码样本查询特征中除所述参考解码样本查询特征以外的目标解码样本查询特征所关联的样本路口属性标签;
基于所述参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值,并基于所述L个目标解码样本查询特征对应的样本路口属性预测信息以及所关联的样本路口属性标签确定第二损失值;
通过所述第一损失值和所述第二损失值对所述初始路口识别模型进行模型训练,训练得到用于对所述目标路口图像进行图像解构处理的所述目标路口识别模型。
10.根据权利要求9所述的方法,其特征在于,所述N个掩膜分支包括所述样本路口的所述路口关键点元素对应的第一掩膜分支、所述样本路口的所述路口连接边元素对应的第二掩膜分支、所述样本路口的所述非路口连接边元素对应的第三掩膜分支以及所述样本路口的所述路口路面元素对应的第四掩膜分支;所述样本路口元素掩膜预测信息包括:所述第一掩膜分支对应的目标样本解构元素预测信息所指示的样本路口关键点预测掩膜图、所述第二掩膜分支对应的目标样本解构元素预测信息所指示的样本路口连接边预测掩膜图、所述第三掩膜分支对应的目标样本解构元素预测信息所指示的样本非路口连接边预测掩膜图、以及所述第四掩膜分支对应的目标样本解构元素预测信息所指示的样本路口路面预测掩膜图;所述路口元素掩膜标注信息包括:所述样本路口关键点预测掩膜图对应的路口关键点标注掩膜图、所述样本路口连接边预测掩膜图对应的路口连接边标注掩膜图、所述样本非路口连接边预测掩膜图对应的非路口连接边标注掩膜图、以及所述样本路口路面预测掩膜图对应的路口路面标注掩膜图;
所述基于所述参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值,包括:
确定所述样本路口关键点预测掩膜图与所述路口关键点标注掩膜图之间的第一掩膜偏差、所述样本路口连接边预测掩膜图与所述路口连接边标注掩膜图之间的第二掩膜偏差、所述样本非路口连接边预测掩膜图与所述非路口连接边标注掩膜图之间的第三掩膜偏差、以及所述样本路口路面预测掩膜图与所述路口路面标注掩膜图之间的第四掩膜偏差;
基于所述第一掩膜偏差、所述第二掩膜偏差、所述第三掩膜偏差以及所述第四掩膜偏差确定所述第一损失值。
11.一种图像处理方法,其特征在于,所述方法包括:
获取包含目标路口的目标路口图像、目标查询特征,以及用于对所述目标路口图像进行图像解构处理的目标路口识别模型;所述目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;所述N个掩膜分支对应所述目标路口的N个解构元素,一个掩膜分支对应一个解构元素;所述N个解构元素包括:路口关键点元素、路口连接边元素、非路口连接边元素、路口路面元素;所述关键特征提取组件包含:主干特征提取器、像素解码器,以及特征变换解码器;所述像素解码器包括M1个图像采样层,M1为大于1的正整数;
将所述目标路口图像输入所述关键特征提取组件中的所述主干特征提取器,由所述主干特征提取器对所述目标路口图像进行主干特征提取处理,将提取到的主干特征作为所述目标路口图像的参考样本图像特征,将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器,由所述像素解码器对所述参考样本图像特征进行上采样处理,得到与所述参考样本图像特征相关联的目标上采样样本图像特征,从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征,将所述第一采样样本图像特征作为第一图像处理特征,并将所述第二采样样本图像特征作为第二图像处理特征;所述第一采样样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的;所述第二采样样本图像特征是第M1个图像采样层对应的第M1个上采样样本图像特征;i为小于或者等于M2的正整数,M2=M1-1;
将所述目标查询特征和所述第二图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述目标查询特征和所述第二图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个初始解构元素预测信息,将所述N个初始解构元素预测信息、所述第一图像处理特征和所述目标查询特征输入所述关键特征提取组件,由所述关键特征提取组件输出与所述目标查询特征相关联的目标解码查询特征;
将所述目标解码查询特征输入所述路口识别组件,由所述路口识别组件对所述目标解码查询特征进行特征识别,基于所述路口识别组件输出的特征识别结果确定所述目标解码查询特征对应的预测路口的路口属性预测信息;
若所述目标解码查询特征对应的路口属性预测信息指示所述目标解码查询特征对应的预测路口为所述目标路口,则将所述目标解码查询特征和所述第二图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述目标解码查询特征和所述第二图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。
12.根据权利要求11所述的方法,其特征在于,所述N个掩膜分支包括所述目标路口的所述路口关键点元素对应的第一掩膜分支、所述目标路口的所述路口连接边元素对应的第二掩膜分支、所述目标路口的所述非路口连接边元素对应的第三掩膜分支以及所述目标路口的所述路口路面元素对应的第四掩膜分支;所述第一掩膜分支对应的目标解构元素预测信息用于指示所述路口关键点元素对应的目标路口关键点预测掩膜图、所述第二掩膜分支对应的目标解构元素预测信息用于指示所述路口连接边元素对应的目标路口连接边预测掩膜图、所述第三掩膜分支对应的目标解构元素预测信息用于指示所述非路口连接边元素对应的目标非路口连接边预测掩膜图、以及所述第四掩膜分支对应的目标解构元素预测信息用于指示所述路口路面元素对应的目标路口路面预测掩膜图;
所述方法还包括:
基于所述目标路口关键点预测掩膜图确定所述路口关键点元素对应的路口关键点元素参数,基于所述目标路口连接边预测掩膜图确定所述路口连接边元素对应的路口连接边元素参数,基于所述目标非路口连接边预测掩膜图确定所述非路口连接边元素对应的非路口连接边元素参数,基于所述目标路口路面预测掩膜图确定所述路口路面元素对应的路口路面元素参数;
对所述路口关键点元素参数、所述路口连接边元素参数、所述非路口连接边元素参数、以及所述路口路面元素参数进行标准参数化处理,得到所述路口关键点元素对应的标准路口关键点元素参数、所述路口连接边元素对应的标准路口连接边元素参数、所述非路口连接边元素对应的标准非路口连接边元素参数,以及所述路口路面元素对应的标准路口路面元素参数;
基于所述标准路口关键点元素参数、所述标准路口连接边元素参数、所述标准非路口连接边元素参数以及所述标准路口路面元素参数,在所述目标路口图像中对所述目标路口进行渲染显示。
13.根据权利要求12所述的方法,其特征在于,所述对所述路口关键点元素参数、所述路口连接边元素参数、所述非路口连接边元素参数、以及所述路口路面元素参数进行标准参数化处理,得到所述路口关键点元素对应的标准路口关键点元素参数、所述路口连接边元素对应的标准路口连接边元素参数、所述非路口连接边元素对应的标准非路口连接边元素参数,以及所述路口路面元素对应的标准路口路面元素参数,包括:
根据所述路口路面元素参数所指示的预测路口路面确定U个备选路口关键点,并从所述U个备选路口关键点中筛选出V个候选路口关键点;U为大于1的正整数、V为小于或等于U的正整数;
获取所述路口关键点元素参数所指示的Q个预测路口关键点,获取所述Q个预测路口关键点中每个预测路口关键点分别与所述V个候选路口关键点中每个候选路口关键点之间的关键点距离,并基于所述关键点距离从所述V个候选路口关键点中确定出与所述Q个预测路口关键点之间的关键点距离最小的Q个候选路口关键点;一个预测路口关键点用于确定一个候选路口关键点;Q为正整数;
根据所述Q个候选路口关键点确定所述标准路口关键点元素参数,并基于所述标准路口关键点元素参数对所述路口连接边元素参数、所述非路口连接边元素参数、以及所述路口路面元素参数进行标准参数化处理,得到所述标准路口连接边元素参数、所述标准非路口连接边元素参数,以及所述标准路口路面元素参数。
14.根据权利要求13所述的方法,其特征在于,所述基于所述标准路口关键点元素参数对所述路口连接边元素参数、所述非路口连接边元素参数、以及所述路口路面元素参数进行标准参数化处理,得到所述标准路口连接边元素参数、所述标准非路口连接边元素参数,以及所述标准路口路面元素参数,包括:
基于所述标准路口关键点元素参数所指示的Q个候选路口关键点以及所述路口路面元素参数所指示的预测路口路面确定Q条路口线段;
基于所述路口连接边元素参数所指示的预测路口连接边从所述Q条路口线段中确定出与所述预测路口连接边相关联的路口线段,并通过与所述预测路口连接边相关联的路口线段确定所述标准路口连接边元素参数;
基于所述非路口连接边元素参数所指示的预测非路口连接边从所述Q条路口线段中确定出与所述预测非路口连接边相关联的路口线段,并通过与所述预测非路口连接边相关联的路口线段确定所述标准非路口连接边元素参数;
基于所述标准路口关键点元素参数、所述标准路口连接边元素参数、所述标准非路口连接边元素参数,对所述路口路面元素参数进行标准参数化处理,得到所述标准路口路面元素参数。
15.一种图像处理装置,其特征在于,所述装置包括:
训练样本获取模块,用于获取用于训练初始路口识别模型的训练样本以及所述训练样本的样本路口标签信息;所述训练样本包括:包含样本路口的样本路口图像以及初始样本查询特征;所述初始路口识别模型包含:关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;所述样本路口标签信息包括:所述样本路口的路口属性标注信息和所述样本路口的路口元素掩膜标注信息;N为大于1的正整数;所述N个掩膜分支对应所述样本路口的N个解构元素,一个掩膜分支对应一个解构元素;所述N个解构元素包括:路口关键点元素、路口连接边元素、非路口连接边元素、路口路面元素;所述关键特征提取组件包含:主干特征提取器、像素解码器,以及特征变换解码器;所述像素解码器包括M1个图像采样层,M1为大于1的正整数;
样本特征提取模块,用于将所述样本路口图像输入所述关键特征提取组件中的所述主干特征提取器,由所述主干特征提取器对所述样本路口图像进行主干特征提取处理,将提取到的主干特征作为所述样本路口图像的参考样本图像特征,将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器,由所述像素解码器对所述参考样本图像特征进行上采样处理,得到与所述参考样本图像特征相关联的目标上采样样本图像特征,从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征,将所述第一采样样本图像特征作为第一样本图像处理特征,并将所述第二采样样本图像特征作为第二样本图像处理特征;所述第一采样样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的;所述第二采样样本图像特征是第M1个图像采样层对应的第M1个上采样样本图像特征;i为小于或者等于M2的正整数,M2=M1-1;
所述样本特征提取模块,还用于将所述初始样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个初始样本解构元素预测信息,将所述N个初始样本解构元素预测信息、所述第一样本图像处理特征和所述初始样本查询特征输入所述关键特征提取组件,由所述关键特征提取组件输出与所述初始样本查询特征相关联的目标解码样本查询特征;一个掩膜分支对应一个初始样本解构元素预测信息;
样本特征识别模块,用于将所述目标解码样本查询特征输入所述路口识别组件,由所述路口识别组件对所述目标解码样本查询特征进行特征识别,基于所述路口识别组件输出的特征识别结果确定所述目标解码样本查询特征对应的预测路口的样本路口属性预测信息;
样本特征变换模块,用于将所述目标解码样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述目标解码样本查询特征和所述第二样本图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个目标样本解构元素预测信息;一个掩膜分支对应一个目标样本解构元素预测信息;
模型训练模块,用于基于所述N个目标样本解构元素预测信息,确定所述预测路口的样本路口元素掩膜预测信息,基于所述路口属性标注信息、所述样本路口属性预测信息、所述路口元素掩膜标注信息和所述样本路口元素掩膜预测信息,对所述初始路口识别模型进行模型训练,训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
16.一种图像处理装置,其特征在于,所述装置包括:
图像处理模块,用于获取包含目标路口的目标路口图像、目标查询特征,以及用于对所述目标路口图像进行图像解构处理的目标路口识别模型;所述目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件;N为大于1的正整数;所述N个掩膜分支对应所述目标路口的N个解构元素,一个掩膜分支对应一个解构元素;所述N个解构元素包括:路口关键点元素、路口连接边元素、非路口连接边元素、路口路面元素;所述关键特征提取组件包含:主干特征提取器、像素解码器,以及特征变换解码器;所述像素解码器包括M1个图像采样层,M1为大于1的正整数;
目标特征提取模块,用于将所述目标路口图像输入所述关键特征提取组件中的所述主干特征提取器,由所述主干特征提取器对所述目标路口图像进行主干特征提取处理,将提取到的主干特征作为所述目标路口图像的参考样本图像特征,将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器,由所述像素解码器对所述参考样本图像特征进行上采样处理,得到与所述参考样本图像特征相关联的目标上采样样本图像特征,从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征,将所述第一采样样本图像特征作为第一图像处理特征,并将所述第二采样样本图像特征作为第二图像处理特征;所述第一采样样本图像特征是由第i个图像采样层所输出的第i个上采样样本图像特征所确定的;所述第二采样样本图像特征是第M1个图像采样层对应的第M1个上采样样本图像特征;i为小于或者等于M2的正整数,M2=M1-1;
所述目标特征提取模块,还用于将所述目标查询特征和所述第二图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述目标查询特征和所述第二图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个初始解构元素预测信息,将所述N个初始解构元素预测信息、所述第一图像处理特征和所述目标查询特征输入所述关键特征提取组件,由所述关键特征提取组件输出与所述目标查询特征相关联的目标解码查询特征;
目标特征识别模块,用于将所述目标解码查询特征输入所述路口识别组件,由所述路口识别组件对所述目标解码查询特征进行特征识别,基于所述路口识别组件输出的特征识别结果确定所述目标解码查询特征对应的预测路口的路口属性预测信息;
目标特征变换模块,用于若所述目标解码查询特征对应的路口属性预测信息指示所述目标解码查询特征对应的预测路口为所述目标路口,则将所述目标解码查询特征和所述第二图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支,由所述N个掩膜分支对所述目标解码查询特征和所述第二图像处理特征进行图像解构处理,得到所述N个掩膜分支的N个目标解构元素预测信息;一个掩膜分支对应一个目标解构元素预测信息。
17.一种计算机设备,其特征在于,包括存储器和处理器;
所述存储器与所述处理器相连,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-14任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-14任一项所述的方法。
CN202310399180.4A 2023-04-14 2023-04-14 图像处理方法、装置、设备及介质 Active CN116129279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310399180.4A CN116129279B (zh) 2023-04-14 2023-04-14 图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310399180.4A CN116129279B (zh) 2023-04-14 2023-04-14 图像处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116129279A CN116129279A (zh) 2023-05-16
CN116129279B true CN116129279B (zh) 2023-06-27

Family

ID=86297672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310399180.4A Active CN116129279B (zh) 2023-04-14 2023-04-14 图像处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116129279B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785302A (zh) * 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
CN114093519A (zh) * 2020-08-24 2022-02-25 辉达公司 用于进行氧疗预测的机器学习技术

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5576480A (en) * 1992-11-06 1996-11-19 Pall Corporation System and method for testing the integrity of porous elements
US8374829B2 (en) * 2007-03-16 2013-02-12 Lego A/S Automatic generation of building instructions for building element models
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks
CN114693540A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 一种图像处理方法、装置以及智能汽车
CN112686197B (zh) * 2021-01-07 2022-08-19 腾讯科技(深圳)有限公司 一种数据处理方法和相关装置
CN113065594B (zh) * 2021-04-01 2023-05-05 中科星图空间技术有限公司 一种基于北斗数据与遥感影像融合的路网提取方法及装置
CN113343346B (zh) * 2021-08-09 2021-11-16 速度时空信息科技股份有限公司 一种基于高精地图的三维交通场景快速建模方法
CN113554643B (zh) * 2021-08-13 2022-12-06 上海高德威智能交通系统有限公司 一种目标检测方法、装置、电子设备及存储介质
CN115757674A (zh) * 2022-11-25 2023-03-07 阿波罗智联(北京)科技有限公司 地图处理方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785302A (zh) * 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
CN114093519A (zh) * 2020-08-24 2022-02-25 辉达公司 用于进行氧疗预测的机器学习技术

Also Published As

Publication number Publication date
CN116129279A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US10614574B2 (en) Generating image segmentation data using a multi-branch neural network
WO2021129181A1 (en) Portrait segmentation method, model training method and electronic device
CN112085840B (zh) 语义分割方法、装置、设备及计算机可读存储介质
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN113947764B (zh) 一种图像处理方法、装置、设备及存储介质
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN113411550B (zh) 视频上色方法、装置、设备及存储介质
CN113011254B (zh) 一种视频数据处理方法、计算机设备及可读存储介质
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN113762039A (zh) 一种交通标志牌的信息匹配方法及相关装置
CN116129279B (zh) 图像处理方法、装置、设备及介质
CN117078970A (zh) 一种图片识别方法、装置、电子设备及存储介质
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN115345782A (zh) 图像处理方法、装置、计算机、可读存储介质及程序产品
CN115861605A (zh) 一种图像数据处理方法、计算机设备以及可读存储介质
CN112529116B (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
CN117830305B (zh) 对象测量方法、装置、设备及介质
CN117541883B (zh) 图像生成模型训练、图像生成方法、系统以及电子设备
CN117011416A (zh) 一种图像处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40086764

Country of ref document: HK