CN112954399A - 一种图像处理方法、装置以及计算机设备 - Google Patents
一种图像处理方法、装置以及计算机设备 Download PDFInfo
- Publication number
- CN112954399A CN112954399A CN202110174272.3A CN202110174272A CN112954399A CN 112954399 A CN112954399 A CN 112954399A CN 202110174272 A CN202110174272 A CN 202110174272A CN 112954399 A CN112954399 A CN 112954399A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- reference image
- parameter
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000005070 sampling Methods 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 230000001976 improved effect Effects 0.000 abstract description 9
- 230000011218 segmentation Effects 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置以及计算机设备，其中，该方法可以应用于地图应用场景中，待识别图像可以包括街景图像，可具体用于对拍摄场景的识别等，该方法包括：获取待识别图像；利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法，可以有效提高对图像处理的效率，实现对图像识别的多元化。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种图像处理方法、装置以及计算机设备。
背景技术
计算机视觉技术是人工智能技术中一项比较重要且应用广泛的技术，其中，计算机视觉技术包括的图像处理技术尤为重要，被广泛应用于人工智能的各个领域，如自动驾驶、地图定位等。
目前，大多数的图像处理技术都是针对不同的识别任务分别进行建模，将每一个任务都视为一个独立的建模过程，但这类方法存在一定的缺陷，如无法建立各个任务之间的联系，模型以及算法存在冗余，可扩展性较低，因此，怎样提高对图像处理的效率，以实现不同任务之间的扩展成为亟待解决的技术问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，可以有效提高对图像处理的效率，实现对图像识别的多元化。
本申请实施例一方面公开了一种图像处理方法，该方法包括：
获取待识别图像；
利用共享编码器对所述待识别图像进行编码处理，得到所述待识别图像的公共特征参数；
利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，所述各个解码器输出的参考图像特征为所述待识别图像中不同类型的对象的特征；
根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果。
本申请实施例一方面公开了一种图像处理装置，该装置包括：
获取单元，用于获取待识别图像；
处理单元，用于利用共享编码器对所述待识别图像进行编码处理，得到所述待识别图像的公共特征参数；
所述处理单元，还用于利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，所述各个解码器输出的参考图像特征为所述待识别图像中不同类型的对象的特征；
确定单元，用于根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果。
本申请实施例一方面公开了一种计算机设备，该计算机设备包括：
处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行以上述的图像处理方法。
本申请实施例一方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行上述的图像处理方法。
本申请实施例一方面公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的图像处理方法。
本申请实施例中，利用共享编码器对待识别图像进行编码处理，得到公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法，一方面，利用不同的解码器对待识别图像的特征进行处理，可以同时得到待识别图像的多个图像特征，由此，可以有效提高对图像处理的效率，不需要根据每个任务单独的提取图像中的图像特征；另一方面，可以根据不同的图像特征得到待识别图像的识别结果，也就是说，对应不同的任务可以得到不同的结果，从而实现对图像识别的多元化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种图像处理系统的架构示意图；
图2是本申请实施例公开的一种图像处理方法的流程示意图；
图3是本申请实施例公开的另一种图像处理方法的流程示意图；
图4是本申请实施例公开的一种解码器的结构示意图；
图5是本申请实施例公开的一种空洞空间卷积池化金字塔模块示意图；
图6是本申请实施例公开的又一种图像处理方法的流程示意图；
图7是本申请实施例公开的一种图像处理装置的结构示意图；
图8是本申请实施例公开的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请涉及人工智能技术下属的计算机视觉技术以及机器学习。其中，计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术以及机器学习等技术，具体通过如下实施例进行说明：
获取待识别图像；基于计算机视觉技术以及机器学习，利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；根据得到的各个解码器对应的参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法，一方面，利用不同的解码器对待识别图像的特征进行处理，可以同时得到待识别图像的多个图像特征，由此，可以有效提高对图像处理的效率，不需要根据每个任务单独的提取图像中的图像特征；另一方面，可以根据不同的图像特征得到待识别图像的识别结果，也就是说，对应不同的任务可以得到不同的结果，从而实现对图像识别的多元化。
请参见图1，图1为本申请实施例的一种图像处理系统的架构示意图，如图1所示，该图像处理系统的架构图100可以包括终端设备101和计算机设备102，其中，终端设备101和计算机设备102可以实现通信连接。
在一种可能的实现方式中，所述终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能车载等，但并不局限于此；计算机设备102可以服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。可选的，本申请实施例中，用于实现终端设备101的功能的装置可以是智能手机等设备；也可以是能够支持终端设备实现该功能的装置，例如芯片系统，该装置可以被安装在终端设备中。
在一种可能的实现方式中，计算机设备102具体用于：获取待识别图像；利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法，一方面，可以有效提高对图像处理的效率，不需要根据每个任务单独的提取图像中的图像特征；另一方面，可以实现对图像识别的多元化。
在一种可能的实现方式中，终端设备101主要用于采集待识别图像并将采集到的待识别图像发送给计算机设备102。可选的，终端设备101还用于接收计算机设备102返回的对待识别图像的目标识别结果。
在一种可能的实现方式中，上述的图像处理方法可以用于实现不同的任务，如分类识别任务、目标对象的关联信息识别任务。分类识别任务可以包括环境类型识别，环境类型可以指图像的拍摄地点，可以包括城市、乡村、高速公路等；目标对象的关联信息识别任务可以包括对图像的灭点位置估计、对图像中的车道数的识别等等，其中，灭点位置估计是为了确定图像在地平面消失的点，从而确定图像的空间方向。由此得出，本申请提供的图像处理方法可以建立起各个任务之间的联系，提升各个任务的识别效果，减轻模型大小。
基于上述图像处理系统，本申请实施例公开了一种图像处理方法，请参见图2，为本申请实施例公开的一种图像处理方法的流程示意图，该图像处理方法可以由计算机设备执行。该图像处理方法具体可以包括以下步骤：
S201、获取待识别图像。
在一种可能的实现方式中，计算机设备获取到的待识别图像可以是图1所示出的终端设备101发送的，可以是绑定在终端设备上的摄像设备实时采集后发送的，更多是用在实时场景下，如自动驾驶场景识别车道数；也可以是终端设备用于完成某个识别任务发送的，如地图使用场景中，识别图像的街景，实现定位。可选的，计算机设备获取待识别图像也可以是在训练该图像处理系统时，计算机设备从数据库中获取的各种类型的待识别图像，这些待识别图像都是经过测试人员筛选确定的。
S202、利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数。
在一种可能的实现方式中，计算机设备在获取到待识别图像后，利用图像处理技术对待识别图像进行特征提取处理，得到待识别图像的公共特征参数。在这个过程中，进行特征参数的提取时，可以利用共享编码器来对待识别图像进行编码处理，以得到待识别图像的公共特征参数，编码处理包括连续的卷积处理和下采样处理。其中，公共特征参数具体可以包括车道线参数、车道面参数、路面设备参数等等。本申请实施例中采用的共享编码器是由多个下采样模板组成的架构，每个下采样模板包括卷积层(Convolutional layer，Conv layer)、归一化层(Batch Normalization，BN layer)、激活层(ReLu函数)。可选的，共享编码器部分结构可以使用大多数主流的骨干网络设计代替，如残差网络(ResidualNetwork，ResNet)、高分辨率网络(HighResolution Net，HRNet)、VGGNet(Visual GeometryGroup Network，VGGNet)等。
S203、利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征。
在一种可能的实现方式中，利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，具体指的是，将公共特征参数作为输入数据输入到不用的解码器中进行解码处理，解码处理包括一系列的采样处理和卷积处理，从而得到不同解码器输出的待识别图像的不同的图像特征。更具体的，不同的图像特征指的是待识别图像中不同类型的对象的特征。例如，若图像中包括了大楼，则得到的图像特征即为大楼对应的特征；若图像中包括了车道线，则得到的图像特征即为车道线对应的特征。本申请实施例中采用的解码器广泛使用了空洞空间卷积池化金字塔(Atrous Spatial PyramidPooling，ASPP)。可选的，解码器部分结构可以参考和使用其他语义分割网络中解码器部分的网络设计，如UNet(一种U型网络)、目标语义网络(Object Context Net，OCNet)等。
其中，步骤S202中的编码器和步骤S203中的解码器共同实现的是对图像的语义分割，编码器和解码器组成的架构是图像语义分割技术中一种比较通用的架构。除了上述编码器和解码器组成的架构，其他语义分割模型的设计(如UNet、OCNet等)，以及用于加强线段类目标识别的操作(车道线检测等)亦可代替或结合使用。
S204、根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。
在一种可能的实现方式，根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果，对应的具体解释是，当要利用待识别图像实现不同的识别任务时，可以选择性地根据各个解码器对应的参考图像特征，利用其中的一个或者多个特征来完成识别，以得到目标识别结果。
例如，对于分类型扩展任务，如对于拍摄地点(如城市、乡村、高速公路)进行识别的分类任务，对应的参考图像特征可以选取车道线的图像特征、车道面的图像特征以及地上设施的图像特征，则将这几个图像特征进行融合，将融合后的特征作为分类器的输入特征，最终达到实现拍摄地点分类的目的。其中，融合可以使用拼接以及加和等方式完成，分类器是用于实现分类的分类器，可以使用基本的卷积模块堆叠组成。可选的，分类型扩展任务还可以包括对车道数的识别等等。
又例如，对于关键点位置估计类扩展任务，如道路灭点估计任务，对应的参考图像特征可以选取车道面输出层的图像特征、以及车道面中间层图像特征(由于车道面的特征对估计灭点位置帮助最大)，然后将车道面输出层的图像特征、以及车道面中间层图像特征进行融合，融合后的特征作为回归器的输入特征，最终达到道路灭点估计的目的，确定灭点主要是为了确认待识别图像的空间方向，确定图像的方位。其中，回归器可以沿用全卷积网络的设计方法，具体可以是通过预测一张热力图的方法来实现灭点位置的估计。
综上所述，本申请实施例中所指示的目标识别结果可以包括环境类型、目标对象的关联信息。即环境类型可以指上述的拍摄地点的识别，目标对象的关联信息可以指的是车道数识别、灭点位置轨迹等。目标对象即待识别图像中的物体，如地面设施、车道线、车道面等等。
本申请实施例中，计算机设备获取待识别图像；利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；根据各个解码器对应的参考图像特征中的一个或者多个，确定待识别图像的目标识别结果。通过该方法，一方面，利用不同的解码器对待识别图像的特征进行处理，可以同时得到待识别图像的多个图像特征，由此，可以有效提高对图像处理的效率，不需要根据每个任务单独的提取图像中的图像特征；另一方面，可以根据不同的图像特征得到待识别图像的识别结果，也就是说，对应不同的任务可以得到不同的结果，从而实现对图像识别的多元化。
基于上述图像处理系统和图像处理方法，本申请实施例公开了另一种图像处理方法，请参见图3，为本申请实施例公开的另一种图像处理方法的流程示意图，该图像处理方法可以由计算机设备执行。该图像处理方法具体可以包括以下步骤：
S301、获取待识别图像。
其中，步骤S301所涉及的一些可行的实施方式可参见图2实施例中相关步骤的描述，在此不再赘述。
S302、利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数。
在一种可能的实现方式中，计算机设备对待识别图像进行编码处理，得到待识别图像的公共特征参数，具体包括：对待识别图像进行下采样处理，得到下采样后的图像以及待识别图像的第一下采样特征参数；对下采样后的图像进行下采样处理，得到待识别图像中的第二下采样特征参数，将第一下采样特征参数和第二下采样特征参数作为待识别图像的公共特征参数。
进一步的，本申请实施例中的共享编码器可以是由多个下采样模块组成的，其中，每个下采样模块都是由卷积层(Convolutional layer，Conv layer)、归一化层(BatchNormalization，BN layer)、激活层(ReLu函数)组成的。具体的，卷积层负责提取待识别图像中的边缘纹理等基本特征，然后再对基本纹理特征进行抽象化结合，归一化层会对提取到的特征进行归一化正态分布处理。激活层对提取到的特征进行非线性映射，从而加强模型的泛化能力。其中，需要需注意的是，根据该编码器可以得到多个采样特征参数，第一采样特征参数和第二采样特征参数是本申请实施例为了实现对待识别图像的更多图像特征的提取所用到的特征。根据不同的下采样倍数得到不同的采样特征参数，第一采样特征参数和第二采样特征参数所对应的下采样倍数不同。
S303、利用目标解码器对应设置的辅助编码器对公共特征参数进行编码处理，得到目标解码器对应的待处理特征参数。
由于共享编码器的设计旨在提取公共深层特征，可能在某些场景和应用下存在特征抽象能力不足的情况，比如，对地上设施的分割任务，地上可能涵盖有建筑、杆类目标、隔离带、障碍物等十余种类别，精细分割它们可能需要提取更加丰富的特征。因此，可以选择性地为其中的某些子任务添加辅助编码器(即额外的编码器)，以增强特定任务分支的特征提取能力，优化分割和识别效果。
基于上述描述，本申请实施例则为每个分支增加了辅助编码器，利用每条分支所对应的辅助编码器对公共特征参数进行编码处理，得到该条分支的待处理特征参数，该待处理特征参数为步骤S304中对应的目标编码器的输入特征参数，以用于增强每个分支的对应的分割任务的特征提取能力。设置的辅助编码器数量可以为多个，不对其进行限定。
S304、利用目标解码器对待处理特征参数进行解码处理，得到目标解码器对应的参考图像特征。
其中，步骤S302中利用辅助编码器对公共特征进行处理得到的待处理特征参数包括第一特征参数和第二特征参数，第一特征参数和第二特征参数的维度不同。
在一种可能的实现方式中，利用目标解码器对第一特征参数进行第一处理操作，得到处理后的第一特征参数，对第二特征参数进行第二处理操作，得到处理后的第二特征参数，再将处理后的第一特征参数和处理后的第二特征参数进行拼接，得到拼接特征参数，对拼接特征参数进行处理，得到目标解码器对应的参考图像特征。其中，目标解码器是多个分支中其中一个分支对应的解码器，每个分支的处理过程均相同，利用目标解码器对待处理特征参数进行处理，即将待处理特征参数输入目标解码器。
进一步的，对拼接特征参数进行处理，得到目标解码器对应的参考图像特征，具体可以包括：对拼接特征参数依次进行卷积操作和上采样操作，得到上采样后的特征参数，卷积操作时可采用3*3的卷积层，其中，上采样后的特征参数的维度与和待识别图像的维度相匹配，再将上采样后的特征参数作为目标解码器对应的参考图像特征。
在一个可能的实现方式中，利用目标解码器对第一特征参数进行第一处理操作，得到处理后的第一特征参数，具体可以包括：利用1*1卷积层对第一特征参数进行卷积处理，以变换第一特征参数的通道数，以实现通道间的信息交互。
在一个可能的实现方式中，利用目标解码器对第二特征参数进行第二处理操作，得到处理后的第二特征参数，具体可以包括：利用特征提取模块对第二特征参数进行采样和拼接处理，得到第二特征参数对应的输出结果；对第二特征参数对应的输出结果进行通道数变换，对通道数变换后的输出结果进行上采样处理，得到处理后的第二特征参数，处理后的第二特征参数的维度与第一特征参数的维度相同，为了方便实现处理后的第一特征参数和第二特征参数的拼接处理。可选地，特征提取模块包括池化层和多个卷积层，则利用特征提取模块对第二特征参数进行采样和拼接处理，得到第二特征参数对应的输出结果，具体包括：利用多个卷积层对第二特征参数进行并行采样，得到多个采样特征，多个卷积层中的每个卷积层的采样倍数不同；再利用池化层对多个采样特征进行降维处理，并将降维后的多个采样特征进行拼接处理，得到第二特征参数对应的输出结果(即特征提取模块的输出)。
可选的，目标解码器的架构可以如图4所示，是本申请实施例公开的一种解码器的架构图，主要是通过该解码器从图像深层特征中逐层恢复分辨率，从而完成对不同目标的分割。具体为：从共享编码器中取出S4(第一特征参数)和S32(第二特征参数)两组特征，其中S4表示下采样4倍，S32表示下采样32倍。S32特征先经过特征提取模块，在增加较少的计算量的前提下，提取出不同尺度的信息，用以捕捉更丰富的细节，随后经过1*1卷积进行通道数变换，并经过上采样层将空间维度与S4特征对齐，该步骤对应图4中的402，得到处理后的S32特征(即处理后第二特征参数)。S4特征经过1*1卷积进行特征变换，对应图4中的401，得到处理后的S4特征(处理后第一特征参数)。后将处理后第二特征参数和处理后第一特征参数进行拼接，得到拼接特征参数，再经过3*3卷积和上采样后，将处理后的特征的尺寸以及维度，还原到初始待识别图像所对应的尺寸以及维度，其中，该步骤中上采样后的特征即为该支路的对应的参考图像特征。
其中，编码器的设计对模型结构无特殊依赖，本申请中编码器部分设计参考了广泛使用的ASPP模块，其结构如图5所示，是本申请实施例公开的一种ASPP模板架构图，是Google提出的Deeplab系列语义分割模型中的一个特征提取模块，它可以对于给定的输入以不同采样倍数的空洞卷积并行采样，如图5所示，对应有不同的采样倍数，相当于以多个比例捕捉图像的上下文信息。
S305、根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。
步骤S305和图2所涉及的一些可行的实施方式可参见图2实施例中相关步骤的描述，在此不再赘述。其中，步骤S304中的目标解码器是各个解码器中的任意一个。
S306、对得到的至少两个参考图像特征分别进行识别，得到各个参考图像特征对应的中间识别结果，根据各个参考图像特征对应的中间识别结果确定待识别图像的目标识别结果。
在一种可能的实现方式中，当利用解码器得到各个分支的参考图像特征后，进一步的，还可以对得到的各个解码器对应的参考图像特征分别进行识别，得到各个参考图像特征对应的中间识别结果，即分割结果，其中，得到的参考图像特征的数量至少为2个。具体的，分割结果可以是车道线分割结果、车道面分割结果、路面设施分割结果等等。再根据各个参考图像特征对应的中间识别结果确定待识别图像的目标识别结果。
其中，实现对得到的至少两个参考图像特征分别进行识别，得到各个参考图像特征对应的中间识别结果，可以是经过SoftMax层进行像素级的分类，得到各个参考图像特征对应的中间识别结果。具体可以是在图4示出的架构中加入一个激活层(SoftMax)实现该功能。
根据各个参考图像特征对应的中间识别结果确定待识别图像的目标识别结果，具体例如，将车道线分割结果和车道面分割结果进行融合，实现对车道数的识别，也可以是将车道线分割结果、车道面分割结果、路面设施分割结果进行融合，实现对拍摄地点的识别。
其中，步骤S305和步骤S306是并列的，即两个步骤都可以用于确定待识别图像的目标识别结果。
本申请实施例中，计算机设备获取待识别图像，利用共享编码器对待识别图像进行编码处理，得到公共特征参数，再利用目标解码器对应设置的辅助编码器对公共特征参数进行编码处理，得到目标解码器对应的待处理特征参数，再利用目标解码器对待处理特征参数进行解码处理，得到目标解码器对应的参考图像特征，根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法对图像进行处理，可以有效提高对图像处理的效率，也可以实现将多个基础分割任务合并在一个统一的模型中完成，以建立起各个子任务之间的联系，提升各个子任务的识别效果，减轻模型大小。同时，基于本申请提出的框架，还可以灵活地扩展其他高层识别任务，使得扩展任务可以从基础任务中收益。
基于上述图像处理系统和图像处理方法，本申请实施例提供了又一种图像处理方法的流程图，如图6所示，是本申请实施例公开的又一种图像处理方法的流程图。可以看到如图6所示，对待识别图像的处理主要分成三个分支，在实际的应用中，可以根据需求自定义设置分支数量。首先将待识别图像输入共享编码器对待识别图像进行特征提取，然后将提取到的特征参数(第一特征参数和第二特征参数)分别输入到三个支路，以得到各个支路的图像参考特征。一方面，可以根据参考图像特征得到分割结果；另一方面，可以根据对多个参考图像特征中一个或者多个确定出待识别图像的目标识别结果。可选的，还可以在每一条分支对应的目标解码器和共享编码器之间增加一个辅助编码器，以增强特征提取的能力。具体如图6所示，可以将不同的图像参考特征进行融合，以实现不同的子任务。在模型训练的过程中，本申请还联合多任务损失函数进行优化从而实现对模型的训练，具体是将各个分支的损失进行加权融合。对于本申请所对应的框架可以进行扩展任务也可以不进行扩展任务，对于无扩展任务的情况，模型训练遵循端到端的训练思路，各个基础分割任务基于多任务损失同步优化迭代；对于有扩展任务的情况，模型训练可以分为两个阶段，第一个阶段可以仅联合训练基础分割任务部分，当各个基础分割任务基本收敛之后，再打开各个扩展任务，启动全部任务的联合训练，从而保证模型整体能够收敛到一个较优的状态。
在一种可能的实现方式中，在训练过程中，对于不同的训练过程，可以采用不同的损失函数，来实现模型的快速收敛，保证模型能够收敛到一个较优的状态。若是对于分割任务，即得到分割结果的训练过程中，可以采用Dice损失函数进行计算，Dice损失函数如公式(1)所示：
其中，X表示真值分割图像，Y表示预测的分割图像。若是对于其他更多的扩展任务，则根据其具体任务性质选择相应的损失函数，如对于场景分类等分类任务可以使用交叉熵损失，对于灭点估计等位置估计任务可以使用均方误差损失。然后按照各个任务难易程度和优先级对损失进行加权融合。加权融合的计算可以如公式(2)所示：
其中，wi为权重值，Li为损失值。
本申请实施例中，通过图6示出图像处理流程，该方法以共享编码器为基础，提取通用特征，后接多个分支，其中不同分支对应不同的分割任务。对于每个分割任务，可以选择性地添加额外的编码器以加强特征提取能力。基于各个基础分割任务的输出结果和中间层特征，可以灵活、方便地扩展其他高层识别任务，最后，对一个联合的多任务损失函数进行优化从而实现对模型的训练。该方法将多个基础分割任务合并在一个统一的模型中完成，建立起各个任务之间的联系，提升各个子任务的识别效果，减轻模型大小。同时，基于本申请提出的框架，还可以灵活地扩展其他高层识别任务。综上，本申请实施例提供的图像处理方法可以提高对图像处理的效率，实现对图像识别的多元化。
基于上述的方法实施例，本申请实施例还提供了一种图像处理装置的结构示意图。参见图7，为本申请实施例提供的一种图像处装置的结构示意图。图7所示的图像处理装置70可运行如下单元：
获取单元701，用于获取待识别图像；
处理单元702，用于利用共享编码器对所述待识别图像进行编码处理，得到所述待识别图像的公共特征参数；
所述处理单元702，还用于利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，所述各个解码器输出的参考图像特征为所述待识别图像中不同类型的对象的特征；
确定单元703，用于根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果。
在一种可能的实现方式中，每一个解码器对应设置有辅助编码器，所述处理单元702利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，包括：
利用目标解码器对应设置的辅助编码器对所述公共特征参数进行编码处理，得到所述目标解码器对应的待处理特征参数，所述目标解码器为所述至少两个解码器中的任一个；
利用所述目标解码器对所述待处理特征参数进行解码处理，得到所述目标解码器对应的参考图像特征。
在一种可能的实现方式中，所述待处理特征参数包括第一特征参数和第二特征参数，所述第一特征参数和所述第二特征参数所对应的采样倍数不同；所述利处理单元702用所述目标解码器对所述待处理特征参数进行解码处理，得到所述目标解码器对应的参考图像特征，包括：
利用所述目标解码器对所述第一特征参数进行第一处理操作，得到处理后的第一特征参数；
对所述第二特征参数进行第二处理操作，得到处理后的第二特征参数；
将所述处理后的第一特征参数和所述处理后的第二特征参数进行拼接，得到拼接特征参数；
对所述拼接特征参数进行处理，得到所述目标解码器对应的参考图像特征。
在一种可能的实现方式中，所述处理单元702对所述拼接特征参数进行处理，得到所述目标解码器对应的参考图像特征，包括：
对所述拼接特征参数依次进行卷积操作和上采样操作，得到上采样后的特征参数，所述上采样后的特征参数的维度与和所述待识别图像的维度相匹配；
将所述上采样后的特征参数作为所述目标解码器对应的参考图像特征。
在一种可能的实现方式中，所述第一处理操作为卷积处理，所述处理单元702对所述第二特征参数进行第二处理操作，得到处理后的第二特征参数，包括：
利用特征提取模块对所述第二特征参数进行采样和拼接处理，得到所述第二特征参数对应的输出结果；
对所述第二特征参数对应的输出结果进行通道数变换；
对通道数变换后的输出结果进行上采样处理，得到处理后的第二特征参数，所述处理后的第二特征参数的维度与所述第一特征参数的维度相同。
在一种可能的实现方式中，所述特征提取模块包括池化层和多个卷积层，所述处理单元702利用特征提取模块对所述二特征参数进行采样和拼接处理，得到所述第二特征参数对应的输出结果，包括：
利用所述多个卷积层对所述第二特征参数进行并行采样，得到多个采样特征，所述多个卷积层中的每个卷积层的采样倍数不同；
利用所述池化层对所述多个采样特征进行降维处理，并将降维后的多个采样特征进行拼接处理，得到所述第二特征参数对应的输出结果。
在一种可能的实现方式中，所述确定单元703根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果，包括：
对所述至少两个参考图像特征分别进行识别，得到各个参考图像特征对应的中间识别结果；
根据所述各个参考图像特征对应的中间识别结果确定所述待识别图像的目标识别结果。
在一种可能的实现方式中，所述目标识别结果包括环境类型、目标对象的关联信息。
根据本申请的一个实施例，图2以及图3所示的图像处理方法所涉及各个步骤可以是由图7所示的图像处理装置中的各个单元来执行的。例如，图2所示的图像处理方法中步骤S201可由图7所示的图像处理装置中的获取单元701来执行，步骤S202和步骤S203可由图7所示的图像处理装置中的处理单元702来执行，步骤S204可由图7所示的图像处理装置中的确定单元703来执行；再如，图3所示的图像处理方法中步骤S301可由图7所示的图像处理装置中的获取单元701来执行，步骤S302-步骤S304可由图7所示的图像处理装置中的处理单元702来执行，步骤S305-步骤S306可由图7所示的图像处理装置中的确定单元703来执行。
根据本申请的另一个实施例，图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图3所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的图像处理装置，以及来实现本申请实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
本申请实施例中，获取单元701获取待识别图像；处理单元702利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；确定单元703根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法，可以有效提高对图像处理的效率，实现对图像识别的多元化。
基于上述方法以及装置实施例，本申请实施例提供了一种计算机设备。参见图8，为本申请实施例提供的一种计算机设备的结构示意图。图8所示的计算机设备80至少包括处理器801、输入接口802、输出接口803、计算机存储介质804以及存储器805。其中，处理器801、输入接口802、输出接口803、计算机存储介质804以及存储器805可通过总线或其他方式连接。
计算机存储介质804可以存储在计算机设备80的存储器805中，所述计算机存储介质804用于存储计算机程序，所述计算机程序包括程序指令，所述处理器801用于执行所述计算机存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit，中央处理器))是计算机设备80的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是计算机设备80中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备80中的内置存储介质，当然也可以包括计算机设备80支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，所述计算机存储介质可由处理器801加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2以及图3所示的图像处理方法的相应步骤。具体实现中，计算机存储介质中的一条或多条指令由处理器801加载并执行如下步骤：
获取待识别图像；
利用共享编码器对所述待识别图像进行编码处理，得到所述待识别图像的公共特征参数；
利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，所述各个解码器输出的参考图像特征为所述待识别图像中不同类型的对象的特征；
根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果。
在一种可能的实现方式中，每一个解码器对应设置有辅助编码器，所述处理器801利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，包括：
利用目标解码器对应设置的辅助编码器对所述公共特征参数进行编码处理，得到所述目标解码器对应的待处理特征参数，所述目标解码器为所述至少两个解码器中的任一个；
利用所述目标解码器对所述待处理特征参数进行解码处理，得到所述目标解码器对应的参考图像特征。
在一种可能的实现方式中，所述待处理特征参数包括第一特征参数和第二特征参数，所述第一特征参数和所述第二特征参数所对应的采样倍数不同；所述利处理器801用所述目标解码器对所述待处理特征参数进行解码处理，得到所述目标解码器对应的参考图像特征，包括：
利用所述目标解码器对所述第一特征参数进行第一处理操作，得到处理后的第一特征参数；
对所述第二特征参数进行第二处理操作，得到处理后的第二特征参数；
将所述处理后的第一特征参数和所述处理后的第二特征参数进行拼接，得到拼接特征参数；
对所述拼接特征参数进行处理，得到所述目标解码器对应的参考图像特征。
在一种可能的实现方式中，所述处理器801对所述拼接特征参数进行处理，得到所述目标解码器对应的参考图像特征，包括：
对所述拼接特征参数依次进行卷积操作和上采样操作，得到上采样后的特征参数，所述上采样后的特征参数的维度与和所述待识别图像的维度相匹配；
将所述上采样后的特征参数作为所述目标解码器对应的参考图像特征。
在一种可能的实现方式中，所述第一处理操作为卷积处理，所述处理器801对所述第二特征参数进行第二处理操作，得到处理后的第二特征参数，包括：
利用特征提取模块对所述第二特征参数进行采样和拼接处理，得到所述第二特征参数对应的输出结果；
对所述第二特征参数对应的输出结果进行通道数变换；
对通道数变换后的输出结果进行上采样处理，得到处理后的第二特征参数，所述处理后的第二特征参数的维度与所述第一特征参数的维度相同。
在一种可能的实现方式中，所述特征提取模块包括池化层和多个卷积层，所述处理器801利用特征提取模块对所述二特征参数进行采样和拼接处理，得到所述第二特征参数对应的输出结果，包括：
利用所述多个卷积层对所述第二特征参数进行并行采样，得到多个采样特征，所述多个卷积层中的每个卷积层的采样倍数不同；
利用所述池化层对所述多个采样特征进行降维处理，并将降维后的多个采样特征进行拼接处理，得到所述第二特征参数对应的输出结果。
在一种可能的实现方式中，所述处理器801根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果，包括：
对所述至少两个参考图像特征分别进行识别，得到各个参考图像特征对应的中间识别结果；
根据所述各个参考图像特征对应的中间识别结果确定所述待识别图像的目标识别结果。
在一种可能的实现方式中，所述目标识别结果包括环境类型、目标对象的关联信息。
本申请实施中，处理器801主要用于：获取待识别图像；利用共享编码器对待识别图像进行编码处理，得到待识别图像的公共特征参数；利用至少两个解码器对公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，各个解码器输出的参考图像特征为待识别图像中不同类型的对象的特征；根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定待识别图像的目标识别结果。通过该方法，可以有效提高对图像处理的效率，实现对图像识别的多元化。
据本申请的一个方面，本申请实施例还提供了一种计算机产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。处理器801从计算机可读存储介质中读取该计算机指令，处理器801执行该计算机指令，使得计算机设备80执行图2以及图3所示的图像处理方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待识别图像；
利用共享编码器对所述待识别图像进行编码处理，得到所述待识别图像的公共特征参数；
利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，所述各个解码器输出的参考图像特征为所述待识别图像中不同类型的对象的特征；
根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果。
2.根据权利要求1所述的方法，其特征在于，每一个解码器对应设置有辅助编码器，所述利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，包括：
利用目标解码器对应设置的辅助编码器对所述公共特征参数进行编码处理，得到所述目标解码器对应的待处理特征参数，所述目标解码器为所述至少两个解码器中的任一个；
利用所述目标解码器对所述待处理特征参数进行解码处理，得到所述目标解码器对应的参考图像特征。
3.根据权利要求2所述的方法，其特征在于，所述待处理特征参数包括第一特征参数和第二特征参数，所述第一特征参数和所述第二特征参数所对应的采样倍数不同；所述利用所述目标解码器对所述待处理特征参数进行解码处理，得到所述目标解码器对应的参考图像特征，包括：
利用所述目标解码器对所述第一特征参数进行第一处理操作，得到处理后的第一特征参数；
对所述第二特征参数进行第二处理操作，得到处理后的第二特征参数；
将所述处理后的第一特征参数和所述处理后的第二特征参数进行拼接，得到拼接特征参数；
对所述拼接特征参数进行处理，得到所述目标解码器对应的参考图像特征。
4.根据权利要求3所述的方法，其特征在于，所述对所述拼接特征参数进行处理，得到所述目标解码器对应的参考图像特征，包括：
对所述拼接特征参数依次进行卷积操作和上采样操作，得到上采样后的特征参数，所述上采样后的特征参数的维度与和所述待识别图像的维度相匹配；
将所述上采样后的特征参数作为所述目标解码器对应的参考图像特征。
5.根据权利要求3或4所述的方法，其特征在于，所述第一处理操作为卷积处理，所述对所述第二特征参数进行第二处理操作，得到处理后的第二特征参数，包括：
利用特征提取模块对所述第二特征参数进行采样和拼接处理，得到所述第二特征参数对应的输出结果；
对所述第二特征参数对应的输出结果进行通道数变换；
对通道数变换后的输出结果进行上采样处理，得到处理后的第二特征参数，所述处理后的第二特征参数的维度与所述第一特征参数的维度相同。
6.根据权利要求5所述的方法，其特征在于，所述特征提取模块包括池化层和多个卷积层，所述利用特征提取模块对所述二特征参数进行采样和拼接处理，得到所述第二特征参数对应的输出结果，包括：
利用所述多个卷积层对所述第二特征参数进行并行采样，得到多个采样特征，所述多个卷积层中的每个卷积层的采样倍数不同；
利用所述池化层对所述多个采样特征进行降维处理，并将降维后的多个采样特征进行拼接处理，得到所述第二特征参数对应的输出结果。
7.根据权利要求1或2所述的方法，其特征在于，所述根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果，包括：
对所述至少两个参考图像特征分别进行识别，得到各个参考图像特征对应的中间识别结果；
根据所述各个参考图像特征对应的中间识别结果确定所述待识别图像的目标识别结果。
8.根据权利要求7所述的方法，其特征在于，所述目标识别结果包括环境类型、目标对象的关联信息。
9.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取待识别图像；
处理单元，用于利用共享编码器对所述待识别图像进行编码处理，得到所述待识别图像的公共特征参数；
所述处理单元，还用于利用至少两个解码器对所述公共特征参数进行解码处理，得到各个解码器对应的参考图像特征，其中，所述各个解码器输出的参考图像特征为所述待识别图像中不同类型的对象的特征；
确定单元，用于根据得到的至少两个参考图像特征中的一个或者多个参考图像特征，确定所述待识别图像的目标识别结果。
10.一种计算机设备，其特征在于，所述计算机设备包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-8任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174272.3A CN112954399B (zh) | 2021-02-09 | 2021-02-09 | 一种图像处理方法、装置以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174272.3A CN112954399B (zh) | 2021-02-09 | 2021-02-09 | 一种图像处理方法、装置以及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112954399A true CN112954399A (zh) | 2021-06-11 |
| CN112954399B CN112954399B (zh) | 2021-12-17 |
Family
ID=76244342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110174272.3A Active CN112954399B (zh) | 2021-02-09 | 2021-02-09 | 一种图像处理方法、装置以及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112954399B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096001A (zh) * | 2021-04-01 | 2021-07-09 | 咪咕文化科技有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN113689383A (zh) * | 2021-07-27 | 2021-11-23 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| WO2023185354A1 (zh) * | 2022-04-02 | 2023-10-05 | 腾讯科技（深圳）有限公司 | 实景导航方法、装置、设备及存储介质、程序产品 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180310041A1 (en) * | 2011-04-04 | 2018-10-25 | Verint Americas Inc. | Systems and methods for sharing encoder output |
| CN110097131A (zh) * | 2019-05-08 | 2019-08-06 | 南京大学 | 一种基于对抗协同训练的半监督医疗图像分割方法 |
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| US20200065989A1 (en) * | 2018-08-23 | 2020-02-27 | Shenzhen Keya Medical Technology Corporation | Method, device and system for generating a centerline for an object in an image |
| US20200084427A1 (en) * | 2018-09-12 | 2020-03-12 | Nvidia Corporation | Scene flow estimation using shared features |
| CN111507270A (zh) * | 2020-04-18 | 2020-08-07 | 王烟烟 | 基于区块链与深度学习的车辆违法行为检测系统 |
| US20200302214A1 (en) * | 2019-03-20 | 2020-09-24 | NavInfo Europe B.V. | Real-Time Scene Understanding System |
| CN111783817A (zh) * | 2019-03-18 | 2020-10-16 | 辉达公司 | 使用神经网络进行图像识别 |
-
2021
- 2021-02-09 CN CN202110174272.3A patent/CN112954399B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180310041A1 (en) * | 2011-04-04 | 2018-10-25 | Verint Americas Inc. | Systems and methods for sharing encoder output |
| US20200065989A1 (en) * | 2018-08-23 | 2020-02-27 | Shenzhen Keya Medical Technology Corporation | Method, device and system for generating a centerline for an object in an image |
| US20200084427A1 (en) * | 2018-09-12 | 2020-03-12 | Nvidia Corporation | Scene flow estimation using shared features |
| CN111783817A (zh) * | 2019-03-18 | 2020-10-16 | 辉达公司 | 使用神经网络进行图像识别 |
| US20200302214A1 (en) * | 2019-03-20 | 2020-09-24 | NavInfo Europe B.V. | Real-Time Scene Understanding System |
| CN110097131A (zh) * | 2019-05-08 | 2019-08-06 | 南京大学 | 一种基于对抗协同训练的半监督医疗图像分割方法 |
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| CN111507270A (zh) * | 2020-04-18 | 2020-08-07 | 王烟烟 | 基于区块链与深度学习的车辆违法行为检测系统 |
Non-Patent Citations (3)
| Title |
|---|
| M. TEICHMANN: "MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving", 《IEEE INTELLIGENT VEHICLES SYMPOSIUM》 * |
| X. LI: "Vanishing Point Detection and Rail Segmentation Based on Deep Multi-Task Learning", 《IEEE ACCESS》 * |
| 刘培森: "基于多任务学习的多车道检测算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096001A (zh) * | 2021-04-01 | 2021-07-09 | 咪咕文化科技有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN113689383A (zh) * | 2021-07-27 | 2021-11-23 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113689383B (zh) * | 2021-07-27 | 2024-04-16 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| WO2023185354A1 (zh) * | 2022-04-02 | 2023-10-05 | 腾讯科技（深圳）有限公司 | 实景导航方法、装置、设备及存储介质、程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112954399B (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112954399B (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
| CN111898696A (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
| CN113780149B (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN113011387B (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
| CN114549369B (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| CN112989085A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
| CN114612902A (zh) | 图像语义分割方法、装置、设备、存储介质及程序产品 | |
| CN113762039A (zh) | 一种交通标志牌的信息匹配方法及相关装置 | |
| CN114943937A (zh) | 行人重识别方法、装置、存储介质及电子设备 | |
| CN117409412A (zh) | 一种基于细节增强的双分辨率实时语义分割方法 | |
| CN116958323A (zh) | 图像生成方法、装置、电子设备、存储介质及程序产品 | |
| CN114494699A (zh) | 基于语义传播与前背景感知的图像语义分割方法及系统 | |
| CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
| CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
| CN115374304A (zh) | 数据处理方法、电子设备、存储介质及计算机程序产品 | |
| CN115131291A (zh) | 对象计数模型的训练方法、装置、设备以及存储介质 | |
| CN112966569B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN113628338A (zh) | 一种采样重建方法、装置、计算机设备及存储介质 | |
| CN111915701A (zh) | 一种基于人工智能的按钮图像生成方法和装置 | |
| Wang | Remote sensing image semantic segmentation network based on ENet | |
| CN113011320B (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40050000 Country of ref document: HK |