CN112990053B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112990053B
CN112990053B CN202110333434.3A CN202110333434A CN112990053B CN 112990053 B CN112990053 B CN 112990053B CN 202110333434 A CN202110333434 A CN 202110333434A CN 112990053 B CN112990053 B CN 112990053B
Authority
CN
China
Prior art keywords
image
feature extraction
feature
cascading
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110333434.3A
Other languages
English (en)
Other versions
CN112990053A (zh
Inventor
张凯皓
罗文寒
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110333434.3A priority Critical patent/CN112990053B/zh
Publication of CN112990053A publication Critical patent/CN112990053A/zh
Application granted granted Critical
Publication of CN112990053B publication Critical patent/CN112990053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，涉及计算机视觉领域。该方法包括：调用特征提取网络对输入图像进行特征提取得到图像特征集，所述特征提取网络包括网状连接的多个特征提取单元，所述网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，所述图像特征集包括所述多个特征提取单元分别输出的多个图像特征；根据注意力机制对所述图像特征集中的所述多个图像特征进行加权，得到加权特征；对所述加权特征进行图像处理，得到图像处理结果。该方法可以提取图像的多维特征，使图像处理结果更准确。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机视觉领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
图像超分是指由低分辨率图像恢复出高分辨率图像。
相关技术中采用卷积神经网络完成图像超分任务。具体地，将低分辨率图像输入卷积神经网络的特征提取层进行特征提取，提取隐含在低分辨率图像中的结构信息，再根据提取出的图像特征利用卷积神经网络恢复得到高分辨率图像。特征提取层通常包括顺次连接的多个卷积层，将低分辨率图像输入第一个卷积层得到第一个图像特征，再将第一个卷积结果输入第二个卷积层得到第二个图像特征，如此，在最后一个卷积层输出最终的图像特征。
相关技术只利用特征提取层提取了低分辨率图像在一个维度上的特征，所能够提取出的特征有限，图像超分的效果不佳。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，可以提取图像的多维特征，使图像处理结果更准确。所述技术方案如下。
根据本申请的一方面，提供了一种图像处理方法，所述方法包括：
调用特征提取网络对输入图像进行特征提取得到图像特征集，所述特征提取网络包括网状连接的多个特征提取单元，所述网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，所述图像特征集包括所述多个特征提取单元分别输出的多个图像特征；
根据注意力机制对所述图像特征集中的所述多个图像特征进行加权，得到加权特征；
对所述加权特征进行图像处理，得到图像处理结果。
根据本申请的另一方面，提供了一种图像处理装置，所述装置包括：
特征提取模块，用于调用特征提取网络对输入图像进行特征提取得到图像特征集，所述特征提取网络包括网状连接的多个特征提取单元，所述网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，所述图像特征集包括所述多个特征提取单元分别输出的多个图像特征；
注意力模块，用于根据注意力机制对所述图像特征集中的所述多个图像特征进行加权，得到加权特征；
处理模块，用于对所述加权特征进行图像处理，得到图像处理结果。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像处理方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像处理方法。
根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过采用网状连接的多个特征提取单元对输入图像进行特征提取，相比于线性连接，网状连接的多个特征提取单元可以从多个维度上提取输入图像的特征，将每个特征提取单元输出的图像特征组成图像特征集，引入注意力机制对图像特征集中的图像特征进行加权，使图像处理模型在进行图像处理时，更关注对图像处理结果影响较大的图像特征，从而多维度、多层次、有重点地充分利用输入图像的特征进行图像处理，提高图像处理的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机设备的框图；
图2是本申请另一个示例性实施例提供的图像处理方法的方法流程图；
图3是本申请另一个示例性实施例提供的图像处理方法的网状连接的示意图；
图4是本申请另一个示例性实施例提供的图像处理方法的特征提取单元的示意图；
图5是本申请另一个示例性实施例提供的图像处理方法的方法流程图；
图6是本申请另一个示例性实施例提供的图像处理方法的图像处理模型的示意图；
图7是本申请另一个示例性实施例提供的图像处理方法的注意力单元的示意图；
图8是本申请另一个示例性实施例提供的图像处理装置的框图；
图9是本申请另一个示例性实施例提供的服务器的结构示意图；
图10是本申请另一个示例性实施例提供的终端的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
图1示出了本申请一个示例性实施例提供的计算机设备101的示意图，该计算机设备101可以是终端或服务器。
终端可以包括数码相机、智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人中的至少一种。可选地，该终端还可以是具有摄像头的设备，例如，人脸支付设备、监控设备、门禁设备等。在一种可选的实现方式中，本申请提供的图像处理方法可以应用于具有图像处理功能的应用程序中，该应用程序可以是：相机应用程序、图像处理应用程序、视频处理应用程序、图片发布应用程序、视频发布应用程序、社交应用程序、购物应用程序、直播应用程序、论坛应用程序、资讯应用程序、生活类应用程序、办公应用程序等。可选地，终端上安装有该应用程序的客户端。
示例性的，终端上存储有图像处理模型102，当客户端需要使用图像处理功能时，客户端可以调用图像处理模型完成对图像处理。示例性的，图像处理过程可以由终端来完成，也可以由服务器来完成。
终端与服务器之间通过有线或者无线网络相互连接。
终端包括第一存储器和第一处理器。第一存储器中存储有图像处理模型；上述图像处理模型被第一处理器调用执行以实现本申请提供的图像处理方法。第一存储器可以包括但不限于以下几种：随机存取存储器(Random Access Memory，RAM)、只读存储器(ReadOnly Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)、以及电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)。
第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(Central Processing Unit，CPU)或者网络处理器(NetworkProcessor，NP)。可选地，第一处理器可以通过运行程序或代码来实现本申请提供的图像处理方法。
服务器包括第二存储器和第二处理器。第二存储器中存储有图像处理模型；上述图像处理模型被第二处理器调用来实现本申请提供的图像处理方法。可选地，第二存储器可以包括但不限于以下几种：RAM、ROM、PROM、EPROM、EEPROM。可选地，第二处理器可以是通用处理器，比如，CPU或者NP。
计算机设备101中存储有图像处理模型102。当计算机设备101需要进行图像处理时，调用图像处理模型102对输入图像103进行图像处理得到图像处理结果104。示例性的，将输入图像103输入图像处理模型102后，客户端调用特征提取网络对输入图像103进行特征提取，特征提取网络中包括网状连接的多个特征提取单元，每个特征提取单元输出的图像特征组成图像特征集，将图像特征集输入注意力单元，采用注意力机制对图像特征集中的图像特征进行加权得到加权特征，调用图像处理单元基于加权特征进行图像处理，得到图像处理结果104。示例性的，特征提取单元可以采用RDB(Redidual Dense Blocks，残差密集模块)。
在一种应用场景中，在相机应用程序或数码相机中采用本申请提供的图像处理方法对拍摄的图像进行图像超分处理，来提高拍摄图像的图像分辨率。在计算机设备采集到拍摄图像后，计算机设备调用本申请提供的图像处理模型对拍摄图像进行图像超分处理，输出图像超分结果，图像超分结果的图像分辨率高于拍摄图像。
在另一种应用场景中，在图像处理应用程序中采用本申请提供的图像处理方法对输入图像进行图像超分处理，来提高输入图像的图像分辨率。客户端接收用户选中的输入图像，向服务器上传输入图像，由服务器调用图像处理模型对输入图像进行图像超分处理得到图像超分结果；或，由客户端调用图像处理模型对输入图像进行图像超分处理得到图像超分结果。
示例性的，以上仅以图像处理为图像超分处理进行举例，根据不同的图像处理任务需求，可以依据采用本申请提供的图像处理方法对输入图像进行特征提取后得到的加权特征，对输入图像进行不同的图像处理任务，例如，图像处理任务包括图像超分、图像去模糊、图像分类、图像分割、目标检测、人脸识别、人脸检测中的至少一种。根据不同的图像处理任务，可以对应设计图像处理单元的网络结构。示例性的，图1中的图像处理结果104仅以图像输出结果为一个图像进行举例，根据不同的图像处理任务，其输出的图像处理结果104的数据形式可以不限于图像形式，例如，对于图像分类任务，其输出的图像处理结果104可以是分类结果。
图2示出了本申请一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。方法包括如下步骤。
步骤201，调用特征提取网络对输入图像进行特征提取得到图像特征集，特征提取网络包括网状连接的多个特征提取单元，网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，图像特征集包括多个特征提取单元分别输出的多个图像特征。
特征提取网络包括多个特征提取单元连接而成的网络。特征提取单元用于对输入数据进行特征提取输出图像特征。特征提取单元的连接具有连接顺序，例如，前一个特征提取单元的输出端与后一个特征提取单元的输入端相连，或，前一个特征提取单元的输出端与一个中间处理层的输入端相连，中间处理层的输出端与后一个特征提取单元的输入端相连；即，前后连接的两个特征提取单元具有以下关系：后一个特征提取单元的输入数据是基于前一个特征提取单元的输出数据(图像特征)得到的。
特征提取网络中的存在至少一个特征提取单元呈网状连接。网状连接是指存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端相连，即，存在至少两个特征提取单元的输入数据是根据同一个特征提取单元输出的图像特征得到的。即，特征提取单元的连接具有分叉。根据同一个输入数据使用两个特征提取单元进行特征提取，可以提取该输入数据在不同维度上的特征，从而使特征提取网络能够充分地提取输入图像在各个维度上的特征。
例如，如图3中的(1)、(2)、(3)、(4)所示提供了四种特征提取单元301呈网状连接的示例，图3中的圆形标识特征提取单元301，箭头表示数据的流向。
特征提取单元用于对输入数据进行特征提取输出图像特征。特征提取单元内的结构可以是任意的，例如，特征提取单元可以是由卷积层、激活层、池化层中的至少一种组成。示例性的，特征提取单元也可以称为卷积单元，特征提取网络也可以称为卷积网络。
在一种可选的实现方式中，特征提取单元使用RDB(Redidual Dense Blocks，残差密集模块)实现。例如，如图4所示，特征提取单元(RDB)302包括四个卷积层501、三个激活层502和一个连接层503。其中，激活层502可以采用ReLU激活函数，连接层可以采用Concat函数。
在将输入图像输入特征提取网络后，根据特征提取网络中特征提取单元的连接顺序，依次进行特征提取，每个特征提取单元都会输出一个图像特征，将每个特征提取单元输出的图像特征组成图像特征集。因此，图像特征集包含了输入图像在各个层次、各个维度的图像特征。
步骤202，根据注意力机制对图像特征集中的多个图像特征进行加权，得到加权特征。
在得到图像特征集后，采用注意力机制对图像特征集中的图像特征进行加权，使图像处理模型在根据图像特征集进行图像处理时，更关注对图像处理结果影响较大的图像特征，提高图像处理模型输出的图像处理结果的准确度。
注意力机制用于为图像特征集中的图像特征分配权重，并根据权重对图像特征进行加权，得到加权特征，使图像处理模型更关注图像特征集中权重更大的图像特征。采用注意力机制可以使图像处理模型更关注图像特征集中对图像处理结果影响更大的图像特征，进而根据这部分影响更大的图像特征得出准确的图像处理结果。
注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度(Acuity)，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力：选择特定的输入。注意力可以应用于任何类型的输入而不管其形状如何。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。
步骤203，对加权特征进行图像处理，得到图像处理结果。
示例性的，根据不同的图像处理任务，可以采用不同的网络结构来根据加权特征完成图像处理。例如，针对图像超分、图像去模糊、图像分类、图像分割、目标检测、人脸识别、人脸检测等任务，分别设计对应的网络结构来根据加权特征进行图像处理输出图像处理结果。
示例性的，针对不同的图像处理任务，输出的图像处理结果不同。例如，针对图像超分任务，可以输出图像超分结果，图像超分结果的图像分辨率高于输入图像。针对图像去模糊任务，可以输出图像去模糊结果，图像去模糊结果的图像清晰度高于输入图像。针对图像分类任务，可以输出图像分类结果，图像分类结果包括输入图像所属的分类类别，或，图像分类结果包括输入图像属于各个分类类别的概率值。针对图像分割任务，可以输出图像分割结果，图像分割结果包括输入图像中各个像素点所述的分类类别，或，图像分割结果包括输入图像中各个像素点属于各个分类类别的概率值。针对目标检测任务，可以输出目标检测结果，目标检测结果包括在输入图像中将目标对象框出的目标框的位置信息。针对人脸识别任务，可以输出人脸识别结果，人脸识别结果包括从输入图像中识别出的人脸的相关数据。针对人脸检测任务，可以输出人脸检测结果，人脸检测结果包括输入图像中人脸所在位置的位置信息。
示例性的，采用本实施例提供的特征提取网络以及注意力机制，可以充分地对输入图像进行特征提取，依据输入图像在各个层次、各个维度的图像特征进行后续的图像处理过程，可以提高图像处理的准确度。
综上所述，本实施例提供的方法，通过采用网状连接的多个特征提取单元对输入图像进行特征提取，相比于线性连接，网状连接的多个特征提取单元可以从多个维度上提取输入图像的特征，将每个特征提取单元输出的图像特征组成图像特征集，引入注意力机制对图像特征集中的图像特征进行加权，使图像处理模型在进行图像处理时，更关注对图像处理结果影响较大的图像特征，从而多维度、多层次、有重点地充分利用输入图像的特征进行图像处理，提高图像处理的准确度。
示例性的，给出一种采用本申请提供的图像处理方法进行图像超分任务的示例性实施例。
图5示出了本申请一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。该方法包括以下步骤。
步骤2011，调用第一卷积层对输入图像进行卷积得到卷积后的输入图像。
示例性的，如图6所示，在特征提取网络303之前还设置有第一卷积层C1，客户端调用第一卷积层对输入图像103进行卷积预处理，得到卷积后的输入图像。
步骤2012，调用特征提取网络对卷积后的输入图像进行特征提取得到图像特征集。
例如，如图6所示，在经过第一卷积层C1的卷积后，将得到的卷积后的输入图像输入特征提取网络303进行特征提取得到图像特征集。然后将得到的图像特征集输入到网状关注模型(注意力单元)304采用注意力机制进行加权。
步骤2021，使用至少两种级联方式对图像特征集中的图像特征进行级联和重塑，得到至少两个级联特征集。
级联(Concatenation)是网络结构设计中很重要的一种操作，经常用于将特征联合，多个特征提取单元提取的特征融合或者是将输出层的信息进行融合。重塑(reshape)是将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数、维数。
级联用于将图像特征集中的至少两个图像特征联合，得到一个级联特征，联合可以是顺序拼接。重塑用于将矩阵(图像特征、加权特征、加权结果或级联特征)变换为指定维数。
计算机设备采用至少两种级联方式将图像特征集中的图像特征级联和重塑得到至少两个级联特征集。示例性的，通过级联和重塑可以改变图像特征集中图像特征的个数、每个图像特征的行数、列数和维度中的至少一种。
例如，图像特征集中包括3行N列即3N个图像特征，每个图像特征的行数(宽度)为W、列数(高度)为H、维度(通道数)为C，则通过级联和重塑，将每行的图像特征级联，可以得到3行1列即3个级联特征，每个级联特征的大小为N*HWC；将每列的图像特征级联，可以得到1行N列即N个级联特征，每个级联特征的大小为3*HWC。采用不同的级联方式，可以得到不同的级联特征，组成多个级联特征集。
一个级联特征集中的级联特征包含了图像特征集中的全部图像特征。即，两个级联特征集的数据量等于两个图像特征集。
示例性的，在设计图像处理模型时，可以依据特征提取网络的网络结构，设计多种级联方式，使注意力单元根据设计好的多种级联方式对特征提取网络中输出图像特征集进行级联，得到多个级联特征集。
在一种可选的实现方式中，特征提取网络包括M行N列特征提取单元，第一行的特征提取单元包括顺序连接的N个特征提取单元，第一行的第j列特征提取单元的输出端分别与其它行的第j列特征提取单元的输入端具有连接关系，M为大于1的整数，N为正整数，j为不大于N的正整数。
例如，如图6所示，当M取3时，特征提取网络303包括3N个特征提取单元，其中，第一行特征提取单元包括RDB1-1…RDB1-n…RDB1-N。第二行特征提取单元包括RDB2-1…RDB2-n…RDB2-N。第三行特征提取单元包括RDB3-1…RDB3-n…RDB3-N。其中，其他行特征提取单元中的特征提取单元分别与第一行对应列的特征提取单元具有连接关系，即，RDB3-1与RDB1-1具有连接关系，RDB2-1与RDB1-1具有连接关系；RDB3-n与RDB1-n具有连接关系，RDB2-n与RDB1-n具有连接关系；RDB3-N与RDB1-N具有连接关系，RDB2-N与RDB1-N具有连接关系。示例性的，N可以取5，即特征提取网络中包括3*5＝15个特征提取单元。
则计算机设备可以将特征提取网络中每行特征提取单元对应的图像特征级联为一个横向级联特征，得到横向级联特征集；横向级联特征集包括M个横向级联特征；将特征提取网络中每列特征提取单元对应的图像特征级联为一个纵向级联特征，得到纵向级联特征集；纵向级联特征集包括N个纵向级联特征；其中，至少两个级联特征集包括横向级联特征集和纵向级联特征集。
例如，如图7所示，示出了一种注意力单元304的网络结构。基于上述特征提取网络M行N列的网络结构，可以采用横向和纵向两种级联方式对图像特征集中的图像特征进行级联。以M取3为例，在级联单元305中，将图像特征集中每行特征提取单元对应的图像特征级联，得到3个级联特征，每个级联特征的大小为N*HWC；将图像特征集中每列特征提取单元对应的图像特征级联，得到N个级联特征，每个级联特征的大小为3*HWC。
基于上述特征提取网络的网络结构，步骤2012或步骤201可以实现为：计算机设备调用第一行的特征提取单元对输入图像进行特征提取得到N个图像特征，第一行的特征提取单元中的后一个特征提取单元的输入是前一个特征提取单元输出的图像特征；调用其他行中每一行的特征提取单元对N个图像特征分别进行特征提取，得到N个图像特征；其他行中每一行的第j个特征单元的输入是第一行的第j列特征提取单元输出的图像特征；共得到M行N列特征提取单元分别输出的M*N个图像特征，组成图像特征集；j为不大于N的整数，N、M为正整数。
M行N列特征提取单元中，存在顺序连接的一行主链特征提取单元，其他行特征提取单元上的特征提取单元按照对应的列数接在主链的特征提取单元上。示例性的，将主链特征提取单元称为第一行特征提取单元。
示例性的，还可以将第一行特征提取单元输出的图像特征经过空洞卷积后，输入到其他行特征提取单元中进行特征提取。即，其他行中的每一行特征提取单元中的N个特征提取单元分别对应有N个空洞卷积核，其他行中的不同行特征提取单元中的第j列特征提取单元对应的空洞卷积核不同；计算机设备调用其他行中的每一行的第j列特征提取单元对应的空洞卷积核，对第一行的第j列特征提取单元输出的图像特征进行空洞卷积，得到第j个空洞卷积结果；调用其他行中每一行的特征提取单元对N个图像特征分别进行特征提取，得到N个图像特征，包括：调用其他行中每一行的第j列特征提取单元对第j个空洞卷积结果进行特征提取，得到第j个图像特征；将j加1后再次执行上述步骤，直至得到N个图像特征。
即，计算机设备调用第1行第1列特征提取单元对输入图像进行特征提取得到第1行第1个图像特征；调用第1行第n2列特征提取单元对第1行第n2-1个图像特征进行特征提取得到第1行第n2个图像特征；重复本步骤共得到第1行特征提取单元分别输出的N个图像特征，组成第1行图像特征集，n2为大于1不大于N的整数，N为正整数；调用第m2行第n3列卷积核，对第1行第n3列特征提取单元输出的第1行第n3个图像特征进行空洞卷积得到第1行第n3个空洞卷积结果；调用第m2行第n3列特征提取单元对第1行第n3个空洞卷积结果进行特征提取得到第m2行第n3个图像特征；重复本步骤共得到M行N列特征提取单元分别输出的M*N个图像特征，组成图像特征集；n3为不大于N的整数，m2为大于1不大于M的整数，M为正整数。
步骤2022，对至少两个级联特征集分别进行矩阵处理得到至少两个相关矩阵。
示例性的，图像处理网络根据图像特征集中的图像特征得到用于加权的权重(相关矩阵)。即，在训练图像处理模型时，训练特征提取网络使其输出的图像特征中既包含输入图像的特征信息又包含权重信息，对图像特征集进行矩阵处理提取权重信息得到权重，使用权重对图像特征进行加权。
示例性的，计算机设备将至少两个级联特征集中的第i个级联特征集转置，得到转置结果，i为正整数；将转置结果与第i个级联特征集相乘得到相乘结果；将相乘结果输入激活函数得到第i个级联特征集对应的第i个相关矩阵；重复上述步骤得到至少两个级联特征集分别对应的至少两个相关矩阵。
例如，如图7所示，对于横向级联得到的横向级联特征集，将其转置得到横向转置结果，将横向转置结果与横向级联特征集相乘得到横向相乘结果，将横向相乘结果输入softmax激活函数得到横向级联特征集对应的横向相关矩阵；对于纵向级联得到的纵向级联特征集，将其转置得到纵向转置结果，将纵向转置结果与纵向级联特征集相乘得到纵向相乘结果，将纵向相乘结果输入softmax激活函数得到纵向级联特征集对应的纵向相关矩阵。
步骤2023，根据至少两个级联特征集中第i个级联特征集对应的第i个相关矩阵，对第i个级联特征集进行加权得到第i个加权结果，重复本步骤得到至少两个级联特征集对应的至少两个加权结果，i为正整数。
将相关矩阵作为权重进行加权，例如，如图7所示，将横向级联特征集与横向相关矩阵相乘得到横向加权结果306，将纵向级联特征集与纵向相关矩阵相乘得到纵向加权结果307。
步骤2024，对至少两个加权结果进行重塑得到加权特征。
示例性的，计算机设备将重塑后的图像特征集，与至少两个加权结果分别相加，得到第一相加结果；将重塑后的第一相加结果输入卷积神经网络得到加权特征。示例性的，重塑是指计算机设备将至少两个加权结果的矩阵变换为指定维度。例如，两个加权结果的维度为1*2*3，经过重塑后其维度变为1*1*6。
例如，如图7所示，计算机设备将图像特征集308重塑，将重塑后的图像特征集与横向加权结果306相加，将重塑后的图像特征集与纵向加权结果307相加，得到第一相加结果309。将第一相加结果309重塑后，输入卷积神经网络(Convolutional Neural Networks，CNN)输出加权特征310。
步骤203，对加权特征进行图像处理，得到图像处理结果。
以图像处理任务是图像超分为例，输入图像为分辨率低于第一阈值的低分辨率图像；计算机设备对加权特征进行图像超分处理，得到图像超分结果，图像超分结果为分辨率高于第二阈值的高分辨率图像。
示例性的，对于图像超分任务，图像处理单元可以由三个卷积层组成。例如，如图6所示，计算机设备调用第二卷积层C2对加权特征进行卷积得到卷积结果；调用上采样层UP对卷积结果进行上采样得到上采样结果；调用第三卷积层C3对上采样结果进行卷积得到图像超分结果。上采样层可以使用卷积层实现上采样。
示例性的，如图6所示，计算机设备在将输入图像输入特征提取网络进行特征提取前，先调用第一卷积层C1对输入图像103进行卷积得到卷积后的输入图像；调用特征提取网络对卷积后的输入图像进行特征提取得到图像特征集。则在进行上采样前，计算机设备还可以将卷积后的输入图像与卷积结果相加得到第二相加结果；调用上采样层对第二相加结果进行上采样得到上采样结果。
综上所述，本实施例提供的方法，通过引入网状注意力机制，使图像处理模型更好的关注不同层次的图像特征，一起调整网络结构。本实施例提供的方法不仅仅通过最后一层的图像特征进行图像处理，而且使用了前面所有特征提取层的图像特征。并且，为了更好的利用前面所有特征提取层的图像特征信息，采用网状注意力机制，使图像处理网络能够关注更重要的图像特征信息，进而够有效的提取图像特征来对低分辨率图片进行图像超分处理，从而能够自动地恢复出高分辨率的图片。
本实施例提供的方法，通过将第一行特征提取单元设置为顺序连接，其他行特征提取单元根据列数与第一行特征提取单元对应连接，使其他行的特征提取单元能够在第一行特征提取单元输出的图像特征的基础上，进行多维度的特征提取，从而充分提取输入图像在多个维度上的图像特征，使图像处理模型能够更好地根据图像特征进行图像处理，提高图像处理模型输出的图像处理结果的准确度。
本实施例提供的方法，通过在注意力单元，根据图像特征得到相关矩阵，根据相关矩阵对图像特征进行加权。使图像处理模型中的特征提取网络在进行特征提取时，既提取输入图像的图像特征，又能输出权重信息(相关矩阵)，使图像处理模型根据相关矩阵确定对图像特征集中不同图像特征的关注度，使图像处理模型能够更好地应用图像特征进行图像处理，提高图像处理模型输出的图像处理结果的准确度。
本实施例提供的方法，根据特征提取网络的网络结构，将每一行特征提取单元输出的图像特征进行级联，将每一列特征提取单元输出的图像特征进行级联，通过不同的级联方式得到不同的级联特征，在降低模型运算量的同时，保留图像特征在多个维度上所呈现出的特征信息，使图像处理模型能够更好地根据图像特征进行图像处理输出准确的图像处理结果。
本实施例提供的方法，将第一行特征提取单元输出的图像特征进行空洞卷积，将空洞卷积的结果输入到其他行特征提取单元中继续进行特征提取，通过空洞卷积的方式，扩大卷积操作的感受野，提高特征提取网络进行多维度特征提取的能力，充分提取输入图像在多个维度上的图像特征，使图像处理模型能够更好地根据图像特征进行图像处理。
示例性的，针对不同的图像处理任务，可以采用不同的数据集训练图像处理模型。以图像超分任务为例，在训练图像处理模型时，获取训练样本集，训练样本集中包括多个训练样本，每个训练样本包括一个样本图像和该样本图像对应的真实图像，真实图像是样本图像对应的高分辨率图像。首先对图像处理模型进行初始化，将样本图像输入图像处理模型，得到图像处理模型输出的预测图像，调用损失函数计算预测图像和真实图像的损失，根据损失调整图像处理模型的网络参数。如此，使用大量的训练样本对图像处理模型进行训练，最终得到能够进行图像超分的图像处理模型。
在得到能够进行图像超分的图像处理模型后，如图6所示，将输入图像103输入图像处理模型，计算机设备首先调用第一卷积层对输入图像103进行初步的特征提取，得到卷积后的输入图像。再调用特征提取网络303对卷积后的输入图像进行特征提取得到图像特征集。将图像特征集输入注意力单元304得到加权特征。示例性的，注意力单元304的网络结构如图7所示，图像特征集输入注意力单元304后，首先进行重塑和级联得到至少两个级联特征集，对至少两个级联特征集分别进行矩阵处理得到至少两个相关矩阵，使用相关矩阵分别对对应的级联特征集进行加权，得到至少两个加权结果。将重塑后的图像特征集308与至少两个加权结果分别相加得到第一相加结果，将重塑后的第一相加结果输入CNN得到加权特征310。在得到加权特征后如图6所示，将加权特征输入第二卷积层C2得到卷积结果，将卷积结果与经过第一卷积层卷积后的输入图像相加得到第二相加结果，将第二相加结果输入上采样层UP得到上采样结果，将上采样结果输入第三卷积层C3得到图像超分结果。
综上所述，本实施例提供的方法，通过深度神经网络完成对高清图片的恢复。具体而言，将一张低分辨率图片送入图像处理模型，利用图像处理模型对低分辨率照片进行特征提取和整合，使用卷积神经网络，提取隐含在模糊图片里面的结构信息，利用卷积网络恢复出高分辨率的相应图片。本实施例提供的方法同时使用了各个特征提取单元提取的图像特征，同时使用注意力机制，给不同图像特征以不同的权重，从而更好的利用提取出来的图像特征，使生成的图像超分结果更加真实。该方法可以用于手机或者数码相机等设备拍摄图片之后的后续处理，也可以用于网络后台服务器对用户上传的图片进行图像超分处理，具有潜在的经济效益。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
图8示出了本申请的一个示例性实施例提供的图像处理装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：
特征提取模块401，用于调用特征提取网络对输入图像进行特征提取得到图像特征集，所述特征提取网络包括网状连接的多个特征提取单元，所述网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，所述图像特征集包括所述多个特征提取单元分别输出的多个图像特征；
注意力模块402，用于根据注意力机制对所述图像特征集中的所述多个图像特征进行加权，得到加权特征；
处理模块403，用于对所述加权特征进行图像处理，得到图像处理结果。
在一种可选的实施例中，所述注意力模块402包括：级联子模块4021、权重子模块4022、加权子模块4023和重塑子模块4024；
所述级联子模块4021，用于使用至少两种级联方式对所述图像特征集中的所述图像特征进行级联和重塑，得到至少两个级联特征集；
所述权重子模块4022，用于对所述至少两个级联特征集分别进行矩阵处理得到至少两个相关矩阵；
所述加权子模块4023，用于根据所述至少两个级联特征集中第i个级联特征集对应的第i个相关矩阵，对所述第i个级联特征集进行加权得到第i个加权结果，重复本步骤得到所述至少两个级联特征集对应的至少两个加权结果，i为正整数；
所述重塑子模块4024，用于对所述至少两个加权结果进行重塑得到所述加权特征。
在一种可选的实施例中，所述特征提取网络包括M行N列特征提取单元，第一行的特征提取单元包括顺序连接的N个特征提取单元，第一行的第j列特征提取单元的输出端分别与其它行的第j列特征提取单元的输入端具有连接关系，M为大于1的整数，N为正整数，j为不大于N的正整数；
所述级联子模块4021，用于将所述特征提取网络中每行特征提取单元对应的所述图像特征级联为一个横向级联特征，得到横向级联特征集；所述横向级联特征集包括M个横向级联特征；
所述级联子模块4021，用于将所述特征提取网络中每列特征提取单元对应的所述图像特征级联为一个纵向级联特征，得到纵向级联特征集；所述纵向级联特征集包括N个纵向级联特征；
其中，所述至少两个级联特征集包括所述横向级联特征集和所述纵向级联特征集。
在一种可选的实施例中，所述权重子模块4022，用于将所述至少两个级联特征集中的第i个级联特征集转置，得到转置结果，i为正整数；
所述权重子模块4022，用于将所述转置结果与所述第i个级联特征集相乘得到相乘结果；
所述权重子模块4022，用于将所述相乘结果输入激活函数得到第i个级联特征集对应的第i个相关矩阵；
所述权重子模块4022，用于重复上述三个步骤得到所述至少两个级联特征集分别对应的至少两个相关矩阵。
在一种可选的实施例中，所述特征提取模块401，用于调用第一行的特征提取单元对所述输入图像进行特征提取得到N个图像特征，所述第一行的特征提取单元中的后一个特征提取单元的输入是前一个特征提取单元输出的所述图像特征；
所述特征提取模块401，用于调用其他行中每一行的特征提取单元对所述N个图像特征分别进行特征提取，得到N个图像特征；所述其他行中每一行的第j个特征单元的输入是所述第一行的第j列特征提取单元输出的图像特征；共得到所述M行N列特征提取单元分别输出的M*N个图像特征，组成所述图像特征集；j为不大于N的整数，N、M为正整数。
在一种可选的实施例中，所述其他行中的每一行特征提取单元中的N个特征提取单元分别对应有N个空洞卷积核，所述其他行中的不同行特征提取单元中的第j列特征提取单元对应的空洞卷积核不同；所述装置还包括：
空洞卷积模块404，用于调用其他行中的每一行的第j列特征提取单元对应的空洞卷积核，对第一行的第j列特征提取单元输出的图像特征进行空洞卷积，得到第j个空洞卷积结果；
所述特征提取模块401，用于调用所述其他行中每一行的第j列特征提取单元对所述第j个空洞卷积结果进行特征提取，得到第j个图像特征；将所述j加1后再次执行上述步骤，直至得到N个图像特征。
在一种可选的实施例中，所述重塑子模块4024，用于将重塑后的所述图像特征集，与所述至少两个加权结果分别相加，得到第一相加结果；
所述重塑子模块4024，用于将重塑后的所述第一相加结果输入卷积神经网络得到所述加权特征。
在一种可选的实施例中，所述特征提取模块401，用于调用第一卷积层对所述输入图像进行卷积得到卷积后的输入图像；
所述特征提取模块401，用于调用所述特征提取网络对所述卷积后的输入图像进行特征提取得到所述图像特征集。
在一种可选的实施例中，所述输入图像为分辨率低于第一阈值的低分辨率图像；
所述处理模块403，用于对所述加权特征进行图像超分处理，得到图像超分结果，所述图像超分结果为分辨率高于第二阈值的高分辨率图像。
在一种可选的实施例中，所述处理模块403，用于调用第二卷积层对所述加权特征进行卷积得到卷积结果；
所述处理模块403，用于调用上采样层对所述卷积结果进行上采样得到上采样结果；
所述处理模块403，用于调用第三卷积层对所述上采样结果进行卷积得到所述图像超分结果。
在一种可选的实施例中，所述特征提取模块401，用于调用第一卷积层对所述输入图像进行卷积得到卷积后的输入图像；
所述特征提取模块401，用于调用所述特征提取网络对所述卷积后的输入图像进行特征提取得到所述图像特征集。
所述处理模块403，用于将所述卷积后的输入图像与所述卷积结果相加得到第二相加结果；
所述处理模块403，用于调用上采样层对所述第二相加结果进行上采样得到所述上采样结果。
图9是本申请一个实施例提供的服务器的结构示意图。具体来讲：服务器800包括中央处理单元(英文：Central Processing Unit，简称：CPU)801、包括随机存取存储器(英文：Random Access Memory，简称：RAM)802和只读存储器(英文：Read-Only Memory，简称：ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
基本输入/输出系统806包括有用于显示信息的显示器808和用于用户帐号输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入/输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入/输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者只读光盘(英文：Compact Disc Read-Only Memory，简称：CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(英文：Erasable Programmable Read-Only Memory，简称：EPROM)、电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(英文：Digital Versatile Disc，简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
根据本申请的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
本申请还提供了一种终端，该终端包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的图像处理方法。需要说明的是，该终端可以是如下图10所提供的终端。
图10示出了本申请一个示例性实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户帐号设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的图像处理方法或图像处理方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。示例性的，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户帐号身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户帐号界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。示例性的，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户帐号及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户帐号界面的显示。加速度传感器911还可以用于游戏或者用户帐号的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户帐号对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户帐号的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户帐号对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户帐号对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户帐号的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户帐号的身份，或者，由指纹传感器914根据采集到的指纹识别用户帐号的身份。在识别出用户帐号的身份为可信身份时，由处理器901授权该用户帐号执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户帐号与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户帐号与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户帐号与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图10中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的图像处理方法。
本申请还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法。
本申请还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
调用特征提取网络对输入图像进行特征提取得到图像特征集，所述特征提取网络包括网状连接的多个特征提取单元，所述网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，所述图像特征集包括所述多个特征提取单元分别输出的多个图像特征；所述特征提取网络包括M行N列特征提取单元，第一行的特征提取单元包括顺序连接的N个特征提取单元，第一行的第j列特征提取单元的输出端分别与其它行的第j列特征提取单元的输入端具有连接关系，M为大于1的整数，N为正整数，j为不大于N的正整数；
将所述特征提取网络中每行特征提取单元对应的图像特征级联为一个横向级联特征，得到横向级联特征集；所述横向级联特征集包括M个横向级联特征；
将所述特征提取网络中每列特征提取单元对应的图像特征级联为一个纵向级联特征，得到纵向级联特征集；所述纵向级联特征集包括N个纵向级联特征；
将至少两个级联特征集中的第i个级联特征集转置，得到转置结果，i为正整数；将所述转置结果与所述第i个级联特征集相乘得到相乘结果；将所述相乘结果输入激活函数得到第i个级联特征集对应的第i个相关矩阵；重复本步骤得到所述至少两个级联特征集分别对应的至少两个相关矩阵；
根据所述至少两个级联特征集中第i个级联特征集对应的第i个相关矩阵，对所述第i个级联特征集进行加权得到第i个加权结果，重复本步骤得到所述至少两个级联特征集对应的至少两个加权结果，i为正整数；
对所述至少两个加权结果进行重塑得到加权特征；
对所述加权特征进行图像处理，得到图像处理结果；
其中，所述至少两个级联特征集包括所述横向级联特征集和所述纵向级联特征集。
2.根据权利要求1所述的方法，其特征在于，所述调用特征提取网络对输入图像进行特征提取得到图像特征集，包括：
调用第一行的特征提取单元对所述输入图像进行特征提取得到N个图像特征，所述第一行的特征提取单元中的后一个特征提取单元的输入是前一个特征提取单元输出的所述图像特征；
调用其他行中每一行的特征提取单元对所述N个图像特征分别进行特征提取，得到N个图像特征；所述其他行中每一行的第j个特征单元的输入是所述第一行的第j列特征提取单元输出的图像特征；
共得到所述M行N列特征提取单元分别输出的M*N个图像特征，组成所述图像特征集；j为不大于N的整数，N、M为正整数。
3.根据权利要求2所述的方法，其特征在于，所述其他行中的每一行特征提取单元中的N个特征提取单元分别对应有N个空洞卷积核，所述其他行中的不同行特征提取单元中的第j列特征提取单元对应的空洞卷积核不同；所述方法还包括：
调用其他行中的每一行的第j列特征提取单元对应的空洞卷积核，对第一行的第j列特征提取单元输出的图像特征进行空洞卷积，得到第j个空洞卷积结果；
所述调用其他行中每一行的特征提取单元对所述N个图像特征分别进行特征提取，得到N个图像特征，包括：
调用所述其他行中每一行的第j列特征提取单元对所述第j个空洞卷积结果进行特征提取，得到第j个图像特征；将所述j加1后再次执行上述步骤，直至得到N个图像特征。
4.根据权利要求1所述的方法，其特征在于，所述对所述至少两个加权结果进行重塑得到所述加权特征，包括：
将重塑后的所述图像特征集，与所述至少两个加权结果分别相加，得到第一相加结果；
将重塑后的所述第一相加结果输入卷积神经网络得到所述加权特征。
5.根据权利要求1所述的方法，其特征在于，所述调用特征提取网络对输入图像进行特征提取得到图像特征集，包括：
调用第一卷积层对所述输入图像进行卷积得到卷积后的输入图像；
调用所述特征提取网络对所述卷积后的输入图像进行特征提取得到所述图像特征集。
6.根据权利要求1所述的方法，其特征在于，所述输入图像为分辨率低于第一阈值的低分辨率图像；
所述对所述加权特征进行图像处理，得到图像处理结果，包括：
对所述加权特征进行图像超分处理，得到图像超分结果，所述图像超分结果为分辨率高于第二阈值的高分辨率图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述加权特征进行图像超分处理，得到图像超分结果，包括：
调用第二卷积层对所述加权特征进行卷积得到卷积结果；
调用上采样层对所述卷积结果进行上采样得到上采样结果；
调用第三卷积层对所述上采样结果进行卷积得到所述图像超分结果。
8.根据权利要求7所述的方法，其特征在于，所述调用特征提取网络对输入图像进行特征提取得到图像特征集，包括：
调用第一卷积层对所述输入图像进行卷积得到卷积后的输入图像；
调用所述特征提取网络对所述卷积后的输入图像进行特征提取得到所述图像特征集；
所述调用上采样层对所述卷积结果进行上采样得到上采样结果，包括：
将所述卷积后的输入图像与所述卷积结果相加得到第二相加结果；
调用上采样层对所述第二相加结果进行上采样得到所述上采样结果。
9.一种图像处理装置，其特征在于，所述装置包括：
特征提取模块，用于调用特征提取网络对输入图像进行特征提取得到图像特征集，所述特征提取网络包括网状连接的多个特征提取单元，所述网状连接包括存在至少一个特征提取单元的输出端与至少两个特征提取单元的输入端具有连接关系，所述图像特征集包括所述多个特征提取单元分别输出的多个图像特征；所述特征提取网络包括M行N列特征提取单元，第一行的特征提取单元包括顺序连接的N个特征提取单元，第一行的第j列特征提取单元的输出端分别与其它行的第j列特征提取单元的输入端具有连接关系，M为大于1的整数，N为正整数，j为不大于N的正整数；
注意力模块，用于将所述特征提取网络中每行特征提取单元对应的图像特征级联为一个横向级联特征，得到横向级联特征集；所述横向级联特征集包括M个横向级联特征；
所述注意力模块，用于将所述特征提取网络中每列特征提取单元对应的图像特征级联为一个纵向级联特征，得到纵向级联特征集；所述纵向级联特征集包括N个纵向级联特征；
所述注意力模块，用于将至少两个级联特征集中的第i个级联特征集转置，得到转置结果，i为正整数；将所述转置结果与所述第i个级联特征集相乘得到相乘结果；将所述相乘结果输入激活函数得到第i个级联特征集对应的第i个相关矩阵；重复本步骤得到所述至少两个级联特征集分别对应的至少两个相关矩阵；
所述注意力模块，用于根据所述至少两个级联特征集中第i个级联特征集对应的第i个相关矩阵，对所述第i个级联特征集进行加权得到第i个加权结果，重复本步骤得到所述至少两个级联特征集对应的至少两个加权结果，i为正整数；
所述注意力模块，用于对所述至少两个加权结果进行重塑得到加权特征；处理模块，用于对所述加权特征进行图像处理，得到图像处理结果；
其中，所述至少两个级联特征集包括所述横向级联特征集和所述纵向级联特征集。
10.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至8任一项所述的图像处理方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现如权利要求1至8任一项所述的图像处理方法。
CN202110333434.3A 2021-03-29 2021-03-29 图像处理方法、装置、设备及存储介质 Active CN112990053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110333434.3A CN112990053B (zh) 2021-03-29 2021-03-29 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110333434.3A CN112990053B (zh) 2021-03-29 2021-03-29 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990053A CN112990053A (zh) 2021-06-18
CN112990053B true CN112990053B (zh) 2023-07-25

Family

ID=76337749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110333434.3A Active CN112990053B (zh) 2021-03-29 2021-03-29 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112990053B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673557A (zh) * 2021-07-12 2021-11-19 浙江大华技术股份有限公司 特征处理方法、动作定位方法及相关设备
CN113642480A (zh) * 2021-08-17 2021-11-12 苏州大学 一种字符识别方法、装置、设备及存储介质
CN114120420B (zh) * 2021-12-01 2024-02-13 北京百度网讯科技有限公司 图像检测方法和装置
CN114495234A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 图像处理方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN110288518A (zh) * 2019-06-28 2019-09-27 北京三快在线科技有限公司 图像处理方法、装置、终端及存储介质
CN111091576A (zh) * 2020-03-19 2020-05-01 腾讯科技（深圳）有限公司 图像分割方法、装置、设备及存储介质
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112184548A (zh) * 2020-09-07 2021-01-05 中国科学院深圳先进技术研究院 图像超分辨率方法、装置、设备及存储介质
WO2021018163A1 (zh) * 2019-07-30 2021-02-04 华为技术有限公司 神经网络的搜索方法及装置
CN112330539A (zh) * 2020-10-10 2021-02-05 北京嘀嘀无限科技发展有限公司 超分辨率图像重建方法、装置、存储介质和电子设备
WO2021022929A1 (zh) * 2019-08-08 2021-02-11 齐鲁工业大学 一种单帧图像超分辨率重建方法
CN112446826A (zh) * 2019-09-03 2021-03-05 联咏科技股份有限公司 用于图像超分辨率、图像增强及模型训练的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3465551B1 (en) * 2016-05-26 2024-05-15 Ogma Intelligent Systems Corp. Processing time-varying data streams using sparse predictive hierarchies
CN108875787B (zh) * 2018-05-23 2020-07-14 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN110288518A (zh) * 2019-06-28 2019-09-27 北京三快在线科技有限公司 图像处理方法、装置、终端及存储介质
WO2021018163A1 (zh) * 2019-07-30 2021-02-04 华为技术有限公司 神经网络的搜索方法及装置
WO2021022929A1 (zh) * 2019-08-08 2021-02-11 齐鲁工业大学 一种单帧图像超分辨率重建方法
CN112446826A (zh) * 2019-09-03 2021-03-05 联咏科技股份有限公司 用于图像超分辨率、图像增强及模型训练的方法及装置
CN111091576A (zh) * 2020-03-19 2020-05-01 腾讯科技（深圳）有限公司 图像分割方法、装置、设备及存储介质
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112184548A (zh) * 2020-09-07 2021-01-05 中国科学院深圳先进技术研究院 图像超分辨率方法、装置、设备及存储介质
CN112330539A (zh) * 2020-10-10 2021-02-05 北京嘀嘀无限科技发展有限公司 超分辨率图像重建方法、装置、存储介质和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A HVS-Inspired Attention to Improve Loss Metrics for CNN-Based Perception-Oriented Super-Resolution;Taimoor Tariq;2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW);全文 *
基于非局部均值和线性映射的图像超分辨率;端木春江;俞泓帆;;计算机工程与设计(第06期);全文 *

Also Published As

Publication number Publication date
CN112990053A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110136136B (zh) 场景分割方法、装置、计算机设备及存储介质
CN112990053B (zh) 图像处理方法、装置、设备及存储介质
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN111489378B (zh) 视频帧特征提取方法、装置、计算机设备及存储介质
CN111931877B (zh) 目标检测方法、装置、设备及存储介质
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN111091576A (zh) 图像分割方法、装置、设备及存储介质
CN111243668B (zh) 分子结合位点检测方法、装置、电子设备及存储介质
CN111091166A (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111597922B (zh) 细胞图像的识别方法、系统、装置、设备及介质
CN112115900B (zh) 图像处理方法、装置、设备及存储介质
CN112733970B (zh) 图像分类模型处理方法、图像分类方法及装置
CN112989767B (zh) 医学词语标注方法、医学词语映射方法、装置及设备
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
CN112381707B (zh) 图像生成方法、装置、设备以及存储介质
CN112163717A (zh) 人口数据预测方法、装置、计算机设备及介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN113822263A (zh) 图像标注方法、装置、计算机设备及存储介质
CN113821658A (zh) 对编码器进行训练的方法、装置、设备及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN115168643B (zh) 音频处理方法、装置、设备及计算机可读存储介质
CN114296627B (zh) 内容显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40047300

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant