CN116664873A - 图像信息处理方法、装置及存储介质 - Google Patents

图像信息处理方法、装置及存储介质 Download PDF

Info

Publication number
CN116664873A
CN116664873A CN202310933877.5A CN202310933877A CN116664873A CN 116664873 A CN116664873 A CN 116664873A CN 202310933877 A CN202310933877 A CN 202310933877A CN 116664873 A CN116664873 A CN 116664873A
Authority
CN
China
Prior art keywords
image
map
expansion
feature
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310933877.5A
Other languages
English (en)
Other versions
CN116664873B (zh
Inventor
燕旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310933877.5A priority Critical patent/CN116664873B/zh
Publication of CN116664873A publication Critical patent/CN116664873A/zh
Application granted granted Critical
Publication of CN116664873B publication Critical patent/CN116664873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像信息处理方法、装置及存储介质，在获取待处理图像后，对待处理图像中的地图要素进行检测，得到地图要素图像，然后对地图要素图像中的地图子要素进行检测，得到地图子要素图像，接着分别对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，并对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，然后根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。本申请实施例能够提高图像质量检测的准确性，可应用于例如自动驾驶、地图生成、人工智能、智慧交通等领域。

Description

图像信息处理方法、装置及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像信息处理方法、装置及存储介质。
背景技术
随着计算机技术和图像处理技术的不断发展，图像识别作为立体视觉、运动分析、数据融合等实用技术的基础，已经广泛应用到各类不同领域中，例如自动驾驶、车辆导航等。在图像识别的应用过程中，为了便于利用图像中的地图要素更新地图数据，或者辅助进行无人驾驶等，需要先从采集到的道路图像中筛选出图像质量较高或者地图要素较为清晰的图像，再对清晰的图像进行识别。
然而，相关技术中的方法对图像质量的检测以及对图像中地图要素的清晰度检测都存在不准确的问题，导致对地图数据更新或者无人驾驶造成干扰。因此，如何提高图像质量检测的准确性是亟待解决的技术问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种图像信息处理方法、装置及存储介质，能够提高图像质量检测的准确度。
一方面，本申请实施例提供了一种图像信息处理方法，包括以下步骤：
获取待处理图像，对所述待处理图像进行地图要素检测，得到所述待处理图像中的地图要素图像；
对所述地图要素图像进行地图子要素检测，得到所述地图要素图像中的地图子要素图像；
对所述地图要素图像和所述地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征；
对所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征；
根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量结果。
另一方面，本申请实施例还提供了一种图像信息处理装置，包括：
地图要素检测单元，用于获取待处理图像，对所述待处理图像进行地图要素检测，得到所述待处理图像中的地图要素图像；
地图子要素检测单元，用于对所述地图要素图像进行地图子要素检测，得到所述地图要素图像中的地图子要素图像；
图像特征提取单元，用于对所述地图要素图像和所述地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征；
图像特征融合单元，用于对所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征；
图像质量检测单元，用于根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量结果。
可选地，所述图像特征融合单元还用于：
所述对所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征，包括：
对所述地图要素图像进行图像区域扩展，得到包括所述地图要素图像的区域扩展图像；
对所述区域扩展图像进行特征提取，得到第一层级图像特征；
对所述第一层级图像特征、所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征。
可选地，所述图像特征提取单元还用于：
所述对所述地图要素图像和所述地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，包括：
对所述地图要素图像和所述地图子要素图像进行图像内容扩展，得到地图要素扩展图像和地图子要素扩展图像；
对所述地图要素扩展图像和所述地图子要素扩展图像进行特征提取，得到第二层级图像特征和第三层级图像特征。
可选地，所述图像特征提取单元还用于：
所述对所述地图要素图像和所述地图子要素图像进行图像内容扩展，得到地图要素扩展图像和地图子要素扩展图像，包括：
获取预设的第二窗口尺寸和第三窗口尺寸，所述第二窗口尺寸和所述第三窗口尺寸不相同；
根据所述第二窗口尺寸对所述地图要素图像进行图像内容扩展，得到地图要素扩展图像；
根据所述第三窗口尺寸对所述地图子要素图像进行图像内容扩展，得到地图子要素扩展图像。
可选地，所述图像特征提取单元还用于：
所述根据所述第二窗口尺寸对所述地图要素图像进行图像内容扩展，得到地图要素扩展图像，包括：
获取预设的图像扩展信息；
在所述地图要素图像的边缘添加所述图像扩展信息，直到所述地图要素图像和所述图像扩展信息构成的第二候选图像的尺寸等于所述第二窗口尺寸；
将尺寸等于所述第二窗口尺寸的所述第二候选图像，作为地图要素扩展图像。
可选地，所述图像特征提取单元还用于：
所述根据所述第三窗口尺寸对所述地图子要素图像进行图像内容扩展，得到地图子要素扩展图像，包括：
获取预设的图像扩展信息；
在所述地图子要素图像的边缘添加所述图像扩展信息，直到所述地图子要素图像和所述图像扩展信息构成的第三候选图像的尺寸等于所述第三窗口尺寸；
将尺寸等于所述第三窗口尺寸的所述第三候选图像，作为地图子要素扩展图像。
可选地，所述图像特征融合单元还用于：
所述对所述地图要素图像进行图像区域扩展，得到包括所述地图要素图像的区域扩展图像，包括：
获取所述地图要素图像在所述待处理图像中的坐标信息和图像区域尺寸；
将所述图像区域尺寸扩展为目标区域尺寸；
根据所述坐标信息和所述目标区域尺寸，在所述待处理图像中获取包括所述地图要素图像的区域扩展图像。
可选地，所述图像特征融合单元还用于：
所述对所述区域扩展图像进行特征提取，得到第一层级图像特征，包括：
对所述区域扩展图像进行图像内容扩展，得到内容扩展图像；
对所述内容扩展图像进行特征提取，得到第一层级图像特征。
可选地，所述图像特征融合单元还用于：
所述对所述区域扩展图像进行图像内容扩展，得到内容扩展图像，包括：
获取预设的第一窗口尺寸；
根据所述第一窗口尺寸对所述区域扩展图像进行图像内容扩展，得到内容扩展图像。
可选地，所述图像特征融合单元还用于：
所述根据所述第一窗口尺寸对所述区域扩展图像进行图像内容扩展，得到内容扩展图像，包括：
获取预设的图像扩展信息；
在所述区域扩展图像的边缘添加所述图像扩展信息，直到所述区域扩展图像和所述图像扩展信息构成的第一候选图像的尺寸等于所述第一窗口尺寸；
将尺寸等于所述第一窗口尺寸的所述第一候选图像，作为内容扩展图像。
可选地，所述第一层级图像特征的特征维度、所述第二层级图像特征的特征维度和所述第三层级图像特征的特征维度均相同，所述图像特征融合单元还用于：
所述对所述第一层级图像特征、所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征，包括：
将所述第一层级图像特征、所述第二层级图像特征和所述第三层级图像特征进行对应特征维度的特征拼接，得到融合图像特征。
可选地，所述图像质量检测单元还用于：
所述根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量结果，包括：
根据所述融合图像特征进行图像质量检测，所述待处理图像的图像质量类别和所述图像质量类别对应的图像质量分数；
根据所述图像质量类别和所述图像质量分数，确定所述待处理图像的图像质量结果。
可选地，所述图像质量检测单元还用于：
所述根据所述图像质量类别和所述图像质量分数，确定所述待处理图像的图像质量结果，包括：
当所述图像质量分数大于预设分数阈值，将所述图像质量类别确定为所述待处理图像的图像质量结果；
或者，当所述图像质量分数小于或者等于预设分数阈值，确定所述待处理图像的图像质量结果为无法确定。
另一方面，本申请实施例还提供了一种图像信息处理装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个所述程序被至少一个所述处理器执行时实现如前面所述的图像信息处理方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时用于实现如前面所述的图像信息处理方法。
另一方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，图像信息处理装置的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述图像信息处理装置执行如前面所述的图像信息处理方法。
本申请实施例至少包括以下有益效果：在获取待处理图像后，对待处理图像中的地图要素进行检测，得到待处理图像中的地图要素图像，其中地图要素图像是包含地图要素的图像，然后对地图要素图像中的地图子要素进行检测，得到地图要素图像中的地图子要素图像，其中地图子要素图像是包含地图子要素的图像，接着分别对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，并对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，然后根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。也就是说，在本申请实施例中，对待处理图像中的地图要素先进行了第一次要素检测，得到了包含地图要素的地图要素图像，然后进一步对地图要素图像中的子地图要素进行了提取，得到了包含地图子要素的地图子要素图像，然后分别对地图要素图像与地图子要素图像进行特征提取，即对地图要素图像与地图子要素图像进行不同层级的特征提取，得到第二层级图像特征和第三层级图像特征，由于地图要素图像包含了待识别的图像的整体图像信息，因此得到的第二层级图像特征能够表示待识别的图像整体的清晰程度，而地图子要素图像包含了待识别的图像中的细节部分，因此得到的第三层级图像特征能够表示待识别的图像中细节部分的清晰程度，那么在对第二层级图像特征和第三层级图像特征进行特征融合时，可以通过第三层级图像特征来增强第二层级图像特征的显著性，并且，进行特征融合后得到的融合图像特征能够同时表示图像整体与图像细节的清晰程度，此时，再通过对融合图像特征进行图像质量检测，就能够得到更加准确的图像质量检测结果。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请另一实施例提供的一种实施环境的示意图；
图3是本申请实施例提供的一种图像信息处理方法的流程图；
图4是本申请实施例提供的地图要素检测过程示意图；
图5是本申请一实施例提供的卷积神经网络结构示意图；
图6是本申请实施例提供的得到候选框的结构示意图；
图7是本申请实施例提供的地图要素图像清晰度对比示意图；
图8是本申请实施例提供的包含多个地图子要素的地图要素图像；
图9是本申请实施例提供的区域扩展图像的获取流程示意图；
图10是一个具体示例提供的图像信息处理方法的完整流程原理图；
图11是一个具体示例提供的图像信息处理模型的架构示意图；
图12是本申请实施例提供的一种图像信息处理装置的示意图；
图13是本申请实施例提供的另一种图像信息处理装置的示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
(1)人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件主要包括计算机视觉、语音处理技术、自然语言技术以及机器学习/深度学习等几大方向。
(2)机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎么模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
(3)卷积神经网络(Convolutional Neural Network，CNN)：是一种包含卷积计算且由深度结构的前馈神经网络(Feedforward Neural Network)，是深度学习的代表算法之一。卷积神经网络具有表征学习的能力，能够按其阶层结构对输入信息进行平移不变分类。
(4)分类网络：是指对图像所包含的对象进行识别的神经网络。分类网络的输入为图像数据，输出为图像所包含的对象的类别。其中，对象可以是交通要素等。
(5)地图要素：是电子地图图像中的有用物理点信息，可以是交通要素，包括道路中的交通标志或控制设施，例如，道路中的限速牌、电子眼、交通限制牌、红绿灯等。
(6)特征相似度：是用于评定不同空间特征之间相似程度的度量。特征相似度可以用距离、角度等来衡量。
(7)图像质量分级：在图像采集过程中，拍摄的图像清晰程度参差不齐，故需将图像质量进行检测与分级，从而根据图像的质量分级结果合理使用图像。
(8)区块链（Blockchain），是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
(9)智能交通系统(Intelligent Traffic System，ITS)又称智能运输系统(Intelligent Transportation System)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如场景的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶。智慧交通等。相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
交通要素(如交通标志等)能够提示哪些道路存在交通限制，例如，哪些路段需要限速，哪些路段有违章拍照等。交通要素识别是指借助于人工智能技术，将采集到的道路图像中的交通要素识别出来，以便于利用识别出的交通要素更新地图数据，或者进行自动驾驶等。然而，在采集的地图道路数据中，部分图像质量不佳，例如表现为图像模糊、地图要素覆盖不均衡等问题，而正是由于图像质量参差不齐，就需要对采集得到的图像先进行图像质量检测与分级，然后再使用质量较好的图像进行后续地图数据更新或者无人驾驶辅助等工作。
相关技术中的图像信息处理方法对图像质量的检测以及对图像中的地图要素的清晰度检测并不准确，如果采用不够清晰的图像进行图像识别，可能导致后续对道路图像进行交通要素识别时，很容易出现误检、漏检情况。
因此，为了提高图像质量检测的准确性，本申请实施例提供了一种图像信息处理方法、图像信息处理装置、计算机可读存储介质以及计算机程序产品，在获取待处理图像后，对待处理图像中的地图要素进行检测，得到待处理图像中的地图要素图像，其中地图要素图像是包含地图要素的图像，然后对地图要素图像中的地图子要素进行检测，得到地图要素图像中的地图子要素图像，其中地图子要素图像是包含地图子要素的图像，接着分别对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，并对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，然后根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。也就是说，在本申请实施例中，对待处理图像中的地图要素先进行了第一次要素检测，得到了包含地图要素的地图要素图像，然后进一步对地图要素图像中的子地图要素进行了提取，得到了包含地图子要素的地图子要素图像，然后分别对地图要素图像与地图子要素图像进行特征提取，即对地图要素图像与地图子要素图像进行不同层级的特征提取，得到第二层级图像特征和第三层级图像特征，由于地图要素图像包含了待识别的图像的整体图像信息，因此得到的第二层级图像特征能够表示待识别的图像整体的清晰程度，而地图子要素图像包含了待识别的图像中的细节部分，因此得到的第三层级图像特征能够表示待识别的图像中细节部分的清晰程度，那么在对第二层级图像特征和第三层级图像特征进行特征融合时，可以通过第三层级图像特征来增强第二层级图像特征的显著性，并且，进行特征融合后得到的融合图像特征能够同时表示图像整体与图像细节的清晰程度，此时，再通过对融合图像特征进行图像质量检测，就能够得到更加准确的图像质量检测结果。
图1是本申请实施例提供的一种实施环境的示意图。参照图1，该实施环境包括终端101和服务器102，终端101和服务器102通过有线或无线通信方式进行直接或间接的连接，其中终端101和服务器102可以为区块链中的节点，本实施例对此不作具体限定。
终端101可以包括但不限于车载终端、智能手机、电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、智能家电等智能设备。可选的，终端101中可以包括应用程序的客户端，例如地图应用程序、导航应用程序、运动应用程序等。可选的，应用程序可以是需要下载安装的应用程序，也可以是即点即用的应用程序，本申请实施例对此不作限定。
终端101至少具有发起请求和推送等功能，例如，终端101向服务器102发送对于待处理图像针对图像质量结果的检测请求，图像质量结果可以包括图像质量类别与其对应的图像质量分数，其中，图像质量类别包括但不限于清晰、模糊、不确定等，图像质量分数可以在0至1之间取值。在接收到服务器102根据待处理图像所反馈的图像质量结果后，终端101对图像质量结果进行显示或处理。
服务器102至少具有对待处理图像进行图像质量检测并得出图像质量结果的功能，例如，服务器102在获取到终端101发送的携带有待处理图像的图像质量结果的检测请求时，先对待处理图像进行地图要素检测，得到待处理图像中的地图要素图像，然后服务器102对地图要素图像进行地图子要素检测，得到地图要素图像中的地图子要素图像，接着服务器102对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，并对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，再接着对融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。
参照图1所示，在一应用场景中，假设终端101是车载终端，并且终端101安装有具有显示功能的应用程序。当使用上述应用程序时，终端101向服务器102发送针对图像质量结果的检测请求，图像质量结果可以包括图像质量类别与其对应的图像质量分数，其中，图像质量类别包括但不限于清晰、模糊、不确定等，图像质量分数可以在0至1之间取值；响应于接收到该请求，服务器102对获取的待处理图像进行地图要素检测，得到待处理图像中的地图要素图像，然后服务器102对地图要素图像进行地图子要素检测，得到地图要素图像中的地图子要素图像，接着服务器102对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，并对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，再接着对融合图像特征进行图像质量检测，得到待处理图像的图像质量结果；然后服务器102将图像质量结果返回给终端101；终端101在接收到服务器102发送的图像质量结果后，对待处理图像进行图像质量分级与显示。
图2对应的实施例提供的图像信息处理方法可以在独立机房或者没有网络模块的终端设备上执行，终端在不联网的情况下完成图像质量检测，提升了便利性，在一定程度上扩展了图像信息处理的应用场景。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据目标对象（例如用户等）的属性信息或属性信息集合等与目标对象的特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本申请实施例需要获取目标对象的属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象的相关数据。
图3是本申请实施例提供的一种图像信息处理方法的流程图。在本实施例中，以服务器作为执行主体为例进行说明。参照图3，该图像信息处理方法包括但不限于步骤110至步骤160。
步骤110：获取待处理图像，对待处理图像进行地图要素检测，得到待处理图像中的地图要素图像。
本步骤中，待处理图像是待进行图像质量检测的图像。待处理图像可以为一种地图数据图像，包含有地图要素，其中，地图要素是构成地图的基本内容，用于标识地理环境中存在的一些警示情况。例如，地图要素可以包括交通要素，人物要素等。其中，交通要素可以包括道路中的交通标志或控制设施。人物要素可以包括人物形态、外貌、衣着等信息。另外，背景信息是指待识别图像中除待识别地图要素外的图像信息，例如可以是车辆、道路、杆、建筑物、天空、地面、树木等。需要说明的是，交通标志是用文字、数字或符号传递引导、限制、警告或指示信息的道路设施，例如可以是道路上的限速牌、交通标志牌、红绿灯等。控制设施例如可以是电子眼。示例性地，交通标志牌例如可以包括直行、左转、右转、左转直行、右转直行、掉头、连续下坡等指示箭头类型，也可以包括指示公交车专用道的公交车图案，指示非机动车道的自行车图案、指示机动车道的小轿车图案，指示过街天桥、地下通道的阶梯图案。
本申请实施例中，在获取待处理图像时，可以是调用图像采集装置对道路进行图像采集，以获取待处理图像，也可以是通过云端获取，还可以是通过数据库或区块链获取待处理图像，还可以是通过外部设备导入获取待处理图像。其中，图像采集装置可以是摄像机或者照相机，也可以是激光雷达、毫米波雷达等雷达设备。其中，该摄像机可以是单目摄像机、双目摄像机、深度摄像机、三维摄像机等。可选的，在通过摄像机进行图像获取的过程中，可以控制摄像机开启摄像模式，实时扫描摄像机视野中的目标对象，并按指定帧率进行拍摄，得到道路视频，并处理生成待处理图像。在通过雷达设备进行图像获取的过程中，可以通过雷达设备实时向目标对象发射探测信号，然后接收目标对象反射回的回波信号，基于探测信号与回波信号之间的差异，确定目标对象的特征数据，基于该特征数据，确定待处理图像。需要说明的是，上述待处理图像可以是图像序列的格式，也可以三维点云图像格式，还可以是视频图像格式。可以理解的是，当待处理图像以图像序列或者视频图像的格式提供时，可以对图像序列或者视频图像进行逐帧处理，得到多个帧图像，然后对每个帧图像进行处理。
本步骤中，在获取待处理图像后，可以通过预设的特征提取规则对待识别图像进行特征提取处理，得到地图要素在待处理图像中的区域，该区域对应的图像即为地图要素图像。
在一实施例中，利用深度学习和卷积神经网络对采集的图像进行特征提取，检测图像中出现的地图要素，构建每个地图要素的边框。参考图4，其示例性示出了一种检测地图要素的流程示意图。其中，图像41是车载拍照设备对车辆行驶前方的道路进行拍照得到的图像序列中的图像，将图像41输入训练好的卷积神经网络，基于训练好的卷积神经网络对图像41进行特征提取，从而可以检测到图像41中的交通标识牌42，并且可以标定该交通标识牌42对应的边框43。
图5是本申请一实施例提供的卷积神经网络结构示意图，如图5所示，该卷积神经网络的网络结构主要分为特征提取（Conv Layers）层、候选框预测网络(Region ProposalNetwork)层两部分。特征提取层主要由卷积(Convolution)层、归一化(BatchNormalization，BN)层和激活(Relu)层组成。其中，卷积层负责提取图像中的边缘纹理等基本特征。归一化层负责将卷积层提取的特征按照正态分布进行归一化处理，过滤掉特征中的噪声特征，使得模型的训练收敛更加快速。激活层则负责对卷积层提取的特征进行非线性映射，加强模型的泛化能力。候选框预测网络层基于提取出的特征图，以其中每一个特征点作为中心点，将上述图6所示的预设的9个候选框定位在特征图中，从而得到用于进行对象检测的候选框。然后将上述对应有候选框的特征图输入至池化层进行池化处理后，即可根据池化后的特征图对候选框进行对象检测，得到如图4所示的检测结果。
步骤120：对地图要素图像进行地图子要素检测，得到地图要素图像中的地图子要素图像。
图7是本申请实施例提供的地图要素图像清晰度对比示意图，在图7中，上面一行的地图要素图像都是轮廓及内部信息均清晰的清晰图像710，因此可以将上面一行的地图要素图像的图像质量确定为清晰；而下面一行的地图要素图像则是轮廓和内部信息中的至少一种不清晰的模糊图像720，因此可以将下面一行的地图要素图像的图像质量确定为模糊。从图7中可以看出，一个地图要素的清晰程度，不仅仅取决于地图要素整体轮廓，还取决于地图要素内部信息的清晰程度，例如标牌内的文字清晰程度、logo清晰程度。因此，在本步骤中，将地图要素图像中的细节信息进行检测，得到地图子要素图像。
步骤130：对地图要素图像进行特征提取，得到第二层级图像特征。
在本步骤中，获取预设的第二窗口尺寸，然后根据第二窗口尺寸对地图要素图像进行图像内容扩展，得到地图要素扩展图像，然后对地图要素扩展图像进行特征提取，得到第二层级图像特征。
在一实施例中，获取预设的第二窗口尺寸与预设的图像扩展信息，然后在地图要素图像的边缘添加图像扩展信息，直到地图要素图像和图像扩展信息构成的第二候选图像的尺寸等于第二窗口尺寸，然后将尺寸等于第二窗口尺寸的第二候选图像，作为地图要素扩展图像，并对地图要素扩展图像进行特征提取，得到第二层级图像特征。
在一实施例中，预设的第二窗口尺寸为16*16像素，通过尺寸变换处理（resize）与填充处理（padding），对地图要素图像进行图像内容扩展，得到16*16像素大小的地图要素扩展图像，然后将地图要素扩展图像输入至其对应的卷积神经网络进行特征提取，得到其对应的第二层级图像特征。
步骤140：对地图子要素图像进行特征提取，得到第三层级图像特征。
在一个地图要素图像中，往往包含不止一个地图子要素，如图8所示，一个用于指示方向的路牌810往往会包含多个方向指示标识811和多个地点标识812，每个标识均为一个地图子要素，那么根据该地图要素图像形成的地图子要素图像就有多个，因此，在本步骤中，首先会对地图要素图像中的所有地图子要素进行识别与提取，得到多个地图子要素图像，然后对多个地图子要素图像分别进行特征提取，得到多个第三层级图像特征。需要说明的是，如果一个地图要素图像中包含的地图子要素过多，那么可以对各个地图子要素图像面积进行排序与筛选，选择面积较大的地图子要素图像进行后续的特征提取。
以对一个地图子要素图像进行特征提取为例，获取预设的第三窗口尺寸，然后根据第三窗口尺寸对地图子要素图像进行图像内容扩展，得到地图子要素扩展图像，然后对地图子要素扩展图像进行特征提取，得到第三层级图像特征。
在一实施例中，获取预设的第三窗口尺寸与预设的图像扩展信息，然后在地图子要素图像的边缘添加图像扩展信息，直到地图子要素图像和图像扩展信息构成的第三候选图像的尺寸等于第三窗口尺寸，然后将尺寸等于第三窗口尺寸的第三候选图像，作为地图子要素扩展图像，并对地图子要素扩展图像进行特征提取，得到第三层级图像特征。
在一实施例中，预设的第二窗口尺寸为8*8像素，通过尺寸变换处理（resize）与填充处理（padding），对地图子要素图像进行图像内容扩展，得到8*8像素大小的地图子要素扩展图像，然后将地图子要素扩展图像输入至其对应的卷积神经网络进行特征提取，得到其对应的第三层级图像特征。
需要说明的是，由于第二窗口尺寸与第三窗口尺寸分别用于提取不同维度的图像信息，因此第二窗口尺寸和第三窗口尺寸不相同。一般而言，当窗口尺寸越大，表示其包含的图像内容越多，那么可以选取完整的地图要素图像作为原始图像进行扩展，直至其尺寸大小与窗口尺寸相同；相反地，当窗口尺寸越小，表示其包含的图像内容越少，那么可以选取表示细节的地图子要素图像作为原始图像进行扩展，直至其尺寸大小与窗口尺寸相同。这种采用不同层级对不同信息维度的内容进行提取的方式，能够兼顾整体图像与局部图像的清晰程度。
步骤150：对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征。
在本步骤中，通过对在步骤130和步骤140中得到的第二层级图像特征与第三层级图像特征进行特征融合，得到能够同时表示整体图像与局部图像的融合图像特征。需要说明的是，用于对不同尺寸的图像进行特征提取的神经网络的层数不相同，图像尺寸越大，其包含的语义信息越多，而为了提取得到更深层的语义特征，所采用的卷积神经网络的层数也更深，反之，图像尺寸越小，其包含的语义信息相对较少，所采用的卷积神经网络的层数也更浅，能够保留浅层图案边缘等特征。这种分层级进行的特征提取能够使得卷积得到的结果保持在同一个特征维度，即每一个图像都会得到一个1*Z维的图像特征，将上述图像特征进行拼接，则可以得到（n+1）*Z维的特征向量，其中n表示地图子要素图像的数量。最后，对该特征进行FC以及softmax操作，可以得到最终的质量分级结果。
在一实施例中，除了在步骤130和步骤140中得到的第二层级图像特征与第三层级图像特征，还可以对地图要素图像进行图像区域扩展，得到包括地图要素图像的区域扩展图像，并对区域扩展图像进行特征提取，得到第一层级图像特征，然后对第一层级图像特征、第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征。这种分层级进行的特征提取能够使得卷积得到的结果保持在同一个特征维度，即每一个图像都会得到一个1*Z维的图像特征，将上述图像特征进行拼接，则可以得到（n+2）*Z维的特征向量，其中n表示地图子要素图像的数量。最后，对该特征进行FC以及softmax操作，可以得到最终的质量分级结果。
图9是本申请实施例提供的区域扩展图像的获取流程示意图，包括但不限于步骤151至153。
步骤151：获取地图要素图像在待处理图像中的坐标信息和图像区域尺寸。
对地图要素进行区域扩展主要是为地图要素进行背景添加处理，背景是指地图要素图像之外的其余图像，例如可以包括待处理图像中的树木、天空、道路、杆、车辆等。为了将背景信息与地图要素共同出现在图像中，必然需要对扩大选取范围，将地图要素与其他的背景信息共同框选，因此，可以先获取地图要素图像在待处理图像中的坐标信息，然后根据坐标信息得到图像区域尺寸。
在一实施例中，坐标信息为地图要素的中心点，图像区域尺寸为地图要素对应的区域尺寸。
步骤152：将图像区域尺寸扩展为目标区域尺寸。
在本步骤中，根据目标区域尺寸的大小与形状，将图像区域尺寸扩展为目标区域尺寸。其中，目标区域可以为矩形、三角形、菱形、圆形等，目标区域的尺寸，也可以根据需要的背景信息的多少，进行预设或者选择。
步骤153：根据坐标信息和目标区域尺寸，在待处理图像中获取包括地图要素图像的区域扩展图像。
在一实施例中，在坐标信息为地图要素的中心点的情况下，已地图要素的中心点为中心，选取目标区域尺寸对应的区域作为地图要素图像的区域扩展图像。
需要说明的是，第一层级图像特征的获取过程与第二、第三层级图像特征的获取过程类似，可以通过获取预设的第一窗口尺寸与预设的图像扩展信息，然后在区域扩展图像的边缘添加图像扩展信息，直到区域扩展图像和图像扩展信息构成的第一候选图像的尺寸等于第一窗口尺寸，然后将尺寸等于第一窗口尺寸的第一候选图像，作为区域扩展图像的内容扩展图像，并对内容扩展图像进行特征提取，得到第一层级图像特征。
在一实施例中，预设的第一窗口尺寸为32*32像素，通过尺寸变换处理（resize）与填充处理（padding），对区域扩展图像进行图像内容扩展，得到32*32像素大小的内容扩展图像，然后将内容扩展图像输入至其对应的卷积神经网络进行特征提取，得到其对应的第一层级图像特征。
上述通过对地图要素图像进行区域扩展能够保留要素周边背景信息，从而有利于获取更多语义信息，通过对背景及地图要素中包含的语义的学习，能够描述采集图像的拍摄清晰程度；然后再将学习得到的特征作为第一层级图像特征，与第二层级图像特征和第三层级图像特征一起融合，得到融合图像特征，此时，该融合图像特征能够体现三个层级的图像特征，从宏观到微观、整体到局部体现待处理图像的清晰程度。
步骤160：根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。
在本步骤中，根据在步骤150中得到的融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。具体为，根据融合图像特征进行图像质量检测，得到待处理图像的图像质量类别和图像质量类别对应的图像质量分数，其中，图像质量类别可以包括清晰、模糊或不确定，图像质量分数可以为在0至1之间的概率值。然后根据图像质量类别和图像质量分数，确定待处理图像的图像质量结果。
在一实施例中，当图像质量分数大于预设分数阈值时，可以认为判断为该图像质量类别的把握较高，因对该待处理图像的质量检测结果判定为对应的图像质量类别，而当图像质量分数小于或者等于预设分数阈值，可以认为判断为该图像质量类别的把握较低，因此将该待处理图像的图像质量结果确定为无法确定，留待进一步检测与判断。
本实施例中，通过包括前面步骤110至步骤160的图像信息处理方法，在获取待处理图像后，对待处理图像中的地图要素进行检测，得到待处理图像中的地图要素图像，其中地图要素图像是包含地图要素的图像，然后对地图要素图像中的地图子要素进行检测，得到地图要素图像中的地图子要素图像，其中地图子要素图像是包含地图子要素的图像，接着分别对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，并对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，然后根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。也就是说，在本申请实施例中，对待处理图像中的地图要素先进行了第一次要素检测，得到了包含地图要素的地图要素图像，然后进一步对地图要素图像中的子地图要素进行了提取，得到了包含地图子要素的地图子要素图像，然后分别对地图要素图像与地图子要素图像进行特征提取，即对地图要素图像与地图子要素图像进行不同层级的特征提取，得到第二层级图像特征和第三层级图像特征，由于地图要素图像包含了待识别的图像的整体图像信息，因此得到的第二层级图像特征能够表示待识别的图像整体的清晰程度，而地图子要素图像包含了待识别的图像中的细节部分，因此得到的第三层级图像特征能够表示待识别的图像中细节部分的清晰程度，那么在对第二层级图像特征和第三层级图像特征进行特征融合时，可以通过第三层级图像特征来增强第二层级图像特征的显著性，并且，进行特征融合后得到的融合图像特征能够同时表示图像整体与图像细节的清晰程度，此时，再通过对融合图像特征进行图像质量检测，就能够得到更加准确的图像质量检测结果。
下面以具体的例子对本申请实施例的文本段落获取方法进行详细说明。
图10是一个具体示例提供的图像信息处理方法的完整流程原理图，图11是对应于图10的图像信息处理模型的架构示意图，这个具体示例是对一个待处理图像进行图像质量检测的全流程。参照图10所示，该图像信息处理流程包括但不限于步骤1010至步骤1070。
步骤1010：获取待处理图像，对待处理图像进行地图要素检测，得到待处理图像中的地图要素图像。
在本步骤中，获取一帧待处理图像，如图11所示，该图像1100是由在车辆行驶过程中拍摄得到的，图像上显示有一张悬挂在道路上方的路牌，这个路牌就是本待处理图像中的地图要素，通过对待处理图像进行地图要素检测，得到的仅包含有路牌的图像就为地图要素图像1120。
步骤1020：对地图要素图像进行地图子要素检测，得到地图要素图像中的地图子要素图像。
在本步骤中，地图要素图像1120中具有地点标识和方向标识，这些局部的标识信息就是地图子要素，通过对地图要素图像进行地图子要素检测，得到地图要素图像中的地图子要素图像，如图11所示，有两个地图子要素图像1131、1132中包含方向信息，有两个地图子要素图像1133、1134中包含地点信息。
步骤1030：对地图要素图像进行图像区域扩展，得到包括地图要素图像的区域扩展图像，对区域扩展图像进行特征提取，得到第一层级图像特征。
在步骤1010中获得的地图要素图像为仅包含地图要素的图像，即，地图要素图像中不包含除地图要素外的其他背景信息，为了学习地图要素周围的背景信息所表示的语义，可以对地图要素图像进行图像区域扩展，得到区域扩展图像1110。图像区域扩展的具体过程可以为：先确定地图要素对应的坐标信息，再确定出地图要素在待处理图像中对应的图像区域尺寸W×H时，假设按照尺寸确定的预设比例为1：2，则目标区域尺寸2W×2H，然后对地图要素进行尺寸扩展为目标区域尺寸，再根据坐标信息和目标区域尺寸，在待处理图像中获取包括地图要素图像的区域扩展图像，然后再对区域扩展图像进行图像内容扩展，得到内容扩展图像1111，接着对内容扩展图像进行特征提取，得到第一层级图像特征。
步骤1040：对地图要素图像进行特征提取，得到第二层级图像特征。
在本步骤中，获取预设的第二窗口尺寸，然后根据第二窗口尺寸对地图要素图像进行图像内容扩展，得到地图要素扩展图像1121，然后对地图要素扩展图像进行特征提取，得到第二层级图像特征。
步骤1050：对地图子要素图像进行特征提取，得到第三层级图像特征。
在本步骤中，获取预设的第三窗口尺寸，然后根据第三窗口尺寸对每个地图子要素图像进行图像内容扩展，得到多个地图子要素扩展图像11311、11321、11331、11341，然后对地图子要素扩展图像进行特征提取，得到多个第三层级图像特征。
步骤1060：对第一层级图像特征、第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征。
在本步骤中，将第一层级图像特征、第二层级图像特征和第三层级图像特征进行对应特征维度的特征拼接，得到融合图像特征1150。
步骤1070：根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。
在本步骤中，据融合图像特征1150进行图像质量检测，得到待处理图像的图像质量类别和图像质量类别对应的图像质量分数，其中，图像质量类别可以包括清晰、模糊或不确定，图像质量分数可以为在0至1之间的概率值。然后根据图像质量类别和图像质量分数，确定待处理图像的图像质量结果。
本实施例中，通过包括前面步骤1010至步骤1070的图像信息处理方法，在获取待处理图像后，对待处理图像中的地图要素进行检测，得到待处理图像中的地图要素图像，其中地图要素图像是包含地图要素的图像，然后对地图要素图像中的地图子要素进行检测，得到地图要素图像中的地图子要素图像，其中地图子要素图像是包含地图子要素的图像，接着对地图要素图像进行图像区域扩展，得到包括地图要素图像的区域扩展图像，此时，分别对区域扩展图像、地图要素图像和地图子要素图像进行特征提取，得到第一层级图像特征、第二层级图像特征和第三层级图像特征，并对第一层级图像特征、第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，然后根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。也就是说，在本实施例中，对待处理图像中的地图要素先进行了第一次要素检测，得到了包含地图要素的地图要素图像，再进一步对地图要素图像中的子地图要素进行了提取，得到了包含地图子要素的地图子要素图像，然后进一步对地图要素图像进行图像区域扩展，得到包括地图要素图像和地图要素图像的背景信息的区域扩展图像，接着分别对区域扩展图像、地图要素图像与地图子要素图像进行特征提取，即对区域扩展图像、地图要素图像与地图子要素图像进行不同层级的特征提取，得到第一层级图像特征、第二层级图像特征和第三层级图像特征，由于区域扩展图像能够保留地图要素的周边背景信息，因此得到的第一层级图像特征能够包括更多的语义信息，能够描述采集图像的拍摄清晰程度，另外，地图要素图像包含了待识别的图像的整体图像信息，因此得到的第二层级图像特征能够表示待识别的图像整体的清晰程度，而地图子要素图像包含了待识别的图像中的细节部分，因此得到的第三层级图像特征能够表示待识别的图像中细节部分的清晰程度，那么在对第一层级图像特征、第二层级图像特征和第三层级图像特征进行特征融合时，不仅可以通过第一层级图像特征学习地图要素及其周边背景信息的语义，还可以通过第三层级图像特征来增强第二层级图像特征的显著性，因此，进行特征融合后得到的融合图像特征能够体现三个层级的图像特征，从宏观到微观、整体到局部的体现待处理图像的清晰程度，此时，再通过对融合图像特征进行图像质量检测，就能够得到更加准确的图像质量检测结果。
下面以一些实际例子说明本申请实施例的应用场景。
场景一
本申请实施例提供的图像信息处理方法可以应用于地图信息更新。在本场景下，为了对地图进行定期更新，需要对道路上新增或者修改的标牌信息进行采集，主要的方式可以通过为车辆搭载摄像头，然后驾驶车辆在道路上行驶，拍摄道路视频，再将视频处理成帧图像，对每一帧图像中的道路标牌进行检测与识别，当发现有新增或者修改的标牌信息时，对原地图进行更新。
受到车辆行驶速度、天气情况、路面复杂程度等因素的影响，拍摄得到的待处理图像的清晰度参差不齐，如果对不够清晰的图像进行道路标牌进行识别，可能导致识别结果错误，进而导致地图信息更新错误，因此，就需要提前对待处理图像的清晰度进行确定和筛选。
具体地，用于进行图像处理的计算机或者服务器在获取待处理图像后，对待处理图像中的地图要素进行检测，得到待处理图像中的地图要素图像，即地图要素图像是包含地图要素的图像，然后对地图要素图像中的地图子要素进行检测，得到地图要素图像中的地图子要素图像，即地图子要素图像是包含地图子要素的图像，接着分别对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，对第二层级图像特征和第三层级图像特征进行融合后得到的融合图像特征就能够同时表示整体与局部的清晰程度，再通过对融合图像特征进行图像质量检测，就能够得到更加准确的图像质量检测结果，进而依据图像质量检测结果对图像进行筛选，使得能够利用清晰度良好的图像进行图像识别与地图信息更新。
场景二
本申请实施例提供的图像信息处理方法可以应用于自动驾驶辅助。在本场景下，为了对自动驾驶汽车进行训练，需要汽车能够对道路上的地图要素信息进行准确识别，由于道路信息会影响到自动驾驶汽车的操控，因此在自动驾驶汽车的训练过程中，就需要为自动驾驶汽车提供更加清晰的训练样本，使其经过训练后，在实际驾驶过程中尽可能对地图要素实现准确识别，从而保证自动驾驶的安全性。
为了获得地图要素显示清晰的训练样本，用于进行图像处理的计算机或者服务器在获取待处理图像后，对待处理图像中的地图要素先进行了第一次要素检测，得到了包含地图要素的地图要素图像，然后进一步对地图要素图像中的子地图要素进行了提取，得到了包含地图子要素的地图子要素图像，然后再采用不同层级分别对地图要素图像与地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，由于地图要素图像包含了待识别的图像的整体图像信息，因此得到的第二层级图像特征能够表示待识别的图像整体清晰程度，而地图子要素图像包含了待识别的图像中的细节部分，因此得到的第三层级图像特征能够表示待识别的图像中细节部分的清晰程度，那么对第二层级图像特征和第三层级图像特征进行融合后得到的融合图像特征就能够同时表示整体与局部的清晰程度，再结合包含有背景信息语义的第一层级图像特征，将第一、第二和第三层级图像特征进行特征融合，再通过对融合图像特征进行图像质量检测，就能够得到更加准确的图像质量检测结果，进而依据图像质量检测结果对图像进行筛选，使得能够利用清晰度良好的图像进行车辆自动驾驶系统的训练。
参照图12，本申请实施例还公开了一种图像信息处理装置，该图像信息处理装置1200能够实现如前面实施例的图像信息处理方法，该图像信息处理装置1200包括：
地图要素检测单元1201，用于获取待处理图像，对待处理图像进行地图要素检测，得到待处理图像中的地图要素图像；
地图子要素检测单元1202，用于对地图要素图像进行地图子要素检测，得到地图要素图像中的地图子要素图像；
图像特征提取单元1203，用于对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征；
图像特征融合单元1204，用于对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征；
图像质量检测单元1205，用于根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。
在一实施例中，图像质量检测单元1205，用于根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果。
在一实施例中，图像特征融合单元1204还用于：
对第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，包括：
对地图要素图像进行图像区域扩展，得到包括地图要素图像的区域扩展图像；
对区域扩展图像进行特征提取，得到第一层级图像特征；
对第一层级图像特征、第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征。
在一实施例中，图像特征提取单元1203还用于：
对地图要素图像和地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，包括：
对地图要素图像和地图子要素图像进行图像内容扩展，得到地图要素扩展图像和地图子要素扩展图像；
对地图要素扩展图像和地图子要素扩展图像进行特征提取，得到第二层级图像特征和第三层级图像特征。
在一实施例中，图像特征提取单元1203还用于：
对地图要素图像和地图子要素图像进行图像内容扩展，得到地图要素扩展图像和地图子要素扩展图像，包括：
获取预设的第二窗口尺寸和第三窗口尺寸，第二窗口尺寸和第三窗口尺寸不相同；
根据第二窗口尺寸对地图要素图像进行图像内容扩展，得到地图要素扩展图像；
根据第三窗口尺寸对地图子要素图像进行图像内容扩展，得到地图子要素扩展图像。
在一实施例中，图像特征提取单元1203还用于：
根据第二窗口尺寸对地图要素图像进行图像内容扩展，得到地图要素扩展图像，包括：
获取预设的图像扩展信息；
在地图要素图像的边缘添加图像扩展信息，直到地图要素图像和图像扩展信息构成的第二候选图像的尺寸等于第二窗口尺寸；
将尺寸等于第二窗口尺寸的第二候选图像，作为地图要素扩展图像。
在一实施例中，图像特征提取单元1203还用于：
根据第三窗口尺寸对地图子要素图像进行图像内容扩展，得到地图子要素扩展图像，包括：
获取预设的图像扩展信息；
在地图子要素图像的边缘添加图像扩展信息，直到地图子要素图像和图像扩展信息构成的第三候选图像的尺寸等于第三窗口尺寸；
将尺寸等于第三窗口尺寸的第三候选图像，作为地图子要素扩展图像。
在一实施例中，图像特征融合单元1204还用于：
对地图要素图像进行图像区域扩展，得到包括地图要素图像的区域扩展图像，包括：
获取地图要素图像在待处理图像中的坐标信息和图像区域尺寸；
将图像区域尺寸扩展为目标区域尺寸；
根据坐标信息和目标区域尺寸，在待处理图像中获取包括地图要素图像的区域扩展图像。
在一实施例中，图像特征融合单元1204还用于：
对区域扩展图像进行特征提取，得到第一层级图像特征，包括：
对区域扩展图像进行图像内容扩展，得到内容扩展图像；
对内容扩展图像进行特征提取，得到第一层级图像特征。
在一实施例中，图像特征融合单元1204还用于：
对区域扩展图像进行图像内容扩展，得到内容扩展图像，包括：
获取预设的第一窗口尺寸；
根据第一窗口尺寸对区域扩展图像进行图像内容扩展，得到内容扩展图像。
在一实施例中，图像特征融合单元1204还用于：
根据第一窗口尺寸对区域扩展图像进行图像内容扩展，得到内容扩展图像，包括：
获取预设的图像扩展信息；
在区域扩展图像的边缘添加图像扩展信息，直到区域扩展图像和图像扩展信息构成的第一候选图像的尺寸等于第一窗口尺寸；
将尺寸等于第一窗口尺寸的第一候选图像，作为内容扩展图像。
在一实施例中，第一层级图像特征的特征维度、第二层级图像特征的特征维度和第三层级图像特征的特征维度均相同，图像特征融合单元1204还用于：
对第一层级图像特征、第二层级图像特征和第三层级图像特征进行特征融合，得到融合图像特征，包括：
将第一层级图像特征、第二层级图像特征和第三层级图像特征进行对应特征维度的特征拼接，得到融合图像特征。
在一实施例中，图像质量检测单元1205还用于：
根据融合图像特征进行图像质量检测，得到待处理图像的图像质量结果，包括：
根据融合图像特征进行图像质量检测，待处理图像的图像质量类别和图像质量类别对应的图像质量分数；
根据图像质量类别和图像质量分数，确定待处理图像的图像质量结果。
在一实施例中，图像质量检测单元还用于：
根据图像质量类别和图像质量分数，确定待处理图像的图像质量结果，包括：
当图像质量分数大于预设分数阈值，将图像质量类别确定为待处理图像的图像质量结果；
或者，当图像质量分数小于或者等于预设分数阈值，确定待处理图像的图像质量结果为无法确定。
需要说明的是，由于本实施例的图像信息处理装置1200能够实现如前面实施例的图像信息处理方法，因此本实施例的图像信息处理装置1200与前面实施例的图像信息处理方法，具有相同的技术原理以及相同的有益效果，为了避免内容重复，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
参照图13，本申请实施例还公开了一种图像信息处理装置，该图像信息处理装置1300包括：
至少一个处理器1301；
至少一个存储器1302，用于存储至少一个程序；
当至少一个程序被至少一个处理器1301执行时，实现如前面任意实施例所述的图像信息处理方法。
本申请实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序被处理器执行时，用于实现如前面任意实施例所述的图像信息处理方法。
本申请实施例还公开了一种计算机程序产品，包括计算机程序或计算机指令，计算机程序或计算机指令存储在计算机可读存储介质中，图像信息处理装置的处理器从计算机可读存储介质读取计算机程序或计算机指令，处理器执行计算机程序或计算机指令，使得图像信息处理装置执行如前面任意实施例所述的图像信息处理方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

Claims (16)

1.一种图像信息处理方法，其特征在于，包括以下步骤：
获取待处理图像，对所述待处理图像进行地图要素检测，得到所述待处理图像中的地图要素图像；
对所述地图要素图像进行地图子要素检测，得到所述地图要素图像中的地图子要素图像；
对所述地图要素图像和所述地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征；
对所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征；
根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量结果。
2.根据权利要求1所述的图像信息处理方法，其特征在于，所述对所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征，包括：
对所述地图要素图像进行图像区域扩展，得到包括所述地图要素图像的区域扩展图像；
对所述区域扩展图像进行特征提取，得到第一层级图像特征；
对所述第一层级图像特征、所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征。
3.根据权利要求1所述的图像信息处理方法，其特征在于，所述对所述地图要素图像和所述地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征，包括：
对所述地图要素图像和所述地图子要素图像进行图像内容扩展，得到地图要素扩展图像和地图子要素扩展图像；
对所述地图要素扩展图像和所述地图子要素扩展图像进行特征提取，得到第二层级图像特征和第三层级图像特征。
4.根据权利要求3所述的图像信息处理方法，其特征在于，所述对所述地图要素图像和所述地图子要素图像进行图像内容扩展，得到地图要素扩展图像和地图子要素扩展图像，包括：
获取预设的第二窗口尺寸和第三窗口尺寸，所述第二窗口尺寸和所述第三窗口尺寸不相同；
根据所述第二窗口尺寸对所述地图要素图像进行图像内容扩展，得到地图要素扩展图像；
根据所述第三窗口尺寸对所述地图子要素图像进行图像内容扩展，得到地图子要素扩展图像。
5.根据权利要求4所述的图像信息处理方法，其特征在于，所述根据所述第二窗口尺寸对所述地图要素图像进行图像内容扩展，得到地图要素扩展图像，包括：
获取预设的图像扩展信息；
在所述地图要素图像的边缘添加所述图像扩展信息，直到所述地图要素图像和所述图像扩展信息构成的第二候选图像的尺寸等于所述第二窗口尺寸；
将尺寸等于所述第二窗口尺寸的所述第二候选图像，作为地图要素扩展图像。
6.根据权利要求4所述的图像信息处理方法，其特征在于，所述根据所述第三窗口尺寸对所述地图子要素图像进行图像内容扩展，得到地图子要素扩展图像，包括：
获取预设的图像扩展信息；
在所述地图子要素图像的边缘添加所述图像扩展信息，直到所述地图子要素图像和所述图像扩展信息构成的第三候选图像的尺寸等于所述第三窗口尺寸；
将尺寸等于所述第三窗口尺寸的所述第三候选图像，作为地图子要素扩展图像。
7.根据权利要求2所述的图像信息处理方法，其特征在于，所述对所述地图要素图像进行图像区域扩展，得到包括所述地图要素图像的区域扩展图像，包括：
获取所述地图要素图像在所述待处理图像中的坐标信息和图像区域尺寸；
将所述图像区域尺寸扩展为目标区域尺寸；
根据所述坐标信息和所述目标区域尺寸，在所述待处理图像中获取包括所述地图要素图像的区域扩展图像。
8.根据权利要求2所述的图像信息处理方法，其特征在于，所述对所述区域扩展图像进行特征提取，得到第一层级图像特征，包括：
对所述区域扩展图像进行图像内容扩展，得到内容扩展图像；
对所述内容扩展图像进行特征提取，得到第一层级图像特征。
9.根据权利要求8所述的图像信息处理方法，其特征在于，所述对所述区域扩展图像进行图像内容扩展，得到内容扩展图像，包括：
获取预设的第一窗口尺寸；
根据所述第一窗口尺寸对所述区域扩展图像进行图像内容扩展，得到内容扩展图像。
10.根据权利要求9所述的图像信息处理方法，其特征在于，所述根据所述第一窗口尺寸对所述区域扩展图像进行图像内容扩展，得到内容扩展图像，包括：
获取预设的图像扩展信息；
在所述区域扩展图像的边缘添加所述图像扩展信息，直到所述区域扩展图像和所述图像扩展信息构成的第一候选图像的尺寸等于所述第一窗口尺寸；
将尺寸等于所述第一窗口尺寸的所述第一候选图像，作为内容扩展图像。
11.根据权利要求2所述的图像信息处理方法，其特征在于，所述第一层级图像特征的特征维度、所述第二层级图像特征的特征维度和所述第三层级图像特征的特征维度均相同；
所述对所述第一层级图像特征、所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征，包括：
将所述第一层级图像特征、所述第二层级图像特征和所述第三层级图像特征进行对应特征维度的特征拼接，得到融合图像特征。
12.根据权利要求1所述的图像信息处理方法，其特征在于，所述根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量结果，包括：
根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量类别和所述图像质量类别对应的图像质量分数；
根据所述图像质量类别和所述图像质量分数，确定所述待处理图像的图像质量结果。
13.根据权利要求12所述的图像信息处理方法，其特征在于，所述根据所述图像质量类别和所述图像质量分数，确定所述待处理图像的图像质量结果，包括：
当所述图像质量分数大于预设分数阈值，将所述图像质量类别确定为所述待处理图像的图像质量结果；
或者，当所述图像质量分数小于或者等于预设分数阈值，确定所述待处理图像的图像质量结果为无法确定。
14.一种图像信息处理装置，其特征在于，包括：
地图要素检测单元，用于获取待处理图像，对所述待处理图像进行地图要素检测，得到所述待处理图像中的地图要素图像；
地图子要素检测单元，用于对所述地图要素图像进行地图子要素检测，得到所述地图要素图像中的地图子要素图像；
图像特征提取单元，用于对所述地图要素图像和所述地图子要素图像进行特征提取，得到第二层级图像特征和第三层级图像特征；
图像特征融合单元，用于对所述第二层级图像特征和所述第三层级图像特征进行特征融合，得到融合图像特征；
图像质量检测单元，用于根据所述融合图像特征进行图像质量检测，得到所述待处理图像的图像质量结果。
15.一种图像信息处理装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1至13任意一项所述的图像信息处理方法。
16.一种计算机可读存储介质，其特征在于，其中存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时用于实现如权利要求1至13任意一项所述的图像信息处理方法。
CN202310933877.5A 2023-07-27 2023-07-27 图像信息处理方法、装置及存储介质 Active CN116664873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310933877.5A CN116664873B (zh) 2023-07-27 2023-07-27 图像信息处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310933877.5A CN116664873B (zh) 2023-07-27 2023-07-27 图像信息处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116664873A true CN116664873A (zh) 2023-08-29
CN116664873B CN116664873B (zh) 2024-04-26

Family

ID=87724533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310933877.5A Active CN116664873B (zh) 2023-07-27 2023-07-27 图像信息处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116664873B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229302A (zh) * 2017-11-10 2018-06-29 深圳市商汤科技有限公司 特征提取方法、装置、计算机程序、存储介质和电子设备
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN111274980A (zh) * 2020-01-23 2020-06-12 天津大学 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN114219803A (zh) * 2022-02-21 2022-03-22 浙江大学 一种三阶段图像质量评估的检测方法与系统
CN115115872A (zh) * 2022-06-07 2022-09-27 腾讯科技（深圳）有限公司 图像识别方法、装置、设备及存储介质
CN115249306A (zh) * 2022-09-13 2022-10-28 腾讯科技（深圳）有限公司 图像分割模型训练方法、图像处理方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229302A (zh) * 2017-11-10 2018-06-29 深圳市商汤科技有限公司 特征提取方法、装置、计算机程序、存储介质和电子设备
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN111274980A (zh) * 2020-01-23 2020-06-12 天津大学 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN114219803A (zh) * 2022-02-21 2022-03-22 浙江大学 一种三阶段图像质量评估的检测方法与系统
CN115115872A (zh) * 2022-06-07 2022-09-27 腾讯科技（深圳）有限公司 图像识别方法、装置、设备及存储介质
CN115249306A (zh) * 2022-09-13 2022-10-28 腾讯科技（深圳）有限公司 图像分割模型训练方法、图像处理方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FLYEGLE: "图像处理（一）", HTTPS://ZHUANLAN.ZHIHU.COM/P/41111883, pages 1 - 5 *
宠物知识科普: "图像处理：图像简单的padding实现", HTTPS://BAIJIAHAO.BAIDU.COM/S?ID=1668318772700883075&WFR=SPIDER&FOR=PC, pages 1 - 12 *

Also Published As

Publication number Publication date
CN116664873B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111241989B (zh) 图像识别方法及装置、电子设备
Abdi et al. Deep learning traffic sign detection, recognition and augmentation
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN115115872A (zh) 图像识别方法、装置、设备及存储介质
Dewangan et al. Towards the design of vision-based intelligent vehicle system: methodologies and challenges
CN111931683A (zh) 图像识别方法、装置及计算机可读存储介质
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
Chen et al. Contrast limited adaptive histogram equalization for recognizing road marking at night based on YOLO models
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN116664873B (zh) 图像信息处理方法、装置及存储介质
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
Wang et al. ATG-PVD: Ticketing parking violations on a drone
CN117011566A (zh) 一种目标检测方法、检测模型训练方法、装置及电子设备
CN114882372A (zh) 一种目标检测的方法及设备
CN112529116A (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
Manoharan et al. Detection of unstructured roads from a single image for autonomous navigation applications
CN116453194B (zh) 一种人脸属性判别方法及装置
CN116958176B (zh) 图像分割方法、装置、计算机设备及介质
Woo Vision-based Detection of Mobile Device Use While Driving
CN116977754A (zh) 图像处理方法、装置及计算机设备、存储介质、程序产品
CN117058195A (zh) 目标检测方法、装置、设备及存储介质
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
CN117333840A (zh) 交通标牌的信息处理方法及相关装置
Grenier 3D panoptic segmentation with unsupervised clustering for visual perception in autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40091888

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant