CN115374303B - 基于用户需求理解的卫星影像推荐方法 - Google Patents

基于用户需求理解的卫星影像推荐方法 Download PDF

Info

Publication number
CN115374303B
CN115374303B CN202211314971.4A CN202211314971A CN115374303B CN 115374303 B CN115374303 B CN 115374303B CN 202211314971 A CN202211314971 A CN 202211314971A CN 115374303 B CN115374303 B CN 115374303B
Authority
CN
China
Prior art keywords
image
user
retrieval
vector
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211314971.4A
Other languages
English (en)
Other versions
CN115374303A (zh
Inventor
龚启航
许晓航
李洁
彭哲
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202211314971.4A priority Critical patent/CN115374303B/zh
Publication of CN115374303A publication Critical patent/CN115374303A/zh
Application granted granted Critical
Publication of CN115374303B publication Critical patent/CN115374303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于用户需求理解的卫星影像推荐方法，涉及遥感影像处理领域，该方法包括：S1获取影像库，包括多张影像；S2获取用户历史检索信息和用户检索标签；S3构建用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱；S4对三个知识图谱进行知识表示学习，得到第一推荐影像；S5对用户检索知识图谱进行补全，之后将该补全后的用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到第二推荐影像；S6根据第一推荐影像、第二推荐影像对用户进行推荐。该方法通过语义理解和知识图谱的方式对用户的检索信息进行全面的理解，基于覆盖目标区域的影像推荐规则，实现全自动化的精准满足用户需求的卫星影像推荐。

Description

基于用户需求理解的卫星影像推荐方法
技术领域
本发明涉及遥感影像处理领域，具体涉及一种基于用户需求理解的卫星影像推荐方法。
背景技术
随着互联网的快速发展，数据也迎来了爆发式的增长，无论是用户数据，商品数据还是网站数量等等都呈现出指数型的增长趋势，迎面而来的主要有两个问题，一个是海量的数据如何存储，第二个问题是，海量的数据如何高效的检索，由于数量大大增长，产生的速度已经远远超过了用户可以获取的速度，用户在面对海量数据集时将无所适从。如今比较常见的方案是加入个性化排序，使得用户可以更容易获得目标数据信息，如搜索引擎在搜索结果中加入个性化排序，在内容分发上加入个性化推荐分发等。
传统的数据检索通常由人主动检索数据，但是生活中很多用户的查找目的是不明确的。近年来随着人工智能的进步和推荐系统的兴起，越来越多的场景由人主动检索知识转化为知识主动靠近用户。推荐系统能够根据用户的偏好和行为，来向用户呈现他(或她)可能感兴趣的物品。
在遥感数据领域，现有的遥感影像统筹平台对遥感影像的推荐服务还处于智能化和人性化较低的水平，如贵州省遥感影像统筹服务平台，在用户进行数据查询时，如果用户选定的限定条件内无符合要求的影像，系统会弹出提示，要求用户更换查询条件，然而并未指导具体如何更换查询条件，没有任何直观的额外提示，用户在这种情况下可能仍然不知道如何修改查询条件从而进行下一步操作。在用户不具备丰富的遥感专业知识和业务知识时，现有的平台没有为用户提供足够的指导和影像推荐功能，因而大大地增加了现有遥感影像统筹平台的使用难度。
发明内容
本发明提出了一种基于用户需求理解的卫星影像推荐方法，该方法通过构建知识图谱的方法对用户的需求进行影像匹配，实现全自动智能化地满足用户需求的影像推荐。首先通过将用户的请求信息转化为具体的标签信息，以完整覆盖目标区域为目的，全自动化地为用户提供满足标签信息的最佳影像推荐策略。当用户检索条件内的影像无法完整覆盖目标区域时，该方法通过对用户的需求进行理解，将检索条件范围进行适当地扩大，进而使用更新后的检索条件内的影像对用户进行补充推荐。当用户对现有推荐影像不满意时，该方法能够自动提供替换的影像选项，无需用户进行任何繁琐的操作。
为实现上述技术目的，本发明的技术方案如下：
一种基于用户需求理解的卫星影像推荐方法，该方法包括以下步骤：
S1获取影像库，包括多张影像，影像包含影像标签；
S2获取用户检索信息和用户历史检索信息，用户检索信息包括语义信息和查询条件，语义信息包括目标区域，将查询条件与语义信息进行合并，得到用户检索标签；
S3基于用户检索标签构建用户检索知识图谱、基于用户历史检索信息构建用户历史检索知识图谱、基于影像及其影像标签构建影像属性知识图谱；
S4对用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到用户检索向量、用户历史检索向量、影像属性向量，将用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第一配对概率，将第一配对概率大于第一预设阈值的影像作为第一影像，在第一影像中基于影像推荐规则进行筛选，得到第一推荐影像；
S5对用户检索标签进行更新，并将更新后的用户检索标签输入用户检索知识图谱进行补全，之后将该补全后的用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到更新用户检索向量、用户历史检索向量、影像属性向量，将更新用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第二配对概率，将第二配对概率大于第一预设阈值的影像作为第二影像，在第二影像中基于影像推荐规则进行筛选，得到第二推荐影像；
S6根据第一推荐影像、第二推荐影像对用户进行推荐。
于本发明一具体实施例中，步骤S3包括：
根据用户-用户检索标签-影像三元组格式构建用户检索知识图谱，其中，用户检索标签包括影像时间、影像分辨率、行政区域、星源；
根据用户-用户历史检索信息-影像三元组格式构建用户历史行为知识图谱，其中，用户历史检索信息包括影像时间、影像分辨率、行政区域、星源、历史检索时间；
根据影像-影像标签-影像属性三元组格式构建影像属性知识图谱，其中，影像标签包括影像时间、影像分辨率、影像覆盖范围、星源、影像质量。
于本发明一具体实施例中，步骤S5中，对用户检索标签进行更新的方法包括：对用户检索标签进行同义转换、对用户检索标签进行更换中的至少一种。
于本发明一具体实施例中，所述对用户检索标签进行同义转换，包括：
建立标签同义转换表，包括标签同义转换规则和可同义转换的标签类型，其中，可同义转换的标签类型包括影像分辨率、影像星源；
根据标签同义转换表将用户检索标签划分为可同义转换标签和不可同义转换标签；
根据标签同义转换规则对可同义转换标签进行标签替换。
于本发明一具体实施例中，所述对用户检索标签进行更换的方法为：
对用户历史检索信息的影像时间和用户检索标签的影像时间进行差异对比，将与用户检索标签的影像时间差异最小的用户历史检索信息的影像时间替换该用户检索标签的影像时间，其中，用户历史检索信息的影像时间的范围大于用户检索标签的影像时间的范围且完全包括用户检索标签的影像时间的范围；
或将用户检索标签的影像时间相邻年份相同时期的影像时间并入用户检索标签的影像时间中。
于本发明一具体实施例中，步骤S2中，所述“将查询条件与语义信息进行合并，得到用户检索标签”包括：
根据用户输入的查询条件提取得到相应的查询标签；
提取语义信息的关键词，将语义信息的关键词和影像标签输入预训练的语义相似度模型中，进行语义信息的关键词与影像标签之间语义相似度的匹配，将与语义信息的关键词的语义相似度最大的影像标签作为该语义信息对应的标签；
将查询标签和语义信息对应的标签按照标签类别进行混合分组，相同标签类别的查询标签和语义信息对应的标签分到第一标签组，不同标签类别的查询标签和语义信息对应的标签分到第二标签组；
新建标签序列，将第一标签组中的查询标签、第二标签组输入标签序列中，得到用户检索标签。
于本发明一具体实施例中，步骤S4包括：
S41构建三元组损失函数：
Figure 384695DEST_PATH_IMAGE001
其中，(h,r,t)为三元组，h为头实体，t为尾实体，r表示h和t之间的关系，
Figure 694453DEST_PATH_IMAGE002
为头实体的向量表示，
Figure 765178DEST_PATH_IMAGE003
为尾实体的向量表示，
Figure 756267DEST_PATH_IMAGE004
为关系向量表示，L1/L2表示L1或L2正则损失，
Figure 596047DEST_PATH_IMAGE005
和
Figure 76707DEST_PATH_IMAGE006
分别为将头实体和尾实体投影到关系空间的投影矩阵：
Figure 228203DEST_PATH_IMAGE007
Figure 85300DEST_PATH_IMAGE008
其中，
Figure 45166DEST_PATH_IMAGE009
，
Figure 696727DEST_PATH_IMAGE010
为头实体和尾实体处于的公共语义空间，
Figure 742044DEST_PATH_IMAGE011
为关系处于的语义空间，d和k均表示向量维度，
Figure 825669DEST_PATH_IMAGE012
表示单位矩阵，实体下标p代表该向量为投影向量，
Figure 374462DEST_PATH_IMAGE013
为关系向量的投影向量，
Figure 462503DEST_PATH_IMAGE014
为头实体向量的投影向量，
Figure 667220DEST_PATH_IMAGE015
为尾实体向量的投影向量；
S42通过投影矩阵
Figure 866120DEST_PATH_IMAGE016
和
Figure 269419DEST_PATH_IMAGE017
将用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱的实体向量投影到关系向量空间，得到用户检索向量、用户历史检索向量、影像属性向量；
S43将用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第一配对概率；
S44将第一配对概率大于第一预设阈值的影像作为第一影像，在第一影像中基于影像推荐规则进行筛选，得到第一推荐影像。
于本发明一具体实施例中，步骤S43包括：
S431使用特征提取网络对用户检索向量、用户历史检索向量、影像属性向量进行特征提取，得到用户检索特征向量
Figure 715313DEST_PATH_IMAGE018
、用户历史检索特征向量
Figure 469642DEST_PATH_IMAGE019
、影像属性特征向量
Figure 206654DEST_PATH_IMAGE020
；
S432使用门机制融合用户检索特征向量
Figure 667723DEST_PATH_IMAGE018
、用户历史检索特征向量
Figure 97567DEST_PATH_IMAGE019
，获得用户融合特征向量
Figure 759099DEST_PATH_IMAGE021
：
Figure 299802DEST_PATH_IMAGE022
其中，
Figure 943273DEST_PATH_IMAGE023
，且
Figure 216122DEST_PATH_IMAGE024
，softmax表示归一化指数函数，
Figure 945044DEST_PATH_IMAGE025
、
Figure 23858DEST_PATH_IMAGE026
表示权重矩阵；
S433对用户融合特征向量
Figure 380890DEST_PATH_IMAGE021
和影像属性特征向量
Figure 886958DEST_PATH_IMAGE020
进行融合，得到第一融合预测向量
Figure 103176DEST_PATH_IMAGE027
，其中
Figure 251260DEST_PATH_IMAGE028
表示元素积；
S434拼接用户检索特征向量
Figure 603744DEST_PATH_IMAGE018
、用户历史检索特征向量
Figure 546292DEST_PATH_IMAGE019
、影像属性特征向量
Figure 672643DEST_PATH_IMAGE020
，得到拼接向量
Figure 93260DEST_PATH_IMAGE029
；
S435将拼接向量q输入深度神经网络，得到第二融合预测向量
Figure 503512DEST_PATH_IMAGE030
；
S436拼接第一融合预测向量和第二融合预测向量，输入全连接层和激活函数，得到用户与影像的第一配对概率
Figure 351383DEST_PATH_IMAGE031
，其中W为权重矩阵，f为激活函数。
于本发明一具体实施例中，步骤S44包括：
S441在第一影像中选取对目标区域覆盖率大于第二预设阈值的影像，得到第一有效影像；
S442将第一有效影像按照其对目标区域的覆盖率从大到小排序，从正序开始选取并加入第一推荐影像，直至第一推荐影像的并集对目标区域的覆盖率达到100%或第一有效影像全部加入第一推荐影像。
于本发明一具体实施例中，步骤S44还包括：
将第一推荐影像按照其对目标区域的覆盖率从小到大排序，从正序开始选择待筛除影像，若去除待筛除影像后，第一推荐影像的并集对目标区域的覆盖率降低，则保留该待筛除影像，若去除待筛除影像后，第一推荐影像的并集对目标区域的覆盖率不变，则将该待筛除影像从第一推荐影像予以筛除。
本发明的有益效果为：本发明提出了一种基于用户需求理解的卫星影像推荐方法，该方法通过构建知识图谱的方法对用户的需求进行影像匹配，实现全自动智能化地满足用户需求的影像推荐。首先通过将用户的检索信息和历史检索信息转化为具体的标签信息，通过构建知识图谱确定与检索信息匹配的影像，以完整覆盖目标区域为目的，全自动化地为用户提供满足标签信息的最佳影像推荐策略。当用户检索条件内的影像无法完整覆盖目标区域时，该方法通过对用户的需求进行理解，将检索条件范围进行适当地扩大，进而使用更新后的检索条件内的影像对用户进行补充推荐。当用户对现有推荐影像不满意时，该方法能够自动提供替换的影像选项，无需用户进行任何繁琐的操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于用户需求理解的卫星影像推荐方法的流程示意图；
图2为本发明实施例中语义相似度匹配的流程示意图。
图3为本发明实施例中TransD模型的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1是本发明所述的一种基于用户需求理解的卫星影像推荐方法的流程示意图，该方法包括以下步骤：
S1获取影像库，包括多张影像，影像包含影像标签；
S2获取用户检索信息和用户历史检索信息，用户检索信息包括语义信息和查询条件，语义信息包括目标区域，将查询条件与语义信息进行合并，得到用户检索标签；
S3基于用户检索标签构建用户检索知识图谱、基于用户历史检索信息构建用户历史检索知识图谱、基于影像及其影像标签构建影像属性知识图谱；
S4对用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到用户检索向量、用户历史检索向量、影像属性向量，将用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第一配对概率，将第一配对概率大于第一预设阈值的影像作为第一影像，在第一影像中基于目标区域的影像推荐规则进行筛选，得到第一推荐影像；
S5对用户检索标签进行更新，并将更新后的用户检索标签输入用户检索知识图谱进行补全，之后将该补全后的用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到更新用户检索向量、用户历史检索向量、影像属性向量，将更新用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第二配对概率，将第二配对概率大于第一预设阈值的影像作为第二影像，在第二影像中基于影像推荐规则进行筛选，得到第二推荐影像；
S6根据推荐策略，结合第一推荐影像、第二推荐影像对用户进行推荐。
本发明的技术思路为：1）通过将用户检索信息中的语义信息和检索条件进行合并，得到符合用户需求的检索标签，进而使用用户检索标签在遥感数据库中进行影像检索。用户可以通过输入语义信息和点选检索条件的双重方式进行影像检索；2）通过构造知识图谱的方法对用户检索信息与用户历史检索信息和遥感数据库进行关联，实现基于用户需求理解的最优影像匹配3）通过优先推荐最大化覆盖目标区域的影像推荐规则，全自动化地为用户进行完整的覆盖目标区域的一组影像推荐；4）当用户的检索限定条件内不具有足够覆盖目标区域的影像时，或用户需要对自动推荐的某幅影像进行替换时，系统能够进行基于用户检索标签的更新进行二次推荐，包括同义转换和更换，直到获取足够满足用户需求的影像。
具体地，步骤S2中“将查询条件与语义信息进行合并，得到用户检索标签”包括：
根据用户输入的查询条件提取得到相应的查询标签；提取语义信息的关键词，将语义信息的关键词和影像标签输入预训练的语义相似度模型中，进行语义信息的关键词与影像标签之间语义相似度的匹配，将与语义信息的关键词的语义相似度最大的影像标签作为该语义信息对应的标签；将查询标签和语义信息对应的标签按照标签类别进行混合分组，相同标签类别的查询标签和语义信息对应的标签分到第一标签组，不同标签类别的查询标签和语义信息对应的标签分到第二标签组；新建标签序列，将第一标签组中的查询标签、第二标签组输入标签序列中，得到用户检索标签。
以一具体实施例作说明，用户检索遥感数据库的语义信息可以为用户输入的文字信息，例如“想要过去三年的遥感影像进行北京地区的绿化面积调查”，或者，也可以是用户输入的语音信息。若用户输入的信息为语音信息，则可将语音信息转化为文字信息，以便于后续提取检索关键词。
以用户输入的信息为“想要过去三年的遥感影像进行北京地区的绿化面积调查”为例，从中可以提取时间信息为过去三年(即今年之前的相邻三年)，目标区域为北京地区，即北京行政区域，从而可确定出空间范围和时间范围；
查询条件包括用于限定影像检索范围的开始日期和结束日期、影像分辨率、影像星源、产品等级。通过点击选取的方式确定查询条件。
基于已训练的语义相似度模型，以提取的语义信息的关键词和影像标签为输入，分别确定关键词和各卫星影像标签的语义相似度，将语义相似度最大的影像标签确定为用户输入的语义信息的对应标签。
本实施例中使用的语义相似度模型为深度语义模型DSSM（Deep StructuredSemantic Models），语义相似度用两个语义向量的cosine距离来表示：
Figure 276613DEST_PATH_IMAGE032
其中，Q、D为两个文本，即语义信息的关键词的文本和影像标签的文本，
Figure 687872DEST_PATH_IMAGE033
为对应的语义向量。
语义相似度匹配的流程如图2所示。
将查询条件转化为相应的查询标签，即用户选择的影像检索范围的开始日期和结束日期、影像分辨率、影像星源、产品等级具体的选项内容作为其查询标签。将查询标签和语义信息对应的标签按照标签类别进行混合分组，相同标签类别的查询标签和语义信息对应的标签分到第一标签组，不同标签类别的查询标签和语义信息对应的标签分到第二标签组；新建标签序列，将第一标签组中的查询标签、第二标签组输入标签序列中，得到用户检索标签。如本实施例中用户输入的语义信息为“想要过去三年的遥感影像进行北京地区的绿化面积调查”，语义信息对应的标签包括时间标签“2018年1月1日-2020年12月31日”、行政区划标签“北京”。查询标签包括时间标签“2018年3月2日-2020年3月2日”、行政区划标签“北京”、影像分辨率标签“2m”、星源标签“GF-1”、产品等级标签“L3D”。其中时间标签和行政区划标签为同类型标签，以查询条件为优先，得到最终的用户检索标签为：“20180302-20200302；北京；2m；GF-1；L3D”。不同标签项以分号隔开。
具体地，步骤S3包括：
根据用户-用户检索标签-影像三元组格式构造用户检索知识图谱，其中，用户检索标签包括影像时间、影像分辨率、行政区域、星源；根据用户-用户历史检索信息-影像三元组格式构造用户历史行为知识图谱，其中，用户历史检索信息包括影像时间、影像分辨率、行政区域、星源、历史检索时间；根据影像-影像标签-影像属性三元组格式构造影像属性知识图谱，其中，影像标签包括影像时间、影像分辨率、影像覆盖范围、星源、影像质量。
具体地，步骤S4包括：
S41构建三元组损失函数：
Figure 14948DEST_PATH_IMAGE034
其中，(h,r,t)为三元组，h为头实体，t为尾实体，r表示h和t之间的关系，
Figure 299299DEST_PATH_IMAGE035
为头实体的向量表示，
Figure 649509DEST_PATH_IMAGE036
为尾实体的向量表示，
Figure 411928DEST_PATH_IMAGE037
为关系向量表示，L1/L2表示L1或L2正则损失，
Figure 593511DEST_PATH_IMAGE038
和
Figure 734249DEST_PATH_IMAGE039
分别为将头实体和尾实体投影到关系空间的投影矩阵：
Figure 634072DEST_PATH_IMAGE040
Figure 200182DEST_PATH_IMAGE041
其中，
Figure 173955DEST_PATH_IMAGE042
，
Figure 800108DEST_PATH_IMAGE043
为头实体和尾实体处于的公共语义空间，
Figure 187227DEST_PATH_IMAGE044
为关系处于的语义空间，d和k均表示向量维度，
Figure 150504DEST_PATH_IMAGE045
表示单位矩阵，实体下标p代表该向量为投影向量，
Figure 306679DEST_PATH_IMAGE046
为关系向量的投影向量，
Figure 369313DEST_PATH_IMAGE047
为头实体向量的投影向量，
Figure 978149DEST_PATH_IMAGE048
为尾实体向量的投影向量。
S42通过投影矩阵
Figure 151641DEST_PATH_IMAGE049
和
Figure 162322DEST_PATH_IMAGE050
将用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱的实体向量投影到关系向量空间，得到用户检索向量、用户历史检索向量、影像属性向量。
S43将用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第一配对概率。
具体地，该步骤实现过程如下：
S431使用特征提取网络对用户检索向量、用户历史检索向量、影像属性向量进行特征提取，得到用户检索特征向量
Figure 818694DEST_PATH_IMAGE018
、用户历史检索特征向量
Figure 914826DEST_PATH_IMAGE019
、影像属性特征向量
Figure 298534DEST_PATH_IMAGE020
；
S432使用门机制融合用户检索特征向量
Figure 429301DEST_PATH_IMAGE018
、用户历史检索特征向量
Figure 568158DEST_PATH_IMAGE019
，获得用户融合特征向量
Figure 338537DEST_PATH_IMAGE021
：
Figure 588253DEST_PATH_IMAGE022
其中，
Figure 573526DEST_PATH_IMAGE023
，且
Figure 820968DEST_PATH_IMAGE024
，softmax表示归一化指数函数，
Figure 891692DEST_PATH_IMAGE025
、
Figure 945099DEST_PATH_IMAGE026
表示权重矩阵；
S433对用户融合特征向量
Figure 470365DEST_PATH_IMAGE021
和影像属性特征向量
Figure 951024DEST_PATH_IMAGE020
进行融合，得到第一融合预测向量
Figure 243465DEST_PATH_IMAGE027
，其中
Figure 38246DEST_PATH_IMAGE028
表示元素积；
S434拼接用户检索特征向量
Figure 732533DEST_PATH_IMAGE018
、用户历史检索特征向量
Figure 384094DEST_PATH_IMAGE019
、影像属性特征向量
Figure 288465DEST_PATH_IMAGE020
，得到拼接向量
Figure 683674DEST_PATH_IMAGE029
；
S435将拼接向量q输入深度神经网络，得到第二融合预测向量
Figure 232467DEST_PATH_IMAGE030
；
S436拼接第一融合预测向量和第二融合预测向量，输入全连接层和激活函数，得到用户与影像的第一配对概率
Figure 586088DEST_PATH_IMAGE031
，其中W为权重矩阵，f为激活函数。
S44将第一配对概率大于第一预设阈值的影像作为第一影像，在第一影像中基于目标区域的影像推荐规则进行筛选，得到第一推荐影像。
具体地，步骤S44包括：
S441在第一影像中选取对目标区域覆盖率大于第二预设阈值的影像，得到第一有效影像；
S442将第一有效影像按照其对目标区域的覆盖率从大到小排序，从正序开始选取并加入第一推荐影像，直至第一推荐影像的并集对目标区域的覆盖率达到100%或第一有效影像全部加入第一推荐影像。
在本发明另一实施例中，步骤S44还可以包括：
将第一推荐影像按照其对目标区域的覆盖率从小到大排序，从正序开始选择待筛除影像，若去除待筛除影像后，第一推荐影像的并集对目标区域的覆盖率降低，则保留该待筛除影像，若去除待筛除影像后，第一推荐影像的并集对目标区域的覆盖率不变，则将该待筛除影像从第一推荐影像予以筛除。
在本发明一具体实施例中，第一预设阈值为50%，第二预设阈值为4%。具体为：选取第一配对概率大于50%的影像，得到配对影像，使用用户检索标签在这些影像中进行下一步的影像检索操作，得到直接符合用户需求的第一影像。在第一影像中选取对目标区域覆盖率大于4%的影像，得到第一有效影像；将第一有效影像按照其对目标区域的覆盖率从大到小排序，从正序开始一张张的选取，直至第一推荐影像的并集对目标区域的覆盖率达到100%或第一有效影像全部加入第一推荐影像，在进行选取的时候，有可能有些影像会被先前已选取的影像完全覆盖，例如，第五张影像对目标区域的覆盖位置完全落入了第三张影像对目标区域的覆盖位置，则去掉该第五张影像并不会影响第一推荐影像的并集对目标区域的覆盖率，因此可以对该第五张影像予以筛除，而第七张影像只有部分覆盖位置落入了先前已选取影像的覆盖位置，若是去除第七张影像，第一推荐影像的并集对目标区域的覆盖率会降低，则第七张影像是必要的，应当予以保留。
具体地，步骤S5中，对用户检索标签进行更新的方法包括：对用户检索标签进行同义转换、对用户检索标签进行更换中的至少一种。即可以对用户检索标签进行同义转换来对用户检索标签进行更新，也可以对用户检索标签进行更换来对用户检索标签进行更新，还可以先对用户检索标签进行同义转换，再对用户检索标签进行更换来对用户检索标签进行更新。
本实施例采用先对用户检索标签进行同义转换，再对用户检索标签进行更换来对用户检索标签进行更新，在得到第二推荐影像的过程中，除更新用户检索标签外，其他进行知识表示学习的方法、进行融合预测的方法、影像推荐规则均与上述所述相同，因此不再赘述，如下仅对同义转换和更换做具体说明：
本实施例中同义转换的内容为：建立由标签同义转换规则和可同义转换的标签类型构成的标签同义转换表，其中，可同义转换的标签类型包括影像分辨率、影像星源。在单星源影像不能够满足用户需求时，选择性使用不同星源间的影像。不同影像分辨率的影像可以通过上、下采样变换为用户需求的分辨率。优先使用高向低下采样的方式。特殊要求下可选使用上采样。上采样采用传统双线性插值算法。4个像素点(x,y)、(x,y+1)、(x+1,y)、(x+1,y+1)构成一个插值区域。f(x,y)为原图像(x,y)处的像素值。设置坐标通过反向变换得到的浮点坐标为(x+a,y+b)，其中a、b为[0,1]区间的浮点数。目标像素值f(x+a,y+b)可由上述4个像素点构成的插值区域构成：
f(x+a,y+b)=(1-a)(1-b)f(x,y)+(1-a)bf(x,y+1)+a(1-b)f(x+1,y)+abf(x+1,y+1)
当经过上述处理后选取的影像依然不能满足用户需求时，对用户检索标签进行更换，具体为对用户检索标签进行扩大。本实施例的具体的方法为：获取用户的历史检索请求信息。对历史查询条件和当前查询条件中的影像时间进行对比，用差异最小的历史影像时间替换当前的影像时间。需要说明的是，该历史影像时间的范围应包括了当前影像时间的范围，且比当前影像时间的范围大。
在另外一个实施例中，扩大检索条件的方法为：将相邻年份同时期的加入检索范围。如，当前的影像时间为2019年3月1日-4月25日，将其扩大为2018-2020年3月1日-4月25日。这种扩大检索条件的方法适用于针对包括固定生长周期的农作物、植被的目标地物的应用场景。
除上述所述的基于影像时间来扩大用户检索标签的方式外，还可以有别的方式，例如扩大用户检索标签中的星源，将相近的星源加入用户检索标签中，或者是扩大用户检索标签中的影像分辨率，将更高的影像分辨率也加入用户检索标签中。本领域技术人员应当可以根据上述的影像时间扩大方法来推导出其他检索条件相应的扩大方法。
具体地，步骤S6可以包括：
先对用户推荐第一推荐影像，若用户反馈该第一推荐影像不符合或不完全符合用户的需求，则继续推荐第二推荐影像。
本发明的有益效果为：本发明提出了一种基于用户需求理解的卫星影像推荐方法，该方法通过构建知识图谱的方法对用户的需求进行影像匹配，实现全自动智能化地满足用户需求的影像推荐。首先通过将用户的检索信息和历史检索信息转化为具体的标签信息，通过构建知识图谱确定与检索信息匹配的影像，以完整覆盖目标区域为目的，全自动化地为用户提供满足标签信息的最佳影像推荐策略。当用户检索条件内的影像无法完整覆盖目标区域时，该方法通过对用户的需求进行理解，将检索条件范围进行适当地扩大，进而使用更新后的检索条件内的影像对用户进行补充推荐。当用户对现有推荐影像不满意时，该方法能够自动提供替换的影像选项，无需用户进行任何繁琐的操作。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于用户需求理解的卫星影像推荐方法，其特征在于，包括：
S1获取影像库，包括多张影像，影像包含影像标签；
S2获取用户检索信息和用户历史检索信息，用户检索信息包括语义信息和查询条件，语义信息包括目标区域，将查询条件与语义信息进行合并，得到用户检索标签；
S3基于用户检索标签构建用户检索知识图谱、基于用户历史检索信息构建用户历史检索知识图谱、基于影像及其影像标签构建影像属性知识图谱；
S4对用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到用户检索向量、用户历史检索向量、影像属性向量，将用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第一配对概率，将第一配对概率大于第一预设阈值的影像作为第一影像，在第一影像中基于影像推荐规则进行筛选，得到第一推荐影像；
步骤S4包括：
S41构建三元组损失函数：
Figure 452181DEST_PATH_IMAGE001
其中，(h,r,t)为三元组，h为头实体，t为尾实体，r表示h和t之间的关系，
Figure 676489DEST_PATH_IMAGE002
为头实体的向量表示，
Figure 567347DEST_PATH_IMAGE003
为尾实体的向量表示，
Figure 851698DEST_PATH_IMAGE004
为关系向量表示，L1/L2表示L1或L2正则损失，
Figure 264224DEST_PATH_IMAGE005
和
Figure 88961DEST_PATH_IMAGE006
分别为将头实体和尾实体投影到关系空间的投影矩阵：
Figure 270544DEST_PATH_IMAGE007
Figure 788113DEST_PATH_IMAGE008
其中，
Figure 687935DEST_PATH_IMAGE009
，
Figure 254046DEST_PATH_IMAGE010
为头实体和尾实体处于的公共语义空间，
Figure 352452DEST_PATH_IMAGE011
为关系处于的语义空间，d和k均表示向量维度，
Figure 978605DEST_PATH_IMAGE012
表示单位矩阵，实体下标p代表该向量为投影向量，
Figure 926576DEST_PATH_IMAGE013
为关系向量的投影向量，
Figure 30799DEST_PATH_IMAGE014
为头实体向量的投影向量，
Figure 186974DEST_PATH_IMAGE015
为尾实体向量的投影向量；
S42通过投影矩阵
Figure 46345DEST_PATH_IMAGE005
和
Figure 655181DEST_PATH_IMAGE006
将用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱的实体向量投影到关系向量空间，得到用户检索向量、用户历史检索向量、影像属性向量；
S43将用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第一配对概率；
S44将第一配对概率大于第一预设阈值的影像作为第一影像，在第一影像中基于影像推荐规则进行筛选，得到第一推荐影像；
步骤S43包括：
S431使用特征提取网络对用户检索向量、用户历史检索向量、影像属性向量进行特征提取，得到用户检索特征向量
Figure 828673DEST_PATH_IMAGE016
、用户历史检索特征向量
Figure 901672DEST_PATH_IMAGE017
、影像属性特征向量
Figure 869628DEST_PATH_IMAGE018
；
S432使用门机制融合用户检索特征向量
Figure 28076DEST_PATH_IMAGE016
、用户历史检索特征向量
Figure 474101DEST_PATH_IMAGE017
，获得用户融合特征向量
Figure 604868DEST_PATH_IMAGE019
：
Figure 307507DEST_PATH_IMAGE020
其中，
Figure 890935DEST_PATH_IMAGE021
，且
Figure 202968DEST_PATH_IMAGE022
，softmax表示归一化指数函数，
Figure 188242DEST_PATH_IMAGE023
、
Figure 498000DEST_PATH_IMAGE024
表示权重矩阵；
S433对用户融合特征向量
Figure 631041DEST_PATH_IMAGE019
和影像属性特征向量
Figure 684448DEST_PATH_IMAGE018
进行融合，得到第一融合预测向量
Figure 524228DEST_PATH_IMAGE025
，其中
Figure 424795DEST_PATH_IMAGE026
表示元素积；
S434拼接用户检索特征向量
Figure 186077DEST_PATH_IMAGE016
、用户历史检索特征向量
Figure 43175DEST_PATH_IMAGE017
、影像属性特征向量
Figure 737461DEST_PATH_IMAGE018
，得到拼接向量
Figure 185760DEST_PATH_IMAGE027
；
S435将拼接向量q输入深度神经网络，得到第二融合预测向量
Figure 231077DEST_PATH_IMAGE028
；
S436拼接第一融合预测向量和第二融合预测向量，输入全连接层和激活函数，得到用户与影像的第一配对概率
Figure 688603DEST_PATH_IMAGE029
，其中W为权重矩阵，f为激活函数；
S5对用户检索标签进行更新，并将更新后的用户检索标签输入用户检索知识图谱进行补全，之后将该补全后的用户检索知识图谱、用户历史检索知识图谱、影像属性知识图谱进行知识表示学习，得到更新用户检索向量、用户历史检索向量、影像属性向量，将更新用户检索向量、用户历史检索向量、影像属性向量进行融合预测，得到影像与用户之间的第二配对概率，将第二配对概率大于第一预设阈值的影像作为第二影像，在第二影像中基于影像推荐规则进行筛选，得到第二推荐影像；
S6根据第一推荐影像、第二推荐影像对用户进行推荐。
2.根据权利要求1所述的方法，其特征在于，步骤S3包括：
根据用户-用户检索标签-影像三元组格式构建用户检索知识图谱，其中，用户检索标签包括影像时间、影像分辨率、行政区域、星源；
根据用户-用户历史检索信息-影像三元组格式构建用户历史行为知识图谱，其中，用户历史检索信息包括影像时间、影像分辨率、行政区域、星源、历史检索时间；
根据影像-影像标签-影像属性三元组格式构建影像属性知识图谱，其中，影像标签包括影像时间、影像分辨率、影像覆盖范围、星源、影像质量。
3.根据权利要求2所述的方法，其特征在于，步骤S5中，对用户检索标签进行更新的方法包括：对用户检索标签进行同义转换、对用户检索标签进行更换中的至少一种。
4.根据权利要求3所述的方法，其特征在于，所述对用户检索标签进行同义转换，包括：
建立标签同义转换表，包括标签同义转换规则和可同义转换的标签类型，其中，可同义转换的标签类型包括影像分辨率、影像星源；
根据标签同义转换表将用户检索标签划分为可同义转换标签和不可同义转换标签；
根据标签同义转换规则对可同义转换标签进行标签替换。
5.根据权利要求3所述的方法，其特征在于，所述对用户检索标签进行更换的方法为：
对用户历史检索信息的影像时间和用户检索标签的影像时间进行差异对比，将与用户检索标签的影像时间差异最小的用户历史检索信息的影像时间替换该用户检索标签的影像时间，其中，用户历史检索信息的影像时间的范围大于用户检索标签的影像时间的范围且完全包括用户检索标签的影像时间的范围；
或将用户检索标签的影像时间相邻年份相同时期的影像时间并入用户检索标签的影像时间中。
6.根据权利要求1所述的方法，其特征在于，步骤S2中，所述“将查询条件与语义信息进行合并，得到用户检索标签”包括：
根据用户输入的查询条件提取得到相应的查询标签；
提取语义信息的关键词，将语义信息的关键词和影像标签输入预训练的语义相似度模型中，进行语义信息的关键词与影像标签之间语义相似度的匹配，将与语义信息的关键词的语义相似度最大的影像标签作为该语义信息对应的标签；
将查询标签和语义信息对应的标签按照标签类别进行混合分组，相同标签类别的查询标签和语义信息对应的标签分到第一标签组，不同标签类别的查询标签和语义信息对应的标签分到第二标签组；
新建标签序列，将第一标签组中的查询标签、第二标签组输入标签序列中，得到用户检索标签。
7.根据权利要求1所述的方法，其特征在于，步骤S45包括：
S451在第一影像中选取对目标区域覆盖率大于第二预设阈值的影像，得到第一有效影像；
S452将第一有效影像按照其对目标区域的覆盖率从大到小排序，从正序开始选取并加入第一推荐影像，直至第一推荐影像的并集对目标区域的覆盖率达到100%或第一有效影像全部加入第一推荐影像。
8.根据权利要求7所述的方法，其特征在于，步骤S45还包括：将第一推荐影像按照其对目标区域的覆盖率从小到大排序，从正序开始选择待筛除影像，若去除待筛除影像后，第一推荐影像的并集对目标区域的覆盖率降低，则保留该待筛除影像，若去除待筛除影像后，第一推荐影像的并集对目标区域的覆盖率不变，则将该待筛除影像从第一推荐影像予以筛除。
CN202211314971.4A 2022-10-26 2022-10-26 基于用户需求理解的卫星影像推荐方法 Active CN115374303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211314971.4A CN115374303B (zh) 2022-10-26 2022-10-26 基于用户需求理解的卫星影像推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211314971.4A CN115374303B (zh) 2022-10-26 2022-10-26 基于用户需求理解的卫星影像推荐方法

Publications (2)

Publication Number Publication Date
CN115374303A CN115374303A (zh) 2022-11-22
CN115374303B true CN115374303B (zh) 2023-01-13

Family

ID=84073721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211314971.4A Active CN115374303B (zh) 2022-10-26 2022-10-26 基于用户需求理解的卫星影像推荐方法

Country Status (1)

Country Link
CN (1) CN115374303B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660721A (zh) * 2022-12-11 2023-01-31 北京数慧时空信息技术有限公司 基于用户需求的遥感影像统筹系统及方法
CN115797795B (zh) * 2023-02-07 2023-04-25 北京数慧时空信息技术有限公司 基于强化学习的遥感影像问答式检索系统及方法
CN116740578B (zh) * 2023-08-14 2023-10-27 北京数慧时空信息技术有限公司 基于用户选择的遥感影像推荐方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647620A (zh) * 2019-09-23 2020-01-03 中国农业大学 一种基于置信超平面和词典信息的知识图谱表示学习方法
CN112182131A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于多属性融合的遥感影像推荐方法
CN114936325A (zh) * 2022-07-20 2022-08-23 北京数慧时空信息技术有限公司 基于用户画像的遥感影像推荐方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574067B (zh) * 2014-10-31 2020-01-21 株式会社东芝 项目推荐装置以及项目推荐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647620A (zh) * 2019-09-23 2020-01-03 中国农业大学 一种基于置信超平面和词典信息的知识图谱表示学习方法
CN112182131A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于多属性融合的遥感影像推荐方法
CN114936325A (zh) * 2022-07-20 2022-08-23 北京数慧时空信息技术有限公司 基于用户画像的遥感影像推荐方法及系统

Also Published As

Publication number Publication date
CN115374303A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN115374303B (zh) 基于用户需求理解的卫星影像推荐方法
CN109635171B (zh) 一种新闻节目智能标签的融合推理系统和方法
CN111694965B (zh) 一种基于多模态知识图谱的图像场景检索系统及方法
US20110188742A1 (en) Recommending user image to social network groups
KR100371513B1 (ko) 계층적 동영상 트리구조에서의 에지에 저장하는 키프레임의 충실도를 이용한 효율적인 동영상 요약 및 브라우징 장치 및 방법
CN102103634A (zh) 信息处理设备和方法
CN112074828A (zh) 训练图像嵌入模型和文本嵌入模型
CN111125540A (zh) 一种融合知识图谱表示学习和偏置矩阵分解的推荐方法
US20230328335A1 (en) Automated Generation of Banner Images
CN105843817A (zh) 在终端设备上进行搜索的方法、装置和设备
CN114330514A (zh) 一种基于深度特征与梯度信息的数据重建方法及系统
CN111931256B (zh) 配色推荐的方法、装置、设备及存储介质
CN111915414B (zh) 向目标用户展示目标对象序列的方法和装置
JP5973309B2 (ja) 配信装置及びコンピュータプログラム
CN115344729B (zh) 基于用户反馈的遥感影像统筹系统及方法
CN113051468A (zh) 一种基于知识图谱和强化学习的电影推荐方法及系统
KR100512275B1 (ko) 멀티미디어 객체의 특징 기술정보 생성방법
CN115797795A (zh) 基于强化学习的遥感影像问答式检索系统及方法
CN115700579A (zh) 广告文本生成方法及其装置、设备、介质
CN109753579B (zh) 一种基于频繁项目集的图片标注推荐方法
CN114090777A (zh) 文本数据处理方法及装置
KR20200125507A (ko) 언어 단위와 이용 내역 간의 연관도를 이용한 항목 추천 방법
KR101896177B1 (ko) 다중 결과 제공 기능을 구비한 이미지 검색 시스템
CN113360698A (zh) 一种基于图文语义转移技术的照片检索方法
CN118115630A (zh) 一种更偏向人们喜好的图像生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant