CN115357725A - 一种基于用户行为的知识图谱生成方法及装置 - Google Patents

一种基于用户行为的知识图谱生成方法及装置 Download PDF

Info

Publication number
CN115357725A
CN115357725A CN202210945932.8A CN202210945932A CN115357725A CN 115357725 A CN115357725 A CN 115357725A CN 202210945932 A CN202210945932 A CN 202210945932A CN 115357725 A CN115357725 A CN 115357725A
Authority
CN
China
Prior art keywords
information
user
image
simulation curve
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210945932.8A
Other languages
English (en)
Other versions
CN115357725B (zh
Inventor
王涛
郑宇�
罗铮
邓昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Pku High-Tech Soft Co ltd
Original Assignee
Wuhan Pku High-Tech Soft Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Pku High-Tech Soft Co ltd filed Critical Wuhan Pku High-Tech Soft Co ltd
Priority to CN202210945932.8A priority Critical patent/CN115357725B/zh
Publication of CN115357725A publication Critical patent/CN115357725A/zh
Application granted granted Critical
Publication of CN115357725B publication Critical patent/CN115357725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于用户行为的知识图谱生成方法，涉及数据处理技术领域。本申请通过对用户和终端的交互行为进行动作识别，确定用户行为的动作模拟曲线来判断用户是正在做哪些动作，例如翻页，上滑、下滑、暂停等动作，并且通过对用户进行动作之前，终端所显示的内容进行识别并标记标签，进而对用户动作和标签进行关联，其中通过匹配度来进行关联，得到用户动作和所述标签的关联度，进而得到构建知识图谱的三元组，所述三元组包括用户动作，关联度和标签，构建一个基于用户行为的知识图谱，通过所述知识图谱可以快速确定用户对所述标签的喜好程度。

Description

一种基于用户行为的知识图谱生成方法及装置
技术领域图像
本发明涉及数据处理构建技术领域，具体而言，涉及一种基于用户行为的知识图谱生成方法。
背景技术
知识图谱(Knowledge Graph)又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。在用户与交互终端进行交互时，往往在终端的显示界面会出现一些信息，而针对于若需要判断用户对这些信息是否感兴趣，就需要一种能够用户行为与电脑终端显示页面信息的联系关系知识图谱的方法，确定用户在哪些页面会用哪些动作。
发明内容
本发明的目的在于提供一种基于用户行为的知识图谱生成方法，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一基于用户行为的知识图谱生成方法，包括：
获取包含用户行为的视频信息和终端设备的输出图像，所述用户行为是指用户的手部动作；
将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的动作模拟曲线；
将所述终端设备的输出图像发送至图像识别模块进行识别和标记，得到终端设备的输出图像内的每个目标的标签信息；
基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值；
将所述动作模拟曲线、所述标签信息和所述关联度值发送至知识图谱生成模型进行处理，得到基于用户行为的知识图谱。
第二方面，本申请还提供了一种灯珠位置的设计装置，包括：
第一获取单元，用于获取包含用户行为的视频信息和终端设备的输出图像，所述用户行为是指用户的手部动作；
第一处理单元，用于将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的动作模拟曲线；
第二处理单元，用于将所述终端设备的输出图像发送至图像识别模块进行识别和标记，得到终端设备的输出图像内的每个目标的标签信息；
第三处理单元，用于基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值；
第四处理单元，用于将所述动作模拟曲线、所述标签信息和所述关联度值发送至知识图谱生成模型进行处理，得到基于用户行为的知识图谱。
本发明的有益效果为：
本申请通过对用户和终端的交互行为进行动作识别，确定用户行为的动作模拟曲线来判断用户是正在做哪些动作，例如翻页，上滑、下滑、暂停等动作，并且通过对用户进行动作之前，终端所显示的内容进行识别并标记标签，进而对用户动作和标签进行关联，其中通过匹配度来进行关联，判断所述用户动作和标签的紧密程度，例如用户出现其中一种标签后，用户会进行翻页动作，这样可以快速确定用户对所述标签的喜好程度。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域图像普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于用户行为的知识图谱生成方法流程示意图；
图2为本发明实施例中所述的基于用户行为的知识图谱生成装置结构示意图；
图3为本发明实施例中所述的知识图谱片段结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域图像普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
如图1和图3所示，本实施例提供了一种基于用户行为的知识图谱生成方法，其所述方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
步骤S1、获取包含用户行为的视频信息和终端设备的输出图像，所述用户行为是指用户的手部动作；
可以理解的是上述步骤通过图像获取设备对用户行为图像和终端设备的显示图像进行获取，例如在银行用户进行推荐业务进行查看，其中摄像设备会获取用户的查看操作和电脑终端显示的推荐内容。
步骤S2、将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的动作模拟曲线；
可以理解的是本步骤通过对包含用户行为的视频内容进行处理，将用户的手部动作进行曲线模拟，得到用户的动作模拟曲线，进而对用户行为进行判断，例如判断用户手部在往上移动，则判断用户正在进行上滑操作，进而可以判断用户正在浏览终端设备的显示图像。
步骤S3、将所述终端设备的输出图像发送至图像识别模块进行识别和标记，得到终端设备的输出图像内的每个目标的标签信息；
可以理解的是本步骤通过对终端设备的输出图像进行图像识别，确定每个交互输出图像的内容，其中终端设备的输出图像为在用户进行某一动作之前，终端设备显示的图像，并且通过图像识别模块对图像内的内容进行识别和标记，例如对图像显示的内容进行语义识别，确定内容为银行某一业务的内容，则对将所述内容的标记上所述业务的标签。
步骤S4、基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值；
可以理解的是本步骤通过计算动作模拟曲线和标签信息的匹配度，来确定用户动作和标签信息的联系程度，例如其中某一业务标签与所述用户动作的匹配度为0.8则可以确定所述行为的动作模拟曲线和所述标签信息的关联度值为0.8，表明用户在看到所述标签信息后翻页的几率为80％，进而得到最终出现的三元集合为(业务标签、关联度值、动作模拟曲线名称)，其中，形成的知识图谱片段如图3所述。
步骤S5、将所述动作模拟曲线、所述标签信息和所述关联度值发送至知识图谱生成模型进行处理，得到基于用户行为的知识图谱。
可以理解的是本步骤通过基于上述步骤得到的三元组集合进一步的构建知识图谱，其中每条连线上标注了动作模拟曲线和所述标签信息的关联度值。
本申请通过对用户和终端的交互行为进行动作识别，确定用户行为的动作模拟曲线来判断用户是正在做哪些动作，例如翻页，上滑、下滑、暂停等动作，并且通过对用户进行动作之前，终端所显示的内容进行识别并标记标签，进而对用户动作和标签进行关联，其中通过匹配度来进行关联，判断所述用户动作和标签的紧密程度，例如用户出现其中一种标签后，用户会进行翻页动作，这样可以快速确定用户对所述标签的喜好程度。
在本公开的一种具体实施方式中，所述步骤S2包括步骤S21、步骤S22、步骤S23、步骤S24和步骤S25。
步骤S21、将所述包含用户信息的视频信息中的每帧图像进行目标识别，得到每帧图像内的手部图像；
可以理解的是本步骤中的目标识别是通过将每帧图像分别与预设的手部图像进行对比，确定用户的手部图像，进而达到目标识别的目的。
步骤S22、基于所述包含用户行为的视频信息中的每帧图像建立二维空间直角坐标系，得到至少一个二维空间直角坐标系；
步骤S23、将所述每帧图像内的手部图像进行关键点处理，得到第一子信息，所述第一子信息包括每帧图像内的手部图像的关键点信息；
步骤S24、将所述第一子信息分别发送至对应的二维空间直角坐标系内进行坐标计算，得到每个所述第一子信息的坐标信息；
可以理解的是上述步骤通过基于每帧视频图像建立二维空间直角坐标系，获取每个手部图像像素点的坐标，进而通过所述坐标来确定所述手部图像的关键点信息，为之后的运动轨迹模拟进行准备。
步骤S25、基于贝塞尔曲线对每个所述第一子信息的坐标信息运动轨迹拟合，得到用户行为的动作模拟曲线。
可以理解的是上述步骤内的运动轨迹拟合模型是通过贝塞尔曲线对关键点的坐标进行轨迹拟合，得到用户行为的动作模拟曲线，进而可以通过动作模拟曲线来判断用户动作是什么动作，这样可以简单快捷的对用户行为进行判断，其中动作模拟曲线判断后可以进行命名，进而得到每个曲线的名称，通过每个曲线的名称可以知道知识图谱中的动作信息，为之后的建立知识图谱提供一个实体。
在本公开的一种具体实施方式中，所述步骤S23包括步骤S231、步骤S232和步骤S233。
步骤S231、将所述每帧图像内的手部图像内所有的像素点进行二值化处理，得到二值化的用户手部图像；
可以理解的是本发明通过将所述手部图像进行二值化处理，进而将手部图像的背景图像转化为同一像素点，这样可以快速确定用户手部图像轮廓。
步骤S232、将所述二值化的用户手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
可以理解的是本步骤通过对二值化的图像进行膨胀处理和腐蚀处理，消除掉图像内的噪声像素点，这样可以减少关键点信息的计算量，提高关键点的确定效率。
步骤S233、基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。
可以理解的是本步骤中的自适应回归样条算法的计算公式如下：
Figure BDA0003787459800000071
其中，f(x)为算法输出的关键点的纵轴数值，k为样条曲线的选择次数，选择为3，ci为第i个像素点的纵坐标数值，bi(x)为第i个样条曲线函数，bi(x)存在三种形式：常数1；hinge函数，max(0，x-constant)或max(0，x-constant)；两个或多个hinge函数相乘；其中，constant需要在输入数据前选择，策略采用十分法，x的最大值，x的最小值，x的最大值和最小值之间距离均分为十份后得到九个点。
可以理解的是将所述关键点经过两次求导得到每个点的曲率，并将整个曲率数组进行均分成多份，计算每份的平均值，然后通过平均值的大小变化来找出曲线的驻点数量，对驻点所在区间内的点进行选择，进而反算出贝塞尔曲线的控制点，按照这些控制点，得到用户行为的动作模拟曲线。
在本公开的一种具体实施方式中，所述步骤S4包括步骤S41、步骤S42、步骤S43、步骤S44和步骤S45。
步骤S41、将所述动作模拟曲线和所述标签信息按照时间关系进行一一对应，得到每个所述动作模拟曲线对应的标签信息；
可以理解的是本步骤中的按照时间关系进行一一对应是指，将用户在观察到的实时标签信息和观察到实时标签信息进行对应，进而确定每个标签信息对应的动作模拟曲线。
步骤S42、将所有的所述动作模拟曲线对应的标签信息基于贝叶斯方法进行统计处理，得到每个所述标签信息在所述终端设备的输出图像内的置信度；
可以理解的是上述步骤中的置信度是指在终端设备出现所述标签信息的可能性，其中所述标签信息的出现是不可预计的，因此就需要置信度较高的标签来用于后续的计算，以减少计算量。
步骤S43、基于所述动作模拟曲线对应的标签信息和所有的所述标签信息，得到所述动作模拟曲线对应的标签信息占所有的所述标签信息的权重值；
可以理解的是本步骤中的权重值越大，则代表上述标签信息出现的次数越大，但通过出现次数越大的标签信息确定用户看到所述标签后出现同一动作的概率就越小，因此本实施例通过标签信息占所有标签信息的权重来量化一个标签在所述终端设备的输出图像的重要程度，是非常合理的。
步骤S44、基于所述置信度和所述权重值计算所述用户行为的动作模拟曲线和所述标签信息的匹配度；
可以理解的是所述用户行为的动作模拟曲线和所述标签信息的匹配度的计算公式如下：
Figure BDA0003787459800000081
其中，Ps表示所述用户行为的动作模拟曲线和所述标签信息的匹配度值，n表示所述标签信息的种类数量，Xt表示第t个所述标签信息在所述终端设备的输出图像内的置信度，wt表示第t个所述标签信息占所有标签信息的权重值。
步骤S45、基于所述用户行为的动作模拟曲线和所述标签信息的匹配度，得到所述用户行为的动作模拟曲线和所述标签信息的关联度值。
可以理解的是本发明通过将所述用户行为的动作模拟曲线和所述标签信息的匹配度来表示所述用户行为的动作模拟曲线和所述标签信息联系程度，进而在建立知识图谱时可以充分表达用户在观察到标签信息这个场景时做出各种动作的可能性，进而为判断用户对各种标签信息的喜好程度提供数据支持。
在本公开的一种具体实施方式中，所述步骤S45包括步骤S451、步骤S452、步骤S453和步骤S454。
步骤S451、将所述用户行为的动作模拟曲线和所述标签信息的匹配度进行聚类处理，得到每个所述匹配度位于的聚类簇；
步骤S452、对所有的所述聚类簇进行分析，将包含最大阈值范围的聚类簇的所有聚类点的平均值作为阈值；
步骤S453、将小于或等于所述阈值的匹配度值和所述小于所述阈值的匹配度值对应的标签信息进行删除，得到大于所述阈值的匹配度值；
步骤S454、将大于所述阈值的匹配度值作为所述大于所述阈值的匹配度值对应的动作模拟曲线和标签信息的关联度值。
可以理解的是，在获得每个用户行为的动作模拟曲线和每个标签信息的匹配度之后，先通过聚类算法确定出一个阈值，若有标签对应的匹配度均小于预设阈值，则可判断所述标签与用户行为的关系不大，在这种情况下可以直接将所述标签进行删除，进而减少构建知识图谱的步骤，并减少标签与动作模拟曲线的随机性，对判断用户对所述标签的喜好程度减少随机变量。
实施例2：
如图2所示，本实施例提供了一种基于用户行为的知识图谱生成装置，所述装置包括第一获取单元701、第一处理单元702、第二处理单元703、第三处理单元704和第四处理单元705。
第一获取单元701，用于获取包含用户行为的视频信息和终端设备的输出图像，所述用户行为是指用户的手部动作；
第一处理单元702，用于将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的动作模拟曲线；
第二处理单元703，用于将所述终端设备的输出图像发送至图像识别模块进行识别和标记，得到终端设备的输出图像内的每个目标的标签信息；
第三处理单元704，用于基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值；
第四处理单元705，用于将所述动作模拟曲线、所述标签信息和所述关联度值发送至知识图谱生成模型进行处理，得到基于用户行为的知识图谱。
在本公开的一种具体实施方式中，所述第一处理单元702包括第一处理子单元7021、第二处理子单元7022、第三处理子单元7023、第一计算子单元7024和第四处理子单元7025。
第一处理子单元7021，用于将所述包含用户信息的视频信息中的每帧图像进行目标识别，得到每帧图像内的手部图像；
第二处理子单元7022，用于基于所述包含用户行为的视频信息中的每帧图像建立二维空间直角坐标系，得到至少一个二维空间直角坐标系；
第三处理子单元7023，用于将所述每帧图像内的手部图像进行关键点处理，得到第一子信息，所述第一子信息包括每帧图像内的手部图像的关键点信息；
第一计算子单元7024，用于将所述第一子信息分别发送至对应的二维空间直角坐标系内进行坐标计算，得到每个所述第一子信息的坐标信息；
第四处理子单元7025，用于基于贝塞尔曲线对每个所述第一子信息的坐标信息运动轨迹拟合，得到用户行为的动作模拟曲线。
在本公开的一种具体实施方式中，所述第三处理子单元7023包括第五处理子单元70231、第六处理子单元70232和第二计算子单元70233。
第五处理子单元70231，用于将所述每帧图像内的手部图像内所有的像素点进行二值化处理，得到二值化的用户手部图像；
第六处理子单元70232，用于将所述二值化的用户手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
第二计算子单元70233，用于基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。
在本公开的一种具体实施方式中，所述第三处理单元704包括第七处理子单元7041、第八处理子单元7042、第三计算子单元7043、第四计算子单元7044和第九处理子单元7045。
第七处理子单元7041，用于将所述动作模拟曲线和所述标签信息按照时间关系进行一一对应，得到每个所述动作模拟曲线对应的标签信息；
第八处理子单元7042，用于将所有的所述动作模拟曲线对应的标签信息基于贝叶斯方法进行统计处理，得到每个所述标签信息在所述终端设备的输出图像内的置信度；
第三计算子单元7043，用于基于所述动作模拟曲线对应的标签信息和所有的所述标签信息，得到所述动作模拟曲线对应的标签信息占所有的所述标签信息的权重值；
第四计算子单元7044，用于基于所述置信度和所述权重值计算所述用户行为的动作模拟曲线和所述标签信息的匹配度；
第九处理子单元7045，用于基于所述用户行为的动作模拟曲线和所述标签信息的匹配度，得到所述用户行为的动作模拟曲线和所述标签信息的关联度值。
在本公开的一种具体实施方式中，所述第九处理子单元7045包括第一聚类子单元70451、第二聚类子单元70452、第一判断子单元70453和第二判断子单元70454。
第一聚类子单元70451，用于将所述用户行为的动作模拟曲线和所述标签信息的匹配度进行聚类处理，得到每个所述匹配度位于的聚类簇；
第二聚类子单元70452，用于对所有的所述聚类簇进行分析，将包含最大阈值范围的聚类簇的所有聚类点的平均值作为阈值；
第一判断子单元70453，用于将小于或等于所述阈值的匹配度值和所述小于所述阈值的匹配度值对应的标签信息进行删除，得到大于所述阈值的匹配度值；
第二判断子单元70454，用于将大于所述阈值的匹配度值作为所述大于所述阈值的匹配度值对应的动作模拟曲线和标签信息的关联度值。
需要说明的是，关于上述实施例的基于用户行为的知识图谱生成方法，其中各个模块执行操作的具体方式已经在有关该运行步骤的实施例中进行了详细描述，此处将不做详细阐述说明。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于用户行为的知识图谱生成方法，其特征在于，包括：
获取包含用户行为的视频信息和终端设备的输出图像，所述用户行为是指用户的手部动作；
将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的动作模拟曲线；
将所述终端设备的输出图像发送至图像识别模块进行识别和标记，得到终端设备的输出图像内的每个目标的标签信息；
基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值；
将所述动作模拟曲线、所述标签信息和所述关联度值发送至知识图谱生成模型进行处理，得到基于用户行为的知识图谱。
2.根据权利要求1所述的基于用户行为的知识图谱生成方法，其特征在于，将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的每个动作信息，包括：
将所述包含用户信息的视频信息中的每帧图像进行目标识别，得到每帧图像内的手部图像；
基于所述包含用户行为的视频信息中的每帧图像建立二维空间直角坐标系，得到至少一个二维空间直角坐标系；
将所述每帧图像内的手部图像进行关键点处理，得到第一子信息，所述第一子信息包括每帧图像内的手部图像的关键点信息；
将所述第一子信息分别发送至对应的二维空间直角坐标系内进行坐标计算，得到每个所述第一子信息的坐标信息；
基于贝塞尔曲线对每个所述第一子信息的坐标信息运动轨迹拟合，得到用户行为的动作模拟曲线。
3.根据权利要求2所述的基于用户行为的知识图谱生成方法，其特征在于，将所述每帧图像内的手部图像进行关键点处理，得到第一子信息，包括：
将所述每帧图像内的手部图像内所有的像素点进行二值化处理，得到二值化的用户手部图像；
将所述二值化的用户手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。
4.根据权利要求1所述的基于用户行为的知识图谱生成方法，其特征在于，基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值，包括：
将所述动作模拟曲线和所述标签信息按照时间关系进行一一对应，得到每个所述动作模拟曲线对应的标签信息；
将所有的所述动作模拟曲线对应的标签信息基于贝叶斯方法进行统计处理，得到每个所述标签信息在所述终端设备的输出图像内的置信度；
基于所述动作模拟曲线对应的标签信息和所有的所述标签信息，得到所述动作模拟曲线对应的标签信息占所有的所述标签信息的权重值；
基于所述置信度和所述权重值计算所述用户行为的动作模拟曲线和所述标签信息的匹配度；
基于所述用户行为的动作模拟曲线和所述标签信息的匹配度，得到所述用户行为的动作模拟曲线和所述标签信息的关联度值。
5.根据权利要求4所述的基于用户行为的知识图谱生成方法，其特征在于，基于所述用户行为的动作模拟曲线和所述标签信息的匹配度，得到所述用户行为的动作模拟曲线和所述标签信息的关联度值，包括：
将所述用户行为的动作模拟曲线和所述标签信息的匹配度进行聚类处理，得到每个所述匹配度位于的聚类簇；
对所有的所述聚类簇进行分析，将包含最大阈值范围的聚类簇的所有聚类点的平均值作为阈值；
将小于或等于所述阈值的匹配度值和所述小于所述阈值的匹配度值对应的标签信息进行删除，得到大于所述阈值的匹配度值；
将大于所述阈值的匹配度值作为所述大于所述阈值的匹配度值对应的动作模拟曲线和标签信息的关联度值。
6.一种基于用户行为的知识图谱生成装置，其特征在于，包括：
第一获取单元，用于获取包含用户行为的视频信息和终端设备的输出图像，所述用户行为是指用户的手部动作；
第一处理单元，用于将所述包含用户行为的视频信息发送至动作识别模型进行处理，得到用户行为的动作模拟曲线；
第二处理单元，用于将所述终端设备的输出图像发送至图像识别模块进行识别和标记，得到终端设备的输出图像内的每个目标的标签信息；
第三处理单元，用于基于所述动作模拟曲线和所述标签信息，确定所述用户行为的动作模拟曲线和所述标签信息的关联度值；
第四处理单元，用于将所述动作模拟曲线、所述标签信息和所述关联度值发送至知识图谱生成模型进行处理，得到基于用户行为的知识图谱。
7.根据权利要求6所述的基于用户行为的知识图谱生成装置，其特征在于，所述装置包括：
第一处理子单元，用于将所述包含用户信息的视频信息中的每帧图像进行目标识别，得到每帧图像内的手部图像；
第二处理子单元，用于基于所述包含用户行为的视频信息中的每帧图像建立二维空间直角坐标系，得到至少一个二维空间直角坐标系；
第三处理子单元，用于将所述每帧图像内的手部图像进行关键点处理，得到第一子信息，所述第一子信息包括每帧图像内的手部图像的关键点信息；
第一计算子单元，用于将所述第一子信息分别发送至对应的二维空间直角坐标系内进行坐标计算，得到每个所述第一子信息的坐标信息；
第四处理子单元，用于基于贝塞尔曲线对每个所述第一子信息的坐标信息运动轨迹拟合，得到用户行为的动作模拟曲线。
8.根据权利要求7所述的基于用户行为的知识图谱生成装置，其特征在于，所述装置包括：
第五处理子单元，用于将所述每帧图像内的手部图像内所有的像素点进行二值化处理，得到二值化的用户手部图像；
第六处理子单元，用于将所述二值化的用户手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
第二计算子单元，用于基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。
9.根据权利要求6所述的基于用户行为的知识图谱生成装置，其特征在于，所述装置包括：
第七处理子单元，用于将所述动作模拟曲线和所述标签信息按照时间关系进行一一对应，得到每个所述动作模拟曲线对应的标签信息；
第八处理子单元，用于将所有的所述动作模拟曲线对应的标签信息基于贝叶斯方法进行统计处理，得到每个所述标签信息在所述终端设备的输出图像内的置信度；
第三计算子单元，用于基于所述动作模拟曲线对应的标签信息和所有的所述标签信息，得到所述动作模拟曲线对应的标签信息占所有的所述标签信息的权重值；
第四计算子单元，用于基于所述置信度和所述权重值计算所述用户行为的动作模拟曲线和所述标签信息的匹配度；
第九处理子单元，用于基于所述用户行为的动作模拟曲线和所述标签信息的匹配度，得到所述用户行为的动作模拟曲线和所述标签信息的关联度值。
10.根据权利要求9所述的基于用户行为的知识图谱生成装置，其特征在于，所述装置包括：
第一聚类子单元，用于将所述用户行为的动作模拟曲线和所述标签信息的匹配度进行聚类处理，得到每个所述匹配度位于的聚类簇；
第二聚类子单元，用于对所有的所述聚类簇进行分析，将包含最大阈值范围的聚类簇的所有聚类点的平均值作为阈值；
第一判断子单元，用于将小于或等于所述阈值的匹配度值和所述小于所述阈值的匹配度值对应的标签信息进行删除，得到大于所述阈值的匹配度值；
第二判断子单元，用于将大于所述阈值的匹配度值作为所述大于所述阈值的匹配度值对应的动作模拟曲线和标签信息的关联度值。
CN202210945932.8A 2022-08-08 2022-08-08 一种基于用户行为的知识图谱生成方法及装置 Active CN115357725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210945932.8A CN115357725B (zh) 2022-08-08 2022-08-08 一种基于用户行为的知识图谱生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210945932.8A CN115357725B (zh) 2022-08-08 2022-08-08 一种基于用户行为的知识图谱生成方法及装置

Publications (2)

Publication Number Publication Date
CN115357725A true CN115357725A (zh) 2022-11-18
CN115357725B CN115357725B (zh) 2023-04-18

Family

ID=84033057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210945932.8A Active CN115357725B (zh) 2022-08-08 2022-08-08 一种基于用户行为的知识图谱生成方法及装置

Country Status (1)

Country Link
CN (1) CN115357725B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536861A (zh) * 2018-04-19 2018-09-14 中国科学院重庆绿色智能技术研究院 一种医疗指南的交互式培训方法及其系统
CN111192654A (zh) * 2019-12-30 2020-05-22 北京左医健康技术有限公司 基于知识图谱的用药指导查询方法及装置
CN111444982A (zh) * 2020-04-17 2020-07-24 文思海辉智科科技有限公司 信息处理方法、装置、电子设备及可读存储介质
CN113434704A (zh) * 2021-03-23 2021-09-24 汪威 基于大数据的知识图谱处理方法和云计算系统
US11177937B1 (en) * 2018-03-08 2021-11-16 Anonyome Labs, Inc. Apparatus and method for establishing trust of anonymous identities
CN114780753A (zh) * 2022-05-18 2022-07-22 安徽大学 基于知识图谱的对话推荐方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11177937B1 (en) * 2018-03-08 2021-11-16 Anonyome Labs, Inc. Apparatus and method for establishing trust of anonymous identities
CN108536861A (zh) * 2018-04-19 2018-09-14 中国科学院重庆绿色智能技术研究院 一种医疗指南的交互式培训方法及其系统
CN111192654A (zh) * 2019-12-30 2020-05-22 北京左医健康技术有限公司 基于知识图谱的用药指导查询方法及装置
CN111444982A (zh) * 2020-04-17 2020-07-24 文思海辉智科科技有限公司 信息处理方法、装置、电子设备及可读存储介质
CN113434704A (zh) * 2021-03-23 2021-09-24 汪威 基于大数据的知识图谱处理方法和云计算系统
CN114780753A (zh) * 2022-05-18 2022-07-22 安徽大学 基于知识图谱的对话推荐方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115357725B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109858390B (zh) 基于端到端时空图学习神经网络的人体骨架行为识别方法
CN104573706B (zh) 一种物体图像识别方法及其系统
CN110489453B (zh) 基于大数据日志分析的用户游戏实时推荐方法及系统
CN108537269B (zh) 一种弱交互式的物体检测深度学习方法及其系统
WO2023125119A1 (zh) 时空动作检测方法、装置、电子设备及存储介质
CN115223239B (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN110737714A (zh) 基于计算机视觉的电竞数据可视化系统及方法
CN113780365A (zh) 样本生成方法和装置
Wang et al. Multi-scale aggregation network for temporal action proposals
CN115357725B (zh) 一种基于用户行为的知识图谱生成方法及装置
CN111506832A (zh) 一种基于块矩阵补全的异构对象补全方法
CN110636322A (zh) 多媒体数据的处理方法、装置、智能终端及存储介质
Yamada et al. Covariate shift adaptation for discriminative 3D pose estimation
Zhuang et al. Action recognition with motion diversification and dynamic selection
CN115631008A (zh) 商品推荐方法、装置、设备及介质
CN113192108A (zh) 一种针对视觉跟踪模型的人在回路训练方法及相关装置
CN113221824A (zh) 基于个体模型生成的人体姿态识别方法
CN112667771A (zh) 答案序列的确定方法及装置
CN110019902A (zh) 一种基于特征匹配的家居图片搜索方法及装置
CN113496222B (zh) 基于无标签图表数据的模式识别方法、装置和计算机设备
CN113537101B (zh) 人体属性的识别方法、装置、计算机设备及存储介质
CN108470181A (zh) 一种基于加权序列关系的Web服务替换方法
CN117440182B (zh) 一种基于视频内容分析和用户标签的智能推荐方法及系统
CN117390175B (zh) 基于bert的智能家居使用事件抽取方法
CN110619344B (zh) 一种基于ssd和时序模型的微博好友推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant