CN113822211A - 一种交互人信息获取方法 - Google Patents

一种交互人信息获取方法 Download PDF

Info

Publication number
CN113822211A
CN113822211A CN202111138654.7A CN202111138654A CN113822211A CN 113822211 A CN113822211 A CN 113822211A CN 202111138654 A CN202111138654 A CN 202111138654A CN 113822211 A CN113822211 A CN 113822211A
Authority
CN
China
Prior art keywords
frame
interaction
interactive
human body
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111138654.7A
Other languages
English (en)
Other versions
CN113822211B (zh
Inventor
孙龙建
毕延洁
刘忠轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruisi Aotu Intelligent Technology Co ltd
Shandong Ruisi Aotu Intelligent Technology Co ltd
Original Assignee
Beijing Ruisi Aotu Intelligent Technology Co ltd
Shandong Ruisi Aotu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruisi Aotu Intelligent Technology Co ltd, Shandong Ruisi Aotu Intelligent Technology Co ltd filed Critical Beijing Ruisi Aotu Intelligent Technology Co ltd
Priority to CN202111138654.7A priority Critical patent/CN113822211B/zh
Publication of CN113822211A publication Critical patent/CN113822211A/zh
Application granted granted Critical
Publication of CN113822211B publication Critical patent/CN113822211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种交互人信息获取方法,包括:基于深度学习技术对RGB图像进行人脸检测与人体检测;基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配;将最优匹配结果进行组合,得到交互人;基于目标跟踪算法,对交互人进行目标跟踪,获得交互人的id信息;根据获得的id信息在地址数据库中进行检索,查询是否存在与id信息相关的交互人的历史交互记录;若存在,根据历史交互记录为交互人提供针对性服务;否则,按照正常流程为交互人提供一般性服务。采用人脸检测和人体检测结果,进行交互人信息合成,通过目标跟踪算法保持对交互人的短时有效记忆,当交互人非首次进行交互时,通过进行数据的关联查找,为当前交互人提供相关服务。

Description

一种交互人信息获取方法
技术领域
本发明涉及机器人技术领域,特别涉及一种交互人信息获取方法。
背景技术
随着人工智能及硬件技术的发展,机器人的市场也越来越成熟,当前已有多种类型的机器人在实际场景中落地。然而,目前市面上的机器人功能同质化严重,如何在激烈的市场中崭露头角,无疑机器人提供服务的质量及用户体验无疑是最好的口碑。
当前市场中的机器人多数已经被程序化,服务流程已经预先设定,所以当出现目标交互人时,只能一遍遍地重复提供相同的服务,这就导致机器人的体验效果大打折扣,相比机器人,顾客可能更愿意找实实在在的人服务,而不是一部机械的机器。这就大大远离了开发机器人的初衷,其更希望机器人在某种程度上能够绝大部分替代人,在保障能正常完成服务工作的同时,还不能给人一种违和感,因此,本文提出了一种交互人信息获取方法。
发明内容
本发明提供一种交互人信息获取方法,用以采用人脸检测和人体检测结果,进行交互人信息的合成,并通过目标跟踪算法保持对交互人的短时有效记忆,当交互人非首次进行交互时,通过进行数据的关联查找,为当前交互人提供相关服务。
本发明提供一种交互人信息获取方法,包括:
基于深度学习技术对RGB图像进行人脸检测与人体检测;
基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配;
将最优匹配结果进行组合,得到交互人;
基于目标跟踪算法,对所述交互人进行目标跟踪,获得所述交互人的id信息;
根据获得的所述id信息在地址数据库中进行检索,查询是否存在与所述id信息相关的所述交互人的历史交互记录;
若存在,根据所述历史交互记录为所述交互人提供针对性服务;
否则,按照正常流程为所述交互人提供一般性服务。
优选地,基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配的步骤包括:
获取人脸检测结果Fi=(Fxi,Fyi,Fwi,Fhi),同时,获取人体检测结果Bi=(Bxi,Byi,Bwi,Bhi);
基于获取的人脸检测结果Fi=(Fxi,Fyi,Fwi,Fhi),计算人脸检测结果的中心点坐标Fci=(Fcxi,Fcyi);
同时,基于获取的人体检测结果Bi=(Bxi,Byi,Bwi,Bhi),计算人体检测结果的中心点坐标Bci=(Bcxi,Bcyi);
基于二分图匹配算法以及Fci=(Fcxi,Fcyi)和Bci=(Bcxi,Bcyi)求解代价矩阵costM*N,分别得到人脸检测结果以及人体检测结果的最优匹配;
Figure BDA0003283172610000021
其中,Fi表示第i个人脸框对应的人脸检测结果;Fxi表示第i个人脸框左上角坐标x;Fyi表示第i个人脸框左上角坐标y;Fwi:表示第i个人脸框的宽度;Fh表示人脸框的高度;
Bi表示第i个人体框对应的人体检测结果;Bxi表示第i个人体框左上角坐标x;Byi表示第i个人体框左上角坐标y;Bwi表示第i个人体框的宽度;Bhi表示第i个人体框的高度;
Fcxi表示第i个人脸框的中心坐标x,Fcyi表示第i个人脸框的中心坐标y;Bcxi表示第i个人体框的中心坐标x,Bcyi表示第i个人体框的中心坐标y;costM*N表示代价矩阵,且为M行N列的矩阵,M为人脸检测结果的数目,N为人体检测结果的数目;Fcxm表示第m个人脸框的中心坐标x;Bcxn表示第n个人体框的中心坐标x;Bwn表示第n个人体框的宽度。
优选地,基于深度学习技术对RGB图像进行人脸检测与人体检测的步骤包括:
捕捉预设视频中的连续帧,并采集所述连续帧中的当前帧图像;
将所述当前帧图像转换为RGB图像,并判断转换的RGB图像是否合格;
若判定转换的RGB图像合格,则触发检测请求指令,并基于所述检测请求指令从深度学习框架的集群服务器中,调取与所述检测请求指令相关的检测指标数据包;
基于所述检测指标数据包,对人脸区域的人脸关键点进行检测,获得所述人脸区域的关键特征点位置;
同时,基于所述检测指标数据包,对人体区域的人体关键点进行检测,获得所述人体区域的关键特征点位置;
将所述人脸区域的关键特征点位置和人体区域的关键特征点位置映射到深度学习网络上进行训练,训练获得深度检测网络;
将合格的RGB图像,输入到所述深度检测网络中进行人脸检测以及人体检测;
若判定转换的RGB图像不合格,则进行第一报警警示,并重新对所述当前帧图像进行RGB图像的转换。
优选地,训练获得深度检测网络的过程中,还包括:
捕捉第一历史视频帧、第二历史视频帧以及第三历史视频帧,且所述第一历史视频帧、第二历史视频帧以及第三历史视频帧为相邻帧;
提取所述第一历史视频帧的第一帧特征、第二历史视频帧的第二帧特征、第三历史视频帧的第三帧特征;
确定所述第一帧特征、第二帧特征以及第三帧特征对应的两两之间的特征差异集合W={w12,w13,w23};
其中,w12表示第一帧特征与第二帧特征的特征差异信息;w13表示第一帧特征与第三帧特征的特征差异信息;w23表示第二帧特征与第三帧特征的特征差异信息;
判断所述特征差异集合W中的每个特征差异信息是否在对应的预设差异范围内,若是,保持训练获得的深度检测网络不变;
否则,提取异常特征差异信息对应的两个帧特征,并对比分析所述两个帧特征中的每个像素点,获得像素差异;
将所述像素差异导入所述像素检验数据库中,调取相关的像素修正单元;
同时,基于所述像素修正单元以及预先预测的与所述异常特征差异信息相关的预测修正单元,对所述像素差异进行同步修正;
同时,基于同步修正结果对训练获得的深度检测网络进行优化,获得优化后的深度检测网络。
优选地,将最优匹配结果进行组合,得到交互人的步骤包括:
从所述最优匹配结果中提取人脸匹配度高于人脸预设度的最优人脸信息;
从所述最优匹配结果中提取人体匹配度高于人体预设度的最优人体信息;
将所述最优人脸信息与最优人体信息进行组合,获得交互人。
优选地,基于目标跟踪算法,对所述交互人进行目标跟踪的过程中包括:
基于标签数据库,向所述交互人设定唯一标签,且所述唯一标签覆盖在所述交互人的每个可执行程序中;
检测所述交互人基于所述可执行程序的目标交互轨迹的轨迹偏移量;
同时,检测目标驱动函数对所述交互人在基于所述可执行程序进行交互时,对应目标驱动的驱动偏移量;
根据所述轨迹偏移量对所述驱动偏移量进行校正,同时,基于校正后的目标驱动函数,对所述目标交互轨迹进行修正;
同时,根据修正后的目标交互轨迹以及对应的在可执行程序中的唯一标签,确定所述交互人的id信息。
优选地,基于目标跟踪算法,对所述交互人进行目标跟踪的过程中,还包括:
采集预设视频中的连续p帧图像,确定每帧图像的目标区域,确定所述目标区域的区域像素数量是否大于预设阈值;
若是,按照预设长宽比缩小所述p帧图像,并基于全局遍历法,再次获取所述p帧图像的目标区域;
否则,对所述p帧图像进行局部区域划分,并基于局部遍历法,再次获取所述p帧图像的目标区域;
确定基于再次获取的目标区域的关键节点;
依据合格的p帧图像,建立基于第1帧图像中的每个关键节点在剩余连续p-1帧图像内的交互轨迹条;
设定特定标识在第1帧图像中的关键节点上,且对所述特定标识进行动态跟踪,当第2帧图像的关键节点与第1帧图像中的关键节点有关联,则建立有关联的关键节点之间的动态跟踪轨迹条,直到基于合格的p帧图像全部建立完成;
否则,建立第2帧图像中的独立关键节点与第3帧图像关联的关键节点的动态跟踪轨迹条,直到基于合格的p-1帧图像全部建立完成;
获取所有的动态跟踪轨迹条,构成轨迹集合;
基于轨迹集合,确定所述交互人的交互属性,并根据所述交互属性,向所述交互人提供与交互属相对应的交互服务。
优选地,根据所述历史交互记录为所述交互人提供针对性服务的过程中包括:
对所述历史交互记录进行聚类处理,获得k类交互记录;
Figure BDA0003283172610000061
其中,b1∈[1,B],b2∈[1,B],b1≠b2;
Figure BDA0003283172610000062
Figure BDA0003283172610000063
其中,ρb1表示历史交互记录中的第b1个交互记录点的局部交互密度;db1-db2表示历史交互记录中的第b1个交互记录点与第b2个交互记录点的点距离;χ表示所述点距离的交互密度函数;B表示所述历史交互记录中的交互记录点的总个数;ρ表示标准局部交互密度;A1表示局部交互密度小于标准局部交互密度的集合;A2表示局部交互密度大于或等于标准局部交互密度的集合;A表示局部交互密度与标准局部交互密度进行比较的集合结果;H(A2)表示A2中存在的局部交互密度大于或等于标准局部交互密度的交互记录点的个数;rand表示随机函数;
确定每类交互记录中的交互权重值βg,并根据所述交互权重值βg,确定所述交互人的交互值U,根据所述交互值U,确定所述交互人的交互服务;
Figure BDA0003283172610000064
其中,
Figure BDA0003283172610000065
表示第g类交互记录的交互信息;mxa(A2)表示基于A2集合的最大局部交互密度;min(A2)表示基于A2集合的最小局部交互密度;
按照所述交互服务为所述交互人提供针对性服务。
本发明的有益效果是:
1、采用人脸检测和人体检测结果,进行交互人信息的合成,并通过目标跟踪算法保持对交互人的短时有效记忆,当交互人非首次进行交互时,通过进行数据的关联查找,为当前交互人提供相关服务。
2、通过像素修正单元与预测修正单元相结合的方式,对像素差异进行同步修正,保证其的可靠性,优化深度检测网络,为后续进行检测提供了有效性。
3、通过比较分析像素点的数量,对其进行有效调节,其次通过全局遍历法以及局部遍历法确定目标区域,并设定特定标识在对应的关键节点上,为后续获取动态跟踪轨迹提供便利,通过确定交互属性,便于智能向交互人提供交互服务,进一步提高其的智能化。
4、通过对历史交互记录进行聚类分析,确定k类交互记录,其中,通过保留合格的交互集合,为后续进行合格类交互记录的交互值,提供交互基础,且为最后获取的针对性服务提供有效基础,确保对交互人的针对性服务。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种交互人信息获取方法的流程图;
图2为本发明实施例中最优匹配结果的结构图;
图3为本发明实施例中机器人与交互人的关系图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供一种交互人信息获取方法,如图1所示,包括:
步骤1:基于深度学习技术对RGB图像进行人脸检测与人体检测;
步骤2:基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配;
步骤3:将最优匹配结果进行组合,得到交互人;
步骤4:基于目标跟踪算法,对所述交互人进行目标跟踪,获得所述交互人的id信息;
步骤5:根据获得的所述id信息在地址数据库中进行检索,查询是否存在与所述id信息相关的所述交互人的历史交互记录;
若存在,根据所述历史交互记录为所述交互人提供针对性服务;
否则,按照正常流程为所述交互人提供一般性服务。
该实施例中,通过最优匹配,便于找到每个人脸对应着的人体,并把组合后的人体和人脸的信息共同作为一个人的完整信息;
该实施例中,将最优匹配结果进行组合,得到交互人,如P1(F0,B2)表示经二分图匹配算法得到F0和B2是最优匹配,即F0和B2表示的是同一个人的不同检测部位,其中人脸检测结果为F0,人体检测结果为B2
对目标人P(F,B)进行目标跟踪,有了人的整体信息,可以在保证目标人正对,背对或者侧对机器人的时候,机器人都能很好地保持对目标的跟踪。
根据跟踪得到的id信息在数据库中进行检索,查询是否有当前id的交互记录,如果有则根据过往的交互记录提供针对性服务,如果没有,则按照正常流程提供一般性的服务。如此,机器人不仅能在目标人正对时被动地开启服务,还能根据跟踪到的交互人整体信息及交互记录信息主动去靠近和提供服务,这样就大大提升了机器人的交互体验及服务的转化率,给人的感觉也更加灵活和富有灵性。
上述技术方案的有益效果是:采用人脸检测和人体检测结果,进行交互人信息的合成,并通过目标跟踪算法保持对交互人的短时有效记忆,当交互人非首次进行交互时,通过进行数据的关联查找,为当前交互人提供相关服务。
本发明提供一种交互人信息获取方法,基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配的步骤包括:
获取人脸检测结果Fi=(Fxi,Fyi,Fwi,Fhi),同时,获取人体检测结果Bi=(Bxi,Byi,Bwi,Bhi);
基于获取的人脸检测结果Fi=(Fxi,Fyi,Fwi,Fhi),计算人脸检测结果的中心点坐标Fci=(Fcxi,Fcyi);
同时,基于获取的人体检测结果Bi=(Bxi,Byi,Bwi,Bhi),计算人体检测结果的中心点坐标Bci=(Bcxi,Bcyi);
基于二分图匹配算法以及Fci=(Fcxi,Fcyi)和Bci=(Bcxi,Bcyi)求解代价矩阵costM*N,分别得到人脸检测结果以及人体检测结果的最优匹配;
Figure BDA0003283172610000091
其中,Fi表示第i个人脸框对应的人脸检测结果;Fxi表示第i个人脸框左上角坐标x;Fyi表示第i个人脸框左上角坐标y;Fwi:表示第i个人脸框的宽度;Fh表示人脸框的高度;
Bi表示第i个人体框对应的人体检测结果;Bxi表示第i个人体框左上角坐标x;Byi表示第i个人体框左上角坐标y;Bwi表示第i个人体框的宽度;Bhi表示第i个人体框的高度;
Fcxi表示第i个人脸框的中心坐标x,Fcyi表示第i个人脸框的中心坐标y;Bcxi表示第i个人体框的中心坐标x,Bcyi表示第i个人体框的中心坐标y;costM*N表示代价矩阵,且为M行N列的矩阵,M为人脸检测结果的数目,N为人体检测结果的数目;Fcxm表示第m个人脸框的中心坐标x;Bcxn表示第n个人体框的中心坐标x;Bwn表示第n个人体框的宽度。
上述技术方案的有益效果是:通过计算获得中心点坐标,以及二分图匹配算法,便于求解出代价矩阵,进而实现最优匹配。
本发明提供一种交互人信息获取方法,基于深度学习技术对RGB图像进行人脸检测与人体检测的步骤包括:
捕捉预设视频中的连续帧,并采集所述连续帧中的当前帧图像;
将所述当前帧图像转换为RGB图像,并判断转换的RGB图像是否合格;
若判定转换的RGB图像合格,则触发检测请求指令,并基于所述检测请求指令从深度学习框架的集群服务器中,调取与所述检测请求指令相关的检测指标数据包;
基于所述检测指标数据包,对人脸区域的人脸关键点进行检测,获得所述人脸区域的关键特征点位置;
同时,基于所述检测指标数据包,对人体区域的人体关键点进行检测,获得所述人体区域的关键特征点位置;
将所述人脸区域的关键特征点位置和人体区域的关键特征点位置映射到深度学习网络上进行训练,训练获得深度检测网络;
将合格的RGB图像,输入到所述深度检测网络中进行人脸检测以及人体检测;
若判定转换的RGB图像不合格,则进行第一报警警示,并重新对所述当前帧图像进行RGB图像的转换。
该实施例中,捕捉预设视频中(一段人机交互的高清视频)的连续帧(例如,高清视频为10s,获取其中6-8s连续帧的内容),并采集连续帧中的当前帧图像(如第7s对应的帧节作为当前帧图像);
该实施例中,判断转换的RGB图像是否合格,是为了后续进行人脸检测和人体检测。
该实施例中,获得人脸区域的关键特征点位置,如,眉毛、眼睛、鼻子、嘴巴等关键点位置,人体区域的关键特征点位置,如,胳膊、腿等关键点位置。
该实施例中,将人脸区域的关键特征点位置和人体区域的关键特征点位置映射到深度学习网络上进行训练,训练获得深度检测网络,是为了方便后续进行检测,提供检测基础。
该实施例中,进行第一报警警示是为了表示该RGB图像不合格,需要重新对当前帧图像进行RGB图像的转换。
上述技术方案有益效果是:判断转换的RGB图像是否合格,是为了后续进行人脸检测和人体检测提供检测基础,通过从集群服务器中调取检测指标数据包,便于确定人体以及人脸的关键点位置。
本发明提供一种交互人信息获取方法,训练获得深度检测网络的过程中,还包括:
捕捉第一历史视频帧、第二历史视频帧以及第三历史视频帧,且所述第一历史视频帧、第二历史视频帧以及第三历史视频帧为相邻帧;
提取所述第一历史视频帧的第一帧特征、第二历史视频帧的第二帧特征、第三历史视频帧的第三帧特征;
确定所述第一帧特征、第二帧特征以及第三帧特征对应的两两之间的特征差异集合W={w12,w13,w23};
其中,w12表示第一帧特征与第二帧特征的特征差异信息;w13表示第一帧特征与第三帧特征的特征差异信息;w23表示第二帧特征与第三帧特征的特征差异信息;
判断所述特征差异集合W中的每个特征差异信息是否在对应的预设差异范围内,若是,保持训练获得的深度检测网络不变;
否则,提取异常特征差异信息对应的两个帧特征,并对比分析所述两个帧特征中的每个像素点,获得像素差异;
将所述像素差异导入所述像素检验数据库中,调取相关的像素修正单元;
同时,基于所述像素修正单元以及预先预测的与所述异常特征差异信息相关的预测修正单元,对所述像素差异进行同步修正;
同时,基于同步修正结果对训练获得的深度检测网络进行优化,获得优化后的深度检测网络。
该实施例中,捕捉的第一历史视频帧、第二历史视频帧以及第三历史视频帧是相邻帧的,如,一段连续的历史交互视频中的3-5s的视频,且每秒分别对应一个帧。
该实施例中,提取的不同帧的帧特征,是为了判别两两帧之间的差异,为后续是否优化深度检测网络提供基础,
当需要优化时,包括两个步骤,一是通过提取异常特征差异信息对应的两个帧特征,并对比分析两个帧特征中的每个像素点,获得像素差异,将像素差异导入像素检验数据库中,调取相关的像素修正单元;二是,获取预先预测的与异常特征差异信息相关的预测修正单元;
如,异常特征差异信息中的像素点a1存在异常,则获取到与a1相关的像素修正单元,获取的预测修正单元是基于根据异常特征差异预先预估的,在执行提取异常特征差异信息之前,进而,通过像素修正单元和预测修正单元,对a1进行有效修正。
上述技术方案的有益效果是:通过像素修正单元与预测修正单元相结合的方式,对像素差异进行同步修正,保证其的可靠性,优化深度检测网络,为后续进行检测提供了有效性。
本发明提供一种交互人信息获取方法,将最优匹配结果进行组合,得到交互人的步骤包括:
从所述最优匹配结果中提取人脸匹配度高于人脸预设度的最优人脸信息;
从所述最优匹配结果中提取人体匹配度高于人体预设度的最优人体信息;
将所述最优人脸信息与最优人体信息进行组合,获得交互人。
该实施例中,如图2所示,例如,最优匹配结果为同个用户的人脸与人体的相关信息集合,如:D={d11,d12,d13,d14,d21,d22,d23,d24},其中,d11~d14表示相关人脸信息,d21~d24表示相关人体信息,且分别获取其中最优,如d12为人脸最优,d23为人体最优,则将d12与d23进行组合,获得交互人。
该实施例中,人脸预设度以及人体预设度是可以人为设定的。
上述技术方案的有益效果是:基于人脸与人体两者最优的组合,便于有效的获取交互人。
本发明提供一种交互人信息获取方法,基于目标跟踪算法,对所述交互人进行目标跟踪的过程中包括:
基于标签数据库,向所述交互人设定唯一标签,且所述唯一标签覆盖在所述交互人的每个可执行程序中;
检测所述交互人基于所述可执行程序的目标交互轨迹的轨迹偏移量;
同时,检测目标驱动函数对所述交互人在基于所述可执行程序进行交互时,对应目标驱动的驱动偏移量;
根据所述轨迹偏移量对所述驱动偏移量进行校正,同时,基于校正后的目标驱动函数,对所述目标交互轨迹进行修正;
同时,根据修正后的目标交互轨迹以及对应的在可执行程序中的唯一标签,确定所述交互人的id信息。
该实施例中,例如,交互人是存在6个可执行程序在内的,且在6个可执行程序中都补充添加唯一标签,有效保证id信息的获取;
该实施例中,检测交互人基于可执行程序的轨迹偏移量以及驱动偏移量,便于可以在保证交互人在移动过程中,不论是处于正对,背对或者侧对机器人的时候,可以对其进行修正,确保机器人都能很好地进行目标跟踪。
如图3所示,例如在区域A中,机器人当前所处位置为a1位置的北方向,交互人当前所处位置为a2位置的东方向,且此时,a2位置还与移动轨迹C之间存轨迹偏移量以及驱动偏移量,因此,需要将机器人当前所处位置为a1位置的北方向,调整为a1位置的东方向。
该实施例中,对交互轨迹进行修正后,其修正后的交互轨迹中是存在唯一标签在内的,便于确定id信息。
上述技术方案的有益效果是:通过设定唯一标签,并覆盖在可执行程序中,避免以为某个程序出现故障,导致不能及时了解该交互人的特定信息,通过该方式为后续确定交互人的id信息提供可靠基础;检测交互人基于可执行程序的轨迹偏移量以及驱动偏移量,便于可以在保证交互人在移动过程中,机器人都能很好地进行目标跟踪。
本发明提供一种交互人信息获取方法,基于目标跟踪算法,对所述交互人进行目标跟踪的过程中,还包括:
采集预设视频中的连续p帧图像,确定每帧图像的目标区域,确定所述目标区域的区域像素数量是否大于预设阈值;
若是,按照预设长宽比缩小所述p帧图像,并基于全局遍历法,再次获取所述p帧图像的目标区域;
否则,对所述p帧图像进行局部区域划分,并基于局部遍历法,再次获取所述p帧图像的目标区域;
确定基于再次获取的目标区域的关键节点;
依据合格的p帧图像,建立基于第1帧图像中的每个关键节点在剩余连续p-1帧图像内的交互轨迹条;
设定特定标识在第1帧图像中的关键节点上,且对所述特定标识进行动态跟踪,当第2帧图像的关键节点与第1帧图像中的关键节点有关联,则建立有关联的关键节点之间的动态跟踪轨迹条,直到基于合格的p帧图像全部建立完成;
否则,建立第2帧图像中的独立关键节点与第3帧图像关联的关键节点的动态跟踪轨迹条,直到基于合格的p-1帧图像全部建立完成;
获取所有的动态跟踪轨迹条,构成轨迹集合;
基于轨迹集合,确定所述交互人的交互属性,并根据所述交互属性,向所述交互人提供与交互属相对应的交互服务。
该实施例中,首先,确定连续p帧图像的目标区域的区域像素数量与预设阈值之间的关系,如果,区域像素数量为600时,此时,预设阈值为500,需要将其p帧图像进行缩小处理;其次,通过对应的全部遍历法和局部遍历法再次确定p帧图像的目标区域;然后,通过确定目标区域的关键节点,进而建立相关的多个交互轨迹条;最后,构建轨迹及合,并确定交互属性,进而基于机器人为交互人提供更好的交互服务。
该实施例中,关键节点,可以是人体中的胳膊姿态等;
该实施例中,例如,第1帧中存在关键节点1,2,3,4;第二关键节点中存在11,21,32,5,此时,关联的动态跟踪轨迹条为,1-11,2-21,3-32,4,5且基于5再重新建立新的动态跟踪轨迹条。
上述技术方案的有益效果是:通过比较分析像素点的数量,对其进行有效调节,其次通过全局遍历法以及局部遍历法确定目标区域,并设定特定标识在对应的关键节点上,为后续获取动态跟踪轨迹提供便利,通过确定交互属性,便于智能向交互人提供交互服务,进一步提高其的智能化。
本发明提供一种交互人信息获取方法,根据所述历史交互记录为所述交互人提供针对性服务的过程中包括:
对所述历史交互记录进行聚类处理,获得k类交互记录;
Figure BDA0003283172610000151
其中,b1∈[1,B],b2∈[1,B],b1≠b2;
Figure BDA0003283172610000153
Figure BDA0003283172610000152
其中,ρb1表示历史交互记录中的第b1个交互记录点的局部交互密度;db1-db2表示历史交互记录中的第b1个交互记录点与第b2个交互记录点的点距离;χ表示所述点距离的交互密度函数;B表示所述历史交互记录中的交互记录点的总个数;ρ表示标准局部交互密度;A1表示局部交互密度小于标准局部交互密度的集合;A2表示局部交互密度大于或等于标准局部交互密度的集合;A表示局部交互密度与标准局部交互密度进行比较的集合结果;H(A2)表示A2中存在的局部交互密度大于或等于标准局部交互密度的交互记录点的个数;rand表示随机函数;
确定每类交互记录中的交互权重值βg,并根据所述交互权重值βg,确定所述交互人的交互值U,根据所述交互值U,确定所述交互人的交互服务;
Figure BDA0003283172610000161
其中,
Figure BDA0003283172610000162
表示第g类交互记录的交互信息;mxa(A2)表示基于A2集合的最大局部交互密度;min(A2)表示基于A2集合的最小局部交互密度;
按照所述交互服务为所述交互人提供针对性服务。
上述技术方案的有益效果是:通过对历史交互记录进行聚类分析,确定k类交互记录,其中,通过保留合格的交互集合,为后续进行合格类交互记录的交互值,提供交互基础,且为最后获取的针对性服务提供有效基础,确保对交互人的针对性服务。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种交互人信息获取方法,其特征在于,包括:
基于深度学习技术对RGB图像进行人脸检测与人体检测;
基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配;
将最优匹配结果进行组合,得到交互人;
基于目标跟踪算法,对所述交互人进行目标跟踪,获得所述交互人的id信息;
根据获得的所述id信息在地址数据库中进行检索,查询是否存在与所述id信息相关的所述交互人的历史交互记录;
若存在,根据所述历史交互记录为所述交互人提供针对性服务;
否则,按照正常流程为所述交互人提供一般性服务。
2.如权利要求1所述的交互人信息获取方法,其特征在于,基于二分图匹配算法,分别对人脸检测结果以及人体检测结果进行最优匹配的步骤包括:
获取人脸检测结果Fi=(Fxi,Fyi,Fwi,Fhi),同时,获取人体检测结果Bi=(Bxi,Byi,Bwi,Bhi);
基于获取的人脸检测结果Fi=(Fxi,Fyi,Fwi,Fhi),计算人脸检测结果的中心点坐标Fci=(Fcxi,Fcyi);
同时,基于获取的人体检测结果Bi=(Bxi,Byi,Bwi,Bhi),计算人体检测结果的中心点坐标Bci=(Bcxi,Bcyi);
基于二分图匹配算法以及Fci=(Fcxi,Fcyi)和Bci=(Bcxi,Bcyi)求解代价矩阵costM*N,分别得到人脸检测结果以及人体检测结果的最优匹配;
Figure FDA0003283172600000011
其中,Fi表示第i个人脸框对应的人脸检测结果;Fxi表示第i个人脸框左上角坐标x;Fyi表示第i个人脸框左上角坐标y;Fwi:表示第i个人脸框的宽度;Fh表示人脸框的高度;
Bi表示第i个人体框对应的人体检测结果;Bxi表示第i个人体框左上角坐标x;Byi表示第i个人体框左上角坐标y;Bwi表示第i个人体框的宽度;Bhi表示第i个人体框的高度;
Fcxi表示第i个人脸框的中心坐标x,Fcyi表示第i个人脸框的中心坐标y;Bcxi表示第i个人体框的中心坐标x,Bcyi表示第i个人体框的中心坐标y;costM*N表示代价矩阵,且为M行N列的矩阵,M为人脸检测结果的数目,N为人体检测结果的数目;Fcxm表示第m个人脸框的中心坐标x;Bcxn表示第n个人体框的中心坐标x;Bwn表示第n个人体框的宽度。
3.如权利要求1所述的交互人信息获取方法,其特征在于,基于深度学习技术对RGB图像进行人脸检测与人体检测的步骤包括:
捕捉预设视频中的连续帧,并采集所述连续帧中的当前帧图像;
将所述当前帧图像转换为RGB图像,并判断转换的RGB图像是否合格;
若判定转换的RGB图像合格,则触发检测请求指令,并基于所述检测请求指令从深度学习框架的集群服务器中,调取与所述检测请求指令相关的检测指标数据包;
基于所述检测指标数据包,对人脸区域的人脸关键点进行检测,获得所述人脸区域的关键特征点位置;
同时,基于所述检测指标数据包,对人体区域的人体关键点进行检测,获得所述人体区域的关键特征点位置;
将所述人脸区域的关键特征点位置和人体区域的关键特征点位置映射到深度学习网络上进行训练,训练获得深度检测网络;
将合格的RGB图像,输入到所述深度检测网络中进行人脸检测以及人体检测;
若判定转换的RGB图像不合格,则进行第一报警警示,并重新对所述当前帧图像进行RGB图像的转换。
4.如权利要求3所述的交互人信息获取方法,其特征在于,训练获得深度检测网络的过程中,还包括:
捕捉第一历史视频帧、第二历史视频帧以及第三历史视频帧,且所述第一历史视频帧、第二历史视频帧以及第三历史视频帧为相邻帧;
提取所述第一历史视频帧的第一帧特征、第二历史视频帧的第二帧特征、第三历史视频帧的第三帧特征;
确定所述第一帧特征、第二帧特征以及第三帧特征对应的两两之间的特征差异集合W={w12,w13,w23};
其中,w12表示第一帧特征与第二帧特征的特征差异信息;w13表示第一帧特征与第三帧特征的特征差异信息;w23表示第二帧特征与第三帧特征的特征差异信息;
判断所述特征差异集合W中的每个特征差异信息是否在对应的预设差异范围内,若是,保持训练获得的深度检测网络不变;
否则,提取异常特征差异信息对应的两个帧特征,并对比分析所述两个帧特征中的每个像素点,获得像素差异;
将所述像素差异导入所述像素检验数据库中,调取相关的像素修正单元;
同时,基于所述像素修正单元以及预先预测的与所述异常特征差异信息相关的预测修正单元,对所述像素差异进行同步修正;
同时,基于同步修正结果对训练获得的深度检测网络进行优化,获得优化后的深度检测网络。
5.如权利要求1所述的交互人信息获取方法,其特征在于,将最优匹配结果进行组合,得到交互人的步骤包括:
从所述最优匹配结果中提取人脸匹配度高于人脸预设度的最优人脸信息;
从所述最优匹配结果中提取人体匹配度高于人体预设度的最优人体信息;
将所述最优人脸信息与最优人体信息进行组合,获得交互人。
6.如权利要求1所述的交互人信息获取方法,其特征在于,基于目标跟踪算法,对所述交互人进行目标跟踪的过程中包括:
基于标签数据库,向所述交互人设定唯一标签,且所述唯一标签覆盖在所述交互人的每个可执行程序中;
检测所述交互人基于所述可执行程序的目标交互轨迹的轨迹偏移量;
同时,检测目标驱动函数对所述交互人在基于所述可执行程序进行交互时,对应目标驱动的驱动偏移量;
根据所述轨迹偏移量对所述驱动偏移量进行校正,同时,基于校正后的目标驱动函数,对所述目标交互轨迹进行修正;
同时,根据修正后的目标交互轨迹以及对应的在可执行程序中的唯一标签,确定所述交互人的id信息。
7.如权利要求1所述的交互人信息获取方法,其特征在于,基于目标跟踪算法,对所述交互人进行目标跟踪的过程中,还包括:
采集预设视频中的连续p帧图像,确定每帧图像的目标区域,确定所述目标区域的区域像素数量是否大于预设阈值;
若是,按照预设长宽比缩小所述p帧图像,并基于全局遍历法,再次获取所述p帧图像的目标区域;
否则,对所述p帧图像进行局部区域划分,并基于局部遍历法,再次获取所述p帧图像的目标区域;
确定基于再次获取的目标区域的关键节点;
依据合格的p帧图像,建立基于第1帧图像中的每个关键节点在剩余连续p-1帧图像内的交互轨迹条;
设定特定标识在第1帧图像中的关键节点上,且对所述特定标识进行动态跟踪,当第2帧图像的关键节点与第1帧图像中的关键节点有关联,则建立有关联的关键节点之间的动态跟踪轨迹条,直到基于合格的p帧图像全部建立完成;
否则,建立第2帧图像中的独立关键节点与第3帧图像关联的关键节点的动态跟踪轨迹条,直到基于合格的p-1帧图像全部建立完成;
获取所有的动态跟踪轨迹条,构成轨迹集合;
基于轨迹集合,确定所述交互人的交互属性,并根据所述交互属性,向所述交互人提供与交互属相对应的交互服务。
8.如权利要求1所述的交互人信息获取方法,其特征在于,根据所述历史交互记录为所述交互人提供针对性服务的过程中包括:
对所述历史交互记录进行聚类处理,获得k类交互记录;
Figure FDA0003283172600000051
其中,b1∈[1,B],b2∈[1,B],b1≠b2;
Figure FDA0003283172600000052
Figure FDA0003283172600000053
其中,ρb1表示历史交互记录中的第b1个交互记录点的局部交互密度;db1-db2表示历史交互记录中的第b1个交互记录点与第b2个交互记录点的点距离;χ表示所述点距离的交互密度函数;B表示所述历史交互记录中的交互记录点的总个数;ρ表示标准局部交互密度;A1表示局部交互密度小于标准局部交互密度的集合;A2表示局部交互密度大于或等于标准局部交互密度的集合;A表示局部交互密度与标准局部交互密度进行比较的集合结果;H(A2)表示A2中存在的局部交互密度大于或等于标准局部交互密度的交互记录点的个数;rand表示随机函数;
确定每类交互记录中的交互权重值βg,并根据所述交互权重值βg,确定所述交互人的交互值U,根据所述交互值U,确定所述交互人的交互服务;
Figure FDA0003283172600000054
其中,
Figure FDA0003283172600000055
表示第g类交互记录的交互信息;mxa(A2)表示基于A2集合的最大局部交互密度;min(A2)表示基于A2集合的最小局部交互密度;
按照所述交互服务为所述交互人提供针对性服务。
CN202111138654.7A 2021-09-27 2021-09-27 一种交互人信息获取方法 Active CN113822211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111138654.7A CN113822211B (zh) 2021-09-27 2021-09-27 一种交互人信息获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138654.7A CN113822211B (zh) 2021-09-27 2021-09-27 一种交互人信息获取方法

Publications (2)

Publication Number Publication Date
CN113822211A true CN113822211A (zh) 2021-12-21
CN113822211B CN113822211B (zh) 2023-04-11

Family

ID=78921530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138654.7A Active CN113822211B (zh) 2021-09-27 2021-09-27 一种交互人信息获取方法

Country Status (1)

Country Link
CN (1) CN113822211B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829436A (zh) * 2019-02-02 2019-05-31 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技(深圳)有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN111209818A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 视频个体识别方法、系统、设备及可读存储介质
CN112183162A (zh) * 2019-07-04 2021-01-05 北京航天长峰科技工业集团有限公司 一种监控场景下人脸自动注册识别系统及方法
CN113222582A (zh) * 2021-05-10 2021-08-06 广东便捷神科技股份有限公司 一种人脸支付零售终端机
CN113254491A (zh) * 2021-06-01 2021-08-13 平安科技(深圳)有限公司 一种信息推荐的方法、装置、计算机设备及存储介质
CN113420679A (zh) * 2021-06-26 2021-09-21 南京搜文信息技术有限公司 一种人工智能跨相机多目标追踪系统及追踪算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技(深圳)有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN109829436A (zh) * 2019-02-02 2019-05-31 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN112183162A (zh) * 2019-07-04 2021-01-05 北京航天长峰科技工业集团有限公司 一种监控场景下人脸自动注册识别系统及方法
CN111209818A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 视频个体识别方法、系统、设备及可读存储介质
CN113222582A (zh) * 2021-05-10 2021-08-06 广东便捷神科技股份有限公司 一种人脸支付零售终端机
CN113254491A (zh) * 2021-06-01 2021-08-13 平安科技(深圳)有限公司 一种信息推荐的方法、装置、计算机设备及存储介质
CN113420679A (zh) * 2021-06-26 2021-09-21 南京搜文信息技术有限公司 一种人工智能跨相机多目标追踪系统及追踪算法

Also Published As

Publication number Publication date
CN113822211B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
US10796450B2 (en) Human head detection method, eletronic device and storage medium
JP7476428B2 (ja) 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
Rikert et al. Gaze estimation using morphable models
CN107545256B (zh) 一种结合时空和网络一致性的摄像机网络行人重识别方法
JP2024501986A (ja) 3次元顔再構築の方法、3次元顔再構築の装置、デバイスおよび記憶媒体
Sinha et al. Emotion-controllable generalized talking face generation
CN109002776B (zh) 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN114972211A (zh) 图像分割模型的训练方法、分割方法、装置、设备和介质
CN113822211B (zh) 一种交互人信息获取方法
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
CN113197558B (zh) 心率与呼吸率检测方法、系统及计算机存储介质
CN113887329A (zh) 一种头部姿态定位与检测方法及其应用和系统
CN113657200A (zh) 一种基于掩码r-cnn的视频行为动作识别方法及系统
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN117152807A (zh) 人体头部定位方法、装置和存储介质
CN116958872A (zh) 一种羽毛球运动的智能化辅助训练方法及系统
CA3187876A1 (en) System and method for automatic personalized assessment of human body surface conditions
US20210385426A1 (en) A calibration method for a recording device and a method for an automatic setup of a multi-camera system
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN112435213B (zh) 一种头颈部结构图像分割与分类方法及系统
WO2021259033A1 (zh) 人脸识别方法、电子设备以及存储介质
CN115359522A (zh) 一种基于表情情感计算的老年人健康监测方法及系统
US11587321B2 (en) Enhanced person detection using face recognition and reinforced, segmented field inferencing
CN113887319A (zh) 三维姿态的确定方法、装置、电子设备及存储介质
JP7519933B2 (ja) オブジェクト検出装置及び方法、並びに学習データ収集装置、並びにプログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant