CN117953018A - 红外感应的屏幕跟随方法、装置、设备及存储介质 - Google Patents
红外感应的屏幕跟随方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117953018A CN117953018A CN202410349954.7A CN202410349954A CN117953018A CN 117953018 A CN117953018 A CN 117953018A CN 202410349954 A CN202410349954 A CN 202410349954A CN 117953018 A CN117953018 A CN 117953018A
- Authority
- CN
- China
- Prior art keywords
- screen
- data
- user
- target
- element state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000006698 induction Effects 0.000 title abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 123
- 230000004044 response Effects 0.000 claims abstract description 110
- 230000002452 interceptive effect Effects 0.000 claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 58
- 230000009471 action Effects 0.000 claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000010354 integration Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000005855 radiation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000006399 behavior Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像数据处理技术领域,公开了一种红外感应的屏幕跟随方法、装置、设备及存储介质。方法包括:通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到第二红外图像数据;进行用户位置和动作趋势分析,得到用户位置数据和动作趋势数据;生成屏幕标注区域并进行屏幕跟随建模,生成屏幕跟随区间模型;创建屏幕响应数据并进行自适应内容展示,得到交互元素状态数据;进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;生成目标屏幕响应补偿策略并生成多用户协同跟随模型,进而通过红外感应技术提高了屏幕跟随的智能性和屏幕响应的准确率。
Description
技术领域
本申请涉及图像数据处理技术领域,尤其涉及一种红外感应的屏幕跟随方法、装置、设备及存储介质。
背景技术
红外感应的屏幕跟随通常会用于公共信息展示、智能家居系统以及个性化广告展示领域。随着技术的进步和用户需求的增长,对这类系统的精确度、响应速度和个性化服务的需求也在不断提高。然而,传统的红外感应系统通常只能提供基本的跟踪功能,缺乏高级的用户识别、动态内容适应和个性化交互策略,导致用户体验受限。
由于多用户环境下的屏幕跟随和内容适应问题更加复杂。在公共展示场景或家庭环境中,屏幕往往需要同时满足多个用户的需求,这就要求系统能够准确识别和跟踪多个用户,理解他们的行为趋势,并据此做出智能的内容调整。然而,现有方法在处理多用户交互、动态内容适应及个性化推荐时,往往缺乏有效的策略,难以达到理想的用户体验。
发明内容
本申请提供了一种红外感应的屏幕跟随方法、装置、设备及存储介质,进而通过红外感应技术提高了屏幕跟随的智能性和屏幕响应的准确率。
本申请第一方面提供了一种红外感应的屏幕跟随方法,所述红外感应的屏幕跟随方法包括:
通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据;
分别对所述第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据;
根据所述用户位置数据生成每个目标用户的屏幕标注区域,并对所述动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型;
通过所述屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据;
基于所述交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;
基于所述奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型。
本申请第二方面提供了一种红外感应的屏幕跟随装置,所述红外感应的屏幕跟随装置包括:
采集模块,用于通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据;
分析模块,用于分别对所述第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据;
建模模块,用于根据所述用户位置数据生成每个目标用户的屏幕标注区域,并对所述动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型;
创建模块,用于通过所述屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据;
计算模块,用于基于所述交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;
集成模块,用于基于所述奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型。
本申请第三方面提供了一种计算机设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述计算机设备执行上述的红外感应的屏幕跟随方法。
本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的红外感应的屏幕跟随方法。
本申请提供的技术方案中,通过结合红外传感器阵列和CenterNet目标检测模型,能够高效准确地对多个目标用户进行红外图像采集并进行用户识别和图像分割。利用CenterNet的多尺度ASFF网络和增强注意力编码网络,进一步提高了亮度特征提取的精度和注意力编码特征融合的效率,从而在复杂环境下也能实现快速准确的用户跟踪。采用深度Q网络对用户的动作趋势数据进行分析,结合屏幕跟随区间模型,实现了根据用户位置和行为动态调整屏幕内容的能力。这种方法不仅能够提供更加个性化的内容展示,还能根据用户的实时反馈和互动情况自适应地优化内容展示策略,显著提高用户参与度和满意度。通过对目标屏幕响应补偿策略的多用户协同集成,能够在多用户环境下有效协调各个用户的内容展示需求,实现了一种高效的多用户协同跟随模型。这种模型能够综合考虑多个用户的位置、动作趋势和个人偏好,智能调整屏幕内容,以最大化满足不同用户的需求,优化整体的交互体验。利用卡尔曼滤波算法对用户动作趋势进行预测和分析,结合定位坐标系的建立和用户位置分析,能够在保证高精度用户跟踪的同时,确保系统的实时性和稳定性。这对于需要快速响应用户行为和动态调整内容的交互系统来说至关重要。通过对交互元素状态数据的详细分析和处理,包括状态编码、向量映射、屏幕响应补偿模型的应用等,能够深入理解用户与内容的互动模式。这种深度分析为优化屏幕响应策略、提高内容互动质量提供了可靠的数据支持,进而通过红外感应技术提高了屏幕跟随的智能性和屏幕响应的准确率。
附图说明
图1为本申请实施例中红外感应的屏幕跟随方法的一个实施例示意图;
图2为本申请实施例中红外感应的屏幕跟随装置的一个实施例示意图。
具体实施方式
本申请实施例提供了一种红外感应的屏幕跟随方法、装置、设备及存储介质,进而通过红外感应技术提高了屏幕跟随的智能性和屏幕响应的准确率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本申请实施例的具体流程进行描述,请参阅图1,本申请实施例中红外感应的屏幕跟随方法的一个实施例包括:
步骤101、通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据;
可以理解的是,本申请的执行主体可以为红外感应的屏幕跟随装置,还可以是终端或者服务器,具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明。
具体的,通过目标屏幕内置的红外传感器阵列对场景中的多个目标用户进行红外图像采集,收集到的红外图像数据标记为第一红外图像数据。通过亮度检测函数对第一红外图像数据进行红外图像亮度检测,该亮度检测函数基于数学模型计算每一位置的红外图像亮度,考虑红外源的强度、位置以及红外辐射的空间衰减特性,确保亮度检测的准确性和实用性。通过CenterNet目标检测模型中集成的多尺度ASFF网络根据红外图像亮度对第一红外图像数据进行多层次亮度特征提取,生成第一特征图像数据。通过CenterNet模型中的增强注意力编码网络对第一特征图像数据进行注意力编码特征融合,得到更为丰富和准确的第二特征图像数据。通过强化图像数据中的关键信息,进一步提高了目标检测的准确率和效率。通过CenterNet模型中的解码网络对第二特征图像数据进行卷积特征解码,生成解码特征图像数据,通过输出层,基于解码特征图像数据进行用户识别,得到带有多个目标用户标注框的输出图像数据。对带有目标用户标注框的输出图像数据进行图像分割,得到每个目标用户的第二红外图像数据。
步骤102、分别对第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据;
具体的,对目标屏幕的屏幕基线以及水平基线进行关系匹配,通过分析第一红外图像数据中的基线关系,得到屏幕基线及水平基线的相互位置关系,通过图像处理技术识别出屏幕和水平线的位置,进而计算出它们之间的相对位置和角度关系。基于基线关系计算目标屏幕的法向量和坐标系方向向量,这两个向量是建立定位坐标系的核心参数,法向量代表了屏幕的朝向,而方向向量则定义了坐标系的方向,确保了后续位置分析的准确性和一致性。利用定位坐标系对第二红外图像数据进行用户位置分析,通过图像识别和数据处理技术提取出每个目标用户的具体位置信息,生成用户位置数据。为了进一步分析和预测用户的动作趋势,采用卡尔曼滤波算法对每个目标用户的位置进行动态预测,生成预测位置数据。基于用户的当前位置数据和预测位置数据,进行状态更新和动作趋势决策,得到每个目标用户的动作趋势数据。这些数据反映了用户动作的方向、速度和可能的变化趋势,为屏幕跟随逻辑提供了重要的决策依据。
步骤103、根据用户位置数据生成每个目标用户的屏幕标注区域,并对动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型;
需要说明的是,根据用户位置数据分析和比较多个目标用户在屏幕上的占比情况,通过对用户在屏幕上的相对位置和所占空间的大小进行量化分析,得到每个目标用户的屏幕占比数据。根据占比数据进行比较,得出一个初步的比较结果,根据这个结果对目标用户进行用户占比打分,每个用户都会根据其在屏幕上的占比大小获得一个具体的分值,这个分值反映了用户在屏幕上的重要性和优先级。对每个目标用户进行屏幕距离比较,通过计算用户与屏幕之间的相对距离,不同用户的位置距离屏幕的远近不同,将这个距离转化为第二比较结果。基于结果对多个目标用户进行距离打分,每个目标用户根据其距离屏幕的远近得到一个屏幕距离分值,该分值用来评估用户的交互优先级。根据每个目标用户的屏幕占比分值以及屏幕距离分值,计算出每个目标用户的目标评价分值。根据目标评价分值,对目标屏幕进行区域划分和标注,确保每个目标用户都有一个对应的屏幕标注区域,这些区域反映了用户的交互重要性和屏幕内容的个性化展示需求。将动作趋势数据输入深度Q网络进行屏幕交互逻辑分析,深度Q网络通过学习用户的动作趋势数据,能够输出具体的屏幕交互行动策略。这些策略根据用户的动作趋势来优化屏幕的响应方式,使得屏幕交互更加智能化和个性化。基于屏幕交互行动策略,对每个屏幕标注区域进行屏幕跟随建模,生成每个区域的屏幕跟随区间模型。模型能够根据用户的动作趋势和位置变化动态调整屏幕内容的展示,确保用户的交云体验既个性化又流畅。
步骤104、通过屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据;
具体的,通过屏幕跟随区间模型对每个屏幕标注区域进行屏幕响应分析,获取每个区域特定的屏幕响应数据,这些数据是基于用户位置和动作趋势的分析结果,确保屏幕内容的展示能够紧密跟随用户的实际交互行为。对每个屏幕标注区域的交互元素状态进行分析,得到初始的元素状态数据,这些数据反映了屏幕上各个交互元素的当前状态。对每个屏幕标注区域的初始元素状态数据进行归一化处理,以便进行统一的量化分析。归一化处理后的元素状态数据更加适合于进行后续的线性变换和相关性分析。通过对归一化后的元素状态数据进行线性变换,生成每个屏幕标注区域的线性元素状态集合。这些线性元素状态集合包含了多个线性元素状态。基于线性元素状态,通过数学函数计算协方差矩阵的元素,计算过程考虑了每个状态之间的相互作用和变化趋势。通过计算元素状态相关系数,计算多个线性元素状态之间的相关性。根据相关性分析结果计算每个屏幕标注区域的元素状态值,并生成元素状态向量。元素状态向量的主成分归一化处理是为了突出最关键的交互元素,同时为每个元素赋予了权重,这些权重反映了各个元素在用户交互中的相对重要性。将初始元素状态数据与主成分元素状态权重进行相乘,计算出每个屏幕标注区域的目标乘积。通过对目标乘积进行加和运算,得到每个屏幕标注区域的综合交互元素状态数据。
步骤105、基于交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;
具体的,对每个屏幕标注区域的交互元素状态数据进行第一特征编码,使其可以被后续的分析和处理步骤更有效地利用。通过编码,每个屏幕标注区域的交互元素状态数据被转化为一系列的编码数据,这些编码数据反映了各个区域内交互元素的当前状态和特征。对交互元素状态编码数据进行向量映射,将编码数据转换成一种数学上更易于处理的形式,即交互元素状态编码向量。通过将编码数据映射到一个多维空间中,为每个屏幕标注区域生成了一个代表其交互元素状态的向量。这些向量为后续的补偿分析提供了基础,使得对屏幕响应的补偿策略能够基于更精细和量化的数据进行制定。将每个屏幕标注区域的交互元素状态编码向量输入预置的屏幕响应补偿模型中。该模型包括多个弱分类器和一个输出层,通过其从输入的向量中分析和预测最合适的屏幕响应补偿策略。通过多个弱分类器对输入向量进行分析,每个弱分类器从一定角度预测一个可能的补偿策略,这些策略虽然独立但又相互补充,共同构成了对当前交互状态的全面分析。输出层对来自多个弱分类器的预测屏幕响应补偿策略进行策略融合,整合各个分类器的分析结果,形成一个统一且综合的初始屏幕响应补偿策略。对多个屏幕标注区域进行奖励反馈数据计算,基于每个区域的屏幕响应表现计算奖励数据,评估每个补偿策略的实际效果,并提供反馈以供未来的策略调整和优化。通过奖励反馈机制,确保屏幕响应补偿策略的持续改进和优化,使得屏幕交互体验更加流畅和高效。
步骤106、基于奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型。
具体的,基于奖励反馈数据对每个屏幕标注区域进行策略梯度分析,确定每个区域对应的策略梯度,策略梯度分析是利用奖励反馈数据评估当前策略对最终目标影响的敏感度,从而指导如何调整策略以提高效果。通过策略梯度对每个屏幕标注区域对应的奖励反馈参数进行调整,得到策略更新参数。更新参数基于策略梯度分析的结果,指示了为了优化屏幕响应补偿策略需要做出的具体调整。每个屏幕标注区域的初始屏幕响应补偿策略都会根据其更新参数进行相应的策略更新,从而生成更为有效的目标屏幕响应补偿策略。对每个屏幕标注区域的目标屏幕响应补偿策略进行多用户协同效率评估,测量在多用户环境下,各个屏幕标注区域的补偿策略实施后的协同工作效率,确保每个策略都能在多用户交互场景中发挥最大的效果。通过效率数据,进一步地调整和优化屏幕响应补偿策略,使其更加适合于多用户协同的工作环境。基于多用户协同效率数据,对屏幕跟随区间模型进行多用户协同集成,生成多用户协同跟随模型。集成过程考虑不同用户之间的交互动作和响应策略,确保在多用户环境下,屏幕能够有效地跟随每个用户的操作并协同展示相关内容,提高用户交互的整体效率和体验。
本申请实施例中,通过结合红外传感器阵列和CenterNet目标检测模型,能够高效准确地对多个目标用户进行红外图像采集并进行用户识别和图像分割。利用CenterNet的多尺度ASFF网络和增强注意力编码网络,进一步提高了亮度特征提取的精度和注意力编码特征融合的效率,从而在复杂环境下也能实现快速准确的用户跟踪。采用深度Q网络对用户的动作趋势数据进行分析,结合屏幕跟随区间模型,实现了根据用户位置和行为动态调整屏幕内容的能力。这种方法不仅能够提供更加个性化的内容展示,还能根据用户的实时反馈和互动情况自适应地优化内容展示策略,显著提高用户参与度和满意度。通过对目标屏幕响应补偿策略的多用户协同集成,能够在多用户环境下有效协调各个用户的内容展示需求,实现了一种高效的多用户协同跟随模型。这种模型能够综合考虑多个用户的位置、动作趋势和个人偏好,智能调整屏幕内容,以最大化满足不同用户的需求,优化整体的交互体验。利用卡尔曼滤波算法对用户动作趋势进行预测和分析,结合定位坐标系的建立和用户位置分析,能够在保证高精度用户跟踪的同时,确保系统的实时性和稳定性。这对于需要快速响应用户行为和动态调整内容的交互系统来说至关重要。通过对交互元素状态数据的详细分析和处理,包括状态编码、向量映射、屏幕响应补偿模型的应用等,能够深入理解用户与内容的互动模式。这种深度分析为优化屏幕响应策略、提高内容互动质量提供了可靠的数据支持,进而通过红外感应技术提高了屏幕跟随的智能性和屏幕响应的准确率。
在一具体实施例中,执行步骤101的过程可以具体包括如下步骤:
(1)通过目标屏幕中的红外传感器阵列对多个目标用户进行红外图像采集,得到第一红外图像数据;
(2)通过亮度检测函数,对第一红外图像数据进行红外图像亮度检测,得到红外图像亮度,亮度检测函数为:,其中,/>表示在位置的红外图像亮度,/>是第/>个红外源的强度,/>是第/>个红外源的位置,是衰减因子,用于模拟红外辐射的空间衰减特性,N表示红外源总数;
(3)通过CenterNet目标检测模型中的多尺度ASFF网络,根据红外图像亮度对第一红外图像数据进行多层次亮度特征提取,得到第一特征图像数据;
(4)通过CenterNet目标检测模型中的增强注意力编码网络,对第一特征图像数据进行注意力编码特征融合,得到第二特征图像数据;
(5)通过CenterNet目标检测模型中的解码网络,对第二特征图像数据进行卷积特征解码,得到解码特征图像数据;
(6)通过CenterNet目标检测模型中的输出层,对解码特征图像数据进行用户识别,得到带有多个目标用户标注框的输出图像数据;
(7)对带有多个目标用户标注框的输出图像数据进行图像分割,得到每个目标用户的第二红外图像数据。
具体的,通过目标屏幕中的红外传感器阵列对场景内的多个目标用户进行红外图像采集,捕捉到由用户体温发出的红外辐射,生成第一红外图像数据。通过亮度检测函数对第一红外图像数据进行红外图像亮度检测,计算图像中每个像素点的亮度值。亮度检测函数考虑了红外源的强度、位置及其在空间中的衰减特性,估算出图像中每个位置的红外亮度。例如,红外传感器阵列连续捕捉到各个用户的红外图像,每个人由于体温不同,会在红外图像中形成不同的亮度区域。通过亮度检测函数,将这些区域映射为具体的亮度值,从而区分出各个目标用户的位置。将红外图像亮度数据输入CenterNet目标检测模型中的多尺度ASFF网络,进行多层次亮度特征的提取。ASFF网络能够从不同尺度捕捉目标的特征,不同用户在红外图像中的表现可能因距离和角度的不同而有所差异,多层次亮度特征提取确保从细微到显著的所有红外特征都被充分利用。通过CenterNet模型中的增强注意力编码网络对第一特征图像数据进行注意力编码特征融合。通过强化图像中的关键特征,抑制不相关的背景信息,使得目标用户的特征更加突出。CenterNet模型的解码网络对经过特征融合的图像数据进行解码,恢复出具有丰富语义信息的图像特征。解码过程将高层特征逐步映射回原图像尺寸,保留了用户特征的同时提供特征图。通过CenterNet模型的输出层对解码后的特征图像数据进行处理,识别出图像中的目标用户,并为每个用户绘制标注框。标注框的绘制基于模型对用户位置和姿态的识别结果,框选出每个用户在红外图像中的位置。对带有标注框的图像数据进行图像分割,将每个目标用户分割出来,生成每个用户的第二红外图像数据。
在一具体实施例中,执行步骤102的过程可以具体包括如下步骤:
(1)对目标屏幕的屏幕基线以及水平基线进行关系匹配,得到屏幕基线以及水平基线在第一红外图像数据中的基线关系;
(2)根据基线关系,计算目标屏幕的法向量和坐标系方向向量,并根据法向量以及方向向量建立定位坐标系;
(3)通过定位坐标系分别对第二红外图像数据进行用户位置分析,得到每个目标用户的用户位置数据;
(4)采用卡尔曼滤波算法,根据用户位置数据分别对每个目标用户的第二红外图像数据进行用户位置预测,得到每个目标用户的预测位置数据;
(5)根据用户位置数据和预测位置数据,对每个目标用户进行状态更新和动作趋势决策,得到每个目标用户的动作趋势数据。
具体的,通过分析图像中的几何特征,从红外图像数据中识别出屏幕基线和水平基线的位置关系。例如,利用边缘检测算法识别屏幕的边界和室内环境的水平线,然后通过图像处理技术比较它们之间的相对位置和角度,从而确定屏幕基线与水平基线的基线关系。基于基线关系,计算目标屏幕的法向量和坐标系方向向量。法向量是垂直于屏幕表面的向量,它可以通过屏幕基线与水平基线的交点以及屏幕中心点构成的向量叉乘得到。而坐标系方向向量则是基于屏幕的布局方向,例如,水平向右和垂直向上的方向向量,这些向量共同定义了一个三维空间中的坐标系,该坐标系与实际的屏幕位置紧密相关。通过这些向量,建立一个定位坐标系,描述屏幕及用户在三维空间中的位置关系。通过定位坐标系对第二红外图像数据进行用户位置分析。将用户在红外图像中的二维像素位置转换为三维空间中的具体坐标。通过将红外图像中用户的像素位置映射到先前建立的定位坐标系中,得到每个目标用户的三维空间位置数据。这些位置数据包括用户相对于屏幕的距离,以及他们在水平和垂直方向上的位置。采用卡尔曼滤波算法对用户的位置数据进行预测。卡尔曼滤波算法通过考虑之前的位置数据和当前的观测数据,预测用户的未来位置。该算法能够有效地处理观测中的噪声和不确定性,提供对用户未来位置的准确预测。每个目标用户的预测位置数据,包括了他们未来的位置信息,这有助于实现如动态内容展示和交互预测等功能。基于用户的当前位置数据和预测位置数据,对每个目标用户进行状态更新和动作趋势决策。分析用户的移动速度、方向以及预测的路径变化,从而得到每个用户的动作趋势数据。例如,如果一个用户从屏幕左侧快速移动到右侧,系统会捕捉到这一动作趋势,并据此更新用户的状态,为其生成相应的交互响应策略。动作趋势数据不仅包括用户的移动方向和速度,还可能包括用户行为的预测模式,如可能的停留点和转向行为。
在一具体实施例中,执行步骤103的过程可以具体包括如下步骤:
(1)根据用户位置数据对多个目标用户进行屏幕占比数据比较,得到第一比较结果,并根据第一比较结果对目标用户进行用户占比打分,得到每个目标用户的屏幕占比分值;
(2)根据用户位置数据对每个目标用户进行屏幕距离比较,得到第二比较结果,并根据第二比较结果对多个目标用户进行距离打分,得到每个目标用户的屏幕距离分值;
(3)根据每个目标用户的屏幕占比分值以及屏幕距离分值,分别计算每个目标用户的目标评价分值,并根据目标评价分值对目标屏幕进行屏幕区域划分和区域标注,得到每个目标用户的屏幕标注区域;
(4)将动作趋势数据输入深度Q网络进行屏幕交互逻辑分析,得到屏幕交互行动策略;
(5)基于屏幕交互行动策略对每个屏幕标注区域进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型。
具体的,根据用户位置数据对多个目标用户进行屏幕占比数据比较。基于对每个用户在屏幕上所占空间的量化分析,通过用户距离摄像头的远近以及用户的体积大小来估算。例如,在一个互动展示中,用户靠近屏幕时所占的视觉空间比远离屏幕时要大。根据屏幕占比的初步比较结果,对每个目标用户进行打分,生成屏幕占比分值。该分值反映了用户在屏幕上的视觉重要性,越靠近屏幕中心的用户得分越高。根据用户位置数据对每个目标用户进行屏幕距离比较,得到第二比较结果。这一比较考虑了用户与屏幕的相对距离,距离越近的用户在交互中的优先级越高,因此会得到较高的距离分值。这考虑了物理距离以及用户的方向和姿态,以更准确地评估用户与屏幕的交互潜力。根据屏幕占比分值和屏幕距离分值,分别计算每个目标用户的目标评价分值。综合评分考虑了用户的视觉重要性和交互潜力,为屏幕内容的个性化展示提供了依据。基于目标评价分值,对屏幕进行区域划分和标注,每个目标用户都会被分配一个特定的屏幕标注区域,这些区域根据用户的交互行为和屏幕内容的相关性进行动态调整。将用户的动作趋势数据输入深度Q网络进行屏幕交互逻辑分析,利用强化学习的原理预测最优的屏幕交互行动策略。深度Q网络通过分析用户的动作趋势,学习如何根据用户的行为模式调整屏幕响应,以实现更流畅和自然的用户体验。例如,如果用户的动作趋势显示他们正在集中注意力于屏幕的某个区域,深度Q网络可能会建议增强那个区域的互动元素,以吸引用户的进一步关注。基于深度Q网络输出的屏幕交互行动策略,对每个屏幕标注区域进行屏幕跟随建模,生成屏幕跟随区间模型。该模型动态地调整屏幕内容,确保与用户的交互行为保持同步。
在一具体实施例中,执行步骤104的过程可以具体包括如下步骤:
(1)通过屏幕跟随区间模型对每个屏幕标注区域进行屏幕响应分析,得到每个屏幕标注区域的屏幕响应数据,并控制每个屏幕标注区域对屏幕响应数据进行自适应内容展示;
(2)分别对每个屏幕标注区域进行交互元素状态分析,得到每个屏幕标注区域的初始元素状态数据,并分别对每个屏幕标注区域的初始元素状态数据进行归一化处理,得到每个屏幕标注区域的归一化元素状态数据;
(3)分别对每个屏幕标注区域的归一化元素状态数据进行线性变换,得到每个屏幕标注区域的线性元素状态集合,其中,线性元素状态集合包括多个线性元素状态;
(4)根据线性元素状态集合中的多个线性元素状态计算每个屏幕标注区域的协方差矩阵元素,并根据协方差矩阵元素构建每个屏幕标注区域的协方差矩阵,其中,协方差矩阵元素的计算函数为:cov(i,j)=(1/(N-1))*Σ[(X(i,k)-mean(i))*(X(j,k)-mean(j))],cov(i,j)表示协方差矩阵的第(i,j)个元素,X(i,k)表示第i个线性元素状态在第k个样本中的值,mean(i)表示第i个线性元素状态的平均值,N表示样本数量,X(j,k)表示第j个线性元素状态在第k个样本中的值,mean(j)表示第j个线性元素状态的平均值;
(5)根据协方差矩阵计算多个线性元素状态之间的相关性,得到每个屏幕标注区域的目标元素状态相关性,其中,元素状态相关性的计算函数为:corr(i,j)=cov(i,j)/(std(i)*std(j)),corr(i,j)表示线性元素状态i和线性元素状态j的相关系数,cov(i,j)表示协方差矩阵的第(i,j)个元素,std(i)和std(j)分别表示元素状态i和元素状态j的标准差;
(6)根据目标元素状态相关性,计算多个线性元素状态对应的多个元素状态值,并根据多个元素状态值生成每个屏幕标注区域的元素状态向量,并对元素状态向量进行主成分归一化,得到主成分元素状态权重;
(7)将初始元素状态数据与主成分元素状态权重相乘,得到多个目标乘积,并对多个目标乘积进行加和运算,得到每个屏幕标注区域的交互元素状态数据。
具体的,通过屏幕跟随区间模型对每个屏幕标注区域进行屏幕响应分析,基于从红外传感器阵列采集到的图像数据,这些数据经过处理后,能够揭示用户在屏幕前的位置和动作,从而生成每个屏幕标注区域的屏幕响应数据。控制每个屏幕标注区域对屏幕响应数据进行自适应内容展示,确保内容的展示能够自适应于用户当前的交互状态和需求。对每个屏幕标注区域进行交互元素状态分析,得到初始元素状态数据。这些数据反映了屏幕上各个交互元素的当前状态,如按钮的高亮或文本框的焦点。对每个屏幕标注区域的初始元素状态数据进行归一化处理,将各种状态量化为一组统一的数值范围内,生成每个屏幕标注区域的归一化元素状态数据。对归一化元素状态数据进行线性变换,将它们转换成一组能够代表区域交互状态的线性元素状态集合。简化元素状态之间的相互关系,使得状态之间的比较和分析更为直接。每个屏幕标注区域的线性元素状态集合包含了多个线性元素状态。基于线性元素状态集合,计算每个屏幕标注区域的协方差矩阵元素,并据此构建协方差矩阵。协方差矩阵揭示了不同元素状态之间的相互关系,包括它们是如何随着用户交互行为的变化而相互影响的,从而实现对屏幕上的交互元素进行更为精细的控制和调整。根据协方差矩阵计算元素状态之间的相关性,帮助理解哪些元素状态是紧密相关的,从而共同调整以响应用户的交互行为。通过相关性数据,计算多个线性元素状态对应的元素状态值,并据此生成每个屏幕标注区域的元素状态向量。这些向量经过主成分归一化处理后,得到表示主要交互元素状态的权重。将初始元素状态数据与主成分元素状态权重相乘,通过加和运算得到每个屏幕标注区域的综合交互元素状态数据。
在一具体实施例中,执行步骤105的过程可以具体包括如下步骤:
(1)分别对交互元素状态数据进行第一特征编码,得到每个屏幕标注区域的交互元素状态编码数据;
(2)分别对每个屏幕标注区域的交互元素状态编码数据进行向量映射,得到每个屏幕标注区域的交互元素状态编码向量;
(3)分别将每个屏幕标注区域的交互元素状态编码向量输入预置的屏幕响应补偿模型,屏幕响应补偿模型包括多个弱分类器和输出层;
(4)通过多个弱分类器分别对交互元素状态编码向量进行屏幕响应补偿分析,得到每个弱分类器的预测屏幕响应补偿策略;
(5)通过输出层对每个弱分类器的预测屏幕响应补偿策略进行策略融合,得到每个屏幕标注区域的初始屏幕响应补偿策略;
(6)对多个屏幕标注区域进行奖励反馈数据计算,得到每个屏幕标注区域对应的奖励反馈数据。
具体的,对交互元素状态数据进行第一特征编码,将交互状态数据转换为一种更适合机器处理的格式,得到每个屏幕标注区域的交互元素状态编码数据。编码包括元素的状态类型,如按钮点击、滑块移动等,还包括这些状态的属性,例如持续时间、强度等。对编码数据进行向量映射,将编码后的数据转化为数学上更易于处理的形式,即交互元素状态编码向量。将每个交互状态映射到一个高维空间中的点,便于后续的分析和处理。将每个屏幕标注区域的交互元素状态编码向量输入预置的屏幕响应补偿模型中。该模型由多个弱分类器组成,每个弱分类器从向量中提取特定的信息,并给出一个屏幕响应补偿的策略建议。模型还包含一个输出层,用于整合来自所有弱分类器的建议,生成一个综合的补偿策略。通过弱分类器对交互元素状态编码向量进行屏幕响应补偿分析的过程中,每个分类器都基于其特定的逻辑和权重来评估向量,并提出预测的补偿策略。这些策略可能涉及调整屏幕上元素的显示方式、改变交互逻辑或者引入新的交互提示等。输出层将来自不同弱分类器的预测策略进行融合,通过算法决定最终采用哪一种补偿策略。这个过程可能涉及到权衡不同策略的优缺点,考虑它们对用户体验的综合影响,以及它们对实现目标的贡献度。输出层给出每个屏幕标注区域的初始屏幕响应补偿策略,这些策略直接影响了屏幕内容的展示和用户交互的体验。对多个屏幕标注区域进行奖励反馈数据计算,评估已实施补偿策略的效果。通过跟踪用户对调整后屏幕内容的反应,计算出每个策略的实际效果,这些效果反馈数据成为调整和优化屏幕响应补偿策略的重要依据。根据用户的反馈,学习哪些类型的补偿策略最有效,哪些需要改进,从而提供更加准确和个性化的屏幕响应。
在一具体实施例中,执行步骤106的过程可以具体包括如下步骤:
(1)基于奖励反馈数据,分别对每个屏幕标注区域进行策略梯度分析,确定每个屏幕标注区域对应的策略梯度;
(2)通过策略梯度,分别对每个屏幕标注区域对应的奖励反馈参数进行策略更新参数,得到每个屏幕标注区域对应的策略更新参数;
(3)基于策略更新参数对初始屏幕响应补偿策略进行策略更新,生成每个屏幕标注区域的目标屏幕响应补偿策略;
(4)对每个屏幕标注区域的目标屏幕响应补偿策略进行多用户协同效率评估,得到多用户协同效率数据;
(5)根据多用户协同效率数据,对屏幕跟随区间模型进行多用户协同集成,生成多用户协同跟随模型。
具体的,基于奖励反馈数据对每个屏幕标注区域进行策略梯度分析,确定每个区域对应的策略梯度,即策略对奖励函数影响的敏感度。策略梯度分析通过评估不同策略变化带来的奖励变化,为策略的调整提供了方向和幅度的指导。例如,如果某一策略调整导致用户交互的奖励显著提高,那么策略梯度将指向这种调整,提示系统在未来的策略更新中应增强这一变化。根据每个屏幕标注区域的策略梯度,对应地调整奖励反馈参数,生成策略更新参数。更新参数直接影响策略调整的大小和方向,确保策略更新能够朝着提高用户奖励的方向进行。策略更新参数的计算考虑了策略梯度的指示以及其他可能影响策略效果的因素,如用户偏好的变化、交互场景的差异等。基于策略更新参数,对初始屏幕响应补偿策略进行更新,生成每个屏幕标注区域的目标屏幕响应补偿策略,使得屏幕的交互响应不仅能够反映用户当前的交互需求,还能预测和适应用户未来的行为趋势,从而在保证交互自然性和流畅性的同时,提升交互的个性化程度和满意度。对每个屏幕标注区域的目标屏幕响应补偿策略进行多用户协同效率评估,衡量在多用户环境下,各个策略的协同工作效率和对整体用户体验的贡献。多用户协同效率数据的计算涉及到分析不同用户间的交互模式、行为同步性以及互动结果的共同效益,确保屏幕内容的展示和交互策略能够在多用户环境中实现最佳的协同和互补。根据多用户协同效率数据,对屏幕跟随区间模型进行多用户协同集成,生成多用户协同跟随模型。该模型能够综合各个屏幕标注区域的策略优化结果和多用户协同效率评估数据,实现一个整体优化的交互响应方案。
上面对本申请实施例中红外感应的屏幕跟随方法进行了描述,下面对本申请实施例中红外感应的屏幕跟随装置进行描述,请参阅图2,本申请实施例中红外感应的屏幕跟随装置一个实施例包括:
采集模块201,用于通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据;
分析模块202,用于分别对第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据;
建模模块203,用于根据用户位置数据生成每个目标用户的屏幕标注区域,并对动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型;
创建模块204,用于通过屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据;
计算模块205,用于基于交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;
集成模块206,用于基于奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型。
通过上述各个组成部分的协同合作,通过结合红外传感器阵列和CenterNet目标检测模型,能够高效准确地对多个目标用户进行红外图像采集并进行用户识别和图像分割。利用CenterNet的多尺度ASFF网络和增强注意力编码网络,进一步提高了亮度特征提取的精度和注意力编码特征融合的效率,从而在复杂环境下也能实现快速准确的用户跟踪。采用深度Q网络对用户的动作趋势数据进行分析,结合屏幕跟随区间模型,实现了根据用户位置和行为动态调整屏幕内容的能力。这种方法不仅能够提供更加个性化的内容展示,还能根据用户的实时反馈和互动情况自适应地优化内容展示策略,显著提高用户参与度和满意度。通过对目标屏幕响应补偿策略的多用户协同集成,能够在多用户环境下有效协调各个用户的内容展示需求,实现了一种高效的多用户协同跟随模型。这种模型能够综合考虑多个用户的位置、动作趋势和个人偏好,智能调整屏幕内容,以最大化满足不同用户的需求,优化整体的交互体验。利用卡尔曼滤波算法对用户动作趋势进行预测和分析,结合定位坐标系的建立和用户位置分析,能够在保证高精度用户跟踪的同时,确保系统的实时性和稳定性。这对于需要快速响应用户行为和动态调整内容的交互系统来说至关重要。通过对交互元素状态数据的详细分析和处理,包括状态编码、向量映射、屏幕响应补偿模型的应用等,能够深入理解用户与内容的互动模式。这种深度分析为优化屏幕响应策略、提高内容互动质量提供了可靠的数据支持,进而通过红外感应技术提高了屏幕跟随的智能性和屏幕响应的准确率。
本申请还提供一种计算机设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述红外感应的屏幕跟随方法的步骤。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述红外感应的屏幕跟随方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种红外感应的屏幕跟随方法,其特征在于,所述红外感应的屏幕跟随方法包括:
通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据;
分别对所述第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据;
根据所述用户位置数据生成每个目标用户的屏幕标注区域,并对所述动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型;
通过所述屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据;
基于所述交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;
基于所述奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型。
2.根据权利要求1所述的红外感应的屏幕跟随方法,其特征在于,所述通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据,包括:
通过目标屏幕中的红外传感器阵列对多个目标用户进行红外图像采集,得到第一红外图像数据;
通过亮度检测函数,对所述第一红外图像数据进行红外图像亮度检测,得到红外图像亮度,所述亮度检测函数为:,其中,/>表示在位置的红外图像亮度,/>是第/>个红外源的强度,/>是第/>个红外源的位置,/>是衰减因子,用于模拟红外辐射的空间衰减特性,N表示红外源总数;
通过CenterNet目标检测模型中的多尺度ASFF网络,根据所述红外图像亮度对所述第一红外图像数据进行多层次亮度特征提取,得到第一特征图像数据;
通过所述CenterNet目标检测模型中的增强注意力编码网络,对所述第一特征图像数据进行注意力编码特征融合,得到第二特征图像数据;
通过所述CenterNet目标检测模型中的解码网络,对所述第二特征图像数据进行卷积特征解码,得到解码特征图像数据;
通过所述CenterNet目标检测模型中的输出层,对所述解码特征图像数据进行用户识别,得到带有多个目标用户标注框的输出图像数据;
对所述带有多个目标用户标注框的输出图像数据进行图像分割,得到每个目标用户的第二红外图像数据。
3.根据权利要求2所述的红外感应的屏幕跟随方法,其特征在于,所述分别对所述第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据,包括:
对所述目标屏幕的屏幕基线以及水平基线进行关系匹配,得到所述屏幕基线以及所述水平基线在所述第一红外图像数据中的基线关系;
根据所述基线关系,计算所述目标屏幕的法向量和坐标系方向向量,并根据所述法向量以及所述方向向量建立定位坐标系;
通过所述定位坐标系分别对所述第二红外图像数据进行用户位置分析,得到每个目标用户的用户位置数据;
采用卡尔曼滤波算法,根据所述用户位置数据分别对每个目标用户的第二红外图像数据进行用户位置预测,得到每个目标用户的预测位置数据;
根据所述用户位置数据和所述预测位置数据,对每个目标用户进行状态更新和动作趋势决策,得到每个目标用户的动作趋势数据。
4.根据权利要求1所述的红外感应的屏幕跟随方法,其特征在于,所述根据所述用户位置数据生成每个目标用户的屏幕标注区域,并对所述动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型,包括:
根据所述用户位置数据对所述多个目标用户进行屏幕占比数据比较,得到第一比较结果,并根据所述第一比较结果对所述目标用户进行用户占比打分,得到每个目标用户的屏幕占比分值;
根据所述用户位置数据对每个目标用户进行屏幕距离比较,得到第二比较结果,并根据所述第二比较结果对所述多个目标用户进行距离打分,得到每个目标用户的屏幕距离分值;
根据每个目标用户的屏幕占比分值以及屏幕距离分值,分别计算每个目标用户的目标评价分值,并根据所述目标评价分值对所述目标屏幕进行屏幕区域划分和区域标注,得到每个目标用户的屏幕标注区域;
将所述动作趋势数据输入深度Q网络进行屏幕交互逻辑分析,得到屏幕交互行动策略;
基于所述屏幕交互行动策略对每个屏幕标注区域进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型。
5.根据权利要求1所述的红外感应的屏幕跟随方法,其特征在于,所述通过所述屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据,包括:
通过所述屏幕跟随区间模型对每个屏幕标注区域进行屏幕响应分析,得到每个屏幕标注区域的屏幕响应数据,并控制每个屏幕标注区域对所述屏幕响应数据进行自适应内容展示;
分别对每个屏幕标注区域进行交互元素状态分析,得到每个屏幕标注区域的初始元素状态数据,并分别对每个屏幕标注区域的初始元素状态数据进行归一化处理,得到每个屏幕标注区域的归一化元素状态数据;
分别对每个屏幕标注区域的归一化元素状态数据进行线性变换,得到每个屏幕标注区域的线性元素状态集合,其中,所述线性元素状态集合包括多个线性元素状态;
根据所述线性元素状态集合中的多个线性元素状态计算每个屏幕标注区域的协方差矩阵元素,并根据所述协方差矩阵元素构建每个屏幕标注区域的协方差矩阵,其中,协方差矩阵元素的计算函数为:cov(i,j)=(1/(N-1))*Σ[(X(i,k)-mean(i))*(X(j,k)-mean(j))],cov(i,j)表示协方差矩阵的第(i,j)个元素,X(i,k)表示第i个线性元素状态在第k个样本中的值,mean(i)表示第i个线性元素状态的平均值,N表示样本数量,X(j,k)表示第j个线性元素状态在第k个样本中的值,mean(j)表示第j个线性元素状态的平均值;
根据所述协方差矩阵计算所述多个线性元素状态之间的相关性,得到每个屏幕标注区域的目标元素状态相关性,其中,元素状态相关性的计算函数为:corr(i,j)=cov(i,j)/(std(i)*std(j)),corr(i,j)表示线性元素状态i和线性元素状态j的相关系数,cov(i,j)表示协方差矩阵的第(i,j)个元素,std(i)和std(j)分别表示元素状态i和元素状态j的标准差;
根据所述目标元素状态相关性,计算所述多个线性元素状态对应的多个元素状态值,并根据所述多个元素状态值生成每个屏幕标注区域的元素状态向量,并对所述元素状态向量进行主成分归一化,得到主成分元素状态权重;
将所述初始元素状态数据与所述主成分元素状态权重相乘,得到多个目标乘积,并对所述多个目标乘积进行加和运算,得到每个屏幕标注区域的交互元素状态数据。
6.根据权利要求1所述的红外感应的屏幕跟随方法,其特征在于,所述基于所述交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据,包括:
分别对所述交互元素状态数据进行第一特征编码,得到每个屏幕标注区域的交互元素状态编码数据;
分别对每个屏幕标注区域的交互元素状态编码数据进行向量映射,得到每个屏幕标注区域的交互元素状态编码向量;
分别将每个屏幕标注区域的交互元素状态编码向量输入预置的屏幕响应补偿模型,所述屏幕响应补偿模型包括多个弱分类器和输出层;
通过所述多个弱分类器分别对所述交互元素状态编码向量进行屏幕响应补偿分析,得到每个弱分类器的预测屏幕响应补偿策略;
通过所述输出层对每个弱分类器的预测屏幕响应补偿策略进行策略融合,得到每个屏幕标注区域的初始屏幕响应补偿策略;
对多个屏幕标注区域进行奖励反馈数据计算,得到每个屏幕标注区域对应的奖励反馈数据。
7.根据权利要求6所述的红外感应的屏幕跟随方法,其特征在于,所述基于所述奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型,包括:
基于所述奖励反馈数据,分别对每个屏幕标注区域进行策略梯度分析,确定每个屏幕标注区域对应的策略梯度;
通过所述策略梯度,分别对每个屏幕标注区域对应的奖励反馈参数进行策略更新参数,得到每个屏幕标注区域对应的策略更新参数;
基于所述策略更新参数对所述初始屏幕响应补偿策略进行策略更新,生成每个屏幕标注区域的目标屏幕响应补偿策略;
对每个屏幕标注区域的目标屏幕响应补偿策略进行多用户协同效率评估,得到多用户协同效率数据;
根据所述多用户协同效率数据,对所述屏幕跟随区间模型进行多用户协同集成,生成多用户协同跟随模型。
8.一种红外感应的屏幕跟随装置,其特征在于,所述红外感应的屏幕跟随装置包括:
采集模块,用于通过目标屏幕对多个目标用户进行红外图像采集,得到第一红外图像数据并进行用户识别和图像分割,得到每个目标用户的第二红外图像数据;
分析模块,用于分别对所述第二红外图像数据进行用户位置和动作趋势分析,得到每个目标用户的用户位置数据和动作趋势数据;
建模模块,用于根据所述用户位置数据生成每个目标用户的屏幕标注区域,并对所述动作趋势数据进行屏幕跟随建模,生成每个屏幕标注区域的屏幕跟随区间模型;
创建模块,用于通过所述屏幕跟随区间模型创建每个屏幕标注区域的屏幕响应数据并进行自适应内容展示,得到每个屏幕标注区域的交互元素状态数据;
计算模块,用于基于所述交互元素状态数据进行屏幕响应补偿分析,得到初始屏幕响应补偿策略并进行奖励反馈数据计算,得到奖励反馈数据;
集成模块,用于基于所述奖励反馈数据进行策略优化,生成目标屏幕响应补偿策略并进行多用户协同集成,生成多用户协同跟随模型。
9.一种计算机设备,其特征在于,所述计算机设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述计算机设备执行如权利要求1-7中任一项所述的红外感应的屏幕跟随方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的红外感应的屏幕跟随方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410349954.7A CN117953018B (zh) | 2024-03-26 | 2024-03-26 | 红外感应的屏幕跟随方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410349954.7A CN117953018B (zh) | 2024-03-26 | 2024-03-26 | 红外感应的屏幕跟随方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117953018A true CN117953018A (zh) | 2024-04-30 |
CN117953018B CN117953018B (zh) | 2024-06-18 |
Family
ID=90798445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410349954.7A Active CN117953018B (zh) | 2024-03-26 | 2024-03-26 | 红外感应的屏幕跟随方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117953018B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2184541A1 (es) * | 1999-12-02 | 2003-04-01 | Univ Las Palmas Gran Canaria | Robot movil interactivo para servicios de museos. |
CN101763198A (zh) * | 2009-12-25 | 2010-06-30 | 中国船舶重工集团公司第七○九研究所 | 一种基于SoC的背投影式多点触摸屏装置及多点触摸的定位方法 |
CN102096529A (zh) * | 2011-01-27 | 2011-06-15 | 北京威亚视讯科技有限公司 | 多点触控交互系统 |
CN102346601A (zh) * | 2011-07-01 | 2012-02-08 | 广东威创视讯科技股份有限公司 | 多点触摸显示屏装置 |
CN108763394A (zh) * | 2018-05-21 | 2018-11-06 | 浙江工业大学 | 面向协同交互的多用户眼动跟踪数据可视化方法和系统 |
CN109697014A (zh) * | 2017-10-20 | 2019-04-30 | 北京仁光科技有限公司 | 多屏幕同步触控方法、装置及系统 |
CN110038298A (zh) * | 2019-03-04 | 2019-07-23 | 深圳威尔视觉传媒有限公司 | 单机同时实现多个鼠标的方法和相关装置 |
US20210311599A1 (en) * | 2019-04-08 | 2021-10-07 | Guangzhou Shiyuan Electronics Co., Ltd. | Operation methods of a smart interactive tablet, storage medium and related equipment |
CN115065718A (zh) * | 2022-04-29 | 2022-09-16 | 北京工业大学 | 基于光学室内定位的多智能体协同控制算法验证系统 |
CN115550717A (zh) * | 2021-06-30 | 2022-12-30 | 海信视像科技股份有限公司 | 一种显示设备及多指触控显示方法 |
-
2024
- 2024-03-26 CN CN202410349954.7A patent/CN117953018B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2184541A1 (es) * | 1999-12-02 | 2003-04-01 | Univ Las Palmas Gran Canaria | Robot movil interactivo para servicios de museos. |
CN101763198A (zh) * | 2009-12-25 | 2010-06-30 | 中国船舶重工集团公司第七○九研究所 | 一种基于SoC的背投影式多点触摸屏装置及多点触摸的定位方法 |
CN102096529A (zh) * | 2011-01-27 | 2011-06-15 | 北京威亚视讯科技有限公司 | 多点触控交互系统 |
CN102346601A (zh) * | 2011-07-01 | 2012-02-08 | 广东威创视讯科技股份有限公司 | 多点触摸显示屏装置 |
CN109697014A (zh) * | 2017-10-20 | 2019-04-30 | 北京仁光科技有限公司 | 多屏幕同步触控方法、装置及系统 |
CN108763394A (zh) * | 2018-05-21 | 2018-11-06 | 浙江工业大学 | 面向协同交互的多用户眼动跟踪数据可视化方法和系统 |
CN110038298A (zh) * | 2019-03-04 | 2019-07-23 | 深圳威尔视觉传媒有限公司 | 单机同时实现多个鼠标的方法和相关装置 |
US20210311599A1 (en) * | 2019-04-08 | 2021-10-07 | Guangzhou Shiyuan Electronics Co., Ltd. | Operation methods of a smart interactive tablet, storage medium and related equipment |
CN115550717A (zh) * | 2021-06-30 | 2022-12-30 | 海信视像科技股份有限公司 | 一种显示设备及多指触控显示方法 |
CN115065718A (zh) * | 2022-04-29 | 2022-09-16 | 北京工业大学 | 基于光学室内定位的多智能体协同控制算法验证系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117953018B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291266B (zh) | 基于人工智能的推荐方法、装置、电子设备及存储介质 | |
Wang et al. | Salient object detection based on multi-scale contrast | |
CN110827129A (zh) | 一种商品推荐方法及装置 | |
CN110555481A (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
CN103098079A (zh) | 个性化节目选择系统和方法 | |
CN110827236B (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
CN110689093B (zh) | 一种复杂场景下的图像目标精细分类方法 | |
KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
CN112712068B (zh) | 一种关键点检测方法、装置、电子设备及存储介质 | |
CN116416416A (zh) | 虚拟试衣模型的训练方法、虚拟试衣方法及电子设备 | |
CN110135237A (zh) | 一种手势识别方法 | |
Zhang et al. | The generative adversarial networks and its application in machine vision | |
CN111462184A (zh) | 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法 | |
Li et al. | Color vision deficiency datasets & recoloring evaluation using GANs | |
Prabhakar et al. | Mechanical intelligence for learning embodied sensor-object relationships | |
CN113762041A (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
CN117315070A (zh) | 图像生成方法、装置、电子设备、存储介质和程序产品 | |
CN117953018B (zh) | 红外感应的屏幕跟随方法、装置、设备及存储介质 | |
Hashemi | A survey of visual attention models | |
KR102430742B1 (ko) | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 | |
Jiang et al. | An optimized higher order CRF for automated labeling and segmentation of video objects | |
CN113313210A (zh) | 用于数据处理的方法和设备 | |
Zerrouki et al. | Deep Learning for Hand Gesture Recognition in Virtual Museum Using Wearable Vision Sensors | |
CN117953167B (zh) | 基于点云数据的高速公路附属设施建模方法及系统 | |
Khurshid et al. | An Automatic Contrast Validation Approach for Smartphone Themes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |