CN115457113B - 人机交互移动轨迹检测方法、装置、设备和可读存储介质 - Google Patents
人机交互移动轨迹检测方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN115457113B CN115457113B CN202211074471.8A CN202211074471A CN115457113B CN 115457113 B CN115457113 B CN 115457113B CN 202211074471 A CN202211074471 A CN 202211074471A CN 115457113 B CN115457113 B CN 115457113B
- Authority
- CN
- China
- Prior art keywords
- sub
- path
- track
- moving
- paths
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002452 interceptive effect Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 208000012661 Dyskinesia Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000826860 Trapezium Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Abstract
本申请的实施例提供了一种人机交互移动轨迹检测方法、装置、设备和计算机可读存储介质。所述方法包括对移动路径进行拆分，得到一段或多段子路径；监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的交互移动轨迹；通过每段子路径对应的判定模型，对所述移动目标在每段子路径的交互移动轨迹进行标识；基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测。以此方式，提升了人机交互移动轨迹的检测精度。
Description
技术领域
本申请的实施例涉及数据检测领域，尤其涉及人机交互移动轨迹检测方法、装置、设备和计算机可读存储介质。
背景技术
在人机交互领域，针对移动目标的精准性轨迹判断与操控，受到各方面影响，尤其是人机交互效能评价中如操控人员多通道信息的综合协调能力等。其中，判断移动目标是否能够在路径内正常运动，有无碰壁或者移出有效区域是监测、评价人机交互效能至关重要的体现之一。
当前的碰壁算法大多依据传感器测量法和动态平衡学评价法进行评估。传感器测量法虽然能够起到很好的检测效果，但其进行检测时需要将传感设备安装到移动目标上，无形中会增加移动目标的可通行体积，在一些通行直径较小或要求精度较高的场景并不能适用，而体积较小的传感器虽然不会大幅度增加移动目标的可通行体积，但是其造价昂贵，额外提高了经济成本。动态平衡学评价方法根据移动目标总体运动的统计学指标间接反映出测量结果，无法测量出移动目标在不同区域的碰撞结果。
发明内容
根据本申请的实施例，提供了一种人机交互移动轨迹检测方案。
在本申请的第一方面，提供了一种人机交互移动轨迹检测方法。该方法包括：
对移动路径进行拆分，得到一段或多段子路径；
监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹；
通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识；
基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测。
进一步地，所述对移动路径进行拆分，得到一段或多段子路径包括：
通过预先构建的json文件对移动路径进行拆分，得到一段或多段子路径；所述预先构建的json文件包括各类子路径的定义。
通过采用上述技术方案，更易于机器的解析和生成，能有效地提升处理效率。
进一步地所述子路径包括规则子路和由多种图形进行组合形成的特殊图形路径；所述规则子路径包括圆、三角形、正方形、梯形和/或六边形。
通过采用上述技术方案，明确了本申请的适用范围，不光可以适用于各类标准的规则子路径，同时还适用于由多种图形进行组成形成的特殊图形路径。
进一步地，所述通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识包括：
若所述子路径为梯形，则根据其每个顶点坐标对该梯形进行分割，得到多个子区域，分别对所述移动目标在每个子区域的人机交互移动轨迹进行标识；
若所述子路径为圆形，则将其均分为多个小段，根据每小段的行走距离和每小段对应的起始弧度和结束弧度，计算出每小段的形状和大小；基于所述每小段的形状和大小，对所述移动目标的人机交互移动轨迹进行标识；
若所述子路径为三角形，则根据所述三角形的各顶点坐标对其进行拆分，根据拆分后的区域对所述移动目标的人机交互移动轨迹进行标识；
若所述子路径为正方形，则将所述正方形拆分为多个长方形路径，分别对所述移动目标在每个长方形区域的人机交互移动轨迹进行标识；
若所述子路径为特殊图形路径，则将其拆分为多个规则子路径；根据每个规则子路径对应的判定模型对所述多个规则子路径进行拆分，基于拆分后的区域对所述移动目标的人机交互移动轨迹进行标识。
通过采用上述技术方案，能够精准的对各类子路径进行拆分方式，为后续移动目标的人机交互移动轨迹检测提供了基础。
进一步地，所述移动路径通过如下方式生成：
通过json结构定义轨道形状，根据待测量目标的数据类型定义轨道的宽度和显示区域；
基于所述轨道形状、宽度和显示区域，动态生成轨道的内外边框；
基于所述轨道的内外边框，得到移动路径。
通过采用上述技术方案，能够快速、精准的生成移动路径。进一步地，所述动态生成轨道的内外边框包括：
对轨道形状进行内缩或外扩：
获取原轨道图形各边的平行边的交点；
将所述交点作为新轨道图形的端点，得到内缩或外扩多边形的每一个端点；
基于所述多边形的每一个端点进行连线得到新的多边形，完成对轨道形状进行内缩或外扩，动态生成轨道的内外边框。
通过采用上述技术方案，能够快速、精准的生成内外边框。
进一步地，所述基于所述轨道的内外边框，得到移动路径包括：
基于所述轨道的内外边框，生成范围和形状；
基于所述范围和形状，得到移动路径。
通过采用上述技术方案，能够快速的构建出精准的移动路径。
在本申请的第二方面，提供了一种人机交互移动轨迹检测装置。该装置包括：
拆分模块，用于对移动路径进行拆分，得到一段或多段子路径；
记录模块，用于监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹；
标识模块，用于通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识；
检测模块，用于基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测。
在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。
本申请实施例提供的人机交互移动轨迹检测方法，通过对移动路径进行拆分，得到一段或多段子路径；监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹；通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识；基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测，能够更精确地识别运动目标移出或碰壁的情况。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本申请的实施例的人机交互移动轨迹检测方法的流程图；
图2示出了根据本申请的实施例的梯形路径的拆分示意图；
图3示出了根据本申请的实施例的梯形路径的顶点坐标示意图；
图4示出了根据本申请的实施例的圆形路径的拆分示意图；
图5示出了根据本申请的实施例的特殊图形示意图；
图6示出了根据本申请的实施例的人机交互移动轨迹检测装置的方框图；
图7示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1示出了根据本公开实施例的人机交互移动轨迹检测方法的流程图。
所述方法包括：
S110，对移动路径进行拆分，得到一段或多段子路径。
其中，所述移动路径可通过如下方式进行构建：
通过json结构定义轨道形状，根据待测量目标的数据类型定义轨道的宽度和显示区域；所述待测量目标的数据类型包括人体各部位，例如手部、脚部和/或头部等，也可以为各类工程数据，例如管道等。
进一步地，可根据实际的应用场景对轨道形状进行内缩或外扩，获取原轨道图形各边的平行边，按照多个平行边的相交点取作新多边形的端点，以此类推求出外扩或内缩的多边形的每一个端点，再将其连线得到新的多边形，完成对轨道形状的内缩或外扩，动态生成轨道的内外边框。
在一些实施例中，基于所述轨道的内外边框，生成轨道的范围和形状，在相关软件中的描述为Bounds和Shapes；
若Shapes为圆弧，则由轨道宽度确定内外径值，由内外径以及开始、结束弧度值确定Bounds；
若Shapes为多边形，则将内、外轮廓的所有点进行连线确定Bounds；
基于所述Bounds和Shapes，得到移动路径。
在一些实施例中，通过预先构建的json文件对移动路径进行拆分，得到一段或多段子路径；所述预先构建的json文件包括各类子路径的定义；
其中，子路径包括规则子路和由多种图形进行组合形成的特殊图形路径；所述规则子路径包括圆、三角形、正方形、梯形和/或六边形；
以通过预先构建的json文件，对S形或U形路径进行拆分为例：
可将S形路径拆分成圆弧和多边形；即拆分为两段圆弧和三段线段子路径。
S120，监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹。
其中，本公开的移动目标通常指，待测试人员通过测试设备进行模拟形成的小球，或进行故障检测时模拟形成的小球等；所述小球可用于模拟待测试人员的手、脚和/或头等身体部位。
进一步地，所述小球的直径，可根据实际的测量场景进行调整。
在一些实施例中，实施检测移动目标在每段子路径的运动，并对其人机交互移动轨迹进行记录，得到移动目标在每段子路径的人机交互移动轨迹。
S130，通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识。
在一些实施例中，根据每个子路径的类型，选取对应的判定模型，对移动目标在每段子路径的人机交互移动轨迹进行标识；
参考图2，若所述子路径为梯形，则根据其每个顶点坐标对该梯形进行分割，得到多个子区域，其分割的方式包括从内顶点向外顶点做垂线等(其它图形的分割方式可参考梯形图形的分割方式)，分别对所述移动目标在每个子区域的人机交互移动轨迹进行标识：
外梯形的下底＝w；
外上底＝w-(H/tan60°×2)；
内梯形的下底＝外下底-tw/sin60°×2；
a，计算出梯形每个顶点的坐标：
上下夹角分别为120°和60°，沿着梯形内顶角向外做等距垂线，内外顶角相连，得到分割图形①～
以顶点P3在X轴方向和顶点P4在Y轴方向的延长线的交点作为原点，原点坐标为(0.0)，计算每个顶点的对应坐标，参考图3：
P3＝(0，H)；
P4＝(H/tan60°，0)；
P5＝(H/tan60°+外上底，0)；
P6＝(W，H)；
b，将长方形区域1、4、7、10、13以d为间隔切成多个小块。
C，对所述移动目标在每段子路径的人机交互移动轨迹进行标识，即判断目标是否在梯形轨道内：
1，判断目标圆心是否在大梯形内；
2，若在1，则循环判断目标在1-13的哪个小区域内，找到对应小区域的index；
3，若在2，则判断目标圆心在多边形(对应小区域)的最近距离，若大于等于目标半径，则在圆心内，反之则出轨道；
4，若目标在转角的三角形内，则标记该三角形的index；若在矩形内，则计算目标圆心距离起始边的距离；其中，距离除以d等于目标在该矩形内偏移的index。
参考图4，若所述子路径为圆形，则设置相应的显示区域，在软件中表示为Area，轨道宽度为w，目标大小C圆的直径＞d；
目标从A点出发，从A点(起始点)移动到B点(终止点)在轨道中标出目标移动的正确路段和错误路段，即对所述移动目标在每段子路径的人机交互移动轨迹进行标识：
1、将圆均分为小段，每段的行走距离为d，基于每小段对应的弧度间隔计算起始弧度值和结束弧度值，根据弧度值偏移计算出每小块的形状、大小；
具体地，
圆心
其中，aera表示显示区域；
area.W表示显示区域的宽；
area.H表示显示区域的高；
空隙g＝2d；
r1外径＝高/2；
r2内径＝r1-w；
行走长度(虚线长度)＝2πr-g；
将圆均分为小段，每段的行走距离为d，每小段对应的弧度间隔
起始弧度
结束弧度
根据弧度制偏移计算出每小块(区域)的形状、大小。
2、判断目标小球行走过程中有无移出：
(1)将轨道作为一个整体，判断球心有无现在轨道中；
(2)判断球心加半径有无大于外径，大于则出轨道；
(3)判断球心减半径有无小于内径，小于则出轨道。
3、若在轨道内，则判断小球在第几个小块内，将该小块标记为正确或错误：
(1)求俩条向量的夹角(夹角的弧度值)；
其中，atan2为一个函数，表示方位角；
x表示x轴坐标的浮点值；
y表示y轴坐标的浮点值；
(2)向量夹角除以弧度间隔得到index，即
所述index，用于表示如图4所示的用虚线进行分割的第i个子路径；所述i的取值范围根据子路径数量进行确定(1≤i≤子路径数量)；将当前index与上一个index对比，若当前index与上一个index的差值的绝对值为1，则标记为正确，反之，则标记错误。
若所述子路径为如图5所示的特殊图形，即，由一段圆弧和一段折线组成时，通过Json数据生成轨道为梯形和圆的结合体。
其判断方式如下：
1、判断目标是否在折线内；
2、判断目标是否在圆弧内；
3、将折线的最后一个段与圆弧的第一个段组成一个新的多边形，判断目标是否在这个多边形内；
4、若1，2，3中都不在则为出轨道(有碰撞、移动不正常)；上述1、2、3的判断方式可参考梯形和圆形的判断方式，在此不再赘述。
进一步地，规则子路和由多种图形进行组合形成的其它特殊图形的计算方式，可参考上述梯形、圆形以及特殊图形路径的计算方式。例如，将正方形分为8个区域(4个拐角段和4条直线段)，分段对目标的人机交互移动轨迹进行标识，即，判断目标在每个区域内的移动是否正常，无碰撞则正常，反之，则不正常。
进一步地，可将目标正常移动的区域和非正常移动区域(碰壁或出轨道)进行不同的颜色标记；例如将正常移动的区域标记为灰色；非正常移动区域标记为红色。
S140，基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测。
在一些实施例中，汇总移动目标在移动路径的所有人机交互移动轨迹标识，统计所述人机交互移动轨迹标识中非正常移动区域的占比，根据所述占比完成对所述移动目标的人机交互移动轨迹检测。例如，对用户的手部轨迹进行检测时，若非正常移动区域的占比为70％以上(可根据大数据分析、人工经验等方式进行评定)，则说明该用户的运动协调性为差，并根据测试者的年龄和非正常移动区域等，向用户提供锻炼方案。
需要说明的是，上述方法仅从单一侧(一只手、脚)进行了描述，在实际应用中，为了更准确的测量出用户的运动协调性，可设置多个相互匹配的路径对用户的协调性进行检测(特定任务下的协调性检测)，例如，测量用户的右手和左脚的协调性时，手部的移动路径为U，脚部的移动路径为S，分别统计用户手、脚的非正常移动区域的占比，结合大数据分析和人工经验等方式，给出最终的评估结果。
根据本公开的实施例，实现了以下技术效果：
可以快速全面准确的评价出人在特定任务下的协调性评价指标，解决了无法客观量化人体在运动过程中人体不同区域协调程度的问题，进而弥补目前人体协调性客观量化的空白。
同时，本公开的方法能够应用于通行直径较小或测量精度较高的场景，弥补了传感器测量法的缺陷。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图6示出了根据本申请的实施例的人机交互移动轨迹检测装置600的方框图如图6所示，装置600包括：
拆分模块610，用于对移动路径进行拆分，得到一段或多段子路径；
记录模块620，用于监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹；
标识模块630，用于通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识；
检测模块640，用于基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
如图7所示，终端设备或服务器包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有终端设备或服务器操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请的实施例，上文方法流程步骤可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种人机交互移动轨迹检测方法，其特征在于，包括：
对移动路径进行拆分，得到一段或多段子路径；
监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹；
通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识；
基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测；
若所述子路径为梯形，则根据其每个顶点坐标对该梯形进行分割，得到多个子区域，分别对所述移动目标在每个子区域的人机交互移动轨迹进行标识；
若所述子路径为圆形，则将其均分为多个小段，根据每小段的行走距离和每小段对应的起始弧度和结束弧度，计算出每小段的形状和大小；基于所述每小段的形状和大小，对所述移动目标的人机交互移动轨迹进行标识；
若所述子路径为三角形，则根据所述三角形的各顶点坐标对其进行拆分，根据拆分后的区域对所述移动目标的人机交互移动轨迹进行标识；
若所述子路径为正方形，则将所述正方形拆分为多个长方形路径，分别对所述移动目标在每个长方形区域的人机交互移动轨迹进行标识；
若所述子路径为特殊图形路径，则将其拆分为多个规则子路径；根据每个规则子路径对应的判定模型对所述多个规则子路径进行拆分，基于拆分后的区域对所述移动目标的人机交互移动轨迹进行标识。
2.根据权利要求1所述的方法，其特征在于，所述对移动路径进行拆分，得到一段或多段子路径包括：
通过预先构建的json文件对移动路径进行拆分，得到一段或多段子路径；
所述预先构建的json文件包括各类子路径的定义。
3.根据权利要求2所述的方法，其特征在于，所述子路径包括规则子路和由多种图形进行组合形成的特殊图形路径；所述规则子路径包括圆、三角形、正方形、梯形和/或六边形。
4.根据权利要求3所述的方法，其特征在于，所述移动路径通过如下方式生成：
通过json结构定义轨道形状，根据待测量目标的数据类型定义轨道的宽度和显示区域；
基于所述轨道形状、宽度和显示区域，动态生成轨道的内外边框；
基于所述轨道的内外边框，得到移动路径。
5.根据权利要求4所述的方法，其特征在于，所述动态生成轨道的内外边框包括：
对轨道形状进行内缩或外扩：
获取原轨道图形各边的平行边的交点；
将所述交点作为新轨道图形的端点，得到内缩或外扩多边形的每一个端点；
基于所述多边形的每一个端点进行连线得到新的多边形，完成对轨道形状进行内缩或外扩，动态生成轨道的内外边框。
6.根据权利要求5所述的方法，其特征在于，所述基于所述轨道的内外边框，得到移动路径包括：
基于所述轨道的内外边框，生成范围和形状；
基于所述范围和形状，得到移动路径。
7.一种人机交互移动轨迹检测装置，其特征在于，包括：
拆分模块，用于对移动路径进行拆分，得到一段或多段子路径；
记录模块，用于监测移动目标在每段子路径的运动并进行记录，得到所述移动目标在每段子路径的人机交互移动轨迹；
标识模块，用于通过每段子路径对应的判定模型，对所述移动目标在每段子路径的人机交互移动轨迹进行标识；若所述子路径为梯形，则根据其每个顶点坐标对该梯形进行分割，得到多个子区域，分别对所述移动目标在每个子区域的人机交互移动轨迹进行标识；
若所述子路径为圆形，则将其均分为多个小段，根据每小段的行走距离和每小段对应的起始弧度和结束弧度，计算出每小段的形状和大小；基于所述每小段的形状和大小，对所述移动目标的人机交互移动轨迹进行标识；
若所述子路径为三角形，则根据所述三角形的各顶点坐标对其进行拆分，根据拆分后的区域对所述移动目标的人机交互移动轨迹进行标识；
若所述子路径为正方形，则将所述正方形拆分为多个长方形路径，分别对所述移动目标在每个长方形区域的人机交互移动轨迹进行标识；
若所述子路径为特殊图形路径，则将其拆分为多个规则子路径；根据每个规则子路径对应的判定模型对所述多个规则子路径进行拆分，基于拆分后的区域对所述移动目标的人机交互移动轨迹进行标识；
检测模块，用于基于每段子路径的人机交互移动轨迹标识，完成对所述移动目标的人机交互移动轨迹检测。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211074471.8A CN115457113B (zh) | 2022-09-03 | 2022-09-03 | 人机交互移动轨迹检测方法、装置、设备和可读存储介质 |
| US18/088,894 US20240077954A1 (en) | 2022-09-03 | 2022-12-27 | Human-computer interaction movement track detection method, apparatus, device, and readable storage medium |
| EP22216994.8A EP4332731A1 (en) | 2022-09-03 | 2022-12-28 | Human-computer interaction movement track detection method, apparatus, device, and readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211074471.8A CN115457113B (zh) | 2022-09-03 | 2022-09-03 | 人机交互移动轨迹检测方法、装置、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115457113A CN115457113A (zh) | 2022-12-09 |
| CN115457113B true CN115457113B (zh) | 2023-05-23 |
Family
ID=84300500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211074471.8A Active CN115457113B (zh) | 2022-09-03 | 2022-09-03 | 人机交互移动轨迹检测方法、装置、设备和可读存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240077954A1 (zh) |
| EP (1) | EP4332731A1 (zh) |
| CN (1) | CN115457113B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728014A (zh) * | 2018-06-27 | 2020-01-24 | 百度（美国）有限责任公司 | 使用具有加权几何成本的分段螺旋曲线的参考线平滑方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2459345C (en) * | 2009-03-06 | 2010-11-10 | Khalil Arafat | User interface for an electronic device having a touch-sensitive surface. |
| US9239956B2 (en) * | 2012-06-28 | 2016-01-19 | Oliver Hein | Method and apparatus for coding of eye and eye movement data |
| US10742475B2 (en) * | 2012-12-05 | 2020-08-11 | Origin Wireless, Inc. | Method, apparatus, and system for object tracking sensing using broadcasting |
| US20150029092A1 (en) * | 2013-07-23 | 2015-01-29 | Leap Motion, Inc. | Systems and methods of interpreting complex gestures |
| FR3017723B1 (fr) * | 2014-02-19 | 2017-07-21 | Fogale Nanotech | Procede d'interaction homme-machine par combinaison de commandes tactiles et sans contact |
| US11087068B2 (en) * | 2016-10-31 | 2021-08-10 | Fujifilm Business Innovation Corp. | Systems and methods for bringing document interactions into the online conversation stream |
| US10346655B2 (en) * | 2016-12-07 | 2019-07-09 | Nec Corporation | Battery-free touch-aware user input using RFID tags |
| US10429849B2 (en) * | 2017-12-14 | 2019-10-01 | Baidu Usa Llc | Non-linear reference line optimization method using piecewise quintic polynomial spiral paths for operating autonomous driving vehicles |
| US11143513B2 (en) * | 2018-10-19 | 2021-10-12 | Baidu Usa Llc | Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles |
| US10942617B2 (en) * | 2019-01-08 | 2021-03-09 | International Business Machines Corporation | Runtime adaptation of augmented reality gaming content based on context of surrounding physical environment |
| US10802600B1 (en) * | 2019-09-20 | 2020-10-13 | Facebook Technologies, Llc | Virtual interactions at a distance |
| EP3835924A1 (en) * | 2019-12-13 | 2021-06-16 | Treye Tech UG (haftungsbeschränkt) | Computer system and method for human-machine interaction |
| CN113469200A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法和系统、存储介质、计算设备 |
| CN112121437B (zh) * | 2020-09-21 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 针对目标对象的移动控制方法、装置、介质及电子设备 |
| CN113011323B (zh) * | 2021-03-18 | 2022-11-29 | 阿波罗智联(北京)科技有限公司 | 通行状态的获取方法、相关装置、路侧设备及云控平台 |
| CN113289327A (zh) * | 2021-06-18 | 2021-08-24 | Oppo广东移动通信有限公司 | 移动终端的显示控制方法及装置、存储介质及电子设备 |
| CN113593218B (zh) * | 2021-06-28 | 2022-10-18 | 北京百度网讯科技有限公司 | 交通异常事件的检测方法、装置、电子设备及存储介质 |
| CN114612733B (zh) * | 2022-03-18 | 2023-04-28 | 山东财经大学 | 一种基于环路虚拟路径图的分段重定向映射方法、终端及可读存储介质 |
-
2022
- 2022-09-03 CN CN202211074471.8A patent/CN115457113B/zh active Active
- 2022-12-27 US US18/088,894 patent/US20240077954A1/en active Pending
- 2022-12-28 EP EP22216994.8A patent/EP4332731A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728014A (zh) * | 2018-06-27 | 2020-01-24 | 百度（美国）有限责任公司 | 使用具有加权几何成本的分段螺旋曲线的参考线平滑方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115457113A (zh) | 2022-12-09 |
| US20240077954A1 (en) | 2024-03-07 |
| EP4332731A1 (en) | 2024-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100004861A1 (en) | Obstacle detecting apparatus and method | |
| US8249320B2 (en) | Method, apparatus, and program for measuring sizes of tumor regions | |
| CN103678754B (zh) | 信息处理装置及信息处理方法 | |
| CN110503095B (zh) | 目标检测模型的定位质量评价方法、定位方法及设备 | |
| Zhang et al. | Weld line detection and tracking via spatial-temporal cascaded hidden Markov models and cross structured light | |
| CN111238854B (zh) | 一种扫地机器人覆盖率的确定方法、装置、设备及介质 | |
| KR102145557B1 (ko) | 이종 센서 간의 데이터 융합 장치 및 방법 | |
| JP6381137B2 (ja) | 標識検出装置、方法、及びプログラム | |
| US20190295297A1 (en) | Computer Handling of Polygons | |
| CN107316298B (zh) | 一种焊接间隙的实时测量方法、装置及电子设备 | |
| Chen et al. | Automatic weld type classification, tacked spot recognition and weld ROI determination for robotic welding based on modified YOLOv5 | |
| CN108332685A (zh) | 一种编码结构光三维测量方法 | |
| CN104079798B (zh) | 图像检测方法、装置及一种视频监控系统 | |
| CN115797408A (zh) | 融合多视角图像和三维点云的目标跟踪方法及装置 | |
| KR20130079863A (ko) | 병변 모양 규칙성 판단이 가능한 병변 진단 장치 및 이의 병변 모양 규칙성 판단 방법 | |
| CN104766330B (zh) | 一种图像处理方法及电子设备 | |
| CN108827200A (zh) | 一种船体分段智能检测系统及方法 | |
| CN115457113B (zh) | 人机交互移动轨迹检测方法、装置、设备和可读存储介质 | |
| KR20110038798A (ko) | 교차 검사 가속을 위한 광선 추적 장치 및 방법 및 이를 이용한 렌더링 장치 및 방법 | |
| TWI705241B (zh) | 光學薄膜缺陷檢測裝置及方法 | |
| US10636140B2 (en) | Technique for inspecting semiconductor wafers | |
| CN116434181A (zh) | 地面点检测方法、装置、电子设备和介质 | |
| US20140297224A1 (en) | Data processing method of tire shape inspecting device | |
| JP2023031195A (ja) | 溶接検査方法、溶接検査システム、溶接検査プログラム | |
| CN114841255A (zh) | 检测模型的训练方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |