CN114625251A - 基于vr的交互方法、装置、计算机设备及存储介质 - Google Patents
基于vr的交互方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114625251A CN114625251A CN202210236520.7A CN202210236520A CN114625251A CN 114625251 A CN114625251 A CN 114625251A CN 202210236520 A CN202210236520 A CN 202210236520A CN 114625251 A CN114625251 A CN 114625251A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual scene
- motion
- video image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000003993 interaction Effects 0.000 title claims abstract description 39
- 230000033001 locomotion Effects 0.000 claims abstract description 166
- 230000009471 action Effects 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000002452 interceptive effect Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 59
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000003068 static effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请为虚拟现实技术领域，本申请提供了一种基于VR的交互方法、装置、计算机设备及存储介质，其中，所述方法包括：在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户，接收每台相机拍摄得到的视频图像帧，得到多段视频图像帧，将多段视频图像帧输入预先训练好的图像处理模型，得到用户的运动轨迹，根据运动轨迹确定用户的目标动作，根据目标动作调整VR当前播放的虚拟场景，以通过图像识别用户的运动轨迹，并确定用户的动作，将用户的动作反馈至的虚拟场景中，从而跟随用户的动作，提高交互效果，并增加用户的体验感。
Description
技术领域
本申请涉及虚拟现实技术领域，具体而言，本申请涉及一种基于VR的交互方法、装置、计算机设备及存储介质。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。
随着VR技术的日益成熟，VR已经渐渐成为人们的生活中必不可少的娱乐设备之一。目前的VR技术还无法实现人与VR的交互，交互效果较差，大大降低了用户体验。
发明内容
本申请的主要目的为提供一种基于VR的交互方法、装置、计算机设备及存储介质，以实现人与VR的交互，提高交互效果。
为了实现上述发明目的，本申请提供一种基于VR的交互方法，其包括：
在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
优选地，所述根据所述目标动作调整所述VR当前播放的虚拟场景，包括：
获取所述VR当前时间节点播放的虚拟场景，得到第一虚拟场景；
获取所述VR下一个时间节点待播放的多个虚拟场景，得到多个第二虚拟场景；其中，所述第一虚拟场景与所述第二虚拟场景具有预设关系；
根据预先构建的匹配关系，从所述多个第二虚拟场景中筛选出与所述目标动作相匹配的第二虚拟场景，得到目标虚拟场景；
在下一个时间节点播放所述目标虚拟场景。
优选地，所述根据所述运动轨迹确定所述用户的目标动作，包括：
计算所述运动轨迹与数据库中的多个标准运动轨迹的匹配度；
从所述多个标准运动轨迹中筛选出与所述运动轨迹匹配度最高的标准运动轨迹，得到目标运动轨迹；
查询所述目标运动轨迹对应的动作，得到所述用户的目标动作。
在一实施例中，所述计算所述运动轨迹与数据库中的多个标准运动轨迹的匹配度，包括：
将所述运动轨迹与每个标准运动轨迹进行比较，分别确定所述运动轨迹的像素点与每个所述标准运动轨迹的像素点相重合的数量，得到每个所述标准运动轨迹的像素点重合数量；
获取所述运动轨迹的像素点的数量，得到总数量；
分别将每个所述标准运动轨迹的像素点重合数量除以所述总数量，得到所述运动轨迹与每个所述标准运动轨迹的匹配度。
优选地，所述根据所述目标动作调整所述VR当前播放的虚拟场景，包括：
从所述VR当前播放的所述虚拟场景中确定所述目标动作对应的待执行虚拟物体；
从所述VR当前播放的所述虚拟场景中控制所述待执行虚拟物体按照所述目标动作进行移动。
进一步地，所述将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹之前，还包括：
获取训练数据；其中，所述训练数据包括多张标准视频图像帧，及每张标准视频图像帧的用户的标准运动轨迹；
利用所述训练数据对预设的神经网络模型进行训练，得到训练结果；
判断所述训练结果是否满足要求；
当确定所述训练结果满足要求后，得到所述图像处理模型。
优选地，所述判断所述训练结果是否满足要求，包括：
根据所述训练结果，利用交叉熵损失函数计算所述神经网络模型训练后的损失值；
判断所述损失值是否低于预设损失值；
当判定所述损失值低于预设损失值时，得到训练好的图像处理模型。
本申请还提供一种基于VR的交互装置，其包括：
控制模块，用于在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收模块，用于接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
输入模块，用于将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
调整模块，用于根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本申请所提供的一种基于VR的交互方法、装置、计算机设备及存储介质，在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户，接收每台相机拍摄得到的视频图像帧，得到多段视频图像帧，将多段视频图像帧输入预先训练好的图像处理模型，得到用户的运动轨迹，根据运动轨迹确定用户的目标动作，根据目标动作调整VR当前播放的虚拟场景，以通过图像识别用户的运动轨迹，并确定用户的动作，将用户的动作反馈至的虚拟场景中，从而跟随用户的动作，提高交互效果，并增加用户的体验感。
附图说明
图1为本申请一实施例的基于VR的交互方法的流程示意图；
图2为本申请一实施例的基于VR的交互装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提出一种基于VR的交互方法，本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请提出的一种基于VR的交互方法，以VR为执行主体，用于解决当前的VR交互效果较差，大大降低了用户体验的技术问题。参考图1，其中一个实施例中，该基于VR的交互方法包括：
S11、在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
S12、接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
S13、将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
S14、根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
如上述步骤S11所述，该VR为VR设备，当用户佩戴上VR，并监测到用户的佩戴状态为目标状态时，则启动VR，并使VR进入交互模式。其中，该目标状态为用户佩戴正确的状态，可通过配置在VR的多维传感器获取用户佩戴上VR后的姿态数据，将姿态数据与预先存储的标准姿态数据进行比对，当判定用户佩戴上VR后的姿态数据与预先存储的标准姿态数据相一致时，则确定用户的佩戴状态为目标状态。
例如，当用户拿起VR时，会使得VR自身呈现三维运动姿态，又鉴于VR的姿态数据表征VR自身的三维运动姿态，故可以在获取到VR的姿态数据之后，进一步根据姿态数据，识别用户佩戴VR的佩戴状态。其中，VR的佩戴状态还包括佩戴中状态或准备佩戴状态，以及未佩戴状态或静止状态。若姿态数据符合用户正在佩戴或准备佩戴VR时VR所呈现的三维运动姿态，可识别出VR处于佩戴中状态或准备佩戴状态。若姿态数据符合VR静止时的三维运动姿态，可识别出VR处于未佩戴状态或静止状态。此外，VR当前的工作状态包括休眠状态和唤醒状态，或者关闭状态和开启状态。本实施例可根据VR的佩戴状态，将VR的工作状态从当前的工作状态，调整为进入交互模式的工作状态。
在一实施例中，当监测到用户的佩戴状态并非是目标状态时，则通过语音提醒或画面提醒的方式告知用户调整佩戴状态，直至佩戴状态为目标状态时，则启动VR，并使VR进入交互模式。
其中，所述交互模式为用户与VR播放的虚拟场景进行互动的模式，例如，当用户向前跑动时，则VR可播放含有跑道的虚拟场景；当用户做出向前踢的动作时，则VR可播放呈现踢球的虚拟场景。
本实施例中，通过获取表征VR三维运动姿态的姿态数据，并根据姿态数据识别用户佩戴上VR的佩戴状态，进而根据佩戴状态确定是否使VR进入交互模式，以自动识别出用户是否佩戴正确，实现VR的交互模式的自动启动，从而无需通过按键的方式进入，提高VR操作的便捷性。
在一实施例中，当监测到VR进入交互模式时，则控制预先安装的多台相机拍摄位于预设位置的用户。其中，预设位置可自定义设置，如将密闭空间中的中心位置标记为预设位置，当用户站在预设位置并佩戴好VR后，则控制多台相机分别拍摄该用户，以获取用户的视频图像帧。
其中，多台相机均匀安装在以预设位置为中心的周围，例如，可设置6台相机，6台相机等间距分布在以预设位置为中心的上、下、左、右、前和后的位置，每台相机的镜头对准位于预设位置的用户，且每台相机与预设位置的距离都相同，以实现多个角度拍摄用户，识别用户的动作。
如上述步骤S12所述，VR实时接收每台相机拍摄得到的视频图像帧，以得到多段视频图像帧，然后对每段视频图像帧进行预处理，预处理包括对每段视频图像帧的清晰度、对比度或亮度等图像参数进行调整，以得到质量较高的视频图像帧。例如，获取视频图像帧的清晰度，判断视频图像帧的清晰度是否低于预设清晰度，若是，则调整视频图像帧的清晰度，得到清晰度高于预设清晰度的视频图像帧。
如上述步骤S13所述，图像处理模型可以为卷积神经网络、深度神经网络或循环神经网络等，用于识别视频图像帧的用户的运动轨迹。本申请实施例对图像处理模型的类型不作限定。此外，图像处理模型可以为适用于不同的计算机视觉任务的神经网络，例如：目标识别任务、目标分类任务、目标检测任务或姿态估计任务等。图像处理模型也可以为适用于不同的应用场景的神经网络，例如：监控场景、人脸解锁场景、智能驾驶或遥感场景等，本申请实施例对图像处理模型的适用范围不作限定。可选地，图像处理模型的网络结构可以根据计算机视觉任务设计，或者，图像处理模型的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络或者，视觉几何组网络等，本发明实施例对图像处理模型的网络结构不作限定。
本实施例将多段视频图像帧输入预先训练好的图像处理模型，利用图像处理模型输出得到用户的运动轨迹，以通过神经网络模型自动处理得到用户的运动轨迹，提高处理效率。
如上述步骤S14所述，本实施例可根据运动轨迹确定用户的目标动作，根据目标动作调整VR当前播放的虚拟场景，例如，当用户的目标动作为向前跑动时，则VR可播放含有跑道的虚拟场景；当用户的目标动作为向前踢时，则VR可播放呈现踢球的虚拟场景，以提高交互效果，提升用户体验。
在一实施例中，当运动轨迹的数量为多段时，每段运动轨迹分别为用户某个肢体的活动轨迹，则可根据每段运动轨迹综合确定用户的目标动作，以精确得到用户做出的动作。
本申请所提供的一种基于VR的交互方法，在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户，接收每台相机拍摄得到的视频图像帧，得到多段视频图像帧，将多段视频图像帧输入预先训练好的图像处理模型，得到用户的运动轨迹，根据运动轨迹确定用户的目标动作，根据目标动作调整VR当前播放的虚拟场景，以通过图像识别用户的运动轨迹，并确定用户的动作，将用户的动作反馈至的虚拟场景中，从而跟随用户的动作，提高交互效果，同时无需借助手柄等传感器采集用户的运动轨迹，简单快捷，增加用户的体验感。
在一实施例中，所述根据所述目标动作调整所述VR当前播放的虚拟场景，可具体包括：
获取所述VR当前时间节点播放的虚拟场景，得到第一虚拟场景；
获取所述VR下一个时间节点待播放的多个虚拟场景，得到多个第二虚拟场景；其中，所述第一虚拟场景与所述第二虚拟场景具有预设关系；
根据预先构建的匹配关系，从所述多个第二虚拟场景中筛选出与所述目标动作相匹配的第二虚拟场景，得到目标虚拟场景；
在下一个时间节点播放所述目标虚拟场景。
在本实施例中，在VR下一个时间节点播放虚拟场景之前，一般预先准备有多个候选的虚拟场景，将其作为待播放的多个虚拟场景，以得到多个第二虚拟场景，所述第一虚拟场景与第二虚拟场景的预设关系可以是第一虚拟场景与第二虚拟场景之间的相似度较高或具有相同的场景特征等等。例如，第一虚拟场景与第二虚拟场景具有相同的虚拟人物、相同的背景图像等。
在确定第一虚拟场景与第二虚拟场景之间的相似度时，可获取第一虚拟场景的场景特征，得到第一特征，获取第二虚拟场景的场景特征，得到第二特征，分别将第一特征、第二特征转换为向量形式，得到第一特征对应的第一特征向量、第二特征对应的第二特征向量，然后计算第一特征向量与第二特征向量的余弦距离，基于余弦距离评估第一虚拟场景与第二虚拟场景之间的相似度，当余弦距离较大时，则第一虚拟场景与第二虚拟场景之间的相似度较高；当余弦距离较小时，则第一虚拟场景与第二虚拟场景之间的相似度较低。
其中，所述匹配关系为每个虚拟场景与目标动作的对应关系，可预先构建对照表，该对照表中记录了每个虚拟场景与目标动作的对应关系。例如，当用户的目标动作为向前跑动时，则对应的虚拟场景为含有跑道的虚拟场景；当用户的目标动作为向前踢时，则对应的虚拟场景为呈现踢球的虚拟场景。因此，本实施例可根据对照表中预先构建的匹配关系，从多个第二虚拟场景中筛选出与目标动作相匹配的第二虚拟场景，将与目标动作相匹配的第二虚拟场景作为目标虚拟场景，并在下一个时间节点播放目标虚拟场景，以使虚拟场景根据用户的目标动作而调整，提高交互效果，并增加用户的体验感。
在一实施例中，所述根据所述运动轨迹确定所述用户的目标动作，可具体包括：
计算所述运动轨迹与数据库中的多个标准运动轨迹的匹配度；
从所述多个标准运动轨迹中筛选出与所述运动轨迹匹配度最高的标准运动轨迹，得到目标运动轨迹；
查询所述目标运动轨迹对应的动作，得到所述用户的目标动作。
在本实施例中，可预先采集大量的运动轨迹，并从大量的运动轨迹中筛选出符合预设要求的运动轨迹，将其作为标准运动轨迹并存储至数据库中，以在根据运动轨迹确定用户的目标动作时，将运动轨迹与数据库中的多个标准运动轨迹进行一一比较，计算得到运动轨迹与数据库中的每个标准运动轨迹的匹配度，并从多个标准运动轨迹中筛选出与运动轨迹匹配度最高的标准运动轨迹，将与运动轨迹匹配度最高的标准运动轨迹作为目标运动轨迹，最后查询目标运动轨迹对应的动作，得到用户的目标动作。其中，数据库中还记录了每条运动轨迹对应的动作。
在一实施例中，所述计算所述运动轨迹与数据库中的多个标准运动轨迹的匹配度，可具体包括：
将所述运动轨迹与每个标准运动轨迹进行比较，分别确定所述运动轨迹的像素点与每个所述标准运动轨迹的像素点相重合的数量，得到每个所述标准运动轨迹的像素点重合数量；
获取所述运动轨迹的像素点的数量，得到总数量；
分别将每个所述标准运动轨迹的像素点重合数量除以所述总数量，得到所述运动轨迹与每个所述标准运动轨迹的匹配度。
本实施例将运动轨迹与每个标准运动轨迹进行比较，具体可将运动轨迹与每个标准运动轨迹进行映射，映射之后可观察到运动轨迹与每个标准运动轨迹的重合部分及不重合部分，然后分别确定运动轨迹的像素点与每个标准运动轨迹的像素点相重合的数量，得到每个标准运动轨迹的像素点重合数量，获取运动轨迹的像素点的数量，得到总数量，分别将每个标准运动轨迹的像素点重合数量除以总数量，得到运动轨迹与每个标准运动轨迹的匹配度。例如，假设标准运动轨迹A与运动轨迹的像素点重合数量为1000个，运动轨迹的像素点的数量为2000个，则计算得到的运动轨迹与标准运动轨迹A的匹配度为50％。
在一实施例中，所述根据所述目标动作调整所述VR当前播放的虚拟场景，可具体包括：
从所述VR当前播放的所述虚拟场景中确定所述目标动作对应的待执行虚拟物体；
从所述VR当前播放的所述虚拟场景中控制所述待执行虚拟物体按照所述目标动作进行移动。
在本实施例中，所述待执行虚拟物体可以是虚拟场景中的足球、篮球、游戏角色等等，本实施例可获取目标动作对应的动作方向，基于动作方向确定该动作在虚拟场景中所指向的待执行虚拟物体，控制待执行虚拟物体按照目标动作进行移动，例如，当用户的目标动作为向前踢时，目标动作指向的待执行虚拟物体为当前虚拟场景中的足球时，则足球按照目标动作在虚拟场景中呈现向后移动的效果，则VR可播放呈现踢球的虚拟场景，以提高交互效果，提升用户体验。
在一实施例中，所述将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹之前，还可包括：
获取训练数据；其中，所述训练数据包括多张标准视频图像帧，及每张标准视频图像帧的用户的标准运动轨迹；
利用所述训练数据对预设的神经网络模型进行训练，得到训练结果；
判断所述训练结果是否满足要求；
当确定所述训练结果满足要求后，得到所述图像处理模型。
本实施例可获取训练数据，提取训练数据中的多张标准视频图像帧，利用数据增强方法对每张标准视频图像帧进行扩增处理，以得到扩增的标准视频图像帧，将扩增的标准视频图像帧添加至训练数据中，以通过使用数据增强可以增加训练数据的数据量，提高图像处理模型的训练效果。
其中，数据增强方法可包括旋转、平移、镜像、缩放等等，可以采用其中一种数据增强方法，也可以多种数据增强方法进行组合，将训练数据的标准视频图像帧扩增到20000张,以提供足够的训练样本，避免网络在训练过程中出现过拟合。例如，可首先对标准视频图像帧按照预设角度进行转动，然后对转动后的标准视频图像帧进行翻转，以扩增得到一张标准视频图像帧，将其添加至训练数据中。
此外，每张标准视频图像帧的用户的标准运动轨迹可通过人工标注的方式进行标定，利用训练数据对预设的神经网络模型进行训练，在神经网络模型训练完成后，输出得到训练结果，判断训练结果是否满足要求，当确定训练结果满足要求后，将训练后的神经网络模型作为图像处理模型。
同时，本申请还考虑可以引入区块链结构，并充分利用区块链的相关特性(例如，区块链上的数据不可篡改等)，在训练之前，将训练数据上传到区块链上进行存证；在训练过程中，将训练过程中的关联数据上传至区块链上进行存证，这样后续如果需要，被触发的监管服务器可以获取并根据保存在区块链上的相关数据进行回溯，以重建训练过程；再根据重建的训练过程检测出在训练过程中是否存在风险行为，以保护数据方的数据安全，提高训练过程的安全性和可信度。
在一实施例中，所述判断所述训练结果是否满足要求，可具体包括：
根据所述训练结果，利用交叉熵损失函数计算所述神经网络模型训练后的损失值；
判断所述损失值是否低于预设损失值；
当判定所述损失值低于预设损失值时，得到训练好的图像处理模型。
在本实施例中，在对神经网络模型每次训练后，可利用预设的交叉熵损失函数计算每次训练完成后的神经网络模型的损失值，并在损失值满足预设阈值或小于预设损失值时，即神经网络模型的训练结果满足要求，则表明神经网络模型达到训练要求，完成所述图像处理模型的训练，以提高图像处理模型的运动轨迹提取效果。其中，交叉熵损失函数用来评价图像处理模型的预测值和真实值不一样的程度，损失函数越好，通常图像处理模型的性能越好。此外，交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。
当图像处理模型的损失值不小于预设损失值时，则可根据损失值在图像处理模型的神经网络结构中进行前向传递，调整图像处理模型的相关参数，基于重新设置的相关参数对调整后的图像处理模型进行重新训练，直至图像处理模型的损失值小于预设损失值为止，至此图像处理模型训练结束，得到训练结果满足要求的图像处理模型，以得到训练好的图像处理模型。
参照图2，本申请实施例中还提供一种基于VR的交互装置，包括：
控制模块11，用于在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收模块12，用于接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
输入模块13，用于将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
调整模块14，用于根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
该VR为VR设备，当用户佩戴上VR，并监测到用户的佩戴状态为目标状态时，则启动VR，并使VR进入交互模式。其中，该目标状态为用户佩戴正确的状态，可通过配置在VR的多维传感器获取用户佩戴上VR后的姿态数据，将姿态数据与预先存储的标准姿态数据进行比对，当判定用户佩戴上VR后的姿态数据与预先存储的标准姿态数据相一致时，则确定用户的佩戴状态为目标状态。
例如，当用户拿起VR时，会使得VR自身呈现三维运动姿态，又鉴于VR的姿态数据表征VR自身的三维运动姿态，故可以在获取到VR的姿态数据之后，进一步根据姿态数据，识别用户佩戴VR的佩戴状态。其中，VR的佩戴状态还包括佩戴中状态或准备佩戴状态，以及未佩戴状态或静止状态。若姿态数据符合用户正在佩戴或准备佩戴VR时VR所呈现的三维运动姿态，可识别出VR处于佩戴中状态或准备佩戴状态。若姿态数据符合VR静止时的三维运动姿态，可识别出VR处于未佩戴状态或静止状态。此外，VR当前的工作状态包括休眠状态和唤醒状态，或者关闭状态和开启状态。本实施例可根据VR的佩戴状态，将VR的工作状态从当前的工作状态，调整为进入交互模式的工作状态。
在一实施例中，当监测到用户的佩戴状态并非是目标状态时，则通过语音提醒或画面提醒的方式告知用户调整佩戴状态，直至佩戴状态为目标状态时，则启动VR，并使VR进入交互模式。
其中，所述交互模式为用户与VR播放的虚拟场景进行互动的模式，例如，当用户向前跑动时，则VR可播放含有跑道的虚拟场景；当用户做出向前踢的动作时，则VR可播放呈现踢球的虚拟场景。
本实施例中，通过获取表征VR三维运动姿态的姿态数据，并根据姿态数据识别用户佩戴上VR的佩戴状态，进而根据佩戴状态确定是否使VR进入交互模式，以自动识别出用户是否佩戴正确，实现VR的交互模式的自动启动，从而无需通过按键的方式进入，提高VR操作的便捷性。
在一实施例中，当监测到VR进入交互模式时，则控制预先安装的多台相机拍摄位于预设位置的用户。其中，预设位置可自定义设置，如将密闭空间中的中心位置标记为预设位置，当用户站在预设位置并佩戴好VR后，则控制多台相机分别拍摄该用户，以获取用户的视频图像帧。
其中，多台相机均匀安装在以预设位置为中心的周围，例如，可设置6台相机，6台相机等间距分布在以预设位置为中心的上、下、左、右、前和后的位置，每台相机的镜头对准位于预设位置的用户，且每台相机与预设位置的距离都相同，以实现多个角度拍摄用户，识别用户的动作。
VR实时接收每台相机拍摄得到的视频图像帧，以得到多段视频图像帧，然后对每段视频图像帧进行预处理，预处理包括对每段视频图像帧的清晰度、对比度或亮度等图像参数进行调整，以得到质量较高的视频图像帧。例如，获取视频图像帧的清晰度，判断视频图像帧的清晰度是否低于预设清晰度，若是，则调整视频图像帧的清晰度，得到清晰度高于预设清晰度的视频图像帧。
图像处理模型可以为卷积神经网络、深度神经网络或循环神经网络等，用于识别视频图像帧的用户的运动轨迹。本申请实施例对图像处理模型的类型不作限定。此外，图像处理模型可以为适用于不同的计算机视觉任务的神经网络，例如：目标识别任务、目标分类任务、目标检测任务或姿态估计任务等。图像处理模型也可以为适用于不同的应用场景的神经网络，例如：监控场景、人脸解锁场景、智能驾驶或遥感场景等，本申请实施例对图像处理模型的适用范围不作限定。可选地，图像处理模型的网络结构可以根据计算机视觉任务设计，或者，图像处理模型的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络或者，视觉几何组网络等，本发明实施例对图像处理模型的网络结构不作限定。
本实施例将多段视频图像帧输入预先训练好的图像处理模型，利用图像处理模型输出得到用户的运动轨迹，以通过神经网络模型自动处理得到用户的运动轨迹，提高处理效率。
本实施例可根据运动轨迹确定用户的目标动作，根据目标动作调整VR当前播放的虚拟场景，例如，当用户的目标动作为向前跑动时，则VR可播放含有跑道的虚拟场景；当用户的目标动作为向前踢时，则VR可播放呈现踢球的虚拟场景，以提高交互效果，提升用户体验。
在一实施例中，当运动轨迹的数量为多段时，每段运动轨迹分别为用户某个肢体的活动轨迹，则可根据每段运动轨迹综合确定用户的目标动作，以精确得到用户做出的动作。
如上所述，可以理解地，本申请中提出的所述基于VR的交互装置的各组成部分可以实现如上所述基于VR的交互方法任一项的功能，具体结构不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述基于VR的交互方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于VR的交互方法。
上述处理器执行上述的基于VR的交互方法，包括：
在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于VR的交互方法，包括步骤：
在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本申请的最大有益效果在于：
本申请所提供的一种基于VR的交互方法、装置、计算机设备及存储介质，在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户，接收每台相机拍摄得到的视频图像帧，得到多段视频图像帧，将多段视频图像帧输入预先训练好的图像处理模型，得到用户的运动轨迹，根据运动轨迹确定用户的目标动作，根据目标动作调整VR当前播放的虚拟场景，以通过图像识别用户的运动轨迹，并确定用户的动作，将用户的动作反馈至的虚拟场景中，从而跟随用户的动作，提高交互效果，并增加用户的体验感。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于VR的交互方法，其特征在于，包括：
在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标动作调整所述VR当前播放的虚拟场景，包括：
获取所述VR当前时间节点播放的虚拟场景，得到第一虚拟场景；
获取所述VR下一个时间节点待播放的多个虚拟场景，得到多个第二虚拟场景；其中，所述第一虚拟场景与所述第二虚拟场景具有预设关系；
根据预先构建的匹配关系，从所述多个第二虚拟场景中筛选出与所述目标动作相匹配的第二虚拟场景，得到目标虚拟场景；
在下一个时间节点播放所述目标虚拟场景。
3.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹确定所述用户的目标动作，包括：
计算所述运动轨迹与数据库中的多个标准运动轨迹的匹配度；
从所述多个标准运动轨迹中筛选出与所述运动轨迹匹配度最高的标准运动轨迹，得到目标运动轨迹；
查询所述目标运动轨迹对应的动作，得到所述用户的目标动作。
4.根据权利要求3所述的方法，其特征在于，所述计算所述运动轨迹与数据库中的多个标准运动轨迹的匹配度，包括：
将所述运动轨迹与每个标准运动轨迹进行比较，分别确定所述运动轨迹的像素点与每个所述标准运动轨迹的像素点相重合的数量，得到每个所述标准运动轨迹的像素点重合数量；
获取所述运动轨迹的像素点的数量，得到总数量；
分别将每个所述标准运动轨迹的像素点重合数量除以所述总数量，得到所述运动轨迹与每个所述标准运动轨迹的匹配度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标动作调整所述VR当前播放的虚拟场景，包括：
从所述VR当前播放的所述虚拟场景中确定所述目标动作对应的待执行虚拟物体；
从所述VR当前播放的所述虚拟场景中控制所述待执行虚拟物体按照所述目标动作进行移动。
6.根据权利要求1所述的方法，其特征在于，所述将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹之前，还包括：
获取训练数据；其中，所述训练数据包括多张标准视频图像帧，及每张标准视频图像帧的用户的标准运动轨迹；
利用所述训练数据对预设的神经网络模型进行训练，得到训练结果；
判断所述训练结果是否满足要求；
当确定所述训练结果满足要求后，得到所述图像处理模型。
7.根据权利要求6所述的方法，其特征在于，所述判断所述训练结果是否满足要求，包括：
根据所述训练结果，利用交叉熵损失函数计算所述神经网络模型训练后的损失值；
判断所述损失值是否低于预设损失值；
当判定所述损失值低于预设损失值时，得到训练好的图像处理模型。
8.一种基于VR的交互装置，其特征在于，包括：
控制模块，用于在VR进入交互模式时，控制预先安装的多台相机拍摄位于预设位置的用户；其中，多台所述相机均匀安装在以所述预设位置为中心的周围；
接收模块，用于接收每台所述相机拍摄得到的视频图像帧，得到多段视频图像帧；
输入模块，用于将所述多段视频图像帧输入预先训练好的图像处理模型，得到所述用户的运动轨迹；
调整模块，用于根据所述运动轨迹确定所述用户的目标动作，根据所述目标动作调整所述VR当前播放的虚拟场景。
9.一种计算机设备，其特征在于，包括：
处理器；
存储器；
其中，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于VR的交互方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-7任一项所述的基于VR的交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236520.7A CN114625251A (zh) | 2022-03-11 | 2022-03-11 | 基于vr的交互方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236520.7A CN114625251A (zh) | 2022-03-11 | 2022-03-11 | 基于vr的交互方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114625251A true CN114625251A (zh) | 2022-06-14 |
Family
ID=81902746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210236520.7A Pending CN114625251A (zh) | 2022-03-11 | 2022-03-11 | 基于vr的交互方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114625251A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115509360A (zh) * | 2022-10-11 | 2022-12-23 | 云宝宝大数据产业发展有限责任公司 | 基于元宇宙虚拟现实vr交互系统 |
| CN116309850A (zh) * | 2023-05-17 | 2023-06-23 | 中数元宇数字科技(上海)有限公司 | 一种虚拟触控识别方法、设备及存储介质 |
| CN117541627A (zh) * | 2024-01-10 | 2024-02-09 | 山东师范大学 | 一种基于vr技术的用户运动指导系统 |
| CN117827013A (zh) * | 2024-03-05 | 2024-04-05 | 青岛三诚众合智能设备科技有限公司 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810717A (zh) * | 2012-11-09 | 2014-05-21 | 浙江大华技术股份有限公司 | 一种人体行为检测方法及装置 |
| CN107783652A (zh) * | 2017-10-17 | 2018-03-09 | 广州杰赛科技股份有限公司 | 虚拟现实的实现方法、系统和装置 |
| CN108875666A (zh) * | 2018-06-27 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110866940A (zh) * | 2019-11-05 | 2020-03-06 | 广东虚拟现实科技有限公司 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
| CN113282164A (zh) * | 2021-03-01 | 2021-08-20 | 联想(北京)有限公司 | 一种处理方法和装置 |
| CN113593348A (zh) * | 2021-08-11 | 2021-11-02 | 中国人民解放军联勤保障部队大连康复疗养中心 | 虚拟训练控制系统、方法、装置、设备及存储介质 |
-
2022
- 2022-03-11 CN CN202210236520.7A patent/CN114625251A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810717A (zh) * | 2012-11-09 | 2014-05-21 | 浙江大华技术股份有限公司 | 一种人体行为检测方法及装置 |
| CN107783652A (zh) * | 2017-10-17 | 2018-03-09 | 广州杰赛科技股份有限公司 | 虚拟现实的实现方法、系统和装置 |
| CN108875666A (zh) * | 2018-06-27 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110866940A (zh) * | 2019-11-05 | 2020-03-06 | 广东虚拟现实科技有限公司 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
| CN113282164A (zh) * | 2021-03-01 | 2021-08-20 | 联想(北京)有限公司 | 一种处理方法和装置 |
| CN113593348A (zh) * | 2021-08-11 | 2021-11-02 | 中国人民解放军联勤保障部队大连康复疗养中心 | 虚拟训练控制系统、方法、装置、设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115509360A (zh) * | 2022-10-11 | 2022-12-23 | 云宝宝大数据产业发展有限责任公司 | 基于元宇宙虚拟现实vr交互系统 |
| CN115509360B (zh) * | 2022-10-11 | 2023-10-20 | 云宝宝大数据产业发展有限责任公司 | 基于元宇宙虚拟现实vr交互系统 |
| CN116309850A (zh) * | 2023-05-17 | 2023-06-23 | 中数元宇数字科技(上海)有限公司 | 一种虚拟触控识别方法、设备及存储介质 |
| CN116309850B (zh) * | 2023-05-17 | 2023-08-08 | 中数元宇数字科技(上海)有限公司 | 一种虚拟触控识别方法、设备及存储介质 |
| CN117541627A (zh) * | 2024-01-10 | 2024-02-09 | 山东师范大学 | 一种基于vr技术的用户运动指导系统 |
| CN117541627B (zh) * | 2024-01-10 | 2024-04-16 | 山东师范大学 | 一种基于vr技术的用户运动指导系统 |
| CN117827013A (zh) * | 2024-03-05 | 2024-04-05 | 青岛三诚众合智能设备科技有限公司 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
| CN117827013B (zh) * | 2024-03-05 | 2024-05-14 | 青岛三诚众合智能设备科技有限公司 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344725B (zh) | 一种基于时空关注度机制的多行人在线跟踪方法 | |
| CN114625251A (zh) | 基于vr的交互方法、装置、计算机设备及存储介质 | |
| CN110166827B (zh) | 视频片段的确定方法、装置、存储介质及电子装置 | |
| CN110235138B (zh) | 用于外观搜索的系统和方法 | |
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| Li et al. | Tracking by natural language specification | |
| Soomro et al. | Predicting the where and what of actors and actions through online action localization | |
| CN109241829B (zh) | 基于时空注意卷积神经网络的行为识别方法及装置 | |
| KR102106135B1 (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| KR20210062256A (ko) | 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템 | |
| EP3039600B1 (en) | Pose and sub-pose clustering-based identification of individuals | |
| CN111291695A (zh) | 人员违章行为识别模型训练方法、识别方法及计算机设备 | |
| Mastorakis | Human-like machine learning: limitations and suggestions | |
| Ding et al. | Machine learning model for feature recognition of sports competition based on improved TLD algorithm | |
| Ye | Intelligent Image Processing Technology for Badminton Robot under Machine Vision of Internet of Things | |
| JP7488674B2 (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
| Dotti et al. | Unsupervised discovery of normal and abnormal activity patterns in indoor and outdoor environments | |
| Nikpour et al. | Deep reinforcement learning in human activity recognition: A survey | |
| CN113989914B (zh) | 一种基于人脸识别的安防监控方法及系统 | |
| Ladjailia et al. | Encoding human motion for automated activity recognition in surveillance applications | |
| CN114463838A (zh) | 人体行为识别方法、系统、电子装置和存储介质 | |
| CN110543856B (zh) | 足球射门时刻识别方法、装置、存储介质及计算机设备 | |
| CN116580054A (zh) | 视频数据处理方法、装置、设备以及介质 | |
| CN113869127A (zh) | 人体行为的检测方法、监控设备、电子设备以及介质 | |
| Ramanathan et al. | Improving human body part detection using deep learning and motion consistency |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |