CN116320608A - 一种基于vr的视频剪辑方法及装置 - Google Patents

一种基于vr的视频剪辑方法及装置 Download PDF

Info

Publication number
CN116320608A
CN116320608A CN202310277519.3A CN202310277519A CN116320608A CN 116320608 A CN116320608 A CN 116320608A CN 202310277519 A CN202310277519 A CN 202310277519A CN 116320608 A CN116320608 A CN 116320608A
Authority
CN
China
Prior art keywords
hand
preset
image
action
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310277519.3A
Other languages
English (en)
Inventor
张志磊
黄盈
王艳
马黎
付爽
姚华超
罗振
周旭平
金天加
金圣健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Uusense Technology Co ltd
Original Assignee
Hangzhou Uusense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Uusense Technology Co ltd filed Critical Hangzhou Uusense Technology Co ltd
Priority to CN202310277519.3A priority Critical patent/CN116320608A/zh
Publication of CN116320608A publication Critical patent/CN116320608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及计算机技术,具体涉及一种基于VR的视频剪辑方法及装置。该方法可以包括:捕捉目标用户的手部动作;在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;输出录制的视频。由此可以利用动作捕捉技术在检测到预设动作的时候完成视频的开启和结束录制,从而在体验VR的时候可以及时对感兴趣的片段进行视频录制,不中断体验且很便捷。

Description

一种基于VR的视频剪辑方法及装置
技术领域
本申请涉及计算机技术,具体涉及一种基于VR的视频剪辑方法及装置。
背景技术
虚拟现实技术(Virtual Reality,缩写为VR),是一种是以计算机技术为主,并综合三维图形技术、多媒体技术、仿真技术、显示技术等的技术。
VR设备是指为用户提供VR场景的设备。用户基于该设备可以感受到接近真实的视觉、触觉、嗅觉等多种感官体验的虚拟世界,获得一种身临其境的感觉。随着社会生产力和科学技术的不断发展,各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步,并逐步成为一个新的科学技术领域。
用户在体验VR设备的时候有将体验过程中的片段转化为视频的需求,得到的视频可以分享给身边的朋友。
发明内容
有鉴于此,本申请公开一种基于VR的视频剪辑方法。该方法可以包括:捕捉目标用户的手部动作;在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;输出录制的视频。
在一些实施例中,所述捕捉目标用户的手部动作,包括:响应于开启视频剪辑功能,捕捉目标用户的手部动作;或者,响应于检测到预设音频内容,捕捉目标用户的手部动作。
在一些实施例中,所述输出录制的视频,包括:弹出预设界面;所述预设界面用于提示是否存储所述录制的视频;响应于检测到匹配第三预设动作的第三手部动作,存储所述录制的视频。
在一些实施例中,所述捕捉目标用户的手部动作,包括:获取利用图像采集设备采集的包含所述目标用户手部的第一手部图像与第二手部图像;所述第一手部图像的采集时间早于所述第二手部图像;利用预先训练的手部关键点检测模型,得到所述第一手部图像与所述第二手部图像中预设手部关键点的坐标;基于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化情况,确定所述目标用户的手部动作。
在一些实施例中,所述获取利用图像采集设备采集的包含所述目标用户手部的第一手部图像与第二手部图像,包括:利用图像采集设备采集用户图像;利用预先训练的手部识别网络,对所述用户图像进行识别,得到所述用户图像中包含目标用户手部的手部图像;将识别出的连续的若干手部图像中,首次识别到的手部图像作为第一手部图像,最后一次识别到的图像作为所述第二手部图像。
在一些实施例中,所述连续的若干手部图像中相邻的两个手部图像的采集时间差未达到第一预设时长。
在一些实施例中,基于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化情况,确定所述目标用户的手部动作,包括:获取所述手部图像中的手部方向;在所述手部为左手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值满足第一预设条件,确定所述手部动作为匹配第一预设动作的第一手部动作;在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第二预设条件,确定所述手部动作为匹配第二预设动作的第二手部动作;在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第三预设条件,确定所述手部动作为匹配第三预设动作的第三手部动作。
在一些实施例中,所述第一预设条件包括所述预设手部关键点横坐标变化未达到第一预设阈值,纵坐标变化达到第二预设阈值;所述第二预设条件包括所述预设手部关键点横坐标变化未达到第三预设阈值,纵坐标变化达到第四预设阈值;所述第三预设条件包括所述预设手部关键点横坐标变化达到第五预设阈值,纵坐标变化达到第六预设阈值。
在一些实施例中,所述第一预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第二预设时长;所述第二预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第三预设时长;所述第三预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第四预设时长。
本申请还提出一种基于VR的视频剪辑装置。所述装置包括:捕捉模块,用于捕捉目标用户的手部动作;开启模块,用于在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;关闭模块,用于在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;输出模块,用于输出录制的视频。
在以上公开的技术方案中,可以利用动作捕捉技术在检测到预设动作的时候完成视频的开启和结束录制,从而在体验VR的时候可以及时对感兴趣的片段进行视频录制,不中断体验且很便捷。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例示出的一种基于VR的视频剪辑方法的流程示意图;
图2为本申请示出的一种输出录制的视频的方法流程示意图;
图3为本申请示出的手部动作捕捉方法的流程示意图;
图4为本申请示出的一种获取手部图像的方法流程示意图;
图5为本申请示意的分析手部动作的方法流程示意图;
图6为本申请实施例示出的一种基于VR的视频剪辑装置的结构示意图;
图7为本申请实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
下面将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解,本文中所使用的词语“如果”,取决于语境,可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提出一种基于VR的视频剪辑方法。所述方法可以捕捉目标用户的手部动作;在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;输出录制的视频。
在以上公开的技术方案中,可以利用动作捕捉技术在检测到预设动作的时候完成视频的开启和结束录制,从而在体验VR的时候可以及时对感兴趣的片段进行视频录制,不中断体验且很便捷。
以下结合附图进行实施例说明。请参见图1,图1为本申请实施例示出的一种基于VR的视频剪辑方法的流程示意图。
图1示出的基于VR的视频剪辑方法可以应用于电子设备(以下简称“设备”)。所述电子设备可以通过搭载与基于VR的视频剪辑方法对应的软件逻辑执行该基于VR的视频剪辑方法。所述电子设备的类型可以是VR设备,或VR设备对应的后台服务端。所述服务端可以是云端,服务器,服务器集群等。
以VR设备为例。所述VR设备可以包括视觉单元,动作捕捉单元,动作分析单元,以及中央处理单元。
所述视觉单元为用户提供VR体验。以头戴式VR设备为例。与用户眼睛平行的区域即为视觉单元。用户戴上设备之后可以通过视觉单元观察VR设备输出的内容。
所述动作捕捉单元可以包括图像采集单元。所述图像采集单元可以是摄像头。通过该摄像头可以不断采集预设区域内的图像。所述预设区域与摄像头的采集角度有关,在设备出厂之前可以预先被调整好。
该摄像头对应相机坐标系,采集出的图像所包含的像素点具备该相机坐标系下的坐标值。所述坐标值至少包括横坐标与纵坐标。
所述动作捕捉单元可以将采集到的图像发送至动作分析单元。
所述动作分析单元,可以对所述图像进行分析,解析出图像内容,以及在图像内容包括手部的情形下,分析出手部动作。在所述手部动作为预设动作的时候,动作分析单元可以向中央处理单元发送识别出预设动作的信息。
所述中央处理单元可以响应与动作分析单元的信息执行预设的一些指令。例如,开启录屏,结束录屏等。
如图1所示,所述方法可以包括S102-S108。除特别说明外,本申请不特别限定这些步骤的执行顺序。
S102,捕捉目标用户的手部动作。
本步骤可以利用动作捕捉单元包括的摄像头采集相应图像。
在一些实施例中,可以响应于开启视频剪辑功能,捕捉目标用户的手部动作;或者,响应于检测到预设音频内容,捕捉目标用户的手部动作。
例如,在用户启动某一场景的体验时,可以通过视觉单元提升用户是否开启视频剪辑功能,响应于用户针对确认开启的选择操作,可以开启捕捉手部动作。所述选择操作可以是利用遥控器等方式实现。
再例如,VR设备还包括声音检测单元,可以周期性捕捉周围声音,并对检测到的声音进行语音识别,得到语音内容。在检测到预设语音内容(例如,开启视频剪辑)可以通知中央处理单元开启视频剪辑功能。中央处理单元可以通知其它相关单元开启相应功能。其中,关于语音识别的内容可以参照相关技术,本申请不做详述。
S104,在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作。
VR设备的动作分析单元可以分析采集的图像中的手部动作,在其匹配第一预设动作的情形下,开启录屏。
S106,在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作。
VR设备的动作分析单元可以分析采集的图像中的手部动作,在其匹配第二预设动作的情形下,关闭录屏。
S108,输出录制的视频。
通过S102-S108记载的方案,可以利用动作捕捉技术在检测到预设动作的时候完成视频的开启和结束录制,从而在体验VR的时候可以及时对感兴趣的片段进行视频录制,不中断体验且很便捷。
在一些实施例中,输出录制的视频后可以提示用户是否保存该视频,并通过动作捕捉理解用户意图,执行保存视频或取消视频的操作。
请参见图2,图2为本申请示出的一种输出录制的视频的方法流程示意图。图2示意的方法为对S108的详细说明。如图2所示,所述方法可以包括S202-S204。
S202,弹出预设界面。
所述预设界面用于提示是否存储所述录制的视频。该预设界面可以是预先开发好的。该预设界面可以包括视频截图,以及关于是否保存视频的提示信息。在录制视频之后,可以将录制的视频的首帧画面作为所述视频截图展示在所述预设界面。
在一些实施例中,所述预设界面可以在屏幕的右下角展示,不影响用户VR体验。
S204,响应于检测到匹配第三预设动作的第三手部动作,存储所述录制的视频。
VR设备的动作分析单元可以分析采集的图像中的手部动作,在其匹配第三预设动作的情形下,存储所述录制的视频。在一些实施例中,在弹出预设界面后一段时间内没有捕捉到手部图像,或者捕捉的手部动作不是所述第三预设动作,则可以取消视频存储。
通过S202-S204可以通过动作捕捉理解用户意图,执行保存视频或取消视频的操作。
在一些实施例中,可以基于图像处理技术分析手部动作。请参见图3,图3为本申请示出的手部动作捕捉方法的流程示意图。图3示意的步骤为对S102的详细说明。如图3所示,所述方法可以包括S302-S306。
S302,获取利用图像采集设备采集的包含所述目标用户手部的第一手部图像与第二手部图像。
所述第一手部图像的采集时间早于所述第二手部图像。所述第一手部图像可以包括用户手部动作的开始位置,所述第二手部图像包括手部动作的结束位置,通过两张图像中用户手部动作的位置变化,即可确定用户执行了何种手部动作。
在一些实施例中,可以将一段时间内连续识别到的包含用户手部的手部图像中,首次识别到的手部图像作为第一手部图像,最后一次识别到的图像作为所述第一手部图像,从而可以完整的捕捉用户真实实施的手部动作,减少由于动作捕捉不完整导致的误识别,影响视频剪辑效果。
请参见图4,图4为本申请示出的一种获取手部图像的方法流程示意图。图4示意的步骤为对S302的详细说明。如图4所示,所述方法可以包括S402-S406。
S402,利用图像采集设备采集用户图像。
本步骤可以利用摄像头采集预设区域内的图像。在头戴式VR设备例子中,所述预设区域可以是VR设备正下方。
S404,利用预先训练的手部识别网络,对所述用户图像进行识别,得到所述用户图像中包含目标用户手部的手部图像。
所述手部识别网络可以是基于深度学习的分类网络。在训练该网络时,可以获取包含手部和不包含手部的图像分别作为正样本和负样本,采用有监督训练的方式,完成训练。在此不详述训练过程。
完成训练的手部识别网络具备识别图像是否包含手部的能力。本步骤中可以利用该手部识别网络将S402中采集的用户图像中包含手部的图像作为手部图像。
S406,将识别出的连续的若干手部图像中,首次识别到的手部图像作为第一手部图像,最后一次识别到的图像作为所述第二手部图像。
所述连续具备的含义可以根据需求进行设定。在一些实施例中,所述连续输出的手部图像中相邻的两张图像是摄像头相邻采集的。此情形下在用户执行动作过程中采集的图像可能图像模糊,此情形下可能导致手部动作采集的中断,造成误识别,影响视频剪辑效果。
在一些实施例中,所述连续的若干手部图像中相邻的两个手部图像的采集时间差未达到第一预设时长。
在识别到手部图像后可以确定在第一预设时长内是否识别到手部图像。如果识别到手部图像,则可以将识别到的手部图像添加到连续的手部图像集合中,然后继续进行手部图像识别;如果未识别到手部图像,则可以输出连续的手部图像集合。其中该手部图像集合中的首次帧手部图像即为第一手部图像,最后一帧手部图像即为所述第二手部图像。
即,在第一预设时长范围内,只要检测到手部图像,仍然认为手部图像时连续的,并且,超过第一预设时长如果未检测到手部图像,则可以认为用户已经完成手部动作,可以减少手部动作误识别的概率,提升视频剪辑效果。
S304,利用预先训练的手部关键点检测模型,得到所述第一手部图像与所述第二手部图像中预设手部关键点的坐标。
所述预设手部关键点可以根据需求进行设定。例如,所述手部关键点,可以为食指指尖。
所述手部关键点检测模型可以部署在动作分析单元中。该模型可以是基于深度学习的回归模型。在训练时,可以获取标注了预设手部关键点的图像。例如,可以将预设手部关键点在图像中对应的像素置为1,其它像素置为0。然后基于这些图像完成训练。训练过程可以参照有监督训练,在此不做详述。
完成训练的手部关键点检测模型即具备识别预设手部关键点的能力,且可以基于对应像素在图像中的像素坐标,确定该预设手部关键点在相机坐标系的坐标。
S306,基于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化情况,确定所述目标用户的手部动作。
通过S302-S306记载的方案,在目标用户在预设区域内完成手部动作的过程中,可以利用图像处理技术,识别出用户手部动作的开始位置和结束位置,从而确定目标用户的手部动作。
在一些实施例中,可以在分析用户手部动作的过程中加入手部方向的识别,从而可以基于左右手动作的区别,与不区分左右手相比,可以提升图像处理技术识别出第一手部动作、第二手部动作等手部动作的准确性,进而提升视频剪辑效果。
请参见图5,图5为本申请示意的分析手部动作的方法流程示意图。图5示意的步骤为对S306的详细说明。如图5所示,所述方法可以包括S502-S508。
S502,获取所述手部图像中的手部方向。
在一些实施例中,可以通过预先训练的手部方向分类网络,对所述手部图像中的手部进行分类,得到手部图像中的手部方向。
在一些实施例中,在S404中,在对手部识别网络进行训练时,可以采用标注了左右手的图像,使得手部识别网络具备识别左右手的能力。本步骤中通过获取S404的识别结果,即可获取手部图像中的手部方向。
S504,在所述手部为左手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值满足第一预设条件,确定所述手部动作为匹配第一预设动作的第一手部动作。
本申请中,为了区分不同的预设条件与预设动作,采用第一、第二、第三等表述。所述预设条件与预设动作相关联,不同的预设动作对应的预设条件不相同。这些预设条件可以基于预设动作对应的手部关键点的变化情况进行设定。
在一些实施例中,所述第一预设条件包括所述预设手部关键点横坐标变化未达到第一预设阈值,纵坐标变化达到第二预设阈值。所述第一预设阈值与所述第二预设阈值可以根据需求进行设定。在第一预设动作为竖直运动的情形下,所述第一预设阈值可以适当小一点,所述第二预设阈值可以稍微大一点。在识别到所述坐标变化值满足第一预设条件,即可确定用户执行了第一手部动作。随后即可将用户执行了第一手部动作的信息传递至中央处理单元,使其执行开启录屏的操作。
S506,在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第二预设条件,确定所述手部动作为匹配第二预设动作的第二手部动作。
在一些实施例中,所述第二预设条件包括所述预设手部关键点横坐标变化未达到第三预设阈值,纵坐标变化达到第四预设阈值。所述第三预设阈值与所述第四预设阈值可以根据需求进行设定。在第二预设动作为竖直运动的情形下,所述第三预设阈值可以适当小一点,所述第四预设阈值可以稍微大一点。在识别到所述坐标变化值满足第二预设条件,即可确定用户执行了第二手部动作。随后即可将用户执行了第二手部动作的信息传递至中央处理单元,使其执行关闭录屏的操作。
S508,在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第三预设条件,确定所述手部动作为匹配第三预设动作的第三手部动作。
在一些实施例中,所述第三预设条件包括所述预设手部关键点横坐标变化达到第五预设阈值,纵坐标变化达到第六预设阈值。所述第五预设阈值与所述第六预设阈值可以根据需求进行设定。在第三预设动作为右斜向上运动的情形下,所述第五预设阈值与所述第六预设阈值可以正值,且小于预设区域的边长。在识别到所述坐标变化值满足第三预设条件,即可确定用户执行了第三手部动作。随后即可将用户执行了第三手部动作的信息传递至中央处理单元,使其执行保存录制视频的操作。
通过S502-S508,可以基于左右手动作的区别,与不区分左右手相比,可以提升图像处理技术识别出第一手部动作、第二手部动作等手部动作的准确性,进而提升视频剪辑效果。
在一些场景中,用户执行完预设动作之后还会右一些残留动作,会导致动作分析出现误识别,影响视频剪辑效果。例如,用户执行右斜向上运动之后,会在预设区域内将手放下,如此可能导致动作误识别,影响视频剪辑效果。
为了解决以上问题,在一些实施例中,可以设置预设动作的完成时长,在该完成时长内完成的动作才算是用户真正执行的动作,超出该完成时长的动作不会对动作分析造成影响,从而减少多余动作对动作分析的影响,减少动作误识别,提升视频剪辑效果。
所述完成时长根据需求进行设定,可以指示用户正常完成一个动作所需的时长。例如可以将多人执行预设动作的平常时长作为所述完成时长。
所述第一预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第二预设时长;
所述第二预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第三预设时长;
所述第三预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第四预设时长。
该实施例中,在S302获取第一手部图像和第二手部图像的时候,会结合完成时长的概念,将首帧手部图像作为第一手部图像,再将完成时长内的最后一帧手部图像作为第二手部图像。由于用户手部首次出现在预设区域表示用户需要做出手部动作,即第一手部图像刚好是用户执行常规动作手部的开始位置。完成时长刚好是用户执行常规动作所需的时长,即第二手部图像刚好是用户完成常规动作手部的结束位置。从而输出的第一手部图像和第二手部图像刚好指示用户完成预设动作手部的开始和结束位置,从而减少多余动作对动作分析的影响,减少动作误识别,提升视频剪辑效果。
与所述任一实施例相对应的,本申请还提出一种基于VR的视频剪辑装置。请参见图6,图6为本申请实施例示出的一种基于VR的视频剪辑装置的结构示意图。如图所示,所示基于VR的视频剪辑装置600可以包括:
捕捉模块610,用于捕捉目标用户的手部动作;
开启模块620,用于在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;
关闭模块630,用于在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;
输出模块630,用于输出录制的视频。
在一些实施例中,所述捕捉模块610,进一步用于:
响应于开启视频剪辑功能,捕捉目标用户的手部动作;或者,响应于检测到预设音频内容,捕捉目标用户的手部动作。
在一些实施例中,所述输出模块630,进一步用于:
弹出预设界面;所述预设界面用于提示是否存储所述录制的视频;
响应于检测到匹配第三预设动作的第三手部动作,存储所述录制的视频。
在一些实施例中,所述捕捉模块610,进一步用于:
获取利用图像采集设备采集的包含所述目标用户手部的第一手部图像与第二手部图像;所述第一手部图像的采集时间早于所述第二手部图像;
利用预先训练的手部关键点检测模型,得到所述第一手部图像与所述第二手部图像中预设手部关键点的坐标;
基于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化情况,确定所述目标用户的手部动作。
在一些实施例中,所述捕捉模块610,进一步用于:
利用图像采集设备采集用户图像;
利用预先训练的手部识别网络,对所述用户图像进行识别,得到所述用户图像中包含目标用户手部的手部图像;
将识别出的连续的若干手部图像中,首次识别到的手部图像作为第一手部图像,最后一次识别到的图像作为所述第二手部图像。
在一些实施例中,所述连续的若干手部图像中相邻的两个手部图像的采集时间差未达到第一预设时长。
在一些实施例中,所述捕捉模块610,进一步用于:
获取所述手部图像中的手部方向;
在所述手部为左手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值满足第一预设条件,确定所述手部动作为匹配第一预设动作的第一手部动作;
在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第二预设条件,确定所述手部动作为匹配第二预设动作的第二手部动作;
在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第三预设条件,确定所述手部动作为匹配第三预设动作的第三手部动作。
在一些实施例中,所述第一预设条件包括所述预设手部关键点横坐标变化未达到第一预设阈值,纵坐标变化达到第二预设阈值;
所述第二预设条件包括所述预设手部关键点横坐标变化未达到第三预设阈值,纵坐标变化达到第四预设阈值;
所述第三预设条件包括所述预设手部关键点横坐标变化达到第五预设阈值,纵坐标变化达到第六预设阈值。
在一些实施例中,所述第一预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第二预设时长;
所述第二预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第三预设时长;
所述第三预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第四预设时长。
在以上公开的技术方案中,可以利用动作捕捉技术在检测到预设动作的时候完成视频的开启和结束录制,从而在体验VR的时候可以及时对感兴趣的片段进行视频录制,不中断体验且很便捷。
本申请示出的基于VR的视频剪辑装置的实施例可以应用于电子设备上。相应地,本申请公开了一种电子设备,该设备可以包括:处理器。
用于存储处理器可执行指令的存储器。
其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现前述任一实施例示出的基于VR的视频剪辑方法。
请参见图7,图7为本申请实施例示出的一种电子设备的硬件结构示意图。
如图7所示,该电子设备可以包括用于执行指令的处理器,用于进行网络连接的网络接口,用于为处理器存储运行数据的内存,以及用于存储基于VR的视频剪辑装置对应指令的非易失性存储器。
其中,所述装置的实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
可以理解的是,为了提升处理速度,所述基于VR的视频剪辑装置对应指令也可以直接存储于内存中,在此不作限定。
本申请提出一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序可以用于使处理器执行前述任一实施例示出的基于VR的视频剪辑方法。
本领域技术人员应明白,本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请中的“和/或”表示至少具有两者中的其中一个。本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
虽然本申请包含许多具体实施细节,但是这些不应被解释为限制任何公开的范围或所要求保护的范围,而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,所述实施例中的各种平台模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和平台通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
以上仅为本申请一个或多个实施例的较佳实施例而已,并不用以限制本申请一个或多个实施例,凡在本申请一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请一个或多个实施例保护的范围之内。

Claims (10)

1.一种基于VR的视频剪辑方法,其特征在于,所述方法包括:
捕捉目标用户的手部动作;
在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;
在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;
输出录制的视频。
2.根据权利要求1所述的基于VR的视频剪辑方法,其特征在于,所述捕捉目标用户的手部动作,包括:
响应于开启视频剪辑功能,捕捉目标用户的手部动作;或者,响应于检测到预设音频内容,捕捉目标用户的手部动作。
3.根据权利要求2所述的基于VR的视频剪辑方法,其特征在于,所述输出录制的视频,包括:
弹出预设界面;所述预设界面用于提示是否存储所述录制的视频;
响应于检测到匹配第三预设动作的第三手部动作,存储所述录制的视频。
4.根据权利要求3所述的基于VR的视频剪辑方法,其特征在于,所述捕捉目标用户的手部动作,包括:
获取利用图像采集设备采集的包含所述目标用户手部的第一手部图像与第二手部图像;所述第一手部图像的采集时间早于所述第二手部图像;
利用预先训练的手部关键点检测模型,得到所述第一手部图像与所述第二手部图像中预设手部关键点的坐标;
基于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化情况,确定所述目标用户的手部动作。
5.根据权利要求4所述的基于VR的视频剪辑方法,其特征在于,所述获取利用图像采集设备采集的包含所述目标用户手部的第一手部图像与第二手部图像,包括:
利用图像采集设备采集用户图像;
利用预先训练的手部识别网络,对所述用户图像进行识别,得到所述用户图像中包含目标用户手部的手部图像;
将识别出的连续的若干手部图像中,首次识别到的手部图像作为第一手部图像,最后一次识别到的图像作为所述第二手部图像。
6.根据权利要求5所述的基于VR的视频剪辑方法,其特征在于,所述连续的若干手部图像中相邻的两个手部图像的采集时间差未达到第一预设时长。
7.根据权利要求5所述的基于VR的视频剪辑方法,其特征在于,基于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化情况,确定所述目标用户的手部动作,包括:
获取所述手部图像中的手部方向;
在所述手部为左手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值满足第一预设条件,确定所述手部动作为匹配第一预设动作的第一手部动作;
在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第二预设条件,确定所述手部动作为匹配第二预设动作的第二手部动作;
在所述手部为右手部的情形下,响应于所述预设手部关键点在所述第一手部图像与所述第二手部图像的坐标变化值达到第三预设条件,确定所述手部动作为匹配第三预设动作的第三手部动作。
8.根据权利要求7所述的基于VR的视频剪辑方法,其特征在于,所述第一预设条件包括所述预设手部关键点横坐标变化未达到第一预设阈值,纵坐标变化达到第二预设阈值;
所述第二预设条件包括所述预设手部关键点横坐标变化未达到第三预设阈值,纵坐标变化达到第四预设阈值;
所述第三预设条件包括所述预设手部关键点横坐标变化达到第五预设阈值,纵坐标变化达到第六预设阈值。
9.根据权利要求8所述的基于VR的视频剪辑方法,其特征在于,所述第一预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第二预设时长;
所述第二预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第三预设时长;
所述第三预设条件还包括所述第一手部图像与所述第二手部图像的采集时差未达到第四预设时长。
10.一种基于VR的视频剪辑装置,其特征在于,所述装置包括:
捕捉模块,用于捕捉目标用户的手部动作;
开启模块,用于在捕捉到匹配第一预设动作的第一手部动作情形下,开启录屏操作;
关闭模块,用于在捕捉到所述第一手部动作之后,且捕捉到匹配第二预设动作的第二手部动作的情形下,关闭录屏操作;
输出模块,用于输出录制的视频。
CN202310277519.3A 2023-03-17 2023-03-17 一种基于vr的视频剪辑方法及装置 Pending CN116320608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310277519.3A CN116320608A (zh) 2023-03-17 2023-03-17 一种基于vr的视频剪辑方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310277519.3A CN116320608A (zh) 2023-03-17 2023-03-17 一种基于vr的视频剪辑方法及装置

Publications (1)

Publication Number Publication Date
CN116320608A true CN116320608A (zh) 2023-06-23

Family

ID=86837630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310277519.3A Pending CN116320608A (zh) 2023-03-17 2023-03-17 一种基于vr的视频剪辑方法及装置

Country Status (1)

Country Link
CN (1) CN116320608A (zh)

Similar Documents

Publication Publication Date Title
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
US9349218B2 (en) Method and apparatus for controlling augmented reality
WO2016129192A1 (ja) 感情推定装置及び感情推定方法
CN107463888B (zh) 基于多任务学习与深度学习的人脸情绪分析方法及系统
US10592726B2 (en) Manufacturing part identification using computer vision and machine learning
KR20200124280A (ko) 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
US9519355B2 (en) Mobile device event control with digital images
EP2538372A1 (en) Dynamic gesture recognition process and authoring system
US10755087B2 (en) Automated image capture based on emotion detection
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
CN103106388B (zh) 图像识别方法和系统
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
CN112527113A (zh) 手势识别及手势识别网络的训练方法和装置、介质和设备
KR20200132569A (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
CN114424258A (zh) 属性识别方法、装置、存储介质及电子设备
WO2024001539A1 (zh) 说话状态识别方法及模型训练方法、装置、车辆、介质、计算机程序及计算机程序产品
CN108090424B (zh) 一种在线教学调研方法及设备
CN111506183A (zh) 一种智能终端及用户交互方法
JP6373446B2 (ja) ビデオフレームを選択するプログラム、システム、装置、及び方法
CN116320608A (zh) 一种基于vr的视频剪辑方法及装置
CN112492397A (zh) 视频处理方法、计算机设备和存储介质
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
CN112633211A (zh) 一种服务设备及人机交互方法
CN117576245B (zh) 一种图像的风格转换方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination