CN113973226B - 屏幕录制方法、装置、设备及存储介质 - Google Patents
屏幕录制方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113973226B CN113973226B CN202111249454.9A CN202111249454A CN113973226B CN 113973226 B CN113973226 B CN 113973226B CN 202111249454 A CN202111249454 A CN 202111249454A CN 113973226 B CN113973226 B CN 113973226B
- Authority
- CN
- China
- Prior art keywords
- vibration
- information
- indicator
- file
- multimedia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种屏幕录制方法、装置、设备及存储介质,涉及电子设备技术领域,该方法包括:接收第一指令,第一指令包括启动屏幕录制的指令,获取被录制目标应用程序输出的多媒体信息和触觉反馈信息,根据多媒体信息和触觉反馈信息,生成屏幕录制文件。从而,电子设备在进行屏幕录制时不仅可以录制多媒体信息,还可录制触觉反馈信息,电子设备在播放屏幕录制文件时既可播放多媒体信息还可播放触觉反馈信息,可提高用户的沉浸式体验。
Description
技术领域
本申请实施例涉及电子设备技术领域,尤其涉及一种屏幕录制方法、装置、设备及存储介质。
背景技术
触觉反馈技术能通过作用力、振动等一系列动作为使用者再现触感。目前,随着智能电子设备的发展,触摸屏的使用推动了触觉反馈技术的应用。越来越多的应用程序开发商已经将先进的触觉反馈技术应用到其应用程序中,例如游戏应用、视频应用和乐器应用等等,可以给用户带来沉浸式的体验。
对于游戏应用而言,在目前的游戏直播场景或游戏回放场景中,电子设备只录制和播放音视频信息。
发明内容
本申请提供一种屏幕录制方法、装置、设备及存储介质,可实现电子设备在进行屏幕录制时不仅可以录制多媒体信息,还可录制触觉反馈信息,进而电子设备在播放屏幕录制文件时既可播放多媒体信息还可播放触觉反馈信息,可提高用户的沉浸式体验。
第一方面,本申请提供一种屏幕录制方法,包括:
接收第一指令,所述第一指令包括启动屏幕录制的指令;
获取被录制目标应用程序输出的多媒体信息和触觉反馈信息;
根据所述多媒体信息和所述触觉反馈信息,生成屏幕录制文件。
第二方面,本申请提供一种屏幕录制文件的播放方法,包括:
对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件;
根据所述多媒体文件进行多媒体信息播放;
对所述触觉反馈文件进行解码,得到触觉反馈信息;
播放所述触觉反馈信息。
第三方面,本申请提供一种屏幕录制装置,包括:
接收模块,用于接收第一指令,所述第一指令包括启动屏幕录制的指令;
获取模块,用于获取被录制目标应用程序输出的多媒体信息和触觉反馈信息;
处理模块,用于根据所述多媒体信息和所述触觉反馈信息,生成屏幕录制文件。
第四方面,本申请提供一种屏幕录制文件的播放装置,包括:
解析模块,用于对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件;
播放模块,用于根据所述多媒体文件进行多媒体信息播放;
解码模块,用于对所述触觉反馈文件进行解码,得到触觉反馈信息;
所述播放模块还用于:播放所述触觉反馈信息。
第五方面,本申请提供一种电子设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第一方面或第二方面的方法。
第六方面,本申请提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序使得计算机执行第一方面或第二方面的方法。
第七方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面的方法。
综上,在本申请中,通过在接收到包括启动屏幕录制的指令的第一指令时,获取被录制目标应用程序输出的多媒体信息和触觉反馈信息,根据多媒体信息和所述触觉反馈信息,生成屏幕录制文件。从而,可实现电子设备在进行屏幕录制时不仅可以录制多媒体信息,还可录制触觉反馈信息,进而电子设备在播放屏幕录制文件时既可播放多媒体信息还可播放触觉反馈信息,可提高用户的沉浸式体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请适用的电子设备的一种结构示意图;
图2为本申请实施例提供的一种屏幕录制方法的流程图;
图3为本申请实施例提供的一种屏幕录制方法的流程图;
图4为本申请实施例提供的一种屏幕录制文件的播放方法的流程图;
图5为本申请实施例提供的一种屏幕录制装置的结构示意图;
图6为本申请实施例提供的一种屏幕录制文件的播放装置的结构示意图;
图7是本申请实施例提供的电子设备700的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
示例性的,本申请中的电子设备可以为手机、平板电脑、个人计算机(personalcomputer,PC)、个人数字助理(personal digital assistant,PDA)、智能手表、上网本、可穿戴电子设备、智能电视、车载设备、智能汽车、智能音响、机器人等,本申请对该电子设备的具体形式不做特殊限制。
图1为本申请适用的电子设备的一种结构示意图,如图1所示,电子设备100可以包括处理器11,内部存储器12,音频模块13,扬声器14,受话器15,麦克风16,耳机接口17,显示屏18,摄像头19,显示器20,马达 21,按键22,传感器23等。可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件,或软件和硬件的组合实现。
处理器11可以包括一个或多个处理单元,例如:处理器11可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器11。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器11中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器11中的存储器为高速缓冲存储器。该存储器可以保存处理器11刚用过或循环使用的指令或数据。如果处理器11需要再次使用该指令或数据,可从所述存储器中直接调用。这就避免了重复存取,减少了处理器11的等待时间,因而提高了电子设备100系统的效率。
在一些实施例中,处理器11可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100通过GPU,显示屏20,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏20和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器11可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏20用于显示图像,视频等。显示屏20包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏20,N为大于1的正整数。
内部存储器12可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器11可以通过运行存储在内部存储器12的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的屏幕录制方法,以及各种功能应用以及数据处理等。内部存储器12可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100 使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器12可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。在一些实施例中,处理器11可以通过运行存储在内部存储器12的指令,和/或存储在设置于处理器11中的存储器的指令,来使得电子设备100执行本申请实施例中所提供的语音切换方法,以及各种功能应用及数据处理。
电子设备100可以通过音频模块13,扬声器14,受话器15,麦克风16,耳机接口17,以及应用处理器等实现音频功能。例如音乐播放,录音等。其中,音频模块13用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块13还可以用于对音频信号编码和解码。在一些实施例中,音频模块13可以设置于处理器11中,或将音频模块13的部分功能模块设置于处理器11中。扬声器14,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器14收听音乐,或收听免提通话。受话器15,也称“听筒”,用于将音频电信号转换成声音信号。麦克风16,也称“话筒”,“传声器”,用于将声音信号转换为电信号。耳机接口 17用于连接有线耳机。耳机接口17可以是USB接口,也可以是其他标准接口。
传感器23可以包括压力传感器231和触摸传感器232等,还可以包括其它类型的传感器。
其中,压力传感器231用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器231可以设置于显示屏20。压力传感器231 的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器231,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏20,电子设备100根据压力传感器231检测所述触摸操作强度。电子设备100也可以根据压力传感器231 的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
触摸传感器232,也可称触控面板或触敏表面。触摸传感器232可以设置于显示屏20,由触摸传感器232与显示屏20组成触摸屏,也称触控屏。触摸传感器232用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏20提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器232 也可以设置于电子设备100的表面,与显示屏20所处的位置不同。
按键22包括开机键,音量键等。按键22可以是机械按键,也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
本申请实施例提供的屏幕录制方法,通过在接收到包括启动屏幕录制的指令的第一指令时,获取被录制目标应用程序输出的多媒体信息和触觉反馈信息,根据多媒体信息和触觉反馈信息,生成屏幕录制文件。从而,可实现电子设备在进行屏幕录制时不仅可以录制多媒体信息,还可录制触觉反馈信息,进而电子设备在播放屏幕录制文件时既可播放多媒体信息还可播放触觉反馈信息,可提高用户的沉浸式体验。
下面将对本申请技术方案进行详细阐述:
图2为本申请实施例提供的一种屏幕录制方法的流程图,该方法的执行主体可以是电子设备,如图2所示,该方法可以包括:
S101、接收第一指令,第一指令包括启动屏幕录制的指令。
具体地,第一指令可以是启动屏幕录制的指令,例如本地录屏场景中启动屏幕录制,第一指令还可以是直播指令,直播指令中包括启动屏幕录制的指令,可以理解的是,直播过程中是实时进行屏幕录制并将录制的屏幕文件发送至接收端的电子设备。
S102、获取被录制目标应用程序输出的多媒体信息和触觉反馈信息。
具体来说,触觉反馈信息可以是振动的振动信息,多媒体信息包括目标应用程序输出的音频信息和目标应用程序输出的图像信息中的至少一种。
作为一种可实施的方式,S102中获取被录制目标应用程序输出的多媒体信息和触觉反馈信息,具体可以为:
S1021、采集目标应用程序输出的多媒体信息。
具体地,采集目标应用程序输出的多媒体信息,可以是录制目标应用程序输出的多媒体信息,可以是使用现有的流媒体录制方式进行录制。
S1022、在采集目标应用程序输出的多媒体信息的过程中,若监听到振动被触发,采集被触发的振动的振动信息。
具体地,在采集目标应用程序输出的多媒体信息的过程中,实时监听是否有振动被触发,若监听到振动被触发,启动振动信息的采集流程,即采集被触发的振动的振动信息。可选的,所采集的一个振动(也称为一次振动) 的振动信息可以包括振动开始时间、振动波形和振动时长,可选的,所采集的一个振动(也称为一次振动)的振动信息可以包括振动开始时间、振动波形和振动结束时间,振动时长可以根据振动开始时间和振动结束时间计算出。振动波形包括振动强度随时间变化的波形和振动频率随时间变化的波形。可选的,采集一个振动的振动开始时间、振动波形和振动时长时,还可以采集振动场景,振动场景为目标应用程序在振动开始时间所处的场景。
S1023、在采集目标应用程序输出的多媒体信息结束时,将采集到的至少一个振动的振动信息确定为触觉反馈信息。
具体地,可以理解的是,从开始采集目标应用程序输出的多媒体信息到结束的过程中,被触发的振动的个数为一个或多个,在采集目标应用程序输出的多媒体信息结束时,将采集到的至少一个振动的振动信息确定为触觉反馈信息。即就是,触觉反馈信息包括至少一个振动的振动信息。
S103、根据多媒体信息和触觉反馈信息,生成屏幕录制文件。
具体地,根据多媒体信息和触觉反馈信息可生成屏幕录制文件。
作为一种可实施的方式,根据多媒体信息和触觉反馈信息,生成屏幕录制文件,具体可以包括:
S1031、根据多媒体信息生成多媒体文件。
例如,多媒体信息为音频信息,根据音频信息生成音频文件,多媒体信息为视频信息,根据视频信息生成视频文件,多媒体信息为音视频信息,根据音视频信息生成音视频文件。
S1032、根据预设的编码方式对触觉反馈信息进行编码,得到触觉反馈文件。
S1033、根据多媒体文件和触觉反馈文件得到屏幕录制文件。
具体来说,根据多媒体文件和触觉反馈文件得到屏幕录制文件,可以是将多媒体文件和触觉反馈文件合并,即可得到屏幕录制文件。例如可以是将触觉反馈文件作为屏幕录制文件的头文件与多媒体文件一起存储,得到屏幕录制文件。
具体来说,触觉反馈信息包括至少一个振动的振动信息,根据预设的编码方式对至少一个振动的振动信息进行编码,得到触觉反馈文件。
作为一种可实施的方式,触觉反馈文件包括振动控制信息和触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息,振动控制信息包括调用电子设备的接口的协议版本标识指示符、编码格式指示符和同步播放触觉反馈信息与多媒体信息的同步控制方式指示符。
其中,上述指示符和下文中所描述的各类指示符可以是无符号整形指示符,例如调用电子设备的接口的协议版本标识指示符为4位的二进制描述符,如0001或0011等等。不同的信息所使用的二进制描述符的长度可以不同,也可以相同。
其中,调用电子设备的接口的协议版本标识指示符用于指示调用电子设备的接口的协议版本标识,编码格式指示符用于指示振动信息的编码信息采用的编码方式,同步控制方式指示符用于指示同步播放触觉反馈信息与多媒体信息的同步控制方式,其中的同步控制方式例如可以为按标准时间同步的方式,还可以为与多媒体信息保持同步的方式,采用与多媒体信息同步的方式可以确保较好的同步,例如,多媒体信息在解码时和振动信息在解码时若有时延,若按照与标准时间同步的方式,多媒体信息和振动信息在播放时会存在时延。
可选的,振动控制信息还可以包括:
电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符中的至少一项。
其中,电子设备需支持的播放质量级别的指示符用于指示电子设备需支持的播放质量级别,例如有高品质级别、中品质级别和低品质级别。播放质量级别要求的指示符用于指示触觉反馈信息在播放时要求的质量级别,例如播放时要求的质量级别可以是必须达到预设的质量级别,还可以是根据电子设备的硬件可降低播放质量级别。播放所需的马达数量指示符用于指示触觉反馈信息在播放时所需的马达数量,例如触觉反馈信息在播放时所需的马达数量可以是三种:1、必须使用多马达2、支持多马达,但可以用单马达适配 3、只支持单马达。
本实施例中,通过在振动控制信息中指示电子设备需支持的播放质量级别,电子设备在播放屏幕录制文件时可以在硬件支持的情况下进行对应的质量级别播放,若硬件不支持则不进行播放。通过在振动控制信息中指示播放质量级别要求,电子设备在播放屏幕录制文件时可以进行对应播放质量级别要求的播放。通过在振动控制信息中指示播放所需的马达数量,电子设备在播放屏幕录制文件时可以使用对应数量的马达播放。
作为一种可实施的方式,S1032具体可以为:
S10321、根据预设的调用电子设备的接口的协议版本标识确定调用电子设备的接口的协议版本标识指示符,根据选择的编码格式确定编码格式指示符,根据选择的同步播放触觉反馈信息与多媒体信息的同步控制方式确定同步控制方式指示符。
具体地,先根据预设的调用电子设备的接口的协议版本标识确定调用电子设备的接口的协议版本标识指示符,即就是将调用电子设备的接口的协议版本标识转换为指示符的过程,例如,调用电子设备的接口的协议版本标识为1,且调用电子设备的接口的协议版本标识指示符预设使用4位二进制描述符,则该调用电子设备的接口的协议版本标识为0001。
其中,编码格式可以是触觉反馈文件包括的振动控制信息和触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息的具体位置和每项信息对应的指示符的位数,因为编码后得到的触觉反馈文件为一串二进制描述符(例如为001100110010000011…)。编码格式的类型可以有多种,此处可以是从预设的多种类型的编码格式和编码格式指示符的对应关系中选择出一种编码格式时,可以确定编码格式指示符。
其中,多媒体信息的同步控制方式有两种,可以为按标准时间同步的方式,还可以为与多媒体信息保持同步的方式,可根据实际需求选择。
S10322、根据所确定的调用电子设备的接口的协议版本标识指示符、所确定的编码格式指示符和所确定的同步控制方式指示符,得到振动控制信息。
确定出调用电子设备的接口的协议版本标识指示符、所确定的编码格式指示符和所确定的同步控制方式指示符后,可根据编码格式中设置的每种指示符的位置将各种指示符拼接起来,即可得到振动控制信息。
S10323、根据触觉反馈信息包括的振动信息的数量和每个振动信息包括的振动开始时间、振动波形和振动时长,确定每个振动信息的编码信息。
具体来说,对于一个振动的振动信息而言,若振动时长较短,例如小于或等于预设的振动编码时长划分,不需要将该振动波形划分为多个振动时长较短的振动波形,此时根据该振动的振动信息包括的振动开始时间、振动波形和振动时长,直接可确定该振动的振动信息的编码信息,所确定的振动信息的编码信息包括振动开始时间指示符、振动波形指示符和振动时长指示符。
若振动时长较短,例如大于预设的振动编码时长划分,此时需要将该振动波形划分为多个振动时长较短的振动波形,例如根据振动波形、振动时长和预设的振动编码时长划分为M个振动编码,便于播放端在播放时解码和播放,减少播放延迟。此时,根据该振动的振动信息包括的振动开始时间、振动波形和振动时长,确定该振动的振动信息的编码信息,具体可以为:先根据该振动的振动时长和预设的振动编码时长划分该振动波形,得到M个振动波形,然后确定M个振动波形中每个振动波形的振动开始时间、振动结束时间和振动波形。接着根据M个振动波形中每个振动波形的振动开始时间、振动结束时间和振动波形确定M个振动编码的信息指示符。
每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,M个振动编码根据振动波形、振动时长和预设的振动编码时长划分。
其中,M个振动编码的信息指示符包括:M个振动编码中每个振动编码的长度指示符、每个振动编码的振动开始时间指示符、每个振动编码的振动结束时间指示符、每个振动编码被播放时所需的马达数量指示符、每个振动编码的振动强度指示符和每个振动编码的振动频率的指示符。
S10324、根据振动控制信息和每个振动信息的编码信息得到触觉反馈文件。
本实施例中,进一步地,作为一种可实施的方式,在S103之后,还可以包括:
S104、保存屏幕录制文件。
具体地,在第一指令为屏幕录制指令时,例如本地录屏场景中,在生成屏幕录制文件后,可以将屏幕录制文件保存在电子设备中,屏幕录制文件包括多媒体文件和触觉反馈文件,例如可以是将触觉反馈文件(即编码后的字节流)与多媒体文件之间独立存储,随多媒体文件一起写入本地屏幕录制文件。
或者,例如在直播场景中,S104可以为:对屏幕录制文件进行流媒体编码,将流媒体编码后得到码流发送至目标电子设备。具体的流媒体编码的编码方式可以使用现有的流媒体编码方式,本实施例对此不作限制。
本实施例提供的屏幕录制方法,通过在接收到包括启动屏幕录制的指令的第一指令时,获取被录制目标应用程序输出的多媒体信息和触觉反馈信息,根据多媒体信息和触觉反馈信息,生成屏幕录制文件。从而,可实现电子设备在进行屏幕录制时不仅可以录制多媒体信息,还可录制触觉反馈信息,进而电子设备在播放屏幕录制文件时既可播放多媒体信息还可播放触觉反馈信息,可提高用户的沉浸式体验。
下面结合一个具体的实施例,对本申请提供的屏幕录制方法进行详细说明。
图3为本申请实施例提供的一种屏幕录制方法的流程图,该方法的执行主体可以是电子设备,如图3所示,本实施例的方法可以包括:
S201、接收第一指令,第一指令包括启动屏幕录制的指令。
具体地,第一指令可以是启动屏幕录制的指令,例如本地录屏场景中启动屏幕录制,第一指令还可以是直播指令,直播指令中包括启动屏幕录制的指令,可以理解的是,直播过程中是实时进行屏幕录制并将录制的屏幕文件发送至接收端的电子设备。
S202、采集目标应用程序输出的多媒体信息。
S203、在采集目标应用程序输出的多媒体信息的过程中,若监听到振动被触发,采集被触发的振动的振动信息。
S204、在采集目标应用程序输出的多媒体信息结束时,将采集到的至少一个振动的振动信息确定为触觉反馈信息。
其中,S202-S204的具体过程描述可参见图2所示实施例中S1021-S1023 的具体描述,此处不再赘述。
S205、根据多媒体信息生成多媒体文件。
例如,多媒体信息为音频信息,根据音频信息生成音频文件,多媒体信息为视频信息,根据视频信息生成视频文件,多媒体信息为音视频信息,根据音视频信息生成音视频文件。
S206、根据预设的编码方式对触觉反馈信息进行编码,得到触觉反馈文件。
作为一种可实施的方式,S206具体可以为:
S2061、根据预设的调用电子设备的接口的协议版本标识确定调用电子设备的接口的协议版本标识指示符,根据选择的编码格式确定编码格式指示符,根据选择的同步播放触觉反馈信息与多媒体信息的同步控制方式确定同步控制方式指示符。
S2062、根据所确定的调用电子设备的接口的协议版本标识指示符、所确定的编码格式指示符和所确定的同步控制方式指示符,得到振动控制信息。
确定出调用电子设备的接口的协议版本标识指示符、所确定的编码格式指示符和所确定的同步控制方式指示符后,可根据编码格式中设置的每种指示符的位置将各种指示符拼接起来,即可得到振动控制信息。本实施例中,可选的,振动控制信息还可以包括:电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符。
如下表一所示为一种振动控制信息包括的内容项以及对应的指示符的位数的示例:
表一
例如,振动控制信息包括表一所示的7项内容,每项内容的指示符的二进制位数如表一所示。
S2063、根据触觉反馈信息包括的振动信息的数量和每个振动信息包括的振动开始时间、振动波形和振动时长,确定每个振动信息的编码信息。
具体来说,对于一个振动的振动信息而言,若振动时长较短,例如小于或等于预设的振动编码时长划分,不需要将该振动波形划分为多个振动时长较短的振动波形,此时根据该振动的振动信息包括的振动开始时间、振动波形和振动时长,直接可确定该振动的振动信息的编码信息,所确定的振动信息的编码信息包括振动开始时间指示符、振动波形指示符和振动时长指示符。
若振动时长较短,例如大于预设的振动编码时长划分,此时需要将该振动波形划分为多个振动时长较短的振动波形,例如根据振动波形、振动时长和预设的振动编码时长划分为M个振动编码,便于播放端在播放时解码和播放,减少播放延迟。此时,根据该振动的振动信息包括的振动开始时间、振动波形和振动时长,确定该振动的振动信息的编码信息,具体可以为:先根据该振动的振动时长和预设的振动编码时长划分该振动波形,得到M个振动波形,然后确定M个振动波形中每个振动波形的振动开始时间、振动结束时间和振动波形。接着根据M个振动波形中每个振动波形的振动开始时间、振动结束时间和振动波形确定M个振动编码的信息指示符。
每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,M个振动编码根据振动波形、振动时长和预设的振动编码时长划分。本实施例中,可选的,每个振动信息的编码信息还可以包括电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符。
其中,M个振动编码的信息指示符包括:M个振动编码中每个振动编码的长度指示符、每个振动编码的振动开始时间指示符、每个振动编码的振动结束时间指示符、每个振动编码被播放时所需的马达数量指示符、每个振动编码的振动强度指示符和每个振动编码的振动频率的指示符。
如下表二所示为一种一个振动的振动信息的编码信息包括的内容项以及对应的指示符的位数的示例:
表二
需要说明的是,上述表一和表二中,u(4)是指4位二进制的指示符,u(8) 是指8位二进制的指示符,u(16)是指16位二进制的指示符。表二中,若指示振动强度时,N为振动强度的转折点(也称变化点)的个数,若指示振动频率时,N为振动频率的转折点(也称变化点)的个数。
S2064、根据振动控制信息和每个振动信息的编码信息得到触觉反馈文件。
S207、根据多媒体文件和触觉反馈文件得到屏幕录制文件。
具体来说,根据多媒体文件和触觉反馈文件得到屏幕录制文件,可以是将多媒体文件和触觉反馈文件合并,即可得到屏幕录制文件。例如可以是将触觉反馈文件作为屏幕录制文件的头文件与多媒体文件一起存储,得到屏幕录制文件。
本实施例中,进一步地,作为一种可实施的方式,在S207之后,还可以包括:
S208、保存屏幕录制文件。
具体地,在第一指令为屏幕录制指令时,例如本地录屏场景中,在生成屏幕录制文件后,可以将屏幕录制文件保存在电子设备中,屏幕录制文件包括多媒体文件和触觉反馈文件,例如可以是将触觉反馈文件(即编码后的字节流)与多媒体文件之间独立存储,随多媒体文件一起写入本地屏幕录制文件。
或者,例如在直播场景中,S208可以为:对屏幕录制文件进行流媒体编码,将流媒体编码后得到码流发送至目标电子设备。具体的流媒体编码的编码方式可以使用现有的流媒体编码方式,本实施例对此不作限制。
下面结合图4详细说明屏幕录制文件播放的过程。
图4为本申请实施例提供的一种屏幕录制文件的播放方法的流程图,该方法的执行主体可以是电子设备,如图4所示,本实施例的方法可以包括:
S301、对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件。
具体地,对于本地存储的屏幕录制文件,在播放时可直接从本地存储读取屏幕录制文件对应的字节流。对于流媒体播放场景,如游戏直播场景,可从网络数据通道接收屏幕录制文件对应的字节流,对屏幕录制文件进行流媒体解码后得到屏幕录制文件。然后对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件。
S302、根据多媒体文件进行多媒体信息播放。
S303、对触觉反馈文件进行解码,得到触觉反馈信息。
S304、播放触觉反馈信息。
具体地,触觉反馈文件包括振动控制信息和触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息,振动控制信息包括调用电子设备的接口的协议版本标识指示符、编码格式指示符和同步播放触觉反馈信息与多媒体信息的同步控制方式指示符。
作为一种可实施的方式,S303中对触觉反馈文件进行解码,得到触觉反馈信息,具体可以为:
S3031、读取触觉反馈文件包括的振动控制信息,根据编码格式指示符确定编码方式,根据同步控制方式指示符确定同步播放触觉反馈信息与多媒体信息的同步控制方式。
S3032、根据编码方式对触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息进行解码,得到每个振动信息。
相应地,S304中播放触觉反馈信息,具体可以为:
根据调用电子设备的接口的协议版本标识指示符调用电子设备的接口,播放每个振动信息。
可选的,每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,M个振动编码根据振动波形、振动时长和预设的振动编码时长划分。
其中,M个振动编码的信息指示符包括:M个振动编码中每个振动编码的长度指示符、每个振动编码的振动开始时间指示符、每个振动编码的振动结束时间指示符、每个振动编码被播放时所需的马达数量指示符、每个振动编码的振动强度指示符和每个振动编码的振动频率的指示符。
S3032具体可以为:对于每个振动信息的编码信息,分别根据振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量 M的指示符和M个振动编码的信息指示符解析得到振动信息的标识、振动开始时间、与振动信息所对应的振动编码的数量M和M个振动编码的信息,M 个振动编码中每个振动编码的信息包括:振动编码的长度、振动结束时间、振动编码被播放时所需的马达数量、振动强度和振动频率。
得到振动信息的标识、振动开始时间、与振动信息所对应的振动编码的数量M和M个振动编码的信息后,即可触发播放。
可选的,振动控制信息还可以包括:电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符中的至少一项,其中,电子设备需支持的播放质量级别的指示符用于指示电子设备需支持的播放质量级别,例如有高品质级别、中品质级别和低品质级别。播放质量级别要求的指示符用于指示触觉反馈信息在播放时要求的质量级别,例如播放时要求的质量级别可以是必须达到预设的质量级别,还可以是根据电子设备的硬件可降低播放质量级别。播放所需的马达数量指示符用于指示触觉反馈信息在播放时所需的马达数量,例如触觉反馈信息在播放时所需的马达数量可以是三种:1、必须使用多马达2、支持多马达,但可以用单马达适配3、只支持单马达。
相应地,播放触觉反馈信息,具体可以为:根据电子设备需支持的播放质量级别、播放质量级别要求和播放所需的马达数量中的至少一项播放触觉反馈信息。
例如,振动控制信息包括电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符,电子设备在S303之前,可以先确定当前电子设备硬件是否满足所需条件(即电子设备需支持的播放质量级别、播放质量级别要求和播放所需的马达数量),若满足则适配播放对应质量的振动效果,若不满足所需条件,则适配为低品质,例如在播放时只满足振动时长,不严格匹配振动强度和振动频率,在解析时只解析振动时长或者只解析振动时长和振动强度。
本实施例中,通过在振动控制信息中指示电子设备需支持的播放质量级别,电子设备在播放屏幕录制文件时可以在硬件支持的情况下进行对应的质量级别播放,若硬件不支持则不进行播放。通过在振动控制信息中指示播放质量级别要求,电子设备在播放屏幕录制文件时可以进行对应播放质量级别要求的播放。通过在振动控制信息中指示播放所需的马达数量,电子设备在播放屏幕录制文件时可以使用对应数量的马达播放。
本实施例提供的屏幕录制文件的播放方法,通过对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件,根据所述多媒体文件进行多媒体信息播放,对所述触觉反馈文件进行解码,得到触觉反馈信息,播放所述触觉反馈信息。从而使得电子设备在播放屏幕录制文件时既可播放多媒体信息还可播放触觉反馈信息,可提高用户的沉浸式体验。
以下为本申请装置实施例,可以用于执行本申请上述方法实施例。对于本申请装置实施例中未披露的细节,可参考本申请上述方法实施例。
图5为本申请实施例提供的一种屏幕录制装置的结构示意图,如图5所示,本实施例的装置可以包括:接收模块21、获取模块22和处理模块23,其中,接收模块21用于接收第一指令,第一指令包括启动屏幕录制的指令;
获取模块22用于获取被录制目标应用程序输出的多媒体信息和触觉反馈信息;
处理模块23用于根据多媒体信息和触觉反馈信息,生成屏幕录制文件。
可选的,处理模块23还用于:
保存屏幕录制文件;或者,
对屏幕录制文件进行流媒体编码,将流媒体编码后得到码流发送至目标电子设备。
可选的,获取模块22用于:
采集目标应用程序输出的多媒体信息;
在采集目标应用程序输出的多媒体信息的过程中,若监听到振动被触发,采集被触发的振动的振动信息;
在采集目标应用程序输出的多媒体信息结束时,将采集到的至少一个振动的振动信息确定为触觉反馈信息。
可选的,振动信息包括振动开始时间、振动波形和振动时长,振动波形包括振动强度随时间变化的波形和振动频率随时间变化的波形。
可选的,处理模块23用于:
根据多媒体信息生成多媒体文件;
根据预设的编码方式对触觉反馈信息进行编码,得到触觉反馈文件;
根据多媒体文件和触觉反馈文件得到屏幕录制文件。
可选的,触觉反馈文件包括振动控制信息和触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息,振动控制信息包括调用电子设备的接口的协议版本标识指示符、编码格式指示符和同步播放触觉反馈信息与多媒体信息的同步控制方式指示符。
可选的,振动控制信息还包括:
电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符中的至少一项。
可选的,处理模块23具体用于:
根据预设的调用电子设备的接口的协议版本标识确定调用电子设备的接口的协议版本标识指示符,根据选择的编码格式确定编码格式指示符,根据选择的同步播放触觉反馈信息与多媒体信息的同步控制方式确定同步控制方式指示符;
根据所确定的调用电子设备的接口的协议版本标识指示符、所确定的编码格式指示符和所确定的同步控制方式指示符,得到振动控制信息;
根据触觉反馈信息包括的振动信息的数量和每个振动信息包括的振动开始时间、振动波形和振动时长,确定每个振动信息的编码信息;
根据振动控制信息和每个振动信息的编码信息得到触觉反馈文件。
可选的,每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,M个振动编码根据振动波形、振动时长和预设的振动编码时长划分;
其中,M个振动编码的信息指示符包括:M个振动编码中每个振动编码的长度指示符、每个振动编码的振动开始时间指示符、每个振动编码的振动结束时间指示符、每个振动编码被播放时所需的马达数量指示符、每个振动编码的振动强度指示符和每个振动编码的振动频率的指示符。
本申请实施例提供的装置,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
图6为本申请实施例提供的一种屏幕录制文件的播放装置的结构示意图,如图6所示,本实施例的装置可以包括:解析模块31、播放模块32和解码模块33,其中,
解析模块31用于对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件;
播放模块32用于根据多媒体文件进行多媒体信息播放;
解码模块33用于对触觉反馈文件进行解码,得到触觉反馈信息;
播放模块32还用于:播放触觉反馈信息。
可选的,触觉反馈文件包括振动控制信息和触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息,振动控制信息包括调用电子设备的接口的协议版本标识指示符、编码格式指示符和同步播放触觉反馈信息与多媒体信息的同步控制方式指示符。
可选的,解码模块33用于读取触觉反馈文件包括的振动控制信息,根据编码格式指示符确定编码方式,根据同步控制方式指示符确定同步播放触觉反馈信息与多媒体信息的同步控制方式;
根据编码方式对触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息进行解码,得到每个振动信息;
播放模块32根据调用电子设备的接口的协议版本标识指示符调用电子设备的接口,播放每个振动信息。
可选的,每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,M个振动编码根据振动波形、振动时长和预设的振动编码时长划分;
其中,M个振动编码的信息指示符包括:M个振动编码中每个振动编码的长度指示符、每个振动编码的振动开始时间指示符、每个振动编码的振动结束时间指示符、每个振动编码被播放时所需的马达数量指示符、每个振动编码的振动强度指示符和每个振动编码的振动频率的指示符;
解码模块33具体用于:对于每个振动信息的编码信息,分别根据振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符解析得到振动信息的标识、振动开始时间、与振动信息所对应的振动编码的数量M和M个振动编码的信息,M个振动编码中每个振动编码的信息包括:振动编码的长度、振动结束时间、振动编码被播放时所需的马达数量、振动强度和振动频率。
可选的,振动控制信息还包括:电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符中的至少一项,播放模块32还用于:根据电子设备需支持的播放质量级别、播放质量级别要求和播放所需的马达数量中的至少一项播放触觉反馈信息。
本申请实施例提供的装置,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
图7是本申请实施例提供的电子设备700的示意性框图。
如图7所示,该电子设备700可包括:
存储器710和处理器720,该存储器710用于存储计算机程序,并将该程序代码传输给该处理器720。换言之,该处理器720可以从存储器710中调用并运行计算机程序,以实现本申请实施例中的方法。
例如,该处理器720可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中,该处理器720可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器710包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM, PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM, DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleData Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器710中,并由该处理器720执行,以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图7所示,该电子设备还可包括:
收发器730,该收发器730可连接至该处理器720或存储器710。
其中,处理器720可以控制该收发器730与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器730可以包括发射机和接收机。收发器730还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
本申请还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上实施例中的屏幕录制方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等) 方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc, DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上该,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (18)
1.一种屏幕录制方法,其特征在于,所述方法包括:
接收第一指令,所述第一指令包括启动屏幕录制的指令;
获取被录制目标应用程序输出的多媒体信息和触觉反馈信息;
根据所述多媒体信息和所述触觉反馈信息,生成屏幕录制文件;
其中,所述获取被录制目标应用程序输出的多媒体信息和触觉反馈信息,包括:采集所述目标应用程序输出的多媒体信息;
在采集所述目标应用程序输出的多媒体信息的过程中,若监听到振动被触发,采集被触发的振动的振动信息;
在采集所述目标应用程序输出的多媒体信息结束时,将采集到的至少一个振动的振动信息确定为所述触觉反馈信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
保存所述屏幕录制文件;或者,
对所述屏幕录制文件进行流媒体编码,将流媒体编码后得到码流发送至目标电子设备。
3.根据权利要求1所述的方法,其特征在于,所述振动信息包括振动开始时间、振动波形和振动时长,所述振动波形包括振动强度随时间变化的波形和振动频率随时间变化的波形。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述多媒体信息和所述触觉反馈信息,生成屏幕录制文件,包括:
根据所述多媒体信息生成多媒体文件;
根据预设的编码方式对所述触觉反馈信息进行编码,得到触觉反馈文件;
根据所述多媒体文件和所述触觉反馈文件得到所述屏幕录制文件。
5.根据权利要求4所述的方法,其特征在于,
所述触觉反馈文件包括振动控制信息和所述触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息,所述振动控制信息包括调用电子设备的接口的协议版本标识指示符、编码格式指示符和同步播放所述触觉反馈信息与所述多媒体信息的同步控制方式指示符。
6.根据权利要求5所述的方法,其特征在于,所述振动控制信息还包括:
电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符中的至少一项。
7.根据权利要求4所述的方法,其特征在于,所述根据预设的编码方式对所述触觉反馈信息进行编码,得到触觉反馈文件,包括:
根据预设的调用电子设备的接口的协议版本标识确定所述调用电子设备的接口的协议版本标识指示符,根据选择的编码格式确定所述编码格式指示符,根据选择的同步播放所述触觉反馈信息与所述多媒体信息的同步控制方式确定所述同步控制方式指示符;
根据所确定的调用电子设备的接口的协议版本标识指示符、所确定的编码格式指示符和所确定的同步控制方式指示符,得到振动控制信息;
根据所述触觉反馈信息包括的所述振动信息的数量和每个所述振动信息包括的振动开始时间、振动波形和振动时长,确定所述每个振动信息的编码信息;
根据所述振动控制信息和所述每个振动信息的编码信息得到所述触觉反馈文件。
8.根据权利要求7所述的方法,其特征在于,
所述每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,所述M个振动编码根据所述振动波形、所述振动时长和预设的振动编码时长划分;
其中,所述M个振动编码的信息指示符包括:所述M个振动编码中每个振动编码的长度指示符、所述每个振动编码的振动开始时间指示符、所述每个振动编码的振动结束时间指示符、所述每个振动编码被播放时所需的马达数量指示符、所述每个振动编码的振动强度指示符和所述每个振动编码的振动频率的指示符。
9.一种屏幕录制文件的播放方法,其特征在于,包括:
对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件;
根据所述多媒体文件进行多媒体信息播放,所述多媒体信息为接收到第一指令后采集的目标应用程序输出的多媒体信息,所述第一指令包括启动屏幕录制的指令;
对所述触觉反馈文件进行解码,得到触觉反馈信息,所述触觉反馈信息为在采集目标应用程序输出的多媒体信息的过程中至采集所述目标应用程序输出的多媒体信息结束时采集到的至少一个振动的振动信息;
播放所述触觉反馈信息。
10.根据权利要求9所述的方法,其特征在于,所述触觉反馈文件包括振动控制信息和所述触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息,所述振动控制信息包括调用电子设备的接口的协议版本标识指示符、编码格式指示符和同步播放所述触觉反馈信息与所述多媒体信息的同步控制方式指示符。
11.根据权利要求10所述的方法,其特征在于,所述对所述触觉反馈文件进行解码,得到触觉反馈信息,包括:
读取所述触觉反馈文件包括的所述振动控制信息,根据所述编码格式指示符确定编码方式,根据所述同步控制方式指示符确定同步播放所述触觉反馈信息与所述多媒体信息的同步控制方式;
根据所述编码方式对所述触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息进行解码,得到所述每个振动信息;
所述播放所述触觉反馈信息,包括:
根据所述调用电子设备的接口的协议版本标识指示符调用电子设备的接口,播放所述每个振动信息。
12.根据权利要求11所述的方法,其特征在于,所述每个振动信息的编码信息包括:振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和M个振动编码的信息指示符,所述M个振动编码根据振动波形、振动时长和预设的振动编码时长划分;
其中,所述M个振动编码的信息指示符包括:所述M个振动编码中每个振动编码的长度指示符、所述每个振动编码的振动开始时间指示符、所述每个振动编码的振动结束时间指示符、所述每个振动编码被播放时所需的马达数量指示符、所述每个振动编码的振动强度指示符和所述每个振动编码的振动频率的指示符;
所述根据所述编码方式对所述触觉反馈信息包括的至少一个振动的振动信息中每个振动信息的编码信息进行解码,得到所述每个振动信息,包括:
对于所述每个振动信息的编码信息,分别根据所述振动信息的标识指示符、振动开始时间指示符、与振动信息所对应的振动编码的数量M的指示符和所述M个振动编码的信息指示符解析得到振动信息的标识、振动开始时间、与振动信息所对应的振动编码的数量M和M个振动编码的信息,所述M个振动编码中每个振动编码的信息包括:振动编码的长度、振动结束时间、振动编码被播放时所需的马达数量、振动强度和振动频率。
13.根据权利要求10所述的方法,其特征在于,所述振动控制信息还包括:电子设备需支持的播放质量级别的指示符、播放质量级别要求的指示符和播放所需的马达数量指示符中的至少一项,所述播放所述触觉反馈信息,包括:
根据电子设备需支持的播放质量级别、播放质量级别要求和播放所需的马达数量中的至少一项播放所述触觉反馈信息。
14.一种屏幕录制装置,其特征在于,包括:
接收模块,用于接收第一指令,所述第一指令包括启动屏幕录制的指令;
获取模块,用于获取被录制目标应用程序输出的多媒体信息和触觉反馈信息;
处理模块,用于根据所述多媒体信息和所述触觉反馈信息,生成屏幕录制文件;
其中,所述获取模块具体用于:
采集所述目标应用程序输出的多媒体信息;
在采集所述目标应用程序输出的多媒体信息的过程中,若监听到振动被触发,采集被触发的振动的振动信息;
在采集所述目标应用程序输出的多媒体信息结束时,将采集到的至少一个振动的振动信息确定为所述触觉反馈信息。
15.一种屏幕录制文件的播放装置,其特征在于,包括:
解析模块,用于对屏幕录制文件进行解析得到多媒体文件和触觉反馈文件;
播放模块,用于根据所述多媒体文件进行多媒体信息播放,所述多媒体信息为接收到第一指令后采集的目标应用程序输出的多媒体信息,所述第一指令包括启动屏幕录制的指令;
解码模块,用于对所述触觉反馈文件进行解码,得到触觉反馈信息,所述触觉反馈信息为在采集目标应用程序输出的多媒体信息的过程中至采集所述目标应用程序输出的多媒体信息结束时采集到的至少一个振动的振动信息;
所述播放模块还用于:播放所述触觉反馈信息。
16.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1至8或9-13中任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至8或9-13中任一项所述的方法。
18.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8或9-13中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111249454.9A CN113973226B (zh) | 2021-10-26 | 2021-10-26 | 屏幕录制方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111249454.9A CN113973226B (zh) | 2021-10-26 | 2021-10-26 | 屏幕录制方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113973226A CN113973226A (zh) | 2022-01-25 |
CN113973226B true CN113973226B (zh) | 2022-11-22 |
Family
ID=79588478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111249454.9A Active CN113973226B (zh) | 2021-10-26 | 2021-10-26 | 屏幕录制方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113973226B (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104991936B (zh) * | 2015-07-03 | 2018-04-13 | 广州市动景计算机科技有限公司 | 一种目标信息获取、推送方法及装置 |
CN113206912B (zh) * | 2021-04-26 | 2023-07-04 | 瑞声光电科技(常州)有限公司 | 多媒体信息处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-10-26 CN CN202111249454.9A patent/CN113973226B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113973226A (zh) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109257646B (zh) | 视频处理方法、装置、电子设备及计算机可读介质 | |
CN109273017B (zh) | 编码控制方法、装置以及电子设备 | |
US9594473B2 (en) | Sound visualization method and apparatus of electronic device | |
CN102685597B (zh) | 内容再现方法及装置、移动终端 | |
CN110876180B (zh) | 功耗处理方法、装置、电子设备及计算机可读介质 | |
JP6284931B2 (ja) | 多重動画再生方法及び装置 | |
CN109543671B (zh) | 点读方法、点读笔、服务器数据处理方法及点读系统 | |
JP2009510890A (ja) | 電波識別タグが付加された情報端末装置及びその制御方法 | |
CN114006894A (zh) | 数据处理系统、方法、电子设备及计算机存储介质 | |
KR102137686B1 (ko) | 컨텐츠 무결성 제어 방법 및 그 전자 장치 | |
CN105139848A (zh) | 数据转换方法和装置 | |
CN105005612B (zh) | 一种音乐文件的获取方法及移动终端 | |
CN113110748B (zh) | 触觉效果控制方法和装置及电子设备 | |
CN113973226B (zh) | 屏幕录制方法、装置、设备及存储介质 | |
TW201513652A (zh) | 可攜式電子裝置及多媒體輸出方法 | |
CN105654973A (zh) | 一种音频文件处理方法及系统 | |
CN107566595A (zh) | 移动终端的音量控制方法、装置及存储介质和移动终端 | |
KR20190106661A (ko) | 연속 데이터 전송 방법 및 데이터 전송 시스템 | |
CN111556406B (zh) | 音频处理方法、音频处理装置及耳机 | |
CN113792179A (zh) | 录音波形处理方法、装置、电子终端设备和存储介质 | |
CN114639392A (zh) | 音频处理方法、装置、电子设备及存储介质 | |
CN109658930B (zh) | 语音信号处理方法、电子装置及计算机可读存储介质 | |
CN111782989A (zh) | 快应用的关联方法及相关装置 | |
KR20220136778A (ko) | 오디오 공유를 지원하기 위한 전자 장치 | |
KR100708298B1 (ko) | 이동통신 단말기의 디지털음원 가사정보 제공장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |