CN112286617A - 操作指导方法、装置及电子设备 - Google Patents

操作指导方法、装置及电子设备 Download PDF

Info

Publication number
CN112286617A
CN112286617A CN202011198210.8A CN202011198210A CN112286617A CN 112286617 A CN112286617 A CN 112286617A CN 202011198210 A CN202011198210 A CN 202011198210A CN 112286617 A CN112286617 A CN 112286617A
Authority
CN
China
Prior art keywords
program
interface
guidance
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011198210.8A
Other languages
English (en)
Other versions
CN112286617B (zh
Inventor
刘朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202011198210.8A priority Critical patent/CN112286617B/zh
Publication of CN112286617A publication Critical patent/CN112286617A/zh
Application granted granted Critical
Publication of CN112286617B publication Critical patent/CN112286617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开一种操作指导方法、装置及电子设备,包括:在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;在屏幕录制过程中,接收用户在第一程序界面上的第一输入;响应于第一输入,在第一程序界面上,显示指导标识,指导标识是基于第一输入的输入轨迹生成的,指导标识用于标记第一输入的输入轨迹;获取第一应用程序的程序信息和界面信息;在屏幕录制完成的情况下,基于指导标识、程序信息、界面信息和屏幕录制得到的视频帧,生成指导操作视频;指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,文件头中包括程序信息和界面信息,附加信息中包括指导标识。

Description

操作指导方法、装置及电子设备
技术领域
本申请属于电子设备技术领域,具体涉及一种操作指导方法、装置及电子设备。
背景技术
随着移动互联网技术的发展和电子设备的普及,电子设备的功能越来越丰富,面对越来越丰富的功能,用户在使用电子设备时可能会遇到一些问题,例如,用户对于某些功能比较陌生,不知如何操作,因此需要在电子设备中增加辅助指导操作功能,以帮助用户对电子设备的功能进行了解和操作。
现有技术中,指导者通过电子设备中的屏幕录制应用,录制某些功能的整个操作演示过程,生成指导视频并提供给被指导者,被指导者通过观看指导视频来进行相关功能的操作。然而,由于被指导者需要先观看指导视频,再自己去操作,在操作过程中如果遗忘了指导视频中的内容,需要再去回看指导视频,后续可能会不断重复这个过程,指导效率较低。
发明内容
本申请实施例的目的是提供一种操作指导方法、装置及电子设备,能够解决现有技术中在指导用户使用电子设备的功能时所存在的指导效率较低的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种操作指导方法,应用于第一操作指导装置,所述方法包括:
在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;
在屏幕录制过程中,接收用户在所述第一程序界面上的第一输入;
响应于所述第一输入,在所述第一程序界面上,显示指导标识,其中,所述指导标识是基于所述第一输入的输入轨迹生成的,所述指导标识用于标记所述第一输入的输入轨迹;
获取所述第一应用程序的程序信息和界面信息;
在屏幕录制完成的情况下,基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息和所述界面信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;
在屏幕录制过程中,所述方法还包括:
获取所述第一操作指导装置的设备信息;其中,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频,包括:
基于所述指导标识、所述程序信息、所述界面信息、所述设备信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、录制的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息、所述界面信息和所述设备信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记所述第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,所述基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频之后,还包括:
将所述指导操作视频发送给第二操作指导装置;
或者,将所述指导操作视频上传至服务器,以使所述第二操作指导装置在所述服务器上下载所述指导操作视频。
第二方面,本申请实施例提供了一种操作指导方法,应用于第二操作指导装置,所述方法包括:
获取第一操作指导装置生成的指导操作视频,其中,所述指导操作视频中包括:文件头、视频帧和视频帧的附加信息,所述文件头中包括第一应用程序的程序信息和界面信息,所述附加信息中包括指导标识;
在第一显示区显示第二应用程序的第二程序界面,并在第二显示区播放所述指导操作视频;其中,所述第二程序界面是基于所述文件头确定的,所述第二程序界面是所述第二操作指导装置中与所述第一应用程序的第一程序界面对应的程序界面。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为第三方应用程序;
所述在第一显示区显示第二应用程序的第二程序界面之前,还包括:
在所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,将所述第三应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,基于预设第一程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第四应用程序的程序界面确定为第二程序界面;其中,所述第一程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;所述文件头中还包括:所述第一操作指导装置的设备信息,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述在第一显示区显示第二应用程序的第二程序界面之前,还包括:
在所述第二操作指导装置与所述第一操作指导装置的设备信息一致的情况下,将所述第二操作指导装置中所述第一应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,将所述第五应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,基于预设第二程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第六应用程序的程序界面确定为第二程序界面;其中,所述第二程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,在所述指导操作视频播放过程中,所述方法还包括:
在所述指导操作视频的播放界面包括第一指导标识,且所述第一指导标识所标记的第一控件为预设第一类型控件的情况下,在所述第一显示区上,执行所述第一控件关联的第一处理,并显示提示标识,其中,所述提示标识用于提示所述第一处理已执行;
在所述指导操作视频的播放界面包括第二指导标识,且所述第二指导标识所标记的第二控件为预设第二类型控件的情况下,根据用户在所述第一显示区上的第二输入,调整所述指导操作视频的播放状态。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记用户在所述第一程序界面上的第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,所述获取第一操作指导装置生成的指导操作视频,包括:
接收第一操作指导装置发送的指导操作视频;
或者,从服务器上下载所述指导操作视频。
第三方面,本申请实施例提供了一种第一操作指导装置,应用于第一操作指导装置,所述装置包括:
启动模块,用于在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;
接收模块,用于在屏幕录制过程中,接收用户在所述第一程序界面上的第一输入;
第一显示模块,用于响应于所述第一输入,在所述第一程序界面上,显示指导标识,其中,所述指导标识是基于所述第一输入的输入轨迹生成的,所述指导标识用于标记所述第一输入的输入轨迹;
第一获取模块,用于获取所述第一应用程序的程序信息和界面信息;
生成模块,用于在屏幕录制完成的情况下,基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息和所述界面信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;
所述装置还包括:
第二获取模块,用于在屏幕录制过程中,获取所述第一操作指导装置的设备信息;其中,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述生成模块包括:
视频生成子模块,用于基于所述指导标识、所述程序信息、所述界面信息、所述设备信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、录制的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息、所述界面信息和所述设备信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记所述第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,所述装置还包括:
发送模块,用于将所述指导操作视频发送给第二操作指导装置;
或者,上传模块,用于将所述指导操作视频上传至服务器,以使所述第二操作指导装置在所述服务器上下载所述指导操作视频。
第四方面,本申请实施例提供了一种第二操作指导装置,应用于第二操作指导装置,所述装置包括:
第三获取模块,用于获取第一操作指导装置生成的指导操作视频,其中,所述指导操作视频中包括:文件头、视频帧和视频帧的附加信息,所述文件头中包括第一应用程序的程序信息和界面信息,所述附加信息中包括指导标识;
第二显示模块,用于在第一显示区显示第二应用程序的第二程序界面;
播放模块,用于在所述在第一显示区显示第二应用程序的第二程序界面的同时,在第二显示区播放所述指导操作视频;其中,所述第二程序界面是基于所述文件头确定的,所述第二程序界面是所述第二操作指导装置中与所述第一应用程序的第一程序界面对应的程序界面。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为第三方应用程序;
所述装置还包括:
第一确定模块,用于在所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,将所述第三应用程序的程序界面确定为第二程序界面;
第二确定模块,用于在所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,基于预设第一程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第四应用程序的程序界面确定为第二程序界面;其中,所述第一程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;所述文件头中还包括:所述第一操作指导装置的设备信息,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述装置还包括:
第三确定模块,用于在所述第二操作指导装置与所述第一操作指导装置的设备信息一致的情况下,将所述第二操作指导装置中所述第一应用程序的程序界面确定为第二程序界面;
第四确定模块,用于在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,将所述第五应用程序的程序界面确定为第二程序界面;
第五确定模块,用于在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,基于预设第二程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第六应用程序的程序界面确定为第二程序界面;其中,所述第二程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,所述装置还包括:
处理模块,用于在所述指导操作视频播放过程中,在所述指导操作视频的播放界面包括第一指导标识,且所述第一指导标识所标记的第一控件为预设第一类型控件的情况下,在所述第一显示区上,执行所述第一控件关联的第一处理,并显示提示标识,其中,所述提示标识用于提示所述第一处理已执行;
调整模块,用于在所述指导操作视频的播放界面包括第二指导标识,且所述第二指导标识所标记的第二控件为预设第二类型控件的情况下,根据用户在所述第一显示区上的第二输入,调整所述指导操作视频的播放状态。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记用户在所述第一程序界面上的第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,所述第三获取模块包括:
视频接收子模块,用于接收第一操作指导装置发送的指导操作视频;
或者,视频下载子模块,用于从服务器上下载所述指导操作视频。
第五方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的操作指导方法的步骤。
第六方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面或第二方面所述的操作指导方法的步骤。
第七方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面或第二方面所述的操作指导方法。
本申请实施例中,第一操作指导装置可以生成携带指导标识、应用程序的程序信息和界面信息的指导操作视频,并提供给第二操作指导装置,以便第二操作指导装置在一个显示区播放指导操作视频的同时,可以在另一个显示区自动帮用户同步打开与指导操作视频内容画面相应的应用程序的程序界面,来辅助用户操作,帮助用户更快地使用某个功能,提高指导效率。
附图说明
图1是本申请实施例提供的一种操作指导方法之一的流程图;
图2是本申请实施例提供的一种操作指导场景的示例图;
图3是本申请实施例提供的一种操作指导方法之二的流程图;
图4是本申请实施例提供的一种第一操作指导装置的结构框图;
图5是本申请实施例提供的一种第二操作指导装置的结构框图;
图6是本申请实施例提供的一种电子设备的结构示意图;
图7是实现本申请各个实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的操作指导方法进行详细地说明。需要说明的是,本申请实施例提供的操作指导方法适用于电子设备,在实际应用中,该电子设备可以包括:智能手机、平板电脑、个人数字助理等移动终端,本申请实施例对此不作限定。
图1是本申请实施例提供的一种操作指导方法之一的流程图,应用于第一操作指导装置,如图1所示,该方法可以包括以下步骤:步骤101、步骤102、步骤103、步骤104和步骤105,其中,
在步骤101中,在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制。
本申请实施例中,第一操作指导装置指的是指导者使用的电子设备,第二操作指导装置指的是被指导者使用的电子设备,其中,第二操作指导装置可以为双面屏电子设备,也可以为单屏电子设备。
本申请实施例中,指导者可以辅助被指导者操作电子设备操作系统中出厂时自出开发的应用程序,此时,第一应用程序可以为系统级应用程序,即系统自带的、用户不可卸载的应用程序。
本申请实施例中,指导者可以辅助被指导者操作某个第三方应用程序,此时,第一应用程序可以为第三方应用程序,即可通过应用市场下载安装的应用程序,例如微信、微博等。
在步骤102中,在屏幕录制过程中,接收用户在第一程序界面上的第一输入。
本申请实施例中,第一输入为用于指导其他用户操作第一应用程序的示范输入,第一输入起到辅助操作的示范作用。在实际应用中,第一输入包括但不限于:点击输入、长按输入和滑动输入。
在步骤103中,响应于第一输入,在第一程序界面上,显示指导标识,其中,指导标识是基于第一输入的输入轨迹生成的,指导标识用于标记第一输入的输入轨迹。
本申请实施例中,指导标识可以包括:手型标识、颜色标识和边框标识;其中,手型标识用于标记第一输入的输入轨迹,颜色标识和边框标识用于标记第一输入的输入轨迹所经过的控件,颜色标识可以包括:高亮颜色标识和彩色颜色标识。例如,对于用户在第一操作指导装置20上的输入轨迹,通过手型标识22和23进行标记,对于输入轨迹所经过的控件,通过颜色标识和边框标识21进行标记。
本申请实施例中,通过在第一程序界面上添加指导标识,帮助被指导者通过观看带指导标记的视频,来学习使用第一程序界面的相关功能,达到辅助操作的目的。
在步骤104中,获取第一应用程序的程序信息和界面信息。
本申请实施例中,程序信息可以包括:程序的包名和版本信息,界面信息可以包括:程序的界面类名和界面内容信息。界面内容信息可以包括:指导者在操作过程中打开或者操作的第一应用程序的程序界面的内容信息,例如,某个控件的内容、界面之间的转承关系等。
在步骤105中,在屏幕录制完成的情况下,基于上述指导标识、程序信息、界面信息和屏幕录制得到的视频帧,生成指导操作视频;其中,指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,文件头中包括上述程序信息和界面信息,附加信息中包括指导标识。
本申请实施例中,指导操作视频中的文件头用于确定第二操作指导装置中的第二程序界面,其中,第二程序界面是第二操作指导装置中与第一应用程序的第一程序界面对应的程序界面。指导操作视频中的视频帧附加信息用于供被指导者通过观看带有指导标识的视频所包含的指导操作画面,来学习使用第二操作指导装置中的某个功能。
考虑到第三方应用程序只跟版本有关,而系统级应用程序不仅跟版本有关,还跟厂商、操作系统等有关,本申请实施例中,当第一应用程序为第三方应用程序时,指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,文件头中包括上述程序信息和界面信息,附加信息中包括指导标识。
当第一应用程序为系统级应用程序时,文件头中还包括第一操作指导装置的设备信息,该设备信息用于确定第一操作指导装置和第二操作指导装置是否是同一个品牌,是否是同一个机型,机型的操作系统版本是否一致,软件版本是否一致等。因为只有当第一操作指导装置和第二操作指导装置的设备信息一致时,第一操作指导装置生成的指导操作视频才能指导第二操作指导装置的用户通过观看该指导操作视频,学习使用第二操作指导装置中系统级应用程序的功能。此时,图1所示实施例的方法,还包括以下步骤:
在屏幕录制过程中,获取第一操作指导装置的设备信息;其中,设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
相应的,上述步骤105具体可以包括以下步骤:
基于上述指导标识、程序信息、界面信息、设备信息和屏幕录制得到的视频帧,生成指导操作视频;其中,指导操作视频中包括:文件头、录制的视频帧和视频帧的附加信息,文件头中包括程序信息、界面信息和设备信息,附加信息中包括指导标识。
本申请实施例中,第一操作指导装置在生成指导操作视频时,还可以在文件头中增加类型标识,其他设备可通过这个类型标识,判断该视频是指导视频还是普通视频。
本申请实施例中,第一操作指导装置在生成指导操作视频后,可以通过多种方式将指导操作视频提供给第二操作指导装置,具体的,可以将指导操作视频发送给第二操作指导装置;或者,可以将指导操作视频上传至服务器,以使第二操作指导装置在服务器上下载指导操作视频。
本申请实施例中,第一操作指导装置可以通过无线或有线网络,将指导操作视频发送给第二操作指导装置;或者,第一操作指导装置可以通过蓝牙,将指导操作视频发送至第二操作指导装置,本申请实施例对此不作限定。
由上述实施例可见,该实施例中,第一操作指导装置可以生成携带指导标识、应用程序的程序信息和界面信息的指导操作视频,并提供给第二操作指导装置,以便第二操作指导装置在一个显示区播放指导操作视频的同时,可以在另一个显示区自动帮用户同步打开与指导操作视频内容画面相应的应用程序的程序界面,来辅助用户操作,帮助用户更快地使用某个功能,提高指导效率。
图3是本申请实施例提供的一种操作指导方法之二的流程图,应用于第二操作指导装置,如图3所示,该方法可以包括以下步骤:步骤301和步骤302,其中,
在步骤301中,获取第一操作指导装置生成的指导操作视频,其中,指导操作视频中包括:文件头、视频帧和视频帧的附加信息,文件头中包括第一应用程序的程序信息和界面信息,附加信息中包括指导标识。
本申请实施例中,第一操作指导装置指的是指导者使用的电子设备,第二操作指导装置指的是被指导者使用的电子设备,其中,第二操作指导装置可以为双面屏电子设备,也可以为单屏电子设备。
本申请实施例中,第二操作指导装置可以直接从第一操作指导装置获取指导操作视频,此时,上述步骤301具体可以包括以下步骤:接收第一操作指导装置发送的指导操作视频;或者,第二操作指导装置可以从其他设备处获取指导操作视频,此时,上述步骤301具体可以包括以下步骤:从服务器上下载指导操作视频。
本申请实施例中,指导操作视频中的文件头用于确定第二操作指导装置中的第二程序界面,其中,第二程序界面是第二操作指导装置中与第一应用程序的第一程序界面对应的程序界面。指导操作视频中的视频帧附加信息用于供被指导者通过观看带有指导标识的视频所包含的指导操作画面,来学习使用第二操作指导装置中的某个功能。
本申请实施例中,程序信息可以包括:程序的包名和版本信息,界面信息可以包括:程序的界面类名和界面内容信息。界面内容信息可以包括:指导者在操作过程中打开或者操作的第一应用程序的程序界面的内容信息,例如,某个控件的内容、界面之间的转承关系等。
本申请实施例中,指导标识可以包括:手型标识、颜色标识和边框标识,其中,手型标识用于标记用户在第一程序界面上的第一输入的输入轨迹,颜色标识和边框标识用于标记输入轨迹所经过的控件。
在步骤302中,在第一显示区显示第二应用程序的第二程序界面,并在第二显示区播放指导操作视频;其中,第二程序界面是基于文件头确定的,第二程序界面是第二操作指导装置中与第一应用程序的第一程序界面对应的程序界面。
本申请实施例中,在获取到指导操作视频后,第二操作指导装置可以按照视频生成时设定的格式,解析视频的文件头,例如视频生成时所有的信息都是按照键/值对的方式存储,解析的时候也按照键/值对进行逐一解析,解析后的结果可以生成跟视频关联的任意格式文件,即在播放该视频时系统会自动打开关联的解析结果文件;也可以只将信息存储在内存中,关闭视频后占用的内存全部释放。解析后,判断是否可以解析到类型标识,如果未解析到类型标识,则视频只是普通的视频,仅可供用户观看;如果解析到类型标识,则视频是指导视频,根据指导操作视频的文件头,确定第二操作指导装置中的第二程序界面。
在本申请提供的一个实施方式中,当第一应用程序为第三方应用程序时,可以通过以下方式确定第二程序界面:在第二操作指导装置中存在与第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,将第三应用程序的程序界面确定为第二程序界面;
在第二操作指导装置中不存在与第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,基于预设第一程序库、第一应用程的包名、版本信息、界面类名和界面内容信息,查找第二操作指导装置中匹配的程序界面,并将查找到的第四应用程序的程序界面确定为第二程序界面;其中,第一程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
考虑到在第一操作指导装置中第一应用程序的第一程序界面可能为A,在第二操作指导装置上由于版本差异的原因导致信息变化,而与之一致的界面信息变成了B,则B即为第二程序界面,本申请实施例中,预先构建一个程序库,即第一程序库,该第一程序库中的内容包括但不限于以下内容:应用程序的包名、版本、界面的类名、界面信息,以及各个版本之间各个界面之间的联系。
在本申请提供的另一个实施方式中,当第一应用程序为系统级应用程序时,指导操作视频的文件头中还包括:第一操作指导装置的设备信息,该设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;此时,可以通过以下方式确定第二程序界面:在第二操作指导装置与第一操作指导装置的设备信息一致的情况下,将第二操作指导装置中第一应用程序的程序界面确定为第二程序界面;
在第二操作指导装置与第一操作指导装置的设备信息不一致、且第二操作指导装置中存在与第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,将第五应用程序的程序界面确定为第二程序界面;
在第二操作指导装置与第一操作指导装置的设备信息不一致、且第二操作指导装置中不存在与第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,基于预设第二程序库、第一应用程的包名、版本信息、界面类名和界面内容信息,查找第二操作指导装置中匹配的程序界面,并将查找到的第六应用程序的程序界面确定为第二程序界面;其中,第二程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
本申请实施例中,确定第二操作指导装置的设备信息与第一操作指导装置的设备信息是否一致,其本质上是确定第一操作指导装置和第二操作指导装置是否是同一个品牌,是否是同一个机型,机型的操作系统版本是否一致,软件版本是否一致等。
本申请实施例中,预先构建一个程序库,即第二程序库,该第二程序库中的内容包括但不限于以下内容:某厂商中所有机型所有软件版本中所有应用中界面的信息,以及各个版本之间各个界面之间的联系,如下表1所示。
Figure BDA0002754595410000161
表1
在一个例子中,如表1所示,A厂商的两个机型X10和X11,B应用版本从1.0.0.0版本迭代到了1.0.0.2版本,某个界面的类名先从com.iqoo.secure.cleanActivity变为com.iqoo.secure.cleanSpaceActivity,之后再变为com.iqoo.secure.SpaceManagerActivity,因此第二程序库中需要记录这种变更前后的关联关系,可以通过其中的任何一条信息查询到其他版本上的类名。
例如,在第一操作指导装置是A厂商的X10,软件版本是1.0.0,android版本是9.0,操作系统是FOS9.2,B应用的版本是1.0.0.0,B应用的清理功能中界面的类名是com.iqoo.secure.cleanActivity。
第二操作指导装置是A厂商的X11,软件版本是1.1.0,android版本是9.0,操作系统是FOS9.2,B应用的版本是1.0.0.2,B应用的清理功能中界面的类名是com.iqoo.secure.SpaceManagerActivity。
这种由于第一操作指导装置和第二操作指导装置的操作系统或者版本等原因导致信息变化的情况,需要通过查询第二程序库获取与第一操作指导装置信息关联的目标界面,由于查询到与com.iqoo.secure.cleanActivity关联的信息是com.iqoo.secure.spaceManagerActivity,因此确定其为第二程序界面。
本申请实施例中,当第二操作指导装置为双面屏设备时,第一显示区可以为双面屏设备的第一显示屏,第二显示区可以为双面屏设备的第二显示屏;当第二操作指导装置为单屏设备时,第一显示区可以为单屏设备的第一分屏区域,第二显示区可以为单屏设备的第二分屏区域;或者,当第二操作指导装置为单屏设备时,第一显示区可以为单屏设备的第一层级区域,第二显示区可以为单屏设备的第二层级区域,其中,第一层级区域与第二层级区域的透明度有差异。
本申请实施例中,可以从指导操作视频的第一个视频帧开始播放,同时发送启动第二操作指导装置与之对应的程序界面的指令,使得给用户的感受是在播放指导视频的同时,自动同步帮用户打开对应的程序界面,不需要用户自己操作。
由上述实施例可见,该实施例中,第一操作指导装置可以生成携带指导标识、应用程序的程序信息和界面信息的指导操作视频,并提供给第二操作指导装置,以便第二操作指导装置在一个显示区播放指导操作视频的同时,可以在另一个显示区自动帮用户同步打开与指导操作视频内容画面相应的应用程序的程序界面,来辅助用户操作,帮助用户更快地使用某个功能,提高指导效率。
在本申请提供的另一个实施例中,所提供的操作指导方法还可以上述步骤302之后,增加以下步骤:
在指导操作视频播放过程中,在指导操作视频的播放界面包括第一指导标识,且第一指导标识所标记的第一控件为预设第一类型控件的情况下,在第一显示区上,执行第一控件关联的第一处理,并显示提示标识,其中,提示标识用于提示第一处理已执行;
在指导操作视频的播放界面包括第二指导标识,且第二指导标识所标记的第二控件为预设第二类型控件的情况下,根据用户在第一显示区上的第二输入,调整指导操作视频的播放状态。
本申请实施例中,预设第一类型控件包括:电子设备可以自动为用户操作的控件。提示标识可以包括:高亮标识、颜色标识和边框标识。
可见,本申请实施例中,对于指导操作视频上操作到的控件,例如被点击的控件,在第二操作指导装置上同步为用户进行操作,并告知用户系统当前自动帮其做了什么操作,也可加深用户的印象,辅助用户了解学习操作步骤。
本申请实施例中,预设第二类型控件包括:需要用户自己操作的控件。
本申请实施例中,对于某些需要用户自己操作才能执行到下一步的场景,如果用户自己没有操作,则指导视频播放暂停,即用户对当前设备上界面的操作可以控制指导视频的播放状态。
在一个例子中,例如,应用程序的空间清理功能,需要用户自主勾选需要清理的垃圾文件,假设指导视频中用户只勾选了5项,而当前用户可能需要勾选100项,由于需要清理的对象不同,所以操作的时间不一致,因此视频播放上和用户的操作无法同步。此时通过检测当前用户在设备上的操作来判断用户当前的意图,包括但不限于:用户是否在滑动屏幕,用户操作的屏幕区域的位置,用户眼球在屏幕上的聚焦范围,用户是否有连续的勾选产生,用户当前操作的事件等。如果根据前述操作判断到用户还在执行垃圾对象选择事件,而此时视频中的垃圾对象选择事件已经播放完毕,则暂停指导视频。待用户垃圾对象选择事件完成后,视频再自动播放下一个事件,例如垃圾清理确认事件,此时也会自动帮用户执行下一个事件,例如垃圾清理确认事件。
在本申请提供的再一个实施例中,针对指导操作视频,在播放时,可以设置视频播放模式:普通模式即仅观看视频内容和指导模式即不仅可观看视频内容,还可辅助指导用户操作,此外,还可以设置通过某种用户输入方式进行切换。例如,如果用户需要先看指导视频才指导怎么操作时,则可通过双击或者多指滑动等输入切换到普通模式,再通过双击等输入退出普通模式回到指导模式,并且退到之前指导模式所处的内容处。
在一个例子中,例如某一应用程序中骚扰拦截功能需要添加黑名单,添加黑名单时会跳转到联系人列表界面,需要用户自己勾选确认。如果跳转到联系人界面后当前用户不知道怎么操作,用户可在视频播放界面通过前述的某个模式切换输入切换视频的模式,由指导模式切换到普通播放模式,同时系统需要记录视频模式切换节点的播放位置,待用户需要指导的内容观看完毕,用户可再通过前述的模式切换输入退出普通模式进入指导模式,并且定位到之前视频切换的位置点。
此外,本申请实施例中,指导者在录屏过程中,如果前后的画面帧的所有界面信息、操作信息等完全一样,则只需要存储第一帧的相关信息作为附加信息,其他画面帧不需要再重复存储;被指导者接收到指导操作视频后,预解析视频文件中的每个画面帧中的附加信息,将所有附加信息及其对应的画面帧生成关联信息,同时将解析到的所有画面帧中的附加信息串起来形成指令集;在两个指令集中间,指导视频一直重复播放这两个指令集之间的画面帧,直至用户操作界面进入下一条指令;也可以对指导操作视频进行二次编辑,例如裁剪视频中的某一段,或者,视频切换到普通播放模式后观看的视频内容自动裁剪成单独的视频,以便供用户多次观看学习。
需要说明的是,本申请实施例提供的操作指导方法,执行主体可以为操作指导装置,或者该操作指导装置中的用于执行加载操作指导方法的控制模块。本申请实施例中以操作指导装置执行加载操作指导方法为例,说明本申请实施例提供的操作指导装置。
图4是本申请实施例提供的一种第一操作指导装置的结构框图,如图4所示,第一操作指导装置400,可以包括:启动模块401、接收模块402、第一显示模块403、第一获取模块404和生成模块405,其中,
启动模块401,用于在第一操作指导装置400的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;
接收模块402,用于在屏幕录制过程中,接收用户在所述第一程序界面上的第一输入;
第一显示模块403,用于响应于所述第一输入,在所述第一程序界面上,显示指导标识,其中,所述指导标识是基于所述第一输入的输入轨迹生成的,所述指导标识用于标记所述第一输入的输入轨迹;
第一获取模块404,用于获取所述第一应用程序的程序信息和界面信息;
生成模块405,用于在屏幕录制完成的情况下,基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息和所述界面信息,所述附加信息中包括所述指导标识。
由上述实施例可见,该实施例中,第一操作指导装置可以生成携带指导标识、应用程序的程序信息和界面信息的指导操作视频,并提供给第二操作指导装置,以便第二操作指导装置在一个显示区播放指导操作视频的同时,可以在另一个显示区自动帮用户同步打开与指导操作视频内容画面相应的应用程序的程序界面,来辅助用户操作,帮助用户更快地使用某个功能,提高指导效率。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;
所述第一操作指导装置400,还可以包括:第二获取模块,用于在屏幕录制过程中,获取所述第一操作指导装置400的设备信息;其中,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述生成模块405,可以包括:视频生成子模块,用于基于所述指导标识、所述程序信息、所述界面信息、所述设备信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、录制的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息、所述界面信息和所述设备信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记所述第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,所述第一操作指导装置400,还可以包括:发送模块,用于将所述指导操作视频发送给第二操作指导装置;或者,上传模块,用于将所述指导操作视频上传至服务器,以使所述第二操作指导装置在所述服务器上下载所述指导操作视频。
图5是本申请实施例提供的一种第二操作指导装置的结构框图,如图5所示,第二操作指导装置500,可以包括:第三获取模块501、第二显示模块502和播放模块503,其中,
第三获取模块501,用于获取第一操作指导装置生成的指导操作视频,其中,所述指导操作视频中包括:文件头、视频帧和视频帧的附加信息,所述文件头中包括第一应用程序的程序信息和界面信息,所述附加信息中包括指导标识;
第二显示模块502,用于在第一显示区显示第二应用程序的第二程序界面;
播放模块503,用于在所述在第一显示区显示第二应用程序的第二程序界面的同时,在第二显示区播放所述指导操作视频;其中,所述第二程序界面是基于所述文件头确定的,所述第二程序界面是所述第二操作指导装置500中与所述第一应用程序的第一程序界面对应的程序界面。
由上述实施例可见,该实施例中,第一操作指导装置可以生成携带指导标识、应用程序的程序信息和界面信息的指导操作视频,并提供给第二操作指导装置,以便第二操作指导装置在一个显示区播放指导操作视频的同时,可以在另一个显示区自动帮用户同步打开与指导操作视频内容画面相应的应用程序的程序界面,来辅助用户操作,帮助用户更快地使用某个功能,提高指导效率。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为第三方应用程序;
所述第二操作指导装置500,还可以包括:第一确定模块,用于在所述第二操作指导装置500中存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,将所述第三应用程序的程序界面确定为第二程序界面;
第二确定模块,用于在所述第二操作指导装置500中不存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,基于预设第一程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置500中匹配的程序界面,并将查找到的第四应用程序的程序界面确定为第二程序界面;其中,所述第一程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;所述文件头中还包括:所述第一操作指导装置的设备信息,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述第二操作指导装置500,还可以包括:第三确定模块,用于在所述第二操作指导装置500与所述第一操作指导装置的设备信息一致的情况下,将所述第二操作指导装置500中所述第一应用程序的程序界面确定为第二程序界面;
第四确定模块,用于在所述第二操作指导装置500与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置500中存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,将所述第五应用程序的程序界面确定为第二程序界面;
第五确定模块,用于在所述第二操作指导装置500与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置500中不存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,基于预设第二程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置500中匹配的程序界面,并将查找到的第六应用程序的程序界面确定为第二程序界面;其中,所述第二程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,所述第二操作指导装置500,还可以包括:
处理模块,用于在所述指导操作视频播放过程中,在所述指导操作视频的播放界面包括第一指导标识,且所述第一指导标识所标记的第一控件为预设第一类型控件的情况下,在所述第一显示区上,执行所述第一控件关联的第一处理,并显示提示标识,其中,所述提示标识用于提示所述第一处理已执行;
调整模块,用于在所述指导操作视频的播放界面包括第二指导标识,且所述第二指导标识所标记的第二控件为预设第二类型控件的情况下,根据用户在所述第一显示区上的第二输入,调整所述指导操作视频的播放状态。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记用户在所述第一程序界面上的第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,所述第三获取模块501,可以包括:视频接收子模块,用于接收第一操作指导装置发送的指导操作视频;或者,视频下载子模块,用于从服务器上下载所述指导操作视频。
本申请实施例中的操作指导装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的操作指导装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的操作指导装置能够实现图1方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图6所示,本申请实施例还提供一种电子设备600,包括处理器601,存储器602,存储在存储器602上并可在所述处理器601上运行的程序或指令,该程序或指令被处理器601执行时实现上述操作指导方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。该电子设备700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解,电子设备700还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
当电子设备为第一操作指导装置时,处理器710,用于在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;
用户输入单元707,用于在屏幕录制过程中,接收用户在所述第一程序界面上的第一输入;
显示单元706,用于响应于所述第一输入,在所述第一程序界面上,显示指导标识,其中,所述指导标识是基于所述第一输入的输入轨迹生成的,所述指导标识用于标记所述第一输入的输入轨迹;
处理器710,还用于获取所述第一应用程序的程序信息和界面信息;在屏幕录制完成的情况下,基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息和所述界面信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;
处理器710,还用于在屏幕录制过程中,获取所述第一操作指导装置的设备信息;其中,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;基于所述指导标识、所述程序信息、所述界面信息、所述设备信息和屏幕录制得到的视频帧,生成指导操作视频;其中,所述指导操作视频中包括:文件头、录制的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息、所述界面信息和所述设备信息,所述附加信息中包括所述指导标识。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记所述第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,处理器710,还用于将所述指导操作视频发送给第二操作指导装置;或者,将所述指导操作视频上传至服务器,以使所述第二操作指导装置在所述服务器上下载所述指导操作视频。
当电子设备为第二操作指导装置时,处理器710,用于获取第一操作指导装置生成的指导操作视频,其中,所述指导操作视频中包括:文件头、视频帧和视频帧的附加信息,所述文件头中包括第一应用程序的程序信息和界面信息,所述附加信息中包括指导标识;
显示单元706,用于在第一显示区显示第二应用程序的第二程序界面,并在第二显示区播放所述指导操作视频;其中,所述第二程序界面是基于所述文件头确定的,所述第二程序界面是所述第二操作指导装置中与所述第一应用程序的第一程序界面对应的程序界面。
可选地,作为一个实施例,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
可选地,作为一个实施例,所述第一应用程序为第三方应用程序;
处理器710,还用于在所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,将所述第三应用程序的程序界面确定为第二程序界面;在所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,基于预设第一程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第四应用程序的程序界面确定为第二程序界面;其中,所述第一程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,所述第一应用程序为系统级应用程序;所述文件头中还包括:所述第一操作指导装置的设备信息,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
处理器710,还用于在所述第二操作指导装置与所述第一操作指导装置的设备信息一致的情况下,将所述第二操作指导装置中所述第一应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,将所述第五应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,基于预设第二程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第六应用程序的程序界面确定为第二程序界面;其中,所述第二程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
可选地,作为一个实施例,处理器710,还用于在所述指导操作视频播放过程中,在所述指导操作视频的播放界面包括第一指导标识,且所述第一指导标识所标记的第一控件为预设第一类型控件的情况下,在所述第一显示区上,执行所述第一控件关联的第一处理,并显示提示标识,其中,所述提示标识用于提示所述第一处理已执行;
在所述指导操作视频的播放界面包括第二指导标识,且所述第二指导标识所标记的第二控件为预设第二类型控件的情况下,根据用户在所述第一显示区上的第二输入,调整所述指导操作视频的播放状态。
可选地,作为一个实施例,所述指导标识包括:手型标识、颜色标识和边框标识;其中,所述手型标识用于标记用户在所述第一程序界面上的第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
可选地,作为一个实施例,处理器710,还用于接收第一操作指导装置发送的指导操作视频;或者,从服务器上下载所述指导操作视频。
应理解的是,本申请实施例中,输入单元704可以包括图形处理器(GraphicsProcessing Unit,GPU)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071,也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器709可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述操作指导方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述操作指导方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质,如ROM/RAM、磁碟、光盘中,包括若干指令用以使得一台终端,例如,该终端可以是手机,计算机,服务器,空调器,或者网络设备等,执行本申请各个实施例所述的操作指导方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (15)

1.一种操作指导方法,应用于第一操作指导装置,其特征在于,所述方法包括:
在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;
在屏幕录制过程中,接收用户在所述第一程序界面上的第一输入;
响应于所述第一输入,在所述第一程序界面上,显示指导标识,其中,所述指导标识是基于所述第一输入的输入轨迹生成的,所述指导标识用于标记所述第一输入的输入轨迹;
获取所述第一应用程序的程序信息和界面信息;
在屏幕录制完成的情况下,基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频;
其中,所述指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息和所述界面信息,所述附加信息中包括所述指导标识。
2.根据权利要求1所述的方法,其特征在于,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
3.根据权利要求1或2所述的方法,其特征在于,所述第一应用程序为系统级应用程序;
在屏幕录制过程中,所述方法还包括:
获取所述第一操作指导装置的设备信息;
其中,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频,包括:
基于所述指导标识、所述程序信息、所述界面信息、所述设备信息和屏幕录制得到的视频帧,生成指导操作视频;
其中,所述指导操作视频中包括:文件头、录制的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息、所述界面信息和所述设备信息,所述附加信息中包括所述指导标识。
4.根据权利要求1所述的方法,其特征在于,所述指导标识包括:手型标识、颜色标识和边框标识;
其中,所述手型标识用于标记所述第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
5.根据权利要求1所述的方法,其特征在于,所述基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频之后,还包括:
将所述指导操作视频发送给第二操作指导装置;
或者,将所述指导操作视频上传至服务器,以使所述第二操作指导装置在所述服务器上下载所述指导操作视频。
6.一种操作指导方法,应用于第二操作指导装置,其特征在于,所述方法包括:
获取第一操作指导装置生成的指导操作视频,其中,所述指导操作视频中包括:文件头、视频帧和视频帧的附加信息,所述文件头中包括第一应用程序的程序信息和界面信息,所述附加信息中包括指导标识;
在第一显示区显示第二应用程序的第二程序界面,并在第二显示区播放所述指导操作视频;
其中,所述第二程序界面是基于所述文件头确定的,所述第二程序界面是所述第二操作指导装置中与所述第一应用程序的第一程序界面对应的程序界面。
7.根据权利要求6所述的方法,其特征在于,所述程序信息包括:程序的包名和版本信息,所述界面信息包括:程序的界面类名和界面内容信息。
8.根据权利要求7所述的方法,其特征在于,所述第一应用程序为第三方应用程序;
所述在第一显示区显示第二应用程序的第二程序界面之前,还包括:
在所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,将所述第三应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第三应用程序的程序界面的情况下,基于预设第一程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第四应用程序的程序界面确定为第二程序界面;
其中,所述第一程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
9.根据权利要求7所述的方法,其特征在于,所述第一应用程序为系统级应用程序;所述文件头中还包括:所述第一操作指导装置的设备信息,所述设备信息包括以下至少一项:操作系统类型信息、版本信息、设备名称和设备型号;
所述在第一显示区显示第二应用程序的第二程序界面之前,还包括:
在所述第二操作指导装置与所述第一操作指导装置的设备信息一致的情况下,将所述第二操作指导装置中所述第一应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,将所述第五应用程序的程序界面确定为第二程序界面;
在所述第二操作指导装置与所述第一操作指导装置的设备信息不一致、且所述第二操作指导装置中不存在与所述第一应用程序的界面类名相同的第五应用程序的程序界面的情况下,基于预设第二程序库、所述第一应用程的包名、版本信息、界面类名和界面内容信息,查找所述第二操作指导装置中匹配的程序界面,并将查找到的第六应用程序的程序界面确定为第二程序界面;
其中,所述第二程序库中记录有应用程序的包名、版本信息、界面类名和界面内容信息之间的对应关系。
10.根据权利要求6所述的方法,其特征在于,在所述指导操作视频播放过程中,所述方法还包括:
在所述指导操作视频的播放界面包括第一指导标识,且所述第一指导标识所标记的第一控件为预设第一类型控件的情况下,在所述第一显示区上,执行所述第一控件关联的第一处理,并显示提示标识,其中,所述提示标识用于提示所述第一处理已执行;
在所述指导操作视频的播放界面包括第二指导标识,且所述第二指导标识所标记的第二控件为预设第二类型控件的情况下,根据用户在所述第一显示区上的第二输入,调整所述指导操作视频的播放状态。
11.根据权利要求6所述的方法,其特征在于,所述指导标识包括:手型标识、颜色标识和边框标识;
其中,所述手型标识用于标记用户在所述第一程序界面上的第一输入的输入轨迹,所述颜色标识和所述边框标识用于标记所述输入轨迹所经过的控件。
12.根据权利要求6所述的方法,其特征在于,所述获取第一操作指导装置生成的指导操作视频,包括:
接收第一操作指导装置发送的指导操作视频;
或者,从服务器上下载所述指导操作视频。
13.一种第一操作指导装置,其特征在于,所述装置包括:
启动模块,用于在第一操作指导装置的显示屏的显示内容包括第一应用程序的第一程序界面的情况下,启动屏幕录制;
接收模块,用于在屏幕录制过程中,接收用户在所述第一程序界面上的第一输入;
第一显示模块,用于响应于所述第一输入,在所述第一程序界面上,显示指导标识,其中,所述指导标识是基于所述第一输入的输入轨迹生成的,所述指导标识用于标记所述第一输入的输入轨迹;
第一获取模块,用于获取所述第一应用程序的程序信息和界面信息;
生成模块,用于在屏幕录制完成的情况下,基于所述指导标识、所述程序信息、所述界面信息和屏幕录制得到的视频帧,生成指导操作视频;
其中,所述指导操作视频中包括:文件头、屏幕录制得到的视频帧和视频帧的附加信息,所述文件头中包括所述程序信息和所述界面信息,所述附加信息中包括所述指导标识。
14.一种第二操作指导装置,其特征在于,所述装置包括:
第三获取模块,用于获取第一操作指导装置生成的指导操作视频,其中,所述指导操作视频中包括:文件头、视频帧和视频帧的附加信息,所述文件头中包括第一应用程序的程序信息和界面信息,所述附加信息中包括指导标识;
第二显示模块,用于在第一显示区显示第二应用程序的第二程序界面;
播放模块,用于在所述在第一显示区显示第二应用程序的第二程序界面的同时,在第二显示区播放所述指导操作视频;
其中,所述第二程序界面是基于所述文件头确定的,所述第二程序界面是所述第二操作指导装置中与所述第一应用程序的第一程序界面对应的程序界面。
15.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至12任一项所述的操作指导方法的步骤。
CN202011198210.8A 2020-10-30 2020-10-30 操作指导方法、装置及电子设备 Active CN112286617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011198210.8A CN112286617B (zh) 2020-10-30 2020-10-30 操作指导方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011198210.8A CN112286617B (zh) 2020-10-30 2020-10-30 操作指导方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112286617A true CN112286617A (zh) 2021-01-29
CN112286617B CN112286617B (zh) 2023-07-21

Family

ID=74353423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011198210.8A Active CN112286617B (zh) 2020-10-30 2020-10-30 操作指导方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112286617B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489416A (zh) * 2022-01-10 2022-05-13 维沃移动通信有限公司 操作演示方法、装置、电子设备和存储介质
WO2024037421A1 (zh) * 2022-08-18 2024-02-22 华为技术有限公司 一种操作方法、电子设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195165A (ja) * 2000-01-14 2001-07-19 Nec Corp Gui制御方法及び装置並びに記録媒体
JP2007299030A (ja) * 2006-04-27 2007-11-15 Victor Co Of Japan Ltd Gui表示情報取得用プログラム
US20110078729A1 (en) * 2009-09-30 2011-03-31 Lajoie Dan Systems and methods for identifying audio content using an interactive media guidance application
US20160378308A1 (en) * 2015-06-26 2016-12-29 Rovi Guides, Inc. Systems and methods for identifying an optimal image for a media asset representation
WO2017100357A1 (en) * 2015-12-09 2017-06-15 Alibaba Group Holding Limited Method, system, and device for processing data in connection with an application
CN107508849A (zh) * 2016-08-10 2017-12-22 广东小天才科技有限公司 一种移动终端的远程控制方法及系统、移动终端
CN107844331A (zh) * 2017-11-23 2018-03-27 腾讯科技(成都)有限公司 生成引导配置文件的方法、装置及设备
CN107870725A (zh) * 2017-11-30 2018-04-03 广东欧珀移动通信有限公司 录屏方法、装置及终端
CN108108214A (zh) * 2017-12-18 2018-06-01 维沃移动通信有限公司 一种操作引导方法、装置及移动终端
CN109561271A (zh) * 2018-11-19 2019-04-02 维沃移动通信有限公司 一种终端操作的指导方法、第一终端及第二终端
CN110141851A (zh) * 2019-04-08 2019-08-20 努比亚技术有限公司 一种录屏方法、装置及计算机可读存储介质
US20200097097A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Electronic device and method for capturing multimedia content
CN111443971A (zh) * 2020-03-24 2020-07-24 维沃移动通信有限公司 操作引导方法、电子设备及介质
CN111526312A (zh) * 2016-11-29 2020-08-11 华为技术有限公司 屏幕录像的录制、播放方法、录屏终端及播放终端

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195165A (ja) * 2000-01-14 2001-07-19 Nec Corp Gui制御方法及び装置並びに記録媒体
JP2007299030A (ja) * 2006-04-27 2007-11-15 Victor Co Of Japan Ltd Gui表示情報取得用プログラム
US20110078729A1 (en) * 2009-09-30 2011-03-31 Lajoie Dan Systems and methods for identifying audio content using an interactive media guidance application
US20160378308A1 (en) * 2015-06-26 2016-12-29 Rovi Guides, Inc. Systems and methods for identifying an optimal image for a media asset representation
WO2017100357A1 (en) * 2015-12-09 2017-06-15 Alibaba Group Holding Limited Method, system, and device for processing data in connection with an application
CN107508849A (zh) * 2016-08-10 2017-12-22 广东小天才科技有限公司 一种移动终端的远程控制方法及系统、移动终端
CN111526312A (zh) * 2016-11-29 2020-08-11 华为技术有限公司 屏幕录像的录制、播放方法、录屏终端及播放终端
CN107844331A (zh) * 2017-11-23 2018-03-27 腾讯科技(成都)有限公司 生成引导配置文件的方法、装置及设备
CN107870725A (zh) * 2017-11-30 2018-04-03 广东欧珀移动通信有限公司 录屏方法、装置及终端
CN108108214A (zh) * 2017-12-18 2018-06-01 维沃移动通信有限公司 一种操作引导方法、装置及移动终端
US20200097097A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Electronic device and method for capturing multimedia content
CN109561271A (zh) * 2018-11-19 2019-04-02 维沃移动通信有限公司 一种终端操作的指导方法、第一终端及第二终端
CN110141851A (zh) * 2019-04-08 2019-08-20 努比亚技术有限公司 一种录屏方法、装置及计算机可读存储介质
CN111443971A (zh) * 2020-03-24 2020-07-24 维沃移动通信有限公司 操作引导方法、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489416A (zh) * 2022-01-10 2022-05-13 维沃移动通信有限公司 操作演示方法、装置、电子设备和存储介质
WO2024037421A1 (zh) * 2022-08-18 2024-02-22 华为技术有限公司 一种操作方法、电子设备及介质

Also Published As

Publication number Publication date
CN112286617B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN112437353B (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
CN102165404B (zh) 物体检测与用户设置
US20140045163A1 (en) Interactive response system and question generation method for interactive response system
CN104461348A (zh) 信息选取方法及装置
CN112887794B (zh) 视频剪辑方法及装置
CN108255939A (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN112286617B (zh) 操作指导方法、装置及电子设备
CN106919642A (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN113986574A (zh) 评论内容的生成方法、装置、电子设备和存储介质
CN113869063A (zh) 数据推荐方法、装置、电子设备及存储介质
CN112115341B (zh) 内容展示方法、装置、终端、服务器、系统及存储介质
WO2023169361A1 (zh) 信息推荐方法、装置和电子设备
WO2023011300A1 (zh) 记录观看视频的人脸表情的方法和装置
CN113157966B (zh) 显示方法、装置及电子设备
CN115309487A (zh) 显示方法、装置、电子设备和可读存储介质
CN113593614B (zh) 图像处理方法及装置
CN115550741A (zh) 视频管理方法、装置、电子设备及可读存储介质
CN111638845B (zh) 动画元素获取方法、装置和电子设备
CN115278378B (zh) 信息显示方法、信息显示装置、电子设备和存储介质
CN112083979A (zh) 界面展示的方法、程序编译的方法以及相关装置
CN111970563B (zh) 视频处理方法、装置和电子设备
CN113835589A (zh) 信息保存方法及装置
CN115982017A (zh) 页面检测方法、装置、电子设备及存储介质
CN116744077A (zh) 视频笔记生成方法及装置
CN114489416A (zh) 操作演示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant