CN115016697A - 投屏方法、计算机设备、可读存储介质和程序产品 - Google Patents

投屏方法、计算机设备、可读存储介质和程序产品 Download PDF

Info

Publication number
CN115016697A
CN115016697A CN202111474159.3A CN202111474159A CN115016697A CN 115016697 A CN115016697 A CN 115016697A CN 202111474159 A CN202111474159 A CN 202111474159A CN 115016697 A CN115016697 A CN 115016697A
Authority
CN
China
Prior art keywords
screen
page
mode
screen projection
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111474159.3A
Other languages
English (en)
Inventor
范明超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Publication of CN115016697A publication Critical patent/CN115016697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本申请公开了一种投屏方法、计算机设备、可读存储介质和程序产品,属于终端技术领域。所述方法包括:在检测到投屏操作时,显示投屏模式选项,该投屏模式选项包括电子白板投屏模式;接收对电子白板投屏模式的选择,响应于所选择的电子白板投屏模式,显示目标应用中的手写页面,并将所显示的手写页面投屏至第二设备。在手写页面检测到书写操作时,根据该书写操作在手写页面中编辑内容,且将手写页面中的内容投屏至第二设备。本申请中所显示的手写页面相当于一个电子白板,可以进行手写编辑并分享至第二设备,从而方便用户与他人分享自己编辑的内容。如此,在投屏场景下自动提供了手写功能,从而达到了电子白板式的投屏效果,提高了投屏灵活性。

Description

投屏方法、计算机设备、可读存储介质和程序产品
本申请要求于2021年09月08日提交的申请号为202111049065.1、发明名称为“电子白板投屏方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端技术领域,特别涉及一种投屏方法、计算机设备、可读存储介质和程序产品。
背景技术
随着终端技术的发展,投屏技术得到了广泛的应用。投屏是指将一个设备的屏幕内容投射到另一个设备进行显示。例如,将手机屏幕显示的文档投射到电视进行显示,这样用户就可以在具有更大尺寸屏幕的电视上浏览手机中的文档。相关技术中,终端接收到用户触发的投屏指令时,直接将屏幕当前正在显示的内容投屏至其他设备进行显示,投屏灵活性较低。
发明内容
本申请提供了一种投屏方法、计算机设备、可读存储介质和程序产品,可以提高投屏灵活性。
第一方面,提供了一种投屏方法。在该方法中,第一设备在检测到投屏操作时,显示投屏模式选项,该投屏模式选项包括电子白板投屏模式。之后,第一设备接收对电子白板投屏模式的选择,响应于所选择的电子白板投屏模式,显示目标应用中的手写页面,并将所显示的手写页面投屏至第二设备。第一设备在该手写页面检测到书写操作时,根据该书写操作在该手写页面中编辑内容,且将该手写页面中的内容投屏至第二设备。
该投屏操作用于指示可将第一设备的屏幕内容投屏至第二设备。投屏模式选项是用于指示投屏模式的选项,该投屏模式是指第一设备在投屏时所采用的方式。本申请中,所显示的投屏模式选项中包括增设的电子白板投屏模式。电子白板投屏模式用于实现电子白板式的投屏,即用于指示投屏目标应用中的手写页面。
目标应用是具有手写页面的应用。比如,目标应用可以是备忘录应用,这种情况下,该手写页面可以是该备忘录应用中的笔记编辑页面。当然,目标应用也可以是其他具有手写页面的应用,如可以是便笺应用等。
用户在第一设备所显示的该手写页面中编辑的所有内容都会被同步到第二设备。具体地,用户可以通过键盘、鼠标、或触屏操作在第一设备所显示的该手写页面中触发书写操作。第一设备在该手写页面检测到该书写操作后,可以根据该书写操作在该手写页面中编辑内容,如可以在该手写页面中输入文字、删除文字等。并且,第一设备所显示的该手写页面中的内容会被投屏至第二设备进行显示,从而方便用户与他人分享自己编辑的内容。
在本申请中,第一设备在检测到投屏操作时,显示包括有电子白板投屏模式的投屏模式选项,在接收到对所显示的电子白板投屏模式的选择后,可以直接调起目标应用的手写模式,以自动显示目标应用中的手写页面,并将该手写页面投屏至第二设备。用户可以在第一设备显示的该手写页面中进行书写操作,以在该手写页面中编辑内容,该手写页面中的内容会被投屏至第二设备进行显示,从而方便用户与他人分享自己编辑的内容。这种情况下,第一设备显示的该手写页面相当于一个电子白板,可以进行手写编辑并分享至第二设备。如此,在投屏场景下自动提供了手写功能,从而达到了电子白板式的投屏效果,方便用户随时分享自己的想法给他人,提高了投屏灵活性。
本申请提供的投屏方法可以应用于小屏设备投屏至大屏设备的场景中,也可以应用于大屏设备投屏至小屏设备的场景中,当然,也可以应用于小屏设备投屏至小屏设备,或者大屏设备投屏至大屏设备的场景中。
示例地,第一设备的屏幕尺寸可以小于第二设备的屏幕尺寸,这种情况下,可以将第一设备称为小屏设备,将第二设备称为大屏设备。或者,可以将屏幕尺寸小于或等于预设屏幕尺寸的设备称为小屏设备,将屏幕尺寸大于预设屏幕尺寸的设备称为大屏设备。其中,预设屏幕尺寸可以预先设置。或者,可以将第一类设备称为小屏设备,将第二类设备称为大屏设备。比如,第一类设备可以包括智能手表、手机或平板电脑等,第二类设备可以包括笔记本电脑、台式电脑、电视等。
由于第一设备显示该手写页面后,还需要将该手写页面投屏至第二设备,所以第一设备在显示该手写页面时,可以参考第二设备的显示参数来显示。这种情况下,第一设备显示目标应用中的手写页面的操作可以为:获取第二设备的显示参数,然后根据第二设备的显示参数确定页面显示模式,之后,显示匹配该页面显示模式的该手写页面。其中,该页面显示模式包括横屏显示模式或竖屏显示模式。
第二设备的显示参数是第二设备用于显示第一设备的屏幕内容的参数,如可以包括分辨率等。一种可能的情况中,第二设备仅显示第一设备的屏幕内容,此时第二设备是以全屏显示第一设备的屏幕内容,这种情况下,第二设备的显示参数是第二设备的屏幕参数,如可以包括屏幕分辨率等。另一种可能的情况中,第二设备不仅显示第一设备的屏幕内容,还显示其他设备的屏幕内容,此时第二设备是以多窗口显示多个设备的屏幕内容,每个窗口对应显示一个设备的屏幕内容,这种情况下,第二设备的显示参数是第二设备中用以显示第一设备的屏幕内容的一个窗口的参数,如可以包括窗口分辨率等。
第一设备获取第二设备的显示参数后,可以将第二设备的显示参数与第一设备的横屏显示参数和竖屏显示参数进行比较。若第二设备的显示参数与第一设备的横屏显示参数更接近,则第一设备确定页面显示模式是横屏显示模式;若第二设备的显示参数与第一设备的竖屏显示参数更接近,则第一设备确定页面显示模式是竖屏显示模式。若该页面显示模式是横屏显示模式,则第一设备将该手写页面进行横屏显示;若该页面显示模式是竖屏显示模式,则第一设备将该手写页面进行竖屏显示。
如此,第一设备所显示的该手写页面的页面显示模式与第二设备的显示参数相匹配,从而在第一设备将该手写页面投屏至第二设备后,第二设备可以完整且准确地显示该手写页面,保证了第二设备的屏幕内容与第一设备的屏幕内容的一致性。
值得注意的是,本申请中,用户可以在第一设备显示的手写页面中进行手写编辑,且该手写页面中的内容会被同步至第二设备,使得第二设备的屏幕内容与第一设备的屏幕内容保持一致。进一步地,还可以支持用户在第二设备实现对第一设备的屏幕内容的手写编辑。也就是说,本申请可以支持第一设备和第二设备之间的双向手写控制。具体来讲,第一设备可以接收对该手写页面的控制操作,该控制操作可以是在第一设备检测到的,或者,该控制操作可以是根据在第二设备检测到的操作生成的。第一设备可以根据该控制操作在该手写页面执行相应的操作行为。
第一设备可以具有两种模式,一种是指示模式,另一种是绘画模式。在指示模式下,第一设备的屏幕可以显示光标,用户可以控制该光标在第一设备的屏幕中移动,以实现对第一设备中的某些屏幕内容的指示等。在绘画模式下,用户可以在第一设备的屏幕中绘出图案(包括但不限于文字、符号、图画等),以实现对第一设备中的某些屏幕内容的标注等。
一种可能的情况中,该控制操作可以是第二设备生成的模拟输入事件。这种情况下,第一设备将该手写页面投屏至第二设备之后,用户可以在第二设备触发输入事件,第二设备检测到该输入事件后,获取该输入事件中的坐标信息,然后生成携带有该坐标信息的模拟输入事件,将该模拟输入事件发送给第一设备。第一设备接收到第二设备发送的该模拟输入事件后,根据该模拟输入事件中的坐标信息执行相应的操作行为,该操作行为包括进入指示模式、进入绘画模式、在该指示模式下移动光标、或在该绘画模式下绘出图案,其中,该指示模式下该手写页面中显示有光标,该绘画模式下该手写页面中能够绘制图案。如此,用户可以在第二设备通过操作键盘、鼠标,或通过触屏操作,来完成对第一设备所显示的手写页面的操作,提高了操作的灵活性和便捷性。
值得说明的是,本申请中,在投屏过程中,第一设备的手写页面中的内容会自动保存,也即,该手写页面是随写随存的。如此,在结束投屏后,第一设备所显示的手写页面中的内容会自动保存为文件。比如,在该手写页面是笔记编辑页面的情况下,在结束投屏后,第一设备所显示的笔记编辑页面中的内容会自动以电子笔记的形式进行保存。如此,便于用户在投屏结束后直接查看所保存的文件,从而获知投屏过程中编辑且共享的内容,提高了用户体验。当然,在结束投屏后,第一设备也可以将所显示的手写页面中的内容发送给其他设备(如第二设备、或其他管理设备等),以供其他用户获知在投屏过程中编辑且共享的内容,提高内容分享的灵活性,提高用户体验。具体地,第一设备在将该手写页面投屏至第二设备后,若检测到结束投屏操作,则结束对第二设备的投屏,且可以将所显示的手写页面中的内容保存为文件,和/或,将所显示的手写页面中的内容发送给其他设备。
第二方面,提供了一种投屏装置,所述投屏装置具有实现上述第一方面中投屏方法行为的功能。所述投屏装置包括至少一个模块,所述至少一个模块用于实现上述第一方面所提供的投屏方法。
第三方面,提供了一种投屏装置,所述投屏装置的结构中包括显示器、处理器和存储器,所述存储器用于存储支持投屏装置执行上述第一方面所提供的投屏方法的程序,以及存储用于实现上述第一方面所述的投屏方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述投屏装置还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的投屏方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的投屏方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种终端的结构示意图;
图2是本申请实施例提供的一种终端的软件系统的框图;
图3是本申请实施例提供的一种投屏场景的示意图;
图4是本申请实施例提供的一种投屏系统的示意图;
图5是本申请实施例提供的一种投屏方法的流程图;
图6是本申请实施例提供的一种手机界面的示意图;
图7是本申请实施例提供的一种投屏过程的界面示意图;
图8是本申请实施例提供的一种投屏过程的流程图;
图9是本申请实施例提供的一种通信系统的示意图;
图10是本申请实施例提供的一种笔记编辑界面的示意图;
图11是本申请实施例提供的一种指示模式的操作过程的示意图;
图12是本申请实施例提供的一种指示模式和绘画模式的操作过程的示意图;
图13是本申请实施例提供的一种投屏装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在对本申请实施例提供的投屏方法进行详细地解释说明之前,先对本申请实施例涉及的终端予以说明。
图1是本申请实施例提供的一种终端的结构示意图。参见图1,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口,如可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C接口。处理器110可以通过不同的I2C接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。比如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C接口通信,实现终端100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S接口。处理器110可以通过I2S接口与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
UART接口是一种通用串行数据总线,用于异步通信。UART接口可以为双向通信总线。UART接口可以将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。比如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现终端100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现终端100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端100充电,也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。USB接口130还可以用于连接其他终端,比如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端100的结构限定。在本申请另一些实施例中,终端100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。比如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端100可以包括1个或N个显示屏194,N为大于1的整数。
终端100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。比如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端100可以包括1个或N个摄像头193,N为大于1的整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。比如,当终端100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样,终端100可以播放或录制多种编码格式的视频,比如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,比如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用,比如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
终端100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。终端100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当终端100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。终端100可以设置至少一个麦克风170C。在另一些实施例中,终端100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动终端平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,终端100根据压力传感器180A检测触摸操作强度。终端100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。比如:当有触摸操作强度小于压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定终端100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定终端100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测终端100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,终端100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。终端100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当终端100是翻盖机时,终端100可以根据磁传感器180D检测翻盖的开合。终端100根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别终端100的姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中,在拍摄场景中,终端100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括发光二极管(LED)和光检测器,比如光电二极管。发光二极管可以是红外发光二极管。终端100通过发光二极管向外发射红外光。终端100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,终端100可以确定终端100附近有物体。当检测到不充分的反射光时,可以确定终端100附近没有物体。终端100可以利用接近光传感器180G检测用户手持终端100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测终端100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,终端100利用温度传感器180J检测的温度,执行温度处理策略。比如,当温度传感器180J上报的温度超过阈值,终端100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端100对电池142加热,以避免低温导致终端100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。终端100可以接收按键输入,产生与终端100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。比如,作用于不同应用(比如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,也可对应不同的振动反馈效果。不同的应用场景(比如:时间提醒,接收信息,闹钟,游戏等),也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端100的接触和分离。终端100可以支持1个或N个SIM卡接口,N为大于1的整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端100中,不能和终端100分离。
接下来对终端100的软件系统予以说明。
终端100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,对终端100的软件系统进行示例性说明。
图2是本申请实施例提供的一种终端100的软件系统的框图。参见图2,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统层,以及内核层。
应用程序层可以包括一系列应用程序包。如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问,这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,比如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序的显示界面,显示界面可以由一个或多个视图组成,比如,包括显示短信通知图标的视图,包括显示文字的视图,以及包括显示图片的视图。电话管理器用于提供终端100的通信功能,比如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知,比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知,比如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块,比如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),2D图形引擎(比如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明终端100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别原始输入事件所对应的控件。以该触摸操作是单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用程序框架层的接口,启动相机应用,再调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
接下来对本申请实施例提供的投屏方法的应用场景予以说明。
随着终端技术的发展,投屏技术得到了广泛的应用。投屏是指将一个设备的屏幕内容投射到另一个设备进行显示。例如,将手机屏幕显示的文档投射到电视进行显示,这样用户就可以在具有更大尺寸屏幕的电视上浏览手机中的文档。
下面对一些可能的投屏场景予以说明。
图3是本申请实施例提供的一种投屏场景的示意图。参见图3,用户可以将手机的屏幕内容投射到电视、电视盒子或平板电脑进行显示。这种情况下,可以将手机称为source端(发送端),将电视、电视盒子或平板电脑称为sink端(接收端)。
在一些投屏场景下,用户可以通过手机中的多屏互动功能(即无线投屏功能)将手机的屏幕内容投射到电视或电视盒子进行显示,以享受大屏高清体验。这种情况下,用户还可以在手机中切换手机模式或电脑模式,其中,电脑模式可以实现个人计算机(personalcomputer,PC)化办公。
在另一些投屏场景下,用户可以通过手机中的wifi miracast、数字生活网络联盟(DIGITAL LIVING NETWORK ALLIANCE,DLNA)、Airsharing等无线投屏技术将手机的屏幕内容投射到电视或平板电脑进行显示。这种情况下,用户可以在电视或平板电脑上通过操作键盘、鼠标,或通过触屏操作,来完成对手机的屏幕内容的操作。
本申请实施例提供的投屏方法应用于投屏系统,下面对投屏系统予以说明。
图4是本申请实施例提供的一种投屏系统的示意图。参见图4,该投屏系统可以包括第一设备401和第二设备402。第一设备401与第二设备402可以通过有线连接或无线连接进行通信。
第一设备401和第二设备402均可以为终端,该终端可以为上文图1-图2实施例所述的终端。比如,该终端可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、电视等,本申请实施例对此不作限定。
第一设备401可以为投屏设备,第二设备402可以为被投屏设备。第一设备401可以将本端的屏幕内容投屏至第二设备402,由第二设备402进行显示。
第一设备401和第二设备402可以为不同类型的终端,也可以为相同类型的终端,本申请实施例对此不作限定。比如,两者均可以为手机或平板电脑等终端。
在一种可能的实现方式中,第一设备401的屏幕尺寸小于第二设备402的屏幕尺寸,以将小屏的屏幕内容投屏至大屏上,提高用户的观看体验。比如,第一设备401为手机,第二设备402为平板电脑或电视。或者,第一设备401为平板电脑,第二设备402为电视。当然,第一设备401的屏幕尺寸也可以大于第二设备402的屏幕尺寸。比如,第一设备401为平板电脑,第二设备402为手机。
示例地,若第一设备401的屏幕尺寸小于第二设备402的屏幕尺寸,则可以将第一设备401称为小屏设备,将第二设备402称为大屏设备。或者,可以将屏幕尺寸小于或等于预设屏幕尺寸的设备称为小屏设备,将屏幕尺寸大于预设屏幕尺寸的设备称为大屏设备。其中,预设屏幕尺寸可以预先设置。或者,可以将第一类设备称为小屏设备,将第二类设备称为大屏设备。比如,第一类设备可以包括智能手表、手机或平板电脑等,第二类设备可以包括笔记本电脑、台式电脑、电视等。
本申请实施例提供的投屏方法可以应用于小屏设备投屏至大屏设备的场景中,也可以应用于大屏设备投屏至小屏设备的场景中,当然,也可以应用于小屏设备投屏至小屏设备,或者大屏设备投屏至大屏设备的场景中,本申请实施例对此不作限定。
值得注意的是,对于一些头脑风暴的会议场景,需要使用白板随时记录想法,并方便多人分享。本申请实施例提供的投屏方法可以应用于会议等需要投屏且需要分享想法的场景下。这种情况下,本申请实施例提供的投屏方法可以自动显示本端的手写页面并投屏至对端,此时本端的手写页面相当于一个电子白板,可以进行手写编辑并分享至对端,如此,可以在投屏场景下自动提供手写功能,实现电子白板式的投屏,从而方便用户随时分享自己的想法给他人。
下面对本申请实施例提供的投屏方法进行详细地解释说明。
图5是本申请实施例提供的一种投屏方法的流程图。参见图5,该方法包括如下步骤。
步骤501:第一设备在检测到投屏操作时,显示投屏模式选项,该投屏模式选项包括:电子白板投屏模式。
该投屏操作用于指示可将第一设备的屏幕内容投屏至第二设备。该投屏操作可以由用户触发,用户可以通过点击操作、滑动操作、语音操作、手势操作、体感操作等操作触发,本申请实施例对此不作限定。
例如,第一设备为手机,在如图6中的(a)图所示的手机的主界面601中显示了多款应用(application,App),包括音乐、相机、视频和设置等应用。应理解,主界面601还可以包括其他更多的应用,本申请实施例对此不作限定。用户在主界面601上执行下滑操作,手机将显示如图6中的(b)图所示的下滑通知界面。下滑通知界面包括快捷菜单602,快捷菜单602显示有多种快捷图标,包括无线局域网(wireless local area networks,WLAN)、蓝牙、移动数据、无线投屏等功能的快捷图标。应理解,快捷菜单602还可以包括其他更多的快捷图标,本申请实施例对此不作限定。用户点击快捷菜单602中无线投屏功能的快捷图标就会触发投屏操作,手机可检测到该投屏操作。
又例如,第一设备为手机,在如图7中的(a)图所示手机的主界面701中显示了多款应用,包括音乐、相机、视频和设置等。应理解,主界面701还可以包括其他更多的应用,本申请实施例对此不作限定。主界面701还显示有投屏按钮702。用户点击投屏按钮702会触发投屏操作,手机可检测到该投屏操作。
投屏模式选项是用于指示投屏模式的选项,该投屏模式是指第一设备在投屏时所采用的方式。本申请实施例中,所显示的投屏模式选项中包括增设的电子白板投屏模式。电子白板投屏模式用于实现电子白板式的投屏,即用于指示投屏目标应用中的手写页面。目标应用是具有手写页面的应用。比如,目标应用可以是备忘录应用,这种情况下,该手写页面可以是该备忘录应用中的笔记编辑页面。当然,目标应用也可以是其他具有手写页面的应用,如可以是便笺应用等,本申请实施例对此不作限定。
例如,用户在如图7中的(a)图所示的主界面701中点击投屏按钮702,触发投屏操作。手机检测到该投屏操作时,显示如图7中的(b)图所示的投屏控制界面703,投屏控制界面703显示有多个选项,包括投屏方式、投屏模式、电脑模式等选项,投屏模式选项中包括电子白板投屏模式。应理解,投屏控制界面703还可以包括其他更多的选项,本申请实施例对此不作限定。
步骤502:第一设备接收对电子白板投屏模式的选择。
对电子白板投屏模式的选择可以是由用户触发的。用户在第一设备中选择电子白板投屏模式,以指示第一设备以电子白板投屏模式进行投屏,即将第一设备中的目标应用中的手写页面投屏至第二设备。
例如,用户点击如图7中的(b)图所示的投屏控制界面703中的电子白板投屏模式,手机就检测到对电子白板投屏模式的选择,后续即可将第一设备中的目标应用中的手写页面投屏至第二设备。
步骤503:第一设备响应于所选择的电子白板投屏模式,显示目标应用中的手写页面,并将所显示的手写页面投屏至第二设备。
由于该电子白板投屏模式用于实现电子白板式的投屏,所以第一设备接收到对电子白板投屏模式的选择后,可以直接调起目标应用的手写模式,以自动显示目标应用中的手写页面,并将该手写页面投屏至第二设备。
由于第一设备显示该手写页面后,还需要将该手写页面投屏至第二设备,所以第一设备在显示该手写页面时,可以参考第二设备的显示参数来显示。具体地,第一设备可以获取第二设备的显示参数,根据第二设备的显示参数确定页面显示模式,显示匹配该页面显示模式的该手写页面。该页面显示模式包括横屏显示模式或竖屏显示模式。
第二设备的显示参数是第二设备用于显示第一设备的屏幕内容的参数,如可以包括分辨率等。一种可能的情况中,第二设备仅显示第一设备的屏幕内容,此时第二设备是以全屏显示第一设备的屏幕内容,这种情况下,第二设备的显示参数是第二设备的屏幕参数,如可以包括屏幕分辨率等。另一种可能的情况中,第二设备不仅显示第一设备的屏幕内容,还显示其他设备的屏幕内容,此时第二设备是以多窗口显示多个设备的屏幕内容,每个窗口对应显示一个设备的屏幕内容,这种情况下,第二设备的显示参数是第二设备中用以显示第一设备的屏幕内容的一个窗口的参数,如可以包括窗口分辨率等。
第一设备获取第二设备的显示参数后,可以将第二设备的显示参数与第一设备的横屏显示参数和竖屏显示参数进行比较。若第二设备的显示参数与第一设备的横屏显示参数更接近,则第一设备确定页面显示模式是横屏显示模式;若第二设备的显示参数与第一设备的竖屏显示参数更接近,则第一设备确定页面显示模式是竖屏显示模式。若该页面显示模式是横屏显示模式,则第一设备将该手写页面进行横屏显示;若该页面显示模式是竖屏显示模式,则第一设备将该手写页面进行竖屏显示。
如此,第一设备所显示的该手写页面的页面显示模式与第二设备的显示参数相匹配,从而在第一设备将该手写页面投屏至第二设备后,第二设备可以完整且准确地显示该手写页面,保证了第二设备的屏幕内容与第一设备的屏幕内容的一致性。
第一设备将该手写页面投屏至第二设备的操作与相关技术中一个设备将自身的屏幕内容投屏至另一个设备的操作类似,本申请实施例对此不进行详细阐述。例如,可以通过屏幕镜像方式进行投屏。具体来说,第一设备可以对自身的屏幕内容进行录屏,将录屏数据发送给第二设备,第二设备可以根据该录屏数据在自身的屏幕显示相应的内容,以使第一设备的屏幕内容与第二设备的屏幕内容保持同步。当然,也可以通过其他方式进行投屏,本申请实施例对此不作限定。
这种情况下,用户在第一设备所显示的该手写页面中编辑的所有内容都会被同步到第二设备。具体地,用户可以通过键盘、鼠标、或触屏操作在第一设备所显示的该手写页面中触发书写操作。第一设备在该手写页面检测到该书写操作后,可以根据该书写操作在该手写页面中编辑内容,如可以在该手写页面中输入文字、删除文字等。并且,第一设备所显示的该手写页面中的内容会被投屏至第二设备进行显示,从而方便用户与他人分享自己编辑的内容。
本申请实施例中,第一设备在检测到投屏操作时,显示包括有电子白板投屏模式的投屏模式选项,在接收到对所显示的电子白板投屏模式的选择后,可以直接调起目标应用的手写模式,以自动显示目标应用中的手写页面,并将该手写页面投屏至第二设备。用户可以在第一设备显示的该手写页面中进行书写操作,以在该手写页面中编辑内容,该手写页面中的内容会被投屏至第二设备进行显示,从而方便用户与他人分享自己编辑的内容。这种情况下,第一设备显示的该手写页面相当于一个电子白板,可以进行手写编辑并分享至第二设备。如此,本申请实施例在投屏场景下自动提供了手写功能,从而达到了电子白板式的投屏效果,方便用户随时分享自己的想法给他人,提高了投屏灵活性。
例如,第一设备为手机,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面。第二设备为电脑。如图7中的(b)图所示,用户点击手机显示的投屏控制界面703中的电子白板投屏模式后,手机接收到对电子白板投屏模式的选择,直接调起备忘录应用的手写模式,以自动显示备忘录应用中的笔记编辑页面。并且,由于电脑的显示参数与手机的横屏显示参数更接近,所以手机可以横屏显示如图7中的(c)图所示的笔记编辑页面704。同时,手机将所显示的笔记编辑页面704投屏至电脑,此时电脑会同步显示与手机的屏幕内容相同的屏幕内容,即电脑会同步显示如图7中的(d)图所示的屏幕内容705。这种情况下,用户在图7中的(c)图所示的手机的笔记编辑页面704输入文字后,该文字也会同步显示在图7中的(d)图所示的电脑的屏幕内容705中。
为了便于理解,下面结合图8来对上述投屏过程进行举例说明。参见图8,该投屏过程可以包括如下步骤(1)-步骤(3)。
(1)用户在第一设备中触发电子白板投屏。
用户可以在第一设备中触发投屏操作,以在第一设备显示包括有电子白板投屏模式的投屏模式选项,然后用户对所显示的电子白板投屏模式进行选择,以指示第一设备进行电子白板投屏。
(2)第一设备调起备忘录应用的手写模式。
用户在第一设备中触发电子白板投屏后,第一设备直接调起备忘录应用的手写模式。
若第一设备未成功调起备忘录应用的手写模式,则第一设备重新尝试调起备忘录应用的手写模式。若第一设备成功调起备忘录应用的手写模式,则继续执行如下步骤(3)。
第一设备成功调起备忘录应用的手写模式后,第一设备会显示备忘录应用中的笔记编辑页面,该笔记编辑页面可供用户进行手写编辑,即用户可以在该笔记编辑页面中编辑内容。
(3)第一设备调起投屏接口。
该投屏接口是用于进行投屏的接口,即可用于将第一设备的屏幕内容投屏至第二设备。由于第一设备显示的是该笔记编辑页面,所以该投屏接口此时用于将第一设备显示的该笔记编辑页面投屏至第二设备。
若第一设备未成功调起投屏接口,则第一设备重新尝试调起该投屏接口。
若第一设备成功调起该投屏接口,则第一设备可成功将第一设备显示的该笔记编辑页面投屏至第二设备。这种情况下,第一设备显示的该笔记编辑页面相当于一个电子白板,可以进行手写编辑并分享至第二设备,从而方便用户随时分享自己的想法给他人,提高了投屏灵活性。
在一些实施例中,第一设备和第二设备均具有应用层、传输层和网络层。参见图9所示的第一设备和第二设备的通信系统,第一设备的应用层包括备忘录应用,第一设备的传输层包括数据控制模块和数据传输模块,第一设备的网络层包括wifi模块;第二设备的应用层包括多屏控制模块,第二设备的传输层包括数据传输模块和数据解密模块,第二设备的网络层包括wifi模块。下面结合图9所示的通信系统来对上述图8所示的投屏过程进行说明,具体可以包括如下步骤(1)-步骤(6)。
(1)第一设备与第二设备建立连接。
第一设备和第二设备通过各自的wifi模块建立socket连接。
(2)第一设备在用户触发电子白板投屏时直接调起备忘录应用的手写模式,以显示备忘录应用中的笔记编辑页面。
(3)第一设备的数据控制模块获取第一设备的屏幕数据(即Display数据),对该屏幕数据进行加密,通过第一设备的数据传输模块将加密后的屏幕数据传输至第二设备。
可选地,第一设备的数据传输模块可以基于实时传输协议(real-time transportprotocol,RTP)或快速生成树协议(rapid spanning tree protocol,RSTP)等传输协议将加密后的屏幕数据传输至第二设备。
示例地,第一设备的数据传输模块可以将加密后的屏幕数据传输至第一设备的wifi模块,第一设备的wifi模块可以基于H.265或H.264等编码协议对加密后的屏幕数据进行编码,然后基于RTP或RTSP等传输协议对编码数据进行打包封装,之后,将数据包通过wifi技术传输至第二设备。
(4)第二设备的wifi模块接收到该数据包之后,将该数据包传输给第二设备的数据传输模块。
(5)第二设备的数据传输模块对该数据包进行解码,然后通过第二设备的数据解密模块对解码数据进行解密,得到屏幕数据并传输至第二设备的多屏控制模块。
(6)第二设备的多屏控制模块根据该屏幕数据显示对应的屏幕内容,第二设备的屏幕内容与第一设备的屏幕内容一致,即都为备忘录应用中的笔记编辑页面。
值得注意的是,本申请实施例中,用户可以在第一设备显示的手写页面中进行手写编辑,且该手写页面中的内容会被同步至第二设备,使得第二设备的屏幕内容与第一设备的屏幕内容保持一致。进一步地,还可以支持用户在第二设备实现对第一设备的屏幕内容的手写编辑。也就是说,本申请实施例可以支持第一设备和第二设备之间的双向手写控制。具体来讲,第一设备可以接收对该手写页面的控制操作,该控制操作可以是在第一设备检测到的,或者,该控制操作可以是根据在第二设备检测到的操作生成的。第一设备可以根据该控制操作在该手写页面执行相应的操作行为。下面对此进行说明。
第一设备可以具有两种模式,一种是指示模式,另一种是绘画模式。在指示模式下,第一设备的屏幕可以显示光标,用户可以控制该光标在第一设备的屏幕中移动,以实现对第一设备中的某些屏幕内容的指示等。在绘画模式下,用户可以在第一设备的屏幕中绘出图案(包括但不限于文字、符号、图画等),以实现对第一设备中的某些屏幕内容的标注等。
第一设备将所显示的该手写页面投屏至第二设备后,用户可以在第一设备或第二设备触发第一设备进入指示模式或绘画模式。
用户可以在第一设备执行操作来在第一设备触发指示模式设置指令,第一设备接收到该指示模式设置指令后进入指示模式,在该手写页面中显示光标,用户可以控制光标在该手写页面中移动。或者,用户可以在第二设备执行操作来在第二设备触发输入事件(即Input事件);第二设备接收到该输入事件后,采集该输入事件中的坐标信息,然后生成携带有该坐标信息的模拟输入事件并发送给第一设备;第一设备接收到该模拟输入事件后,根据该模拟输入事件中的坐标信息确定检测到指示模式设置指令,进入指示模式,在该手写页面中显示光标,用户可以控制光标在该手写页面中移动。
用户可以在第一设备执行操作来在第一设备触发绘画模式设置指令,第一设备接收到该绘画模式设置指令后进入绘画模式,此时用户可以在该手写页面中绘出图案。或者,用户可以在第二设备执行操作来在第二设备触发输入事件;第二设备接收到该输入事件后,采集该输入事件中的坐标信息,然后生成携带有该坐标信息的模拟输入事件并发送给第一设备;第一设备接收到该模拟输入事件后,根据该模拟输入事件中的坐标信息确定检测到绘画模式设置指令,进入绘画模式,此时用户可以在该手写页面中绘出图案。
在一种可能的方式中,该手写页面中可以显示有第一按钮和第二按钮,第一按钮用于触发进入指示模式,第二按钮用于触发进入绘画模式。由于第一设备将所显示的该手写页面投屏至第二设备后,第一设备和第二设备均显示有该手写页面,所以用户可在第一设备或第二设备,通过键盘、鼠标、或触屏操作触发第一按钮来控制第一设备进入指示模式,或通过键盘、鼠标、或触屏操作触发第二按钮来控制第一设备进入绘画模式。
例如,用户可以在第一设备触发第一按钮来控制第一设备进入指示模式,或在第一设备触发第二按钮来控制第一设备进入绘画模式。下面以第一设备为手机,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。手机显示如图10中的(a)图所示的笔记编辑页面1001,笔记编辑页面1001中显示有第一按钮1002和第二按钮1003。
用户可以在手机的屏幕上点击第一按钮1002来触发指示模式设置指令。手机接收到该指示模式设置指令后,进入指示模式,显示如图10中的(b)图所示的显示有光标1004的笔记编辑页面1001,用户可以控制光标1004在笔记编辑页面1001中移动。
或者,用户可以在手机的屏幕上点击第二按钮1003来触发绘画模式设置指令。手机接收到该绘画模式设置指令后,进入绘画模式,此时用户可以在笔记编辑页面1001中绘出图案。
又例如,用户可以在第二设备触发第一按钮来控制第一设备进入指示模式,或在第二设备触发第二按钮来控制第一设备进入绘画模式。下面以第一设备为手机,第二设备为平板电脑,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面,笔记编辑页面显示有第一按钮和第二按钮为例进行说明。手机将所显示的笔记编辑页面投屏至平板电脑后,平板电脑的屏幕内容与手机的屏幕内容(即笔记编辑页面)相同,因而平板电脑的屏幕内容包含有第一按钮和第二按钮。
用户可以在平板电脑的屏幕上点击第一按钮触发输入事件,该输入事件为点击事件。平板电脑接收到该点击事件后,采集该点击事件中的坐标信息,然后生成携带有该坐标信息的模拟点击事件并发送给手机。手机接收到该模拟点击事件后,根据该模拟点击事件中的坐标信息确定检测到针对所显示的笔记编辑页面中的第一按钮的点击操作,则触发指示模式设置指令,进入指示模式,在笔记编辑页面中显示光标,用户可以控制光标在笔记编辑页面中移动。
或者,用户可以在平板电脑的屏幕上点击第二按钮触发输入事件,该输入事件为点击事件。平板电脑接收到该点击事件后,采集该点击事件中的坐标信息,然后生成携带有该坐标信息的模拟点击事件并发送给手机。手机接收到该模拟点击事件后,根据该模拟点击事件中的坐标信息确定检测到针对所显示的笔记编辑页面中的第二按钮的点击操作,则触发绘画模式设置指令,进入绘画模式,此时用户可以在笔记编辑页面中绘出图案。
在另一种可能的方式中,用户可以通过手势操作、语音操作、体感操作等操作触发进入指示模式或绘画模式。由于第一设备将所显示的该手写页面投屏至第二设备后,第一设备和第二设备均显示有该手写页面,所以用户可在第一设备通过手势操作、语音操作、体感操作等操作控制第一设备进入指示模式或绘画模式,或者,用户可在第二设备通过手势操作控制第一设备进入指示模式或绘画模式。
例如,用户可以在第一设备通过手势操作来控制第一设备进入指示模式或绘画模式。下面以第一设备为手机,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。
手机显示笔记编辑页面后,用户可以在手机的屏幕上进行双击来触发指示模式设置指令。手机接收到该指示模式设置指令后,进入指示模式,在笔记编辑页面中显示光标,用户可以控制光标在笔记编辑页面中移动。
或者,手机显示笔记编辑页面后,用户可以在手机的屏幕上进行长按来触发绘画模式设置指令。手机接收到该绘画模式设置指令后,进入绘画模式,此时用户可以在笔记编辑页面中绘出图案。
又例如,用户可以在第二设备通过手势操作来控制第一设备进入指示模式或绘画模式。下面以第一设备为手机,第二设备为平板电脑,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。手机将所显示的笔记编辑页面投屏至平板电脑后,平板电脑的屏幕内容与手机的屏幕内容(即笔记编辑页面)相同。
用户可以在平板电脑的屏幕上双击来触发输入事件,该输入事件为双击事件。平板电脑接收到该双击事件后,采集该双击事件中的坐标信息,然后生成携带有该坐标信息的模拟双击事件并发送给手机。手机接收到该模拟双击事件后,根据该模拟双击事件中的坐标信息确定检测到针对所显示的笔记编辑页面的双击操作,则触发指示模式设置指令,进入指示模式,在笔记编辑页面中显示光标,用户可以控制光标在笔记编辑页面中移动。
或者,用户可以在平板电脑的屏幕上长按来触发输入事件,该输入事件为长按事件。平板电脑接收到该长按事件后,采集该长按事件中的坐标信息,然后生成携带有该坐标信息的模拟长按事件并发送给手机。手机接收到该模拟长按事件后,根据该模拟长按事件中的坐标信息确定检测到针对所显示的笔记编辑页面的长按操作,则触发绘画模式设置指令,进入绘画模式,此时用户可以在笔记编辑页面中绘出图案。
进一步地,第一设备进入指示模式后,第一设备和第二设备所显示的手写页面中都会显示有光标,用户可以通过第一设备或第二设备控制光标在该手写页面中移动,以实现对某些屏幕内容的指示等。第一设备进入绘画模式后,第一设备和第二设备所显示的手写页面支持图案绘制,用户可以通过第一设备或第二设备在该手写页面中绘出图案,以实现对某些屏幕内容的标注等。
例如,第一设备进入指示模式后,用户可以在第一设备控制光标在该手写页面中移动。下面以第一设备为手机,第二设备为平板电脑,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。手机显示如图10中的(b)图所示的笔记编辑页面1001,笔记编辑页面1001中显示有光标1004。用户可以在手机上通过触屏操作来在笔记编辑页面1001中移动光标1004。由于手机将笔记编辑页面1001投屏至了平板电脑,所以手机显示的笔记编辑页面1001中的光标1004移动后,平板电脑的屏幕内容中的笔记编辑页面中的光标也会移动,以与手机显示的笔记编辑页面1001保持一致。如此,用户在手机上通过触屏操作,可以实现对手机和平板电脑的屏幕内容中的笔记编辑页面中的光标的移动。
又例如,第一设备进入指示模式后,用户可以在第二设备控制光标在该手写页面中移动。下面以第一设备为手机,第二设备为平板电脑,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。手机显示如图10中的(b)图所示的笔记编辑页面1001,笔记编辑页面1001中显示有光标1004。由于手机将笔记编辑页面1001投屏至了平板电脑,所以平板电脑的屏幕内容中的笔记编辑页面包含光标。这种情况下,用户可以在平板电脑的屏幕上在光标所在的位置处进行滑动操作来触发输入事件,该输入事件为滑动事件。平板电脑接收到该滑动事件后,采集该滑动事件中的坐标信息,然后生成携带有该坐标信息的模拟滑动事件并发送给手机。手机接收到该模拟滑动事件后,根据该模拟滑动事件中的坐标信息确定检测到针对所显示的笔记编辑页面1001中的光标1004的滑动操作,则根据该模拟滑动事件中的坐标信息确定滑动轨迹,按照该滑动轨迹将光标1004在笔记编辑页面1001中移动。手机显示的笔记编辑页面1001中的光标1004移动后,由于手机将笔记编辑页面1001投屏至平板电脑,所以平板电脑的屏幕内容中的笔记编辑页面中的光标也会移动,以与手机显示的笔记编辑页面1001保持一致。如此,用户在平板电脑上通过滑动操作,可以实现对手机和平板电脑的屏幕内容中的笔记编辑页面中的光标的移动。
例如,第一设备进入绘画模式后,用户可以通过第一设备在该手写页面中绘出图案。下面以第一设备为手机,第二设备为平板电脑,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。手机显示笔记编辑页面后,用户可以在手机上通过触屏操作来在笔记编辑页面中绘出图案。由于手机将笔记编辑页面投屏至了平板电脑,所以手机显示的笔记编辑页面中出现该图案后,平板电脑的屏幕内容中的笔记编辑页面中也会出现该图案,以与手机显示的笔记编辑页面保持一致。如此,用户在手机上通过触屏操作,可以实现在手机和平板电脑的屏幕内容中的笔记编辑页面绘出图案。
又例如,第一设备进入绘画模式后,用户可以通过第二设备在该手写页面中绘出图案。下面以第一设备为手机,第二设备为平板电脑,目标应用为备忘录应用,备忘录应用中的手写页面为笔记编辑页面为例进行说明。手机显示笔记编辑页面后,由于手机将笔记编辑页面投屏至了平板电脑,所以平板电脑的屏幕内容包含笔记编辑页面。这种情况下,用户可以在平板电脑的屏幕上进行滑动操作来触发输入事件,该输入事件为滑动事件。平板电脑接收到该滑动事件后,采集该滑动事件中的坐标信息,然后生成携带有该坐标信息的模拟滑动事件并发送给手机。手机接收到该模拟滑动事件后,根据该模拟滑动事件中的坐标信息确定检测到针对所显示的笔记编辑页面的滑动操作,则根据该模拟滑动事件中的坐标信息确定滑动轨迹,按照该滑动轨迹在笔记编辑页面中绘出对应的图案。由于手机将笔记编辑页面投屏至了平板电脑,所以手机显示的笔记编辑页面中出现该图案后,平板电脑的屏幕内容中的笔记编辑页面中也会出现该图案,以与手机显示的笔记编辑页面保持一致。如此,用户在平板电脑上通过滑动操作,可以实现在手机和平板电脑的屏幕内容中的笔记编辑页面绘出图案。
为了便于理解,下面结合图11来对上述指示模式的操作过程进行举例说明。参见图11,该指示模式的操作过程可以包括如下步骤(1)-步骤(4)。
(1)用户在第一设备或第二设备的屏幕内容中的手写页面中触发第一按钮。
(2)若用户是在第二设备触发的第一按钮,则第二设备接收到针对第一按钮的输入事件,然后指示第一设备进入指示模式,在手写页面中显示光标。
例如,用户可以在第二设备的屏幕上点击第一按钮触发输入事件,该输入事件为点击事件。第二设备接收到该点击事件后,采集该点击事件中的坐标信息,然后生成携带有该坐标信息的模拟点击事件并发送给第一设备。第一设备接收到该模拟点击事件后,根据该模拟点击事件中的坐标信息确定检测到针对所显示的手写页面中的第一按钮的点击操作,则触发指示模式设置指令,进入指示模式,在手写页面中显示光标。这种情况下,由于第一设备将手写页面投屏至第二设备,所以第二设备的屏幕内容中的手写页面中也会显示光标。
(3)若用户是在第一设备触发的第一按钮,则第一设备进入指示模式,在手写页面中显示光标。
例如,用户可以在第一设备的屏幕上点击第一按钮来触发指示模式设置指令。第一设备接收到该指示模式设置指令后,进入指示模式,在手写页面中显示光标。这种情况下,由于第一设备将手写页面投屏至第二设备,所以第二设备的屏幕内容中的手写页面中也会显示光标。
(4)在第一设备和第二设备的屏幕内容中的手写页面中显示有光标后,用户在第一设备或第二设备上通过触控操作移动光标。
例如,用户可以在第一设备上通过触屏操作来在手写页面中移动光标。或者,用户可以在第二设备的屏幕上在光标所在的位置处进行滑动操作来触发输入事件,该输入事件为滑动事件;第二设备接收到该滑动事件后,采集该滑动事件中的坐标信息,然后生成携带有该坐标信息的模拟滑动事件并发送给第一设备;第一设备接收到该模拟滑动事件后,根据该模拟滑动事件中的坐标信息确定检测到针对所显示的手写页面中的光标的滑动操作,则根据该模拟滑动事件中的坐标信息确定滑动轨迹,按照该滑动轨迹将光标在手写页面中移动。由于第一设备将手写页面投屏至了第二设备,所以第一设备显示的手写页面中的光标移动后,第二设备的屏幕内容中的手写页面中的光标也会移动,以与第一设备显示的手写页面保持一致。
在一些实施例中,第一设备和第二设备均具有应用层、传输层和网络层。其中,传输层和网络层可以统称为应用程序框架(Framework,FWK)层。这种情况下,结合图12来对上述指示模式和绘画模式的操作过程进行举例说明。参见图12,该指示模式和该绘画模式的操作过程可以包括如下步骤(1)-步骤(3)。
(1)用户在第二设备触发输入事件,第二设备的应用层检测到该输入事件,获取该输入事件中的坐标信息,将该坐标信息传输到第二设备的FWK层。
(2)第二设备的FWK层生成携带有该坐标信息的模拟输入事件,将该模拟输入事件传输至第一设备。
(3)第一设备的应用层监听到该模拟输入事件,根据该模拟输入事件中的坐标信息执行相应的操作行为,如可以实现上述的诸如进入指示模式、进入绘画模式、在指示模式下移动光标、在绘画模式下绘出图案等操作行为,继而显示相应的屏幕内容,此屏幕内容也会同步显示至第二设备。
如此,用户可以在第二设备通过操作键盘、鼠标,或通过触屏操作,来完成对第一设备所显示的手写页面的操作,提高了操作的灵活性和便捷性。
值得说明的是,本申请实施例中,在投屏过程中,第一设备的手写页面中的内容会自动保存,也即,该手写页面是随写随存的。如此,在结束投屏后,第一设备所显示的手写页面中的内容会自动保存为文件。比如,在该手写页面是笔记编辑页面的情况下,在结束投屏后,第一设备所显示的笔记编辑页面中的内容会自动以电子笔记的形式进行保存。如此,便于用户在投屏结束后直接查看所保存的文件,从而获知投屏过程中编辑且共享的内容,提高了用户体验。当然,在结束投屏后,第一设备也可以将所显示的手写页面中的内容发送给其他设备(如第二设备、或其他管理设备等),以供其他用户获知在投屏过程中编辑且共享的内容,提高内容分享的灵活性,提高用户体验。
具体地,第一设备可以在检测到结束投屏操作时,结束对第二设备的投屏,以及将所显示的手写页面中的内容保存为文件,和/或,将所显示的手写页面中的内容发送给其他设备。结束投屏操作用于指示结束对第二设备的投屏。结束投屏操作可以由用户触发,用户可以通过点击操作、滑动操作、语音操作、手势操作、体感操作等操作进行触发,本申请实施例对此不作限定。
图13是本申请实施例提供的一种投屏装置的结构示意图,该装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部,该计算机设备可以为上文图1-图2实施例所示的终端。参见图13,该装置包括:第一显示模块1301、接收模块1302和投屏模块1303。
第一显示模块1301,用于在检测到投屏操作时,显示投屏模式选项,该投屏模式选项包括电子白板投屏模式,电子白板投屏模式用于指示投屏目标应用中的手写页面;
接收模块1302,用于接收对电子白板投屏模式的选择;
投屏模块1303,用于响应于所选择的电子白板投屏模式,显示目标应用中的手写页面,并将所显示的手写页面投屏至第二设备;在手写页面检测到书写操作时,根据书写操作在手写页面中编辑内容,且将手写页面中的内容投屏至第二设备。
可选地,目标应用为备忘录应用,手写页面为备忘录应用中的笔记编辑页面。
可选地,第一设备的屏幕尺寸小于第二设备的屏幕尺寸。
可选地,投屏模块1303用于:
获取第二设备的显示参数;
根据第二设备的显示参数确定页面显示模式,页面显示模式包括横屏显示模式或竖屏显示模式;
显示匹配页面显示模式的手写页面。
可选地,该装置还包括:
接收模块1302,还用于接收对手写页面的控制操作,控制操作是在第一设备检测到的,或者,控制操作是根据在第二设备检测到的操作生成的;
执行模块,用于根据控制操作在手写页面执行相应的操作行为。
可选地,控制操作是第二设备生成的模拟输入事件;
接收模块1302,还用于接收第二设备发送的模拟输入事件,模拟输入事件是第二设备根据在第二设备触发的输入事件生成的,模拟输入事件携带有输入事件中的坐标信息;
执行模块,用于根据模拟输入事件中的坐标信息执行相应的操作行为,操作行为包括进入指示模式、进入绘画模式、在指示模式下移动光标、或在绘画模式下绘出图案,其中,指示模式下手写页面中显示有光标,绘画模式下手写页面中能够绘制图案。
可选地,该装置还包括:
结束投屏模块,用于在检测到结束投屏操作时,结束对第二设备的投屏;
保存模块,用于将手写页面中的内容保存为文件,和/或,发送模块,用于将手写页面中的内容发送给其他设备。
在本申请实施例中,在检测到投屏操作时,显示包括有电子白板投屏模式的投屏模式选项,在接收到对所显示的电子白板投屏模式的选择后,直接调起目标应用的手写模式,以自动显示目标应用中的手写页面,并将该手写页面投屏至第二设备。用户可以在所显示的该手写页面中进行书写操作,以在该手写页面中编辑内容,该手写页面中的内容会被投屏至第二设备进行显示,从而方便用户与他人分享自己编辑的内容。这种情况下,所显示的该手写页面相当于一个电子白板,可以进行手写编辑并分享至第二设备。如此,在投屏场景下自动提供了手写功能,从而达到了电子白板式的投屏效果,方便用户随时分享自己的想法给他人,提高了投屏灵活性。
需要说明的是:上述实施例提供的投屏装置在投屏时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
上述实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请实施例的保护范围。
上述实施例提供的投屏装置与投屏方法实施例属于同一构思,上述实施例中单元、模块的具体工作过程及带来的技术效果,可参见方法实施例部分,此处不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(比如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种投屏方法,其特征在于,应用于第一设备,所述方法包括:
在检测到投屏操作时,显示投屏模式选项,所述投屏模式选项包括:电子白板投屏模式,所述电子白板投屏模式用于指示投屏目标应用中的手写页面;
接收对所述电子白板投屏模式的选择;
响应于所选择的所述电子白板投屏模式,显示所述目标应用中的所述手写页面,并将所显示的所述手写页面投屏至第二设备;
在所述手写页面检测到书写操作时,根据所述书写操作在所述手写页面中编辑内容,且将所述手写页面中的内容投屏至所述第二设备。
2.如权利要求1所述的方法,其特征在于,所述目标应用为备忘录应用,所述手写页面为所述备忘录应用中的笔记编辑页面。
3.如权利要求1所述的方法,其特征在于,所述第一设备的屏幕尺寸小于所述第二设备的屏幕尺寸。
4.如权利要求1-3任一所述的方法,其特征在于,所述显示所述目标应用中的所述手写页面,包括:
获取所述第二设备的显示参数;
根据所述第二设备的显示参数确定页面显示模式,所述页面显示模式包括横屏显示模式或竖屏显示模式;
显示匹配所述页面显示模式的所述手写页面。
5.如权利要求1-4任一所述的方法,其特征在于,所述将所显示的所述手写页面投屏至第二设备之后,还包括:
接收对所述手写页面的控制操作,所述控制操作是在所述第一设备检测到的,或者,所述控制操作是根据在所述第二设备检测到的操作生成的;
根据所述控制操作在所述手写页面执行相应的操作行为。
6.如权利要求5所述的方法,其特征在于,所述控制操作是所述第二设备生成的模拟输入事件,所述接收对所述手写页面的控制操作,包括:
接收所述第二设备发送的模拟输入事件,所述模拟输入事件是所述第二设备根据在所述第二设备触发的输入事件生成的,所述模拟输入事件携带有所述输入事件中的坐标信息;
所述根据所述控制操作在所述手写页面执行相应的操作行为,包括:
根据所述模拟输入事件中的坐标信息执行相应的操作行为,所述操作行为包括进入指示模式、进入绘画模式、在所述指示模式下移动光标、或在所述绘画模式下绘出图案,其中,所述指示模式下所述手写页面中显示有光标,所述绘画模式下所述手写页面中能够绘制图案。
7.如权利要求1-6任一所述的方法,其特征在于,所述将所显示的所述手写页面投屏至第二设备之后,还包括:
在检测到结束投屏操作时,结束对所述第二设备的投屏;
将所述手写页面中的内容保存为文件,和/或,将所述手写页面中的内容发送给其他设备。
8.一种计算机设备,其特征在于,所述计算机设备包括显示器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-7任意一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-7任意一项所述的方法。
10.一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行如权利要求1-7任意一项所述的方法。
CN202111474159.3A 2021-09-08 2021-12-03 投屏方法、计算机设备、可读存储介质和程序产品 Pending CN115016697A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021110490651 2021-09-08
CN202111049065 2021-09-08

Publications (1)

Publication Number Publication Date
CN115016697A true CN115016697A (zh) 2022-09-06

Family

ID=83064237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111474159.3A Pending CN115016697A (zh) 2021-09-08 2021-12-03 投屏方法、计算机设备、可读存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN115016697A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661616A (zh) * 2022-12-23 2023-08-29 荣耀终端有限公司 设备操作方法、电子设备系统、设备和存储介质
WO2024065449A1 (zh) * 2022-09-29 2024-04-04 京东方科技集团股份有限公司 一种数据共享显示的方法及智能显示系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221798A (zh) * 2019-05-29 2019-09-10 华为技术有限公司 一种投屏方法、系统及相关装置
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN111813302A (zh) * 2020-06-08 2020-10-23 广州视源电子科技股份有限公司 投屏显示方法、装置、终端设备和存储介质
CN112035048A (zh) * 2020-08-14 2020-12-04 广州视源电子科技股份有限公司 触摸数据处理方法、装置、设备及存储介质
CN112711389A (zh) * 2020-12-31 2021-04-27 安徽听见科技有限公司 应用于电子白板的多终端上屏方法、装置以及设备
CN113110903A (zh) * 2021-03-24 2021-07-13 联想(北京)有限公司 一种内容显示方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221798A (zh) * 2019-05-29 2019-09-10 华为技术有限公司 一种投屏方法、系统及相关装置
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN111813302A (zh) * 2020-06-08 2020-10-23 广州视源电子科技股份有限公司 投屏显示方法、装置、终端设备和存储介质
CN112035048A (zh) * 2020-08-14 2020-12-04 广州视源电子科技股份有限公司 触摸数据处理方法、装置、设备及存储介质
CN112711389A (zh) * 2020-12-31 2021-04-27 安徽听见科技有限公司 应用于电子白板的多终端上屏方法、装置以及设备
CN113110903A (zh) * 2021-03-24 2021-07-13 联想(北京)有限公司 一种内容显示方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065449A1 (zh) * 2022-09-29 2024-04-04 京东方科技集团股份有限公司 一种数据共享显示的方法及智能显示系统
CN116661616A (zh) * 2022-12-23 2023-08-29 荣耀终端有限公司 设备操作方法、电子设备系统、设备和存储介质

Similar Documents

Publication Publication Date Title
KR102470275B1 (ko) 음성 제어 방법 및 전자 장치
WO2021013158A1 (zh) 显示方法及相关装置
CN112130742B (zh) 一种移动终端的全屏显示方法及设备
WO2021103981A1 (zh) 分屏显示的处理方法、装置及电子设备
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
WO2021000881A1 (zh) 一种分屏方法及电子设备
CN114397981A (zh) 一种应用显示方法及电子设备
WO2021036770A1 (zh) 一种分屏处理方法及终端设备
CN112148400B (zh) 锁定状态下的显示方法及装置
CN113157230A (zh) 一种数据传输的方法及相关设备
WO2022068483A1 (zh) 应用启动方法、装置和电子设备
CN113961157B (zh) 显示交互系统、显示方法及设备
WO2020238759A1 (zh) 一种界面显示方法和电子设备
WO2021078032A1 (zh) 用户界面的显示方法及电子设备
CN112130788A (zh) 一种内容分享方法及其装置
WO2021218429A1 (zh) 应用窗口的管理方法、终端设备及计算机可读存储介质
CN113746961A (zh) 显示控制方法、电子设备和计算机可读存储介质
CN115756268A (zh) 跨设备交互的方法、装置、投屏系统及终端
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
WO2021190524A1 (zh) 截屏处理的方法、图形用户接口及终端
EP4163782A1 (en) Cross-device desktop management method, first electronic device, and second electronic device
CN114201738A (zh) 解锁方法及电子设备
WO2023029916A1 (zh) 批注展示方法、装置、终端设备及可读存储介质
CN113438366A (zh) 信息通知的交互方法、电子设备和存储介质
CN113867851A (zh) 电子设备操作引导信息录制方法、获取方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination