CN115480720A - 投屏方法、存储介质及通信设备 - Google Patents
投屏方法、存储介质及通信设备 Download PDFInfo
- Publication number
- CN115480720A CN115480720A CN202110604190.8A CN202110604190A CN115480720A CN 115480720 A CN115480720 A CN 115480720A CN 202110604190 A CN202110604190 A CN 202110604190A CN 115480720 A CN115480720 A CN 115480720A
- Authority
- CN
- China
- Prior art keywords
- screen projection
- target object
- data
- state
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000004891 communication Methods 0.000 title abstract description 31
- 238000005266 casting Methods 0.000 claims abstract description 42
- 230000001960 triggered effect Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种投屏方法、存储介质及通信设备,属于通信技术领域。该方法应用于发送端,该发送端与接收端连接,该接收端用于显示该发送端的投屏数据,该方法包括:该发送端获取用户触发的针对目标对象的窗口投屏操作;该发送端向该接收端发送该目标对象的第一投屏数据,其中,该第一投屏数据包括该发送端的显示界面上显示的该目标对象的内容;该发送端检测该目标对象的状态;若该目标对象处于预设状态,则该发送端向该接收端发送第二投屏数据;其中,该第二投屏数据用于提示该目标对象处于该预设状态,该预设状态包括最小化状态或关闭状态。
Description
技术领域
本申请涉及通信领域,更具体地,涉及一种投屏方法、存储介质及通信设备。
背景技术
投屏是指将一台设备的特定画面、声音等信息通过无线传输或有线传输等数据传输方式传输到另一台设备并实时显示出来的技术。目前最常见的投屏场景是将用户电脑或手机等用户设备的特定画面或/和声音投屏到电视、显示器、智能交互平板或投屏盒子等接收端。
当发送端为支持多窗口的操作系统时,用户还可以选择已打开的其中一个应用程序的窗口,如文本编译窗口,仅将该窗口的内容投屏至接收端,以避免在将整个屏幕的内容投屏至接收端,而导致用户隐私泄露等问题。
然而,在进行窗口投屏时,发送端软件需要通过系统应用程序接口(ApplicationProgramming Interface,API)采集目标对象的窗口画面,受到大部分系统的接口限制,若正在投屏的窗口最小化时,投屏发送端软件将无法采集到该目标对象窗口画面内容。此时投屏显示设备可能显示该窗口最小化前的最后一帧画面,出现画面静止不动的情况,使得投屏不能正常进行。
发明内容
本申请实施例提供了一种投屏方法、存储介质及通信设备,可以解决画面静止不动、投屏不能正常进行的问题。所述技术方案如下:
第一方面,本申请实施例提供了一种投屏方法,该方法应用于发送端,该发送端与接收端连接,该接收端用于显示该发送端的投屏数据,包括:发送端获取用户触发的针对目标对象的窗口投屏操作;该发送端向接收端发送该目标对象的第一投屏数据,其中,该第一投屏数据包括该发送端的显示界面上显示的该目标对象的内容;该发送端检测该目标对象的状态;若该目标对象处于预设状态,则该发送端向接收端发送第二投屏数据;其中,该第二投屏数据用于提示该目标对象处于该预设状态,该预设状态包括最小化状态或关闭状态。
可选的,该方法还包括:该发送端周期性地采集该目标对象的投屏画面,其中,该第一投屏数据为该发送端根据该投屏画面生成的;以及,该发送端检测该目标对象的状态,包括:该发送端在采集该投屏画面的每个周期之前,检测该目标对象的状态。
可选的,该第二投屏数据包括预设图像的数据或预设文本的数据。
可选的,该第二投屏数据包括预设图像的数据,该发送端向接收端发送第二投屏数据,包括:该发送端读取预设图像,对该预设图像解码得到该预设图像的数据;该发送端对该预设图像的数据进行编码,得到该第二投屏数据;该发送端向接收端发送该第二投屏数据。
可选的,该发送端检测该目标对象的状态之后,该方法还包括:若该目标对象未处于该预设状态,则该发送端继续向该接收端发送该第一投屏数据。
第二方面,本申请实施例提供了一种通信装置,该投屏装置与接收端连接,该接收端用于显示该投屏装置的投屏数据,包括:获取单元,用于获取用户触发的针对目标对象的窗口投屏操作;收发单元,用于向该接收端发送该目标对象的第一投屏数据,其中,该第一投屏数据包括该投屏装置的显示界面上显示的该目标对象的内容;处理单元,用于检测该目标对象的状态;该收发单元还用于在该目标对象处于预设状态的情况下向接收端发送第二投屏数据;其中,该第二投屏数据用于提示该目标对象处于该预设状态,该预设状态包括最小化状态或关闭状态。
可选的,该处理单元还用于周期性地采集该目标对象的投屏画面,其中,该第一投屏数据为该处理单元根据该投屏画面生成的;以及,该处理单元具体用于在采集该投屏画面的每个周期之前,检测该目标对象的状态。
可选的,该第二投屏数据包括预设图像的数据或预设文本的数据。
可选的,该第二投屏数据包括预设图像的数据,该处理单元还用于读取预设图像,对该预设图像解码得到该预设图像的数据;该处理单元还用于对该预设图像的数据进行编码,得到该第二投屏数据。
可选的,该发送端检测该目标对象的状态之后,该收发单元还用于在该目标对象未处于该预设状态的情况下继续向该接收端发送该第一投屏数据。
第三方面,本申请实施例提供一种计算机存储介质,该计算机存储介质存储有多条指令,该指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,该存储器存储有计算机程序,该计算机程序适于由该处理器加载并执行上述的方法步骤。
在本申请实施例中,发送端在向接收端发送目标对象的窗口画面对应的投屏数据的过程中,检测目标对象的状态,当目标对象的状态处于预设状态(可以包括最小化状态或关闭状态)时,发送端向接收端发送预设投屏数据,以提示用户无法获取投屏数据的原因。使得投屏显示端可以将预设投屏数据显示在显示界面,能够提示用户无法获取投屏数据的原因,以便用户能够根据提示恢复投屏。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的投屏控制方法的应用场景的一个示意图;
图2是本申请实施例提供的投屏控制方法的应用场景的另一个示意图;
图3是本申请实施例提供的窗口投屏的一个示意性流程图;
图4是本申请实施例提供的投屏方法的一个示意性流程图;
图5是本申请实施例提供的会议场景的一个示意图;
图6是本申请实施例提供的投屏方法的另一个示意性流程图;
图7是本申请实施例提供的投屏方法的示意图;
图8是本申请实施例提供的投屏装置的结构示意图;
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1是本申请实施例提供的投屏控制方法的应用场景100的一个示意图。
如图1所示,本申请实施例可以应用于会议场景100中,该会议场景100中包括至少一个投屏接收端(投屏接收端还可以称为投屏接收端设备或接收端),如图1所示的投屏接收端101。以及该会议场景100中还可以包括至少两个投屏发送端(投屏发送端还可以称为投屏发送端设备或发送端),投屏发送端可以是如图1所示的投屏发送端102、投屏发送端103。投屏接收端101可以与多个投屏发送端建立通信连接,如图1所示投屏接收端101可以与投屏发送端102、投屏发送端103建立通信连接,该通信连接可以是有线通信连接、也可以是无线通信连接,本申请对此不做限定。投屏接收端101可以接收来自投屏发送端102的投屏数据和来自投屏发送端103的投屏数据。投屏数据可以包括投屏画面信息和/或投屏声音信息。如图1所示,投屏接收端101配置有屏幕,则投屏接收端101可以在屏幕上同时显示来自投屏发送端102和来自投屏发送端103的画面、声音。但本申请不限于此。
图2是本申请实施例提供的投屏控制方法的应用场景200的一个示意图。
如图2所示,投屏接收端202可以是投屏处理装置,例如,该投屏接收端202可以是传屏盒子,但本申请不限于此。投屏接收端202可以接收来自投屏发送端203和投屏发送端204的投屏数据,并转发所接收到的投屏数据至连接的显示器201,控制显示器201显示来自投屏发送端203和投屏发送端204的画面,并播放声音,其中,投屏接收端202与投屏发送端203和204、显示器201之间的通信连接可以是无线通信连接,也可以是有线通信连接,本申请对此不做限定。
本申请实施例提供的投屏发送端可以是用户终端,该用户终端可以是手机、平板或笔记本电脑等终端设备。
本申请实施例提供的投屏接收端可以是电视、投影仪、智能交互平板、计算机设备或传屏盒子等具有传屏功能的通信设备,该投屏接收端可以通过有线通信的方式或无线通信的方式接收来自发送端的投屏数据。
图3为窗口投屏的一个示例,如图3所示,窗口投屏过程可以包括但不限于如下步骤:
1.响应于用户启动投屏软件的操作,发送端启动投屏发送端软件;
2.投屏发送端软件与投屏接收端软件的建立通信连接;
3.用户在投屏发送端软件选择进行窗口投屏的目标对象;
4.发送端软件通过系统API采集目标对象的窗口画面;
5.投屏发送端软件将采集到的窗口画面进行视频编码得到投屏数据;
6.投屏发送端软件将投屏数据通过网络等方式发送至接收端,并再次从步骤3开始执行之后的步骤。
根据上述步骤4,发送端软件需要通过系统API采集目标对象的窗口画面,然而,受到大部分系统的接口限制,目前进行窗口投屏时,若正在投屏的窗口最小化时,投屏发送端软件将无法采集到该目标对象窗口画面内容。此时投屏显示设备可能将显示该窗口最小化前的最后一帧画面,出现画面静止不动的情况。对于不了解情况的用户来说将感到困惑,或者误认为是由于连接故障或网络不佳等原因造成的画面静止不动的情况,使得投屏无法正常进行。本申请实施例提出可以提示用户投屏异常的原因,以便用户能够根据提示恢复投屏。
下面结合附图对本申请实施例提供的投屏方法进行说明。
图4为本申请实施例提供的投屏方法的一个示意性流程图。如图4所示的方法中,发送端与接收端连接,该连接可以是有线通信连接、也可以是无线通信连接。
S401,响应于用户触发的针对目标对象的窗口投屏操作,发送端向接收端发送目标对象的第一投屏数据,该第一投屏数据包括在发送端的显示界面上显示的该目标对象的内容。
在用户需要进行窗口投屏时,用户可以在投屏发送端软件中选择需要进行窗口投屏的目标对象,执行窗口投屏操作以触发目标对象的窗口投屏。发送端通过投屏发送端软件获取到用户的该操作后,响应于用户的窗口投屏操作,发送端向接收端发送目标对象的第一投屏数据。
可选地,发送端获取到用户的窗口投屏操作,可以向接收端发送用于请求投屏的请求信息,接收端接收到来自发送端的该请求信息后,可以向发送端发送接收投屏的响应信息,发送端可以在接收到接收端的该响应信息后,向接收端发送目标对象的第一投屏数据。
可选地,该目标对象可以是应用程序的窗口。
例如,发送端的显示界面上多个应用程序的窗口处于打开状态,显示在该显示界面上,用户可以在投屏发送端软件中选择该多个应用程序中需要进行窗口投屏的目标应用程序执行窗口投屏操作。但本申请不限于此。
应理解,处于打开状态的该多个应用程序的窗口显示在显示界面上时,可以相互重叠或被其他窗口覆盖(或遮挡),但窗口处于打开状态,即非最小化状态或关闭状态。
发送端运行投屏发送端软件时,发送端可以通过系统API采集目标对象的在显示界面上显示的内容(即投屏画面),例如,发送端的操作系统为Windows系统时,该API包括但不限于“BitBlt”、“PrintWindow”或“StretchBlt”。或者,发送端的操作系统为GUN/Linux系统时,该API包括但不限于“XGetImage”或“xcb_shm_get_image”。或者,发送端的操作系统为macOS系统时,该API包括但不限于“CGWindowListCreateImage”。
发送端采集目标对象的投屏画面,对投屏画面进行视频编码,得到第一投屏数据,并向接收端发送该第一投屏数据。接收端在接收到该第一投屏数据后进行视频解码等操作后在显示界面显示目标对象的投屏画面。
S402,发送端检测目标对象的状态,判断目标对象的状态是否处于预设状态。
发送端在发送第一投屏数据的过程中,检测目标对象的状态以判断目标对象是否处于预设状态,预设状态包括最小化状态或关闭状态。
一种实施方式中,发送端的操作系统为Windows系统,发送端判断目标对象的状态采用的关键函数包括但不限于IsWindowVisible函数和/或IsIconic函数。
例如,投屏发送端软件可以调用IsWindowVisible函数,判断目标对象的状态为显示或隐藏。若投屏发送端软件通过IsWindowVisble函数确定目标对象的状态为隐藏,则目标对象处于预设状态。可选的,投屏发送端软件还可以调用IsIconic函数,若IsIconic函数的返回值为“真(true)”,则投屏发送端软件可以确定目标对象处于最小化状态,若IsIconic函数的返回值为“假(false)”,则投屏发送端软件可以确定目标对象处于关闭状态。但本申请不限于此。
再例如,预设状态包括最小化状态,投屏发送端软件可以调用IsIconic函数,若IsIconic函数的返回值为“真(true)”,则投屏发送端软件可以确定目标对象处于预设状态,即最小化状态。若IsIconic函数的返回值为“假(false)”,则投屏发送端软件可以确定目标对象未处于最小化状态,但本申请不限于此。
另一种实施方式中,发送端的操作系统为macOS系统,发送端判断目标对象的状态采用的关键函数包括但不限于CGWindowListCopyWindowInfo函数和/或CGWindowListCreate函数。
例如,投屏发送端软件可以调用CGWindowListCreate函数,获取所有可见的窗口的列表,若该可见窗口列表中不包括目标对象,则投屏发送端软件可以确定目标对象不可见,即目标对象处于预设状态。可选的,投屏发送端软件还可以再调用CGWindowListCopyWindowInfo获取所有处于开启状态的窗口列表,若该处于开启状态的窗口列表中不包括目标对象,则投屏发送端软件可以确定目标对象具体处于关闭状态,若该处于开启状态的窗口列表中包括目标对象,则投屏发送端软件可以确定目标对象具体处于最小化状态,但本申请不限于此。
再例如,预设状态包括关闭状态,投屏发送端软件可以调用CGWindowListCopyWindowInfo函数,根据处于开启状态的窗口列表,确定目标对象是否处于关闭状态,但本申请不限于此。
另一种实施方式中,发送端的操作系统为GUN/Linux系统,发送端判断目标对象的状态采用的关键函数包括但不限于XGetWindowAttributes函数和/或XGetWindowProperty函数。
例如,投屏发送端软件可以调用目标对象的XGetWindowAttributes函数,若成功调取XGetWindowAttributes函数则确定存在该目标对象,若调用XGetWindowAttributes函数失败则确定不存在目标对象,或者说确定目标对象处于预设状态。可选的,在投屏发送端软件确定存在该目标对象的情况下,投屏发送端软件还可以调用目标对象的XGetWindowProperty函数,获取_NET_WM_STATE属性,通过该属性确定目标对象是否隐藏,从而确定目标对象是否为最小化状态。但本申请不限于此。
再例如,预设状态包括最小化状态,投屏发送端软件可以调用目标对象的XGetWindowProperty函数,获取_NET_WM_STATE属性,通过该属性确定目标对象是否隐藏,从而确定目标对象是否为预设状态,即最小化状态。但本申请不限于此。
S403,若目标对象处于预设状态,向接收端发送第二投屏数据,该第二投屏数据用于提示目标对象处于预设状态,其中,预设状态包括最小化状态或关闭状态。
若发送端在S402检测到目标对象的状态为预设状态,发送端可以向接收端发送第二投屏数据,以便接收端接收到该第二投屏数据后在显示界面显示该第二投屏数据的解码内容,达到提示用户目标对象处于预设状态的目的。使得用户能够根据接收端显示的内容,获知目标对象的状态,及时进行处理。实现发送端主动告知用户投屏窗口的状态,能够提升用户体验。
可选的,该第二投屏数据包括预设图像的数据或预设文本的数据。
例如,预设状态为最小化状态,用户正在进行视频应用程序投屏展示过程中,在发送端上,可能受到其他用户的误操作或受到其他软件、操作系统的影响,该视频应用程序被最小化,发送端检测到该视频应用程序被最小化后,可以读取预设图像,比如,该预设图像中包括“投屏窗口已最小化,无法采集到画面,请取消最小化”等文字。发送端读取到该预设图像后对预设图像解码得到预设图像的数据,再对预设图像的数据进行视频编码后,得到第二投屏数据,并发送给接收端,接收端解码该第二投屏数据后,可以将预设图像显示在接收端显示界面上,使得用户可以获知因投屏窗口最小化导致发送端无法采集到投屏画面。从而执行相应操作恢复投屏窗口的投屏状态。但本申请不限于此。
再例如,预设状态为关闭状态,用户正在进行对目标对象的投屏展示过程中,发送端检测到该目标对象未开启或已被关闭,即该目标对象的状态为关闭状态,发送端可以读取预设图像,比如,该预设图像中包括“投屏窗口已被关闭,无法采集到画面”等文字。发送端根据该预设图像生成第二投屏数据,并发送给接收端。接收端接收到第二投屏数据后,解码并在显示界面上该预设图像,使得用户可以获知因投屏窗口被关闭导致发送端无法采集到投屏画面。从而执行相应操作恢复投屏窗口的投屏状态。但本申请不限于此。
作为示例非限定,预设图像的格式包括但不限于PNG,JPG等。发送端对预设图像解码得到的预设图像的数据(可以称为预设图像的原始数据)的格式可能为RGBA,YUV等。
可选的,该发送端可以是周期性地采集该目标对象的投屏画面,该发送端在采集该投屏画面的每个周期之前,可以检测该目标对象的状态。
S404,若发送端在S402中检测到目标对象未处于预设状态,则发送端继续向接收端发送第一投屏数据
根据上述方案,发送端检测在投屏过程中检测投屏对象的状态,在处于预设状态时向接收端发送预设投屏数据,以便通过接收端显示提示信息,提示无法采集到投屏画面的原因,实现发送端主动告知用户投屏窗口的状态,能够提升用户体验。
图5为本申请实施例提供的会议场景的示意图。如图5所示,用户在发送端的投屏发送端软件上选择进行视频应用程序的窗口投屏,可以通过窗口投屏的方式与参会者分享视频。
在该场景中发送端软件可以在执行该视屏应用程序的窗口投屏过程可以采用本申请实施例提供的投屏方法,如图6所示,该方法包括但不限于如下步骤:
S601,发送端软件检测该视频应用程序的状态。
S602,发送端软件判断该视频应用程序的状态是否为最小化状态。
若该视频应用程序的状态不是最小化状态,该发送端软件执行S603。后执行S606、S607。
S603,发送端软件通过系统API采集该视频应用程序的窗口画面。
发送端软件执行S603之后执行S606、S607。
若该视频应用程序的状态为最小化状态,该投屏发送端软件执行S604。
S604,发送端软件读取预设图片数据。
发送端可以存储预设图片的原始数据即未经过编码压缩的图片数据,或者,发送端存储预设图片的原始数据经过编码压缩后的数据。本申请对此不做限定。
一种实施方式中,发送端存储有预设图片的原始数据,即预设图片数据为该预设图片的原始数据,则发送端软件读取该预设图片数据后执行S606。
另一种实施方式中,发送端存储有预设图片的已编码压缩后的数据,即预设图片数据为该预设图片的原始数据经过编码压缩后的数据,则发送端软件读取该预设图片数据后执行S605以及之后的步骤。
可选的,S605,发送端软件解码预设图片数据得到图片的原始数据。
例如,预设图片的格式包括但不限于PNG,JPG等。图片解码后会得到图片的原始数据的格式可能为RGBA,YUV等。但本申请不限于此。
S606,发送端软件对窗口画面或图片的原始数据进行视频编码,得到投屏数据。
例如,预设状态为最小化状态,若发送端软件检测到该视频应用程序未处于最小化状态,发送端软件对窗口画面进行视频编码,得到包含窗口画面的投屏数据。若发送端软件检测到该视频应用程序处于最小化状态,发送端软件对图片的原始数据进行视频编码,得到包含图片原始数据的投屏数据。
再例如,预设状态为关闭状态,若发送端软件检测到该视频应用程序未处于关闭状态,发送端软件对窗口画面进行视频编码,得到包含窗口画面的投屏数据。若发送端软件检测到该视频应用程序处于关闭状态,发送端软件对图片的原始数据进行视频编码,得到包含图片原始数据的投屏数据。
S607,发送端软件向接收端软件发送该投屏数据。
相应地,接收端软件接收来自发送端软件的该投屏数据。接收端软件对该投屏数据进行视频解码后在显示界面进行显示。若解码得到窗口画面则接收端软件显示窗口画面,若解码得到图片原始数据,接收端软件显示预设图片。
例如,预设状态为最小化状态,该预设图片包括提示信息,如“投屏窗口已最小化,无法采集到画面,请取消最小化”,接收端可以在显示界面显示该预设图片的内容。如图7所示,参会者可以通过接收端显示的提示信息,获知发送端因投屏窗口最小化而无法采集到画面。发送端软件通过主动告知用户无法采集到画面的原因,使得用户能够及时恢复窗口的投屏状态,提升了用户体验。
再例如,预设状态为关闭状态,该预设图片包括提示信息,如“投屏窗口已关闭,无法采集到画面”,接收端可以在显示界面显示该预设图片的内容。参会者可以通过接收端显示的提示信息,获知发送端因投屏窗口被关闭而无法采集到画面。发送端软件通过主动告知用户无法采集到画面的原因,使得用户能够及时恢复窗口的投屏状态,提升了用户体验。
需要说明的是,图6中以发送端软件执行本申请实施例提供的投屏方法为例进行说明,应理解,发送端软件执行操作可以理解为发送端在运行该发送端软件时由发送端实现的操作。
以上,结合图4至图7详细说明了本申请实施例提供的方法。以下说明本申请实施例提供的投屏装置。
请参见图8,其示出了本申请一个示例性实施例提供的投屏装置的结构示意图。该投屏装置可以通过软件、硬件或者两者的结合实现成为智能交互平板的全部或一部分。该装置包括获取单元801、处理单元802、收发单元803。
获取单元,用于获取用户触发的针对目标对象的窗口投屏操作。
收发单元,用于向接收端发送该目标对象的第一投屏数据,其中,该第一投屏数据包括该发送端的显示界面上显示的该目标对象的内容。
处理单元,用于检测该目标对象的状态。
该收发单元还用于在该目标对象处于预设状态的情况下向接收端发送第二投屏数据;其中,该第二投屏数据用于提示该目标对象处于该预设状态,该预设状态包括最小化状态或关闭状态。
可选的,该投屏装置还包括存储单元804,该存储单元用于存储投屏应用程序。
可选的,该处理单元还用于周期性地采集该目标对象的投屏画面,其中,该第一投屏数据为该处理单元根据该投屏画面生成的;以及,该处理单元具体用于在采集该投屏画面的每个周期之前,检测该目标对象的状态。
可选的,该第二投屏数据包括预设图像的数据或预设文本的数据。
可选的,该第二投屏数据包括预设图像的数据,该处理单元还用于读取预设图像,对该预设图像解码得到该预设图像的数据;该处理单元还用于对该预设图像的数据进行编码,得到该第二投屏数据。
可选的,该发送端检测该目标对象的状态之后,该收发单元还用于在该目标对象未处于该预设状态的情况下继续向该接收端发送该第一投屏数据。
请参见图9,为本申请实施例提供了一种电子设备的结构示意图。如图9所示,所述电子设备900可以包括:至少一个处理器901,至少一个网络接口904,用户接口903,存储器905,至少一个通信总线902。
其中,通信总线902用于实现这些组件之间的连接通信。
其中,用户接口903可以包括显示屏(Display)、摄像头(Camera),可选用户接口903还可以包括标准的有线接口、无线接口。
其中,网络接口904可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器901可以包括一个或者多个处理核心。处理器901利用各种接口和线路连接整个电子设备900内的各个部分,通过运行或执行存储在存储器905内的指令、程序、代码集或指令集,以及调用存储在存储器905内的数据,执行电子设备900的各种功能和处理数据。可选的,处理器901可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器901可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器901中,单独通过一块芯片进行实现。
其中,存储器905可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器905包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器905可用于存储指令、程序、代码、代码集或指令集。存储器905可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器905可选的还可以是至少一个位于远离前述处理器901的存储装置。如图9所示,作为一种计算机存储介质的存储器905中可以包括操作系统、网络通信模块、用户接口模块以及投屏应用程序。
在图9所示的电子设备900中,用户接口903主要用于为用户提供输入的接口,获取用户输入的数据;而处理器901可以用于调用存储器905中存储的投屏应用程序,并具体执行以下操作:
获取用户触发的针对目标对象的窗口投屏操作;向接收端发送该目标对象的第一投屏数据,其中,该第一投屏数据包括在显示界面上显示的该目标对象的内容;检测该目标对象的状态;若该目标对象处于预设状态,则向接收端发送第二投屏数据;其中,该第二投屏数据用于提示该目标对象处于该预设状态,该预设状态包括最小化状态或关闭状态。
可选的,周期性地采集该目标对象的投屏画面,其中,该第一投屏数据是根据该投屏画面生成的;以及,检测该目标对象的状态,包括:在采集该投屏画面的每个周期之前,检测该目标对象的状态。
可选的,该第二投屏数据包括预设图像的数据或预设文本的数据。
可选的,该第二投屏数据包括预设图像的数据,向接收端发送第二投屏数据,包括:读取预设图像,对该预设图像解码得到该预设图像的数据;对该预设图像的数据进行编码,得到该第二投屏数据;向接收端发送该第二投屏数据。
可选的,检测该目标对象的状态之后,该方法还包括:若该目标对象未处于该预设状态,则继续向该接收端发送该第一投屏数据。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图4至图7所示实施例的方法步骤,具体执行过程可以参见图4至图7所示实施例的具体说明,在此不进行赘述。
存储介质所在设备可以是通信设备。
通信设备的硬件部分可以由触控显示模组、智能处理系统(包括控制器)等部分所构成,由整体结构件结合到一起,同时也由专用的软件系统作为支撑,其中触控显示模组包括显示屏、触控组件和背光灯组件,背光灯组件用于为显示屏提供背光光源,显示屏一般采用液晶显示装置,用于进行画面展示,触控组件设置在显示屏上或者设置在显示屏前端,用于采集用户的触控操作数据,并将采集的触控操作数据发送到智能处理系统进行处理。
在实际使用中,通信设备的显示屏上显示画面数据,当用户通过手指或者触控笔等触控物体点击显示屏上显示的内容,例如点击显示屏上显示的图形按钮时,智能交互平板的触控组件将采集到触控数据,从而触控组件将该触控数据转换为触控点的坐标数据后发送到智能处理系统,或者发送到智能处理系统处由智能处理系统转换为触控点的坐标数据,智能处理系统获得触控点的坐标数据后,根据预先设定的程序实现相应的控制操作,驱动显示屏显示内容发生变化,实现多样化的显示、操作效果。
从技术原理来区别触摸组件,可以分为五个基本种类;矢量压力传感技术触摸组件、电阻技术触摸组件、电容技术触摸组件、电磁技术触摸屏、红外线技术触摸组件、表面声波技术触摸组件。按照触摸组件的工作原理和传输信息的介质,可以把触摸组件分为四个种类:电阻式、电容感应式、电磁感应式、红外线式以及表面声波式。
当用户用手指或笔触摸显示屏时,触摸组件可以采集触控点的数据并发送到智能处理系统,然后随着智能处理系统内置的软件来实现不同的功能应用,从而实现对智能处理系统的触控控制。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种投屏方法,其特征在于,所述方法应用于发送端,所述发送端与接收端连接,所述接收端用于显示所述发送端的投屏数据,所述方法包括:
所述发送端获取用户触发的针对目标对象的窗口投屏操作;
所述发送端向所述接收端发送所述目标对象的第一投屏数据,其中,所述第一投屏数据包括所述发送端的显示界面上显示的所述目标对象的内容;
所述发送端检测所述目标对象的状态;
若所述目标对象处于预设状态,则所述发送端向所述接收端发送第二投屏数据;其中,所述第二投屏数据用于提示所述目标对象处于所述预设状态,所述预设状态包括最小化状态或关闭状态。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述发送端周期性地采集所述目标对象的投屏画面,其中,所述第一投屏数据为所述发送端根据所述投屏画面生成的;以及,
所述发送端检测所述目标对象的状态,包括:
所述发送端在采集所述投屏画面的每个周期之前,检测所述目标对象的状态。
3.根据权利要求1或2所述的方法,其特征在于,所述第二投屏数据包括预设图像的数据或预设文本的数据。
4.根据权利要求3所述的方法,其特征在于,所述第二投屏数据包括预设图像的数据,所述发送端向接收端发送第二投屏数据,包括:
所述发送端读取预设图像,对所述预设图像解码得到所述预设图像的数据;
所述发送端对所述预设图像的数据进行编码,得到所述第二投屏数据;
所述发送端向接收端发送所述第二投屏数据。
5.根据权利要求1或2所述的方法,其特征在于,所述发送端检测所述目标对象的状态之后,所述方法还包括:
若所述目标对象未处于所述预设状态,则所述发送端继续向所述接收端发送所述第一投屏数据。
6.一种投屏装置,其特征在于,所述投屏装置与接收端连接,所述接收端用于显示所述投屏装置的投屏数据,包括:
获取单元,用于获取用户触发的针对目标对象的窗口投屏操作;
收发单元,用于向所述接收端发送所述目标对象的第一投屏数据,其中,所述第一投屏数据包括所述投屏装置的显示界面上显示的所述目标对象的内容;
处理单元,用于检测所述目标对象的状态;
所述收发单元还用于在所述目标对象处于预设状态的情况下向接收端发送第二投屏数据;其中,所述第二投屏数据用于提示所述目标对象处于所述预设状态,所述预设状态包括最小化状态或关闭状态。
7.根据权利要求6所述的装置,其特征在于,
所述处理单元还用于周期性地采集所述目标对象的投屏画面,其中,所述第一投屏数据为所述处理单元根据所述投屏画面生成的;以及,
所述处理单元具体用于在采集所述投屏画面的每个周期之前,检测所述目标对象的状态。
8.根据权利要求6或7所述的装置,其特征在于,所述第二投屏数据包括预设图像的数据或预设文本的数据。
9.根据权利要求8所述的装置,其特征在于,所述第二投屏数据包括预设图像的数据,
所述处理单元还用于读取预设图像,对所述预设图像解码得到所述预设图像的数据;
所述处理单元还用于对所述预设图像的数据进行编码,得到所述第二投屏数据。
10.根据权利要求6或7所述的装置,其特征在于,所述发送端检测所述目标对象的状态之后,
所述收发单元还用于在所述目标对象未处于所述预设状态的情况下继续向所述接收端发送所述第一投屏数据。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1至5中任意一项的所述的投屏方法。
12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的投屏方法。
13.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至5中任一项所述的投屏方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110604190.8A CN115480720A (zh) | 2021-05-31 | 2021-05-31 | 投屏方法、存储介质及通信设备 |
PCT/CN2022/093260 WO2022252977A1 (zh) | 2021-05-31 | 2022-05-17 | 投屏方法、存储介质及通信设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110604190.8A CN115480720A (zh) | 2021-05-31 | 2021-05-31 | 投屏方法、存储介质及通信设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115480720A true CN115480720A (zh) | 2022-12-16 |
Family
ID=84322774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110604190.8A Pending CN115480720A (zh) | 2021-05-31 | 2021-05-31 | 投屏方法、存储介质及通信设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115480720A (zh) |
WO (1) | WO2022252977A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116828242B (zh) * | 2023-08-30 | 2023-12-05 | 亿咖通(湖北)技术有限公司 | 长链路投屏方法、系统及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150025584A (ko) * | 2013-08-29 | 2015-03-11 | 삼성전자주식회사 | 화면 공유 방법 및 그 전자 장치 |
CN106325666B (zh) * | 2015-07-08 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种屏幕分享方法、装置及服务器 |
CN111190558B (zh) * | 2018-11-15 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 投屏控制方法、装置、计算机可读存储介质和计算机设备 |
CN112612436A (zh) * | 2020-12-24 | 2021-04-06 | 广州视源电子科技股份有限公司 | 一种投屏切换方法、装置、设备及存储介质 |
-
2021
- 2021-05-31 CN CN202110604190.8A patent/CN115480720A/zh active Pending
-
2022
- 2022-05-17 WO PCT/CN2022/093260 patent/WO2022252977A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022252977A1 (zh) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170011557A1 (en) | Method for providing augmented reality and virtual reality and electronic device using the same | |
CN111541930B (zh) | 直播画面的显示方法、装置、终端及存储介质 | |
CN111629239B (zh) | 投屏处理方法、装置、设备及计算机可读存储介质 | |
CN107045508B (zh) | 应用程序的处理方法和装置 | |
CN103051865B (zh) | 画面控制的方法及终端、视频会议装置 | |
CN109309842B (zh) | 直播数据处理方法和装置、计算机设备和存储介质 | |
WO2016040202A1 (en) | Invocation of a digital personal assistant by means of a device in the vicinity | |
CA2819146A1 (en) | User control of the display of matrix codes | |
CN112911052B (zh) | 信息分享方法和装置 | |
KR20200066745A (ko) | 옵트아웃 인터스티셜을 이용한 미디어 컬렉션 탐색 | |
CN113268212A (zh) | 投屏方法、装置、存储介质及电子设备 | |
CN112685106A (zh) | 应用程序的启动方法、系统、装置、电子设备及存储介质 | |
CN113485626A (zh) | 一种智能显示设备、移动终端和显示控制方法 | |
CN115480720A (zh) | 投屏方法、存储介质及通信设备 | |
CN111726605B (zh) | 一种解像力确定方法、装置、终端设备和存储介质 | |
CN113411537A (zh) | 视频通话方法、装置、终端及存储介质 | |
US8860773B2 (en) | Telepresence for remote collaboration with a gestural interface | |
US11928383B2 (en) | Screen projection control method, storage medium and communication apparatus | |
KR102051828B1 (ko) | 영상 통화 방법 및 영상 통화 중개 장치 | |
CN112804576B (zh) | 一种操作控制方法、设备及介质 | |
CN114489429A (zh) | 一种终端设备、长截屏方法和存储介质 | |
CN115373558A (zh) | 投屏方法、装置、设备及存储介质 | |
CN113329247A (zh) | 投屏方法及系统 | |
CN113849117A (zh) | 交互方法、装置、计算机设备及计算机可读存储介质 | |
CN114756158B (zh) | 应用窗口投屏切换方法、装置、系统、介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |