CN112261466A - 一种投屏方法、装置、电子设备及存储介质 - Google Patents

一种投屏方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112261466A
CN112261466A CN202010833253.2A CN202010833253A CN112261466A CN 112261466 A CN112261466 A CN 112261466A CN 202010833253 A CN202010833253 A CN 202010833253A CN 112261466 A CN112261466 A CN 112261466A
Authority
CN
China
Prior art keywords
interface
screen projection
displayed
screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010833253.2A
Other languages
English (en)
Inventor
周健
邓杰
陈东霞
章磊
史海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010833253.2A priority Critical patent/CN112261466A/zh
Publication of CN112261466A publication Critical patent/CN112261466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请的技术方案提供了一种投屏方法,包括:拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面;将所述投屏界面,发送给第二设备。该方式通过将第一设备中未显示的第二界面拼接到投屏界面中,该投屏界面中包括了更多的界面信息,可以显示更多的不同界面,而不是单独显示第一界面。这样的投屏界面进行投屏显示时,为用户提供了更多的投屏信息,用户可以通过该投屏界面得到更多信息,进而提高了用户的使用体验。

Description

一种投屏方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及信息处理技术领域,尤其涉及一种投屏方法、系统、电子设备及存储介质。
背景技术
随着投屏技术的发展,投屏的使用给用户带来了极大的方便。投屏可以理解为通过将移动设备A的显示内容显示到另一个设备B的屏幕上,显示的内容可以包括设备A中显示的各类媒体信息和各种操作画面等内容。
例如,将手机或平板等设备的屏幕所显示的内容投屏到在同一局域网络中的电脑、电视或投影仪等屏幕更大的设备,通过电脑、电视或投影仪等设备的屏幕显示手机或者平板的屏幕中所显示的内容。
发明内容
本发明实施例提供一种投屏方法、系统、电子设备及存储介质。
本公开实施例第一方面提供一种投屏方法,包括:拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面;将所述投屏界面,发送给第二设备。
在一个实施例中,所述方法还包括:将层叠的多个显示层中被显示的第一图层,确定为所述第一界面,将所述多个显示层中被所述第一图层遮挡的第二图层,确定为所述第二界面。
在一个实施例中,所述第二界面与所述第一界面,具有内容关联性。
在一个实施例中,所述第一界面为:所述第一设备前台应用的主界面;所述第二界面为:所述主界面上显示的入口所连接的界面;或者,所述第二界面为:所述主界面上展示内容的互动页面。
在一个实施例中,所述入口包括:链接地址;和/或,跳转控件。
在一个实施例中,所述互动页面包括:显示所述主界面上展示内容的评论信息的评论页面;显示所述主界面上展示内容的弹幕信息的弹幕页面;和/或,显示所述主界面上展示标的物的详细内容的详页。
在一个实施例中,所述第一界面为:所述第一设备前台应用被显示的界面;所述第二界面为:所述第一设备后台应用中设定应用的界面。
在一个实施例中,所述设定应用包括:即时通信应用;或者,邮件应用。
在一个实施例中,所述方法还包括:获取拼接参数;其中,所述拼接参数至少包括以下至少之一:所述第二界面的个数、所述第一界面在所述投屏界面中的位置参数及所述第二界面的排列方式;所述拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:根据所述拼接参数,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面。
在一个实施例中,所述获取拼接参数,包括:根据所述第二设备的显示尺寸,确定所述拼接参数。
在一个实施例中,所述第二界面为多个;所述拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:居中设置所述第一界面,并将多个所述第二界面设置在所述第一界面的周围,形成拼接后的所述投屏界面。
在一个实施例中,所述拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:当检测到所述第一界面和所述第二界面中任意界面的内容更新时,拼接更新后的所述第一设备显示的第一界面和隐藏的第二界面,得到所述投屏界面。
在一个实施例中,所述方法还包括:接收第二设备返回的控制信号;根据所述控制信号作用的第一界面或第二界面的展示内容,进行响应;根据所述响应的结果,更新所述控制信号所作用的第一界面或所述第二界面的界面内容。
在一个实施例中,所述控制信号包括:所述第二设备检测的输入操作的第一位置信息;所述根据所述控制信号作用的第一界面或第二界面的展示内容,进行响应,包括:根据所述投屏界面的第一面积与所述第二设备显示投屏界面的第二面积之间的比值,将所述第一位置信息转换为第二位置信息;根据所述第二位置信息,确定所述输入操作针对的所述第一界面或第二界面上的控件。
在一个实施例中,所述根据所述响应的结果,更新所述控制信号所作用的第一界面或所述第二界面的界面内容,包括:根据所述控件的内容,更新被所述输入操作针对的所述第一界面或所述第二界面。
本公开实施例第二方面提供一种投屏方法,包括:接收第一设备发送的投屏界面,其中,所述投屏界面为:第一设备显示的第一界面和隐藏的第二界面拼接形成的;放大显示包含所述第一界面和所述第二界面的所述投屏界面。
在一个实施例中,所述方法还包括:接收控制设备的作用于所述第二设备的显示界面上的输入操作;其中,所述显示界面为所述第二设备显示所述投屏界面形成的;根据所述输入操作,向所述第一设备发送控制信号,其中,所述控制信号,用于触发所述第一设备响应所述输入操作。
在一个实施例中,所述控制信号,携带有所述输入操作作用于所述显示界面的第一位置信息,其中,所述第一位置信息,用于供所述第一设备确定所述输入操作作用于所述第一界面或所述第二界面。
在一个实施例中,所述方法还包括:根据所述投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,所述第二方向与所述第一方向垂直。
在一个实施例中,所述根据所述投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,所述第二方向与所述第一方向垂直,包括:当所述像素个数比与所述第二设备在第一方向和第二方向上的像素个数比相等时,全屏显示所述投屏界面。
在一个实施例中,所述根据所述投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,所述第二方向与所述第一方向垂直,包括:当所述像素个数比与所述第二设备在第一方向和第二方向上的像素个数比不等时,根据所述投屏界面在目标方向的像素个数与所述第二设备在所述第一方向的像素个数比,确定放大系数;其中,所述目标方向为所述投屏界面内第一方向和第二方向中所包含像素个数更多的方向;根据所述放大系数,放大所述投屏界面;并确定居中显示放大后的所述投屏界面。
在一个实施例中,所述方法还包括:将所述第二设备的显示尺寸发送给所述第一设备,其中,所述显示尺寸,用于供所述第一设备确定拼接所述第一界面和所述第二界面的拼接参数。
本公开实施例第三方面提供一种投屏装置,包括:
拼接模块,用于拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面;
投屏模块,用于将所述投屏界面,发送给第二设备。
本公开实施例第四方面提供一种投屏装置,包括:
接收模块,用于接收第一设备发送的投屏界面,其中,所述投屏界面为:第一设备显示的第一界面和隐藏的第二界面拼接形成的;
显示模块,用于放大显示包含所述第一界面和所述第二界面的所述投屏界面。
本公开实施例第五方面提供一种电子设备,包括:
处理器;
存储器,其存储有程序指令,当所述程序指令被所述处理器执行时,使得所述电子设备执行上述任一项所述的方法。
本公开实施例第六方面提供一种存储介质,其存储有程序,当所述程序由处理器运行时,执行上述任一项所述的方法。
本公开实施例的技术方案中的第一设备包括显示的第一界面和并未显示的第二界面,即第二界面为隐藏的界面。通过拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,该投屏界面除了包括第一界面之外,同时还包括第二界面。将包括第一界面和第二界面的投屏界面,发送给第二设备,进而通过第二设备将包括第一界面和第二界面的投屏界面进行显示。
该方式通过将第一设备中未显示的第二界面拼接到投屏界面中,该投屏界面中包括了更多的界面信息,可以显示更多的不同界面,而不是单独显示第一界面。这样的投屏界面进行投屏显示时,为用户提供了更多的投屏信息,用户可以通过该投屏界面得到更多信息,进而提高了用户的使用体验。
将通过第一界面和第二界面拼接得到的投屏界面,通过第二设备进行显示时,由于投屏界面中增加了第二界面,所以第二设备在显示时,需要在显示第一界面之外的并未利用的显示区域显示第二界面。这样就增加了第二设备的显示屏的利用率,用户在通过第二设备查看第一设备的投屏界面时,视觉体验效果更佳。
附图说明
图1为本公开实施例提供的一种投屏方式的示意图;
图2为本公开实施例提供的另一种投屏方式的示意图;
图3为本公开实施例提供的另一种投屏方法的流程示意图;
图4为本公开实施例提供的一种投屏界面的显示效果示意图;
图5为本公开实施例提供的一种对第一界面和第二界面拼接得到投屏界面的结构示意图;
图6为本公开实施例提供的另一种拼接第一界面和第二界面得到投屏界面的显示效果示意图;
图7为本公开实施例提供的基于图3的另一种投屏方法的流程示意图;
图8为本公开实施例提供的根据控制信号作用的第一界面或第二界面的展示内容,进行响应的流程示意图;
图9为本公开实施例提供的一种第一设备和第二设备进行交互的示意图;
图10为本公开实施例提供的另一种第一设备和第二设备进行交互的示意图;
图11为本公开实施例提供的一种投屏方法的流程示意图;
图12为本公开实施例提供的一种基于图11的投屏方法的流程示意图;
图13为本公开实施例提供的一种投屏装置的结构示意图;
图14为本公开实施例提供的另一种投屏装置的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
根据投屏技术,可以将具有投屏功能的设备的屏幕所显示的内容投屏到其他具有显示功能的设备中进行显示。例如,可以将会议内容、多媒体文件、游戏、电影或者视频等内容投放到另一设备的屏幕上进行呈现,可以为用户带来更好的使用体验和提供了更多便利。值得说明的是,投屏的设备和显示的设备可以连接在同一局域网中,连接相同的无线局域网,或者通过互联网进行跨局域网的网络连接。
参考图1,本公开实施例提供了一种投屏方式,在投屏时,将屏幕较小的具有投屏功能的设备所显示的内容,投屏到屏幕相对较大的设备中进行显示。通过更大屏幕的设备进行显示,为用户进行互动、娱乐或者观看等提供了更多的方便。例如,将手机的显示界面投屏到电脑或者电视进行显示,将电脑的显示界面投屏到电视或者投影仪进行显示等,用户可以通过显示屏更大的设备查看投屏设备所显示的界面,从而可以提升用户的使用体验。
例如以将手机作为投屏设备,将电视作为显示设备,将手机的屏幕显示的界面投屏到电视进行显示为例,进行说明。在用户通过手机观看视频或者使用直播软件进行直播时等,可以将手机的显示界面投屏到电视进行显示,通过电视进行视频的观看或者直播内容的显示。
但是,将手机当前显示的界面,如播放视频的界面或者直播的界面,投屏到电视上进行显示,电视显示是当前手机显示的播放视频的界面或者直播的界面,不会显示其他界面。另外,由于手机显示的界面有时为竖屏显示(例如直播时),而且手机显示屏的分辨率和电视的分辨率可能并不相同,所以手机显示的界面作为投屏界面投屏到电视上后,并不能完整的利用电视的显示屏。电视的显示屏在显示手机投屏的界面后还有剩余显示区域,剩余的显示区域并未显示任何界面。
参考图2,手机显示界面投屏到电视进行显示后,在电视显示屏的中间部分将手机显示界面进行显示,电视显示屏两侧的显示区域并未显示任何界面,即电视显示屏的两侧显示器区域为未利用区域。而且,在将手机的显示界面投屏到电视上之后,通过电视端并不能对手机的显示界面进行交互操作,还需要通过手机端完成显示界面中信息的交互,如开始、暂停、留言或者其他操作等等。
所以,这样的投屏效果对于用户而言并不是很好,导致用户的使用体验不佳。
参考图3,本公开实施例提供了一种投屏方法,该投屏方法包括以下步骤:
步骤S100,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面;
步骤S200,将投屏界面,发送给第二设备。
该实施例中的第一设备为提供投屏信息的设备,将该投屏信息投屏到其他设备进行进一步的显示等。第一设备的显示面积小于第二设备的显示面积,在投屏后可以通过显示面积更大的第二设备进行显示,进而提高视觉体验的效果。该实施例中的第一设备可以是手机、平板、电脑等显示屏较小的设备,第二设备可以是电视,投影仪等显示屏较大的设备。
在该步骤中,可以是将第一设备的显示界面作为投屏信息,投屏到其他设备进行显示。第一设备在显示时,显示的是显示屏当前显示的界面,其他界面并不会显示,其他界面即为隐藏的界面。在将第一设备显示的界面进行投屏时,则将第一设备当前显示的界面进行投屏,投屏后显示的同样是第一设备显示的界面。
该步骤中的第一界面为第一设备当前显示的界面。
例如,第一设备当前显示的界面为直播界面,可以将该直播界面作为第一设备显示的第一界面。第一设备通过显示屏幕分屏的方式将显示屏一分为二,显示的页面为观看视频的界面和阅读文章的页面,或者显示的是两个观看不同视频的页面。在这种情况下,同样将一分为二的两个页面作为第一界面。由于,第一设备中可以包括多个界面,在显示时不会将这些界面全部显示,根据业务需求或者用户需求显示相应的界面,显示的界面即为第一界面。所以除了显示的界面之外,还包括未被显示的其他界面,这些未被显示的界面在该实施例中作为隐藏的界面,将隐藏的界面确定为第二界面。隐藏的界面可以包括多个界面,所以第二界面的个数可以为多个,第二界面的数量并没有限定,可以是一个或者多个。根据业务需求或者用户的使用需求,确定第一设备中显示的第一界面和隐藏的第二界面,然后将第一设备显示的第一界面和隐藏的第二界面进行拼接,得到投屏界面。
在一个实施例中,所述方法还包括:
检测用户操作;
根据所述用户操作,确定一个或多个所述第二界面。
在另一个实施例中,所述方法还包括:
确定所述第一设备中显示的第一界面和被所述第一界面遮挡的剩余界面之间的层叠关系;
根据所述层叠关系,从所述剩余界面中选择一个或多个作为所述第二界面。
例如,所述从所述剩余界面中选择一个或多个作为所述第二界面,包括以下至少之一:
根据所述层叠关系,选择与所述第一界面最靠近的一个或多个剩余界面作为所述第二界面。
例如,第一设备中有多个隐藏的第二界面,根据用户的使用需求,需要在第一界面显示前台应用的a界面,然后确定两个第二界面。可以确定后台应用1的显示界面为一个第二界面,确定后台应用2的显示界面为另外一个第二界面,这样就将两个不同后台应用的显示界面确定为第二界面。然后可以将确定的两个第二界面与前台应用显示的第一界面进行拼接,得到投屏界面。
由于第二界面为不同后台应用的显示界面,第一界面为前台应用显示的界面,所以三个界面为三个不同应用的显示界面。在投屏显示后,可以同时显示三个应用的显示界面,用户可以同时看到需要看到的应用的界面。
再例如,第一设备中有多个隐藏的第二界面,根据用户的使用需求,需要在第一界面显示前台应用的a界面,还需要显示与该前台应用显示的a界面有内容关联的两个界面。将该前台应用中与当前显示的界面有内容关联性的界面确定为第二界面。
这种情况下,投屏界面中可以同时显示第一界面有内容关联性的第二界面,提供了与第一界面有关的更多内容。
在得到投屏界面之后,将投屏界面发送给第二设备,第二设备会显示该投屏界面,就实现了第一设备显示的内容转移到第二设备上进行显示的投屏效果。
该实施例的技术方案将隐藏的第二界面和显示的第一界面进拼接,得到投屏界面进行投屏。这样投屏界面中包括了除了显示的第一界面之外的第二界面,即包括了更多的界面,通过投屏显示后,可以显示更多的界面。该方式增加了投屏界面的显示内容,进而也增加了第二设备显示屏的显示内容,提高了第二设备显示屏的利用率和显示效果,同时为用户提供了获取更多的界面信息,提高了用户的使用体验。
在另一实施例中,由于第一设备在显示信息时通过显示层进行显示,并且包括多层层叠的显示层。在显示时,可以根据实际的使用需求,将多层层叠的显示层进行显示。在本实施例中,将层叠的多个显示层中被显示的第一图层,确定为第一界面,将一个或多个显示层中被第一图层遮挡的第二图层,确定为第二界面。根据实际业务需求或者用户使用需求确定层叠的多个显示层中被显示的图层,该显示的图层为第一图层,将该被显示的第一图层确定为第一界面。
第一设备在显示第一图层后,第一图层遮挡了层叠的多个显示层中的其他显示层,其他显示层在这里称为第二图层,将被遮挡的第二图层确定为第二界面。
在另一实施例中,第二界面与第一界面为具有内容关联性的界面。第二界面中显示的内容与第一界面中显示的内容为相关联的内容,可以是根据第一界面显示的内容得到第二界面显示的内容等。
进一步地,第一界面为第一设备前台应用的主界面,第二界面为主界面上显示的入口所连接的界面。当第一设备显示的第一界面为第一设备前台应用的主界面时,还包括与该主界面的显示内容相关联的关联内容,该主界面为当前显示的界面。这些关联内容没有在第一界面中进行显示,而是通过在第一界面中设置的与关联内容对应的入口的形式进行显示。
第一界面中显示设置的与关联内容对应的入口,通过这些入口可以显示与入口相关联的内容。该入口可以是链接地址和/或跳转控件等,链接地址或跳转控件均关联有对应的内容显示界面,通过这些链接地址和/或跳转控件等将第一界面和第二界面进行关联。
第二界面即为通过这些入口显示的与入口相关联的关联内容的界面,这些入口以链接的方式与第二界面进行关联,通过第一界面上显示的入口可以跳转到该入口所链接的界面,即通过该入口可以跳转到该入口链接的第二界面。
例如,第一设备为手机,通过手机中的直播应用程序进行直播。在直播时,手机中显示的界面为直播的界面,即手机显示的第一界面为直播主界面,直播主界面中以播放的内容为主,除此之外,在直播主界面的两侧或者顶部或者底部附加有其他链接地址和/或跳转控件等入口。
以主播直播视频应用为例,主播在某直播平台直播时,直播平台的主界面为主播进行直播介绍货品的界面,在该主界面的底部还设置有该货品的链接地址或者跳转控件。通过该链接地址或者跳转控件可以查看该货品的详细信息或者购买该货品等,显示该货品的详细信息的界面或者购买该货品的界面即为第二界面,该第二界面在主播进行直播介绍货品时并不会在手机的显示屏中显示。
或者,该主界面的底部设置有该主播的店铺的链接地址或者跳转控件,通过该链接地址或者跳转控件可以查看主播的店铺中的货品等,显示主播的店铺中的货品的界面即为第二界面。
将第一界面和第二界面进行拼接得到投屏界面后,不仅可以将主播带货直播的主界面进投屏,还可以将显示主播介绍的货品或者主播的店铺的第二界面投屏,即将手机在显示主界面时未显示的第二界面进行投屏。这样将手机中更多的界面进行投屏到电视等第二设备,第二设备同样可以显示更多的界面,而不单独显示手机显示的第一界面,还可以显示手机隐藏的第二界面,进而提高了用户的使用体验。
值得说明的是,这里的第一界面并不仅包括直播时的第一界面,还可以是第一设备可以显示的任何界面,这里并不进行限定,第二界面同样不进行限定。
再例如,第一设备为平板电脑,平板电脑显示的第一界面为阅读文章的界面,在阅读文章时用户可以根据阅读需求进行批注以及对文章中内容的查询等操作。将显示批注的界面和查询文章中内容的相关界面作为第二界面,第二界面通过链接地址或者跳转控件与第一界面进行关联。
所述跳转控件包括但不限于以下至少之一:
翻页控件,例如,上一页控件、下一页控件,及返回控件;
提示信息的确定控件,该确定控件会触发第一电子设备跳转到与所述提示信息相关的提示页面。
将第一界面和第二界面拼接后,可以讲阅读的文章的界面和批注的界面以及相关内容查询的界面同时显示在电脑或电视等第二设备,从而提高了用户的使用体验等。
在另一实施例中,第二界面还可以为主界面上展示内容的互动页面。该互动页面包括显示主界面上展示内容的评论信息的评论页面,显示主界面上展示内容的弹幕信息的弹幕页面,和/或,显示主界面上展示标的物的详细内容的详页。
在将弹幕页面确定为第二界面后,将弹幕页面与主界面分离,弹幕页面将不在主界面显示,这样弹幕就不再遮挡主界面中内容的显示,可以更好的观看第一界面,从而提升了第一界面的显示效果和用户的观看效果。另外弹幕页面作为第二界面进行显示,可以将弹幕放大,弹幕放大后的显示效果更佳。
对于评论页面,通常情况下评论信息有很多,并且评论信息一般是看不到的或者很小的,将评论页面作为第二界面后,可以在第二界面单独显示评论信息。该界面可以显示更多的评论信息,也可以将评论信息放大,进而提升了评论信息的显示效果,便于用户进行观看。
对于标的物的祥页,通常该详页不会显示或者显示面积小。将该详页作为第二界面进行显示时,可以在单独的界面将该详页进行显示,同样会提升显示效果。
同样以主播通过手机中的直播平台进行直播带货为例,主播进行货品讲解的界面为主界面,同样为该直播平台的主界面,即手机显示的第一界面。在主界面中,主播展示并介绍的货品时,会有观众对该货品进行评论,该评论的评论信息可以通过评论页面进行显示。还会有关于该货品的弹幕信息,该弹幕信息可以通过弹幕页面进行显示。还会有主界面上展示标的物的详细内容的信息,该信息可以通过该标的物的详页进行显示。这里的评论页面、弹幕页面或者标的物的详页可以不在主界面进行显示,而是在主界面遮挡的其他界面进行显示,提升了主界面的观看效果,同时也提升了这些页面中相关内容的观看效果。这里将这些页面确定为第二界面,通过第二界面显示这些页面。
将第一界面和第二界面拼接后,可以将第一设备显示的直播主界面进行投屏,同时还可以将与主界面中显示内容有关的评论页面、弹幕页面和/或标的物的详页进行投屏。第二设备可以同时将这些投屏界面同时显示,用户可以同时看到这些投屏界面。
在另一实施例中,第一界面还可以为第一设备前台应用被显示的界面,第二界面为第一设备后台应用中设定应用的界面。该实施例中的第一界面和第二界面为第一设备中不同应用中的界面,第一设备当前显示的第一界面为前台应用被显示的界面,而第二界面为第一设备中后台应用中隐藏的界面。这里的后台设定应用并没有数量限制,后台设定应用的界面同样没有数量的限定。
例如,第一设备中后台设定应用可以包括即时通信应用和者邮件应用等。将第一界面显示的前台应用的界面和后台应用中的即时通信应用的界面以及者邮件应用的界面进行拼接,得到投屏界面。将该投屏界面进行投屏时,可以将第一界面和即时通信应用以及邮件应用的界面同时投屏在第二设备进行显示。
用户可以同时看到手机显示的第一界面和未被手机显示的即时通信界面以及邮件界面。在看到第一界面的同时,还会看到即时通信的界面中显示的信息和邮件界面显示的信息,减少了用户错过或者遗漏重要信息的概率,极大的方便了用户的使用,提高了用户的使用体验度。
参考图4,为另一实施例提供的另一种第一设备前台应用被显示的界面,第二界面为第一设备后台应用中设定应用的界面,在投屏后被显示的示意图。
参考该图中手机显示的第一界面,该第一界面为直播服装的界面,参考该图中拼接后得到的投屏界面在电脑进行显示的显示界面,投屏界面和显示界面显示的内容是相同的。该投屏界面包括手机显示的第一界面,还包括两个第二界面,即视频界面和水果购物界面。手机显示的第一界面为手机前台应用被显示的界面,第二界面为手机中后台设定应用的界面。该实施例中,手机后台设定应用为视频播放应用和购物应用,将显示电影列表的界面设定为视频播放应用的界面,将显示水果列表的界面设定为购物应用的界面。
将手机前台应用显示的第一界面和手机后台两个设定应用显示的界面进拼接,得到投屏界面。
在另一实施例中,步骤S100,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,之前还可以包括:
获取拼接参数,该拼接参数为拼接第一设备显示的第一界面和隐藏的第二界面的参考信息,以便根据该拼接参数进行投屏的拼接。其中,该拼接参数至少包括以下至少之一:
第二界面的个数、第一界面在投屏界面中的位置参数及第二界面的排列方式。由于将第一设备显示的界面作为第一界面,所以第一界面的个数是固定的,即为一个界面,所以在将第一界面和第二界面拼接时,需要参考第二界面的数量。第二界面的数量可以影响投屏界面的拼接,可以根据第二界面的数量拼接第一界面和第二界面。
还可以根据第一界面在投屏界面中的位置参数,拼接第一界面和第二界面,第一界面在投屏界面中的位置不同,拼接得到的投屏界面也会不同。
还可以根据第二界面的排列方式,拼接第一界面和第二界面,第二界面的排列方式的不同,拼接得到的投屏界面也不同。
还可以同时根据第二界面的个数、第一界面在投屏界面中的位置参数以及第二界面的排列方式中的两个或者三个,拼接第一界面和第二界面,得到投屏界面。
拼接参数的不同,对第一界面和第二界面进行拼接得到的投屏界面也会不同,不同的投屏界面在投屏到第二设备后的,第二设备的显示效果也会不同。所以为了可以更好的将第一界面和第二界面进行拼接,进而将得到的投屏界面在第二设备进行更好的显示,可以先获取该拼接参数。
获取该拼接参数可以根据第二设备的显示尺寸进行获取,即根据第二设备的显示尺寸确定的该拼接参数。通过该拼接参数拼接第一界面和第二界面得到的投屏界面可以在第二设备更好的显示。例如,将投屏界面全屏显示在第二设备的显示屏。
拼接参数还可以为预设的拼接参数,可以直接获取该预设的拼接参数,该种情况下可不需要根据第二设备的显示尺寸确定拼接参数。
另外,由于不同尺寸的电视机的备选拼接参数可以是已经确定好的,在获取第二设备的显示尺寸时,就可以直接选择备选的拼接参数。
第二设备显示尺寸的获取,可以是第一设备从第二设备接收的,也可以是第一设备从人机交互接口接收的,还可以是通过获取第二设备的图像进行图像识别获取的等等。
在另一实施例中,步骤S100,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,还可以包括:在第二界面为多个界面时,居中设置第一界面,并将多个第二界面设置在第一界面的周围,形成拼接后的投屏界面。
参考图5,为拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面的拼接示意图。该图以两个第二界面为例进行说明,第二界面包括界面A和界面C,第一界面为界面B。第一设备同样为手机,手机显示的界面为界面B,即第一界面为界面B,隐藏的第二界面为界面A和界面C。界面A和界面C可以是与界面B有内容关联性的界面,可以是界面B为手机前台应用被显示的界面,界面A和界面C为后台设定应用的界面。
以界面B为手机前台应用被显示的界面,界面A和界面C为后台设定应用的界面为例,进行说明。将界面B设置在中间,将界面A和界面C设置在界面B的两侧,获取界面A、界面B和界面C的数据,将三个界面的数据根据界面的排布位置进行拼接,得到拼接后的投屏数据,将该投屏数据发送至第二设备进行显示,得到的投屏界面即为界面B在中间,界面A和界面C在界面B两侧的投屏界面。
由于第一设备显示的是第一界面,说明第一界面中的内容是用户想要得到的内容,所以将第一界面居中显示,用户在观看时可以重点观看第一界面。在查看第一界面的同时,可以查看第一界面两侧的第二界面。
另外,由于第一设备的显示屏像素与第二设备不同,将第一界面显示在中间,可以提升第一界面的显示效果。
参考图6,为另一种拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面后被显示的效果示意图。
参考手机侧,该实施例中第一界面为手机显示的界面,该界面为视频播放界面,第二界面的个数为5个,5个第二界面均为与第一界面即视频播放界面具有内容相关联性的界面。第一界面为被显示的第一图层,5个第二界面的图层为被第一图层遮挡的图层,即手机显示第一界面,5个第二界面为被第一界面遮挡的界面,手机不显示5个第二界面。5个第二界面通过链接地址或者跳转控件等方式与第一界面进行内容关联。
将五个第二界面和第一界面进行拼接,得到投屏界面,投屏界面可以参考电视侧。在本实施例中,当第一界面中为视频播放界面时,第二界面中有界面为字幕界面时,该字幕界面可以显示在第一界面中,即作为第一界面进行显示。将剩余4个第二界面与第一界面进行拼接,得到投屏界面,该投屏界面包括第一界面、第二界面1、第二界面2、第二界面3和第二界面4。不同的第二界面的排布方式和位置关系可以预先设定,也可以根据拼接参数进行确定,这里不再进行限定。
在另一实施例中,步骤S100,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,还可以包括:
当检测到第一界面和第二界面中任意界面的内容更新时,拼接更新后的第一设备显示的第一界面和隐藏的第二界面,得到投屏界面。第一设备显示的第一界面可能有更新,拼接投屏界面的隐藏的第二界面可有可能更新,在第一界面更新,或者第二界面更新,或者第一界面和第二界面同时更新时,投屏界面也要进行更新。
当检测到第一界面和/或第二界面的内容更新时,拼接更新后的第一设备显示的第一界面和隐藏的第二界面,得到更新后的投屏界面,以便将更新后的投屏界面发送给第二设备进行显示。这样才能将更新的第一界面和/或第二界面投屏到第二设备进行显示,防止了在手机显示的第一界面和/或隐藏的第二界面更新时,投屏界面还是由未更新的第一界面和/或第二界面拼接得到的,进而使得投屏界面不能及时更新的情况发生。
参考图7,在另一实施例中,在步骤S200之后,还包括:
步骤S300,接收第二设备返回的控制信号。
在该实施例中,第二设备可以与第一设备进行交互,通过第二设备控制投屏到第二设备中的显示界面,进而对第一设备中的第一界面和第二界面进行控制。即第二设备可以控制将投屏界面投屏到第二设备显示的显示界面,通过控制该显示界面,进而控制第一设备中的界面,完成交互。
第二设备中可以有控制设备,通过该控制设备控制显示的显示界面中的内容,该控制设备可以对投屏界面进行相应的控制操作,该控制操作为控制显示界面的显示内容的操作,例如视频播放的开始和暂停,即时通信应用中通信信息的输入和发送,显示界面中显示内容的上下移动等。
通过第二设备在对显示界面进行控制后,将控制信号返回至第一设备,第一设备接收该控制信号,根据该控制信号进一步对投屏界面中的第一界面和第二界面中的内容进行处理。
步骤S400,根据控制信号作用的第一界面或第二界面的展示内容,进行响应。
在接收到第二设备返回的控制信号后,根据该控制信号作用的界面进行响应,控制信号可能是作用于投屏界面中的第一界面,也可能作用于投屏界面中的第二界面。当控制信号作用于投屏界面中的第一界面时,说明控制信号对投屏界面中的第一界面进行控制,需要对投屏界面中的第一界面进行相应的处理。当控制信号作用于投屏界面中的第二界面时,说明控制信号对投屏界面中的第二界面进行了控制,需要对投屏界面中的第二界面进行相应的处理。
步骤S500,根据响应的结果,更新控制信号所作用的第一界面或第二界面的界面内容。
当控制信号作用于投屏界面中的第一界面时,更新投屏界面中的第一界面,当控制信号作用于投屏界面中的第二界面时,更新投屏界面中的第二界面。
当控制信号作用于第二界面时,第一设备在后台更新第二界面,第一设备的前台应用维持第一界面的显示,即第一设备继续显示第一界面。这样在第一设备在后台更新第二界面时,不用切换到第二界面,不用将第二界面显示即可对第二界面在后台进行更新。第一设备显示的还是第一界面,不需要将第一界面和第二界面进行反复切换等操作,从而提高了用户的使用体验。
通过该过程,实现了通过第二设备对显示界面的控制,进而控制第一设备中投屏界面对应的第一界面或第二界面的界面内容。不需要第一设备的操作,即可控制第一设备中投屏界面中的第一界面或者第二界面显示的内容,从而实现了第一设备和第二设备的交互,使得用户的使用体验度更佳。
在另一实施例中,步骤S300中接收的第二设备返回的控制信号,可以包括第二设备检测的输入操作的第一位置信息。第二设备对投屏界面中的内容进行控制时,需要通过输入操作进行,进行输入操作后将输入的控制信号作用于投屏界面中的内容。由于第二设备中显示投屏界面中包括第一界面和第二界面,而且第二界面可以为多个,在对第二设备显示的第一界面或者第二界面进行控制时,需要根据输入操作的第一位置信息确定该输入操作是对第一界面进行的输入操作还是对第二界面进行的输入操作,若是对第二界面进行的输入操作,还需确定是对哪个第二界面进行输入操作等。
该输入操作可以是通过控制设备进行输入的,控制设备进行输入操作后,第二设备可以检测到该输入操作的位置信息,在哪个界面进行输入操作即对哪个界面进行相应的控制,这样可以检测该输入操作是在哪个界面输入的,进而检测是控制信号时对哪个界面进行控制的。
参考图8,步骤S400,根据控制信号作用的第一界面或第二界面的展示内容,进行响应,进一步可以包括:
步骤S401,根据投屏界面的第一面积与第二设备显示投屏界面的第二面积之间的比值,将第一位置信息转换为第二位置信息。由于第一设备拼接得到的投屏界面的面积大小与第二设备显示投屏界面的面积大小是不同的,所以在通过第二设备对投屏界面中的界面进行控制后,需要将对应的输入操作在第二设备显示投屏的显示区域的位置,转换为该输入操作在投屏界面中的位置。
可以根据投屏界面的第一面积与第二设备显示投屏界面的第二面积之间的比值关系进行转换,将第一位置信息转换为第二位置信息,该第二位置信息即为输入操作在投屏界面中的位置。
第一位置信息可为:第二设备检测操作的第一坐标,该第一坐标是第二设备显示投屏界面的坐标,第一设备接收到该坐标之后,进行坐标转换得到第二位置信息,第二位置信息是在第一设备缓存的投屏界面上的一个坐标,从而确定出该操作作用的界面和展示内容。
进行坐标转换的方法可以是根据投屏界面的第一面积与第二设备显示投屏界面的第二面积之间的比值,进行对应的缩小,得到第二位置信息。
步骤S402,根据第二位置信息,确定输入操作针对的第一界面或第二界面上的控件。
在得到第二位置信息后,根据该第二位置信息,确定第二位置信息在投屏界面中的第一界面还是第二界面,进而确定第一界面或者第二界面上的控件,以便对第一界面或者第二界面进行控制。
具体可以根据控件的内容,更新被输入操作针对的第一界面或所述第二界面。
参考图9,为另一实施例提供的一种第一设备和第二设备进行交互的示意图。在该图中,第一设备为手机,第二设备为电视,将手机显示的第一界面和隐藏的第二界面进行拼接后得到的投屏界面,该投屏界面在电视上投屏显示的显示界面即为图中电视的显示界面,投屏界面与电视的显示界面中的显示内容是相同的。
通过电视的控制设备控制电视的显示界面中显示的内容,根据控制设备的输入操作对显示界面中显示的内容进行控制,进一步控制手机中的第一界面中的内容或者第二界面中的内容。该实施例中电视的控制设备为电视的遥控器,当然还可以是其他具有相同作用的控制设备,如第二设备为电脑时,该控制设备还可以是鼠标或者键盘等。
通过遥控器与电视之间的交互(图中所示的遥控器交互),以及电视与手机之间的交互(图中所示的交互同步),实现了第一设备和第二设备的交互过程。将手机显示的第一界面和隐藏的多个第二界面投屏到电视进行显示,实现了多维投屏。
参考图10(请同时参考图6),为另一实施例提供的一种第一设备和第二设备进行交互的示意图。该实施例中的第一设备同样为手机,第二设备同样为电视,通过电视的遥控器控制电视的显示界面中的内容,根据遥控器的输入操作对第一界面、第二界面1、第二界面2、第二界面3或者第二界面4进行控制等。然后电视将对第一界面、第二界面1、第二界面2、第二界面3或者第二界面4进行控制的控制信号返回至手机,手机接收遥控器的控制信号,根据控制信号控制手机中的第一界面或者第二界面,从而实现手机和电视的交互。
参考图11,在另一实施例中,还提供了另一种投屏方法,该投屏方法以第二设备为执行主体。其中,该投屏方法包括以下步骤:
步骤S600,接收第一设备发送的投屏界面,其中,投屏界面为第一设备显示的第一界面和隐藏的第二界面拼接形成的。第一设备在将第一设备显示的第一界面和隐藏的第二界面拼接后,得到投屏界面,然后将该投屏界面发送给第二设备,第二设备接收该投屏界面。
步骤S700,放大显示包含第一界面和第二界面的投屏界面。在接收到第一设备发送的投屏界面后,将该投屏界面进行显示。由于为了得到更好的使用体验,将第一设备的投屏界面投屏到第二设备进行显示,所以通常第二设备的显示屏比第一设备的显示屏大,第二设备需要将投屏界面放大显示。具体可以是将投屏界面的两边等比放大,即长边和短边等放大系数进行放大,这样可以保持投屏界面中的内容不被拉伸或者压缩等。
参考图12,在另一实施例中,该投屏方法还包括:
步骤S800,接收控制设备的作用于第二设备的显示界面上的输入操作,该显示界面为第二设备显示投屏界面形成的。
将在第二设备中显示的平台界面确定为显示界面,在显示第一设备发送的投屏界面后,可以进行交互操作。
通过第二设备的控制设备对显示界面进行输入操作,进而对显示界面中的内容进行控制。
步骤S900,根据该输入操作,向第一设备发送控制信号,其中,控制信号,用于触发第一设备响应输入操作。
第二设备的控制设备进行输入操作后,第二设备可以根据该输入操作,向第一设备发送与该输入操作对应的控制信号,根据该控制信号可以触发第一设备对该输入操作的响应,进而对第一设备中的相关界面进行控制。
进一步地,该控制信号还可以携带有输入操作作用于显示界面的第一位置信息,该第一位置信息,用于供第一设备确定输入操作作用于第一界面或第二界面。
根据控制设备进行作用于第二设备的显示界面上的输入操作,可以确定该输入操作作用于该显示界面的位置。将携带有输入操作作用于显示界面的第一位置信息的控制信号发发送给第一设备,可以供第一设备根据该第一位置确定该输入操作在第一设备中的位置,进而可以确定该输入操作是作用于第一设备的第一界面还是第二界面等。
在另一实施例中,该投屏方法还可以包括:
根据投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示该投屏界面,其中,第二方向与第一方向垂直。由于投屏界面中包括第一界面和第二界面,投屏界面是由第一界面和第二界面拼接而成,所以得到的投屏界面在水平方向和/或垂直方向的像素个数也是不确定的。这里的第一方向可以为水平方向,第二方向可以为垂直方向;第一方向也可以为垂直方向,第二方向为水平方向。
根据投屏界面的第一方向的像素个数和第二方向的像素个数的像素个数比,确定是否可以全屏显示该投屏界面。具体可以是根据投屏界面的第一方向的像素个数和第二方向的像素个数的像素个数比,与第二设备在第一方向和第二方向上的像素个数的像素个数比,确定是否全屏显示投屏界面。
当投屏界面的第一方向的像素个数和第二方向的像素个数的像素个数比,与第二设备在第一方向和第二方向上的像素个数比相等时,全屏显示投屏界面。在两个像素个数比相同时,可以将投屏界面直接放大显示即可全屏显示该投屏界面。
当投屏界面的第一方向的像素个数和第二方向的像素个数的像素个数比,与第二设备在第一方向和第二方向上的像素个数比不等时,根据投屏界面在目标方向的像素个数与第二设备在第一方向的像素个数比,确定放大系数。其中,目标方向为投屏界面内第一方向和第二方向中所包含像素个数更多的方向。在该种情况下,并不能全屏显示投屏界面,需要根据投屏界面中像素个数更多的方向中所含的像素个数,与第二设备在第一方向的像素个数比,确定放大系数。然后根据该放大系数,放大该投屏界面,确定居中显示放大后的投屏界面。通过该方法可以将提升第二设备显示投屏界面的显示效果,提高用户的视觉体验等。
通过需要根据投屏界面中像素个数更多的方向中所含的像素个数,与第二设备在第一方向的像素个数比,确定放大系数,可以将投屏界面中的内容在个怒放大系数放大后可以全部显示。若需要根据投屏界面中像素个数较少的方向中所含的像素个数,与第二设备在第一方向的像素个数比,确定放大系数,进行放大后,投屏界面中像素个数较多的方向的内容会超出显示界面,导致显示界面显示的内容质量出现问题。
在另一实施例中,该投屏方法还包括:
将第二设备的显示尺寸发送给第一设备,其中,该显示尺寸用于供第一设备确定拼接第一界面和第二界面的拼接参数。将第二设备的显示尺寸发送个第一设备后,可以为第一设备拼接第一界面和第二界面时提供拼接参数,以便在拼接第一界面和第二界面得到的投屏界面可以更好的在第设备进行显示。
参考图13,在另一实施例中,还提供了一种投屏装置,该投屏装置包括:
拼接模块,用于拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面。
投屏模块,用于将投屏界面,发送给第二设备。其他模块图中未示出。
该投屏装置还包括:
界面确定模块A,用于将层叠的多个显示层中被显示的第一图层,确定为第一界面,将多个显示层中被第一图层遮挡的第二图层,确定为第二界面。
其中,第二界面与第一界面,具有内容关联性。
第一界面为:第一设备前台应用的主界面。
第二界面为:主界面上显示的入口所连接的界面,该入口包括:链接地址;和/或,跳转控件。
或者,第二界面为:主界面上展示内容的互动页面。该互动页面包括:显示主界面上展示内容的评论信息的评论页面,显示主界面上展示内容的弹幕信息的弹幕页面,和/或,显示主界面上展示标的物的详细内容的详页。
界面确定模块B,用于确定第一界面和第二界面,该第一界面还可以为:所述第一设备前台应用被显示的界面;所述第二界面为:所述第一设备后台应用中设定应用的界面。设定应用包括:即时通信应用或者,邮件应用。
该投屏装置还包括:
拼接参数获取模块,用于获取拼接参数;其中,拼接参数至少包括以下至少之一:第二界面的个数、第一界面在投屏界面中的位置参数及第二界面的排列方式。
拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:
根据拼接参数,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面。
拼接参数获取模块,具体用于根据第二设备的显示尺寸,确定拼接参数。
拼接模块,具体用于在第二界面为多个时,居中设置所述第一界面,并将多个所述第二界面设置在所述第一界面的周围,形成拼接后的所述投屏界面。
拼接模块,还具体用于当检测到所述第一界面和所述第二界面中任意界面的内容更新时,拼接更新后的所述第一设备显示的第一界面和隐藏的第二界面,得到所述投屏界面。
该投屏装置还包括:
控制信号接收模块,用于接收第二设备返回的控制信号。
响应模块,用于根据控制信号作用的第一界面或第二界面的展示内容,进行响应。控制信号包括:所述第二设备检测的输入操作的第一位置信息,根据投屏界面的第一面积与第二设备显示投屏界面的第二面积之间的比值,将第一位置信息转换为第二位置信息。根据第二位置信息,确定输入操作针对的所述第一界面或第二界面上的控件。
更新模块,用于根据所述响应的结果,更新所述控制信号所作用的第一界面或所述第二界面的界面内容。根据控件的内容,更新被输入操作针对的第一界面或第二界面。
参考图14,在另一实施例中,还提供了一种投屏装置,包括:
第一接收模块,用于接收第一设备发送的投屏界面,其中,所述投屏界面为:第一设备显示的第一界面和隐藏的第二界面拼接形成的。
显示模块,用于放大显示包含所述第一界面和所述第二界面的所述投屏界面。其他模块图中未示出。
该投屏装置还包括:
第二接收模块,接收控制设备的作用于所述第二设备的显示界面上的输入操作;其中,所述显示界面为所述第二设备显示所述投屏界面形成的。
控制信号发送模块,根据所述输入操作,向所述第一设备发送控制信号,其中,所述控制信号,用于触发所述第一设备响应所述输入操作。控制信号,携带有输入操作作用于显示界面的第一位置信息,其中,第一位置信息,用于供第一设备确定所述输入操作作用于第一界面或第二界面。
该投屏装置还包括:
像素个数比确定模块,用于根据投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,第二方向与第一方向垂直。
当所述像素个数比与第二设备在第一方向和第二方向上的像素个数比相等时,全屏显示投屏界面。
当像素个数比与所述第二设备在第一方向和第二方向上的像素个数比不等时,根据投屏界面在目标方向的像素个数与第二设备在第一方向的像素个数比,确定放大系数;其中,目标方向为投屏界面内第一方向和第二方向中所包含像素个数更多的方向;根据放大系数,放大投屏界面;并确定居中显示放大后的投屏界面。
该投屏装置还包括:
显示尺寸发送模块,用于将所述第二设备的显示尺寸发送给所述第一设备,其中,所述显示尺寸,用于供所述第一设备确定拼接所述第一界面和所述第二界面的拼接参数。
本申请的技术方案还提供了一种电子设备,包括:
处理器;
存储器,其存储有程序指令,当程序指令被处理器执行时,使得电子设备执行上述任一项实施例中的方法。
本申请的技术方案还提供了一种存储介质,其存储有程序,当程序由处理器运行时,执行上述任一项实施例中的方法。该存储介质包括非瞬间存储介质。
在另一实施例中,还提供了另一种投屏方法。
手机小视频或者手机直播是当前热门的移动互联网应用平台,用户观看手机直播或小视频的时间也越来越长。由于手机屏幕太小,长时间观看的体验是较差,将手机投屏到电视或电脑屏幕中进行观看,可以增加观赏的舒适度。然而,当前的手机直播间以及小视频都是竖屏界面,投放到电视上后,不能够完整的利用电视的显示器,。并且在进行互动时仍然要在手机上完成,观看体验和交互体验并不理想。
手机电视直播、小视频或购物直播被广泛应用,如何提高手机直播等手机界面在电视或电脑上的观看体验,已经越来越重要。
本发明公开实施例提出多维投屏展示和交互方案,当手机在直播或观看小视频以及有各种投屏需要时,不仅仅把手机屏幕的内容投射到电视或电脑上,而且可以将直播间不同的叠加显示层(Overlay)的内容,如观众互动、打赏展示、主播带货的货品细节、主播的小店,以及附近直播间或平台推荐的其它内容的界面,均投射到电视或电脑上。
本方案要求手机应用支持新型图层渲染框架实现手机应用的屏幕渲染。该框架支持将手机应用的多层显示层独立渲染并独立投放。在投屏时,可以方便的将不同显示层的内容独立组织,并可以根据需要按不同方式组合呈现到电视屏幕上,提高了用户的大屏观看体验。
本方案还支持控制设备,例如遥控器,对电视显示界面中不同区域的内容进行输入操作,然后进行控制。电视将输入操作的控制信号返回至手机,手机根据接收的控制信号进行第一界面和第二界面的控制。
具体地,可以在前台应用中预先设定第一界面和第二界面,第一界面和第二界面可以根据需要进行切换等。然后将第一界面和第二界面进行拼接,得到投屏界面。例如可以在设备显存(通常与内存共用)中创建新的合成画面对象,将不同界面的显存数据进行拼接,得到拼接后的投屏数据,通过该投屏数据可以将参与拼接的界面进行显示。即将第一界面和第二界面的数据进行拼接,得到投屏界面的数据。参考图5.
在得到投屏界面后可以通过投影接口、蓝牙、wifi等方式传输给电视等显示设备,即可完成多屏投影过程。
该方案可以讲手机应用呈现在屏幕上的内容分解为多层显示层,对多层显示层进行重新组织拼接并投屏到电视中。第二设备可以根据投屏界面的像素信息和第二设备的显示屏的像素信息,显示投屏界面。包括当多维手机内容投射到电视大屏时,可以重新渲染不同区域的内容,以适应电视画面,并和其它内容(视频或其它维度的投放内容)相匹配,甚至可以有多种展现和组织方式,如并列、三维、多宫格、左右切换,前后切换等。
将手机投屏后,无需再通过手机进行交互,而是可以通过电视遥控器与电视进行互动,实际的互动被同步到手机侧,从而实现完整的交互体验。
一方面,充分利用电视或电脑屏幕上多余的画面,另一方面,也增加了用户的观看体验,更重要的是,用户还可以通过电视遥控器或电脑鼠标对手机投屏界面的内容进行互动,如打赏、点赞、发信息、浏览小店、购物或者同时查阅其它直播或小视频内容等,从而大大提高了用户通过手机投屏到电视的观看体验和交互体验。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
在一些情况下,上述任一两个技术特征不冲突的情况下,可以组合成新的方法技术方案。
在一些情况下,上述任一两个技术特征不冲突的情况下,可以组合成新的设备技术方案。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种投屏方法,其特征在于,包括:
拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面;
将所述投屏界面,发送给第二设备。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将层叠的多个显示层中被显示的第一图层,确定为所述第一界面,将所述多个显示层中被所述第一图层遮挡的第二图层,确定为所述第二界面。
3.根据权利要求1或2所述的方法,其特征在于,所述第二界面与所述第一界面,具有内容关联性。
4.根据权利要求3所述的方法,其特征在于,
所述第一界面为:所述第一设备前台应用的主界面;
所述第二界面为:所述主界面上显示的入口所连接的界面;或者,所述第二界面为:所述主界面上展示内容的互动页面。
5.根据权利要求4所述的方法,其特征在于,所述入口包括:
链接地址;和/或,
跳转控件。
6.根据权利要求4所述的方法,其特征在于,所述互动页面包括:
显示所述主界面上展示内容的评论信息的评论页面;
显示所述主界面上展示内容的弹幕信息的弹幕页面;和/或,
显示所述主界面上展示标的物的详细内容的详页。
7.根据权利要求1所述的方法,其特征在于,所述第一界面为:所述第一设备前台应用被显示的界面;所述第二界面为:所述第一设备后台应用中设定应用的界面。
8.根据权利要求7所述的方法,其特征在于,所述设定应用包括:
即时通信应用;
或者,
邮件应用。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取拼接参数;其中,所述拼接参数至少包括以下至少之一:所述第二界面的个数、所述第一界面在所述投屏界面中的位置参数及所述第二界面的排列方式;
所述拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:
根据所述拼接参数,拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面。
10.根据权利要求9所述的方法,其特征在于,所述获取拼接参数,包括:
根据所述第二设备的显示尺寸,确定所述拼接参数。
11.根据权利要求1所述的方法,其特征在于,所述第二界面为多个;
所述拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:
居中设置所述第一界面,并将多个所述第二界面设置在所述第一界面的周围,形成拼接后的所述投屏界面。
12.根据权利要求1所述的方法,其特征在于,所述拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面,包括:
当检测到所述第一界面和所述第二界面中任意界面的内容更新时,拼接更新后的所述第一设备显示的第一界面和隐藏的第二界面,得到所述投屏界面。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第二设备返回的控制信号;
根据所述控制信号作用的第一界面或第二界面的展示内容,进行响应;
根据所述响应的结果,更新所述控制信号所作用的第一界面或所述第二界面的界面内容。
14.根据权利要求13所述的方法,其特征在于,
所述控制信号包括:所述第二设备检测的输入操作的第一位置信息;
所述根据所述控制信号作用的第一界面或第二界面的展示内容,进行响应,包括:
根据所述投屏界面的第一面积与所述第二设备显示投屏界面的第二面积之间的比值,将所述第一位置信息转换为第二位置信息;
根据所述第二位置信息,确定所述输入操作针对的所述第一界面或第二界面上的控件。
15.根据权利要求14所述的方法,其特征在于,所述根据所述响应的结果,更新所述控制信号所作用的第一界面或所述第二界面的界面内容,包括:
根据所述控件的内容,更新被所述输入操作针对的所述第一界面或所述第二界面。
16.一种投屏方法,其特征在于,包括:
接收第一设备发送的投屏界面,其中,所述投屏界面为:第一设备显示的第一界面和隐藏的第二界面拼接形成的;
放大显示包含所述第一界面和所述第二界面的所述投屏界面。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
接收控制设备的作用于所述第二设备的显示界面上的输入操作;其中,所述显示界面为所述第二设备显示所述投屏界面形成的;
根据所述输入操作,向所述第一设备发送控制信号,其中,所述控制信号,用于触发所述第一设备响应所述输入操作。
18.根据权利要求17所述的方法,其特征在于,所述控制信号,携带有所述输入操作作用于所述显示界面的第一位置信息,其中,所述第一位置信息,用于供所述第一设备确定所述输入操作作用于所述第一界面或所述第二界面。
19.根据权利要求16所述的方法,其特征在于,所述方法还包括:
根据所述投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,所述第二方向与所述第一方向垂直。
20.根据权利要求19所述的方法,其特征在于,所述根据所述投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,所述第二方向与所述第一方向垂直,包括:
当所述像素个数比与所述第二设备在第一方向和第二方向上的像素个数比相等时,全屏显示所述投屏界面。
21.根据权利要求19所述的方法,其特征在于,所述根据所述投屏界面的第一方向的像素个数与第二方向的像素个数比,确定是否全屏显示所述投屏界面,其中,所述第二方向与所述第一方向垂直,包括:
当所述像素个数比与所述第二设备在第一方向和第二方向上的像素个数比不等时,根据所述投屏界面在目标方向的像素个数与所述第二设备在所述第一方向的像素个数比,确定放大系数;其中,所述目标方向为所述投屏界面内第一方向和第二方向中所包含像素个数更多的方向;
根据所述放大系数,放大所述投屏界面;
并确定居中显示放大后的所述投屏界面。
22.根据权利要求16所述的方法,其特征在于,所述方法还包括:
将所述第二设备的显示尺寸发送给所述第一设备,其中,所述显示尺寸,用于供所述第一设备确定拼接所述第一界面和所述第二界面的拼接参数。
23.一种投屏装置,其特征在于,包括:
拼接模块,用于拼接第一设备显示的第一界面和隐藏的第二界面,得到投屏界面;
投屏模块,用于将所述投屏界面,发送给第二设备。
24.一种投屏装置,其特征在于,包括:
接收模块,用于接收第一设备发送的投屏界面,其中,所述投屏界面为:第一设备显示的第一界面和隐藏的第二界面拼接形成的;
显示模块,用于放大显示包含所述第一界面和所述第二界面的所述投屏界面。
25.一种电子设备,包括:
处理器;
存储器,其存储有程序指令,当所述程序指令被所述处理器执行时,使得所述电子设备执行如权利要求1~15或16~22任一项所述的方法。
26.一种存储介质,其存储有程序,当所述程序由处理器运行时,执行如权利要求1~15或16~22任一项所述的方法。
CN202010833253.2A 2020-08-18 2020-08-18 一种投屏方法、装置、电子设备及存储介质 Pending CN112261466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010833253.2A CN112261466A (zh) 2020-08-18 2020-08-18 一种投屏方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010833253.2A CN112261466A (zh) 2020-08-18 2020-08-18 一种投屏方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112261466A true CN112261466A (zh) 2021-01-22

Family

ID=74224701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010833253.2A Pending CN112261466A (zh) 2020-08-18 2020-08-18 一种投屏方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112261466A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915825A (zh) * 2021-02-08 2022-08-16 上海哔哩哔哩科技有限公司 消息展示方法及装置
WO2022206762A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种显示方法、电子设备和系统
WO2023109559A1 (zh) * 2021-12-13 2023-06-22 华为技术有限公司 一种显示方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130232437A1 (en) * 2012-03-04 2013-09-05 Lg Electronics Inc. Portable device and control method thereof
CN110515576A (zh) * 2019-07-08 2019-11-29 华为技术有限公司 显示控制方法及装置
CN110908627A (zh) * 2019-10-31 2020-03-24 维沃移动通信有限公司 投屏方法及第一电子设备
CN111327769A (zh) * 2020-02-25 2020-06-23 北京小米移动软件有限公司 多屏互动方法及装置、存储介质
CN111432070A (zh) * 2020-03-17 2020-07-17 北京百度网讯科技有限公司 应用投屏控制方法、装置、设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130232437A1 (en) * 2012-03-04 2013-09-05 Lg Electronics Inc. Portable device and control method thereof
CN110515576A (zh) * 2019-07-08 2019-11-29 华为技术有限公司 显示控制方法及装置
CN110908627A (zh) * 2019-10-31 2020-03-24 维沃移动通信有限公司 投屏方法及第一电子设备
CN111327769A (zh) * 2020-02-25 2020-06-23 北京小米移动软件有限公司 多屏互动方法及装置、存储介质
CN111432070A (zh) * 2020-03-17 2020-07-17 北京百度网讯科技有限公司 应用投屏控制方法、装置、设备和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915825A (zh) * 2021-02-08 2022-08-16 上海哔哩哔哩科技有限公司 消息展示方法及装置
WO2022206762A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种显示方法、电子设备和系统
WO2023109559A1 (zh) * 2021-12-13 2023-06-22 华为技术有限公司 一种显示方法及电子设备

Similar Documents

Publication Publication Date Title
CN112261466A (zh) 一种投屏方法、装置、电子设备及存储介质
US10469891B2 (en) Playing multimedia content on multiple devices
US8255825B2 (en) Content aware adaptive display
CN107113477B (zh) 移动图像回放方法、设备及计算机可读存储介质
US8736658B2 (en) Image-based video conference control method, terminal, and system
JP5732129B2 (ja) 拡大表示ナビゲーション
CN107040808B (zh) 用于视频播放中弹幕图片的处理方法和装置
CN112437317B (zh) 一种直播画面切换方法、装置以及系统
EP2213096A2 (en) Common user interface structure
CN114610191A (zh) 界面信息提供方法、装置及电子设备
CN109754275B (zh) 数据对象信息提供方法、装置及电子设备
US20240176472A1 (en) Display control device and display control method
US20100201713A1 (en) Image display apparatus and method thereof
EP4380163A1 (en) Livestreaming method and apparatus, storage medium, and electronic device
US11928381B2 (en) Display device and operating method thereof
JP2021530922A (ja) 再生装置の動作を変更するリモコン信号の検出に応答した置換メディアコンテンツ再生の変更
WO2011018888A1 (ja) 表示制御装置及び表示制御方法
KR20110010012A (ko) 이미지 결합을 이용한 사용자 인터페이스 표시 방법
CN105208453A (zh) 一种显示电视互动系统互动反馈信息的方法及装置
KR20150090314A (ko) 분할영역 변경 모듈을 갖는 스마트 디스플레이를 이용한 광고 방법
US20240205507A1 (en) Network livestreaming method and apparatus, storage medium, and electronic device
KR20180039939A (ko) 디스플레이 장치 및 캡처 이미지 생성 방법
US20100088602A1 (en) Multi-Application Control
KR20150044861A (ko) 스마트 디스플레이
CN116233526A (zh) 一种显示设备及信号源列表显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122