CN105320480B - 屏幕播送方法以及使用该方法的系统与装置 - Google Patents

屏幕播送方法以及使用该方法的系统与装置 Download PDF

Info

Publication number
CN105320480B
CN105320480B CN201410312476.9A CN201410312476A CN105320480B CN 105320480 B CN105320480 B CN 105320480B CN 201410312476 A CN201410312476 A CN 201410312476A CN 105320480 B CN105320480 B CN 105320480B
Authority
CN
China
Prior art keywords
screen
input
image
input element
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410312476.9A
Other languages
English (en)
Other versions
CN105320480A (zh
Inventor
廖芳文
陈炳宏
苗本泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN105320480A publication Critical patent/CN105320480A/zh
Application granted granted Critical
Publication of CN105320480B publication Critical patent/CN105320480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

屏幕播送方法以及使用该方法的系统与装置。本发明的实施例提出一种屏幕播送方法，由屏幕播送来源中的处理单元执行，包含以下步骤。当屏幕播送来源连接屏幕播送接收端后，提取显示在屏幕播送来源的显示单元上的第一画面图像。传送第一画面图像以及第一画面图像中的第一输入元件的位置信息给屏幕播送接收端，使得屏幕播送接收端能够依据第一画面图像以及位置信息绘制第二画面图像，其中，第二画面图像包含拥有输入字串的第二输入元件。

Description

屏幕播送方法以及使用该方法的系统与装置
技术领域
本发明涉及一种屏幕播送技术，特别涉及一种屏幕播送方法以及使用该方法的系统与装置。
背景技术
屏幕播送(screencasting)技术可利用有线或无线的方式传送视频至桌上型计算机、平板计算机、手机等装置，或从这些装置接收视频。例如，屏幕播送技术让使用者可即时地将手机或平板计算机的画面复制显示在电视上，或者即时分享笔记型计算机的画面至会议室投影机。传送及接收装置都必须支持屏幕播送才能致能此技术。传送装置又可称为屏幕播送来源，提供复制的计算机画面给接收装置进行播放，接收装置又可称为屏幕播送接收端。使用者可通过设置在接收装置的输入设备进行讯息输入，例如键盘、按键板等。传统上，输入的讯息无法直接在接收装置的显示单元上更新画面。接收装置需要将输入讯息送给传送装置，驱使传送装置更新自己的计算机画面，接着，传送装置提供更新后的计算机画面以供显示。然而，如上所述的讯息交换会降低接收装置的画面更新效率。因此，需要一种屏幕播送方法以及使用该方法的装置，解决以上所述的缺陷。
发明内容
本发明的实施例提出一种屏幕播送方法，由屏幕播送来源中的处理单元执行，包含以下步骤。当屏幕播送来源连接屏幕播送接收端后，提取显示在屏幕播送来源的显示单元上的第一画面图像。传送第一画面图像以及第一画面图像中的第一输入元件的位置信息给屏幕播送接收端，使得屏幕播送接收端能够依据第一画面图像以及位置信息绘制第二画面图像，其中，第二画面图像包含拥有输入字串的第二输入元件。
本发明的实施例提出一种屏幕播送方法，由屏幕播送接收端中的处理单元执行，包含以下步骤。当屏幕播送来源连接屏幕播送接收端后，从屏幕播送来源接收在屏幕播送来源的第一显示单元所显示的第一画面图像以及第一画面图像中的第一输入元件的位置信息；取得使用者通过屏幕播送接收端的输入装置输入的字串；将字串合并至第二输入元件；依据位置信息将第二输入元件合并至第一画面图像来产生第二画面图像；以及将第二画面图像显示在屏幕播送接收端的第二显示单元。
本发明的实施例提出一种屏幕播送系统，包含屏幕播送来源。屏幕播送来源包含显示单元，用以显示第一画面图像，以及处理单元。当屏幕播送来源连接屏幕播送接收端后，处理单元提取第一画面图像；传送第一画面图像以及第一画面图像中的第一输入元件的位置信息给屏幕播送接收端，使得屏幕播送接收端能够依据第一画面图像以及位置信息绘制第二画面图像，第二画面图像包含拥有输入字串的第二输入元件。
本发明的实施例提出一种屏幕播送装置，作为屏幕播送接收端，包含：第一显示单元；输入装置；以及处理单元。当屏幕播送来源连接屏幕播送接收端后，处理单元从屏幕播送来源接收在屏幕播送来源的第二显示单元所显示的第一画面图像以及第一画面图像中的第一输入元件的位置信息；取得使用者通过输入装置输入的字串；将字串合并至第二输入元件；依据位置信息将第二输入元件合并至第一画面图像来产生第二画面图像；以及将第二画面图像显示在第一显示单元。
附图说明
图1是依据本发明实施例的屏幕播送系统的系统架构图。
图2是依据本发明实施例的电子装置的系统架构图。
图3是依据本发明实施例的执行在手机中的处理单元的画面图像的传送方法流程图。
图4是依据本发明实施例的执行在手机中的处理单元的输入元件信息的传送方法流程图。
图5是依据本发明实施例的画面图像。
图6是依据本发明实施例的执行在桌上型计算机中的处理单元的画面图像的绘制方法流程图。
图7是依据本发明实施例的执行在桌上型计算机中的处理单元的输入元件信息的接收方法流程图。
图8是依据本发明实施例的屏幕播送系统的软件架构示意图。
图9是依据本发明实施例的画面图像产生示意图。
【符号说明】
110 手机；
130 桌上型计算机；
131 主机；
133 显示装置；
135 键盘；
151 手机屏幕画面；
153 手机屏幕画面；
210 处理单元；
220 显示单元；
230 输入装置；
240 存储装置；
250 存储器；
260 通信接口；
S311～S315 方法步骤；
S411～S453 浏览列；
500 画面图像；
510 输入框；
510p 起始坐标；
510h 高度；
510w 宽度；
530 提交按钮；
550 虚拟键盘；
S611～S657 方法步骤；
S711～S753 方法步骤；
811 系统按键事件；
813 画面绘制器；
821 屏幕播送接收端应用程序；
823 输入按键码接收模块；
825 输入元件产生模块；
827 屏幕画面接收模块；
829 合成模块；
831 内核绘图驱动程序；
841 外观投递员；
851 外观架构；
861 屏幕播送来源应用程序；
863 位置信息传送模块；
865 屏幕画面传送模块；
911、913 画面图像；
911a 输入框；
921、923 输入框；
931 输入字串。
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、操作处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、操作处理、元件、组件，或以上的任意组合。
在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
本发明实施例运行于屏幕播送系统。图1是依据本发明实施例的屏幕播送系统的系统架构图，包含手机110及桌上型计算机130。桌上型计算机可包含主机131、显示装置133及键盘135。手机110及显示装置133具有显示面板(例如，薄膜液晶显示面板、有机发光二极管面板或其他具显示能力的面板)，用以显示输入的字元、数字、符号、拖曳鼠标的移动轨迹、绘制的图案或应用程序所提供的画面，提供给使用者观看。手机110可使用无线通信的方式(例如，无线高保真直连Wi-Fi Connect、蓝牙Bluetooth等)连接上桌上型计算机130，并且使用屏幕播送技术(例如无线图像传输Miracast等)将画面151复制显示在显示装置130的区域153。手机110又可称为屏幕播送来源，而桌上型计算机130又可称为屏幕播送接收端。手机110和桌上型计算机130中的应用程序可运行在不同种类的操作系统上，例如，手机110运行于谷歌
Figure BDA0000531864940000051
安卓操作系统，而桌上型计算机130运行于微软
Figure BDA0000531864940000053
视窗
Figure BDA0000531864940000054
操作系统。虽然本发明实施例的屏幕播送来源以手机110为例，但本领域技术人员也可以实施在平板计算机、笔记型计算机等可携式装置。此外，虽然本发明实施例的屏幕播送接收端以桌上型计算机130为例，但本领域技术人员也可以实施在平板计算机、笔记型计算机等相较于屏幕播送来源具有较大显示面板的电子装置。屏幕播送来源与屏幕播送接收端间的连结亦不限于使用无线通信技术，也可以有线的方式连接，本发明并不以此为限。
图2是依据本发明实施例的电子装置的系统架构图。此系统架构可实施于手机110、桌上型计算机130或其他具备运算能力的电子装置。处理单元210可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单一处理器、具平行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行程序代码或软件时，提供之后所描述的功能。系统架构还包含存储器250用以存储执行过程中需要的数据，例如，变量、数据表(datatables)等，以及存储单元240，用以存储各式各样的电子文件，例如，网页、文件、音频文件、视频文件等。系统架构还包含通信接口260，让处理单元210可藉以跟其他电子装置进行沟通。输入装置230可包含触控面板，使用者可在触控面板上制造手势来控制执行中的应用程序手势可包含单击、双击、单指拖曳、多指拖曳等，但不限定于此。输入装置230也可包含键盘以及鼠标等设备。
图3是依据本发明实施例的执行在手机110中的处理单元210的画面图像的传送方法流程图。此方法在手机110连结上桌上型计算机130并开启屏幕播送功能时周期性地执行。此方法实施于屏幕播送来源的主线程(main thread，又称之为“主执行绪”)，当屏幕播送功能被开启时被处理单元210建立并执行。此方法包含一个周期性执行的循环，例如，每秒40次，直到屏幕播送功能失效为止。在每一回合中，处理单元210提取显示单元220上的画面图像(步骤S311)，将画面图像打包(packetize)并传送至桌上型计算机130(步骤S313)，以及判断屏幕播送功能是否失效(步骤S315)。当屏幕播送功能尚未失效时(步骤S315中“否”的路径)，继续下一回合的处理；否则(步骤S315中“是”的路径)，结束整个流程。在步骤S311中，画面图像可为压缩图像，例如联合图像专家小组(JPEG，Joint PhotographicExperts Group)图像，或无压缩图像。在步骤S313中，画面图像可打包成使用者数据通信协议(UDP，User Datagram Protocol)分组，并使用有线或无线通信方式传送至桌上型计算机130。在步骤S315中，若手机110与桌上型计算机130之间的连接中断或屏幕播送功能被使用者关闭，则判定屏幕播送功能失效。
图4是依据本发明实施例的执行在手机110中的处理单元210的输入元件信息的传送方法流程图。此方法实施于屏幕播送来源的输入元件线程(input component thread)，当包含输入元件的应用程序初始化时被处理单元210建立并执行。输入元件可以为输入框(input box)，用以让使用者输入网址、搜寻字串、文字讯息等。图5是依据本发明实施例的画面图像。手机110中的显示单元220显示画面图像500，包含输入框510、提交按钮530以及虚拟键盘550。首先，处理单元210周期性地判断输入元件是否关闭(步骤S411)以及判断使用者是否选择输入元件准备进行输入(步骤S413)。当判定输入元件关闭时(步骤S411中“是”的路径)，结束整个流程。当判定使用者选择输入元件准备进行输入时(步骤S411中“是”的路径)，执行屏幕播送的文字输入相关处理(步骤S431至S453)；否则(步骤S411中“否”的路径)，继续进行下一回合的判断。在步骤S411中，举例来说，当包含输入框510的应用程序被关闭时，判定输入元件关闭。在步骤S413中，举例来说，当检测到输入框510被点击时，则判定使用者选择输入元件准备进行输入。
当判定使用者选择输入元件准备进行输入后(步骤S411中“是”的路径)，传送输入警报(input alarm)至桌上型计算机130，用以通知使用者即将进行输入(步骤S431)，以及传送输入元件的显示区域信息给桌上型计算机130，用以让桌上型计算机130推测出输入元件位于画面图像中的何处(步骤S433)。例如，输入元件的显示区域信息可包含输入框510的起始坐标510p(亦即是最左上角的坐标)、宽度510w以及高度510h。接着，处理单元210周期性地判断使用者是否结束输入(步骤S451)。若是(步骤S451中“是”的路径)，传送输入警报结束(end of input alarm)至桌上型计算机130，用以通知使用者已结束输入(步骤S453)；否则(步骤S451中“否”的路径)，继续进行下一回合的判断。在步骤S451中，举例来说，当检测到提交按钮530被点击时，则判定使用者已结束输入。在此须注意的是，步骤S431中的输入警报以及步骤S451中的输入警报结束可乘载于使用者数据通信协议分组，并使用有线或无线通信方式传送至桌上型计算机130。
图6是依据本发明实施例的执行在桌上型计算机130中的处理单元210的画面图像的绘制方法流程图。此方法在手机110连结上桌上型计算机130并开启屏幕播送功能时周期性地执行。此方法实施于屏幕播送接收端的主线程，当屏幕播送功能被开启时被处理单元210建立并执行。此方法包含一个周期性执行的循环，例如，每秒40次，直到屏幕播送功能失效为止。在在每一回合中，处理单元210解开从手机110传来的分组并取得其中乘载的画面图像(步骤S611)，接着判断输入警报标志是否为“真”值(步骤S613)。关于手机110传送画面图像的细节请参考之前步骤S313的说明。在步骤S613，当输入警报标志为“真”值时，代表使用者正于手机110的画面中的输入元件输入文字、数字或特殊符号。输入警报标志的设定将在以下段落详细描述。当判定输入警报标志为“假”值(步骤S613中“否”的路径)，绘制取得的画面图像在显示单元220(亦即是显示装置133)(步骤S631)。在步骤S631中，由于使用者并不进行输入动作，所以处理单元210可直接将取得的画面图像绘制到显示单元220，而不需要在取得的画面图像上进行任何的处理。当判定输入警报标志为“真”值(步骤S613中“是”的路径)，依据接收到的输入元件的显示区域信息准备不包含输入元件的初始画面图像(步骤S651)，依据接收到的输入元件的显示区域信息准备输入元件图像(步骤S653)，由本地输入事件中取得输入按键码(key code)并据以取得包含文字、数字、特殊符号或以上任意组合的字串(步骤S655)，合成初始画面图像、输入元件图像以及字串以产生画面图像(步骤S657)，以及绘制合成的画面图像于显示单元220(步骤S631)。在步骤S651至S657，以及S631中，由于使用者使用桌上型计算机130的输入装置230进行输入动作，所以处理单元210可依据输入元件的显示区域信息重新产生并绘制包含即时输入字串的画面图像，提升画面更新效率。在步骤S655中，桌上型计算机130的处理单元210可将输入按键码通过有线或无线通信的方式使用既定的控制频道传送给手机110，使得手机110能将相应的字串绘制在画面图像的输入元件中。控制频道可以是使用者输入反馈频道(UIBC，User Input BackChannel)。绘制画面图像于桌上型计算机130的显示单元220后(步骤S631)，处理单元210判断屏幕播送功能是否失效(步骤S633)。当屏幕播送功能尚未失效时(步骤S633中“否”的路径)，继续下一回合的处理(步骤S633)；否则(步骤S633中“是”的路径)，结束整个流程。在步骤S633中，若手机110与桌上型计算机130之间的连接中断或屏幕播送功能被使用者关闭，则判定屏幕播送功能失效。
图7是依据本发明实施例的执行在桌上型计算机130中的处理单元210的输入元件信息的接收方法流程图。此方法实施于在屏幕播送接收端的输入警报与数据线程(inputalarm and data thread)，当包含输入元件的应用程序初始化时被处理单元210建立并执行。首先，处理单元210判断是否已从屏幕播送来源接收到任何数据(步骤S711)。若是则继续进行接收到数据之后的处理(步骤S713至S753)；否则结束整个流程。关于手机110传送数据的细节请参考之前步骤S431、S433及S453的说明。在此须注意的是，桌上型计算机130的处理单元210会将由手机110接收到的输入警报、输入警报结束以及输入元件的显示区域信息存储在桌上型计算机130的存储器250或存储装置240。当处理单元210检测到存储器250或存储装置240中存储了任何输入警报、输入警报结束以及输入元件的显示区域信息，判定已从屏幕播送来源接收到数据。
接着，处理单元210判断已接收的数据中是否包含输入警报(步骤S713)。若是，则将输入警报标志设为“真”值(步骤S731)以及传送输入元件的显示区域信息给主线程(步骤S733)。若判定已接收的数据并不包含输入警报(步骤S713中“否”的路径)，处理单元210还判断数据中是否包含输入警报结束(步骤S715)。若是，则将输入警报标志设为“假”值(步骤S751)以及清除输入元件的显示区域信息(步骤S753)；否则，继续进行下一回合的判断(步骤S711)。
图8是依据本发明实施例的屏幕播送系统的软件架构示意图。手机110中包含屏幕播送来源应用程序861，用以提取手机110的显示单元220上的画面图像，周期性地传送画面图像给桌上型计算机130。屏幕播送来源应用程序861在画面图像中的显示元件被使用者选择之后，传送输入元件的位置信息给桌上型计算机130。手机110的显示单元220上的画面图像通过内核绘图驱动程序(kernel graphics driver)831、外观投递员(SurfaceFlinger)841以及外观架构(surface framework)851层层传递至屏幕播送来源应用程序861。屏幕播送来源应用程序861通过屏幕画面传送模块865将提取到的画面图像传送到桌上型计算机130的屏幕画面接收模块827。屏幕画面传送模块865通过用以驱动通信接口260的通信驱动程序以有线或无线通信方式传送画面图像。屏幕播送来源应用程序861通过位置信息传送模块863将画面图像中的输入元件的位置信息传送到桌上型计算机130的输入元件产生模块825。位置信息传送模块863通过用以驱动通信接口260的通信驱动程序以有线或无线通信方式传送输入元件的位置信息。画面图像、输入元件以及输入元件的位置信息可参考图5的说明。
桌上型计算机130中包含屏幕播送接收端应用程序821，用以协调输入元件产生模块825以及屏幕画面接收模块827依据屏幕播送来源所传来的输入元件的位置信息重新产生包含使用者输入字串的屏幕播送来源的画面图像，并且绘制在桌上型计算机130的显示单元220。使用者使用输入装置230进行输入时，触发系统按键事件(system key event)821。输入按键码接收模块823接着依据系统按键事件811中的按键码产生包含文字、数字、特殊符号或以上任意组合的字串，并分别传送到合成模块(mixing module)829以及屏幕播送接收端应用程序821。屏幕播送接收端应用程序821将字串通过既定的控制频道传送给手机110，例如使用者输入反馈频道(UIBC)。合成模块829从输入元件产生模块825取得输入元件的位置信息，从屏幕画面接收模块827取得手机110上的画面图像，以及从输入按键码接收模块823取得输入字串后，根据以上取得的画面图像、位置信息及输入字串重新产生包含输入字串的画面图像，接着，驱动画面绘制器(screen drawer)813将新的画面图像绘制在桌上型计算机130的显示单元220。图9是依据本发明实施例的画面图像产生示意图。屏幕画面接收模块827将接收到的手机110上包含输入框911a上的画面图像911传送给合成模块829。输入元件产生模块825依据从位置信息传送模块863传来的输入元件的位置信息产生输入框921，并且传送产生的输入框921以及输入元件的位置信息给合成模块829。合成模块829从输入按键码接收模块823取得输入字串931后，将输入字串931贴到输入框921来产生新的输入框923，接着，依据输入元件的位置信息将新的输入框923覆盖在画面图像911的输入框911a上，用以产生新的画面图像913。
虽然图2中包含了以上描述的元件，但不排除在不违反发明的精神下，使用更多其他的附加元件，已达成更佳的技术效果。此外，虽然第3、4、6、7图的方法流程图采用特定的顺序来执行，但是在不违法发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限缩本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，本申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。

Claims (17)

1.一种屏幕播送方法，由屏幕播送来源中的处理单元执行，包含：
当上述屏幕播送来源连接屏幕播送接收端后，提取显示在上述屏幕播送来源的显示单元上的第一画面图像并传送上述第一画面图像给上述屏幕播送接收端；以及
判定输入元件是否被选择；
当判定上述输入元件被选择后，传送输入警报、上述第一画面图像以及上述第一画面图像中的第一输入元件的显示区域信息给上述屏幕播送接收端，使得上述屏幕播送接收端能够执行以下操作：
响应于接收到上述输入警报，依据接收到的上述第一输入元件的上述显示区域信息准备不包含上述第一输入元件的初始画面图像，依据接收到的上述第一输入元件的上述显示区域信息准备输入元件图像，取得本地输入的字串，并合成上述初始画面图像、上述输入元件图像以及上述字串以绘制第二画面图像。
2.如权利要求1所述的屏幕播送方法，其中，上述显示区域信息包含上述第一输入元件的起始坐标、宽度以及高度。
3.如权利要求2所述的屏幕播送方法，还包含：
当在上述屏幕播送来源处判定结束输入后，传送输入警报结束至上述屏幕播送接收端，用以通知上述屏幕播送接收端在上述屏幕播送接收端处已结束输入。
4.一种屏幕播送方法，由屏幕播送接收端中的处理单元执行，包含：
当屏幕播送来源连接上述屏幕播送接收端后，从上述屏幕播送来源接收在上述屏幕播送来源的第一显示单元所显示的第一画面图像以及上述第一画面图像中的第一输入元件的显示区域信息；
判断是否接收到输入警报；
响应于接收到上述输入警报，依据接收到的上述第一输入元件的上述显示区域信息准备不包含上述第一输入元件的初始画面图像，依据接收到的上述第一输入元件的上述显示区域信息准备输入元件图像，取得本地输入的字串，并合成上述初始画面图像、上述输入元件图像以及上述字串以绘制第二画面图像。
5.如权利要求4所述的屏幕播送方法，还包含：
当上述屏幕播送来源连接上述屏幕播送接收端以及接收到输入警报结束后，从上述屏幕播送接收端接收在上述屏幕播送来源的上述第一显示单元显示的上述第一画面图像，以及在上述屏幕播送接收端的第二显示单元上显示上述第一画面图像。
6.如权利要求4所述的屏幕播送方法，还包含：
传送上述字串给上述屏幕播送来源，使得上述屏幕播送来源能够据以更新上述第一显示单元的上述第一画面图像。
7.如权利要求6所述的屏幕播送方法，其中，上述字串通过使用者输入反馈频道传送给上述屏幕播送来源。
8.一种屏幕播送系统，包含：
屏幕播送来源，包含：
第一显示单元，显示第一画面图像；以及
第一处理单元，当上述屏幕播送来源连接屏幕播送接收端后，提取上述第一画面图像并传送上述第一画面图像给上述屏幕播送接收端；判定输入元件是否被选择；当判定上述输入元件被选择后，传送输入警报、上述第一画面图像以及上述第一画面图像中的第一输入元件的显示区域信息给上述屏幕播送接收端，使得上述屏幕播送接收端能够执行以下操作：
响应于接收到上述输入警报，依据接收到的上述第一输入元件的上述显示区域信息准备不包含上述第一输入元件的初始画面图像，依据接收到的上述第一输入元件的上述显示区域信息准备输入元件图像，取得本地输入的字串，并合成上述初始画面图像、上述输入元件图像以及上述字串以绘制第二画面图像。
9.如权利要求8所述的屏幕播送系统，其中，上述显示区域信息包含上述第一输入元件的起始坐标、宽度以及高度。
10.如权利要求9所述的屏幕播送系统，其中，上述第一处理单元还用于当在上述屏幕播送来源处判定结束输入后，传送输入警报结束至上述屏幕播送接收端，用以通知上述屏幕播送接收端在上述屏幕播送接收端处已结束输入。
11.如权利要求9所述的屏幕播送系统，还包含：
上述屏幕播送接收端，包含：
第二显示单元；
输入装置；以及
第二处理单元，当上述屏幕播送来源连接上述屏幕播送接收端后，从上述屏幕播送来源接收在上述第一显示单元所显示的上述第一画面图像以及上述第一画面图像中的第一输入元件的显示区域信息；判断是否接收到输入警报；响应于接收到上述输入警报，依据接收到的上述第一输入元件的上述显示区域信息准备不包含上述第一输入元件的初始画面图像，依据接收到的上述第一输入元件的上述显示区域信息准备输入元件图像，取得本地输入的字串，并合成上述初始画面图像、上述输入元件图像以及上述字串以绘制第二画面图像。
12.如权利要求11所述的屏幕播送系统，其中，上述第二处理单元还当上述屏幕播送来源连接上述屏幕播送接收端以及接收到输入警报结束后，从上述屏幕播送接收端接收于上述屏幕播送来源的上述第一显示单元显示的上述第一画面图像，以及在上述屏幕播送接收端的上述第二显示单元上显示上述第一画面图像。
13.如权利要求12所述的屏幕播送系统，其中，上述第二处理单元传送上述字串给上述屏幕播送来源，使得上述屏幕播送来源能够据以更新上述第一显示单元的上述第一画面图像。
14.如权利要求13所述的屏幕播送系统，其中，上述字串通过一使用者输入反馈频道传送给上述屏幕播送来源。
15.一种屏幕播送装置，作为屏幕播送接收端，包含：
第一显示单元；
输入装置；以及
处理单元，当屏幕播送来源连接上述屏幕播送接收端后，从上述屏幕播送来源接收在上述屏幕播送来源的第二显示单元所显示的第一画面图像以及上述第一画面图像中的第一输入元件的显示区域信息；判断是否接收到输入警报；响应于接收到上述输入警报后，依据接收到的上述第一输入元件的上述显示区域信息准备不包含上述第一输入元件的初始画面图像，依据接收到的上述第一输入元件的上述显示区域信息准备输入元件图像，取得本地输入的字串，并合成上述初始画面图像、上述输入元件图像以及上述字串以绘制第二画面图像。
16.如权利要求15所述的屏幕播送装置，其中，上述处理单元还当上述屏幕播送来源连接上述屏幕播送接收端以及接收到输入警报结束后，从上述屏幕播送接收端接收于上述屏幕播送来源的上述第二显示单元显示的上述第一画面图像，以及在上述屏幕播送接收端的上述第一显示单元上显示上述第一画面图像。
17.如权利要求16所述的屏幕播送装置，其中，上述处理单元传送上述字串给上述屏幕播送来源，使得上述屏幕播送来源能够据以更新上述第二显示单元的上述第一画面图像。
CN201410312476.9A 2014-06-18 2014-07-02 屏幕播送方法以及使用该方法的系统与装置 Active CN105320480B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103120980 2014-06-18
TW103120980A TWI610221B (zh) 2014-06-18 2014-06-18 螢幕播送方法以及使用該方法的系統與裝置

Publications (2)

Publication Number Publication Date
CN105320480A CN105320480A (zh) 2016-02-10
CN105320480B true CN105320480B (zh) 2020-03-03

Family

ID=54870877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410312476.9A Active CN105320480B (zh) 2014-06-18 2014-07-02 屏幕播送方法以及使用该方法的系统与装置

Country Status (3)

Country Link
US (1) US10327027B2 (zh)
CN (1) CN105320480B (zh)
TW (1) TWI610221B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10608864B2 (en) * 2011-08-24 2020-03-31 Barco Limited Method of establishing paid connection using screen mirroring application between multi-platforms
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN109739450B (zh) * 2018-04-08 2020-03-27 北京字节跳动网络技术有限公司 一种交互方法及装置
CN109275027A (zh) * 2018-09-26 2019-01-25 Tcl海外电子（惠州）有限公司 视频的语音输出方法、电子播放设备及存储介质
CN110417992B (zh) * 2019-06-20 2021-02-12 华为技术有限公司 一种输入方法、电子设备和投屏系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058584A1 (en) * 2011-10-21 2013-04-25 Samsung Electronics Co., Ltd. Method and apparatus for sharing contents between devices
CN103577097A (zh) * 2012-07-26 2014-02-12 Lg电子株式会社 终端及在终端中共享笔迹的方法
CN103702152A (zh) * 2013-11-29 2014-04-02 康佳集团股份有限公司 一种机顶盒与移动终端共享触摸屏的方法和系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649104A (en) * 1993-03-19 1997-07-15 Ncr Corporation System for allowing user of any computer to draw image over that generated by the host computer and replicating the drawn image to other computers
CN1739100A (zh) * 2003-02-03 2006-02-22 Mvp株式会社 同步程序
US7701460B2 (en) * 2004-11-15 2010-04-20 Hewlett-Packard Development Company, L.P. Graphics systems and methods
US20080195762A1 (en) * 2007-02-13 2008-08-14 Wood Michael C Multifunction data entry device and method
US20100037151A1 (en) * 2008-08-08 2010-02-11 Ginger Ackerman Multi-media conferencing system
KR101617208B1 (ko) * 2009-12-24 2016-05-02 삼성전자주식회사 텍스트 입력 및 편집 작업을 수행하는 입력 디바이스와 디스플레이장치 및 그 방법들
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
JP5918270B2 (ja) * 2011-01-14 2016-05-18 サムスン エレクトロニクス カンパニー リミテッド ワイファイダイレクト通信方式におけるシンクデバイスからソースデバイスにユーザの入力を送信するための方法及び装置
WO2012099338A2 (ko) * 2011-01-18 2012-07-26 엘지전자 주식회사 사용자 입력 전달 방법 및 그를 이용한 장치
US9065876B2 (en) * 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
JP5772023B2 (ja) * 2011-02-04 2015-09-02 ソニー株式会社 情報処理システム及び情報処理方法
KR101770206B1 (ko) * 2011-04-06 2017-08-22 엘지전자 주식회사 이동 단말기 및 이를 이용한 사용자 인터페이스 제공 방법
US8990677B2 (en) * 2011-05-06 2015-03-24 David H. Sitrick System and methodology for collaboration utilizing combined display with evolving common shared underlying image
JP5209808B2 (ja) * 2011-06-14 2013-06-12 シャープ株式会社 システム、テレビジョン受像機、情報端末、制御方法、プログラム、及び記録媒体
US10976981B2 (en) * 2011-07-15 2021-04-13 Vmware, Inc. Remote desktop exporting
US9948988B2 (en) * 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
TW201317879A (zh) * 2011-10-20 2013-05-01 Magic Control Technology Corp 觸控裝置之同步操作系統及方法
EP2784641B1 (en) * 2011-11-24 2018-11-28 LG Electronics Inc. User interface display method and device using same
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
KR101340780B1 (ko) * 2012-02-29 2013-12-11 주식회사 팬택 데이터 공유 시스템 및 방법
JP6015086B2 (ja) * 2012-04-17 2016-10-26 株式会社リコー 情報共有装置、情報共有システム、描画処理方法及びプログラム
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
WO2014129378A1 (ja) * 2013-02-20 2014-08-28 株式会社ソニー・コンピュータエンタテインメント 文字列入力システム
JP2014232426A (ja) * 2013-05-29 2014-12-11 株式会社東芝 文字入力方法、電子機器およびプログラム
KR102088384B1 (ko) * 2013-09-04 2020-05-28 삼성전자주식회사 디스플레이 기기의 제어 방법, 그에 따른 싱크 기기 및 그에 따른 미러링 시스템
JP2015080025A (ja) * 2013-10-15 2015-04-23 株式会社東芝 電子機器および通信制御方法
KR102107404B1 (ko) * 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
US9257097B2 (en) * 2013-12-23 2016-02-09 Qualcomm Incorporated Remote rendering for efficient use of wireless bandwidth for wireless docking
TWI540864B (zh) * 2014-03-20 2016-07-01 緯創資通股份有限公司 資訊傳輸方法與無線顯示系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058584A1 (en) * 2011-10-21 2013-04-25 Samsung Electronics Co., Ltd. Method and apparatus for sharing contents between devices
CN103577097A (zh) * 2012-07-26 2014-02-12 Lg电子株式会社 终端及在终端中共享笔迹的方法
CN103702152A (zh) * 2013-11-29 2014-04-02 康佳集团股份有限公司 一种机顶盒与移动终端共享触摸屏的方法和系统

Also Published As

Publication number Publication date
US20150373389A1 (en) 2015-12-24
TW201601058A (zh) 2016-01-01
CN105320480A (zh) 2016-02-10
US10327027B2 (en) 2019-06-18
TWI610221B (zh) 2018-01-01

Similar Documents

Publication Publication Date Title
CN105320480B (zh) 屏幕播送方法以及使用该方法的系统与装置
US9535595B2 (en) Accessed location of user interface
EP3647922A1 (en) User terminal device and method for controlling the user terminal device thereof
TWI515646B (zh) 擴展螢幕模式下之應用程式運作方法以及使用該方法的平板電腦
US10403235B2 (en) Methods for screen-sharing and apparatuses using the same
US9389884B2 (en) Method and apparatus for providing adaptive wallpaper display for a device having multiple operating system environments
US20220398059A1 (en) Multi-window display method, electronic device, and system
US10359921B2 (en) Methods for transceiving data with client devices via dynamically determined TCP (transmission control protocal) port numbers when operating interactive whiteboards and apparatuses using the same
CN105718189B (zh) 电子装置以及使用该电子装置显示网页的方法
EP3215915B1 (en) User terminal device and method for controlling user terminal device thereof
CN110737374A (zh) 操作方法及电子设备
US11455075B2 (en) Display method when application is exited and terminal
US20190065030A1 (en) Display apparatus and control method thereof
US20150261431A1 (en) Information terminal
JP2020067977A (ja) 情報処理装置およびプログラム
US11249640B2 (en) Electronic apparatus and controlling method thereof
KR20170014589A (ko) 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
JP6221214B2 (ja) システム、端末装置および画像処理方法
US20170192673A1 (en) Information processing apparatus, information processing method, and information processing program
US20190045006A1 (en) Electronic distribution system and apparatus that displays a screen synchronized with a screen of another apparatus
CN111708533B (zh) 在应用瘦客户端中设置鼠标显示状态的方法及装置
JP6259225B2 (ja) 電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システム
CN111949150A (zh) 控制外设切换方法、装置、存储介质及电子设备
TW201602909A (zh) 應用程式分享方法以及使用該方法的系統
US10241634B2 (en) Method and apparatus for processing email in electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant