KR20130021505A - Method for screen sharing using browser - Google Patents

Method for screen sharing using browser Download PDF

Info

Publication number
KR20130021505A
KR20130021505A KR1020110083780A KR20110083780A KR20130021505A KR 20130021505 A KR20130021505 A KR 20130021505A KR 1020110083780 A KR1020110083780 A KR 1020110083780A KR 20110083780 A KR20110083780 A KR 20110083780A KR 20130021505 A KR20130021505 A KR 20130021505A
Authority
KR
South Korea
Prior art keywords
screen
user
sharing
shared
terminal
Prior art date
Application number
KR1020110083780A
Other languages
Korean (ko)
Inventor
유동식
Original Assignee
주식회사 인프라웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인프라웨어 filed Critical 주식회사 인프라웨어
Priority to KR1020110083780A priority Critical patent/KR20130021505A/en
Publication of KR20130021505A publication Critical patent/KR20130021505A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/411—Peripherals receiving signals from specially adapted client devices having similar hardware or software capabilities as the client device itself, e.g. a first STB connected to a second STB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A screen sharing method using a browser is provided to supply a useful and new user experience in various applications or games on the same screen or a divided screen by sharing a user action while playing the same web content on various devices. CONSTITUTION: A user action is received from user terminals(100_1-100_3) while playing web contents. A shared screen is generated by converting the user action into object information. The shared screen is displayed and one or more connected user terminals are transmitted. The user terminals receive and display the shared screen to share the screen of a host terminal(100). The shared screen includes at least one among the whole screen, an active window screen, a partial screen corresponding to changed parts, and a screen divided into the screens. [Reference numerals] (100) Host terminal; (101_1,101_2,101_3) User terminal

Description

브라우저를 이용한 화면 공유 방법 {METHOD FOR SCREEN SHARING USING BROWSER}Screen sharing with browser {METHOD FOR SCREEN SHARING USING BROWSER}

본 발명은 브라우저를 이용하여 여러 단말기 간에 효과적으로 화면을 공유하는 방법에 관한 것이다. 좀더 구체적으로는, 본 발명은 하나의 단말에서 재생되는 웹 컨텐츠를 단말기에 공통으로 적용되어 있는 브라우저 기술을 이용하여 복수 개의 단말에서 공유함으로써 N-스크린을 구현하는 방법을 제시한다.
The present invention relates to a method of effectively sharing a screen among various terminals using a browser. More specifically, the present invention proposes a method for implementing an N-screen by sharing web content played on one terminal by a plurality of terminals using a browser technology commonly applied to the terminal.

과학 기술의 발달과 경제 수준의 향상으로 인해 인간의 작업을 자동화 또는 편리하게 하기 위한 다양한 사용자 단말기, 예를 들어 컴퓨터, 유닉스 시스템, 개인 휴대 단말기(PDA) 등이 개발되고 있다. 이러한 단말기들은 윈도우즈 등의 다양한 운영체제 중 어느 하나를 구비하고 있으며, 당해 운영체제 하에서 동작하는 다양한 응용 프로그램을 구비하고 있다. 이와 같은 응용 프로그램을 이용하여 사용자는 편리하게 문서 작업, 웹서핑 등을 할 수 있다. Due to the development of science and technology and the improvement of the economic level, various user terminals such as computers, Unix systems, and personal digital assistants (PDAs) are being developed for automating or convenient human tasks. These terminals have any one of various operating systems such as Windows, and have various application programs that operate under the operating system. By using such an application program, a user can conveniently work on documents and surf the web.

그리고, 인간 사회의 교류가 밀접해짐에 따라 통신망의 발달은 지리적으로 분산된 사용자들간의 정보 공유, 예를 들어 작업 문서도 가능하게 하고 있다. 미국 선마이크로 시스템즈의 스콧 멕닐리는 'PC 시대는 끝났다. 이제는 플랫폼에 구애받지 않는 네트워크 시대로 갈 것이다.'라고 공언한 바 있으며 이러한 추세는 결국 인터넷을 기반으로 하는 정보통신 네트워크에서 사용자들은 더 이상 PC에만 의존하지 않게 될 것임을 시사하고 있다. 이와 같이, 플랫폼에 구애받지 않는 네트워크 시대를 추구하기 위해서는 종래의 방식과 같은 단순한 데이터 공유뿐 아니라 응용 프로그램의 공유까지도 가능해져야 할 것이다. And as the exchange of human society becomes closer, the development of communication networks enables the sharing of information among geographically dispersed users, for example, work documents. Scott McNealy of Sun Microsystems, USA, said, 'The PC era is over. It's going to be a platform-independent network era. 'This trend suggests that in the Internet-based telecommunications network, users will no longer rely on PCs. As such, in order to pursue a platform-independent network era, not only simple data sharing but also application sharing should be enabled.

그리고, 응용 프로그램의 공유까지도 가능해지기 위해서는 이기종간의 입력 이벤트 훅킹(event hooking), 훅킹한 이벤트 정보를 이기종 운영체제에서 공유 응용 프로그램에서 에뮬레이터(emulate)하여 동일한 결과를 실행시켜주는 에뮬레이션 기술, 이기종간의 응용 프로그램을 공유하게 하는 GUI 화면 공유 기법을 이용한 DIB 압축 및 복원 기술과 협업(collaboration) 형태의 다자간 객체 동기화와 유무선 통신 기술이 필요하다. In order to enable sharing of applications, heterogeneous input event hooking, emulation technology that emulates hooked event information in a shared application on heterogeneous operating systems, and executes the same result, and heterogeneous application programs. DIB compression and decompression using GUI screen sharing techniques, and multi-object object synchronization and wired / wireless communication technologies in collaboration are required.

그러나, 종래의 PC 기반 응용 프로그램 공유기술은 동일한 환경에서의 응용 프로그램 공유 기법이다. 그리고, 동일한 운영체제 환경에서의 응용 프로그램 공유 기술을 사용하고 있는 제품으로는 MC Global, Netmeeting, PC Anyware, WebX 등이 있다. 이런 제품들은 윈도우(Windows) 운영체제 기반에서만 응용 프로그램들의 공유가 가능한 한계를 가지고 있다.However, the conventional PC-based application sharing technology is an application sharing technique in the same environment. In addition, MC Global, Netmeeting, PC Anyware, and WebX are the products that use application sharing technology under the same OS. These products have limitations that allow applications to be shared only on the Windows operating system.

또한, 종래의 응용 프로그램 공유 기술에는 캡쳐 보드(board) 사용 방법, 그래픽 디바이스 인터페이스(GDI : Graphic Device Interface) 후킹(hooking) 기술, 가상 드라이버(Virtual Driver) 설치 방법 및 GUI 화면 캡처 방법이 있다. 캡처 보드 사용 방법은 화면 캡처 방법 중 가장 빠르고 안정적이다. 그러나 별도의 하드웨어를 사용하여야 하고 업체마다 다른 드라이브를 제공하고 있는 문제점이 있다. 이 경우 CPU와 독립적으로 화면 캡처가 가능하여 시스템 부하가 없는 반면 하드웨어가 장착되어야 하고 그 하드웨어를 지원하는 별도의 어플리케이션 프로그램 인터페이스(API : Application Program Interface)를 사용함으로써 범용성을 가지지 못하는 문제점이 있었다.
In addition, conventional application program sharing technologies include a capture board, a graphic device interface (GDI) hooking technology, a virtual driver installation method, and a GUI screen capture method. Using the capture board is the fastest and most reliable screen capture method. However, there is a problem in that separate hardware must be used and different vendors provide different drives. In this case, screen capture is possible independently of the CPU, so there is no system load, but hardware has to be installed, and there is a problem in that it does not have generality by using a separate application program interface (API) that supports the hardware.

본 발명의 목적은 브라우저를 이용하여 여러 단말기 간에 효과적으로 화면을 공유하는 방법을 제공하는 것이다. 좀더 구체적으로는, 본 발명의 목적은 하나의 단말에서 재생되는 웹 컨텐츠를 단말기에 공통으로 적용되어 있는 브라우저 기술을 이용하여 복수 개의 단말에서 공유함으로써 N-스크린을 구현하는 방법을 제공하는 것이다.
It is an object of the present invention to provide a method for effectively sharing a screen among various terminals using a browser. More specifically, an object of the present invention is to provide a method for implementing an N-screen by sharing the web content played on one terminal in a plurality of terminals using a browser technology commonly applied to the terminal.

상기한 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 브라우저를 이용한 화면 공유 방법은, 웹 컨텐츠를 재생하는 중 상기 적어도 하나의 사용자 단말로부터 사용자 액션을 수신하는 단계; 상기 사용자 액션을 객체 정보화하여 공유 화면을 생성하는 단계; 상기 생성한 공유 화면을 디스플레이하고, 상기 공유 화면을 연결된 적어도 하나의 사용자 단말로 전송하는 단계;를 포함하고 구성되고, 상기 사용자 단말은 상기 공유 화면을 수신하여 디스플레이하여 상기 호스트 단말의 화면을 공유한다.According to an aspect of the present invention, there is provided a screen sharing method using a browser, the method including: receiving a user action from at least one user terminal while playing web content; Generating a shared screen by object information of the user action; And displaying the generated sharing screen and transmitting the sharing screen to at least one connected user terminal, wherein the user terminal receives and displays the sharing screen to share the screen of the host terminal. .

본 발명에 따른 브라우저를 이용한 화면 공유 방법에서 상기 공유 화면은 전체 화면, 활성 윈도우 화면, 변경 부분에 상응하는 부분화면, 하나의 화면을 적어도 두 개의 영역으로 분할한 화면 중 적어도 하나를 포함하도록 구성된다. 이때, 상기 분할한 화면은 적어도 두 개의 사용자 단말에서 사용자 액션을 수신한 경우, 하나의 영역을 적어도 동일한 비율 또는 동일하지 비율 중 적어도 하나의 비율로 분할하여 구성되는 것이 바람직하다.
In the screen sharing method using the browser according to the present invention, the sharing screen is configured to include at least one of a full screen, an active window screen, a partial screen corresponding to a changed part, and a screen in which one screen is divided into at least two areas. . In this case, the divided screen is preferably configured by dividing one area into at least one of at least the same ratio or not equal ratio when receiving at least two user actions.

상기와 같은 본 발명의 브라우저를 이용한 화면 공유 방법에 따르면, 동일한 웹 컨텐츠를 다양한 기기에서 재생시키며, 또한 사용자 액션(Event)를 공유하여 같은 화면 혹은 분할된 화면에서 게임이나 다양한 어플리케이션에서 보다 유용하고 새로운 사용자 경험을 제공할 수 있다.
According to the screen sharing method using the browser of the present invention as described above, the same web content is played on a variety of devices, and by sharing a user action (Event), more useful and new in games or various applications on the same screen or divided screens. It can provide a user experience.

[도 1]은 본 발명의 일 실시예에 따른 화면 공유 시스템의 내부 구조를 개략적으로 도시한 도면.
[도 2]는 본 발명의 일 실시예에 따른 호스트 단말의 내부 구조를 개략적으로 도시한 도면.
[도 3]은 본 발명의 일 실시예에 따른 사용자 단말의 내부 구조를 개략적으로 도시한 도면.1 is a diagram schematically illustrating an internal structure of a screen sharing system according to an embodiment of the present invention.
2 is a diagram schematically illustrating an internal structure of a host terminal according to an embodiment of the present invention.
3 is a diagram schematically illustrating an internal structure of a user terminal according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

[도 1]은 본 발명의 일 실시예에 따른 화면 공유 시스템의 내부 구조를 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating an internal structure of a screen sharing system according to an embodiment of the present invention.

[도 1]을 참조하면, 이기종 장치간 화면 공유를 위한 객체 제어 방법을 수행하기 위한 전체 시스템은 호스트 단말(100)과 복수 개의 사용자 단말(101_1, 101_2, 101_3)을 포함하여 구성된다. 복수 개의 사용자 단말(101_1, 101_2, 101_3)은 동일한 운영체제하의 동일한 기종의 사용자 단말기이거나 상이한 운영체제하의 상이한 기종의 사용자 단말기일 수 있다.Referring to FIG. 1, the entire system for performing an object control method for screen sharing between heterogeneous devices includes a host terminal 100 and a plurality of user terminals 101_1, 101_2, and 101_3. The plurality of user terminals 101_1, 101_2, and 101_3 may be user terminals of the same type under the same operating system or different types of user terminals under different operating systems.

[도 1]에는 세 개의 사용자 단말(101_1, 101_2, 101_3)만을 도시하였지만, 화면 공유를 위한 다른 사용자 단말이 연결될 수 있으며, 이에 따라 [도 1]에 도시된 블러도의 내부 구조가 변경될 수 있음에 유의해야 한다.Although only three user terminals 101_1, 101_2, and 101_3 are illustrated in FIG. 1, other user terminals for screen sharing may be connected, and the internal structure of the blur diagram shown in FIG. 1 may be changed. It should be noted.

복수 개의 사용자 단말(101_1, 101_2, 101_3)은 예를 들어 컴퓨터, 개인 휴대 단말기(PDA), 이동통신 단말기, 유닉스 시스템 단말기 등일 수 있다. 다만, 복수 개의 사용자 단말(101_1, 101_2, 101_3)은 공유 자원, 예를 들어 응용 프로그램, 이미지 등의 전자파일을 구비한 사용자 단말기이다.The plurality of user terminals 101_1, 101_2, and 101_3 may be, for example, a computer, a personal digital assistant (PDA), a mobile communication terminal, a Unix system terminal, or the like. However, the plurality of user terminals 101_1, 101_2, and 101_3 are user terminals provided with electronic files such as shared resources, for example, application programs and images.

호스트 단말(100)은 복수 개의 사용자 단말(101_1, 101_2, 101_3)에서 이벤트, 마우스 클릭, 키버튼 입력, 화면 표시 상태 갱신이 발생하거나 복수 개의 사용자 단말(101_1, 101_2, 101_3)로부터 이벤트 신호가 수신된 경우, 이에 상응하는 공유 화면, 예를 들어, 전체화면, 활성 윈도우 화면, 변경 부분에 상응하는 부분화면을 캡쳐하여 당해 이미지 데이터, 예를 들어 비트맵(bitmap) 형태의 이미지 데이터를 복수 개의 사용자 단말(101_1, 101_2, 101_3)로 전송한다. The host terminal 100 generates an event, a mouse click, a key button input, a screen display state update, or receives an event signal from the plurality of user terminals 101_1, 101_2, and 101_3. In response to this, a plurality of users can capture a corresponding shared screen, for example, a full screen, an active window screen, and a partial screen corresponding to the changed part, and display the corresponding image data, for example, image data in the form of a bitmap. Transmission to the terminals 101_1, 101_2, and 101_3.

복수 개의 사용자 단말(101_1, 101_2, 101_3)은 호스트 단말(100)로부터 수신된 이미지 데이터를 복원하여 복수 개의 사용자 단말(101_1, 101_2, 101_3)의 표시부에 디스플레이한다. The plurality of user terminals 101_1, 101_2, and 101_3 restore the image data received from the host terminal 100 and display the image data on the display unit of the plurality of user terminals 101_1, 101_2, and 101_3.

그리고, 호스트 단말(100)은 발생된 이벤트, 예컨대 마우스의 움직임, 마우스 클릭, 더블 클릭, 드래그 앤 드롭 등의 마우스 이벤트, 키버튼 입력 등의 키보드 이벤트, 접속, 접속 해제, 역할 변경 등의 사용자 접속 이벤트, 배너 광고창의 갱신 등과 같은 화면 표시 상태 갱신이나 복수 개의 사용자 단말(101_1, 101_2, 101_3)로부터 수신된 이벤트를 해석하여 공유되어지는 응용 프로그램에서 해당 기능이 수행되도록 한다.
In addition, the host terminal 100 may generate events such as mouse movement, mouse click, double click, drag-and-drop mouse events, keyboard events such as key button input, connection, disconnection, and user connection such as role change. The function may be performed in an application program that is shared by analyzing screen display state updates such as an event, a banner advertisement window, or an event received from a plurality of user terminals 101_1, 101_2, and 101_3.

[도 2]는 본 발명의 일 실시예에 따른 호스트 단말의 내부 구조를 개략적으로 도시한 도면이다. 2 is a diagram schematically showing an internal structure of a host terminal according to an embodiment of the present invention.

[도 2]를 참조하면, 호스트 단말(100)은 웹 엔진(110), 제어부(120), 공유 화면 전송부(130), 이벤트 수신부(140)를 포함하여 구성될 수 있다. Referring to FIG. 2, the host terminal 100 may include a web engine 110, a controller 120, a shared screen transmitter 130, and an event receiver 140.

웹 엔진(110)은 웹 컨텐츠, 예를 들어 웹 어플리케이션을 재생한다. 여기서, 웹 어플리케이션은 위젯(widget) 또는 가젯(gadget) 형태가 될 수 있다. 위젯이란 컴퓨터 운영체제(OS) 위에서 응용 프로그램을 동작하여, 그 결과를 사용자 인터페이스로 표시하는 소프트웨어 도구를 말한다. The web engine 110 plays web content, for example web applications. Here, the web application may be in the form of a widget or a gadget. A widget is a software tool that runs an application on a computer operating system (OS) and displays the result in a user interface.

예를 들어, 위젯으로는 시계, 계산기, 메모장, 달력 등 단순한 액세서리 위젯부터 기상정보, 증권정보, 환율정보, 뉴스, 게임 등 사용자가 자주 찾는 인터넷 정보들을 웹브라우저의 구동 없이 바로 확인할 수 있는 기능성 위젯까지 다양한 종류가 적용될 수 있다. For example, the widgets include simple accessory widgets such as clocks, calculators, notepads, calendars, and weather widgets such as weather information, stock information, exchange rate information, news, and games. Various kinds can be applied.

제어부(120)는 이벤트 수신부(140)가 복수 개의 사용자 단말(101_1, 101_2, 101_3)에서 수신한 사용자 액션을 처리하여 공유하도록 한다. 먼저, 제어부(120)는 이벤트 수신부(140)가 복수 개의 사용자 단말(101_1, 101_2, 101_3) 중 하나의 단말에서 발생하는 사용자 액션을 수신한 경우를 설명한다. The controller 120 allows the event receiver 140 to process and share the user actions received by the plurality of user terminals 101_1, 101_2, and 101_3. First, the controller 120 describes a case in which the event receiver 140 receives a user action occurring in one of the plurality of user terminals 101_1, 101_2, and 101_3.

제어부(120)는 이벤트 수신부(140)가 수신한 사용자 액션, 예를 들어 이벤트, 마우스 클릭, 키버튼 입력, 화면 표시 상태 갱신을 객체 정보화한다. 예를 들어, 제어부(120)는 사용자 액션에 상응하는 공유 화면, 예를 들어, 전체화면, 활성 윈도우 화면, 변경 부분에 상응하는 부분화면을 캡쳐할 수 있다.The controller 120 objectizes a user action received by the event receiver 140, for example, an event, a mouse click, a key button input, and a screen display state update. For example, the controller 120 may capture a shared screen corresponding to a user action, for example, a full screen, an active window screen, and a partial screen corresponding to a changed part.

사용자 액션에 대응하는 공유 화면을 캡쳐한 제어부(120)는 공유 화면에 해당하는 이미지 데이터, 예를 들어 비트맵(bitmap) 형태의 이미지 데이터를 공유 화면 전송부(130)가 복수 개의 사용자 단말(101_1, 101_2, 101_3)로 전송하도록 제어하고, 웹 엔진(110)으로 전송하여 사용자 액션에 대응하는 공유 화면이 디스플레이되도록 제어한다.The control unit 120 capturing the shared screen corresponding to the user action is the image screen corresponding to the shared screen, for example image data in the form of a bitmap (bitmap) the shared screen transmission unit 130 is a plurality of user terminals (101_1) , 101_2, and 101_3, and transmits to the web engine 110 to display a shared screen corresponding to a user action.

둘째, 제어부(120)는 이벤트 수신부(140)가 복수 개의 사용자 단말(101_1, 101_2, 101_3) 중 두 개 이상의 단말에서 발생하는 사용자 액션을 수신한 경우를 설명하기로 한다. 예를 들어, 테트리스 게임 화면을 공유하고 있는 제 1 사용자 단말(101_1) 및 제 2 사용자 단말(101_2)이 대결 모드로 게임을 하기위해서 사용자 액션을 발생한 경우, 제어부(120)는 하나의 화면을 두 개의 화면으로 분할하여 왼쪽 화면에는 제 1 사용자 단말(101_1)의 게임 화면이 디스플레이 되도록 제어하고, 오른쪽 화면에는 제 2 사용자 단말(101_2)의 게임 화면이 디스플레이 되도록 제어한다. Second, the control unit 120 will be described a case in which the event receiving unit 140 receives a user action occurring in two or more of the plurality of user terminals (101_1, 101_2, 101_3). For example, when the first user terminal 101_1 and the second user terminal 101_2 sharing the Tetris game screen generate a user action to play a game in a confrontation mode, the control unit 120 has two screens. The screen is divided into two screens so that the game screen of the first user terminal 101_1 is displayed on the left screen, and the game screen of the second user terminal 101_2 is displayed on the right screen.

이때, 제어부(120)는 하나의 화면을 두 개의 화면으로 분할할 때 두 개의 화면의 비율이 1:1로 면적이 동일한 형태로 분할될 수도 있지만, 두 개의 화면의 비율이 서로 다를 수 있다.In this case, the controller 120 may split the screen into two screens in a ratio of 1: 1 to have the same area, but the ratio of the two screens may be different.

이를 위해, 제어부(120)는 공유 화면, 예를 들어 대결 모드에 해당하는 이미지 데이터, 예를 들어 비트맵(bitmap) 형태의 이미지 데이터를 공유 화면 전송부(130)가 복수 개의 사용자 단말(101_1, 101_2)로 전송하도록 제어하고, 웹 엔진(110)으로 전송하여 사용자 액션에 대응하는 공유 화면, 예를 들어 대결 모드의 화면이 디스플레이 되도록 제어한다.
To this end, the control unit 120 is a shared screen, for example, image data corresponding to the confrontation mode, for example image data in the form of a bitmap (bitmap) the shared screen transmission unit 130 is a plurality of user terminal (101_1), 101_2), and transmits to the web engine 110 to display a shared screen corresponding to a user action, for example, a screen in a confrontation mode.

[도 3]은 본 발명의 일 실시예에 따른 사용자 단말의 내부 구조를 개략적으로 도시한 도면이다. 3 is a diagram schematically illustrating an internal structure of a user terminal according to an embodiment of the present invention.

[도 3]을 참조하면, 사용자 단말(101)은 웹 엔진(111), 제어부(121), 공유 화면 수신부(131) 및 이벤트 송신부(141)를 포함하여 구성될 수 있다. 이러한 구성요소를 포함하는 본 발명의 바람직한 일 실시예에 따른 사용자 단말(101)는 휴대용 단말 장치, 보다 구체적으로는, 이동 통신 단말 스마트폰, PDA, PMP 등이 된다 할 것이다. Referring to FIG. 3, the user terminal 101 may include a web engine 111, a controller 121, a shared screen receiver 131, and an event transmitter 141. User terminal 101 according to an embodiment of the present invention including such a component will be a portable terminal device, more specifically, a mobile communication terminal smart phone, PDA, PMP and the like.

웹 엔진(111)은 웹 컨텐츠, 예컨대 웹 어플리케이션을 재생한다. The web engine 111 plays web content, such as a web application.

제어부(121)는 웹 엔진(111)가 웹 컨텐츠를 재생하는 중 사용자에 의해 사용자 액션, 예를 들어 이벤트, 마우스 클릭, 키버튼 입력, 화면 표시 상태 갱신을 이 발생한 경우, 이벤트 송신부(141)가 사용자 액션을 호스트 단말(100)로 전송하도록 제어한다. When the web engine 111 plays the web content by the user, for example, an event, a mouse click, a key button input, or a screen display state update occurs, the control unit 121 outputs the event. Control to transmit the user action to the host terminal 100.

제어부(121)는 공유 화면 수신부(131)가 호스트 단말(100)로부터 사용자 액션에 대응하는 공유 화면을 수신한 경우, 웹 엔진(110)으로 전송하여 사용자 액션에 대응하는 공유 화면이 디스플레이 되도록 제어한다.
When the shared screen receiving unit 131 receives the shared screen corresponding to the user action from the host terminal 100, the controller 121 transmits the shared screen corresponding to the user action to the web engine 110 and displays the shared screen corresponding to the user action. .

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

100 : 호스트 단말
110 : 호스트 웹 엔진
120 : 호스트 제어부
130 : 공유 화면 전송부
140 : 이벤트 수신부
101_1, 101_2, 101_3 : 사용자 단말
111 : 단말 웹 엔진
121 : 단말 제어부
131 : 공유 화면 수신부
141 : 이벤트 송신부100: host terminal
110: host web engine
120: host control unit
130: shared screen transmission unit
140: event receiver
101_1, 101_2, 101_3: user terminal
111: Terminal Web Engine
121: terminal control unit
131: shared screen receiving unit
141: event transmitter

Claims (5)

적어도 하나의 사용자 단말과 연결된 호스트 컴퓨터에서 실행되는 화면 공유 방법에 있어서,
웹 컨텐츠를 재생하는 중 상기 적어도 하나의 사용자 단말로부터 사용자 액션을 수신하는 단계;
상기 사용자 액션을 객체 정보화하여 공유 화면을 생성하는 단계;
상기 생성한 공유 화면을 디스플레이하고, 상기 공유 화면을 하나 이상의 연결된 사용자 단말로 전송하는 단계;
를 포함하고 구성되고,
상기 사용자 단말은 상기 공유 화면을 수신하여 디스플레이하여 상기 호스트 단말의 화면을 공유하는 것을 특징으로 하는 브라우저를 이용한 화면 공유 방법.
In the screen sharing method executed in the host computer connected to at least one user terminal,
Receiving a user action from the at least one user terminal while playing web content;
Generating a shared screen by object information of the user action;
Displaying the generated sharing screen and transmitting the sharing screen to one or more connected user terminals;
Including and configured,
And the user terminal receives and displays the shared screen to share the screen of the host terminal.
청구항 1에 있어서,
상기 공유 화면은 전체 화면, 활성 윈도우 화면, 변경 부분에 상응하는 부분화면, 하나의 화면을 적어도 두 개의 영역으로 분할한 화면 중 적어도 하나를 포함하는 것을 특징으로 하는 브라우저를 이용한 화면 공유 방법.
The method according to claim 1,
The sharing screen may include at least one of a full screen, an active window screen, a partial screen corresponding to a change part, and a screen obtained by dividing one screen into at least two areas.
청구항 2에 있어서,
상기 분할한 화면은 적어도 두 개의 사용자 단말에서 사용자 액션을 수신한 경우, 하나의 영역을 적어도 동일한 비율 또는 동일하지 비율 중 적어도 하나의 비율로 분할하여 구성되는 것을 특징으로 하는 브라우저를 이용한 화면 공유 방법.
The method according to claim 2,
The divided screen is configured to divide one area into at least one of at least the same ratio or not the same ratio when receiving at least two user actions, the screen sharing method using a browser.
청구항 1에 있어서,
상기 사용자 액션은 마우스 클릭, 키 버튼 입력, 화면 표시 상태 갱신 중 적어도 하나를 포함하는 것을 특징으로 하는 브라우저를 이용한 화면 공유 방법.
The method according to claim 1,
The user action may include at least one of a mouse click, a key button input, and a screen display state update.
청구항 1에 있어서,
웹 컨텐츠는 시계, 계산기, 메모장, 달력, 기상정보, 증권정보, 환율정보, 뉴스, 게임 중 적어도 하나의 인터넷 정보를 포함하는 것을 특징으로 하는 브라우저를 이용한 화면 공유 방법.The method according to claim 1,
Web content is a screen, a calculator, a notepad, a calendar, weather information, stock information, exchange rate information, news, a screen sharing method using a browser, characterized in that it comprises at least one of the Internet information.
KR1020110083780A 2011-08-23 2011-08-23 Method for screen sharing using browser KR20130021505A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110083780A KR20130021505A (en) 2011-08-23 2011-08-23 Method for screen sharing using browser

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110083780A KR20130021505A (en) 2011-08-23 2011-08-23 Method for screen sharing using browser

Publications (1)

Publication Number Publication Date
KR20130021505A true KR20130021505A (en) 2013-03-06

Family

ID=48174340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110083780A KR20130021505A (en) 2011-08-23 2011-08-23 Method for screen sharing using browser

Country Status (1)

Country Link
KR (1) KR20130021505A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015034254A1 (en) * 2013-09-04 2015-03-12 영남대학교 산학협력단 Message display device and message display control method
US10417019B2 (en) 2014-10-21 2019-09-17 Samsung Electronics Co., Ltd. Method of screen splitting and electronic device adapted to the method
US11132112B2 (en) 2011-07-29 2021-09-28 Google Llc Systems and methods for rendering user interface elements

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132112B2 (en) 2011-07-29 2021-09-28 Google Llc Systems and methods for rendering user interface elements
US11816317B2 (en) 2011-07-29 2023-11-14 Google Llc Systems and methods for rendering user interface elements
WO2015034254A1 (en) * 2013-09-04 2015-03-12 영남대학교 산학협력단 Message display device and message display control method
KR101526063B1 (en) * 2013-09-04 2015-06-04 영남대학교 산학협력단 Apparatus for displaying a Message and Method for display controlling thereof
US10417019B2 (en) 2014-10-21 2019-09-17 Samsung Electronics Co., Ltd. Method of screen splitting and electronic device adapted to the method

Similar Documents

Publication Publication Date Title
US9760236B2 (en) View virtualization and transformations for mobile applications
US9189147B2 (en) Ink lag compensation techniques
US9575652B2 (en) Instantiable gesture objects
US10228775B2 (en) Cross application digital ink repository
US20100058341A1 (en) Apparatus and method for setting input/output device in virtualization system
US20070266135A1 (en) Multiple active session management interface
KR101105735B1 (en) Electronic device, computer-implemented system, and application display control method therefor
MX2013003515A (en) Instant remote rendering.
US10163245B2 (en) Multi-mode animation system
CN109710343B (en) Method, device and equipment for switching windows of computer desktop and storage medium
US10565045B2 (en) Modularized collaborative performance issue diagnostic system
CN109426476B (en) Signal source scheduling system and signal scheduling method of signal source system
KR20130021505A (en) Method for screen sharing using browser
CN102144211B (en) Information processing device and method
KR20100090558A (en) Sysem for providing applycation based on html capable of cotrol client and web action
EP4290361A1 (en) Display control method and apparatus for pointer in window, device, and storage medium
KR20050056041A (en) Method and system for controlling object in order to share resource between heterogeneous devices
US8825739B2 (en) Method and apparatus for controlling multiple systems in a low bandwidth environment
TW201537919A (en) Information transmission method and wireless display system
Mohomed Enabling mobile application mashups with Merlion
CN105308563A (en) Coordination of system readiness tasks
KR20010001658A (en) Secondary display apparatus for computer system
Ichimura et al. Lightweight desktop-sharing system for web browsers
US20160364101A1 (en) Method for controlling remote user display
US20160014168A1 (en) Methods for sharing applications between apparatuses and systems using the same

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid