KR101247770B1 - An apparatus for processing virtual whiteboard data and the method thereof - Google Patents

An apparatus for processing virtual whiteboard data and the method thereof Download PDF

Info

Publication number
KR101247770B1
KR101247770B1 KR1020120050180A KR20120050180A KR101247770B1 KR 101247770 B1 KR101247770 B1 KR 101247770B1 KR 1020120050180 A KR1020120050180 A KR 1020120050180A KR 20120050180 A KR20120050180 A KR 20120050180A KR 101247770 B1 KR101247770 B1 KR 101247770B1
Authority
KR
South Korea
Prior art keywords
data
virtual whiteboard
screen
virtual
input
Prior art date
Application number
KR1020120050180A
Other languages
Korean (ko)
Inventor
김영헌
Original Assignee
주식회사 엔스마트솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔스마트솔루션 filed Critical 주식회사 엔스마트솔루션
Priority to KR1020120050180A priority Critical patent/KR101247770B1/en
Application granted granted Critical
Publication of KR101247770B1 publication Critical patent/KR101247770B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Abstract

PURPOSE: A virtual white board data processing device and a method thereof are provided to share white board data with terminals communicated in an environment in which data transmission rates are low in real time. CONSTITUTION: A sensor unit(103) detects data inputted to a virtual white board screen by a user. A control unit(101) executes a data processing program for a virtual white board. The control unit outputs a virtual white board screen on a display unit. When new data is inputted to the virtual white board screen, the control unit encodes frame data of the virtual white screen in a set specific method. The control unit transmits the encoded data to a terminal of the other side. [Reference numerals] (101) Control unit; (102) Communication unit; (103) Sensor unit; (104) Storage unit; (105) Display unit; (106) Speaker; (107) Microphone

Description

가상 화이트보드 데이터 처리 장치와 그 방법{AN APPARATUS FOR PROCESSING VIRTUAL WHITEBOARD DATA AND THE METHOD THEREOF}Virtual whiteboard data processing device and its method {AN APPARATUS FOR PROCESSING VIRTUAL WHITEBOARD DATA AND THE METHOD THEREOF}

본 발명은 가상 화이트보드 데이터 처리 장치와 그 방법에 관한 것으로, 더욱 상세하게는 가상 화이트보드에 사용자가 입력하는 데이터를 통신 연결된 단말기들과 실시간으로 공유할 수 있도록 하는 가상 화이트보드 데이터 처리 장치와 그 방법에 관한 것이다.The present invention relates to a virtual whiteboard data processing apparatus and a method thereof, and more particularly, to a virtual whiteboard data processing apparatus for sharing data input by a user on a virtual whiteboard with terminals connected in communication in real time. It is about a method.

일반적으로 화이트보드는 오프라인에서 여러 사람이 특정 주제에 관해서 공동으로 이야기 할 때, 각자의 아이디어를 여러 사람이 알 수 있도록 사용하는 칠판의 한 종류이며, 전자 화이트보드는 온라인에서 컴퓨터로 화상 회의를 할 때 각자의 컴퓨터에 쓴 내용을 다른 사용자의 컴퓨터에도 동일하게 디스플레이 함으로써, 각자의 아이디어를 공유하거나 설명하기 위해 사용하는 프로그램이다. In general, a whiteboard is a type of blackboard that allows people to know each other's ideas when they are talking together about a particular topic while offline. It is a program used to share or explain their ideas by displaying the contents written on each computer in the same way on other users' computers.

상기 전자 화이트보드는 유/무선을 통한 초고속 인터넷 망(예 : ADSL, LAN, WiFi, 802.11b/g/n)으로 연결된 컴퓨터 기반에서 마우스(또는 전자펜) 등으로 입력된 내용을 실시간으로 전송할 수 있는 기능을 제공하고 있으나, 상기 방식은 화이트보드의 데이터 전체를 항상 영상 프레임 단위(또는 스냅샷 시퀀스 단위)로 전송하기 때문에 초고속 인터넷 망을 이용하는 컴퓨터에서는 이용에 문제가 없지만, 이동통신망과 같은 낮은 전송률 환경에서는 실시간으로 사용하기에 어려운 문제점이 있다. The electronic whiteboard may transmit contents input by a mouse (or an electronic pen) in real time based on a computer connected via a high-speed internet network (eg, ADSL, LAN, WiFi, 802.11b / g / n) via wired / wireless. Although the above method always transmits the entire whiteboard data in image frame units (or snapshot sequence units), there is no problem in using a computer using a high-speed Internet network, but a low transmission rate such as a mobile communication network is provided. In the environment, there is a problem that is difficult to use in real time.

또한 상기와 같이 데이터 전송률이 낮은 통신환경에서의 사용이 어렵기 때문에 데이터 처리속도가 낮은 이동단말기(예 : 스마트폰, 태블릿-PC, 스마트 패드)에서 이동 통신망을 통해서 실시간 전자 화이트보드 기능을 실행함에 어려움이 있다.In addition, since it is difficult to use in a communication environment with a low data rate as described above, the mobile terminal (eg, smartphone, tablet-PC, smart pad) with low data processing speed executes a real-time electronic whiteboard function through a mobile communication network. There is difficulty.

본 발명은 상기와 같은 문제점을 개선하기 위해 창작된 것으로서 데이터 전송률이 낮은 이동통신 환경에서도 통신 연결된 단말기 상호와 실시간으로 화이트보드 데이터를 공유할 수 있도록 하는 가상 화이트보드 데이터 처리 장치와 그 방법을 제공하는데 목적이 있다.The present invention was made to solve the above problems, and provides a virtual whiteboard data processing apparatus and method for sharing whiteboard data in real time with a terminal connected in communication in a mobile communication environment having a low data rate. There is a purpose.

또한 본 발명은 상기와 같은 문제점을 개선하기 위해 창작된 것으로서 데이터 처리속도가 낮은 단말기를 이용해서도 실시간 화이트보드 데이터를 처리할 수 있도록 하는 가상 화이트보드 데이터 처리 장치와 그 방법을 제공하는데 목적이 있다.In addition, an object of the present invention is to provide a virtual whiteboard data processing apparatus and a method for processing real-time whiteboard data using a terminal having a low data processing speed, which was created to improve the above problems. .

본 발명의 일 측면에 따른 가상 화이트보드 데이터 처리 장치는 가상 화이트보드 화면을 출력하는 디스플레이부; 상기 디스플레이부에 결합되며 상기 가상 화이트보드 화면에 사용자가 입력하는 데이터를 검출하는 센서부; 가상 화이트보드 데이터 처리 프로그램을 실행하여, 상기 디스플레이부에 가상 화이트보드 화면을 출력하고, 상기 가상 화이트보드 화면에 새로운 데이터가 입력되는 경우, 상기 가상 화이트보드 화면의 프레임 데이터를 기 설정된 특정 방식으로 코딩하여 상대방 단말기로 전송하는 제어부; 를 포함하여 구성되며, 상기 새로 입력되는 데이터의 변화 영역을 산출하고, 그 산출된 변화 영역의 크기에 따라, 상기 가상 화이트보드 화면의 전체 영역에 대한 프레임 데이터, 또는 상기 산출된 데이터의 변화 영역에 해당하는 프레임 데이터를 선택적으로 코딩하여 전송하고, 상기 가상 화이트보드 화면에 입력된 데이터는 RLC(Run-Length Coding) 방식을 이용하여 무손실 압축하며, 상기 가상 화이트보드 화면은 펜 선택메뉴, 지우개메뉴, 정보 입력창, 저장 및 재생메뉴, 파일호출메뉴 및 정지화상이나 동화상 출력을 위한 서브화면 중 적어도 하나 이상을 포함하여 구성되고, 상기 가상 화이트보드 화면 및 그 데이터를 정지영상 또는 동영상으로 녹화 저장하고, 상기 저장된 가상 화이트보드 화면 및 그 데이터를 불러와 재생할 수 있도록 구성되며, 상기 가상 화이트보드 화면에 정지영상 또는 동영상을 출력할 경우, 사용자가 입력하는 가상 화이트보드 데이터를 오버레이 방식으로 디스플레이 하도록 구성되고, 상기 가상 화이트보드 화면을 n개의 영역으로 분할한 후, 주기적으로 새로운 데이터가 입력된 영역들을 검출하여, 그 영역들의 프레임 데이터를 코딩하며, 상기 가상 화이트보드 화면에서 새로운 데이터가 입력되거나 데이터의 변화가 발생된 경우, 그 데이터가 입력된 영역 또는 데이터가 변화된 영역을 산출하고, 그 산출된 영역에 해당하는 프레임 데이터를 코딩하며, 상기 가상 화이트보드 화면에 새로운 데이터의 입력이 없거나, 또는 데이터의 변화가 발생되지 않는 경우, 가상 화이트보드 프레임 전송주기가 되었더라도 가상 화이트보드 데이터를 전송하지 않으며, 상기 디스플레이부는 터치센서와 결합되어 터치스크린으로 구성되고, 상기 특정 데이터 형식으로 처리된 가상 화이트보드 데이터를 상대방 단말기에 전송하기 위한 통신부; 를 더 포함하여 구성되며, 상기 통신부는 소켓 서버, HTTP 서버, FTP 서버 및 USB, 직렬 및 병렬 통신, 블루투스(IEEE 802.15.1), 지그비(ZigBee), WiFi(IEEE 802.11)와 UWB를 포함하는 근거리 유선 및 무선 통신, 음성 및 데이터 통신이 가능한 유선 및 무선 통신수단 및 이들의 조합 중 적어도 어느 하나 이상을 포함하여 구성되는 것을 특징으로 한다. An apparatus for processing virtual whiteboard data according to an aspect of the present invention includes a display unit for outputting a virtual whiteboard screen; A sensor unit coupled to the display unit to detect data input by a user on the virtual whiteboard screen; When a virtual whiteboard data processing program is executed to output a virtual whiteboard screen to the display unit and new data is input to the virtual whiteboard screen, the frame data of the virtual whiteboard screen is coded in a predetermined manner. A control unit for transmitting to the counterpart terminal; And a change area of the newly input data, and calculates a change area of the newly input data and applies the frame data to the entire area of the virtual whiteboard screen or the change area of the calculated data according to the size of the calculated change area. Selectively code and transmit the corresponding frame data, and the data input to the virtual whiteboard screen is losslessly compressed using a run-length coding (RLC) method. The virtual whiteboard screen includes a pen selection menu, an eraser menu, At least one or more of an information input window, a storage and playback menu, a file call menu, and a sub screen for outputting a still or moving image, recording and storing the virtual whiteboard screen and its data as a still image or a video, The stored virtual whiteboard screen and its data can be recalled and played back. When outputting a still image or a video on an upper whiteboard screen, the virtual whiteboard data input by a user is configured to be displayed in an overlay manner, and after splitting the virtual whiteboard screen into n areas, new data is periodically displayed. Detects the inputted areas, codes frame data of the areas, and when new data is input or a change in data occurs on the virtual whiteboard screen, calculates an area where the data is input or an area where the data is changed, If the frame data corresponding to the calculated area is coded, and no new data is input to the virtual whiteboard screen or no change of data occurs, the virtual whiteboard data is transmitted even if the virtual whiteboard frame transmission period is reached. And the display unit A communication unit configured to be combined with a tooth sensor and configured as a touch screen, and to transmit virtual whiteboard data processed in the specific data format to a counterpart terminal; The communication unit further comprises a socket server, HTTP server, FTP server and USB, serial and parallel communication, Bluetooth (IEEE 802.15.1), ZigBee (ZigBee), WiFi (IEEE 802.11) and UWB including a short range And at least one of wired and wireless communication means capable of wired and wireless communication, voice and data communication, and a combination thereof.

본 발명의 일 측면에 따른 가상 화이트보드 데이터 처리 방법은 가상 화이트보드 화면을 출력하는 단계; 상기 가상 화이트보드 화면에 입력되는 데이터를 검출하는 단계; 상기 가상 화이트보드 화면에 새로운 데이터가 입력되는 경우, 상기 가상 화이트보드 화면의 프레임 데이터를 기 설정된 특정 방식으로 코딩하여 상대방 단말기로 전송하는 단계; 를 포함하여 구성되며, 상기 새로 입력되는 데이터의 변화 영역을 산출하고, 그 산출된 변화 영역의 크기에 따라, 상기 가상 화이트보드 화면의 전체 영역에 대한 프레임 데이터, 또는 상기 산출된 데이터의 변화 영역에 해당하는 프레임 데이터를 선택적으로 코딩하여 전송하고, 상기 가상 화이트보드 화면에 입력된 데이터는 RLC(Run-Length Coding) 방식을 이용하여 무손실 압축하며, 상기 가상 화이트보드 화면 및 그 데이터를 정지영상 또는 동영상으로 녹화 저장하고, 상기 저장된 가상 화이트보드 화면 및 그 데이터를 불러와 재생할 수 있도록 구성되고, 상기 가상 화이트보드 화면에 정지영상 또는 동영상을 출력할 경우, 사용자가 입력하는 가상 화이트보드 데이터를 오버레이 방식으로 디스플레이 하도록 구성되며, 상기 가상 화이트보드 화면을 n개의 영역으로 분할한 후, 주기적으로 새로운 데이터가 입력된 영역들을 검출하여, 그 영역들의 프레임 데이터를 코딩하며, 상기 가상 화이트보드 화면에서 새로운 데이터가 입력되거나 데이터의 변화가 발생된 경우, 그 데이터가 입력된 영역 또는 데이터가 변화된 영역을 산출하고, 그 산출된 영역에 해당하는 프레임 데이터를 코딩하며, 상기 가상 화이트보드 화면에 새로운 데이터의 입력이 없거나, 또는 데이터의 변화가 발생되지 않는 경우, 가상 화이트보드 프레임 전송주기가 되었더라도 가상 화이트보드 데이터를 전송하지 않는 것을 특징으로 한다.A virtual whiteboard data processing method according to an aspect of the present invention includes the steps of outputting a virtual whiteboard screen; Detecting data input to the virtual whiteboard screen; When new data is input to the virtual whiteboard screen, coding frame data of the virtual whiteboard screen in a predetermined specific manner and transmitting the encoded data to a counterpart terminal; And a change area of the newly input data, and calculates a change area of the newly input data and applies the frame data to the entire area of the virtual whiteboard screen or the change area of the calculated data according to the size of the calculated change area. Selectively code and transmit the corresponding frame data, and the data input to the virtual whiteboard screen is losslessly compressed using a run-length coding (RLC) method, and the virtual whiteboard screen and its data are a still image or a video. It is configured to record and store, and to load and play the stored virtual whiteboard screen and its data. When outputting a still image or a video to the virtual whiteboard screen, the virtual whiteboard data input by the user is overlayed. And configured to display the virtual whiteboard screen After dividing into regions, periodically detecting regions into which new data has been input and coding frame data of the regions, and when new data is input or a change of data occurs on the virtual whiteboard screen, the data is inputted. Calculating the changed area or the changed data, and coding the frame data corresponding to the calculated area, and if there is no input of new data on the virtual whiteboard screen or no change of data occurs, the virtual whiteboard The virtual whiteboard data is not transmitted even when the frame transmission period is reached.

본 발명은 데이터 전송률이 낮은 이동통신 환경에서도 통신 연결된 단말기 상호간에 실시간으로 화이트보드 데이터를 공유할 수 있도록 하는 효과가 있다.The present invention has the effect of allowing the whiteboard data to be shared in real time between the communication terminals connected in a mobile communication environment with a low data rate.

또한 본 발명은 데이터 처리속도가 낮은 단말기에서도 가상 화이트보드 데이터를 실시간으로 처리할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of processing the virtual whiteboard data in real time even in a terminal with a low data processing speed.

또한 본 발명은 이동단말기를 이용하여 음성과 화상 통화를 수행하는 동시에 화이트보드 데이터를 실시간으로 처리할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of processing the whiteboard data in real time while performing a voice and video call using a mobile terminal.

도 1은 본 발명의 일 실시예에 따른 가상 화이트보드 데이터 처리 시스템의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 가상 화이트보드 데이터 처리 장치의 개략적인 구성을 보인 예시도.
도 3은 본 발명의 일 실시예에 따른 가상 화이트보드 사용자 인터페이스 화면을 보인 예시도.
도 4는 본 발명의 일 실시예에 따른 가상 화이트보드 데이터의 부호화 방법을 설명하기 위한 예시도.
도 5a와 도 5b는 본 발명의 일 실시예에 따른 가상 화이트보드 데이터의 전송 방법을 설명하기 위한 예시도.
도 6은 본 발명의 일 실시예에 따른 가상 화이트보드 데이터 처리 장치의 동작 방법을 설명하기 위한 흐름도.1 is an exemplary view showing a schematic configuration of a virtual whiteboard data processing system according to an embodiment of the present invention.
Figure 2 is an exemplary view showing a schematic configuration of a virtual whiteboard data processing apparatus according to an embodiment of the present invention.
3 is an exemplary view showing a virtual whiteboard user interface screen according to an embodiment of the present invention.
4 is an exemplary view for explaining a method of encoding virtual whiteboard data according to an embodiment of the present invention.
5A and 5B are exemplary diagrams for describing a method of transmitting virtual whiteboard data according to an embodiment of the present invention.
6 is a flowchart illustrating a method of operating a virtual whiteboard data processing apparatus according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 가상 화이트보드 데이터 처리 장치와 그 방법의 일 실시예를 설명한다. Hereinafter, an embodiment of a virtual whiteboard data processing apparatus and a method thereof according to the present invention will be described with reference to the accompanying drawings.

도1은 본 발명의 일 실시예에 따른 가상 화이트보드 데이터 처리 시스템의 개략적인 구성을 보인 예시도이다.1 is an exemplary view showing a schematic configuration of a virtual whiteboard data processing system according to an embodiment of the present invention.

상기 가상 화이트보드 데이터 처리 시스템은 가상 화이트보드 데이터 처리 프로그램(또는 가상 화이트보드 데이터 처리 모듈)을 내장한 단말기(100)와, 상기 단말기(100)를 가상 화이트보드 서버(300)와 통신 연결하는 네트워크(200)와, 상기 통신 연결된 복수의 단말기(100) 중 어느 하나에서 전송된 가상 화이트보드 데이터를 처리하여 통신 연결된 다른 단말기(100)로 전송하는 가상 화이트보드 서버(300)를 포함하여 구성된다. 여기서 상기 복수의 단말기(100)는 컴퓨터(MT1), 스마트폰(MT2) 또는 Tablet-PC(MT3)와 같이 데이터 처리속도가 빠르거나 느린 단말기 및 이동단말기를 포함한다.The virtual whiteboard data processing system includes a terminal 100 having a virtual whiteboard data processing program (or a virtual whiteboard data processing module) embedded therein, and a network for communicating the terminal 100 with the virtual whiteboard server 300. 200 and a virtual whiteboard server 300 for processing the virtual whiteboard data transmitted from any one of the plurality of communication-connected terminal 100 to transmit to another terminal 100 connected to the communication. Here, the plurality of terminals 100 include a terminal and a mobile terminal having a fast or slow data processing speed, such as a computer MT1, a smartphone MT2, or a Tablet-PC MT3.

상기 복수의 단말기(MT1 ~ MT3)는 상기 네트워크(200)를 통하지 않고, 각 단말기에 내장된 통신부를 이용하여, 각 단말기 상호간에 직접적으로 통신을 연결할 수 있다. 예컨대 상기 통신부는 RFID, 적외선통신, 블루투스(IEEE 802.15.1), 지그비(ZigBee), Z-WAVE와 NFC를 포함하는 근거리 유선 및 무선 통신 및 이들의 조합 중 적어도 어느 한 가지를 이용할 수 있다. The plurality of terminals MT1 to MT3 may directly communicate with each other by using a communication unit built in each terminal, rather than through the network 200. For example, the communication unit may use at least one of RFID, infrared communication, Bluetooth (IEEE 802.15.1), ZigBee, short-range wired and wireless communication including Z-WAVE and NFC, and a combination thereof.

이에 따라 상기 복수의 단말기(MT1 ~ MT3)는 가상 화이트보드 서버(300)를 통해서 간접적으로 통신 연결되거나, 또는 단말기 상호간에 직접적으로 통신 연결되어 가상 화이트보드 데이터를 전송한다.Accordingly, the plurality of terminals MT1 to MT3 are indirectly connected to each other through the virtual whiteboard server 300 or directly connected to each other to transmit virtual whiteboard data.

상기 가상 화이트보드 데이터 처리 프로그램은 정보입력(예 : 사용자의 필기입력)을 받기 위한 사용자 인터페이스 및 상기 입력받은 정보를 전송에 적합한 데이터 형식으로 부호화하는 모듈(또는 알고리즘) 및 다른 단말기로부터 수신된 화이트보드 데이터를 복호하는 모듈(또는 알고리즘) 및 상기 복호된 가상 화이트보드 데이터를 단말기의 화면상에 디스플레이하는 사용자 인터페이스를 포함하여 구성된다.The virtual whiteboard data processing program includes a user interface for receiving information input (eg, a user's handwriting input), a module (or algorithm) for encoding the received information into a data format suitable for transmission, and a whiteboard received from another terminal. And a module (or algorithm) for decoding data and a user interface for displaying the decoded virtual whiteboard data on a screen of the terminal.

상기 가상 화이트보드 서버(300)는 소켓(Socket) 통신 프로토콜과 원격 관리 SW에 의해 운용되고, 상기 가상 화이트보드 데이터 처리 프로그램은 웹 SW로 개발 가능하며, 각 단말기 운영체제(예 : Windows, HTML, Android, IOS)에 적합한 응용 SW(가상 화이트보드 데이터 처리 프로그램)를 인터넷을 통해서 제공한다. The virtual whiteboard server 300 is operated by a socket communication protocol and a remote management SW, the virtual whiteboard data processing program can be developed as a web SW, each terminal operating system (for example, Windows, HTML, Android It provides an application SW (Virtual Whiteboard Data Processing Program) suitable for IOS.

따라서 상기 각 단말기는 자신의 운영체제에 적합한 응용 SW(가상 화이트보드 데이터 처리 프로그램)를 다운로드 받아서 설치할 수 있다.Accordingly, each terminal may download and install an application SW (virtual whiteboard data processing program) suitable for its operating system.

도2는 본 발명의 일 실시예에 따른 가상 화이트보드 데이터 처리 장치의 개략적인 구성을 보인 예시도로서, 상기 가상 화이트보드 데이터 처리 장치(100)는 제어부(101), 통신부(102), 센서부(103), 저장부(104), 디스플레이부(105), 스피커(106), 마이크(107)를 포함하여 구성한다.2 is an exemplary view showing a schematic configuration of a virtual whiteboard data processing apparatus according to an embodiment of the present invention, wherein the virtual whiteboard data processing apparatus 100 includes a control unit 101, a communication unit 102, and a sensor unit. It comprises a 103, a storage 104, a display 105, a speaker 106, and a microphone 107.

상기 제어부(101)는 가상 화이트보드 데이터 처리 프로그램을 실행하고, 그 사용자 인터페이스 화면(예 : 가상 화이트보드 화면)을 통해 입력되는 특정 이벤트를 검출하여 해당하는 동작을 제어한다. 예컨대 상기 특정 이벤트는 사용자의 터치 입력으로서, 사용자의 필기 입력 및 가상 화이트보드의 동작을 제어하기 위한 제어 입력(예 : 펜 선택, 지우개 선택, 화면 축소/확대, 사진 불러오기, 저장, 종료) 중 어느 하나이다. 만약 상기 단말기가 음성인식 모드로 동작할 경우 상기 특정 이벤트는 음성 명령일 수 있다. 또한 상기 제어부는 상기 사용자 인터페이스 화면에 입력된 정보(예 : 필기 정보)를 기 설정된 데이터 형식으로 부호화하여 통신 연결된 단말기로 전송하고, 만약 상기 단말기를 이용하여 음성(또는 화상) 통화중인 경우에는 그 음성 또는 화상과의 동기화 정보를 추가로 전송한다.The controller 101 executes a virtual whiteboard data processing program, detects a specific event input through the user interface screen (for example, a virtual whiteboard screen), and controls a corresponding operation. For example, the specific event may be a user's touch input, and may include a user's handwriting input and a control input for controlling the operation of the virtual whiteboard (eg, pen selection, eraser selection, screen reduction / enlargement, photo import, storage, and termination). Which one. If the terminal operates in the voice recognition mode, the specific event may be a voice command. In addition, the control unit encodes the information (eg, handwriting information) input on the user interface screen into a preset data format and transmits the information to a terminal connected to the communication, and if the voice is in a voice (or video) call using the terminal, Or further transmits synchronization information with an image.

상기 통신부(102)는 소켓 서버, HTTP 서버, FTP 서버 및 USB, 직렬 및 병렬 통신, 블루투스(IEEE 802.15.1), 지그비(ZigBee), WiFi(IEEE 802.11)와 UWB를 포함하는 근거리 유선 및 무선 통신, 음성 및 데이터 통신이 가능한 유선 및 무선 통신수단 및 이들의 조합 중 적어도 어느 하나 이상을 포함하여 구성된다. The communication unit 102 includes a socket server, an HTTP server, an FTP server, and USB, serial and parallel communication, Bluetooth (IEEE 802.15.1), ZigBee, WiFi (IEEE 802.11) and UWB, including short-range wired and wireless communication. And at least one of wired and wireless communication means capable of voice and data communication and a combination thereof.

상기 센서부(103)는 디스플레이부(105)에 장착되어 사용자 인터페이스를 지원하는 촉각센서를 포함한다. 상기 촉각센서는 터치스크린패널, 터치패드, 체온감지센서, 움직임센서, 근접 감지센서 및 이들의 조합 중 적어도 어느 하나를 포함하여 구성되며, 사용자의 터치, 멀티터치, 핸드라이트, 제스처 및 이들의 조합 중 적어도 하나 이상을 이벤트로 인식한다. 또한 상기 센서부에 시각센서로서 화상 통화나 사진 촬영을 위한 카메라를 더 포함하여 구성할 수 있다.The sensor unit 103 includes a tactile sensor mounted on the display unit 105 to support a user interface. The tactile sensor includes at least one of a touch screen panel, a touch pad, a body temperature sensor, a motion sensor, a proximity sensor, and a combination thereof, and a user's touch, multi-touch, hand light, gesture, and a combination thereof. Recognize at least one of as an event. In addition, the sensor unit may be configured to further include a camera for a video call or picture taking as a visual sensor.

상기 저장부(104)는 상기 가상 화이트보드 데이터 처리 프로그램을 저장하고, 그 가상 화이트보드 사용자 인터페이스 화면을 통해 입력되는 정보(이하, 가상 화이트보드 데이터로 표기함) 및 다른 단말기로부터 전송되는 가상 화이트보드 데이터를 특정 데이터 형식으로 처리(예 : 부호화 또는 복호화)하여 저장한다. 만약 상대방 단말기와 음성통화(또는 화상통화) 중 가상 화이트보드 데이터를 처리할 경우, 음성(또는 화상)과 가상 화이트보드 데이터를 동기화시켜 저장할 수 있다.The storage unit 104 stores the virtual whiteboard data processing program, information input through the virtual whiteboard user interface screen (hereinafter, referred to as virtual whiteboard data) and a virtual whiteboard transmitted from another terminal. The data is processed (eg encoded or decoded) in a specific data format and stored. If the virtual whiteboard data is processed during the voice call (or video call) with the counterpart terminal, the voice (or image) and the virtual whiteboard data may be synchronized and stored.

상기 디스플레이부(105)는 상기 센서부(203)의 각종 센서들과 결합되어 가상 화이트보드 사용자 인터페이스를 구성한다. 예컨대 상기 디스플레이부(105)는 터치센서와 결합되어 터치스크린으로 구성된다. 만약 상대방 단말기와 화상통화 중 가상 화이트보드 데이터를 처리할 경우 화면의 일측에 상대방의 화상을 출력하며, 참고용 사진(이미지)을 별도로 전송하거나 가상 화이트보드 화면에 출력한다.The display unit 105 is combined with various sensors of the sensor unit 203 to form a virtual whiteboard user interface. For example, the display unit 105 is combined with a touch sensor to form a touch screen. If the virtual whiteboard data is processed during the video call with the other terminal, the other party's image is output to one side of the screen, and a reference picture (image) is transmitted separately or output on the virtual whiteboard screen.

상기 스피커(106)는 통신 연결된 단말기에서 수신된 상대방의 통화 음성을 출력하거나, 가상 화이트보드 데이터 처리 프로그램의 동작 중 발생하는 특정 사운드를 출력한다. The speaker 106 outputs a call voice of the other party received from the communication-connected terminal or outputs a specific sound generated during the operation of the virtual whiteboard data processing program.

상기 마이크(107)는 통신 연결된 단말기로 전송한 통화 음성을 입력받거나, 음성인식 모드 등에서 가상 화이트보드 데이터 처리 프로그램을 음성으로 조작하기 위한 음성 명령을 입력받는다. 예컨대 상기 통화 음성은 이동통신망이나 인터넷망에 적합한 데이터 형식으로 처리되어 상대방 단말기와 송수신한다. 상기 통화 음성 데이터는 가상 화이트보드 데이터와는 별도로 처리될 수 있다.The microphone 107 receives a voice of a call transmitted to a communication-connected terminal, or receives a voice command for operating a virtual whiteboard data processing program as a voice in a voice recognition mode. For example, the voice call is processed in a data format suitable for a mobile communication network or an internet network, and is transmitted and received with a counterpart terminal. The call voice data may be processed separately from the virtual whiteboard data.

도3은 본 발명의 일 실시예에 따른 가상 화이트보드 사용자 인터페이스 화면을 보인 예시도이다.3 is an exemplary view showing a virtual whiteboard user interface screen according to an embodiment of the present invention.

상기 가상 화이트보드 사용자 인터페이스 화면은 펜 선택메뉴(121), 지우개메뉴(122), 정보 입력창(123), 저장 및 재생메뉴(124~126), 파일호출메뉴(127) 및 정지화상이나 동화상 출력을 위한 서브화면(128) 중 적어도 하나를 포함하여 구성한다. 상기 사용자 인터페이스 화면을 구성하는 메뉴들(121~128)의 컬러와 모양 및 메뉴 명칭은 디자인 요소이므로 다양하게 변경될 수 있다.The virtual whiteboard user interface screen includes a pen selection menu 121, an eraser menu 122, an information input window 123, a storage and playback menu 124 to 126, a file call menu 127, and a still or moving image output. At least one of the sub-screen 128 for the configuration. Since the colors, shapes, and menu names of the menus 121 to 128 constituting the UI screen are design elements, they may be variously changed.

상기 펜 선택메뉴(121)는 정보 입력창(123)에 라이트 할 펜의 컬러와 두께를 선택하는 메뉴이다. 예컨대 사용자가 검정색 펜과 두께를 선택한 후, 특정 터치수단(예 : 손가락, 스타일러스 펜)을 정보 입력창(123)에 터치한 상태로 이동시키면, 상기 선택한 컬러와 두께로 상기 이동 경로가 표시된다. 즉, 사용자가 입력한 필기 정보가 라이트 되는 것이다.The pen selection menu 121 is a menu for selecting the color and thickness of the pen to be written to the information input window 123. For example, if a user selects a black pen and a thickness and then moves a specific touch means (for example, a finger or a stylus pen) in a state of touching the information input window 123, the movement path is displayed at the selected color and thickness. That is, the writing information input by the user is written.

상기 지우개메뉴(122)는 상기 입력된 필기 정보를 지우는 메뉴이다. 예컨대 사용자가 지우개메뉴(122)를 선택한 후 특정 터치수단(예 : 손가락, 스타일러스 펜)을 정보 입력창(123)에 터치한 상태로 이동시키면, 그 이동 경로에 있는 필기 정보를 삭제하는 것이다.The eraser menu 122 is a menu for erasing the input writing information. For example, if the user selects the eraser menu 122 and then moves a specific touch means (for example, a finger or a stylus pen) in a state of touching the information input window 123, the writing information in the movement path is deleted.

상기 정보 입력창(123)은 사용자가 특정 터치수단(예 : 손가락, 스타일러스 펜)을 이용하여 필기하는 창(Window)이며, 아울러 서버측 단말기에서 입력한 정보를 표시하는 창이기도 하다. 상기 가상 화이트보드 데이터 처리 프로그램은 각 단말기의 디스플레이 환경에 맞는 상대적 크기로(환경설정에 의한) 가상 화이트보드 데이터를 수신하고 디스플레이 한다. 즉, 각 단말기의 디스플레이 해상도에 따라 상기 정보 입력창에 표시되는 정보도 상대적으로 확대되거나 축소되어 표시된다. The information input window 123 is a window in which a user writes using a specific touch means (for example, a finger or a stylus pen), and is also a window for displaying information input from a server terminal. The virtual whiteboard data processing program receives and displays virtual whiteboard data (by environment setting) in a relative size suitable for the display environment of each terminal. That is, information displayed on the information input window is also relatively enlarged or reduced according to the display resolution of each terminal.

상기 저장 및 재생메뉴(124~126)는 상기 정보 입력창(123)에 표시되는 가상 화이트보드 데이터를 정지영상/동영상으로 녹화(저장)하는 저장메뉴(125)와, 이미 파일 형식으로 저장되어 있는 가상 화이트보드 데이터, 정지영상/동영상을 불러오는 호출메뉴(127)와, 상기 불러온 가상 화이트보드 데이터를 재생하는 재생메뉴(126)와, 상기 녹화중이나 재생중인 가상 화이트보드 데이터의 녹화/재생을 일시 중단(Pause)하는 중지메뉴(124)를 포함한다. The storage and playback menus 124 to 126 are storage menus 125 for recording (storing) virtual whiteboard data displayed on the information input window 123 as still images / videos, and are already stored in a file format. Call menu 127 for recalling virtual whiteboard data, still images / videos, playback menu 126 for reproducing the loaded virtual whiteboard data, and recording / playback of the virtual whiteboard data during or during recording. Pause menu 124 to Pause.

한편, 사용자가 상기 메뉴들 중 어느 하나를 롱터치 할 경우, 그 메뉴 대신 선택할 수 있는 다른 메뉴가 표시된다. 예컨대 사용자가 상기 저장메뉴(125)를 롱터치 할 경우, 동영상 저장메뉴에서 정지영상(사진) 저장메뉴(예 : 카메라 아이콘)로 토글되거나 그 반대로 토글되어 표시된다. 여기서 상기 불러온 데이터가 만약 가상 화이트보드 데이터인 경우에는 정보 입력창(123)에 디폴트로 출력되고, 상기 불러온 데이터가 정지영상/동영상인 경우에는 서브화면(128)에 디폴트로 출력된다. 그리고 상기 서브화면에 출력된 데이터를 정보 입력창(123)에 터치&드래그 방식으로 이동시키면 정보 입력창(123)에서 확대하여 표시할 수 있다(도3의(a)). 또한 상기 정지영상/동영상을 정보 입력창(123)에 확대 출력한 상태에서 오버레이 방식으로 가상 화이트보드 데이터(예 : 필기)를 입력할 수 있다(도3의(b)). On the other hand, when the user long touches any of the menus, another menu that can be selected instead of the menu is displayed. For example, when the user long touches the storage menu 125, the moving image is toggled to a still image (photo) storage menu (eg, a camera icon) in the video storage menu or vice versa. If the loaded data is virtual whiteboard data, it is output by default to the information input window 123, and if the loaded data is still / movie, it is output to the sub screen 128 by default. When the data output on the sub screen is moved to the information input window 123 by a touch and drag method, the data input window 123 may be enlarged and displayed on the information input window 123 (FIG. 3A). In addition, the virtual whiteboard data (eg, handwriting) may be input in an overlay manner while the still image / video is enlarged and output on the information input window 123 (FIG. 3B).

도4는 본 발명의 일 실시예에 따른 가상 화이트보드 데이터의 부호화 방법을 설명하기 위한 예시도이다.4 is an exemplary diagram for describing a method of encoding virtual whiteboard data according to an embodiment of the present invention.

본 발명에서 상기 가상 화이트보드 데이터는 일 실시예로서 RLC(Run-Length Coding) 방식을 이용하여 무손실 압축을 실행한다. 예컨대 가상 화이트보드 화면에 입력된 데이터(예 : 사용자가 핸드 라이트로 입력한 내용)는 이진화상 데이터이므로 0과 1로 이루어진다. 이때 대부분의 영역은 흰색(예 : 0)이고, 필기 입력된 영역(글씨가 있는 영역)은 검은색(예 : 1)이 된다. In the present invention, the virtual whiteboard data performs lossless compression by using a run-length coding (RLC) method as an embodiment. For example, the data input on the virtual whiteboard screen (eg, the content input by the user with the hand light) is binary image data, and thus is composed of 0 and 1. At this time, most of the area is white (eg 0), and the handwriting input area (the area in which the letters are written) is black (eg 1).

즉, 본 발명의 일 실시예에 따르면, 도4에 도시된 바와 같이, ‘00000000000000000001110000000011’과 같은 데이터(Binary Pixel Data)가 한 라인으로 구성된다고 가정할 경우, 상기 RLC 부호화 방식을 이용하여‘19 3 8 2’ = 10011 00011 01000 00010)과 같이 코딩된다. 즉, ‘19개의 연속된 0 + 3개의 1 + 8개의 연속된 0 + 2개의 1’로 한 라인이 구성되어 있음을 의미한다.That is, according to an embodiment of the present invention, when it is assumed that the data (Binary Pixel Data) such as '00000000000000000001110000000011' is composed of one line, as shown in FIG. 8 2 '= 10011 00011 01000 00010). That is, it means that one line is composed of '19 consecutive 0 + 3 1 + 8 consecutive 0 + 2 1 '.

이에 따라 코딩을 하기 전에는 32비트(19비트 + 3비트 + 8비트 + 2비트)가 필요하였으나, 상기 RLC 방식으로 코딩을 한 후에는 ‘5비트(Run의 범위를 5비트로 함) x 4개 = 20비트’가 필요하게 된다. 따라서 코딩 효율은 ((32-20)/32) *100 = 37.5% 가 된다.Accordingly, 32 bits (19 bits + 3 bits + 8 bits + 2 bits) were required before coding, but after coding with the RLC method, '5 bits (the range of Run is 5 bits) x 4 = 20 bits' is required. Thus, the coding efficiency is ((32-20) / 32) * 100 = 37.5%.

본 발명의 또 다른 실시예에 따르면, 본 발명은 기존의 팩스 이미지 부호화 방식과 MPEG-1/2/4 혹은 H.264 비디오 코딩에서 사용되는 RLC 방식을 사용할 수 있다. 즉, 동일 데이터가 자주 연속되는 경우, 데이터값과 연속되어 있는 길이만으로 정보를 표현하여 정보량을 줄이는 방식으로, 동일한 데이터가 연속되어 있는 것이 런(run)이며, 그 연속된 길이가 런 렝스(length)인데 이 데이터값과 그 길이만으로도 원래의 정보를 재현할 수 있다. 예를 들어, 'aaaaaaaaaaBcccccccccccccccccccc' 라는 정보는 'a'가 10개, 'B'가 1개, 'c'가 20개이므로 '10aB20c'로 짧게 표현해도 나중에 복원할 수 있다. 아이콘이나 손으로 그림 그림, 팩스 등의 그래픽 이미지는 동일 색의 연속이 많기 때문에 런 렝스 부호화(RLE)를 사용하면 정보량을 크게 줄일 수 있다.According to another embodiment of the present invention, the present invention may use the existing fax image coding scheme and the RLC scheme used in MPEG-1 / 2/4 or H.264 video coding. That is, when the same data is frequently contiguous, the same data is contiguous in a manner in which information is reduced by representing information only by the length that is contiguous with the data value, and the length is continuous. This data value and its length alone can reproduce the original information. For example, the information 'aaaaaaaaaaBcccccccccccccccccccc' can be restored later even if it is briefly expressed as '10aB20c' since 'a' is 10, 'B' is 1 and 'c' is 20. Since graphic images such as icons, hand drawings, and faxes have many sequential colors, run length coding (RLE) can greatly reduce the amount of information.

상기 RLC 방식에 허프만 부호화 방식과 DCT 변환이 추가로 결합해서 더욱 부호화 효율을 높일 수 있다. 경우에 따라서는 DCT 결과를 zigzag 스캔하여 코딩 효율을 더욱 높일 수도 있다. 다만, 이런 부호화 방식은 그 복잡도와 성능 사이의 트레이드-오프를 통해서 최적의 효율을 갖도록 선택되어야 함이 당연한 것이다.The HLC scheme and the DCT transform can be further combined with the RLC scheme to further increase coding efficiency. In some cases, zigzag scans of DCT results can further improve coding efficiency. However, it is natural that such a coding scheme should be selected to have an optimum efficiency through a trade-off between complexity and performance.

2진 영상 표준화에 사용된 코딩 기법을 사용하여 본 발명의 화이트보드를 구현할 수 있으며, 이에 대한 상세한 내용은 아래 표준과 참고문헌에 상세히 기재되어 있다.The coding techniques used for binary image standardization can be used to implement the whiteboard of the present invention, details of which are described in detail in the following standards and references.

표준으로는, (1) ITU-T T.4: G3 FAX for PSTN, 1-D (2-D) run-length coding; (2) ITU-T T.6: G4 FAX for ISDN, 2-D run-length coding: G4 (optionally G3); (3) JBIG (ISO 11544, ITU-T T.82): Bi-level Pictures, Context based arithmetic coding, Progressive transmission; 등이 있으며, 각각에 해당하는 참고문헌은, (1) G3: ITU-T Recommendation T.4, "Standardization of Group 3 Facsimile Apparatus for Document Transmission", 93. 3.; (2) G4: ITU-T Recommendation T.6, "Facsimile Coding Scheme and Control Functions for Group 4 Facsimile Apparatus”, 94.11.; (3) JBIG: ITU-T Recommendation T.82, “"Progressive Bi-Level Image Compression”, 93. 4 . 등이 있다.Standards include (1) ITU-T T.4: G3 FAX for PSTN, 1-D (2-D) run-length coding; (2) ITU-T T.6: G4 FAX for ISDN, 2-D run-length coding: G4 (optionally G3); (3) JBIG (ISO 11544, ITU-T T.82): Bi-level Pictures, Context based arithmetic coding, Progressive transmission; And references corresponding thereto, such as: (1) G3: ITU-T Recommendation T.4, “Standardization of Group 3 Facsimile Apparatus for Document Transmission”, 93. 3 .; (2) G4: ITU-T Recommendation T.6, "Facsimile Coding Scheme and Control Functions for Group 4 Facsimile Apparatus", 94.11 .; (3) JBIG: ITU-T Recommendation T.82, "" Progressive Bi-Level Image Compression ”, 93. 4. Etc.

G3에서 수행하는 1D 압축은, “00001111000000111”라는 코드가 있을 경우, 그 처리절차는 다음과 같다.The 1D compression performed by G3, if there is a code of "00001111000000111", the processing procedure is as follows.

If run-length < 64, then use Terminating code (modified Huffman code) If run-length <64, then use Terminating code (modified Huffman code)

else use largest possible makeup code (not exceeding the run-length) and else use largest possible makeup code (not exceeding the run-length) and

Terminating code (represents [run-length - makeup code])Terminating code (represents [run-length-makeup code])

여기서 End-of-Line (EOL)은 '0000 0000 0001‘와 같이 정해지며, EOL은 각 라인의 종료를 표시하고, EOL은 각각의 새로운 이미지(페이지)의 첫 번째 라인에 대한 신호를 주며, 6개의 연속적인 EOL은 하나의 이미지 시퀀스(페이지)의 끝을 표시한다. 그밖에 CCITT Terminating Codes와 Make-up Codes를 활용하여 코딩할 수 있다.Where End-of-Line (EOL) is defined as '0000 0000 0001', where EOL marks the end of each line, EOL signals the first line of each new image (page), and 6 Consecutive EOLs mark the end of one image sequence (page). In addition, it can be coded using CCITT Terminating Codes and Make-up Codes.

G4에서는 2D 압축 기술을 이용하며, CCITT 2-D Code 테이블을 이용하여 코딩을 수행한다. 또한 JBIG는 상기 ITU-T Recommendation T.82, “"Progressive Bi-Level Image Compression”을 참조하여 코딩을 수행할 수 있다.G4 uses 2D compression technology and performs coding using CCITT 2-D Code table. In addition, the JBIG may perform coding with reference to the ITU-T Recommendation T.82, “Progressive Bi-Level Image Compression”.

경우에 따라서는 상기 표준의 테이블을 이용하여 본 발명의 화이트보드 데이터를 코딩하여 전송할 수 있다.In some cases, the whiteboard data of the present invention can be coded and transmitted using a table of the standard.

또한 가상 화이트보드 데이터를 4가지 컬러로 구현할 경우, 각 픽셀에 대하여 2비트로 구성된 컬러 정보(예 : 00-black, 01-red, 10-green, 11-blue)를 더 부가하여 RLC를 수행할 수 있다. In addition, when the virtual whiteboard data is implemented in four colors, RLC can be performed by adding two bits of color information (for example, 00-black, 01-red, 10-green, and 11-blue) to each pixel. have.

또는 컬러 모드정보가 포함된 가상 화이트보드 프레임 데이터를 각각 코딩하여 전송할 수 있다. 즉, 사용자가 특정 컬러를 선택하여 가상 화이트보드에 데이터를 입력할 경우, 그때 사용한 컬러에 해당하는 컬러 모드정보를 포함하는 가상 화이트보드 프레임 데이터를 RLC하여 전송하는 것이다. 예컨대 검정색과 빨강색을 사용하여 내용을 입력할 경우, 검정색 모드정보가 포함된 가상 화이트보드 프레임 데이터와 빨강색 모드정보가 포함된 가상 화이트보드 프레임 데이터를 RLC한 후 프레임 전송 주기(예 : 1/10초)에 따라 순차로 클라이언트 측으로 전송하는 것이다. 이에 따라 클라이언트 단말기는 상기 순차로 전송된 컬러별 가상 화이트보드 프레임 데이터를 겹쳐서 표시한다.Alternatively, the virtual whiteboard frame data including the color mode information may be coded and transmitted. That is, when a user selects a specific color and inputs data to the virtual whiteboard, the RLC transmits virtual whiteboard frame data including color mode information corresponding to the color used at that time. For example, in case of inputting content using black and red, frame transmission period after RLC of virtual whiteboard frame data including black mode information and virtual whiteboard frame data including red mode information (eg 1 / 10 seconds) to the client side sequentially. Accordingly, the client terminal displays the virtual whiteboard frame data for each color transmitted sequentially.

도5a와 도5b는 본 발명의 일 실시예에 따른 가상 화이트보드 데이터의 전송 방법을 설명하기 위한 예시도이다.5A and 5B are exemplary diagrams for describing a method of transmitting virtual whiteboard data according to an embodiment of the present invention.

상술한 바와 같이 가상 화이트보드 데이터는 전송률을 높이기 위해서 특정 부호화 방식(예 : Run Length Coding)으로 코딩되어 상대방 단말기(또는 클라이언트)로 전송된다. 이때 기본적으로는, 도5a의 (a)와 같이, 가상 화이트보드 화면 전체에 대한 프레임 데이터를 미리 설정된 특정 주기(예 : 1/10초)로 부호화하여 전송한다. As described above, the virtual whiteboard data is coded in a specific coding scheme (eg, Run Length Coding) to be transmitted to the counterpart terminal (or client) in order to increase the transmission rate. At this time, basically, as shown in FIG. 5A, the frame data of the entire virtual whiteboard screen is encoded and transmitted at a predetermined specific period (for example, 1/10 second).

그러나 본 발명은 데이터 전송률과 데이터 처리효율을 높이기 위해서, 상기 가상 화이트보드 화면을 n개의 영역으로 분할한 후, 주기적으로 특정 이벤트(예 : 터치)가 발생한 영역들을 검출하여 그 영역들의 데이터만 코딩하여 전송한다. 예를 들어, 도5a의 (b)와 같이, 가상 화이트보드 화면을 4등분하여 4개의 영역으로 분할하거나, 도5a의 (c)와 같이, 가상 화이트보드 화면을 16등분하여 16개의 영역으로 분할하고, 가상 화이트보드 프레임 전송주기 마다, 특정 이벤트(예 : 터치)가 발생한 영역들을 검출하여, 그 검출된 영역들의 가상 화이트보드 데이터만 코딩하여 전송한다. However, the present invention divides the virtual whiteboard screen into n areas in order to increase data transfer rate and data processing efficiency, periodically detects areas where a specific event (for example, touch) occurs, and codes only data of the areas. send. For example, as shown in (b) of FIG. 5A, the virtual whiteboard screen is divided into four regions by dividing into four regions, or as shown in (c) of FIG. 5A, the virtual whiteboard screen is divided into sixteen regions by dividing into 16 regions. Each area of the virtual whiteboard frame transmission period detects areas in which a specific event (for example, touch) occurs, and codes and transmits only the virtual whiteboard data of the detected areas.

또는, 도5b에 도시된 바와 같이, 가상 화이트보드 프레임 전송주기 마다, 터치가 발생한 영역(또는 새로운 데이터가 입력된 영역)의 범위를 산출하여, 그 산출된 영역의 가상 화이트보드 데이터를 프레임 단위로 코딩하여 전송한다. 즉, 도5b의 (a)와 같이 기존의 데이터가 라이트 된 상태에서, 도5b의 (b)와 같이 사용자가 새로운 데이터를 입력할 경우, 도5b의 (C)와 같이 새로운 데이터가 입력된 영역(또는 데이터 입력 범위)을 산출한 후, 도5b의 (d)와 같이 하나의 프레임으로 코딩하여 전송한다.Alternatively, as shown in FIG. 5B, for each virtual whiteboard frame transmission period, a range of a region where a touch occurs (or a region where new data is input) is calculated, and the virtual whiteboard data of the calculated region is framed. Code and send That is, when existing data is written as shown in FIG. 5B (a), when a user inputs new data as shown in FIG. 5B (b), an area in which new data is input as shown in (C) in FIG. 5B. After calculating (or a data input range), it is coded into one frame and transmitted as shown in (d) of FIG. 5B.

이때 상기 코딩되는 영역에 대한 정보(예 : 영역이 시작되는 좌표(x,y), 폭(W), 높이(H)) 및 컬러 모드 정보(C)를 더 포함하여 전송하고, 각 데이터 필드에 별도의 라인바꿈 정보를 포함하지 않더라도, 폭(W)정보를 이용하여 라인을 바꾸는 것이 가능하다. 이에 따라 클라이언트 단말기는 상기 정보를 참조하여, 기존의 데이터가 출력되어 있는 가상 화이트보드 화면에, 상기 전송받은 영역에 대한 데이터만 디코딩하여 출력한다.At this time, the information on the region to be coded (for example, coordinates (x, y), width (W), height (H) starting from the region) and color mode information (C) are further included, and transmitted to each data field. Even if the line break information is not included, it is possible to change the line using the width W information. Accordingly, the client terminal decodes and outputs only the data of the received area on the virtual whiteboard screen on which the existing data is output with reference to the information.

상기와 같이 본 발명은 새로운 데이터가 입력된 영역을 주기적으로 코딩하여 전송함으로써 데이터 전송률과 데이터 처리효율을 높이는 효과가 있다. 그러나 가상 화이트보드 데이터의 변화된 픽셀의 양이 현저하게 많을 경우, 즉, 상기 산출된 데이터의 입력범위가 기 설정된 특정 범위를 초과할 경우, 화면 전체에 대한 프레임 데이터를 코딩하여 전송한다. 예컨대, 가상 화이트보드 화면에 그림(이미지) 또는 사진을 출력하는 경우, 클라이언트에서 가상 화이트보드 데이터 처리 프로그램이 최초로 실행된 경우, 또는 여러 단말기들이 이미 통신하고 있는 도중에 새로운 클라이언트가 참여한 경우에는 화면 전체에 대한 프레임 데이터를 코딩하여 전송한다. 즉, 상기 클라이언트는 가상 화이트보드 화면 전체에 대한 프레임 데이터를 요청하며, 서버 측 단말기는 상기 클라이언트의 요청에 따라 가상 화이트보드 화면 전체에 대한 프레임 데이터를 코딩하여 전송한다. As described above, the present invention has an effect of increasing data rate and data processing efficiency by periodically coding and transmitting an area in which new data is input. However, when the amount of changed pixels of the virtual whiteboard data is remarkably large, that is, when the input range of the calculated data exceeds a preset specific range, the frame data of the entire screen is coded and transmitted. For example, when outputting a picture or image on a virtual whiteboard screen, when a virtual whiteboard data processing program is first executed on a client, or when a new client participates while several terminals are already communicating, the entire screen is displayed. Coding and transmitting frame data for That is, the client requests frame data for the entire virtual whiteboard screen, and the server-side terminal codes and transmits frame data for the entire virtual whiteboard screen according to the client's request.

상기와 같이 서버 측 단말기에서는 가상 화이트보드 화면 전체에 대한 데이터(예 : RLC 데이터)를 저장하고 있으며, 클라이언트의 요구가 있을 경우, 상기 화면 전체에 대한 데이터(예 : RLC 데이터)를 곧바로 전송한다. 이때 상기 서버 측 단말기는 화면 전체에 대한 데이터(예 : RLC 데이터)를 항상 최신의 새로운 값으로 업데이트되어 있는 상태여야 한다. As described above, the server-side terminal stores the data (for example, RLC data) for the entire virtual whiteboard screen, and immediately transmits the data (for example, RLC data) for the entire screen when requested by the client. In this case, the server-side terminal should always be updated with the latest new value of data (eg, RLC data) for the entire screen.

한편, 상기 가상 화이트보드 보드에 새로운 데이터의 입력이 없을 경우, 즉, 데이터의 변화되는 값이 없을 경우, 또는 가상 화이트보드 화면에 특정 이벤트(예 : 터치)가 발생하지 않는 경우에는 가상 화이트보드 프레임 전송주기가 되었더라도 가상 화이트보드 데이터를 전송하지 않는다.On the other hand, when there is no input of new data on the virtual whiteboard, that is, when there is no changing value of the data or when a specific event (for example, touch) does not occur on the virtual whiteboard screen, the virtual whiteboard frame The virtual whiteboard data is not transmitted even if the transmission period is reached.

도6은 본 발명의 일 실시예에 따른 가상 화이트보드 데이터 처리 장치의 동작 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of operating a virtual whiteboard data processing apparatus according to an embodiment of the present invention.

사용자들은 자신의 단말기에 설치된 가상 화이트보드 데이터 처리 프로그램을 실행한 후 기 설정된 특정 네트워크를 통해서 통신세션을 연결한다(S110). 상기 통신세션에는 화상이나 음성 데이터를 포함할 수 있다. 이때 상기 가상 화이트보드 데이터 처리 프로그램을 실행하면 사용자 인터페이스 화면(가상 화이트보드 화면)이 초기화 되고, 상기 통신세션이 연결된 단말기와 가상 화이트보드 데이터를 공유한다(S120).Users execute a virtual whiteboard data processing program installed in their terminal, and then connect the communication session through a predetermined specific network (S110). The communication session may include video or audio data. In this case, when the virtual whiteboard data processing program is executed, a user interface screen (virtual whiteboard screen) is initialized and the virtual whiteboard data is shared with the terminal to which the communication session is connected (S120).

그리고 사용자 인터페이스 화면(가상 화이트보드 화면)에서 데이터의 변화를 주기적으로 검출한다(S130). 예컨대 사용자가 가상 화이트보드 화면에 임의의 새로운 데이터를 입력할 경우 그 데이터의 변화를 검출한다(예 : 필기 입력이나 지우개 입력 시 데이터가 변화한다). 이때 상기 데이터가 변화되기 위해서는 사용자의 터치 이벤트가 먼저 입력되어 한다. 따라서 터치 이벤트가 발생할 경우에 데이터의 변화를 검출하는 것이 가능하다.In operation S130, a change in data is periodically detected on a user interface screen (virtual whiteboard screen). For example, when a user enters arbitrary new data into the virtual whiteboard screen, the data is detected (eg, the data changes when a handwriting input or an eraser input). At this time, in order to change the data, the user's touch event must be input first. Therefore, it is possible to detect a change in data when a touch event occurs.

상기와 같이 데이터의 변화가 검출되면, 주기적으로 상기 데이터가 변화된 영역(새로운 데이터가 입력되거나, 기존의 데이터가 지워진 영역)의 범위를 산출하고, 그 산출된 영역의 범위가 기 설정된 특정 범위를 초과할 경우(S140의 예), 가상 화이트보드 화면 전체에 대한 프레임 데이터를 코딩하여 상대방 단말기로 전송한다(S180). 예컨대 도5a와 도5b를 참조하여 설명한 바와 같이, 가상 화이트보드 화면에 그림(이미지) 또는 사진을 출력하는 경우, 또는 사용자가 화면 전체적으로 많은 정보를 입력하거나 삭제한 경우에 데이터가 변화된 영역의 범위가 기 설정된 특정 범위를 초과할 수 있다. 또한 클라이언트의 요청이 있을 경우에도 가상 화이트보드 화면 전체에 대한 프레임 데이터를 코딩하여 전송한다.When a change in data is detected as described above, a range of a region in which the data is changed (a region in which new data is input or an existing data is deleted) is calculated periodically, and the range of the calculated region exceeds a predetermined specific range. If (S140), the frame data for the entire virtual whiteboard screen is coded and transmitted to the counterpart terminal (S180). For example, as described with reference to FIGS. 5A and 5B, when a picture (image) or a picture is output on a virtual whiteboard screen or when a user inputs or deletes a lot of information on the entire screen, the range of the region where the data is changed is changed. It may exceed a certain preset range. In addition, even when requested by the client, the frame data of the entire virtual whiteboard screen is coded and transmitted.

그러나 상기 검출된 데이터의 변화된 영역이 기 설정된 특정 범위를 초과하지 않을 경우(S140의 아니오), 데이터에 변화가 있는 영역(또는 터치 입력이 있는 영역)에 대한 데이터를 코딩하고(S150), 상기 코딩된 데이터를 기 설정된 특정 형식(전송에 적합한 형식)으로 패킷화 한 후(S160), 그 패킷화 된 데이터를 상대방 단말기로 전송한다(S170).However, when the changed region of the detected data does not exceed a predetermined specific range (NO in S140), data for an area (or an area with a touch input) in which the data is changed (S150) is coded. The packetized data is packetized into a predetermined specific format (format suitable for transmission) (S160), and the packetized data is transmitted to the counterpart terminal (S170).

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand. Therefore, the technical protection scope of the present invention will be defined by the claims below.

MT1 ~ MT3, 100 : 단말기 101 : 제어부
102 : 통신부 103 : 센서부
104 : 저장부 105 : 디스플레이부
106 : 스피커 107 : 마이크
200 : 네트워크 300 : 가상 화이트보드 서버MT1 to MT3, 100: terminal 101: control unit
102: communication unit 103: sensor unit
104: storage unit 105: display unit
106: speaker 107: microphone
200: network 300: virtual whiteboard server

Claims (17)

가상 화이트보드 화면을 출력하는 디스플레이부;
상기 디스플레이부에 결합되며 상기 가상 화이트보드 화면에 사용자가 입력하는 데이터를 검출하는 센서부;
가상 화이트보드 데이터 처리 프로그램을 실행하여, 상기 디스플레이부에 가상 화이트보드 화면을 출력하고, 상기 가상 화이트보드 화면에 새로운 데이터가 입력되는 경우, 상기 가상 화이트보드 화면의 프레임 데이터를 기 설정된 특정 방식으로 코딩하여 상대방 단말기로 전송하는 제어부; 를 포함하여 구성되며,
상기 가상 화이트보드 화면을 적어도 하나 이상의 픽셀을 포함하는 적어도 하나 이상의 영역으로 분할하여, 상기 영역에 대해서 주기적으로 이전 프레임 데이터와 비교해서 새로운 데이터가 입력되었다고 판정되는 영역들을 검출하여, 상기 검출된 영역의 프레임 데이터만 선택적으로 코딩하여 전송하는 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.A display unit configured to output a virtual whiteboard screen;
A sensor unit coupled to the display unit to detect data input by a user on the virtual whiteboard screen;
When a virtual whiteboard data processing program is executed to output a virtual whiteboard screen to the display unit and new data is input to the virtual whiteboard screen, the frame data of the virtual whiteboard screen is coded in a predetermined manner. A control unit for transmitting to the counterpart terminal; And,
The virtual whiteboard screen is divided into at least one region including at least one pixel, and the regions are periodically detected for the region, and new regions are determined to be input to compare the previous frame data. Virtual whiteboard data processing device, characterized in that for transmitting only the frame data selectively. 청구항 1에 있어서,
상기 가상 화이트보드 화면에 입력된 데이터는 RLC(Run-Length Coding) 방식을 이용하여 무손실 압축하는 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
And the data input to the virtual whiteboard screen is losslessly compressed using a run-length coding (RLC) method. 청구항 1에 있어서,
상기 가상 화이트보드 화면은 펜 선택메뉴, 지우개메뉴, 정보 입력창, 저장 및 재생메뉴, 파일호출메뉴 및 정지화상이나 동화상 출력을 위한 서브화면 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
The virtual whiteboard screen includes at least one of a pen selection menu, an eraser menu, an information input window, a storage and playback menu, a file call menu, and a sub screen for outputting a still or moving image. Board data processing unit. 청구항 1에 있어서,
상기 가상 화이트보드 화면 및 그 데이터를 정지영상 또는 동영상으로 녹화 저장하고, 상기 저장된 가상 화이트보드 화면 및 그 데이터를 불러와 재생할 수 있도록 구성된 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
And record and store the virtual whiteboard screen and its data as a still image or a video, and recall and play the stored virtual whiteboard screen and its data. 청구항 1에 있어서,
상기 가상 화이트보드 화면에 정지영상 또는 동영상을 출력할 경우, 사용자가 입력하는 가상 화이트보드 데이터를 오버레이 방식으로 디스플레이 하도록 구성된 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
And outputting virtual whiteboard data input by a user in an overlay manner when outputting a still image or video on the virtual whiteboard screen. 삭제delete 삭제delete 청구항 1에 있어서,
상기 가상 화이트보드 화면에 새로운 데이터의 입력이 없거나, 또는 데이터의 변화가 발생되지 않는 경우, 가상 화이트보드 프레임 전송주기가 되었더라도 가상 화이트보드 데이터를 전송하지 않는 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
The virtual whiteboard data processing apparatus, characterized in that the virtual whiteboard data is not transmitted even if the virtual whiteboard frame transmission period is reached when there is no input of new data or no change of data occurs on the virtual whiteboard screen. 청구항 1에 있어서,
상기 디스플레이부는 터치센서와 결합되어 터치스크린으로 구성되는 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
The display unit is coupled to the touch sensor virtual whiteboard data processing device, characterized in that configured as a touch screen. 청구항 1에 있어서,
상기 특정 방식으로 코딩한 가상 화이트보드 화면의 프레임 데이터를 상대방 단말기에 전송하기 위한 통신부; 를 더 포함하여 구성되며,
상기 통신부는 소켓 서버, HTTP 서버, FTP 서버 및 USB, 직렬 및 병렬 통신, 블루투스(IEEE 802.15.1), 지그비(ZigBee), WiFi(IEEE 802.11)와 UWB를 포함하는 근거리 유선 및 무선 통신, 음성 및 데이터 통신이 가능한 유선 및 무선 통신수단 및 이들의 조합 중 적어도 어느 하나 이상을 포함하여 구성되는 것을 특징으로 하는 가상 화이트보드 데이터 처리 장치.The method according to claim 1,
A communication unit for transmitting the frame data of the virtual whiteboard screen coded in the specific manner to the counterpart terminal; Further comprising:
The communication unit includes short-range wired and wireless communication including voice server, HTTP server, FTP server, USB, serial and parallel communication, Bluetooth (IEEE 802.15.1), ZigBee, WiFi (IEEE 802.11) and UWB, voice and A virtual whiteboard data processing device comprising at least one of wired and wireless communication means capable of data communication and a combination thereof. 가상 화이트보드 화면을 출력하는 단계;
상기 가상 화이트보드 화면에 입력되는 데이터를 검출하는 단계;
상기 가상 화이트보드 화면에 새로운 데이터가 입력되는 경우, 상기 가상 화이트보드 화면의 프레임 데이터를 기 설정된 특정 방식으로 코딩하여 상대방 단말기로 전송하는 단계; 를 포함하여 구성되며,
상기 가상 화이트보드 화면을 적어도 하나 이상의 픽셀을 포함하는 적어도 하나 이상의 영역으로 분할하여, 상기 영역에 대해서 주기적으로 이전 프레임 데이터와 비교해서 새로운 데이터가 입력되었다고 판정되는 영역들을 검출하여, 상기 검출된 영역의 프레임 데이터만 선택적으로 코딩하여 전송하는 것을 특징으로 하는 가상 화이트보드 데이터 처리 방법Outputting a virtual whiteboard screen;
Detecting data input to the virtual whiteboard screen;
When new data is input to the virtual whiteboard screen, coding frame data of the virtual whiteboard screen in a predetermined specific manner and transmitting the encoded data to a counterpart terminal; And,
The virtual whiteboard screen is divided into at least one region including at least one pixel, and the regions are periodically detected for the region, and new regions are determined to be input to compare the previous frame data. Virtual whiteboard data processing method characterized by selectively coding only frame data and transmitting 청구항 11에 있어서,
상기 가상 화이트보드 화면에 입력된 데이터는 RLC(Run-Length Coding) 방식을 이용하여 무손실 압축하는 것을 특징으로 하는 가상 화이트보드 데이터 처리 방법.The method of claim 11,
The data input to the virtual whiteboard screen is lossless compression using a run-length coding (RLC) method. 청구항 11에 있어서,
상기 가상 화이트보드 화면 및 그 데이터를 정지영상 또는 동영상으로 녹화 저장하고, 상기 저장된 가상 화이트보드 화면 및 그 데이터를 불러와 재생할 수 있도록 구성된 것을 특징으로 하는 가상 화이트보드 데이터 처리 방법.The method of claim 11,
And recording and storing the virtual whiteboard screen and its data as a still image or a moving image, and recalling and playing the stored virtual whiteboard screen and its data. 청구항 11에 있어서,
상기 가상 화이트보드 화면에 정지영상 또는 동영상을 출력할 경우, 사용자가 입력하는 가상 화이트보드 데이터를 오버레이 방식으로 디스플레이 하도록 구성된 것을 특징으로 하는 가상 화이트보드 데이터 처리 방법.The method of claim 11,
When outputting a still image or a video on the virtual whiteboard screen, the virtual whiteboard data processing method characterized in that configured to display the virtual whiteboard data input by the user in an overlay manner. 삭제delete 삭제delete 청구항 11에 있어서,
상기 가상 화이트보드 화면에 새로운 데이터의 입력이 없거나, 또는 데이터의 변화가 발생되지 않는 경우, 가상 화이트보드 프레임 전송주기가 되었더라도 가상 화이트보드 데이터를 전송하지 않는 것을 특징으로 하는 가상 화이트보드 데이터 처리 방법.The method of claim 11,
The virtual whiteboard data processing method characterized in that the virtual whiteboard data is not transmitted even if the virtual whiteboard frame transmission period is reached when no new data is input to the virtual whiteboard screen or no data change occurs.
KR1020120050180A 2012-05-11 2012-05-11 An apparatus for processing virtual whiteboard data and the method thereof KR101247770B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120050180A KR101247770B1 (en) 2012-05-11 2012-05-11 An apparatus for processing virtual whiteboard data and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120050180A KR101247770B1 (en) 2012-05-11 2012-05-11 An apparatus for processing virtual whiteboard data and the method thereof

Publications (1)

Publication Number Publication Date
KR101247770B1 true KR101247770B1 (en) 2013-03-25

Family

ID=48182605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120050180A KR101247770B1 (en) 2012-05-11 2012-05-11 An apparatus for processing virtual whiteboard data and the method thereof

Country Status (1)

Country Link
KR (1) KR101247770B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101604472B1 (en) * 2015-05-27 2016-03-17 엘아이지넥스원 주식회사 Method for controlling output target image in real time using multiple modules
KR101604471B1 (en) * 2015-05-27 2016-03-17 엘아이지넥스원 주식회사 System for controlling output target image in real time
KR101639163B1 (en) * 2015-07-08 2016-07-22 울산대학교 산학협력단 Apparatus for Low bit rate transmitting image data and sensing data, and method for operating the same
CN113271425A (en) * 2021-04-19 2021-08-17 瑞芯微电子股份有限公司 Interaction system and method based on virtual equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
KR19990050063A (en) * 1997-12-16 1999-07-05 전주범 Coding Mode Switching Control Device of Image Coding System
KR20080023900A (en) * 2006-09-12 2008-03-17 삼성전자주식회사 Method and apparatus for video conference using white board service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
KR19990050063A (en) * 1997-12-16 1999-07-05 전주범 Coding Mode Switching Control Device of Image Coding System
KR20080023900A (en) * 2006-09-12 2008-03-17 삼성전자주식회사 Method and apparatus for video conference using white board service

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101604472B1 (en) * 2015-05-27 2016-03-17 엘아이지넥스원 주식회사 Method for controlling output target image in real time using multiple modules
KR101604471B1 (en) * 2015-05-27 2016-03-17 엘아이지넥스원 주식회사 System for controlling output target image in real time
KR101639163B1 (en) * 2015-07-08 2016-07-22 울산대학교 산학협력단 Apparatus for Low bit rate transmitting image data and sensing data, and method for operating the same
CN113271425A (en) * 2021-04-19 2021-08-17 瑞芯微电子股份有限公司 Interaction system and method based on virtual equipment

Similar Documents

Publication Publication Date Title
US10986345B2 (en) Backward-compatible video capture and distribution
US10419618B2 (en) Information processing apparatus having whiteboard and video conferencing functions
US9264478B2 (en) Home cloud with virtualized input and output roaming over network
US20150091940A1 (en) Image processing apparatus
KR101179890B1 (en) Method and apparatus for digital image displaying on a portable terminal
WO2020114215A1 (en) Image information processing method and apparatus, and storage medium
KR20100028344A (en) Method and apparatus for editing image of portable terminal
EP2312532B1 (en) Apparatus and method for transmitting handwritten message including time information
US20120042265A1 (en) Information Processing Device, Information Processing Method, Computer Program, and Content Display System
TWI401968B (en) Encoding method of screen frame and electronic apparatus applied therewith
CN105874807B (en) Methods, systems, and media for remote rendering of Web content on a television device
KR101247770B1 (en) An apparatus for processing virtual whiteboard data and the method thereof
WO2013113191A1 (en) Method and system for rapid video image transmission
KR101107027B1 (en) The method for realtime object transfer and information share
JP6022076B2 (en) Electronic device and communication control method
US20150029196A1 (en) Distribution management apparatus
JP2004120176A (en) Mobile phone
US8860773B2 (en) Telepresence for remote collaboration with a gestural interface
TWI740208B (en) Image transmission device, image display system with remote screen capture function, and remote screen capture method
KR20140052739A (en) Video conference system providing data sharing function based on meta data and method thereof
TW201306519A (en) Remote control method and system, receiving device, mobile internet device and record media for implementing thereof
WO2014049761A1 (en) System, information processing device, and image processing method
KR20160119431A (en) Terminal Device, method for streaming UI, and storage medium thereof
KR100689415B1 (en) Method for controlling external device in wireless terminal
CN116225285A (en) Interface interaction method and device, interaction panel and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160309

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180313

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 7