KR102009928B1 - 협업 구현 방법 및 장치 - Google Patents

협업 구현 방법 및 장치 Download PDF

Info

Publication number
KR102009928B1
KR102009928B1 KR1020120090498A KR20120090498A KR102009928B1 KR 102009928 B1 KR102009928 B1 KR 102009928B1 KR 1020120090498 A KR1020120090498 A KR 1020120090498A KR 20120090498 A KR20120090498 A KR 20120090498A KR 102009928 B1 KR102009928 B1 KR 102009928B1
Authority
KR
South Korea
Prior art keywords
data
client
server
wireless communication
image
Prior art date
Application number
KR1020120090498A
Other languages
English (en)
Other versions
KR20140024531A (ko
Inventor
김필원
박소영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120090498A priority Critical patent/KR102009928B1/ko
Priority to CN201310364945.7A priority patent/CN103631768B/zh
Priority to US13/970,751 priority patent/US9894115B2/en
Priority to EP13181079.8A priority patent/EP2701152B1/en
Publication of KR20140024531A publication Critical patent/KR20140024531A/ko
Application granted granted Critical
Publication of KR102009928B1 publication Critical patent/KR102009928B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/402—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H04L65/4025—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services where none of the additional parallel sessions is real time or time sensitive, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/001—Sharing resources, e.g. processing power or memory, with a connected apparatus or enhancing the capability of the still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0089—Image display device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3246—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of data relating to permitted access or usage, e.g. level of access or usage parameters for digital rights management [DRM] related to still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3249—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document data relating to a linked page or object, e.g. hyperlink
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278—Transmission

Abstract

본 발명은 외부장치와 통신 가능한 휴대 단말을 이용하여 협업할 수 있도록 한 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 협업 구현 방법은 카메라를 가지는 휴대 단말에서 수행되고, 카메라 영상을 포함하는 식별정보 요청 메시지를 서버로 전송하는 단계; 상기 서버로부터 상기 카메라 영상에 포함된 객체와 관련된 식별정보를 수신하는 단계; 상기 객체가 사용자에 의해 선택된 경우 상기 선택된 객체의 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 상기 서버로 전송하는 단계; 상기 서버로부터 상기 식별정보에 대응되는 제 1 데이터를 수신하는 단계; 입력부로부터의 사용자의 입력 정보에 응답하여 상기 제 1 데이터를 제 2 데이터로 편집하는 단계; 및 상기 제 2 데이터를 상기 서버로 전송하여, 상기 서버가 상기 제 1 데이터를 상기 제 2 데이터로 업데이트하도록 하는 단계를 포함한다.

Description

협업 구현 방법 및 장치{COOPERATION METHOD AND APPARATUS}
본 발명은 외부장치와 통신 가능한 휴대 단말을 이용하여 협업할 수 있도록 한 방법 및 장치에 관한 것이다.
협업, 학습 및 세미나 용도로 전자 칠판 시스템(예, Luidia사의 eBeam 시스템)이 이용되고 있다. 일반적으로 전자 칠판 시스템은 스크린(예컨대, 하얀 벽면이나 화이트보드 등)에 이미지를 영사하는 프로젝터와, 전자펜과, 전자펜의 전자빔(예, 초음파, 적외선)을 감지하는 센서와, 센서로부터 수신한 정보에서 전자펜의 궤적(필기 정보)을 인식하고 스크린에 상기 궤적을 표시하도록 프로젝터를 제어하고 필기 정보를 저장하는 컴퓨터를 포함하여 이루어질 수 있다. 사용자는 분필 등과 같은 실제 펜 대신에 전자펜을 스크린에 접촉하여 이미지에 필기할 수 있다.
한편 가상 협업 공간은 협업 참여자들이 네트워크를 통해 상호 연결된 컴퓨터들을 이용해 하나의 작업 공간(work space)에서 협업할 수 있도록 하는 가상 환경이다. 즉 가상 협업 공간은 물리적으로 저장 공간을 의미하는 것으로, 협업 참여자들의 컴퓨터들 중 어느 한 곳에 구축될 수 있다. 또는 별도의 서버에 구축될 수도 있다. 예컨대, 컴퓨터는 가상 협업 공간을 통해 파워포인트의 화면을 다른 컴퓨터와 공유하고, 다른 컴퓨터와 함께 파워포인트 파일을 공동으로 작업하여 하나의 문서로 만들 수 있다. 마이크로소프트사의 윈도우에 포함된 미팅 스페이스(Meeting Space)가 대표적 사례이다.
상술한 가상 협업 공간에 따르면 협업 참여자들은 각자 자신의 컴퓨터를 통해서 협업한다. 즉 전자 칠판 시스템의 스크린과 같이 공동 화면을 통해 협업하는 서비스는 기존의 가상 협업 공간을 제공하는 컴퓨터에서는 불가능하다. 상술한 전자 칠판 시스템에 따르면 참여자들이 스크린을 통해 직접 가상 협업 공간의 데이터를 조작하기 위해서는 전자펜과 이러한 전자펜의 전자빔을 인식하는 센서가 별도로 필요하다. 협업 참여자들은 이러한 전자펜을 별도로 소지하고 있지 않는다. 즉 협업 참여자들은 보통 하나의 전자펜을 이용하여 돌아가면서 작업한다. 또한 협업 참여자들은 직접 스크린 쪽으로 이동한다. 따라서 업무 효율이 떨어진다.
본 발명은 전자펜과 센서와 같은 별도의 기기를 구비하지 않고도, 각자 자신들의 휴대 단말을 이용하여 공동 화면을 통해 협업할 수 있도록 한 협업 구현 방법 및 장치를 제안한다.
본 발명의 일 실시예에 따른 협업 구현 방법은 카메라를 가지는 휴대 단말에서 수행되고, 카메라 영상을 포함하는 식별정보 요청 메시지를 서버로 전송하는 단계; 상기 서버로부터 상기 카메라 영상에 포함된 객체와 관련된 식별정보를 수신하는 단계; 상기 객체가 사용자에 의해 선택된 경우 상기 선택된 객체의 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 상기 서버로 전송하는 단계; 상기 서버로부터 상기 식별정보에 대응되는 제 1 데이터를 수신하는 단계; 입력부로부터의 사용자의 입력 정보에 응답하여 상기 제 1 데이터를 제 2 데이터로 편집하는 단계; 및 상기 제 2 데이터를 상기 서버로 전송하여, 상기 서버가 상기 제 1 데이터를 상기 제 2 데이터로 업데이트하도록 하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 협업 구현 방법은 클라이언트와 무선 통신 가능하고 외부 표시장치 또는 내부의 표시부를 통해 가상 협업 화면을 표시하도록 제어하는 서버에서 수행되고, 상기 클라이언트로부터 카메라 영상을 포함하는 식별정보 요청 메시지를 수신하는 단계; 상기 가상 협업 화면에서 상기 카메라 영상이 어느 부분인지를 인식하는 단계; 상기 인식된 부분에 객체가 포함되어 있는 경우 상기 객체와 관련된 식별정보를 상기 클라이언트로 전송하는 단계; 상기 클라이언트로부터 상기 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 수신하는 단계; 상기 데이터 요청 메시지에 응답하여 상기 식별정보에 대응되는 제 1 데이터를 상기 클라이언트에 전송하는 단계; 상기 클라이언트로부터 제 2 데이터를 수신하는 단계; 및 상기 제 1 데이터를 상기 제 2 데이터로 업데이트하는 단계를 포함한다.
본 발명의 일 실시예에 따른 휴대 단말은 카메라; 서버와 무선 통신하는 무선 통신부; 터치스크린을 가지고 상기 카메라가 촬영한 카메라 영상 및 상기 무선통신부가 상기 서버로부터 수신한 데이터를 표시하는 표시부; 및 상기 카메라, 상기 무선 통신부 및 상기 표시부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 카메라 영상을 포함하는 식별정보 요청 메시지를 서버로 전송하도록 상기 무선통신부를 제어하고, 상기 무선 통신부를 통해 상기 서버로부터 상기 카메라 영상에 포함된 객체와 관련된 식별정보를 수신하고, 상기 객체가 사용자에 의해 선택된 경우 상기 선택된 객체의 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 상기 서버로 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부를 통해 상기 서버로부터 상기 식별정보에 대응되는 제 1 데이터를 수신하고, 상기 터치스크린으로부터의 사용자의 입력 정보에 응답하여 상기 제 1 데이터를 제 2 데이터로 편집하고, 상기 제 2 데이터를 상기 서버로 전송하도록 상기 무선 통신부를 제어한다.
본 발명의 다른 실시예에 따른 휴대 단말은 클라이언트 및 외부 표시장치와 무선 통신하는 무선통신부; 가상 협업 화면 및 이와 관련된 데이터를 저장하는 저장부; 및 상기 무선통신부 및 상기 저장부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 무선통신부를 통해 상기 가상 협업 화면을 표시하도록 상기 외부 표시장치를 제어하고, 상기 무선통신부를 통해 상기 클라이언트로부터 카메라 영상을 포함하는 식별정보 요청 메시지를 수신하고, 상기 가상 협업 화면에서 상기 카메라 영상이 어느 부분인지를 인식하고, 상기 인식된 부분에 객체가 포함되어 있는 경우 상기 객체와 관련된 식별정보를 상기 클라이언트로 전송하고, 상기 무선통신부를 통해 상기 클라이언트로부터 상기 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 수신하고, 상기 식별정보에 대응되는 제 1 데이터를 상기 저장부에서 읽어 오고, 상기 제 1 데이터를 상기 클라이언트에 전송하도록 상기 무선통신부를 제어하고, 상기 무선통신부를 통해 상기 클라이언트로부터 제 2 데이터를 수신하고, 상기 제 1 데이터를 상기 제 2 데이터로 업데이트하도록 상기 저장부를 제어한다.
이상으로 본 발명은 전자펜과 센서와 같은 별도의 기기를 구비하지 않고도, 각자 자신들의 휴대 단말을 이용하여 공동 화면을 통해 협업할 수 있도록 한 협업 구현 방법 및 장치를 제공한다.
도 1은 본 발명의 일 실시예에 따른 협업 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 휴대 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 클라이언트의 협업 구현 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 클라이언트의 협업 구현 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 서버에서 클라이언트의 식별 정보 요청 메시지를 처리하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 영상의 보정 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 서버에서 클라이언트의 데이터 요청 메시지를 처리하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 데이터 편집 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 서버에서 클라이언트의 업데이트 요청 메시지를 처리하는 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 다른 실시예에 따른 클라이언트의 협업 구현 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 서버의 협업 구현 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 협업 구현 방법 및 장치는 클라이언트 및 서버에서 구현된다.
본 발명에서 클라이언트는 가상 협업 공간을 통해 다른 클라이언트와 협업할 수 있도록 하는 기능을 사용자에게 제공하는 장치이다. 클라이언트는 휴대 가능하고, 외부장치(예컨대, 서버)와 통신 가능하고, 카메라와 표시부를 구비한 장치로써 예컨대, 스마트폰, 태블릿 PC 등이 될 수 있다.
본 발명에서 서버는 외부장치(예, 클라이언트)와 통신 가능하고 클라이언트들에게 가상 협업 공간을 제공하는 장치로써, 예컨대, 데스크탑 PC, 스마트폰, 태블릿 PC, 노트북 PC 등이 될 수 있다. 클라이언트는 서버에 접속하여 가상 협업 공간에서 데이터를 다운로드하고, 다운로드된 데이터를 작업하여 가상 협업 공간으로 업로드할 수 있다. 클라이언트들 중 어느 하나가 와이파이 다이렉트(Wi-Fi direct) 또는 애드 혹(Ad-hoc) 기술을 이용하여 서버의 기능을 수행할 수 있다. 와이파이 다이렉트(Wi-Fi direct) 및 애드 혹(Ad-hoc) 기술은 단말들끼리 직접 통신이 가능하도록 하는 공지된 기술이다.
본 발명에서 가상 협업 화면은 가상 협업 공간에 업로드된 데이터를 육안으로 확인할 수 있도록 해주는 화면이다. 가상 협업 화면은 서버의 외부표시장치 예컨대, 프로젝터에서 스크린으로 영사된 영상이거나 또는 스마트 TV, 3D(3-Dimensional) TV 등에서 표시되는 영상일 수도 있다. 또한 가상 협업 화면은 서버의 표시부에 표시되는 영상일 수도 있다.
본 발명에서 객체는 가상 협업 화면에 포함되어 표시되는 것으로써, 그 자체가 작업의 대상이거나 작업의 대상인 데이터를 연결시켜주는 매개체이다. 예컨대, 데이터가 동영상 파일인 경우 객체는 동영상을 나타내는 썸네일(thumbnail)이나 아이콘 등이 될 수 있다. 메모장은 그 자체가 객체이며 작업의 대상일 수 있다.
본 발명에서 식별정보는 사용자가 객체들을 식별할 수 있도록 해주는 정보이다. 즉 식별정보는 해당 객체 위에 표시될 수 있다. 예컨대, 객체는 로드뷰(road view)에서 건물이고 식별정보는 해당 건물과 관련된 부가 정보 예컨대, 증강현실(AR; Augmented Reality) 정보일 수 있다.
이하 본 발명에 따른 협업 구현 방법 및 장치에 대해 상세히 설명한다. 단, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 또한 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 아래 설명과 첨부된 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었다.
도 1은 본 발명의 일 실시예에 따른 협업 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 협업 시스템은 프로젝터(110), 서버(120) 및 다수의 클라이언트(1301 내지 130N)를 포함하여 이루어진다.
프로젝터(110)는 서버(120)로부터 이미지 즉, 가상 협업 화면을 수신하고, 수신된 가상 협업 화면을 스크린(10)에 영사한다. 프로젝터(110)는 서버(120)와 무선 통신하기 위하여 와이파이(Wi-Fi) 모듈 및 블루투스 모듈 등과 같은 무선통신부와, 서버(120)와 유선으로 통신하기 위한 외부장치 인터페이스부를 포함하여 이루어질 수 있다.
서버(120)는 가상 협업 공간과 가상 협업 화면을 저장할 수 있다. 이러한 가상 협업 공간 및 가상 협업 화면은 물리적으로 서버(120)가 아닌 다른 장치에 구비될 수도 있다. 이럴 경우 서버(1200는 네트워크를 통해 가상 협업 공간 및 가상 협업 화면을 원격 관리할 수 있다. 서버(120)는 가상 협업 화면을 스크린(10)에 표시하도록 프로젝터(110)를 제어한다. 서버(120)는 가상 협업 공간의 편집권을 관리한다. 즉 서버(120)는 클라이언트들(1301 내지 130N) 중 적어도 하나에 편집권을 부여한다. 편집권을 부여받은 클라이언트는 서버(120)를 통해 가상 협업 공간의 데이터를 편집할 수 있다. 여기서 편집은 기존 데이터의 삭제, 기존 데이터의 변경(내용의 변경이나 경로의 변경(예, 제1폴더에서 제2폴더로 이동)) 또는 신규 데이터의 추가 등 일 수 있다. 서버(120)는 데이터의 편집에 따라 가상 협업 공간 및 가상 협업 화면을 업데이트한다. 편집권을 부여받지 못한 클라이언트는 데이터를 편집할 수는 없고 뷰어(viewer)만 가능하다.
클라이언트(예, 1301)는 카메라 기반의 어플리케이션을 실행하여 가상 협업 화면을 촬영하고, 촬영된 카메라 영상을 포함하는 식별정보 요청 메시지를 서버(120)로 전송한다. 서버(120)는 클라이언트(1301)로부터 식별정보 요청 메시지를 수신하고, 가상 협업 화면에서 카메라 영상이 어느 부분인지를 인식한다. 서버(120)는 상기 인식된 부분에 하나 이상의 객체가 포함되어 있는지 여부를 결정한다. 객체가 상기 인식된 부분에 포함되어 있는 경우 서버(120)는 객체를 식별하기 위한 식별정보(예, AR(Augmented Reality) 정보)를 포함하는 응답 메시지를 클라이언트(1301)로 전송한다. 클라이언트(1301)는 식별정보를 해당 객체 위에 표시할 수 있다. 이때 식별정보의 해당 객체 자체가 다른 객체와 식별되는 이미지(예, 썸네일, 아이콘 등)인 경우, 식별정보는 표시되지 않을 수도 있다. 식별정보 또는 이에 해당되는 객체가 사용자에 의해 선택(예컨대, 표시부(210)에 표시되는 식별정보 또는 해당 객체를 터치)된 경우, 클라이언트(1301)는 선택된 객체의 식별정보를 포함하는 데이터 요청 메시지를 서버(120)로 전송한다. 서버(120)는 선택된 객체의 식별정보에 해당되는 데이터를 포함하는 응답 메시지를 클라이언트(1301)로 전송한다. 여기서 응답 메시지에는 편집권이 포함될 수 있다. 이상으로 클라이언트들(1301 내지 130N)은 카메라 기반의 어플리케이션을 실행하여 가상 협업 공간에 접속한다. 즉 상술한 바와 같이 가상 협업 화면은 클라이언트가 가상 협업 공간을 액세스할 수 있게, 클라이언트와 가상 협업 공간을 이어주는 매개체이다.
클라이언트들(1301 내지 130N)들은 서버(120)로부터 수신한 데이터(예, 이미지, 텍스트, 오디오, 동영상, 3D 맵(map) 정보 등)를 표시한다. 클라이언트들(1301 내지 130N)들은 자신에게 편집권이 있는 경우, 데이터를 편집하고, 편집된 데이터를 포함하는 업데이트 요청 메시지를 서버(120)로 전송할 수 있다. 서버(120)는 업데이트 요청 메시지에 따라 가상 협업 공간 및 가상 협업 화면을 업데이트한다.
도 2는 본 발명의 일 실시예에 따른 휴대 단말의 구성도이다. 도 2에 도시된 바와 같은 휴대 단말은 클라이언트 또는 서버로 동작 가능하다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 휴대 단말(200)은 표시부(210), 키입력부(220), 저장부(230), 무선통신부(240), 오디오 처리부(250), 센서부(260), 카메라(270), 외부장치 인터페이스부(280) 및 제어부(290)를 포함하여 이루어진다.
표시부(210)은 제어부(290)의 제어 하에, 제어부(290)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 즉, 표시부(210)은 휴대 단말의 이용에 따른 다양한 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(줄여서 '앱(App)') 실행 화면, 키패드, 카메라 영상 등을 표시할 수 있다. 표시부(210)은 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode) 또는 AMOLED(Active Matrix Organic Light Emitted Diode)로 구성될 수 있다.
표시부(210)는 사용자와의 상호 작용을 위한 사용자 인터페이스를 제공하기 위하여, 터치스크린(211)을 포함할 수 있다. 터치스크린(211)은 표시부(112)에 안착(place on the display unit)될 수 있다. 터치스크린(211)은 터치스크린(211)에 대한 사용자의 제스처에 응답하여 아날로그 신호(예, 터치이벤트)를 발생하고, 아날로그 신호를 A/D 변환하여 제어부(290)로 전달한다. 제어부(290)는 전달된 터치이벤트로부터 사용자의 제스처를 검출한다. 사용자 제스처는 터치(Touch)와 터치 제스처(Touch gesture)로 구분된다. 다시 터치 제스처는 탭(Tap), 드래그(Drag) 및 플릭(Flick) 등을 포함할 수 있다. 즉 터치는 터치스크린에 접촉(contact)하고 있는 상태를 의미하고, 터치제스처는 터치가 터치스크린에 접촉(touch-on)해서 터치 해제(touch-off)까지의 터치의 움직임을 의미한다. 터치스크린(211)은 손 제스처를 감지하는 손 터치패널과 펜 제스처를 감지하는 펜 터치패널를 포함하여 구성된 복합 터치패널일 수 있다. 여기서 손 터치패널은 정전용량 방식(capacitive type)으로 구성될 수 있다. 물론 손 터치패널은 저항막 방식(resistive type), 적외선 방식 또는 초음파 방식으로 구성될 수도 있다. 또한 손 터치패널은 사용자의 손 제스처에 의해서만 터치이벤트를 발생하는 것은 아니며, 다른 물체(예, 정전용량 변화를 가할 수 있는 전도성 재질의 물체)에 의해서도 터치이벤트를 생성할 수 있다. 펜 터치패널은 전자 유도 방식(electromagnetic induction type)으로 구성될 수 있다. 이에 따라 펜 터치패널은 자기장을 형성할 수 있도록 특수 제작된 터치용 스타일러스 펜에 의해 터치이벤트를 생성한다.
또한 표시부(210)는 제어부(170)의 제어 하에, 3차원 영상(좌안 이미지와 우안이미지를 포함)를 공간상에 실제 있는 것처럼 깊이감 있게 표시하는 기능을 수행한다. 이를 위해, 표시부(210)는 3차원 영상에 대해 사용자가 깊이감을 느낄 수 있도록 하는 3D 구현부를 포함할 수 있다. 3D 구현부는 표시부(210)와 적층된 형태로 형성되는 구성 요소로서, 사용자의 좌우 양안에 각기 다른 영상이 인식되게 한다. 이러한 3D 구현 방식은 주지되어 있는 바와 같이, 안경 방식과 무안경 방식으로 구분된다. 안경 방식은 색 필터 방식, 편광 필터 방식 및 셔터 글라스 방식 등이 있으며, 무안경 방식은 렌티큘러 렌즈(Lenticular Lens) 방식 및 패럴렉스 배리어(Parallax Barrier) 방식 등이 있다. 이러한 3D 구현 방식은 공지되어 있는 기술들이므로 구체적인 설명은 생략한다.
키입력부(220)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 키(버튼)들을 포함할 수 있다. 이러한 키들은 메뉴 불러오기 키, 화면 온/오프 키, 전원 온/오프 키 및 볼륨 조절키 등을 포함할 수 있다. 키입력부(220)는 사용자 설정 및 휴대 단말(200)의 기능 제어와 관련한 키 이벤트를 생성하여 제어부(290)로 전달한다. 키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트 등을 포함할 수 있다. 제어부(290)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다. 한편 키입력부(220)의 키(버튼)는 하드 키(hard key)라 하고 표시부(210)에 표시되는 키(버튼)는 소프트 키(soft key)로 지칭될 수 있다.
저장부(230)는 보조기억장치(secondary memory unit)로써 예컨대, 낸드(NAND) 플래시 메모리를 포함하여 이루어질 수 있다. 저장부(230)는 프로그램 저장 영역과 데이터 저장 영역으로 구분될 수 있다. 저장부(230)는 제어부(290)의 제어 하에, 휴대 단말(200)에서 생성되거나 무선통신부(240)를 통해 외부장치로부터 수신한 데이터를 저장할 수 있다. 휴대 단말(200)이 서버인 경우, 데이터 저장 영역의 일부 공간은 가상 협업 공간으로 이용되고 가상 협업 공간의 데이터는 외부장치 즉, 클라이언트에 공유된다. 또한 가상 협업 공간의 데이터는 편집권을 가진 클라이언트에 의해 업데이트될 수 있다.
저장부(230)는 휴대 단말(200)의 운용을 위한 운영체제(OS, Operating System) 및 각종 프로그램들을 저장한다. 특히 본 발명에 따른 저장부(230)는 휴대 단말(200)이 상기 클라이언트 및 상기 서버의 기능을 수행할 수 있도록 한 협업 프로그램을 저장한다.
저장부(230)는 음성 인식 프로그램과 얼굴 인식 프로그램을 저장한다. 음성 인식 프로그램은 음성데이터에서 음성특징정보(예, 음색, 주파수, 데시벨 등)를 검출할 수 있다. 음성 인식 프로그램은 검출된 음성특징정보를 미리 저장된 하나 이상의 음성특징정보와 비교하고, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 또한 음성 인식 프로그램은 음성데이터를 텍스트로 변환하는 STT(Speech To Text) 기능을 구비할 수 있다. 얼굴 인식 프로그램은 카메라(270)에서 촬영된 이미지에서 사용자의 얼굴을 인식한다. 구체적으로 얼굴 인식 프로그램은 이미지 데이터에서 얼굴 정보를 추출하고, 추출된 얼굴 정보를 미리 저장된 하나 이상의 얼굴 정보와 비교하며, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 한편 사용자 인식은 상술한 음성 인식 프로그램이나 얼굴 인식 프로그램 이외에도 다양한 프로그램(예, 홍체인식(iris scan)) 등을 통해 이루어질 수 있다.
저장부(230)는 음성이나 이미지 데이터로부터 사용자의 의도를 파악하기 위한 인공 지능 프로그램을 저장한다. 예컨대, 인공 지능 프로그램은 음성 데이터에서 문맥(context)을 인식하여 처리하는 자연어 처리 엔진(natural language processing engine)과, 이미지 데이터에서 사용자의 모션(예, 손의 움직임, 눈의 움직임)의 의도를 파악하는 사용자 모션 인식 엔진과, 인식된 문맥을 바탕으로 사용자의 의도를 추론하는 추론 엔진과, 인식된 문맥이나 사용자 모션을 바탕으로 사용자와 대화하는 대화 엔진 등을 포함하여 구성될 수 있다.
저장부(230)는 내재화 어플리케이션(embedded application) 및 서드파티 어플리케이션(3rd party application)을 저장할 수 있다. 내재화 어플리케이션은 휴대 단말에 기본적으로 탑재되어 있는 어플리케이션을 의미한다. 예컨대 내재화 어플리케이션은 환경 설정 프로그램, 브라우저(browser), 이메일(email), 인스턴트 메신저(instant messenger), 협업 프로그램, 음성 인식 프로그램, 얼굴 인식 프로그램, 인공 지능 프로그램 등이 될 수 있다. 서드파티 어플리케이션은 주지되어 있는 바와 같이 온라인 마켓으로부터 휴대 단말에 다운로드되어 설치될 수 있는 어플리케이션을 의미하며, 매우 다종다양하다. 이러한 서드파티 어플리케이션은 설치 및 제거가 자유롭다. 상기 협업 프로그램, 음성 인식 프로그램, 얼굴 인식 프로그램, 인공 지능 프로그램은 서드파티 어플리케이션일 수 있다. 휴대 단말(200)이 켜지면 먼저 부팅 프로그램이 제어부(160)의 주기억장치(예, RAM)로 로딩(loading)된다. 이러한 부팅 프로그램은 휴대 단말(200)이 동작할 수 있게 운영체제를 주기억장치로 로딩한다. 또한 운영체제는 각종 프로그램들을 주기억장치로 로딩하여 실행한다. 특히 운영체제는 외부장치의 접촉이 검출될 경우 상기 데이터 통신 프로그램을 주기억장치로 로딩하여 실행한다. 이러한 부팅 및 로딩은 컴퓨터 시스템에서 널리 공지되어 있는 기술이므로 구체적인 설명은 생략한다.
무선통신부(240)는 음성 통화, 화상 통화 또는 데이터 통신을 제어부(290)의 제어 하에 수행한다. 이를 위하여 무선통신부(240)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한 무선 통신부(240)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5(3.5-Generation)세대 이동통신모듈 또는 4(4-Generation)세대 이동통신모듈 등), 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈(예, 와이파이(Wi-Fi) 모듈, 블루투스(bluetooth) 모듈)을 포함할 수 있다.
오디오 처리부(250)는 스피커(SPK) 및 마이크(MIC)와 결합하여 음성 인식, 음성 녹음, 디지털 레코딩(recording) 및 통화 기능을 위한 오디오 신호의 입력 및 출력 기능을 수행한다. 오디오 처리부(250)는 제어부(290)로부터 오디오 데이터를 수신하고, 수신한 오디오 데이터를 아날로그 신호로 D/A　변환한 후, 아날로그 신호를 스피커(SPK)로 출력한다. 오디오 처리부(250)는 마이크(MIC)으로부터 아날로그 신호를 수신하여 오디오 데이터로 A/D 변환한 후, 오디오 데이터를 제어부(290)로 제공한다. 스피커(SPK)는 오디오 처리부(250)로부터 수신된 아날로그 신호를 음파(sound wave)로 변환하여 출력한다. 마이크(MIC)는 사람이나 기타 소리원(sound source)들로부터 전달된 음파를 아날로그 신호로 변환한다.
센서부(260)는 제어부(470)의 제어 하에, 물리량(예, 가속도)을 감지하고, 감지된 물리량을 전기적인 신호로 변환하고, 변환된 전기 신호를 감지 정보로 AD(Analog to Digital) 변환하여 제어부(190)로 전달한다. 센서부(260)는 하나의 칩(chip)에 센서들이 일체화되거나, 또는 센서들이 별도의 칩들로 구현될 수 있다. 특히 본 발명에 따른 센서부(460)는 3축 가속도 센서를 포함할 수 있다. 가속도 센서는 X축, Y축 및 Z축 각각에 대한 중력 가속도를 감지한다. 가속도 센서는 휴대 단말(200)의 운동 가속도와 중력 가속도가 더해진 가속도를 감지한다. 휴대 단말(200)의 움직임이 없으면 중력 가속도만 감지된다. 일례로, 휴대 단말(200)의 표시부(210)가 위(양의 Z축 방향)로 향하게 책상(XY 평면)에 놓인 경우, 가속도 센서에서 감지되는 중력 가속도의 X축 및 Y축 성분은 0m/sec2이고, Z 축 성분은 9.8m/sec2일 수 있다. 표시부(210)가 아래(음의 Z축 방향)로 향하게 책상에 놓인 경우, X축 및 Y축 성분은 0m/sec2이고 Z축 성분은 -9.8m/sec2일 수 있다. 가속도 센서는, 휴대 단말(200)의 움직임이 있는 경우, 휴대 단말(200)의 운동 가속도와 중력 가속도가 더해진 가속도를 감지한다. 예컨대, 사용자가 한 손으로 책상에서 휴대 단말(200)을 비스듬하게 든 경우, 중력 가속도는 적어도 하나의 축이 0m/sec2가 아닌 값으로 감지되고, 이때, 세 축의 성분의 제곱의 합의 제곱근(즉, 벡터합)의 크기는 특정 값(예컨대, 9.8m/sec2)이 될 수 있다
카메라(270)는 제어부(290)의 제어 하에, 피사체를 촬영하고, 카메라 영상을 제어부(290)로 전달한다. 구체적으로, 카메라(270)는 빛을 모으기 위한 렌즈와, 이러한 빛을 전기적인 신호로 변환하는 이미지 센서(예컨대, CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device))와, 이미지 센서로부터 입력되는 전기 신호를 영상 데이터로 A/D 변환하여 제어부(290)로 출력하는 이미지 신호 처리부(Image Signal Processor; ISP)를 포함하여 이루어질 수 있다. 카메라(270)의 ISP는 영상 데이터를 프리뷰 이미지로 가공(예컨대, 표시부(210)의 화면 크기에 맞게 해상도를 조절(resizing))하여 제어부(290)로 출력하는 표시 제어 모듈과, 영상 데이터를 코딩(예컨대, MPEG 포맷으로 압축)하여 제어부(290)로 출력하는 코딩 모듈을 포함할 수 있다. 제어부(290)는 프리뷰 이미지를 표시부(210)에 표시할 수 있다. 또한 제어부(290)는 코딩된 동영상을 저장부(230)에 저장할 수 있다. 한편 본 발명의 휴대 단말(200)은 단말의 전면(즉, 터치스크린이 배치되는 면)에 배치되는 전면 카메라와 후면에 배치되는 후면 카메라를 구비할 수 있다. 여기서 후면 카메라는 피사체(예, 가상 협업 화면)의 촬영용으로 사용되고 전면 카메라는 사용자의 얼굴, 사용자의 모션 등을 인식하기 위한 용도 또는 영상 통화 용도로 사용될 수 있다.
외부장치 인터페이스부(280)는 유선을 통해 외부장치(예, 다른 휴대 단말, 데스크탑 PC, 노트북 PC, 헤드폰 등)와 연결되고 제어부(290)의 제어 하에 데이터 통신을 수행한다.
제어부(290)는 휴대 단말(200)의 전반적인 동작 및 휴대 단말(200)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 그리고 제어부(290)는 프로그램 및 운영체제를 저장하는 주기억장치와, 저장부(230)에 기록(write)할 데이터를 임시 저장하고 저장부(230)로부터 읽어(read) 온 데이터를 임시 저장하는 캐시메모리와, CPU(central processing unit)와, GPU(graphic processing unit) 등을 포함할 수 있다. 여기서 운영체제는 하드웨어와 프로그램간의 인터페이스 역할을 하면서, CPU, GPU, 주기억장치, 보조기억장치 등의 컴퓨터 자원을 관리한다. 즉, 운영체제는 휴대 단말을 동작시키고 작업(task)의 순서를 정하며 CPU의 연산 및 GPU의 연산을 제어한다. 또한 운영체제는 프로그램의 실행을 제어하는 기능과, 데이터와 파일의 저장을 관리하는 기능 등을 수행한다. 한편 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU와 GPU은 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수도 있다. 한편 CPU 및 GPU를 포함하는 구성은 AP(Application Processor)라고 지칭될 수 있다.
제어부(290)는 음성 인식 프로그램을 실행하여 사용자의 음성 인식, 음성 데이터를 텍스트로 변환하는 기능과, 얼굴 인식 프로그램을 실행하여 사용자의 얼굴 및 모션을 인식하는 기능과, 인공 지능 프로그램을 실행하여 음성 데이터에서 문맥(context)을 인식하여 처리하고 이미지 데이터에서 사용자의 모션의 의도를 파악하고 인식된 문맥을 바탕으로 사용자의 의도를 추론하는 기능을 수행한다. 여기서 인공 지능은 휴대 단말(200) 즉, 제어부(290)가 아닌 외부의 서버에서 대신 수행될 수 있다. 예컨대, 무선통신부(240)는 제어부(290)의 제어 하에, 음성 데이터를 서버로 전송한다. 해당 서버는 음성 데이터를 분석하여 문맥을 인식하고, 인식된 문맥 정보를 휴대 단말(200)로 전송한다.
제어부(290)는 협업 프로그램을 실행하여 서버 또는 클라이언트의 기능을 수행한다. 이러한 제어부(290)의 기능과 관련한 구체적인 실시예를 이하 도면을 참조하여 설명한다.
한편 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 휴대 단말(200)은 GPS 모듈, 진동 모터, NFC(Near Field Communication) 모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 또한 휴대 단말(200)은 그 제공 형태에 따라 상기한 구성들에서 특정 구성이 제외되거나 다른 구성으로 대체될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 클라이언트의 협업 구현 방법을 설명하기 위한 흐름도이다. 도 3의 설명에서 휴대 단말(200)이 클라이언트인 것으로 가정한다. 도 4는 본 발명의 일 실시예에 따른 클라이언트의 협업 구현 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 표시부(210)는 제어부(290)의 제어 하에, 홈 화면을 표시할 수 있다. 제어부(290)는 협업 프로그램의 실행을 요청하는 이벤트(예, 홈 화면에서 해당 아이콘을 탭)를 터치스크린(211)으로부터 검출할 수 있다. 또한 제어부(290)는 사용자의 음성이나 모션을 인식하여 협업 프로그램을 실행할 수도 있다. 단계 301에서 제어부(290)는 요청 이벤트에 응답하여 협업 프로그램을 실행한다. 구체적으로 단계 301에서 제어부(290)는 협업 프로그램을 주기억장치로 로딩하고, 협업 프로그램의 실행 화면을 표시하도록 표시부(210)를 제어한다.
단계 302에서 제어부(290)는 외부장치 즉, 서버와의 연결을 확립한다. 여기서 확립은 클라이언트로 등록하도록 요청하는 요청 메시지를 휴대 단말(200)이 서버로 전송하는 요청 과정과, 등록 여부를 나타내는 정보를 포함하는 응답 메시지를 서버가 휴대 단말(200)로 전송하는 응답 과정을 포함할 수 있다.
연결이 확립되면(예컨대, 제어부(290)가 무선통신부(240)를 통해 "클라이언트로 등록되었음을 나타내는 응답 메시지"를 서버로부터 수신한 경우), 단계 303에서 제어부(290)는 카메라(270)를 구동하고, 카메라(270)로부터 영상을 수신하고, 수신한 카메라 영상(예컨대, 도 4 (a)의 가상 협업 화면(410)에서 일부(411))을 표시하도록 표시부(210)를 제어한다.
단계 304에서 제어부(290)는 카메라(270)로부터 수신한 카메라 영상들 중에서 표시부(210)에 표시되는 카메라 영상을 선택하고, 서버에 "상기 선택된 카메라 영상을 포함하는 식별정보 요청 메시지"를 전송하도록 무선통신부(240)를 제어한다. 또한 단계 304에서 제어부(290)는 휴대 단말(200)의 기울기를 산출하고, 산출된 기울기 정보를 서버에 전송하도록 무선통신부(240)를 제어할 수 있다. 즉 식별정보 요청 메시지는 카메라 영상 및 기울기 정보를 포함할 수 있다. 제어부(290)는 센서부(260)로부터 전달된 중력 가속도가 적어도 하나 이상의 축 성분에 의해 측정된 경우, 각 축들에 대한 가속도를 이용하여 휴대 단말(200)의 기울기를 산출한다. 여기서 산출된 기울기는 롤각(roll angle)(Φ), 피치각(pitch angle)(θ) 및 요각(yaw angle)(ψ)을 포함할 수 있다. 롤각(Φ)은 X축을 중심으로 한 회전 각도를 나타내고, 피치각(θ)은 Y축을 중심으로 한 회전 각도를 나타내며, 요각(ψ)은 Z축을 중심으로 한 회전 각도를 나타낼 수 있다. 예컨대, 센서부(260)로부터 전달된 중력 가속도에서 X축 및 Y축 중력 가속도가 0m/sec2이고 Z축 중력 가속도가 +9.8m/sec2이면, 휴대 단말(200)의 기울기(Φ, θ, ψ)는 (0, 0, 0)일 수 있다. 이와 같은 방식에 의해 휴대 단말(200)의 어떠한 기울기라도 산출될 수 있다. 제어부(290)는 오일러 각을 이용한 자세 계산 알고리즘, 확장 칼만 필터(extended Kalman filter)를 이용한 자세 계산 알고리즘, 가속도 예측 스위칭 알고리즘 등과 같은 알고리즘을 이용하여 휴대 단말(200)의 기울기를 산출할 수 있다. 즉 휴대 단말(200)의 기울기를 측정하는 방법은 실시예에 따라 다양한 방법으로 구현될 수 있다.
서버는 휴대 단말(200)로부터 식별정보 요청 메시지를 수신하고, 가상 협업 화면에서 카메라 영상이 어느 부분인지를 인식하고, 상기 인식된 부분에 객체(예, 도 4 (b)의 포스트잇(412))가 포함되어 있는지 여부를 결정한다. 객체가 상기 인식된 부분에 포함되어 있는 경우 서버는 객체와 관련된 식별정보를 포함하는 응답 메시지를 휴대 단말(200)로 전송한다.
단계 305에서 제어부(290)는 무선통신부(240)를 통해 서버로부터 응답 메시지를 수신하고, 응답 메시지에서 식별 정보를 해당 객체 위에 표시하도록 표시부(210)를 제어한다. 이러한 식별 정보는 예컨대, 해당 객체에 겹쳐 보이는 증강현실(AR; Augmented Reality) 정보일 수 있다. 단계 305에서 식별 정보의 표시는 생략될 수 있다.
단계 306에서 제어부(290)는 표시되는 카메라 영상에서 객체의 선택(예, 표시된 포스트 잇(412)을 사용자가 탭(413))을 검출할 수 있다. 이러한 객체의 선택은 사용자의 음성이나 모션에 의해서도 이루어질 수 있다.
객체가 사용자에 의해 선택되면, 단계 307에서 제어부(290)는 상기 선택된 객체의 식별정보에 대응되는 데이터를 요청하는 메시지를 서버로 전송하도록 무선통신부(240)를 제어한다. 객체가 선택되지 않는 경우 프로세스는 단계 314로 진행된다.
단계 308에서 제어부(290)는 서버에 요청한 데이터의 편집 가능 여부를 결정한다. 예컨대, 제어부(290)는 해당 데이터의 편집 가능 여부를 나타내는 정보를 무선통신부(240)를 통해 서버로부터 수신할 수 있다.
단계 308에서 데이터의 편집이 가능한 편집 모드로 결정된 경우 단계 309에서 제어부(290)는 무선통신부(240)를 통해 서버로부터 편집 가능한 데이터를 수신한다. 단계 310에서 제어부(290)는 데이터를 표시하도록 표시부(210)를 제어한다. 예컨대, 도 4 (c)를 참고하면 표시부(210)는 제어부(290)의 제어 하에, 포스트 잇(412)을 표시한다. 이때 서버는 포스트 잇(412)을 가상 협업 화면(410)에서 삭제할 수 있다. 또한 단계 310에서 제어부(290)는 표시부(210) 또는 오디오처리부(250)를 제어하여, 데이터의 편집이 가능함을 사용자에게 안내할 수 있다. 단계 311에서 제어부(290)는 입력부 예컨대, 터치스크린(211)이나 키입력부(220)로부터의 사용자의 입력 정보에 응답하여 데이터를 편집한다. 예컨대 도 4 (c)를 참고하면 제어부(290)는 터치스크린(211)으로부터 터치의 움직임을 검출하고, 터치의 움직임에 대응되는 메모(터치의 궤적)(414)를 표시하도록 표시부(210)를 제어한다. 단계 312에서 제어부(290)는 편집된 데이터를 포함하는 업데이트 요청 메시지를 서버로 전송하도록 무선통신부(240)를 제어한다. 여기서 업데이트 요청 메시지에는 상기 편집된 데이터의 위치 정보를 포함할 수 있다. 예컨대 도 4 (d)를 참고하면 사용자가 편집된 데이터 즉, 메모(414)가 삽입된 포스트 잇(412)을 탭(415)한 경우, 제어부(290)는 메모(414)가 삽입된 포스트 잇(412)과 함께 탭(415)이 된 시점에 촬영된 카메라 영상(즉, 위치 정보)(417)을 포함하는 업데이트 요청 메시지를 서버로 전송하도록 무선통신부(240)를 제어한다. 여기서 도 4 (d)를 참고하면 카메라 영상(417)은 배경(background)으로 표시되고 포스트 잇(412)은 전경(foreground)으로 표시될 수 있다. 서버는 휴대 단말(200)로부터 업데이트 요청 메시지를 수신하고, 이에 응답하여 가상 협업 공간 및 가상 협업 화면을 업데이트한다. 구체적으로 도 4 (d)를 참조하면 서버는 가상 협업 화면(410)에서 카메라 영상(417)이 어느 부분인지를 인식한다. 도 4 (e)를 참고하면 서버는 상기 인식된 부분에 "메모(414)가 삽입된 포스트 잇(412)"을 표시하도록 프로젝터를 제어할 수 있다. 또한 서버는 기존의 포스트 잇(412)을 메모(414)가 삽입된 포스트 잇(412)으로 업데이트하고, 기존의 가상 협업 화면(410)을 신규 가상 협업 화면(420)으로 업데이트한다.
단계 313에서 제어부(290)는 편집 모드의 완료 여부를 결정한다. 예컨대, 표시부(210)에 표시된 편집 완료 버튼의 탭이 검출된 경우 제어부(290)는 편집 모드가 완료된 것으로 결정하고 단계 314로 진행한다. 또한 편집이 완료된 경우 제어부(290)는 편집이 완료되었음을 나타내는 정보를 서버에 전송하도록 무선통신부(240)를 제어한다. 편집 모드가 완료되지 않은 경우 프로세스는 단계 311로 복귀된다.
단계 314에서 제어부(290)는 앱 실행의 종료 여부를 결정한다. 예컨대 앱 실행의 종료를 요청하는 사용자의 입력(예, 표시부(210)에 표시된 앱 실행 종료 버튼을 탭)이 검출된 경우, 제어부(290)는 앱 실행을 종료한다. 그렇지 않으면 프로세스는 단계 303으로 복귀된다.
한편, 단계 308에서 편집은 불가하고 열람만 가능한 뷰어 모드로 결정된 경우 단계 315에서 제어부(290)는 무선통신부(240)를 통해 서버로부터 열람 가능한 데이터를 수신한다. 단계 316에서 제어부(290)는 열람 가능한 데이터를 표시하도록 표시부(210)를 제어한다. 단계 317에서 제어부(290)는 업데이트 정보의 수신 여부를 결정한다. 서버로부터 업데이트 정보가 수신된 경우 단계 318에서 제어부(290)는 업데이트된 데이터를 표시하도록 표시부(210)를 제어한다. 업데이트 정보가 수신되지 않은 경우 프로세스는 단계 319로 진행된다.
단계 319에서 제어부(290)는 뷰어 모드의 완료 여부를 결정한다. 예컨대, 표시부(210)에 표시된 열람 완료 버튼의 탭이 검출된 경우 제어부(290)는 뷰어 모드가 완료된 것으로 결정하고 단계 314로 진행한다. 또한 뷰어가 완료된 경우 제어부(290)는 뷰어가 완료되었음을 나타내는 정보를 서버에 전송하도록 무선통신부(240)를 제어한다. 뷰어 모드가 완료되지 않은 경우 프로세스는 단계 316으로 복귀된다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 서버의 협업 구현 방법을 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시예에 따른 서버에서 클라이언트의 식별 정보 요청 메시지를 처리하는 방법을 설명하기 위한 흐름도이다. 도 5의 설명에서 휴대 단말(200)이 서버인 것으로 가정한다.
도 5를 참조하면 단계 510에서 제어부(290)는 무선통신부(240)를 통해 외부 장치 즉, 클라이언트로부터 '식별 정보 요청 메시지'가 수신되는지 여부를 결정한다. 여기서 식별 정보 요청 메시지에는 카메라 영상이 포함된다. 또한 식별 정보 요청 메시지에는 기울기 정보가 더 포함될 수 있다.
클라이언트로부터 식별 정보 요청 메시지가 수신된 경우 단계 520에서 제어부(290)는 가상 협업 화면에서 카메라 영상이 어느 부분인지를 인식한다. 보통, 사용자가 자신의 휴대 단말(클라이언트)로 가상 협업 화면을 촬영할 때, 카메라의 렌즈의 방향은 가상 협업 화면과 직각이지 않고 기울어지기 마련이다. 즉 카메라 영상은 비스듬하게 촬영된 영상이므로, 실제 이미지와 다르다. 단계 520에서 인식의 오류가 발생될 수 있다. 클라이언트로부터 카메라 영상과 함께 기울기 정보가 수신될 경우, 단계 520에서 제어부(290)는 수신된 기울기 정보를 기반으로 카메라 영상을 보정한다. 이러한 보정의 일례를 도 6을 참조하여 구체적으로 설명한다.
단계 530에서 제어부(290)는 상기 인식된 부분에 객체가 포함되어 있는지 여부를 결정한다.
객체가 상기 인식된 부분에 포함되어 있는 경우 단계 540에서 제어부(290)는 객체와 관련된 식별정보를 포함하는 응답 메시지를 클라이언트로 전송하도록 무선통신부(240)를 제어한다.
도 6은 본 발명의 일 실시예에 따른 카메라 영상의 보정 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면 단계 610에서 서버 즉, 휴대 단말(200)의 제어부(290)는 무선통신부(240)를 통해 클라이언트로부터 카메라 영상(601)과 기울기 정보를 포함하는 식별 정보 요청 메시지를 수신한다.
단계 620에서 제어부(290)는 기울기 정보를 바탕으로 카메라 영상(601)을 원본 이미지(602)로 보정한다.
단계 630에서 제어부(290)는 원본 이미지(602)가 가상 협업 화면(603)에서 어느 부분인지를 인식한다.
단계 640에서 제어부(290)는 원본 이미지(602)에 포함되어 있는 객체를 인식한다.
단계 650에서 제어부(290)는 인식된 객체에 해당되는 식별 정보 예컨대, AR 정보(604)를 저장부(230)에서 읽어 오고, 읽어 온 AR 정보(604)를 클라이언트로 전송하도록 무선통신부(240)를 제어한다.
도 7은 본 발명의 일 실시예에 따른 서버에서 클라이언트의 데이터 요청 메시지를 처리하는 방법을 설명하기 위한 흐름도이다. 도 7의 설명에서 휴대 단말(200)이 서버인 것으로 가정한다.
도 7을 참조하면 단계 710에서 제어부(290)는 무선통신부(240)를 통해 외부 장치 즉, 클라이언트로부터 '데이터 요청 메시지'가 수신되는지 여부를 결정한다. 데이터 요청 메시지에는 식별정보가 포함된다.
클라이언트로부터 데이터 요청 메시지가 수신된 경우 단계 720에서 제어부(290)는 편집권의 부여 여부를 결정한다. 예컨대, 제어부(290)는 다음 표 1과 같은 편집권 부여 리스트를 저장부(230)에 저장하고 관리한다.
제 1 클라이언트 제 2 클라이언트 제 3 클라이언트
제 1 데이터 O
제 2 데이터 O
제 3 데이터
제 4 데이터
 제 1 입체 영상 O
제 2 입체 영상
표 1을 참조하면 제 3 클라이언트로부터 데이터 요청 메시지를 수신하고 수신된 데이터 요청 메시지의 식별정보에 해당되는 데이터가 제 3 데이터인 경우, 현재 제 3 데이터는 아무도 편집 중이지 않으므로 단계 730에서 제어부(290)는 제 3 클라이언트를 편집 모드로 설정한다. 즉 단계 730에서 제어부(290)는 편집의 허락을 나타내는 정보를 제 3 클라이언트에 전송하도록 무선통신부(240)를 제어한다. 또한 제어부(290)는 제 3 데이터의 편집권한이 제 3 클라이언트에 부여되었음을 나타내도록 상기 표 1의 편집권 부여 리스트를 업데이트한다. 제 3 클라이언트가 제 1 데이터를 요청한 경우, 제 1 데이터는 이미 제 1 클라이언트에 편집 중이므로 단계 740에서 제어부(290)는 제 3 클라이언트를 뷰어 모드로 설정한다. 즉 단계 740에서 제어부(290)는 편집은 불가하고 열람의 허락을 나타내는 정보를 제 3 클라이언트에 전송하도록 무선통신부(240)를 제어한다. 단계 750에서 제어부(290)는 제 3 데이터를 전송하도록 무선통신부(240)를 제어한다. 여기서 제 3 데이터는 편집의 허락 여부를 나타내는 정보와 함께 전송될 수도 있다. 즉 단계 730에서 제어부(290)는 편집의 허락을 나타내는 정보와 함께 데이터를 제 3 클라이언트에 전송하도록 무선통신부(240)를 제어할 수 있다. 또한 단계 740에서 제어부(290)는 편집은 불가하고 뷰어만의 허락을 나타내는 정보와 함께 데이터를 제 3 클라이언트에 전송하도록 무선통신부(240)를 제어할 수 있다.
한편 데이터는 입체 영상일 수 있다. 또한 데이터는 입체 영상이 3차원 공간에 있는 것처럼 보이는 3차원 영상일 수도 있다. 특히 데이터는 기울기정보에 대응되는 입체 영상 또는 3차원 영상일 수 있다. 즉 사용자가 가상 협업 화면을 보는 관점에 따라 데이터가 다를 수 있다. 표 1을 참조하면 제 3 클라이언트가 제 4 데이터를 서버에 요구할 경우, 서버는 제 3 클라이언트의 기울기정보를 기반으로 제 4 데이터의 입체 영상들 중 어느 것을 제 3 클라이언트에 줄 것인지를 결정하고 제 3 클라이언트에게 편집권을 줄 것인지 여부를 결정한다. 제 3 클라이언트의 기울기정보가 제 4 데이터의 제 2 입체영상에 대응될 경우 서버는 제 3 클라이언트에게 제 2 입체 영상을 전송하고 편집권을 부여한다. 제 3 클라이언트의 기울기정보가 제 4 데이터의 제 1 입체영상에 대응될 경우 서버는 제 3 클라이언트에게 제 2 입체 영상을 전송할 뿐 편집권은 부여하지 않는다. 이상으로 클라이언트는 기울기정보에 대응되는 데이터를 서버로부터 수신하고 데이터를 편집할 수 있다. 이에 대한 일례를 도 8을 참조하여 설명한다.
도 8은 본 발명의 일 실시예에 따른 데이터 편집 방법을 설명하기 위한 도면이다.
도 8을 참조하면 서버는 사각형 모양의 객체(811)를 포함하는 가상 협업 화면(810)을 표시한다. 서버는 제 1 클라이언트(820)로부터 제 1 클라이언트(820)의 제 1 기울기 정보(예, θ1)를 수신한다. 서버는 객체(811)의 입체 영상들 중에서 제 1 기울기 정보에 대응되는 제 1 입체 영상(811a)을 선택하고, 선택된 제 1 입체 영상(811a)을 제 1 클라이언트(820)로 전송한다. 여기서 제 1 입체 영상(811a)은 도시된 바와 같이, 객체(811)의 A면과 B면을 포함하는 영상이다. 서버는 제 1 클라이언트(820)에게 A면 및 B면에 대한 편집권을 부여한다. 예컨대, 사용자는 펜으로 A면의 색상을 변경할 수 있다. A면의 변경된 색상 정보는 서버로 전송된다.
한편, 서버는 제 2 클라이언트(820)로부터 제 2 클라이언트(830)의 제 2 기울기 정보(예, θ2)를 수신한다. 서버는 객체(811)의 입체 영상들 중에서 제 2 기울기 정보에 대응되는 제 2 입체 영상(811b)을 선택하고, 선택된 제 2 입체 영상(811b)을 제 2 클라이언트(830)로 전송한다. 여기서 제 2 입체 영상(811b)은 도시된 바와 같이, 객체(811)의 B면과 C면을 포함하는 영상이다. 서버는 제 2 클라이언트(830)에게 C면의 편집권을 부여한다. 예컨대, 사용자는 펜으로 C면의 색상을 변경할 수 있다. C면의 변경된 색상 정보는 서버로 전송된다.
이상으로 클라이언트는 입체 영상을 사용자의 시야에 맞게 표시할 수 있고, 다른 클라이언트와 동일한 데이터를 공동으로 편집할 수 있다. 클라이언트는 홀로그램, 헤드 마운티드 디스플레이(head mounted display) 또는 다중 시점(multiple viewpoint)과 같은 3D 디스플레이를 지원할 수 있다. 따라서 입체 영상뿐만 아니라 3D 영상 또한 사용자의 시야에 맞게 표시될 수 있다.
도 9는 본 발명의 일 실시예에 따른 서버에서 클라이언트의 업데이트 요청 메시지를 처리하는 방법을 설명하기 위한 흐름도이다. 도 9의 설명에서 휴대 단말(200)이 서버인 것으로 가정한다.
도 9를 참조하면 단계 910에서 제어부(290)는 무선통신부(240)를 통해 클라이언트로부터 '업데이트 요청 메시지'가 수신되는지 여부를 결정한다. 업데이트 요청 메시지에는 편집된 데이터가 포함된다.
업데이트 요청 메시지가 수신되면 단계 920에서 제어부(290)는 수신에 응답하여 가상 협업 공간 및 가상 협업 화면을 업데이트한다. 한편 단계 920에서 제어부(290)는 편집권 부여 리스트(예, 표 1)를 참조하여, 업데이트 요청 메시지를 전송한 클라이언트가 해당 데이터에 대해 편집권을 부여받은 클라이언트인지 여부를 결정할 수 있다. 편집권을 부여받은 클라이언트인 경우 제어부(290)는 가상 협업 공간 및 가상 협업 화면을 업데이트한다. 편집권을 부여받니 않은 클라이언트인 경우 제어부(290)는 업데이트 요청에 응답하지 않는다.
단계 930에서 제어부(290)는 뷰어 모드로 설정된 클라이언트에게 업데이트된 데이터를 전송하도록 무선통신부(240)를 제어한다.
도 10은 본 발명의 다른 실시예에 따른 클라이언트의 협업 구현 방법을 설명하기 위한 흐름도이다. 도 10의 설명에서 휴대 단말(200)이 클라이언트인 것으로 가정한다.
도 10을 참조하면 단계 1010에서 제어부(290)는 요청 이벤트에 응답하여 협업 프로그램을 실행한다. 구체적으로 단계 1010에서 제어부(290)는 협업 프로그램을 주기억장치로 로딩하고, 협업 프로그램의 실행 화면을 표시하도록 표시부(210)를 제어한다.
단계 1020에서 제어부(290)는 서버와의 연결을 확립한다.
연결이 확립되면, 단계 1030에서 제어부(290)는 카메라(270)를 구동하고, 카메라(270)로부터 영상을 수신하고, 수신한 카메라 영상을 표시하도록 표시부(210)를 제어한다.
단계 1040에서 제어부(290)는 입력부 예컨대, 터치스크린(211) 또는 키입력부(220)로부터 캡처 요청 이벤트를 검출할 수 있다.
캡처 요청 이벤트가 검출된 경우 단계 1050에서 제어부(290)는 카메라(270)로부터 수신한 카메라 영상들 중에서 상기 캡처 요청 이벤트가 검출된 시점에 수신한 카메라 영상을 선택하고, 선택된 카메라 영상을 표시하도록 표시부(210)를 제어한다. 캡처 요청 이벤트가 검출되지 않은 경우 프로세서는 단계 1080으로 진행된다.
단계 1060에서 제어부(290)는 터치스크린(211)로부터 사용자 입력 정보(예, 터치의 궤적, 터치스크린(211)에 표시된 키패드를 통해 입력된 문자 등)를 검출할 수 있다.
사용자 입력 정보가 검출된 경우 단계 1070에서 제어부(290)는 표시된 카메라 영상과 함께 사용자 입력 정보를 서버에 전송하도록 무선통신부(240)를 제어한다.
단계 1080에서 제어부(290)는 앱 실행의 종료 여부를 결정한다. 예컨대 앱 실행의 종료를 요청하는 사용자의 입력(예, 표시부(210)에 표시된 앱 실행 종료 버튼을 탭)이 검출된 경우, 제어부(290)는 앱 실행을 종료한다. 그렇지 않으면 프로세스는 단계 1030으로 복귀된다.
도 11은 본 발명의 일 실시예에 따른 서버의 협업 구현 방법을 설명하기 위한 흐름도이다. 도 11의 설명에서 휴대 단말(200)이 클라이언트인 것으로 가정한다.
도 11을 참조하면 단계 1110에서 제어부(290)는 가상 협업 화면을 스크린에 표시하도록 무선통신부(240)를 통해 프로젝터를 제어한다. 여기서 가상 협업 화면은 휴대 단말(200)의 표시부(210)에서 표시되는 화면일 수 있다. 예컨대, 가상 협업 화면은 웹페이지, 위성사진, 로드뷰, 파워포인트 문서 등이 될 수 있다.
단계 1120에서 제어부(290)는 무선통신부(240)를 통해 클라이언트로부터 카메라 영상과 사용자 입력 정보를 수신한다.
단계 1130에서 제어부(290)는 가상 협업 화면에서 카메라 영상이 어느 부분인지를 인식한다.
단계 1140에서 제어부(290)는 상기 인식된 부분에서 사용자 입력 정보에 대응되는 기능을 수행한다. 예컨대, 제어부(290)는 터치의 궤적에 대응되는 메모를 상기 인식된 부분에 표시하도록 무선통신부(240)를 통해 프로젝터를 제어한다. 즉 휴대 단말에 입력된 사용자의 입력 정보가 가상 협업 화면에 표시될 수 있다.
상술한 바와 같은 본 발명에 따른 협업 구현 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다. 하드웨어 장치는 본 발명을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명에 따른 협업 구현 방법 및 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
110: 프로젝터
120: 서버
1301 내지 130N: 클라이언트들
200: 휴대 단말
210: 표시부 211: 터치스크린
220: 키입력부 230: 저장부
240: 무선통신부 250: 오디오 처리부
260: 센서부 270: 카메라
280: 외부장치 인터페이스부
290: 제어부

Claims (15)

  1. 카메라를 가지는 휴대 단말에서 협업 구현 방법에 있어서,
    상기 카메라를 이용해, 서버에 의해 생성되고 외부 표시 장치 상에 표시되는 가상 협업 화면의 제1부분을 포함하는 제1영상을 획득하는 단계;
    상기 제1영상에 포함된 적어도 하나의 객체 중 적어도 하나의 객체가 사용자에 의해 선택된 경우, 상기 선택된 객체의 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 상기 서버로 전송하는 단계;
    상기 서버로부터 상기 선택된 객체의 식별정보에 대응되는 제 1 데이터를 수신하는 단계;
    입력부로부터의 사용자의 입력 정보에 응답하여 상기 제 1 데이터를 제 2 데이터로 편집하는 단계; 및
    상기 제 2 데이터 및 상기 가상 협업 화면의 제2부분을 포함하는 제2영상을 상기 서버로 전송하여, 상기 서버가 상기 제 1 데이터를 제거하고 상기 가상 협업 화면의 제2부분 상에 상기 제 2 데이터를 표시하여 상기 가상 협업 화면을 업데이트하도록 하는 단계를 포함하는 것을 특징으로 하는 협업 구현 방법.
  2. 제 1 항에 있어서,
    상기 편집하는 단계는,
    상기 서버로부터 편집권을 부여받은 경우 수행되는 것을 특징으로 하는 협업 구현 방법.
  3. 제 1 항에 있어서,
    상기 제1영상을 포함하는 식별정보 요청 메시지를 상기 서버로 전송하는 단계를 더 포함하고,
    상기 식별정보 요청 메시지는 상기 휴대 단말의 기울기 정보를 포함하는 것을 특징으로 하는 협업 구현 방법.
  4. 제 3 항에 있어서,
    상기 제 1 데이터를 수신하는 단계는,
    상기 기울기 정보에 대응되는 입체 영상 또는 3차원 영상을 수신하는 것을 특징으로 하는 협업 구현 방법.
  5. 제 1 항에 있어서,
    상기 식별정보를 상기 객체 위에 표시하는 단계를 더 포함하고,
    상기 식별정보는 상기 객체와 관련된 증강현실 정보인 것을 특징으로 하는 협업 구현 방법.
  6. 클라이언트와 무선 통신 가능하고 외부 표시장치 또는 내부의 표시부를 통해 가상 협업 화면을 표시하도록 제어하는 서버에서 협업 구현 방법에 있어서,
    상기 클라이언트로부터 상기 가상 협업 화면의 제1부분을 포함하는 제1영상을 포함하는 식별정보 요청 메시지를 수신하는 단계;
    상기 가상 협업 화면에서 상기 제1영상이 어느 부분인지를 인식하는 단계;
    상기 인식된 부분에 객체가 포함되어 있는 경우 상기 객체와 관련된 식별정보를 상기 클라이언트로 전송하는 단계;
    상기 클라이언트로부터 상기 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 수신하는 단계;
    상기 데이터 요청 메시지에 응답하여 상기 식별정보에 대응되는 제 1 데이터를 상기 클라이언트에 전송하는 단계;
    상기 클라이언트로부터 제 2 데이터 및 상기 가상 협업 화면의 제2부분을 포함하는 제2영상을 수신하는 단계; 및
    상기 제2영상에 기초하여 상기 가상 협업 화면의 제2부분을 인식하고, 상기 제 1 데이터를 제거하고 상기 가상 협업 화면의 제2부분 상에 상기 제 2 데이터를 표시하여 상기 가상 협업 화면을 업데이트하는 단계를 포함하는 협업 구현 방법.
  7. 제 6 항에 있어서,
    상기 제 1 데이터에 대한 편집권을 상기 클라이언트에 부여할지 여부를 결정하는 단계; 및
    상기 편집권을 상기 클라이언트에 부여하기로 결정된 경우 편집의 허락을 나타내는 정보를 상기 클라이언트로 전송하고, 상기 편집권을 상기 클라이언트에 부여하지 않기로 결정된 경우 편집은 불가하고 열람의 허락을 나타내는 정보를 상기 클라이언트로 전송하는 단계를 더 포함하는 협업 구현 방법.
  8. 제 7 항에 있어서,
    상기 제 1 데이터에 대해 편집은 불가하고 열람의 허락을 받은 다른 클라이언트에 상기 제 2 데이터를 전송하는 단계를 더 포함하는 협업 구현 방법.
  9. 제 6 항에 있어서,
    상기 인식하는 단계는,
    상기 클라이언트로부터 수신한 기울기 정보를 기반으로 상기 제1영상을 원본 이미지로 보정하고, 상기 가상 협업 화면에서 상기 원본 이미지가 어느 부분인지를 인식하는 것을 특징으로 하는 협업 구현 방법.
  10. 제 9 항에 있어서,
    상기 제 1 데이터는,
    상기 기울기 정보에 대응되는 입체 영상 또는 3차원 영상인 것을 특징으로 하는 협업 구현 방법.
  11. 카메라;
    서버와 무선 통신하는 무선 통신부;
    터치스크린을 가지고 상기 카메라가 촬영한 카메라 영상 및 상기 무선통신부가 상기 서버로부터 수신한 데이터를 표시하는 표시부; 및
    상기 카메라, 상기 무선 통신부 및 상기 표시부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 카메라를 이용해, 서버에 의해 생성되고 외부 표시 장치 상에 표시되는 가상 협업 화면의 제1부분을 포함하는 제1영상을 획득하고,
    상기 제1영상에 포함된 적어도 하나의 객체 중 적어도 하나의 객체가 사용자에 의해 선택된 경우 상기 선택된 객체의 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 상기 서버로 전송하도록 상기 무선 통신부를 제어하고,
    상기 무선 통신부를 통해 상기 서버로부터 상기 선택된 객체의 식별정보에 대응되는 제 1 데이터를 수신하고,
    상기 터치스크린으로부터의 사용자의 입력 정보에 응답하여 상기 제 1 데이터를 제 2 데이터로 편집하고,
    상기 제 2 데이터 및 상기 가상 협업 화면의 제2부분을 포함하는 제2영상을 상기 무선 통신부를 통해 상기 서버로 전송하여, 상기 서버가 상기 제 1 데이터를 제거하고 상기 가상 협업 화면의 제2부분 상에 상기 제 2 데이터를 표시하여 상기 가상 협업 화면을 업데이트 하도록 하는 것을 특징으로 하는 휴대 단말.
  12. 제 11 항에 있어서,
    물리량을 감지하고, 상기 감지된 물리량에 대응되는 감지 정보를 상기 제어부로 출력하는 센서부를 더 포함하고,
    상기 제어부는 상기 감지 정보를 이용하여 기울기를 산출하고, 상기 서버가 상기 제1영상을 보정할 수 있게 상기 산출된 기울기 정보를 전송하도록 상기 무선통신부를 제어하는 것을 특징으로 하는 휴대 단말.
  13. 클라이언트 및 외부 표시장치와 무선 통신하는 무선통신부;
    가상 협업 화면 및 이와 관련된 데이터를 저장하는 저장부; 및
    상기 무선통신부 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 무선통신부를 통해 상기 가상 협업 화면을 표시하도록 상기 외부 표시장치를 제어하고,
    상기 무선통신부를 통해 상기 클라이언트로부터 상기 가상 협업 화면의 제1부분을 포함하는 제1영상을 포함하는 식별정보 요청 메시지를 수신하고,
    상기 가상 협업 화면에서 상기 제1영상이 어느 부분인지를 인식하고,
    상기 인식된 부분에 객체가 포함되어 있는 경우 상기 객체와 관련된 식별정보를 상기 클라이언트로 전송하고,
    상기 무선통신부를 통해 상기 클라이언트로부터 상기 식별정보에 대응되는 데이터를 요청하는 데이터 요청 메시지를 수신하고,
    상기 식별정보에 대응되는 제 1 데이터를 상기 저장부에서 읽어 오고,
    상기 제 1 데이터를 상기 클라이언트에 전송하도록 상기 무선통신부를 제어하고,
    상기 무선통신부를 통해 상기 클라이언트로부터 제 2 데이터 및 상기 가상 협업 화면의 제2부분을 포함하는 제2영상을 수신하고,
    상기 제2영상에 기초하여 상기 가상 협업 화면의 제2부분을 인식하고,
    상기 제 1 데이터를 제거하고 상기 가상 협업 화면의 제2부분 상에 상기 제 2 데이터를 표시하여 상기 가상 협업 화면을 업데이트하도록 제어하는 것을 특징으로 하는 휴대 단말.
  14. 제 13 항에 있어서,
    상기 제어부는,
    상기 제 1 데이터에 대한 편집권을 상기 클라이언트에 부여할지 여부를 결정하고, 상기 편집권을 상기 클라이언트에 부여하기로 결정된 경우 편집의 허락을 나타내는 정보를 상기 클라이언트로 전송하도록 상기 무선통신부를 제어하고, 상기 편집권을 상기 클라이언트에 부여하지 않기로 결정된 경우 편집은 불가하고 열람의 허락을 나타내는 정보를 상기 클라이언트로 전송하도록 상기 무선통신부를 제어하는 것을 특징으로 하는 휴대 단말.
  15. 제 14 항에 있어서,
    상기 제어부는,
    상기 제 1 데이터에 대해 편집은 불가하고 열람의 허락을 받은 다른 클라이언트에 상기 제 2 데이터를 전송하도록 상기 무선통신부를 제어하는 것을 특징으로 하는 휴대 단말.
KR1020120090498A 2012-08-20 2012-08-20 협업 구현 방법 및 장치 KR102009928B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120090498A KR102009928B1 (ko) 2012-08-20 2012-08-20 협업 구현 방법 및 장치
CN201310364945.7A CN103631768B (zh) 2012-08-20 2013-08-20 协作数据编辑和处理系统
US13/970,751 US9894115B2 (en) 2012-08-20 2013-08-20 Collaborative data editing and processing system
EP13181079.8A EP2701152B1 (en) 2012-08-20 2013-08-20 Media object browsing in a collaborative window, mobile client editing, augmented reality rendering.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120090498A KR102009928B1 (ko) 2012-08-20 2012-08-20 협업 구현 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140024531A KR20140024531A (ko) 2014-03-03
KR102009928B1 true KR102009928B1 (ko) 2019-08-12

Family

ID=49000375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120090498A KR102009928B1 (ko) 2012-08-20 2012-08-20 협업 구현 방법 및 장치

Country Status (4)

Country Link
US (1) US9894115B2 (ko)
EP (1) EP2701152B1 (ko)
KR (1) KR102009928B1 (ko)
CN (1) CN103631768B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096859A (ko) 2020-12-31 2022-07-07 삼성에스디에스 주식회사 컨텐츠의 공동 편집 보조 방법 및 장치

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282103A1 (en) * 2013-03-16 2014-09-18 Jerry Alan Crandall Data sharing
US20150022631A1 (en) * 2013-07-17 2015-01-22 Htc Corporation Content-aware display adaptation methods and editing interfaces and methods for stereoscopic images
US10168871B2 (en) * 2013-09-16 2019-01-01 Rovi Guides, Inc. Methods and systems for presenting direction-specific media assets
US10175845B2 (en) 2013-10-16 2019-01-08 3M Innovative Properties Company Organizing digital notes on a user interface
TWI653571B (zh) * 2013-10-16 2019-03-11 ３Ｍ新設資產公司 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
US9323449B2 (en) * 2014-05-09 2016-04-26 Htc Corporation Electronic apparatus and drawing method using the same
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
TWI514319B (zh) * 2014-10-14 2015-12-21 Zappoint Corp 藉由虛擬物件編輯資料之方法及系統，及相關電腦程式產品
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera
JP2016194756A (ja) 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN105099875B (zh) * 2015-06-24 2018-11-20 努比亚技术有限公司 多用户协作编辑与发布图片信息的方法和装置
JP2017027312A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 情報処理装置、送信方法、および、プログラム
US9740011B2 (en) 2015-08-19 2017-08-22 Microsoft Technology Licensing, Llc Mapping input to hologram or two-dimensional display
US9983844B2 (en) * 2016-02-15 2018-05-29 International Business Machines Corporation Virtual content management
JP6024848B1 (ja) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
CN106202023A (zh) * 2016-07-19 2016-12-07 珠海市魅族科技有限公司 一种信息处理方法和装置
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106904076B (zh) * 2017-01-22 2023-02-28 斑马信息科技有限公司 汽车仪表与中控交互系统及方法
WO2018152455A1 (en) * 2017-02-20 2018-08-23 Vspatial, Inc. System and method for creating a collaborative virtual session
US11201906B2 (en) * 2017-08-29 2021-12-14 International Business Machines Corporation Providing instructions during remote viewing of a user interface
CN107705275B (zh) * 2017-09-08 2021-02-26 维沃移动通信有限公司 一种拍照方法及移动终端
US10732916B2 (en) * 2017-11-28 2020-08-04 Ncr Corporation Multi-device display processing
CN109862343A (zh) * 2017-11-30 2019-06-07 宏达国际电子股份有限公司 虚拟现实装置、影像处理方法以及非暂态电脑可读取记录媒体
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality
US20190340954A1 (en) * 2018-05-01 2019-11-07 Illinois Tool Works Inc. Portable user interface for a welding type system
US11526322B2 (en) * 2018-08-25 2022-12-13 Microsoft Technology Licensing, Llc Enhanced techniques for merging content from separate computing devices
KR20200092480A (ko) * 2019-01-09 2020-08-04 삼성전자주식회사 Em 신호의 특징을 등록하여 외부 장치를 식별하는 방법 및 상기 방법을 적용한 전자 장치
KR102233235B1 (ko) * 2019-04-04 2021-03-29 주식회사 핸디소프트 메시지 의도 분석 기반의 지능형 협업 지원 시스템
CN110377574B (zh) * 2019-07-15 2023-08-25 腾讯科技（深圳）有限公司 图片的协作处理方法及装置、存储介质、电子装置
US20220335673A1 (en) * 2019-09-09 2022-10-20 Wonseok Jang Document processing system using augmented reality and virtual reality, and method therefor
WO2021089006A1 (zh) * 2019-11-08 2021-05-14 华为技术有限公司 数字空间的管理方法、装置与设备
CN115190996A (zh) * 2020-03-25 2022-10-14 Oppo广东移动通信有限公司 使用增强现实的协作文档编辑
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
KR102227525B1 (ko) * 2020-05-04 2021-03-11 장원석 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법
CN114153531A (zh) * 2020-08-18 2022-03-08 华为技术有限公司 管理物联网设备的方法和装置
US11797162B2 (en) * 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
WO2023121505A1 (ru) * 2021-12-24 2023-06-29 Общество С Ограниченной Ответственностью "Кейс Студио" Система и способ управления совместным редактированием цифровых объектов

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249024A1 (en) * 2010-04-09 2011-10-13 Juha Henrik Arrasvuori Method and apparatus for generating a virtual interactive workspace

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394521A (en) * 1991-12-09 1995-02-28 Xerox Corporation User interface with multiple workspaces for sharing display system objects
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
IL120417A (en) 1997-03-10 2000-09-28 Electronics For Imaging Inc Presentation board digitizer systems
US7328243B2 (en) * 2002-10-31 2008-02-05 Sun Microsystems, Inc. Collaborative content coherence using mobile agents in peer-to-peer networks
US8620083B2 (en) * 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US7634533B2 (en) * 2004-04-30 2009-12-15 Microsoft Corporation Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
CN101080762A (zh) * 2004-11-19 2007-11-28 Daem交互有限公司 具有图像获取功能、应用于扩充现实性资源的个人装置和方法
US7908325B1 (en) * 2005-06-20 2011-03-15 Oracle America, Inc. System and method for event-based collaboration
US7970870B2 (en) * 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
JPWO2007034858A1 (ja) * 2005-09-22 2009-03-26 株式会社ジャストシステム データ管理装置、データ編集装置、データ閲覧装置、データ管理方法、データ編集方法およびデータ閲覧方法
JP5208737B2 (ja) * 2006-07-03 2013-06-12 パナソニック株式会社 プロジェクタシステム及び映像投射方法
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
US8464209B2 (en) 2007-03-19 2013-06-11 Microsoft Corporation Using collaborative development information in a team environment
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
CA2659698C (en) * 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
WO2009146130A2 (en) 2008-04-05 2009-12-03 Social Communications Company Shared virtual area communication environment based apparatus and methods
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JPWO2010038296A1 (ja) * 2008-10-01 2012-02-23 任天堂株式会社 情報処理装置、情報処理システム、ならびに起動用プログラムおよびそれを記憶した記憶媒体
JP2010145861A (ja) * 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
CN102460413A (zh) 2009-04-24 2012-05-16 环球英语公司 网络可访问的协作注解工具
US8120994B2 (en) 2009-04-28 2012-02-21 Luidia, Inc. Digital transcription system utilizing acoustical detectors having apertures with a vertical orientation relative to the work surface
US8064290B2 (en) 2009-04-28 2011-11-22 Luidia, Inc. Digital transcription system utilizing small aperture acoustical sensors
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US8943420B2 (en) * 2009-06-18 2015-01-27 Microsoft Corporation Augmenting a field of view
JP2012531637A (ja) 2009-06-30 2012-12-10 テックブリッジ，インコーポレイテッド マルチメディアコラボレーションシステム
WO2011014772A1 (en) * 2009-07-31 2011-02-03 Citizenglobal Inc. Systems and methods for content aggregation, editing and delivery
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
WO2011107423A1 (en) * 2010-03-01 2011-09-09 Metaio Gmbh Method of displaying virtual information in a view of a real environment
US8506090B2 (en) * 2010-03-22 2013-08-13 Microvision, Inc. Projection system with image orientation correction and corresponding method
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
WO2011160114A1 (en) * 2010-06-18 2011-12-22 Minx, Inc. Augmented reality
KR101325757B1 (ko) * 2010-07-09 2013-11-08 주식회사 팬택 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
US20120030566A1 (en) * 2010-07-28 2012-02-02 Victor B Michael System with touch-based selection of data items
JP5814532B2 (ja) * 2010-09-24 2015-11-17 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
KR101788046B1 (ko) * 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101330808B1 (ko) * 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
EP2691936A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US20120299962A1 (en) * 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
US20130019189A1 (en) * 2011-07-14 2013-01-17 Cbs Interactive Inc Augmented editing of an online document
CN102262620B (zh) * 2011-08-04 2014-11-26 无锡永中软件有限公司 一种文档协作方法
WO2013023705A1 (en) * 2011-08-18 2013-02-21 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9275148B1 (en) * 2011-09-23 2016-03-01 Shauki Elassaad System and method for augmented browsing and knowledge discovery
CN102520922B (zh) * 2011-11-14 2016-04-13 上海交通大学 一种协作环境下的远程开发方法及其系统
WO2013086739A1 (en) * 2011-12-16 2013-06-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US8943582B1 (en) * 2012-07-18 2015-01-27 Amazon Technologies, Inc. Transferring information among devices using cameras
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
US9086837B1 (en) * 2013-07-30 2015-07-21 Microstrategy Incorporated Collaboration sessions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249024A1 (en) * 2010-04-09 2011-10-13 Juha Henrik Arrasvuori Method and apparatus for generating a virtual interactive workspace

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096859A (ko) 2020-12-31 2022-07-07 삼성에스디에스 주식회사 컨텐츠의 공동 편집 보조 방법 및 장치

Also Published As

Publication number Publication date
US20140053086A1 (en) 2014-02-20
CN103631768B (zh) 2018-01-26
EP2701152B1 (en) 2016-08-10
US9894115B2 (en) 2018-02-13
KR20140024531A (ko) 2014-03-03
CN103631768A (zh) 2014-03-12
EP2701152A1 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
KR102009928B1 (ko) 협업 구현 방법 및 장치
US11509825B2 (en) Image management system, image management method, and computer program product
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US10893092B2 (en) Electronic device for sharing application and control method thereof
US9674445B2 (en) Portable apparatus and method for taking a photograph by using widget
KR20190108181A (ko) 구면 비디오 편집
US9514512B2 (en) Method and apparatus for laying out image using image recognition
KR20140122952A (ko) 이미지 합성 방법 및 이를 구현하는 전자 장치
KR20140089809A (ko) 이미지 표시 방법 및 휴대 단말
CN112230914B (zh) 小程序的制作方法、装置、终端及存储介质
US11740850B2 (en) Image management system, image management method, and program
US20150180916A1 (en) Portable apparatus and method for sharing content thereof
CN111125601A (zh) 文件传输方法、装置、终端、服务器及存储介质
KR102030669B1 (ko) 로그인 관리 방법 및 휴대 단말
US20140258923A1 (en) Apparatus and method for displaying screen image
Makhsadov et al. Vrysmart: a framework for embedding smart devices in virtual reality
KR20130137074A (ko) 3차원 지도를 이용한 증강 정보 제공 장치 및 방법
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
KR102160038B1 (ko) 이동단말기 및 그 제어방법
CN112242945A (zh) 电子互动信息的发送方法、装置、设备及可读存储介质
KR102191376B1 (ko) 이미지 표시 방법 및 휴대 단말
WO2024031282A1 (zh) 滑动验证方法、图像生成方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant