KR102227525B1 - 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법 - Google Patents

증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법 Download PDF

Info

Publication number
KR102227525B1
KR102227525B1 KR1020200053190A KR20200053190A KR102227525B1 KR 102227525 B1 KR102227525 B1 KR 102227525B1 KR 1020200053190 A KR1020200053190 A KR 1020200053190A KR 20200053190 A KR20200053190 A KR 20200053190A KR 102227525 B1 KR102227525 B1 KR 102227525B1
Authority
KR
South Korea
Prior art keywords
virtual
document
mobile terminal
augmented reality
reality
Prior art date
Application number
KR1020200053190A
Other languages
English (en)
Inventor
장원석
장준
장혁
장윤
Original Assignee
장원석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장원석 filed Critical 장원석
Priority to KR1020200053190A priority Critical patent/KR102227525B1/ko
Application granted granted Critical
Publication of KR102227525B1 publication Critical patent/KR102227525B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

본 발명은 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그의 처리 방법에 관한 것이다. 본 발명의 문서 작성 시스템은 하나의 사용자가 증강 현실 또는 가상 현실 영상에 표출된 객체의 위치에 객체에 대한 내용을 기입하여 다양한 형태의 가상 문서를 작성, 저장하고, 다른 사용자에게 가상 문서를 증강 현실 또는 가상 현실 영상에서 열람할 수 있도록 공유한다. 문서 작성 시스템은 증강 현실 또는 가상 현실 표출이 가능한 모바일 단말기를 이용하여 가상 문서를 작성 및 공유한다. 문서 작성 시스템은 P2P 방식 또는 서버 이용 방식으로 모바일 단말기들 간에 가상 문서를 공유한다. 본 발명에 의하면, 증강 현실 또는 가상 현실을 이용하여 작성되는 가상 문서를 실시간으로 공유하도록 표출함으로써, 새로운 문서 공유 플랫폼을 구현하여 사용자에게 차별화된 서비스를 제공할 수 있다.

Description

증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법{DOCUMENT CREATION SYSTEM USING AUGMENTED REALITY AND VIRTUAL REALITY AND METHOD FOR PROCESSING THEREOF}
본 발명은 문서 작성 시스템에 관한 것으로, 좀 더 구체적으로 증강 현실이나 가상 현실 표출이 가능한 모바일 단말기를 이용하여 증강 현실 또는 가상 현실 상에 표출되는 객체의 위치에 객체에 대한 다양한 형태의 가상 문서를 작성, 저장하고, 이를 데이터화하여 증강 현실 또는 가상 현실 상에서 다른 사용자들에게 공유하도록 처리하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법에 관한 것이다.
일반적으로 수기, 컴퓨터 등을 이용하여 작성된 다양한 형태의 문서들은 인쇄기, 프린터, 복사기 등을 이용하여 종이에 인쇄되어 책 형태로 제공되거나, 컴퓨터, 스마트 기기 등이 판독 가능한 컴퓨터 프로그램을 이용하여 전자책(E-book), 웹북(web book), 앱북(application book) 등과 같은 전자 문서 형태로 제작된다. 이러한 문서들은 많은 사람들에게 공유할 수 있도록 온라인 또는 오프라인으로 제공된다.
특히, 단체나 기업의 보안 유지, 개인의 사생활 보호 등 비밀 유지가 필요하거나, 저작권 보호 등이 필요한 문서의 경우에는 외부로 누출되지 않도록 문서에 비밀 등급, 워터마크 등을 표출하거나, 전자 문서를 암호화하는 등 다양한 방식으로 관리되어 인허된 사람들만이 문서를 볼 수 있도록 제공하고 있다.
그러나 기존의 종이 문서는 구독력은 효율적이나, 휴대, 보관, 이동 및 공유 등에 따른 관리가 불편하고, 전자 문서는 종이 문서에 비해 관리가 용이한 반면, 문서의 구독력이 떨어지는 문제점이 있다.
따라서 기존의 종이 문서, 전자 문서와는 달리 관리가 용이하고 사용자가 구독력과 현실감을 얻을 수 있도록 하는 새로운 문서 형태를 제공할 수 있는 시스템 개발이 필요한 실정이다.
한국 등록특허공보 제10-0930370호(공고일 2009년 12월 08일) 한국 공개특허공보 제10-2019-0081034호(공개일 2019년 07월 09일) 한국 등록특허공보 제10-1018361호(공고일 2011년 03월 04일) 한국 공개특허공보 제10-2011-0136024호(공개일 2011년 12월 21일)
본 발명의 목적은 증강 현실과 가상 현실을 이용하여 가상 문서를 작성하고, 작성된 가상 문서를 증강 현실이나 가상 현상 상에서 공유할 수 있도록 하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법을 제공하는 것이다.
본 발명의 다른 목적은 증강 현실과 가상 현실 상에 표출된 객체의 위치에 다양한 형태의 가상 문서를 작성, 저장 및 공유할 수 있도록 처리하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 증강 현실과 가상 현실을 이용하여 기저장된 문서들 중 어느 하나를 불러와서 가상 문서를 작성하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 증강 현실과 가상 현실을 이용하여 작성된 가상 문서를 사용자 인증 및 암호화 처리하여 인허된 사용자에게만 공유하도록 하여 가상 문서에 대한 보안을 확보하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법을 제공하는 것이다.
상기 목적들을 달성하기 위한, 본 발명의 문서 작성 시스템은 증강 현실과 가상 현실을 이용하여 객체의 위치에 객체와 관련된 내용이나 사용자가 기록하고자 하는 내용을 다양한 형태의 가상 문서로 작성하여 저장하고, 다른 사용자들에게 작성 가상 문서를 증강 현실 또는 가상 현실 상에서 공유하도록 제공하는데 그 한 특징이 있다. 이와 같은 본 발명의 문서 작성 시스템은 증강 현실 또는 가상 현실 상에 문서를 제공함으로써, 사용자에게 구독력 향상, 현실감 증대 효과를 제공할 수 있다.
이 특징에 따른 본 발명의 증강 현실과 가상 현실을 이용한 문서 작성 시스템은, 증강 현실 또는 가상 현실 영상에 표시되는 입력 장치; 및 증강 현실 또는 가상 현실 표출 가능하고, 상기 입력 장치를 동기화하여 인식하고, 상기 증강 현실 또는 가상 현실 영상에 복수 개의 객체가 표출되고, 상기 입력 장치를 이용하거나, 사용자의 제스처 및 음성 중 어느 하나를 또는 사용자의 제스쳐를 인식하여 하나의 객체를 선택하고, 선택된 상기 객체의 위치에 상기 객체와 관련되거나 사용자가 기록하고자 하는 내용을 포함하는 적어도 한 페이지의 가상 문서를 작성하도록 표출하고, 작성된 상기 가상 문서를 다른 사용자가 상기 증강 현실 또는 가상 현실 영상에서 실시간 열람 또는 작성할 수 있도록 표출하여 사용자들 간에 상기 가상 문서를 공유하는 복수 개의 모바일 단말기를 포함한다.
이 특징에 있어서, 상기 모바일 단말기는, 상기 입력 장치를 이용하거나 상기 모바일 단말기의 카메라 또는 센서를 통해 사용자의 제스처를 인식하거나, 상기 입력 장치 또는 상기 모바일 단말기의 마이크로폰을 통해 사용자의 음성을 인식하여, 기저장된 문서 데이터들 중 어느 하나를 선택하고, 선택된 문서 데이터를 불러와서 상기 가상 문서를 생성, 작성, 수정 및 삭제 중 적어도 어느 하나를 처리하도록 한다.
이 특징에 있어서, 상기 모바일 단말기는, 상기 입력 장치로부터 입력 데이터를 수신하거나, 상기 모바일 단말기의 카메라 또는 센서를 이용하여 상기 입력 장치의 입력 동작을 인식하거나, 상기 입력 장치 또는 상기 모바일 단말기의 마이크로폰을 이용하여 사용자의 음성을 인식하여 입력 데이터를 생성하고, 상기 입력 데이터를 상기 가상 문서에 실시간으로 입력하여 상기 가상 문서를 작성한다.
이 특징에 있어서, 상기 모바일 단말기는, 상기 가상 문서를 인허된 사용자에게만 공유하도록 암호화하고, 상기 인허된 사용자들에 대한 공유 목록 정보를 설정하고, 상기 다른 사용자가 상기 공유 목록 정보에 포함된 인허된 사용자의 모바일 단말기인 경우에 상기 가상 문서를 공유한다.
이 특징에 있어서, 상기 모바일 단말기는, 상기 가상 문서를 이미지화 또는 텍스트화하여 문서 데이터로 변환 및 저장하고, 상기 변환된 문서 데이터를 인쇄 가능하게 처리한다.
이 특징에 있어서, 상기 문서 작성 시스템은, 상기 모바일 단말기들 간에 상호 상기 가상 문서를 공유하도록 중계하는 서버를 더 포함한다.
본 발명의 다른 특징에 따르면, 증강 현실과 가상 현실을 이용한 문서 작성 시스템의 처리 방법이 제공된다.
이 특징에 따른 문서 작성 시스템의 처리 방법은, 증강 현실 또는 가상 현실 표출이 가능한 제1 모바일 단말기가 입력 장치를 동기화하여 인식하는 단계; 상기 제1 모바일 단말기가 현재 위치에 따른 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 구동하여 증강 현실 또는 가상 현실의 영상을 표출하고, 상기 증강 현실 또는 상기 가상 현실의 영상에 객체를 표출하는 단계; 상기 제1 모바일 단말기가 상기 입력 장치를 이용하여 표출된 상기 객체를 선택하고, 선택된 상기 객체의 위치에 가상 문서를 생성하고, 상기 입력 장치의 입력 데이터를 실시간으로 입력하여 상기 가상 문서를 작성하는 단계; 상기 제1 모바일 단말기가 작성된 상기 가상 문서를 상기 증강 현실 또는 상기 가상 현실의 영상에서 열람할 수 있도록 공유하는 단계; 및 적어도 하나의 제2 모바일 단말기가 상기 증강 현실 또는 상기 가상 현실의 영상에서 공유된 상기 가상 문서에 대응되는 객체를 선택하면, 상기 제1 모바일 단말기가 작성한 상기 가상 문서를 열람 또는 작성할 수 있도록 표출하는 단계;를 포함한다.
이 특징에 있어서, 상기 가상 문서를 작성하는 단계는, 상기 가상 문서를 생성하지 않고 상기 제1 모바일 단말기에 기저장된 문서 데이터들 중 어느 하나를 불러와서 상기 가상 문서에 삽입되는 이미지 또는 텍스트 데이터로 변환한 후, 상기 가상 문서에 삽입하는 것을 더 포함한다.
이 특징에 있어서, 상기 공유하는 단계는, 상기 제1 모바일 단말기가 상기 가상 문서를 암호화하고, 상기 가상 문서의 공유가 인허된 상기 제2 모바일 단말기들에 대한 공유 목록 정보를 설정하고, 상기 공유 목록 정보에 포함된 상기 제2 모바일 단말기인 경우에 상기 가상 문서를 복호화하여 열람하도록 한다.
상술한 바와 같이, 본 발명의 문서 작성 시스템은 증강 현실 또는 가상 현실 표출 가능한 모바일 단말기를 이용하여 사용자가 증강 현실이나 가상 현실 상의 객체의 위치에 객체와 관련된 내용이나 사용자가 기록하고자 하는 내용을 포함하는 가상 문서를 작성 및 저장하고, 증강 현실 또는 가상 현실 상에서 다른 사용자들에게 가상 문서를 공유하도록 처리함으로써, 새로운 문서 공유 플랫폼을 구현하여 사용자에게 차별화된 서비스를 제공할 수 있다.
또 본 발명의 문서 작성 시스템은 증강 현실이나 가상 현실 영상에서 키 입력, 필기 인식, 제스처 인식, 음성 인식 등 다양한 종류의 입력 장치를 이용하여 가상 문서를 작성할 수 있다.
또 본 발명의 문서 작성 시스템은 기존에 유통되는 형식의 문서 데이터를 이용하여 가상 문서를 작성함으로써, 증강 현실이나 가상 현실 상에 가상 문서를 쉽게 작성할 수 있다.
또 본 발명의 문서 작성 시스템은 가상 문서를 사용자 인증, 암호화 및 복호화, 공유 대상자 설정 등의 과정을 통해 공유하도록 함으로써, 인허된 사용자만이 가상 문서를 열람할 수 있으므로 보안성을 향상시킬 수 있으며, 보안이 요구되는 다양한 문서의 열람 및 관리가 용이하다. 특히 보안이 요구되는 서류 등을 해당 상대방과 서로 교환하거나 서명 등을 공유할 수 있도록 하여 공유한다. 또 인허받지 못한 사용자는 가상 문서를 열람할 수 없도록 함으로써, 비밀 서류 등을 작성할 수 있고, 군 작전 및 보안 서류 등을 가상 서류 형태로 보관하여 보안을 더욱 안전하게 할 수 있다.
또한 본 발명의 문서 작성 시스템은 사용자 자신의 개인적인 내용을 가상 문서에 기록하여 저장할 수 있게 함으로써, 필요할 때 사용자가 확인할 수 있다.
뿐만 아니라, 본 발명의 문서 작성 시스템은 작성된 가상 문서의 모든 내용 또는 일부를 인쇄 가능한 형태로 변환하도록 하여 인쇄물로 출력할 수 있다.
도 1은 본 발명에 따른 문서 작성 시스템의 네트워크 구성을 도시한 블럭도,
도 2는 도 1에 도시된 모바일 단말기의 구성을 나타내는 블럭도,
도 3은 도 1에 도시된 서버의 구성을 나타내는 블럭도,
도 4는 본 발명에 따른 문서 작성 시스템의 가상 문서를 작성하는 수순을 도시한 흐름도,
도 5는 본 발명에 따른 문서 작성 시스템의 증강 현실 또는 가상 현실 상에 표출된 객체에 가상 문서를 표출하는 수순을 도시한 흐름도,
도 6은 본 발명에 따른 문서 작성 시스템의 가상 문서를 공유하는 수순을 도시한 흐름도,
도 7은 본 발명의 일 실시예에 따른 문서 작성 시스템의 서버를 이용한 가상 문서를 공유하는 수순을 나타내는 흐름도,
도 8은 본 발명의 다른 실시예에 따른 문서 작성 시스템의 사용자들 간의 P2P 방식으로 가상 문서를 공유하는 수순을 나타내는 흐름도, 그리고
도 9는 본 발명에 따른 문서 작성 시스템의 가상 문서를 출력하는 수순을 나타내는 흐름도이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
이하 첨부된 도 1 내지 도 9를 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 증강 현실과 가상 현실을 이용한 문서 작성 시스템의 네트워크 구성을 도시한 블럭도이고, 도 2는 도 1에 도시된 모바일 단말기의 구성을 나타내는 블럭도이며, 그리고 도 3은 도 1에 도시된 서버의 구성을 나타내는 블럭도이다.
도 1 내지 도 3을 참조하면, 본 발명의 문서 작성 시스템(2)은 증강 현실 또는 가상 현실 표출 가능한 모바일 단말기(200, 200a)를 이용하여 사용자가 증강 현실이나 가상 현실 상의 객체의 위치에 객체와 관련된 내용이나 사용자가 기록하고자 하는 내용을 적어도 한 페이지(page)의 다양한 문서 형태들 예를 들어, 책, 보고서, 노트, 메모, 편지, 기사, 쪽지 및 낙서 등의 가상 문서로 작성 및 저장하고, 증강 현실 또는 가상 현실 상에서 다른 사용자들에게 가상 문서를 공유하도록 처리한다.
즉, 본 발명의 문서 작성 시스템(2)은 가상 문서를 작성하는 하나의 모바일 단말기(200)가 입력 장치(300)를 인식하고, 증강 현실이나 가상 현실 상에 표출된 객체의 위치에 가상 문서를 작성하도록 표출하고, 인식된 입력 장치(300)를 통해 사용자가 표출된 가상 문서 상에 객체와 관련된 내용이나 기록하고자 하는 내용을 작성하여 저장한다.
또 본 발명의 문서 작성 시스템(2)은 모바일 단말기(200)로부터 작성된 가상 문서를 서버(100)로 전송하여 다른 모바일 단말기(200a)의 사용자에게 공유하도록 처리한다. 이 때, 문서 작성 시스템(2)은 모바일 단말기(200, 200a)들 간에 P2P(Peer to Peer) 방식 또는 서버(100)를 이용하는 방식 등으로 하나의 모바일 단말기(200)에서 작성된 가상 문서를 다른 모바일 단말기(200a)로 공유하도록 처리한다.
이를 위해, 본 발명의 문서 작성 시스템(2)은 복수 개의 모바일 단말기(200, 200a)와, 입력 장치(300) 및 서버(100)를 포함한다. 모바일 단말기(200, 200a)와 서버(100)는 상호 무선 통신망(4)을 통해 연결된다. 또 모바일 단말기(200, 200a)들은 무선 통신망(4)을 통해 직접 연결되거나, 서버(100)를 통해 연결될 수 있다.
본 발명에서는 모바일 단말기(200, 200a)를 가상 문서를 작성하는 사용자(즉, 송신자)의 제1 모바일 단말기(200)와, 작성된 가상 문서를 공유받는 사용자(즉, 수신자)의 제2 모바일 단말기(200a)로 구분하여 설명한다. 물론 제2 모바일 단말기(200a)가 가상 문서를 작성하고, 제1 모바일 단말기(200)가 가상 문서를 공유받을 수도 있음은 자명하다 하겠다.
제1 및 제2 모바일 단말기(200, 200a)는 증강 현실이나 가상 현실 표출이 가능한 전자 장치 예를 들어, 스마트 폰, 태블릿 폰, 태블릿 PC, HMD(Head Mounted Display) 장치, 홀로그램 표시 장치 등으로 구비되고, 사용자 각각이 구비한다. 이러한 제1 및 제2 모바일 단말기(200, 200a)는 예컨대, 스마트 폰, HMD 장치 등의 전형적인 구성 요소들 예를 들어, 중앙 처리 장치(CPU), 메모리, 스피커, 마이크로폰, 카메라 등을 구비하며, 여기서 이에 대한 구체적인 설명은 생략한다.
입력 장치(300)는 제1 및 제2 모바일 단말기(200, 200a) 각각과 무선 통신 가능한 장치 예를 들어, 펜 마우스, 키보드, 터치 패드, 좌표 인식이 가능한 센서판, 사용자에 의해 제스처나 음성 입력이 가능한 센서 장치 등으로 구비되거나, 제1 및 제2 모바일 단말기(200, 200a) 각각이 인식 가능한 가상의 장치 예를 들어, 증강 현실이나 가상 현실 상에 표출되는 가상 펜 마우스, 가상 키보드 등으로 다양하게 구비될 수 있다. 따라서 제1 및 제2 모바일 단말기(200, 200a) 각각은 가상 문서 작성 시, 입력 장치(300)로부터 입력 데이터를 수신하거나, 카메라, 마이크로폰, 센서 등을 이용하여 제스처, 필기, 음성 등에 따른 입력 장치(300)의 입력 동작 또는 음성을 인식하고, 이를 통해 해당 제스처 또는 음성에 대응하는 기능(예를 들어, 기저장된 문서 불러오기 등)을 활성화시키거나 입력 데이터를 생성한다.
구체적으로, 제1 및 제2 모바일 단말기(200, 200a)는 서버(100)로부터 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 제공받아서 내부에 저장한다. 제1 및 제2 모바일 단말기(200, 200a)는 저장된 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 이용하여 가상 문서를 작성 및 공유하기 위한 다양한 종류의 객체들 예를 들어, 특정 장소, 특정 장소에 위치하는 사물, 건축물, 기념물, 랜드마크 등과, 바다, 산, 하늘 등의 자연 환경과, 사용자 자신과 관련된 스토리가 있는 유무형의 대상물 및 사용자가 기록하고자 하는 대상물(또는 위치) 등을 증강 현실 또는 가상 현실의 영상에 표출한다. 이 때, 객체는 증강 현실이나 가상 현실 영상에서 사용자의 현재 위치에 따라 복수 개가 서로 다른 위치에 표출된다.
이러한 제1 및 제2 모바일 단말기(200, 200a)는 하나의 사용자가 증강 현실이나 가상 현실 상에 표출된 객체의 위치에 가상 문서를 작성하거나, 기작성된 문서를 불러오기하여 가상 문서로 변환하고, 가상 문서를 해당 객체의 위치에 표출하면 이를 다른 사용자가 공유받아서 증강 현실이나 가상 현실 상에서 상호 확인할 수 있도록 처리한다. 또 제1 및 제2 모바일 단말기(200, 200a)는 증강 현실 또는 가상 현실 상에서 표출된 가상 문서를 필요에 따라 다양한 포맷의 데이터로 변환하여 저장하거나, 변환된 데이터를 프린터 등의 인쇄 장치(미도시됨)로 인쇄하도록 출력할 수 있다.
제1 모바일 단말기(200)는 가상 문서를 작성하기 위하여 입력 장치(300)를 동기화하여 인식한다. 제1 모바일 단말기(200)는 인식된 입력 장치(300)로부터 증강 현실이나 가상 현실 영상에 포함되는 객체들 각각의 위치에 표출되도록 가상 문서의 표출 위치를 설정한다. 이 때, 제1 모바일 단말기(200)는 증강 현실이나 가상 현실 영상에서 사용자가 원하는 객체가 표출되어 있으면, 해당 객체를 선택하고, 사용자가 원하는 객체가 표출되어 있지 않으면, 증강 현실이나 가상 현실 영상에서 사용자가 특정 위치로 이동하여 표출된 객체를 선택하거나, 가상 문서 작성을 위한 새로운 객체를 생성할 수도 있다. 또 제1 모바일 단말기(200)는 예를 들어, 입력 장치(300)의 이동 방향, 각도 및 위치 등을 인식하여 가상 문서의 표출 위치가 설정되면, 증강 현실이나 가상 현실의 영상에서 해당 표출 위치를 사용자에게 알려주도록 표시할 수 있다.
제1 모바일 단말기(200)는 설정된 가상 문서의 표출 위치에 포함된 객체를 인식하고, 인식된 객체와 관련된 내용이나 사용자가 기록하고자 하는 내용을 입력 장치(300)를 통해 입력하여 가상 문서를 작성한다. 이 때, 제1 모바일 단말기(200)는 입력 장치(300)로부터 입력 데이터를 수신하거나, 입력 장치(300)의 입력 동작(예를 들어, 필기 입력 시)에 따른 사물 또는 사용자의 제스처를 인식하거나, 마이크폰을 통해 사용자의 음성을 인식하여 입력 데이터를 생성하고, 이를 통해 가상 문서를 작성하여 실시간으로 증강 현실 또는 가상 현실 상에서 공유하도록 처리한다.
제1 모바일 단말기(200)는 입력 장치(300)를 이용하여 예를 들어, 한글(HWP) 파일, 워드(word) 파일, PDF 파일 등으로 기저장된 다양한 포맷의 문서들 중 어느 하나를 선택하고, 선택된 문서에서 일부 또는 전부를 선택하여 이미지화하거나 텍스트화하여 가상 문서로 변환하고, 변환된 가상 문서를 증강 현실 또는 가상 현실 영상의 해당 객체의 위치에 표출되도록 삽입 또는 첨부할 수도 있다. 또 제1 모바일 단말기(200)는 카메라, 센서 등을 이용하여 기저장된 다양한 포맷의 문서들 중 어느 하나를 불러오기 할 수 있는 기능에 대응되는 사용자 제스처를 인식하고, 이를 통해 기저장된 다양한 포맷의 문서들 중 어느 하나를 선택하도록 하는 기능을 활성화시킬 수 있다. 이 경우, 사용자 제스처는 예를 들어, 손가락을 시계 방향 또는 반시계 방향으로 회전하는 제스처, 손가락으로 해당 객체를 더블 클릭하는 제스처, 손가락으로 해당 객체를 상하 좌우 방향 중 어느 하나의 방향으로 드래그하는 제스처 등 다양하게 설정될 수 있으며, 제1 모바일 단말기(200)의 카메라 또는 센서를 통해 인식된다. 또 제1 모바일 단말기(200)는 마이크로폰을 이용하여 사용자의 음성을 인식하고, 이를 통해 기저장된 다양한 포맷의 문서들 중 어느 하나를 불러오기 할 수 있는 기능을 처리하거나, 가상 문서에 입력될 입력 데이터를 생성할 수도 있다. 이러한 음성 인식은 이미 공개되어 있는 음성 텍스트 변환(Speech to Text : STT) 기술을 이용하여 인식된 음성의 단어에 대응되는 기능을 처리하거나, 인식된 음성을 텍스트로 변환하여 입력 데이터를 생성할 수 있음은 자명하다 하겠다.
제1 모바일 단말기(200)는 사용자의 개인 정보, 단말기 정보 등을 이용하여 사용자 인증을 처리한다. 제1 모바일 단말기(200)는 사용자 인증이 확인되면, 해당 객체에 기작성된 가상 문서가 있는지를 판별하고, 가상 문서의 유무에 따라 새로운 가상 문서를 작성하도록 생성하거나, 기작성된 가상 문서를 선택하여 객체에 대한 내용을 열람하고, 이를 수정, 삭제, 추가, 업데이트 등으로 편집하여, 생성 또는 편집된 가상 문서를 저장할 수 있다. 이 때, 제1 모바일 단말기(200)는 기작성된 가상 문서가 암호화되어 있으면, 암호 정보를 입력하여 가상 문서를 열람, 편집 및 저장 가능하도록 처리한다.
제1 모바일 단말기(200)는 입력 장치(300)로부터 실시간으로 입력 데이터를 수신하거나 입력 장치(300)의 입력 동작을 인식하거나, 또는 마이크로폰을 이용하여 사용자의 음성을 인식하여 가상 문서 상에 표출한다. 이 때, 제1 모바일 단말기(200)는 입력 장치(300)가 무선 통신 가능한 장치인 경우, 무선 통신망을 통해 실시간으로 입력 데이터를 받아들이고, 가상의 장치인 경우, 카메라를 이용하여 촬영된 영상에서 입력 장치(300)의 입력 동작을 인식하거나 센서를 이용하여 입력 장치(300)의 입력 동작 즉, 사용자의 제스처를 인식하거나, 마이크로폰을 이용하여 사용자의 음성을 인식하고, 이를 통해 입력 데이터를 생성한다.
제1 모바일 단말기(200)는 가상 문서가 작성 완료 또는 편집 완료되면, 암호 정보를 입력하여 저장할 수 있다. 예를 들어, 가상 문서가 모든 사용자에게 공유할 목적으로 작성된 경우에는 암호화할 필요가 없으나, 특정 사용자 즉, 인허된 사용자에게만 공유할 목적으로 작성된 경우에는 보안 관리를 위해 인허된 사용자가 인지하고 있는 암호 정보를 입력하여 가상 문서를 암호화하고, 이를 서버(100) 또는 제2 모바일 단말기(200a)로 전송한다. 이 때, 제1 모바일 단말기(200)는 증강 현실 또는 가상 현실 영상에서의 객체의 위치(또는 가상 문서의 위치)를 나타내는 3 차원의 좌표 등을 포함하는 객체 정보와, 공유 대상자를 설정하여 생성된 공유 목록 정보를 함께 전송한다. 여기서 공유 목록 정보에는 가상 문서를 공유하는 송신자의 사용자 정보, 가상 문서를 공유받는 수신자의 사용자 정보, 가상 문서의 파기될 시간까지를 나타내는 공유 시간 등이 포함될 수 있다.
제1 모바일 단말기(200)는 제2 모바일 단말기(200a)와 가상 문서를 공유하기 위하여 제2 모바일 단말기(200a)의 사용자가 자신이 공유하고자 하는 사용자인지를 인증한다. 제1 모바일 단말기(200)는 P2P 방식으로 공유하는 경우, 제2 모바일 단말기(200a)와 통신 동기화, 해당 가상 문서에 대응되는 객체 위치의 일치 여부 및 동기화를 처리한다. 제1 모바일 단말기(200)는 서버(100)를 이용하여 공유하는 경우, 제2 모바일 단말기(200a)와 가상 문서에 대한 암호화 및 복호화를 처리한다.
이 실시예의 모바일 단말기(200)는 도 2에 도시된 바와 같이, 제어부(202), 무선 통신부(204), 센서부(206), 디스플레이부(208), 증강/가상 현실 구동부(210), 사용자 인증부(212), 가상 문서 생성부(214), 문서 공유 처리부(216), 암호화 처리부(218) 및 저장부(220)를 포함한다.
제어부(202)는 모바일 단말기(200)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(202)는 무선 통신부(204), 센서부(206), 디스플레이부(208), 증강/가상 현실 구동부(210), 사용자 인증부(212), 가상 문서 생성부(214), 문서 공유 처리부(216), 암호화 처리부(218) 및 저장부(220) 각각의 기능이 상호 유기적으로 연동되도록 제어하여, 모바일 단말기(200)가 입력 장치(300)의 입력 또는 입력 동작을 인식하여 증강 현실 또는 가상 현실 상의 객체 위치에 가상 문서를 작성하도록 처리하고, 실시간으로 작성된 가상 문서를 증강 현실 또는 가상 현실 상에 표출하여 다른 사용자의 모바일 단말기(200a)가 열람하거나 작성할 수 있도록 공유 처리한다. 이 때, 공유된 가상 문서를 다른 사용자의 모바일 단말기(200a)가 작성하는 경우는 예를 들어, 다른 사용자가 해당 가상 문서에 내용을 추가하거나, 답글 형식으로 자신의 의견을 삽입하는 등이 포함될 수 있다.
무선 통신부(204)는 무선 통신망(4)을 통하여 제2 모바일 단말기(200a)와 서버(100) 각각과 연결된다. 무선 통신부(204)는 입력 장치(300)가 무선 통신 가능한 장치인 경우, 해당 입력 장치(300)와 연결된다. 무선 통신부(204)는 제어부(202)의 제어를 받아서 서버(100)로부터 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 수신하고, 제2 모바일 단말기(200a)와 서버(100) 각각으로 가상 문서를 전송한다.
센서부(206)는 적어도 카메라, 마이크로폰, 입력 장치(300)의 입력 동작을 인식하는 센서(예를 들어, 움직임 센서, 위치 센서 등)를 포함한다. 예를 들어, 카메라는 입력 장치(300)에 의해 가상 문서 작성 시, 입력 장치(300)에 대한 위치, 움직임에 따른 영상을 촬영한다. 마이크로폰은 사용자의 음성을 인식한다. 센서는 입력 장치(300)의 입력 동작 또는 이에 따른 사용자(또는 사물)의 제스처 등을 인식한다. 이러한 센서부(206)는 입력 장치(300)의 다양한 입력 동작 예를 들어, 문서 불러오기, 키 입력, 필기에 따른 사용자(또는 사물)의 제스처, 이에 대응하는 음성 등을 인식한다.
디스플레이부(208)는 사용자의 현재 위치에 대한 증강 현실 또는 가상 현실의 영상을 표출한다. 디스플레이부(208)은 증강 현실 또는 가상 현실의 영상에 복수 개의 객체들을 표출하고, 입력 장치(300)에 의해 작성된 가상 문서를 객체의 위치에 표출한다. 디스플레이부(208)는 본 발명에 따른 가상 문서 작성 및 공유 과정에 따라 다양한 정보를 표시하거나 다양한 정보를 입력하도록 하는 인터페이스 화면을 표시할 수 있다. 디스플레이부(208)는 예를 들어, 카메라로부터 촬영된 입력 장치(300)에 대한 사물(예를 들어, 펜 마우스, 키보드, 사용자의 손가락 등)를 증강 현실 또는 가상 현실의 영상에 표출한다. 이 때, 디스플레이부(208)는 영상들을 서로 다른 계층(layer)으로 출력하여 객체와 가상 문서가 서로 중첩되지 않도록 크로마키 처리 등으로 영상 처리하여 표출한다. 디스플레이부(208)는 예를 들어, 모바일 단말기(200)가 HMD 장치인 경우, 스크린 등으로 증강 현실 또는 가상 현실의 영상을 출력하여 표출할 수도 있다.
증강/가상 현실 구동부(210)는 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 디스플레이부(208)에 표출되도록 구동하고, 사용자의 현재 위치에 대응하여 복수 개의 객체들이 표출되도록 구동한다. 증강/가상 현실 구동부(210)는 저장부(220)에 기저장된 문서로부터 변환된 가상 문서 또는 실시간으로 작성된 가상 문서를 증강 현실 또는 가상 현실의 영상에 표출되도록 구동한다. 이 때, 증강/가상 현실 구동부(210)는 입력 장치(300)로부터 증강 현실이나 가상 현실의 영상에 가상 문서의 표출 위치를 설정하도록 스캔하고, 가상 문서의 표출 위치가 설정되면, 증강 현실이나 가상 현실의 영상에서 해당 표출 위치를 사용자에게 알려주도록 구동한다. 증강/가상 현실 구동부(210)는 카메라로부터 촬영된 입력 장치(300)에 대한 사물이 표출된 가상 문서의 상위 계층에 표출되도록 구동한다.
사용자 인증부(212)는 가상 문서를 작성 및 공유하기 위해 제1 모바일 단말기(200)의 사용자 정보를 입력받거나, 단말기 정보를 이용하여 사용자 인증을 처리한다. 이 때, 사용자 인증부(212)는 서버(100)를 통해 해당 사용자가 공유 대상자인지를 확인한다. 또 사용자 인증부(212)는 제1 및 제2 모바일 단말기(200, 200a)들 간에 P2P 방식으로 가상 문서를 공유하는 경우, 공유 목록 정보에 설정된 사용자인지를 확인한다.
가상 문서 생성부(214)는 증강 현실 또는 가상 현실 영상에 표출된 하나의 객체를 선택하고, 선택된 객체의 위치에 작성하고자 하는 가상 문서를 생성한다. 이 때, 가상 문서 생성부(214)는 입력 장치(300)의 입력 데이터 또는 입력 장치(300)의 입력 동작(예를 들어, 필기 등)을 인식하여 입력 데이터를 생성하고, 이를 증강 현실 또는 가상 현실 영상에 표출된 가상 문서를 실시간으로 표출 및 공유되도록 입력한다. 가상 문서 생성부(214)는 입력 장치(300)를 이용하여 저장부(220)에 기저장된 다양한 포맷의 문서들 중 어느 하나를 선택하고, 선택된 문서의 일부 또는 전부를 선택하여 작성될 가상 문서에 삽입하거나 첨부한다. 가상 문서 생성부(214)는 객체의 위치에 기작성된 가상 문서를 선택하고, 선택된 가상 문서를 수정, 삭제, 추가, 업데이트 등으로 편집하여 저장할 수 있다. 가상 문서 생성부(214)는 증강 현실 또는 가상 현실 영상에서 사용자가 원하는 새로운 객체의 위치에 새로운 가상 문서를 생성하여 작성할 수 있다.
문서 공유 처리부(216)는 가상 문서 생성부(214)에 의해 작성된 가상 문서를 증강 현실 또는 가상 현실 영상에서 공유하도록 처리한다. 문서 공유 처리부(216)는 가상 문서가 표출된 객체에 대한 객체 정보와, 공유 목록 정보를 이용하여 다른 사용자에게 작성된 가상 문서를 실시간으로 공유한다. 즉, 문서 공유 처리부(216)는 다른 사용자가 공유 목록 정보에 포함된 사용자인지를 판별하고, 가상 문서가 공유된 객체의 위치가 일치되는지를 판별하여 해당 가상 문서를 공유한다. 이러한 문서 공유 처리부(216)는 P2P 방식 또는 서버(100)를 이용하여 모바일 단말기(200, 200a)의 사용자들 간에 가상 문서를 공유하도록 모바일 단말기(200, 200a)들 간에 사용자 인증 및 공유 인증과, 통신, 객체 위치 등을 동기화 처리한다. 문서 공유 처리부(216)는 작성된 가상 문서를 공유 인허된 사용자가 이미지 또는 텍스트화하여 다른 포맷의 문서로 변환하거나, 인쇄할 수 있도록 처리한다.
암호화 처리부(218)는 저장부(220)에 기저장된 사용자 정보, 단말기 정보 등을 이용하여 사용자 인증이 처리되면, 가상 문서에 암호를 입력하도록 하여 가상 문서를 암호화한다. 암호화 처리부(218)는 가상 문서 공유 시, 공유 대상자에 대응하여 가상 문서에 암호를 입력하여 인허된 사용자만이 열람할 수 있도록 암호화한다. 암호화 처리부(218)는 인허된 사용자가 암호를 입력하여 암호화된 가상 문서를 복호화한다. 암호화 처리부(218)는 공유 인증 시, 서버(100)로 공유 대상자임을 확인하기 위한 공유 인증 정보를 전송한다.
그리고 저장부(220)는 적어도 사용자의 개인 정보, 지문, 홍채 등의 생체 정보 등을 포함하는 사용자 정보, 객체 정보, 공유 목록 정보, 암호 정보, 공유 인증 정보 등을 저장한다. 저장부(220)는 기존의 다양한 컴퓨터 프로그램에 의해 작성되고 가상 문서로 불러오거나 삽입, 첨부하기 위한 다양한 포맷 예를 들어, 한글 문서, 워드 문서, PDF 문서 등의 문서들을 저장할 수 있다.
다시 도 1을 참조하면, 입력 장치(300)는 모바일 단말기(200, 200a)와 무선 통신이 가능하도록 설정되고, 증강 현실 또는 가상 현상 상의 영상에 표출되는 포인터의 위치나 키보드의 위치 또는 사용자의 음성이 인식되도록 모바일 단말기(200, 200a)에 동기화된다. 입력 장치(300)는 모바일 단말기(200, 200a)에 의해 동기화되면, 표출된 가상 문서에 객체와 관련된 내용, 사용자가 기록하고자 하는 내용 등에 따른 입력 데이터를 실시간으로 모바일 단말기(200, 200a)로 전송하거나, 모바일 단말기(200, 200a)가 입력 동작 또는 음성을 인식하여 생성된 입력 데이터를 실시간으로 가상 문서에 입력한다. 이 때, 입력 장치(300)가 펜 마우스, 키보드 또는 터치 패드인 경우, 무선 통신망(4)을 통해 모바일 단말기(200, 200a)로 입력되는 데이터를 실시간으로 전송하고, 입력 장치(300)가 가상 펜 마우스나 가상 키보드인 경우, 모바일 단말기(200, 200a)는 카메라에 의해 촬영된 영상 또는 센서에 의해 객체 예컨대, 가상 펜 마우스나 가상 키보드, 사용자의 손가락의 위치를 인식하여 가상 펜 마우스의 입력 동작에 따른 포인터 위치의 좌표, 이동축 등의 정보나, 가상 키보드에서의 입력 문자를 실시간으로 인식한다.
입력 장치(300)는 모바일 단말기(200)와의 동기화 이후, 모바일 단말기(200)에 의해 표출된 객체 상에 가상 문서를 작성하기 위한 가상의 입력 공간이 표출되면, 입력 공간에 가상 문서를 작성하여 실시간으로 입력 데이터를 모바일 단말기(200)로 전송한다. 이 때, 입력 장치(300)가 가상 펜 마우스 등과 같이 필기로 가상 문서를 작성하는 경우, 필기에 따른 입력 장치의 동작에 대한 공간 좌표와 객체 매칭 정보를 인식하여 입력 데이터로 전송한다. 물론 모바일 단말기(200)의 카메라를 이용하여 촬영된 영상에서 가상 펜 마우스의 이동에 따른 필기를 인식하여 모바일 단말기(200)로 입력 데이터를 전송하거나, 마이크로폰을 이용하여 음성을 인식하여 입력 데이터를 전송할 수도 있다. 또 입력 장치(300)가 가상 키보드의 경우, 사용자의 손가락 위치를 모바일 단말기(200, 200a)의 카메라로 인식하고 입력되는 각 문자에 대응되는 위치를 인식하여 입력 데이터로 전송한다. 이렇게 입력 장치(300)에 의해 입력된 데이터는 모바일 단말기(200, 200a)가 가상 문서에 실시간으로 표출되도록 제공한다.
이러한 입력 장치(300)는 증강 현실 또는 가상 현실 상에서 가상 문서의 입력 데이터를 2 차원 또는 3 차원 형태의 문자들로 작성 가능하다. 이 경우, 입력 장치(300)는 입력 데이터에 2 차원의 평면 좌표 또는 3 차원의 공간 좌표를 포함시켜서 생성하고, 이를 모바일 단말기(200, 200a)로 전송하거나 인식하도록 한다.
그리고 서버(100)는 증강 현실 또는 가상 현실을 이용하여 가상 문서를 작성 및 공유하도록 하기 위한 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 구비하고, 무선 통신망(4)을 통하여 모바일 단말기(200, 200a)로 제공한다. 이 때, 서버(100)는 복수 개의 모바일 단말기(200)들 각각에 대한 사용자 정보와 단말기 정보 등을 전송받아서 사용자 즉, 송신자 및 수신자들의 정보를 등록 및 관리할 수 있다.
서버(100)는 사용자가 가상 문서를 작성한 사용자인지 공유 대상자인지를 판별하기 위해 제1 및 제2 모바일 단말기(200, 200a)들의 사용자를 인증 처리한다. 서버(100)는 제1 모바일 단말기(200)로부터 작성된 가상 문서와 가상 문서가 작성된 위치의 객체 정보 및 공유 목록 정보를 전송받아서 저장한다. 서버(100)는 공유 목록 정보에 포함된 제2 모바일 단말기(200a)로 가상 문서가 공유되었음을 알려주는 알림 정보를 전송하여 공유 대상자인지를 인증한다.
서버(100)는 제2 모바일 단말기(200a)가 공유 인증에 의해 공유 대상자로 승인되면, 제2 모바일 단말기(200a)로 가상 문서가 위치하는 객체 정보와 가상 문서를 전송한다. 이 때 서버(100)는 가상 문서가 암호화 처리된 경우에는 가상 문서를 복호화하도록 암호 정보 또는 암호화 키를 제2 모바일 단말기(200a)로 전송할 수도 있다.
서버(100)는 모바일 단말기(200, 200a)들 간에 작성되거나 편집된 가상 문서를 실시간으로 상호 공유하도록 처리한다. 서버(100)는 모바일 단말기(200, 200a)들 간의 공유 여부, 공유 시간, 열람 시간, 파기 시간 등의 공유 상태를 판단하여 관리하고, 모바일 단말기(200, 200a)들로부터 가상 문서를 전송받아서 가상 문서에 대한 해시키, 공유 상태 정보 등을 함께 저장, 관리하여 가상 문서의 위변조를 방지하도록 처리한다.
이러한 서버(100)는 모바일 단말기(200, 200a)들 간에 P2P 방식으로 가상 문서를 공유하는 경우, 위변조를 방지하도록 가상 문서를 저장 관리하고, 자신을 경유하여 공유하는 경우, 사용자 정보, 공유 목록 정보, 객체 정보, 공유 인증 정보 및 암호화 정보 등 다양한 정보를 이용하여 가상 문서의 작성에서부터 공유까지의 제반 기능 예컨대, 사용자 인증, 객체 위치 일치 여부, 공유 인증, 가상 문서의 암호화 및 복호화, 가상 문서 저장 및 관리 등을 처리한다.
이 실시예의 서버(100)는 도 3에 도시된 바와 같이, 제어부(102), 통신부(104), 콘텐츠 제공부(106), 사용자 인증부(108), 암호화 처리부(110), 가상 문서 공유 처리부(112), 객체 관리부(114), 가상 문서 관리부(116) 및 데이터베이스(120)를 포함한다.
제어부(102)는 서버(100)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(102)는 모바일 단말기(200, 200a)와 연동해서 통신부(104), 콘텐츠 제공부(106), 사용자 인증부(108), 암호화 처리부(110), 가상 문서 공유 처리부(112), 객체 관리부(114), 가상 문서 관리부(116) 및 데이터베이스(120) 각각의 기능이 상호 유기적으로 처리되도록 제어한다.
통신부(104)는 무선 통신망(4)을 통해 복수 개의 모바일 단말기(200, 200a)와 상호 데이터 통신이 이루어지도록 처리한다. 통신부(104)는 모바일 단말기(200, 200a)로 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 전송하고, 모바일 단말기(200, 200a)로부터 사용자 정보, 단말기 정보 등을 수신한다. 통신부(104)는 제1 모바일 단말기(200)로부터 작성된 가상 문서를 수신하고, 공유 대상자의 제2 모바일 단말기(200a)로 가상 문서를 전송한다. 통신부(104)는 제1 모바일 단말기(200)로부터 공유 목록 정보, 객체 정보, 공유 인증 정보 및 암호화 정보를 수신한다. 통신부(104)는 제2 모바일 단말기(200a)로부터 공유 인증 정보와 공유된 가상 문서에 대한 객체 위치 정보 등을 수신한다.
콘텐츠 제공부(106)는 증강 현실 또는 가상 현실 상의 객체를 표출하고, 표출된 객체의 위치에 가상 문서를 작성하거나 열람할 수 있도록 하는 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 구비하고, 통신부(104)를 통하여 모바일 단말기(200, 200a)로 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 제공한다. 콘텐츠 제공부(106)는 모바일 단말기(200 200a)의 현재 위치에 대응하여 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 제공하고, 해당 위치에서 객체를 선택할 수 있도록 제공한다.
사용자 인증부(108)는 모바일 단말기(200, 200a)들 각각으로부터 사용자 정보, 단말기 정보를 전송받아서 사용자가 가상 문서 작성자인지 공유 대상자인지를 인증 처리한다. 사용자 인증부(108)는 모바일 단말기(200a)가 공유 목록 정보에 포함된 사용자인지를 인증 처리한다. 사용자 인증부(108)는 모바일 단말기(200a)의 사용자가 공유 인증되고 공유된 가상 문서가 암호화되어 있으면, 가상 문서 복호화를 위한 인증을 처리한다.
암호화 처리부(110)는 사용자 인증이 완료된 모바일 단말기(200, 200a)에 대응하여 암호 정보, 암호화 키를 생성, 저장한다. 암호화 처리부(110)는 암호 입력 또는 암호화 키를 이용하여 가상 문서를 암호화 및 복호화하도록 처리한다. 암호화 처리부(110)는 모바일 단말기(200, 200a)들 간에 공유 목록 정보가 일치되고, 공유 인증 처리되면, 암호화된 가상 문서를 열람할 수 있도록 승인 처리한다.
가상 문서 공유 처리부(112)는 모바일 단말기(200)로부터 작성된 가상 문서를 공유하고자 하는 사용자 즉, 공유 대상자에 대한 공유 목록 정보를 설정한다. 가상 문서 공유 처리부(112)는 모바일 단말기(200a)가 공유 대상자인지를 인증 처리한다. 가상 문서 공유 처리부(112)는 P2P 방식으로 가상 문서를 공유하는 경우, 모바일 단말기(200, 200a)들 간에 통신, 객체 위치 및 가상 문서에 대해 동기화 처리한다. 가상 문서 공유 처리부(112)는 모바일 단말기(200, 200a)들 간에 실시간으로 가상 문서를 공유하도록 처리한다.
객체 관리부(114)는 증강 현실 또는 가상 현실 상에 복수 개의 서로 다른 객체가 특정 위치에 각각 표출되도록 관리한다. 객체 관리부(114)는 해당 객체의 위치에 대한 3 차원의 좌표 정보를 저장, 관리한다. 객체 관리부(114)는 객체의 위치에 작성된 가상 문서에 대한 위치 정보를 저장, 관리한다. 객체 관리부(114)는 모바일 단말기(200, 200a)에 의해 가상 문서 작성을 위한 새로운 객체가 생성되면, 생성된 객체와 이에 대응하는 가상 문서에 대한 위치 정보를 생성, 저장 및 관리한다. 객체 관리부(114)는 모바일 단말기(200, 200a)들 각각으로부터 객체가 선택되거나, 객체의 위치에 가상 문서가 공유되면, 상호 동기화하여 증강 현실 또는 가상 현실 영상에 표출시킨다. 객체 관리부(114)는 모바일 단말기(200, 200a)들 각각으로부터 선택된 객체가 일치되면, 공유된 가상 문서를 표출시킨다.
가상 문서 관리부(116)는 가상 문서를 데이터화하여 저장 관리한다. 가상 문서 관리부(116)는 객체에 매칭시켜서 저장 관리한다. 가상 문서 관리부(116)는 기저장된 다양한 포맷의 문서를 불러와서 가상 문서를 작성하거나 삽입, 첨부하도록 데이터 변환을 처리한다. 가상 문서 관리부(116)는 작성된 가상 문서를 이미지 또는 텍스트 데이터로 인식하여 다양한 포맷의 문서로 데이터 변환하여 저장한다. 가상 문서 관리부(116)는 데이터 변환된 가상 문서를 인쇄하도록 출력한다.
그리고 데이터베이스(120)는 모바일 단말기(200, 200a)에 대한 단말기 정보(122), 모바일 단말기(200, 200a)의 사용자 정보(124), 가상 문서 데이터(126), 암호화 정보(128), 객체 정보(130), 공유 목록 정보(132) 및 공유 인증 정보(134)를 적어도 저장, 관리한다. 이러한 데이터베이스(120)는 서버(100)에 포함되어 있으나, 독립적인 데이터베이스 서버로 구비될 수 있다.
상술한 바와 같이, 본 발명의 문서 작성 시스템(2)은 증강 현실 또는 가상 현실 표출이 가능한 모바일 단말기(200, 200a)를 이용하여 사용자들 간에 증강 현실 또는 가상 현실 상에 표출된 객체의 위치에 가상 문서를 제공하고, 이를 증강 현시 또는 가상 현실 상에서 열람할 수 있도록 공유한다.
계속해서 도 4 내지 도 9를 이용하여 본 발명에 따른 문서 작성 시스템의 처리 과정들을 상세히 설명한다.
도 4는 본 발명에 따른 문서 작성 시스템의 가상 문서를 작성하는 수순을 도시한 흐름도이다.
도 4를 참조하면, 본 발명의 문서 작성 시스템(2)은 단계 S400에서 가상 문서를 작성하는 제1 모바일 단말기(200)가 입력 장치(300)를 동기화하여 입력 장치(300)를 인식한다.
단계 S402에서 제1 모바일 단말기(200)는 현재 위치에 따른 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 구동하여 증강 현실 또는 가상 현실의 영상을 표출하고, 단계 S404에서 표출된 증강 현실 또는 가상 현실 영상에 포함된 객체를 선택하거나 새로운 객체를 생성하여, 가상 문서 표출 위치를 설정한다. 여기서 객체는 현재 위치의 증강 현실 또는 가상 현실 영상에 있는 대상물로서, 예를 들어, 특정 장소, 특정 장소에 위치하는 사물, 건축물, 기념물, 랜드마크 등과, 바다, 산, 하늘 등의 자연 환경과, 사용자 자신과 관련된 스토리가 있는 유무형의 대상물 또는 사용자가 기록하고자 하는 대상물 등을 포함한다. 이러한 객체에는 사용자가 원하는 내용을 기록하여 가상 문서를 작성하기 위한 다양한 대상물을 포함할 수 있다.
단계 S406에서 제1 모바일 단말기(200)는 가상 문서 작성을 위해 사용자 정보, 단말기 정보 등을 이용하여 사용자 인증을 처리한다.
단계 S408에서 제1 모바일 단말기(200)는 사용자 인증이 승인되면, 기저장된 문서를 이용하여 가상 문서를 작성할 것인지를 판별한다. 여기서 기저장된 문서는 현재 유통되고 있는 예를 들어, 한글 문서, 워드 문서, PDF 문서 등 텍스트, 이미지 등이 포함된 다양한 포맷 형태로 작성된 문서를 포함한다.
즉, 판별 결과, 기저장된 문서들을 이용하는 경우, 단계 S410에서 제1 모바일 단말기(200)는 입력 장치(300)나, 사용자의 제스처 또는 음성을 이용하여 기저장된 문서들 중 어느 하나의 문서를 불러오도록 하여 해당 문서를 선택하고, 선택된 문서를 가상 문서에 삽입되는 이미지 또는 텍스트 데이터로 변환한 후, 단계 S418로 진행한다. 이 때, 선택된 문서는 사용자에 의해 문서의 일부 또는 전부를 선택하여, 가상 문서에 삽입될 수 있다. 또 판별 결과, 기저장된 문서를 이용하지 않는 경우, 단계 S412에서 제1 모바일 단말기(200)는 선택된 객체에 기작성된 가상 문서를 이용하는지를 판별한다.
판별 결과, 선택된 객체에 기작성된 가상 문서가 없거나 새로운 가상 문서를 작성하는 경우, 제1 모바일 단말기(200)는 단계 S414로 진행하여 해당 객체의 위치에 새로운 가상 문서를 생성한다. 그러나 해당 객체의 위치에 적어도 하나의 기저장된 가상 문서가 있으면, 제1 모바일 단말기(200)는 단계 S416에서 기작성된 가상 문서의 편집, 업데이트 등을 위해 해당 가상 문서를 선택한다.
단계 S418에서 제1 모바일 단말기(200)는 선택된 가상 문서가 암호화되어 있는지를 판별한다. 판별 결과, 암호화된 가상 문서이면, 제1 모바일 단말기(200)는 단계 S420으로 진행하여 암호 정보를 입력하여 복호화한다.
단계 S422에서 제1 모바일 단말기(200)는 가상 문서를 증강 현실 또는 가상 현실 영상의 객체 위치에 표출한다. 이 때, 객체와 가상 문서에 대한 증강 현실 또는 가상 현실 영상은 가상 문서가 객체에 의해 가려지지 않고 작성이 가능하도록 크로마키 처리 등으로 영상 처리하여 표출한다.
단계 S424에서 제1 모바일 단말기(200)는 입력 장치(300)로부터 실시간으로 가상 문서 상에 입력되는 데이터를 수신하거나 입력 장치(300)의 입력 동작을 인식하여 증강 현실 또는 가상 현실 영상에 입력 데이터를 표출한다.
단계 S426에서 제1 모바일 단말기(200)는 가상 문서의 작성이 완료되어 단계 S428에서 작성 완료된 가상 문서가 새로이 생성된 가상 문서이면, 암호 정보를 설정하도록 입력한다. 이어서 단계 S430에서 제1 모바일 단말기(200)는 암호화된 가상 문서를 저장한다.
도 5는 본 발명에 따른 문서 작성 시스템의 증강 현실 또는 가상 현실 상에 표출된 객체에 가상 문서를 표출하는 수순을 도시한 흐름도이다.
도 5를 참조하면, 본 발명의 문서 작성 시스템(2)은 단계 S440에서 제1 모바일 단말기(200)는 입력 장치(300)를 동기화하여 인식하고, 단계 S442에서 현재 위치에 대한 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 구동시켜서 증강 현실 또는 가상 현실의 영상을 표출한다.
단계 S444에서 제1 모바일 단말기(200)는 표출된 증강 현실 또는 가상 현실의 영상에 사용자가 가상 문서를 작성 또는 열람하고자 하는 객체가 있는지를 판별한다. 판별 결과, 객체가 없으면, 제1 모바일 단말기(200)는 단계 S446으로 진행하여 증강 현실 또는 가상 현실의 영상에서 객체를 선택할 수 있는 위치로 이동한다. 그러나 객체가 있으면, 제1 모바일 단말기(200)는 단계 S448로 진행하여 해당 객체를 선택할 수 있도록 증강 현실 또는 가상 현실의 영상에서 객체를 인식하여 표출한다.
단계 S450에서 제1 모바일 단말기(200)의 사용자가 해당 객체를 선택하면, 단계 S452에서 선택된 객체에 암호가 있는지를 판별한다. 판별 결과, 암호가 있으면, 단계 S454에서 암호 정보를 입력하고, 단계 S456에서 입력 장치(300)를 통해 사용자가 원하는 객체의 위치에 사용자가 원하는 내용을 입력하여, 해당 객체에 가상 문서를 작성하거나, 기작성된 가상 문서를 편집한다. 단계 S458에서 객체에 작성된 가상 문서를 증강 현실 또는 가상 현실 영상에 실시간으로 표출한다. 이어서 단계 S460에서 작성된 가상 문서를 변환하여 다양한 포맷의 가상 문서 데이터로 저장한다. 가상 문서 데이터는 예를 들어, 한글 문서, 워드 문서, PDF 문서 등 기존에 유통되고 있는 다양한 포맷의 데이터들을 포함할 수 있다.
도 6은 본 발명에 따른 문서 작성 시스템의 가상 문서를 공유하는 수순을 도시한 흐름도이다. 여기서 제1 모바일 단말기(200)는 가상 문서를 작성하고, 제2 모바일 단말기(200a)는 제1 모바일 단말기(200)에 의해 작성된 가상 문서를 증강 현실 또는 가상 현실 상에서 공유받는다.
도 6을 참조하면, 본 발명의 문서 작성 시스템(2)은 단계 S470에서 제1 모바일 단말기(200)가 증강 현실 또는 가상 현실 영상에 표시된 객체를 선택하고, 단계 S472에서 선택된 객체에 가상 문서를 작성한다. 단계 S474에서 제1 모바일 단말기(200)는 작성된 가상 문서에 암호 정보를 입력하여 암호화한다.
단계 S476에서 제1 모바일 단말기(200)는 선택된 객체에 대한 객체 정보와 암호화된 가상 문서를 저장한다. 단계 S478에서 제1 모바일 단말기(200)는 사용자가 가상 문서를 공유하고자 하는 다른 사용자에 대한 정보 즉, 공유 목록 정보를 설정하여 저장한다. 이어서 단계 S480에서 제1 모바일 단말기(200)는 객체 정보, 공유 목록 정보 및 가상 문서를 포함하는 데이터를 서버(100)로 전송한다.
단계 S482에서 서버(100)는 제1 모바일 단말기(200)로부터 전송된 데이터를 저장하고, 단계 S484에서 공유 목록 정보를 통해 해당 사용자의 제2 모바일 단말기(200a)로 가상 문서가 공유되었음을 알려주는 알림 정보를 전송한다.
단계 S486에서 제2 모바일 단말기(200a)는 서버(100)로부터 알림 정보를 전송받아서 가상 문서를 열람하기 위한 공유 인증 절차를 처리한다. 즉, 제2 모바일 단말기(200a)는 서버(100)로 사용자 정보, 단말기 정보 등을 전송하여 사용자가 공유 대상자임을 인증한다.
단계 S488에서 서버(100)는 제2 모바일 단말기(200a)의 공유 인증이 처리되면, 이를 승인하고, 단계 S490에서 제2 모바일 단말기(200a)로 가상 문서에 매칭된 객체 정보를 전송한다.
단계 S492에서 제2 모바일 단말기(200a)는 서버(100)로부터 객체 정보를 받아서 확인하여 증강 현실 또는 가상 현실 상에서 해당 객체의 위치를 인식 및 이동한다.
단계 S494에서 서버(100)는 제2 모바일 단말기(200a)가 객체 정보에 대응되는 위치로 이동되어 제2 모바일 단말기(200a)의 증강 현실 또는 가상 현상 상의 현재 위치가 공유할 가상 문서의 위치와 일치되면, 단계 S496에서 가상 문서를 제2 모바일 단말기(200a)로 전송한다.
단계 S498에서 제2 모바일 단말기(200a)는 서버(100)로부터 가상 문서를 수신하고, 단계 S500에서 가상 문서에 암호 정보를 입력하여 복호화한다. 이 때, 암호 정보는 제1 및 제2 모바일 단말기(200, 200a)들 간에 사전에 공유되어 알고 있거나, 서버(100)에 의해 공유 승인 시, 제2 모바일 단말기(200a)로 전송될 수 있다.
이어서 단계 S502에서 제2 모바일 단말기(200a)는 해당 객체의 위치에서 가상 문서를 열람할 수 있도록 표출한다. 이 때, 표출된 가상 문서가 편집 가능하거나, 응답이나 댓글 등이 필요한 경우에는 제2 모바일 단말기(200a)가 제1 모바일 단말기(200)와 동일하게 가상 문서를 편집하거나 작성할 수도 있다. 이 경우, 서버(100)는 제1 모바일 단말기(200)와 연동되어 상술한 과정들을 처리하여 제1 모바일 단말기(200)로 제2 모바일 단말기(200a)에 의해 작성된 가상 문서를 공유하도록 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 문서 작성 시스템의 서버를 이용한 가상 문서를 공유하는 수순을 나타내는 흐름도이다. 이 실시예의 수순은 문서 작성 시스템(2)이 서버(100)를 통해 제1 및 제2 모바일 단말기(200, 200a)들 간에 가상 문서를 공유하는 과정을 나타낸다.
도 7을 참조하면, 이 실시예의 문서 작성 시스템(2)은 단계 S510에서 가상 문서를 작성한 제1 모바일 단말기(200)가 증강 현실 또는 가상 현실 영상에서 객체에 위치하는 가상 문서를 선택하고, 단계 S512에서 선택된 가상 문서를 공유하기 위한 공유 목록 정보를 설정하여 서버(100)로 전송한다.
단계 S514에서 서버(100)는 공유 목록 정보에서 공유 대상자인 사용자의 제2 모바일 단말기(200a)를 호출하여 가상 문서가 공유되었음을 알려주는 알림 정보를 전송한다. 단계 S516에서 제2 모바일 단말기(200a)는 서버(100)로부터 알림 정보를 받아서 공유 대상자인지를 인증하기 위한 공유 인증 정보를 입력하여 제1 모바일 단말기(200)로 전송한다. 단계 S518에서 제1 모바일 단말기(200)는 공유 인증 정보를 받아서 제2 모바일 단말기(200a)의 사용자가 공유 대상자임을 확인하고, 가상 문서의 전송을 수락한다. 단계 S520에서 제2 모바일 단말기(200a)는 제1 모바일 단말기(200)로부터 가상 문서의 전송이 수락되면, 가상 문서를 암호화할 암호 정보를 입력하여 제1 모바일 단말기(200)로 전송한다.
단계 S522에서 제1 모바일 단말기(200)는 제2 모바일 단말기(200a)로부터 암호 정보를 받아서 이에 대응하는 암호화 키로 가상 문서를 암호화하고, 단계 S524에서 암호화된 가상 문서를 서버(100)로 전송한다. 단계 S526에서 서버(100)는 제1 모바일 단말기(200)로부터 전송된 가상 문서를 수신하여 저장하고, 단계 S528에서 제2 모바일 단말기(200a)는 가상 문서를 서버(100)로부터 다운로드 한다.
단계 S530에서 제2 모바일 단말기(200a)는 다운로드 한 가상 문서를 복호화하도록 제1 모바일 단말기(200)로 승인 요청한다. 단계 S532에서 제1 모바일 단말기(200)는 제2 모바일 단말기(200a)의 승인 요청을 받아서 사용자 정보를 통해 제2 모바일 단말기(200a)의 사용자가 인허된 공유 대상자인지를 확인한다. 단계 S534에서 제1 모바일 단말기(200)는 인허된 공유 대상자이면, 복호화 승인을 위한 승인 키를 제2 모바일 단말기(200a)로 전송한다. 단계 S536에서 제2 모바일 단말기(200a)는 제1 모바일 단말기(200)로부터 승인 키가 전송되면, 가상 문서를 전송된 승인 키로 복호화하여 열람한다.
이어서 단계 S538에서 서버(100)는 제2 모바일 단말기(200a)가 가상 문서를 열람하면, 제2 모바일 단말기(200a)의 로그 정보, 제2 모바일 단말기(200a)에서의 가상 문서의 열람 여부, 열람 시간, 가상 문서의 파기 시간 등에 따라 공유 상태를 판단하고, 이에 대응하여 가상 문서를 보존하거나 삭제하도록 관리한다.
도 8은 본 발명의 다른 실시예에 따른 문서 작성 시스템의 사용자들 간의 P2P 방식으로 가상 문서를 공유하는 수순을 나타내는 흐름도이다. 이 실시예의 수순은 문서 작성 시스템(2)이 블록체인(Block Chain) 기술을 이용하여 모바일 단말기(200, 200a)들 간에 P2P(Peer to Peer) 방식으로 가상 문서를 공유하는 과정을 나타낸다.
도 8을 참조하면, 이 실시예의 문서 작성 시스템(2)은 단계 S540에서 가상 문서를 작성한 사용자의 제1 모바일 단말기(200)가 공유하고자 하는 가상 문서를 선택한다. 이 때, 가상 문서는 증강 현실 또는 가상 현실 상에서 작성되어 기저장된 문서뿐만 아니라, 기존에 작성 및 저장되어 있는 다양한 포맷 예를 들어, 한글(HWP) 파일, PDF 파일, 워드(WORD) 파일 등의 문서를 증강 현실 또는 가상 현실 영상에 포함되는 객체에 대한 내용을 구비하여 해당 객체에 표출하고자 하는 문서를 선택할 수 있다. 이러한 문서는 해당 포맷에서 문서를 이미지 또는 텍스트화하여 데이터로 변환되어 증강 현실 또는 가상 현실 영상에 표출되도록 선택할 수 있다.
단계 S542 및 단계 S544에서 제1 모바일 단말기(200)는 공유하고자 하는 적어도 하나의 제2 모바일 단말기(200a)를 검색하여 선택하고, 선택된 제2 모바일 단말기(200a)와 통신을 동기화한다. 이에 제1 및 제2 모바일 단말기(200, 200a)들은 상호 가상 문서를 공유할 수 있도록 연결된다.
단계 S546에서 제1 모바일 단말기(200)는 선택된 제2 모바일 단말기(200a)의 사용자 정보를 확인하고, 단계 S548에서 선택된 제2 모바일 단말기(200a)는 공유하고자 하는 제1 모바일 단말기(200)의 사용자 정보를 확인한다.
단계 S550에서 제1 모바일 단말기(200)는 제2 모바일 단말기(200a)의 사용자 정보가 확인되면, 제2 모바일 단말기(200a)로 증강 현실 또는 가상 현실 상에 표출되는 가상 문서에 대한 문서 정보를 전송하여 동기화를 요청한다. 단계 S552에서 제2 모바일 단말기(200a)는 제1 모바일 단말기(200)로부터 문서에 대한 동기화가 요청되면, 증강 현실 또는 가상 현실 상의 가상 문서 위치로 동기화하여 객체에 대한 문서 위치를 매칭시킨다.
단계 S554에서 제1 모바일 단말기(200)는 가상 문서에 입력 데이터를 입력하여 표출하고, 이를 실시간으로 공유하면, 단계 S556에서 제2 모바일 단말기(200a)는 가상 문서에 입력 데이터를 실시간으로 표출한다. 물론 반대의 경우 즉, 제2 모바일 단말기(200a)가 입력 데이터를 입력하여 공유하면, 제1 모바일 단말기(200)에서 실시간으로 입력 데이터를 표출하여 공유된다.
단계 S558 및 단계 S560 각각에서 제1 및 제2 모바일 단말기(200, 200a) 각각이 입력 데이터를 가상 문서에 포함되도록 저장하고, 상호 공유한다. 이어서 단계 S5562 및 단계 S564에서 제1 및 제2 모바일 단말기(200, 200a) 각각이 저장된 가상 문서를 서버(100)로 전송한다. 이에 서버(100)는 단계 S566에서 가상 문서에 관련된 정보들 예를 들어, 해시 키(hash key), 시간 정보, 저장 위치 등을 매칭시켜서 가상 문서를 저장 및 관리하여 위변조를 방지하도록 한다.
이 실시예의 문서 작성 시스템(2)은 관리 대상 데이터를 블록(block)이라고 하는 소규모 데이터들로 구성하고, 제1 및 제2 모바일 단말기(200, 200a)들 간에 P2P 방식을 기반으로 생성된 체인 형태의 연결고리 기반의 분산 데이터 저장 환경에 저장되어 누구라도 임의로 수정할 수 없고, 누구나 변경의 결과를 열람할 수 있는 분산 컴퓨팅 기반 기반의 블록 체인을 이용하여 가상 문서를 공유하도록 처리한다.
그리고 도 9는 본 발명에 따른 문서 작성 시스템의 가상 문서를 출력하는 수순을 나타내는 흐름도이다.
도 9를 참조하면, 본 발명의 문서 작성 시스템(2)은 단계 S570에서 제1 및 제2 모바일 단말기(200, 200a)들 각각이 가상 문서를 선택하고, 단계 S572에서 선택된 가상 문서를 이미지 또는 텍스트화하고, 단계 S574에서 이미지 또는 텍스트화된 가상 문서에 포함된 문자를 인식한다. 이 때, 문자 인식은 예를 들어, 필기 인식 알고리즘, 광학 문자 인식(OCR) 알고리즘, 영상 인식 알고리즘 등을 이용하여 문자를 인식한다. 이러한 문자 인식 기술은 이미 다양하게 공개되어 있어 잘 알려진 기술이므로, 여기서 구체적인 설명은 생략한다.
단계 S576에서 인식된 문자를 다양한 포맷에 맞는 문서 데이터로 변환하고, 단계 S578에서 변환된 문서 데이터를 저장한다. 이 때, 다양한 포맷의 문서 데이터는 예를 들어, 한글(HWP) 파일, 워드 파일 및 PDF 파일 등 다양하게 구비될 수 있다. 이어서 단계 S580에서 저장된 문서 데이터를 인쇄하고자 하면, 단계 S582에서 문서 데이터를 프린터 등의 인쇄 장치로 출력한다. 이 때, 출력물은 입력 장치(300)에 의해 입력 데이터 또는 입력 장치(300)의 입력 동작에 따른 사물을 인식하여 생성된 입력 데이터가 3 차원의 문자인 경우에는 문서 데이터를 3 차원으로 인쇄될 수 있다.
이상에서, 본 발명에 따른 증강 현실과 가상 현실을 이용한 문서 작성 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
2 : 문서 작성 시스템
4 : 무선 통신망
100 : 서버
200, 200a : 모바일 단말기
300 : 입력 장치

Claims (2)

  1. 증강 현실과 가상 현실을 이용한 문서 작성 시스템에 있어서:
    증강 현실 또는 가상 현실 영상에 표시되는 입력 장치;
    증강 현실 또는 가상 현실 영상을 표출하고, 상기 입력 장치를 동기화하여 인식하고, 인식된 상기 입력 장치를 증강 현실 또는 가상 현실의 영상에 표시하고, 상기 증강 현실 또는 가상 현실 영상의 서로 다른 위치에 복수 개의 객체가 표출되고, 상기 입력 장치를 이용하거나, 사용자의 제스처 및 음성 중 어느 하나를 인식하여 하나의 객체를 선택하고, 선택된 상기 객체의 위치에 상기 객체와 관련되거나 사용자가 기록하고자 하는 내용을 포함하는 적어도 한 페이지의 가상 문서를 작성하도록 표출하고, 상기 증강 현실 또는 가상 현실 영상에서 상기 가상 문서의 표출 위치를 다른 사용자에게 알려주고, 작성된 상기 가상 문서를 다른 사용자가 상기 증강 현실 또는 가상 현실 영상에서 실시간 열람 또는 작성할 수 있도록 표출하여 사용자들 간에 상기 가상 문서를 실시간으로 공유하는 복수 개의 모바일 단말기; 및
    증강 현실 또는 가상 현실을 이용하여 상기 가상 문서를 작성 및 공유하도록 하는 증강 현실 콘텐츠 또는 가상 현실 콘텐츠를 구비하여 무선 통신망을 통해 상기 모바일 단말기들로 제공하고, 상기 모바일 단말기들의 사용자를 인증 처리하여 상기 모바일 단말기의 사용자가 상기 가상 문서를 작성한 사용자인지 공유 대상자인지를 판별하고, 하나의 상기 모바일 단말기로부터 작성된 상기 가상 문서와 상기 가상 문서가 작성된 위치의 객체 정보 및 공유 목록 정보를 전송받아서 저장하고, 상기 공유 목록 정보에 포함된 적어도 하나의 다른 상기 모바일 단말기로 상기 가상 문서가 공유되었음을 알려주는 알림 정보를 전송하여 공유 대상자인지를 인증하고, 공유 대상자로 인증된 상기 모바일 단말기로 상기 가상 문서가 위치하는 객체 정보와 상기 가상 문서를 전송하여 상기 모바일 단말기들 간에 상호 상기 가상 문서를 공유하도록 중계하는 서버를 포함하되,
    상기 입력 장치는,
    상기 모바일 단말기와 무선 통신 가능한 장치로 구비되거나, 상기 모바일 단말기가 인식 가능한 가상의 장치로 구비되어, 상기 가상 문서를 작성하기 위한 입력 데이터를 상기 모바일 단말기로 전송하고;
    상기 모바일 단말기는,
    상기 입력 장치를 이용하거나 상기 모바일 단말기의 카메라 또는 센서를 통해 사용자의 제스처를 인식하거나, 상기 입력 장치 또는 상기 모바일 단말기의 마이크로폰을 통해 사용자의 음성을 인식하여 기저장된 문서 데이터들 중 어느 하나를 선택하고, 선택된 문서 데이터를 불러와서 상기 가상 문서를 생성, 작성, 수정 및 삭제 중 적어도 어느 하나를 처리하도록 하고;
    상기 입력 장치로부터 입력 데이터를 수신하거나, 상기 모바일 단말기의 상기 카메라 또는 상기 센서를 이용하여 상기 입력 장치의 입력 동작을 인식하거나, 상기 입력 장치 또는 상기 모바일 단말기의 상기 마이크로폰을 이용하여 사용자의 음성을 인식하여 입력 데이터를 생성하고, 상기 입력 데이터를 상기 가상 문서에 실시간으로 입력하여 상기 가상 문서를 작성하고;
    상기 가상 문서를 인허된 사용자에게만 공유하도록 암호화하고, 상기 인허된 사용자들에 대한 상기 공유 목록 정보를 설정하고, 상기 다른 사용자가 상기 공유 목록 정보에 포함된 인허된 사용자의 상기 모바일 단말기인 경우에 상기 가상 문서를 공유하며;
    상기 서버는,
    상기 가상 문서가 암호화 처리된 경우, 공유된 상기 가상 문서를 복호화하도록 암호화 키를 공유 대상자로 인증된 상기 모바일 단말기로 더 전송하는 것을 특징으로 하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템.
  2. 청구항 1에 있어서,
    상기 모바일 단말기는,
    상기 가상 문서를 이미지화 또는 텍스트화하여 문서 데이터로 변환 및 저장하고, 상기 변환된 문서 데이터를 인쇄 가능하게 처리하는 것을 특징으로 하는 증강 현실과 가상 현실을 이용한 문서 작성 시스템.
KR1020200053190A 2020-05-04 2020-05-04 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법 KR102227525B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200053190A KR102227525B1 (ko) 2020-05-04 2020-05-04 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200053190A KR102227525B1 (ko) 2020-05-04 2020-05-04 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190112129 Division 2019-09-09 2019-09-10

Publications (1)

Publication Number Publication Date
KR102227525B1 true KR102227525B1 (ko) 2021-03-11

Family

ID=75142940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200053190A KR102227525B1 (ko) 2020-05-04 2020-05-04 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102227525B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449841B1 (en) * 2021-04-15 2022-09-20 Bank Of America Corporation Information security system and method for augmented reality check realization
WO2022216082A1 (ko) * 2021-04-07 2022-10-13 한국과학기술원 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법
KR20230025117A (ko) * 2021-08-13 2023-02-21 한국과학기술원 메타버스를 이용한 자필서명 및 계약 체결 방법 및 시스템
CN116212361A (zh) * 2021-12-06 2023-06-06 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930370B1 (ko) 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR20100123562A (ko) * 2009-05-15 2010-11-24 에스케이 텔레콤주식회사 다자간 컨텐츠 협업 시스템 및 방법
KR101018361B1 (ko) 2008-11-28 2011-03-04 광주과학기술원 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템
KR20110136024A (ko) 2010-06-14 2011-12-21 주식회사 비즈모델라인 증강현실 장치 간 정보 공유 방법
KR20140024531A (ko) * 2012-08-20 2014-03-03 삼성전자주식회사 협업 구현 방법 및 장치
KR20190081034A (ko) 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930370B1 (ko) 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR101018361B1 (ko) 2008-11-28 2011-03-04 광주과학기술원 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템
KR20100123562A (ko) * 2009-05-15 2010-11-24 에스케이 텔레콤주식회사 다자간 컨텐츠 협업 시스템 및 방법
KR20110136024A (ko) 2010-06-14 2011-12-21 주식회사 비즈모델라인 증강현실 장치 간 정보 공유 방법
KR20140024531A (ko) * 2012-08-20 2014-03-03 삼성전자주식회사 협업 구현 방법 및 장치
KR20190081034A (ko) 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022216082A1 (ko) * 2021-04-07 2022-10-13 한국과학기술원 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법
US11449841B1 (en) * 2021-04-15 2022-09-20 Bank Of America Corporation Information security system and method for augmented reality check realization
KR20230025117A (ko) * 2021-08-13 2023-02-21 한국과학기술원 메타버스를 이용한 자필서명 및 계약 체결 방법 및 시스템
KR102578596B1 (ko) 2021-08-13 2023-09-15 한국과학기술원 메타버스를 이용한 자필서명 및 계약 체결 방법 및 시스템
CN116212361A (zh) * 2021-12-06 2023-06-06 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置

Similar Documents

Publication Publication Date Title
KR102227525B1 (ko) 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법
US8370632B2 (en) Apparatus and method for incorporating signature into electronic documents
JP6260840B2 (ja) 印刷物を用いたコンテンツ配信サービス方法
CN100358334C (zh) 图像处理方法和图像处理装置
US20220335673A1 (en) Document processing system using augmented reality and virtual reality, and method therefor
JP4886312B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
CN102779251B (zh) 电子设备及其加密/解密方法
US20050268089A1 (en) Printing system and method that support security function
CN102789576B (zh) 签名特征提取系统及方法
CN102799367B (zh) 电子设备及其触摸控制方法
JP4597784B2 (ja) データ処理装置
US20080301431A1 (en) Text security method
JP2003529985A (ja) 情報の関連付けのための方法及びシステム
JP2006134292A (ja) 認証出力システム、デバイス利用装置、ネットワークデバイス、出力データ管理プログラム、出力制御プログラムおよび出力システム、並びに認証出力方法および出力方法
KR20070028559A (ko) 화상 형성 장치, 화상 형성 방법, 정보 처리 장치 및 정보처리 방법
JP2002163396A (ja) データ端末装置
JP2006287587A (ja) 情報処理装置およびその方法
JP5244386B2 (ja) 電子ペンでのデータ管理
KR20210110597A (ko) 디지털 식별성 관리 장치
JP2008505387A5 (ko)
JP2007304851A (ja) 文書入力端末、文書管理システム、文書管理方法、及び文書管理プログラム
KR20130010593A (ko) 광학코드 암복호화 방법, 이를 수행하기 위한 전자장치와, 광학코드용 공개키 처리 방법 및 시스템
JP3848127B2 (ja) チケット管理システム、チケット入力装置、チケット入力装置の制御方法、プログラム及び記憶媒体
WO2011151678A1 (en) Autographing of electronic media
KR20130134932A (ko) 암호화 파일의 생성 방법 및 해독 방법과 이 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant