KR20180122802A - System for proxy experience through agent and the method using the same - Google Patents

System for proxy experience through agent and the method using the same Download PDF

Info

Publication number
KR20180122802A
KR20180122802A KR1020170056841A KR20170056841A KR20180122802A KR 20180122802 A KR20180122802 A KR 20180122802A KR 1020170056841 A KR1020170056841 A KR 1020170056841A KR 20170056841 A KR20170056841 A KR 20170056841A KR 20180122802 A KR20180122802 A KR 20180122802A
Authority
KR
South Korea
Prior art keywords
agent
user
experience
terminal
surrogate
Prior art date
Application number
KR1020170056841A
Other languages
Korean (ko)
Inventor
방윤경
Original Assignee
남서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남서울대학교 산학협력단 filed Critical 남서울대학교 산학협력단
Priority to KR1020170056841A priority Critical patent/KR20180122802A/en
Publication of KR20180122802A publication Critical patent/KR20180122802A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The present invention relates to a proxy experience system through an agent and a proxy experience method using the same, capable of obtaining the same effect as performing a task by directly attending a site by simultaneously and interactively controlling the agent and a device which the agent has without the participation of a specific user in an actual site. The proxy experience system through an agent includes an agent device interface for transmitting a situation around the agent to a user at a remote place, a communication unit for transmitting a control command and media data between the user at the remote place and the agent, and an agent control unit for controlling the agent device and providing the media data from the agent device to a user terminal.

Description

에이전트를 통한 대리체험 시스템 및 이를 이용한 대리체험 방법{SYSTEM FOR PROXY EXPERIENCE THROUGH AGENT AND THE METHOD USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a surveillance system using agents,

본 발명은 에이전트를 통한 대리체험 시스템 및 이를 이용한 대리체험 방법에 관한 것으로, 더욱 상세하게는 특정 사용자가 실제 현장에 참여하지 않고도 에이전트와 상기 에이전트가 구비하고 있는 디바이스를 동시에 인터렉티브하게 제어함으로써, 마치 현장에 직접 참석하여 업무를 수행하는 것과 같은 효과를 얻을 수 있는 에이전트를 통한 대리체험 시스템 및 이를 이용한 대리체험 방법에 관한 것이다.The present invention relates to a surveillance experience system through an agent and a surveillance experience method using the same. More specifically, the present invention relates to a method and apparatus for simultaneously interacting with an agent The present invention relates to a surrogate experience system through an agent that can achieve the same effect as performing a task by directly attending the surveillance system.

최근 들어 인터넷 통신과 정보검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기서 사용자가 원하는 애플리케이션을 설치할 수 있는 스마트폰, 태블릿 등이 등장하면서 인터넷 사용 환경과 인터넷을 통한 사업의 범위도 매우 다양해지고 있는 추세이다.In recent years, smartphones and tablets, which allow users to install desired applications, have been introduced in the internet environment and the Internet. .

그리고 인터넷 환경의 발달에 따라 무선통신망을 통해 전송할 수 있는 데이터 전송속도의 증가로 인해 멀티미디어 데이터의 실시간 전송이 가능함에 따라 다양한 3D 멀티미디어 서비스가 소비자에게 제공되고 있다.In accordance with the development of the Internet environment, multimedia data can be transmitted in real time due to an increase in data transmission speed that can be transmitted through a wireless communication network, and various 3D multimedia services are provided to consumers.

종래의 기술에 따르면 많은 다양한 가상현실의 체험, 예를 들면 가상현실의 여행 서비스를 제공하는 기술이 공개되어 있다. 이러한 기술들은 가상현실의 기술을 이용하여 사용자가 여행지를 직접 여행하지 않고도, 현지에서 촬영된 영상 및 음향을 통해 간접 체험하게 함으로써, 가상현실의 여행 서비스를 제공하고 있다.According to the related art, a technology for providing a variety of virtual reality experiences, for example, a virtual reality travel service, is disclosed. These technologies provide a virtual reality travel service by allowing the user to indirectly experience the images and sounds captured locally without traveling the travel destination directly using the technology of the virtual reality.

한편, 가상현실(Virtual Reality, VR)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 그 세계 안에 존재하며 직접 경험하는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다. 다른 말로는 인공현실(Artificial Reality), 사이버 공간(Cyberspace), 가상세계(Virtual Worlds)이라고도 한다.Virtual Reality (VR), on the other hand, is a human-computer interface that makes a certain environment or situation computerized and makes it appear as if the person using it existed in the real world. In other words, it is also called artificial reality, cyberspace, and virtual worlds.

증강현실(Augmented Reality)이란 현실세계에 3차원의 가상정보를 겹쳐서 보여주는 기술을 말한다. 현실시계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality)이라고도 한다.Augmented Reality refers to a technology that overlays three-dimensional virtual information in the real world. It is called Mixed Reality because the virtual world which has additional information in real time in the real time clock is combined and displayed as a single image.

가상현실과 증강현실의 큰 차이점은 사용자가 직접 현실세계를 볼 수 있는지 여부에 있다. 즉 가상현실은 현실세계처럼 보이게 하려는 가상세계이고, 증강현실은 가상세계의 요소가 포함된 현실세계이다.The major difference between virtual reality and augmented reality is whether users can see the real world directly. That is, virtual reality is a virtual world that wants to look like a real world, and augmented reality is a real world that includes elements of a virtual world.

그런데 사용자가 에이전트를 통해 예를 들어 현재 여행지에서 촬영된 영상 및 음향을 통하여 여행을 대리체험하는 것은, 현실세계의 모습을 촬영한 것이라는 점에서 가상현실이라기보다는 증강현실에 가깝고, 직접 사용자의 눈앞에서 펼쳐지고 있는 현실이 아니라는 점에서 가상현실에 가깝다고 할 수 있다. 따라서 대리체험은 가상현실과 증강현실이 접목된 경험 현실(Experience Reality) 또는 대리경험(Proxy Experience)이라고 볼 수 있다.However, the user experiences the travel through the agent through the video and sound images taken at the current travel destination, for example, because it is a picture of the real world. Therefore, it is close to the augmented reality rather than the virtual reality, It is close to virtual reality in that it is not a reality that is being unfolded. Therefore, proxy experience can be seen as Experience Reality or Proxy Experience, which is a combination of virtual reality and augmented reality.

증강현실 및 대리체험을 포함하여 가상현실 산업은 이를 구현하는 디스플레이 기술 중심의 하드웨어 장비의 개발과 가상현실 콘텐츠 개발에 의해 하루가 다르게 변하고 있다. 그리고 가상현실 콘텐츠는 여러 분야의 것을 포함할 수 있다. 그 중에서 여행은 다양한 가상현실 또는 대리체험 콘텐츠를 개발할 수 있는 분야 중의 하나이다.The virtual reality industry, including augmented reality and surrogate experience, is changing day by day due to the development of hardware equipment centering on display technology and the development of virtual reality contents. And virtual reality content can include many fields. Among them, travel is one of the fields where various virtual reality or surreal experience contents can be developed.

그러나 아직까지 가상현실의 콘텐츠를 제공하는 것은 게임 분야에 제한되어 있는 것이 현실이다. 그리고 현재 제공되고 있는 여행 관련 대리체험은 실제의 패키지 관광 상품을 홍보하기 위한 수단으로 사용되는 경우가 많다. 따라서 기존의 기술에 따르면 여행과 관련하여 사용자가 지각하는 대리체험은 녹화된 영상을 이용하고 있어서, 현장감이 현저히 결여되어 있다는 단점이 있다. 또한, 기존의 기술에 따르면 사용자와 에이전트 간의 인터렉티브한 상호작용이 결여되어 있어서 일방에 의한 진행으로 인해 대리체험은 현장감이 더욱 떨어진다.However, it is a reality that it is limited to the game field to provide contents of virtual reality yet. In addition, the travel agency experience currently provided is often used as a means of promoting actual package tour products. Therefore, according to the existing technology, the perceived experience of the user in relation to the travel uses the recorded image, which is disadvantageous in that it lacks the sense of presence. Also, according to the existing technology, there is lack of interactive interaction between the user and the agent, so that the surrogate experience becomes less realistic due to the progress by one party.

따라서 본 발명에서는 여행뿐만 아니라 부동산과 같이 실사 조사가 필요한 경우의 부동산탐방, 역할대행, 감시의 업무와 같이 기존의 심부름센터에 의뢰하여 에이전트가 처리하였던 일들에 대해 사용자, 즉 의뢰인이 부탁한 일들에 대해 처리과정을 실시간으로 모니터링할 수 있도록 하는 에이전트를 통한 대리체험에 관한 시스템 및 이를 이용하는 방법을 제시하고자 한다.Therefore, in the present invention, when a user requests a user, that is, a client's request, to an existing errand center such as a real estate exploration, a role agency, We propose a system for agent experience through agents that can monitor the process in real time and a method for using it.

다음으로 본 발명의 기술 분야에서 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, a brief description will be given of the prior art which exists in the technical field of the present invention, and the technical matters which the present invention intends to differentiate from the prior art will be described.

먼저 선행기술인 한국공개특허 2001-0107240호(2001.12.07.공개)는 가상현실 여행 서비스 장치 및 방법에 관한 것으로 더욱 상세하게는 여행 수요자가 가고자 하는 지역의 정보를 가상현실 기술과 촬영 수단을 통해 구축된 인트라넷을 통해 시청각적으로 제공하는 가상현실 여행 서비스 장치 및 방법에 관한 것이다.Korean Patent Laid-Open Publication No. 2001-0107240 (published on December 13, 2001) discloses a virtual reality travel service apparatus and method. More specifically, the present invention relates to a virtual reality travel service apparatus and method using virtual reality technology and photographing means And more particularly, to a virtual reality travel service apparatus and method for providing a virtual reality travel service through an intranet.

상기 선행기술은, 여행수요자가 제공된 여행 상품을 선택하여, 이를 자동 구성하여 임의의 여행 스케줄을 만들고, 이를 통해 출국에서부터 비행기 탑승, 여행지 입국 등의 가상 여행의 절차를 거치면서 현실세계와 동일한 정도의 제한과 규정을 통해서 여행을 체험하며, 여행지에 도착한 후에 여행지에서의 일정을 편성하고 가상현실 기법이 적용된 여행지를 스스로 이동하면서 실제 여행지에서 일어나는 것과 흡사한 경험을 하고, 이러한 서비스가 인터넷상에서 구현됨으로써 전 세계 어느 지역이든 컴퓨터가 연결되는 곳이라면 여행 중에도 가상현실 여행 서비스를 받을 수 있도록 구성된다. 상기 선행기술은 여행수요자가 여행지를 여행하고자 할 때 출국에서부터 여행지 입국 여행지 선정, 여행지에서의 선택적 정보 습득 등을 통해 가상 여행지를 체험하게 함으로써 여행수요자에게 여행지의 사정을 알게 하고, 이를 통해 보다 나은 품질의 현실 여행을 유도하며, 여행을 계획하는 이에게 여행의 대리 만족을 주고 고품질의 정보로 여행지에서의 비용을 줄일 수 있는 이점이 있다. 그리고 상기 선행기술은 가상현실 여행 서비스를 제공한다는 점에서 본 발명의 가상현실의 대리체험을 통해 여행 서비스를 제공하는 구성과 일부 유사성이 있다.In the prior art, the travel consumer selects the travel goods provided, automatically constructs them, creates an arbitrary travel schedule, and travels through the procedure of virtual travel such as departure, flight, Experience travel through restrictions and regulations, organize travel schedules after arriving at a destination, experience travel experiences that are similar to what happens on a real travel destination while moving to a destination that uses virtual reality techniques, Anywhere in the world where computers are connected, virtual reality travel services are available on the road. The prior art described above allows tourists to experience the virtual travel destination through selection of departure destination, destination travel destination, and selective information acquisition at the travel destination when the traveler wants to travel, thereby informing the travel destination of the travel destination, And it has the advantage of giving travel planners the satisfaction of traveling and reducing the cost of travel with high quality information. In addition, the prior art provides a virtual reality travel service, which is somewhat similar to the provision of the travel service through the proxy experience of the virtual reality of the present invention.

그러나 본 발명은 여행 서비스뿐만이 아니라 다양한 종류의 대리체험을 제공할 수 있으며, VR 기반의 대리체험을 실시간으로 제공할 수 있기 때문에, 상기 선행기술에서 실제 여행을 위한 계약체결 전의 서비스로서 실시간 진행이 아니고, 홍보를 위한 저장된 정보를 제공하는 것과 비교해 볼 때 기술적 특징의 차이점이 분명하다.However, since the present invention can provide not only a travel service but also various types of proxy experience and VR-based proxy experience can be provided in real time, , There is a clear difference in the technical characteristics compared to providing stored information for publicity.

또한, 선행기술인 한국공개특허 2003-0019669호(2003.03.07.공개)는 인터넷 기반 가상 지역 문화 체험 서비스 제공방법에 관한 것으로 더욱 상세하게는 인터넷을 통한 온라인상에서 이루어지는 문화재나 각 지역별 문화행사에 대한 가상 체험 서비스의 제공방법에 관한 것이다. In addition, Korean Unexamined Patent Publication No. 2003-0019669 (published on Mar. 07, 2003) discloses a method for providing an Internet-based virtual local cultural experience service, more specifically, And a method of providing experience service.

상기 선행 기술은 원거리에서 각종 문화행사에 참여하고자 하는 사용자측의 클라이언트들이 시간상이나 공간상의 제약 또는 비용 등의 문제에 의해 참여하고자하는 의사와는 관계없이 실현 가능성이 미약하게 되는 점을 개선하여 인터넷을 통한 가상 체험 서비스를 제공하는 것으로써, 해당 클라이언트가 웹서버에 회원가입과 함께 로그인이 이루어지면 상기 클라이언트의 개인정보는 데이터베이스 서버에 저장 및 인증작업이 이루어지며, 상기의 과정을 거쳐 일반고객과 우수고객으로 분류되어진 클라이언트는 각 지역의 이미지가 브라우징 되어진 웹사이트 상에서 해당 지역을 선택하게 되며, 이때 상기 이미지 내에 이벤트가 발생하고 이는 링크 되어진 체험 사이트로 이동되어진다. 또한 상기와 같이 이동한 클라이언트는 해당 지역별 문화행사에 대해 스트리밍으로 제공되는 실시간 방송을 청취하는 것이 가능하여지며, 방송 도중 직접체험을 원하는 경우, 해당화면에 마우스를 클릭하는 행위에 의해 상기 방송이 SKIP되어 스트리밍은 중단되고 해당 사이트는 전자결제 시스템과 연결되어진다. 이렇게 전자결제 시스템과 연결되어진 클라이언트는 자신의 결제정보와 결제방법을 입력하고 상기의 결과는 데이터베이스 서버에 입력되어 데이터베이스 서버와 연계되어 작동하는 인증서버에 의해 상기결과를 클라이언트의 화면상에 출력하게 되며, 이와 같은 일련의 절차를 거쳐 클라이언트에 대한 인증작업이 완료되면, 해당 사이트는 다시 VRML(Virtual Reality Modeling Language)이나 JAVA 3D 등의 3차원 애플리케이션에 의해 구현되어진 가상현실공간으로 이동된다. 가상현실 프로그램에 의해 사용자는 원거리에서 해당 문화행사를 체험하게 되며, 클라이언트 요구시 컨텐츠제공회사(CP)는 프린트 서버나 디지털 영상매체기에 의해 상기의 체험과정을 기록 또는 출력하는 것이 가능하여지는 것이다.The above-mentioned prior art improves the feasibility of the users of the user who want to participate in various cultural events at a distance from the viewpoint of time, space, or cost, By providing a virtual experience service, when a client logs in with a member registration to a web server, personal information of the client is stored and authenticated in a database server. Through the above process, The client who has been classified as the user selects the corresponding region on the web site where the image of each region is browsed. In this case, an event occurs in the image, and the event is moved to the linked experiential site. In addition, when the client moves as described above, it is possible to listen to a real-time broadcast provided in streaming with respect to a cultural event by region, and in the event that a user wishes to directly experience the broadcast, Streaming is stopped and the site is connected to the electronic payment system. The client connected to the electronic payment system inputs his / her payment information and payment method, and the result is input to the database server and outputted to the client by the authentication server operating in association with the database server After the authentication process for the client is completed through the series of procedures, the site is moved to the virtual reality space implemented by the three-dimensional application such as VRML (Virtual Reality Modeling Language) or JAVA 3D. The virtual reality program enables the user to experience the cultural event from a distance. When the client requests the contents provider CP, the experience process can be recorded or output by the print server or the digital image media.

상기 선행기술은 지역별 문화행사에 대해 스트리밍으로 제공되는 실시간 방송을 청취하는 도중에 VRML이나 JAVA 3D 등의 3차원 애플리케이션에 의해 구현되어진 가상현실공간으로 이동하여 가상현실 프로그램에 의해 문화행사를 체험한다는 점에서 본 발명의 실시간으로 대리체험을 제공하는 구성과 일부 유사성이 있다.In the prior art, in the course of listening to a real-time broadcast provided by streaming for a local cultural event, the user moves to a virtual reality space implemented by a three-dimensional application such as VRML or JAVA 3D and experiences a cultural event by a virtual reality program There is some similarity with the configuration that provides a surrogate experience in real time in the present invention.

그러나 본 발명은 여행 서비스뿐만이 아니라 다양한 종류의 VR 기반의 대리체험을 제공할 수 있으며, 현지의 에이전트를 매개로 대리체험을 실시간으로 제공할 수 있기 때문에 가상현실의 몰입감이 높고 현장에서 실제 체험할 수 있는 다양한 경험을 제공하기 때문에, 게임 형태인지 아니면 어떠한 방식인지 구체적이지 않은 상기 선행기술의 애플리케이션에 의해 구현되는 가상현실 프로그램과 비교해 볼 때 기술적 특징의 차이점이 분명하다.However, the present invention can provide not only a travel service but also a variety of VR-based proxy experience, and it is possible to provide a proxy experience in real time through a local agent, so that a feeling of immersion of a virtual reality is high, There is a clear difference in the technical characteristics as compared to the virtual reality program implemented by the prior art application which is not specific to the game type or the method of the game.

또한, 선행기술인 한국공개특허 2012-0012292호(2012.02.09.공개)는 여행 체험 시뮬레이터 장치에 관한 것으로, 더욱 상세하게는 사용자가 선택한 문화유적지, 관광지, 박물관과 같은 장소를 실제 관람하며 여행하듯이 느낄 수 있도록 가상현실 기법을 적용한 영상을 화면상에 보여주는 디스플레이 화면부와; 사용자의 손의 움직임을 감지하여 디스플레이 화면부 상의 영상을 전후좌우로 이동할 수 있도록 하는 감지센서수단과; 상기 감지센서수단과 연동하여 사용자의 손의 움직임을 인식하여 해당 명령을 처리하는 감지센서부와, 상기 디스플레이 화면부와 연동하여 해당 여행지의 영상을 화면상에 보여주도록 하는 화면표시부와, 가상현실 기법을 적용한 여행지의 영상을 저장하고 있는 영상저장부와 상기 영상에 대한 설명정보를 저장하고 있는 텍스트저장부로 이루어지는 데이터 저장부와, 사용자의 선택에 따라서 상기 텍스트저장부에 저장된 영상에 대한 설명정보를 음성으로 변환하는 음성변환부와, 상기 감지센서부와 화면표시부와 데이터 저장부와 음성변환부와 연동하여 사용자의 손의 움직임에 의한 입력정보와 해당 여행지의 영상을 화면상으로 송수신하도록 하는 제어부를 포함하는 메인본체부와 사용자가 여행을 체험하기 위해 걷거나 서 있는 공간인 사용자 위치 플랫폼으로 이루어짐으로써, 사용자에게 미리 여행지를 체험하게 함으로써, 사전 답사의 효과를 달성할 수 있고, 현실적으로 여행가기 어려운 사람들에게는 여행의 대리 만족을 주는 여행 체험 시뮬레이터 장치 및 이를 이용한 방법에 관한 것이다.The prior art Korean Patent Laid-Open Publication No. 2012-0012292 (published on Mar. 2, 2012.) relates to a travel experience simulator device, and more particularly, to a tourist experience simulator device, such as a touring place, a sightseeing spot, a museum, A display screen unit for displaying an image using a virtual reality technique on a screen so that the virtual reality technique can be sensed; Sensing sensor means for sensing movement of a user's hand to move the image on the display screen in the forward, backward, left, and right directions; A sensing unit for recognizing a movement of a user's hand in cooperation with the sensing sensor unit and processing a corresponding command, a screen display unit for displaying an image of the travel destination on the screen in cooperation with the display screen unit, And a text storage unit for storing explanatory information on the image, and a display unit for displaying explanatory information on the image stored in the text storage unit according to the user's selection, And a control unit for interfacing with the detection sensor unit, the screen display unit, the data storage unit, and the voice conversion unit to transmit and receive the input information by the motion of the user's hand and the image of the travel destination on the screen And a user who is a walking or standing space for a user to experience a trip As a platform constituted by any value by the user in advance of travel experience, it is possible to achieve the effect of the pre-survey, the reality is difficult for people to take a trip on the Travel Experience Simulator devices and methods using them to vicariously journey.

상기 선행기술은 설명정보를 음성으로 변환하는 음성변환부와 사용자의 손의 움직임에 의한 입력정보와 해당 여행지의 영상을 화면상으로 송수신하는 제어부를 포함하는 점에서 본 발명의 통신부 및 제어부의 구성과 일부 유사성이 있다.The prior art includes a speech converting unit for converting the explanation information into speech, and a control unit for transmitting and receiving input information by the motion of the user's hand and an image of the travel destination on the screen. There are some similarities.

그러나 본 발명은 여행뿐만이 아니라 다양한 종류의 대리체험을 제공할 수 있으며, 에이전트 단말 및 에이전트 단말에 연결된 카메라의 워크를 직접 제어할 수 있고, 에이전트 단말의 워크를 간접 제어함으로써 사용자는 자신의 시선 또는 고개의 움직임과 영상 내의 원근 및 방향 변화의 연동에 의해 현장감을 높일 수 있다는 점에서, 상기 선행기술의 설명정보의 음성변환 및 손의 움직임에 의한 화면 이동과 비교해 볼 때 기술적 특징의 차이점이 분명하다.However, the present invention can provide various kinds of surrogate experiences as well as travel, and can directly control the work of the camera connected to the agent terminal and the agent terminal, and indirectly control the work of the agent terminal, It is apparent that the difference of the technical characteristics in comparison with the voice conversion of the explanation information of the prior art and the screen movement by the movement of the hand is obvious in that the realism can be enhanced by the interplay of the movement of the image and the perspective and direction of the image.

즉 상기 언급한 각각의 선행기술들은 가상으로 여행지의 체험을 제공하는 시스템에 관한 구성으로서 본 발명의 에이전트를 통한 대리체험 시스템 및 이를 이용하는 방법의 구성과 일부 유사성이 있지만, 본 발명은 부동산탐방 대리체험, 여행 대리체험, 역할 대리체험 및 감시 대리체험 등 다양한 종류의 대리체험을 제공할 수 있으며, 에이전트 단말과 카메라의 직접제어 및 에이전트 단말의 간접 제어에 관한 구성을 포함하고 있으므로 상기 선행기술과의 기술적 차이가 분명하다.In other words, each of the above-mentioned prior arts has some similarity with the configuration of a system for providing a virtual experience of a travel destination, and a configuration of a proxy experience system through agents of the present invention and a method of using the agent, The agent agent terminal, the direct control of the camera, and the indirect control of the agent terminal. Therefore, it is possible to provide the technical expert with the prior art The difference is obvious.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 보다 현실적인 경험에 가까운 여행지에서의 에이전트를 통한 대리체험을 수행할 수 있는 대리체험 시스템 및 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a surveillance experience system and method capable of performing a surveillance experience through an agent at a destination close to a more realistic experience, which is created to solve the above problems.

또한, 본 발명은 기존의 심부름 대행 서비스에서 발전하여 대행자의 업무 수행을 모니터링할 수 있는 에이전트를 통한 대리체험 시스템 및 방법을 제공하는 것을 목적으로 한다. It is another object of the present invention to provide a proxy experience system and method through an agent that can develop in an existing errand service and monitor the performance of an agent.

또한, 본 발명은 부동산을 구입하기 전에 직접 부동산을 방문해서 매물을 살펴보아야 할 경우 등에 있어서 에이전트를 통해 의뢰인의 직접 경험에 가장 근접하게 확인할 수 있는 에이전트를 통한 대리체험 시스템 및 방법을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a surveillance experience system and method through an agent that can be confirmed most closely to a client's direct experience through an agent when a property is to be visited directly before a real estate is purchased, .

또한, 본 발명은 기존의 CCTV에 의한 고정된 장소에서의 감시활동과 비교하여, 이동이 가능한 카메라를 이용한 감시활동을 수행할 수 있는 에이전트를 통한 대리체험 시스템 및 방법을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a surveillance experience system and method using an agent capable of monitoring surveillance using a movable camera in comparison with a surveillance activity in a fixed place by the existing CCTV.

본 발명의 일 실시예에 따른 대리체험용 에이전트 단말은, 에이전트 디바이스를 이용하여 에이전트의 주변상황을 원격의 사용자에게 전달하기 위한 에이전트 디바이스 인터페이스부; 원격의 사용자와 에이전트 사이에서 제어명령과 미디어데이터를 송수신하는 통신부; 및 사용자 단말로부터 제어명령을 수신하여 상기 에이전트 디바이스를 제어하고, 상기 에이전트 디바이스로부터 전달된 미디어데이터를 상기 사용자 단말에 제공하는 것을 제어하는 에이전트 제어부;를 포함하며, 상기 에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 하는 것을 특징으로 한다.The agent terminal for surrogate experience according to an embodiment of the present invention includes an agent device interface unit for delivering a peripheral situation of an agent to a remote user using an agent device; A communication unit for transmitting and receiving control commands and media data between a remote user and an agent; And an agent control unit for receiving the control command from the user terminal and controlling the agent device and for providing the media data delivered from the agent device to the user terminal, And is perceived as an experience.

이때 상기 에이전트 제어부는, 상기 제어명령과 상기 미디어데이터를 스트림으로 처리하는 스트림처리부; 및 상기 에이전트 디바이스 인터페이스부를 통해서 수신되는 미디어데이터를 처리하는 미디어데이터처리부; 및 상기 스트림처리부를 통해서 수신한 제어명령을 에이전트 디바이스 인터페이부를 통해서 에이전트 디바이스를 제어하기 위한 명령처리부;를 포함하는 것을 특징으로 한다.Here, the agent control unit may include: a stream processing unit for processing the control command and the media data as a stream; And a media data processing unit for processing media data received through the agent device interface unit; And an instruction processing unit for controlling the agent device through the agent device interface unit in response to the control command received through the stream processing unit.

아울러, 본 발명의 일 실시예에 따른 대리체험용 사용자 단말은, 사용자 디바이스를 이용하여 사용자가 원하는 요구사항을 에이전트에게 전달하기 위한 사용자 디바이스 인터페이스부; 원격의 에이전트와 사용자 사이에서 제어명령과 미디어데이터를 송수신하는 통신부; 및 에이전트 단말로부터 전달된 미디어데이터를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 전달된 제어명령을 상기 에이전트 단말로 제공하는 사용자 제어부;를 포함하며, 상기 에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 하는 것을 특징으로 한다.In addition, a user experience terminal for a proxy experience according to an exemplary embodiment of the present invention includes a user device interface unit for delivering a user's desired request to an agent using the user device; A communication unit for transmitting and receiving control commands and media data between a remote agent and a user; And a user control unit for providing the media data transferred from the agent terminal to the user device and providing the control command transferred from the user device to the agent terminal, .

이때 상기 사용자 제어부는, 상기 제어명령과 상기 미디어데이터를 하나의 스트림으로 통합하거나 서로 분리하여 처리하는 스트림처리부; 및 상기 통신부를 통해서 수신되는 미디어데이터를 처리하는 미디어데이터처리부; 및 상기 사용자 디바이스 인터페이스부를 통해서 수신한 제어명령으로 상기 스트림 처리부와 통신부를 통해서 에이전트 디바이스를 제어하기 위한 명령처리부;를 포함하는 것을 특징으로 한다.The user control unit may include a stream processing unit for combining the control command and the media data into one stream or separately processing the control command and the media data; And a media data processing unit for processing media data received through the communication unit; And a command processor for controlling the agent device through the stream processing unit and the communication unit with the control command received through the user device interface unit.

아울러, 본 발명의 일 실시예에 따른 대리체험 중계 시스템은, 에이전트 단말로부터 수신한 미디어데이터를 사용자 단말로 중계하고, 상기 사용자 단말로부터 수신한 명령을 상기 에이전트 단말로 중계하는 가상 사용자 단말; 사용자 단말로부터 수신한 명령을 에이전트 단말로 중계하고, 상기 에이전트 단말로부터 수신한 미디어데이터를 상기 사용자 단말로 중계하는 가상 에이전트 단말;을 포함하며, 에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 사용자와 에이전트 사이의 미디어와 명령을 중계하는 것을 특징으로 한다.The surrogate experience relay system according to an embodiment of the present invention relays media data received from an agent terminal to a user terminal and relays a command received from the user terminal to the agent terminal; And a virtual agent terminal for relaying the command received from the user terminal to the agent terminal and for relaying the media data received from the agent terminal to the user terminal, And relaying media and commands between the agents.

그리고 상기 대리체험 중계 시스템은, 상기 사용자 단말과 상기 에이전트 단말 사이의 미디어데이터와 명령에 대한 동기화를 제어하는 동기제어부;를 더 포함하며, 상기 동기화를 통해서 상기 사용자가 상기 에이전트 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능한 것을 특징으로 한다.The agent experience relay system may further include a synchronization controller for controlling synchronization of the media data and the command between the user terminal and the agent terminal, wherein the user can remotely interactively Can be controlled.

그리고 상기 대리체험 중계 시스템은, 상기 사용자 단말과 상기 에이전트 단말을 P2P(Peer-to-Peer)로 연결하여 서로 인터랙티브하게 연동하도록 지원하는 것을 더 포함하는 것을 특징으로 한다.The surrogate experience relay system may further include supporting the user terminal and the agent terminal in a P2P (Peer-to-Peer) manner and interactively interlocking with each other.

아울러, 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 방법은, 에이전트 단말에서 사용자 단말로 대리체험을 위한 미디어스트림을 전송하는 단계; 사용자 단말에서 에이전트 단말로 에이전트 디바이스의 제어를 위한 명령을 전송하는 단계; 상기 에이전트 단말에서 상기 사용자 단말로부터 전달된 명령에 따라 제어된 에이전트 디바이스로부터 획득된 미디어스트림을 사용자 단말로 전송하는 단계;를 포함하며, 다수의 사용자 단말과 다수의 에이전트 단말을 네트워크를 통해 연결하여 사용자가 에이전트를 통한 대리체험을 하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a proxy experience method using an agent, comprising: transmitting a media stream for a proxy experience from an agent terminal to a user terminal; Transmitting an instruction for controlling the agent device from the user terminal to the agent terminal; And transmitting the media stream obtained from the controlled agent device to the user terminal in response to a command transmitted from the user terminal in the agent terminal. The method includes connecting a plurality of user terminals and a plurality of agent terminals via a network, Is performed by the agent.

그리고 상기 대리체험 방법은, 대리체험 중계서버를 통해서, 상기 사용자 단말과 상기 에이전트 단말 사이의 미디어데이터와 명령에 대한 동기화를 제어하는 동기제어단계;를 더 포함하며, 상기 동기화를 통해서 상기 사용자가 상기 에이전트 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능한 것을 특징으로 한다.And a synchronization controlling step of controlling synchronization of the media data and the command between the user terminal and the agent terminal through the surrogate experience relay server, It is possible to remotely and interactively control the agent device.

그리고 상기 대리체험 방법은, 대리체험 중계서버를 통해서, 상기 사용자 단말과 상기 에이전트 단말에 대한 가상단말을 생성하여 상기 명령과 미디어데이터를 중계하거나, 상기 대리체험 중계서버를 통해서, 상기 사용자 단말과 상기 에이전트 단말이 서로 P2P로 연결되도록 하여 상기 명령과 미디어데이터를 주고받도록 함으로써, 상기 사용자가 상기 에이전트 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능한 것을 특징으로 한다.The surveillance experience method may further include generating a virtual terminal for the user terminal and the agent terminal through the surrogate experience relay server and relaying the command and the media data to the virtual terminal through the surrogate experience relay server, The agent terminals are connected to each other via P2P so that the command and the media data are exchanged, so that the user can control the agent device remotely and interactively.

본 발명에 의하면, 사용자는 에이전트의 단말과 카메라를 직접 제어하거나 에이전트 단말을 간접 제어함으로써 현장감 및 몰입감이 높은 에이전트를 통한 대리체험을 경험할 수 있다.According to the present invention, the user can directly experience the surrogate experience through agents having high sense of presence and immersion by directly controlling the terminal and the camera of the agent or indirectly controlling the agent terminal.

또한, 사용자는 에이전트를 통한 대리체험을 통해 에이전트의 업무 수행을 모니터링할 수 있고, 부동산 매물을 탐방 없이 현장에서처럼 관찰할 수 있다.In addition, the user can monitor the agent's work performance through proxy experience through the agent, and can observe real estate for sale as it is in the field.

또한, 사용자는 에이전트를 통한 이동이 가능한 카메라를 이용하는 감시활동을 통해 현장감 높은 대리체험을 경험할 수 있다.Also, the user can experience a realistic surveillance experience through surveillance activities using a camera capable of moving through the agent.

도 1은 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 계약 체결 후의 에이전트를 통한 대리체험 시스템의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 대리체험 중계서버를 통한 사용자 단말과 에이전트 단말 사이의 제어과정의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에서 사용자 단말의 구성을 상세하게 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에서 에이전트 단말의 구성을 상세하게 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에서 대리체험 중계서버의 구성을 상세하게 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 방법의 동작과정을 상세하게 나타낸 흐름도이다.1 is an exemplary diagram of a surrogate experience system through an agent according to an embodiment of the present invention.
2 is an exemplary diagram of a surrogate experience system through an agent after contracting according to an embodiment of the present invention.
3 is a diagram for explaining a concept of a control process between a user terminal and an agent terminal through a proxy experience relay server according to an embodiment of the present invention.
4 is a block diagram illustrating a detailed configuration of a user terminal in a surrogate experience system through an agent according to an embodiment of the present invention.
5 is a block diagram showing in detail the configuration of an agent terminal in a proxy experience system through an agent according to an embodiment of the present invention.
6 is a block diagram showing in detail the configuration of a surrogate experience relay server in a surrogate experience system through an agent according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating in detail an operation procedure of a proxy experience method using an agent according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 에이전트를 통한 대리체험 시스템 및 이를 이용하는 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference symbols in the drawings denote like elements. Furthermore, specific structural and functional descriptions for embodiments of the present invention are presented for the purpose of describing an embodiment of the present invention only, and, unless otherwise defined, all terms used herein, including technical or scientific terms Have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein .

이하 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에 대해 설명하기로 한다.Hereinafter, a proxy experience system through an agent according to an embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템의 예시도이다.1 is an exemplary diagram of a surrogate experience system through an agent according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 대리체험 시스템은 사용자 단말(100), 에이전트 단말(200), 대리체험 중계서버(300), 데이터베이스(400) 등으로 구성된다.1, the surrogate experience system of the present invention includes a user terminal 100, an agent terminal 200, a surrogate experience relay server 300, a database 400, and the like.

사용자 단말(100)의 사용자는 에이전트를 통한 대리체험 청약의 주체이고, 에이전트 단말(200)의 에이전트는 에이전트를 통한 대리체험 승낙의 주체이다. 위와 달리 에이전트를 통한 대리체험의 청약 및 승낙의 주체는 서로 바뀔 수도 있다. 즉 에이전트가 먼저 대리체험 콘텐츠 공급에 관한 청약의 광고를 하면, 사용자는 복수의 청약 중에서 하나를 선택할 수 있다.The user of the user terminal 100 is the subject of the proxy experience subscription through the agent, and the agent of the agent terminal 200 is the subject of the proxy experience acceptance through the agent. Unlike the above, the subject of submission and acceptance of agent experience through agent may change with each other. That is, when the agent first advertises a subscription regarding the provision of surrogate experience contents, the user can select one of a plurality of subscriptions.

사용자 단말(100)은 일반 사용자들이 소지하고 있는 스마트폰, 태블릿 등을 포함한 모바일 통신기기로서, 에이전트를 통한 대리체험에 관한 애플리케이션이 인스톨되어 있다.The user terminal 100 is a mobile communication device including a smart phone, a tablet, and the like possessed by ordinary users, and an application related to a proxy experience through an agent is installed.

사용자 단말(100)은 상기 애플리케이션을 네트워크를 통해 대리체험 중계서버(300)로부터 다운로드하고, 이를 인스톨할 수 있다. 사용자 단말(100)에서 애플리케이션이 실행되고, 사용자는 사용자 단말(100)을 통해 에이전트를 통한 대리체험의 서비스를 신청하고, 관련 정보를 입력할 수 있다. 상기 애플리케이션은 상기 신청 및 관련 정보의 입력을 위해 서비스 신청을 위한 입력화면을 표시할 수 있다.The user terminal 100 can download the application from the surrogate experience relay server 300 via the network and install it. The application is executed in the user terminal 100, and the user can apply for the service of the surrogate experience through the agent through the user terminal 100 and input related information. The application may display an input screen for requesting a service for input of the application and related information.

또한, 사용자 단말(100)은 대리체험 중계서버(300)로부터 스트리밍 신호를 전송받아 비디오 및 오디오 콘텐츠를 출력한다. 또한, 사용자 단말(100)은 제어신호를 통해 에이전트 단말(200)과 에이전트 단말(200)에 연결된 카메라 등을 직접 제어하거나, 통신신호를 통해 에이전트 단말을 간접 제어할 수 있다.Also, the user terminal 100 receives the streaming signal from the surrogate experience relay server 300 and outputs video and audio contents. Also, the user terminal 100 can directly control the camera connected to the agent terminal 200 and the agent terminal 200 through the control signal, or indirectly control the agent terminal through the communication signal.

에이전트 단말(200)은 대리체험 중계서버(300)와 주체를 같이 하거나 프리랜서로 활동하는 에이전트의 소유일 수 있다. 즉 에이전트는 대리체험 중계서버(300)가 속해 있는 단체에 소속된 직원이거나 프리랜서로 활동하는 사람일 수도 있다.The agent terminal 200 may be owned by an agent acting as a freelancer or a subject who is entrusted with the surrogate experience relay server 300. That is, the agent may be an employee belonging to a group to which the surrogate experience relay server 300 belongs, or a freelancer.

에이전트 단말(200)은 대리체험 중계서버(300)에서 상기 애플리케이션을 다운로드하고, 이를 인스톨한다.The agent terminal 200 downloads the application from the surrogate experience relay server 300, and installs the application.

에이전트 단말(200)에는 대리체험의 이벤트를 촬영하기 위한 카메라 및 마이크로폰이 연결될 수 있다. 특히 에이전트 단말(200)에는 에이전트를 통한 대리체험의 종류에 따라 다양한 종류, 예를 들어 2D, 3D 및 360도 카메라가 연결될 수 있다. 에이전트 단말(200)은 카메라를 이용하여 대리체험의 이벤트를 과정을 촬영하고, 상기 촬영에 기반하여 비디오 및 오디오 콘텐츠를 생성하고 이를 대리체험 중계서버(300)에 전송한다.The agent terminal 200 may be connected to a camera and a microphone for photographing an event of a surrogate experience. In particular, the agent terminal 200 may be connected with various types of cameras, for example, 2D, 3D, and 360 degrees, depending on the type of surrogate experience through the agent. The agent terminal 200 captures the event of the surrogate experience using the camera, generates video and audio contents based on the capture, and transmits the generated video and audio contents to the surrogate experience relay server 300.

대리체험 중계서버(300)는 에이전트를 통한 대리체험을 청약한 사용자 단말(100)과 이를 수락하는 에이전트 단말(200)을 서로 연결시켜 대리체험의 계약을 체결시킨다.The surrogate experience relay server 300 concludes a surrogate experience contract by connecting the user terminal 100 subscribing to the surrogate experience through the agent and the agent terminal 200 accepting the surrogate experience.

또한, 대리체험 중계서버(300)는 사용자와 에이전트 간에 체결된 대리체험 계약에 따라 대리체험의 이벤트를 촬영한 비디오 및 오디오 콘텐츠를 에이전트 단말(200)로부터 전송받아 스트리밍 신호를 생성한다.In addition, the surrogate experience relay server 300 receives the video and audio contents of the surrogate experience event according to the surrogate experience contract concluded between the user and the agent, and generates a streaming signal from the agent terminal 200.

데이터베이스(400)는 사용자 및 에이전트에 관한 정보, 비디오 및 오디오 데이터를 저장, 관리한다.The database 400 stores and manages information about users and agents, video and audio data.

에이전트를 통한 대리체험은 현장감 및 몰입감 실현을 위해 실시간으로 제공되는 것이 원칙이다. 다만 서비스의 종류에 따라 범용성이 있는 콘텐츠는 데이터베이스(400)에 저장되어 다른 사용자를 위해 사용될 수 있다.The agent experience through agents is provided in real time for realizing sense of presence and immersion. However, contents that are universal depending on the type of service may be stored in the database 400 and used for other users.

네트워크는 유/무선 인터넷, 와이파이(WiFi) 등을 포함한 현재 공지되어 있는 각종 유선 및 무선의 통신망으로서, 복수의 사용자 단말(100), 복수의 에이전트 단말(200) 및 대리체험 중계서버(300) 사이의 통신회선을 연결하여 상호간에 에이전트를 통한 대리체험의 서비스의 신청, 수락에 따른 계약 체결과 서비스 수행에 따른 영상 및 음향 데이터의 전송과 관련된 데이터 통신과 사용자 단말(100)과 에이전트 단말(200) 사이의 음성통화가 이루어지도록 한다.The network is a variety of currently known wired and wireless communication networks including wired / wireless Internet, WiFi, and the like, and is connected between a plurality of user terminals 100, a plurality of agent terminals 200 and a surrogate experience relay server 300 The user terminal 100 and the agent terminal 200 are connected to the communication line of the user terminal 100 and the agent terminal 200, So that a voice call can be established.

한편, 에이전트를 통한 대리체험이 사용자 단말(100)을 통해 사용자에게 공급되기 위해서는 서비스 계약이 체결되어야 한다. 에이전트를 통한 대리체험 공급 계약은 청약과 승낙에 의해 체결될 수 있다. 먼저 청약은 사용자측 또는 에이전트측에서 이루어질 수 있다. 사용자가 청약을 하는 경우, 에이전트는 상기 청약에 대해 승낙을 함으로써 공급 계약이 체결될 수 있다. 이때 에이전트가 프리랜서가 아니고 대리체험 중계서버(300)의 관리 주체에 속하는 경우에는 따로 에이전트가 존재하지 않고 대리체험 중계서버(300) 내에서 대리체험 중계서버(300)의 주체에 의해 승낙이 이루어진다.Meanwhile, in order for the surrogate experience through the agent to be supplied to the user through the user terminal 100, a service contract must be concluded. A contract to supply a surrogate experience through an agent can be concluded by subscription and consent. First, subscription can be made on the user side or the agent side. If the user makes a subscription, the agent can enter into a supply contract by accepting the subscription. At this time, when the agent is not a freelancer but belongs to the management subject of the surrogate experience relay server 300, the surrogate experience relay server 300 does not have an agent separately and is accepted by the subject of the surrogate experience relay server 300.

반대로 프리랜서인 에이전트 또는 대리체험 중계서버(300)의 주체가 청약을 하는 경우, 사용자는 상기 청약에 대해 승낙을 함으로써 대리체험 공급 계약이 체결될 수 있다.On the contrary, when the subject of the freelance agent or the surrogate experience relay server 300 makes a subscription, the user can conclude the surrogate experience supply contract by accepting the subscription.

에이전트를 통한 대리체험의 종류는 부동산탐방 대리체험, 여행 대리체험, 역할 대리체험, 감시 대리체험 등을 포함할 수 있다.The types of agent experience through agents include real estate agent experience, travel agent experience, role agent experience, and surveillance agent experience.

먼저 부동산탐방 대리체험은, 부동산 거래 예를 들어 매매, 전세, 임대차 계약의 대상이 되는 부동산에 관한 정보를 제공한다. 이러한 정보는 부동산의 위치, 등기부 정보, 권리관계를 기본적으로 포함하고, 에이전트가 부동산까지의 이동하는 과정을 실시간으로 촬영한 영상 데이터를 포함한다.First, the real estate exploration experience provides information on real estate transactions, for example, real estate subject to sale, lease, or lease. This information basically includes the location of the real estate, the registration information, and the rights relation, and includes image data obtained by real-time photographing of the moving process of the agent to the real estate.

또한 부동산탐방 대리체험에서는 실제 부동산 내의 모습을 촬영한 영상 데이터가 공급되고, 구체적으로 촬영을 통해 상수도 수압의 체크, 베란다의 뷰 확인, 층간소음의 확인에 관한 영상 데이터가 스트리밍 형태로 사용자 단말(100)에 전송될 수 있다. 사용자는 관심을 갖는 부동산 매물에 대해 직접 부동산을 방문하지 않고도 에이전트를 통한 대리체험을 통해 부동산을 찾아 실제 현장을 방문한 것처럼 관찰할 수 있다.In addition, image data of a real estate in real estate is supplied to the real estate visiting agent experience. Specifically, image data related to check of the water pressure of the water supply, confirmation of the view of the veranda, and confirmation of the noise in the floor are photographed in the streaming form, ). ≪ / RTI > The user can observe the real estate property of interest as if he visited the actual site by searching for the real estate through the proxy experience through the agent without visiting the real estate.

다음으로 여행 대리체험은, 여행지에서 촬영된 비디오 및 오디오 콘텐츠 등의 각종 콘텐츠를 사용자에게 공급하는 서비스이다. 공급되는 콘텐츠의 종류는 비디오 및 오디오 콘텐츠에 한정되지 않고, 예를 들어 햅틱(haptic) 장치에 의한 촉각에 관한 데이터 송수신, 후각에 관한 데이터의 송수신이 에이전트 단말(200), 대리체험 중계서버(300) 및 사용자 단말(100) 간에 이루어질 수 있다.Next, the travel agency experience is a service for supplying various contents such as video and audio contents photographed at a travel destination to a user. The types of contents to be supplied are not limited to the video and audio contents. For example, data transmission / reception with respect to the tactile sense by the haptic device and transmission / reception of data with respect to the olfactory feel are performed by the agent terminal 200, the surrogate experience relay server 300 ) And the user terminal 100, as shown in FIG.

에이전트는 여행사에 소속된 직원일 수 있으며, 대리체험 중계서버(300)는 여행사가 관리할 수 있다. 또는 에이전트는 여행지 근처의 프리랜서로서 자신이 거주하고 있는 장소에서 가까운 여행지에 대해 가이드 역할을 하면서, 에이전트 단말(200)은 에이전트를 통한 대리체험을 위해 촬영된 영상 및 음향 데이터를 사용자 단말(100)에 제공할 수 있다.The agent may be an employee belonging to the travel agency, and the proxy experience relay server 300 may be managed by the travel agency. The agent terminal 200 serves as a guide for the travel destination near the place where the user lives, as the freelancer near the travel destination, while the agent terminal 200 transmits the video and sound data photographed for the proxy experience through the agent to the user terminal 100 .

본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에 의한 여행 콘텐츠의 공급은, 실시간으로 영상 및 음향이 획득되고 이를 이용하여 비디오 및 오디오 등의 콘텐츠가 생성된다는 점과, 사용자 단말(100)이 에이전트 단말(200)과 이에 연결된 카메라를 직접 제어하거나, 에이전트 단말(200)을 간접 제어할 수 있다는 점에 특징을 갖는다. 이에 대한 자세한 설명은 후술하기로 한다.The provision of the travel contents by the surrogate experience system through the agent according to the embodiment of the present invention is based on the fact that video and audio are acquired in real time and contents such as video and audio are generated using the captured video and audio, The agent terminal 200 can directly control the camera connected to the agent terminal 200 or indirectly control the agent terminal 200. [ A detailed description thereof will be described later.

다음으로 역할 대리체험은, 에이전트가 사용자의 역할을 대행해 주면서 대행 과정을 촬영한 영상 및 음향 데이터를 제공하는 대리체험이다. 사용자는 자신이 반드시 수행해야 하는 역할 이외에, 참여에 초점이 맞추어진 행사, 예를 들어 경조사 참여, 강연회 참여, 학부모회 참여 등에서 에이전트를 대신 출석 시킬 수 있고, 그 대신에 역할 수행 과정을 촬영한 영상 및 음향 데이터를 제공받을 수 있다.Next, the role surrogate experience is a surrogate experience that provides image and sound data of the agent while taking care of the role of the user. In addition to the role that the user must perform, the user can attend the event focused on the participation, for example, participating in the congratulations, participating in a lecture, participating in a parent association, etc. Instead, Sound data can be provided.

사용자는 사용자 단말(100)에 인스톨된 전용의 애플리케이션을 통해 역할 대리체험을 신청하는 경우, 역할을 대행할 에이전트의 이동수단, 에이전트가 복장 및 에이전트가 갖추어야 하는 특별한 능력을 선택할 수 있다. 예를 들어 에이전트가 사용자를 대신하여 학부모회의 등에 대리로 참여해야 할 경우, 에이전트가 자녀의 학교까지 타고 갈 교통수단 예를 들어 승용차를 지정하거나 제공할 수도 있고, 슈트를 입고 가도록 요구할 수 있고, 발의를 위한 원고 작성 및 원고 발표를 요구할 수도 있다. 이러한 경우 역할대행 과정을 촬영하는 카메라는 히든 타입의 카메라가 사용되는 것이 바람직할 것이다.When a user applies for a role surrogate experience through a dedicated application installed in the user terminal 100, the user can select a moving means of the agent to perform the role, and the special ability that the agent has to have in the dress and the agent. For example, if an agent needs to act on behalf of a user on behalf of a parent association, the agent may designate or provide transportation to the child's school, such as a passenger car, And may request a manuscript presentation and manuscript presentation. In this case, it is preferable that a camera of a hidden type camera is used to photograph the role substitution process.

사용자는 자신이 반드시 수행해야 하는 역할 이외에, 참여에 초점이 맞추어진 행사, 예를 들어 경조사 참여, 강연회 참여, 학부모회 참여 등에 에이전트를 대신 출석 시킬 수 있고, 그 대신에 역할대행 과정을 촬영한 영상 및 음향 데이터를 제공받을 수 있다.In addition to the role that the user must perform, the user can attend the event focused on the participation, for example, participating in the congratulations, participating in the lecture, participating in the parents' meeting, etc. Instead, Sound data can be provided.

다음으로 감시 대리체험은, 에이전트가 사용자가 수행해야 할 감시활동을 대행해 주면서 에이전트 단말(200)이 대행 과정을 촬영한 영상 및 음향 데이터를 사용자 단말(100)에 제공하는 대리체험이다. 사용자는 에이전트 단말(200)이 제공하는 일정 지역 또는 일정 지점을 촬영한 영상 및 음향 데이터를 통해 해당 지역 또는 지점에서 발생하는 상황을 감시할 수 있다. 예를 들어, 사용자는 오랜 시간 동안의 자연의 변화를 카메라에 담기 위해 에이전트로 하여금 카메라를 설치하고 하루 동안 일어나는 자연의 변화 예를 들어, 구름의 변화, 날씨의 변화 등을 저속 촬영하도록 하고, 이에 따른 영상 및 음향 데이터를 제공받을 수 있다.Next, the surveillance proxy experience is a surrogate experience in which the agent terminal 200 provides video and sound data photographed by the agent terminal 200 to the user terminal 100 while the agent performs surveillance activities to be performed by the user. The user can monitor a situation occurring in the corresponding region or point through the video and sound data photographed at a certain region or a certain point provided by the agent terminal 200. For example, the user can set the camera to allow the agent to take a long-time natural change into the camera, take a low-speed photograph of the change of nature occurring during the day, for example, And can receive the image and sound data according to the present invention.

또는 사용자는 감시 대상자를 에이전트로 하여금 대신 감시하도록 지시하고, 감시 과정을 촬영한 영상 및 데이터를 제공받을 수 있고, 감시 과정에서 실시간으로 특별한 행동을 지시할 수도 있다. 따라서 사용자는 제공되는 영상 및 음향 데이터를 통해 실시간으로 감시 상황을 모니터링 할 수 있다.Alternatively, the user can instruct the agent to monitor the monitored object instead, receive the captured image and data of the monitoring process, and direct the special action in real time during the monitoring process. Therefore, the user can monitor the monitoring situation in real time through the provided image and sound data.

여기서 대리체험 계약에 체결 과정에서 감시활동에 사용되는 카메라의 형태는 다양한 옵션을 포함할 수 있다. 예를 들어 카메라는 이동형 또는 고정형 카메라, 실내 또는 실외 카메라, 실외에서 동작하는 경우, 그 시기가 하절기 또는 동절기일 수 있고, 잠복 또는 비잠복 형태 및 히든 타입 일명 몰래카메라의 형태를 포함할 수 있다. 사용자는 대리체험의 계약체결 과정에서 상기 옵션을 선택할 수 있고, 선택된 옵션에 따라 비용이 다르게 책정될 수 있다.Here, the form of the camera used in surveillance activities in the process of signing the surrogate experience contract may include various options. For example, a camera may be a portable or stationary camera, an indoor or outdoor camera, or when operating outdoors, the time may be summer or winter, and may include latent or non-latent and hidden types of cameras. The user can select the above option in the process of contracting the proxy experience, and the cost can be set differently according to the selected option.

도 2는 본 발명의 일 실시예에 따른 계약 체결 후의 에이전트를 통한 대리체험 시스템의 예시도이다.2 is an exemplary diagram of a surrogate experience system through an agent after contracting according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템은, 사용자 단말(100)에 내장되거나 별도로 연결된 사용자측 증강현실 디바이스 및 에이전트 단말(200)에 내장되거나 별도로 연결된 에이전트측 증강현실 디바이스(즉 에이전트 디바이스)를 포함할 수 있다. 여기서 사용자측 증강현실 디바이스(즉 사용자 디바이스)는 내장형 LCD, 3D 디스플레이장치 및 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 포함할 수 있다. 또한 에이전트측 증강현실 디바이스는 내장형 카메라모듈, 3D 카메라, 360도 카메라 또는 이들의 조합을 포함할 수 있다. 여기서 에이전트 단말(200)은 모바일 단말인 것이 바람직하다.2, a surrogate experience system through an agent according to an exemplary embodiment of the present invention includes a user side augmented reality device embedded in or separately connected to a user terminal 100, and an agent side augmented And may include a real device (i.e., an agent device). The user side augmented reality device (i.e., user device) may include a built-in LCD, a 3D display device, and a head mounted display (HMD). The agent side augmented reality device may also include an embedded camera module, a 3D camera, a 360 degree camera, or a combination thereof. Here, the agent terminal 200 is preferably a mobile terminal.

본 발명의 일 실시예에 따른 대리체험 시스템에 의해 제공되는 대리체험의 예를 들면 다음과 같다. An example of a surrogate experience provided by a surrogate experience system according to an embodiment of the present invention is as follows.

여행 콘텐츠의 에이전트를 통한 대리체험을 위해 사용자는 네트워크에 연결된 그래픽 처리 능력이 높은 컴퓨터로 구현될 수 있는 사용자 단말(100)을 이용하여 이에 연결된 사용자측 증강현실 디바이스(예를 들어, 헤드 마운트 디스플레이 등)를 통해 여행 콘텐츠를 제공받을 수 있다. 그 밖에 사용자는 3D 디스플레이를 통해 3D 영상을 제공받을 수도 있다. 여기서 사용자 단말(100)은 모바일 단말을 통해서 구현될 수도 있다.In order to experience surveillance through agents of travel contents, a user may use a user side augmented reality device (e.g., a head-mounted display or the like) connected thereto by using a user terminal 100 that can be implemented with a computer having high- The travel contents can be provided through the Internet. In addition, users can receive 3D images through the 3D display. Here, the user terminal 100 may be implemented through a mobile terminal.

상기 사용자 단말(100)의 사용자측 증강현실 디바이스와 대응되는 에이전트 단말(200)의 에이전트측 증강현실 디바이스의 예는 다음과 같다. 에이전트 단말(200)은 내장된 2D 카메라 모듈, 에이전트 단말(200)에 연결된 3D 카메라, 360도 카메라 또는 이들의 조합을 포함한 에이전트측 증강현실 디바이스를 이용하여 여행 대리체험의 이벤트를 촬영할 수 있다. 또한, 에이전트 단말(200)은 높은 고도에서의 뷰를 촬영하기 위해 모형 항공기 또는 드론에 탑재된 카메라를 이용할 수 있다. 본 발명의 에이전트 단말(200)은 360도 카메라를 적용하는 것이 더욱 효과적이다.An example of the agent-side augmented reality device of the agent terminal 200 corresponding to the user-side augmented reality device of the user terminal 100 is as follows. The agent terminal 200 can photograph an event of a trip agent experience using the built-in 2D camera module, the 3D camera connected to the agent terminal 200, the 360 degree camera, or the agent side augmented reality device including a combination thereof. In addition, the agent terminal 200 can use a model aircraft or a camera mounted on the drones to photograph a view at a high altitude. It is more effective to apply the 360 degree camera to the agent terminal 200 of the present invention.

도 3은 본 발명의 일 실시예에 따른 대리체험 중계서버를 통한 사용자 단말과 에이전트 단말 사이의 제어과정의 개념을 설명하기 위한 도면이다.3 is a diagram for explaining a concept of a control process between a user terminal and an agent terminal through a proxy experience relay server according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 사용자가 사용자측 증강현실 디바이스를 통해 제어명령을 내리면, 사용자 단말(100)은 상기 제어명령을 네트워크를 통해 대리체험 중계서버(300)로 전송한다. 이때 상기 제어명령은 음성 및 문자를 이용한 에이전트측 증강현실 디바이스의 각종 조작신호 등으로서, 상기 사용자 단말(100)과 에이전트 단말(200)은 제어명령과 제어결과의 처리를 인터랙티브하게 제어할 수 있다.As shown in FIG. 3, when a user issues a control command through the user augmented reality device, the user terminal 100 transmits the control command to the surrogate experience relay server 300 through the network. At this time, the control command is various operation signals of the agent-side augmented reality device using voice and characters, and the user terminal 100 and the agent terminal 200 can interactively control the processing of the control command and the control result.

상기 대리체험 중계서버(300)는 상기 사용자 단말(100)로부터 전송받은 제어명령을 네트워크를 통해 해당 사용자와 계약을 맺은 특정 에이전트 단말(200)로 전송한다.The surrogate experience relay server 300 transmits the control command received from the user terminal 100 to the specific agent terminal 200 contracted with the user through the network.

상기 에이전트 단말(200)은 상기 대리체험 중계서버(300)를 통해 전송받은 상기 사용자 단말(100)의 제어명령을 에이전트가 사용하는 에이전트측 증강현실 디바이스로 전송하여 사용자의 제어명령을 수행하도록 한다.The agent terminal 200 transmits a control command of the user terminal 100 received through the surrogate experience relay server 300 to the agent augmented reality device used by the agent to execute a control command of the user.

상기 에이전트 단말(200)에서 수행한 제어결과, 에이전트측 증강현실 디바이스에서 처리되는 영상 및 음향 데이터는 상기 대리체험 중계서버(300)를 통해 해당 사용자 단말(100)로 전송된다.As a result of the control performed by the agent terminal 200, the image and sound data processed in the agent-side augmented reality device are transmitted to the corresponding user terminal 100 through the surrogate experience relay server 300.

상기 사용자 단말(100)은 상기 대리체험 중계서버(300)를 통해 상기 에이전트 단말(200)로부터 전송받은 제어결과, 영상 및 음향 데이터를 사용자측 증강현실 디바이스를 통해 출력하여, 사용자가 대리체험에 따른 제어결과 및 영상/음향을 확인하도록 한다.The user terminal 100 outputs the control result, image and sound data received from the agent terminal 200 through the surrogate experience relay server 300 through the user side augmented reality device, Results and video / sound.

도 4는 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에서 사용자 단말의 구성을 상세하게 나타낸 블록도이다.4 is a block diagram illustrating a detailed configuration of a user terminal in a surrogate experience system through an agent according to an embodiment of the present invention.

도 4를 참조하면, 상기 사용자 단말(100)은 통신부(110), 스트림 처리부(120), 영상복호화부(130), 데이터처리부(140), 명령처리부(150), 사용자 디바이스 인터페이스부(160) 등으로 구성된다. 이때 상기 스트림 처리부(120), 영상복호화부(130), 데이터처리부(140) 및 명령처리부(150)는 하나의 제어모듈로 통합하여 구성할 수 있다. 그리고 상기 영상복호화부(130)와 데이터처리부(140)는 하나의 미디어데이터처리부로 구성할 수 있다.4, the user terminal 100 includes a communication unit 110, a stream processing unit 120, a video decoding unit 130, a data processing unit 140, an instruction processing unit 150, a user device interface unit 160, . In this case, the stream processing unit 120, the image decoding unit 130, the data processing unit 140, and the command processing unit 150 may be integrated into one control module. The video decoding unit 130 and the data processing unit 140 may be configured as one media data processing unit.

상기 통신부(110)는 네트워크를 통해 대리체험 중계서버(300)에 접속하여 에이전트를 통한 대리체험의 요청 또는 특정 에이전트와의 계약체결에 필요한 정보를 상기 대리체험 중계서버(300)에 전송한다.The communication unit 110 accesses the surrogate experience relay server 300 through the network and transmits information required for a surrogate experience through the agent or a contract with the specific agent to the surrogate experience relay server 300. [

또한 상기 통신부(110)는 대리체험 중계서버(300)를 통해 에이전트 단말(200) 및 에이전트측 증강현실 디바이스를 직접 제어할 수 있는 제어신호를 전송한다. 이때 직접 제어할 수 있는 제어신호는 에이전트측 증강현실 디바이스의 줌업 또는 줌아웃 제어, 회전 가능한 형태의 카메라의 방향 제어 등을 포함한 제어신호이다.Also, the communication unit 110 transmits a control signal for directly controlling the agent terminal 200 and the agent-side augmented reality device through the surrogate experience relay server 300. [ At this time, the control signal that can be directly controlled is a control signal including a zoom-up or zoom-out control of the agent side augmented reality device, and a direction control of the rotatable type camera.

또한 상기 통신부(110)는 대리체험 중계서버(300)를 통해 에이전트 단말(200) 및 에이전트측 증강현실 디바이스를 간접 제어할 수 있는 제어신호를 상기 에이전트 단말(200)로 전송할 수 있다. 이때 간접 제어할 수 있는 제어신호는 사용자 단말(100)에서 에이전트 단말(200) 또는 에이전트측 증강현실 디바이스를 제어하기 위한 음성 또는 문자형식의 제어신호 등을 의미하는 것으로서, 예를 들어 상기 사용자 단말(100)에서 에이전트 단말(200)로 특정 방향으로 이동하도록 요구하면 상기 에이전트 단말(200)은 상기 사용자 단말(100)로부터 전송받은 음성 및 문자형식의 제어신호를 인식한 후, 인식된 사용자의 명령을 화면상에 표시하여 에이전트 단말(200)을 소지한 에이전트가 사용자가 요구한 명령을 인식하고 특정 방향으로 이동하도록 한다. 여기서 에이전트가 인공 지능을 갖는 로봇에 해당하는 경우, 상기 로봇은 음성 및 문자를 인식하여 사용자 요구에 대응할 수 있다.Also, the communication unit 110 may transmit a control signal to the agent terminal 200 to indirectly control the agent terminal 200 and the agent-side augmented reality device through the surrogate experience relay server 300. At this time, the indirectly controllable control signal means a voice or character type control signal for controlling the agent terminal 200 or the agent side augmented reality device in the user terminal 100. For example, 100 to the agent terminal 200, the agent terminal 200 recognizes the control signal of the voice and character format transmitted from the user terminal 100, and then transmits the recognized user's command So that the agent having the agent terminal 200 recognizes the instruction requested by the user and moves in a specific direction. Here, when the agent corresponds to a robot having artificial intelligence, the robot recognizes voice and characters and can respond to a user request.

또한 상기 통신부(110)는 네트워크를 통해 상기 대리체험 중계서버(300)로부터 에이전트 단말(200)에서 전송하는 대리체험의 콘텐츠에 관한 스트리밍 신호(즉 에이전트측 증강현실 디바이스에서 처리되는 영상 및 음향의 미디어데이터)를 수신한다.Also, the communication unit 110 receives streaming signals related to the content of the surrogate experience transmitted from the surrogate experience relay server 300 through the network, that is, the video and sound media processed in the agent- Data).

즉 상기 통신부(110)는 사용자와 원격의 에이전트 사이에서 제어명령과 미디어데이터의 송수신을 처리하는 역할을 수행한다.That is, the communication unit 110 performs processing of transmitting and receiving control commands and media data between a user and a remote agent.

상기 스트림 처리부(120)는 상기 대리체험 중계서버(300)를 통해 에이전트 단말(200)과 제어명령의 전송, 영상 및 음향 데이터와 관련된 스트리밍 신호의 수신을 처리하는 부분으로서, 스트리밍 신호 형태로 수신되는 영상 및 음향 데이터의 동기를 맞추기 위한 스트림 동기부와 사용자 디바이스 인터페이스부(160)를 통해 입력되는 제어명령을 스트리밍 신호로 변환하여 출력하기 위한 스트림 분리부를 포함한다.The stream processing unit 120 is a unit that processes reception of streaming signals related to transmission of control commands and video and audio data with the agent terminal 200 through the surrogate experience relay server 300, And a stream separator for converting a control command input through the user device interface unit 160 into a streaming signal for synchronizing video and audio data and outputting the streaming signal.

또한 상기 스트림 처리부(120)는 사용자 디바이스 인터페이스부(160)를 통해 사용자가 입력하는 에이전트 단말(200) 또는 에이전트측 증강현실 디바이스의 구동제어를 위한 제어명령을 스트리밍 신호로 변환한 다음 상기 통신부(110)를 통해 상기 대리체험 중계서버(300)로 전송하여 에이전트 단말(200)에서 상기 제어명령을 수신하도록 한다.The stream processing unit 120 converts a control command for driving control of the agent terminal 200 or the agent augmented reality device input by the user into a streaming signal through the user device interface unit 160, To the surrogate experience relay server 300 to receive the control command from the agent terminal 200.

이때 상기 제어명령은 카메라의 줌인/줌아웃, 360도 카메라의 방향설정 등과 같이 에이전트측 증강현실 디바이스 구동과 관련된 제어신호이다. 일 예로서, 사용자가 HMD를 착용하고 있는 경우 사용자의 눈동자 움직임 및 머리 움직임을 감지하는 센서를 통해 사용자의 눈동자 및 머리의 움직임을 파악하고 파악된 움직임에 맞게 에이전트 단말(200)에 연결된 카메라의 줌인/줌아웃 및 방향을 제어할 수 있는데, 이러한 카메라 제어기능은 사용자 단말(100) 및 에이전트 단말(200)에 공통으로 인스톨된 전용의 애플리케이션을 통한 대리체험 중계서버(300)의 웹애플리케이션 서비스에 의해 실현될 수 있다.At this time, the control command is a control signal related to driving the agent side augmented reality device such as zooming in / out of the camera, direction setting of the 360 degree camera, and the like. For example, when the user wears an HMD, the user can grasp the movement of the eyes of the user and the head through the sensor for detecting the pupil movement and the head movement of the user, The camera control function can be realized by the web application service of the surrogate experience relay server 300 through a dedicated application commonly installed in the user terminal 100 and the agent terminal 200 .

한편, 상기 제어명령은 대리체험 중계서버(300)가 P2P(Peer-to-Peer) 서비스를 제공하는 경우 대리체험 중계서버(300)의 중계없이 사용자 단말(100)과 에이전트 단말(200) 간에 직접적으로 송수신될 수 있다. 즉 상기 대리체험 중계서버(300)에서 상기 사용자 단말(100)과 상기 에이전트 단말(200)을 P2P로 연결하여 서로 인터랙티브하게 연동하도록 지원하는 것이다.Meanwhile, when the surrogate experience relay server 300 provides a peer-to-peer (P2P) service, the control command is transmitted directly between the user terminal 100 and the agent terminal 200 without relaying the surrogate experience relay server 300 Lt; / RTI > That is, the surrogate experience relay server 300 connects the user terminal 100 and the agent terminal 200 in a P2P manner and supports them to interactively interact with each other.

또한 상기 스트림 처리부(120)는 대리체험 중계서버(300)를 통해 특정 에이전트 단말(200)로부터 전송받은 스트리밍 신호를 영상 및 음향 데이터로 분리한 다음, 영상복호화부(130) 및 데이터처리부(140)로 각각 출력한다.The stream processing unit 120 separates the streaming signal received from the specific agent terminal 200 through the surrogate experience relay server 300 into video and audio data and then outputs the video and audio data to the video decoding unit 130 and the data processing unit 140, Respectively.

상기 영상복호화부(130)는 상기 스트림 처리부(120)로부터 입력되는 특정 에이전트 단말(200)로부터 수신한 영상 데이터를 복호화하고, 복호화된 영상 데이터를 사용자 디바이스 인터페이스부(160)로 출력하여 사용자측 증강현실 디바이스를 통해 영상이 재생되도록 한다.The image decoding unit 130 decodes the image data received from the specific agent terminal 200 input from the stream processing unit 120 and outputs the decoded image data to the user device interface unit 160, So that an image is reproduced through the device.

상기 데이터처리부(140)는 상기 스트림 처리부(120)로부터 입력되는 특정 에이전트 단말(200)로부터 수신한 음향 데이터를 신호처리하고, 신호처리된 음향 데이터를 사용자 디바이스 인터페이스부(160)로 출력하여 사용자측 증강현실 디바이스를 통해 음향을 출력하도록 한다.The data processing unit 140 processes the sound data received from the specific agent terminal 200 input from the stream processing unit 120 and outputs the processed sound data to the user device interface unit 160, Thereby outputting sound through the real device.

상기 명령처리부(150)는 사용자 디바이스 인터페이스부(160)로부터 입력되는 사용자의 조작에 의한 제어신호를 제어명령으로 변환하고, 변환한 제어명령을 스트림 처리부(120)로 출력한다.The command processing unit 150 converts a control signal input from the user device interface unit 160 into a control command, and outputs the control command to the stream processing unit 120.

상기 사용자 디바이스 인터페이스부(160)는 키보드, 터치스크린, 터치 패드, 마이크로폰, 조이스틱 등을 포함하고, 사용자의 조작을 토대로 특정 에이전트를 통한 대리체험의 청약에 필요한 정보를 입력받으며, 에이전트 단말(200) 및 에이전트측 증강현실 디바이스를 원격에서 제어하기 위한 제어명령을 입력받는다. 예를 들어, 키보드, 터치스크린 등을 통해 입력되는 문자 메시지, 마이크로폰을 통해 입력되는 사용자 음성 메시지 등을 명령처리부(140)를 통해 제어명령으로 변환한 다음 에이전트 단말(200)에 전송할 수 있으며, 조이스틱의 움직임에 따른 입력 데이터를 명령처리부(140)를 통해 카메라 제어명령으로 변환한 다음 에이전트 단말(200)에 전송할 수 있다.The user device interface unit 160 includes a keyboard, a touch screen, a touch pad, a microphone, a joystick, etc., receives information necessary for subscription experience through a specific agent based on a user's operation, And a control command for remotely controlling the agent-side augmented reality device. For example, a text message input through a keyboard, a touch screen, or the like, a user voice message input through a microphone may be converted into a control command through the command processing unit 140 and then transmitted to the agent terminal 200, Can be converted into a camera control command through the command processing unit 140, and then transmitted to the agent terminal 200.

또한 상기 사용자 디바이스 인터페이스부(160)는 에이전트측 증강현실 디바이스에서 촬영된 영상 데이터에 대한 스트리밍 신호를 대리체험 중계서버(300)로부터 전송받은 후, 영상복호화부(130)를 통해 복호화한 다음 화면상에 출력할 수 있다. 이때 상기 사용자 디바이스 인터페이스부(160)는 사용자 단말(100)과 에이전트 단말(200) 사이에 송수신되는 문자메시지 등을 표시할 수 있다. 예를 들어, 상기 문자 메시지는 HMD로 구현되는 디스플레이장치(130)를 통해 표시되는 영상 위에 증강현실 형태로 오버레이 될 수 있다.In addition, the user device interface unit 160 receives the streaming signal for the image data photographed by the agent-side augmented reality device from the surrogate experience relay server 300, decodes the streaming signal through the image decoding unit 130, . At this time, the user device interface unit 160 may display a text message transmitted or received between the user terminal 100 and the agent terminal 200. For example, the text message may be overlaid on an image displayed through a display device 130 implemented as an HMD in the form of an augmented reality.

또한 상기 사용자 디바이스 인터페이스부(160)는 스피커, 헤드셋 등을 포함할 수 있으며, 에이전트측 증강현실 디바이스에서 처리된 음향 데이터를 대리체험 중계서버(300)로부터 전송받은 후, 데이터처리부(140)를 통해 신호처리한 다음 스피커, 헤드셋 등을 통해 출력한다.Also, the user device interface unit 160 may include a speaker, a headset, and the like. The agent-side AR server 300 receives the acoustic data processed by the agent-side augmented reality device from the surrogate experience relay server 300, Signal processing, and then output through a speaker, a headset, or the like.

도 5는 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에서 에이전트 단말의 구성을 상세하게 나타낸 블록도이다.5 is a block diagram showing in detail the configuration of an agent terminal in a proxy experience system through an agent according to an embodiment of the present invention.

도 5를 참조하면, 상기 에이전트 단말(200)은 통신부(210), 스트림 처리부(220), 영상부호화부(230), 데이터처리부(240), 명령처리부(250), 에이전트 디바이스 인터페이스부(260) 등으로 구성된다. 이때 상기 스트림 처리부(220), 영상부호화부(230), 데이터처리부(240) 및 명령처리부(250)는 하나의 제어모듈로 통합하여 구성할 수 있다. 그리고 상기 영상복호화부(230)와 데이터처리부(240)는 하나의 미디어데이터처리부로 구성할 수 있다.5, the agent terminal 200 includes a communication unit 210, a stream processing unit 220, an image coding unit 230, a data processing unit 240, an instruction processing unit 250, an agent device interface unit 260, . In this case, the stream processing unit 220, the image encoding unit 230, the data processing unit 240, and the command processing unit 250 may be integrated into one control module. The video decoding unit 230 and the data processing unit 240 may be configured as one media data processing unit.

상기 에이전트 단말(200)은 내장된 카메라 또는 에이전트 단말(200)과 연결된 에이전트측 증강현실 디바이스를 이용하여 대리체험 이벤트에 대한 음성 및 음향 데이터를 사용자 단말(100)로 제공할 수 있다. 에이전트측 증강현실 디바이스는 각종 카메라로 구성되는 것이 일반적이며, 에이전트 단말(200)에 유선으로 연결되거나, 에이전트 단말(200)과 무선통신 특히 블루투스 통신을 수행할 수 있다.The agent terminal 200 can provide voice and sound data for the surveillance experience event to the user terminal 100 using the built-in camera or the agent-side augmented reality device connected to the agent terminal 200. [ The agent-side augmented reality device is generally constituted by various cameras and may be connected to the agent terminal 200 by wire or may perform wireless communication with the agent terminal 200, in particular, Bluetooth communication.

예를 들어 에이전트측 증강현실 디바이스는 2D 카메라, 3D 카메라, 360도 카메라, 모형 항공기 또는 드론에 탑재되는 카메라 등을 포함한다. 여기서 360도 카메라는 여행의 대리체험 이벤트에 대한 촬영 용도로 적합하다. 360도 카메라는 에이전트가 착용하는 헬멧 위에 장착될 수 있다. 에이전트가 소지하고 있는 카메라의 이동을 사용자 단말(100)이 직접 제어할 수는 없으나 카메라의 줌인/줌아웃 및 360도 카메라의 회전은 사용자 단말(100)에 의해 직접 제어될 수 있다. 그리고 에이전트 단말(200)이 인공 지능을 갖는 로봇에 해당하는 경우, 상기 로봇은 사용자 단말(100)의 직접 제어 대상이 될 수 있다. 에이전트가 소지한 에이전트 단말(200)은 에이전트에게 음성 또는 문자를 통해 그 의미를 인식시킴으로써 간접 제어의 대상이 될 수 있다. 마찬가지로 에이전트 자체도 간접 제어의 대상이 될 수 있다. 사용자는 에이전트의 특별한 행동을 요구할 수 있다.For example, the agent-side augmented reality device includes a 2D camera, a 3D camera, a 360-degree camera, a model aircraft, or a camera mounted on a drones. Here, the 360-degree camera is suitable for photographing a surveillance event of a trip. The 360 degree camera can be mounted on the helmet worn by the agent. The user terminal 100 can not directly control the movement of the camera possessed by the agent, but the zoom in / out of the camera and the rotation of the 360 degree camera can be directly controlled by the user terminal 100. [ If the agent terminal 200 corresponds to a robot having artificial intelligence, the robot can be directly controlled by the user terminal 100. The agent terminal 200 possessed by the agent can be subjected to indirect control by recognizing the meaning of the agent through voice or text. Similarly, the agent itself can be subject to indirect control. The user may require special actions of the agent.

상기 통신부(210)는 에이전트가 입력하는 사용자의 대리체험 요청에 따른 대리체험의 승낙 또는 대리체험의 청약에 필요한 정보를 상기 대리체험 중계서버(300)로 전송한다.The communication unit 210 transmits to the surrogate experience relay server 300 information necessary for acceptance of a surrogate experience or subscription experience according to a surrogate experience request of a user input by an agent.

또한 상기 통신부(210)는 네트워크를 통해 상기 대리체험 중계서버(300)로부터 사용자 단말(100)에서 전송하는 제어명령에 관한 스트리밍 신호(즉 에이전트 단말(200) 또는 에이전트측 증강현실 디바이스의 구동에 대한 제어신호)를 수신하며, 대리체험의 콘텐츠에 관한 스트리밍 신호(즉 에이전트측 증강현실 디바이스에서 처리되는 영상 및 음향의 미디어데이터)를 상기 대리체험 중계서버(300)를 통해 사용자 단말(100)로 전송한다. 즉 상기 통신부(210)는 에이전트와 원격의 사용자 사이에서 제어명령과 미디어데이터의 송수신을 처리하는 것이다.Also, the communication unit 210 may receive a streaming signal (that is, a signal for driving the agent terminal 200 or the agent side augmented reality device) related to a control command transmitted from the surrogate experience relay server 300 via the network from the user terminal 100 And transmits the streaming signal (i.e., the video and audio media data processed in the agent side augmenting reality device) to the user terminal 100 via the surrogate experience relay server 300 do. That is, the communication unit 210 processes transmission and reception of control commands and media data between the agent and the remote user.

상기 스트림 처리부(220)는 상기 대리체험 중계서버(300)를 통해 상기 사용자 단말(100)과 제어명령의 수신, 영상 및 음향 데이터와 관련된 스트리밍 신호의 송신을 처리하는 부분으로서, 상기 통신부(210)를 통해 수신한 스트리밍 신호에서 제어명령을 파싱하기 위한 스트림 파서부와 에이전트 디바이스 인터페이스부(260)를 통해 입력되는 영상 및 음향 데이터를 분리하여 스트리밍 신호로 전송하기 위한 스트림 분리부를 포함한다.The stream processing unit 220 is a part for processing the reception of the control command and the transmission of the streaming signal related to the video and audio data with the user terminal 100 through the surrogate experience relay server 300, And a stream separator for separating the video and audio data input through the agent device interface unit 260 for streaming the control command from the streaming signal received through the agent device interface unit 260.

또한 상기 스트림 처리부(220)는 영상부호화부(230) 및 데이터처리부(240)를 통해 각각 부호화 및 신호처리한 에이전트측 증강현실 디바이스에서 촬영하거나 수집한 영상 및 음향 데이터를 스트리밍 신호로 변환한 다음, 상기 변환한 스트리밍 신호를 상기 통신부(210)를 통해 상기 대리체험 중계서버(300)로 전송하여 특정 사용자 단말(100)에서 대리체험에 관련된 영상 및 음향 데이터를 수신하여 재생할 수 있도록 한다.The stream processing unit 220 converts the image and sound data captured or collected by the agent side augmented reality device, which has been encoded and signal processed through the image encoding unit 230 and the data processing unit 240, into a streaming signal, And transmits the converted streaming signal to the surrogate experience relay server 300 through the communication unit 210 so that the specific user terminal 100 can receive and reproduce video and audio data related to the surrogate experience.

또한 상기 스트림 처리부(220)는 상기 대리체험 중계서버(300)를 통해 특정 사용자 단말(100)로부터 전송받은 스트리밍 신호에서 제어명령을 파싱하고, 파싱한 제어명령을 명령처리부(250)로 출력한다.The stream processing unit 220 parses the control command in the streaming signal transmitted from the specific user terminal 100 through the surrogate experience relay server 300 and outputs the parsed control command to the command processing unit 250.

상기 영상부호화부(230)는 상기 에이전트 디바이스 인터페이스부(260)를 통해 입력되는 에이전트측 증강현실 디바이스에서 촬영한 영상 데이터를 부호화하고, 부호화된 영상 데이터를 스트림 처리부(220)로 출력한다.The image encoding unit 230 encodes the image data captured by the agent-side augmented reality device input through the agent device interface unit 260, and outputs the encoded image data to the stream processing unit 220.

상기 데이터처리부(240)는 상기 에이전트 디바이스 인터페이스부(260)를 통해 입력되는 에이전트측 증강현실 디바이스에서 수집한 음향 데이터를 신호처리하고, 신호처리된 음향 데이터를 스트림 처리부(220)로 출력한다.The data processing unit 240 processes the sound data collected by the agent side augmented reality device input through the agent device interface unit 260 and outputs the processed sound data to the stream processing unit 220.

상기 명령처리부(250)는 스트림 처리부(220)로부터 입력되는 사용자의 조작에 의한 제어명령을 확인하고, 상기 확인된 제어명령을 에이전트 디바이스 인터페이스부(260)로 출력하여 상기 제어명령을 토대로 에이전트측 증강현실 디바이스의 구동을 제어하도록 한다.The command processing unit 250 confirms a control command based on a user's operation input from the stream processing unit 220 and outputs the confirmed control command to the agent device interface unit 260, Thereby controlling the driving of the real device.

상기 에이전트 디바이스 인터페이스부(260)는 상기 사용자 디바이스 인터페이스부(160)와 마찬가지로 키보드, 터치스크린, 마이크로폰 등의 공지된 모든 형태의 입출력장치를 포함하며. 에이전트가 입력하는 특정 사용자의 요청에 따른 대리체험의 승낙 또는 청약에 필요한 정보를 입력받는다.Like the user device interface unit 160, the agent device interface unit 260 includes all known types of input / output devices such as a keyboard, a touch screen, and a microphone. The agent receives information on acceptance or subscription of a substitute experience according to a request of a specific user input by the agent.

또한 상기 에이전트 디바이스 인터페이스부(260)는 상기 대리체험 중계서버(300)를 통해 상기 사용자 단말(100)로부터 에이전트 단말(200) 및 에이전트측 증강현실 디바이스의 제어명령을 입력받으며, 에이전트측 증강현실 디바이스에 처리하는 영상 및 음향 데이터를 실시간으로 획득하여 상기 대리체험 중계서버(300)를 통해 해당 사용자 단말(100)로 제공하도록 한다.The agent device interface unit 260 receives the control commands of the agent terminal 200 and the agent side augmented reality device from the user terminal 100 through the proxy experience relay server 300, And provides the acquired image and sound data to the corresponding user terminal 100 through the surrogate experience relay server 300 in real time.

또한 상기 에이전트 디바이스 인터페이스부(260)는 사용자 단말(100)이 전송하는 제어명령을 에이전트 단말(200)상에 표시하거나, 에이전트 단말(200)에 연결된 에이전트측 증강현실 디바이스를 통해 오버레이 형태로 표시할 수 있다. The agent device interface unit 260 may display a control command transmitted by the user terminal 100 on the agent terminal 200 or may display the agent control command in the form of an overlay through an agent side augmented reality device connected to the agent terminal 200 .

또한 상기 에이전트 디바이스 인터페이스부(260)는 스피커, 헤드셋 등을 포함할 수 있으며, 상기 사용자 단말(100)로부터 전송받은 제어명령을 스피커, 헤드셋 등을 통해 출력함으로써, 에이전트가 해당 제어명령을 확인하여 에이전트측 증강현실 디바이스의 조작을 수행할 수 있도록 한다.The agent device interface unit 260 may include a speaker, a headset, and the like, and outputs the control command received from the user terminal 100 through a speaker, a headset, etc., Side augmented reality device.

도 6은 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 시스템에서 대리체험 중계서버의 구성을 상세하게 나타낸 블록도이다.6 is a block diagram showing in detail the configuration of a surrogate experience relay server in a surrogate experience system through an agent according to an embodiment of the present invention.

도 6을 참조하면, 상기 대리체험 중계서버(300)는 계약 체결부(310), 인명 관리부(320), 과금 처리부(330), 가상화부(340), 통신부(350), 동기 제어부(360), 로컬 버퍼(370) 등으로 구성된다.6, the surrogate experience relay server 300 includes a contract signing unit 310, a name management unit 320, a billing processing unit 330, a virtualization unit 340, a communication unit 350, a synchronization control unit 360, A local buffer 370, and the like.

상기 계약 체결부(310)는 에이전트를 통한 대리체험의 서비스를 요청한 사용자 단말(100)과 이를 수락하는 에이전트 단말(200)을 서로 연결시켜 계약을 체결시킨다. 즉 상기 계약 체결부(310)는 상기 사용자 단말(100) 및 에이전트 단말(200)에 인스톨된 전용의 애플리케이션과 연동하여 상기 사용자 단말(100) 및 에이전트 단말(200)을 통해 입력되는 정보를 토대로 사용자와 에이전트 사이의 계약을 체결하는 것이다.The contract concluding unit 310 concludes the contract by connecting the user terminal 100 requesting the service of the proxy experience through the agent and the agent terminal 200 accepting the proxy. That is to say, the contract concluding unit 310 concurrently operates with the exclusive application installed in the user terminal 100 and the agent terminal 200, and transmits the information to the user terminal 100 and the agent terminal 200 based on the information input through the user terminal 100 and the agent terminal 200, And contracts between the agents.

상기 인명 관리부(320)는 사용자 관리부(321)와 에이전트 관리부(322)로 구성된다.The personal name management unit 320 includes a user management unit 321 and an agent management unit 322.

상기 사용자 관리부(321)는 에이전트를 통한 대리체험을 요청한 상기 사용자 단말(100)로부터 사용자의 프로파일을 입력받고 이를 저장 및 관리한다. 또한 사용자 관리부(321)는 사용자의 서비스 이용에 관한 이력을 저장 및 관리할 수 있다.The user management unit 321 receives the profile of the user from the user terminal 100 requesting the surrogate experience through the agent, stores and manages the profile of the user. Also, the user management unit 321 can store and manage the history of the user's service use.

상기 에이전트 관리부(322)는 에이전트를 통한 대리체험의 콘텐츠를 제공할 에이전트 단말(200)로부터 에이전트의 프로파일을 입력받고 이를 저장 및 관리한다. 또한 에이전트 관리부(322)는 서비스에 관한 콘텐츠를 제공한 이력을 저장 및 관리할 수 있다.The agent management unit 322 receives the profile of the agent from the agent terminal 200 to provide the proxy experience through the agent, stores and manages the profile of the agent. Also, the agent management unit 322 can store and manage a history of providing contents related to the service.

상기 과금 처리부(330)는 에이전트를 통한 대리체험을 이용하는 각 사용자로부터 대리체험 제공에 대한 비용을 처리하고, 비용정산 결과에 따른 수익금을 해당 대리체험에 관한 콘텐츠를 제공한 에이전트에게 제공하는 기능을 수행한다. 이때 대리체험 제공에 따른 과금처리는 계좌이체, 카드결제, 사이버머니 등 공지되어 있는 모든 형태의 결제수단을 적용할 수 있음은 물론이다.The billing processing unit 330 processes the fee for providing the proxy experience from each user who uses the proxy experience through the agent and provides the agent who provides the content related to the proxy experience with the profit according to the result of the cost settlement do. At this time, it is needless to say that any known payment means such as account transfer, card settlement, cyber money, etc. can be applied to the billing process according to the provision of the proxy experience.

상기 가상화부(340)는 데이터를 송수신하는 상기 사용자 단말(100)과 상기 에이전트 단말(200)을 가상으로 설정하여 상기 사용자 단말(100)과 상기 에이전트 단말(200)이 대리체험과 관련된 미디어데이터와 에이전트측 증강현실 디바이스의 구동을 위한 제어명령을 송수신하도록 하는 기능을 수행하는 부분으로서, 가상 사용자 단말(341)과 가상 에이전트 단말(342)로 구성된다. 즉 에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 사용자와 에이전트 사이의 미디어데이터와 제어명령을 중계하는 것이다.The virtualization unit 340 virtualizes the user terminal 100 and the agent terminal 200 transmitting and receiving data so that the user terminal 100 and the agent terminal 200 receive media data related to the surrogate experience And a virtual user terminal 341 and a virtual agent terminal 342. The virtual user terminal 341 and the virtual agent terminal 342 communicate with each other via a network. That is, the media data and the control command between the user and the agent are relayed so that the user perceives the experience of the agent as his own experience.

상기 가상 사용자 단말(341)은 에이전트 단말(200)로부터 수신한 미디어데이터를 사용자 단말(100)로 중계하고, 상기 사용자 단말(100)로부터 수신한 명령을 상기 에이전트 단말(200)로 중계하는 기능을 수행한다.The virtual user terminal 341 relays the media data received from the agent terminal 200 to the user terminal 100 and relays the command received from the user terminal 100 to the agent terminal 200 .

상기 가상 에이전트 단말(342)은 사용자 단말(100)로부터 수신한 명령을 에이전트 단말(200)로 중계하고, 상기 에이전트 단말(200)로부터 수신한 미디어데이터를 상기 사용자 단말(100)로 중계하는 기능을 수행한다.The virtual agent terminal 342 relays the command received from the user terminal 100 to the agent terminal 200 and relays the media data received from the agent terminal 200 to the user terminal 100 .

통신부(350)는 상기 에이전트 단말(200)로부터 에이전트를 통한 대리체험의 이벤트 과정에서 카메라 및 마이크로폰에 의해 획득된 영상 및 음향의 데이터를 전송받아 대리체험 콘텐츠의 스트리밍 신호를 사용자 단말(100)에 전송한다.The communication unit 350 receives the video and audio data acquired by the camera and the microphone in the event process of the proxy experience through the agent from the agent terminal 200 and transmits the streaming signal of the proxy experience contents to the user terminal 100 do.

또한 상기 통신부(350)는 상기 사용자 단말(100)로부터 특정 에이전트 단말(200)이나 에이전트측 증강현실 디바이스의 구동을 제어하기 위한 제어명령을 수신받아 해당 에이전트 단말(200)로 전송한다.The communication unit 350 receives a control command for controlling the operation of the specific agent terminal 200 or the agent augmented reality device from the user terminal 100 and transmits the control command to the corresponding agent terminal 200.

동기 제어부(360)는 상기 사용자 단말(100)과 상기 에이전트 단말(200) 사이에서 스트리밍 형태로 송수신되는 대리체험과 관련된 미디어데이터(즉 영상 및 음향 데이터)와 상기 미디어데이터를 생산하는 에이전트측 증강현실 디바이스의 구동을 위한 제어명령 간의 동기가 맞지 않는 경우, 상기 미디어데이터와 제어명령에 대한 동기화를 제어하는 기능을 수행한다. 즉 상기 동기 제어부(360)를 통한 동기화를 토대로 사용자가 에이전트측 증강현실 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능하도록 하는 것이다.The synchronization control unit 360 receives media data (i.e., video and audio data) related to the surrogate experience transmitted and received in a streaming form between the user terminal 100 and the agent terminal 200 and an agent- And controls the synchronization of the media data and the control command when the synchronization between the control commands for driving the device is not matched. That is, it is possible for the user to remotely and interactively control the agent-side augmented reality device based on synchronization through the synchronization control unit 360. [

로컬 버퍼(370)는 상기 동기 제어부(360)에서 동기화를 수행하는 미디어데이터와 제어명령을 일시 저장하는 기능을 수행한다.The local buffer 370 temporarily stores media data and control commands to be synchronized in the synchronization control unit 360. [

다음에는, 이와 같이 구성된 본 발명에 따른 에이전트를 통한 대리체험 방법의 일 실시예를 도 7을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.Hereinafter, an embodiment of a proxy experience method using the agent according to the present invention will be described in detail with reference to FIG. At this time, each step according to the method of the present invention may be changed in the use environment or the order by a person skilled in the art.

도 7은 본 발명의 일 실시예에 따른 에이전트를 통한 대리체험 방법의 동작과정을 상세하게 나타낸 흐름도이다.FIG. 7 is a flowchart illustrating in detail an operation procedure of a proxy experience method using an agent according to an embodiment of the present invention.

도 7을 참조하면, 상기 사용자 단말(100) 및 에이전트 단말(200)은 대리체험 중계서버(300)에 접속하여 사용자 및 에이전트의 회원가입 단계를 수행한다(S10). 여기서 상기 에이전트 단말(200)의 주체가 대리체험 중계서버(300)의 주체와 동일한 경우 에이전트 단말(200)의 S10 단계의 수행은 대리체험 중계서버(300)가 수행할 수 있다.Referring to FIG. 7, the user terminal 100 and the agent terminal 200 access the surrogate experience relay server 300 and perform a registration step of the user and the agent (S10). If the subject of the agent terminal 200 is the same as the subject of the surrogate experience relay server 300, the surrogate experience relay server 300 can perform the step S10 of the agent terminal 200. [

상기 S10 단계의 회원가입 이후, 상기 사용자 단말(100) 및 에이전트 단말(200)은 대리체험 중계서버(300)에 접속한 상태에서 에이전트를 통한 대리체험의 애플리케이션을 각각 다운로드 받아 이를 인스톨한다(S20).After the subscription in step S10, the user terminal 100 and the agent terminal 200 download and install the proxy experience application through the agent while accessing the proxy experience relay server 300, respectively (step S20) .

상기 S20 단계의 애플리케이션 인스톨 이후, 상기 에이전트 단말(200)은 자신의 위치정보를 대리체험 중계서버(300)에 전송한다(S30). 이때 상기 에이전트 단말(200)의 위치정보는 상기 사용자 단말(100)에서 지리적으로 가까운 에이전트 단말(200)로부터 대리체험의 콘텐츠를 공급받는 경우에 참고될 수 있다.After installing the application of step S20, the agent terminal 200 transmits its location information to the surrogate experience relay server 300 (S30). At this time, the location information of the agent terminal 200 may be referred to when the content of the surrogate experience is supplied from the agent terminal 200, which is geographically close to the user terminal 100.

상기 S30 단계를 통해 위치 정보를 대리체험 중계서버(300)로 전송한 이후, 상기 사용자 단말(100)은 대리체험 중계서버(300)에 에이전트를 통한 대리체험의 청약을 하고(S40), 에이전트 단말(200)은 상기 청약에 대해 승낙(S50)을 통해 계약을 체결한다. 상술하였듯이 상기 청약 및 승낙의 주체는 서로 바뀔 수 있다.After transmitting the location information to the surrogate experience relay server 300 through the step S30, the user terminal 100 subscribes to the surrogate experience relay server 300 through the agent (step S40) (200) concludes a contract through the acceptance (S50) for the subscription. As described above, the subjects of the subscription and acceptance may be mutually changed.

또한 상기 S40 단계 및 S50 단계의 대리체험의 계약체결 과정에서 대리체험의 종류, 단계 및 시간이 결정될 수 있다. 예를 들어 대리체험의 종류로는 여행 대리체험이, 대리체험의 단계로는 출국 과정은 제외되고 현지 도착 이후의 과정이 포함되는 것으로, 그리고 대리체험의 시간으로는 시간대 별로 선택되어 하루 총 6시간 분량으로 결정될 수 있다.In addition, the types, steps, and times of the surrogate experience can be determined in the process of contracting the surrogate experience at steps S40 and S50. For example, as a type of surrogate experience, there is a travel surrogate experience. As a surrogate experience stage, the departure process is excluded and the process after arrival is included. And as a surrogate experience time, And the like.

이제, 상기 S40 단계 및 S50 단계의 대리체험의 계약체결을 토대로 상기 계약의 조건에 따라 에이전트를 통한 대리체험의 서비스가 시작된다. 즉 상기 에이전트 단말(200)은 대리체험의 종류에 따라 해당 지역에서 촬영된 비디오 및 오디오 콘텐츠를 대리체험 중계서버(300)에 전송한다(S60).Now, the service of the surrogate experience through the agent is started according to the condition of the contract based on the contract of the surrogate experience of the steps S40 and S50. That is, the agent terminal 200 transmits the video and audio contents photographed in the corresponding area to the surrogate experience relay server 300 according to the type of surrogate experience (S60).

그러면 상기 대리체험 중계서버(300)는 상기 에이전트 단말(200)로부터 스트리밍 형태로 수신되는 미디어데이터를 해당 사용자 단말(100)로 전송한다(S70).Then, the surrogate experience relay server 300 transmits the media data received in the streaming form from the agent terminal 200 to the corresponding user terminal 100 (S70).

이에 따라 상기 사용자 단말(100)은 사용자측 증강현실 디바이스를 통해 대리체험을 수행할 수 있다. 이 과정에서 상기 사용자 단말(100)은 대리체험의 이벤트 중에 에이전트측 증강현실 디바이스 및 에이전트 단말(200)을 실시간으로 직접 제어하거나, 에이전트 단말(200)을 간접 제어할 수 있다(S80).Accordingly, the user terminal 100 can perform surrogate experience through the user side augmented reality device. In this process, the user terminal 100 can directly control the agent side AR in the event of a surrogate experience in real time or indirectly control the agent terminal 200 in operation S80.

상술하였듯이 직접제어는 제어신호를 통해 카메라 등의 에이전트측 증강현실 디바이스 및 에이전트 단말(200)의 동작을 제어하는 것이다. 간접제어는 제어신호를 통해 제어신호에 포함된 음성 및 문자의 의미를 예를 들어 인공지능 로봇에 해당하는 에이전트 단말(200) 또는 에이전트 단말(200)을 조종하는 에이전트에게 인식시켜 에이전트 단말(200) 또는 에이전트의 구동을 제어하는 것이다. 이 단계에서 사용자는 에이전트에게 특정 행동을 예를 들어 기념품 구입, 음식 메뉴 주문 등을 요구할 수 있다.As described above, the direct control is to control the operation of the agent side augmented reality device such as a camera or the agent terminal 200 through the control signal. Indirect control is performed by recognizing the meaning of the voice and characters included in the control signal through the control signal to the agent terminal 200 corresponding to the artificial intelligent robot or the agent controlling the agent terminal 200, Or to control the driving of the agent. At this stage, the user can ask the agent to purchase specific items such as souvenirs, order food menu, and so on.

이렇게 상기 사용자 단말(100)의 제어명령에 의해 에이전트측 증강현실 디바이스 및 에이전트 단말(200)의 동작을 제어한 이후, 상기 에이전트 단말(200)은 현장에서 획득한 영상 및 음향 데이터를 상기 대리체험 중계서버(300)에 전송하며(S90), 상기 대리체험 중계서버(300)는 상기 에이전트 단말(200)로부터 스트리밍 형태로 수신되는 미디어데이터를 해당 사용자 단말(100)로 전송한다(S100).After controlling the operation of the agent-side augmented reality device and the agent terminal 200 by the control command of the user terminal 100, the agent terminal 200 transmits the image and sound data acquired in the field to the agent- The surrogate experience relay server 300 transmits the media data received in the streaming form from the agent terminal 200 to the corresponding user terminal 100 in operation S100.

최종적으로 에이전트를 통한 대리체험의 서비스가 종료되면, 사용자 단말(100) 및 에이전트 단말(200)은 에이전트를 통한 대리체험의 서비스의 종료를 확인한다(S110).Finally, when the service of the surrogate experience through the agent is terminated, the user terminal 100 and the agent terminal 200 confirm the termination of the surrogate experience service through the agent (S110).

이처럼, 본 발명은 사용자가 에이전트 단말 및 에이전트측 증강현실 디바이스의 구동을 원격으로 제어함으로써 몰입감이 높은 대리체험의 여행을 경험할 수 있다.As described above, the present invention enables a user to experience a tour of a surrogate experience with high immersion feeling by remotely controlling the operation of the agent terminal and the agent-side augmented reality device.

또한, 사용자는 에이전트의 업무 수행을 모니터링 할 수 있고, 에이전트를 통한 대리체험을 통해 직접적인 탐방 없이 부동산 매물을 관찰할 수 있으며, 이동이 가능한 카메라를 이용한 이동체 감시 대리체험을 수행할 수 있다.Also, the user can monitor the performance of the agent's work, observe the real estate sale without directly visiting the agent through the proxy experience through the agent, and perform the mobile agent surveillance experience using the movable camera.

이상으로 본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand the point. Accordingly, the technical scope of the present invention should be determined by the following claims.

100 : 사용자 단말 110 : 통신부
120 : 스트림 처리부 130 : 영상복호화부
140 : 데이터처리부 150 : 명령처리부
160 : 사용자 디바이스 인터페이스부
200 : 에이전트 단말 210 : 통신부
220 : 스트림 처리부 230 : 영상부호화부
240 : 데이터처리부 250 : 명령처리부
260 : 에이전트 디바이스 인터페이스부
300 : 대리체험 중계서버 310 : 계약 체결부
320 : 인명 관리부 330 : 과금 처리부
340 : 가상화부 350 : 통신부
360 : 동기 제어부 370 : 로컬 버퍼
400 : 데이터베이스100: user terminal 110:
120: stream processing unit 130: video decoding unit
140: Data processing unit 150:
160: User device interface unit
200: Agent terminal 210:
220: stream processing unit 230:
240: Data processing unit 250:
260: Agent Device Interface Unit
300: Surrogate Experience Relay Server 310: Contract Contractor
320: Personal name management unit 330:
340: virtualization unit 350: communication unit
360: Synchronization control unit 370: Local buffer
400: Database

Claims (10)

에이전트 디바이스를 이용하여 에이전트의 주변상황을 원격의 사용자에게 전달하기 위한 에이전트 디바이스 인터페이스부;
원격의 사용자와 에이전트 사이에서 제어명령과 미디어데이터를 송수신하는 통신부; 및
사용자 단말로부터 제어명령을 수신하여 상기 에이전트 디바이스를 제어하고, 상기 에이전트 디바이스로부터 전달된 미디어데이터를 상기 사용자 단말에 제공하는 것을 제어하는 에이전트 제어부;를 포함하며,
상기 에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 하는 것을 특징으로 하는 대리체험용 에이전트 단말.An agent device interface unit for transferring the peripheral situation of the agent to a remote user using the agent device;
A communication unit for transmitting and receiving control commands and media data between a remote user and an agent; And
And an agent control unit for receiving the control command from the user terminal and controlling the agent device and providing the media data transferred from the agent device to the user terminal,
And the agent experience is perceived by the user as an experience of the agent. 청구항 1에 있어서,
상기 에이전트 제어부는,
상기 제어명령과 상기 미디어데이터를 스트림으로 처리하는 스트림처리부; 및
상기 에이전트 디바이스 인터페이스부를 통해서 수신되는 미디어데이터를 처리하는 미디어데이터처리부; 및
상기 스트림처리부를 통해서 수신한 제어명령을 에이전트 디바이스 인터페이부를 통해서 에이전트 디바이스를 제어하기 위한 명령처리부;를 포함하는 것을 특징으로 하는 에이전트 단말.The method according to claim 1,
The agent control unit,
A stream processing unit for processing the control command and the media data as a stream; And
A media data processing unit for processing media data received through the agent device interface unit; And
And an instruction processing unit for controlling the agent device through the agent device interface unit in response to the control command received through the stream processing unit. 사용자 디바이스를 이용하여 사용자가 원하는 요구사항을 에이전트에게 전달하기 위한 사용자 디바이스 인터페이스부;
원격의 에이전트와 사용자 사이에서 제어명령과 미디어데이터를 송수신하는 통신부; 및
에이전트 단말로부터 전달된 미디어데이터를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 전달된 제어명령을 상기 에이전트 단말로 제공하는 사용자 제어부;를 포함하며,
상기 에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 하는 것을 특징으로 하는 대리체험용 사용자 단말.A user device interface unit for delivering a request desired by the user to the agent using the user device;
A communication unit for transmitting and receiving control commands and media data between a remote agent and a user; And
And a user control unit for providing the media data transferred from the agent terminal to the user device and providing the control command transferred from the user device to the agent terminal,
The user experience of the agent is perceived by the user as his own experience. 청구항 3에 있어서,
상기 사용자 제어부는,
상기 제어명령과 상기 미디어데이터를 하나의 스트림으로 통합하거나 서로 분리하여 처리하는 스트림처리부; 및
상기 통신부를 통해서 수신되는 미디어데이터를 처리하는 미디어데이터처리부; 및
상기 사용자 디바이스 인터페이스부를 통해서 수신한 제어명령으로 상기 스트림 처리부와 통신부를 통해서 에이전트 디바이스를 제어하기 위한 명령처리부;를 포함하는 것을 특징으로 하는 대리체험용 사용자 단말.The method of claim 3,
The user control unit,
A stream processing unit for merging the control command and the media data into one stream or separately processing the control command and the media data; And
A media data processing unit for processing media data received through the communication unit; And
And a command processor for controlling the agent device through the stream processing unit and the communication unit with the control command received through the user device interface unit. 에이전트 단말로부터 수신한 미디어데이터를 사용자 단말로 중계하고, 상기 사용자 단말로부터 수신한 명령을 상기 에이전트 단말로 중계하는 가상 사용자 단말;
사용자 단말로부터 수신한 명령을 에이전트 단말로 중계하고, 상기 에이전트 단말로부터 수신한 미디어데이터를 상기 사용자 단말로 중계하는 가상 에이전트 단말;을 포함하며,
에이전트의 체험을 사용자가 자신의 체험으로 지각하도록 사용자와 에이전트 사이의 미디어와 명령을 중계하는 것을 특징으로 하는 대리체험 중계 시스템.A virtual user terminal for relaying the media data received from the agent terminal to the user terminal and relaying the command received from the user terminal to the agent terminal;
And a virtual agent terminal for relaying the command received from the user terminal to the agent terminal and for relaying the media data received from the agent terminal to the user terminal,
And relay media and commands between the user and the agent so that the user experiences the experience of the agent as his own experience. 청구항 5에 있어서,
상기 대리체험 중계 시스템은,
상기 사용자 단말과 상기 에이전트 단말 사이의 미디어데이터와 명령에 대한 동기화를 제어하는 동기제어부;를 더 포함하며,
상기 동기화를 통해서 상기 사용자가 상기 에이전트 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능한 것을 특징으로 하는 대리체험 중계 시스템.The method of claim 5,
The surrogate experience relay system comprises:
And a synchronization control unit for controlling synchronization of the media data and the command between the user terminal and the agent terminal,
Wherein the agent is capable of remotely and interactively controlling the agent device through the synchronization. 청구항 5에 있어서,
상기 대리체험 중계 시스템은,
상기 사용자 단말과 상기 에이전트 단말을 P2P(Peer-to-Peer)로 연결하여 서로 인터랙티브하게 연동하도록 지원하는 것을 더 포함하는 것을 특징으로 하는 대리체험 중계 시스템.The method of claim 5,
The surrogate experience relay system comprises:
Further comprising supporting the user terminal and the agent terminal in a peer-to-peer (P2P) manner and interacting with each other interactively. 에이전트 단말에서 사용자 단말로 대리체험을 위한 미디어스트림을 전송하는 단계;
사용자 단말에서 에이전트 단말로 에이전트 디바이스의 제어를 위한 명령을 전송하는 단계;
상기 에이전트 단말에서 상기 사용자 단말로부터 전달된 명령에 따라 제어된 에이전트 디바이스로부터 획득된 미디어스트림을 사용자 단말로 전송하는 단계;를 포함하며,
다수의 사용자 단말과 다수의 에이전트 단말을 네트워크를 통해 연결하여 사용자가 에이전트를 통한 대리체험을 하는 것을 특징으로 하는 에이전트를 통한 대리체험 방법.Transmitting a media stream for a surrogate experience from an agent terminal to a user terminal;
Transmitting an instruction for controlling the agent device from the user terminal to the agent terminal;
And transmitting the media stream obtained from the controlled agent device to the user terminal in response to a command transmitted from the user terminal in the agent terminal,
Wherein a plurality of user terminals and a plurality of agent terminals are connected through a network, and a user performs a proxy experience through an agent. 청구항 8에 있어서,
상기 대리체험 방법은,
대리체험 중계서버를 통해서, 상기 사용자 단말과 상기 에이전트 단말 사이의 미디어데이터와 명령에 대한 동기화를 제어하는 동기제어단계;를 더 포함하며,
상기 동기화를 통해서 상기 사용자가 상기 에이전트 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능한 것을 특징으로 하는 에이전트를 통한 대리체험 방법.The method of claim 8,
The surrogate experience method includes:
And a synchronization control step of controlling synchronization of the media data and the command between the user terminal and the agent terminal via the surrogate experience relay server,
Wherein the user is able to remotely and interactively control the agent device through the synchronization. 청구항 8에 있어서,
상기 대리체험 방법은,
대리체험 중계서버를 통해서, 상기 사용자 단말과 상기 에이전트 단말에 대한 가상단말을 생성하여 상기 명령과 미디어데이터를 중계하거나,
상기 대리체험 중계서버를 통해서, 상기 사용자 단말과 상기 에이전트 단말이 서로 P2P로 연결되도록 하여 상기 명령과 미디어데이터를 주고받도록 함으로써, 상기 사용자가 상기 에이전트 디바이스를 원격에서 인터랙티브하게 제어하는 것이 가능한 것을 특징으로 하는 에이전트를 통한 대리체험 방법.The method of claim 8,
The surrogate experience method includes:
The agent terminal generates a virtual terminal for the user terminal and the agent terminal through the proxy experience relay server and relays the command and the media data,
The user terminal and the agent terminal are connected to each other through P2P through the proxy experience relay server so that the command and the media data are exchanged with each other so that the user can control the agent device remotely and interactively Agent experience through agent.
KR1020170056841A 2017-05-04 2017-05-04 System for proxy experience through agent and the method using the same KR20180122802A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170056841A KR20180122802A (en) 2017-05-04 2017-05-04 System for proxy experience through agent and the method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170056841A KR20180122802A (en) 2017-05-04 2017-05-04 System for proxy experience through agent and the method using the same

Publications (1)

Publication Number Publication Date
KR20180122802A true KR20180122802A (en) 2018-11-14

Family

ID=64328400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170056841A KR20180122802A (en) 2017-05-04 2017-05-04 System for proxy experience through agent and the method using the same

Country Status (1)

Country Link
KR (1) KR20180122802A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470023B1 (en) * 2021-11-12 2022-11-24 주식회사 만나통신사 System for providing remote proxy exploring service using realtime live

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470023B1 (en) * 2021-11-12 2022-11-24 주식회사 만나통신사 System for providing remote proxy exploring service using realtime live

Similar Documents

Publication Publication Date Title
US11206373B2 (en) Method and system for providing mixed reality service
US11323605B2 (en) Method and apparatus for managing a camera network
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
CN108027664B (en) Unified virtual reality platform
KR20190088545A (en) Systems, methods and media for displaying interactive augmented reality presentations
TWI540534B (en) Control system and method for virtual navigation
CN109920065B (en) Information display method, device, equipment and storage medium
EP2731348A2 (en) Apparatus and method for providing social network service using augmented reality
CN101809651B (en) Mobile wireless display providing speech to speech translation and avatar simulating human attributes
KR102140077B1 (en) Master device, slave device and control method thereof
KR20180122802A (en) System for proxy experience through agent and the method using the same
WO2024059482A1 (en) Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof
KR20150004494A (en) Social media platform system based on augmented reality and method of supplying social media contents based on augmented reality
KR102325048B1 (en) Real time VR service method through robot avatar
JP2003168021A (en) Image transmission system, communication control device and communication control method
KR20200122726A (en) VR Device representing real time Public Transportation Information
JP7132373B2 (en) Computer program, method and server
KR102540516B1 (en) Apparatus, user device and method for providing augmented reality contents
US20240007593A1 (en) Session transfer in a virtual videoconferencing environment
KR101816446B1 (en) Image processing system for processing 3d contents displyed on the flat display and applied telepresence, and method of the same
JP2023123389A (en) communication system
JP2022141652A (en) Computer program, method, and server device
KR20210007930A (en) Real time VR service device, method and system through avatar
CN114172953A (en) Cloud navigation method of MR mixed reality scenic spot based on cloud computing
US20190089921A1 (en) Interactive telepresence system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application