KR20170125618A - 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치 - Google Patents

증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20170125618A
KR20170125618A KR1020160055671A KR20160055671A KR20170125618A KR 20170125618 A KR20170125618 A KR 20170125618A KR 1020160055671 A KR1020160055671 A KR 1020160055671A KR 20160055671 A KR20160055671 A KR 20160055671A KR 20170125618 A KR20170125618 A KR 20170125618A
Authority
KR
South Korea
Prior art keywords
virtual object
electronic device
information
virtual
function
Prior art date
Application number
KR1020160055671A
Other languages
English (en)
Inventor
조정규
Original Assignee
시크릿타운 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시크릿타운 주식회사 filed Critical 시크릿타운 주식회사
Priority to KR1020160055671A priority Critical patent/KR20170125618A/ko
Publication of KR20170125618A publication Critical patent/KR20170125618A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 전자 장치에 있어서, 카메라 모듈, 통신부, 및 상기 통신부와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 통해 외부 영상을 인식하고, 적어도 일 기능의 수행을 지원하는 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로, 상기 가상 객체를 배치하고, 상기 배치된 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경하도록 설정된 전자 장치를 포함할 수 있다. 다만, 상기 실시예에 한정되지 않고 다른 실시예를 포함할 수 있다.

Description

증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치{Method for generating content to be displayed at virtual area via augmented reality platform and electronic device supporting the same}
본 발명은 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
기술이 발전함에 따라, 전자 장치(예: 스마트 폰)와 근거리 무선 통신으로 연결 착용 가능한 전자 장치(예: 스마트 시계, 스마트 밴드)가 시장에 선보이고 있다.이러한 착용 가능한 전자 장치는 다양한 기능들(예: SNS 어플리케이션, 메일 어플리케이션 등)을 지원하고 있다.
또한, 전자 장치는 기존 3D TV에서만 보는 3D영상들도 소형화된 가상현실 디스플레이 장치를 통해 접할 수 있게 되었고, 과거 활용성이 낮았던 360도 파노라마 영상들도 가상현실 디스플레이 장치를 통해 접할 수 있게 되었다. 전자 장치의 사용자는 기존 PC의 모니터나 스마트폰 화면에서 느끼지 못했던 임장감을 HMD장비의 가속도 센서를 통해 머리의 움직임을 센싱함으로써 HMD장비에서는 임장감을 느낄 수 있게 되었다.
또한, 전자 장치는 별도의 어플리케이션을 통해 QR 코드나 이미지 기반 인식 기술을 통해 QR 코드에 포함된 정보를 확인하거나 이미지를 인식할 수 있게 되었다.
한국출원 공개 번호 제2008-0089803(영상데이터 처리방법 및 두부 장착형 디스플레이어)
전자 장치의 사용자가 HMD를 이용하여 증강 현실 컨텐츠를 이용할 때 제작자에 의해 미리 정해진 컨텐츠만을 이용할 수 밖에 없는 한계점이 존재한다.
이에 후술할 실시예는 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치에 있다.
본 발명의 일 실시예에 따른 전자 장치에 있어서, 카메라 모듈, 통신부, 및 상기 통신부와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 통해 외부 영상을 인식하고, 적어도 일 기능의 수행을 지원하는 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로 상기 가상 객체를 배치하고, 상기 배치된 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경하도록 설정된 전자 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라 모듈을 포함하는 전자 장치의 증강 현실을 제공하는 방법에 있어서, 상기 카메라 모듈을 통해 외부 영상을 인식하는 과정, 적어도 일 기능의 수행을 지원하는 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로, 상기 가상 객체를 배치하는 과정, 및 상기 배치된 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경하는 과정을 포함하는 증강 현실 제공 방법을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성함으로써, 전자 장치의 사용자는 가상 영역의 컨텐츠를 손쉽게 배치, 편집, 저장할 수 있다. 이를 통해 사용자의 편의성이 증대될 수 있다.
본 발명의 다양한 실시예에 따른 따른 전자 장치는 증강현실 플랫폼을 통해 실제 공간에 가상 정보를 융합 및 가상 영역에 표시할 컨텐츠를 생성함으로써, 증강현실 컨텐츠를 제작하는 프로세서의 효율화가 증대될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 사용자가 직접 파일 등을 업로드 및/또는 다운로드를 통해 관리할 수 있어, 추가적인 업데이트 공정 없이도 증강현실 시스템을 운용하여 효율성이 증대될 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치와 서버의 연결을 도시하는 블럭도이다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치의 블럭도를 도시한다.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 시스템을 도시한다.
도 4a 내지 도 4c는 본 발명의 다양한 실시예에 따른 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 흐름도를 도시한다.
도 5a 내지 도 5c는 본 발명의 다양한 실시예에 따른 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠의 생성을 도시한다.
도 6a 내지 도6e는 본 발명의 다양한 실시예에 따라 컨텐츠를 생성하는 증강현실 플랫폼을 도시한다.
도 7a 내지 도 7d는 본 발명의 다양한 실시예에 따라 컨텐츠를 생성하는 증강현실 플랫폼을 도시한다.
도 8은 본 발명의 다양한 실시예에 따른 전자 장치의 증강현실 플랫폼을 통해 가상 영역의 컨텐츠를 생성하는 순서도를 도시한다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 전자 장치에 의해 구현되는 증강 현실(AR: Augmented Reality)은 다양한 기능을 제공할 수 있다. 전자 장치에 의한 증강 현실 기능 수행 시 현실 객체와 가상 객체는 다양한 상관관계를 가질 수 있다. 일 실시예에 따른 가상 객체는 현실 객체와 같은 공간에서 현실 객체와 동일한 물리법칙을 적용 받으며 하나의 현실 객체처럼 존재 할 수 있다. 예를 들면, 방에 침대와 그 앞에 배치된 가상의 TV가 있으면, 전자 장치 사용자의 위치에 따라 사용자가 보는 침대의 부분이 달라지듯이, 가상객체 TV도 사용자의 위치에 따라 실제 TV가 있는 것처럼 스케일 등을 렌더링할 수 있다. 또한, 가상 객체는 현실 객체와 오버랩되어 표시될 수 있다. 또한, 가상 객체는 현실 객체와 오버랩되지 않도록 조절되어 표시될 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치와 서버의 연결을 도시하는 블럭도이다.
본 발명의 일 실시예에 따른 전자 장치(100)와 서버(200)는 데이터를 송수신할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, PDA, PMP, 머리 착용형 장치(HMD: Head-Mounted Device) 및 웨어러블 디바이스 중 어느 하나일 수 있다.
본 발명의 일 실시예에 따른 전자 장치(100)는 서버(200)로 외부 영상에 대한 위치 정보, 공간 정보, 외부 영상의 가상영역에 배치된 가상 객체에 대한 정보를 송신할 수 있다.
본 발명의 다양한 실시예에 따른 서버(200)는 저장공간인 DB(database)를 갖는 장치, 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, PDA, PMP, 머리 착용형 장치(HMD: Head-Mounted Device) 및 웨어러블 디바이스 중 어느 하나일 수 있다.
본 발명의 일 실시예에 따른 서버(200)는 전자 장치(100)로부터 외부 영상에 대한 위치 정보, 공간 정보, 외부 영상의 가상영역에 배치된 가상 객체에 대한 정보를 수신할 수 있다. 일 실시예에 따른 서버(200)는 관리 시스템 플랫폼을 통해 수신한 가상 객체에 대한 정보를 관리할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치(100)의 블럭도를 도시한다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 통신부(110), 디스플레이(120), 카메라 모듈(130), 및 프로세서(140)를 포함할 수 있다. 본 구성요소가 필수적인 구성요소는 아니며, 추가적인 모듈이 추가되거나 상기 모듈이 생략될 수 있다. 본 발명의 일 실시예에 따른 전자 장치(100)는 메모리, 오디오 모듈, 센서 모듈, 입력 장치 등이 추가될 수 있다.
본 발명의 일 실시예에 따른 통신부(110)는 외부 장치(예: 서버(200), 또 다른 전자 장치 등)와 통신을 수행할 수 있다. 일 실시예에 따른 통신부(110)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치와 통신할 수 있다. 예를 들면, 무선 통신은 LTE(Long Term Evolution), CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications) 등 적어도 하나를 이용하는 셀룰러 통신을 포함할 수 있다. 또한 무선 통신은 근접 거리 통신인 WiFi(Wireless Fidelity), 블루투스 등을 포함할 수 있다. 추가적인 예를 들면, 유선 통신은 USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), 전력선 통신 등을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 디스플레이(120)는 컨텐츠(예: 텍스트, 이미지, 비디오 아이콘 등)을 표시할 수 있다. 예를 들면, 디스플레이(120)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED), 전자 종이(electronic paper) 디스플레이를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 카메라 모듈(130)은 정지 영상 및 동영상을 촬영할 수 있는 장치일 수 있다. 예를 들면, 카메라 모듈(130)은 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 3D Depth 센서 등을 포함할 수 있다.
일 실시예에 따른 카메라 모듈(130)은 외부 영상의 3D 깊이(depth) 정보의 획득기능, 시선 추적(eye tracker) 기능 및 양안 초점 조절(adjustable optics) 기능 중 적어도 하나의 기능을 지원할 수 있다. 예를 들면, 전자 장치(100)의 일 측에 실장된 센서(예: EOG(Electrical Oculography) 센서 등)를 통해 사용자의 시선을 추적할 수 있다. 추가적인 예를 들면 카메라 모듈(130)에 마이크로 카메라를 더 포함할 수 있다. 또는, 전자 장치(100)의 일 측에 실장된 초점 조점 조절부를 통해 렌즈의 거리 및 디스플레이(120)의 위치를 조정할 수 있다.
일 실시예에 따른 카메라 모듈(130)은 4MP 카메라, 3D 깊이(depth) 센싱, 움직임 추적 감지 등을 지원할 수 있다. 추가적인 예를 들면, 일 실시예에 따른 카메라 모듈(130)은 Google®의 Tango Camera에서 지원하는 기능을 포함할 수 있다.
본 발명의 일 실시예에 따른 프로세서(140)는 통신부(110)와 전기적으로 연결될 수 있다. 일 실시예에 따른 프로세서(140)는 카메라 모듈(130)을 통해 외부 영상을 인식할 수 있다.
본 발명의 일 실시예에 따른 프로세서(140)는 일 기능의 수행을 지원하는 가상 객체를 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로, 가상 객체를 배치할 수 있다. 상기 가상 객체는 이미지, 텍스트 데이터 등을 포함하여 증강 현실(AR: augmented reality)에 표시되는 객체일 수 있다. 상기 증강 현실은 디스플레이를 통하여 물리적인 외부 영상들은 전자 장치(100) 사용자의 안구에 전달되면서 실시간으로 부가적인 정보 또는 이미지를 하나의 영상을 제공하는 기능을 의미할 수 있다.
본 발명의 일 실시예에 따른 프로세서(140)는 전자 장치(100)를 통해 사용자 입력을 수신하여 상기 가상 객체를 배치할 수 있다. 예를 들면, 일 실시예에 따른 프로세서(140)는 입력 인터페이스(예: 마우스, 키보드, 디스플레이(120)를 통한 터치 입력 등)을 통한 사용자 입력을 수신하여 외부 영상의 일 가상 영역에 가상 객체를 배치할 수 있다. 상기 적어도 일 기능은 소셜 네트워크 서비스 기능, 이미지 링크 기능, 오디오 링크 기능, 비디오 링크 기능, 통화 기능 및 정보제공 기능 중 적어도 어느 하나를 포함할 수 있다.
추가적인 예를 들면, 프로세서(140)는 외부 영상의 가상 영역에 복수의 어플리케이션들을 표시할 수 있다. 가상 영역에 표시되는 각각의 어플리케이션은 서로 다른 기능을 지원하는 어플리케이션(예: 게임 어플리케이션, 의학 어플리케이션, 교육 어플리케이션, 가상 객체 배치 어플리케이션 등)일 수 있다. 일 실시예에 따른 프로세서(140)는 가상 객체의 배치를 제공하는 어플리케이션에 대한 사용자 입력이 감지되는 경우 어플리케이션을 활성화할 수 있다. 일 실시예에 따른 프로세서(140)는 활성화된 어플리케이션을 통해 사용자 입력을 감지함에 따른 응답으로, 가상 객체를 상기 외부 영상의 일 가상 영역에 배치할 수 있다.
상기 가상 영역에 대한 가상 객체의 배치는 증강 현실 플랫폼을 통해 수행될 수 있다. 본 발명의 일 실시예에 따른 프로세서(140)는 가상 객체를 활용할 기기 정보(예: Google® tango, 스마트폰, 스마트 TV, PC 등), 가상 객체를 제어할 입력 매체 정보(예: Leap Motion, 블루투스, 키보드, 마우스 등), 가상 객체와 연관된 사운드 정보 및 상기 가상 객체를 표시할 화면 구성 정보(예: 화면 모드 정보, 사용자 시점 정보 등) 중 적어도 어느 하나의 정보를 포함하는 요청신호를 기초로 상기 가상 객체를 배치할 수 있다. 일 실시예에 따른 프로세서(140)는 활용할 기기의 선택에 따라 지원하는 컨텐츠 생성 방법을 달리할 수 있다. 예를 들어, 프로세서(140)가 활용할 기기로 PC를 선택하고 컨트롤러로 마우스를 사운드를 50~60데시벨(dB)로 선택하는 입력을 수신한 경우, 가상 객체를 상기 수신한 입력에 대응하는 기능을 적용하여 일 가상영역에 배치할 수 있다.
본 발명의 다양한 실시예에 따른 프로세서(140)는 외부 장치(예: 서버)로부터 가상 객체의 배치와 관련된 신호를 수신함에 따른 응답으로 상기 가상 객체를 배치할 수 있다. 예를 들면, 프로세서(140)는 통신부(110)를 통해 상기 가상 객체의 배치와 관련된 정보를 포함하는 정보를 외부 장치(예: 서버)로 전송할 수 있다. 외부 장치 또는 외부 장치와 연결된 또 다른 전자 장치에서 증강현실 플랫폼을 통해 가상 객체를 배치, 편집, 변경 등을 수행하는 입력을 감지할 수 있다. 일 실시예에 따른 프로세서(140)는 외부 장치(예: 서버(200))를 통해 수신한 가상 객체의 배치와 관련된 정보를 기반으로 가상 객체를 배치, 갱신 등을 수행할 수 있다.
본 발명의 다양한 실시예에 따른 프로세서(140)는 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경할 수 있다. 상기 가상 객체의 변경은 전자 장치(100)를 통해 사용자 입력을 수신하거나 외부 장치(예: 서버(200) 또는 서버와 연결된 또 다른 전자 장치 등)를 통해 수신한 변경 정보를 기반으로 상기 가상 객체를 변경할 수 있다.
본 발명의 다양한 실시예에 따른 프로세서(140)는 카메라 모듈(130)을 통해 표시 중인 외부 영상을 캡처하여 화면에 표시할 수 있다. 또는 일 실시예에 따른 프로세서(140)는 카메라 모듈(130)을 통해 인식된 상기 외부 영상을 실시간으로 화면에 표시할 수 있다. 본 발명의 일 실시예에 따른 프로세서(140)는 화면에 표시된 외부 영상에 상기 가상 객체의 이미지 정보, 오디오 정보 및 시간 정보의 편집을 수행하는 입력을 감지할 수 있다. 일 실시예에 따른 프로세서(140)는 감지된 입력을 기반으로 상기 외부 영상에 표시될 가상 객체를 변경할 수 있다.
본 발명의 다양한 실시예에 따른 프로세서(140)는 가상 객체를 상기 일 가상 영역에 배치하는 정보를 포함하는 파일을 메모리(미도시)에 저장할 수 있다. 일 실시예에 따른 프로세서(140)는 파일에 전자 장치(100) 또는 네트워크를 통해 연결된 또 다른 전자 장치가 접속하는 경우, 상기 파일에 포함된 외부 영상 및 가상 객체 정보를 제공할 수 있다. 예를 들어, 전자 장치(100)의 메모리(미도시)에 외부 영상 및 외부 영상의 일 영역에 배치된 가상 객체를 포함하는 파일이 저장되어 있고, 전자 장치(100) 또는 외부 전자 장치가 파일을 선택하여 실행하는 경우, 전자 장치(100) 또는 외부 전자 장치는 상기 파일에 포함된 증강현실 정보를 확인, 변경 등을 수행할 수 있다. 추가적인 예를 들면, 가상 영역에 사과 이미지 아이템의 SNS 어플리케이션을 제공하는 가상 객체가 표시되는 파일에 외부 장치가 접속하는 경우, 외부 장치는 가상 객체에 대한 입력을 통해 SNS 어플리케이션을 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 3D Depth 카메라를 통해 수신한 외부 현실 공간의 데이터를 3차원 객체, 애니매이션, 파티클, 사운드를 현실과 일치되는 좌표에 디스플레이(120)를 통해 출력할 수 있다. 일 실시예에 따른 전자 장치(100)는 네트워크를 통해 복수의 전자 장치들 사용자와 화면을 동기화하여 사용자 입력(예: 제스처 입력 등)을 통해 3차원 공간과 객체를 제어하는 기술을 구현할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 일반 디퓨즈, 노멀맵, 라이트맵, 알파맵을 동시에 연출하는 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 Particle System 요소를 통해 가상 영역에 표시되는 가상 객체의 페이드인(fade-in), 페이드 아웃(fade-out) 등의 효과를 연출하는 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 오디오 모듈을 통해 가상 영역에 표시된 가상 객체에 사운드를 적용하여 사용자 위치에 따른 입체 음향 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 카메라 모듈의 Glow, Gray, Bloom 등의 효과를 사용하여 다양한 영상 연출을 제어하는 기능을 지원할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 다양한 엔진에서 사용할 수 있는 표준 max 원본 소스로 제작된 3D 디자인을 지원할 수 있다. 상기 3D 디자인은 외부 서버와의 연결을 통해 업데이트될 수 있다. 일 실시예에 따른 전자 장치(100)는 학습 단계 별 애니메이션, 과학 컨텐츠 등을 지원하는 어플리케이션을 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 메모리 관리를 위해 Normal mapping, Realistic shader, Diractional lighting, Projection shadow 기능, 사용자가 실시간으로 좌표를 제어하는 기능, 제스처를 통해 파티클, 사운드, 카메라 효과를 제어하는 기능을 지원할 수 있다.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 시스템을 도시한다.
도 3a를 참조하면, 본 발명의 다양한 실시예에 따르면, 전자 장치(100)는 전자 장치(100, 예: 태블릿 PC)에 포함된 카메라를 통해 공간을 스캔할 수 있다. 일 실시예에 따른 전자 장치(100)는 스캔 된 공간에 대한 가상 객체의 배치에 대한 사용자 입력을 감지할 수 있다. 전자 장치(100)는 감지된 사용자 입력에 따라 가상 영역에 가상 객체를 배치할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 스캔된 외부 영역에 대한 위치 정보, 공간 정보, 사용자에 의해 배치된 가상 객체(예: 멀티미디어 데이터 등)를 서버(200)로 전송할 수 있다.
다양한 실시예에 따른 서버(200)는 또 다른 전자 장치와 정보 DB를 송수신할 수 있다. 일 실시예에 따른 서버(200)는 서버(200)의 메모리에 증강현실 플랫폼 및 정보 DB를 저장할 수 있다. 일 실시예에 따라 서버(200)와 연결된 또 다른 전자 장치는 관리자 시스템을 통해 수신한 정보 DB에 대한 변경 등을 수행할 수 있다. 또 다른 전자 장치는 변경된 정보 DB를 서버(200)로 전송하고, 서버(200)는 변경된 정보 DB를 전자 장치(100)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 가상 객체의 일 기능은 음원 링크 기능, 비디오 링크 기능, 소셜 네트워크 서비스 기능, 음성 녹음 기능, 정보 저장 기능, 이미지 링크 기능, 3D 재생 기능 등을 지원할 수 있다.
도 3b를 참조하면, 본 발명의 일 실시예에 따라 립 모션 SDK 및/또는 탱고 SDK를 활용하는 전자 장치(100)는 서버(200)와 데이터(예: 외부 영상의 위치 정보, 가상 객체의 배치 정보 등)를 송수신할 수 있다. 일 실시예에 따른 전자 장치(100)는 네트워크 모듈, 쉐이드(shade) 모듈, 이펙트(effect) 모듈, 매카님(mechanim) 모듈, Assetbundle 제어, AI 모듈, 통화 모듈, 인식 모듈, 제스처 모듈 중 적어도 어느 하나의 모듈을 통해 증강 현실 기능을 제공할 수 있다. 전자 장치(100)는 증강 현실 기능을 통해 의료, 게임, UI, 교육 관련 컨텐츠의 기능을 제공할 수 있다.
도 4a 내지 도 4c는 본 발명의 다양한 실시예에 따른 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 흐름도를 도시한다.
도 4a를 참조하면, 증강현실 플랫폼을 통한 컨텐츠 생성의 흐름도를 도시한다. 401을 참조하면, 전자 장치(100, 예: 태플릿 PC, HMD 등)를 통해 카메라를 통해 수신하는 외부 영상을 인식할 수 있다.
403을 참조하면, 전자 장치(100)는 전자 장치(100)의 사용자에 의해 인식된 위치 좌표에 각종 기능을 제공하는 가상 객체를 배치할 수 있다. 405를 참조하면, 전자 장치(100)는 사용자에게 저장된 가상 객체가 포함된 영상을 제공할 수 있다. 407을 참조하면, 전자 장치(100)는 가상 객체가 지원하는 음성, 정보, 이미지, 모델링 등을 변경, 저장 등의 기능을 지원할 수 있다.
도 4b를 참조하면, 증강현실 플랫폼을 통한 컨텐츠 생성의 흐름도를 도시한다. 409를 참조하면, 전자 장치(100)가 머리 착용형 장치(HMD)인 경우, 외부 영상의 가상 영역에 접속 메뉴 화면을 표시할 수 있다. 411 및 413을 참조하면, 전자 장치(100)는 카메라를 통해 외부 객체들을 스캔할 수 있다. 415를 참조하면, 전자 장치(100)는 스캔된 공간에 기반하여, 게임 어플리케이션, 의료 어플리케이션, 교육 어플리케이션, UI 어플리케이션 등을 수행할 수 있다. 예를 들어, 전자 장치(100)가 가상 객체의 배치와 관련된 어플리케이션을 활성화하는 입력을 수신하는 경우, 가상 객체를 배치하는 증강현실 플랫폼을 제공할 수 있다.
도 4c를 참조하면, 전자 장치(100)에 의해 가상 영역에 복수의 어플리케이션들을 표시하는 일례를 도시한다. 전자 장치(100)는 외부 영상의 가상 영역에 AR(augmented reality) 사용자 인터페이스, AR 게임 어플리케이션, AR 의료 어플리케이션, AR 교육 어플리케이션을 표시할 수 있다. 일 실시예에 따른 전자 장치(100)는 표시된 복수의 어플리케이션 들 중 일 어플리케이션에 대한 사용자 입력이 감지되는 경우, 감지된 입력에 대응하는 어플리케이션을 수행할 수 있다. 예를 들어, AR 게임에 대한 입력이 감지되는 경우, 전자 장치(100)는 AR 게임을 실행할 수 있다.
도 5a 내지 도 5c는 본 발명의 다양한 실시예에 따른 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠의 생성을 도시한다.
도 5a를 참조하면, 전자 장치(100, 예: 공간인식 모바일 기기 등)는 컨텐츠 제작도구 시스템을 구현할 수 있다. 예를 들면, 전자 장치(100)는 거실 벽면에 소셜 네트워크 서비스(SNS) 버튼을 배치하고 주소를 입력한 뒤 저장할 수 있다. 전자 장치(100)의 사용자가 상기 SNS 버튼을 선택 입력하는 경우, 전자 장치(100)는 자동으로 SNS의 웹사이트 주소를 표시할 수 있다. 추가적인 예를 들면, 전자 장치(100)는 사용자가 위치한 공간에 사진, TV, 날씨, 비디오, SNS, 이메일, 3D 모델링 등을 배치, 수정, 삭제 후 외부 장치(예: 서버(200), 또 다른 전자 장치 등)에 저장할 수 있다. 또는 전자 장치(100)는 외부 장치(예: 서버(200), 또 다른 전자 장치 등)에 저장된 컨텐츠를 다운로드 하여 활용할 수 있다.
도 5b를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(100)의 사용자는 카메라를 통해 인식된 외부 영상 영역에 가상 객체를 배치, 수정, 관리 할 수 있다. 상기 가상 객체는 다양한 정보를 포함할 수 있고, 다양한 기능들(예: SNS, 음성, 오디오 등)을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 가상 영역에 가상 객체를 배치하는 사용자 입력을 감지하는 경우, 해당 영역에 적어도 일 기능을 지원하는 가상 객체를 가상 영역에 삽입 및 변경할 수 있다.
도 5c를 참조하면, 본 발명의 일 실시예에 따른 전자 장치(100)는 한 개의 포맷으로 손쉽게 관리할 수 있는 관리자 페이지를 구축할 수 있다. 일 실시예에 따른 전자 장치(100)는 좌표를 계산하여 3D 엔진 좌표를 동기화 하는 공간 스캔 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 이미지, 비디오, 라벨, 모델링을 배치하고 이동, 확대/축소, 라벨에 글씨쓰기, 웹사이트 링크 넣기, 음성 녹음 기능을 저장하는 에디터 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 어플리케이션 실행 후 공간이나 사물을 인식하고 저장된 컨텐츠가 실행되는 자동 자생, 터치 앤 드래그 인터렉션 기능을 실행하는 뷰어 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 스캔 된 공간에서 사용자의 위치와 컨텐츠의 위치를 비교하여 위치를 자동적으로 안내해주는 기능을 지원할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 도 5c와 같이 마트에서의 판매중인 제품에 대한 스티커 레벨 등을 표시할 수 있다. 예를 들면, 각 모드(예: 에디트 모드, 뷰어 모드)에 따라 서로 다른 기능을 지원할 수 있다. 추가적인 예를 들면, 전자 장치(100)는 스티커 라벨, SNS 연동 버튼, 비디오 링크, 웹사이트 링크, 3D 모델링 삽입 등의 기능을 지원할 수 있다.
도 6a 내지 도6e는 본 발명의 다양한 실시예에 따라 컨텐츠를 생성하는 증강현실 플랫폼을 도시한다.
도 6a를 참조하면, 전자 장치(100)는 증강현실 플랫폼(600)을 지원할 수 있다. 증강현실 플랫폼(600)은 ID 및 패스워드를 통해 접속될 수 있다.
도 6b를 참조하면, 본 발명의 증강현실 플랫폼(600)은 제목 UI(601), 컨텐츠 관리 아이템(610) 및 컨텐츠 목록 아이템(620), 순서 아이템(630), 업로드 아이템(640), 삭제 아이템(650)을 포함할 수 있다. 컨텐츠 관리 아이템(610)은, 2D 이미지 관리 아이템(611), 3D 모델링 관리 아이템(612), 사운드 관리 아이템(613), 컨텐츠 관리 아이템(614), 아바타 관리 아이템(615), 회의실 관리 아이템(616) 및 환경 설정 아이템(615)를 포함할 수 있다.
본 발명의 일 실시예에 따른 증강 현실 플랫폼(600)은 가상 영역에 표시하는 가상 객체에 관련된 이미지, 모델링, 사운드 등을 설정하는 아이템들을 화면에 표시할 수 있다. 예를 들면, 전자 장치(100)는 가상 영역에 표시할 가상 객체의 2D 이미지를 “heart.jpg” 및 “brain.png”파일을 업로드하는 입력을 수신한 경우 컨텐츠 목록 아이템(620)에 파일 이름, 해상도, 파일 크기, 날짜 등이 표시될 수 있다.
도 6c를 참조하면, 전자 장치(100)는 2D 이미지 관리 아이템(611)에 대한 입력 이벤트를 수신한 후, “heart.jpg”와 같은 파일의 업로드하는 입력을 수신할 수 있다. 전자 장치(100)는 업로드 아이템(660)을 통해 파일을 확인 및 저장할 수 있다. 상기 파일의 업로드는 전자 장치(100)에 미리 저장되어 있거나 외부 장치와의 통신을 통해 수신할 수 있다. 예를 들어, 상기 업로드된 “heart.jpg”에 대응하는 이미지 아이템은 는 가상 객체의 이미지일 수 있다.
도 6d를 참조하면, 전자 장치(100)는 컨텐츠 관리 아이템(610)에 대한 입력이 감지되는 경우, 컨텐츠 관리 방식 화면(670)을 출력할 수 있다. 예를 들어, 증강 현실에서 복수의 어플리케이션들(예: 의료 어플리케이션, 교육 어플리케이션 등)에 대한 변경 횟수, 최근 변경 날짜 들을 컨텐츠 관리 방식 화면(670)을 통해 출력할 수 있다.
도 6e를 참조하면, 전자 장치(100)는 가상 영역에서의 의료 어플리케이션과 관련된 입력을 수신한 경우, 의료 어플리케이션 변경 관련 기능을 수행할 수 있다. 의료 어플리케이션 변경 화면(680)은 의료 어플리케이션의 시작 화면, 모델링, 파티클, 사운드, 지연 시간 등을 설정 및 변경할 수 있다. 예를 들면, 전자 장치(100)는 모델링, 지연 시간, 사운드 등을 지원하는 증강현실 플랫폼(601)을 지원할 수 있다. 추가적인 예를 들면, 모델링, 사운드 등은 메모리에 미리 저장되어 있거나 외부 장치(예: 서버)로부터 관련 데이터를 송수신할 수 있다.
도 7a 내지 도 7d는 본 발명의 다양한 실시예에 따라 컨텐츠를 생성하는 증강현실 플랫폼을 도시한다.
도 7a의 701을 참조하면, 전자 장치(100)는 증강 현실 플랫폼(700)을 통해 증강 현실을 통해 구현되는 어플리케이션의 편집 등을 수행할 수 있다. 예를 들면, 전자 장치(100)는 3D 모델링, 2D 이미지, 사운드, 파티클, 애니메이션, 캐릭터 등을 적용하여 증강 현실에서 표시되는 컨텐츠를 제어할 수 있다.
702를 참조하면, 전자 장치(100)는 카메라를 통해 인식된 외부 영상에 표시할 가상 객체를 사용자 입력에 따라 선택하여 표시할 수 있다. 예를 들면, 전자 장치(100)는 3D 모델링 아이템들(710)을 표시하고, 사용자 입력에 따라 선택된 일 3D 모델링 아이템을 인식된 외부 영상에 표시할 수 있다. 예를 들어, 전자 장치(100)의 사용자는 3D 모델링 아이템들(710)에 대한 선택 입력을 포함하는 사용자 입력을 수신하여, 가상 객체의 배치, 회전, 확대 등을 통한 수정 및 관리를 수행할 수 있다.
703을 참조하면, 전자 장치(100)는 등록된 컨텐츠를 외부 전자 장치(예: HMD)를 통해 확인 및 수행할 수 있다.
7b를 참조하면, 전자 장치(100)는 증강 현실 플랫폼(700)의 옵션 아이템(730)을 통해 컨텐츠를 변경할 수 있다. 예를 들면, 옵션 아이템(730)은, 기기 선택 아이템(740), 컨트롤러 아이템(750), 화면 모드 아이템(760) 및 시점 선택 아이템(770)을 포함할 수 있다. 기기 선택 아이템(740)은 Project tango(741), 스마트폰(743), 스마트 TV(745), PC(747)를 포함할 수 있다. 각 기기에 따라 제공하는 기능(예: 공간 추정, 음성 기능 등)은 상이할 수 있다.
일 실시예에 따른 컨트롤러 아이템(750)은 Leap motion, 블루투스, 키보드, 마우스를 선택하는 UI를 포함할 수 있다. 화면 모드 아이템(760)은 Normal 모드 또는 Side by Side 모드를 선택하는 UI를 포함할 수 있다. 시점 선택 아이템(770)은 1인칭 시점 또느 3인칭 시점을 선택하는 UI를 포함할 수 있다.
7c를 참조하면, 전자 장치(100)는 가상 영역에 대한 정보를 포함하는 파일을 저장할 수 있다. 예를 들어, 전자 장치(100)는 가상 영역 파일 리스트 아이템(780)에 가상 객체 정보를 포함하는 파일이 포함된 통신 리스트를 표시할 수 있다. 외부 전자 장치가 전자 장치(100)가 가상 객체를 생성한 제1 리스트에 접속하는 경우, 외부 전자 장치는 제1 리스트에 포함된 가상 객체의 파일 정보 등을 수신 및 확인할 수 있다.
도 7d를 참조하면, 전자 장치(100)는 3D 모델링 아이템들(710)을 통해 외부 영상의 가상 영역에 가상 객체를 배치할 수 있다. 일 실시예에 따른 전자 장치(100)는 화면 제공 아이템들(791, 792, 793)에 대한 입력 이벤트에 따른 응답으로, 현재의 화면을 캡쳐하여 사진으로 저장하거나 실시간 영상으로 표시할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 전자 장치의 증강현실 플랫폼을 통해 가상 영역의 컨텐츠를 생성하는 순서도를 도시한다.
810을 참조하면, 전자 장치(100)는 카메라 모듈을 통해 외부 영상을 인식한다. 상기 카메라 모듈은, 상기 외부 영상의 3D 깊이(depth) 정보의 획득기능, 시선 추적(eye tracker) 기능 및 양안 초점 조절(adjustable optics) 기능 중 적어도 하나의 기능을 지원할 수 있다. 일 실시예에 따른 전자 장치(100)는 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, PDA, PMP, 머리 착용형 장치(HMD: Head-Mounted Device) 및 웨어러블 디바이스 중 어느 하나일 수 있다.
820을 참조하면, 전자 장치(100)는 일 기능의 수행을 지원하는 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로, 상기 가상 객체를 배치한다. 상기 적어도 일 기능은 소셜 네트워크 서비스 기능, 이미지 링크 기능, 오디오 링크 기능, 비디오 링크 기능, 통화 기능 및 정보제공 기능 중 적어도 어느 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 전자 장치(100)를 통해 사용자 입력을 수신하여 상기 가상 객체를 배치할 수 있다. 일 실시예에 따른 전자 장치(100)는 전자 장치(100)와 연결된 외부 장치로부터 상기 가상 객체의 배치와 관련된 신호를 수신함에 따른 응답으로 상기 가상 객체를 배치할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 가상 객체를 활용할 기기 정보, 상기 가상 객체를 제어할 입력 매체 정보, 상기 가상 객체와 연관된 사운드 정보 및 상기 가상 객체를 표시할 화면 구성 정보 중 적어도 어느 하나의 정보를 포함하는 상기 요청신호를 기초로 상기 가상 객체를 배치할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 외부 영상의 가상 영역에 복수의 어플리케이션들을 표시할 수 있다. 일 실시예에 따른 전자 장치(100)는 복수의 어플리케이션들 중 상기 가상 객체의 배치를 제공하는 어플리케이션에 대한 사용자 입력이 감지되는 경우 상기 어플리케이션을 활성화할 수 있다. 일 실시예에 따른 전자 장치(100)는 활성화된 어플리케이션을 통해 사용자 입력을 감지함에 따른 응답으로, 상기 가상 객체를 상기 외부 영상의 일 가상 영역에 배치할 수 있다. 일 실시예에 따른 복수의 어플리케이션들은 서로 다른 기능을 지원하는 어플리케이션일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 가상 객체의 배치 및 변경에 따른 정보를 외부 장치로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 가상 객체를 상기 일 가상 영역에 배치하는 정보를 포함하는 파일을 저장할 수 있다. 일 실시예에 따른 전자 장치(100)는 파일에 상기 전자 장치 또는 네트워크를 통해 연결된 또 다른 전자 장치가 접속하는 경우, 상기 파일에 포함된 외부 영상 및 가상 객체 정보를 제공할 수 있다.
830을 참조하면, 전자 장치(100)는 상기 배치된 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경한다.
본 발명의 다양한 실시예에 따른 전자 장치(100)는 카메라 모듈을 통해 표시 중인 외부 영상을 캡처하여 화면에 표시하거나 상기 카메라 모듈을 통해 인식된 상기 외부 영상을 실시간으로 화면에 표시할 수 있다. 일 실시예에 따른 전자 장치(100)는 화면에 표시된 외부 영상에 상기 가상 객체의 이미지 정보, 오디오 정보 및 시간 정보의 편집을 수행하는 입력을 감지할 수 있다. 일 실시예에 따른 전자 장치(100)는 감지된 입력을 기반으로 상기 외부 영상에 표시될 가상 객체를 변경할 수 있다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 실시예들은 본 명세서에 개시된 기술 내용을 쉽게 설명하고 본 발명의 다양한 실시예들에 대한 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 다양한 실시예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전자 장치 110: 통신부
120: 디스플레이 130: 카메라 모듈
140: 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    카메라 모듈;
    통신부; 및
    상기 통신부와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 카메라 모듈을 통해 외부 영상을 인식하고, 적어도 일 기능의 수행을 지원하는 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로 상기 가상 객체를 배치하고, 상기 배치된 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경하도록 설정된 전자 장치.
  2. 제1항에 있어서,
    상기 카메라 모듈은,
    상기 외부 영상의 3D 깊이(depth) 정보의 획득기능, 시선 추적(eye tracker) 기능 및 양안 초점 조절(adjustable optics) 기능 중 적어도 하나의 기능을 지원하고,
    상기 전자 장치는,
    스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, PDA, PMP, 머리 착용형 장치(HMD: Head-Mounted Device) 및 웨어러블 디바이스 중 어느 하나인 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치를 통해 사용자 입력을 수신하여 상기 가상 객체를 배치하거나 상기 전자 장치와 연결된 외부 장치로부터 상기 가상 객체의 배치와 관련된 신호를 수신함에 따른 응답으로 상기 가상 객체를 배치하도록 설정된 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 가상 객체를 활용할 기기 정보, 상기 가상 객체를 제어할 입력 매체 정보, 상기 가상 객체와 연관된 사운드 정보 및 상기 가상 객체를 표시할 화면 구성 정보 중 적어도 어느 하나의 정보를 포함하는 상기 요청신호를 기초로 상기 가상 객체를 배치하도록 설정된 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 가상 객체의 배치 및 변경에 따른 정보를 외부 장치로 전송하도록 설정된 전자 장치.
  6. 제1항에 있어서,
    상기 적어도 일 기능은,
    소셜 네트워크 서비스 기능, 이미지 링크 기능, 오디오 링크 기능, 비디오 링크 기능, 통화 기능 및 정보제공 기능 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    외부 영상의 가상 영역에 복수의 어플리케이션들을 표시하고, 상기 복수의 어플리케이션들 중 상기 가상 객체의 배치를 제공하는 어플리케이션에 대한 사용자 입력이 감지되는 경우 상기 어플리케이션을 활성화하고, 상기 활성화된 어플리케이션을 통해 사용자 입력을 감지함에 따른 응답으로, 상기 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하도록 설정된 전자 장치.
  8. 제7항에 있어서,
    상기 복수의 어플리케이션들은 서로 다른 기능을 지원하는 어플리케이션인 것을 특징으로 하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라 모듈을 통해 표시 중인 외부 영상을 캡처하여 화면에 표시하거나 상기 카메라 모듈을 통해 인식된 상기 외부 영상을 실시간으로 화면에 표시하고, 상기 화면에 표시된 외부 영상에 상기 가상 객체의 이미지 정보, 오디오 정보 및 시간 정보의 편집을 수행하는 입력을 감지하고, 상기 감지된 입력을 기반으로 상기 외부 영상에 표시될 가상 객체를 변경하도록 설정된 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 가상 객체를 상기 일 가상 영역에 배치하는 정보를 포함하는 파일을 저장하고, 상기 파일에 상기 전자 장치 또는 네트워크를 통해 연결된 또 다른 전자 장치가 접속하는 경우, 상기 파일에 포함된 외부 영상 및 가상 객체 정보를 제공하도록 설정된 전자 장치.
  11. 카메라 모듈을 포함하는 전자 장치의 증강 현실을 제공하는 방법에 있어서,
    상기 카메라 모듈을 통해 외부 영상을 인식하는 과정;
    적어도 일 기능의 수행을 지원하는 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 요청신호를 수신함에 따른 응답으로, 상기 가상 객체를 배치하는 과정; 및
    상기 배치된 가상 객체를 변경하는 입력 이벤트를 수신하는 경우 상기 수신한 입력 이벤트에 대응하여 상기 가상 객체를 변경하는 과정을 포함하는 증강 현실 제공 방법.
  12. 제11항에 있어서,
    상기 카메라 모듈은,
    상기 외부 영상의 3D 깊이(depth) 정보의 획득기능, 시선 추적(eye tracker) 기능 및 양안 초점 조절(adjustable optics) 기능 중 적어도 하나의 기능을 지원하고,
    상기 전자 장치는,
    스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, PDA, PMP, 머리 착용형 장치(HMD: Head-Mounted Device) 및 웨어러블 디바이스 중 어느 하나인 것을 특징으로 하는 증강 현실 제공 방법.
  13. 제11항에 있어서,
    상기 가상 객체를 배치하는 과정은,
    상기 전자 장치를 통해 사용자 입력을 수신하여 상기 가상 객체를 배치하는 과정; 및
    상기 전자 장치와 연결된 외부 장치로부터 상기 가상 객체의 배치와 관련된 신호를 수신함에 따른 응답으로 상기 가상 객체를 배치하는 과정 중 적어도 어느 하나의 과정을 포함하는 증강 현실 제공 방법.
  14. 제11항에 있어서,
    상기 가상 객체를 배치하는 과정은,
    상기 가상 객체를 활용할 기기 정보, 상기 가상 객체를 제어할 입력 매체 정보, 상기 가상 객체와 연관된 사운드 정보 및 상기 가상 객체를 표시할 화면 구성 정보 중 적어도 어느 하나의 정보를 포함하는 상기 요청신호를 기초로 상기 가상 객체를 배치하는 과정을 포함하는 증강 현실 제공 방법.
  15. 제11항에 있어서,
    상기 가상 객체의 배치 및 변경에 따른 정보를 외부 장치로 전송하는 과정을 더 포함하는 증강 현실 제공 방법.
  16. 제11항에 있어서,
    상기 적어도 일 기능은,
    소셜 네트워크 서비스 기능, 이미지 링크 기능, 오디오 링크 기능, 비디오 링크 기능, 통화 기능 및 정보제공 기능 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
  17. 제11항에 있어서,
    상기 가상 객체를 배치하는 과정은,
    상기 외부 영상의 가상 영역에 복수의 어플리케이션들을 표시하는 과정;
    상기 복수의 어플리케이션들 중 상기 가상 객체의 배치를 제공하는 어플리케이션에 대한 사용자 입력이 감지되는 경우 상기 어플리케이션을 활성화하는 과정; 및
    상기 활성화된 어플리케이션을 통해 사용자 입력을 감지함에 따른 응답으로, 상기 가상 객체를 상기 외부 영상의 일 가상 영역에 배치하는 과정을 포함하는 증강 현실 제공 방법.
  18. 제17항에 있어서,
    상기 복수의 어플리케이션들은 서로 다른 기능을 지원하는 어플리케이션인 것을 특징으로 하는 증강 현실 제공 방법.
  19. 제11항에 있어서,
    상기 가상 객체를 변경하는 과정은,
    상기 카메라 모듈을 통해 표시 중인 외부 영상을 캡처하여 화면에 표시하거나 상기 카메라 모듈을 통해 인식된 상기 외부 영상을 실시간으로 화면에 표시하는 과정;
    상기 화면에 표시된 외부 영상에 상기 가상 객체의 이미지 정보, 오디오 정보 및 시간 정보의 편집을 수행하는 입력을 감지하는 과정; 및
    상기 감지된 입력을 기반으로 상기 외부 영상에 표시될 가상 객체를 변경하는 과정을 포함하는 증강 현실 제공 방법.
  20. 제11항에 있어서,
    상기 가상 객체를 상기 일 가상 영역에 배치하는 정보를 포함하는 파일을 저장하는 과정; 및
    상기 파일에 상기 전자 장치 또는 네트워크를 통해 연결된 또 다른 전자 장치가 접속하는 경우, 상기 파일에 포함된 외부 영상 및 가상 객체 정보를 제공하는 과정을 더 포함하는 증강 현실 제공 방법.
KR1020160055671A 2016-05-04 2016-05-04 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치 KR20170125618A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160055671A KR20170125618A (ko) 2016-05-04 2016-05-04 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160055671A KR20170125618A (ko) 2016-05-04 2016-05-04 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20170125618A true KR20170125618A (ko) 2017-11-15

Family

ID=60387417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160055671A KR20170125618A (ko) 2016-05-04 2016-05-04 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치

Country Status (1)

Country Link
KR (1) KR20170125618A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190132191A (ko) * 2019-01-03 2019-11-27 남정규 증강현실 콘텐츠의 제작 및 편집이 가능한 증강현실 편집 시스템 및 증강현실 구현 시스템
WO2020130688A1 (ko) * 2018-12-19 2020-06-25 삼성전자 주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
KR20200075115A (ko) * 2018-12-12 2020-06-26 한국광기술원 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법
WO2023090690A1 (ko) * 2021-11-16 2023-05-25 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
US11775132B1 (en) 2022-05-18 2023-10-03 Environments by LE, Inc. System and method for the management and use of building systems, facilities, and amenities using internet of things devices and a metaverse representation
WO2024025034A1 (ko) * 2022-07-29 2024-02-01 팜피 주식회사 2d 및 3d 콘텐츠를 동시에 제작하기 위한 방법 및 이를 위한 융합형 제작장치
WO2024029858A1 (ko) * 2022-08-04 2024-02-08 삼성전자주식회사 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024063302A1 (ko) * 2022-09-22 2024-03-28 삼성전자주식회사 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치
WO2024090721A1 (ko) * 2022-10-28 2024-05-02 삼성전자주식회사 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075115A (ko) * 2018-12-12 2020-06-26 한국광기술원 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법
WO2020130688A1 (ko) * 2018-12-19 2020-06-25 삼성전자 주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
US11635805B2 (en) 2018-12-19 2023-04-25 Samsung Electronics Co., Ltd. Wearable device for using external entity as controller and method
KR20190132191A (ko) * 2019-01-03 2019-11-27 남정규 증강현실 콘텐츠의 제작 및 편집이 가능한 증강현실 편집 시스템 및 증강현실 구현 시스템
WO2023090690A1 (ko) * 2021-11-16 2023-05-25 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
US11775132B1 (en) 2022-05-18 2023-10-03 Environments by LE, Inc. System and method for the management and use of building systems, facilities, and amenities using internet of things devices and a metaverse representation
WO2024025034A1 (ko) * 2022-07-29 2024-02-01 팜피 주식회사 2d 및 3d 콘텐츠를 동시에 제작하기 위한 방법 및 이를 위한 융합형 제작장치
WO2024029858A1 (ko) * 2022-08-04 2024-02-08 삼성전자주식회사 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024063302A1 (ko) * 2022-09-22 2024-03-28 삼성전자주식회사 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치
WO2024090721A1 (ko) * 2022-10-28 2024-05-02 삼성전자주식회사 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN109891365B (zh) 虚拟现实和跨设备体验
KR20170125618A (ko) 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
US10685059B2 (en) Portable electronic device and method for generating a summary of video data
KR101782045B1 (ko) 가상현실 플랫폼을 통해 가상 현실 콘텐츠를 생성하는 방법 및 장치
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US20130187835A1 (en) Recognition of image on external display
CN112074797A (zh) 用于将虚拟对象锚定到物理位置的系统和方法
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
US20230215120A1 (en) Artificial Reality Environment with Glints Displayed by an Extra Reality Device
US11978140B2 (en) Personalized media overlay recommendation
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
US20140229823A1 (en) Display apparatus and control method thereof
KR20150079387A (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
US20220253195A1 (en) Integrating artificial reality and other computing devices
US20230351711A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
KR20190075596A (ko) 증강 현실 컨텐츠를 제작하는 방법, 이를 이용하는 방법 및 이를 이용한 장치
CN111652986A (zh) 舞台效果呈现方法、装置、电子设备及存储介质
US11302079B2 (en) Systems and methods for displaying and interacting with a dynamic real-world environment
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
KR20180091285A (ko) 동영상 관련 서비스 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20200106727A1 (en) Information service system and method thereof
KR20230163073A (ko) 시인성이 향상된 인터페이스를 제공하는 증강 현실 컨텐츠 제작 방법
JP2020052792A (ja) 情報サービスシステム及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal