KR100980202B1 - 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 - Google Patents

3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 Download PDF

Info

Publication number
KR100980202B1
KR100980202B1 KR1020080106949A KR20080106949A KR100980202B1 KR 100980202 B1 KR100980202 B1 KR 100980202B1 KR 1020080106949 A KR1020080106949 A KR 1020080106949A KR 20080106949 A KR20080106949 A KR 20080106949A KR 100980202 B1 KR100980202 B1 KR 100980202B1
Authority
KR
South Korea
Prior art keywords
hand
virtual object
augmented reality
mobile augmented
pose
Prior art date
Application number
KR1020080106949A
Other languages
English (en)
Other versions
KR20100047990A (ko
Inventor
박종일
박한훈
서병국
최준영
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020080106949A priority Critical patent/KR100980202B1/ko
Publication of KR20100047990A publication Critical patent/KR20100047990A/ko
Application granted granted Critical
Publication of KR100980202B1 publication Critical patent/KR100980202B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법이 개시된다. 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템은, 단말기에 부착된 카메라, 상기 단말기의 카메라를 이용하여 손 위에 3차원 가상물체를 생성하는 영상 처리부, 상기 3차원 가상물체 및 상기 손의 영상을 출력하는 디스플레이부 및 상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 인터랙션부를 포함한다.
3차원 가상물체, 증강현실, 인터랙션, 모바일 컴퓨팅, 한 손 기반

Description

3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법{MOBILE AUGMENTED REALITY SYSTEM FOR INTERACTION WITH 3D VIRTUAL OBJECTS AND METHOD THEREOF}
본 발명은 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법에 관한 것으로 특히, 단말기의 카메라로 손의 영상을 촬영하고, 촬영된 손의 영상과 함께 3차원 가상물체를 출력 및 제어하는 시스템 및 방법에 관한 것이다.
최근 들어, PDA(personal digital assistant), UMPC(ultra-mobile PC), mobile phones 등과 같은 모바일 장치들이 보편화됨에 따라, 모바일 증강현실 기술도 새로운 형태로 발전하게 되었고, 게임, 교육, 가이드, 그리고 산업 분야 등에 다양한 형태로 응용되었다. 특히, 증강현실 기술을 모바일 폰에 적용하기 위해 많은 노력이 진행되고 있다.
또한, 지금까지 모바일 장치들은 사람들의 일상생활에서 수많은 정보들과 다양한 상호작용(interaction)의 수단으로 사용되어왔다. 특히, RFID(radio frequency identification) 또는 NFC(near field communication) 등과 같은 무선 통신 기술의 발전은 모바일, 사용자, 그리고 정보들 간의 인터랙션을 더욱 향상시 켰다. 이러한 모바일 인터랙션은 모바일 증강현실 시스템에서도 이슈가 되었고, 영상 인식 기반의 모바일 증강현실 인터랙션과 더불어 대표적인 모바일 인터랙션 형태로 사용되었다. 또한, 최근 가상물체와 인터랙션이 가능한 증강현실 시스템이 제안되어, 보다 자연스럽고 현실감이 높은 사용자 인터랙션 기술을 선보일 수 있게 되었다.
그러나, 기존의 증강현실 시스템은 비주얼 마커 또는 패턴을 이용하여 구현하여야하고, 가상물체를 생성하여 시각적으로 보여주는 역할 이외에 사용자와 가상물체 간의 다양한 인터랙션을 제공하지 못했다.
따라서, 비마커 기반의 증강현실 시스템, 방법 및 사용자와 가상물체간의 다양한 인터랙션이 가능한 증강현실 시스템, 방법이 절실히 요구된다.
본 발명은 손의 특징점들을 이용하여 3차원 가상물체를 생성하는 비마커 기반의 증강현실 기술을 사용함으로써, 사용자가 언제 어디서나 모바일 장치를 이용하여 3차원 가상 컨텐츠에 접근할 수 있는 모바일 증강현실 시스템 및 방법을 제공한다.
본 발명은 손의 움직임을 인식하여 3차원 가상물체와 인터랙션이 가능한 증강현실 기술을 사용하고, 진동 센서를 부착한 장치를 이용하여 손의 무게감 및 촉감을 느낄 수 있도록 함으로써, 사용자에게 보다 높은 현실감과 실재감을 줄 수 있는 모바일 증강현실 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템은, 단말기에 부착된 카메라, 상기 단말기의 카메라를 이용하여 손 위에 3차원 가상물체를 생성하는 영상 처리부, 상기 3차원 가상물체 및 상기 손의 영상을 출력하는 디스플레이부 및 상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 인터랙션부를 포함한다
본 발명의 일측면에 따르면, 상기 영상 처리부는, 상기 손의 영상에서 손 영역을 검출하는 손 영역 검출부, 상기 손의 포즈를 결정하는 포즈 결정부 및 상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성하는 가상물체 렌더링부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 포즈 결정부는, 상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리하는 손 분리부, 상기 분리된 손 부분의 방향을 결정하는 손 방향 결정부 및 손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산하는 포즈 계산부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 인터랙션부는, 상기 3차원 가상물체의 움직임에 대응하여 무게감을 느낄 수 있도록 제어하는 무게감 제어부 및 상기 3차원 가상물체의 움직임에 대응하여 촉감을 느낄 수 있도록 제어하는 촉감 제어부를 포함할 수 있다.
본 발명의 일측면에 따르면, 진동 센서를 구비한 장갑을 더 포함하고, 상기 무게감 제어부 및 상기 촉각 제어부는, 상기 장갑의 진동 센서를 제어하여 손의 무게감 및 촉감을 제어할 수 있다.
본 발명의 일실시예에 따른 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 방법은, 단말기의 카메라를 이용하여 손의 영상을 촬영하고 3차원 가상물체를 생성하는 단계, 상기 손의 영상 및 상기 3차원 가상물체를 화면 출력하는 단계 및 상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 단계를 포함한다.
본 발명의 일실시예에 따르면, 손의 특징점들을 이용하여 3차원 가상물체를 생성하는 비마커 기반의 증강현실 기술을 사용함으로써, 사용자가 언제 어디서나 모바일 장치를 이용하여 3차원 가상 컨텐츠에 접근할 수 있는 모바일 증강현실 시스템 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 손의 움직임을 인식하여 3차원 가상물체와 인터랙션이 가능한 증강현실 기술을 사용하고, 진동 센서를 부착한 장치를 이용하여 손의 무게감 및 촉감을 느낄 수 있도록 함으로써, 사용자에게 보다 높은 현실감과 실재감을 줄 수 있는 모바일 증강현실 시스템 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 있어서, 모바일 증강현실 시스템을 이용하여 가상물체를 출력하는 화면을 도시한 도면이다.
도 1을 참고하면, 사용자는 단말기(120)에 부착된 카메라(121)를 통해 손(110)의 영상을 촬영할 수 있고, 상기 촬영된 손(123)의 영상은 3차원 가상물체(122)와 함께 디스플레이 화면에 출력될 수 있다. 이때, 단말기는 PDA, UMPC, mobile phones 등의 모바일 단말기를 포함한다. 또한, 사용자는 한 손에 단말기를 들고 다른 손을 촬영하고 상기 다른 손의 움직임에 대응하여 3차원 가상물체(122)가 움직일 수 있도록 제어하여 한 손 기반의 인터랙션이 가능할 수 있다.
도 2는 본 발명의 일실시예에 있어서, 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템을 도시한 블록도이다.
도 2를 참고하면, 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템은 카메라(210), 영상처리부(220), 인터랙션부(230) 및 디스플레이부(240)를 포함할 수 있다. 또한, 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템은 진동 센서를 구비한 장갑(미도시)을 더 포함할 수 있다.
사용자는 모바일 단말기에 부착된 카메라(210)를 이용하여 사용자가 촬영하고자 하는 영상을 촬영할 수 있다. 이때, 사용자는 한 손에 카메라(210)를 들고 다른 손을 촬영하여 다른 손에 3차원 가상물체를 생성하여 출력할 수 있다.
영상처리부(220)는, 상기 단말기의 카메라를 이용하여 손 위에 3차원 가상물체를 생성할 수 있다. 즉, 사용자의 손의 크기, 포즈 등에 따라 손의 영상과 함께 출력할 3차원 가상물체를 렌더링할 수 있다. 여기서, 영상처리부(220)의 세부 구성은 도 3을 참고하여 이하에서 상세하게 설명한다.
도 3은 도 2에 도시한 모바일 증강현실 시스템에 있어서, 영상처리부의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 영상 처리부(220)는, 손 영역 검출부(310), 포즈 결정부(320) 및 가상물체 렌더링부(330)를 포함할 수 있다.
손 영역 검출부(310)는 상기 손의 영상에서 손 영역을 검출할 수 있다. 이때 손 영역은 손 및 손목의 일부를 포함한다. 또한, 손 영역 검출부(310)는 색상 검출부(311) 및 배경 필터부(312)를 포함할 수 있다.
색상 검출부(311)는 generalized statistical color model 등을 이용하여 손의 피부색 또는 장갑색을 검출할 수 있다.
배경 필터부(312)는 배경에서 피부색 또는 장갑색과 동일한 영역을 제거하기 위해서 distance transform 등을 이용하여 배경 부분을 필터링하여 손 영역을 검출할 수 있다.
포즈 결정부(320)는 상기 손의 포즈를 결정할 수 있다. 여기서, 포즈 결정부(320)는 손 분리부(321), 손 방향 결정부(322) 및 포즈 계산부(323)를 포함할 수 있다.
손 분리부(321)는 상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리할 수 있다. 이를 위해, 상기 복수 개의 외곽점을 이용해 손 영영의 평균방향을 구하고, 상기 평균방향에 수직인 두 외곽점들의 평균점을 구할 수 있다. 또한, 상기 평균점에 수직(평균점의 접선에 수직)인 두 외곽점들의 거리를 구하여, 거리가 일정해지는 지점을 손목 시작점으로 인식하여 손 부분을 분리할 수 있다. 따라서, 손목 시작점을 기준으로 좌우를 구분하여 손 부분과 손목 부분을 분리해 낼 수 있다.
손 방향 결정부(322)는 상기 분리된 손 부분의 방향을 결정할 수 있다. 즉, 손의 영역에서 분리된 손 부분에 대해 다시 평균적인 방향을 산출할 수 있다. 여기서, 분리된 손 부분에 대해 평균적인 방향을 산출하는 경우, 상기 손 영역의 평균방향에 수직인 두 외곽점들의 평균점 중 손 부분에 있는 점들만을 이용하여 손 부분의 방향을 산출할 수 있다.
포즈 계산부(323)는 손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산할 수 있다. 즉, 손의 포즈를 결정하기 위해 엄지와 집게 손가락 사이의 홈 부분과 손목의 시작점을 이용하여 손바닥의 기준 길이 비를 구하고, 이를 이용하여 결정되는 프로젝션 모델을 이용하여 손 포즈를 결정할 수 있다.
일실시예로, 마커 대신에 3차원 가상의 사각형 모델을 가정하고, 이를 마커가 손위에 놓여 있는 것처럼 상기 3차원 가상의 사각형 모델을 변형하는 방법을 사용할 수 있다. 이때, 3차원 가상의 사각형 모델은 아래 [수학식 1]에 의해 사각형의 꼭지점을 결정할 수 있다.
[수학식 1]
Figure 112008075455008-pat00001
여기서, 상기 a는 scale factor, width는 손바닥의 너비(엄지골부분(convexity defect point)과 손바닥 경계선상의 한 점-상기 엄지골부분과 상기 손바닥 경계선상의 한 점을 연결하는 선은 손부분 평균방향과 수직-사이의 거리), height는 손바닥의 높이(손목 시작점에서 손바닥 너비 방향 벡터와 최단거리(수직거리))를 각각 의미함.
상기 [수학식 1]에 의해 결정된 네 꼭지점을 z=0 평면으로 퍼스펙티브 프로젝션(perspective projection)시킬 수 있다. 다음으로, 프로젝션된 3차원 가상의 모델을 너비 방향 벡터와 손바닥 평균방향의 교차점인 손바닥 중심으로 이동하고 손 부분의 평균방향으로 화면의 위쪽에서 손 부분의 평균방향으로의 각 만큼 회전 시킬 수 있다. 변형된 3차원 가상의 사각형 모델을 바탕으로 손의 포즈를 계산할 수 있다.
가상물체 렌더링부(330)는 상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성할 수 있다. 즉, 상기 손의 크기, 방향 등을 고려하여 3차원 컨텐츠에 접근하여 3차원 가상물체를 생성할 수 있다.
다시 도 2를 참고하면, 인터랙션부(230)는 상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어할 수 있다. 즉, 사용자가 손을 움직이는 경우(ex. 오므리기, 쓰다듬기, 기울이기, 튕기기, 흔들기 등) 사용자의 움직임에 따라 3차원 가상물체가 다양한 움직임 또는 애니메이션을 실행할 수 있다. 즉, 사용자의 움직임에 인터랙션하여 3차원 가상물체가 움직일 수 있다. 또한, 인터랙션부(230)는 무게감 제어부(미도시) 및 촉감 제어부(미도시)를 포함할 수 있다.
무게감 제어부(미도시)는 상기 3차원 가상물체의 움직임에 대응하여 무게감을 느낄 수 있도록 제어할 수 있고, 촉감 제어부(미도시)는 상기 3차원 가상물체의 움직임에 대응하여 촉감을 느낄 수 있도록 제어할 수 있다. 즉, 무게감 제어부(미도시) 및 촉감 제어부(미도시)는 진동 센서를 구비한 장갑의 진동 센서를 제어하여 손의 무게감 및 촉감을 제어할 수 있다. 여기서, 진동 센서를 구비한 장갑은 도 7을 참고하여 이하에서 더욱 상세하게 설명한다.
도 7은 본 발명의 일실시예에 있어서, 손의 무게감 및 촉감을 제어하기 위한 전동 센서를 부착한 장갑을 도시한 도면이다.
도 7을 참고하면, 장갑에 복수 개의 진동 센서(711, 712, 713, 714, 715, 716)를 구비하여 무게감 및 촉감을 제어할 수 있다. 즉, 단말기(740)는 무선통신을 통해 컨트롤러(730)에 진동 모터(720)를 제어하는 명령을 전달할 수 있고, 진동 모터(720)는 복수 개의 진동 센서(711, 712, 713, 714, 715, 716)중 적어도 하나를 제어하여 사용자가 무게감 또는 촉감을 느끼도록 할 수 있다.
다시 도 2를 참고하면, 디스플레이부(240)는 상기 3차원 가상물체 및 상기 손의 영상을 출력할 수 있다. 이때, 손의 움직임에 인터랙션하여 움직이는 3차원 가상물체의 움직임의 변화를 디스플레이 화면을 통해 출력할 수 있다.
상기와 같이, 모바일 단말기를 사용하여, 한 손 기반의 증강현실 시스템을 구현할 수 있고, 진동 센서를 이용하여 촉감 인터랙션 및 무게감 인터랙션이 가능한 증강현실 시스템을 제공할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 손 영역에서 손 부분을 분리하는 과정을 설명하기 위한 도면이다.
도 4를 참고하면, 도 4의 (a)는, 사용자의 손의 영상을 촬영한 영상이 도시되고, 도 4(b)에서는 상기 촬영된 손의 영상으로부터 손 영역을 추출할 수 있다.
도 4의 (c)에서는 손 영역의 외곽점을 추출하고 상기 외곽점을 이용하여 손 영역의 평균적인 방향을 구할 수 있다.
도 4의 (d)에서는 손 영역의 외곽점 세트를 하나 이상 산출하고, 상기 외곽점 세트 각각의 거리를 구하여 그 거리가 일정해지기 시작하는 점을 손목의 시작점으로 인식할 수 있다. 도 4의 (d)를 참고하면, 손 영역의 평균적인 방향(410)에 수직인 두 외곽점 세트(ex. 411과 412, 413과 414, 415와 416, 417과 418 등)를 산 출하고, 상기 외곽점 세트의 거리의 평균점(ex. 411과 412의 중간점, 413과 414의 중간점, 415와 416의 중간점, 417과 418의 중간점 등)을 산출할 수 있다. 이후, 상기 평균점에 수직인 두 외곽점(평균점을 연결한 곡선에서 평균점의 접선에 수직인 두 외곽점)들의 거리를 구하고, 상기 두 외곽점들의 거리가 일정해지는 점을 산출하여 이 점을 손목 시작점으로 인식할 수 있다. 즉, 손목을 제외한 손의 모양은 곡선으로 이루어져 이웃하는 외곽점 세트들의 거리 변화가 크나, 손목 부분은 외곽선이 평행한 두 직선에 가까워 이웃하는 외곽점 세트들의 거리가 거의 일정하다. 따라서, 상기 평균점에 수직인 외곽점들의 거리가 일정해지는 점을 손목 시작점으로 인식할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 손 부분의 방향을 결정하는 과정을 설명하기 위한 도면이다.
도 5를 참고하면, 도 5의 (a)에서는 상기 외곽점 세트의 평균점 중 손 부분에 있는 점들(510)만을 추출하고, 도 5의 (b)에서 분리된 손 부분의 평균적인 방향(520)을 산출할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 손의 포즈를 계산하고 3차원 가상물체를 렌더링하는 과정을 설명하기 위한 도면이다.
도 6을 참고하면, 도 6의 (a)에서 엄지와 집게손가락 사이의 홈 부분의 점(611)과 손목의 시작점(612)을 이용하여 손바닥 기준 길이 비를 구할 수 있다. 따라서, 이를 이용하여 손 포즈를 산출하고, 도 6의 (b)에서 3차원 가상물체(621)를 손의 영상과 함께 출력할 수 있다.
도 8은 본 발명의 일실시예에 있어서, 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 방법을 도시한 흐름도이다.
도 8을 참고하면, 단계(S810)에서는 단말기의 카메라를 이용하여 손의 영상을 촬영하고 3차원 가상물체를 생성한다. 단계(S810)은 상기 손의 영상에서 손 영역을 검출하는 단계, 상기 손의 포즈를 결정하는 단계 및 상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성하는 단계를 포함할 수 있다. 즉, 촬영된 영상으로부터 손 영역을 검출하고, 손 포즈를 결정하여 3차원 가상물체를 생성할 수 있다. 이때, 손 영역을 검출하는 단계는 손의 색상을 검출하는 단계 및 배경에서 상기 색상과 동일한 영역을 제거하는 단계를 포함할 수 있다. 또한, 상기 손의 포즈를 결정하는 단계는 상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리하는 단계, 상기 분리된 손 부분의 방향을 결정하는 단계 및 손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산하는 단계를 포함할 수 있다.
즉, 손 영역을 검출한 후 손 영역에서 손 부분을 분리하고, 분리된 손 부분의 방향을 결정하며 손의 포즈를 계산하여 3차원 가상물체를 생성할 수 있다.
단계(S820)에서는 상기 손의 영상 및 상기 3차원 가상물체를 화면 출력한다. 이때, 즉, 상기 손의 실사 영상에 상기 3차원 가상물체를 합하여 하나의 영상으로 출력할 수 있다.
단계(S830)에서는 상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어한다. 여기서, 진동 센서를 구비한 장갑을 통해 상기 3차원 가상물체의 움직임 에 대응하여 무게감 및 촉감을 느낄 수 있도록 상기 장갑의 진동 센서를 제어할 수 있다. 이때, 진동 센서를 제어하기 위해 상기 단말기와 장갑이 무선 통신하여 진동 센서를 제어할 수 있다.
상기와 같이, 모바일 장치를 이용하여 3차원 가상물체를 생성함으로써, 언제 어디서나 3차원 가상 컨텐츠에 접근할 수 있고, 비마커 기반의 증강현실 시스템을 구현할 수 있다.
또한, 손의 움직임을 인식하여 3차원 가상물체와 인터랙션을 제공하고, 진동 센서를 부착한 장치를 통해 무게감 및 촉감을 제어함으로써 보다 현실적이고, 실재감 있는 증강현실 시스템을 구현할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 모바일 증강현실 시스템을 이용하여 가상물체를 출력하는 화면을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템을 도시한 블록도이다.
도 3은 도 2에 도시한 모바일 증강현실 시스템에 있어서, 영상처리부의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 손 영역에서 손 부분을 분리하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 손 부분의 방향을 결정하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 손의 포즈를 계산하고 3차원 가상물체를 렌더링하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 손의 무게감 및 촉감을 제어하기 위한 전동 센서를 부착한 장갑을 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110 , 123: 손
120 : 단말기
121, 210 : 카메라
122 : 3차원 가상물체
220 : 영상처리부
230 : 인터렉션부
240: 디스플레이부

Claims (16)

  1. 단말기에 부착된 카메라;
    상기 단말기의 카메라를 이용하여 손 위에 3차원 가상물체를 생성하는 영상 처리부;
    상기 3차원 가상물체 및 상기 손의 영상을 출력하는 디스플레이부; 및
    상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 인터랙션부
    를 포함하고,
    상기 인터랙션부는,
    상기 3차원 가상물체의 움직임에 대응하여 무게감을 느낄 수 있도록 제어하는 무게감 제어부; 및
    상기 3차원 가상물체의 움직임에 대응하여 촉감을 느낄 수 있도록 제어하는 촉감 제어부를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
  2. 제1항에 있어서,
    상기 영상 처리부는,
    상기 손의 영상에서 손 및 손목의 일부를 포함하는 영역인 손 영역을 검출하는 손 영역 검출부;
    상기 손의 포즈를 결정하는 포즈 결정부; 및
    상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성하는 가상물체 렌더링부
    를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
  3. 제2항에 있어서,
    상기 손 영역 검출부는,
    상기 손 영역의 색상을 검출하는 색상 검출부; 및
    상기 손의 영상의 배경에서 상기 색상과 동일한 영역을 제거하는 배경 필터부
    를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
  4. 제2항에 있어서,
    상기 포즈 결정부는,
    상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리하는 손 분리부;
    상기 분리된 손 부분이 가리키는 방향을 결정하는 손 방향 결정부; 및
    손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산하는 포즈 계산부
    를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
  5. 제4항에 있어서,
    상기 손 분리부는,
    상기 손 영역이 가리키는 방향에 수직한 두 외곽점들의 평균점을 산출하고, 상기 평균점에 수직인 상기 두 외곽점 세트 각각의 거리가 일정해지는 점을 손목 시작점으로 인식하여 손 부분을 분리하는 것을 특징으로 하는 모바일 증강현실 시스템.
  6. 삭제
  7. 제1항에 있어서,
    복수 개의 진동 센서를 구비한 장갑을 더 포함하고,
    상기 무게감 제어부 및 상기 촉감 제어부는,
    상기 복수 개의 진동 센서를 제어하여 손의 무게감 및 촉감을 제어하는 것을 특징으로 하는 모바일 증강현실 시스템.
  8. 제7항에 있어서,
    상기 진동 센서의 제어는,
    상기 단말기와 무선 통신하여 제어하는 것을 특징으로 하는 모바일 증강현실 시스템.
  9. 단말기의 카메라를 이용하여 손의 영상을 촬영하고 3차원 가상물체를 생성하는 단계;
    상기 손의 영상 및 상기 3차원 가상물체를 화면 출력하는 단계;
    상기 손의 움직임에 대응하여 상기 3차원 가상물체를 움직이는 단계; 및
    상기 3차원 가상물체의 움직임에 대응하여 무게감 및 촉감을 느낄 수 있도록 제어하는 단계
    를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
  10. 제9항에 있어서,
    상기 생성하는 단계는,
    상기 손의 영상에서 손 및 손목의 일부를 포함하는 영역인 손 영역을 검출하는 단계;
    상기 손의 포즈를 결정하는 단계; 및
    상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성하는 단계
    를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
  11. 제10항에 있어서,
    상기 손 영역을 검출하는 단계는,
    상기 손 영역의 색상을 검출하는 단계; 및
    상기 손의 영상의 배경에서 상기 색상과 동일한 영역을 제거하는 단계
    를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
  12. 제10항에 있어서,
    상기 손의 포즈를 결정하는 단계는,
    상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리하는 단계;
    상기 분리된 손 부분이 가리키는 방향을 결정하는 단계; 및
    손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산하는 단계
    를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
  13. 제12항에 있어서,
    손 부분을 분리하는 단계는,
    상기 손 영역이 가리키는 방향에 수직한 두 외곽점들의 평균점을 산출하는 단계; 및
    상기 평균점에 수직인 상기 두 외곽점 세트 각각의 거리가 일정해지는 점을 손목 시작점으로 인식하여 손 부분을 분리하는 단계
    를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
  14. 삭제
  15. 제9항에 있어서,
    상기 무게감 및 촉감을 느낄 수 있도록 제어하는 단계는,
    진동 센서를 구비한 장갑의 진동 센서를 제어하여 손의 무게감 및 촉감을 제어하는 것을 특징으로 하는 모바일 증강현실 방법.
  16. 제15항에 있어서,
    상기 진동 센서의 제어는,
    상기 단말기와 무선 통신하여 제어하는 것을 특징으로 하는 모바일 증강현실 방법.
KR1020080106949A 2008-10-30 2008-10-30 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 KR100980202B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080106949A KR100980202B1 (ko) 2008-10-30 2008-10-30 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080106949A KR100980202B1 (ko) 2008-10-30 2008-10-30 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20100047990A KR20100047990A (ko) 2010-05-11
KR100980202B1 true KR100980202B1 (ko) 2010-09-07

Family

ID=42274821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080106949A KR100980202B1 (ko) 2008-10-30 2008-10-30 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100980202B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518727B1 (ko) 2011-11-03 2015-05-08 수퍼디 컴퍼니 리미티드 입체 인터랙션 시스템 및 입체 인터랙션 방법
KR101519589B1 (ko) * 2013-10-16 2015-05-12 (주)컴버스테크 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR20160001699A (ko) 2014-06-26 2016-01-06 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR101501127B1 (ko) 2015-02-04 2016-02-15 (주)올포랜드 멀티미디어 융합 콘텐츠 제공을 위한 모바일 증강현실 시스템
CN105929933A (zh) * 2015-12-22 2016-09-07 北京蚁视科技有限公司 一种用于三维显示环境中的交互识别方法
KR20230103241A (ko) 2021-12-31 2023-07-07 (주)모아지오 멀티 센서를 이용한 사용자 인터페이스 제공 장치 및 그 사용자 인터페이스 제공 방법과 이를 위한 컴퓨터 프로그램

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156734B1 (ko) * 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템
KR101253675B1 (ko) * 2011-05-12 2013-04-11 김기영 피사체의 이동정보를 이용하여 휴대장치의 명령을 처리하는 방법
US9317121B2 (en) 2011-12-15 2016-04-19 Industry-University Cooperation Foundation Hanyang University Apparatus and method for providing tactile sensation in cooperation with display device
KR101318244B1 (ko) * 2012-02-29 2013-10-15 한국과학기술연구원 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
KR101409845B1 (ko) * 2012-12-20 2014-06-19 전자부품연구원 영상 표시 장치 및 방법
KR101276313B1 (ko) * 2013-02-27 2013-06-18 주식회사 케이쓰리아이 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템
RU2601169C1 (ru) 2015-06-11 2016-10-27 Виталий Витальевич Аверьянов Способ и устройство для взаимодействия с виртуальными объектами
KR101626375B1 (ko) * 2015-06-30 2016-06-01 한양대학교 산학협력단 증강현실 물체를 감지하는 장갑형 촉각전달 장치 및 그 방법
KR102293827B1 (ko) * 2015-11-16 2021-08-25 에스케이텔레콤 주식회사 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법
CN109325978B (zh) * 2017-07-31 2022-04-05 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
KR102333768B1 (ko) * 2018-11-16 2021-12-01 주식회사 알체라 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
KR102268265B1 (ko) * 2019-09-23 2021-06-23 주식회사 티디씨제이 촉감 수집 센서 및 가상 촉감 제공 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100298240B1 (ko) 1996-10-18 2001-10-24 니시무로 타이죠 정보입력장치,정보입력방법및고체촬상장치
KR20050089375A (ko) * 2004-03-04 2005-09-08 한국과학기술원 유아의 난화교육을 위한 증강현실 디스플레이 장치
KR100659901B1 (ko) * 2006-04-20 2006-12-20 엘지전자 주식회사 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기
KR20080065032A (ko) * 2007-01-08 2008-07-11 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100298240B1 (ko) 1996-10-18 2001-10-24 니시무로 타이죠 정보입력장치,정보입력방법및고체촬상장치
KR20050089375A (ko) * 2004-03-04 2005-09-08 한국과학기술원 유아의 난화교육을 위한 증강현실 디스플레이 장치
KR100659901B1 (ko) * 2006-04-20 2006-12-20 엘지전자 주식회사 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기
KR20080065032A (ko) * 2007-01-08 2008-07-11 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518727B1 (ko) 2011-11-03 2015-05-08 수퍼디 컴퍼니 리미티드 입체 인터랙션 시스템 및 입체 인터랙션 방법
KR101519589B1 (ko) * 2013-10-16 2015-05-12 (주)컴버스테크 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR20160001699A (ko) 2014-06-26 2016-01-06 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
US10304248B2 (en) 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
KR101501127B1 (ko) 2015-02-04 2016-02-15 (주)올포랜드 멀티미디어 융합 콘텐츠 제공을 위한 모바일 증강현실 시스템
CN105929933A (zh) * 2015-12-22 2016-09-07 北京蚁视科技有限公司 一种用于三维显示环境中的交互识别方法
KR20230103241A (ko) 2021-12-31 2023-07-07 (주)모아지오 멀티 센서를 이용한 사용자 인터페이스 제공 장치 및 그 사용자 인터페이스 제공 방법과 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20100047990A (ko) 2010-05-11

Similar Documents

Publication Publication Date Title
KR100980202B1 (ko) 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
JP6323040B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10082879B2 (en) Head mounted display device and control method
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN113238650B (zh) 手势识别和控制的方法、装置及虚拟现实设备
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
KR101743948B1 (ko) 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
EP2759915A2 (en) A haptic device, a method and a system
US9979946B2 (en) I/O device, I/O program, and I/O method
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
CN111383345B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
KR20120010875A (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
KR20150133585A (ko) 3차원 영상의 단면 탐색 시스템 및 방법
US11886643B2 (en) Information processing apparatus and information processing method
Seo et al. One-handed interaction with augmented virtual objects on mobile devices
KR20090040839A (ko) 증강현실 컴퓨터 장치
KR102063408B1 (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR101582225B1 (ko) 인터랙티브 증강현실 서비스 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171214

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 10