KR20160072306A - 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템 - Google Patents

스마트 펜 기반의 콘텐츠 증강 방법 및 시스템 Download PDF

Info

Publication number
KR20160072306A
KR20160072306A KR1020140179113A KR20140179113A KR20160072306A KR 20160072306 A KR20160072306 A KR 20160072306A KR 1020140179113 A KR1020140179113 A KR 1020140179113A KR 20140179113 A KR20140179113 A KR 20140179113A KR 20160072306 A KR20160072306 A KR 20160072306A
Authority
KR
South Korea
Prior art keywords
content
augmented
gesture
pen
input device
Prior art date
Application number
KR1020140179113A
Other languages
English (en)
Inventor
신춘성
박병하
정광모
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140179113A priority Critical patent/KR20160072306A/ko
Publication of KR20160072306A publication Critical patent/KR20160072306A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스마트 펜 기반의 콘텐츠 증강 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 증강 콘텐츠 제공 방법은, 펜 타입 입력장치가 지정한 지점으로부터 콘텐츠를 결정하여 증강 처리하고, 사용자의 제스처를 인식하여 증강 처리된 콘텐츠를 변경 처리한다. 이에 의해, 이상 설명한 바와 같이, 스마트 펜을 이용한 증강 현실 서비스 제공이 가능해지고, 스마트 펜을 이용한 직관적이고 재미있게 활용할 수 있게 된다.

Description

스마트 펜 기반의 콘텐츠 증강 방법 및 시스템{Content Augmentation Method and System using a Smart Pen}
본 발명은 콘텐츠 제공 방법 및 시스템에 관한 것으로, 더욱 상세하게는 사용자의 인터랙션에 따라 맞춤형으로 증강 콘텐츠를 제공하는 방법 및 시스템에 관한 것이다.
종래의 스마트 펜은 단순히 마우스 기능을 대신할 목적으로 개발 및 활용되고 있어, 마우스 포인트 이동과 클릭 등의 단순한 기능이나 화면에 드로잉 하는 정도의 기능만을 제공하는데 그치고 있다.
즉, 스마트 펜을 활용한 다양하고 실감 있는 사용자 인터랙션 제공은 이루어지지 않고 있는 실정이다.
이에, 스마트 펜을 이용한 다양한 응용 및 실감형 사용자 인터랙션을 제공하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 펜 타입 입력장치를 이용하여 증강 콘텐츠의 종류와 표시 위치를 결정하는 증강 콘텐츠 제공하는 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 다른 목적은, 펜 타입 입력장치를 이용하여 사용자의 제스처를 파악하고, 파악된 제스처에 따라 증강 콘텐츠를 변경하는 인터랙션을 제공하는 증강 콘텐츠 제공하는 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 증강 콘텐츠 제공 방법은, 펜 타입 입력장치가 지정한 지점으로부터 콘텐츠를 결정하는 단계; 결정된 콘텐츠를 증강 처리하는 단계; 사용자의 제스처를 인식하는 단계; 및 인식된 제스처를 기반으로, 증강 처리된 콘텐츠를 변경 처리하는 단계;를 포함한다.
그리고, 상기 펜 타입 입력장치가 지정한 지점은, 상기 펜 타입 입력장치의 펜 끝 부분에 마련된 카메라를 통해 촬영된 지점일 수 있다.
또한, 상기 인식단계는, 상기 펜 타입 입력장치의 움직임 데이터로부터 상기 사용자의 제스처를 인식할 수 있다.
그리고, 상기 증강 처리 단계는, 상기 펜 타입 입력장치가 지정한 지점을 중심으로 하는 영역에 상기 콘텐츠를 증강시킬 수 있다.
또한, 상기 변경 처리 단계는, 상기 인식된 제스처를 기반으로, 증강 처리된 콘텐츠의 감상 방향 또는 표시 위치를 변경 처리할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 증강 콘텐츠 생성장치는, 펜 타입 입력장치가 지정한 지점으로부터 콘텐츠를 결정하는 제1 인식부; 사용자의 제스처를 인식하는 제2 인식부; 및 결정된 콘텐츠를 증강 처리하고, 인식된 제스처를 기반으로 증강 처리된 콘텐츠를 변경 처리하는 처리부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 스마트 펜과 같은 펜 타입 입력장치를 이용하여 증강 콘텐츠의 종류와 표시 위치를 결정하므로, 스마트 펜을 이용한 증강 현실 서비스 제공이 가능해진다.
또한, 본 발명의 실시예들에 따르면, 스마트 펜을 이용하여 사용자의 제스처를 파악하고, 파악된 제스처에 따라 증강 콘텐츠를 변경하는 인터랙션을 제공하게 되어, 스마트 펜을 이용한 직관적이고 재미있게 활용할 수 있게 된다.
도 1 및 도 2는, 본 발명의 일 실시예에 따른 증강 콘텐츠 제공 시스템의 개념 설명에 제공되는 도면,
도 3은, 도 1에 도시된 스마트 펜의 상세 블럭도,
도 4는, 도 1에 도시된 증강 콘텐츠 생성장치의 상세 블럭도,
도 5는 본 발명의 다른 실시예에 따른 증강 콘텐츠 제공 방법의 설명에 제공되는 흐름도, 그리고,
도 6 내지 도 10은, 도 5에 도시된 증강 콘텐츠 제공 방법의 부연 설명에 제공되는 도면들이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 콘텐츠 제공 시스템의 개념 설명에 제공되는 도면이다. 본 발명의 실시예에 따른 증강 콘텐츠 제공 시스템은, 도 1에 도시된 바와 같이, 스마트 펜(100)과 증강 콘텐츠 생성장치(200)를 포함한다.
스마트 펜(100)은 카메라와 움직임 감지 센서를 내장하고 있어, 사용자가 스마트 펜(100)으로 지시한 지점의 영상과 사용자에 의한 스마트 펜(100)의 움직임 정보를 생성하여, 증강 콘텐츠 생성장치(200)에 전달한다.
증강 콘텐츠 생성장치(200)는, 스마트 펜(100)으로부터 전달받은 영상으로부터 사용자가 스마트 펜(100)으로 지시한 지점을 파악하여 증강 콘텐츠와 그 표시 영역을 결정한다. 여기서, 증강 콘텐츠는, 증강 콘텐츠 생성장치(200)에 의해 생성된 2D 콘텐츠에 증강 현실로 부가 표시되는 콘텐츠를 말한다.
아울러, 증강 콘텐츠 생성장치(200)는, 스마트 펜(100)으로부터 전달받은 움직임 데이터로부터 사용자의 제스처를 파악하고, 파악된 제스처에 따라 증강 콘텐츠를 변경 처리한다. 여기서, 변경 처리에는 증강 콘텐츠의 위치 변경(즉, 이동 표시), 감상 방향 변경(즉, 회전 표시)는 물론 증강 콘텐츠에 대한 확대와 내용 변경 등을 포함하는 개념이다.
증강 콘텐츠 생성장치(200)에 의해 생성된 증강 콘텐츠가 부가된 콘텐츠는 출력 패널(10)에 표시되어, 사용자에게 제공된다. 출력 패널(10)은 디스플레이, 스크린 등으로, 그 종류와 규격을 불문한다.
나아가, 도 2에 도시된 바와 같이, 증강 콘텐츠 생성장치(200)에 의해 생성된 증강 콘텐츠가 부가된 콘텐츠는 모바일 기기(20)에 표시되어, 사용자에게 제공될 수도 있다.
도 3은 도 1에 도시된 스마트 펜(100)의 상세 블럭도이다. 도시된 바와 같이, 스마트 펜(100)은, 카메라(110), 움직임 감지 센서(120), 제어부(130), 조작부(140) 및 통신부(150)를 포함한다.
카메라(110)는 스마트 펜(100)의 끝 부분(펜 촉 부분)에 위치하여, 사용자가 스마트 펜(100)으로 지시하는 지점을 촬영한다.
움직임 감지 센서(120)는 자이로 센서, 가속도 센서 등으로 구현 가능하며, 사용자의 움직임을 감지하여 움직임 데이터를 생성한다.
제어부(130)는 조작부(140)를 통해 사용자가 촬영 버튼을 누른 경우, 카메라(110)가 촬영하여 생성한 영상을 통신부(150)를 통해 증강 콘텐츠 생성장치(200)에 전송한다.
또한, 제어부(130)는 움직임 감지 센서(120)에 의해 생성된 움직임 데이터를 통신부(150)를 통해 증강 콘텐츠 생성장치(200)에 전송한다.
도 4는 도 1에 도시된 증강 콘텐츠 생성장치(200)의 상세 블럭도이다. 도시된 바와 같이, 증강 콘텐츠 생성장치(200)는, 통신부(210), 증강 콘텐츠 인식부(220), 제스처 인식부(230), 콘텐츠 생성부(240), 증강 처리부(250) 및 출력부(260)를 포함한다.
통신부(210)는 스마트 펜(100)과 무선으로 통신 연결을 위한 수단으로, 스마트 펜(100)에 의해 생성된 영상과 움직임 데이터를 수신한다.
증강 콘텐츠 인식부(220)는 통신부(210)를 통해 스마트 펜(100)으로부터 수신한 영상을 기반으로 증강 현실로 표시할 증강 콘텐츠를 결정한다. 구체적으로, 영상에 나타난 마커의 패턴을 통해, 사용자가 스마트 펜(100)으로 콘텐츠의 어느 지점을 지시하였는지, 파악할 수 있다.
제스처 인식부(230)는 통신부(210)를 통해 스마트 펜(100)으로부터 수신한 움직임 데이터를 기반으로 사용자의 제스처를 인식한다.
콘텐츠 생성부(240)는 2D 콘텐츠를 생성하고, 증강 처리부(250)는 증강 콘텐츠 인식부(220)에 의해 인식된 증강 콘텐츠를 콘텐츠 생성부(240)가 생성한 2D 콘텐츠에 부가한다.
또한, 2D 콘텐츠에 증강 콘텐츠를 부가함에 있어, 콘텐츠 생성부(240)는 제스처 인식부(230)를 통해 인식된 제스처에 따라 증강 콘텐츠를 변경 처리할 수 있다. 증강 콘텐츠의 변경 처리에는, 증강 콘텐츠의 위치 변경(즉, 이동 표시), 감상 방향 변경(즉, 회전 표시)는 물론 증강 콘텐츠에 대한 확대와 내용 변경 등을 포함한다고 전술한 바 있다.
출력부(260)는 증강 처리부(250)에 의해 증강 콘텐츠가 부가된 콘텐츠를 표시 패널(10)이나 모바일 기기(20) 등에 전송하여 표시시킨다.
이하에서, 도 1에 도시된 증강 콘텐츠 제공 시스템에 의해 콘텐츠가 제공되는 과정에 대해, 도 5를 참조하여 상세히 설명한다. 도 5는 본 발명의 다른 실시예에 따른 증강 콘텐츠 제공 방법의 설명에 제공되는 흐름도이다.
도 5에 도시된 바와 같이, 증강 콘텐츠 생성장치(200)의 콘텐츠 생성부(240)에 의해 2D 콘텐츠가 생성되어, 출력부(260)에 의해 표시 패널(10)이나 모바일 기기(20)에 표시된다(S310). 도 6에는 S310단계에 의해 콘텐츠가 표시 패널(10)에 표시된 결과를 예시하였다.
이후, 스마트 펜(100)의 카메라(110)를 통해 촬영된 영상이 수신되면(S320-Y), 증강 콘텐츠 인식부(220)는 수신한 영상을 기반으로 증강 현실로 표시할 증강 콘텐츠와 표시 영역을 결정한다(S330). S330단계에서는, 표시할 증강 콘텐츠는 촬영된 영상과 관련이 있는 콘텐츠로, 표시 영역은 촬영된 지점을 중심으로 하는 영역으로, 각각 결정할 수 있다.
이에, 증강 처리부(250)는 S330단계에서 결정한 증강 콘텐츠를 결정한 표시 영역에 표시한다(S340).
도 7에는 사용자가 스마트 펜(100)으로 표시 패널(10)에 표시된 그림들 중 "사자" 그림을 지시한 상황을 예시하였고, 이에 의해 사용자가 스마트 펜(100)으로 지시한 지점을 중심으로 하는 영역에 "사자"에 대한 증강 콘텐츠(11)가 부가된 상황을 도 8에 예시하였다.
이후, 스마트 펜(100)의 움직임 감지 센서(120)를 통해 생성된 움직임 데이터가 수신되면(S350-Y), 제스처 인식부(230)는 수신된 움직임 데이터로부터 사용자의 제스처를 인식하고(S360), 인식된 제스처에 따라 증강 콘텐츠를 변경 처리한다(S370).
도 9에는 스마트 펜(100)을 들고 있는 사용자에 의해 좌측 이동이라는 제스처가 발생한 상황을 예시하였고, 도 10에는 사용자의 제스처에 의해 증강 콘텐츠의 "감상 방향이 좌측으로 90도 회전"한 상황을 예시하였다.
지금까지, 스마트 펜(100)을 이용하여 증강 콘텐츠의 종류와 표시 위치를 결정하고, 스마트 펜(100)을 들고 있는 사용자의 제스처를 파악하여 그에 따라 증강 콘텐츠를 변경하는 인터랙션을 제공하는 증강 콘텐츠 제공하는 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서, 스마트 펜(100)은 다른 종류의 펜 타입 입력장치로 대체될 수 있으며, 나아가 펜 타입이 아닌 다른 입력장치로도 대체될 수 있다.
또한, 사용자의 제스처에 대한 제한은 없다. 사용자의 제스처에는, 상하좌우 이동, 더블클릭, 동그라미, 사각형 등의 다양한 형태를 포함할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 스마트 펜 110 : 카메라
120 : 움직임 감지 센서 150 : 통신부
200 : 증강 콘텐츠 생성장치 220 : 증강 콘텐츠 인식부
230 : 제스처 인식부 240 : 콘텐츠 생성부
250 : 증강 처리부

Claims (6)

  1. 펜 타입 입력장치가 지정한 지점으로부터 콘텐츠를 결정하는 단계;
    결정된 콘텐츠를 증강 처리하는 단계;
    사용자의 제스처를 인식하는 단계; 및
    인식된 제스처를 기반으로, 증강 처리된 콘텐츠를 변경 처리하는 단계;를 포함하는 것을 특징으로 하는 증강 콘텐츠 제공 방법.
  2. 청구항 1에 있어서,
    상기 펜 타입 입력장치가 지정한 지점은,
    상기 펜 타입 입력장치의 펜 끝 부분에 마련된 카메라를 통해 촬영된 지점인 것을 특징으로 하는 증강 콘텐츠 제공 방법.
  3. 청구항 1에 있어서,
    상기 인식단계는,
    상기 펜 타입 입력장치의 움직임 데이터로부터 상기 사용자의 제스처를 인식하는 것을 특징으로 하는 증강 콘텐츠 제공 방법.
  4. 청구항 1에 있어서,
    상기 증강 처리 단계는,
    상기 펜 타입 입력장치가 지정한 지점을 중심으로 하는 영역에 상기 콘텐츠를 증강시키는 것을 특징으로 하는 증강 콘텐츠 제공 방법.
  5. 청구항 4에 있어서,
    상기 변경 처리 단계는,
    상기 인식된 제스처를 기반으로, 증강 처리된 콘텐츠의 감상 방향 또는 표시 위치를 변경 처리하는 것을 특징으로 하는 증강 콘텐츠 제공 방법.
  6. 펜 타입 입력장치가 지정한 지점으로부터 콘텐츠를 결정하는 제1 인식부;
    사용자의 제스처를 인식하는 제2 인식부; 및
    결정된 콘텐츠를 증강 처리하고, 인식된 제스처를 기반으로 증강 처리된 콘텐츠를 변경 처리하는 처리부;를 포함하는 것을 특징으로 하는 증강 콘텐츠 생성장치.
KR1020140179113A 2014-12-12 2014-12-12 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템 KR20160072306A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140179113A KR20160072306A (ko) 2014-12-12 2014-12-12 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140179113A KR20160072306A (ko) 2014-12-12 2014-12-12 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20160072306A true KR20160072306A (ko) 2016-06-23

Family

ID=56353040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140179113A KR20160072306A (ko) 2014-12-12 2014-12-12 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20160072306A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034412A1 (ko) * 2016-08-16 2018-02-22 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
WO2021034022A1 (en) 2019-08-22 2021-02-25 Samsung Electronics Co., Ltd. Content creation in augmented reality environment
US11663784B2 (en) 2019-08-22 2023-05-30 Samsung Electronics Co., Ltd. Content creation in augmented reality environment
US11954324B2 (en) 2020-07-22 2024-04-09 Samsung Electronics Co., Ltd. Method for performing virtual user interaction, and device therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034412A1 (ko) * 2016-08-16 2018-02-22 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
WO2021034022A1 (en) 2019-08-22 2021-02-25 Samsung Electronics Co., Ltd. Content creation in augmented reality environment
US11663784B2 (en) 2019-08-22 2023-05-30 Samsung Electronics Co., Ltd. Content creation in augmented reality environment
US11954324B2 (en) 2020-07-22 2024-04-09 Samsung Electronics Co., Ltd. Method for performing virtual user interaction, and device therefor

Similar Documents

Publication Publication Date Title
US20210096651A1 (en) Vehicle systems and methods for interaction detection
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
US10466794B2 (en) Gesture recognition areas and sub-areas for interaction with real and virtual objects within augmented reality
US10401967B2 (en) Touch free interface for augmented reality systems
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
US10585473B2 (en) Visual gestures
US20170255450A1 (en) Spatial cooperative programming language
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US9501810B2 (en) Creating a virtual environment for touchless interaction
JPWO2012011263A1 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US10802784B2 (en) Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
US20150261385A1 (en) Picture signal output apparatus, picture signal output method, program, and display system
KR20160072306A (ko) 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템
JP2016110522A (ja) 電子黒板、情報処理プログラムおよび情報処理方法
JP2008181199A (ja) 画像表示システム
US10366495B2 (en) Multi-spectrum segmentation for computer vision
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
KR101564089B1 (ko) 손동작 인식을 이용한 프리젠테이션 실행시스템
US9300908B2 (en) Information processing apparatus and information processing method
CN114816088A (zh) 线上教学方法、电子设备和通信系统
US20150042621A1 (en) Method and apparatus for controlling 3d object
KR20170039345A (ko) 전자펜 시스템
JP2009003608A (ja) ペン入力装置、ペン入力方法
JP2020154766A (ja) 表示装置、表示方法、表示プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment