KR101253537B1 - 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법 - Google Patents

증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법 Download PDF

Info

Publication number
KR101253537B1
KR101253537B1 KR1020100081036A KR20100081036A KR101253537B1 KR 101253537 B1 KR101253537 B1 KR 101253537B1 KR 1020100081036 A KR1020100081036 A KR 1020100081036A KR 20100081036 A KR20100081036 A KR 20100081036A KR 101253537 B1 KR101253537 B1 KR 101253537B1
Authority
KR
South Korea
Prior art keywords
authoring
marker
learning content
augmented reality
scene
Prior art date
Application number
KR1020100081036A
Other languages
English (en)
Other versions
KR20120018004A (ko
Inventor
지형근
윤진영
유재상
이준석
윤종현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100081036A priority Critical patent/KR101253537B1/ko
Publication of KR20120018004A publication Critical patent/KR20120018004A/ko
Application granted granted Critical
Publication of KR101253537B1 publication Critical patent/KR101253537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Abstract

본 발명은 실감형 학습을 위한 서비스 기술에 관한 것이다. 기존의 마커 기반 콘텐츠 저작 기술, 기하마커를 인식하는 기술, 인쇄서적과 손인식을 이용한 콘텐츠 재생 및 상호작용 기술 등은 학습 콘텐츠의 저작이 용이하지 않으며, 효율적이지 못하다. 본 발명에서는 워크시트 생성 및 마커 등록, 멀티미디어의 삽입, 마커와 객체간 연결관계를 정리할 수 있는 실감형 학습 콘텐츠의 저작 도구를 마련하고, 이러한 저작 도구를 이용한 실감형 기술에 블루스크린을 통한 크로마키잉(chroma-keying) 기법과 컬러 패턴 마커를 통한 상호 인터랙션을 적용하여 학습효과를 증대시키도록 구현하였다.

Description

증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법{METHOD AND APPARATUS FOR AUTHORING IMMERSIVE LEARNING CONTENTS BASED ON AUGMENTED REALITY}
본 발명은 실감형 학습 환경을 제공하기 위한 기술로서, 특히 실감형 학습 콘텐츠의 저작이 용이하고 학습 효율을 높이는데 적합한 증강현실(Augmented Reality: AR) 기반의 실감형 학습 콘텐츠 저작 장치 및 방법에 관한 것이다.
기존의 실감형 학습과 관련된 기술로서, 마커 기반 사용자 인터렉션 제작을 지원하는 증강현실(Augmented Reality: AR) 콘텐츠 저작 방법, 마커 배치구조를 이용하여 기하마커를 인식하는 방법, 인쇄서적과 손인식을 이용하여 혼합현실용 콘텐츠를 재생하고 상호작용하는 시스템 및 방법 등이 제안된 바 있다.
기존의 마커 기반 콘텐츠 저작 기술, 기하마커를 인식하는 기술, 인쇄서적과 손인식을 이용한 콘텐츠 재생 및 상호작용 기술 등은 학습 콘텐츠의 저작이 용이하지 않으며, 효율적이지 못하다는 문제가 있다.
이에 본 발명의 실시예에서는, 워크시트 생성 및 마커 등록, 멀티미디어의 삽입, 마커와 객체간 연결관계를 정의할 수 있는 증강현실(Augmented Reality: AR) 기반의 실감형 학습 콘텐츠 저작 도구를 이용한 증강현실 기반의 실감형 학습 콘텐츠 저작 기술을 마련하고자 한다.
또한, 본 발명의 실시예에서는, 실감형 학습 콘텐츠의 저작 도구를 이용한 실감형 기술에 블루스크린을 통한 크로마키잉(chroma-keying) 기법과 상호작용의 도구로 직관적 인터페이스가 가능한 골무형 컬러 패턴 인식 방법을 적용하여 학습효과를 증대시킬 수 있는 실감형 학습 환경을 마련하고자 한다.
본 발명의 과제를 해결하기 위한 증강현실(Augmented Reality: AR) 기반의 실감형 학습 저작 장치 방법에 따르면, 리소스가 입력되면 GUI 기반의 콘텐츠 저작 수행 인터페이스 환경을 제공하는 과정과, 입력되는 상기 리소스에 대한 스크립팅을 수행하여 실감형 학습 콘텐츠를 저작하는 과정과, 상기 실감형 학습 콘텐츠에 대한 뷰 모드 동작 여부를 테스팅하는 과정을 포함할 수 있다.
여기서, 상기 콘텐츠 저작 수행 인터페이스 환경을 제공하는 과정은, 프로젝트 생성 및 속성 설정 과정과, 페이지 생성 및 마커 속성 설정 과정과, 워크시트와 마커 지정 및 정의, 씬 생성 및 오브젝트를 삽입하는 과정과, 상기 씬 생성 및 3D 저작화면에서 씬 별 학습 콘텐츠를 제작하는 과정을 포함할 수 있다.
또한, 상기 스크립팅은, 이벤트 핸들러 / 액션 핸들러 생성 과정과, 스크립트 프로그래밍 과정과, 파일 저장 과정을 포함할 수 있다.
또한, 상기 리소스는, 3D 모델 리소스 또는 2D 모델 리소스 또는 사운드 리소스 중 하나 이상을 포함할 수 있다.
또한, 상기 증강현실 기반의 실감형 학습 콘텐츠 저작 방법은, 동적 크로마키잉(chroma-keying) 기법에 의한 실감형 학습 콘텐츠를 제공할 수 있다.
또한, 상기 동적 크로마키잉 기법은, 입력되는 영상에 대한 전처리 과정을 수행하는 과정과, 동적 크로마키 값을 설정하는 과정과, 설정되는 상기 동적 크로마키 값에 대한 거리가 임계값 이하일 때 상기 동적 크로마키 값을 갱신하는 과정을 포함할 수 있다.
또한, 상기 동적 크로마키 값을 갱신하기 위한 샘플링 지점은, 상기 영상의 모서리 지점의 검출 지점의 일정 영역인 것을 특징으로 할 수 있다.
본 발명의 과제를 해결하기 위한 증강현실 기반의 실감형 학습 콘텐츠 저작 장치에 따르면, XML 파일 내의 전체 콘텐츠에 상응하며, 다수의 페이지로 구성된 프로젝트를 생성하는 프로젝트 생성부와, 상기 프로젝트 생성부에서 생성된 프로젝트에서 단일의 워크시트에 정의되는 콘텐츠에 상응하는 임의의 페이지를 생성하는 페이지 생성부와, 상기 페이지 생성부에서 생성된 임의의 페이지에 사용되는 마커를 지정하는 마커 지정부와, 설정되는 씬에 대한 세부 설정을 수행하는 씬 설정부와, 상기 마커와 가상 객체간의 연결 관계를 설정하는 연결관계 설정부를 포함할 수 있다.
여기서, 상기 씬 설정부는, 상기 마커에 의해 증강되는 상기 가상 객체의 위치 및 크기를 드래그 및 드롭하며, 상기 씬을 병합하여 상기 마커 위에 증강될 콘텐츠들의 집행을 구성할 수 있다.
또한, 상기 연결관계 설정부는, 상기 가상 객체와 상기 마커가 접촉되거나 상기 워크시트 상의 특정 영역에 상기 마커가 접촉될 때 특정 이벤트를 생성하며, 저작도구에서 접촉에 의한 학습 시나리오를 진행시킬 수 있다.
또한, 상기 저작도구는, 도구 메뉴, 프로젝트 트리 메뉴, 오브젝트 트리 메뉴, 3D 저작화면 메뉴, 스크립트 편집 창 메뉴 중 적어도 하나를 포함할 수 있다.
본 발명에 의하면, 워크시트 생성 및 마커 등록, 멀티미디어의 삽입, 마커와 객체간 연결관계를 정리할 수 있는 증강현실(Augmented Reality: AR) 기반의 실감형 학습 콘텐츠의 저작 도구를 마련하고, 이러한 저작 도구를 이용한 실감형 기술에 블루스크린을 통한 크로마키잉(chroma-keying) 기법과 컬러 패턴 마커를 통한 상호 인터랙션을 적용하여 학습효과를 증대시킬 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실(Augmented Reality: AR) 기반의 실감형 학습 콘텐츠 저작 장치를 예시적으로 도시한 구성 블록도,
도 2는 본 발명의 실시예에 따라 실감형 학습 콘텐츠 저작을 위한 저작 화면을 예시한 도면,
도 3은 본 발명의 실시예에 따라 실감형 학습 콘텐츠 저작을 위한 저작 도구를 예시한 도면,
도 4는 본 발명의 실시예에 따른 증강현실 기반의 실감형 학습 콘텐츠 저작 방법을 예시적으로 설명하는 흐름도,
도 5는 도 4의 GUI(Graphic User Interface) 기반 저작 수행 과정의 상세 흐름도,
도 6은 도 4의 스크립팅 과정의 상세 흐름도,
도 7은 본 발명의 실시예에 따른 증강현실 기반의 실감형 학습 콘텐츠 저작 방법에서 동적 크로마키잉(chroma-keying) 처리 과정을 설명하는 흐름도,
도 8은 도 7의 동적 크로마키잉 처리 과정을 설명하기 위한 화면 예시도,
도 9는 본 발명의 실시예에 따른 증강현실 기반의 실감형 학습 콘텐츠 저작 방법에서 환경 세팅 체크 프로그램의 화면 예시도,
도 10a는 종래의 실감형 학습 환경에서의 역할극 화면 예시도,
도 10b는 본 발명의 실시예에 따라 블루스크린을 통한 실감형 학습 환경에서의 역할극 화면 예시도,
도 10c는 본 발명의 실시예에 따라 크로마키잉 기법을 통해 배경과 정합한 실감형 학습 환경에서의 역할극 화면 예시도,
도 11은 본 발명의 실시예에 따른 실감형 학습 콘텐츠 저작 장치의 컬러 패턴 마커 인식을 설명하는 화면 예시도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명은 실감형 학습 환경을 제공함에 있어, 마커 등록 및 멀티미디어 삽입, 마커와 객체간 인터페이스를 위한 저작 도구를 마련하고, 실감형 학습을 위한 크로마키잉 기술을 제공하며, 컬러 패턴 마커 인식 기술을 제공한다는 것으로, 이러한 기술 사상으로부터 본 발명의 목적으로 하는 바를 용이하게 달성할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 증강현실 기반의 실감형 학습 콘텐츠 저작 장치를 예시한 구성 블록도로서, 프로젝트(project) 생성부(100), 페이지(page) 생성부(102), 마커(marker) 지정부(104), 씬(scene) 생성부(106), 씬 설정부(108), 연결관계 설정부(110) 등을 포함할 수 있다.
도 1에 도시한 바와 같이, 프로젝트 생성부(100)는 하나의 XML(eXtensible Markup Language) 파일에 담긴 콘텐츠 전체를 의미하는 프로젝트를 생성하는 역할을 수행할 수 있다. 여기서, 하나의 프로젝트는 여러 개의 페이지로 구성될 수 있다.
페이지 생성부(102)는 하나의 워크시트(work-sheet)에 정의되는 콘텐츠를 의미하는 페이지를 생성하는 역할을 할 수 있다. 여기서, 하나의 페이지는 하나의 루아 스크립트(Lua script)를 포함할 수 있으며, 여러 개의 씬으로 구성될 수 있다.
마커 지정부(104)는 페이지에 사용되는 마커를 지정하는 역할을 할 수 있는데, 예를 들면 GUI 기반의 메뉴에 의한 마커의 크기를 정의할 수 있다.
씬 생성부(106)는 오브젝트 트리가 저장되는 씬 그래프(scene graph)를 생성하는 역할을 할 수 있으며, 씬 그래프, 예를 들어 2D 또는 3D 씬 그래프는 각각 독립적으로 존재할 수 있다.
씬 설정부(108)는 각 씬에 대한 세부 설정을 수행하는 수단으로서, 예컨대 각 씬에서 보여질 3D 객체의 리스트, 크기, 종류, 위치 등에 관한 정보와, 각 씬에 대한 전환 조건, 가시성(visibility) 등을 조정하고, 멀티미디어 재생을 설정할 수 있다. 이러한 씬 설정부(108)는 구체적으로 다음과 같은 특징들을 포함할 수 있다.
1. 콘텐츠 내의 마커에 의해 증강될 가상 객체의 위치 및 크기를 드래그 & 드롭(drag & drop), GUI 메뉴 등을 통해 정의할 수 있다.
2. 화면에 보이는 마커는 동일하더라도 시나리오의 진행에 따라 화면에 나타나는 콘텐츠가 상이하도록 지원할 수 있다.
3. 동일한 화면에 표시되는 콘텐츠들을 저작 단계에서 묶어주는 씬들을 생성하고, 생성된 씬들을 병합하여 하나의 마커 위에 증강될 콘텐츠들의 집행을 구성할 수 있다.
연결관계 설정부(110)는 마커와 객체간의 연결관계를 정의하는 수단으로서, 다음과 같은 특징들을 포함할 수 있다.
1. 화면의 가상객체와 마커가 접촉되면 특정 이벤트를 생성할 수 있다.
2. 워크시트상의 특정영역에 마커가 접촉되면 특정 이벤트가 생성될 수 있다.
3. 저작도구에서 접촉에 의한 반응이 일어날 워크시트 영역을 설정할 수 있다.
4. 저작도구에서 접촉에 의한 학습 시나리오 진행을 정의할 수 있다.
5. 일정시간 이상의 접촉이 유지되어야 의미 있는 접촉 또는 이동으로 인정될 수 있다.
도 2는 본 발명의 실시예에 따라 실감형 학습 콘텐츠 저작을 위한 저작 화면을 예시한 도면이다.
도 2에 예시한 바와 같이, 실감형 학습 콘텐츠 저작 도구는 크게 프로젝트 구성 및 페이지 생성, 페이지에 사용되는 마커(marker)의 지정(예컨대, GUI 기반의 메뉴에 의한 마커의 크기 정의) 및 씬 생성, 각 씬에 대한 세부 설정, 마커와 객체간의 연결관계 정의 등의 기능들을 수행할 수 있다.
도 3은 본 실시예에 따른 실감형 학습 콘텐츠 저작을 위한 저작 도구 메뉴를 예시한 것으로서, 도구(302), 프로젝트 트리(304), 오브젝트 트리(306), 3D 저작화면(308), 스크립트 편집 창(310) 등으로 구성될 수 있다.
도 3에 예시한 바와 같이, 도구(302)를 통해 프로젝트 열기, 저장, 편집, 스크립트 빌드(build), 보기 등의 정보들이 관리될 수 있다.
프로젝트 트리(304)를 통해 프로젝트, 페이지, 씬과 같은 정보들이 관리될 수 있다.
오브젝트 트리(306)를 통해서는 3D 객체 및 2D 객체 등과 같은 정보들이 관리될 수 있다.
3D 저작화면(308)을 통해서는 전체 객체의 배치, 객체의 크기, 이동, 회전조절 등을 위한 편집 모드와, 저작된 학습 콘텐츠 테스팅을 위한 뷰 모드 등을 제공할 수 있다.
스크립트 편집 창(310)을 통해서는 실제 스크립트의 편집 정보들이 표시될 수 있다.
도 4는 본 발명의 실시예에 따른 실감형 학습 시스템의 저작 순서를 예시한 흐름도이다.
본 발명의 실시예에 따른 실감형 학습 시스템의 저작 순서는 크게, 리소스 입력 과정, GUI 기반 저작 수행 과정, 스크립팅 과정, 테스팅 과정, 수정 및 보완 과정 등으로 구분될 수 있다.
<리소스 입력 과정>(S400)
리소스 입력 과정에서는, 3D 모델(예를 들어, 확장자가 eem인 리소스), 2D 모델(예를 들어, 확장자가 bmp, dds 등인 리소스들), 사운드(예를 들어, 확장자가 wav인 리소스) 등과 같은 리소스들이 입력될 수 있다.
<GUI 기반 저작 수행 과정>(S402)
공통적으로 사용하는 기능은 GUI 기반으로 저작될 수 있으며, 이러한 GUI 기반 저작 수행 과정의 구체적인 순서를 다음 도 5에서 설명하기로 한다.
도 5는 도 4의 GUI 기반 저작 수행 과정의 상세 흐름도로서, 다음의 과정들을 포함할 수 있다.
1. 프로젝트 생성 및 속성 설정 과정(S502)
2. 페이지 생성 및 마커 속성 설정 과정(S504)
3. 워크시트와 마커 지정 및 정의, 씬 생성 및 오브젝트 삽입 과정(S506)
4. 씬 생성 및 3D 저작화면에서 씬 별 학습 콘텐츠 제작 과정(S508)
여기서, 오브젝트의 생성 및 배치는, 예컨대 마우스의 드래그 & 드롭, 키보드의 방향키를 이용한 오브젝트 배치, 회전, 크기 조절 등이 포함될 수 있다.
부가적으로, GUI 기반 저작 수행 과정에는, 이벤트 핸들러(event handler) / 액션 핸들러(action handler) 생성 과정이 더 포함될 수 있다.
<스크립팅 과정>(S404)
학습 진행에 관한 사항은 스크립트로 저작할 수 있으며, 구체적인 과정을 다음 도 6에서 설명하기로 한다.
도 6은 도 4의 스크립팅 과정의 상세 흐름도로서, 이벤트 핸들러 / 액션 핸들러 생성 과정(S600), 스크립트 프로그래밍 과정(S602), 파일 저장 과정(S604) 등을 포함할 수 있다.
이벤트 핸들러 / 액션 핸들러 생성 과정(S600)에서 이벤트 핸들러는 마커 클릭 등 이벤트가 발생하면 호출될 수 있으며, 액션 핸들러는 매 턴 호출되어 오브젝트의 움직임을 정의할 수 있다.
스크립트 프로그램의 장점은, 객체의 위치를, 예를 들어 10-6m의 해상도(resolution)로 할당 가능하며, 객체의 가시성(visibility)의 할당이 가능하다. 또한, 동영상, 애니메이션, 사운드 시작과 멈춤, 사운드 볼륨 설정이 가능하며, 씬 이동(상태 기억) 설정이 가능하다. 여기서, 씬 이동 설정은 필요한 단계에서 씬을 넘기고, 동영상, 애니메이션, 사운드를 실행시키는 기능이며, 이러한 씬 이동 설정이 필요한 이유는, 반복 학습을 수행 횟수와 학습 단계를 지정하고 현 상태를 파악할 수 있기 때문이다.
한편, 도 4의 <테스팅 과정>(S404)은, 저작된 실감형 학습 콘텐츠가 뷰 모드에서 잘 동작하는지를 확인하는 과정이며, <수정 및 보완 과정>(S408)은 상술한 테스팅 과정을 통해서 수정 및 보완이 필요하다고 판단될 때, 사용자에 의해 수행될 수 있는 과정이다.
다른 한편, 본 발명의 실시예에서는 실감형 학습 시스템 크로마키잉(chroma-keying) 기술을 적용하는 것을 특징으로 한다.
본 발명의 실시예에 따른 실감형 학습 시스템 크로마키잉 기술은, 이제까지 만들어진 실감형 기술에 블루스크린을 통한 크로마키잉기법을 더해 학습효과를 증대시킨다. 또한, 조명과 객체추출에 강건한 알고리즘을 사용하여 타 영상과의 합성 시 위화감이 없도록 한다.
이하, 도 7 내지 도 9를 참조하여 본 발명의 실시예에 따른 크로마키잉 기술 처리 방법을 구체적으로 설명하기로 한다.
먼저, 도 7은 본 발명의 실시예에 따른 증강현실 기반의 실감형 학습 콘텐츠 저작 방법에서 동적 크로마키잉 처리 과정을 설명하는 흐름도이다.
<영상입력 과정>(S700)
영상입력 과정에서는 사용자에 의해 임의의 영상이 입력될 수 있다.
<전처리 과정>(S702)
전처리 과정에서는 영상입력 과정에서 입력된 임의의 영상의 특성을 표준화(normalize) 할 수 있다. 이때, 크로마키(chroma-key) 값은, 예를 들어 blue(0, 0, 255) 값에 한정되지 않는 단색일 수 있다.
<동적 크로마키 값 설정 과정>(S704)
1. 크로마키 값은 동적으로 설정하여 설치 환경에 따라 설정을 바꾸어 주위환경의 영향에 강건하도록 한다.
2. 동적 크로마키 값의 실시간 업데이트를 위한 샘플링 지점은, 도 8에 예시한 바와 같이, 영상의 모서리 지점의 검출 점({LT-KEY, RT-KEY, LB-KEY, RB-KEY} = 4-KEY)의 일정 영역(예를 들어, 20픽셀×20픽셀)이며, 각 검출 점({LT-KEY, RT-KEY, LB-KEY, RB-KEY} = 4-KEY)에서 평균을 검출할 수 있다.
3. 이러한 검출 점에서의 검출 값들의 거리(distance)가 모두 일정 임계값(threshold) 이하일 경우, 검출 점에서의 검출 값들을 현재 동적 크로마키 값으로 업데이트할 수 있다.
4. 초기 동적 크로마키 값의 이전 실행 시 기록된 마지막 동적 크로마키 값을 따른다.
5. 동적 크로마키 값의 설정 파일은, 예컨대 XML 구조를 유지할 수 있으며, 사용자가 스크립트 프로그래밍으로 인위적 수정이 가능하다.
6. 도 9에 예시한 바와 같은 별도의 수동 환경 세팅 프로그램을 통해 손쉽게 생성 및 업데이트가 가능하다. 도 9에서 color-level은 키 값으로 선택되는 색의 범위를 말하며, 값이 커지면 키 값과 차이가 큰 색도 배경으로 인식될 수 있다. Noise-level은 투명영역의 투명도를 제어하며, 값을 높일수록 투명의 정도가 강해질 수 있다. 또한, min-alpha는 값을 키우면 반투명으로 보일 수 있는 전경이 불투명으로 바뀌고 영상전반에 걸쳐 배경으로 인식될 가능성을 줄인다. 반면, max-level은 값을 줄이면 반투명 영역인 배경이 투명으로 바뀌고 영산전반에 걸쳐 배경으로 인식될 가능성을 높인다. 끝으로, key-color는 자동 캘리브레이션(calibration)을 통해 동적 크로마키 값을 자동으로 설정할 수 있으며 사용자 선택으로 키 컬러 지정이 가능하다.
<객체 추출 과정>(S706)
객체 추출 과정에서는, 다수의 객체를 추출할 수 있으면서도 노이즈에 강건한 방법을 사용한다.
<배경 영상 합성 과정>(S708)
배경 영상 합성 과정은, 추출된 영상에 대해 배경 영상을 합성하는 과정으로서, 추출된 객체 영상이 배경 영상과 어울리도록 자동 변환하여 합성 시 위화감이 최소화되도록 구현할 수 있을 것이다.
도 10a는 기존의 실감형 학습 환경에서의 역할극 화면 예시도이며, 도 10b는 본 실시예에 따라 블루스크린을 통한 실감형 학습 환경에서의 역할극 화면 예시도이고, 도 10c는 본 실시예에 따라 크로마키잉 기법을 통해 배경과 정합한 실감형 학습 환경에서의 역할극 화면 예시도이다.
또 다른 한편, 본 발명의 실시예에서는 실감형 학습 시스템에 컬러 패턴 마커를 인식하는 기술이 적용될 수 있다. 이러한 컬러 패턴 마커 인식 기술은, 편의성을 증대시키고 3D 객체를 실제 터치하는 것과 같은 효과를 주어, 학습 몰입감을 얻기 위해 골무형 컬러 패턴 마커를 제작하고 이를 인식하는 기술을 구현할 수 있다.
도 11은 이러한 컬러 패턴 마커 인식 기술이 적용된 예를 도시한 것이다. 컬러 패턴 마커 인식 처리 과정은, 예를 들면 다음의 순서로 예시될 수 있다.
1. 제1 색상(예컨대, blue) 검출
2. 제1 색상 레이블(label) 및 중심점 검출
3. 제1 색상의 영역 크기 산출
4. 중심점으로부터 원 그리기
5. 제2 색상(예컨대, green) 및 제3 색상(예컨대, red) 검출
6. 제2 색상과 제3 색상의 크기가 제1 색상의 크기와 비슷하면 마커로 선택
이와 같은 컬러 패턴 마커 인식은 다음과 같은 장점을 가진다.
1. HSV(Hue, Saturation, Value) 색상 좌표계를 이용하여 조명에 강건하다.
2. 주변 배경의 영향을 최소화할 수 있다. 예컨대, 단일 색상이 아닌 3가지 색상 패턴으로 주변 배경의 영향을 최소화할 수 있다.
3. 다양한 각도에서의 추적이 가능하다. 예컨대, 다양한 각도에서 추적이 용이하도록 마커의 패턴을 가로 줄무늬로 디자인할 수 있다.
이상 설명한 바와 같이, 본 발명의 실시예에 따르면, 워크시트 생성 및 마커 등록, 멀티미디어의 삽입, 마커와 객체간 연결관계를 정리할 수 있는 증강현실(Augmented Reality: AR) 기반의 실감형 학습 콘텐츠의 저작 도구를 마련하고, 이러한 저작 도구를 이용한 실감형 기술에 블루스크린을 통한 크로마키 기법과 컬러 패턴 마커를 통한 인터랙션 방법을 적용하여 학습효과를 증대시킬 수 있도록 구현한 것이다.
100: 프로젝트 생성부
102: 페이지 생성부
104: 마커 지정부
106: 씬 생성부
108: 씬 설정부
110: 연결관계 설정부

Claims (10)

  1. 리소스가 입력되면 GUI 기반의 콘텐츠 저작 수행 인터페이스 환경을 제공하는 과정과,
    입력되는 상기 리소스에 대한 스크립팅을 수행하여 학습 콘텐츠를 저작하는 과정과,
    상기 학습 콘텐츠에 대한 뷰 모드 동작 여부를 테스팅하는 과정을 포함하는
    증강현실(Augmented Reality: AR) 기반의 학습 콘텐츠 저작 방법.
  2. 제 1 항에 있어서,
    상기 콘텐츠 저작 수행 인터페이스 환경을 제공하는 과정은,
    프로젝트를 생성하고 속성을 설정하는 과정과,
    페이지를 생성하고 마커 속성을 설정하는 과정과,
    워크시트와 마커 지정 및 정의, 또는 씬 생성 및 오브젝트를 삽입하는 과정과,
    상기 씬 생성 및 3D 저작화면에서 씬 별 학습 콘텐츠를 제작하는 과정을 포함하는
    증강현실 기반의 학습 콘텐츠 저작 방법.
  3. 제 1 항에 있어서,
    상기 스크립팅은,
    이벤트 핸들러 생성 과정과,
    액션 핸들러 생성 과정과,
    스크립트 프로그래밍 과정과,
    파일 저장 과정을 포함하는
    증강현실 기반의 학습 콘텐츠 저작 방법.
  4. 제 1 항에 있어서,
    상기 리소스는,
    3D 모델 리소스 또는 2D 모델 리소스 또는 사운드 리소스 중 적어도 하나를 포함하는
    증강현실 기반의 학습 콘텐츠 저작 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 증강현실 기반의 학습 콘텐츠 저작 방법은,
    동적 크로마키잉(chroma-keying) 기법에 의한 학습 콘텐츠를 제공하는
    증강현실 기반의 학습 콘텐츠 저작 방법.
  6. 제 5 항에 있어서,
    상기 동적 크로마키잉 기법은,
    입력되는 영상에 대한 전처리 과정을 수행하는 과정과,
    동적 크로마키 값을 설정하는 과정과,
    설정되는 상기 동적 크로마키 값에 대한 거리가 임계값 이하일 때 상기 동적 크로마키 값을 갱신하는 과정을 포함하는
    증강현실 기반의 학습 콘텐츠 저작 방법.
  7. 제 6 항에 있어서,
    상기 동적 크로마키 값을 갱신하기 위한 샘플링 지점은,
    상기 영상의 모서리 지점의 검출 지점의 일정 영역인 것을 특징으로 하는
    증강현실 기반의 학습 콘텐츠 저작 방법.
  8. XML 파일 내의 전체 콘텐츠에 상응하며, 다수의 페이지로 구성된 프로젝트를 생성하는 프로젝트 생성부와,
    상기 프로젝트 생성부에서 생성된 프로젝트에서 단일의 워크시트에 정의되는 콘텐츠에 상응하는 임의의 페이지를 생성하는 페이지 생성부와,
    상기 페이지 생성부에서 생성된 임의의 페이지에 사용되는 마커를 지정하는 마커 지정부와,
    설정되는 씬에 대한 세부 설정을 수행하는 씬 설정부와,
    상기 마커와 가상 객체간의 연결 관계를 설정하는 연결관계 설정부를 포함하는
    증강현실 기반의 학습 콘텐츠 저작 장치.
  9. 제 8 항에 있어서,
    상기 씬 설정부는,
    상기 마커에 의해 증강되는 상기 가상 객체의 위치 및 크기를 드래그 및 드롭하여 정의하며, 상기 씬을 병합하여 상기 마커 위에 증강될 콘텐츠들의 집행을 구성하는
    증강현실 기반의 학습 콘텐츠 저작 장치.
  10. 제 8 항에 있어서,
    상기 연결관계 설정부는,
    상기 가상 객체와 상기 마커가 접촉되거나 상기 워크시트 상의 특정 영역에 상기 마커가 접촉될 때 특정 이벤트를 생성하며, 도구 메뉴 또는 프로젝트 트리 메뉴 또는 오브젝트 트리 메뉴 또는 3D 저작화면 메뉴 또는 스크립트 편집 창 메뉴 중 적어도 하나를 포함하는 저작도구에서 학습 시나리오를 진행시키는
    증강현실 기반의 학습 콘텐츠 저작 장치.
KR1020100081036A 2010-08-20 2010-08-20 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법 KR101253537B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100081036A KR101253537B1 (ko) 2010-08-20 2010-08-20 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100081036A KR101253537B1 (ko) 2010-08-20 2010-08-20 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120018004A KR20120018004A (ko) 2012-02-29
KR101253537B1 true KR101253537B1 (ko) 2013-04-11

Family

ID=45839815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100081036A KR101253537B1 (ko) 2010-08-20 2010-08-20 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101253537B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101705812B1 (ko) * 2016-11-10 2017-02-10 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법
KR101891597B1 (ko) * 2017-05-04 2018-10-04 (주)필링크 얼굴 인식 기반의 가상객체 합성 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060065159A (ko) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
KR100834904B1 (ko) * 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
KR20100067155A (ko) * 2008-12-11 2010-06-21 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060065159A (ko) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
KR100834904B1 (ko) * 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
KR20100067155A (ko) * 2008-12-11 2010-06-21 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101705812B1 (ko) * 2016-11-10 2017-02-10 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법
KR101891597B1 (ko) * 2017-05-04 2018-10-04 (주)필링크 얼굴 인식 기반의 가상객체 합성 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20120018004A (ko) 2012-02-29

Similar Documents

Publication Publication Date Title
Baggio Mastering OpenCV with practical computer vision projects
US8843892B2 (en) Visual representations of code in application development environments
US9578295B1 (en) Calibration feature masking in overlap regions to improve mark detectability
US8819545B2 (en) Digital comic editor, method and non-transitory computer-readable medium
CN112074876A (zh) 在三维环境中创作内容
CN104574454A (zh) 图像的处理方法及装置
CN106408631B (zh) 三维宏观展示方法及系统
US9304653B2 (en) Method and apparatus for creating 3D image based on user interaction
US20130104016A1 (en) Digital comic editor, method and non-transitory computer-readable medium
CN102855190A (zh) 用于3d用户界面程序的视觉调试系统
US8584005B1 (en) Previewing redaction content in a document
CN109964254A (zh) 用于在虚拟视图中渲染对象的方法和系统
US20120044138A1 (en) METHOD AND APPARATUS FOR PROVIDING USER INTERACTION IN LASeR
US11410701B2 (en) Systems and methods for direct video retouching for text, strokes and images
KR101253537B1 (ko) 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법
JP2015135596A (ja) 情報処理装置及び情報処理プログラム
US20150379011A1 (en) Method and apparatus for generating a visual representation of object timelines in a multimedia user interface
CN105556570A (zh) 生成屏幕数据
KR20160103926A (ko) 그림자 렌더링 방법 및 그림자 렌더링 장치
CN104811639A (zh) 信息处理方法及电子设备
US11243678B2 (en) Method of panning image
KR101352737B1 (ko) 동영상 편집도구의 이펙트 설정 데이터를 이용한 이펙트 설정 방법 및 컴퓨터로 판독가능한 기록매체
US20150347361A1 (en) Application markup language
US8847993B2 (en) Resolution independent effects in a graphics application
US20170147537A1 (en) Method, apparatus and system for reproducing a document defined in a page description language

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 7