KR100793837B1 - 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법 - Google Patents

조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법 Download PDF

Info

Publication number
KR100793837B1
KR100793837B1 KR1020060088719A KR20060088719A KR100793837B1 KR 100793837 B1 KR100793837 B1 KR 100793837B1 KR 1020060088719 A KR1020060088719 A KR 1020060088719A KR 20060088719 A KR20060088719 A KR 20060088719A KR 100793837 B1 KR100793837 B1 KR 100793837B1
Authority
KR
South Korea
Prior art keywords
marker
frame
recognition
illumination
change
Prior art date
Application number
KR1020060088719A
Other languages
English (en)
Inventor
이승욱
김용훈
서희전
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060088719A priority Critical patent/KR100793837B1/ko
Application granted granted Critical
Publication of KR100793837B1 publication Critical patent/KR100793837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

본 발명은 증강현실을 기반으로 학습자에게 시뮬레이션형 학습을 제공하기 위한 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치 및 마커 인식 방법에 관한 것으로, 본 발명의 마커 인식 장치 및 방법은 적응형 이진화 기법과 마커의 배치구조를 이용하여 마커 인식을 빠르게 하고, 컨트롤 마커를 이용하여 학습자의 인터랙션이 가능하게 함으로써 책 위에 인쇄된 기하학 모양의 마커를 안정적으로 인식하여 관련된 가상영상을 표현하고, 학습자의 몰입감 향상을 위해 마커를 기반으로 하는 인터페이스 장치를 제공하여 가상콘텐츠를 제어할 수 있는 효과가 있다.
마커 인식, 증강현실, 적응형 이진화, 사용자 인터랙션, e-러닝, 조명의 변화

Description

조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치 및 마커 인식 방법 {Device and Method of marker recognition for considering variation of illumination and learner interaction}
도 1은 본 발명의 일 실시예에 따른 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치의 구성을 개략적으로 도시한 개략도,
도 2는 도 1에 도시된 마커 인식 장치에서 사용되는 고정형 마커를 예시한 도,
도 3은 도 1에 도시된 마커 인식 장치에서 사용되는 이동형 마커를 예시한 도,
도 4는 도 1에 도시된 마커 인식 장치에서 사용되는 컨트롤 마커를 예시한 도,
도 5는 도 1에 도시된 마커 인식 장치를 이용해 마커를 인식하는 마커 인식 방법의 전체 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 영상 입력부 110: 마커 인식부
111: 플립 보정 모듈 112: 프레임 인덱스 판단 모듈
113: 마커 인식 모듈 120: 가상영상 합성부
130: 디스플레이부 D: 방향성 플래그
본 발명은 증강현실 기반 시뮬레이션형 학습기 구현을 위해 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치 및 마커 인식 방법에 관한 것으로, 더욱 상세하게는 기하학적 마커를 인식하고, 실영상 위에 이 인식된 기하학적 마커를 기준으로 가상의 콘텐츠를 합성하고, 가상의 콘텐츠에 대한 학습자의 인터랙션을 가능하게 하는 마커 인식 장치와 마커 인식 방법에 관한 것이다.
종래, 데카르트 좌표 형태의 3차원의 마커를 이용하여 실사 영상 내에 포함된 3차원 마커를 인지하는 방법에 관한 2004년에 특허 출원된 “3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 장치”(출원번호: 10-2004-0103916)는 저가형 임베디드 시스템에 적합한 증강현실 응용 시스템을 구현하였다. 이러한 방법은 마커 인식에 있어서 카메라의 위치에 따라 화면에 표시되는 영상이 반전되는 미러효과 및 조명 환경에 따라 카메라의 인식성능이 달라 마커 인식의 안정성이 떨어지는 점을 고려하지 않아 마커 인식의 안정성이 떨어지는 단점 이 있다.
또한, 마커의 내부를 36개의 공간으로 나눠 36비트를 할당하여 마커의 ID를 정의하여 마커 ID 추출의 성능을 높이기 위한 시스템에 관한 논문인 “ARTag, a fiducial marker system using digital techniques"(Computer Vision and Pattern Recognition에 2005년 9월 게제. PP 590-596)에서는 마커의 ID를 혼동하는 Inter Marker Confusion을 줄이기 위해 디지털 기술을 이용한 시스템을 구현하였다. 이러한 방법은 36개의 공간으로 나눠 36비트를 할당하고 그 중 마커의 ID를 10비트에 정의하고, 나머지 26비트는 채널코딩의 일종인 CRC(Cyclical Redundancy Check) 코드로 할당함으로써 마커 ID를 혼동하는 것은 줄일 수 있으나 마커 인식을 위한 ID 추출에 많은 시간이 소모되는 단점이 있다.
따라서 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 조명의 변화에 안정적으로 기하학적 마커를 인식할 수 있으며, 3개의 컨트롤 마커를 제공하여 학습자가 쉽게 가상콘텐츠를 인터랙션 할 수 있도록 하는 증강현실 기반 시뮬레이션형 학습기 구현을 위한 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치 및 마커 인식 방법을 제공하는 것이다.
한편 본 발명의 다른 목적은 마커의 ID를 찾는데 시간이 오래 걸리는 것을 줄이기 위해 즉, 내부 마커 혼동(inter marker confusion)을 피하기 위해서 마커 내부 영역을 적은 개수로 나누는 방법을 이용하여 마커의 인식성능을 향상시킬 수 있는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치를 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 증강현실 기반 시뮬레이션형 학습기 구현을 위해 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치는 입력된 영상을 플립 보정한 후, 보정된 영상의 프레임 인덱스를 체크하여 체크결과, 첫 번째 프레임인 경우는 현재 입력된 프레임의 정보만을 가지고 마커를 인식하고, 첫 번째 프레임이 아닌 경우에는 조명의 변화를 고려하기 위해 적응형 이진화 과정을 수행한 후, 히스토리 기반의 정보 및 마커 배치구조를 이용하여 마커 인식을 수행하는 것을 특징으로 한다.
이러한 마커 인식 장치는 상기 입력된 영상에 대해 플립여부를 체크하여 플립 보정하는 플립 보정 모듈, 상기 보정된 영상이 첫 번째 프레임인지 아닌지 판단하는 프레임 인덱스 판단 모듈 및 상기 보정된 영상이 첫 번째 프레임인 경우는 현재 입력된 프레임의 정보를 가지고 마커를 인식하고, 첫 번째 프레임이 아닌 프레임의 경우에는 적응형 이진화를 수행하여 조명의 변화를 고려한 후, 히스토리 기반의 정보 및 마커 배치구조를 이용하여 마커 인식을 수행하는 마커 인식 모듈을 포 함한다.
또한 본 발명의 마커 인식 장치에서는 안정적인 마커 인식을 위해 조명의 변화를 고려한 적응형 이진화 기법과 미리 정의한 마커의 배치구조를 이용한 기법을 제안하며, 사용하기 쉬운 학습자 인터랙션을 위해 3개의 컨트롤 마커의 개념을 정의한다.
한편, 본 발명의 증강현실 기반 시뮬레이션형 학습기 구현을 위해 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법은 입력된 영상의 플립(flip) 여부를 체크하여 플립 보정을 수행하는 플립 보정 단계, 상기 플립 보정된 영상의 프레임 인덱스가 첫 번째 프레임인지 판단하는 프레임 인덱스 판단 단계, 상기 판단 결과, 첫 번째 프레임인 경우는 현재 프레임의 정보만을 기반으로 마커 인식을 수행하고, 첫 번째 프레임이 아닌 경우는 히스토리 기반의 마커 인식을 수행하는 마커 인식 단계 및 모든 클러스터에 대한 마커 인식이 완료되면 프로그램을 종료하는 단계로 이루어지진 것을 특징으로 한다.
또한 마커 인식 단계에서 상기 보정된 영상이 첫 번째 프레임인 경우는, 상기 보정된 영상에 대해 미리 설정된 임계값을 이용하여 블랙(black)과 화이트(white)의 이진화를 수행하는 고정형 이진화 단계, 상기 이진화된 영상에서 블랙(black) 영상 클러스터를 수집하는 클러스터 수집 단계, 상기 수집된 클러스터가 직선으로 이루어진 폐곡선인지 확인하는 폐곡선 확인 단계, 상기 확인 결과, 상기 수집된 클러스터가 폐곡선을 만족하면 방향성 플래그가 존재하는지 체크하는 방향성 플래그 체크 단계, 상기 체크 결과, 상기 수집된 클러스터에 방향성 플래그가 존재하면 분할된 마커의 영역의 비트값을 추출하여 고정형 마커 ID를 추출하는 고정형 마커 ID 추출 단계 및 상기 고정형 마커 ID 추출이 완료되면, 3D RT(Rotation-Translation) 매트릭스를 추출하는 3D RT 매트릭스 추출 단계를 더 포함하는 것을 특징으로 한다.
또한, 마커 인식 단계에서 상기 보정된 영상이 첫 번째 프레임이 아닌 경우의 마커 인식 단계는, 상기 입력된 영상의 이전에 인식한 마커를 기반으로 조명의 변화에 따라 이진화 임계값(threshold value)을 적응적으로 변화시켜 영상을 이진화하는 적응형 이진화 단계, 상기 입력된 영상의 이전의 프레임에 대한 히스토리 기반 정보를 이용하여 클러스터를 수집하는 히스토리 기반의 클러스터 수집 단계, 상기 수집된 클러스터가 직선으로 이루어진 폐곡선인지 확인하는 폐곡선 확인 단계, 상기 확인 결과, 상기 수집된 클러스터가 폐곡선을 만족하면 방향성 플래그가 존재하는지 체크하는 방향성 플래그 체크 단계, 상기 체크 결과, 상기 수집된 클러스터에 방향성 플래그가 존재하면 분할된 마커의 영역의 비트값을 추출하여 고정형 마커 ID를 추출하는 고정형 마커 ID 추출 단계, 상기 고정형 마커 ID 추출이 완료되면, 3D RT(Rotation-Translation) 매트릭스를 추출하는 3D RT 매트릭스 추출 단계 및 상기 추출된 고정형 마커 ID에 대해 미리 설정된 마커 배치 정보를 기반으로 다른 마커를 인식하는 마커 배치 정보 기반 마커 인식 단계를 더 포함하는 것을 특징으로 한다.
이하 본 발명의 증강현식 기반 시뮬레이션형 학습기 구현을 위해 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 먼저, 본 발명에 대한 설명은 증강현실 기반 시뮬레이션형 학습시스템으로 하지만 본 발명에 따른 마커 인식 장치는 콘텐츠를 사용자에게 제공하는 모든 환경에 적용 가능하다.
도 1은 본 발명에 따른 마커 인식 장치의 구성을 개략적으로 나타내 것으로, 영상 입력부(100), 마커 인식부, 가상영상 합성부(120) 및 디스플레이부(130)로 구성된 종래의 증강현실 제공 시스템에 있어서 조명의 변화와 학습자 인터랙션을 고려하고, 히스토리 기반의 정보 및 마커의 배치구조를 이용함으로써 안정된 마커 인식이 가능한 마커 인식 장치(110)를 제안한다.
이러한 마커 인식 장치(110)는 플립 보정 모듈(111), 프레임 인덱스 판단 모듈(112) 및 마커 인식 모듈(113)을 포함하며, 먼저, PC에 연결된 USB 카메라 등의 영상입력부(100)로부터 책의 영상을 입력받는다. 플립 보정 모듈(111)은 카메라로부터 입력받은 영상이 플립(flip) 되었는지 판단하고, 판단결과, 영상이 플립 되었으면 보정을 수행한다.
플립 보정 모듈(111)의 플립 보정은 고정형 마커에 포함된 방향을 나타내는 방향성 플래그(D)가 화면의 좌상단 위치에 올 수 있도록 화면을 상하 대칭 및 좌우 대칭을 수행함으로써 이루어진다. 예를 들어, 고정형 마커의 방향성 플래그가 오른쪽 하단에 위치한다면, 화면을 좌우 대칭을 실시한 후, 상하 대칭을 실시하면 화면의 좌상단에 방향성 플래그가 위치되어 화면의 플립 보정이 수행된다. 이와 같이 플립 보정된 영상에서 이후의 마커 인식이 수행된다.
그런 다음, 프레임 인덱스 판단 모듈(112)에서 플립 보정된 영상이 첫 번째 프레임인지 체크하여(n=1 ?) 그 결과를 마커 인식 모듈(113)로 전송한다.
마커 인식 모듈(113)은 플립 보정된 영상이 첫 번째 프레임이면(n=1), 이전 프레임에 대한 정보가 없으므로 현재 프레임의 정보만을 가지고 마커 인식을 수행한다. 입력된 영상은 블랙(black)과 화이트(white)의 이진영상으로 이뤄져 있기 때문에 마커를 인식하기 위해선 영상을 이진화해야 한다. 이때 영상의 이진화를 위한 임계값(threshold value)은 미리 정의된 값(100 ~ 150 사이의 값)을 이용한다. 이와 같이 마커 인식 모듈(113)은 첫 번째 프레임 영상에 대해 미리 정의된 값을 이용하는 고정형 이진화를 수행한다.
고정형 이진화를 수행한 후, 마커 인식 모듈(113)은 이진화된 영상에서 블랙(black) 클러스터를 수집하고, 이 수집된 클러스터가 직선으로 이뤄진 폐곡선인 지 체크하고, 또한, 이 수집된 클러스터의 면적이 너무 크거나 작지 않은지 체크하여 이러한 조건에 부합되지 않는 클러스터는 버리고, 이러한 조건에 부합되는 클러스터에 대해서 고정형 마커를 의미하는 방향성 플래그가 존재하는지 확인한다. 여기서 클러스터의 면적은 간단히 픽셀을 카운트하여 계산할 수 있고, 수집된 클러스터의 면적은 이전 프레임이 없는 경우 휴리스틱(heuristic)하게 세팅하여 너무 크거나 작지 않은지 체크한다.
확인 결과, 방향성 플래그(D)가 존재하면, 도 2에 나타낸 바와 같이 분할된 각각의 영역의 비트값을 추출하여 고정형 마커의 ID를 추출한다. 확인 결과, 방향성 플래그가 존재하지 않으면 데이터베이스(DB(미도시))를 검색하여 패턴 매칭 기법을 적용하여 마커의 ID를 추출한다.
이와 같이 마커 ID를 추출하여 마커를 인식하고, 이 마커의 사각형을 이루는 각 선분의 방정식을 찾고 이를 이용하여 선분의 교점을 구하여 마커의 사각형을 이루는 꼭지점 4개를 계산하고, 이 계산된 4개의 꼭지점을 가지고 컴퓨터 비젼 알고리즘을 이용하여 3D RT(Rotation-Translation) 매트릭스를 추출한다. 3D RT 매트릭스를 추출하는 방법은 컴퓨터 비젼 알고리즘을 이용한 많은 방법들이 존재하는데 본 발명과 같이 직선으로 이뤄진 4개의 꼭지점이 있는 경우는 “Multiple View Geometry in Computer Vision”(Richard Hartley, Andrew Zisserman 제작, Cambridge University Press 제조)와 같은 정형화된 방법이 있다. 이러한 과정이 모든 클러스터에 대해 처리 완료되면 다음 프레임으로 진행한다.
한편, 마커 인식 모듈(113)은 플립 보정된 영상이 첫 번째 프레임이 아니면(n>1), 현재 입력된 영상의 이전 프레임의 정보를 이용하는 히스토리 기반의 마커 인식을 수행한다. 입력된 보정 영상에 대해 적응형 이진화 과정을 진행한다.
이 적응형 이진화 과정은 현재 입력된 영상의 이전에 인식한 마커를 기반으로 이진화 임계값(threshold)을 적응적으로 변화시켜 조명의 영향에 따른 마커의 블랙(black)이 검은색(인식 값=0)으로 인식되지 않는 것에 대해 보정을 해주는 작업이다. 이러한 적응형 이진화 작업은 수학식 1과 같이 진행된다.
[수학식 1]
Figure 112006066244934-pat00001
여기서 Thn은 n번째 프레임의 이진화 임계값(threshold value)이고, Th1은 1번째 프레임의 이진화 임계값(threshold value)이고, β는 조명의 변화에 따른 이진화 임계값의 변화량을 나타내고, #White는 이전의 인식된 마커의 화이트(white) 픽셀의 개수이고, #Black는 블랙(black) 픽셀의 개수이고, #total_pixel은 마커의 전체 픽셀 개수이고, E[measured_white(또는 black)_value_of_(n-1)th_frame]는 현재 입력된 프레임의 이전 프레임(n-1)에서 인식된 마커에 대한 화이트(또는 블랙) 픽셀의 평균값을 나타내고, ΔBlack은 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 블랙 픽셀들의 평균값을 나타내고, ΔWhite는 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 화이트 픽셀들의 평균값을 255에서 뺀 값을 나타낸다.
즉, 수학식 1에 의하면, 마커는 블랙(black)과 화이트(white)로 구성되어 있으므로, “0”(블랙의 인식되는 값), “255”(화이트로 인식되는 값)로 인식되어야 하는데, 조명의 영향으로 “255”는 “255”보다 작은 값으로 인식되고 “0”은 “0”보다 큰 값으로 인식된다. 따라서 적응형 이진화는 이진화 임계값(threshold value)에 조명의 영향으로 인한 값만큼 더해주거나 빼 주면 조명의 영향을 반영하게 된다.
그런 다음, 마커 인식 모듈(113)은 이전 프레임에 대한 히스토리 기반으로 클러스터를 수집한다. 즉, 클러스터를 찾을 때 현재 입력 영상의 이전 영상의 마커 위치 주변을 찾음으로써 인식속도를 더욱 빠르게 한다. 이렇게 수집된 각각의 클러스터에 대해 클러스터가 직선으로 이루진 폐곡선인지 체크하고, 또한 클러스터의 면적이 너무 크거나 작지 않은지 체크하여 현재 수집된 클러스터의 면적이 이전 프 레임 마커의 클러스터의 면적보다 너무 크거나 너무 작으면 해당 클러스터를 버리고, 그렇지 않으면, 해당 클러스터에 고정형 마커를 의미하는 방향성 플래그가 존재하는지를 체크한다.
체크 결과, 방향성 플래그가 존재하면, 도 2에 나타낸 고정형 마커 각각의 비트값을 추출하여 고정형 마커의 ID를 계산하여 추출한다. 이와 같이 마커 ID를 추출하여 마커를 인식하고, 이 마커의 사각형을 이루는 각 선분의 방정식을 찾고 이를 이용하여 선분의 교점을 구하여 마커의 사각형을 이루는 꼭지점 4개를 계산 하고, 이 계산된 4개의 꼭지점을 가지고 컴퓨터 비젼 알고리즘을 이용하여 3D RT(Rotation-Translation) 매트릭스를 추출한다.
그런 다음, 마커 인식 장치(110)가 추출된 마커 ID에 대해 표-1과 같은 마커 배치 정보를 기반으로 다른 마커를 인식한다. 예를 들어, 도 2에 나타낸 바와 같이, 마커 ID가 F001인 마커를 인식했다고 하면, <표-1: 마커 배치 정보의 구조>의 정보를 이용하여 x축으로 100만큼 떨어진 곳에 마커 ID F002를 가지는 고정형 마커가 있다는 것을 파악하고 그 위에 가상 콘텐츠를 합성한다.
한편, 방향성 플래그가 존재하지 않아 고정형 마커가 아닐 경우는 추출된 마커를 데이터베이스(DB(미도시))에서 검색하여 패턴 매칭 기법을 적용하여 비 고정형 마커의 ID를 추출한다.
<표-1: 마커 배치 정보의 구조>
# 고정형/이동형 마커 정보 1 #페이지 번호 2 #페이지에서 사용되는 고정형 마커의 개수 1 #페이지에서 사용되는 이동형 마커의 개수 # 고정형 마커 1 F001 # 마커 ID 40.0 # 마커 width (단위: mm) 0.0 0.0 # center (단위: mm) 0.0 0.0, 0.0 # translation matrix (단위: mm) # 고정형 마커 2 F002 # 마커 ID 40.0 # 마커 width (단위: mm) 0.0 0.0 # center (단위: mm) 100.0 0, 0 # translation matrix (단위: mm) # 이동형 1 Data/markerInfo/M001 # 마커 F002의 ID 추출을 위한 패턴 정보 (PCA 등으로 차원을 낮춘 값) 40.0 # 마커 width (단위: mm) # Control marker C_Sel # 컨트롤 마커 ID, 선택 40.0 # 마커 width (단위: mm) Data/markerInfo/C_ Sel # 마커 C_Sel의 ID 추출을 위한 패턴 정보 (PCA 등으로 차원을 낮춘 값) C_Init # 컨트롤 마커 ID, 초기화 40.0 # 마커 width (단위: mm) Data/markerInfo/C_Init # 마커 C_Sel의 ID 추출을 위한 패턴 정보 (PCA 등으로 차원을 낮춘 값) C_Undo # 컨트롤 마커 ID, 실행취소 40.0 # 마커 width (단위: mm) Data/markerInfo/C_Undo # 마커 C_Undo의 ID 추출을 위한 패턴 정보 (PCA 등으로 차원을 낮춘 값)
본 발명의 마커 인식 장치(110)에서는 고정형/이동형/컨트롤 마커의 3 종류의 마커가 사용된다. 이러한 3 종류의 마커에 대해 도 2 내지 도 4를 참조하여 설명한다.
도 2는 본 발명에 따른 마커 인식 장치(110)에 사용되는 고정형 마커를 예시한 것으로, 고정형 마커는 책 위에 프린트된 마커로 미리 정해진 가상콘텐츠를 표 현하는데 사용된다. 마커의 크기와 A, B, C의 크기는 서비스 업체에서 결정한다. “A”에 의한 흰색 바탕이 있는 이유는 마커 인식을 좀 더 쉽게 하기 위해서이다. 일반적으로 마커의 테두리를 검은색으로 사용했을 때, 책 위에 인쇄된 마커의 주변이 검은색이면 잘 인식되지 않을 수 있으므로, 흰색 테두리를 둔다. 마커의 방향성 인식을 위해 도시된 바와 같이 방향성을 나타내는 플래그(D)를 둔다.
도 2의 마커(200)는 2n개의 구조적인 비트 할당과 마커 ID를 할당한 것을 나타내며, 이렇게 함으로써 할당 가능한 ID 개수를 예측할 수 있고, ID 추출도 각 비트의 값이 블랙(black)인지 화이트(white)인지만 조사하여 빠르게 할 수 있다. A, B, C 각 크기를 알고 있으므로, bit0 이라고 쓰인 부분이 Black이 많으면 0, 그렇지 않으면 1로써 그 비트 값을 알 수 있다.
도 3은 본 발명에 따른 마커 인식 장치(110)에 사용되는 이동형 마커를 예시한 것으로, 이동형 마커는 한 페이지 내에서만 사용되면서 책 위에서 움직일 수 있는 마커이다. 마커 ID를 구분하기 위해 사용되는 것은 문자나, 그림 어떠한 것도 가능하다. 마커 ID를 추출하기 위해 인식된 마커와 데이터베이스(DB(미도시))에 저장된 정보와 패턴 매칭을 통해 마커 ID를 추출한다. 예를 들어, 일식과 월식을 설명할 때 학습자가 달과 지구를 놓는 위치에 따라 일식과 월식이 바뀌므로 책 위에서 이동할 수 있는 이동형 마커를 사용한다.
도 4는 본 발명에 따른 마커 인식 장치(110)에서 사용되는 컨트롤 마커를 도시한 것으로, 컨트롤 마커는 학습자가 고정형 마커 위에 합성된 가상의 콘텐츠에 인터랙션을 가하기 위해 사용하는 마커이다. 본 발명에서는 3개의 컨트롤 마커를 정의한다. 학습자는 이 3가지 컨트롤 마커만으로 모든 가상 콘텐츠를 쉽게 컨트롤 한다.
3개의 컨트롤 마커는 선택 마커(400), 초기화 마커(410), 실행취소 마커(420)이며, 선택 마커(400)를 책 위에 올려 인식시키면 선택을 의미하는 화살표 콘텐츠가 선택 마커 위에 합성된다. 이를 고정형 마커 위의 가상콘텐츠에 접근시키면 가상콘텐츠가 커지던지 사라지던지 제작할 당시에 미리 정의된 액션이 수행된다. 만약 하나 이상의 액션이 정의되면 선택을 의미하는 콘텐츠가 표시되어 선택 마커로 선택할 수 있게 한다. 그리고, 초기화 마커(410)는 사용자가 콘텐츠를 실행하는 도중 초기상태로 복귀할 때 사용하며, 실행취소 마커(420)는 학습자의 액션을 한 단계 이전으로 되돌릴 때 사용한다.
그러면, 도 1과 같은 구성을 가지는 마커 인식 장치(110)를 이용하여 실행되는 마커 인식 방법에 대해 도 5를 참조하여 설명하기로 한다.
도 5는 도 1에 도시된 마커 인식 장치(110)를 이용하여 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법을 나타낸 전체 흐름도로, 먼저, PC에 연결된 USB 카메라 등의 영상입력부로부터 책의 영상을 카메라로 입력 받는다(S500). 현재 입력된 영상이 플립 되었는지를 판단하고 플립 되었으면 보정한다(S510).
여기서, 플립 보정 과정은 다음과 같다. 고정형 마커에는 방향을 나타내는 플래그가 있으므로 이를 화면의 좌상단 방향으로 올 수 있도록 화면을 상하/좌우 대칭 시킨다. 예를 들어 고정형 마커의 플래그가 오른쪽 하단에 있으면 좌우대칭 및 상하대칭을 수행하여 화면의 좌상단에 위치시킴으로써 플립 보정을 실시한다. 이 후의 마커 인식은 플립 보정된 영상에서 수행된다.
그런 다음, 현재 입력되어 플립 보정된 영상이 첫 번째 프레임인지(n=1 ?) 체크하여 블록 A 또는 블럭 B와 같은 과정을 수행한다(S520). 체크 결과, 현재 입력이 첫 번째 프레임이면(n=1), 블럭 “A”가 실행되고 첫번째 프레임이 아니면(n>1) 블록 “B”가 실행된다.
먼저 “n=1”인 경우의 동작순서를 설명한다. 이때는 이전 프레임에 대한 정보가 없으므로 현재 프레임의 정보만을 가지고 마커 인식을 수행한다.
우선, 고정형 이진화 과정(S530)은 입력 영상을 이진화 하는 과정으로, 마커는 블랙(black)과 화이트(white)의 이진영상으로 이뤄져 있기 때문에 마커 인식은 이진화된 영상에서 수행되야 한다. 이때 영상의 이진화를 위한 임계값(threshold value)은 미리 정의한 값(100~150 사이의 값)을 이용한다.
이와 같이 이진화된 영상에서 검은색이 많이 모여 있는 검은색 클러스터를 수집하여 선택하고(S540), 각각의 클러스터에 대해 클러스터가 직선으로 이뤄진 폐곡선인지 체크한다(S550). 또한 클러스터의 면적이 너무 크거나 작지 않은지 체크한다. 이 조건에 부합되지 않으면 해당 클러스터를 버리고(S560), 이 조건에 부합하는 클러스터에는 고정형 마커를 의미하는 방향성 플래그가 존재하는지를 체크한다(S570).
체크 결과, 방향성 플래그가 존재하면 이 마커는 고정형 마커를 의미하므로, 도 2에 나타낸 각각의 비트값을 추출하여 고정형 마커의 ID를 계산하여 추출한다(S590). 위의 체크 결과, 방향성 플래그가 존재하지 않아 고정형 마커가 아닐 경우는 추출된 마커를 데이터베이스(DB(미도시))에서 검색하여 패턴 매칭 기법을 적용하여 마커의 ID를 추출한다(S590).
그런 다음, 추출된 마커 ID로 마커를 인식하고, 이 마커의 사각형을 이루는 각 선분의 방정식을 찾고 이를 이용하여 선분의 교점을 구하여 마커의 사각형을 이루는 꼭지점 4개를 계산 하고, 이 계산된 4개의 꼭지점을 가지고 컴퓨터 비젼 알고리즘을 이용하여 3D RT(Rotation-Translation) 매트릭스를 계산한다(S600). 모든 클러스터가 처리되었는지 체크하여(S610) 모든 클러스터를 계산했으면 다음 프레임 으로 넘어가고 그렇지 않으면 다음 클러스터를 계산한다.
이제 “n=1”이 아닌 경우의 동작순서를 설명한다. 즉, 두 번째 프레임(n>1)부터는 이전 프레임의 정보를 이용하는 히스토리 기반의 마커 인식을 수행한다.
우선, 입력된 영상에 대해 적응형 이진화 과정을 수행한다(S531). 적응형 이진화 과정은 이전에 인식한 마커를 기반으로 이진화 임계값(threshold value)을 적응적으로 변화시키는 것으로, 조명의 영향에 따라 고정형 마커의 블랙(black)이 검은색(값: 0)으로 인식되지 않기 때문에 조명에 대한 보정을 해주는 작업이다. 적응형 이진화 작업은 아래의 수학식 1과 같이 진행된다.
[수학식 1]
Figure 112006066244934-pat00002
여기서 Thn은 n번째 프레임의 이진화 임계값(threshold value)이고, Th1은 1번째 프레임의 이진화 임계값(threshold value)이고, β는 조명의 변화에 따른 이진화 임계값의 변화량을 나타내고, #White는 이전의 인식된 마커의 화이트(white) 픽셀의 개수이고, #Black는 블랙(black) 픽셀의 개수이고, #total_pixel은 마커의 전체 픽셀 개수이고, E[measured_white(또는 black)_value_of_(n-1)th_frame]는 현재 입력된 프레임의 이전 프레임(n-1)에서 인식된 마커에 대한 화이트(또는 블랙) 픽셀의 평균값을 나타내고, ΔBlack은 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 블랙 픽셀들의 평균값을 나타내고, ΔWhite는 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 화이트 픽셀들의 평균값을 255에서 뺀 값을 나타낸다.
여기서, 마커는 블랙(black)과, 화이트(white)로 구성되어 있으므로, “0”(검은색으로 인시되는 값), “255”(화이트로 인식되는 값)로 인식되어야 하는데, 조명의 효과로 “255”는 “255”보다 작은 값으로 인식되고 “0”은 “0”보다 큰 값으로 인식된다. 따라서 적응형 이진화 과정은 이진화 임계값(threshold value)을 조명의 영향으로 인한 값만큼 더해주거나 빼 주면 조명의 영향을 반영하게 된다.
그런 다음, 히스토리 기반으로 클러스터를 수집한다(S532). 즉, 클러스터를 찾을 때 이전 영상의 마커 위치 주변을 찾음으로써 인식속도를 더욱 빠르게 한다. 이렇게 수집한 각각의 클러스터에 대해 클러스터가 직선으로 이루진 폐곡선인지 체크한다(S533). 또한 클러스터의 면적이 너무 크거나 작지 않은지 체크한 이전 프레임 마커의 면적보다 너무 크거나 너무 작으면 해당 클러스터를 버리고(S560), 그렇지 않으면, 해당 클러스터에 고정형 마커를 의미하는 방향성 플래그가 존재하는지 를 체크한다(S534).
체크 결과, 방향성 플래그가 존재하면, 도 2에 나타낸 고정형 마커의 각각의 비트값을 추출하여 고정형 마커의 ID를 계산하여 추출한다(S535). 위의 체크 결과, 방향성 플래그가 존재하지 않아 고정형 마커가 아닐 경우는 추출된 마커를 DB(미도시)에서 검색하여 패턴 매칭 기법을 적용하여 비 고정형 마커의 ID를 추출한다(S538). 고정형 마커의 ID를 추출한 후, 마커를 인식하고, 이 마커의 사각형을 이루는 각 선분의 방정식을 찾고 이를 이용하여 선분의 교점을 구하여 마커의 사각형을 이루는 꼭지점 4개를 계산 하고, 이 계산된 4개의 꼭지점을 가지고 컴퓨터 비젼 알고리즘을 이용하여 3D RT(Rotation-Translation) 매트릭스를 계산한다(S536).
그런 다음, 마커 인식 장치가 추출된 마커 ID에 대해 표-1과 같은 마커 배치 정보를 기반으로 다른 마커를 인식한다(S537). 예를 들어, 마커 ID가 F001인 마커를 인식했다고 하면, <표-1: 마커 배치 정보의 구조>의 정보를 이용하여 x축으로 100만큼 떨어진 곳에 마커 ID F002를 가지는 고정형 마커가 있다는 것을 파악하고 그 위에 가상 콘텐츠를 합성한다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니라 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이, 본 발명에 의한 조명의 변화와 학습자 인터랙션을 고려한 증강현실 제공 시스템을 통해 현재 온라인상에서 머물러 있는 e-러닝 산업을 기존의 오프라인 교재 산업과 연계함으로써, 온/오프라인이 동반 성장하는 효과를 가져 올 수 있다.
또한 기존의 증강현실 시스템을 구현하기 위해서는 많은 비용이 소요되는데 반해, 본 발명에 의한 시스템은 모니터 기반 증강현실 제공 시스템을 제공함으로써, 기존의 PC에 USB 카메라만 장착하면 별도의 추가 비용 없이 양질의 증강현실 제공 시스템을 이용할 수 있으며, 본 발명에 의한 시스템은 학습뿐 아니라, 새로운 경험의 콘텐츠 서비스가 필요한 모든 분야에 응용 가능한 효과가 있다.

Claims (20)

  1. 삭제
  2. 입력된 영상에 대해 플립(flip)여부를 체크하여 플립 보정하는 플립 보정 모듈;
    상기 보정된 영상의 프레임 인덱스를 체크하여 첫 번째 프레임인지 아닌지 판단하는 프레임 인덱스 판단 모듈; 및
    상기 보정된 영상이 첫 번째 프레임인 경우는 현재 입력된 프레임의 정보를 가지고 마커를 인식하고, 첫 번째 프레임이 아닌 프레임의 경우에는 적응형 이진화를 수행하여 조명의 변화를 고려한 후, 히스토리 기반의 정보 및 마커 배치구조를 이용하여 마커 인식을 수행하는 마커 인식 모듈
    을 포함하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  3. 제 2항에 있어서, 상기 마커 인식 모듈은,
    상기 보정된 영상이 첫 번째 프레임인 경우, 상기 보정된 영상을 고정형 이진화를 수행한 후, 상기 이진화된 영상에서 블랙(black) 클러스터를 수집하여 직선으로 이루어진 폐곡선인지 체크하여 만족하면, 고정형 마커인지를 확인하여 마커 ID를 추출하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  4. 제 2항 또는 제 3항에 있어서, 상기 마커 인식 모듈은,
    상기 보정된 영상이 첫 번째 프레임이 아닌 경우, 상기 보정된 영상을 적응형 이진화를 수행하여 조명의 변화를 고려한 후, 상기 이진화된 영상에서 이전 프레임에 대한 히스토리 기반 정보를 이용해 클러스터를 수집하여 직선으로 이루어진 폐곡선인지 체크하여 만족하면, 고정형 마커인지를 확인하여 마커 ID를 추출한 후, 히스토리 기반의 정보 및 마커 배치구조를 이용하여 마커 인식을 수행하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  5. 제 4항에 있어서, 상기 적응형 이진화는,
    상기 입력된 영상의 이전에 인식한 마커를 기반으로 이진화 임계값(threshold value)을 아래 수학식과 같이 적응적으로 변화시켜 조명의 변화에 따른 상기 마커의 블랙(black)과 화이트(white)가 검은색과 흰색으로 인식되지 않는 것에 대해 보정해주는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
    Figure 112007069294933-pat00003
    (여기서 Thn은 n번째 프레임의 이진화 임계값(threshold value)이고, Th1은 1번째 프레임의 이진화 임계값(threshold value)이고, β는 조명의 변화에 따른 이진화 임계값의 변화량을 나타내고, #White는 이전의 인식된 마커의 화이트(white) 픽셀의 개수이고, #Black는 블랙(black) 픽셀의 개수이고, #total_pixel은 마커의 전체 픽셀 개수이고, E[measured_white(또는 black)_value_of_(n-1)th_frame]는 현재 입력된 프레임의 이전 프레임(n-1)에서 인식된 마커에 대한 화이트(또는 블랙) 픽셀의 평균값을 나타내고, ΔBlack은 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 블랙 픽셀들의 평균값을 나타내고, ΔWhite는 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 화이트 픽셀들의 평균값을 255에서 뺀 값을 나타낸다.)
  6. 제 2항에 있어서,
    상기 마커는 블랙(black)과 화이트(white)의 이진영상으로 이루어진 2차원 마커이며, 마커 내부를 9개의 영역으로 나누어 내부 마커 혼동(inner marker confusion)을 줄이는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  7. 제 6항에 있어서, 상기 마커는
    책 위에 프린트된 미리 정해진 가상콘텐츠인 고정형 마커, 책 위에서 이동 가능한 이동형 마커, 상기 고정형 마커 위에 합성된 가상콘텐츠를 학습자 인터랙션 하기 위한 컨트롤 마커로 이루어진 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  8. 제 7항에 있어서,
    상기 고정형 마커는 마커의 방향성을 나타내는 플래그를 포함하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  9. 제 7항에 있어서, 상기 컨트롤 마커는
    선택을 의미하는 화살표 콘텐츠가 합성되는 선택 마커, 초기상태로 복귀할 때 사용하는 초기화 마커, 학습자의 액션을 한단계 이전으로 되돌리는 실행취소 마커를 포함한 3개의 컨트롤 마커로 정의하여 사용하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  10. 제 8항에 있어서,
    상기 방향성을 나타내는 플래그는 상기 고정형 마커의 좌상단에 위치하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치.
  11. 입력된 영상의 플립 여부를 체크하여 플립 보정을 수행하는 플립 보정 단계;
    상기 플립 보정된 영상의 프레임 인덱스가 첫 번째 프레임인지 판단하는 프레임 인덱스 판단 단계;
    상기 판단 결과, 첫 번째 프레임인 경우는 현재 프레임의 정보만을 기반으로 마커 인식을 수행하고, 첫 번째 프레임이 아닌 경우는 히스토리 기반의 마커 인식을 수행하는 마커 인식 단계; 및
    모든 클러스터에 대한 마커 인식이 완료되면 프로그램을 종료하는 단계
    로 이루어지는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  12. 제 11항에 있어서, 상기 플립 보정은
    고정형 마커에 포함된 방향성을 나타내는 플래그가 화면의 좌상단에 위치하도록 상기 입력된 영상의 화면을 상하/좌우 대칭 시켜 수행되는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  13. 제 11항에 있어서,
    상기 마커 인식 단계에서 상기 보정된 영상이 첫 번째 프레임인 경우는,
    상기 보정된 영상에 대해 미리 설정된 임계값을 이용하여 블랙(black)과 화이트(white)의 이진화를 수행하는 고정형 이진화 단계;
    상기 이진화된 영상에서 블랙(black) 영상 클러스터를 수집하는 클러스터 수집 단계;
    상기 수집된 클러스터가 직선으로 이루어진 폐곡선인지 확인하는 폐곡선 확인 단계;
    상기 확인 결과, 상기 수집된 클러스터가 폐곡선을 만족하면 방향성 플래그가 존재하는지 체크하는 방향성 플래그 체크 단계;
    상기 체크 결과, 상기 수집된 클러스터에 방향성 플래그가 존재하면 분할된 마커의 영역의 비트값을 추출하여 고정형 마커 ID를 추출하는 고정형 마커 ID 추출 단계; 및
    상기 고정형 마커 ID 추출이 완료되면, 3D RT(Rotation-Translation) 매트릭스를 추출하는 3D RT 매트릭스 추출 단계
    를 더 포함하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  14. 제 13항에 있어서, 상기 수집된 클러스터가 폐곡선이 아니면 해당 클러스터를 버리는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  15. 제 13항에 있어서, 상기 수집된 클러스터에 방향성 플래그가 존재하지 않으면, 데이터베이스(DB)를 검색하여 패턴 매칭 기법을 적용하여 마커의 ID를 추출하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  16. 제 13항에 있어서,
    상기 보정된 영상이 첫 번째 프레임이 아닌 경우의 마커 인식 단계는,
    상기 입력된 영상의 이전에 인식한 마커를 기반으로 조명의 변화에 따라 이진화 임계값(threshold value)을 적응적으로 변화시켜 영상을 이진화하는 적응형 이진화 단계;
    상기 입력된 영상의 이전의 프레임에 대한 히스토리 기반 정보를 이용하여 클러스터를 수집하는 히스토리 기반의 클러스터 수집 단계;
    상기 수집된 클러스터가 직선으로 이루어진 폐곡선인지 확인하는 폐곡선 확인 단계;
    상기 확인 결과, 상기 수집된 클러스터가 폐곡선을 만족하면 방향성 플래그가 존재하는지 체크하는 방향성 플래그 체크 단계;
    상기 체크 결과, 상기 수집된 클러스터에 방향성 플래그가 존재하면 분할된 마커의 영역의 비트값을 추출하여 고정형 마커 ID를 추출하는 고정형 마커 ID 추출 단계;
    상기 고정형 마커 ID 추출이 완료되면, 3D RT(Rotation-Translation) 매트릭스를 추출하는 3D RT 매트릭스 추출 단계; 및
    상기 추출된 고정형 마커 ID에 대해 미리 설정된 마커 배치 정보를 기반으로 다른 마커를 인식하는 마커 배치 정보 기반 마커 인식 단계
    를 더 포함하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려 한 마커 인식 방법.
  17. 제 16항에 있어서, 상기 수집된 클러스터가 폐곡선이 아니면 해당 클러스터를 버리는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  18. 제 16항에 있어서, 상기 수집된 클러스터에 방향성 플래그가 존재하지 않으면, 데이터베이스(DB)를 검색하여 패턴 매칭 기법을 적용하여 마커의 ID를 추출하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
  19. 제 16항에 있어서,
    상기 적응형 이진화 단계는 조명에 대한 민감성 제거를 위해 아래의 수학식에 따라 이진화 임계값(threshold value)을 적응적으로 변화시켜 적용하는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
    Figure 112006066244934-pat00004
    (여기서 Thn은 n번째 프레임의 이진화 임계값(threshold value)이고, Th1은 1번째 프레임의 이진화 임계값(threshold value)이고, β는 조명의 변화에 따른 이진화 임계값의 변화량을 나타내고, #White는 이전의 인식된 마커의 화이트(white) 픽셀의 개수이고, #Black는 블랙(black) 픽셀의 개수이고, #total_pixel은 마커의 전체 픽셀 개수이고, E[measured_white(또는 black)_value_of_(n-1)th_frame]는 현재 입력된 프레임의 이전 프레임(n-1)에서 인식된 마커에 대한 화이트(또는 블랙) 픽셀의 평균값을 나타내고, ΔBlack은 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 블랙 픽셀들의 평균값을 나타내고, ΔWhite는 현재 입력된 프레임의 이전 프레임에서 인식된 마커의 화이트 픽셀들의 평균값을 255에서 뺀 값을 나타낸다.)
  20. 제 19항에 있어서,
    상기 적응형 이진화는 조명이 증가되면 이진화 임계값(threshold value)을 증가시키고, 조명이 감소하면 이진화 임계값(threshold value)을 감소하는 것에 의해 수행되는 것을 특징으로 하는 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 방법.
KR1020060088719A 2006-09-13 2006-09-13 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법 KR100793837B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060088719A KR100793837B1 (ko) 2006-09-13 2006-09-13 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060088719A KR100793837B1 (ko) 2006-09-13 2006-09-13 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법

Publications (1)

Publication Number Publication Date
KR100793837B1 true KR100793837B1 (ko) 2008-01-11

Family

ID=39217531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060088719A KR100793837B1 (ko) 2006-09-13 2006-09-13 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법

Country Status (1)

Country Link
KR (1) KR100793837B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834904B1 (ko) 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060012570A (ko) * 2003-01-30 2006-02-08 오브젝트비디오 인코퍼레이티드 변화 검출 및 분류를 이용한 비디오 장면 배경 유지
KR20060065159A (ko) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060012570A (ko) * 2003-01-30 2006-02-08 오브젝트비디오 인코퍼레이티드 변화 검출 및 분류를 이용한 비디오 장면 배경 유지
KR20060065159A (ko) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834904B1 (ko) 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법

Similar Documents

Publication Publication Date Title
US10437466B2 (en) Formula inputting method and apparatus
CN110390269B (zh) Pdf文档表格提取方法、装置、设备及计算机可读存储介质
CN102567300B (zh) 图片文档的处理方法及装置
CN111127339B (zh) 一种文档图像的梯形畸变矫正方法及装置
CN107798725B (zh) 基于Android的二维住房户型识别和三维呈现方法
EP3940589B1 (en) Layout analysis method, electronic device and computer program product
CN106202086B (zh) 一种图片处理、获取方法、装置及系统
CN111259878A (zh) 一种检测文本的方法和设备
CN109934229A (zh) 图像处理方法、装置、介质和计算设备
US8139048B2 (en) Method of raising resolution in locating on a micro dotmap
KR101623213B1 (ko) 펜 입력 장치 및 방법
CN108052936B (zh) 一种盲文图像自动倾斜校正方法及系统
CN113436222A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN111126243A (zh) 一种图像数据检测方法、装置以及计算机可读存储介质
CN110705535A (zh) 一种试卷版面文字行自动检测的方法
CN110378862A (zh) 一种提高输电线路外破目标识别准确度的数据增强方法
KR100793837B1 (ko) 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법
CN112199015B (zh) 智能交互一体机及其书写方法、装置
CN113778362A (zh) 基于人工智能的屏幕控制方法、装置、设备及存储介质
CN110674811B (zh) 图像识别的方法及装置
CN111832551A (zh) 文本图像处理方法、装置、电子扫描设备和存储介质
JP4872610B2 (ja) カメラポインタ装置、ラベリング方法及びプログラム
CN112200158B (zh) 训练数据生成方法及系统
CN113766147B (zh) 视频中嵌入图像的方法、平面预测模型获取方法和装置
JP7027814B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111230

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee