KR20130107404A - 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법 - Google Patents

미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법 Download PDF

Info

Publication number
KR20130107404A
KR20130107404A KR1020120029129A KR20120029129A KR20130107404A KR 20130107404 A KR20130107404 A KR 20130107404A KR 1020120029129 A KR1020120029129 A KR 1020120029129A KR 20120029129 A KR20120029129 A KR 20120029129A KR 20130107404 A KR20130107404 A KR 20130107404A
Authority
KR
South Korea
Prior art keywords
media content
marker
editing
image
user
Prior art date
Application number
KR1020120029129A
Other languages
English (en)
Inventor
김석수
정성모
임지훈
김동현
이은석
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020120029129A priority Critical patent/KR20130107404A/ko
Publication of KR20130107404A publication Critical patent/KR20130107404A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Abstract

본 발명은 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법으로서, 더욱 상세하게는 다수의 음반 CD 케이스 및 포스터위에 부착된 증강현실 마커를 인식 하여 상기 인식된 마커 위에 해당 음원의 영상을 증강시켜 사용자에게 제공하며, 사용자가 증강객체를 융합하는 경우에는 미디어 콘텐츠 편집 모듈을 증강하여 사용자가 증강된 상기 미디어 콘텐츠 편집 모듈을 미디어 콘텐츠를 편집하여 새로운 미디어 콘텐츠를 생성하는 증강 객체 융합 시스템 및 그 방법이다.
본 발명은, 음반 CD 및 포스터에 부착된 마커(210), 상기 마커(210)를 촬영하여 상기 영상을 Web Server로 전송하고 Web Server(230), Encoding Server(240)로부터 마커(210)의 미디어 콘텐츠 및 융합된 증강객체를 전송받아 사용자에게 제공하는 Smart Phone(220), 상기 Smart Phone(220)에서 영상을 전송받아 마커(210)에 해당하는 미디어 콘텐츠와 융합된 미디어 콘텐츠를 Smart Phone(220)로 전송하고 영상 편집하는 미디어 콘텐츠들의 정보를 Encoding Server(240)로 전송하며 증강현실 시스템 모듈(250), 미디어 콘텐츠 편집 모듈(260)을 포함하고 있는 Web Server(230), Web Server(230)로부터 영상 편집하는 미디어 콘텐츠들의 정보를 전송받아 편집 작업을 수행하는 Encoding Server(240), 상기 Smart Phone(220)에서 전송된 영상에서 상기 마커(210)를 검출하여 해당 미디어 콘텐츠를 증강하고 사용자가 증강 객체의 융합 작업을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 미디어 콘텐츠의 편집 작업을 수행하게 하는 증강현실 시스템 모듈(250), 증강현실 시스템 모듈(250)을 통해 증강되어 사용자로부터 증강객체 융합을 위한 미디어 콘텐츠 편집 명령을 받아 Encoding Server(240)을 통해 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 모듈(250), 마커의 정보를 가지고 있는 마커 정보데이터베이스(260), 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강 객체 데이터베이스(260)를 포함하여 이루어지는 것을 특징으로 하는 증강 객체 융합 시스템 및 그 방법이다.

Description

미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법{An Augmented Object Fusion System Using Media Contents Edit and A Method thereof}
본 발명은 다수의 음반 CD 케이스 및 포스터에 부착되어 있는 증강현실 마커를 인식하여 해당 음반의 영상을 제공할 뿐만 아니라 사용자가 증강되는 객체들의 융합을 원할 경우 미디어 콘텐츠 편집 모듈을 증강하고 이를 기반으로 증강객체를 융합하는 시스템 및 그 방법이다.
보다 상세하게는, 다수의 음반 CD 케이스 및 포스터 위에 부착된 증강현실 마커를 인식하여 상기 인식된 마커 위에 해당 음원의 영상을 증강시켜 사용자에게 제공하며, 사용자가 객체융합을 원할 경우 상기 마커위에 미디어 콘텐츠 편집모듈을 증강시켜 해당 음원의 영상 및 인식된 다른 음원의 영상을 융합하여 새로운 미디어 콘텐츠를 생성하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법이다.
스마트폰의 사용자 수가 증가함에 따라 최근 음반 시장에서는 기존의 매스 마케팅(Mass marketing) 및 인터넷 마케팅(Internet marketing)보다 스마트폰의 특성을 활용하여 다양한 마케팅 활동을 전개하고 있으며 대표적인 예로 도 1과 같이 QR코드(Quick response Code)를 부착한 CD 케이스 및 포스터를 이용하여 고객들에게 해당 가수의 음원을 제공해주는 서비스를 활발히 적용하고 있다. 참고로, 도 1은 종래의 QR코드를 이용한 음원 제공 서비스를 설명하기 위한 개념도이다.
또한, 특허출원번호 제10-2002-0081484호 "코드를 이용한 각종 유무선 컨텐츠 및 정보 제공 서비스시스템, 이에 사용되는 유저 단말, 이에 사용되는 통신업체 플랫폼, 이에 사용되는 운영 대행사 플랫폼, 이에 사용되는 온라인 관계사 모듈 및 오프라인 관계사모듈 및 서비스 제공 방법"에서는 코드를 이용한 컨텐츠 및 정보제공 서비스 시스템은 유무선 통신 서비스 시스템에 있어서, 코드 입력이 가능하며 네트워크 접속이 가능한 유저 단말, 상기 유저 단말로부터 전송된 코드값을 수신받아 각 통신 서비스 제공자의 플랫폼으로 코드 정보를 분배하는 운영 대행사 플랫폼, 상기 운영대행사 플랫폼으로부터 코드값을 전송받아 각 코드에 해당하는 컨텐츠 정보를 제공하며 사용자 및 관계사 관련 로그 기록을 수행하는 통신업체 플랫폼, 상기 통신업체 플랫폼에 각종 컨텐츠 정보등에 해당하는 리소스를 등록하고 유저 단말로 컨텐츠 등의 서비스를 제공하는 온라인 관계사 모듈 및 컨텐츠 등의 서비스 제공을 위한 코드 이미지를 운영 대행사로부터 발급받고 발급받은 코드를 오프라인 매체에 삽입하여 코드에 연동될 정보를 유저가 선택하도록 하는 오프라인 관계사 모듈을 포함하여 구성되는 것을 플랫폼을 제시하였다.
하지만, 상기와 같은 QR코드를 이용한 서비스는 QR코드에 링크되어 있는 사이트로 이동하여 사용자에게 지정된 콘텐츠를 제공하는 방식이기 때문에 콘텐츠와 사용자 간의 상호작용이 미미하다. 따라서, 사용자가 콘텐츠 정보를 보다 실감나게 체험할 수 없는 단점을 가지고 있으며, 서비스 제공자에 의해 제공되는 콘텐츠가 일회성을 가지고 있기 때문에 시간의 경과에 따라 서비스에 대한 사용자의 관심과 흥미가 감소되는 문제점을 가지고 있다.
본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서, 일예로 음반 CD 케이스 및 포스터에 부착된 마커를 인식하여 미디어 플레이어를 증강시켜 해당 음원의 영상을 제공하며, 상기 증강된 미디어 플레이어를 통해 제공되는 미디어 콘텐츠들을 서로 융합하여 사용자에게 제공하는 것을 특징으로 하는 증강객체 융합 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명은 상술한 모적을 달성하기 위해 안출된 것으로서, 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템에 관한 것으로, 음반 CD 및 포스터에 부착된 마커(210), 상기 마커(210)를 촬영하여 상기 영상을 Web Server로 전송하고 Web Server(230), Encoding Server(240)로부터 마커(210)의 미디어 콘텐츠 및 융합된 증강객체를 전송받아 사용자에게 제공하는 Smart Phone(220), 상기 Smart Phone(220)에서 영상을 전송받아 마커(210)에 해당하는 미디어 콘텐츠와 융합된 미디어 콘텐츠를 Smart Phone(220)로 전송하고 영상 편집하는 미디어 콘텐츠들의 정보를 Encoding Server(240)로 전송하며 증강현실 시스템 모듈(250), 미디어 콘텐츠 편집 모듈(260)을 포함하고 있는 Web Server(230), Web Server(230)로부터 영상 편집하는 미디어 콘텐츠들의 정보를 전송받아 편집 작업을 수행하는 Encoding Server(240), 상기 Smart Phone(220)에서 전송된 영상에서 상기 마커(210)를 검출하여 해당 미디어 콘텐츠를 증강하고 사용자가 증강 객체의 융합 작업을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 미디어 콘텐츠의 편집 작업을 수행하게 하는 증강현실 시스템 모듈(250), 증강현실 시스템 모듈(250)을 통해 증강되어 사용자로부터 증강객체 융합을 위한 미디어 콘텐츠 편집 명령을 받아 Encoding Server(240)을 통해 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 모듈(250), 마커의 정보를 가지고 있는 마커 정보데이터베이스(260), 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강 객체 데이터베이스(260)를 포함하여 이루어지는 것을 특징으로 한다.
또한, 미디어 콘텐츠 편집기를 이용한 증강객체 융합을 수행하는 방법에 있어서, Smart Phone(220)을 통해 음반 CD 및 포스터 위의 마커(210)를 촬영하고 상기 촬영된 영상을 Internet을 통해 Web Server(230)로 전송하는 영상 입력 단계(S301), 상기 전송된 영상에서 고정된 임계값을 사용하지 않고 슬라이딩 윈도우를 이용하는 적응적 임계값(Adaptive threshold)을 통해 영상을 이진화하여 전처리 작업을 수행하는 영상 전처리 단계(S302), 상기 전처리 된 영상에서 객체영역의 Hue 값 분포를 이용하여 변화될 위치를 예측, 탐지한 후 중심을 찾아 객체를 추적하는 CAMShift(Continuously Adaptive Mean Shift)알고리즘을 사용하여 마커 후보 영역을 추출 한다. 이후, 경계 추적 알고리즘을 이용하여 윤곽 정보를 검출하고 도 5와 같은 방식으로 검출된 윤곽 정보들에서 피타고라스의 정리를 통해 모서리 점을 추출하여 이를 기반으로 마커의 ROI(430)를 검출하는 마커 인식 단계(S303), 상기 검출된 마커의 ROI(430)에 템플릿 매칭 기법을 통해 정합을 하며 정합과정 중에 발생하는 중심위치 및 크기 편차를 줄이기 위해 마커 정보 데이터베이스(270)안의 마커(210)의 패턴 정보에 와핑 변환 행렬과 와핑에 의한 크기 차이율(Scale difference ratio, Sdiff)을 적용하여 마커(210)를 검출한다. 이후, 상기 검출된 마커(210)의 위치 및 기준 마커(210)의 ID를 확인하는 마커 검출 단계(S304), 사용자가 상기 마커 검출 단계(S304)에서 검출된 마커의 ID에 해당하는 객체를 융합할 것인지를 확인하는 사용자 선택 단계(S305), 사용자 선택 단계(S305)에서 사용자가 증강 객체 융합을 선택하면 상기 미디어 콘텐츠 편집 모듈(260)을 증강객체로 변환하고 상기 마커 검출 단계(S304)에서 검출된 마커위에 변환된 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 영상 편집 작업을 수행할 수 있게 하는 미디어 콘텐츠 편집 모듈 증강 단계(S306), 미디어 콘텐츠의 편집을 위한 장면 전환 검출 방법을 적용하기 위해서 공간영역 내에서의 예측을 이용하여 인트라 프레임을 부호화하는 인트라 예측 방법을 적용한 H.264/AVC 부호화작업을 수행하는 H.264/AVC 부호화 단계(S307), 상기 H.264/AVC 부호화 단계(S307)를 통해 미디어 콘텐츠를 부호화하면 장면전환이 발생할 경우 예측 모드(Prediction Mode)의 분포에 큰 변화가 있는 것을 이용하는 Intro 예측 모드 방법을 통해 장면 전환을 검출하는 장면 전환 검출 단계(S308), 상기 장면 전환 검출 단계(S308)를 통해 장면 전환 지점을 검출하면 상기 마커(210)위에 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 동영상 편집 명령을 받아 Direct Show 스트리밍 기술이 적용된 Encoding Server(240)을 통해 영상을 인코딩하여 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 단계(S309), 상기 미디어 콘텐츠 편집 단계(S309)에서 미디어 콘텐츠를 편집하면 상기 편집된 미디어 콘텐츠를 사용자의 Smart Phone(220)으로 전송할지 확인하는 콘텐츠 전송 확인 단계(S310), 상기 콘텐츠 전송 확인 단계(S310)에서 전송을 확인하였을 경우 상기 미디어 콘텐츠 편집 단계(S308)에서 편집된 미디어 콘텐츠를 Encoding Server(208)에서 Smart Phone(220)에서 다운받을 수 있도록 전송하는 편집 영상 전송 단계(S311)를 포함하는 것을 특징으로 하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 방법을 제공한다.
본 발명은 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법으로, 음반 CD 및 포스터에 부착된 마커를 이용하여 현실공간에 가상콘텐츠를 정합(Registration)하고 사용자와 상호작용이 가능한 증강현실을 통해 사용자에게 원하는 음원의 영상을 제공함에 따라 사용자가 콘텐츠의 정보를 보다 실감나게 체험할 수 있어 현실감 및 몰입감을 주기가 원활하며, 일반 이용자의 프로슈머 확산에 맞춰 사용자가 서비스 제공자로부터 음원을 제공 받는 것 뿐만이 아니라, 사용자에게 제공되는 증강 미디어 객체간의 융합을 통해 새로운 미디어 콘텐츠를 생성하기 때문에 종래의 QR코드를 이용한 음원 제공서비스의 문제점인 콘텐츠의 일회성 문제로 인해 발생되는 시간의 경과에 따라 서비스에 대한 사용자의 관심과 흥미가 감소되는 문제점을 해결할 수 있는 장점이 있다.
도 1은 종래의 QR코드를 이용한 음원 제공 서비스를 설명하기 위한 개념도이다.
도 2는 본 발명의 일실시예에 따른 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템의 내부 구성 블록도이다.
도 3은 본 발명의 일실시예에 따른 미디어 콘텐츠 편집을 이용한 증강 객체 융합방법을 도시한 순서도이다.
도 4는 본 발명에 적용되는 마커의 구조도이다.
도 5는 본 발명의 일실시예에 따른 마커의 윤곽정보를 이용하여 모서리 점의 좌표를 검출하는 순서를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 증강되는 미디어 플레이어를 통해 음원의 영상을 제공하는 모습을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따라 증강되는 미디어 콘텐츠 편집기를 통해 미디어 콘텐츠를 융합하는 모습을 설명하기 위한 도면이다.
이하, 본 발명의 일실시예를 첨부된 도면들을 참조하여 상세히 설명한다.
도 2는 본 발명의 일시시예에 의한 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템의 내부구성 블록도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 따른 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템은, 음반 CD 및 포스터에 부착된 마커(210), 상기 마커(210)를 촬영하여 상기 영상을 Web Server로 전송하고, 상기 마커(210)의 미디어 콘텐츠 및 융합된 증강객체를 전송받아 사용자에게 제공하는 Smart Phone(220), 상기 Smart Phone(220)에서 영상을 전송받아 마커(210)에 해당하는 미디어 콘텐츠와 융합된 미디어 콘텐츠를 Smart Phone(220)로 전송하고, 영상 편집하는 미디어 콘텐츠들의 정보를 Encoding Server(240)로 전송하는 Web Server(230), 상기 Web Server(230)로부터 영상 편집하는 미디어 콘텐츠들의 정보를 전송받아 편집 작업을 수행하는 Encoding Server(240), 상기 마커의 정보를 가지고 있는 마커 정보데이터베이스(260), 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강 객체 데이터베이스(260)를 포함하며,
상기 Web Server(230)는 상기 Smart Phone(220)에서 전송된 영상에서 상기 마커(210)를 검출하여 해당 미디어 콘텐츠를 증강하고 사용자가 증강 객체의 융합 작업을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 미디어 콘텐츠의 편집 작업을 수행하게 하는 증강현실 시스템 모듈(250)과, 상기 증강현실 시스템 모듈(250)을 통해 증강되어 사용자로부터 증강객체 융합을 위한 미디어 콘텐츠 편집 명령을 받아 Encoding Server(240)을 통해 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 모듈(250)을 구비하는 것을 특징으로 한다.
상기 마커(210)는 도 4에서 도시한 바와 같이, 음반의 CD 및 포스터에 부착되어져 있으며, 종래의 증강현실 마커와 같은 구조로 하얀색 바탕 영역인 Crust(410), QR코드(Quick Response Code)의 파인더 패턴과 같이 마커를 인식하는데 사용되는 Mantle(420), 상기 Mantle(420)안의 흰생 영역 인 Core(431), 각기 고유 패턴을 가지는 정사각형 이미지 Symbol(432)로 구성된 마커 ROI(Region of Interest)로 이루어져 있다.
상기 Smart Phone(220)은 상기 마커(210)를 촬영하기 위한 영상 디바이스를 포함하고 있으며, 상기 마커(210)가 포함된 영상을 촬영하여 Internet을 통해 Web Server(230)로 전송하며, Web Server(230)의 증강현실 시스템 모듈(250)을 통해 검출된 마커(210)에 해당 하는 미디어 콘텐츠를 증강객체로 하여 사용자에게 제공한다. 또한 사용자가 객체 융합을 원할 경우 Web Server(230)의 미디어 콘텐츠 편집 모듈(260)을 증강객체로 하여 사용자가 상기 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 영상 편집 명령을 수행하게 하고 영상 편집된 미디어 콘텐츠를 증강 객체로 하여 전송받거나 Encoding Server(240)에서 직접 다운받는다.
상기 Web Server(230)는 증강현실 시스템 모듈(250)과 미디어 콘텐츠 편집 모듈(260)을 포함하고 있으며, 상기 Smart Phone(220)으로부터 촬영한 영상을 Internet을 통해 전송받고, 상기 Internet을 통해 사용자가 증강현실 시스템 모듈(250)을 사용하게 하여 상기 마커(210)에 해당하는 미디어 콘텐츠를 제공받게 하며, 사용자가 상기 증강현실 시스템 모듈(250)을 통해 증강된 미디어 콘텐츠 편집 모듈(260)로 작업한 영상 편집 명령과 해당 미디어 콘텐츠들의 정보를 Encoding Server(220)로 전송한다.
상기 Encoding Server(240)는 동영상 저장시 버퍼 문제를 해결하기 위한 Direct Show 스트리밍 기술 포함하고 있으며 Web Server(230)로부터 영상 편집 명령과 해당 미디어 콘텐츠들의 정보 동영상의 실시간 편집 작업을 수행하고 편집된 영상을 Web Server(230)서버로 전송하거나 사용자가 Smart Phone(220)을 통해 직접 다운받을 수 있게 한다.
상기 증강현실 시스템 모듈(250)은 Smart Phone(220)을 통해 입력된 영상을 이진화하여 전처리하며, 상기 전처리된 영상에서 라벨링(Labeling)과 경계 추적(Edge tracing)알고리즘을 수행하여 마커를 인식하고 템플릿 매칭을 통해 마커를 정합하여 마커 정보 데이터베이스(270)에 저장되어 있는 정보를 기반으로 상기 마커(210)를 검출한다. 이후, 사용자가 증강객체 융합을 원하지 않을 경우에는 검출된 마커의 ID에 해당하는 미디어 컨텐츠를 증강 객체 데이터베이스(260)에서 확인하고 상기 확인된 미디어 콘텐츠를 증강하며, 사용자가 증강개체 융합을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강객체로 하여 사용자에게 제공한다.
상기 미디어 콘텐츠 편집 모듈(260)은 상기 증강현실 시스템 모듈(250)을 통해 증강객체로 변환이 가능하고 상기 검출된 마커의 ID에 해당하는 미디어 콘텐츠를 사용자가 융합할 수 있도록 미디어 콘텐츠의 포지션 설정, 영상 합성과 같은 영상 편집 명령을 사용자에게 제공하며, 사용자가 수행한 영상 편집 명령과 해당 미디어 콘텐츠들의 정보를 Web Server(230)을 통해 Encoding Server(240)로 전송하게 한다.
상기 마커 정보 데이터베이스(250)는 상기 마커(210)를 검출하기 위해 사용되는 마커 패턴, 상기 패턴에 따른 마커의 ID와 같은 마커 정보를 가지고 있다.
상기 증강 객체 데이터베이스(260)는 마커(210)의 ID에 따라 사용자에게 제공될 컨텐츠와 컨텐츠의 정보를 저장하고 있다.
도 3은 본 발명의 일실시예에 따른 증강객체 융합 시스템의 미디어 콘텐츠 편집기를 이용한 증강 객체 융합 방법을 도시한 순서도이다. 도 3에 도시한 바와 같이, 본 발명의 일실시예에 따른 미디어 콘텐츠 편집기를 이용한 증강 객체 융합 방법은, 본 발명에 따른 미디어 콘텐츠 편집기를 이용한 증강 객체 융합 시스템을 이용한 증강 객체 융합 방법에 관한 것으로서,
상기 Smart Phone(220)을 통해 음반 CD 및 포스터 위의 마커(210)를 촬영하고 상기 촬영된 영상을 Internet을 통해 Web Server(230)로 전송한다.(S301)
상기 전송된 영상에서 고정된 임계값을 사용하지 않고 슬라이딩 윈도우를 이용하는 적응적 임계값(Adaptive threshold)을 통해 영상을 이진화하여 전처리 작업을 수행한다.(S302)
상기 전처리 된 영상에서 객체영역의 Hue 값 분포를 이용하여 변화될 위치를 예측, 탐지한 후 중심을 찾아 객체를 추적하는 CAMShift(Continuously Adaptive Mean Shift)알고리즘을 사용하여 마커 후보 영역을 추출 한다. 이후, 경계 추적 알고리즘을 이용하여 윤곽 정보를 검출하고 도 5와 같은 방식으로 검출된 윤곽 정보들에서 피타고라스의 정리를 통해 모서리 점을 추출하여 이를 기반으로 마커의 ROI(430)를 검출한다.(S303)
상기 검출된 마커의 ROI(430)에 템플릿 매칭 기법을 통해 정합을 하며 정합과정 중에 발생하는 중심위치 및 크기 편차를 줄이기 위해 마커 정보 데이터베이스(270)안의 마커(210)의 패턴 정보에 와핑 변환 행렬과 와핑에 의한 크기 차이율(Scale difference ratio, Sdiff)을 적용하여 마커(210)를 검출한다. 이후, 상기 검출된 마커(210)의 위치 및 기준 마커(210)의 ID를 확인한다.(S304)
사용자가 상기 마커 검출 단계(S304)에서 검출된 마커의 ID에 해당하는 객체를 융합할 것인지를 확인한다.(S305)
사용자 선택 단계(S305)에서 사용자가 증강 객체 융합을 선택하면 상기 미디어 콘텐츠 편집 모듈(260)을 증강객체로 변환하고 상기 마커 검출 단계(S304)에서 검출된 마커위에 변환된 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 영상 편집 작업을 수행할 수 있게 한다.(S306)
미디어 콘텐츠의 편집을 위한 장면 전환 검출 방법을 적용하기 위해서 공간영역 내에서의 예측을 이용하여 인트라 프레임을 부호화하는 인트라 예측 방법을 적용한 H.264/AVC 부호화작업을 수행한다.(S307)
상기 H.264/AVC 부호화 단계(S306)를 통해 미디어 콘텐츠를 부호화하면 장면전환이 발생할 경우 예측 모드(Prediction Mode)의 분포에 큰 변화가 있는 것을 이용하는 Intro 예측 모드 방법을 통해 장면 전환을 검출한다.(S308)
상기 장면 전환 검출 단계(S307)를 통해 장면 전환 지점을 검출하면 상기 마커(210)위에 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 동영상 편집 명령을 받아 Direct Show 스트리밍 기술이 적용된 Encoding Server(240)을 통해 영상을 인코딩하여 미디어 콘텐츠를 편집한다.(S309)
상기 미디어 콘텐츠 편집 단계(S308)에서 미디어 콘텐츠를 편집하면 상기 편집된 미디어 콘텐츠를 사용자의 Smart Phone(220)으로 전송할지 확인한다.(S310)
상기 콘텐츠 전송 확인 단계(S309)에서 전송을 확인하였을 경우 상기 미디어 콘텐츠 편집 단계(S308)에서 편집된 미디어 콘텐츠를 Encoding Server(208)에서 Smart Phone(220)에서 다운받을 수 있도록 전송한다.(S311)
상기 사용자 선택 단계(S305)에서 객체 융합을 선택하지 않았을 경우에는 상기 마커(210)에 해당하는 미디어 컨텐츠를 증강 객체 데이터베이스(280)에서 확인하여 증강 객체로 설정하고 객체 융합을 선택하였을 경우 상기 콘텐츠 제공 전송 확인 단계(S309)에서 사용자가 전송을 원하지 않을 경우 상기 미디어 콘텐츠 편집 단계(S308)에서 편집된 미디어 콘텐츠 증강객체로 설정한다. 이후, 상기 마커(210)의 모서리점의 좌표를 통해 좌표 변환 행렬을 생성하고 와핑에 의한 크기 차이율, 와핑에 와핑에 의한 크기 오류 보정 값을 계산하여 이를 기반으로 마커(210)위에 상기 설정된 증강 객체를 증강하여 사용자에게 제공한다.(S312)
참고로, 도 5는 본 발명의 일실시예에 따른 마커의 윤곽정보를 이용하여 모서리 점의 좌표를 검출하는 순서를 도시한 도면이다. 도 5에 도시한 바와 같이, 본 발명의 일실시예에 따른 마커의 윤곽정보를 이용하여 모서리 점의 좌표 검출은 검출된 마커의 윤곽정보들 중 한 점(P1)을 선택하고(501), 상기 선택된 한 점에서 피타고라스의 정리에 의하여 그 점에서 가장 멀리 위치한 모서리점(P2)을 추출하고(502), 상기 추출된 두 모서리점(P1, P2)에서 가장 거리가 먼 모서리점(P3)을 추출하고(503), 상기 추출된 세 개의 모서리점(P1, P2, P3)을 기준으로 사가형의 넓이가 최대가 되는 점(P4)를 추출하는(504) 순서로 이루어진다.
한편, 도 6은 본 발명의 일실시예에 따라 증강되는 미디어 플레이어를 통해 음원의 영상을 제공하는 모습을 설명하기 위한 도면이다. 도 6에 도시한 바와 같이, 본 발명의 일실시예에 따라 증강되는 미디어 플레이어를 통해 음원의 영상을 제공하는 모습은, 입력된 영상에서 1개의 마커가 검출되면 상기 검출 된 마커위에 미디어 플레이어를 증강시키고, 상기 마커의 패턴에 해당하는 음원의 영상을 상기 증강된 미디어 플레이어를 통해 사용자에게 제공하며(601), 다수의 마커가 검출 될 경우에는 각 마커위에 미디어 플레이어를 증강시키고, 각 마커별 패턴에 해당하는 음원의 영상들을 증강된 다수의 미디어 플레이어를 통해 사용자에게 제공(602~604)하는 것을 캡쳐한 사진이다.
도 7은 본 발명의 일실시예에 따라 증강되는 미디어 콘텐츠 편집기를 통해 미디어 콘텐츠를 융합하는 모습을 설명하기 위한 도면이다. 도 7에 도시한 바와 같이, 본 발명의 일실시예에 따라 증강되는 미디어 콘텐츠 편집기를 통해 미디어 콘텐츠를 융합하는 모습은, 사용자가 제공되는 음원의 영상의 융합을 원할 경우 객체 모드를 선택하여 객체를 융합하는 과정을 캡쳐한 사진으로, 미디어 플레이어 대신 미디어 콘텐츠 편집기가 마커 위에 증강 되게 하고(701), 상기 증강된 미디어 콘텐츠 편집기를 이용하여 사용자가 영상을 편집한다.(702) 사용자는 상기 영상 편집 작업이 완료되면 영상 융합 버튼을 눌러 객체 융합 작업을 수행한다. 이후 상기 융합된 컨텐츠를 다운로드할 것인지 증강시켜 제공받을 것인지 선택하게 되고(703), 상기 융합된 컨텐츠의 제공 방식이 다운로드 받는 방식일 경우 사용자의 스마트폰으로 직접 전송되며, 증강객체로 받기를 원할 경우 해당 융합 객체중 주객체의 마커위에 증강되어 사용자에게 제공되는 것이다.
상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.
210...마커
220...스마트폰(Smart Phone)
230...웹서버(Web Server)
240...인코딩서버(Encoding Server)
250...증강현실시스템모듈
260...미디어콘텐츠편집모듈
270...마커정보데이터베이스
280...증강객체데이터베이스

Claims (5)

  1. 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템에 있어서,
    음반 CD 및 포스터에 부착된 마커(210), 상기 마커(210)를 촬영하여 상기 영상을 Web Server로 전송하고, 상기 마커(210)의 미디어 콘텐츠 및 융합된 증강객체를 전송받아 사용자에게 제공하는 Smart Phone(220), 상기 Smart Phone(220)에서 영상을 전송받아 마커(210)에 해당하는 미디어 콘텐츠와 융합된 미디어 콘텐츠를 Smart Phone(220)로 전송하고, 영상 편집하는 미디어 콘텐츠들의 정보를 Encoding Server(240)로 전송하는 Web Server(230), 상기 Web Server(230)로부터 영상 편집하는 미디어 콘텐츠들의 정보를 전송받아 편집 작업을 수행하는 Encoding Server(240), 상기 마커의 정보를 가지고 있는 마커 정보데이터베이스(260), 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강 객체 데이터베이스(260)를 포함하며,
    상기 Web Server(230)는 상기 Smart Phone(220)에서 전송된 영상에서 상기 마커(210)를 검출하여 해당 미디어 콘텐츠를 증강하고 사용자가 증강 객체의 융합 작업을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 미디어 콘텐츠의 편집 작업을 수행하게 하는 증강현실 시스템 모듈(250)과, 상기 증강현실 시스템 모듈(250)을 통해 증강되어 사용자로부터 증강객체 융합을 위한 미디어 콘텐츠 편집 명령을 받아 Encoding Server(240)을 통해 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 모듈(250)을 구비하는 것을 특징으로 하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템.
  2. 제 1항에 있어서,
    상기 증강현실 시스템 모듈(250)은 사용자가 증강객체 융합을 원하지 않을 경우에는 검출된 마커의 ID에 해당하는 미디어 컨텐츠를 증강 객체 데이터베이스(260)에서 확인하고 상기 확인된 미디어 콘텐츠를 증강하며, 사용자가 증강개체 융합을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강객체로 하여 사용자에게 제공하는 것을 특징으로 하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템.
  3. 제 1항에 있어서,
    미디어 콘텐츠 편집 모듈(260)은 상기 검출된 마커의 ID에 해당하는 미디어 콘텐츠를 사용자가 융합할 수 있도록 미디어 콘텐츠의 포지션 설정, 영상 합성과 같은 영상 편집 명령을 사용자에게 제공하며, 사용자가 수행한 영상 편집 명령과 해당 미디어 콘텐츠들의 정보를 Web Server(230)을 통해 Encoding Server(240)로 전송하게 하는 것을 특징으로 하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템.
  4. 음반 CD 및 포스터에 부착된 마커(210), 상기 마커(210)를 촬영하여 상기 영상을 Web Server로 전송하고, 상기 마커(210)의 미디어 콘텐츠 및 융합된 증강객체를 전송받아 사용자에게 제공하는 Smart Phone(220), 상기 Smart Phone(220)에서 영상을 전송받아 마커(210)에 해당하는 미디어 콘텐츠와 융합된 미디어 콘텐츠를 Smart Phone(220)로 전송하고, 영상 편집하는 미디어 콘텐츠들의 정보를 Encoding Server(240)로 전송하는 Web Server(230), 상기 Web Server(230)로부터 영상 편집하는 미디어 콘텐츠들의 정보를 전송받아 편집 작업을 수행하는 Encoding Server(240), 상기 마커의 정보를 가지고 있는 마커 정보데이터베이스(260), 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강 객체 데이터베이스(260)를 포함하며, 상기 Web Server(230)는 상기 Smart Phone(220)에서 전송된 영상에서 상기 마커(210)를 검출하여 해당 미디어 콘텐츠를 증강하고 사용자가 증강 객체의 융합 작업을 원할 경우 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 미디어 콘텐츠의 편집 작업을 수행하게 하는 증강현실 시스템 모듈(250)과, 상기 증강현실 시스템 모듈(250)을 통해 증강되어 사용자로부터 증강객체 융합을 위한 미디어 콘텐츠 편집 명령을 받아 Encoding Server(240)을 통해 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 모듈(250)을 구비하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템을 이용한 증강 객체 융합 방법에 있어서,
    상기 Smart Phone(220)을 통해 음반 CD 및 포스터 위의 마커(210)를 촬영하고 상기 촬영된 영상을 Internet을 통해 Web Server(230)로 전송하는 영상 입력 단계(S301);
    상기 전송된 영상에서 고정된 임계값을 사용하지 않고 슬라이딩 윈도우를 이용하는 적응적 임계값(Adaptive threshold)을 통해 영상을 이진화하여 전처리 작업을 수행하는 영상 전처리 단계(S302);
    상기 전처리 된 영상에서 객체영역의 Hue 값 분포를 이용하여 변화될 위치를 예측, 탐지한 후 중심을 찾아 객체를 추적하는 CAMShift(Continuously Adaptive Mean Shift)알고리즘을 사용하여 마커 후보 영역을 추출하고, 경계 추적 알고리즘을 이용하여 윤곽 정보를 검출하고 검출된 윤곽 정보들에서 피타고라스의 정리를 통해 모서리 점을 추출하여 이를 기반으로 마커의 ROI(430)를 검출하는 마커 인식 단계(S303);
    상기 검출된 마커의 ROI(430)에 템플릿 매칭 기법을 통해 정합을 하며 정합과정 중에 발생하는 중심위치 및 크기 편차를 줄이기 위해 마커 정보 데이터베이스(270)안의 마커(210)의 패턴 정보에 와핑 변환 행렬과 와핑에 의한 크기 차이율(Scale difference ratio, Sdiff)을 적용하여 마커(210)를 검출하고, 상기 검출된 마커(210)의 위치 및 기준 마커(210)의 ID를 확인하는 마커 검출 단계(S304);
    사용자가 상기 마커 검출 단계(S304)에서 검출된 마커의 ID에 해당하는 객체를 융합할 것인지를 확인하는 사용자 선택 단계(S305);
    사용자 선택 단계(S305)에서 사용자가 증강 객체 융합을 선택하면 상기 미디어 콘텐츠 편집 모듈(260)을 증강객체로 변환하고 상기 마커 검출 단계(S304)에서 검출된 마커위에 변환된 미디어 콘텐츠 편집 모듈(260)을 증강하여 사용자가 영상 편집 작업을 수행할 수 있게 하는 미디어 콘텐츠 편집 모듈 증강 단계(S306);
    미디어 콘텐츠의 편집을 위한 장면 전환 검출 방법을 적용하기 위해서 공간영역 내에서의 예측을 이용하여 인트라 프레임을 부호화하는 인트라 예측 방법을 적용한 H.264/AVC 부호화작업을 수행하는 H.264/AVC 부호화 단계(S307);
    상기 H.264/AVC 부호화 단계(S307)를 통해 미디어 콘텐츠를 부호화하면 장면전환이 발생할 경우 예측 모드(Prediction Mode)의 분포에 큰 변화가 있는 것을 이용하는 Intro 예측 모드 방법을 통해 장면 전환을 검출하는 장면 전환 검출 단계(S308);
    상기 장면 전환 검출 단계(S308)를 통해 장면 전환 지점을 검출하면 상기 마커(210)위에 증강된 미디어 콘텐츠 편집 모듈(260)을 통해 동영상 편집 명령을 받아 Direct Show 스트리밍 기술이 적용된 Encoding Server(240)을 통해 영상을 인코딩하여 미디어 콘텐츠를 편집하는 미디어 콘텐츠 편집 단계(S309);
    상기 미디어 콘텐츠 편집 단계(S309)에서 미디어 콘텐츠를 편집하면 상기 편집된 미디어 콘텐츠를 사용자의 Smart Phone(220)으로 전송할지 확인하는 콘텐츠 전송 확인 단계(S310);
    상기 콘텐츠 전송 확인 단계(S310)에서 전송을 확인하였을 경우 상기 미디어 콘텐츠 편집 단계(S308)에서 편집된 미디어 콘텐츠를 Encoding Server(208)에서 Smart Phone(220)에서 다운받을 수 있도록 전송하는 편집 영상 전송 단계(S311)를 포함하여 이루어는 것을 특징으로 하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 방법.
  5. 제 4항에 있어서,
    상기 사용자 선택 단계(S305)에서 객체 융합을 선택하지 않았을 경우에는 상기 마커(210)에 해당하는 미디어 컨텐츠를 증강 객체 데이터베이스(280)에서 확인하여 증강 객체로 설정하고, 객체 융합을 선택하였을 경우 상기 콘텐츠 제공 전송 확인 단계(S310)에서 사용자가 전송을 원하지 않을 경우 상기 미디어 콘텐츠 편집 단계(S309)에서 편집된 미디어 콘텐츠 증강객체로 설정하고, 상기 마커(210)의 모서리점의 좌표를 통해 좌표 변환 행렬을 생성하고 와핑에 의한 크기 차이율, 와핑에 와핑에 의한 크기 오류 보정 값을 계산하여 이를 기반으로 마커(210)위에 상기 설정된 증강 객체를 증강하여 사용자에게 제공하는 객체 증강 단계(S312)를 더 포함하여 이루어지는 것을 특징으로 하는 미디어 콘텐츠 편집을 이용한 증강 객체 융합 방법.
KR1020120029129A 2012-03-22 2012-03-22 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법 KR20130107404A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120029129A KR20130107404A (ko) 2012-03-22 2012-03-22 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120029129A KR20130107404A (ko) 2012-03-22 2012-03-22 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20130107404A true KR20130107404A (ko) 2013-10-02

Family

ID=49630710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120029129A KR20130107404A (ko) 2012-03-22 2012-03-22 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20130107404A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564045A (zh) * 2018-04-17 2018-09-21 广州腾讯科技有限公司 增强现实的数据处理方法、装置、存储介质和计算机设备
KR101979285B1 (ko) * 2018-01-29 2019-05-15 최예은 프로그래밍 학습 및 창의력 향상 교육 시스템
KR102091217B1 (ko) 2018-12-12 2020-03-19 주식회사 하이쓰리디 모바일 증강현실 영상 편집 시스템
KR20200075479A (ko) 2018-12-18 2020-06-26 주식회사 하이쓰리디 모바일 증강현실 영상 편집 지원 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979285B1 (ko) * 2018-01-29 2019-05-15 최예은 프로그래밍 학습 및 창의력 향상 교육 시스템
CN108564045A (zh) * 2018-04-17 2018-09-21 广州腾讯科技有限公司 增强现实的数据处理方法、装置、存储介质和计算机设备
CN108564045B (zh) * 2018-04-17 2020-12-04 广州腾讯科技有限公司 增强现实的数据处理方法、装置、存储介质和计算机设备
KR102091217B1 (ko) 2018-12-12 2020-03-19 주식회사 하이쓰리디 모바일 증강현실 영상 편집 시스템
US10643662B1 (en) 2018-12-12 2020-05-05 Hy3D Co., Ltd. Mobile augmented reality video editing system
KR20200075479A (ko) 2018-12-18 2020-06-26 주식회사 하이쓰리디 모바일 증강현실 영상 편집 지원 시스템

Similar Documents

Publication Publication Date Title
US20220044019A1 (en) Augmented reality smartglasses for use at cultural sites
US10778951B2 (en) Camerawork generating method and video processing device
US8924583B2 (en) Method, apparatus and system for viewing content on a client device
US9118845B2 (en) Method, apparatus and handset
US20180091704A1 (en) Video synchronization apparatus, and video synchronization method
CN110865708B (zh) 虚拟内容载体的交互方法、介质、装置和计算设备
CN110286773A (zh) 基于增强现实的信息提供方法、装置、设备及存储介质
US20150193970A1 (en) Video playing method and system based on augmented reality technology and mobile terminal
WO2013061505A1 (en) Image processing apparatus, method and computer program product
GB2489674A (en) 3D image generation
CN102467661A (zh) 多媒体设备及其控制方法
CN110868554B (zh) 直播中实时换脸的方法、装置、设备及存储介质
JP7441926B2 (ja) 映像コーディングを行うコンピュータプログラム
CN103929669A (zh) 可交互视频生成器、播放器及其生成方法、播放方法
KR20120071444A (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
KR20130107404A (ko) 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법
KR20120099814A (ko) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
JP4268667B2 (ja) 音声情報記録装置
CN111309212A (zh) 一种分屏对比的试衣方法、装置、设备及存储介质
CN113965665A (zh) 一种用于确定虚拟直播图像的方法与设备
CN108848404B (zh) 移动终端的二维码信息共享系统
KR20140136088A (ko) 증강현실을 이용한 컨텐츠 제공 방법, 이를 위한 시스템 및 장치
CN113014960A (zh) 一种在线制作视频的方法、装置及存储介质
KR102009575B1 (ko) 스터디 테마카페 제공 방법, 스터디 테마카페 제공 프로그램을 기록한 컴퓨터로 판독가능한 기록매체, 이를 탑재한 모듈 및 시스템
CN114143568B (zh) 一种用于确定增强现实直播图像的方法与设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application