KR20200075479A - 모바일 증강현실 영상 편집 지원 시스템 - Google Patents

모바일 증강현실 영상 편집 지원 시스템 Download PDF

Info

Publication number
KR20200075479A
KR20200075479A KR1020180164215A KR20180164215A KR20200075479A KR 20200075479 A KR20200075479 A KR 20200075479A KR 1020180164215 A KR1020180164215 A KR 1020180164215A KR 20180164215 A KR20180164215 A KR 20180164215A KR 20200075479 A KR20200075479 A KR 20200075479A
Authority
KR
South Korea
Prior art keywords
augmented reality
image
representative
user
machine learning
Prior art date
Application number
KR1020180164215A
Other languages
English (en)
Other versions
KR102201285B1 (ko
Inventor
이준호
고홍식
이정욱
양윤영
박상연
이세윤
Original Assignee
주식회사 하이쓰리디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이쓰리디 filed Critical 주식회사 하이쓰리디
Priority to KR1020180164215A priority Critical patent/KR102201285B1/ko
Publication of KR20200075479A publication Critical patent/KR20200075479A/ko
Application granted granted Critical
Publication of KR102201285B1 publication Critical patent/KR102201285B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Abstract

본 발명은 모바일 증강현실 영상 편집을 지원하기 위한 시스템에 관한 것으로, 영상 입력부를 통해 획득되는 현실 이미지 내에서 추출된 객체 정보를 서비스 이용자의 모바일 디바이스로부터 수신하기 위한 객체 정보 수신부와; 기계 학습된 각 객체들의 특이점 정보에 객체를 대표하는 입체 형상의 대표 객체가 하나 이상 매칭되어 있는 기계학습 객체 DB와; 상기 수신된 객체 정보의 특이점 정보에 기초하여 상기 수신된 객체를 인식하고 인식된 객체를 대표하는 입체 형상의 대표 객체를 상기 기계학습 객체 DB에서 추출하기 위한 대표 객체 추출부와; 추출된 입체 형상의 대표 객체를 상기 모바일 디바이스에 설치된 이용자측 모바일 증강현실 영상 편집 시스템으로 전송하기 위한 대표 객체 전송부;를 포함함을 특징으로 한다.

Description

모바일 증강현실 영상 편집 지원 시스템{SYSTEM FOR EDITING AN AUGMENTED REALITY IMAGE}
본 발명은 증강현실 구현 시스템에 관한 것으로, 특히 모바일 증강현실 영상 편집을 지원하기 위한 시스템에 관한 것이다.
모바일 시장이 활성화되고 컴퓨터 비전, 센서, 영상처리 등의 기술이 발전하면서 증강현실과 가상현실의 기술력 역시 향상되고 있으며, 이 기술들을 이용한 어플리케이션의 보급 역시 가속화되고 있다. 또한 컴퓨터의 데이터 처리속도가 향상되면서 기계학습(머신러닝; Machine Learning)을 기반으로 하는 제품 및 소프트웨어가 점차 확대됨에 따라 이미지 인식을 바탕으로 하는 제품과 서비스도 양산되고 있다.
그러나 기존의 증강현실 기술은 실제 환경을 촬영하고 가상의 공간을 덧씌운 뒤 해당 공간에 가상의 객체를 합성하는 방식으로 구현된다. 즉, 현실 공간을 촬영한 이미지 위에 대체 이미지를 덧입히는 방식이기 때문에 촬영된 특정 객체 혹은 형상을 편집하는데 있어 고도의 스킬이 요구될 뿐만 아니라, 편집시간 역시 장시간이 소요됨은 물론, 경우에 따라 크로마키 처리 등을 위해 별도의 시설물 등이 요구된다. 또한 증강현실 영상을 편집함에 있어 작업자가 영상 내 편집하고자 하는 객체 혹은 형상을 선택하여 크기 조절, 경계 설정과 같은 조작 행위를 반복하여야 하는 불편함을 감수해야 한다.
따라서 증강현실 영상을 편집함에 있어 비효율적인 문제들을 제거하여 설령 영상 편집 비전문가라 하더라도 보다 편리하고 신속하게 자신이 원하는 영상을 획득할 수 있도록 설계된 새로운 모바일 타입의 영상 편집 도구 혹은 기술이 필요하다.
대한민국 공개특허공보 10-2013-0107404호 대한민국 등록특허공보 10-1788046호
이에 본 발명은 상술한 문제점을 해결하기 위해 창안된 발명으로서, 본 발명의 주요 목적은 영상 편집 비전문가라 하더라도 보다 편리하고 신속하게 자신이 원하는 영상을 모바일에서 편집할 수 있도록 지원하는 모바일 증강현실 영상 편집 지원 시스템을 제공함에 있다.
또 다른 본 발명의 목적은 영상 내의 객체를 사실적이고 객관적으로 가장 잘 묘사하고 있거나 표준화되어 있는 입체 형상의 객체로 대체하여 증강현실을 구현할 수 있도록 지원하는 모바일 증강현실 영상 편집 지원 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 모바일 증강현실 영상 편집 지원 시스템은 서비스 서버측에 구축되어 서비스 이용자의 모바일 디바이스에 설치된 모바일 증강현실 영상 편집 지원 시스템과 연동 가능한 시스템으로서,
영상 입력부를 통해 획득되는 현실 이미지 내에서 추출된 객체 정보를 서비스 이용자의 모바일 디바이스로부터 수신하기 위한 객체 정보 수신부와;
기계 학습된 각 객체들의 특이점 정보에 객체를 대표하는 입체 형상의 대표 객체 하나 이상이 매칭되어 있는 기계학습 객체 DB와;
상기 수신된 객체 정보의 특이점 정보에 기초하여 상기 수신된 객체를 인식하고 인식된 객체를 대표하는 입체 형상의 대표 객체를 상기 기계학습 객체 DB에서 추출하기 위한 대표 객체 추출부와;
추출된 입체 형상의 대표 객체를 상기 모바일 디바이스에 설치된 이용자측 모바일 증강현실 영상 편집 시스템으로 전송하기 위한 대표 객체 전송부;를 포함함을 특징으로 한다.
더 나아가 상술한 모바일 증강현실 영상 편집 지원 시스템은,
상기 기계학습 객체 DB를 학습 갱신하기 위한 객체 기계 학습부를 더 포함하여 기계학습 객체 DB를 최신 정보로 갱신함을 또 다른 특징으로 한다.
또한 상기 대표 객체 추출부는 상기 수신된 객체 정보가 객체를 나타내는 형상일 경우 그 형상의 특이점을 검출하고, 검출된 특이점과 일치율이 가장 높은 객체를 상기 기계학습 객체 DB에서 찾아 객체를 인식함을 또 다른 특징으로 하며,
상기 대표 객체 추출부는 상기 인식된 객체를 대표하는 입체 형상의 대표 객체가 복수일 경우 상기 이용자측 모바일 증강현실 영상 편집 시스템으로 하나를 선택 요청함을 특징으로 한다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명은 모바일 디바이스에서 획득된 현실 이미지를 간단한 조작만으로도 편리하고 신속하게 편집할 수 있도록 지원하는 효과가 있으며,
더 나아가 본 발명은 모바일 디바이스에서 획득된 현실 이미지의 객체 중 이용자가 선택한 객체의 특성을 자동 인식해 표준화된 혹은 공증된 혹은 사실적인 입체 형상의 대표 객체로 대체하여 줌으로써 새로운 형태의 증강현실 영상을 얻을 수 있는 효과가 있다.
또한 본 발명의 실시예에 따른 시스템을 이용하게 되면, 현실의 이미지에 표준화된 입체 형상의 대표 객체가 삽입된 영상을 얻을 수 있으므로, 현실 공간에 실제 존재하는 객체를 자동 인식해 그 인식 객체만을 새로이 리모델링하였을 경우 느껴지는 현장감, 입체감, 사실감을 미리 체험해 볼 수 있는 장점이 있으며, 입체 형상의 대표 객체 특성에 따라서 가장 사실적이거나, 심미적이거나 환상적인 편집 영상을 얻을 수 있도록 지원할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 모바일 증강현실 영상 편집 지원 시스템의 주변 구성 예시도.
도 2는 도 1 중 모바일 디바이스에 설치되는 이용자측 모바일 증강현실 영상 편집 시스템의 구성 예시도.
도 3은 본 발명의 실시예에 따른 모바일 증강현실 영상 편집 지원 시스템의 구성 예시도.
도 4는 본 발명의 실시예를 설명하기 위한 모바일 증강현실 영상 편집 흐름도.
도 5는 본 발명의 실시예를 설명하기 위한 지면과 공간의 분리 인식 흐름 예시도.
도 6은 본 발명의 실시예를 설명하기 위한 현실 이미지 예시도.
도 7은 본 발명의 실시예를 설명하기 위한 객체 삭제 처리 전의 화면과 처리 후의 화면 비교 예시도.
도 8은 본 발명의 실시예를 설명하기 위한 객체 이동 처리 전의 화면과 처리 후의 화면 비교 예시도.
도 9는 본 발명의 실시예를 설명하기 위한 객체 합성 처리 전의 화면과 처리 후의 화면 비교 예시도.
이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 모바일 증강현실 영상 편집 지원 시스템(200)의 주변 구성도를 예시한 것으로, 본 발명의 실시예에 따른 모바일 증강현실 영상 편집 지원 시스템(200)은 이용자의 모바일 디바이스에 다운로드되어 실행 가능한 이용자측 모바일 증강현실 영상 편집 시스템(100)과 연동 가능한 서비스 서버측에 구축 가능하다.
이용자측 모바일 증강현실 영상 편집 시스템(100)은 모바일 디바이스에 구비된 하나 이상의 카메라, 혹은 3D 센서와 같은 이미지 센서를 통해 획득된 현실 이미지에 대하여 디바이스 이용자의 요청에 따라 이미지 내 객체의 삭제, 객체의 이동, 객체의 합성, 입체 형상의 객체 합성을 처리하여 화면 표시하는 역할을 수행한다.
한편, 서비스 서버측에 구축 가능한 모바일 증강현실 영상 편집 지원 시스템(200)은 이용자측 모바일 증강현실 영상 편집 시스템(100)과 연동하여 디바이스 이용자(즉, 서비스 이용자)가 제공 요청한 서비스를 제공한다. 이러한 서비스의 하나로서, 모바일 증강현실 영상 편집 지원 시스템(200)은 이용자측 모바일 증강현실 영상 편집 시스템(100)으로부터 전송된 객체의 특이점을 검출하여 이를 기계학습 객체 DB(도 3의 250)와 비교하여 전송된 객체를 인식하고 인식된 객체를 대표하는 하나 이상의 입체 형상의 객체를 기계학습 객체 DB(250)에서 독출하여 이용자측 모바일 증강현실 영상 편집 시스템(100)으로 전송한다. 전송되는 입체 형상 객체는 이용자의 모바일 디바이스에서 획득되는 현실 이미지상에 합성되어 증강현실 영상으로 표출된다.
이하 도 2를 참조하여 이용자측 모바일 증강현실 영상 편집 시스템의 구성을 부연 설명하기로 한다. 하기에서 설명될 이용자측 모바일 증강현실 영상 편집 시스템(100)은 이용자 모바일 디바이스의 메모리에 다운로드되어 실행 가능한 앱의 형태로 구현 가능하며, 앱을 구성하는 각 부분은 특정 기능을 수행하기 위한 프로그램 코드 데이터의 집합체로서 상호 연동하여 모바일 증강현실 영상의 편집이 가능하도록 지원한다.
도 2는 도 1 중 모바일 디바이스에 설치되는 이용자측 모바일 증강현실 영상 편집 시스템(100)의 구성도를 예시한 것이다. 도시된 바와 같이 이용자측 모바일 증강현실 영상 편집 시스템(100)은,
이미지 센서(100-1)를 통해 현실 이미지를 입력받는 현실 이미지 입력부(105)와,
상기 현실 이미지 내에서 지면과 공간을 분리 인식하기 위한 공간 인식부(110)와,
상기 현실 이미지 내에서 객체를 추출하여 표시하기 위한 객체 추출 표시부(115)와,
이용자에게 영상 편집 도구를 표시해 주기 위한 편집 도구 표시부(125)와,
상기 추출 표시된 객체 중 이용자가 삭제 터치한 객체를 상기 현실 이미지에서 삭제 처리하고 그 삭제 처리 영역을 구성하는 각 수평 라인에 대해서는 인접 공간 동일 높이의 픽셀값으로 치환하여 보정하는 영상 처리부(120)와,
상기 영상 처리부(120)에 의해 영상 보정된 현실 이미지를 표시 출력하는 화면 표시부(130)를 포함함을 특징으로 한다.
상기 용어 중 '삭제 터치한 객체'란 이용자가 영상 편집 도구를 통해 '삭제' 명령을 입력한 후 터치한 객체로 해석하기로 하고, 하기에서 사용되는 '객체 이동 터치한 객체'란 이용자가 영상 편집 도구를 통해 '객체 이동' 명령을 입력한 후 터치한 객체로 해석하기로 한다. 또한 '저장 터치한 객체'란 이용자가 영상 편집 도구를 통해 '객체 저장' 명령을 입력한 후 터치한 객체로 해석하기로 한다. 이와 같이 영상 편집 도구를 통해 명령어를 입력(엄밀하게 말하면 터치에 해당함)한 후 객체를 터치하면 해당 터치된 객체는 입력 명령어에 따라 후처리된다.
도 2에 도시된 구성 중 영상 처리부(120)는 상기 추출 표시된 객체 중 이용자가 객체 이동 터치한 객체를 상기 현실 이미지에서 삭제 처리하고 그 삭제 처리 영역을 구성하는 각 수평 라인에 대해서는 인접 공간 동일 높이의 픽셀값으로 치환하여 보정하고, 객체 이동 요청한 지점에 위치하는 픽셀의 3차원 좌표값을 이용해 상기 객체 이동 터치한 객체의 스케일을 조정해 객체 이동시킨 보정 영상을 생성함을 또 다른 특징으로 한다.
상술한 시스템 구성 외에 이용자측 모바일 증강현실 영상 편집 시스템(100)은 상기 추출 표시된 객체 중 이용자가 저장 터치한 객체를 입력 파일명에 매칭하여 저장부(100-3)에 저장하는 객체 저장부(150)를 더 포함할 수 있다. 이러한 경우 상기 영상 처리부(120)는 이용자에 의해 상기 저장부(100-3)에서 선택된 객체를 상기 현실 이미지에 합성하되, 객체 합성 요청한 지점에 위치하는 픽셀의 3차원 좌표값을 이용해 상기 선택된 객체의 스케일을 조정해 객체 합성한 보정 영상을 생성한다.
부가적으로 모바일 증강현실 영상 편집 시스템(100)은 상술한 구성 외에 상기 추출 표시된 객체 중 이용자가 증강 현실 터치한 객체를 통신망을 통해 연동 가능한 외부장치, 즉 모바일 증강현실 영상 편집 지원 시스템(200)으로 전송하기 위한 객체 전송부(160)를 더 포함할 수 있다. 이러한 경우 후술하겠지만 영상 처리부(120)는 현실 이미지상에 전송받은 입체 형상의 대표 객체를 합성하여 보정하되, 상기 증강 현실 터치된 객체의 화면 대비 스케일 값에 따라 스케일 조정된 보정 영상을 생성할 수 있다.
더 나아가 영상 처리부(120)는 상기 영상 편집 도구를 통한 이용자 명령에 따라 상기 입체 형상의 객체 크기, 위치조정, 컬러 조정된 보정 영상을 생성할 수도 있다.
도 2에서 미설명된 구성에 대해 부연 설명하면, 영상 입력부에 해당하는 이미지 센서(100-1)는 현실 공간의 영상을 스캔 및 촬영하여 현실 이미지를 생성한다. 이러한 이미지 센서(100-1)는 이미지를 구성하는 각 픽셀에 대응하는 3차원 좌표를 포함한다. 본 발명의 실시예에서는 3D 센서인 이미지 센서(100-1)를 도시하였으나 이미지 내 각 픽셀에 대하여 3D 좌표를 획득할 수 있는 하나 이상의 카메라를 영상 입력부로 사용할 수도 있다.
UI(User Interface)(100-2)는 이용자 명령을 입력하기 위한 조작부의 기능과 각종 이미지, 동작상태를 표시하기 위한 표시부의 기능을 갖는 터치 스크린으로 구현 가능하다.
저장부(100-3)는 모바일 디바이스를 구동하기 위한 복수의 응용 프로그램 데이터는 물론 이용자에 의해 선택된 객체, 입체 형상 객체, 현실 이미지 등을 저장하며, 통신부(100-4)는 이동 통신망에 접속하고 근거리 통신을 수행하기 위한 기술적 구성을 포함하여 서비스 서버에 접속하거나 주변 기기와 데이터를 송수신한다.
센서부(100-5)는 가속도 센서, 자이로 센서 등을 포함하며 본 발명의 실시예에서는 지면과 공간을 분리 인식하는데 활용될 수 있다.
도 3은 본 발명의 실시예에 따른 모바일 증강현실 영상 편집 지원 시스템(200)의 구성도를 예시한 것이다.
도 3에 도시한 바와 같이 모바일 증강현실 영상 편집 지원 시스템(200)은,
영상 입력부에 해당하는 이미지 센서(100-1)를 통해 획득되는 현실 이미지 내에서 추출된 객체 정보를 서비스 이용자의 모바일 디바이스로부터 수신하기 위한 객체 정보 수신부(210)와,
기계 학습된 각 객체들의 특이점 정보에 객체를 대표하는 입체 형상의 대표 객체가 하나 이상 매칭되어 있는 기계학습 객체 DB(250)와,
상기 수신된 객체 정보의 특이점 정보에 기초하여 상기 수신된 객체를 인식하고 인식된 객체를 대표하는 입체 형상의 대표 객체를 상기 기계학습 객체 DB(250)에서 추출하기 위한 대표 객체 추출부(220)와,
추출된 입체 형상의 대표 객체를 상기 모바일 디바이스에 설치된 이용자측 모바일 증강현실 영상 편집 시스템(100)으로 전송하기 위한 대표 객체 전송부(230)를 포함함을 특징으로 한다.
경우에 따라 상기 모바일 증강현실 영상 편집 지원 시스템(200)은 상기 기계학습 객체 DB(250)를 학습 갱신하기 위한 객체 기계 학습부(240)를 더 포함할 수도 있다.
상술한 모바일 증강현실 영상 편집 지원 시스템(200)의 대표 객체 추출부(220)는 상기 수신된 객체 정보가 객체를 나타내는 형상일 경우 그 형상의 특이점을 검출하고, 검출된 특이점과 일치율이 가장 높은 객체를 상기 기계학습 객체 DB(250)에서 찾아 객체를 인식할 수 있다. 만약 수신된 객체 정보가 객체를 나타내는 특이점일 경우 상기 대표 객체 추출부(220)는 그 특이점과 일치율이 가장 높은 객체를 상기 기계학습 객체 DB(250)에서 찾아 객체를 인식할 수도 있다.
더 나아가 상기 대표 객체 추출부(220)는 상기 인식된 객체를 대표하는 입체 형상의 대표 객체가 복수일 경우 이용자측 모바일 증강현실 영상 편집 시스템(100)으로 하나의 선택을 요청할 수 있다. 이러한 경우 복수의 입체 형상 대표 객체를 전송하여 선택의 편의를 제공할 수 있다.
이하 상술한 모바일 증강현실 영상 편집 시스템(100)과 모바일 증강현실 영상 편집 지원 시스템(200)의 동작을 도 4 내지 도 9를 참조하여 보다 상세히 설명하기로 한다.
도 4는 모바일 증강현실 영상 편집 흐름도를 도시한 것이며, 도 5는 지면과 공간의 분리 인식 흐름도를 예시한 것이며, 도 6은 현실 이미지를 예시한 것이다. 그리고 도 7은 객체 삭제 처리 전의 화면과 처리 후의 화면 비교 예시도를, 도 8은 객체 이동 처리 전의 화면과 처리 후의 화면 비교 예시도를, 도 9는 객체 합성 처리 전의 화면과 처리 후의 화면 비교 예시도를 각각 예시한 것이다.
도 4를 참조하면, 우선 자신의 모바일 디바이스를 이용하여 모바일 증강현실 영상을 편집하고자 하는 자는 이용자측 모바일 증강현실 영상 편집 시스템(100)을 다운받아 실행시킨다.
모바일 증강현실 영상 편집 시스템(100)이 실행되면 이미지 센서(100-1)는 현실 공간의 영상을 촬영하여 현실 이미지를 출력함으로써, 현실 이미지는 이용자측 모바일 증강현실 영상 편집 시스템(100)의 현실 이미지 입력부(105)에 입력(S10단계)된다. 이미지 센서(100-1)를 통해 생성된 현실 이미지의 예가 도 6의 (a)에 도시되어 있다.
현실 이미지 입력부(105)를 통해 현실 이미지를 전달받은 공간 인식부(110)는 지면과 공간 분리 인식 루틴을 실행하여 현실 이미지 내에서 지면과 공간을 분리 인식한다. 이를 도 5를 참조하여 부연 설명하면,
공간 인식부(110)는 우선 현실 이미지에서 에지(edge)를 검출(S70단계)한다. 소정의 이미지에서 객체의 에지를 검출하는 방법은 영상신호 처리분야에서 널리 알려진 기술이므로 이에 대한 상세 설명은 생략하기로 한다. 현실 이미지에서 에지 검출 기법을 적용하면 이미지 내에서 객체를 추출할 수 있으며, 도로, 사물 등의 경계를 구분할 수 있다.
현실 이미지에서 에지 검출이 이루어지면, 공간 인식부(110)는 모바일 디바이스 위치를 기준(기준점에 해당함)으로 에지를 구성하는 특이점 간의 상대좌표를 생성(S75단계)한다. 이어 상기 기준점 및 생성된 상대좌표 중 2개를 이용해 평면을 생성(S80단계)하고 생성되는 평면 중 지면과 평행한 평면을 지면으로 인식(S85단계)하는 방식으로 지면과 공간을 분리 인식한다.
한편 객체 추출 표시부(115)는 지면과 공간이 분리 인식되는 현실 이미지 내에서 에지 검출에 의해 형상화될 수 있는 객체를 추출하여 UI(100-2)상에 표시(S20단계)해 준다. 이때 추출된 객체의 가시성을 높여 주기 위해 도 6의 (b)에 도시한 바와 같이 추출 객체의 에지를 볼딩 처리하거나 객체 영역에 대한 가시성 켜기 처리하여 줄 수 있다.
이와 같이 현실 이미지 내에서 객체가 추출되어 표시되면, 이용자는 영상 편집을 위해 영상 편집 도구를 호출하고, 편집 도구 표시부는 이에 응답해 영상 편집 도구를 표시(S25단계)해 준다. 영상 편집 도구에는 객체를 삭제하기 위한 '삭제', 객체를 이동시키기 위한 '객체 이동', 객체를 저장하기 위한 '저장' 명령어가 포함된다. 이는 예시에 불과하며 영상 편집을 위한 각종 도구가 더 포함될 수 있다.
영상 편집 도구가 표시되면, 이용자는 자신이 원하는 명령어를 입력(혹은 터치)한다. 예를 들어 객체를 삭제하고자 한다면 '삭제'를 입력한 후 삭제하고자 하는 객체를 터치한다. 이와 같이 영상 편집 도구를 통해 편집 명령어가 입력되고 이어서 해당 객체의 터치가 있으면(S30단계), 영상 처리부(120)는 도 6의 (b)에 도시한 바와 같이 현실 이미지에서 추출 표시된 객체 중 이용자가 삭제 터치한 객체를 도 7의 (a)에서와 같이 현실 이미지에서 삭제 처리(S35단계)하고 그 삭제 처리 영역을 구성하는 각 수평 라인에 대해서는 인접 공간 동일 높이(지면을 기준으로)의 픽셀값으로 치환하여 보정(S40단계)한다.
이와 같이 영상 처리부(120)에 의해 이용자가 편집 요청한 객체의 처리가 완료되면 화면 표시부(130)는 영상 처리부(120)에 의해 영상 보정된 현실 이미지를 도 7의 (b)에서와 같이 객체 영역 가시성 끄기로 얻은 현실 이미지를 표시 출력(S45단계)한다.
도 7의 (b)와 도 6의 (a)를 대비해 보면, 이용자는 자신의 모바일 디바이스에서 영상 편집 도구를 호출하여 터치 방식으로 삭제명령을 입력하고, 이어서 삭제하고자 하는 객체를 선택하는 조작만으로 도 6의 (a)에 도시된 현실 이미지를 도 7의 (b)와 같이 편리하게 편집할 수 있다.
또한 객체가 삭제되는 영역 내의 수평 라인에는 객체 영역의 인접 공간에 위치하는 동일 높이(지면을 기준으로)의 픽셀값이 치환되어 보정되기 때문에 삭제되는 객체 영역 내의 픽셀값이 인접 공간의 픽셀값과 조화를 이루어 자연스러운 영상을 얻을 수 있다. 또한 객체와 지면의 에지 라인 역시 동일 수평라인에 위치하는 픽셀값으로 치환되기 때문에 에지 부분에서 느낄 수 있는 이질감 혹은 편집 느낌을 최소화할 수 있는 장점이 있다.
본 발명의 실시예에서는 단순히 인접 공간에 위치하는 동일 높이의 픽셀값으로 치환하는 것만을 예시하였으나, 인접 공간에 위치하는 동일 높이의 픽셀값이 정형화된 패턴을 갖는다면 보정 영역 내에서도 정형화된 패턴이 반영되도록 보정해야 할 것이다.
이하 현실 이미지 내에서 객체 삭제가 아닌 다른 영상 편집 명령에 따라 객체 처리가 이루어지는 동작을 부연 설명하기로 한다.
만약 시스템(100) 구동 중 현실 이미지에 대해 영상 편집 도구를 통해 객체 이동 명령과 객체 터치 및 객체 이동 요청한 지점이 순차적으로 입력(S60단계)되었다면, 영상 처리부(120)는 S20단계에서 추출 표시된 객체 중 이용자가 객체 이동 터치한 객체를 현실 이미지에서 삭제 처리하고 그 삭제 처리 영역을 구성하는 각 수평 라인에 대해서는 인접 공간 동일 높이의 픽셀값으로 치환하여 보정하고, 객체 이동 요청한 지점에 위치하는 픽셀의 3차원 좌표값, 보다 구체적으로는 원근감을 나타내는 깊이좌표(z축, x축은 수평, y축은 수직을 나타낸다고 가정했을 때)를 이용해 상기 객체 이동 터치한 객체의 스케일을 조정해 객체 이동시킨 보정 영상을 생성(S60단계)한다.
이와 같이 현실 이미지(도 6의 (a))에 존재하는 객체를 이동시켰을 경우의 보정 영상이 도 8의 (a)에 도시되어 있다. 도 8의 (a)에 도시된 보정 영상을 도 6의 (a)와 대비해 보면 도로 우측의 두 번째 객체인 나무가 우측으로 이동한 것을 알 수 있다. 이와 같이 보정된 영상에서도 이동 터치된 객체의 스케일은 객체 이동 요청한 지점에 위치하는 픽셀의 깊이좌표에 따라 스케일 조정되었기 때문에 주변 객체 혹은 배경과 조화를 이루는 영상 편집 화면을 얻을 수 있다. 참고적으로 도 8의 (b)는 화면 표시부(130)에 의해 객체 영역 가시성 끄기로 얻어지는 최종 표시 화면을 나타낸 것이다.
한편 영상 편집 도구를 통해 객체 복제 명령과 객체 터치 및 객체 복제 요청한 지점이 순차적으로 입력되었다면, 영상 처리부(120)는 S20단계에서 추출 표시된 객체 중 이용자가 객체 복제 터치한 객체를 도 9의 (a)에 도시한 바와 같이 객체 복제 요청한 지점에 붙여 넣기 하되 깊이좌표를 이용해 스케일 조정하여 붙여 넣기한 보정 영상을 생성한다. 도 9의 (a)는 현실 이미지(도 6의 (a))에서 도로 우측 첫 번째 객체인 나무를 복제하여 바로 좌측에 복제한 경우의 화면이다.
이상에서 설명한 바와 같이 이용자측 모바일 증강현실 영상 편집 시스템(100)은 모바일 디바이스상에서 이용자의 간단한 터치 조작만으로도 이미지 센서(100-1)를 통해 획득한 현실 이미지를 편리하고도 빠르게 편집할 수 있는 효과가 있다.
또한 모바일 증강현실 영상 편집 시스템(100)은 편집 영상이라 하더라도 에지 라인 혹은 객체 영역 내에 주변 공간의 픽셀값을 이용해 치환 보정하기 때문에 자연스러운 편집 영상을 얻을 수 있는 효과가 있다.
상술한 영상 편집 외에 이용자는 모바일 증강현실 영상 편집 시스템(100)을 이용해 하나의 현실 이미지에 별도 저장한 객체를 합성할 수 있다.
예를 들면, 객체 저장부(150)는 S20단계에서 추출 표시된 객체 중 이용자가 저장 터치한 객체(저장 명령 입력후 터치한 객체로 해석)를 이용자가 입력한 파일명에 매칭하여 저장부(100-3)에 저장한다. 이후 이용자의 합성 명령에 따라 영상 처리부(120)는 이용자에 의해 상기 저장부(100-3)에서 선택된 객체를 현실 이미지에 합성하되, 객체 합성 요청한 지점에 위치하는 픽셀의 3차원 좌표값을 이용해 상기 선택된 객체의 스케일을 조정해 객체 합성한 보정 영상을 생성할 수 있다. 이러한 보정 영상은 앞서 설명한 바와 같이 화면 표시부(130)를 통해 표시 출력된다.
또한 모바일 증강현실 영상 편집 시스템(100)은 이미지 센서(100-1)를 통해 획득한 현실 이미지에 가상의 객체를 합성하여 표시 가능하되, 기계학습을 통해 얻어진 최적의 입체 형상 대표 객체를 합성하여 표시할 수도 있다. 여기서 기계학습을 통해 얻어진 최적의 입체 형상 대표 객체란 사실적이고 객관적으로 인정받을 수 있도록 기계학습되어 만들어진 입체 형상 객체일 수도 있고, 표준화된 입체 형상 객체일 수도 있으며, 공증된 입체 형상 객체일 수도 있다.
일반인들이 영상을 편집함에 있어서 장소와 시간, 비용 등의 문제로 최적의 증강현실 영상을 편집하는데 있어 많은 제약이 따를 수 있다. 이러한 제약을 극복하고자 현실 이미지에서 얻은 객체와 동일 객체인데, 이러한 객체를 사실적이고 객관적으로 인정받은 객체, 또는 표준화된 객체 등을 대체하여 증강현실 영상을 편집할 수 있다면, 저작권을 침해하지 않는 범위 내에서 가장 사실적이거나, 심미적이거나 환상적인 영상을 편집하는데 유용할 것이다.
이에 모바일 증강현실 영상 편집 시스템(100)의 객체 전송부(160)는 S20단계에서 추출 표시된 객체 중 이용자가 증강현실 터치한 객체(증강현실 명령 입력후 터치한 객체로 해석)를 통신망을 통해 연동 가능한 모바일 증강현실 영상 편집 지원 시스템(200)으로 전송한다.
예를 들어 증강현실 터치한 객체가 현실 이미지 속의 푸들이라고 가정하고, 이러한 푸들에 목줄을 하여 견주가 끌고 가는 장면이 현실 이미지 속에 포함되어 있다면, 반려견 푸들에 대한 형상 혹은 반려견 푸들에 대한 형상의 특이점이 서비스 서버측 모바일 증강현실 영상 편집 지원 시스템(200)으로 전송된다. 이에 모바일 증강현실 영상 편집 지원 시스템(200)의 객체 정보 수신부(210)는 객체 정보, 즉 푸들에 대한 형상 혹은 푸들에 대한 형상의 특이점을 수신받아 대표 객체 추출부(220)로 전달한다.
이에 대표 객체 추출부(220)는 수신된 객체 정보가 객체를 나타내는 특이점일 경우 그 특이점과 일치율이 가장 높은 객체를 기계학습 객체 DB(250)에서 찾아 객체를 인식한다. 이러한 인식에 따라 대표 객체 추출부(220)는 인식된 객체를 대표하는 입체 형상의 대표 객체를 기계 학습 객체 DB(250)에서 추출하고, 대표 객체 전송부(230)는 추출된 입체 형상의 대표 객체를 이용자측 모바일 증강현실 영상 편집 시스템(200)의 영상 처리부(120)로 전송한다. 만약 수신된 객체 정보가 객체를 나타내는 형상이라면, 대표 객체 추출부(220)는 그 형상의 특이점을 검출한 후에 검출된 특이점과 일치율이 가장 높은 객체를 기계학습 객체 DB(250)에서 찾아 객체를 인식하면 된다.
예를 들어 모바일 증강현실 영상 편집 지원 시스템(200)으로부터 전송된 입체 형상의 대표 객체가 올해의 푸들상을 수상한 푸들에 대한 입체 형상이라고 가정했을 때, 영상 처리부(120)는 현실 이미지상에 올해의 푸들상을 수상한 푸들의 입체 형상을 합성하여 보정한다. 이러한 경우 영상 처리부(120)는 이전에 현실 이미지에서 증강 현실 터치된 객체의 화면 대비 스케일 값에 따라 입체 형상의 대표 객체의 스케일을 조정하여 보정 영상을 생성함으로써 보다 자연스러운 편집 영상을 얻을 수 있다. 물론 영상 처리부(120)는 영상 편집 도구를 통한 이용자 명령에 따라 입체 형상의 대표 객체에 대한 크기, 위치조정, 컬러 조정된 보정 영상을 생성할 수 있다.
이와 같이 이용자측 모바일 증강현실 영상 편집 시스템(100)과 모바일 증강현실 영상 편집 지원 시스템(200)을 상호 연동시킴으로써, 서비스 이용자는 마치 올해의 푸들상을 수상한 반려견과 함께 동행하는 모습의 증강현실 편집 영상을 얻을 수 있게 되는 것이다.
즉, 본 발명은 현실 이미지에서 추출된 객체를 모바일 증강현실 영상 편집 지원 시스템(200)에서 인식하여 동일한 종류의 객체로 대체하되, 최강의 혹은 표준화된 혹은 현재 이슈가 되고 있는 입체 형상의 대표 객체로 대체하여 줌으로써, 서비스 이용자는 편리하게 증강현실 영상을 편집한 효과를 얻을 수 있으며, 편집하고자 하는 객체를 획득하기 위해 소비해야 하는 시간적, 경제적 비용을 최소화할 수 있다.
상술한 실시예는 하나의 예시에 불과한 것으로 본 발명의 실시예에 따른 시스템을 이용하게 되면, 현실의 이미지에 표준화된 입체 형상의 대표 객체가 삽입된 영상을 얻을 수 있으므로, 서비스 이용자는 현실 공간에 실제 존재하는 객체를 자동 인식해 그 인식 객체만을 새로이 리모델링하였을 경우 느껴지는 현장감, 입체감, 사실감을 미리 체험해 볼 수 있는 이점이 있다.
이상 본 발명은 도면에 도시된 실시예들을 참고로 설명하였으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (5)

  1. 영상 입력부를 통해 획득되는 현실 이미지 내에서 추출된 객체 정보를 서비스 이용자의 모바일 디바이스로부터 수신하기 위한 객체 정보 수신부와;
    기계 학습된 각 객체들의 특이점 정보에 객체를 대표하는 입체 형상의 대표 객체가 하나 이상 매칭되어 있는 기계학습 객체 DB와;
    상기 수신된 객체 정보의 특이점 정보에 기초하여 상기 수신된 객체를 인식하고 인식된 객체를 대표하는 입체 형상의 대표 객체를 상기 기계학습 객체 DB에서 추출하기 위한 대표 객체 추출부와;
    추출된 입체 형상의 대표 객체를 상기 모바일 디바이스에 설치된 이용자측 모바일 증강현실 영상 편집 시스템으로 전송하기 위한 대표 객체 전송부;를 포함함을 특징으로 하는 모바일 증강현실 영상 편집 지원 시스템.
  2. 청구항 1에 있어서, 상기 기계학습 객체 DB를 학습 갱신하기 위한 객체 기계학습부;를 더 포함함을 특징으로 하는 모바일 증강현실 영상 편집 지원 시스템.
  3. 청구항 1 또는 청구항 2에 있어서, 상기 대표 객체 추출부는,
    상기 수신된 객체 정보가 객체를 나타내는 형상일 경우 그 형상의 특이점을 검출하고, 검출된 특이점과 일치율이 가장 높은 객체를 상기 기계학습 객체 DB에서 찾아 객체를 인식함을 특징으로 하는 모바일 증강현실 영상 편집 지원 시스템.
  4. 청구항 1 또는 청구항 2에 있어서, 상기 대표 객체 추출부는,
    상기 수신된 객체 정보가 객체를 나타내는 특이점일 경우 그 특이점과 일치율이 가장 높은 객체를 상기 기계학습 객체 DB에서 찾아 객체를 인식함을 특징으로 하는 모바일 증강현실 영상 편집 지원 시스템.
  5. 청구항 1 또는 청구항 2에 있어서, 상기 대표 객체 추출부는,
    상기 인식된 객체를 대표하는 입체 형상의 대표 객체가 복수일 경우 상기 이용자측 모바일 증강현실 영상 편집 시스템으로 하나를 선택 요청함을 특징으로 하는 모바일 증강현실 영상 편집 지원 시스템.
KR1020180164215A 2018-12-18 2018-12-18 모바일 증강현실 영상 편집 지원 시스템 KR102201285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164215A KR102201285B1 (ko) 2018-12-18 2018-12-18 모바일 증강현실 영상 편집 지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164215A KR102201285B1 (ko) 2018-12-18 2018-12-18 모바일 증강현실 영상 편집 지원 시스템

Publications (2)

Publication Number Publication Date
KR20200075479A true KR20200075479A (ko) 2020-06-26
KR102201285B1 KR102201285B1 (ko) 2021-01-11

Family

ID=71136303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164215A KR102201285B1 (ko) 2018-12-18 2018-12-18 모바일 증강현실 영상 편집 지원 시스템

Country Status (1)

Country Link
KR (1) KR102201285B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230154844A1 (en) * 2021-11-16 2023-05-18 Globalfoundries U.S. Inc. Stacked field-effect transistors with a shielded output

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120024073A (ko) * 2010-09-03 2012-03-14 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
KR20120052772A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 증강 현실 환경에서 증강 현실 서비스 제공 방법 및 이를 위한 시스템
KR20130107404A (ko) 2012-03-22 2013-10-02 한남대학교 산학협력단 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법
KR20150127503A (ko) * 2014-05-07 2015-11-17 에스케이플래닛 주식회사 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120024073A (ko) * 2010-09-03 2012-03-14 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120052772A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 증강 현실 환경에서 증강 현실 서비스 제공 방법 및 이를 위한 시스템
KR20130107404A (ko) 2012-03-22 2013-10-02 한남대학교 산학협력단 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법
KR20150127503A (ko) * 2014-05-07 2015-11-17 에스케이플래닛 주식회사 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230154844A1 (en) * 2021-11-16 2023-05-18 Globalfoundries U.S. Inc. Stacked field-effect transistors with a shielded output

Also Published As

Publication number Publication date
KR102201285B1 (ko) 2021-01-11

Similar Documents

Publication Publication Date Title
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
CN107251101B (zh) 针对使用具有参数的标记的增强现实的场景修改
JP3148045B2 (ja) 三次元物体ｃｇ作成装置
US8644467B2 (en) Video conferencing system, method, and computer program storage device
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US10262465B2 (en) Interactive control station
US20140181630A1 (en) Method and apparatus for adding annotations to an image
US20180276882A1 (en) Systems and methods for augmented reality art creation
KR101920035B1 (ko) 가상 객체를 이용한 증강현실 콘텐츠 제공 방법 및 이를 위한 장치
US20150120496A1 (en) Shopping System
EP3262505B1 (en) Interactive system control apparatus and method
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
WO2014094874A1 (en) Method and apparatus for adding annotations to a plenoptic light field
WO2022048373A1 (zh) 图像处理方法、移动终端及存储介质
KR102091217B1 (ko) 모바일 증강현실 영상 편집 시스템
JP2022512525A (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
US11030359B2 (en) Method and system for providing mixed reality service
KR102201285B1 (ko) 모바일 증강현실 영상 편집 지원 시스템
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
WO2019012314A1 (ru) Способ отображения широкоформатного объекта дополненной реальности
JP2004234549A (ja) 現実物体モデル作成方法
CN113168820A (zh) 显示终端、显示控制系统以及显示控制方法
JP2017084215A (ja) 情報処理システム、その制御方法、及びプログラム
KR101995050B1 (ko) 객체 간 연관성을 고려한 가상객체 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant