KR101773891B1 - 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 - Google Patents

실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 Download PDF

Info

Publication number
KR101773891B1
KR101773891B1 KR1020160172688A KR20160172688A KR101773891B1 KR 101773891 B1 KR101773891 B1 KR 101773891B1 KR 1020160172688 A KR1020160172688 A KR 1020160172688A KR 20160172688 A KR20160172688 A KR 20160172688A KR 101773891 B1 KR101773891 B1 KR 101773891B1
Authority
KR
South Korea
Prior art keywords
moving picture
subject
composite
environment
camera work
Prior art date
Application number
KR1020160172688A
Other languages
English (en)
Inventor
천솔지
김형락
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잼투고 filed Critical (주)잼투고
Priority to KR1020160172688A priority Critical patent/KR101773891B1/ko
Application granted granted Critical
Publication of KR101773891B1 publication Critical patent/KR101773891B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Abstract

디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; 및 상기 사용자 단말장치와 통신가능하게 연결되고, 적어도 하나의 피사체 합성위치 및 상기 피사체 합성위치에 대응하는 적어도 하나의 카메라 워크를 포함하는 복수의 환경객체가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 피사체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 각각의 상기 적어도 하나의 카메라 워크를 비교하고, 유사성이 높은 적어도 하나의 카메라 워크를 선택하고, 선택된 적어도 하나의 카메라 워크에 각각 대응하는 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 유사 환경객체를 결정하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 결정된 적어도 하나의 유사 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 적어도 하나의 상기 유사 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 추출하여 상기 선택된 유사 환경객체의 피사체 합성위치에 배치한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템이 제공된다.

Description

실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법{System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner}
실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법에 관한 것으로, 보다 상세하게는 일반 사용자가 편리하게 환경객체를 선택할 수 있고 자연스럽게 합성된 합성동영상을 재생할 수 있는 시스템 및 컴퓨터 구현 방법에 관한 것이다.
최근에, 미디어 기술의 발전으로, 새로운 장르의 다양한 멀티미디어 컨텐츠, 예컨대, 3D 컨텐츠, 증강 현실(Augumented Reality) 컨텐츠, 가상 현실(Virtual Reality) 컨텐츠 등이 등장하고 있다. 이러한 멀티미디어 컨텐츠를 생성하기 위해서는 전문적인 제작 장비가 필요하기 때문에 일반인들이 이러한 컨텐츠를 생성하기에는 제약이 따른다. 또한, 이러한 멀티미디어 컨텐츠를 재생하기 위해서는 전용 재생 장치가 필요한 실정이다. 한편, 전용 재생장치 중 3D TV와 같은 3D 컨텐츠 전용 재생 장치는 사용의 불편함과 시청시의 어지러움 등으로 인해 요즘 소비자로부터 외면받고 있다.
가상의 배경을 합성하여 뮤직비디오를 자동으로 만들어주는 자동 가라오케 스튜디오가 등장하여, 일반인들도 뮤직비디오를 전문가의 도움없이 생성할 수 있게 되었다.
이러한 자동 가라오케 스튜디오에서 뮤직비디오를 생성하는 일반인들의 입장에서는 다양한 가상 배경 중에서 원하는 배경을 선택할 수 있는 즐거움이 있지만, 생성된 뮤직비디오를 일반적인 재생 장치를 통해 시청하는 시청자의 입장에서는 선택된 배경이 단조롭고 식상할 수 있다.
가상 스튜디오 관리 프로그램 중에서, 배경을 실시간으로 변경할 수 있는 전문 프로그램이 있다. 하지만, 일반적인 동영상 재생 장치 중에서 동영상 재생 중에 배경을 시청자가 변경할 수 있는 것은 존재하지 않는다. 특정한 배경을 특정한 시점에 피사체와 조화롭게 배치하는 것은 전문적인 편집의 영역에 속하며, 따라서, 일반인이 전문 프로그램을 사용한다고 하더라도 생성되는 결과물은 전문적이지 않고 자연스럽지 못할 수 있다.
Studio one entertainment, Inc.의 미국 등록특허 제8,957,942호 "Studio booth configured to produce illusion that customer is photographed in different locale"은 이동형 가라오케에서 크로마키 배경으로 뮤직 비디오를 촬영하는 방법을 개시한다. 이러한 종래기술에 따르면 사용자의 공연 영상에서 사용자를 객체의 형태로 추출하고 가상의 배경과 합성하여, 사용자에게 실제 현장에 가지 않고도 실제 현장에 있는 것과 같은 경험을 제공한다. 그런데, 시청자 입장에서, 다양한 배경 선택의 경험을 제공하는 것에 대해서는 기재되어 있지 않다.
Terry W. Koch의 미국 공개특허공보 제2011/0170008호 "Chroma-key image animation tool"은 특정 크기를 갖는 객체의 형태인 크로마키 무비 클립(clip)을 드래그하여 해당 이미지 상의 원하는 위치에 배치하고 렌더링하여 동영상을 생성하는 GUI에 대해 기술하고 있다. 그런데, 이러한 GUI를 사용하는데에는, 사용자가 해당 이미지에 크로마키 무비 클립을 배치할 위치를 직접 선택해야 하는 사용자 편집의 영역이 여전히 존재한다. 또한, 이러한 GUI의 내장된 재생 프로그램은 최종 렌더링된 동영상만을 재생할 수 있고, 동영상 재생 중에 원하는 무비 클립을 선택하여 재생되고 있는 동영상에 반영시키는 것에 대해서는 기술하지 않는다.
일반인이 동영상 재생 중에 쉽게 배경을 실시간으로 바꿀 수 있으면서도 바뀐 배경과 피사체가 자연스럽게 어울릴 수 있는 합성동영상 재생 장치 및 방법이 여전히 요구된다.
미국 등록특허 제8,957,942호 미국 공개특허공보 제2011/0170008호
본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 복수의 환경객체 각각의 적어도 하나의 피사체 합성위치 각각의 적어도 하나의 카메라 워크를 원본동영상의 카메라 워크와 비교하고, 사용자가 선택할 수 있는 복수의 유사 환경객체를 미리 결정하여 사용자에게 제공하여, 사용자에게 배경 선택의 즐거움과, 선택된 배경으로 자연스럽게 합성된 동영상을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체의 위치를 추출하고, 복수의 환경객체 각각의 적어도 하나의 피사체 합성위치와 비교하여 적어도 하나의 유사 환경객체를 결정하여, 피사체 합성위치와 원본동영상의 피사체의 원래 위치가 합성될 동영상의 프레임 상에서 많이 차이가 나지 않거나 해당 프레임을 벗어나지 않도록 구현하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체의 크기와 선택된 유사 환경객체의 크기를 추출하고, 합성동영상을 디스플레이하는 단계에서, 선택된 원본동영상의 피사체를 선택된 유사 환경객체의 피사체 합성위치에 선택된 유사 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치하여, 합성동영상의 피사체 및 유사 환경객체의 크기가 부자연스럽게 합성되는 것을 방지하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 결정된 적어도 하나의 유사 환경객체 각각의 피사체 합성위치에 배치한 선택된 원본동영상의 피사체를 디스플레이 모듈 상에 더 디스플레이하여, 사용자가 미리 결정된 적어도 하나의 유사 환경객체에 피사체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 유사 환경객체를 선택하는데 도움을 받을 수 있도록 하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 복수의 환경객체 중 적어도 하나가 실제 환경객체를 적어도 하나의 촬영지점에서 실제 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 카메라 워크에 따라 촬영한 동영상이어서, 합성된 동영상이 보다 자연스러울 수 있도록 하고, 환경객체를 추가로 디자인하거나 모델링해야 하는 비용도 줄일 수 있도록 하고, 동일한 환경객체에 다양한 촬영지점을 설정하고, 각 촬영지점마다 다양한 카메라 워크를 적용할 수 있어서, 다양한 환경객체를 확보할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 복수의 환경객체 중 적어도 하나가 3D 가상 환경객체, 3D 가상 환경객체 상의 적어도 하나의 가상 촬영지점, 및 가상 촬영지점에서 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 가상 카메라 워크를 갖는 로우(raw) 데이터이어서, 저장모듈의 저장공간을 줄일 수 있고, 환경객체의 변경 및 업데이트도 가능하도록 하는 것을 다른 목적으로 한다.
본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템은 디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; 및 상기 사용자 단말장치와 통신가능하게 연결되고, 적어도 하나의 피사체 합성위치 및 상기 피사체 합성위치에 대응하는 적어도 하나의 카메라 워크를 포함하는 복수의 환경객체가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 피사체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 각각의 상기 적어도 하나의 카메라 워크를 비교하고, 유사성이 높은 적어도 하나의 카메라 워크를 선택하고, 선택된 적어도 하나의 카메라 워크에 각각 대응하는 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 유사 환경객체를 결정하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 결정된 적어도 하나의 유사 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 적어도 하나의 상기 유사 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 추출하여 상기 선택된 유사 환경객체의 피사체 합성위치에 배치한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 합성동영상 재생 애플리케이션은 상기 선택된 원본동영상의 피사체의 위치를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고, 상기 유사 환경객체를 결정하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 추출된 피사체의 위치 및 상기 선택된 원본동영상의 상기 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 및 해당 적어도 하나의 카메라 워크를 더 비교하고, 각각의 유사성의 합이 높은 적어도 하나의 피사체 합성위치 및 카메라 워크에 대응하는 적어도 하나의 유사 환경객체를 결정하도록 하는 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 추출된 피사체의 위치는, 상기 원본동영상의 해당 프레임 상의 피사체의 위치인 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체의 크기를 추출하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 유사 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고, 상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 상기 선택된 유사 환경객체의 피사체 합성위치에 상기 선택된 유사 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하는 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 결정된 적어도 하나의 유사 환경객체 각각의 피사체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체를 상기 디스플레이 모듈 상에 더 디스플레이하는 단계;를 추가로 포함하여 수행하도록 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 복수의 환경객체 중 적어도 하나는, 실제 환경객체를 적어도 하나의 촬영지점에서 실제 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 카메라 워크에 따라 촬영한 동영상인 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 복수의 환경객체 중 적어도 하나는, 3D 가상 환경객체를 적어도 하나의 가상 촬영지점에서 가상 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 가상 카메라 워크에 따라 촬영한 것을 렌더링한 동영상인 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 복수의 환경객체 중 적어도 하나는, 3D 가상 환경객체, 상기 3D 가상 환경객체 상의 적어도 하나의 가상 촬영지점, 및 상기 가상 촬영지점에서 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 가상 카메라 워크를 갖는 로우(raw) 데이터인 것을 특징으로 한다.
본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 로우 데이터를 렌더링하여 디스플레이하도록 하고, 상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 로우 데이터를 렌더링하여 디스플레이하도록 하는 것을 특징으로 한다.
본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 컴퓨터 구현 방법에 있어서, 합성동영상 재생 애플리케이션이 적어도 하나의 피사체 합성위치 및 상기 피사체 합성위치에 대응하는 적어도 하나의 카메라 워크를 포함하는 복수의 환경객체를 저장모듈에 저장하는 단계; 합성동영상 재생 애플리케이션이 피사체를 갖는 복수의 원본동영상의 리스트 -상기 각각의 원본동영상은 상기 피사체에 대응하는 카메라 워크를 갖는 메타데이터와 연괌됨- 를 사용자 단말기의 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 사용자 단말기의 입력부를 통해 사용자로부터 수신하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 각각의 상기 적어도 하나의 카메라 워크를 비교하고, 유사성이 높은 적어도 하나의 카메라 워크를 선택하고, 선택된 적어도 하나의 카메라 워크에 각각 대응하는 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 유사 환경객체를 결정하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 결정된 적어도 하나의 유사 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 적어도 하나의 상기 유사 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 상기 선택된 유사 환경객체의 피사체 합성위치에 배치한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 상기의 구성에 따라, 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 복수의 환경객체 각각의 적어도 하나의 피사체 합성위치 각각의 적어도 하나의 카메라 워크를 원본동영상의 카메라 워크와 비교하고, 사용자가 선택할 수 있는 복수의 유사 환경객체를 미리 결정하여 사용자에게 제공하여, 사용자에게 배경 선택의 즐거움과, 선택된 배경으로 자연스럽게 합성된 동영상을 제공하는 효과를 제공한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체의 위치를 추출 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치와 비교하여 적어도 하나의 유사 환경객체를 결정하여, 피사체 합성위치와 원본동영상의 피사체의 원래 위치가 합성될 동영상의 프레임 상에서 많이 차이가 나지 않거나 해당 프레임을 벗어나지 않도록 구현하는 효과를 제공한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체의 크기와 선택된 유사 환경객체의 크기를 추출하고, 합성동영상을 디스플레이하는 단계에서, 선택된 원본동영상의 피사체를 선택된 유사 환경객체의 피사체 합성위치에 선택된 유사 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치하여, 합성동영상의 피사체 및 유사 환경객체의 크기가 부자연스럽게 합성되는 것을 방지하는 효과를 제공한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 결정된 적어도 하나의 유사 환경객체 각각의 피사체 합성위치에 배치한 선택된 원본동영상의 피사체를 디스플레이 모듈 상에 더 디스플레이하여, 사용자가 미리 결정된 적어도 하나의 유사 환경객체에 피사체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 유사 환경객체를 선택하는데 도움을 받을 수 있도록 하는 효과를 제공한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 복수의 환경객체 중 적어도 하나가 실제 환경객체를 적어도 하나의 촬영지점에서 실제 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 카메라 워크에 따라 촬영한 동영상이어서, 합성된 동영상이 보다 자연스러울 수 있도록 하고, 환경객체를 추가로 디자인하거나 모델링해야 하는 비용도 줄일 수 있도록 하고, 동일한 환경객체에 다양한 촬영지점을 설정하고, 각 촬영지점마다 다양한 카메라 워크를 적용할 수 있어서, 다양한 환경객체를 확보할 수 있는 효과를 제공한다.
본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 복수의 환경객체 중 적어도 하나가 3D 가상 환경객체, 3D 가상 환경객체 상의 적어도 하나의 가상 촬영지점, 및 가상 촬영지점에서 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 가상 카메라 워크를 갖는 로우(raw) 데이터이어서, 저장모듈의 저장공간을 줄일 수 있고, 환경객체의 변경 및 업데이트도 가능하도록 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 합성동영상 재생 시스템을 도시하는 구성도.
도 2는 본 발명의 실시예에 따른 환경객체의 특정 위치에 존재하는 피사체 합성위치들을 도시하는 예시도.
도 3은 본 발명의 실시예에 따른 적어도 하나 이상의 환경객체의 구성을 도시하는 예시도.
도 4는 본 발명의 실시예에 따른 복수의 원본동영상의 리스트를 그래픽 형식으로 나타낸 것을 도시하는 예시도.
도 5는 본 발명의 실시예에 따른 원본동영상의 리스트 중 어느 하나의 원본동영상의 선택을 입력부를 통해 사용자로부터 수신하는 것을 도시하는 예시도.
도 6은 본 발명의 실시예에 따른 시간 A에서의 선택된 원본동영상과 시간 A에서의 결정된 유사 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 7은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상과 시간 B에서의 결정된 유사 환경객체를 디스플레이 모듈 상에 디스플레이하고, 유사 환경객체 중 어느 하나의 선택을 입력부를 통해 사용자로부터 수신하는 것을 도시하는 예시도.
도 8은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 피사체를 선택된 유사 환경객체의 피사체 합성위치에 배치한 합성동영상과 시간 B에서의 결정된 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 9는 본 발명의 실시예에 따른 시간 C에서의 선택된 원본동영상의 피사체를 선택된 유사 환경객체의 피사체 합성위치에 선택된 유사 환경객체와 맞는 크기로 확대하여 배치한 합성동영상과 시간 C에서의 결정된 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 10은 본 발명의 실시예에 따른 시간 C에서의 선택된 원본동영상과, 시간 C에서의 선택된 원본동영상의 피사체를 결정된 유사 환경객체의 피사체 합성위치에 각각 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 11은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법을 도시하는 흐름도.
도 12는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체의 위치와 피사체 합성위치를 추가로 비교하는 것을 도시하는 흐름도.
도 13은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체를 피사체 합성위치에 크기가 맞도록 배치하는 것을 도시하는 흐름도.
도 14는 본 발명의 실시예에 따른 선택된 원본동영상의 카메라 워크의 실시예를 도시하는 예시도.
도 15는 본 발명의 실시예에 따른 결정된 환경객체의 카메라 워크들을 도시하는 예시도.
도 16은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 카메라 워크의 위치 및 방향을 도시하는 예시도.
도 17은 본 발명의 실시예에 따른 시간 B에서의 피사체의 프레임 상에서의 위치를 도시하는 예시도.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안 되며, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다.
명세서 전반에서 어떠한 부분이 어떤 구성요소를 "포함"한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 "..모듈", "..부", "..시스템" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.
이하에서는 도면을 참조하여 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상(video_composite) 재생 시스템(10)을 설명한다.
도 1은 본 발명의 실시예에 따른 합성동영상 재생을 위한 시스템(10)을 도시한다. 본 발명에 따른 시스템(10)은 디스플레이 모듈(110), 프로세서(120), 입력부(160), 및 합성동영상 재생 애플리케이션(140)을 저장하는 저장모듈(130)을 갖는 사용자 단말장치(100) 및 사용자 단말장치(100)와 통신가능하게 연결되고, 적어도 하나의 피사체 합성위치(composite position_subject) 및 피사체 합성위치(composite position_subject)에 대응하는 적어도 하나의 카메라 워크(camera work)를 포함하는 복수의 환경객체가 저장된 데이터베이스(310)를 갖는 서버(300)를 포함하여 구성된다.
상술한 복수의 환경객체는 사용자 단말장치(100)와 별도의 서버(300)에 포함된 데이터베이스(310)에 저장되어 있지만, 사용자 단말장치(100)의 저장모듈(130)에 저장되는 것도 가능하다. 이 경우, 별도의 서버(300)가 필요없이 사용자 단말장치(100) 상에서 합성동영상 재생 애플리케이션(140)의 모든 처리가 가능할 수 있다. 또한, 복수의 환경객체가 별도로 저장되지 않고, 제 3자의 단말장치의 카메라, 예컨대 도 1에 도시된 통신망에 연결된 카메라(210)에 의해 촬영 및 생성되어 실시간으로 전송될 수도 있다.
한편, 사용자 단말장치(100)는 예컨대 스마트폰, 태블릿 PC 등과 같은 범용적 정보처리 단말장치이거나 차량용 인포테인먼트 장치 또는 멀티미디어 파일을 재생하기 위한 동영상 플레이어 장치와 같은 특정기능에 특화된 정보처리 단말장치 등을 예시할 수 있다. 도 4 내지 도 10에 도시된 바와 같이, 본 발명의 일 실시예에서는 태블릿 PC를 예로 들어 설명한다.
디스플레이 모듈(110)은 터치스크린일 수 있다. 터치스크린은 디스플레이 상에 형성되는 터치 감응식 유저 인터페이스를 위한 터치 감지장치를 포함하여 구성된다. 터치 감지장치는 사용자의 손가락을 포함하는 신체의 접촉 또는 스타일러스 펜과 같은 물체의 접촉을 감지하고, 일정 방향으로의 접촉점의 이동으로 구현되는 슬라이드 동작을 감지하는 기능을 수행한다. 본 발명에서에서의 터치스크린에 대한 접촉은 터치스크린 표면에 대한 직접 접촉 뿐 아니라 터치스크린 표면에 대한 10 mm 이내의 근접(근접 터치, hovering)을 포함한다. 터치스크린의 구현방식은 특별히 제한되지 않으며 예컨대 정전용량방식 또는 저항막(resistive overlay)을 이용한 감압식으로 구현될 수 있고, 표면 초음파 또는 적외선을 이용한 방식 등으로 구현될 수 있다.
프로세서(120)는 중앙처리장치 또는 모바일 프로세서(120)를 예시할 수 있으며 애플리케이션/프로그램의 명령어 집합에 따른 연산처리를 수행한다. 프로세서(120)는 단일의 연산처리장치 또는 복수개의 연산처리장치로 구성될 수 있다.
저장모듈(130)은 합성동영상 재생 애플리케이션(140)을 저장하는 기능을 수행하며, 합성동영상 재생 애플리케이션(140)을 위해 필요한 데이터를 저장하는 기능을 수행한다. 저장모듈(130)은 특별히 제한되지 않으며 메모리 소자, 자기적 저장매체, 광학적 저장매체 등으로 구현될 수 있다.
입력부(160)는 터치스크린, 키보드, 마우스, 및 별도의 조작 버튼일 수 있다. 본 발명에서는 태블릿 PC의 터치스크린을 입력부(160)의 예로 들어 설명하지만, 이에 한정되지 않는다.
합성동영상 재생 애플리케이션(140)은 예컨대 다운로드를 통해 스마트폰에 설치되는 애플리케이션 또는 웹브라우저를 통해 구동될 수 있다. 합성동영상 재생 애플리케이션(140)은 사용자 단말장치(100)의 저장모듈(130)에 설치되고 프로세서(120)에 의해 구동되어 다음의 단계들을 프로세서(120)가 수행하도록 하는 명령어의 조합으로 구성된다. 한편, 합성동영상 재생 애플리케이션(140)은 서버(300)에 저장되고 서버(300)의 프로세서에 의해 처리될 수도 있다. 합성동영상 재생 애플리케이션(140)에 의해 프로세서(120)는 다음의 단계들을 수행하게 된다. 이하에서는 도 11 내지 도 13을 참조하여 각 단계를 상세히 설명한다.
피사체란 원본동영상(video_original)에 포함되고, 원본동영상과 연관된 카메라 워크를 이용하여 실제 카메라에 의해 촬영된 요소일 수 있다. 또한, 피사체는 2D 또는 3D 객체를 가상 카메라에 의해 촬영된 요소일 수도 있으며, 이에 한정되는 것은 아니다.
환경객체는 추출된 피사체가 합성될 대상인, 예컨대 전경, 배경 등일 수 있으며, 다양한 형태, 예컨대, 실제 카메라로 촬영된 동영상, 3D 객체를 렌더링한 동영상, 및 3D 객체 로우(raw) 데이터 등일 수 있으며, 이들의 조합도 가능하다.
적어도 하나의 피사체 합성위치(composite position_subject) 및 피사체 합성위치(composite position_subject)에 대응하는 적어도 하나의 카메라 워크(camera work)를 포함하는 복수의 환경객체를 데이터베이스(310)에 저장하는 단계(s100)를 수행한다. 여기서, 복수의 환경객체를 서버(300)의 데이터베이스(310)에 저장하였지만, 사용자 단말장치(100)의 저장모듈(130)에 저장할 수 있다. 한편, 복수의 환경객체를 특정한 저정 장치에 저장하지 않고, 실시간으로 다른 복수의 사용자 단말장치에서 생성 또는 저장된 복수의 환경객체를 실시간으로 이용할 수도 있다.
도 2에 도시된 바와 같이, 피사체 합성위치(composite position_subject)는 환경객체의 여러 곳(도 2에는 3군데)에 존재할 수 있다. 도 3에는 복수의 환경객체의 구성이 도시되어 있다. 하나의 피사체 합성위치(composite position_subject)에 다양한 카메라 워크(camera work)가 설정될 수 있다.
다음으로, 피사체(subject)를 갖는 복수의 원본동영상의 리스트 -각각의 원본동영상은 피사체에 대응하는 카메라 워크(camera work)를 갖는 메타데이터(meta data)와 연괌됨- 를 사용자 단말기(100)의 디스플레이 모듈(110) 상에 디스플레이하는 단계(s200)를 수행한다. 도 4에 도시된 바와 같이, 복수의 원본동영상의 리스트를 대표 이미지 형태의 그래픽 형식으로 나타낼 수도 있고, 단순히 문자 형식으로 나타낼 수도 있다. 복수의 원본동영상은 서버(300)의 데이터베이스(310) 또는 사용자 단말장치(100)의 저장모듈(130)에 미리 저장될 수 있다. 한편, 원본동영상을 따로 미리 저장하지 않고 카메라로 촬영한 동영상을 실시간으로 전송받을 수도 있다. 카메라는 동영상 촬영이 가능한 캠코더, 방송용 카메라, 스마트폰의 카메라 모듈일 수 있다. 또한, 카메라는 별도의 이동 가능한 마운팅 장치에 탑재되어, 팬(pan) 및 틸트(tilt)를 구현할 수 있다. 한편, 도 1에 도시된 바와 같이, 사용자 단말장치(100)의 통신모듈(150)에 통신망을 거쳐서 연결된 카메라(210)로부터 실시간으로 송출되는 원본동영상을 이용할 수 있다.
다음으로, 리스트 중 어느 하나의 원본동영상의 선택을 사용자 단말기의 입력부(160)를 통해 사용자로부터 수신하는 단계(s300)를 수행한다. 도 5에는 사용자가 손가락으로 재생하고 싶어하는 원본동영상의 대표 화면을 터치하는 동작이 도시되어 있다.
다음으로, 선택된 원본동영상의 카메라 워크와 복수의 환경객체 각각의 적어도 하나의 피사체 합성위치(composite position_subject) 각각의 적어도 하나의 카메라 워크(camera work)를 비교하고, 유사성이 높은 적어도 하나의 카메라 워크(camera work)를 선택하고, 선택된 적어도 하나의 카메라 워크(camera work)에 각각 대응하는 적어도 하나의 피사체 합성위치(composite position_subject)에 대응하는 적어도 하나의 유사 환경객체(environment object_similar)를 결정하는 단계(s400)를 수행한다.
도 14는 본 발명의 실시예에 따른 선택된 원본동영상의 카메라워크의 2가지 예(Case 1, Case 2)를 도시하고 있다. 카메라의 위치(X,Y,Z) 및 팬, 틸트, 줌의 정도가, 시간대(A, B, C) 별로 도시되어 있다(Case 1). 한편, 카메라워크가 프레임 상에서 보여지는 것을 중심으로 한 Case 2가 도시되어 있다. 도 15는 본 발명의 실시예에 따른 결정된 적어도 하나의 환경객체, 예컨대, 절, 숲, 콘서트 홀의 카메라워크(camera work_determined)를 도시한다. 도 16은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라 워크의 카메라 위치 및 카메라 방향의 일례를 글로벌 좌표(Global Coordinate)로 도시한다. 글로벌 좌표 대신에, 카메라 또는 원본동영상의 특정 지점을 기준으로 한 로컬 좌표도 가능하다.
다음으로, 선택된 원본동영상과 결정된 적어도 하나의 유사 환경객체(environment object_similar)를 디스플레이 모듈(110) 상에 디스플레이하는 단계(s500)를 수행한다. 선택된 원본동영상과 유사 환경객체(environment object_similar)는 자동으로 재생될 수도 있고, 사용자가 재생 버튼을 누르면 재생되게 할 수도 있다. 유사 환경객체(environment object_similar)는 유사도에 따라 배치할 수도 있고, 랜덤으로 배치할 수도 있다. 선택된 원본동영상이 재생될 때 유사 환경객체(environment object_similar)도 같이 재생될 수도 있고, 유사 환경객체(environment object_similar)는 재생되지 않을 수도 있다. 유사 환경객체(environment object_similar)가 재생되지 않을 경우, 그래픽 형태로 디스플레이되는 대신에 문자 형태로 디스플레이될 수도 있다. 도 6 내지 도 10은 각각 해당 시간 A, B, C에서 선택된 행당 원본동영상, 유사 환경객체(environment object_similar), 합성동영상(video_composite)가 재생되는 것을 도시한다. 유사 환경객체(environment object_similar)가 별도의 공간에 디스플레이 되지만, 원본동영상에 오버레이되어 디스플레이 될 수 있다. 이 경우 사용자 단말장치(100)의 디스플레이 모듈(110)의 디스플레이 영역을 절약할 수 있다.
다음으로, 적어도 하나의 유사 환경객체(environment object_similar) 중 어느 하나의 선택을 입력부(160)를 통해 사용자로부터 수신하는 단계(s600)를 수행한다. 도 7에 도시된 바와 같이, 시간 B에서, 사용자가 터치스크린을 통해 원하는 유사 환경객체(environment object_similar)를 선택할 수 있다.
다음으로, 도 8에 도시된 바와 같이, 선택된 원본동영상의 피사체를 선택된 유사 환경객체(environment object_similar)의 피사체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈(110) 상에 디스플레이하는 단계(s700)를 수행한다. 시간 B에서, 원본동영상의 피사체(외곽 실선)가, 예컨대, 3번 피사체 합성위치(composite position_subject_3)에 이동 배치된다.
복수의 환경객체 중 적어도 하나는 실제 환경객체(environment object_real)를 적어도 하나의 촬영지점에서 실제 카메라로 적어도 하나의 피사체 합성위치(composite position_subject)에 대응하게 적어도 하나의 카메라 워크에 따라 촬영한 동영상일 수 있다. 이 경우, 실제 환경객체(environment object_real)를 이용하므로, 합성된 동영상이 보다 자연스러울 수 있다. 환경객체를 추가로 디자인하거나 모델링해야하는 비용도 줄일 수 있다. 또한, 동일한 환경객체에 다양한 촬영지점을 설정하고, 각 촬영지점마다 다양한 카메라 워크를 적용할 수 있어서, 다양한 환경객체의 확보에도 유리하다. 한편, 복수의 환경객체 중 적어도 하나는 3D 가상 환경객체(environment object_virtual_3D)를 적어도 하나의 가상 촬영지점에서 가상 카메라로 적어도 하나의 피사체 합성위치(composite position_subject)에 대응하게 적어도 하나의 가상 카메라 워크에 따라 촬영한 것을 렌더링한 동영상일 수 있다.
환경객체로서 동영상의 형태를 예로 들었지만, 다른 형태도 가능하다. 예컨대, 복수의 환경객체 중 적어도 하나는 3D 가상 환경객체(environment object_virtual_3D), 3D 가상 환경객체(environment object_virtual_3D) 상의 적어도 하나의 가상 촬영지점, 및 가상 촬영지점에서 적어도 하나의 피사체 합성위치(composite position_subject)에 대응하는 적어도 하나의 가상 카메라 워크를 갖는 로우(raw) 데이터일 수 있다. 이 경우, 유사 환경객체(environment object_similar)를 디스플레이하는 단계에서, 합성동영상 재생 애플리케이션(140)이 로우 데이터를 렌더링하여 디스플레이하도록 하고, 합성동영상을 디스플레이하는 단계에서, 로우 데이터를 렌더링하여 디스플레이할 수 있다. 이 경우, 저장모듈(110)의 저장공간을 줄일 수 있고, 환경객체의 변경 및 업데이트도 가능한 장점이 있다.
한편, 피사체 합성위치(composite position_subject)가 다수개 존재할 경우 재생될 동영상 프레임 밖에 존재하는 피사체 합성위치(composite position_subject)는 선택에서 배제할 수 있다. 피사체 합성위치(composite position_subject)와 원본동영상의 피사체의 원래 위치가 합성될 프레임 상에서 많이 차이가 날 수 있다. 이 경우, 시청자에게 색다른 재미를 줄 수도 있다. 다음으로, 피사체 합성위치(composite position_subject)와 원본동영상의 피사체의 원래 위치가 합성될 프레임 상에서 많이 차이가 나지 않도록 구현하는 방법에 대해 설명한다.
도 12는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체의 위치와 피사체 합성위치(composite position_subject)를 추가로 비교하는 것을 도시하는 흐름도이다. 도 11과 동일한 부분을 제외하고, 피사체의 위치를 추가로 비교하는 방법에 대해서 설명한다.
우선, 선택된 원본동영상의 피사체의 위치를 추출하는 단계(s310)를 수행한다. 도 17에 도시된 바와 같이 피사체의 위치는 특정 프레임, 예컨대 시간 B에서의 원본동영상의 프레임 상에서의 위치일 수 있다. 한편, 도 16과 같은 절대 좌표에서, 기준점(0,0,0)을 설정하고 원본 동영상에서의 특정 지점을 미리 설정하고, 깊이 측정(depth-sensing) 기능이 있는 비디오카메라를 사용하여, 비디오카메라와 피사체 및 상술한 특정 지점 간의 상대적 위치를 실시간으로 연산할 수 있다. 특정 프레임 상에서의 피사체의 위치는 일반적인 이미지 프로세싱 기술을 사용하여 계산할 수 있으므로, 자세한 설명은 생략한다. 영상의 깊이 측정방식은 Microsoft사의 Kinnect 및 Intel사의 RealSense Camera를 통해 상용화된 적외선 패턴 인식 방식을 통해 구현하거나 Lytro사에 의해 상용화된 마이크로 렌즈 어레이(Micro Lens Array)를 통한 라이트필드(Light Field) 방식을 예시할 수 있다. 일반적인 멀티 카메라 방식에 의한 깊이 측정의 경우 별도의 센서가 필요하지 않을 수도 있다.
다음으로, 유사 환경객체(environment object_similar)를 결정하는 단계에서, 추출된 피사체의 위치 및 선택된 원본동영상의 카메라 워크와 복수의 환경객체 각각의 적어도 하나의 피사체 합성위치(composite position_subject) 및 해당 적어도 하나의 카메라 워크(camera work)를 더 비교하고, 각각의 유사성의 합이 높은 적어도 하나의 피사체 합성위치(composite position_subject) 및 카메라 워크(camera work)에 대응하는 적어도 하나의 유사 환경객체(environment object_similar)를 결정하는 단계(s410)를 수행한다.
도 9는 본 발명의 실시예에 따른 시간 C에서의 선택된 원본동영상의 피사체를 선택된 유사 환경객체(environment object_similar)의 피사체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도이다. 그런데, 외곽 실선으로 도시된 피사체와 선택된 유사 환경객체(environment object_similar)의 상대적 크기가 맞지 않아, 도시된 바와 같이 크기를 조정(확대)할 필요가 있다. 이를 위해, 도 13에 도시된 바와 같이, 선택된 원본동영상의 피사체의 크기를 추출하는 단계(s320)와 선택된 유사 환경객체(environment object_similar)의 크기를 추출하는 단계(s610)를 수행한다. 이후에, 선택된 원본동영상의 피사체를 선택된 유사 환경객체(environment object_similar)의 피사체 합성위치(composite position_subject)에 선택된 유사 환경객체(environment object_similar)에 대한 상대적 크기가 맞도록 스케일하여 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 단계(710)를 수행한다. s320단계 및 s610단계로부터 원본동영상의 피사체에 대한 유사 환경객체(environment object_similar)의 상대적 크기를 알 수 있으므로, 해당 동영상 프레임 상에서의 유사 환경객체(environment object_similar)의 크기를 계산하면 쉽게 해당 동영상 프레임에서 합성될 선택된 원본동영상의 피사체의 크기를 계산할 수 있다.
한편, 도 10에 도시된 바와 같이, 피사체를 유사 환경객체(environment object_similar) 각각의 피사체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈(110) 상에 더 디스플레이하도록 할 수 있다. 이 경우 사용자는 유사 환경객체(environment object_similar)에 피사체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 유사 환경객체(environment object_similar)를 선택하는데 도움을 받을 수 있다.
한편, 복수의 환경객체가 별도로 저장되지 않고, 제 3자의 단말장치로부터 촬영 및 생성되어 실시간으로 사용자 단말장치(100)로 전송될 경우, 사용자는 실시간으로 자연스로운 콜라보레이션 동영상을 시청할 수 있다.
본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.
시스템(10) 사용자 단말장치(100)
디스플레이 모듈(110) 프로세서(120)
저장모듈(130)
합성동영상 재생 애플리케이션(140) 통신모듈(150)
입력부(160) 카메라(210)
서버(300) 데이터베이스(310)

Claims (18)

  1. 디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; 및
    상기 사용자 단말장치와 통신 가능하게 연결되고, 적어도 하나의 피사체 합성위치 및 상기 피사체 합성위치에 대응하는 적어도 하나의 카메라 워크를 포함하는 복수의 환경객체가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서,
    상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
    상기 합성동영상 재생 애플리케이션이 피사체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 상기 피사체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계;
    상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계;
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 각각의 상기 적어도 하나의 카메라 워크를 비교하고, 유사성이 높은 적어도 하나의 카메라 워크를 선택하고, 선택된 적어도 하나의 카메라 워크에 각각 대응하는 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 유사 환경객체를 결정하는 단계;
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 결정된 적어도 하나의 유사 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계;
    상기 합성동영상 재생 애플리케이션이 적어도 하나의 상기 유사 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 추출하여 상기 선택된 유사 환경객체의 피사체 합성위치에 배치한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  2. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체의 위치를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고,
    상기 유사 환경객체를 결정하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 추출된 피사체의 위치 및 상기 선택된 원본동영상의 상기 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 및 해당 적어도 하나의 카메라 워크를 더 비교하고, 각각의 유사성의 합이 높은 적어도 하나의 피사체 합성위치 및 카메라 워크에 대응하는 적어도 하나의 유사 환경객체를 결정하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  3. 제 2 항에 있어서, 상기 추출된 피사체의 위치는,
    상기 원본동영상의 해당 프레임 상의 피사체의 위치인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  4. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체의 크기를 추출하는 단계; 및
    상기 합성동영상 재생 애플리케이션이 상기 선택된 유사 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고,
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 상기 선택된 유사 환경객체의 피사체 합성위치에 상기 선택된 유사 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  5. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
    상기 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 결정된 적어도 하나의 유사 환경객체 각각의 피사체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체를 상기 디스플레이 모듈 상에 더 디스플레이하는 단계;를 추가로 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  6. 제 1 항에 있어서, 상기 복수의 환경객체 중 적어도 하나는,
    실제 환경객체를 적어도 하나의 촬영지점에서 실제 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 카메라 워크에 따라 촬영한 동영상인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  7. 제 1 항에 있어서, 상기 복수의 환경객체 중 적어도 하나는,
    3D 가상 환경객체를 적어도 하나의 가상 촬영지점에서 가상 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 가상 카메라 워크에 따라 촬영한 것을 렌더링한 동영상인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  8. 제 7 항에 있어서, 상기 복수의 환경객체 중 적어도 하나는,
    3D 가상 환경객체, 상기 3D 가상 환경객체 상의 적어도 하나의 가상 촬영지점, 및 상기 가상 촬영지점에서 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 가상 카메라 워크를 갖는 로우(raw) 데이터인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  9. 제 8 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
    상기 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 로우 데이터를 렌더링하여 디스플레이하도록 하고,
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 로우 데이터를 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
  10. 환경객체를 선택 가능한 합성동영상 재생을 위한 컴퓨터 구현 방법에 있어서,
    합성동영상 재생 애플리케이션이 적어도 하나의 피사체 합성위치 및 상기 피사체 합성위치에 대응하는 적어도 하나의 카메라 워크를 포함하는 복수의 환경객체를 저장모듈에 저장하는 단계;
    합성동영상 재생 애플리케이션이 피사체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 상기 피사체에 대응하는 카메라 워크를 갖는 메타데이터와 연괌됨- 를 사용자 단말기의 디스플레이 모듈 상에 디스플레이하는 단계;
    상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 사용자 단말기의 입력부를 통해 사용자로부터 수신하는 단계;
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 각각의 상기 적어도 하나의 카메라 워크를 비교하고, 유사성이 높은 적어도 하나의 카메라 워크를 선택하고, 선택된 적어도 하나의 카메라 워크에 각각 대응하는 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 유사 환경객체를 결정하는 단계;
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 결정된 적어도 하나의 유사 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계;
    상기 합성동영상 재생 애플리케이션이 적어도 하나의 상기 유사 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 추출하여 상기 선택된 유사 환경객체의 피사체 합성위치에 배치한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  11. 제 10 항에 있어서,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체의 위치를 추출하는 단계;를 추가로 포함하고,
    상기 유사 환경객체를 결정하는 단계에서, 상기 추출된 피사체의 위치 및 상기 선택된 원본동영상의 상기 카메라 워크와 상기 복수의 환경객체 각각의 상기 적어도 하나의 피사체 합성위치 및 해당 적어도 하나의 카메라 워크를 더 비교하고, 각각의 유사성의 합이 높은 적어도 하나의 피사체 합성위치 및 카메라 워크에 대응하는 적어도 하나의 유사 환경객체를 결정하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  12. 제 11 항에 있어서,
    상기 추출된 피사체의 위치는 상기 원본동영상의 해당 프레임 상의 피사체의 위치인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  13. 제 10 항에 있어서,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체의 크기를 추출하는 단계; 및
    상기 합성동영상 재생 애플리케이션이 상기 선택된 유사 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고,
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체를 상기 선택된 유사 환경객체의 피사체 합성위치에 상기 선택된 유사 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  14. 제 10 항에 있어서, 상기 합성동영상 재생 애플리케이션은,
    상기 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 결정된 적어도 하나의 유사 환경객체 각각의 피사체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  15. 제 10 항에 있어서,
    상기 복수의 환경객체 중 적어도 하나는 실제 환경객체를 적어도 하나의 촬영지점에서 실제 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 카메라 워크에 따라 촬영한 동영상인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  16. 제 10 항에 있어서,
    상기 복수의 환경객체 중 적어도 하나는 3D 가상 환경객체를 적어도 하나의 가상 촬영지점에서 가상 카메라로 적어도 하나의 피사체 합성위치에 대응하게 적어도 하나의 가상 카메라 워크에 따라 촬영한 것을 렌더링한 동영상인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  17. 제 10 항에 있어서,
    상기 복수의 환경객체 중 적어도 하나는 3D 가상 환경객체, 상기 3D 가상 환경객체 상의 적어도 하나의 가상 촬영지점, 및 상기 가상 촬영지점에서 적어도 하나의 피사체 합성위치에 대응하는 적어도 하나의 가상 카메라 워크를 갖는 로우(raw) 데이터인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
  18. 제 17 항에 있어서,
    상기 결정된 적어도 하나의 유사 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 로우 데이터를 렌더링하여 디스플레이하도록 하고,
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 로우 데이터를 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
KR1020160172688A 2016-12-16 2016-12-16 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 KR101773891B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160172688A KR101773891B1 (ko) 2016-12-16 2016-12-16 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160172688A KR101773891B1 (ko) 2016-12-16 2016-12-16 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법

Publications (1)

Publication Number Publication Date
KR101773891B1 true KR101773891B1 (ko) 2017-09-01

Family

ID=59924022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160172688A KR101773891B1 (ko) 2016-12-16 2016-12-16 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법

Country Status (1)

Country Link
KR (1) KR101773891B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159834B1 (ko) 2020-07-13 2020-09-24 주식회사 제너럴이노베이션즈 카메라 이미지 합성 시스템
KR102192265B1 (ko) 2020-07-13 2020-12-17 주식회사 제너럴이노베이션즈 화상전화용 마이크
KR102219377B1 (ko) 2020-07-13 2021-02-24 주식회사 제너럴이노베이션즈 온라인 교육 플랫폼

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159834B1 (ko) 2020-07-13 2020-09-24 주식회사 제너럴이노베이션즈 카메라 이미지 합성 시스템
KR102192265B1 (ko) 2020-07-13 2020-12-17 주식회사 제너럴이노베이션즈 화상전화용 마이크
KR102219377B1 (ko) 2020-07-13 2021-02-24 주식회사 제너럴이노베이션즈 온라인 교육 플랫폼

Similar Documents

Publication Publication Date Title
JP2023036602A (ja) 拡張された仮想現実
JP7017175B2 (ja) 情報処理装置、情報処理方法、プログラム
US20140181630A1 (en) Method and apparatus for adding annotations to an image
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US10856037B2 (en) Augmented reality apparatus and method
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
WO2014094874A1 (en) Method and apparatus for adding annotations to a plenoptic light field
CN108986117B (zh) 视频图像分割方法及装置
US20190155465A1 (en) Augmented media
CN109074680A (zh) 基于通信的增强现实中实时图像和信号处理方法和系统
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
KR102337020B1 (ko) 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
KR101743888B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
KR20220126257A (ko) 실감형 가상 전시 공간 제공 방법 및 시스템
CN111652986B (zh) 舞台效果呈现方法、装置、电子设备及存储介质
Letellier et al. Providing adittional content to print media using augmented reality
CN111344744A (zh) 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统
JPH11174950A (ja) 情報処理装置及びその方法、コンピュータ可読メモリ
KR102622709B1 (ko) 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant