KR101940555B1 - 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법 - Google Patents

인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법 Download PDF

Info

Publication number
KR101940555B1
KR101940555B1 KR1020180010423A KR20180010423A KR101940555B1 KR 101940555 B1 KR101940555 B1 KR 101940555B1 KR 1020180010423 A KR1020180010423 A KR 1020180010423A KR 20180010423 A KR20180010423 A KR 20180010423A KR 101940555 B1 KR101940555 B1 KR 101940555B1
Authority
KR
South Korea
Prior art keywords
virtual content
resource
size
image
script file
Prior art date
Application number
KR1020180010423A
Other languages
English (en)
Inventor
목호용
Original Assignee
(주)비버스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비버스팩토리 filed Critical (주)비버스팩토리
Application granted granted Critical
Publication of KR101940555B1 publication Critical patent/KR101940555B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06K9/00281—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

이 발명은 인터넷을 통한 개인 방송 송출시 촬영중인 영상 이미지 또는 재생중인 영상 이미지 내에 다양한 방송 연출 효과를 가지는 가상 컨텐츠를 삽입하는 가상 컨텐츠 자동 삽입 시스템 및 방법에 관한 것이다.
이 발명에 따른 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템은, 리소스 파일 이름 및 저장 위치와, 가상 컨텐츠 표시 위치 결정 방식과, 가상 컨텐츠 크기 결정 방식을 포함하는 스크립트 파일과; 상기 스크립트 파일을 해석하는 스크립트 엔진과; 상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 결정된 크기 및 위치를 기반하여 신규 가상 컨텐츠 레이어에 상기 리소스 이미지를 배치하고, 영상 이미지 레이어와 상기 가상 컨텐츠 레이어를 중첩하여 합성하는 그래픽 엔진을 포함한다.

Description

인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법 {System and Method for Inserting Virtual Contents in An Internet Broadcasting}
이 발명은 인터넷을 통한 개인 방송 송출시, 영상 이미지 내에 다양한 방송 연출 효과를 가지는 가상 컨텐츠를 삽입하는 가상 컨텐츠 자동 삽입 시스템 및 방법에 관한 것으로서, 보다 상세하게는 촬영중인 라이브 영상 또는 미리 제작된 후 재생되는 영상에 다양한 방송 연출 효과의 가상 컨텐츠를 중첩하여 합성하는 가상 컨텐츠 삽입 시스템 및 방법에 관한 것이다.
통상적으로 방송은 정규 방송사가 프로그램을 미리 촬영, 편집, 제작하여 녹화 방송으로 내보내거나, 실시간으로 중계하였다. 그러나, 최근 인터넷을 기반으로 개인이 직접 동영상을 제작하여 송출하는 개인 방송이 인기를 끌고 있다. 이러한 인터넷 개인 방송인은 인터넷 방송 플랫폼에 따라 다양한 이름으로 불리우고 있는 바, 아프리카 TV에서는 BJ(Broadcaster Jockey)로, 트위치TV에서는 스트리머(Streamer)로, 유튜브에서는 유튜버(Youtuber), 크리에이터, 스트리머로, 카카오TV에서는 PD로, 네이버TV에서는 크리에이터로 부르고 있다. 여기서는, 1인 방송인을 통칭하여 '개인 방송인'으로 명명하기로 한다.
인터넷을 통한 개인 방송은, 그 방송 형태에 따라 라이브 방송과 녹화 방송으로 구분할 수 있다. 라이브 방송은 개인 방송인이 웹캠으로 촬영중인 동영상을 인터넷 방송 플랫폼을 통해 송출함으로써 이루어진다. 녹화 방송은 라이브 방송 중 일부를 편집하여 송출함으로써 이루어진다. 종래의 개인 방송은 소규모 제작진들에 의해 동영상 서비스가 이루어지기 때문에, 라이브 방송이나 녹화 방송에서 다양한 방송 연출 효과를 삽입하거나 광고를 삽입하는 등의 동영상 편집을 하기는 매우 어렵다.
대한민국 공개특허 제2014-0147308호 대한민국 공개특허 제2016-103897호 대한민국 등록특허 제0913069호
이 발명은 인터넷을 이용한 개인 방송에서 촬영중인 동영상 또는 미리 녹화된 후 재생중인 동영상에, 다양한 방송 연출 효과로 제작된 가상 컨텐츠를 각 레이어별로 삽입하고, 복수의 레이어를 중첩하여 합성함으로써, 다양한 방송 연출 효과를 구현할 수 있는 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법을 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 이 발명에 따른 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템은, 리소스 파일 이름 및 저장 위치와, 가상 컨텐츠 표시 위치 결정 방식과, 가상 컨텐츠 크기 결정 방식을 포함하는 스크립트 파일과;
상기 스크립트 파일을 해석하는 스크립트 엔진과;
상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 결정된 크기 및 위치를 기반하여 신규 가상 컨텐츠 레이어에 상기 리소스 이미지를 배치하고, 영상 이미지 레이어와 상기 가상 컨텐츠 레이어를 중첩하여 합성하는 그래픽 엔진을 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 인터넷 개인 방송에서 가상 컨텐츠 삽입 방법은, 메모리에 로딩되어 프로세서유닛에 의해 실행되는 가상 컨텐츠 삽입 모듈을 포함하는 가상 컨텐츠 삽입 시스템에서의 가상 컨텐츠 삽입 방법에 있어서,
상기 프로세서유닛이 리소스 파일 이름 및 저장 위치와, 가상 컨텐츠 표시 위치 결정 방식과, 가상 컨텐츠 크기 결정 방식을 포함하는 스크립트 파일을 실행하는 제1단계와;
상기 프로세서유닛이 상기 스크립트 파일을 해석하는 제2단계와;
상기 프로세서유닛이 상기 스크립트 파일의 해석 정보를 입력받아 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하는 제3단계와;
상기 프로세서유닛이 상기 결정된 크기 및 위치를 기반하여 신규 가상 컨텐츠 레이어에 상기 리소스 이미지를 배치하는 제4단계와;
상기 프로세서유닛이 영상 이미지 레이어와 상기 가상 컨텐츠 레이어를 중첩하여 합성하는 제5단계를 포함한 것을 특징으로 한다.
이 발명에 따르면 인터넷을 이용한 개인 방송에서 개인 방송인이 촬영중인 영상 이미지 또는 재생중인 영상 이미지에 다양한 방송 연출 효과를 손쉽게 구현할 수 있는 잇점이 있다.
도 1은 일반적인 인터넷을 통한 개인 방송 환경을 도시한 도면이다.
도 2는 이 발명에 따른 가상 컨텐츠 삽입 시스템이 포함된 개인 방송인 단말기의 구성도이다.
도 3은 이 발명에 따른 가상 컨텐츠 삽입 모듈을 포함하는 방송인 클라이언트의 실시간 화면 구성도이다.
도 4는 이 발명에 따른 가상 컨텐츠 삽입 모듈의 세부 구성 블록도이다.
도 5는 이 발명에 따라 연출 효과 아이템이 외부 선택 위치에 표시되는 가상 컨텐츠 삽입 상태를 도시한 예시도이다.
도 6은 이 발명에 따라 연출 효과 아이템이 얼굴 중첩 위치에 표시되는 가상 컨텐츠 삽입 상태를 도시한 예시도이다.
도 7은 이 발명에 따른 가상 컨텐츠 삽입 방법을 도시한 동작 흐름도이다.
이하, 이 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 이 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 이 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 이 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일반적인 인터넷을 통한 개인 방송 환경을 도시한 도면이다. 실시간 개인 방송 시스템은, 초고속 통신망으로 연결된 인터넷 등과 같은 네트워크(110)에 연결된 적어도 하나의 개인 방송인 클라이언트들(121,122,123)과, 인터넷 방송 플랫폼(130), 및 적어도 하나의 시청자 클라이언트들(141,142,143)로 구성된다.
개인 방송인 클라이언트들(121,122,123)은 각각 자신이 방송하고자 하는 멀티미디어 콘텐츠에 대한 방송 채널을 개설하고, 해당 멀티미디어 콘텐츠 데이터를 인코딩하여 네트워크(110)를 통해 스트리밍 전송한다. 시청자 클라이언트들(141,142,143)는 개인 방송인 클라이언트들(121,122,123)로부터 인코딩된 방송 데이터를 전송받아 이를 멀티미디어 콘텐츠로 디코딩하여 모니터 및 스피커로 출력한다. 인터넷 방송 플랫폼(130)은 실시간 개인 방송 시스템에 접속한 시청자 클라이언트들(141,142,143)에게 현재 방송되고 있는 방송 채널 정보를 제공하여, 시청자 클라이언트들(141,142,143)이 방송 채널에 연결될 수 있도록 한다. 인터넷 방송 플랫폼(130)에는 유튜브, 아프리카 TV, 트위치, YYTV 등이 포함된다.
이 발명에 따른 가상 컨텐츠 삽입 시스템은 개인 방송인 클라이언트들(141,142,143)에 설치되어, 멀티미디어 방송 컨텐츠에 다양한 방송 연출 효과를 구현하는 가상 컨텐츠를 삽입하는 기능을 수행한다. 여기서, 가상 컨텐츠란, 실사 동영상에 존재하지 않는 가상의 그래픽, 정지영상, 2차원 애니메이션, VOD, 음향 등으로서, 실사 동영상에 상술한 가상 컨텐츠들 중 하나 이상을 결합하여, 방송 영상의 재미를 극대화할 수 있다.
도 2는 이 발명에 따른 가상 컨텐츠 삽입 시스템이 포함된 개인 방송인 단말기의 구성도이다.
통상적으로 이 개인 방송인 단말기는, 메모리(210), 프로세서유닛(220), 복수의 주변장치를 포함한다. 주변장치로서는, 통신부(230), 모니터(240), 입력부(250), 카메라(260), 마이크(270)가 포함된다.
프로세서유닛(220)은 메모리인터페이스(221)와, 하나 이상의 프로세서(222), 및 주변장치 인터페이스(223)를 포함한다. 경우에 따라서, 프로세서유닛 전체를 프로세서로 칭하기도 한다. 메모리인터페이스(221), 하나 이상의 프로세서(222) 및/또는 주변장치 인터페이스(223)는 별개의 구성요소이거나 하나 이상의 집적화된 회로에 집적화될 수 있다. 프로세서(222)는 여러 가지의 소프트웨어 프로그램을 실행하여 개인 방송인 단말기를 위한 여러 기능을 수행하며, 메모리(210)에 저장되어 있는 특정 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 여러 가지의 기능을 수행한다. 주변장치 인터페이스(223)는 여러 가지 주변장치를 프로세서(222) 및 메모리(메모리 인터페이스를 통하여)(210)에 연결시킨다.
통신부(230)는 통상의 통신 프로토콜을 통해 인터넷 방송 플랫폼과 개인 방송인 단말기를 연결한다. 모니터(240)는 화면 출력장치를 포함하고, 입력부(250)는 키보드 또는 마우스 등의 사용자 입력장치를 포함한다. 카메라(260)와 마이크(270)는 웹캠으로 구현될 수 있으며, 촬영 환경의 멀티미디어 데이터(영상 데이터와 오디오 데이터)를 획득한다.
메모리(210)는 소프트웨어 프로그램을 저장한다. 소프트웨어에는 운영체제모듈(211), 통신모듈(222), 그래픽모듈(223), 사용자인터페이스모듈(214), 인터넷 방송 송출 모듈(215), 가상 컨텐츠 삽입 모듈(216)이 포함된다. 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈은 명령어 세트라고 표현하기도 하고, 프로그램으로 표현하기도 한다.
운영체제모듈(211)은 일반적인 시스템 작동을 제어하는 여러 가지 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어 제어 및 관리, 전력 제어 및 관리를 의미한다. 운영체제모듈(211)은 여러 가지 하드웨어 장치와 소프트웨어 구성요소 사이의 통신을 원활하게 하는 기능을 수행한다. 통신모듈(212)은 통신부(230)를 통해 인터넷 방송 플랫폼과 통신을 가능하게 한다. 그래픽모듈(213)은 인터넷 방송 컨텐츠를 모니터(240) 상에 그래픽으로 표시하기 위한 여러 가지 소프트웨어 구성요소들을 포함한다. 사용자 인터페이스 모듈(214)은 사용자 인터페이스에 관련된 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스의 상태의 변경이 어떤 조건에서 이루어지는 지에 대한 내용을 포함한다.
인터넷 방송 송출 모듈(215)은 인터넷 방송 컨텐츠를 인터넷 방송 플랫폼으로 송출하는 소프트웨어 구성요소를 포함한다. 이 인터넷 방송 송출 모듈(215)은 인터넷 방송 플랫폼에서 제공받아 설치된다.
가상 컨텐츠 삽입 모듈(216)은 촬영중 영상 또는 재생중 영상에 다양한 방송 연출 효과를 구현하는 가상 컨텐츠를 삽입하여 인터넷 방송 컨텐츠를 생성하는 기능을 한다. 이렇게 생성된 인터넷 방송 컨텐츠는 모니터(240) 상에 표시되어 개인 방송인이 이를 인지할 수 있도록 함과 아울러 인터넷 방송 플랫폼으로 송출되어 시청자 클라이언트에게로 전송된다. 둘 이상의 가상 컨텐츠가 선택되면, 각 가상 컨텐츠는 별개의 레이어로 제작되어 레이어들을 중첩함으로써, 둘 이상의 방송 연출 효과를 구현할 수 있다.
도 3은 이 발명에 따른 가상 컨텐츠 삽입 모듈을 포함하는 방송인 클라이언트의 실시간 화면 구성도이다.
방송인 클라이언트의 모니터 화면은 인터넷 방송 컨텐츠 표시영역(310)과, 메뉴표시영역(320)으로 나누어진다. 인터넷 방송 컨텐츠 표시영역(310)에는 촬영중 동영상 또는 미리 제작된 동영상이 표시되거나, 또는 이러한 실사 동영상에 메뉴표시영역(320)에서 선택된 가상 컨텐츠 아이템이 결합되어 표시된다. 메뉴표시영역(320)에는 다양한 가상 컨텐츠 아이템 아이콘이 표시된다. 개인 방송인이 메뉴표시영역(320)의 임의의 가상 컨텐츠 아이템 아이콘을 선택하면 이 발명에 따른 가상 컨텐츠 삽입 모듈이 동작하여 개인 방송인이 선택한 가상 컨텐츠 아이템에 대응하는 아이템 파일이 실행되어 해당 가상 컨텐츠가 화면에 표시된다. 가상 컨텐츠 아이템은 이모티콘 아이템들과 스티커 아이템들과 이펙트 아이템들로 분류될 수 있다. 개인 방송인은 둘 이상의 가상 컨텐츠 아이템을 선택할 수 있다.
가상 컨텐츠 아이템들은 2차원 애니메이션 컨텐츠, 3차원 입체 컨텐츠, 화면 필터링 컨텐츠, 음향 컨텐츠, VOD(Video on Demand) 컨텐츠 중 하나 또는 둘 이상이 중첩된 컨텐츠로서, 다양한 방송 연출 효과를 구현하는 컨텐츠들이다. 각 아이템들이 배치되는 위치는 개인 방송인이 지정하는 선택 위치 또는 영상 이미지에 포함된 얼굴영역 또는 해당 영상 이미지의 전체 화면 영역일 수 있다.
개인 방송인이 하나의 아이템 아이콘을 선택하면, 신규 레이어에 해당 아이템 아이콘에 대응하는 가상 컨텐츠가 생성되어 촬영중 또는 재생중 영상과 중첩되어 표시된다. 이 상태에서 개인 방송인이 다른 아이템 아이콘을 선택하면, 신규 레이어에 두 번째로 선택된 아이템 아이콘에 대응하는 가상 컨텐츠가 생성되어 촬영중 또는 재생중 동영상과 두 레이어가 중첩되어 표시된다. 각 가상 컨텐츠 아이템마다 레이어 순위가 미리 결정될 수 있고, 개인 방송인의 최근 선택 가상 컨텐츠 아이템의 레이어가 최상위가 되도록 설정할 수도 있다. 둘 이상의 레이어 중첩시 레이어의 순위를 기반으로 중첩하여 합성한다.
도 4는 이 발명에 따른 가상 컨텐츠 삽입 모듈의 세부 구성 블록도이다.
이 발명에 따른 가상 컨텐츠 삽입 모듈(216)은 아이템 파일(411)과, 스크립트 엔진(412)과, 그래픽 엔진(413)과, 얼굴인식모듈(414)과, 얼굴각도추정모듈(415)을 포함한다.
아이템 파일(411)은 리소스 파일과 스크립트 파일이 결합된 형태이다. 스크립트 파일은 스크립트 엔진이 읽을 수 있는 텍스트 형태의 파일이다. 이 스크립트 파일에는 리소스 파일 이름 및 저장 위치, 가상 컨텐츠 표시 위치 결정 방식(외부 선택 위치, 얼굴 중첩 위치), 가상 컨텐츠 크기 결정 방식(얼굴 크기 기반, 화면 크기 기반), 얼굴영역 인식 필요 여부, 얼굴각도 인식 필요 여부, 화면에 출력하기 위한 정의와 동작과 값에 대한 처리 시나리오, 사용되는 영상 필터, 사용되는 액션 효과, 외부 입력 처리 방식 등이 미리 정의된 규칙 등이 포함된다.
여기서, 가상 컨텐츠 표시 위치가 외부 선택 위치라 함은 도 5에 도시된 바와 같이 개인 방송인이 다양한 입력부를 이용하여 직접 선택하는 위치를 말한다. 이때, 가상 컨텐츠의 크기는 동영상 이미지의 전체 화면 크기의 특정 비율로서 정해진다. 한편, 가상 컨텐츠 표시 위치가 얼굴 중첩 위치라 함은 도 6에 도시된 바와 같이 개인 방송인의 얼굴영역을 인식 후 해당 얼굴영역에 가상 컨텐츠를 중첩하여 표시하는 것이다. 이때, 가상 컨텐츠의 크기는 얼굴영역의 크기에 기반하여 계산된다.
리소스파일은 스크립트 파일에 정의된 객체가 처리할 대상으로서, 화면에 표시되는 구체적인 정보이다. 예컨대, 3차원 객체를 그릴 수 있는 정보, 2차원 이미지를 표현할 수 있는 이미지 값, 사운드를 재생할 수 있는 음원 데이터 등이 포함된다. 하나의 아이템 파일에 둘 이상의 리소스 파일이 중첩되어 적용될 수도 있다.
아이템 파일(411)에 포함된 스크립트 파일은 NSAPI 맵핑 규칙을 통해 스크립트 엔진(412)에 값을 전달한다. 스크립트 엔진(412)은 스크립트 파일의 텍스트를 이해하고 미리 정해진 규칙을 수행한다. 이 스크립트 엔진(412)은 NSAPI 맵핑 규칙에 따라 전달받은 데이터를 이용하여 실제 C언어 또는 C++언어로 만들어진 객체를 동작시키거나 값을 변경시킨다. 스크립트 엔진(412)을 통해 동작된 객체들은 그래픽 엔진(413)으로 전달된다.
그래픽 엔진(413)은 전달받은 객체에 대응되는 리소스 파일과, 촬영중 영상 이미지 또는 재생중 영상 이미지를 기반으로 화면을 구성한 후, 인터넷 방송 플랫폼(130)과 모니터(240)의 인터넷 방송 컨텐츠 표시영역(310)으로 전송한다. 이때, 스크립트 파일의 얼굴영역 인식 필요 여부 및 얼굴각도 인식 필요 여부에 따라, 그래픽 엔진(413)은 촬영중 영상 이미지 또는 재생중 영상 이미지를 얼굴인식모듈(414)로 전달하여 해당 영상 이미지에서 개인 방송인의 얼굴영역 정보를 획득하고, 얼굴각도추정모듈(415)로 전달하여 얼굴의 회전각도 정보를 획득하기도 한다.
얼굴인식모듈(414)은 얼굴인식 DLIB(Distribution LIBrary) 기반 프로그램으로서, 영상 이미지 데이터를 입력받고, 입력된 영상 이미지와 머신러닝을 통해 특징이 추출된 Face Feature Object를 비교하여 영상 이미지에서 얼굴 특징이 될 수 있는 68개의 점을 출력값으로 제공한다. 얼굴인식모듈(414)는 얼굴인식 DLIB 이외에 Luxand의 FaceSDK와 OpenCV로 대체하여 구현할 수 있다. 얼굴각도추정모듈(415)은 OpenCV(Open Source Computer Vision)로서, 얼굴인식모듈(414)을 통해 인식된 얼굴 이미지 데이터를 입력받고 해당 얼굴 이미지에서 각도를 추정하여 얼굴각도 값을 출력한다.
도 7은 이 발명에 따른 얼굴인식을 이용한 광고 삽입 방법을 도시한 동작 흐름도이다.
먼저, 개인 방송인이 개인 방송 송출 프로그램과 이 발명에 따른 가상 컨텐츠 삽입 프로그램을 실행시키면, 개인 방송 플랫폼으로 송출되는 인터넷 방송 컨텐츠가 표시되는 표시영역과 이 발명에서 서비스하는 가상 컨텐츠 아이템 아이콘이 표시된 메뉴표시영역을 포함하여 모니터 화면에 출력한다(S71). 이때, 이 발명에 따른 가상 컨텐츠 삽입 모듈이 메모리 상에 업로드되고 프로세서에 의해 실행된다.
개인 방송인 또는 그의 협력자가 임의의 가상 컨텐츠 아이템 아이콘을 선택하면, 가상 컨텐츠 삽입 모듈은 선택된 가상 컨텐츠 아이템을 인지하고(S72), 아이템 파일을 실행하고 스크립트 파일을 오픈한다(S73).
그리고, 스크립트 엔진을 이용하여 아이템 파일의 스크립트 파일의 텍스트를 해석한다(S74). 해석된 정보는 그래픽 엔진으로 전달된다.
그래픽 엔진은 얼굴인식모듈과 얼굴각도추정모듈을 실행하여 카메라로부터 입력되는 촬영중 영상 이미지 또는 미리 제작되어 저장된 후 재생중인 영상 이미지로부터 얼굴영역과 얼굴각도를 인식한다(S75).
그래픽 엔진은 외부 선택 위치, 얼굴영역의 크기, 각도 및 위치, 영상 이미지의 화면 크기 등을 기반으로 가상 컨텐츠 아이템 파일에 대응되는 리소스 이미지의 크기, 각도 및 위치를 변형하고(S76), 신규 레이어를 생성하여 변형된 리소스 이미지를 배치하며(S77), 영상 이미지와 단계 S77에서 리소스 이미지가 배치된 레이어를 중첩하여 합성한다(S78). 합성된 이미지는 모니터 화면에 출력되고 아울러 개인 방송 플랫폼으로 전송된다.
단계 S76은, 가상 컨텐츠 아이템 파일의 스크립트 파일에 설정된 가상 컨텐츠 표시 위치 결정 방식과 가상 컨텐츠 크기 결정 방식에 따라 수행된다. 가상 컨텐츠 표시 위치 결정 방식이 외부 선택 위치이면 입력부를 통해 입력되는 지정 위치를 리소스 이미지의 표시 위치로 결정한다. 가상 컨텐츠 표시 위치 결정 방식이 얼굴 중첩 위치이면 얼굴인식모듈에 의해 인식된 얼굴영역의 위치를 리소스 이미지의 표시 위치로 결정한다. 또한, 가상 컨텐츠 크기 결정 방식이 얼굴 크기 기반이면 얼굴인식모듈에 의해 인식된 얼굴영역의 크기 및 얼굴각도추정모듈에 의해 인식된 얼굴각도를 기반하여 리소스 이미지의 크기 및 회전각도를 결정하고, 가상 컨텐츠 크기 결정 방식이 화면 크기 기반이면 영상 이미지의 화면 크기의 기설정된 비율로서 리소스 이미지의 크기를 결정한다.
도 5는 가상 컨텐츠 표시 위치 결정 방식이 외부 선택 위치이고 가상 컨텐츠 크기 결정 방식이 화면 크기 기반인 가상 컨텐츠 아이템이 표시된 상태를 도시한다. 도 6은 2가지 리소스 이미지가 결합된 상태로서, 가상 컨텐츠 표시 위치 결정 방식이 얼굴 중첩 위치이고 가상 컨텐츠 크기 결정 방식이 얼굴 크기 기반인 리소스 이미지와, 화면 전체에 적용되는 화면 필터링 리소스 이미지가 중첩되어 적용된 상태를 도시한다.
개인 방송인이 다른 가상 컨텐츠 아이템을 추가로 선택하면, 단계 S72로 진행하여 다른 레이어에 추가로 선택된 가상 컨텐츠 아이템을 배치하여 영상 이미지와 미리 선택된 가상 컨텐츠의 레이어와 추가 선택된 가상 컨텐츠의 레이어가 중첩되어 배치되도록 한다. 이때, 두 레이어의 배치 순서는 미리 설정된 우선순위에 따라 결정될 수도 있고, 추가 선택된 가상 컨텐츠의 레이어가 상위에 배치되도록 결정될 수도 있다.
411 : 아이템 파일 412 : 스크립트 엔진
413 : 그래픽 엔진 414 : 얼굴인식모듈
415 : 얼굴각도추정모듈

Claims (16)

  1. 영상에 다양한 방송 연출 효과를 구현하는 가상 컨텐츠를 삽입하여 인터넷 방송 컨텐츠를 생성하는 가상 컨텐츠 삽입 모듈을 포함하는 방송인 클라이언트에서의 가상 컨텐츠 삽입 시스템에 있어서,
    상기 방송인 클라이언트의 모니터 화면은, 다수의 가상 컨텐츠 아이템 아이콘이 표시되는 메뉴표시영역과, 상기 다수의 가상 컨텐츠 아이템 아이콘 중 선택된 가상 컨텐츠 아이템과 상기 영상이 결합된 인터넷 방송 컨텐츠가 표시되는 인터넷 방송 컨텐츠 표시영역을 포함하고;
    상기 가상 컨텐츠 삽입 모듈은, 상기 선택된 가상 컨텐츠 아이템 아이콘에 대응되고, 텍스트 형태의 스크립트 파일과, 상기 스크립트 파일에 정의된 객체의 처리 대상인 리소스 파일이 결합된 가상 컨텐츠 아이템 파일과; 상기 스크립트 파일을 NSAPI 맵핑 규칙 기반으로 해석하는 스크립트 엔진과; 상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 결정된 크기 및 위치를 기반하여 신규 가상 컨텐츠 레이어에 상기 리소스 이미지를 배치하고, 영상 이미지 레이어와 상기 가상 컨텐츠 레이어를 중첩하여 합성하는 그래픽 엔진을 포함하며;
    상기 스크립트 파일은 상기 리소스 파일 이름 및 저장 위치, 가상 컨텐츠 표시 위치 결정 방식, 및 가상 컨텐츠 크기 결정 방식이 포함된 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  2. 제 1 항에 있어서, 상기 영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 얼굴인식모듈을 더 포함하고,
    상기 스크립트 파일은 얼굴영역 인식 필요 여부를 더 포함하며,
    상기 그래픽 엔진은 상기 리소스 이미지의 크기 및 위치를 상기 얼굴영역의 크기 및 위치를 기반으로 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  3. 제 2 항에 있어서, 상기 영상 이미지로부터 얼굴각도 정보를 획득하는 얼굴각도추정모듈을 더 포함하고,
    상기 스크립트 파일은 얼굴각도 인식 필요 여부를 더 포함하며,
    상기 그래픽 엔진은 상기 리소스 이미지의 회전각도를 상기 얼굴각도를 기반으로 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  4. 제 1 항에 있어서, 상기 그래픽 엔진은 상기 영상 이미지의 화면 크기를 기반으로 상기 리소스 이미지의 크기를 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  5. 제 1 항에 있어서, 상기 그래픽 엔진은 외부 선택 위치로 상기 리소스 이미지의 위치를 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  6. 제 1 항에 있어서, 상기 그래픽 엔진은 서로 다른 리소스 이미지가 배치된 둘 이상의 가상 컨텐츠 레이어들을 중첩하는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  7. 제 6 항에 있어서, 상기 가상 컨텐츠 레이어들의 중첩 순서는 기설정된 우선순위에 따라 배치되는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  8. 제 6 항에 있어서, 상기 가상 컨텐츠 레이어들의 중첩 순서는 선택 순서에 기반하여 배치되는 것을 특징으로 하는 가상 컨텐츠 삽입 시스템.
  9. 메모리에 로딩되어 프로세서유닛에 의해 실행되고, 영상에 다양한 방송 연출 효과를 구현하는 가상 컨텐츠를 삽입하여 인터넷 방송 컨텐츠를 생성하는 가상 컨텐츠 삽입 모듈을 포함하는 방송인 클라이언트에서의 가상 컨텐츠 삽입 방법에 있어서,
    상기 프로세서유닛이 다수의 가상 컨텐츠 아이템 아이콘이 표시되는 메뉴표시영역과, 인터넷 방송 컨텐츠가 표시되는 인터넷 방송 컨텐츠 표시영역을 포함하는 모니터 화면을 출력하는 제1단계와;
    상기 다수의 가상 컨텐츠 아이템 아이콘 중 하나가 선택되면, 상기 선택된 가상 컨텐츠 아이템 아이콘에 대응되는 리소스 파일과 결합된 스크립트 파일이 실행되는 제2단계와;
    상기 가상 컨텐츠 삽입 모듈이 상기 스크립트 파일을 NSAPI 맵핑 규칙 기반으로 해석하는 제3단계와;
    상기 가상 컨텐츠 삽입 모듈이 상기 스크립트 파일의 해석 정보를 기반으로 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 결정된 크기 및 위치를 기반하여 신규 가상 컨텐츠 레이어에 상기 리소스 이미지를 배치하고, 영상 이미지 레이어와 상기 가상 컨텐츠 레이어를 중첩하여 합성하는 제4단계를 포함하고;
    상기 스크립트 파일은 상기 리소스 파일 이름 및 저장 위치, 가상 컨텐츠 표시 위치 결정 방식, 및 가상 컨텐츠 크기 결정 방식이 포함된 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  10. 제 9 항에 있어서, 상기 가상 컨텐츠 삽입 모듈이 상기 영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 제5단계를 더 포함하고,
    상기 스크립트 파일은 얼굴영역 인식 필요 여부를 더 포함하며,
    상기 제4단계는 상기 가상 컨텐츠 삽입 모듈이 상기 리소스 이미지의 크기 및 위치를 상기 얼굴영역의 크기 및 위치를 기반으로 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  11. 제 10 항에 있어서, 상기 가상 컨텐츠 삽입 모듈이 상기 영상 이미지로부터 얼굴각도 정보를 획득하는 제6단계를 더 포함하고,
    상기 스크립트 파일은 얼굴각도 인식 필요 여부를 더 포함하며,
    상기 제4단계는 상기 가상 컨텐츠 삽입 모듈이 상기 리소스 이미지의 회전각도를 상기 얼굴각도를 기반으로 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  12. 제 9 항에 있어서, 상기 제4단계는 상기 가상 컨텐츠 삽입 모듈이 상기 영상 이미지의 화면 크기를 기반으로 상기 리소스 이미지의 크기를 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  13. 제 9 항에 있어서, 상기 제4단계는 상기 가상 컨텐츠 삽입 모듈이 외부 선택 위치로 상기 리소스 이미지의 위치를 결정하는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  14. 제 9 항에 있어서, 상기 제4단계는 상기 가상 컨텐츠 삽입 모듈이 서로 다른 리소스 이미지가 배치된 둘 이상의 가상 컨텐츠 레이어들을 중첩하는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  15. 제 14 항에 있어서, 상기 가상 컨텐츠 레이어들의 중첩 순서는 기설정된 우선순위에 따라 배치되는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.
  16. 제 14 항에 있어서, 상기 가상 컨텐츠 레이어들의 중첩 순서는 선택 순서에 기반하여 배치되는 것을 특징으로 하는 가상 컨텐츠 삽입 방법.

KR1020180010423A 2017-09-01 2018-01-29 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법 KR101940555B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170111899 2017-09-01
KR20170111899 2017-09-01

Publications (1)

Publication Number Publication Date
KR101940555B1 true KR101940555B1 (ko) 2019-01-21

Family

ID=65277518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010423A KR101940555B1 (ko) 2017-09-01 2018-01-29 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101940555B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913069B1 (ko) 2007-06-29 2009-08-21 주식회사 다음커뮤니케이션 실시간 개인 방송 시스템 및 방법
KR20120037712A (ko) * 2010-10-12 2012-04-20 에스케이플래닛 주식회사 가상 미용체험 서비스 시스템 및 방법
KR20120040407A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR20120066773A (ko) * 2010-12-15 2012-06-25 고스트리트(주) 휴대용 단말기를 이용한 가상 화장 방법
KR20120137021A (ko) * 2011-06-10 2012-12-20 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
KR20140147308A (ko) 2013-06-19 2014-12-30 심성규 얼굴인식을 이용한 캐릭터 제작 방법 및 이를 지원하는 단말
KR20150035282A (ko) * 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR20160103897A (ko) 2015-02-25 2016-09-02 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913069B1 (ko) 2007-06-29 2009-08-21 주식회사 다음커뮤니케이션 실시간 개인 방송 시스템 및 방법
KR20120037712A (ko) * 2010-10-12 2012-04-20 에스케이플래닛 주식회사 가상 미용체험 서비스 시스템 및 방법
KR20120040407A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR20120066773A (ko) * 2010-12-15 2012-06-25 고스트리트(주) 휴대용 단말기를 이용한 가상 화장 방법
KR20120137021A (ko) * 2011-06-10 2012-12-20 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
KR20140147308A (ko) 2013-06-19 2014-12-30 심성규 얼굴인식을 이용한 캐릭터 제작 방법 및 이를 지원하는 단말
KR20150035282A (ko) * 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR20160103897A (ko) 2015-02-25 2016-09-02 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법

Similar Documents

Publication Publication Date Title
US10735798B2 (en) Video broadcast system and a method of disseminating video content
KR101915786B1 (ko) 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법
WO2017107758A1 (zh) 应用于图像或视频的ar显示系统及方法
US8436891B2 (en) Hyperlinked 3D video inserts for interactive television
CN110798697B (zh) 视频显示方法、装置、系统以及电子设备
US10750088B2 (en) System and method for identifying comment clusters for panoramic content segments
US9965900B2 (en) Personalized video-based augmented reality
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
US11659250B2 (en) System and method for exploring immersive content and immersive advertisements on television
EP3776480A1 (en) Method and apparatus for generating augmented reality images
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US10764655B2 (en) Main and immersive video coordination system and method
KR101940555B1 (ko) 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
CN116962745A (zh) 视频图像的混画方法、装置及直播系统
US20220207848A1 (en) Method and apparatus for generating three dimensional images
KR102417084B1 (ko) 멀티채널 미디어 송수신 방법 및 시스템
KR20200005966A (ko) 중계 서버, 컨텐츠 생성 장치 및 이들을 포함하는 컨텐츠 생성 시스템
Demiris et al. Enhanced sports broadcasting by means of augmented reality in MPEG-4
WO2023194942A1 (en) A media streaming network and processes
Series Collection of usage scenarios and current statuses of advanced immersive audio-visual systems
CN117793393A (zh) 分屏直播方法和装置

Legal Events

Date Code Title Description
GRNT Written decision to grant