KR101915792B1 - 얼굴인식을 이용한 광고 삽입 시스템 및 방법 - Google Patents

얼굴인식을 이용한 광고 삽입 시스템 및 방법 Download PDF

Info

Publication number
KR101915792B1
KR101915792B1 KR1020180010426A KR20180010426A KR101915792B1 KR 101915792 B1 KR101915792 B1 KR 101915792B1 KR 1020180010426 A KR1020180010426 A KR 1020180010426A KR 20180010426 A KR20180010426 A KR 20180010426A KR 101915792 B1 KR101915792 B1 KR 101915792B1
Authority
KR
South Korea
Prior art keywords
face
image
resource
advertisement
size
Prior art date
Application number
KR1020180010426A
Other languages
English (en)
Inventor
목호용
Original Assignee
(주)비버스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비버스팩토리 filed Critical (주)비버스팩토리
Application granted granted Critical
Publication of KR101915792B1 publication Critical patent/KR101915792B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

이 발명은 인터넷 라이브 방송에서 개인 방송인이 자신의 방송 내에 실시간으로 다양한 광고 컨텐츠를 삽입할 수 있도록 하는 광고 삽입 시스템 및 방법에 관한 것이다.
이 발명에 따른 얼굴인식을 이용한 광고 삽입 시스템은, 리소스 파일 이름 및 저장 위치와, 광고 표시 위치 결정 방식과, 광고 이미지 크기 결정 방식과, 얼굴영역 인식 필요 여부와, 얼굴각도 인식 필요 여부를 포함하는 스크립트 파일과; 상기 스크립트 파일을 해석하는 스크립트 엔진과; 영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 얼굴인식모듈과; 상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴인식모듈에서 획득한 상기 얼굴영역의 위치 및 크기 정보를 기반으로 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 영상 이미지에 상기 리소스 이미지를 삽입하는 그래픽 엔진을 포함한다.

Description

얼굴인식을 이용한 광고 삽입 시스템 및 방법 {System and Method for Inserting an Advertisement Using Face Recognition}
이 발명은 인터넷 라이브 방송 또는 녹화 방송에서 개인 방송인이 방송 컨텐츠 내에 실시간으로 다양한 광고 컨텐츠를 삽입할 수 있도록 하는 광고 삽입 시스템 및 방법에 관한 것으로서, 보다 상세하게는 삽입되는 광고 컨텐츠의 종류에 따라 개인 방송인의 얼굴영역 및 얼굴각도를 인식하고 인식된 얼굴영역 및 얼굴각도에 따라 광고 이미지를 변형하여 영상 컨텐츠 내에 삽입하여 방송용 영상 컨텐츠를 생성하는 광고 삽입 시스템 및 방법에 관한 것이다.
통상적으로 방송은 정규 방송사가 프로그램을 미리 촬영, 편집, 제작하여 녹화 방송으로 내보내거나, 실시간으로 중계하였다. 그러나, 최근 인터넷을 기반으로 개인이 직접 동영상을 제작하여 송출하는 개인 방송이 인기를 끌고 있다. 이러한 인터넷 개인 방송인은 인터넷 방송 플랫폼에 따라 다양한 이름으로 불리우고 있는 바, 아프리카 TV에서는 BJ(Broadcaster Jockey)로, 트위치TV에서는 스트리머(Streamer)로, 유튜브에서는 유튜버(Youtuber), 크리에이터, 스트리머로, 카카오TV에서는 PD로, 네이버TV에서는 크리에이터로 부르고 있다. 여기서는, 1인 방송인을 통칭하여 '개인 방송인'으로 명명하기로 한다.
인터넷을 통한 개인 방송은, 그 방송 형태에 따라 라이브 방송과 녹화 방송으로 구분할 수 있다. 라이브 방송은 개인 방송인이 웹캠으로 촬영중인 동영상을 인터넷 방송 플랫폼을 통해 송출함으로써 이루어진다. 녹화 방송은 라이브 방송 중 일부를 편집하여 송출함으로써 이루어진다. 종래의 개인 방송은 소규모 제작진들에 의해 동영상 서비스가 이루어지기 때문에, 라이브 방송이나 녹화 방송에서 다양한 방송연출 효과를 삽입하거나 광고를 삽입하는 등의 동영상 편집을 하기는 매우 어렵다.
대한민국 공개특허 제2014-0147308호 대한민국 공개특허 제2016-103897호 대한민국 등록특허 제0913069호
이 발명은 인터넷을 이용한 개인 방송에서 개인 방송인이 동영상 컨텐츠에 다양한 방송연출 효과로 제작된 광고 컨텐츠를 삽입할 수 있도록 하는 광고 삽입 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 이 발명은 광고 컨텐츠의 종류에 따라 개인 방송인의 얼굴영역 및 얼굴각도를 인식하고, 인식된 얼굴영역 및 얼굴각도에 따라 광고 컨텐츠를 변형하여 방송용 영상 내에 삽입하여 방송되도록 하는 광고 삽입 시스템 및 방법을 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 이 발명에 따른 얼굴인식을 이용한 광고 삽입 시스템은, 리소스 파일 이름 및 저장 위치와, 광고 표시 위치 결정 방식과, 광고 이미지 크기 결정 방식과, 얼굴영역 인식 필요 여부와, 얼굴각도 인식 필요 여부를 포함하는 스크립트 파일과;
상기 스크립트 파일을 해석하는 스크립트 엔진과;
영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 얼굴인식모듈과;
상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴인식모듈에서 획득한 상기 얼굴영역의 위치 및 크기 정보를 기반으로 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 영상 이미지에 상기 리소스 이미지를 삽입하는 그래픽 엔진을 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 얼굴인식을 이용한 광고 삽입 방법은, 메모리에 로딩되어 프로세서유닛에 의해 실행되는 광고 삽입 모듈을 포함하는 광고 삽입 시스템에서의 얼굴인식을 이용한 광고 삽입 방법에 있어서,
리소스 파일 이름 및 저장 위치와, 광고 표시 위치 결정 방식과, 광고 이미지 크기 결정 방식과, 얼굴영역 인식 필요 여부와, 얼굴각도 인식 필요 여부를 포함하는 스크립트 파일을 실행하는 제1단계와;
상기 스크립트 파일을 해석하는 제2단계와;
영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 제3단계와;
상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴영역의 위치 및 크기 정보를 기반으로 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 영상 이미지에 상기 리소스 이미지를 삽입하는 제4단계를 포함한 것을 특징으로 한다.
이 발명에 따르면 인터넷을 이용한 라이브 개인 방송에서 개인 방송인이 임의의 동영상 컨텐츠에 다양한 방송연출 효과로 제작된 광고 컨텐츠를 손쉽게 삽입할 수 있는 잇점이 있다.
도 1은 일반적인 인터넷을 통한 개인 방송 환경을 도시한 도면이다.
도 2는 이 발명에 따른 얼굴인식을 이용한 광고 삽입 시스템이 포함된 개인 방송인 단말기의 구성도이다.
도 3은 이 발명에 따른 광고 삽입 모듈을 포함하는 방송인 클라이언트의 실시간 화면 구성도이다.
도 4는 이 발명에 따른 광고 아이템 파일이 실행되는 광고 삽입 모듈의 세부 구성 블록도이다.
도 5는 이 발명에 따라 광고 아이템이 얼굴 중첩 위치에 표시되는 광고 삽입 상태를 도시한 예시도이다.
도 6은 이 발명에 따라 광고 아이템이 충돌 회피 위치에 표시되는 광고 삽입 상태를 도시한 예시도이다.
도 7은 이 발명에 따른 얼굴인식을 이용한 광고 삽입 방법을 도시한 동작 흐름도이다.
이하, 이 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 이 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 이 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 이 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일반적인 인터넷을 통한 개인 방송 환경을 도시한 도면이다. 실시간 개인 방송 시스템은, 초고속 통신망으로 연결된 인터넷 등과 같은 네트워크(110)에 연결된 적어도 하나의 개인 방송인 클라이언트들(121,122,123)과, 인터넷 방송 플랫폼(130), 및 적어도 하나의 시청자 클라이언트들(141,142,143)로 구성된다.
개인 방송인 클라이언트들(121,122,123)은 각각 자신이 방송하고자 하는 멀티미디어 콘텐츠에 대한 방송 채널을 개설하고, 해당 멀티미디어 콘텐츠 데이터를 인코딩하여 네트워크(110)를 통해 스트리밍 전송한다. 시청자 클라이언트들(141,142,143)는 개인 방송인 클라이언트들(121,122,123)로부터 인코딩된 방송 데이터를 전송받아 이를 멀티미디어 콘텐츠로 디코딩하여 모니터 및 스피커로 출력한다. 인터넷 방송 플랫폼(130)은 실시간 개인 방송 시스템에 접속한 시청자 클라이언트들(141,142,143)에게 현재 방송되고 있는 방송 채널 정보를 제공하여, 시청자 클라이언트들(141,142,143)이 방송 채널에 연결될 수 있도록 한다. 인터넷 방송 플랫폼(130)에는 유튜브, 아프리카 TV, 트위치, YYTV 등이 포함된다.
이 발명에 따른 얼굴인식을 이용한 광고 삽입 시스템은 개인 방송인 클라이언트들(141,142,143)에 설치되어, 멀티미디어 콘텐츠에 광고 컨텐츠를 삽입하는 기능을 수행한다.
도 2는 이 발명에 따른 얼굴인식을 이용한 광고 삽입 시스템이 포함된 개인 방송인 단말기의 구성도이다.
통상적으로 이 개인 방송인 단말기는, 메모리(210), 프로세서유닛(220), 복수의 주변장치를 포함한다. 주변장치로서는, 통신부(230), 모니터(240), 입력부(250), 카메라(260), 마이크(270)가 포함된다.
프로세서유닛(220)은 메모리인터페이스(221)와, 하나 이상의 프로세서(222) 및 주변장치 인터페이스(223)를 포함한다. 경우에 따라서, 프로세서유닛 전체를 프로세서로 칭하기도 한다. 메모리인터페이스(221), 하나 이상의 프로세서(222) 및/또는 주변장치 인터페이스(223)는 별개의 구성요소이거나 하나 이상의 집적화된 회로에 집적화될 수 있다. 프로세서(222)는 여러 가지의 소프트웨어 프로그램을 실행하여 개인 방송인 단말기를 위한 여러 기능을 수행하며, 메모리(210)에 저장되어 있는 특정 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 여러 가지의 기능을 수행한다. 주변장치 인터페이스(223)는 여러 가지 주변장치를 프로세서(222) 및 메모리(메모리 인터페이스를 통하여)(210)에 연결시킨다.
통신부(230)는 통상의 통신 프로토콜을 통해 인터넷 방송 플랫폼과 개인 방송인 단말기를 연결한다. 모니터(240)는 화면 출력장치를 포함하고, 입력부(250)는 키보드 또는 마우스 등의 사용자 입력장치를 포함한다. 카메라(260)와 마이크(270)는 웹캠으로 구현될 수 있으며, 촬영 환경의 멀티미디어 데이터(영상 데이터와 오디오 데이터)를 획득한다.
메모리(210)는 소프트웨어 프로그램을 저장한다. 소프트웨어에는 운영체제모듈(211), 통신모듈(222), 그래픽모듈(223), 사용자인터페이스모듈(214), 인터넷 방송 송출 모듈(215), 광고 삽입 모듈(216)을 포함한다. 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈은 명령어 세트라고 표현하기도 하고, 프로그램으로 표현하기도 한다.
운영체제모듈(211)은 일반적인 시스템 작동을 제어하는 여러 가지 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어 제어 및 관리, 전력 제어 및 관리를 의미한다. 운영체제모듈(211)은 여러 가지 하드웨어 장치와 소프트웨어 구성요소 사이의 통신을 원활하게 하는 기능을 수행한다. 통신모듈(212)은 통신부(230)를 통해 인터넷 방송 플랫폼과 통신을 가능하게 한다. 그래픽모듈(213)은 촬영중인 동영상 컨텐츠, 미리 제작된 후 재생되는 동영상 컨텐츠 또는 방송용 영상 컨텐츠를 모니터(240) 상에 그래픽으로 표시하기 위한 여러 가지 소프트웨어 구성요소들을 포함한다. 사용자 인터페이스 모듈(214)은 사용자 인터페이스에 관련된 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스의 상태의 변경이 어떤 조건에서 이루어지는 지에 대한 내용을 포함한다.
인터넷 방송 송출 모듈(215)은 인터넷 방송 컨텐츠 데이터를 인터넷 방송 플랫폼으로 송출하는 소프트웨어 구성요소를 포함한다. 이 인터넷 방송 송출 모듈(215)은 인터넷 방송 플랫폼에서 제공받아 설치된다. 광고 삽입 모듈(216)은 카메라(260)에서 촬영중 동영상 컨텐츠 또는 재생중 동영상 컨텐츠에 광고 컨텐츠를 삽입하여 방송용 영상 컨텐츠를 생성하는 기능을 한다. 이렇게 생성된 방송용 영상 컨텐츠는 모니터 상에 표시되어 개인 방송인이 이를 인지할 수 있도록 함과 아울러 인터넷 방송 플랫폼으로 송출되어 시청자 클라이언트에게로 전송된다.
도 3은 이 발명에 따른 광고 삽입 모듈을 포함하는 방송인 클라이언트의 실시간 화면 구성도이다.
방송인 클라이언트의 모니터 화면은 인터넷 방송 컨텐츠 표시영역(310)과, 메뉴표시영역(320)으로 나누어진다. 인터넷 방송 컨텐츠 표시영역(310)에는 촬영중 동영상 또는 재생중 동영상과, 메뉴표시영역(320)에서 선택된 광고 아이템이 결합되어 표시된다. 메뉴표시영역(320)에는 다양한 광고 아이템 아이콘이 표시된다. 개인 방송인이 메뉴표시영역(320)의 임의의 광고 아이템 아이콘을 선택하면 이 발명에 따른 광고 삽입 모듈이 동작하여 개인 방송인이 선택한 광고 아이템에 대응하는 아이템 파일이 실행되어 해당 컨텐츠가 화면에 표시된다.
도 4는 이 발명에 따른 광고 아이템 파일이 실행되는 광고 삽입 모듈의 세부 구성 블록도이다.
이 발명에 따른 광고 삽입 모듈(216)은 아이템 파일(411)과, 스크립트 엔진(412)과, 그래픽 엔진(413)과, 얼굴인식모듈(414)과, 얼굴각도추정모듈(415)을 포함한다.
아이템 파일(411)은 리소스 파일과 스크립트 파일이 결합된 형태이다. 스크립트 파일은 스크립트 엔진이 읽을 수 있는 텍스트 형태의 파일이다. 이 스크립트 파일에는 리소스 파일 이름 및 저장 위치, 광고 이미지 표시 위치 결정 방식(얼굴 중첩 위치, 충돌 회피 위치), 광고 이미지 크기 결정 방식(얼굴 크기 기반, 화면 크기 기반), 얼굴영역 인식 필요 여부, 얼굴각도 인식 필요 여부, 화면에 출력하기 위한 정의와 동작과 값에 대한 처리 시나리오, 사용되는 영상 필터, 사용되는 액션 효과, 외부 입력 처리 방식 등이 미리 정의된 규칙 등이 포함된다.
여기서, 광고 아이템 표시 위치가 얼굴 중첩 위치라 함은 도 5에 도시된 바와 같이 1인 방송인의 얼굴영역 인식 후 얼굴 이미지와 광고 아이템 이미지를 중첩하여 표시하는 것이다. 이때, 광고 아이템 크기는 얼굴영역의 크기에 기반하여 계산된다. 광고 아이템 표시 위치가 충돌 회피 위치라 함은 도 6에 도시된 바와 같이 1인 방송인의 얼굴 영역 이외의 영역에 광고 아이템 이미지를 표시하는 것이다. 이때, 광고 아이템 크기는 영상 이미지의 화면 크기의 특정 비율로서 정해진다. 이 광고 아이템 이미지는 투명한 배경영역을 포함할 수 있다.
리소스파일은 스크립트 파일에 정의된 객체가 처리할 대상으로서, 화면에 표시되는 구체적인 정보이다. 예컨대, 3차원 객체를 그릴 수 있는 정보, 2차원 이미지를 표현할 수 있는 이미지 값, 사운드를 재생할 수 있는 음원 데이터 등이 포함된다. 하나의 아이템 파일에 둘 이상의 리소스 파일이 중첩되어 적용될 수도 있다.
아이템 파일(411)에 포함된 스크립트 파일은 NSAPI 맵핑 규칙을 통해 스크립트 엔진(412)에 값을 전달한다. 스크립트 엔진(412)은 스크립트 파일의 텍스트를 이해하고 미리 정해진 규칙을 수행한다. 이 스크립트 엔진(412)은 NSAPI 맵핑 규칙에 따라 전달받은 데이터를 이용하여 실제 C언어 또는 C++언어로 만들어진 객체를 동작시키거나 값을 변경시킨다. 스크립트 엔진(412)을 통해 동작된 객체들은 그래픽 엔진(413)으로 전달된다.
그래픽 엔진(413)은 전달받은 객체에 대응되는 리소스 파일과, 촬영중 영상 이미지 또는 재생중 영상 이미지를 기반으로 화면을 구성한 후 인터넷 방송 플랫폼(130)과 모니터의 인터넷 방송 컨텐츠 표시영역(310)으로 전송한다.
이때, 스크립트 파일의 얼굴영역 인식 필요 여부 및 얼굴각도 인식 필요 여부에 따라, 그래픽 엔진(413)은 촬영중 영상 이미지 또는 재생중 영상 이미지를 얼굴인식모듈(414)로 전달하여 해당 영상 이미지에서 개인 방송인의 얼굴영역 정보를 획득하고, 얼굴각도추정모듈(415)로 전달하여 얼굴의 회전각도 정보를 획득하기도 한다. 얼굴인식모듈(414)은 얼굴인식 DLIB(Distribution LIBrary) 기반 프로그램으로서, 영상 이미지 데이터를 입력받고, 입력된 영상 이미지와 머신러닝을 통해 특징이 추출된 Face Feature Object를 비교하여 영상 이미지에서 얼굴 특징이 될 수 있는 68개의 점을 출력값으로 제공한다. 얼굴인식모듈(414)는 얼굴인식 DLIB 이외에 Luxand의 FaceSDK와 OpenCV로 대체하여 구현할 수 있다. 얼굴각도추정모듈(415)는 OpenCV(Open Source Computer Vision)로서, 얼굴인식모듈(414)를 통해 인식된 얼굴 이미지 데이터를 입력받고 해당 얼굴 이미지에서 각도를 추정하여 얼굴각도 값을 출력한다.
그래픽 엔진(413)은 광고 아이템 파일의 광고 아이템 표시 위치 결정 방식이 얼굴 중첩 위치이고 광고 아이템 크기 결정 방식이 얼굴 크기 기반이면, 얼굴영역과 얼굴각도를 인식하고 리소스 파일을 읽어서 얼굴영역의 크기, 각도 및 위치에 따라 리소스 이미지의 크기, 각도 및 위치를 결정하고, 해당 영상 이미지와 변형된 리소스 이미지를 중첩하여 인터넷 방송 플랫폼(130)과 모니터(240)로 송출되도록 한다.
한편, 그래픽 엔진(413)은 광고 아이템 파일의 광고 아이템 표시 위치 결정 방식이 충돌 회피 위치이고, 광고 아이템 크기 결정 방식이 화면 크기 기반이면 얼굴영역을 인식하고 리소스 파일을 읽어서 얼굴영역을 제외한 영역의 크기 및 위치와 화면 크기에 따라 리소스 이미지의 크기 및 위치를 결정하고, 해당 영상 이미지와 변형된 리소스 이미지를 중첩하여 인터넷 방송 플랫폼(130)과 모니터(240)로 송출되도록 한다.
도 7은 이 발명에 따른 얼굴인식을 이용한 광고 삽입 방법을 도시한 동작 흐름도이다.
먼저, 개인 방송인이 개인 방송 송출 프로그램과 이 발명에 따른 얼굴인식을 이용한 광고 삽입 프로그램을 실행시키면, 개인 방송 플랫폼으로 송출되는 인터넷 방송 컨텐츠가 표시되는 표시영역과 이 발명에서 서비스하는 광고 아이템 아이콘이 표시된 메뉴표시영역을 포함하여 모니터 화면에 출력한다(S71). 이때, 이 발명에 따른 광고 삽입 모듈이 메모리 상에 업로드되고 프로세서에 의해 실행된다.
개인 방송인 또는 그의 협력자가 임의의 광고 아이템 아이콘을 선택하면, 광고 삽입 모듈은 선택된 광고 아이템을 인지하고(S72), 아이템 파일을 실행하고 스크립트 파일을 오픈한다(S73).
그리고, 스크립트 엔진을 이용하여 아이템 파일의 스크립트 파일의 텍스트를 해석한다(S74). 해석된 정보는 그래픽 엔진으로 전달된다.
그래픽 엔진은 얼굴인식모듈과 얼굴각도추정모듈을 실행하여 카메라로부터 입력되는 촬영중 영상 또는 재생중 영상으로부터 얼굴영역과 얼굴각도를 인식한다(S75).
그래픽 엔진은 얼굴영역의 크기, 각도 및 위치, 화면 크기 등을 기반으로 광고 아이템 파일에 대응되는 리소스 이미지의 크기, 각도 및 위치를 변형하고(S76), 영상 이미지와 변형된 리소스 이미지를 중첩하여 합성한다(S77)
합성된 이미지는 모니터 화면에 출력되고 아울러 개인 방송 플랫폼으로 전송된다.
이 발명의 광고삽입모듈은 광고 아이템 아이콘 선택과 무관하게, 주기적으로 촬영중 영상을 얼굴인식모듈에 제공하여 개인 방송인의 얼굴영역이 인식되는지 체크하여, 임계 시간동안 개인 방송인의 얼굴영역이 인식되지 않으면(즉, 개인 방송인이 촬영 자리를 이탈하면), 영상 이미지의 화면 크기에 대응되는 제3이미지(광고 이미지)를 모니터 화면과 개인 방송 플랫폼으로 전송한다.
411 : 아이템 파일 412 : 스크립트 엔진
413 : 그래픽 엔진 414 : 얼굴인식모듈
415 : 얼굴각도추정모듈

Claims (16)

  1. 스크립트 파일에 정의된 객체의 처리 대상인 리소스 파일과, 텍스트 형태의 상기 스크립트 파일이 결합된 광고 아이템 파일과;
    상기 스크립트 파일을 NSAPI 맵핑 규칙 기반으로 해석하는 스크립트 엔진과;
    영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 얼굴인식모듈과;
    상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴인식모듈에서 획득한 상기 얼굴영역의 위치 및 크기 정보를 기반으로 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 영상 이미지에 상기 리소스 이미지를 삽입하는 그래픽 엔진을 포함하고,
    상기 스크립트 파일은 리소스 파일 이름 및 저장 위치와, 광고 표시 위치 결정 방식과, 광고 이미지 크기 결정 방식과, 얼굴영역 인식 필요 여부와, 얼굴각도 인식 필요 여부와, 화면 출력 처리 시나리오 정보와, 사용 액션 효과 정보를 포함한 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  2. 제 1 항에 있어서, 상기 그래픽 엔진은 상기 얼굴영역의 위치를 기반으로 상기 리소스 이미지의 위치를 결정하고, 상기 영상 이미지의 전체 화면 크기를 기반으로 상기 리소스 이미지의 크기를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  3. 제 2 항에 있어서, 상기 그래픽 엔진은 상기 얼굴영역 이외의 영역에 상기 리소스 이미지의 위치를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  4. 제 1 항에 있어서, 상기 영상 이미지로부터 얼굴각도 정보를 획득하는 얼굴각도추정모듈을 더 포함한 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  5. 제 4 항에 있어서, 상기 그래픽 엔진은 상기 얼굴영역의 위치와 크기와 얼굴각도 정보를 기반으로 상기 리소스 이미지의 위치와 크기와 각도를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  6. 제 5 항에 있어서, 상기 그래픽 엔진은 상기 얼굴영역 내에 상기 리소스 이미지의 위치를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  7. 제 1 항에 있어서, 상기 리소스 이미지는 투명한 배경영역을 포함한 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  8. 제 1 항에 있어서, 상기 영상 이미지 내에 얼굴영역이 인식되지 않으면 상기 영상 이미지의 전체 화면 크기에 대응되는 제3이미지를 출력하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 시스템.
  9. 메모리에 로딩되어 프로세서유닛에 의해 실행되는 광고 삽입 모듈을 포함하는 광고 삽입 시스템에서의 얼굴인식을 이용한 광고 삽입 방법에 있어서,
    스크립트 파일에 정의된 객체의 처리 대상인 리소스 파일과, 텍스트 형태의 상기 스크립트 파일이 결합된 광고 아이템 파일이 선택되는 제1단계와;
    스크립트 엔진이 상기 선택된 광고 아이템 파일의 스크립트 파일을 NSAPI 맵핑 규칙 기반으로 해석하는 제2단계와;
    얼굴인식모듈이 영상 이미지로부터 얼굴영역의 위치 및 크기 정보를 획득하는 제3단계와;
    그래픽 엔진이 상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴영역의 위치 및 크기 정보를 기반으로 상기 리소스 파일에 대응되는 리소스 이미지의 크기 및 위치를 결정하고, 상기 영상 이미지에 상기 리소스 이미지를 삽입하는 제4단계를 포함하고;
    상기 스크립트 파일은 리소스 파일 이름 및 저장 위치와, 광고 표시 위치 결정 방식과, 광고 이미지 크기 결정 방식과, 얼굴영역 인식 필요 여부와, 얼굴각도 인식 필요 여부와, 화면 출력 처리 시나리오 정보와, 사용 액션 효과 정보를 포함한 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  10. 제 9 항에 있어서, 상기 제4단계는 상기 얼굴영역의 위치를 기반으로 상기 리소스 이미지의 위치를 결정하고, 상기 영상 이미지의 전체 화면 크기를 기반으로 상기 리소스 이미지의 크기를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  11. 제 10 항에 있어서, 상기 제4단계는 상기 얼굴영역 이외의 영역에 상기 리소스 이미지의 위치를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  12. 제 9 항에 있어서, 상기 제4단계 전에, 상기 영상 이미지로부터 얼굴각도 정보를 획득하는 제5단계를 더 포함한 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  13. 제 12 항에 있어서, 상기 제4단계는 상기 얼굴영역의 위치와 크기와 얼굴각도 정보를 기반으로 상기 리소스 이미지의 위치와 크기와 각도를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  14. 제 13 항에 있어서, 상기 제4단계는 상기 얼굴영역 내에 상기 리소스 이미지의 위치를 결정하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  15. 제 9 항에 있어서, 상기 리소스 이미지는 투명한 배경영역을 포함한 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
  16. 제 9 항에 있어서, 상기 영상 이미지 내에 얼굴영역이 인식되지 않으면 상기 영상 이미지의 전체 화면 크기에 대응되는 제3이미지를 출력하는 것을 특징으로 하는 얼굴인식을 이용한 광고 삽입 방법.
KR1020180010426A 2017-09-01 2018-01-29 얼굴인식을 이용한 광고 삽입 시스템 및 방법 KR101915792B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170111906 2017-09-01
KR1020170111906 2017-09-01

Publications (1)

Publication Number Publication Date
KR101915792B1 true KR101915792B1 (ko) 2018-11-09

Family

ID=64426444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010426A KR101915792B1 (ko) 2017-09-01 2018-01-29 얼굴인식을 이용한 광고 삽입 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101915792B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213629A (zh) * 2019-06-27 2019-09-06 腾讯科技（深圳）有限公司 一种信息植入方法、装置、服务器及存储介质
WO2020138696A1 (ko) * 2018-12-26 2020-07-02 삼성전자 주식회사 가상 이미지를 중개하는 시스템, 가상 이미지를 삽입하는 장치 및 그것들의 동작방법
KR102242311B1 (ko) * 2020-03-04 2021-04-20 권민성 소셜 네트워크 서비스를 이용한 광고 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014503084A (ja) 2010-07-27 2014-02-06 テルコーディア テクノロジーズ インコーポレイテッド ３次元形状のファセット上の関連メディアセグメントの対話型の投影および再生

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014503084A (ja) 2010-07-27 2014-02-06 テルコーディア テクノロジーズ インコーポレイテッド ３次元形状のファセット上の関連メディアセグメントの対話型の投影および再生

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020138696A1 (ko) * 2018-12-26 2020-07-02 삼성전자 주식회사 가상 이미지를 중개하는 시스템, 가상 이미지를 삽입하는 장치 및 그것들의 동작방법
CN110213629A (zh) * 2019-06-27 2019-09-06 腾讯科技（深圳）有限公司 一种信息植入方法、装置、服务器及存储介质
KR102242311B1 (ko) * 2020-03-04 2021-04-20 권민성 소셜 네트워크 서비스를 이용한 광고 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US10210907B2 (en) Systems and methods for adding content to video/multimedia based on metadata
KR101915786B1 (ko) 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법
CN109327727B (zh) 一种WebRTC中的直播流处理方法及推流客户端
CN108200446B (zh) 虚拟形象的线上多媒体互动系统及方法
US8436891B2 (en) Hyperlinked 3D video inserts for interactive television
CN107770626A (zh) 视频素材的处理方法、视频合成方法、装置及存储介质
CN111541930B (zh) 直播画面的显示方法、装置、终端及存储介质
US10078920B2 (en) Personalized video-based augmented reality
US20170019697A1 (en) Media production system with scheduling feature
CN106303663B (zh) 直播处理方法和装置、直播服务器
US20150195626A1 (en) Augmented media service providing method, apparatus thereof, and system thereof
KR20220077132A (ko) 시청각 콘텐츠용 바이노럴 몰입형 오디오 생성 방법 및 시스템
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
CN113965813B (zh) 直播间内的视频播放方法、系统、设备及介质
CN112135155A (zh) 音视频的连麦合流方法、装置、电子设备及存储介质
KR101900471B1 (ko) 반응 효과가 삽입된 방송 시스템
US10656900B2 (en) Information processing device, information processing method, and program
KR20190061871A (ko) 광고 영상이 포함된 라이브 스트리밍 영상을 제작하는 방법, 그 전자 장치 및 광고 관리 서버
KR102417084B1 (ko) 멀티채널 미디어 송수신 방법 및 시스템
KR101940555B1 (ko) 인터넷 개인 방송에서 가상 컨텐츠 삽입 시스템 및 방법
KR20150048961A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
KR20200005966A (ko) 중계 서버, 컨텐츠 생성 장치 및 이들을 포함하는 컨텐츠 생성 시스템
KR102301076B1 (ko) 방송 콘텐츠 처리를 위한 장치 및 그 제어방법
WO2023194942A1 (en) A media streaming network and processes

Legal Events

Date Code Title Description
GRNT Written decision to grant