KR20210136564A - 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법 - Google Patents

Abstract

본 발명의 일실시예에 따르면, 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 기초로 미리 설정한 이벤트에 대응하는 상기 동영상의 이벤트 구간을 결정하는 동작, 상기 로그 정보 및 상기 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정하는 동작, 상기 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지하는 동작 및 상기 미리 설정된 객체를 탐지한 장면 구간을 기초로 제1 동영상을 생성하는 동작을 포함한다.

Description

스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법{DEVICE AND METHOD FOR GENERATING VIDEO SYNOPSIS OF SPORTS GAME}

아래의 실시예들은 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법에 관한 것이다.

머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다.

머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.

딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.

문자인식 (Character Recognition) 이란 시각 (Vision) 정보를 통하여 문자를 인식하고 의미를 이해 (Understanding) 하는 인간의 능력을 컴퓨터 (Computer) 로 실현하려는 패턴인식 (Pattern Recognition) 의 한 분야로서, 광학 문자 인식 (Optical Character Recognition), 우편물 자동 분류, 문서인식, 도면인식 등의 분야에서 부분적으로 실용화가 이루어지게 되었으며, 요즈음에는 인공지능 (Artificial Intelligence) 의 최신기법인 신경망 (Neural Network), 퍼지 (Fuzzy), 유전알고리즘 (Genetic Algorithm) 등의 응용과 자연어처리 (Natural Language Processing), 심리학, 생리학, 인지과학 (Cognitive Science) 등 관련 학문과의 접목에 의해 문자인식 기술은 새로운 단계에 접어들게 되었다.

본 발명의 실시예에 따르면, 스포츠 경기를 포함하는 동영상 및 로그 정보를 기초로 스포츠 경기 요약 영상을 생성할 수 있는 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법을 제공할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 스포츠 경기를 포함하는 동영상에서 탐색 구간을 결정하고, 상기 결정한 탐색 구간에 포함된 장면을 기초로 동영상을 생성할 수 있는 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법을 제공할 수 있다.

또한, 본 발명의 또 다른 실시예에 따르면, 스포츠 경기 요약 영상에 설명을 추가할 수 있는 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법을 제공할 수 있다.

또한, 본 발명의 또 다른 실시예에 따르면, 스포츠 경기를 포함하는 동영상에서 탐색 구간을 결정하고, 상기 결정한 탐색 구간을 복수개의 장면으로 분할 또는 분류하여 미리 설정된 객체를 탐지할 수 있는 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법을 제공할 수 있다.

본 발명의 일실시예에 따르면, 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 기초로 미리 설정한 이벤트에 대응하는 상기 동영상의 이벤트 구간을 결정하는 동작, 상기 로그 정보 및 상기 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정하는 동작, 상기 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지하는 동작 및 상기 미리 설정된 객체를 탐지한 장면 구간을 기초로 제1 동영상을 생성하는 동작을 포함한다.

또한, 상기 스포츠 경기 요약 영상 생성 방법은, 상기 결정한 상기 동영상의 이벤트 구간을 기초로 제2 동영상을 생성하는 동작을 더 포함할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 방법은, 상기 로그 정보를 기초로 상기 생성한 제1 동영상과 상기 생성한 제2 동영상을 조합하여 스포츠 경기 요약 영상을 생성하는 동작을 더 포함할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 방법은, 상기 로그 정보를 기초로 상기 생성한 제1 동영상에 상기 탐지한 미리 설정된 객체에 대한 설명을 추가하는 동작을 더 포함할 수 있다.

또한, 상기 동영상의 이벤트 구간을 결정하는 동작은, 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 식별하는 동작, 상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하는 동작 및 상기 미리 설정한 이벤트에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅한 동영상으로부터 상기 추출한 로그 정보에 대응하는 이벤트 구간을 결정하는 동작을 포함할 수 있다.

또한, 상기 동영상에서 탐색 구간을 결정하는 동작은, 상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간에 대응하는 시간 구간을 획득하는 동작 및 상기 획득한 이벤트 구간에 대응하는 시간 구간을 기초로 상기 동영상에서 탐색 구간을 결정하는 동작을 포함할 수 있다.

또한, 상기 미리 설정된 객체를 탐지하는 동작은, 상기 결정한 탐색 구간에 제1 방법을 적용하여 상기 탐색 구간을 복수개의 장면 구간으로 분할하는 동작, 상기 분할한 복수개의 장면 구간 각각에 제2 방법을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류하는 동작 및 상기 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간에서 상기 미리 설정된 객체를 탐지하는 동작을 포함할 수 있다.

또한, 상기 제1 방법은 장면 전환 검출 방법이고, 상기 제2 방법은 장면 인식 방법일 수 있다.

또한, 상기 미리 설정된 객체를 탐지하는 동작은, 상기 적어도 하나의 장면 구간을 전처리 하는 동작을 포함할 수 있다.

또한, 상기 미리 설정된 객체를 탐지하는 동작은, 상기 적어도 하나의 장면 구간에 문자 검출 및 인식 방법을 적용하여 상기 미리 설정된 객체를 탐지할 수 있다.

또한, 상기 제1 동영상을 생성하는 동작은, 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정하는 동작 및 상기 결정한 대표 장면 구간을 기초로 제1 동영상을 생성하는 동작을 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 스포츠 경기 요약 영상 생성 장치에 있어서,

적어도 하나의 프로세서를 포함하고,

상기 적어도 하나의 프로세서는,

스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 기초로 미리 설정한 이벤트에 대응하는 상기 동영상의 이벤트 구간을 결정하고, 상기 로그 정보 및 상기 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정하고, 상기 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지하고, 상기 미리 설정된 객체를 탐지한 장면 구간을 기초로 제1 동영상을 생성한다.

또한, 상기 적어도 하나의 프로세서는, 상기 결정한 상기 동영상의 이벤트 구간을 기초로 제2 동영상을 생성할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 로그 정보를 기초로 상기 생성한 제2 동영상과 상기 생성한 제1 동영상을 조합하여 스포츠 경기 요약 영상을 생성할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 로그 정보를 기초로 상기 생성한 제1 동영상에 상기 탐지한 미리 설정된 객체에 대한 설명을 추가할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 식별하고, 상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하고, 상기 미리 설정한 이벤트에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅한 동영상으로부터 상기 추출한 로그 정보에 대응하는 이벤트 구간을 결정할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간에 대응하는 시간 구간을 획득하고, 상기 획득한 이벤트 구간에 대응하는 시간 구간을 기초로 상기 동영상에서 탐색 구간을 결정할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 결정한 탐색 구간에 제1 방법을 적용하여 상기 탐색 구간을 복수개의 장면 구간으로 분할하고, 상기 분할한 복수개의 장면 구간 각각에 제2 방법을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류하고, 상기 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간에서 상기 미리 설정된 객체를 탐지할 수 있다.

또한, 상기 제1 방법은 장면 전환 검출 방법이고, 상기 제2 방법은 장면 인식 방법일 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 장면 구간을 전처리 할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 장면 구간에 문자 검출 및 인식 방법을 적용하여 상기 미리 설정된 객체를 탐지할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정하고, 상기 결정한 대표 장면 구간을 기초로 제1 동영상을 생성할 수 있다.

본 발명의 일실시예에 따르면, 스포츠 경기를 포함하는 동영상 및 로그 정보를 기초로 스포츠 경기 요약 영상을 생성할 수 있는 효과가 있다.

또한, 스포츠 경기를 포함하는 동영상에서 탐색 구간을 결정하고, 상기 결정한 탐색 구간에 포함된 장면을 기초로 동영상을 생성할 수 있는 효과가 있다.

또한, 스포츠 경기 요약 영상에 설명을 추가할 수 있는 효과가 있다.

또한, 스포츠 경기를 포함하는 동영상에서 탐색 구간을 결정하고, 상기 결정한 탐색 구간을 복수개의 장면으로 분할 또는 분류하여 미리 설정된 객체를 탐지할 수 있는 효과가 있다.

도 1은 일실시예에 따른 스포츠 경기 요약 영상 생성 장치의 구성을 나타내는 도면이다.
도 2는 일실시예에 따라, 동영상에 경기 정보를 태깅하는 모습을 나타낸 도면이다.
도 3은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 동영상으로부터 장면 전환을 검출하고, 해당 동영상의 장면을 인식한 모습을 나타내는 도면이다.
도 4는 일실시예에 따른 장면 전환 검출의 기준이 되는 그래프를 나타내는 도면이다.
도 5는 일실시예에 따른, 딥러닝에 기반한 장면 인식을 나타낸다.
도 6은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 미리 설정한 이벤트 구간에 대응하는 시간 구간을 획득하는 모습을 나타내는 도면이다.
도 7은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 탐색 구간을 결정하는 모습을 나타내는 도면이다.
도 8은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 탐색 구간에 장면 전환 검출 및 장면 전환 인식을 적용하여 탐색 구간에 포함된 장면 구간을 분류하는 모습을 나타내는 도면이다.
도 9는 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 전처리 된 장면 구간에서 미리 설정된 문자를 탐지하는 모습을 나타내는 도면이다.
도 10은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 분류한 장면에서 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면을 선정하는 모습을 나타내는 도면이다.
도 11은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 대표 장면 구간을 기초로 추출 구간을 결정하는 모습을 나타내는 도면이다.
도 12는 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상에 설명을 추가하는 모습을 나타내는 도면이다.
도 13은 다른 실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상에 설명을 추가하는 모습을 나타내는 도면이다.
도 14는 또 다른 실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상에 설명을 추가하는 모습을 나타내는 도면이다.
도 15는 일실시예에 따른 스포츠 경기 요약 영상 생성 방법을 나타내는 플로우 차트이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.

본 발명의 실시 예에서 '통신', '통신망' 및 '네트워크'는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 일실시예에 따른 스포츠 경기 요약 영상 생성 장치의 구성을 나타내는 도면이다.

도 1을 참조하면, 스포츠 경기 요약 영상 생성 장치(100)는 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)를 포함한다.

스포츠 경기 요약 영상 생성 장치(100)를 구성하는 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)는 상호 연결되어 있으며, 상호 데이터를 전송하는 것이 가능하다.

프로세서(110)는 메모리(130)에 저장된 프로그램들 또는 명령들을 실행시킬 수 있다. 이때, 메모리(130)에는 스포츠 경기 요약 영상 생성 장치(100)를 동작시키기 위한 동작프로그램(예컨대, OS)이 저장될 수 있다.

프로세서(110)는 스포츠 경기 요약 영상 생성 장치(100)에 대한 정보를 관리하기 위한 프로그램을 실행시킬 수 있다.

프로세서(110)는 스포츠 경기 요약 영상 생성 장치(100)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.

프로세서(110)는 입출력 인터페이스 모듈(120)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.

ⅰ) 미리 설정한 이벤트에 대응하는 동영상의 이벤트 구간 결정

프로세서(110)는 입출력 인터페이스 모듈(120)을 스포츠 경기를 포함하는 동영상을 방송국으로부터 수신하거나, 또는 별도의 저장 장치를 통해 획득할 수 있다.

프로세서(110)는 이미 획득한 동일한 스포츠 경기의 동영상 또는 이미 획득한 다른 스포츠 경기의 동영상 등의 스포츠 경기의 동영상과 상기 획득한 동영상을 식별할 수 있다.

프로세서(110)는 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 획득할 수 있다.

프로세서(110)는 이미 획득한 동일한 스포츠 경기의 로그 정보 또는 이미 획득한 다른 스포츠 경기의 로그 정보 등의 로그 정보와 상기 획득한 로그 정보를 식별할 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)가 획득한 로그 정보에는 경기 상황에 관한 정보와 주체에 관한 정보가 포함될 수 있으며, 상기 경기 상황에 관한 정보는 이닝, 점수, 볼카운트, 주자 상황, 투구수, 투수 교체 여부, 타자 교체 여부, 안타 여부, 병살타 여부, 홈런 여부, 희생 플라이 여부 등에 관한 정보일 수 있으나 상기 경기 상황에 관한 정보가 이에 한정되는 것은 아니며, 상기 주체에 관한 정보는 타자, 투수, 주자, 대주자 등에 관한 정보일 수 있으나, 상기 주체에 관한 정보가 이에 한정되는 것은 아니다.

프로세서(110)는 스포츠 경기를 포함하는 동영상과 관련된 경기 정보를 상기 동영상에 태깅할 수 있다. 동영상에 경기 정보를 태깅하는 것은 이하 도 2에서 보다 자세히 설명한다.

프로세서(110)는 미리 설정한 이벤트에 대응하는 적어도 하나의 로그 정보를 추출할 수 있고, 상기 태깅한 동영상으로부터 상기 추출한 로그 정보에 대응하는 적어도 하나의 이벤트 구간을 결정할 수 있다.

프로세서(110)는 미리 설정한 이벤트가 복수개인 경우, 상기 미리 설정한 복수개의 이벤트 각각에 대응하는 복수개의 로그 정보를 추출할 수 있고, 상기 태깅한 동영상으로부터 상기 추출한 복수개의 로그 정보에 각각 대응하는 복수개의 이벤트 구간을 결정할 수 있다.

프로세서(110)는 상기 결정한 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 제2 동영상을 생성할 수 있으나, 상기 제2 동영상을 조합하기 위한 기준이 상기 로그 정보에 한정되는 것은 아니다.

ⅱ) 탐색 구간 결정

프로세서(110)는 로그 정보 및 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정할 수 있다.

프로세서(110)는 상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간에 대응하는 적어도 하나의 시간 구간(이벤트 구간의 시작 시점과 이벤트 구간의 종료 시점)을 획득할 수 있다.

프로세서(110)는 상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간이 복수개인 경우, 상기 결정한 복수개의 이벤트 구간 각각에 대응하는 복수개의 시간 구간(이벤트 시작 시점과 이벤트 종료 시점)을 획득할 수 있다.

프로세서(110)는 로그 정보(예컨대, 선수 교체 정보)를 기초로 탐색 구간을 결정할 수 있다.

일실시예에 따라, 프로세서(110)가 n번째 이벤트와 n+1번째 이벤트 사이를 탐색 구간으로 결정한 경우, 프로세서(110)는 n번째 이벤트 구간에 대응하는 시간 구간의 종료 시점과 n+1번째 이벤트 구간에 대응하는 시간 구간의 시작 시점 사이를 탐색 구간으로 결정할 수 있다.

ⅲ) 미리 설정된 객체 탐지

프로세서(110)는 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지할 수 있다.

프로세서(110)는 탐색 구간에 제1 방법을 적용하여 상기 탐색 구간에 포함된 복수개의 장면 구간을 인식할 수 있다. 이때, 상기 제1 방법은 장면 전환 검출 방법일 수 있으나, 상기 제1 방법이 이에 한정되는 것은 아니다.

프로세서(110)는 상기 인식한 복수개의 장면 구간을 기초로 상기 탐색 구간을 복수개의 장면 구간으로 분할할 수 있다.

프로세서(110)는 분할한 복수개의 장면 구간 각각에 제2 방법을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류할 수 있다. 이때, 상기 제2 방법은 장면 인식 방법일 수 있으나, 상기 제2 방법이 이에 한정되는 것은 아니다. 또한, 상기 장면 종류는 스포츠 경기에 따라 변경될 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 복수개의 장면 구간 각각을 투구, 투구 확대, 클로즈업, 필드(타구추적), 광고, 해설, 관중석, 덕아웃, 경기스케치, 구장 전경, 이중화면(PIP) 중 어느 하나의 장면으로 분류할 수 있으나, 프로세서(110)가 복수개의 장면 구간 각각을 분류하기 위한 장면 종류가 이에 한정되는 것은 아니다.

프로세서(110)는 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간에서 상기 미리 설정된 객체를 탐지할 수 있다.

프로세서(110)는 상기 미리 설정된 객체를 탐지하기 위한 장면 종류를 결정할 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 선수의 이름 또는 등번호를 탐지하기 위한 장면의 종류로 클로즈 업(close up) 장면을 결정할 수 있다.

프로세서(110)는 분류한 상기 복수개의 장면 구간 중 서로 다른 미리 설정된 장면 종류로 분류한 복수개의 장면 구간에서 상기 미리 설정된 객체를 탐지할 수 있다.

프로세서(110)는 상기 미리 설정된 객체를 탐지하기 위한 복수개의 장면 종류를 결정할 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 선수의 이름 또는 등번호를 탐지하기 위한 장면의 종류로 클로즈 업(close up) 장면, 필드(field) 장면, 덕아웃(dugout) 장면 등을 결정할 수 있다.

프로세서(110)는 상기 미리 설정된 객체를 탐지하기 위한 장면 종류를 추가할 수 있다.

프로세서(110)는 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간에서 상기 미리 설정된 객체를 탐지하기 전에 상기 적어도 하나의 장면 구간을 전처리 할 수 있다. 이때, 상기 전처리는 스포츠 경기에 따라 변경될 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 장면 구간 전처리로서 선수의 이름 또는 등번호를 탐지하기 위한 장면 구간에 포함된 중계 자막 영역을 마스킹 할 수 있다.

프로세서(110)는 미리 설정된 객체를 탐지하기 위하여 장면 구간에 문자 검출 및 인식 방법을 적용할 수 있으나, 상기 미리 설정된 객체를 탐지하기 위한 방법이 이에 한정되는 것은 아니다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 장면 구간에 OCR(optical character recognition)을 적용하여 선수의 이름 또는 등번호 등을 탐지할 수 있으나, 선수의 이름 또는 등번호를 탐지하기 위해 적용하는 방법이 이에 한정되는 것은 아니다.

ⅳ) 제1 동영상 생성

프로세서(110)는 동일한 장면 구간으로 분류된 복수개의 장면 구간 각각에서 미리 설정된 객체를 탐지한 회수를 기초로 상기 복수개의 장면 구간 중 적어도 하나의 대표 장면 구간을 결정할 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 클로즈 업(close up) 장면으로 분류된 복수개의 장면 구간 각각에서 미리 설정된 객체를 탐지한 회수를 기초로 상기 복수개의 장면 구간 중 적어도 하나의 대표 장면 구간을 결정할 수 있다.

프로세서(110)는 서로 다른 장면 구간으로 분류된 복수개의 장면 구간 각각에서 미리 설정된 객체를 탐지한 회수를 기초로 상기 복수개의 장면 구간 중 적어도 하나의 대표 장면 구간을 결정할 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구인 경우, 프로세서(110)는 클로즈 업(close up) 장면, 필드 장면, 덕아웃 장면으로 각각 분류된 복수개의 장면 구간 각각에서 미리 설정된 객체를 탐지한 회수를 기초로 상기 복수개의 장면 구간 중 적어도 하나의 대표 장면 구간을 결정할 수 있다.

프로세서(110)는 결정한 대표 장면 구간을 기초로 제1 동영상을 생성할 수 있다.

프로세서(110)는 결정한 대표 장면 전체 구간에서 미리 설정된 객체를 탐지한 구간을 획득할 수 있다.

프로세서(110)는 상기 획득한 상기 미리 설정된 객체를 탐지한 구간에서 미리 설정된 구간을 추출하여 제1 동영상을 생성할 수 있다. 이때, 상기 미리 설정된 구간은 상기 미리 설정된 객체를 탐지한 구간의 끝에서 미리 설정된 시간만큼 거슬러 오른 시점부터 상기 미리 설정된 객체를 탐지한 구간의 끝까지의 구간일 수 있으나, 상기 미리 설정된 구간이 이에 한정되는 것은 아니다.

일실시예에 따라, 상기 스포츠 경기가 야구이고, 상기 미리 설정된 객체가 선수 이름인 경우, 프로세서(110)는 대표 장면 전체 구간에서 선수 이름을 탐지한 구간을 획득하고, 상기 획득한 구간의 끝에서 미리 설정된 시간(예컨대, 4초)만큼 거슬러 오른 시점부터 상기 선수 이름을 탐지한 구간의 끝까지의 구간을 추출하여 제1 동영상을 생성할 수 있다.

프로세서(110)는 로그 정보를 기초로 복수개의 제1 동영상을 생성할 수 있다.

프로세서(110)는 로그 정보를 기초로 제1 동영상에 탐지한 미리 설정된 객체에 대한 설명을 추가할 수 있다. 이때, 상기 설명은 윈도우 형태로 구현되어 상기 제1 동영상에 오버랩 되어 표현될 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구이고, 상기 미리 설정된 객체가 선수 이름인 경우, 프로세서(110)는 로그 정보를 기초로 상기 선수 이름에 대한 설명(예컨대, 투수 교체 또는 대타 등)을 제1 동영상에 추가할 수 있다. 이때, 상기 설명은 윈도우 형태로 구현되어 상기 제1 동영상에 오버랩 되어 표현될 수 있다.

ⅴ) 스포츠 경기 요약 영상 생성

프로세서(110)는 미리 설정된 객체를 탐지한 장면 구간을 기초로 생성한 제1 동영상과 스포츠 경기를 포함하는 동영상의 이벤트 구간을 기초로 생성한 제2 동영상을 로그 정보를 기초로 조합하여 스포츠 경기 요약 영상을 생성할 수 있다.

프로세서(110)는 스포츠 경기를 포함하는 동영상의 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 이미 생성된 제2 동영상에 로그 정보를 기초로 제1 동영상을 삽입하여 스포츠 경기 요약 영상을 생성할 수 있다. 이때, 상기 제1 동영상은 복수 개 일 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구이고, 제1 동영상이 선수 소개 동영상인 경우, 프로세서(110)는 스포츠 경기를 포함하는 동영상의 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 이미 생성된 제2 동영상에 로그 정보를 기초로 선수 소개 영상인 제1 동영상을 삽입하여 스포츠 경기 요약 영상을 생성할 수 있다. 이때, 상기 제1 동영상은 복수 개 일 수 있다.

프로세서(110)는 스포츠 경기를 포함하는 동영상의 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 제2 동영상을 생성하고, 상기 생성한 제2 동영상에 로그 정보를 기초로 제1 동영상을 삽입하여 스포츠 경기 요약 영상을 생성할 수 있다. 이때, 상기 제1 동영상은 복수 개 일 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구이고, 제1 동영상이 선수 소개 동영상인 경우, 프로세서(110)는 스포츠 경기를 포함하는 동영상의 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 제2 동영상을 생성하고, 상기 생성한 제2 동영상에 로그 정보를 기초로 선수 소개 영상인 제1 동영상을 삽입하여 스포츠 경기 요약 영상을 생성할 수 있다. 이때, 상기 제1 동영상은 복수 개 일 수 있다.

프로세서(110)는 미리 설정된 객체를 탐지한 장면 구간을 기초로 생성한 n개의 제1 동영상과 스포츠 경기를 포함하는 동영상의 이벤트 구간을 기초로 생성한 m개의 제2 동영상을 로그 정보를 기초로 조합하여 스포츠 경기 요약 영상을 생성할 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구이고, 제1 동영상이 선수 소개 동영상인 경우, 프로세서(110)는 선수 교체 후 발생한 첫번째 이벤트 구간을 기초로 생성한 제2 동영상의 앞에 상기 제1 동영상을 조합하여 새로운 동영상을 생성하고, 상기 생성한 새로운 동영상들을 조합하여 스포츠 경기 요약 영상을 생성할 수 있다. 이때, 상기 제1 동영상 및 상기 제2 동영상은 복수 개 일 수 있다.

입출력 인터페이스 모듈(120)은 네트워크를 통하여 외부 장치(예컨대, 서버)와 연결될 수 있다.

입출력 인터페이스 모듈(120)은 외부 장치로부터 데이터를 획득할 수 있다.

입출력 인터페이스 모듈(120)은 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 획득할 수 있다.

입출력 인터페이스 모듈(120)은 사용자의 입력을 획득할 수 있다.

입출력 인터페이스 모듈(120)은 스포츠 경기 요약 영상 생성 장치(100)와 일체형으로 제공될 수 있다.

입출력 인터페이스 모듈(120)은 스포츠 경기 요약 영상 생성 장치(100)에서 분리되어 제공될 수 있다.

입출력 인터페이스 모듈(120)은 스포츠 경기 요약 영상 생성 장치(100)와 통신적으로 연결될 별도의 장치일 수 있다.

입출력 인터페이스 모듈(120)은 외부 장치와 연결되기 위한 포트(예컨대, USB 포트)를 포함할 수 있다.

입출력 인터페이스 모듈(120)은 모니터, 터치스크린, 마우스, 전자펜, 마이크로폰, 키보드, 스피커, 이어폰, 헤드폰 또는 터치패드를 포함할 수 있다.

입출력 인터페이스 모듈(120)은 학습을 위한 학습 데이터를 획득할 수 있다.

메모리(130)는 입출력 인터페이스 모듈(120)을 통해 획득한 데이터를 저장할 수 있다.

메모리(130)는 프로세서(110)가 추출한 태그 정보를 저장할 수 있다.

메모리(130)는 프로세서(110)가 태깅한 장면을 저장할 수 있다.

메모리(130)는 프로세서(110)가 생성한 제2 동영상을 저장할 수 있다.

메모리(130)는 프로세서(110)가 획득한 시간 구간을 저장할 수 있다.

메모리(130)는 프로세서(110)가 결정한 탐색 구간을 저장할 수 있다.

메모리(130)는 프로세서(110)가 분할한 복수개의 장면 구간을 저장할 수 있다.

메모리(130)는 프로세서(110)가 분류한 장면 구간을 저장할 수 있다.

메모리(130)는 장면 구간을 분류하기 위한 장면 종류를 저장할 수 있다.

메모리(130)는 프로세서(110)가 결정한 장면 종류를 저장할 수 있다.

메모리(130)는 프로세서(110)가 추가한 장면 종류를 저장할 수 있다.

메모리(130)는 프로세서(110)가 생성한 제1 동영상을 저장할 수 있다.

메모리(130)는 프로세서(110)가 생성한 스포츠 경기 요약 영상을 저장할 수 있다.

도 2는 일실시예에 따라, 동영상에 경기 정보를 태깅하는 모습을 나타낸 도면이다.

도 2를 참조하면, 스포츠 경기 요약 영상 생성 장치는 복수의 이벤트로 구성된 야구 경기를 포함하는 동영상을 식별할 수 있다. 스포츠 경기 요약 영상 생성 장치는 동영상을 실시간으로 방송국으로부터 수신하거나, 또는 별도의 저장 장치를 통해 식별할 수 있다.

스포츠 경기 요약 영상 생성 장치는 경기 정보 및 장면 정보를 동영상에 태깅할 수 있다. 예를 들면, 동영상 구간 1에는 1회말 0:0인 점수, 2 out, 투구수 18개, 투구(pitch)를 포함하는 경기 정보 및 장면 정보가 태깅될 수 있다. 다른 예를 들면, 동영상 구간 2에는 2회초 1:0인 점수, 1ball-2strike, 투구수 4개, 투구(pitch)를 포함하는 경기 정보 및 장면 정보가 태깅될 수 있다.

도 3은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 동영상으로부터 장면 전환을 검출하고, 해당 동영상의 장면을 인식한 모습을 나타내는 도면이다.

도 3을 참조하면, 일 실시예에 따르면, 스포츠 경기 요약 영상 생성 장치는 경기 정보뿐만 아니라 장면 정보를 인식하여, 해당 프레임에 태깅할 수 있다. 이때, 장면 정보는 장면 전환 여부 및 장면 인식을 포함할 수 있다.

장면 전환 검출은 표시되는 야구 경기의 화면이 전환된 것을 나타낸다. 예를 들면, 표시(300) 이전의 프레임은 투수와 관련된 장면을 나타내며, 표시(300)과 표시(310) 사이의 프레임은 주자의 도루와 관련된 장면을 나타내며, 표시(310) 이후의 프레임은 주자를 보여주는 장면을 나타낸다. 따라서, 스포츠 경기 요약 영상 생성 장치는 표시(300, 310)에서 프레임 간의 장면이 전환되었음을 검출할 수 있다. 즉, 스포츠 경기 요약 영상 생성 장치는 동영상으로부터 장면이 전환되는지 여부를 검출할 수 있고, 검출된 장면 전환 여부에 대한 정보를 해당 동영상 부분에 태깅할 수 있다.

스포츠 경기 요약 영상 생성 장치는 미리 설정된 기준에 따라 야구 경기 동영상의 장면을 인식할 수 있다. 구체적으로 스포츠 경기 요약 영상 생성 장치는 투구, 투구 확대, 클로즈업, 필드(타구추적), 광고, 해설, 관중석, 덕아웃, 경기스케치, 구장 전경, 이중화면(PIP)과 같이 미리 설정된 기준을 설정할 수 있고, 동영상이 어떠한 기준에 해당하는지 인식할 수 있다. 예를 들면, 스포츠 경기 요약 영상 생성 장치는 그림(320)은 투구에 해당하는 장면으로 인식할 수 있고, 그림(330)은 클로즈업에 해당하는 장면으로 인식할 수 있고, 그림(340)은 필드에 해당하는 장면으로 인식할 수 있고, 그림(350)은 광고에 해당하는 장면으로 인식할 수 있고, 그림(360)은 덕아웃에 해당하는 장면으로 인식할 수 있다.

도 4는 일실시예에 따른 장면 전환 검출의 기준이 되는 그래프를 나타내는 도면이다.

도 4를 참조하면, 스포츠 경기 요약 영상 생성 장치는 RGB를 HSV(Hue, Saturation, Value)로 컬러 변환할 수 있다. 스포츠 경기 요약 영상 생성 장치는 변환된 HSV에 대해 HSV Pixel Quantization을 수행할 수 있다.

스포츠 경기 요약 영상 생성 장치는 HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정할 수 있다.

스포츠 경기 요약 영상 생성 장치는 모든 bin(히스토그램의 한 구간)과 관련하여, 히스토그램 차이의 평균을 결정할 수 있다.

스포츠 경기 요약 영상 생성 장치는 히스토그램 차이의 평균을 미리 설정된 기준과 비교하여, 장면 전환 여부를 검출할 수 있다.

히스토그램 차이의 평균이 미리 설정된 기준인 임계치(예를 들면, 7000)보다 높은 경우, 스포츠 경기 요약 영상 생성 장치는 현재 프레임이 이전 프레임에서 장면이 전환된 것으로 결정할 수 있다.

히스토그램 차이의 평균이 미리 설정된 기준인 임계치(예를 들면, 7000)보다 낮은 경우, 스포츠 경기 요약 영상 생성 장치는 현재 프레임은 이전 프레임에서 장면이 전환되지 않은 것으로 결정할 수 있다.

도 5는 일실시예에 따른, 딥러닝에 기반한 장면 인식을 나타낸다.

도 5를 참조하면, 스포츠 경기 요약 영상 생성 장치는 딥러닝의 일례로서 ResNet v2 구조를 갖는 딥러닝을 적용하여, 복수개의 장면 구간 각각을 장면 종류별로 분류할 수 있다. 이때, 상기 장면 종류는 스포츠 경기에 따라 변경될 수 있다.

스포츠 경기 요약 영상 생성 장치는 ResNet v2 구조를 갖는 딥러닝을 적용하기 위하여 학습데이터를 획득하고, 상기 획득한 학습데이터를 이용하여 장면 인식기를 학습시킬 수 있다.

일실시예에 따라, 상기 스포츠 경기가 야구 경기인 경우, 스포츠 경기 요약 영상 생성 장치는 장면 전환 검출로 구분한 상기 복수개의 장면 구간 각각을 투구 장면, 투구 확대 장면, 클로즈업 장면, 필드(타구추적) 장면, 광고 장면, 해설 장면, 관중석 장면, 덕아웃 장면, 경기스케치 장면, 구장 전경 장면, 이중화면(PIP) 장면 중 어느 하나의 장면으로 분류할 수 있으나, 상기 복수개의 장면 구간 각각이 분류되는 장면이 이에 한정되는 것은 아니다.

스포츠 경기 요약 영상 생성 장치는 장면 전환 검출로 구분한 상기 복수개의 장면 구간 각각에 대해 ResNet v2 구조를 갖는 딥러닝을 적용하여, 일정한 기준 중에서 가장 매칭되는 장면 종류로 상기 복수개의 장면 구간 각각을 분류할 수 있다. 이때, 스포츠 경기 요약 영상 생성 장치는 장면 전환 검출로 구분한 상기 복수개의 장면 구간 각각에 대해 장면 인식기 스코어를 누적하여 가장 높은 스코어를 갖는 장면 종류로 장면 전환 검출로 구분한 상기 복수개의 장면 구간 각각을 분류할 수 있다.

도 6은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 미리 설정한 이벤트 구간에 대응하는 시간 구간을 획득하는 모습을 나타내는 도면이다.

도 6을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(600)에서 야구 경기에서 발생한 이벤트들(610, 620, 630, 640)을 획득할 수 있다.

일실시예에 따라, 로그 정보(600)는 순번, 이닝, 이벤트, 타자, 투수(601)에 대한 정보를 포함할 수 있으나, 로그 정보(600)에 포함된 정보가 이에 한정되는 것은 아니다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(600)에서 선수 교체 이벤트들(601, 621, 631)을 획득할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 야구 경기에서 발생한 미리 설정한 이벤트들(610, 620, 630, 640)에 대응하는 이벤트 구간(660, 670, 680, 690)과 야구 경기 동영상의 타임 라인(650)을 매칭시켜 이벤트 구간(660, 670, 680, 690)의 시간 구간(661, 662, 671, 672, 681, 682, 691, 692)을 획득할 수 있다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(650)에서 획득한 첫번째 이벤트 구간(660)의 시작 시점(661)은 3분 11초이고, 종료 시점(662)은 4분 7초이다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(650)에서 획득한 두번째 이벤트 구간(670)의 시작 시점(671)은 7분 4초이고, 종료 시점(672)은 8분 11초이다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(650)에서 획득한 세번째 이벤트 구간(680)의 시작 시점(681)은 10분 59초이고, 종료 시점(682)은 13분 5초이다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(650)에서 획득한 네번째 이벤트 구간(690)의 시작 시점(691)은 17분 13초이고, 종료 시점(692)은 18분 4초이다.

도 7은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 탐색 구간을 결정하는 모습을 나타내는 도면이다.

도 7을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(700)에서 야구 경기에서 발생한 선수 교체 이벤트들(710, 720, 730)을 획득할 수 있다.

일실시예에 따라, 로그 정보(700)는 순번, 이닝, 이벤트, 타자, 투수(701)에 대한 정보를 포함할 수 있으나, 로그 정보(700)에 포함된 정보가 이에 한정되는 것은 아니다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(700)에서 야구 경기에서 발생한 미리 설정한 이벤트들(711, 712, 721, 731)을 획득할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 선수 교체 이벤트(710, 720, 730) 전 이벤트 구간(780, 781, 782, 783)의 종료 시점(751, 761, 771)과 선수 교체 이벤트(710, 720, 730) 후 이벤트 구간(780, 781, 782, 783)의 시작 시점(752, 762, 772) 사이를 탐색 구간(750, 760, 770)으로 결정할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 야구 경기에서 발생한 선수 교체 이벤트(710, 720, 730)에 대응하는 탐색 구간(750, 760, 770)과 야구 경기 동영상의 타임 라인(740)을 매칭시켜 탐색 구간(750, 760, 770)의 시간 구간(751, 752, 761, 762, 771, 772)을 획득할 수 있다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(740)에서 획득한 첫번째 탐색 구간(750)의 시작 시점(751)은 선수 교체 이벤트(710) 전 이벤트 구간의 종료 시점(751)이고, 야구 경기 동영상의 타임 라인(740)에서 획득한 첫번째 탐색 구간(750)의 종료 시점(752)은 선수 교체 이벤트(710) 후 이벤트 구간(780)의 시작 시점(752)인 3분 11초이다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(740)에서 획득한 두번째 탐색 구간(760)의 시작 시점(761)은 선수 교체 이벤트(720) 전 이벤트 구간(781)의 종료 시점(761)인 8분 10초이고, 야구 경기 동영상의 타임 라인(740)에서 획득한 두번째 탐색 구간(760)의 종료 시점(762)은 선수 교체 이벤트(720) 후 이벤트 구간(782)의 시작 시점(762)인 10분 59초이다.

일실시예에 따라, 야구 경기 동영상의 타임 라인(740)에서 획득한 세번째 탐색 구간(770)의 시작 시점(771)은 선수 교체 이벤트(730) 전 이벤트 구간(782)의 종료 시점(771)인 13분 5초이고, 야구 경기 동영상의 타임 라인(740)에서 획득한 세번째 탐색 구간(770)의 종료 시점(722)은 선수 교체 이벤트(730) 후 이벤트 구간(783)의 시작 시점(772)인 17분 13초이다.

도 8은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 탐색 구간에 장면 전환 검출 및 장면 전환 인식을 적용하여 탐색 구간에 포함된 장면 구간을 분류하는 모습을 나타내는 도면이다.

도 8을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(800)에서 야구 경기에서 발생한 선수 교체 이벤트(810)를 획득할 수 있다.

일실시예에 따라, 로그 정보(800)는 순번, 이닝, 이벤트, 타자, 투수(801)에 대한 정보를 포함할 수 있으나, 로그 정보(800)에 포함된 정보가 이에 한정되는 것은 아니다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(800)에서 야구 경기에서 발생한 교체 이벤트 또는 미리 설정한 이벤트들(802, 803, 804, 805, 806, 807, 810)을 획득할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 선수 교체 이벤트(810)에 대응되는 탐색 구간(830)과 야구 경기 동영상의 타임 라인(820)을 매칭시켜 탐색 구간(830)의 시간 구간(831, 832)을 획득할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 탐색 구간(830)에 장면 전환 검출 및 장면 인식을 적용(840)하여 탐색 구간(830)에 포함된 장면 구간 각각을 장면 종류별로 분류(850)할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 탐색 구간(830)에 장면 전환 검출을 적용하고, 장면 전환 순서를 기초로 탐색 구간(830)을 복수개의 장면 구간으로 분할할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 분할한 복수개의 장면 구간 각각에 장면 인식을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류(850)할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 장면 구간 각각을 투구(PL), 필드(FL), 클로즈업(CU), 관중석(ST), 덕아웃(DO) 중 어느 하나로 분류할 수 있으나, 상기 장면 구간 각각이 분류될 수 있는 장면 종류가 이에 한정되는 것은 아니다.

일실시예에 따라, 장면 종류별로 분류(850)한 장면 구간의 시작 시점(851)은 탐색 구간(830)의 시작 시점(831)과 갈은 8분 10초이고, 장면 종류별로 분류(850)한 장면 구간의 종료 시점(852)은 탐색 구간(830)의 종료 시점(831)과 갈은 10분 59초이다.

도 9는 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 전처리 된 장면 구간에서 미리 설정된 문자를 탐지하는 모습을 나타내는 도면이다.

도 9를 참조하면, 도 9 (a)는 교체 선수를 소개하는 동영상에서 교체 선수의 옆면이 표현된 장면 구간의 일부이며, 도 9 (b)는 교체 선수를 소개하는 동영상에서 교체 선수의 이름 및 등번호가 표현된 장면 구간의 일부이다.

도 9 (a)를 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 교체 선수를 소개하는 클로즈업(900) 장면 구간에서 중계 자막에 나타나는 선수 이름을 탐지하지 않도록 하기 위하여 상기 클로즈업(900) 장면 구간에 포함된 중계 자막 영역은 마스킹(910) 되어 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 교체 선수의 정보를 표시하는 영역(920)에서 문자 검출 및 인식을 적용하여 교체 선수의 이름을 탐지할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 교체 선수의 옆면이 표현된 클로즈업(900) 장면 구간에서 교체 선수의 정보를 표시하는 영역(920) 이외의 영역에 문자 검출 및 인식을 적용(921, 922, 923,924, 925, 926)하여 교체 선수의 이름을 탐지할 수 있다.

도 9 (b)를 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 교체 선수를 소개하는 클로즈업(930) 장면 구간에서 중계 자막에 나타나는 선수 이름을 탐지하지 않도록 하기 위하여 상기 클로즈업(930) 장면 구간에 포함된 중계 자막 영역은 마스킹(940) 되어 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 교체 선수의 정보를 표시하는 영역(950)에서 문자 검출 및 인식을 적용하여 교체 선수의 이름을 탐지할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 교체 선수의 이름 및 등번호가 표현된 클로즈업(930) 장면 구간에서 교체 선수의 정보를 표시하는 영역(950) 이외의 영역에 문자 검출 및 인식을 적용(951, 961, 962, 963, 964)하여 교체 선수의 이름을 탐지할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 교체 선수의 유니폼에서 교체 선수의 이름(960)을 탐지할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 클로즈업 장면 구간에서 교체 선수의 이름을 탐지한 회수를 클로즈업 장면 구간과 매칭시켜 저장할 수 있다.

도 10은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 분류한 장면에서 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 선정하는 모습을 나타내는 도면이다.

도 10을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 교체 선수를 소개하는 자막이 가장 많이 나타나는 클로즈업 장면 구간에서 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 클로즈업 장면 구간에서 미리 설정된 객체를 탐지한 회수를 클로즈업 장면 구간과 매칭시켜 저장할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 클로즈업 장면 구간, 필드 장면 구간 또는 덕아웃 장면 구간에서 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정할 수 있다. 이때, 상기 미리 설정된 객체를 탐지하기 위한 장면 구간은 클로즈업 장면 구간, 필드 장면 구간 또는 덕아웃 장면 구간에 한정되는 것은 아니다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 장면 종류별로 분류한 장면 구간(1000) 중 클로즈업 장면 구간(1010, 1020, 1030, 1040, 1050, 1060)에서 미리 설정된 객체를 탐지한 회수를 기초(1011, 1021, 1031, 1041, 1051, 1061)로 대표 장면 구간(1070)을 결정할 수 있다.

일실시예에 따라, 스포츠 경기가 야구 경기인 경우, 스포츠 경기 요약 영상 생성 장치는 클로즈업 장면 구간(1010, 1020, 1030, 1040, 1050, 1060)에 문자 인식 및 검출을 적용하여 교체 선수의 이름을 탐지한 회수(1011, 1021, 1031, 1041, 1051, 1061)를 클로즈업 장면 구간(1010, 1020, 1030, 1040, 1050, 1060)과 매칭시켜 저장하고, 상기 저장한 클로즈업 장면 구간(1010, 1020, 1030, 1040, 1050, 1060) 중 교체 선수의 이름을 탐지한 회수가 10회(1041)로 가장 많은 클로즈업 장면 구간(1040)을 대표 장면 구간(1070)으로 결정할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 장면 종류별로 분류한 장면 구간(1000) 중 클로즈업 장면 구간(1010, 1020, 1030, 1040, 1050, 1060)에서 미리 설정된 객체를 탐지한 회수가 동일한 경우 장면의 길이가 더 긴 장면 구간을 대표 장면 구간으로 결정할 수 있다.

도 11은 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 대표 장면 구간을 기초로 추출 구간을 결정하는 모습을 나타내는 도면이다.

도 11을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 대표 장면 구간(1100)에서 대표 장면 전체 구간(1120)을 획득할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 획득한 대표 장면 전체 구간(1120)에서 교체 선수의 이름이 탐지된 선수 이름 탐지 구간(1130)을 획득할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 선수 이름 탐지 구간(1130)에서 미리 설정된 길이(예컨대, 4초)의 영상을 추출할 추출 구간(1130)을 결정할 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 선수 이름 탐지 구간(1130)의 마지막부터 미리 설정된 길이(예컨대, 4초)만큼 거슬러 올라간 시점을 추출 구간(1130)의 시점으로 결정할 수 있다.

도 12는 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상에 설명을 추가하는 모습을 나타내는 도면이다.

도 12를 참조하면, 야구 경기 동영상(1200)에는 교체 선수(1210)를 소개하는 자막(1220)이 포함될 수 있다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보를 기초로 야구 경기 영상(1200)에 포함된 교체 선수(1210)를 소개하는 자막(1220) 이외에 교체 선수(1210)에 대한 설명(1230)을 추가할 수 있다. 이때, 설명(1230)은 윈도우 형태로 구현되어 상기 제1 동영상에 오버랩 되어 표현될 수 있다.

도 13은 다른 실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상에 설명을 추가하는 모습을 나타내는 도면이다.

도 13을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(1300)에서 야구 경기에서 발생한 선수 교체 이벤트(1310)를 획득할 수 있다.

일실시예에 따라, 로그 정보(1300)는 순번, 이닝, 이벤트, 타자, 투수(1301)에 대한 정보를 포함할 수 있으나, 로그 정보(1300)에 포함된 정보가 이에 한정되는 것은 아니다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(1300)에서 야구 경기에서 발생한 미리 설정한 이벤트들(1302, 1303, 1304)을 획득할 수 있다.

일실시예에 따라, 야구 경기 동영상(1320)에는 교체 선수(1330)를 소개하는 자막이 포함되지 않을 수 있다.

다시 도 11 및 도 13을 참조하면, 일실시예에 따라, 대표 장면 구간에서 추출한 추출 구간(1130)에 교체 선수(1330)를 소개하는 자막이 포함되지 않을 수 있다.

다시 도 13을 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(1300)를 기초로 교체 선수(1330)에 대한 설명(1340)을 추가할 수 있다. 이때, 설명(1340)은 윈도우 형태로 구현되어 상기 제1 동영상에 오버랩 되어 표현될 수 있다.

도 14는 또 다른 실시예에 따라, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상에 설명을 추가하는 모습을 나타내는 도면이다.

도 14를 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(1400)에서 야구 경기에서 발생한 선수 교체 이벤트(1410, 1420)를 획득할 수 있다.

일실시예에 따라, 로그 정보(1400)는 순번, 이닝, 이벤트, 타자, 투수(1401)에 대한 정보를 포함할 수 있으나, 로그 정보(1400)에 포함된 정보가 이에 한정되는 것은 아니다.

일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(1400)에서 야구 경기에서 발생한 교체 이벤트 또는 미리 설정한 이벤트들(1402, 1403, 1404, 1405, 1406)을 획득할 수 있다.

일실시예에 따라, 야구 경기 동영상(1430)에는 교체 선수(1440)를 소개하는 자막이 포함되지 않을 수 있다.

다시 도 11 및 도 14를 참조하면, 일실시예에 따라, 대표 장면 구간에서 추출한 추출 구간(1130)에 교체 선수(1440)를 소개하는 자막이 포함되지 않을 수 있다.

다시 도 14를 참조하면, 일실시예에 따라, 스포츠 경기 요약 영상 생성 장치는 로그 정보(1400)를 기초로 교체 선수(1440)에 대한 설명(1450)을 추가할 수 있다. 이때, 설명(1450)은 윈도우 형태로 구현되어 상기 제1 동영상에 오버랩 되어 표현될 수 있다.

도 15는 일실시예에 따른 스포츠 경기 요약 영상 생성 방법을 나타내는 플로우 차트이다.

도 15를 참조하면, 스포츠 경기 요약 영상 생성 장치가 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 기초로 미리 설정한 이벤트에 대응하는 상기 동영상의 이벤트 구간을 결정한다(1500).

이때, 상기 스포츠 경기 요약 영상 생성 장치는 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 식별할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하는 할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 미리 설정한 이벤트에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅한 동영상으로부터 상기 추출한 로그 정보에 대응하는 이벤트 구간을 결정할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 결정한 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 제2 동영상을 생성할 수 있다.

스포츠 경기 요약 영상 생성 장치가 로그 정보 및 상기 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정한다(1510).

이때, 상기 스포츠 경기 요약 영상 생성 장치는 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간에 대응하는 시간 구간을 획득할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간이 복수개인 경우, 상기 결정한 복수개의 이벤트 구간 각각에 대응하는 복수개의 시간 구간(이벤트 시작 시점과 이벤트 종료 시점)을 획득할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 획득한 이벤트 구간에 대응하는 시간 구간을 기초로 상기 동영상에서 탐색 구간을 결정할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치가 n번째 이벤트와 n+1번째 이벤트 사이를 탐색 구간으로 결정한 경우, 상기 스포츠 경기 요약 영상 생성 장치는 n번째 이벤트 구간에 대응하는 시간 구간의 종료 시점과 n+1번째 이벤트 구간에 대응하는 시간 구간의 시작 시점 사이를 탐색 구간으로 결정할 수 있다.

스포츠 경기 요약 영상 생성 장치가 상기 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지한다(1520).

이때, 상기 스포츠 경기 요약 영상 생성 장치는 상기 결정한 탐색 구간에 장면 전환 검출방법을 적용하여 상기 탐색 구간을 복수개의 장면 구간으로 분할할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 분할한 복수개의 장면 구간 각각에 장면 인식 방법을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류할 수 있다. 이때, 상기 장면의 종류는 투구, 투구 확대, 클로즈업, 필드(타구추적), 광고, 해설, 관중석, 덕아웃, 경기스케치, 구장 전경, 이중화면(PIP) 중 어느 하나일 수 있으나, 상기 장면의 종류가 이에 한정되는 것은 아니다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간을 전처리하고, 상기 전처리한 장면 구간에 문자 검출 및 인식 방법을 적용하여 상기 미리 설정된 객체를 탐지할 수 있다.

스포츠 경기 요약 영상 생성 장치가 상기 미리 설정된 객체를 탐지한 장면 구간을 기초로 제1 동영상을 생성한다(1530).

이때, 상기 스포츠 경기 요약 영상 생성 장치는 미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 대표 장면 구간에서 미리 설정된 객체를 탐지한 구간을 획득할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 미리 설정된 객체를 탐지한 구간의 끝에서 미리 설정된 시간(예컨대, 4초)만큼 거슬러 오른 시점부터 상기 미리 설정된 객체를 탐지한 구간의 끝까지의 구간을 추출하여 제1 동영상을 생성할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 상기 생성한 제1 동영상에 로그 정보를 기초로 상기 탐지한 미리 설정된 객체에 대한 설명을 추가할 수 있다. 이때, 상기 설명은 윈도우 형태로 구현되어 상기 제1 동영상에 오버랩 되어 표현될 수 있다.

스포츠 경기 요약 영상 생성 장치가 스포츠 경기 요약 영상을 생성한다(1540).

이때, 상기 스포츠 경기 요약 영상 생성 장치는 스포츠 경기를 포함하는 동영상의 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 제2 동영상을 생성하고, 상기 생성한 제2 동영상에 로그 정보를 기초로 제1 동영상을 삽입하여 스포츠 경기 요약 영상을 생성할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 미리 설정된 객체를 탐지한 장면 구간을 기초로 생성한 n개의 제1 동영상과 스포츠 경기를 포함하는 동영상의 이벤트 구간을 기초로 생성한 m개의 제2 동영상을 로그 정보를 기초로 조합하여 스포츠 경기 요약 영상을 생성할 수 있다.

또한, 상기 스포츠 경기 요약 영상 생성 장치는 스포츠 경기를 포함하는 동영상의 이벤트 구간에 대응하는 동영상을 로그 정보를 기초로 조합하여 이미 생성된 제2 동영상에 로그 정보를 기초로 제1 동영상을 삽입하여 스포츠 경기 요약 영상을 생성할 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다.

또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다.

이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.

기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 동작들 또는 단계들을 포함한다. 방법 동작들 및/또는 단계들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 동작들 또는 단계들에 대한 특정 순서가 명시되지 않는 한, 특정 동작들 및/또는 단계들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.

본 발명에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 다수의 것들과의 임의의 조합 (예를 들어, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 다른 임의의 순서 화한 것) 을 포함하도록 의도된다.

본 발명에서 이용되는 바와 같이, 용어 "결정하는"는 매우 다양한 동작들을 망라한다. 예를 들어, "결정하는"는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 룩업하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 룩업하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100... 스포츠 경기 요약 영상 생성 장치

Claims (23)

1. 스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 기초로 미리 설정한 이벤트에 대응하는 상기 동영상의 이벤트 구간을 결정하는 동작;
   상기 로그 정보 및 상기 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정하는 동작;
   상기 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지하는 동작; 및
   상기 미리 설정된 객체를 탐지한 장면 구간을 기초로 제1 동영상을 생성하는 동작
   을 포함하는 스포츠 경기 요약 영상 생성 방법.
2. 제1항에 있어서,
   상기 스포츠 경기 요약 영상 생성 방법은,
   상기 결정한 상기 동영상의 이벤트 구간을 기초로 제2 동영상을 생성하는 동작
   을 더 포함하는 스포츠 경기 요약 영상 생성 방법.
3. 제2항에 있어서,
   상기 스포츠 경기 요약 영상 생성 방법은,
   상기 로그 정보를 기초로 상기 생성한 제1 동영상과 상기 생성한 제2 동영상을 조합하여 스포츠 경기 요약 영상을 생성하는 동작
   을 더 포함하는 스포츠 경기 요약 영상 생성 방법.
4. 제1항에 있어서,
   상기 스포츠 경기 요약 영상 생성 방법은,
   상기 로그 정보를 기초로 상기 생성한 제1 동영상에 상기 탐지한 미리 설정된 객체에 대한 설명을 추가하는 동작
   을 더 포함하는 스포츠 경기 요약 영상 생성 방법.
5. 제1항에 있어서,
   상기 동영상의 이벤트 구간을 결정하는 동작은,
   스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 식별하는 동작;
   상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하는 동작; 및
   상기 미리 설정한 이벤트에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅한 동영상으로부터 상기 추출한 로그 정보에 대응하는 이벤트 구간을 결정하는 동작
   을 포함하는 스포츠 경기 요약 영상 생성 방법.
6. 제1항에 있어서,
   상기 동영상에서 탐색 구간을 결정하는 동작은,
   상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간에 대응하는 시간 구간을 획득하는 동작; 및
   상기 획득한 이벤트 구간에 대응하는 시간 구간을 기초로 상기 동영상에서 탐색 구간을 결정하는 동작;
   을 포함하는 스포츠 경기 요약 영상 생성 방법.
7. 제1항에 있어서,
   상기 미리 설정된 객체를 탐지하는 동작은,
   상기 결정한 탐색 구간에 제1 방법을 적용하여 상기 탐색 구간을 복수개의 장면 구간으로 분할하는 동작;
   상기 분할한 복수개의 장면 구간 각각에 제2 방법을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류하는 동작; 및
   상기 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간에서 상기 미리 설정된 객체를 탐지하는 동작
   을 포함하는 스포츠 경기 요약 영상 생성 방법.
8. 제7항에 있어서,
   상기 제1 방법은 장면 전환 검출 방법이고, 상기 제2 방법은 장면 인식 방법인 스포츠 경기 요약 영상 생성 방법.
9. 제7항에 있어서,
   상기 미리 설정된 객체를 탐지하는 동작은,
   상기 적어도 하나의 장면 구간을 전처리 하는 동작
   을 포함하는 스포츠 경기 요약 영상 생성 방법.
10. 제7항에 있어서,
    상기 미리 설정된 객체를 탐지하는 동작은,
    상기 적어도 하나의 장면 구간에 문자 검출 및 인식 방법을 적용하여 상기 미리 설정된 객체를 탐지하는 스포츠 경기 요약 영상 생성 방법.
11. 제1항에 있어서,
    상기 제1 동영상을 생성하는 동작은,
    미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정하는 동작; 및
    상기 결정한 대표 장면 구간을 기초로 제1 동영상을 생성하는 동작
    을 포함하는 스포츠 경기 요약 영상 생성 방법.
12. 제1항 내지 제11항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체.
13. 스포츠 경기 요약 영상 생성 장치에 있어서,
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 기초로 미리 설정한 이벤트에 대응하는 상기 동영상의 이벤트 구간을 결정하고,
    상기 로그 정보 및 상기 결정한 이벤트 구간을 기초로 상기 동영상에서 탐색 구간을 결정하고,
    상기 탐색 구간에 포함된 적어도 하나의 장면 구간에서 미리 설정된 객체를 탐지하고,
    상기 미리 설정된 객체를 탐지한 장면 구간을 기초로 제1 동영상을 생성하는 스포츠 경기 요약 영상 생성 장치.
14. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 결정한 상기 동영상의 이벤트 구간을 기초로 제2 동영상을 생성하는 스포츠 경기 요약 영상 생성 장치.
15. 제14항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 로그 정보를 기초로 상기 생성한 제2 동영상과 상기 생성한 제1 동영상을 조합하여 스포츠 경기 요약 영상을 생성하는 스포츠 경기 요약 영상 생성 장치.
16. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 로그 정보를 기초로 상기 생성한 제1 동영상에 상기 탐지한 미리 설정된 객체에 대한 설명을 추가하는 스포츠 경기 요약 영상 생성 장치.
17. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    스포츠 경기를 포함하는 동영상 및 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 식별하고,
    상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하고,
    상기 미리 설정한 이벤트에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅한 동영상으로부터 상기 추출한 로그 정보에 대응하는 이벤트 구간을 결정하는 스포츠 경기 요약 영상 생성 장치.
18. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 로그 정보를 기초로 상기 동영상에서 상기 결정한 이벤트 구간에 대응하는 시간 구간을 획득하고,
    상기 획득한 이벤트 구간에 대응하는 시간 구간을 기초로 상기 동영상에서 탐색 구간을 결정하는 스포츠 경기 요약 영상 생성 장치.
19. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 결정한 탐색 구간에 제1 방법을 적용하여 상기 탐색 구간을 복수개의 장면 구간으로 분할하고,
    상기 분할한 복수개의 장면 구간 각각에 제2 방법을 적용하여 상기 분할한 복수개의 장면 구간 각각을 장면 종류별로 분류하고,
    상기 분류한 상기 복수개의 장면 구간 중 미리 설정된 장면 종류로 분류한 적어도 하나의 장면 구간에서 상기 미리 설정된 객체를 탐지하는 스포츠 경기 요약 영상 생성 장치.
20. 제19항에 있어서,
    상기 제1 방법은 장면 전환 검출 방법이고, 상기 제2 방법은 장면 인식 방법인 스포츠 경기 요약 영상 생성 장치.
21. 제19항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 장면 구간을 전처리 하는 스포츠 경기 요약 영상 생성 장치.
22. 제19항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 장면 구간에 문자 검출 및 인식 방법을 적용하여 상기 미리 설정된 객체를 탐지하는 스포츠 경기 요약 영상 생성 장치.
23. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    미리 설정된 객체를 탐지한 회수를 기초로 대표 장면 구간을 결정하고,
    상기 결정한 대표 장면 구간을 기초로 제1 동영상을 생성하는 스포츠 경기 요약 영상 생성 장치.

Images