KR102054148B1 - 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템 - Google Patents

운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템 Download PDF

Info

Publication number
KR102054148B1
KR102054148B1 KR1020190058258A KR20190058258A KR102054148B1 KR 102054148 B1 KR102054148 B1 KR 102054148B1 KR 1020190058258 A KR1020190058258 A KR 1020190058258A KR 20190058258 A KR20190058258 A KR 20190058258A KR 102054148 B1 KR102054148 B1 KR 102054148B1
Authority
KR
South Korea
Prior art keywords
thrown
interactive content
event
player
image
Prior art date
Application number
KR1020190058258A
Other languages
English (en)
Inventor
고종필
Original Assignee
주식회사 지티온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지티온 filed Critical 주식회사 지티온
Priority to PCT/KR2019/006029 priority Critical patent/WO2020213784A1/ko
Application granted granted Critical
Publication of KR102054148B1 publication Critical patent/KR102054148B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템에 관한 것으로, 벽면과 같은 대형 스크린에 스포츠 관련 인터렉티브 컨텐츠를 투사하고 플레이어가 공과 같은 투척물을 벽면에 던지는 방식으로 컨텐츠와 교감하면서 운동 효과를 유발시키는 시스템에 관한 것이다. 머신러닝을 이용하여 컨텐츠의 영상으로부터 플레이어 및/또는 투척물을 정확하게 식별함으로써 투척 기준선을 넘어 던진다든지 멀티 플레이 시 다른(other) 플레이어의 투척물을 던지는 경우를 반칙으로 예외 처리할 수 있다.

Description

운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템 {system for playing sports-related interactive contents software inducing player's kinetic behavior}
본 발명은 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템에 관한 것으로, 벽면과 같은 대형 스크린에 스포츠 관련 인터렉티브 컨텐츠를 투사하고 적어도 한 명 이상의 플레이어가 공과 같은 투척물을 벽면의 컨텐츠 영상을 향해 던지면 터치 지점의 컨텐츠 영상이 변화하는 방식으로 컨텐츠와 교감하면서 운동 효과를 유발시키는 시스템에 관한 것이다.
벽면과 같은 대형 화면에 인터렉티브 컨텐츠를 투사하고 공과 같은 가상의 마우스를 이용하여 인터렉티브 컨텐츠를 실행하는 기술이 최근 각광을 받고 있다. 특히 스포츠 교육 분야에서는 실외의 온도나 미세먼지 농도, 강우, 강설 등의 환경 조건에 상관없이 실내에서 즐길 수 있는 스포츠 인터렉티브 컨텐츠가 서서히 도입되고 있는 추세이다.
이와 같은 인터렉티브 컨텐츠는 가상의 마우스 역할을 담당하는 공 등의 투척 물체를 인식하고, 투척 물체의 이동을 트래킹하여 벽에 터치되는 순간의 좌표를 알아내는 기능이 필수적이다.
종래 인터렉티브 컨텐츠 실행 시스템 중 하나는 적외선(IR)카메라를 이용하여 투척 물체의 이동 및 터치 좌표를 인식한다. 이 시스템의 IR카메라 모듈은 적어도 하나의 적외선 광 조사 모듈과 적어도 하나의 광 센서 모듈을 포함하며, 촬영된 이미지의 모든 픽셀에 대하여, 변조된 광 신호의 지연(lag) 또는 위상 천이(shift)를 이용하여 카메라(10)와 투척물 간의 거리를 측정하는 소위 ToF 기법(Time-Of-Flight measurement)을 이용한다.
대한민국 특허공개 제10-2012-0114767호(특허문헌 0001)는 사물 투척형 게임 디스플레이 시스템에 관한 것으로서, 디스플레이 전면에 투척되는 물체의 적외선 빛의 반사정보를 인식하는 IR 카메라와, 상기 IR 카메라에 인식된 적외선 빛의 정보를 수신하여 위치 정보를 획득하는 컴퓨터를 포함하여 이루어진다.
특허문헌 0001의 기술은 적외선을 이용하여 투척물의 위치를 파악하기 때문에 정상적인 게임을 수행할 수 있을 정도의 인식률을 얻기 위해서는 게임 공간이 소정의 기준 이하로 조도가 유지되거나 주광에 노출되지 말아야 한다. 따라서 밀폐된 실내에서 낮은 조도의 조명 하에 게임을 수행하든지, 주광에 노출되지 않도록 창문을 암막 커튼으로 가린 채 게임을 수행해야 하는 한계가 있다.
아울러 적외선의 특성상 소정 온도 이상의 고온 환경이나 소정의 습도 이상에서는 원활한 게임 수행이 어려운 한계도 있다. 예를 들어 여름 날의 더운 실내 게임장이나 대낮의 실외 코트, 안개가 끼거나 우천 시의 실내 또는 실외 코트에서는 투척 물체의 인식률이 대폭 저하되는 문제가 발생한다.
종래 인터렉티브 컨텐츠 실행 시스템 중 다른 하나는 터치 디스플레이 벽체를 이용하여 투척 물체의 터치 좌표를 인식한다. 터치 디스플레이 벽체라 함은 벽면에 대형 화면의 디스플레이 장치가 장착되고 디스플레이 장치의 가장자리에는 적외선, 레이저 등의 발광부와 수광부가 촘촘히 배치된다. 따라서 사용자가 던진 투척 물체가 디스플레이 화면에 터치되면, 터치 지점의 적외선 빛 또는 레이저 빛이 차단되면서 좌표로 인식되는 원리이다.
그러나 터치 디스플레이 벽체를 이용할 경우, 공과 같은 투척 물체가 계속 부딪히면서 누적되는 충격에 의해 디스플레이 장치에 고장이 발생할 가능성이 있고, 대형 화면의 디스플레이 장치를 구축하기 위한 비용이 천문학적이므로 대중에 실용화되기 어려운 한계가 있다.
또한 전술한 IR카메라 방식 또는 터치 디스플레이 벽체 방식은 단순히 투척 물체(이하 투척 물체로 공을 상정하여 설명함)의 위치 또는 터치된 좌표만 식별하기 때문에 사용자가 미리 정해진 기준선 밖에서 공을 던졌는지, 아니면 벽면에 가까이 다가가서 공을 던졌는지를 구별하지 못하는 한계도 있다.
한편 최근의 스포츠 인터렉티브 컨텐츠를 진화를 거듭하면서 둘 이상의 플레이어가 하나의 화면을 보고 플레이하거나 각자 본인에게 할당된 화면을 보면서 플레이하는 멀티 플레이어용 컨텐츠들이 선보이고 있다.
전술한 IR카메라 방식에서 이와 같은 멀티 플레이어용 컨텐츠를 실행할 경우, 또 다른 문제가 발생한다. 즉, IR카메라의 특성 상 공의 형상이나 크기와 같은 단순한 정보로만 공을 식별하기 때문에, 플레이어 A의 공 (a)와 플레이어 B의 공 (b)가 서로 구분된 채로 진행해야 하는 스포츠 컨텐츠에서 공 (a)와 공 (b)의 형상이나 크기가 유사할 경우, 두 개의 공을 혼동하는 문제가 발생한다.
비단 멀티 플레이어용 컨텐츠에서의 문제 외에도, IR카메라 방식은 공의 형상이나 크기와 같은 단순한 정보로만 공을 식별하기 때문에 벽면에 투사되는 컨텐츠 영상 안에 만일 2D의 원형 물체가 디스플레이되는 경우 플레이어의 실제의 공과 혼동하는 문제점도 발생한다.
대한민국 특허공개 제10-2012-0114767호 (2012.10.17)
본 발명은 위의 언급된 문제점들을 해결하기 위해 제안된 것으로서, 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않는 스포츠 인터렉티브 컨텐츠 실행 시스템을 제공하는 것을 일 목적으로 한다.
본 발명의 다른 일 목적은 컨텐츠의 실행을 제어하는 마우스 역할을 담당하는 투척 물체의 여러 가지 특징을 반복적인 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있는 스포츠 인터렉티브 컨텐츠 실행 시스템을 제공하는 것이다.
본 발명의 다른 일 목적은 향상된 인식율을 기반으로 플레이어가 지켜야할 기준선의 규칙이나 멀티 플레이어용 컨텐츠에서 다른 플레이어의 투척 물체를 던질 수 없도록 하는 규칙을 알고리즘으로 구현할 수 있는 스포츠 인터렉티브 컨텐츠 실행 시스템을 제공하는 것이다.
위와 같은 목적을 달성하기 위한 본 발명의 일 실시예는, 벽면에 디스플레이 되는 스포츠 인터렉티브 컨텐츠 영상을 촬영하는 디지털 카메라; 및 상기 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 투척물을 식별하고 상기 투척물의 거리와 좌표를 파악하는 객체인식 모듈과, 상기 투척물이 벽면에 부딪힌 때 투척물의 좌표가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈과, 상기 투척물의 투척 지점이 기준선을 넘어서면 예외 처리를 수행하는 규준 모듈을 포함한 변환 엔진을 실행하는 애플리케이션 구동 장치를 포함하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.
상기 객체인식 모듈은 상기 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 플레이어를 식별한 후 상기 플레이어와의 거리를 상기 규준 모듈에 제공하고, 상기 규준 모듈은 상기 플레이어와의 거리와 기준선의 거리를 비교하여 기준선을 넘어선 투척인지 판단한다.
상기 규준 모듈은 상기 투척물의 이동 시작점의 거리와 기준선의 거리를 비교하여 기준선을 넘어선 투척인지 판단한다.
본 실시예의 시스템은 상기 투척물이 포함된 복수의 영상 데이터를 반복적으로 분석하여 상기 투척을 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 적어도 하나에 관한 패턴을 학습하는 머신러닝 서버를 더 포함할 수 있다.
상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가질 수 있으며, 상기 객체인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 투척물 간의 거리를 계산한다.
상기 디지털 카메라는 적어도 하나의 이미지 센서를 가질 수 있으며, 상기 객체인식 모듈은, 상기 디지털 카메라로 촬영한 영상 속의 투척물의 크기를 기초로 상기 디지털 카메라와 벽면 간의 거리를 계산한다.
본 발명의 다른 일 실시예는, 벽면에 디스플레이 되는 제1 스포츠 인터렉티브 컨텐츠의 영상과 제2 스포츠 인터렉티브 컨텐츠의 영상을 촬영하는 디지털 카메라; 상기 제1 및 제2 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 제1 투척물과 제2 투척물을 식별하고, 상기 제1 투척물 및 제2 투척물의 거리와 좌표를 파악하는 객체인식 모듈과, 상기 제1 투척물이 벽면에 부딪힌 때의 좌표가 포함된 제1 이벤트와 상기 제2 투척물이 벽면에 부딪힌 때의 좌표가 포함된 제2 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함한 변환 엔진을 실행하는 애플리케이션 구동 장치를 포함하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.
상기 객체인식 모듈은 상기 제1 및 제2 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 제1 플레이어와 제2 플레이어를 더 식별하며, 상기 제1플레이어가 상기 제2 투척물을 던지거나 상기 제2플레이어가 상기 제1 투척물을 던지면 예외 처리를 수행하는 규준 모듈을 더 포함할 수 있다.
상기 제1 투척물이 제2 스포츠 인터렉티브 컨텐츠의 플레이 영역에서 제1 스포츠 인터렉티브 컨텐츠의 플레이 영역으로 이동하여 벽면에 부딪힌 경우 예외 처리를 수행하는 규준 모듈을 더 포함할 수 있다.
상기 제1 투척물 또는 제2 투척물이 포함된 복수의 영상 데이터를 반복적으로 분석하여 상기 제1 투척물 또는 상기 제2 투척물을 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 적어도 하나에 관한 패턴을 학습하는 머신러닝 서버를 더 포함할 수 있다.
상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가질 수 있으며, 상기 객체인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 제1 투척물 또는 상기 제2 투척물 간의 거리를 계산한다.
상기 디지털 카메라는 적어도 하나의 이미지 센서를 가질 수 있으며, 상기 객체인식 모듈은, 상기 디지털 카메라로 촬영한 영상 속의 제1 투척물 또는 제2 투척물의 크기를 기초로 상기 디지털 카메라와 제1 투척물 또는 제2 투척물 간의 거리를 계산한다.
본 발명의 일 실시예에 의하면 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않고 스포츠 인터렉티브 컨텐츠를 즐길 수 있다. 일례로 덥거나 춥거나 미세먼지 농도가 높은 날에도 충분히 밝은 조명의 실내 공간에서 쾌적하게 컨텐츠를 즐길 수 있고, 운동에 적절한 온도와 날씨가 유지되는 지역에서는 실외 코트에서도 컨텐츠를 즐길 수 있다.
본 발명의 다른 일 실시예에 의하면 컨텐츠의 실행을 제어하는 마우스 역할을 담당하는 투척 물체의 여러 가지 특징을 반복적인 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있다.
또한 본 발명의 다른 일 실시예에 의하면 향상된 인식율을 기반으로 플레이어가 지켜야할 기준선의 규칙이나 멀티 플레이어용 컨텐츠에서 다른 플레이어의 투척 물체를 던질 수 없도록 하는 규칙을 알고리즘으로 구현할 수 있다.
따라서 여러 명의 플레이어가 여러 개의 공을 가지고 플레이하는 복잡한 인터렉티브 컨텐츠도 무리 없이 즐길 수 있다.또한 본 발명의 실시예에 의하면 이벤트를 발생시키는 변환 엔진과 이벤트를 수신하는 가상 인터렉티브 컨텐츠가 독립적으로 실행되므로 두 프로그램 간에 호환성을 유지하기 위해 가상 인터렉티브 컨텐츠를 수정할 필요가 없다. 따라서 인터렉티브 컨텐츠의 생산성이 증대되는 한편 변환 엔진의 범용성이 보장된다.
도 1은 실시예 1의 스포츠 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.
도 2는 실시예 1의 스포츠 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 3 및 도 4는 실시예 1의 변형 실시예의 시스템 구성을 도시한 블록도이다.
도 5a 내지 도 5d는 머신러닝으로 투척물의 식별 정보를 미리 학습하기 위해 다양한 위치에서 투척물을 촬영하는 예를 도시한 것이다.
도 6은 실시예 2의 스포츠 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 7은 실시예 3의 컨텐츠 실행 방법을 단계별로 도시한 플로우챠트이다.
도 8은 실시예 3의 스포츠 인터렉티브 컨텐츠 실행 방법 중 머신러닝 과정을 단계별로 도시한 플로우챠트이다.
도 9는 실시예 4의 멀티 플레이어용 스포츠 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.
도 10은 실시예 4의 스포츠 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.
본 명세서 및 청구범위에 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어디든 동일한 부호들로 나타내고 있음에 유의해야 한다.
본 발명의 명세서에서 “투척 물체” 또는 “투척물”이라 함은 플레이어가 자신의 신체 일부를 사용하거나 라켓, 클럽 등의 장비를 사용하여 움직임을 야기시킬 수 있는 물체를 말하는 것으로 축구공, 농구공, 배구공, 정구공, 배드민턴공, 오자미, 다트 등을 예로 들 수 있다. 그러나, 이에 한정되는 것은 아니며 일정한 형태가 유지되고 사용자에 의해 용이하게 이동시킬 수 있는 물체라면 그 어느 것이라도 “투척물”에 해당될 수 있다. 이러한 “투척물”은 스포츠 인터렉티브 컨텐츠의 실행이나 제어를 위한 입력 수단(예를 들어 마우스, 포인터 등)의 역할을 수행한다는 점에서 “가상 마우스” 또는 “가상 포인터”로도 불리울 수 있다.
본 발명의 명세서에서 “인터렉티브 컨텐츠”라 함은 미리 정해진 구성(plot)대로 일방적으로 재생 또는 실행되는 컨텐츠가 아니라 사용자의 실시간 행위(action)에 반응하여 그에 따른 다양한 결과물을 출력 또는 실행하는 컨텐츠를 말한다.
또한 마우스나 터치패드(이하 '마우스 등'이라 함)와 같은 통상의(conventional) 입력 수단을 이용하여 컨텐츠를 실행하는 것이 아니라, 실제 컨텐츠는 별도의 컴퓨터 장치에서 실행되지만 그 컨텐츠의 실행 영상은 빔 프로젝터를 통해 벽면이나 바닥, 또는 천정(이하 '벽면 등'이라 함)에 직접 투사되거나, 벽면 등에 설치된 스크린 막에 투사되거나, 벽면 등에 설치되는 디스플레이 장치(예를 들면 디지털 TV나 디지털 모니터)를 통해 출력되고, 사용자는 컨텐츠의 영상이 디스플레이 되는 벽면 등을 공과 같은 투척물을 통해 터치함으로써 마우스 등의 입력 수단과 동일한 효과를 가상으로 구현하는 인터렉티브 콘텐츠를 말한다.
본 발명의 명세서에서 "스포츠 인터렉티브 컨텐츠"라 함은 플레이어의 역동적인 움직임 또는 운동을 유도하는 인터렉티브 컨텐츠를 총칭한다. 구체적인 예로서, 벽면 화면에 상하좌우로 움직이는 농구 골대가 디스플레이되고 플레이어가 농구공을 투척하여 농구 골대를 맞추면 점수가 올라가는 농구 게임, 골기퍼가 축구 골대 앞에서 좌우로 움직이는 가운데 골기퍼를 피해서 플레이어가 축구공을 차면 점수가 올라가는 축구 게임, 9개의 퍼즐로 이루어지는 영상에서 특정 퍼즐을 공으로 맞추면 해당 퍼즐이 회전하면서 완전한 원본 이미지로 맞추어 가는 이미지 퍼즐 게임 등을 들 수 있다.
그러나 그 명칭에도 불구하고 "스포츠 컨텐츠"라 함은 플레이어의 운동(kinetic action)을 유도할 수 있는 모든 종류의 컨텐츠를 포함하는 개념으로 이해되어야 한다. 따라서 인터렉티브 영화, 디지털 서적, 디지털 액자 등의 미디어 컨텐츠로 구현될 수도 있음은 당업자에게 자명하다.
<실시예 1>
실시예 1은 스테레오 카메라를 이용하여 투척물과 기준선을 인식하는 스포츠 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.
도 1은 실시예 1의 스포츠 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.
도 1에서 보듯, 플레이어는 가상 마우스에 해당하는 공을 컨텐츠가 디스플레이 되는 벽면의 특정 지점을 향해 던짐으로써 컨텐츠를 실행(play)시킨다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정 또는 어느 일 측 벽면에는 사용자의 액션과 컨텐츠 장면(scene)을 촬영하는 디지털 카메라가 배치되고, 인터렉티브 컨텐츠는 별도로 마련된 애플리케이션 구동 장치(도 1에 미도시)에서 실행된다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정에는, 애플리케이션 구동 장치로부터 인터렉티브 컨텐츠의 영상을 전송 받아 벽면을 향해 출력하는 빔 프로젝터가 배치된다.
플레이 장소의 바닥면에는 플레이어가 넘지 말아야 할 기준선이 표시될 수 있다. 본 발명의 취지 중 하나는 컨텐츠를 통해 플레이어의 운동을 유도하는 것이다. 플레이어가 기준선을 넘어 벽면 화면쪽으로 접근한 후 공을 던지게 되면 운동 효과가 반감되므로 기준선을 넘어서 공을 던지면 미리 정해진 규준(rule)에 따라 점수를 미인정하거나 재투척을 안내하는 등의 예외 처리(exception process)를 수행하기 위함이다.
바닥면의 기준선은 실제 또는 가상으로 표시될 수 있다. 예를 들어 잉크나 페인트 등을 통해 실제로 그려지거나 인터렉티브 컨텐츠에 의해 빛으로 표시해 줄 수 있으며, 그 외에 다양한 방법으로 표시될 수 있다.
도 2는 실시예 1의 스포츠 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 2를 참고하면, 실시예 1의 시스템은 디지털 카메라(10), 애플리케이션 구동 장치(20) 및 영상 출력 장치(30)를 포함하며, 머신러닝 서버(40)를 더 포함할 수 있다.
디지털 카메라(10)는 이동 중인 투척물이 포함된 컨텐츠 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(20)로 전송한다.
용이한 데이터의 전송을 위해 디지털 카메라(10)는 애플리케이션 구동 장치(20)와 USB, RJ-45 등과 같은 유선 통신 인터페이스나, 블루투스, IEEE 802.11, LTE와 같은 근거리 또는 광대역 무선 통신 인터페이스 또는 통신 프로토콜로 연결될 수 있다. 여기에 언급한 통신 인터페이스 또는 통신 프로토콜은 예시에 불과하며 영상 데이터를 원활하게 전송하기 위한 어떠한 통신 인터페이스 및 프로토콜도 사용 가능하다.
영상 데이터에서 투척물을 식별하고 카메라(10)와 투척물 간의 거리를 추정하기 위해 스테레오 타입 기법의 알고리즘(stereo-type measurement algorithm)이 사용될 수 있다. 스테레오 타입 기법은 이격된 두 개의 카메라 모듈(이미지 센서)를 이용하여 동일 객체를 촬영하고, 두 카메라 모듈 간 시점의 불일치에 의해 발생하는 각도 차이를 이용하여 객체와의 거리를 추정한다.
실시예 1의 시스템은 스테레오 타입 기법을 이용하므로 실시예 1의 디지털 카메라(10)는 적어도 2개의 2D 이미지 센서 모듈(미도시)을 포함한다.
애플리케이션 구동 장치(20)는 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 실행한다.
애플리케이션 구동 장치(20)는 데스크탑 PC, 노트북, 모바일 탭, 스마트폰, 서버와 같은 단일 장치 내에 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 함께 설치 및 실행할 수 있다.
또는 애플리케이션 구동 장치(20)는 위의 예시된 데스크탑 PC 등의 단일 장치에 변환 엔진(21)이 설치 및 실행되고, 별도의 서버(20-1)에 인터렉티브 컨텐츠 애플리케이션(22)을 설치 및 실행할 수도 있다. 도 3은 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.
또는 변환엔진(21)은 디지털 카메라(10)에 설치되어 실행되고, 인터렉티브 컨텐츠 애플리케이션만 애플리케이션 구동 장치(20)에서 실행되며, 디지털 카메라(10)와 애플리케이션 구동 장치(20)는 Wifi나 LAN 등과 같은 근거리 통신망 또는 LTE나 5G 광대역 통신망을 통해 연결될 수 있다. 도 4는 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.
변환 엔진(21)은 투척물이 벽면에 터치된 때 마우스의 클릭에 해당하는 이벤트를 생성하고, 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션(22)에 전달한다. 이를 위해 변환 엔진(21)은 객체인식 모듈(21-1), 이벤트 모듈(21-2) 및 규준 모듈(21-3)을 포함할 수 있다.
객체인식 모듈(21-1)은 카메라(10)가 보내온 영상 데이터를 프로세싱 하여 투척물을 식별하고, 스테레오 타입 기법을 이용하여 카메라(10)와 투척물 간의 거리를 추정한다. 객체 식별과 거리 추정을 통칭하여 트래킹(tracking)이라 정의하기로 한다. 트래킹은 카메라(10)가 보내온 영상 데이터의 모든 프레임에 대해 수행될 수도 있고, 잦은 트래킹에 따른 변환 엔진(21)의 처리 부담(burden of load)을 고려하여 미리 설정된 간격의 프레임에 대하여 간헐적으로 수행될 수도 있다.
또한 객체인식 모듈(21-1)은 변환 엔진(21)에 포함될 수도 있고, 디지털 카메라(10)에 펌웨어로 설치될 수도 있다. 디지털 카메라(10)에 펌웨어로 설치될 경우, 디지털 카메라(10)는 영상 데이터 대신 객체와의 거리 및 객체의 좌표를 포함하는 트래킹 정보를 변환 엔진(21)의 이벤트 모듈(21-2)에 제공한다.
이벤트 모듈(21-2)은 투척물이 벽면에 충돌하였는지 여부를 판단하고, 충돌 지점의 좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 좌표로 변환하며, 변환된 좌표를 포함한 이벤트를 생성하고, 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다.
이벤트 모듈(21-2)이 투척물이 벽면에 충돌하였는지 여부를 판단하는 원리는 다양한 알고리즘으로 구현될 수 있다.
일 예의 알고리즘은 다음과 같다. 즉, 카메라(10)와 벽면 간의 거리(A)는 미리 측정되어 변환 엔진(21)에 저장된다. 이벤트 모듈(21-2)은 객체인식 모듈(21-1)이 지속적으로 보내오는 객체와의 거리(B)를 미리 저장된 거리(A)와 비교하고, 두 거리(A, B)가 동일해지면 객체가 벽면에 충돌한 것으로 간주한다.
다른 일 예의 알고리즘은 다음과 같다. 즉, 이벤트 모듈(21-2)은 객체인식 모듈(21-1)이 보내오는 객체와의 거리(B)의 변화의 추이를 지속적으로 모니터링한다. 그리고 거리(B)가 증가하다가 감소로 돌아서는 순간을 충돌 순간으로 판단한다.
또 다른 일 예의 알고리즘은 다음과 같다. 즉, 이벤트 모듈(21-2)은 객체인식 모듈(21-1)이 보내오는 영상 데이터에서 식별한 객체의 크기 변화의 추이를 지속적으로 모니터링한다. 카메라(10)에서 멀어질수록 크기가 점점 작아질 것이므로 객체의 크기가 감소하다가 증가로 돌아서는 순간을 충돌 순간으로 판단한다.
위에서 언급한 세 개의 알고리즘은 예시에 불과하며 당업자라면 다양한 원리에 의해 객체의 충돌 여부를 판단할 수 있을 것이다.
이벤트 모듈(21-2)은 컨텐츠 영상이 실제로 디스플레이 되는 벽면 화면의 XY좌표와 컨텐츠 애플리케이션의 실행 화면상의 xy좌표를 미리 매칭해 놓은 매핑 테이블을 가지고 있다.
이벤트 모듈(21-2)은 투척물이 벽면에 충돌한 것으로 판단되면, 영상 데이터를 프로세싱 하여 충돌 지점의 XY좌표를 알아내고, 매핑 테이블에서 이 XY좌표에 매칭되는 xy좌표를 찾는다. 여기서 매핑 테이블이라 함은 미리 정해진 간격의 XY좌표와 미리 정해진 간격의 xy좌표를 미리 저장해 놓은 데이터베이스일 수도 있고, XY좌표와 xy좌표 간의 상관 관계(correlation)를 수학식으로 정의한 알고리즘일 수도 있다.
이벤트 모듈(21-2)은 변환된 xy좌표를 포함하는 이벤트를 생성하여 인터렉티브 컨텐츠 애플리케이션에 전달한다.
마이크로 소프트사의 윈도우즈(Windows)나 애플사의 맥 OS(MAC OS)와 같은 그래픽 유저 인터페이스(GUI) 기반의 운영체제 및 그러한 운영체제에서 실행되는 애플리케이션들은 소위 이벤트 구동 방식(event driven)으로 사용자의 지시를 입력 받는다.
예를 들면, 사용자가 마우스를 애플리케이션 화면 상의 (An, Bn)의 좌표 지점으로 위치시킨 후 왼쪽 마우스를 클릭하면, 운영체제는 마우스의 좌표를 포함하는 mouse_move_Event(A1,B1), mouse_move_Event(A2,B2), mouse_move_Event(A3,B3)…를 지속적으로 발생시킴으로써 마우스의 커서가 (A1,B1), (A2,B2), (A3,B3)…의 경로로 이동되어 표시되도록 하고, 마우스가 멈춘 지점에서는 mouse_left_Click(An, Bn)을 발생시킴으로써 (An, Bn)의 좌표에서 마우스 왼쪽 버튼이 클릭되었음을 운영체제 또는 활성화된 애플리케이션에 알린다.
실시예 1을 포함한 본 발명의 모든 실시예들에서 “이벤트”라 함은 인터렉티브 컨텐츠 애플리케이션(220)에 사용자의 지시를 입력하기 위한 그 어떠한 이벤트라도 모두 포함하는 개념으로 이해되어야 한다. 따라서 변환 엔진(21)이 인터렉티브 컨텐츠 애플리케이션(220)에 전달하는 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 등으로 다양하게 정의될 수 있다.
구체적인 일례로, 객체인식 모듈(21-1)이 복수의 객체를 식별하는 경우, 객체인식 모듈(21-1)에 의해 제1 객체가 인식되면 이벤트 모듈(21-2)에 의해 마우스 좌 클릭 이벤트가 발생되고, 제2 객체가 인식되면 마우스 우 클릭 이벤트가 발생되고, 제3 객체가 인식되면 마우스 휠 클릭 이벤트가 발생하는 방식으로 구현될 수 있다. 이 경우, 플레이어는 3종류의 객체를 이용하여 가상 인터렉티브 컨텐츠를 컨트롤 할 수 있으므로 보다 풍부한 구성(plot)의 컨텐츠를 즐길 수 있게 된다.
본 발명은 변환 엔진(21)이 이벤트를 생성하고, 그 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션(22)에 전달하는 방식을 통해 투척물이 마치 마우스나 포인터처럼 동작하도록 만든다.
변환 엔진(21)이 생성하는 이벤트는 인터렉티브 컨텐츠 애플리케이션(22)이 실행되는 운영체제와 호환된다. 인터렉티브 컨텐츠 애플리케이션(22)의 개발자인 앨리스(Alice)는 변환 엔진(21)의 개발자인 밥(Bob)과 호환성에 대해 미리 협의할 필요가 없으며, 따라서 본 발명의 변환 엔진(21)은 시중에 판매되는 어떠한 인터렉티브 컨텐츠라도 인터페이싱을 위한 별도의 수정 없이 적용이 가능해지는 장점을 가진다.
규준 모듈(21-3)은 투척물의 투척 지점 즉, 투척물을 던지는 플레이어가 위치한 지점이 기준선을 넘어서면 미리 정해진 예외 처리를 수행한다.
전술한 바와 같이, 본 발명의 취지 중 하나는 컨텐츠를 통해 플레이어의 운동을 유도하는 것이다. 따라서 플레이어가 기준선을 넘어 벽면 화면쪽으로 접근한 후 공을 던지게 되면 운동 효과가 반감되므로 기준선을 넘어서 공을 던지면 미리 정해진 규칙(rule)에 따라 점수를 미인정하거나 재투척을 안내하거나 반칙을 알리는 부저를 울리는 등의 예외 처리를 실시한다.
플레이어가 기준선을 넘어서 공을 던졌는지 여부를 판단하는 방법은 다양하게 구현될 수 있다.
일례의 구현 방법은 다음과 같다.
즉, 객체인식 모듈(21-1)은 스포츠 인터렉티브 컨텐츠의 촬영 영상을 프로세싱하여 플레이어를 식별한다. 그리고 전술한 바와 같은 투척물 거리 추정 알고리즘들 중 어느 하나를 이용하여 플레이어와의 거리를 추정하여 규준 모듈(21-3)에 제공한다. 규준 모듈(21-3)은 플레이어와의 거리와 미리 측정해 둔 기준선의 거리를 비교함으로써 플레이어가 기준선을 넘어서서 투척했는지 여부를 판단한다.
이를 위해 객체인식 모듈(21-1)은 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 투척물 외에도 플레이어를 더 식별해야 한다. 플레이어는 다양한 키와 옷차림, 성별을 가질 수 있으므로 플레이어 하나 하나를 식별하기 보다는 통상적인 사람의 형태와 미리 정해진 오차 범위 내에서 대략적으로 일치하게 되면 플레이어로 인지하는 알고리즘을 적용할 수 있다. 또는 사람의 전신을 식별하기 보다 두 개의 다리 부분만을 인식하는 방식으로 알고리즘을 단순화할 수도 있다.
다른 일례의 구현 방법은 다음과 같다.
즉, 객체인식 모듈(21-1)은 지속적으로 투척물을 식별하면서 투척물의 이동을 트래킹하고 있다. 따라서 규준 모듈(21-3)은 투척물이 정지상태에서 이동을 시작하는 지점의 거리와 미리 측정해 둔 기준선의 거리를 비교함으로써 플레이어가 기준선을 넘어서서 투척했는지 여부를 판단한다. 플레이어가 투척물을 던지거나 발로 차기 직전에 투척물은 정지 상태에 있으므로 투척물이 정지상태에서 이동을 시작했다 함은 플레이어가 투척물을 던지거나 발로 찼다는 것을 의미하기 때문이다. 이 경우, 객체인식 모듈(21-1)은 컨텐츠 영상으로부터 투척물만 식별하면 된다.
다음으로, 영상 출력 장치(30)는 벽면 등에 컨텐츠 영상을 출력할 수 있는 기능을 가지기만 하면 어떠한 종류의 장치라도 상관없다.
예를 들어 빔 프로젝터, 벽면에 거치되는 대형 TV나 모니터와 같은 디스플레이 장치, 증강현실 헤드셋이 영상 출력 장치(30)로 사용될 수 있다. 영상 출력 장치(30)는 케이블이나 무선 통신을 통해 애플리케이션 구동 장치(20)와 연결된다.
빔 프로젝터를 이용하여 영상을 출력하면, 객체를 움직이는 사용자에 의해 영상에 그림자가 생기는 등에 문제가 발생할 수 있다. 이때, 복수의 빔 프로젝터로 동일한 영상을 다른 각도에서 조사함으로써 사용자에 의한 음영 영역이 없는 영상을 디스플레이 할 수 있다.
마지막으로, 머신러닝 서버(40)는 카메라(10)가 보내온 영상 데이터를 기반으로 객체를 식별하기 위한 여러 가지 특성을 학습하는 머신러닝 엔진(미도시)을 포함한다.
예를 들어 인식 대상의 객체가 축구공이라면, 머신러닝 서버(40)는 공의 형상, 공의 크기, 벌집 무늬와 같은 공 표면의 패턴 무늬, 공의 색상 중 적어도 하나의 특성을 기초로 객체를 식별하기 위한 일정한 패턴을 발견할 수 있다.
머신러닝 서버(40)는 디지털 카메라(10)와 연결된 애플리케이션 구동 장치(20)를 통해 영상 데이터를 제공 받을 수도 있고, 디지털 카메라(10)와 직접 연결되어 영상 데이터를 제공 받을 수도 있다.
도 5a 내지 도 5d는 머신러닝으로 투척물의 식별 정보를 미리 학습하기 위해 다양한 위치에서 투척물을 촬영하는 예를 도시한 것이다.
도 5a 내지 도 5d에서 보듯, 머신 러닝 단계에서 사용자는 공과 같은 투척물을 손에 얹고 카메라(10)를 기준으로 전, 후, 좌, 우, 상, 하의 방위를 변경해 가면서 수십 개 내지 수백 개의 영상을 촬영한다. 도 5a 내지 도 5d에서는 사용자가 직접 객체를 잡고 하나 하나 촬영하는 케이스를 예를 들었지만 반드시 이에 한정될 것은 아니며, 카메라(10)의 촬영 영역 안으로 투척물(공)을 던져 넣거나, 촬영 영역 안에서 사용자가 투척물(공)을 벽면으로 던지는 장면을 동영상으로 촬영하고, 동영상을 구성하는 각 프레임의 영상에 대해 머신러닝을 수행할 수도 있다.
머신러닝 서버(40)는 이와 같이 촬영된 수십 개 내지 수백 개의 서로 다른 영상 데이터를 반복적으로 분석함으로써 투척물을 보다 분명하게 식별하기 위한 특정 패턴을 발견한다. 변환 엔진의 객체인식 모듈(21-1)이 투척물 외에 플레이어(또는 플레이어의 신체 일부)도 식별하는 실시예에서, 머신러닝 서버(40)는 플레이어에 대하여도 동일한 원리로 반복 학습을 수행할 수 있다.
변환 엔진(21)의 객체인식 모듈(21-1)은 머신러닝 모듈(40)이 미리 학습하여 도출한 결과물인 식별 패턴 정보를 이용하여 영상 데이터로부터 투척물 및/또는 플레이어를 용이하게 식별할 수 있다.
특히 실시예 1에서는 적어도 두 개의 이미지 센서 모듈(미도시)을 구비하는 스테레오 카메라(10)를 채택하므로, 객체의 3D 이미지를 대상으로 머신러닝을 수행할 수도 있다. 따라서 머신러닝 이후 인터렉티브 컨텐츠를 플레이하는 단계에서 카메라의 촬영 영상 안에 또는 디스플레이되는 컨텐츠 영상 안에 설령 객체와 유사한 형태의 2D 이미지가 포함되어 있더라도 변환 엔진의 객체인식 모듈(21-1)은 객체와 유사 2D 이미지를 정확하게 구별해 낼 수 있다.
한편 머신러닝 서버(40)는 일 컨텐츠에 대하여 하나의 객체만을 학습할 수도 있지만 컨텐츠의 종류에 따라서 복수의 객체로 컨트롤이 필요한 경우에는 일 컨텐츠에 대해 서로 다른 복수의 객체들을 식별하도록 미리 학습할 수도 있다.
<실시예 2>
실시예 2는 모노 카메라를 이용하여 투척물을 인식하는 스포츠 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.
실시예 2는 방범(security)의 목적으로 폐쇄형 카메라(CCTV)와 같은 모노 카메라가 이미 설치되어 있거나, 상대적으로 저렴하게 스포츠 인터렉티브 컨텐츠 실행 시스템을 구축하기 위해 모노 카메라를 채택하는 경우 등을 상정한 것이지만 반드시 이러한 경우들에 한정하는 것은 아니다.
도 6은 실시예 2의 스포츠 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 6을 참고하면, 실시예 2의 스포츠 인터렉티브 컨텐츠 실행 시스템은 디지털 카메라(100), 애플리케이션 구동 장치(200) 및 영상 출력 장치(300)를 포함하고, 머신러닝 서버(400)를 더 포함할 수 있다.
디지털 카메라(100)는 이동 중인 투척물이 포함된 컨텐츠 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(200)로 전송한다.
디지털 카메라(100)와 애플리케이션 구동 장치(200)와의 연결 구조나 통신 프로토콜은 실시예 1의 디지털 카메라(10)와 동일하다.
디지털 카메라(100)는 영상 데이터에서 투척물을 식별하고 카메라(100)와 투척물 간의 거리를 추정하기 위해 구조화 패턴 기법 알고리즘(structured pattern measurement algorithm)을 사용한다.
구조화 패턴 기법의 디지털 카메라(100)는 적어도 하나의 광 투사 모듈과 적어도 하나의 이미지 센서 모듈을 포함하며, 광 투사 모듈이 구조화된 한 세트의 광 패턴을 객체에 투사하면 이미지 센서가 투사로 인해 비치는 이미지를 캡처함으로써 광학적 3D 스캐닝을 수행하고, 3D 스캐닝 결과를 이용하여 카메라(100)와 투척물 간의 거리를 측정한다.
애플리케이션 구동 장치(200)는 변환 엔진(210)과 인터렉티브 컨텐츠 애플리케이션(220)을 실행한다. 변환 엔진(210)과 인터렉티브 컨텐츠 애플리케이션(220)이 하나의 장치(200) 안에서 실행되거나, 별도로 구분된 장치에서 개별적으로 실행될 수 있음은 실시예 1에서 설명한 바와 동일하다.
변환 엔진(210)은 투척물이 벽면에 터치된 때 마우스의 클릭에 해당하는 이벤트를 생성하고, 이 이벤트를 인터렉티브 컨텐츠 애플리케이션(220)에 전달한다. 이를 위해 변환 엔진(210)은 객체인식 모듈(211), 이벤트 모듈(212) 및 규준 모듈(213)을 포함할 수 있다.
객체인식 모듈(211)은 카메라(100)가 보내온 영상 데이터를 프로세싱 하여 투척물을 식별하고, 구조화 패턴 기법을 이용하여 카메라(100)와 투척물 간의 거리를 추정한다.
이벤트 모듈(212)은 투척물이 벽면에 충돌하였는지 여부를 판단하고, 충돌 지점의 좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 좌표로 변환하며, 변환된 좌표를 포함한 이벤트를 생성하고, 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다.
이벤트 모듈(212)이 좌표를 변환하는 원리는 실시예 1에서 설명한 바와 동일하다.
규준 모듈(213)은 투척물의 투척 지점 즉, 투척물을 던지는 플레이어가 위치한 지점이 기준선을 넘어서면 미리 정해진 예외 처리를 수행한다. 예외 처리의 세부 실시예와, 플레이어가 기준선을 넘어서 공을 던졌는지 여부를 판단하는 방법은 실시예 1의 규준 모듈(21-3)과 동일하다.
또한 영상 출력 장치(300) 및 머신러닝 서버(400) 역시 실시예 1의 영상 출력 장치(30) 및 머신러닝 서버(40)와 동일하다.
<실시예 3>
실시예 3은 스포츠 인터렉티브 컨텐츠의 실행 방법에 관한 것이다.
도 7은 실시예 3의 컨텐츠 실행 방법을 단계별로 도시한 플로우챠트이다.
이해를 돕기 위해 도 1의 컨텐츠 플레이 상황을 참고하여 설명한다.
벽면에는 빔 프로젝터에 의해 농구 인터렉티브 게임의 영상이 디스플레이된다. 농구 인터렉티브 게임은 농구 골대가 좌우로 랜덤한 속도로 이동하고 있는 상황에서, 플레이어가 농구공을 벽면의 농구 골대를 향해 던져서 농구공을 미리 설정된 골대 근접 영역에 터치시키면 점수가 올라가는 게임이라 가정한다.
천정에 설치된 디지털 카메라는 벽면에 디스플레이 되는 영상과 플레이어가 농구공을 벽면 화면에 던지는 장면을 촬영하고, 촬영된 영상 데이터를 실시간으로 애플리케이션 구동 장치로 전송한다(S101).
애플리케이션 구동 장치에서 실행 중인 변환 엔진은, 카메라가 보내온 영상 데이터에서 미리 학습된 농구공을 식별하고(S102), 농구공의 이동을 트래킹(tracking)한다(S103). 여기서 트래킹이라 함은 식별된 객체와 카메라 간의 거리와 객체가 위치한 벽면 화면상의 좌표를 파악하는 과정을 말한다.
변환 엔진은 트래킹 과정에서 플레이어가 기준선 안에 위치한 상태에서(S104) 농구공이 벽면에 부딪힌 것으로 판단되면(S105), 해당 터치 지점의 XY좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 xy좌표로 변환한다(S106).
그리고 변환된 좌표를 포함한 마우스 이벤트를 발생시키고, 그 마우스 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달한다(S107).
그러나, 플레이어가 기준선을 넘어서서 위치한 상태라면(S104), 변환 엔진은 농구공이 벽면에 부딪히기 전이라도 "기준선 안으로 들어와 주세요"와 같은 경고 메시지를 출력하는 이벤트를 생성거나, 농구공이 벽면에 부딪히더라도 점수를 계상하지 않도록 하는 이벤트를 생성하고, 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달한다(S108).
플레이어가 기준선을 넘어서서 위치했는지 여부의 판단 원리는 실시예 1 및 실시예 2에서 전술한 바와 같다.
도 8은 실시예 3의 스포츠 인터렉티브 컨텐츠 실행 방법 중 머신러닝 과정을 단계별로 도시한 플로우챠트이다.
이해를 돕기 위해 플레이어가 디지털 카메라의 촬영 범위 안에 들어가 한 손에 공과 같은 가상 마우스 객체를 들고 수십 번 내지 수백 번의 테스트 촬영을 수행하는 도 5의 상황을 참고로 상세히 설명한다.
머신러닝 서버는 디지털 카메라 또는 디지털 카메라와 연결된 애플리케이션 구동 장치로부터 영상 데이터를 수신하고(S201), 영상 데이터를 프로세싱 하여 농구공 및/또는 플레이어의 형상, 크기, 표면의 패턴 무늬, 색상 중 적어도 하나의 특성을 도출한다(S202).
만약 도출된 특성을 기초로 객체를 식별하기 위한 일정한 패턴이 정의되면(S203) 머신러닝 과정을 종료하고, 정의된 식별 패턴을 변환 엔진에 제공하여(S204) 추후 농구공 및/또는 플레이어의 식별 기준 데이터로 활용될 수 있도록 한다. 그리고 아직 일정한 패턴을 정의하기에 미흡한 상태이면 S201 내지 S203 단계를 반복하여 수행한다.
플레이어는 농구공을 손에 얹고 카메라를 기준으로 전, 후, 좌, 우, 상, 하의 방위를 변경해 가면서 수십 개 내지 수백 개의 영상을 촬영할 수 있다. 머신러닝 서버는 이와 같이 촬영된 수십 개 내지 수백 개의 서로 다른 영상 데이터를 반복적으로 분석함으로써 객체를 보다 분명하게 식별하기 위한 특정 패턴을 정의한다.
머신러닝 과정의 종료는 미리 설정된 기준이 만족되면 자동으로 실행될 수도 있고 관리자의 판단에 의해 임의적으로 실행될 수도 있다.
위와 같은 단계를 통해 정의된 농구공 식별을 위한 패턴은 변환 엔진에 제공되어, 움직이는 농구공의 스틸 영상에서 어떠한 종류의 배경이 농구공 뒤에 있더라도 그로부터 농구공을 정확하게 파악할 수 있도록 한다.
<실시예 4>
실시예 4는 둘 이상의 플레이어들이 협동하거나 경쟁하는 방식으로 스포츠 인터렉티브 컨텐츠를 실행하기 위한 멀티 플레이어용 시스템에 관한 것이다.
도 9는 실시예 4의 멀티 플레이어용 스포츠 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.
도 9의 실시예는 벽면의 제1 영역과 제2 영역에 각각 농구 인터렉티브 게임 컨텐츠가 개별적으로 디스플레이되고, 플레이어 1과 플레이어 2가 서로 다른 제1 농구공과 제2 농구공을 이용하여 경쟁적으로 플레이하는 경우에 관한 것이다. 다만 도 9는 하나의 실시예에 불과하며 하나의 벽면 화면을 같이 보면서 두 명의 플레이어들이 서로 다른 농구공을 이용하여 경쟁적으로 또는 협업으로 플레이하는 컨텐츠로 구현될 수도 있다. 또한 복수의 플레이어들로 확장될 수도 있음은 당업자에게 자명하다.
도 9를 참조하면, 빔 프로젝터에 의해 농구 인터렉티브 게임의 영상이 벽면의 제1 영역 및 제2 영역에 개별적으로 디스플레이된다. 도 9에서는 단일한 빔 프로젝터를 상정하였지만 인터렉티브 컨텐츠의 실행 방식에 따라 두 개의 빔 프로젝터가 요구될 수도 있다.
전술한 바와 같이, 농구 인터렉티브 게임은 농구 골대가 좌우로 랜덤한 속도로 이동하고 있는 상황에서, 플레이어가 농구공을 벽면의 농구 골대를 향해 던져서 농구공을 미리 설정된 골대 근접 영역에 터치시키면 점수가 올라가는 게임이라 가정한다.
제1 플레이어와 제2 플레이어는 가상 마우스에 해당하는 각자의 농구공을 컨텐츠가 디스플레이 되는 벽면의 특정 지점을 향해 던짐으로써 컨텐츠를 실행(play)시킨다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정 또는 어느 일 측 벽면에는 제1 플레이어 및 제2 플레이어의 액션과 컨텐츠 장면(scene)을 촬영하는 디지털 카메라가 배치되고, 인터렉티브 컨텐츠는 별도로 마련된 애플리케이션 구동 장치(도 9에 미도시)에서 실행된다.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정에는, 애플리케이션 구동 장치로부터 인터렉티브 컨텐츠의 영상을 전송 받아 벽면을 향해 출력하는 빔 프로젝터가 배치된다. 그리고 플레이 장소의 바닥면에는 플레이어가 넘지 말아야 할 기준선이 표시될 수 있다.
도 10은 실시예 4의 스포츠 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.
도 10을 참고하면, 실시예 5의 시스템은 디지털 카메라(1000), 애플리케이션 구동 장치(2000) 및 영상 출력 장치(3000)를 포함하며, 머신러닝 서버(4000)를 더 포함할 수 있다.
디지털 카메라(1000)는 이동 중인 제1 투척물과 제2 투척물이 포함된 컨텐츠 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(2000)로 전송한다.
디지털 카메라(1000)와 애플리케이션 구동 장치(2000)와의 연결 구조나 통신 프로토콜은 실시예 1의 디지털 카메라(10)와 동일하다.
디지털 카메라(1000)는 플레이어들이 제1 투척물 및 제2 투척물을 던지면서 컨텐츠를 플레이하는 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(2000)로 전송한다.
애플리케이션 구동 장치(2000)는 변환 엔진(2100)과 인터렉티브 컨텐츠 애플리케이션(2200)을 실행한다. 변환 엔진(2100)과 인터렉티브 컨텐츠 애플리케이션(2200)이 하나의 장치(2000) 안에서 실행되거나, 별도로 구분된 장치에서 개별적으로 실행될 수 있음은 실시예 1에서 설명한 바와 동일하다.
변환 엔진(2100)은 제1 투척물 또는 제2 투척물이 벽면에 터치된 때 마우스의 클릭에 해당하는 이벤트를 생성하고, 이 이벤트를 인터렉티브 컨텐츠 애플리케이션(2200)에 전달한다. 이를 위해 변환 엔진(2100)은 객체인식 모듈(2110), 이벤트 모듈(2120)을 포함하고, 필요에 따라 규준 모듈(2130)을 더 포함할 수 있다.
객체인식 모듈(2110)은 카메라(1000)가 보내온 영상 데이터를 프로세싱 하여 제1 투척물 및 제2 투척물을 식별하고, 스테레오 기법, 구조화 패턴 기법 또는 동일 목적의 거리 추정 알고리즘을 이용하여 카메라(1000)와 제1 투척물 간의 거리 및 카메라(1000)와 제2 투척물 간의 거리를 추정한다. 즉, 객체인식 모듈(2110)은 제1 영역의 컨텐츠 촬영 영상과 제2 영역의 컨텐츠 촬영 영상에서 제1 투척물과 제2 투척물을 식별하고, 상기 제1 투척물 및 제2 투척물의 거리와 좌표를 파악한다.
이벤트 모듈(2120)은 투척물들이 벽면에 충돌하였는지 여부를 판단하고, 객체인식 모듈(2110)이 보내 온 충돌 지점의 좌표를 인터렉티브 컨텐츠 애플리케이션의 실행 화면상의 좌표로 변환하며, 변환된 좌표를 포함한 이벤트를 생성하고, 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다. 즉, 이벤트 모듈(2120)은 제1 투척물이 벽면에 부딪힌 때의 변환된 좌표가 포함된 제1 이벤트와 제2 투척물이 벽면에 부딪힌 때의 변환된 좌표가 포함된 제2 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달한다.
이벤트 모듈(2120)이 좌표를 변환하는 원리는 실시예 1에서 설명한 바와 동일하다.
규준 모듈(2130)은 멀티 플레이어용 컨텐츠에서 어느 한 플레이어가 다른 플레이어의 투척물(이를테면 공)을 자신의 컨텐츠 영상에 던지는 경우(즉, 타인의 공을 자신의 영상에 던지는 경우), 어느 한 플레이어가 다른 플레이어의 투척물을 다른 플레이어의 컨텐츠 영상에 던지는 경우(즉, 타인의 공을 크로스로 던지는 경우), 어느 한 플레이어가 자신의 투척물을 다른 플레이어의 컨텐츠 영상에 던지는 경우(자신의 공을 크로스로 던지는 경우) 등과 같이 통상적으로 반칙 또는 에러로 처리되어야 하는 상황이 발생하는지를 모니터링하고, 그러한 반칙 상황이 발생하면 미리 정해진 규준(rule)에 따라 점수를 미인정하거나 재투척을 안내하는 등의 예외 처리(exception process)를 수행한다.
먼저, 제1 플레이어가 제2 플레이어의 제2 투척물을 자신의 컨텐츠 영상에 던지는 경우를 식별하기 위해 다음의 솔루션들이 제공될 수 있다.
첫째, 객체인식 모듈(2110)은 컨텐츠의 플레이 영상으로부터 지속적으로 제1 투척물과 제2 투척물을 트래킹한다. 규준 모듈(2130)은 제2 투척물이 제1 스포츠 인터렉티브 컨텐츠의 플레이 영역(이하 '제1 컨텐츠 영역'이라 함)에서 이동을 시작하여 제1 컨텐츠 영역의 화면에 터치되거나, 제1 투척물이 제2 스포츠 인터렉티브 컨텐츠의 플레이 영역(이하 '제2 컨텐츠 영역'이라 함)에서 이동을 시작하여 제2 컨텐츠 영역의 화면에 터치되면, 어느 플레이어가 던졌는지 알 수는 없지만 어찌됐든 타인의 투척물을 던진 반칙 상황임에는 분명하므로 예외 처리를 수행한다.
둘째, 객체인식 모듈(2110)은 컨텐츠의 플레이 영상으로부터 제1 투척물과 제2 투척물 외에 제1 플레이어와 제2 플레이어를 더 식별한다. 규준 모듈(2130)은 제1 플레이어가 제2 투척물을 던지고 제2 투척물이 제1 컨텐츠 영역에서 터치된 것으로 확인되거나, 제2 플레이어가 제1 투척물을 던지고 제1 투척물이 제2 컨텐츠 영역에서 터치된 것으로 확인되면 반칙 상황에 대한 예외 처리를 수행한다.
다음으로, 제1 플레이어가 제2 플레이어의 투척물을 제2 플레이어의 컨텐츠 영상에 던지는 경우를 식별하기 위해 다음의 솔루션들이 제공될 수 있다.
첫째, 객체인식 모듈(2110)은 컨텐츠의 플레이 영상으로부터 지속적으로 제1 투척물과 제2 투척물을 트래킹한다. 규준 모듈(2130)은 제2 투척물이 제1 컨텐츠 영역에서 이동을 시작하여 제2 컨텐츠 영역의 화면에 터치되거나, 제1 투척물이 제2 컨텐츠 영역에서 이동을 시작하여 제1 컨텐츠 영역의 화면에 터치되면, 타인의 공을 타인의 화면으로 던진 반칙 상황이므로 그에 대한 예외 처리를 수행한다.
둘째, 객체인식 모듈(2110)은 컨텐츠의 플레이 영상으로부터 제1 투척물과 제2 투척물 외에 제1 플레이어와 제2 플레이어를 더 식별한다. 규준 모듈(2130)은 제1 플레이어가 제2 투척물을 제2 컨텐츠 영역에 던지거나, 제2 플레이어가 제1 투척물을 제1 컨텐츠 영역에 던지는 것이 확인되면 타인의 공을 타인의 화면으로 던진 반칙 상황이므로 이에 대한 예외 처리를 수행한다.
마지막으로, 제1 플레이어가 제1 투척물을 제2 플레이어의 컨텐츠 영상에 던지는 경우를 식별하기 위해 다음의 솔루션들이 제공될 수 있다.
첫째, 객체인식 모듈(2110)은 컨텐츠의 플레이 영상으로부터 지속적으로 제1 투척물과 제2 투척물을 트래킹한다. 규준 모듈(2130)은 제1 투척물이 제1 컨텐츠 영역에서 이동을 시작하여 제1 컨텐츠의 좌표 영역을 벗어나거나, 제2 투척물이 제2 컨텐츠 영역에서 이동을 시작하여 제2 컨텐츠의 좌표 영역을 벗어나면, 자신의 공을 엉뚱한 곳으로 던진 반칙 상황이므로 그에 대한 예외 처리를 수행한다.
둘째, 객체인식 모듈(2110)은 컨텐츠의 플레이 영상으로부터 제1 투척물과 제2 투척물 외에 제1 플레이어와 제2 플레이어를 더 식별한다. 규준 모듈(2130)은 제1 플레이어가 제1 투척물을 던지되 제1 컨텐츠의 좌표 영역을 벗어나거나, 제2 플레이어가 제2 투척물을 던지되 제2 컨텐츠의 좌표 영역을 벗어나면, 자신의 공을 엉뚱한 곳으로 던진 반칙 상황이므로 이에 대한 예외 처리를 수행한다.
한편, 본 실시예의 규준 모듈(2130)은 투척물의 투척 지점 즉, 투척물을 던지는 플레이어가 위치한 지점이 기준선을 넘어서면 미리 정해진 예외 처리를 수행하는 기능도 실시예 1 및 실시예 2와 동일하게 구비할 수 있다.
그외에, 영상 출력 장치(3000) 및 머신러닝 서버(4000) 역시 실시예 1의 영상 출력 장치(30) 및 머신러닝 서버(40)와 동일하다.
이상에서 설명한 실시예 3 및 실시예 4의 스포츠 인터렉티브 컨텐츠 실행 시스템 및 방법의 전체 또는 부분적 기능들은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며 그 반대도 마찬가지이다.
또한 본 발명은 위에서 설명한 실시예들에 한정되지 아니하며, 적용범위가 다양함은 물론이고 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
10, 100, 1000 : 디지털 카메라
20, 200, 2000 : 애플리케이션 구동 장치
30, 300, 3000 : 영상 출력 장치
40, 400, 4000 : 머신러닝 서버
21, 210, 2100 : 변환 엔진
21-1, 211, 2110 : 객체인식 모듈
21-2, 212, 2120 : 이벤트 모듈
21-3, 213, 2130 : 규준 모듈
22, 220,2200 : 인터렉티브 컨텐츠 애플리케이션

Claims (12)

  1. 벽면에 디스플레이 되는 스포츠 인터렉티브 컨텐츠 영상을 촬영하는 디지털 카메라;
    상기 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 투척물을 식별하고 상기 투척물의 거리와 좌표를 파악하는 객체인식 모듈과, 상기 투척물이 벽면에 부딪힌 때 투척물의 좌표에 매핑되는 상기 스포츠 인터렉티브 컨텐츠의 실행 화면상의 좌표가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈과, 상기 투척물의 투척 지점이 기준선을 넘어서면 예외 처리를 수행하는 규준 모듈을 포함한 변환 엔진을 실행하는 애플리케이션 구동 장치; 및
    동일한 투척물을 서로 다른 위치에서 촬영한 복수의 영상 데이터를 반복적으로 분석하여 상기 투척물을 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 둘 이상에 관한 패턴을 학습하는 머신러닝 서버를 포함하고,
    상기 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 중 어느 하나이며,
    상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지고,
    상기 객체인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 투척물 간의 거리를 계산하는 것을 특징으로 하는
    운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  2. 제1항에 있어서,
    상기 객체인식 모듈은 상기 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 플레이어를 식별한 후 상기 플레이어와의 거리를 상기 규준 모듈에 제공하고,
    상기 규준 모듈은 상기 플레이어와의 거리와 기준선의 거리를 비교하여 기준선을 넘어선 투척인지 판단하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  3. 제1항에 있어서,
    상기 규준 모듈은 상기 투척물의 이동 시작점의 거리와 기준선의 거리를 비교하여 기준선을 넘어선 투척인지 판단하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 디지털 카메라는 적어도 하나의 이미지 센서를 가지며,
    상기 객체인식 모듈은, 상기 디지털 카메라로 촬영한 영상 속의 투척물의 크기를 기초로 상기 디지털 카메라와 벽면 간의 거리를 계산하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  7. 벽면에 디스플레이 되는 제1 스포츠 인터렉티브 컨텐츠의 영상과 제2 스포츠 인터렉티브 컨텐츠의 영상을 촬영하는 디지털 카메라;
    상기 제1 및 제2 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 제1 투척물과 제2 투척물을 식별하고, 상기 제1 투척물 및 제2 투척물의 거리와 좌표를 파악하는 객체인식 모듈과, 상기 제1 투척물이 벽면에 부딪힌 때의 좌표에 매핑되는 상기 스포츠 인터렉티브 컨텐츠의 실행 화면상의 좌표가 포함된 제1 이벤트와 상기 제2 투척물이 벽면에 부딪힌 때의 좌표에 매핑되는 상기 스포츠 인터렉티브 컨텐츠의 실행 화면상의 좌표가 포함된 제2 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함한 변환 엔진을 실행하는 애플리케이션 구동 장치; 및
    동일한 제1 투척물 또는 제2 투척물을 서로 다른 위치에서 촬영한 복수의 영상 데이터를 반복적으로 분석하여 상기 제1 투척물 또는 제2 투척물을 식별하기 위한 형상, 크기, 표면의 패턴 무늬, 색상 중 둘 이상에 관한 패턴을 학습하는 머신러닝 서버를 포함하고,
    상기 이벤트는 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 중 어느 하나이며,
    상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지고,
    상기 객체인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 제1 투척물 또는 상기 디지털 카메라와 상기 제2 투척물 간의 거리를 계산하는 것을 특징으로 하는
    운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  8. 제7항에 있어서,
    상기 객체인식 모듈은 상기 제1 및 제2 스포츠 인터렉티브 컨텐츠의 촬영 영상에서 제1 플레이어와 제2 플레이어를 더 식별하며,
    상기 제1플레이어가 상기 제2 투척물을 던지거나 상기 제2플레이어가 상기 제1 투척물을 던지면 예외 처리를 수행하는 규준 모듈을 더 포함하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  9. 제7항에 있어서,
    상기 제1 투척물이 제2 스포츠 인터렉티브 컨텐츠의 플레이 영역에서 제1 스포츠 인터렉티브 컨텐츠의 플레이 영역으로 이동하여 벽면에 부딪힌 경우 예외 처리를 수행하는 규준 모듈을 더 포함하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 디지털 카메라는 적어도 하나의 이미지 센서를 가지며,
    상기 객체인식 모듈은, 상기 디지털 카메라로 촬영한 영상 속의 제1 투척물 또는 제2 투척물의 크기를 기초로 상기 디지털 카메라와 제1 투척물 또는 제2 투척물 간의 거리를 계산하는 것을 특징으로 하는 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템.
KR1020190058258A 2019-04-17 2019-05-17 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템 KR102054148B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006029 WO2020213784A1 (ko) 2019-04-17 2019-05-20 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190045098 2019-04-17
KR1020190045098 2019-04-17

Publications (1)

Publication Number Publication Date
KR102054148B1 true KR102054148B1 (ko) 2019-12-12

Family

ID=68729655

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190058258A KR102054148B1 (ko) 2019-04-17 2019-05-17 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템
KR1020190058257A KR102041279B1 (ko) 2019-04-17 2019-05-17 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
KR1020190071560A KR102275702B1 (ko) 2019-04-17 2019-06-17 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020190058257A KR102041279B1 (ko) 2019-04-17 2019-05-17 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
KR1020190071560A KR102275702B1 (ko) 2019-04-17 2019-06-17 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템

Country Status (2)

Country Link
KR (3) KR102054148B1 (ko)
WO (2) WO2020213784A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120114767A (ko) 2011-04-08 2012-10-17 동서대학교산학협력단 사물 투척형 게임 디스플레이 시스템 및 그 방법
KR20130071059A (ko) * 2011-12-20 2013-06-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20150035854A (ko) * 2015-02-17 2015-04-07 주식회사 홍인터내셔날 원격 멀티 모드 시 스로우 라인을 이용한 인증이 가능한 다트 게임 장치
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (ko) * 2018-09-10 2019-03-29 주식회사 큐랩 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013076A (ko) * 2009-08-01 2011-02-09 강병수 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치
KR101211178B1 (ko) * 2010-10-20 2012-12-12 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101330531B1 (ko) 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR101572346B1 (ko) * 2014-01-15 2015-11-26 (주)디스트릭트홀딩스 증강현실 스테이지, 라이브 댄스 스테이지 및 라이브 오디션을 위한 서비스 시스템 및 서비스 방법
KR101860753B1 (ko) * 2016-06-13 2018-05-24 (주)블루클라우드 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120114767A (ko) 2011-04-08 2012-10-17 동서대학교산학협력단 사물 투척형 게임 디스플레이 시스템 및 그 방법
KR20130071059A (ko) * 2011-12-20 2013-06-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20150035854A (ko) * 2015-02-17 2015-04-07 주식회사 홍인터내셔날 원격 멀티 모드 시 스로우 라인을 이용한 인증이 가능한 다트 게임 장치
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (ko) * 2018-09-10 2019-03-29 주식회사 큐랩 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템

Also Published As

Publication number Publication date
WO2020213784A1 (ko) 2020-10-22
KR20200122202A (ko) 2020-10-27
KR102275702B1 (ko) 2021-07-09
KR102041279B1 (ko) 2019-11-27
WO2020213783A1 (ko) 2020-10-22

Similar Documents

Publication Publication Date Title
US8597142B2 (en) Dynamic camera based practice mode
US10099144B2 (en) Sports simulation system
EP2585896B1 (en) User tracking feedback
US11103783B2 (en) Sports simulation system
US8467574B2 (en) Body scan
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
US9498718B2 (en) Altering a view perspective within a display environment
US20130074002A1 (en) Recognizing User Intent In Motion Capture System
US20160035095A1 (en) Systems And Methods For Detecting A Tilt Angle From A Depth Image
US20100306712A1 (en) Gesture Coach
TW201936241A (zh) 增強比賽系統及方法
KR20140021619A (ko) 수동 및 카메라 기반 아바타 제어
US11040287B2 (en) Experience-oriented virtual baseball game apparatus and virtual baseball game control method using the same
US20170370682A1 (en) Server and Dart Game Device for Providing Dart Game in Accordance with Hitting Area on Basis of Location of Dart Pin, and Computer Program
WO2016007790A1 (en) Infrared reflective device interactive projection effect system
US20230289982A1 (en) Methods and systems to track a moving objects trajectory using a single camera
KR102054148B1 (ko) 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템
EP3782372A1 (en) A method and apparatus for user interaction with a video stream
CN111228771B (zh) 高尔夫球娱乐系统和高尔夫球训练方法
US11491372B2 (en) Information processing device, information processing method, and computer program
KR101818224B1 (ko) 스크린을 이용한 그라운드 골프 게임을 제공하기 위한 시스템
US20230285832A1 (en) Automatic ball machine apparatus utilizing player identification and player tracking
US20240115919A1 (en) Systems and methods for football training
KR20220138965A (ko) 라이다센서 및 빅데이터를 이용한 체험형 축구 경기 운영시스템
KR20240002869A (ko) 당구 테이블에 가상의 당구 게임 이미지를 투사하는 방법, 이를 수행하는 프로젝터 장치 및 영상 투사 서버

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant