KR101532111B1 - 전자 엔터테인먼트 시스템에서의 제스처 관련 피드백 - Google Patents

전자 엔터테인먼트 시스템에서의 제스처 관련 피드백 Download PDF

Info

Publication number
KR101532111B1
KR101532111B1 KR1020107025427A KR20107025427A KR101532111B1 KR 101532111 B1 KR101532111 B1 KR 101532111B1 KR 1020107025427 A KR1020107025427 A KR 1020107025427A KR 20107025427 A KR20107025427 A KR 20107025427A KR 101532111 B1 KR101532111 B1 KR 101532111B1
Authority
KR
South Korea
Prior art keywords
microphone
input
gesture input
user
expected
Prior art date
Application number
KR1020107025427A
Other languages
English (en)
Other versions
KR20110014151A (ko
Inventor
바스코 루비오
에릭 필러
로렌 더글라스 리즈
데니스 더블유. 탐
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20110014151A publication Critical patent/KR20110014151A/ko
Application granted granted Critical
Publication of KR101532111B1 publication Critical patent/KR101532111B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3286—Type of games
    • G07F17/3295—Games involving skill, e.g. dexterity, memory, thinking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211—Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Educational Administration (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

전자 엔터테인먼트 시스템에서 사용자 피드백을 제공하는 것에 관한 다양한 실시예들이 여기에 개시된다. 예를 들면, 하나의 개시된 실시예는 노래방 시스템에서 사용자 피드백을 제공하는 방법으로서, 사용자로부터 마이크 제스처 입력을 권유하는 단계, 상기 마이크에 위치하는 하나 이상의 모션 센서들을 통해 상기 사용자로부터 상기 마이크 제스처 입력을 수신하는 단계, 상기 마이크 제스처 입력을 기대된 제스처 입력과 비교하는 단계, 상기 마이크 제스처 입력을 상기 기대된 제스처 입력과 비교하는 것에 기초하여 상기 마이크 제스처 입력을 평가하는 단계, 및 상기 평가에 기초하여 상기 사용자에게 피드백을 제공하는 단계를 포함하는 방법을 제공한다.

Description

전자 엔터테인먼트 시스템에서의 제스처 관련 피드백{GESTURE-RELATED FEEDBACK IN ELECTRONIC ENTERTAINMENT SYSTEM}
비디오 게임과 같은 전자 엔터테인먼트 시스템들은 일반적으로 다수의 상이한 형태들로 사용자 피드백을 제공한다. 예를 들면, 사용자가 게임을 얼마나 잘 수행했는지에 관하여 사용자 피드백을 제공하기 위해 스코어 또는 기타 그러한 퍼포먼스 메트릭(performance metric)이 디스플레이될 수 있다. 이것은 사용자가 기량의 향상을 추적하고, 그 사용자의 기량을 다른 플레이어들의 기량과 비교하기 위한 기준을 제공할 수 있다.
그러나, 다른 엔터테인먼트 시스템들은 사용자에게 그러한 피드백을 제공하도록 구성되지 않을 수 있다. 예를 들면, 노래방 시스템들은 사용자가 곡(song)을 따라(예를 들면, 디스플레이에 디스플레이된 가사를 통해) 마이크에 노래하도록 하고, 그 후 청중이 듣기 위해 사용자의 노래를 증폭하여 출력하도록 구성될 수 있다. 그러한 시스템들에서, 퍼포먼스의 품질에 대한 피드백은, 엔터테인먼트 시스템보다는, 청중에 의해(예를 들면, 환호 또는 야유를 통해) 제공될 수 있다.
전자 엔터테인먼트 시스템에서 사용자 피드백을 제공하는 것에 관한 다양한 실시예들이 여기에 개시된다. 예를 들면, 하나의 개시된 실시예는 노래방 시스템에서 사용자 피드백을 제공하는 방법으로서, 사용자로부터의 마이크 제스처 입력을 권유(invite)하는 단계, 상기 마이크에 위치하는 하나 이상의 모션 센서들을 통해 상기 사용자로부터 상기 마이크 제스처 입력을 수신하는 단계, 상기 마이크 제스처 입력을 기대된 제스처 입력과 비교하는 단계, 상기 마이크 제스처 입력을 상기 기대된 제스처 입력과 비교하는 것에 기초하여 상기 마이크 제스처 입력을 평가하는 단계, 및 상기 평가에 기초하여 상기 사용자에게 피드백을 제공하는 단계를 포함하는 방법을 제공한다.
이 개요는 아래 상세한 설명에서 더 설명되는 개념들 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 내용의 중요한 특징들 또는 본질적인 특징들을 식별하기 위해 의도된 것이 아니고, 그것은 청구된 내용의 범위를 제한하는 데 이용되도록 의도되어 있지도 않다. 또한, 청구된 내용은 이 명세의 임의의 부분에서 지적된 임의의 또는 모든 불리점들을 해결하는 구현들에 제한되지 않는다.
도 1은 노래방 시스템에서 사용자 피드백을 제공하기 위한 방법의 실시예를 도시하는 프로세스 흐름을 나타낸다.
도 2는 노래방 시스템에서 사용자 피드백을 제공하기 위한 방법의 다른 실시예를 도시하는 프로세스 흐름을 나타낸다.
도 3은 마이크의 검출된 모션의 함수로서 마이크의 동작 모드를 제어하는 방법의 실시예를 도시하는 프로세스 흐름을 나타낸다.
도 4는 노래방 시스템의 실시예를 나타낸다.
도 1은 노래방 시스템에서 사용자 피드백을 제공하기 위한 방법(100)의 실시예를 나타낸다. 일반적으로, 방법(100)은 마이크의 움직임들을 검출하도록 구성된 하나 이상의 모션 센서들을 포함하는 마이크를 이용해 수행된다. 방법(100)은, 단계(102)에서, 마이크 제스처 입력을 권유하는 단계, 및 그 후 단계(104)에서, 마이크에 있는 모션 센서 또는 센서들을 통해 사용자로부터 마이크 제스처 입력을 수신하는 단계를 포함한다. 다음으로, 단계(106)에서, 방법(100)은 수신된 마이크 제스처 입력을 기대된 제스처 입력과 비교하는 단계, 및 그 후 단계(108)에서, 기대된 제스처 입력과의 비교에 기초하여 마이크 제스처 입력에 평가(rating)를 할당하는 단계를 포함한다. 그 후, 단계(110)에서, 방법(100)은 상기 평가에 기초하여 사용자에게 피드백을 제공하는 단계를 포함한다. 방법(100)은 그에 의해 사용자의 퍼포먼스가 그 사용자에 의한 이전의 퍼포먼스들 및/또는 다른 사용자의 퍼포먼스들과 대조하여 측정되도록 허용할 수 있다. 이것은 다양한 인터랙티브(interactive) 게임들 및 활동들이 마이크를 이용해 수행되는 것을 가능하게 할 수 있다.
"노래방(karaoke)"이라는 용어는 여기서 사용자가 오디오, 비디오, 또는 오디오/비디오 재생을 통해 제시될 수 있는 미리 레코딩된 연주(pre-recorded performance)를 따르도록 자극받는 임의의 활동을 기술하기 위해 사용된다는 것을 이해할 것이다. 노래방 활동들은 일반적으로 미리 레코딩된 오디오 트랙을 따라 노래하는 것을 포함한다. 그러나, 일부 실시예들에서, 사용자는, 곡의 일부 또는 전체 곡에 대하여, 음성 입력들이 수반되지 않은 마이크 제스처들을 수행하도록 자극받을 수 있다. 그러므로 여기서 사용되는 "노래방"이라는 용어는 오디오 연주뿐만 아니라, 오디오 입력이 수반되지 않은 자극된 마이크 제스처들을 포함한다는 것을 이해할 것이다. 또한, 여기서는 노래방 시스템에 관련하여 개시되지만, 개시된 실시예들은 임의의 다른 적합한 엔터테인먼트 시스템에서 구현될 수 있다는 것을 이해할 것이다.
도 1에서 계속하여, 사용자는 임의의 적합한 방식으로 제스처 입력을 행하도록 권유받을 수 있다. 예를 들면, 인터랙티브 노래방 활동(interactive karaoke activity)은 곡을 노래하는 공연자(performer)의 비디오 재생을 시청하는 것, 및 그 후 그 곡을 따라 노래하는 것에 더하여, 공연자가 행한 제스처들을 모방하는 것을 포함할 수 있다. 이 실시예에서, 사용자는 비디오 재생을 통해 제스처 입력을 행하도록 권유받는다. 다른 실시예에서, 게임은 노래하는 동안에 재생되고 있는 음악의 박자에 맞추어 움직이거나 춤추는 것을 포함할 수 있다. 이 실시예에서, 사용자는 곡의 리듬에 의해 제스처 입력을 행하도록 권유받는다. 이들 실시예들은 예시를 위하여 설명되는 것이고, 다른 실시예들은 그렇게 제한되지 않는다는 것을 이해할 것이다.
마이크 제스처 입력은 임의의 적합한 방식으로 기대된 제스처 입력과 비교될 수 있다. 예를 들면, 일부 실시예들에서, 인지된 제스처들의 세트는 마이크에 있는 모션 센서 또는 센서들로부터 기대된 입력들에 관하여 정의될 수 있다. 또한, 일련의 인지된 제스처들은 특정한 노래방 곡 선택과 관련될 수 있다. 사용자가 그 선택을 수행할 때, 마이크에 있는 모션 센서 또는 모션 센서들로부터의 입력들이 수신되고 기대된 입력들과 비교될 수 있다. 그 후 기대된 입력으로부터의 실제 입력의 편차의 통계적 결정이 산출될 수 있다. 그 후 이 편차의 크기에 기초하여 평가가 할당될 수 있다. 마이크 제스처 입력을 기대된 제스처 입력과 비교하는 임의의 다른 적합한 방법이 이용될 수 있으므로, 이 예는 예시를 위하여 설명되는 것이고, 결코 제한하는 것으로 의도되어 있지 않다는 것을 이해할 것이다.
또한, 여기에서 사용되는 "평가(rating)"라는 용어는 마이크 제스처 입력을 기대된 제스처 입력과 대조하여 비교한 결과를 나타내고 사용자 피드백을 제공하기 위한 기초로서 이용될 수 있는 임의의 값, 값들, 지시(instructions) 등을 지칭한다는 것을 이해할 것이다.
마이크 제스처 입력을 기대된 입력과 비교하는 것은 마이크에 위치하는 로컬 컨트롤러를 통해 수행될 수 있고, 또는 사용중인 인터랙티브 엔터테인먼트 아이템을 실행하고 제어하는, 게임 콘솔과 같은, 다른 컴퓨팅 장치에 송신될 수 있다. 사용자 입력이 그러한 엔터테인먼트 컨트롤러에 송신되는 경우, 그 입력은 무선으로, 또는 핸드헬드 원격 입력 장치를 그 엔터테인먼트 컨트롤러에 연결하는 케이블을 통해 송신될 수 있다. "엔터테인먼트 컨트롤러(entertainment controller)"라는 용어는 여기서 모션 감지 마이크를 이용한 노래방 퍼포먼스 또는 다른 인터랙티브 엔터테인먼트 활동의 프리젠테이션을 제어하도록 구성된 임의의 컴퓨팅 장치를 기술하기 위해 폭넓게 사용된다. 또한, 여기서 사용되는 "컴퓨팅 장치", "컴퓨터" 등의 용어들은 하나 이상의 프로그램들을 전자적으로 실행하는 임의의 장치를 포함하는데, 그러한 장치는 게임 콘솔, 퍼스널 컴퓨터, 서버, 랩톱 컴퓨터, 핸드헬드 장치, 휴대폰, 마이크로프로세서 기반 프로그램 가능한 소비자 전자 기기 및/또는 기구, 컴퓨터 네트워킹 장치 등을 포함하지만, 이들에 제한되는 것은 아니다.
도 1에서 계속하여, 평가에 기초하여 사용자에게 제공되는 피드백은 임의의 적합한 형태를 취할 수 있다. 예를 들면, 사용자가 수행한 제스처가 기대된 제스처와 얼마나 근사하게(closely) 일치하는지를 사용자에게 나타내기 위해 디스플레이 화면 상에 시각적 피드백이 제공될 수 있다. 마찬가지로, 마이크 제스처가 기대된 제스처와 근사하게 일치할 경우 모의된 환호(simulated cheering)의 형태로 오디오 피드백이 제공될 수 있다.
또한, 마이크는 입력 마이크 제스처를 기대된 제스처와 비교한 것에 기초하여 얼마간 광을 출력하도록 구성된 하나 이상의 광원들을 포함할 수 있다. 예를 들면, 광은 사용자 입력이 기대된 입력과 얼마나 근사하게 일치하는지에 따라서 컬러를 변경할 수 있다. 하나의 특정한 예시 실시예에서, 하나의 컬러의 광은 양호한 보컬 및/또는 제스처 퍼포먼스를 나타낼 수 있는 반면 다른 컬러의 광은 불량한 보컬 및/또는 제스처 퍼포먼스를 나타낼 수 있다. 사용자의 보컬 및/또는 제스처 퍼포먼스가 기대된 퍼포먼스와 얼마나 근사하게 일치하는지에 따라서, 마이크에 의해 출력된 광은 2개의 컬러들 사이에, 또는 상대적인 퍼포먼스 평가들을 반영하는 3개 이상의 컬러들 사이에, 제1 컬러와 제2 컬러의 상대적 강도를 조절함으로써, 급격하게 또는 연속적으로 변화할 수 있다. 이 실시예는 예시를 위하여 설명되고, 결코 제한하는 것으로 의도되어 있지 않다는 것을 이해할 것이다.
도 2는 오디오 및 제스처 입력들 양쪽 모두가 피드백을 제어하는 데 이용되는 노래방 게임의 사용자에게 피드백을 제어하는 방법(200)의 다른 실시예를 예시한다. 방법(200)은, 단계(202)에서, 사용자로부터 오디오 입력 및 마이크 제스처 입력을 권유하는 단계, 및 그 후, 단계(204)에서, 오디오 입력 및 마이크 제스처 입력을 수신하는 단계를 포함한다. 오디오 입력을 권유하는 것은, 예를 들면, 사용자에게 익숙한 곡의 오디오 버전을 출력하는 것을 포함할 수 있고, 또한 비디오 디스플레이 상에 그 곡에 대한 가사를 디스플레이하는 것을 포함할 수 있다. 마찬가지로, 마이크 제스처 입력을 권유하는 것은, 예를 들면, (예를 들면, 곡을 노래하면서 제스처를 행하는 공연자를 보여주는 뮤직 비디오를 재생하는 것에 의해,) 및/또는 노래하면서 곡의 리듬에 따라 마이크를 움직이도록 사용자에게 권유하기 위해 곡을 연주하는 것에 의해 사용자에 의한 모방을 위해 디스플레이 상에 제스처를 디스플레이하는 것을 포함할 수 있다.
다음으로, 방법(200)은, 단계(206)에서, 사용자로부터 수신된 마이크 및 오디오 입력들을 마이크로부터 원격에 위치하는 엔터테인먼트 컨트롤러에 송신하는 단계를 포함한다. 입력은 무선 링크를 통해 또는 마이크를 엔터테인먼트 컨트롤러에 연결하는 케이블을 통해 엔터테인먼트 컨트롤러에 송신될 수 있다. 또한, 입력은 임의의 적합한 간격으로 및/또는 임의의 적합한 트리거링 이벤트를 검출하는 즉시 송신될 수 있다. 하나의 예시 실시예에서는, 모션 센서로부터의 데이터의 안정적인 스트림(steady stream)이 엔터테인먼트 컨트롤러에 송신된다. 하나의 더 특정한 예시에서는, 3축 가속도계의 각 축에 대한 10 비트의 데이터가 규칙적인 간격으로, 예를 들면 매 8-10 ms마다 엔터테인먼트 컨트롤러에 주기적으로 송신된다. 모션 데이터는 임의의 다른 적합한 간격으로 송신될 수 있고, 이 특정한 예시는 결코 제한하는 것으로 의도되어 있지 않다는 것을 이해할 것이다.
방법(200)은 다음으로, 단계(208)에서, 사용자로부터 수신된 마이크 제스처 입력 및 오디오 입력을 기대된 제스처 및 오디오 입력들과 비교하는 단계를 포함한다. 사용자로부터 수신된 오디오 입력의 임의의 적합한 특성 또는 특성들이 기대된 오디오 입력과 비교될 수 있다. 예를 들면, 사용자 입력의 순간 또는 평균 피치(pitch)가 기대된 순간 또는 평균 피치와 비교될 수 있다. 또한, 사용자 입력의 리듬, 타이밍, 또는 강도의 변화(즉, 점점 세게 또는 점점 약하게)가 기대된 리듬, 기대된 타이밍, 또는 기대된 강도 변화와 비교될 수 있다. 또한, 수신된 가사 입력(lyrical input)을 기대된 가사 입력과 비교하기 위해 음성 인식 기법들이 이용될 수 있다.
다음으로, 방법(200)은, 단계(210)에서, 수신된 입력들을 기대된 입력들과 비교한 것에 기초하여 오디오 및 제스처 입력들에 대한 평가를 결정하는 단계를 포함한다. 평가는 오디오 시스템으로 하여금 적합한 사용자 피드백을 제공하게 하도록 구성되는 임의의 적합한 값, 값들, 지시, 또는 기타 출력을 포함할 수 있다. 예를 들면, 평가는 제스처 입력과 함께 (음성 입력의 피치 또는 톤과 같은) 사용자 입력의 단일 특성을 기대된 제스처 입력과 함께 기대된 입력의 단일 특성과 비교한 것을 나타낼 수 있다. 다른 실시예들에서, 평가는 제스처 입력과 함께, 음성 입력에서의 요소들의 조합(예를 들면, 음성 입력의 피치, 리듬, 및/또는 상대적 강도의 조합들)을 나타낼 수 있다. 평가는 이들 입력들로부터 임의의 적합한 방법으로 산출될 수 있다는 것을 이해할 것이고, 그 방법은 다양한 통계적 방법들을 포함하지만 이에 제한되는 것은 아니다.
계속해서, 방법(200)은 다음으로, 단계(212)에서, 평가를 마이크에 송신하는 단계, 및 그 후 단계(214)에서, 평가에 기초하여 사용자에게 피드백을 제공하는 단계를 포함한다. 임의의 적합한 피드백이 제공될 수 있다. 예를 들면, 평가에 대응하는 스코어가 디스플레이 상에 디스플레이될 수 있다. 마찬가지로, 환호하는 청중의 모의된 오디오 재생은 평가에 따라서 변할 수 있다. 또한, 단계(216)에서 나타내어진 바와 같이, 평가에 응답하여 마이크에 의해 방출된 광이 조절될 수 있다. 평가는 임의의 적합한 방법으로, 예를 들면 무선 연결을 통해 및/또는 마이크를 엔터테인먼트 컨트롤러에 연결하는 케이블을 통해 마이크에 송신될 수 있다. 마찬가지로, 피드백이 마이크에 의해 방출된 광의 형태로 제공될 때, 광은 임의의 적합한 방법으로 조절될 수 있다. 예를 들면, 광의 제1 컬러 및 광의 제2 컬러의 상대적 강도들이 조절될 수 있다. 대안적으로 또는 추가적으로, 임의의 다른 적합한 조절이 행해질 수 있다. 이런 식으로, 마이크의 사용자뿐만 아니라 임의의 청중 멤버들은, 기대된 퍼포먼스에 대한 사용자의 오디오 및/또는 제스처 퍼포먼스의 상대적 근사성(closeness)과 관련되어 있는 시각적 피드백을 제공받는다. 노래방 시스템의 특정한 예는 예시를 위하여 설명된 것이고, 다른 실시예들은 그렇게 제한되지 않는다는 것을 이해할 것이다.
마이크 내의 모션 센서(들)로부터의 정보는 노래방 퍼포먼스 동안에 또는 다양한 게임들을 수행하는 동안에 피드백을 제공하는 것 외에도 다른 방식들로 이용될 수 있다. 예를 들면, 모션 센서(들)로부터의 정보는 다양한 사용자 동작들을 검출하고 그에 응하여 자동으로 동작 모드 변경들을 수행하기 위해 이용될 수 있다. 도 3은 사용자 동작에 기초하여 자동으로 마이크를 동작 모드와 비활성 모드 사이에 변경하는 방법(300)의 형태로, 그러한 자동으로 수행되는 모드 변경의 일 실시예를 예시한다.
방법(300)은, 단계(302)에서, 표면 상에 마이크를 내려놓는 것(setting down)을 검출하는 단계를 포함한다. 그러한 제스처는 임의의 적합한 방법으로 검출될 수 있다. 예를 들면, 그러한 제스처는 사용중에 기대되는 것보다 마이크 속도가 더 갑자기 변화하는 것에 의해, 및/또는 휴식 위치(rest position)(예를 들면, 일반적으로 원통 모양 마이크의 장축에 관하여 수평임)로의 마이크의 기울어짐(tilting)과 그 후 움직임이 없는 기간에 의해 검출될 수 있다. 모션 센서(들)로부터의 그러한 출력에 응답하여, 방법(300)은, 단계(304)에서, 마이크의 동작 모드를 활성 모드로부터 비활성 모드로 변경하는 단계를 포함한다. 이것은 다양한 이점들을 제공할 수 있다. 예를 들면, 무선 마이크의 경우에, 이것은 배터리 전하를 보존하는 데 도움이 될 수 있고, 따라서 재충전들 사이에 보다 긴 시간이 경과하게 할 수 있다. "활성 모드(active mode)"라는 용어는 통상의 마이크 사용중에 이용되는 마이크 동작 모드를 지칭하고, "비활성 모드(inactive mode)"는 활성 모드보다 더 낮은 전력 소비 및/또는 감소된 기능을 갖는 임의의 모드를 포함할 수 있다는 것을 이해할 것이다.
방법(300)은, 단계(306)에서, 모션 센서를 통해 마이크를 표면으로부터 들어올리는 것(lifting)을 검출하는 단계를 더 포함한다. 그러한 제스처는 임의의 적합한 방법으로 검출될 수 있다. 예를 들면, 그러한 제스처는 움직임이 없는 기간 후에 검출된 모션의 재개에 의해, 및/또는 휴식 위치로부터 보다 직립한 위치로의 마이크의 기울어짐에 의해 검출될 수 있다. 모션 센서(들)로부터의 그러한 출력에 응답하여, 방법(300)은, 단계(308)에서, 마이크의 동작 모드를 비활성 모드로부터 활성 모드로 변경하는 단계를 포함한다. 마이크를 활성 및 비활성 모드들 사이에 변경하기 위해 여기에 개시된 제스처들은 예시를 위하여 제시된 것이고, 임의의 다른 적합한 제스처가 이용될 수 있다는 것을 이해할 것이다.
도 4는 노래방 시스템(400)의 형태의 전자 엔터테인먼트 시스템의 실시예를 나타낸다. 노래방 시스템(400)은 마이크(404)와, 및 디스플레이 시스템(406)과 통신하는 엔터테인먼트 컨트롤러(402)를 포함한다. 엔터테인먼트 컨트롤러(402)는 다양한 컴포넌트들을 포함하는데, 그것은 메모리(410), 프로세서(412), 및 무선 송신기/수신기(414)를 포함하지만, 이들에 제한되는 것은 아니다. 엔터테인먼트 컨트롤러(402)는 노래방 활동의 프리젠테이션을 제어하도록 구성된다. 그러므로, 엔터테인먼트 컨트롤러(402)는 디스플레이 시스템(406) 상에 노래방 선택을 위한 가사 및/또는 뮤직 비디오의 디스플레이를 제어하고, 디스플레이 시스템 상의 하나 이상의 스피커들(408)을 통해(또는 다른 스피커들을 통해) 노래방 선택의 오디오 부분의 재생을 제어하고, 기타 등등을 행하도록 구성될 수 있다. 엔터테인먼트 컨트롤러(402)는 마이크(404) 및 디스플레이 시스템(406)과 무선으로 및/또는 장치들을 연결하는 하나 이상의 케이블 등을 통해 통신할 수 있다는 것을 이해할 것이다. 또한, 엔터테인먼트 컨트롤러, 마이크(404) 및 디스플레이 시스템(406)은 서로에 직접 연결될 수 있고, 또는 네트워크를 통하여 통신할 수 있다는 것을 이해할 것이다.
엔터테인먼트 컨트롤러(402)는, 예를 들면, 마이크(404) 또는 기타 사용자 입력 장치에 의해 송신된 사용자 입력을 수신하고, 사용자 입력을 기대된 입력과 비교하고, 그 입력에 기초하여 평가를 할당하고, 그 평가들을 마이크(404)에 송신하기 위해 마이크(404)와 통신하도록 구성될 수 있다. 다른 실시예들에서, 마이크(404)는 비교 및 평가 할당을 로컬로 수행하도록 구성될 수 있다.
엔터테인먼트 컨트롤러(402)는 메모리(410)에 저장되고 그러한 기능들의 수행을 가능하게 하도록 프로세서(412)에 의해 실행가능한 프로그램들 또는 코드를 포함할 수 있다. 일반적으로, 프로그램은 특정 태스크를 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴, 개체, 컴포넌트, 데이터 구조 등을 포함한다. 여기서 사용되는 "프로그램"이라는 용어는 단일 프로그램 또는 협력하여 동작하는 다수의 프로그램들을 의미할 수 있고, 애플리케이션, 서비스, 또는 임의의 다른 유형 또는 부류의 프로그램을 의미하기 위해 이용될 수 있다.
도 4에서 계속하여, 마이크(404)는 메모리(422) 및 프로세서(424)를 갖는 마이크 컨트롤러(420)를 포함한다. 마이크(404)는 또한 사용자로부터 음성 입력을 수신하도록 구성된 오디오 입력(426)을 포함한다. 오디오 입력(426)은 오디오 트랜스듀서, 프리앰프 또는 기타 증폭 스테이지들, 아날로그-디지털 컨버터, 및/또는 임의의 다른 적합한 컴포넌트들과 같은 컴포넌트들을 포함할 수 있다. 마이크(404)는 사용자 제스처를 검출하고, 그 제스처에 기초한 신호를 제스처 입력으로서 마이크 컨트롤러(420)에 제공하도록 구성된 하나 이상의 모션 센서들(428)을 더 포함할 수 있다. 임의의 적합한 모션 센서가 이용될 수 있다. 적합한 모션 센서들의 예들은 3축 가속도계를 포함하지만, 이에 제한되는 것은 아니다.
마이크(404)는 마이크가 엔터테인먼트 컨트롤러(402)와 무선으로 통신하는 것을 가능하게 하는 무선 수신기/송신기(430)를 더 포함한다. 다른 실시예들에서, 마이크(404)는 마이크(404)를 엔터테인먼트 컨트롤러(402)에 연결하는 케이블을 통해 엔터테인먼트 컨트롤러(402)와 통신하도록 구성될 수 있다.
일부 실시예들에서, 마이크(404)는 432, 434, 및 436에서 각각 광원 1, 광원 2, 및 광원 n으로서 도시된, 복수의 광원들을 더 포함할 수 있다. 각 광원은 임의의 적합한 컴포넌트들을 포함할 수 있고, 그것은 광 전구, LED, 레이저뿐만 아니라, 마이크 케이싱 상의 원하는 위치들에 위치하는 배출구들(outlets)로 광을 인도하는 다양한 광학 컴포넌트들을 포함하지만, 이들에 제한되는 것은 아니다. n개의 복수 광원들을 갖는 것으로 도시되어 있지만, 마이크(404)는, 일부 실시예들에서 단일 광원을 포함하여, 임의의 적합한 수의 광원들을 가질 수 있다는 것을 이해할 것이다. 또한, 다른 실시예들은 그러한 광원들을 포함하지 않을 수 있다.
마이크 컨트롤러(420)는 위에 설명된 다양한 입력들로부터 입력들을 수신하고, 그러한 입력들을 엔터테인먼트 컨트롤러에 송신하도록 프로세서(424)에 의해 실행가능한 메모리(422)에 저장된 코드를 포함할 수 있다. 또한, 일부 실시예들에서, 마이크는 엔터테인먼트 컨트롤러로부터 평가들 및 기타 통신들을 수신하고, 그 평가에 기초하여 하나 이상의 광원들의 출력을 제어하도록 구성될 수 있다. 또한, 위에 설명된 바와 같이, 마이크 컨트롤러(420)는 사용자 입력을 기대된 입력과 비교하고 이 비교에 기초하여 사용자 입력에 평가를 할당하도록 실행가능한 코드를 포함할 수 있다. 그러한 실시예들에서, 비교 및 평가 프로세스들은 완전히 마이크 컨트롤러(420) 상에서 수행될 수 있고, 또는 엔터테인먼트 컨트롤러(402) 및 마이크 컨트롤러(404)가 각각 행해진 사용자 입력의 일부를 분석하도록 엔터테인먼트 컨트롤러(402)와 공유될 수 있다는 것을 이해할 것이다. 예를 들면, 엔터테인먼트 컨트롤러(402)는 톤, 피치, 리듬 타이밍 등을 분석하도록 구성될 수 있는 반면, 마이크 컨트롤러(420)는 입력의 볼륨/강도를 분석하도록 구성될 수 있다. 이 특정한 실시예를 예시를 위하여 설명된 것이고, 다른 실시예들은 그렇게 제한되지 않는다는 것을 이해할 것이다.
여기서는 노래방 시스템에 관련하여 설명되었지만, 여기에 개시된 개념들은 임의의 다른 적합한 환경에서 이용될 수 있다는 것을 이해할 것이고, 그 환경은 핸드헬드 원격 입력 장치들을 이용하는 비디오 게임 시스템들을 포함하지만 이에 제한되는 것은 아니다. 또한 여기에 설명된 구성들 및/또는 접근법들은 본질적으로 예시적인 것이고, 다수의 변형들이 가능하기 때문에, 이들 특정한 실시예들 또는 예시들은 제한적인 의미에서 고려되어서는 안 된다는 것을 이해할 것이다. 여기에 설명된 특정한 루틴들 또는 방법들은 이벤트 기반(event-driven), 인터럽트 기반(interrupt-driven), 멀티태스킹, 멀티스레딩 등과 같은 임의의 수의 프로세싱 전략들 중 하나 이상을 나타낼 수 있다. 그러므로, 예시된 다양한 단계들은 예시된 순서로, 또는 동시에 수행될 수 또는 일부 경우에 생략될 수 있다. 마찬가지로, 위에 설명된 프로세스들 중 임의의 것의 순서는 여기에 설명된 실시예들의 특징들 및/또는 결과들을 성취하기 위해 반드시 요구되는 것은 아니고, 예시와 설명의 용이함을 위해 제공된 것이다. 본 명세의 내용은 다양한 프로세스들, 시스템들 및 구성들의 모든 신규하고 자명하지 않은 조합들 및 부분 조합들, 및 여기에 개시된 다른 특징들, 기능들, 단계들, 및/또는 속성들뿐만 아니라, 그의 임의의 모든 등가물들을 포함한다.

Claims (20)

  1. 하나 이상의 모션 센서들을 갖는 마이크와 상기 마이크와 통신하는 엔터테인먼트 컨트롤러를 포함하는 노래방 시스템에서 사용자 피드백을 제공하는 방법으로서,
    사용자로부터의 마이크 제스처 입력을 요청(inviting)하는 단계,
    상기 하나 이상의 모션 센서들을 통해 상기 사용자로부터 상기 마이크 제스처 입력을 수신하는 단계,
    상기 사용자로부터 오디오 입력을 수신하는 단계,
    상기 마이크 제스처 입력을 기대된 제스처 입력과 비교하고 상기 오디오 입력을 기대된 오디오 입력과 비교하는 단계,
    상기 마이크 제스처 입력을 상기 기대된 제스처 입력과 비교하고 상기 오디오 입력을 상기 기대된 오디오 입력과 비교하는 단계에 기초하여 사용자 퍼포먼스(user performance)에 대한 평가(rating)를 결정하는 단계, 및
    상기 평가에 기초하여 상기 사용자에게 피드백을 제공하는 단계
    를 포함하는 사용자 피드백 제공 방법.
  2. 제1항에 있어서,
    상기 마이크 제스처 입력을 요청하는 단계는 상기 사용자에 의해 모방될 제스처를 디스플레이 상에 디스플레이하는 단계를 포함하는
    사용자 피드백 제공 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 모션 센서들을 통해 표면 상에 상기 마이크를 내려놓는 것(setting down)을 검출하고, 그 후 상기 마이크의 모드를 동작 모드로부터 비활성 모드로 변경하는 단계를 더 포함하는
    사용자 피드백 제공 방법.
  4. 제3항에 있어서,
    상기 표면으로부터 상기 마이크를 들어올리는 것(lifting)을 검출하고, 그 후 상기 마이크의 모드를 상기 비활성 모드로부터 상기 동작 모드로 변경하는 단계를 더 포함하는
    사용자 피드백 제공 방법.
  5. 제1항에 있어서,
    상기 마이크 제스처 입력을 상기 기대된 제스처 입력과 비교하기 위해 상기 엔터테인먼트 컨트롤러에 송신하는 단계를 더 포함하는
    사용자 피드백 제공 방법.
  6. 제5항에 있어서,
    상기 마이크 제스처 입력을 송신하는 단계는 상기 하나 이상의 모션 센서들로부터 상기 엔터테인먼트 컨트롤러로 주기적으로 데이터를 송신하는 단계를 포함하는
    사용자 피드백 제공 방법.
  7. 노래방 사용자에게 피드백을 제공하는 방법으로서,
    마이크 제스처 입력을 수행함으로써 기대된 제스처 입력을 모방하도록 사용자에게 요청하는 단계,
    오디오 수신기 및 하나 이상의 모션 센서들을 포함하는 마이크를 통해 상기 사용자로부터의 상기 마이크 제스처 입력을 수신하는 단계,
    상기 사용자로부터 오디오 입력을 수신하는 단계,
    상기 마이크로부터의 상기 마이크 제스처 입력 및 상기 오디오 입력을 엔터테인먼트 컨트롤러로 송신하는 단계,
    상기 엔터테인먼트 컨트롤러에서, 상기 마이크로부터의 상기 마이크 제스처 입력을 상기 기대된 제스처 입력과 비교하고 상기 오디오 입력을 기대된 오디오 입력과 비교하는 단계,
    상기 마이크 제스처 입력을 상기 기대된 제스처 입력과 비교하고 상기 오디오 입력을 상기 기대된 오디오 입력과 비교하는 단계에 기초하여 사용자 퍼포먼스에 대한 평가를 결정하는 단계, 및
    상기 평가를 상기 마이크에 송신하는 단계,
    를 포함하는 사용자 피드백 제공 방법.
  8. 제7항에 있어서,
    상기 마이크 제스처 입력을 요청하는 단계는 상기 사용자에 의해 모방될 상기 기대된 제스처의 입력을 디스플레이 상에 디스플레이하는 단계를 포함하는
    사용자 피드백 제공 방법.
  9. 제7항에 있어서,
    상기 하나 이상의 모션 센서들을 통해 표면 상에 상기 마이크를 내려놓는 것을 검출하고, 그 후 상기 마이크의 모드를 동작 모드로부터 비활성 모드로 변경하는 단계를 더 포함하는
    사용자 피드백 제공 방법.
  10. 제9항에 있어서,
    상기 표면으로부터 상기 마이크를 들어올리는 것을 검출하고, 그 후 상기 마이크의 모드를 상기 비활성 모드로부터 상기 동작 모드로 변경하는 단계를 더 포함하는
    사용자 피드백 제공 방법.
  11. 제7항에 있어서,
    상기 마이크 제스처 입력을 송신하는 단계는 상기 하나 이상의 모션 센서들로부터 주기적인 데이터의 스트림을 송신하는 단계를 포함하는
    사용자 피드백 제공 방법.
  12. 노래방 시스템으로서,
    사용자에 대한 노래방 오디오/비디오 선택의 프리젠테이션을 제어하도록 구성된 엔터테인먼트 컨트롤러,
    상기 엔터테인먼트 컨트롤러와 통신하고 오디오 수신기 및 하나 이상의 모션 센서들을 포함하는 핸드헬드 무선 마이크,
    상기 마이크에 의해 송신된 제스처 입력 및 음성 입력을 수신하고, 상기 제스처 입력 및 상기 음성 입력의 기대된 제스처 입력 및 기대된 음성 입력과의 비교에 기초하여 사용자 퍼포먼스(user performance)에 평가(rating)를 부여(assign)하고, 상기 평가를 상기 마이크에 송신하도록 실행가능한, 상기 엔터테인먼트 컨트롤러에 저장된 코드, 및
    상기 제스처 입력 및 상기 음성 입력을 수신하고, 상기 제스처 입력 및 상기 음성 입력을 상기 엔터테인먼트 컨트롤러에 송신하고, 상기 평가에 기초하여 사용자 피드백을 제공하도록 실행가능한, 상기 마이크에 저장된 코드
    를 포함하는 노래방 시스템.
  13. 제12항에 있어서,
    상기 하나 이상의 모션 센서들은 3축 가속도계를 포함하는
    노래방 시스템.
  14. 제12항에 있어서,
    상기 마이크는 하나 이상의 광원들을 더 포함하고,
    상기 하나 이상의 광원들을 통해 사용자 피드백을 제공하도록 실행가능한, 상기 마이크 및 상기 엔터테인먼트 컨트롤러 중 하나 이상에 저장된 코드를 더 포함하는
    노래방 시스템.
  15. 제12항에 있어서,
    상기 엔터테인먼트 컨트롤러는 디스플레이에 연결되도록 구성되고,
    상기 사용자에 의해 모방될 제스처를 상기 디스플레이 상에 디스플레이하도록 실행가능한, 상기 엔터테인먼트 컨트롤러에 저장된 코드를 더 포함하는
    노래방 시스템.
  16. 제12항에 있어서,
    상기 하나 이상의 모션 센서들을 통해 표면 상에 상기 마이크를 내려놓는 것을 검출하고, 그 후 상기 마이크의 모드를 동작 모드로부터 비활성 모드로 변경하도록 실행가능한 코드를 더 포함하는
    노래방 시스템.
  17. 제12항에 있어서,
    상기 제스처 입력 및 상기 음성 입력을 상기 엔터테인먼트 컨트롤러에 송신하도록 실행가능한 상기 코드는 상기 하나 이상의 모션 센서들로부터 상기 엔터테인먼트 컨트롤러로 데이터를 주기적으로 송신하도록 실행가능한 코드를 포함하는
    노래방 시스템.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020107025427A 2008-05-15 2009-04-16 전자 엔터테인먼트 시스템에서의 제스처 관련 피드백 KR101532111B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/121,240 2008-05-15
US12/121,240 US8380119B2 (en) 2008-05-15 2008-05-15 Gesture-related feedback in eletronic entertainment system
PCT/US2009/040865 WO2009140024A2 (en) 2008-05-15 2009-04-16 Gesture-related feedback in eletronic entertainment system

Publications (2)

Publication Number Publication Date
KR20110014151A KR20110014151A (ko) 2011-02-10
KR101532111B1 true KR101532111B1 (ko) 2015-06-26

Family

ID=41316675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107025427A KR101532111B1 (ko) 2008-05-15 2009-04-16 전자 엔터테인먼트 시스템에서의 제스처 관련 피드백

Country Status (12)

Country Link
US (1) US8380119B2 (ko)
EP (1) EP2274745B1 (ko)
JP (2) JP2011523088A (ko)
KR (1) KR101532111B1 (ko)
CN (1) CN102027547A (ko)
BR (1) BRPI0911677A2 (ko)
CA (1) CA2720723C (ko)
IL (1) IL208533A (ko)
MX (1) MX2010011954A (ko)
RU (1) RU2488179C2 (ko)
TW (1) TWI470473B (ko)
WO (1) WO2009140024A2 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438448B2 (en) * 2008-04-14 2019-10-08 Gregory A. Piccionielli Composition production with audience participation
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US8439733B2 (en) 2007-06-14 2013-05-14 Harmonix Music Systems, Inc. Systems and methods for reinstating a player within a rhythm-action game
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8773352B1 (en) * 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
US20100248832A1 (en) * 2009-03-30 2010-09-30 Microsoft Corporation Control of video game via microphone
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
WO2012053371A1 (ja) * 2010-10-20 2012-04-26 株式会社メガチップス アミューズメントシステム
KR20120068253A (ko) * 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US20120183156A1 (en) * 2011-01-13 2012-07-19 Sennheiser Electronic Gmbh & Co. Kg Microphone system with a hand-held microphone
US9646452B2 (en) 2013-06-07 2017-05-09 Bally Gaming, Inc. Game history for wagering games using handheld devices
CN104698890A (zh) * 2015-02-17 2015-06-10 苏州乐聚一堂电子科技有限公司 智能套环
DE102015224643A1 (de) * 2015-12-08 2017-06-08 Sivantos Pte. Ltd. Hörgerätesystem mit einem Sprachkommunikationsgerät
CN107637088B (zh) 2016-07-07 2020-03-03 北京小米移动软件有限公司 音频播放系统、外接扩展设备、音频播放方法及装置
CN108093350B (zh) * 2017-12-21 2020-12-15 广东小天才科技有限公司 麦克风的控制方法和麦克风

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060009979A1 (en) * 2004-05-14 2006-01-12 Mchale Mike Vocal training system and method with flexible performance evaluation criteria
US7135637B2 (en) * 2000-01-11 2006-11-14 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422956A (en) * 1992-04-07 1995-06-06 Yamaha Corporation Sound parameter controller for use with a microphone
US5885085A (en) * 1995-11-24 1999-03-23 Yamaha Corporation Drive-in interactive system
JPH09325081A (ja) * 1996-06-05 1997-12-16 Casio Comput Co Ltd 運動測定装置及び運動測定装置を備えた電子式ゲーム装置
US5860023A (en) * 1996-07-01 1999-01-12 Sun Microsystems, Inc. Device for getting sophisticated data and voice information from audience
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US5785403A (en) * 1997-01-13 1998-07-28 Chang; Sheng-Hsiung Portable audio-visual apparatus of wireless microphone combined with laser indicator
US5995763A (en) * 1997-10-10 1999-11-30 Posa; John G. Remote microphone and range-finding configurations
US6514083B1 (en) * 1998-01-07 2003-02-04 Electric Planet, Inc. Method and apparatus for providing interactive karaoke entertainment
JP3452783B2 (ja) * 1998-01-27 2003-09-29 株式会社第一興商 振り付け採点機能を有するカラオケ装置
JP3915257B2 (ja) * 1998-07-06 2007-05-16 ヤマハ株式会社 カラオケ装置
JP3975621B2 (ja) * 1999-09-08 2007-09-12 ヤマハ株式会社 ダンスゲーム装置
RU2148862C1 (ru) * 1999-09-20 2000-05-10 Ровнер Яков Шоел-Берович Мобильная система караоке, способ обеспечения электромагнитной совместимости для мобильной системы караоке, мобильное беспроводное передающее устройство для нее, картридж для нее, способ предотвращения использования неавторизованных картриджей в ней и способ для предотвращения несанкционированного доступа к данным в ней
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
EP1607936B1 (en) * 2000-09-05 2012-07-25 Yamaha Corporation System and method for generating tone in response to movement of a portable terminal
US7000200B1 (en) * 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
JP3966112B2 (ja) 2002-07-30 2007-08-29 ヤマハ株式会社 歌唱力評価機能付カラオケ機能を有する携帯端末装置
US8460103B2 (en) * 2004-06-18 2013-06-11 Igt Gesture controlled casino gaming system
US20040127285A1 (en) * 2002-12-31 2004-07-01 Kavana Jordan Steven Entertainment device
US7145454B2 (en) 2004-01-26 2006-12-05 Nokia Corporation Method, apparatus and computer program product for intuitive energy management of a short-range communication transceiver associated with a mobile terminal
US7365737B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US7164076B2 (en) * 2004-05-14 2007-01-16 Konami Digital Entertainment System and method for synchronizing a live musical performance with a reference performance
JP4439351B2 (ja) * 2004-07-28 2010-03-24 アルパイン株式会社 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法
US20050047069A1 (en) * 2004-10-01 2005-03-03 Chu Chih Hui Universal entertainment system
JP2006162916A (ja) * 2004-12-07 2006-06-22 Xing Inc 音楽再生装置
US7931537B2 (en) * 2005-06-24 2011-04-26 Microsoft Corporation Voice input in a multimedia console environment
TWI296101B (en) * 2005-11-08 2008-04-21 Univ Nat Chiao Tung Method for automatic key posture information abstraction
TWI287786B (en) * 2006-04-25 2007-10-01 Shiau-Ming Wang A voice- and image-mixing system and method for remote karaoke sets
US20070256541A1 (en) * 2006-05-04 2007-11-08 Mccauley Jack J Musical video game console and methods therefor
KR100716058B1 (ko) 2006-08-17 2007-05-08 주식회사 크랩트리 위치감지 센서가 내장된 마이크를 이용한 대화형 학습기
TW200816040A (en) * 2006-09-28 2008-04-01 Inventec Besta Co Ltd Portable communication apparatus, karaoke system with portable communication apparatus and audio input method thereof
US7375273B2 (en) * 2006-10-19 2008-05-20 Noreen E. Sawyer-Kovelman Electronic music stand and method of using the same
JP4826509B2 (ja) * 2007-02-28 2011-11-30 ブラザー工業株式会社 カラオケ装置
KR20090008047A (ko) * 2007-07-16 2009-01-21 삼성전자주식회사 동작 및 위치를 검출하는 음성 입력장치와 노래 반주기 및이를 적용한 노래반주방법
US20100248832A1 (en) * 2009-03-30 2010-09-30 Microsoft Corporation Control of video game via microphone

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7135637B2 (en) * 2000-01-11 2006-11-14 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
US20060009979A1 (en) * 2004-05-14 2006-01-12 Mchale Mike Vocal training system and method with flexible performance evaluation criteria

Also Published As

Publication number Publication date
RU2010146213A (ru) 2012-05-20
MX2010011954A (es) 2011-03-04
TWI470473B (zh) 2015-01-21
WO2009140024A3 (en) 2010-03-04
US8380119B2 (en) 2013-02-19
CN102027547A (zh) 2011-04-20
EP2274745A4 (en) 2016-10-26
TW200951764A (en) 2009-12-16
JP2011523088A (ja) 2011-08-04
BRPI0911677A2 (pt) 2015-10-13
RU2488179C2 (ru) 2013-07-20
CA2720723C (en) 2016-01-19
KR20110014151A (ko) 2011-02-10
WO2009140024A2 (en) 2009-11-19
IL208533A (en) 2014-06-30
US20090286601A1 (en) 2009-11-19
IL208533A0 (en) 2010-12-30
JP2014059576A (ja) 2014-04-03
EP2274745A2 (en) 2011-01-19
EP2274745B1 (en) 2019-01-16
CA2720723A1 (en) 2009-11-19

Similar Documents

Publication Publication Date Title
KR101532111B1 (ko) 전자 엔터테인먼트 시스템에서의 제스처 관련 피드백
TWI451897B (zh) 用於提供使用者視覺反饋之方法及系統
US20030045274A1 (en) Mobile communication terminal, sensor unit, musical tone generating system, musical tone generating apparatus, musical tone information providing method, and program
JP4247626B2 (ja) 再生装置および再生方法
US20100248832A1 (en) Control of video game via microphone
US20040160336A1 (en) Interactive system
US20080250914A1 (en) System, method and software for detecting signals generated by one or more sensors and translating those signals into auditory, visual or kinesthetic expression
EP3142383B1 (en) Terminal sound mixing system and playing method
JP2018011201A (ja) 情報処理装置、情報処理方法、およびプログラム
US9601118B2 (en) Amusement system
KR101809617B1 (ko) 마이콘서트시스템
EP1665073A2 (en) Interactive system
JP6352164B2 (ja) 聴取者評価を考慮したカラオケ採点システム
KR101212019B1 (ko) 무선 전자 퍼커션의 동작으로부터 음악 신호를 동적으로 생성할 수 있는 노래방 시스템
JP2011154289A (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
Berndt et al. Ambidice: an ambient music interface for tabletop role-playing games.
CN108337367A (zh) 一种基于移动终端的乐器演奏方法及装置
Soelen Creating an embodied music controller that can be used to control the arrangement of electronic dance music
Kayali et al. Learnings from an iterative design process for technology-mediated audience participation (TMAP) using smartphones
WO2021038833A1 (ja) 音響空間生成装置
JP2020181082A (ja) カラオケシステム
CA2584939A1 (en) System, method and software for detecting signal generated by one or more sensors and translating those signals into auditory, visual or kinesthetic expression

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 5