JP2015520403A - カラオケダンシングゲーム - Google Patents

カラオケダンシングゲーム Download PDF

Info

Publication number
JP2015520403A
JP2015520403A JP2015501567A JP2015501567A JP2015520403A JP 2015520403 A JP2015520403 A JP 2015520403A JP 2015501567 A JP2015501567 A JP 2015501567A JP 2015501567 A JP2015501567 A JP 2015501567A JP 2015520403 A JP2015520403 A JP 2015520403A
Authority
JP
Japan
Prior art keywords
subject
video
camera
karaoke
dancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015501567A
Other languages
English (en)
Inventor
デ キム，ヨン
デ キム，ヨン
Original Assignee
デ キム，ヨン
デ キム，ヨン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デ キム，ヨン, デ キム，ヨン filed Critical デ キム，ヨン
Publication of JP2015520403A publication Critical patent/JP2015520403A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6692—Methods for processing data by generating or executing the game program for rendering three dimensional images using special effects, generally involving post-processing, e.g. blooming
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/341—Floor sensors, e.g. platform or groundsheet with sensors to detect foot position, balance or pressure, steps, stepping rhythm, dancing movements or jumping
    • G10H2220/346—Hopscotch sensing mats, i.e. including several step sensing zones, e.g. for detection of rhythmic dancing in time to background music according to stepping indications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/415—Infrared beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Abstract

本発明は、ダンシングカラオケゲームシステムに関し、前記ダンシングカラオケゲームシステムは、映像表示装置、スピーカー、及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；被写体を撮影するためのカメラ；前記被写体をスキャンするための赤外線カメラ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；３Ｄ加速グラフィックカードで前記カメラから出力される映像をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線に従ってピクセル当り距離情報を演算すると同時に、前記３次元の映像発生装置の映像を３次元レンダリングして３次元の仮想の映像に出力する３Ｄ仮想スタジオを含む。

Description

本発明は、カラオケダンシングゲームに関し、より詳しくは、ユーザー及びユーザーの動きを３Ｄ映像で画面に表示し、前記ユーザーの動きを分析して点数化することができるカラオケダンシングゲームに関する。
従来のカラオケは、音楽と背景動画とを合成した画面を見ながら歌を歌うようになっていた。特に、カラオケ機器に、ビデオクロマキーを用いて合成してビデオを入れる方式のカラオケシステムも紹介されている。
さらに、従来の技術（参考文献１を参照）では、３次元の仮想のスタジオを用いたカラオケを開示している。従来の技術による３次元の仮想のスタジオを用いたカラオケは、映像表示装置とスピーカー、及びマイクを含んで構成され、字幕表示機能とビデオミックス機能とを備えたカラオケ装置、被写体を撮影するためのカメラ、複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生する３次元の映像発生装置、及び前記カメラの映像と前記３次元の映像発生装置の映像とを合成して３次元の仮想の映像を出力する３Ｄ仮想スタジオを含んで構成されると共に、前記３次元の仮想のスタジオの映像出力を前記カラオケ装置の背景映像に入力するように構成される。
カラオケで歌舞者が歌を歌う際、歌舞者が実際の舞台のような空間で歌を歌って、ダンスを踊っている映像を提供すれば、カラオケでの楽しさを高めることができるだろう。
ここで、本願の発明者は、以下で詳細に紹介するように、歌舞者の被写体をクロマキー方式でカラオケ機器の画面に表示し、背景は３Ｄ映像発生装置から発生した映像に表示することで、ユーザーが非常に多様な３Ｄ映像の中で歌を歌うような効果を発生させることができる。
また、ダンスを学んで習う従来の多くの方式は、実際にダンス教師に会ってダンスを学ぶか、ビデオテープを通じて習う形であった。しかし、実際にダンス教師に会ってダンスを学ぶことは費用や時間の制約があって容易ではなく、ビデオテープを通じて習う方式は退屈になりがちなので、従来の方法では効率的なダンスの教習ができなかった。
このような状況で、自分一人でもダンスを学ぶことができるシステム、及び自分一人で行った自分のダンスに対する正しい評価が行われ得るシステムに対する需要は確かに存在する。
大韓民国登録特許公報第１０−０６１９４９４号
下記の説明は、本発明の実施例に対する基本的な理解を提供するために、一つ以上の実施例の簡略化された説明を提供する。このセクションは、全ての可能な実施例に対する包括的な概要ではなく、全てのエレメントの中で核心エレメントを識別するか、全ての実施例の範囲をカバーしようとする意図でもない。その唯一な目的は、後で提示される詳細な説明に対する導入部として簡略化された形態に一つ以上の実施例の概念を提供するためである。
本発明は、上記のような従来の技術の問題点を解決するためのものであって、ダンス教師がいなくてもダンシングカラオケゲームシステムから提供されるキャラクターの動きを真似しながらダンスを自然に学ぶことができ、さらに、これらのキャラクターと共にダンスを踊って歌を歌う過程をリアルタイムで録画したミュージックビデオを製作することもできるシステムを提供するためのものである。
また、ダンスを踊りながらヘルシーな運動が楽しめるヘルス装置を提供するためのものである。
このような目的を達成するために、本発明は、ダンシングカラオケゲームシステムであって、前記ダンシングカラオケゲームシステムは、映像表示装置、スピーカー、及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；被写体を撮影するためのカメラ；前記被写体をスキャンするための赤外線カメラ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；３Ｄ加速グラフィックカードで前記カメラから出力される映像をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線に従ってピクセル当り距離情報を演算すると同時に、前記３次元の映像発生装置の映像を３次元レンダリングして３次元の仮想の映像に出力する３Ｄ仮想スタジオを含むことができる。
また、本発明のダンシングカラオケゲームシステムは、ダンス動作に対するデータを含んでいるデータベース；及び、前記被写体のダンス動作と前記データベースに含まれているダンス動作とを比べて点数化する点数演算装置をさらに含むことができる。
また、本発明は、ダンシングカラオケゲームを提供するための方法であって、カメラを用いて被写体のダンス動作を撮影するステップ；赤外線カメラを用いて前記被写体のダンス動作をスキャンするステップ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させるステップ；及び、３Ｄ加速グラフィックカードで前記撮影された被写体をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線を認識してピクセル当り距離情報を演算すると同時に、前記発生された３次元のグラフィックを３次元レンダリングして３次元の仮想の映像に出力するステップを含むことができる。
また、本発明のダンシングカラオケゲームを提供するための方法は、前記被写体のダンス動作とデータベースに含まれているダンス動作とを比べて点数化するステップをさらに含むことができる。
本発明の代案的な具体例は、歌舞者のための、歌詞及び歌に対応するダンスを例示する第１の映像表示装置；第２の映像表示装置、スピーカー及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；前記歌舞者の映像を撮影し、前記歌舞者の動作を認識するためのカメラ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；前記３次元の映像発生装置の仮想のスタジオ映像に前記歌舞者の撮影された映像をクロマキーした後に結合し、前記第２の映像表示装置を通じて３次元の仮想の映像に出力する３Ｄ仮想スタジオを含む、ダンシングカラオケシステムを含む。
上記の代案的な具体例は、ダンス動作に対するデータを含んでいるデータベース；及び、前記歌舞者の認識された動作と前記データベースに含まれているダンス動作とを比べて点数化する点数演算装置をさらに含む、ダンシングカラオケシステムを含む。
このような構成によると、多様なキャラクターのモーションデータをリアルタイムで３次元の空間に入れて多様な姿勢を示しながら、これを自分のダンスとリアルタイムで合成して示してくれるため、自分のダンス動作を正確にキャラクターまたはビデオ画面とリアルタイムで比較しながら見ることができる。
よって、ダンス教師がいなくても、自分一人でシステムから提供されるキャラクターの動きを真似しながら学ぶことができ、さらに、これらのキャラクターと共にダンスを踊りながら歌を歌って、リアルタイムで自分が踊っている場面を録画したミュージックビデオを製作することもできるようにして、楽しくダンスを踊りながらヘルシーな運動が楽しめる運動装置になることができる。
また、本発明の構成によると、自分のダンス動作とデータベースに格納されているダンス動作とを比較して点数化することで、ゲームを楽しみながら自然に運動を楽しめることができると共に、ダンスも学ぶことができる。
前述の目的及び関連の目的を達成するために、一つ以上の実施例を以下で説明し、特に、請求項において特定される特徴を含む。下記の説明及び関連の図面は、このような実施例の例示的な様相をより詳しく説明する。このような様相は、単に一例に過ぎず、多様な変形が可能であることは当業者であればよく理解できるだろう。また、提示された実施例は、このような実施例及びこのような実施例の均等物を何れも含むと解釈される。
慣習に従って、図面の多様な特徴は、実測によって示されないこともある。よって、多様な特徴の寸法は、簡明性のために任意に拡大されたり減少されることができる。また、図面の一部が簡明性のために単純化されることができる。よって、図面は提示された装置（例えば、デバイス）、または方法の全てのコンポネントを図しないこともある。最後に、類似した図面符号が詳細な説明及び図面の全般で類似した特徴を示すに使われることができる。
本発明の一実施例に係るダンシングカラオケシステムのブロック図である。 本発明の一実施例に係る映像信号発生装置のブロック図である。 本発明の一実施例に係って赤外線カメラを用いてユーザーの動作情報をスキャニングする過程を示す図である。 本発明の一実施例に係って赤外線カメラを用いてユーザーの動作情報をスキャニングする過程を示す図である。 本発明の一実施例に係って赤外線カメラを用いてユーザーの動作情報をスキャニングする過程を示す図である。 本発明の一実施例に係ってユーザーをカラオケ画面に表示した姿を示す図である。 本発明の一実施例に係ってユーザーのダンス動作を点数化するためにユーザーの骨格をスキャンした姿を示す図である。 本発明の一実施例に係るダンシングカラオケゲームを提供するための方法のフローチャートである。
以下で、多様な実施例について図面を参照しながら説明し、全体の図面に亘って類似した図面符号は、類似したエレメントを示すために使われる。説明のために、この明細書において、多様な説明が本発明の理解を提供するために提示される。しかし、このような実施例は、このような特定の説明がなくても実行され得ることは明白である。その他の例において、公知された構造及び装置は、実施例の説明を容易にするためにブロックダイヤグラムの形態に提示される。
図１を参考すると、図１は、本発明の一実施例に係るダンシングカラオケゲームシステム１００のブロック図である。
図１に示すように、本発明の一実施例に係るダンシングカラオケゲームシステム１００は、映像表示装置（ＴＶ）１１０、スピーカー（Ｓｐｅａｋｅｒ）１２０、マイク（Ｍｉｃ）１２１、カラオケシステム（Ｋａｒａｏｋｅ）１４０、点数演算部１４５、データベース１４６、カメラ１５０、赤外線カメラ（ＩＲ ｃａｍｅｒａ）１５０Ａ、３Ｄ仮想スタジオ１６０、再生及び記録が可能なＤＶＤ Ｒｅｃｏｒｄｅｒ１７０（以下、映像録画再生装置と称する。）、スクリーン制御部（Ｓｃｒｅｅｎ Ｃｏｎｔｒｏｌ）１８０、及びジョイスティック１９０を含んで構成される。上記の構成要素の中で、ＴＶ１１０、Ｓｐｅａｋｅｒ１２０、Ｍｉｃ１２１、及びカラオケシステム１４０は、一般的なカラオケシステムと同一であるため、その説明を省略する。
映像録画再生装置１７０は、映像表示装置１１０に表示される最終の映像をユーザーの選択によって録画できるように構成される。
本発明のカメラは、被写体の映像を撮影し、被写体の動作を認識する。本発明のカメラは、通常の映像撮影装置及びＩＲカメラのような深度のある被写体の撮影装置までの距離認識装置であることができる。
カメラ１５０は、被写体１３０を撮影し、その映像１５２を出力する。また、ＩＲカメラ１５０Ａは、赤外線により被写体１３０をスキャンすることによって、ピクセル当り距離を計ることができる。
スクリーン制御部１８０は、複数個の仮想カメラ（図示せず）と既に設定された仮想のスタジオ映像（背景画面など）から特定の一つを選択することができる画面を構成する。
ジョイスティック１９０は、スクリーン制御部１８０から選択された仮想カメラの調整ができるように構成し、その調整データを３Ｄ仮想スタジオ１６０に入力する。
３Ｄ仮想スタジオ１６０は、３Ｄ仮想スタジオシステムで構成する。通常的な３Ｄ仮想スタジオは、３Ｄ映像発生技術とカメラビデオとを合成する技術を用いることによって仮想のスタジオが形成されてきた。すなわち、グラフィックにより作った３次元の映像を、カメラから入力されたアクターのビデオと自然に合成して、まるでアクターが実際のスタジオにいるような画面を作り、カメラが動きをセンサーで読み込み、グラフィック発生装置にカメラの位置に相応する背景及び前景を描いて合成するようにしている。より詳細には、３次元の仮想の空間を作るために、実際のカメラのビデオを基準にしてアクターの前面の絵と後面の絵との情報をそれぞれグラフィック発生器を通じて作り、これをカメラの位置に従ってグラフィックを作って合成する方式を使っている。このような方式は、グラフィック発生装置を２重にしなければならないと共に、カメラの動く位置を正確に知らせる外部カメラトラッキング情報を作るトラッキング装備が必要となるため、コストの上昇要因となっていた。また、カメラトラッキングセンサは、ユーザーのセットアップ（ｓｅｔｕｐ）と複雑な運営及び装備のセットアップ過程が必要となるため、大衆的な３Ｄ Ｇｒａｐｈｉｃの使用に困難がある。よって、本発明の一実施例では、一般の仮想のスタジオ技術を用いるレンダリング装備の数を節約し、カメラトラッキングが必ず必要となることによる装備の高コスト化と、ユーザーにとって困難な環境を除去して単純化し、原価の節減はもちろん、誰でも容易かつ便利に使うことができるＶｉｒｔｕａｌ Ｏｖｅｒｌａｙ技術を用いた３Ｄ仮想スタジオシステムを使うのである。すなわち、Ｖｉｒｔｕａｌ Ｏｖｅｒｌａｙは、既存のＭｉｘｅｒで背景の画面と前面の画面とをカメラにＯｖｅｒｌａｙさせる方式ではなく、３次元レンダリングエンジンの内にビデオを一つのＯｂｊｅｃｔとして処理して仮想のＯｖｅｒｌａｙを実現させることで、一つのレンダリングエンジンを使って２つのレンダリングを使った効果と、囲部Ｏｖｅｒｌａｙ Ｍｉｘを使ったのと同様のシステムを作ることができ、装備のコストの節減はもちろん、使用環境を非常に単純化することができる効果がある。以下、図２を参考して、仮想Ｏｖｅｒｌａｙ技術を用いた３Ｄ仮想スタジオブロック図について簡略に説明する。レンダ（Ｒｅｎｄｅｒ）２４０は、３Ｄ加速グラフィックカード２００内でリアルタイムで映像を発生する機能であって、３次元の映像発生装置２１０は、３次元の物体を設計する３Ｄプログラムである３Ｄ Ｓｔｕｄｉｏ ＭａｘやＭＡＹＡなどのような編集プログラムで生成させた３Ｄデータを用いて、実際のカメラから入力された映像、予め用意された動画像（ＡＶＩ，ＭＰＥＧなど）、Ｐｉｃｔｕｒｅを３Ｄ物体の表面にビデオテクスチャリングをリアルタイムで行って出力させる。よって、通常の３Ｄ映像を作るための前後面の映像発生装置を使わなくても、一度にレンダリングをカメラの映像と共に処理して出力することができる。
上記の構成の仮想オーバレイ技術は、カメラ２２０から出力されるカメラ映像２２１と３Ｄ加速グラフィックカード２００内で３次元の映像発生装置２１０の３Ｄデータをレンダ（Ｒｅｎｄｅｒ）内に同時に入力して３Ｄグラフィック処理することによって、アナログ映像２３０を出力させるのである。すなわち、３Ｄ加速グラフィックカード２００の３Ｄグラフィック機能を活用して、カメラ映像２２１を３Ｄ発生装置、すなわち、レンダ２４０のビデオテクスチャ（Ｔｅｘｔｕｒｅ）に入力し、３次元の映像発生装置２１０の３Ｄデータを同時に３Ｄレンダリングしてアナログ映像２３０に出力するのである。
また、ジョイスティック１９０から入力されるカメラ調整信号（ズームｉｎ／ｏｕｔ、角度調節など）に応じてスクリーン制御部１８０から選択された仮想カメラを調整し、前記仮想カメラの位置に従う映像を出力するように構成される。上記のように、３Ｄビデオテクスチャリング（Ｖｉｄｅｏ Ｔｅｘｔｕｒｉｎｇ）技術を用いて仮想カメラの調整ができるようにすることで、観測者の位置（カメラの位置）を３Ｄ空間の中で、任意の位置から示される映像を出力させると、容易に３Ｄグラフィック装置を用いて仮想の世界の中にアクターを位置させ、さらに、仮想カメラを異なる位置から見せてくれることができ、多様な方向からの画面をリアルタイムで変更しながら示すことができるため、高価のカメラの動き装置を使わなくても、カメラの動く効果を作ることができ、このような仮想カメラを複数個使う場合には、まるで複数個のカメラで表現するような効果を作り出すことができるためである。
以下、上記の本発明の構成による３次元の仮想のスタジオを用いたカラオケの動作について説明する。
先ず、ユーザーがカラオケ１４０をオンすれば、カラオケ１４０は、ＴＶ１１０、Ｓｐｅａｋｅｒ１２０、Ｍｉｃ１２１をオンすると同時に、３Ｄ仮想スタジオ１６０を動作させる。３Ｄ仮想スタジオ１４０は、既に設定された仮想のスタジオ映像（背景画面；図示せず）とカメラ１５０から撮影された被写体（ユーザー）の映像を、３Ｄ加速グラフィックカード２００のレンダ２４０で３Ｄグラフィックにレンダリングしてカラオケ１４０に出力すれば、カラオケ１４０は入力される仮想のスタジオ映像１６１に歌詞をミックスして、ＴＶ１１０にその映像を出力しながら伴奏音楽をＳｐｅａｋｅｒ１２０を通じて出力すると、ユーザーはＴＶ１１０の画面に出力される背景音楽を聞きながら自分が歌を歌う姿を見て、さらに歌詞を読みながらＭｉｃ１２１を通じて歌を歌えば済むのである。また、スクリーンコントロール１８０を調節して、既に設定された仮想のスタジオ映像を変更し、所望の背景映像を選択して出力することもできる。この際、ユーザーやその他の聴衆は、ジョイスティック１９０を用いて仮想カメラの位置を調整して、仮想のスタジオ映像やカメラ１５０から撮影された映像を３Ｄ立体的に自由自在に変化させて、ＴＶ１１０に表示される映像を任意に調節することができる。よって、トラッキングセンサーがなくてもトラッキング効果を出すことができ、容易に３Ｄグラフィック装置を用いて仮想の映像の中にユーザーを位置させることができ、さらに、仮想カメラの調節ができるため、多様な方向からの画面をリアルタイムで変化させながら示すことができる。上記の仮想カメラは多数個を位置させることができ、まるで複数個のカメラで表現するような効果を作り出すことができる。
また、本発明の一実施例に係ると、ＩＲカメラ１５０Ａが赤外線により被写体１３０をスキャンすることによって、ピクセル当り距離を計ることができるので、これを用いてユーザーのダンス動作の認知が可能になる。
また、本発明の一実施例に係ると、３Ｄ仮想スタジオは、深さ情報を処理することによって被写体の動作の認識が可能であるイメージソフトウェアを含むことができる。
このように認識されたユーザーのダンス動作と点数演算部１４５でデータベース１４６に格納されたダンス動作とを比較することによって、ユーザーのダンス動作を点数化することができる。また、データベース１４６には、ユーザーの背景として登場する多様なキャラクターが格納されていることもできる。
図３〜図５は、本発明の一実施例に係って、赤外線カメラ１５０Ａを用いてユーザーの動作情報をスキャニングする過程を示す図である。
図３は、赤外線が人の手に反射されることを示す画面である。ＩＲカメラ１５０Ａから照射された赤外線が人の手から反射されると、３Ｄ仮想スタジオ１６０に含まれたイメージソフトウェアから反射されたピクセルを分析して、ユーザーのダンス動作を認識することができる。
図４は、赤外線カメラ１５０Ａを用いてユーザーのジェスチャーを判断する主要骨格を認識した形状を示す図である。このように、ユーザーの顔、首、腕、及び足に亘る主要骨格を認識し、この動きを認識することができるため、ユーザーのダンス動作を認識することができるようになる。
図５は、図４において、ユーザーの主要骨格を認識した形状に従って、ユーザーをディスプレー画面に表示する姿を示した形状である。
図６は、本発明の一実施例に係って、ユーザーをカラオケ画面に表示した姿を示している。図６に示すように、本発明の一実施例に係るダンシングカラオケゲームシステムでは、ユーザーがクロマキー背景を置いて、歌を歌いながらダンスを踊る映像をカメラ１５０で撮影し、３Ｄ映像とミックスして表示すると同時に、ＩＲカメラ１５０Ａを用いてユーザーのダンス動作を認識することができる。
図７は、本発明の一実施例に係って、ユーザーのダンス動作を点数化するために、ユーザーの骨格をスキャンした姿を示している。
ユーザーの骨格をスキャンした情報に基づいて、ユーザーのダンス動作を認識することができる。また、点数演算部１４５では、認識されたダンス動作とデータベース１４６に格納されたダンス動作とを比較することによって、ユーザーのダンス動作を点数化することができる。
例えば、点数演算部１４５では、ユーザーの腕の動作を認識して、データベース１４６に格納されているダンス動作では、背景音楽の当該拍子で右の腕が右の肘を基準にして９０度になるように持ち上げ、左の腕が左の肘を基準にして９０度になるように下げる動作の場合、ユーザーの腕の動作の拍子が合わなければ減点５点、腕の角度が不正確であれば減点１０点等の基準に従ってユーザーのダンス動作を点数化することができる。
図８は、本発明の一実施例に係るダンシングカラオケゲームを提供するための方法のフローチャートである。
まず、カメラを用いて被写体のダンス動作を撮影するステップ８０１が示される。カメラ１５０は、クロマキー背景を置いて被写体を撮影することによって、３Ｄ仮想スタジオに入力する映像を撮影することができる。
ステップ８０２において、赤外線カメラ１５０Ａを用いて前記被写体のダンス動作をスキャンすることができる。ＩＲカメラ１５０Ａから赤外線を照射して前記被写体の主要骨格を認識することができる。
また、ステップ８０３において、複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させることができる。前記複数個の仮想のスタジオ映像は、ユーザーの背景画面に合成するためのものである。
また、ステップ８０４において、３Ｄ加速グラフィックカードで前記撮影された被写体をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線を認識してピクセル当り距離情報を演算すると同時に、前記発生された３次元のグラフィックを３次元レンダリングして３次元の仮想の映像に出力することができる。このように、カメラ１５０によって撮影された被写体を３Ｄ映像と合成して出力し、被写体から反射された赤外線を認識してピクセル当り距離情報を演算することで、ＩＲカメラ１５０Ａによって被写体のダンス動作を認識することができる。
また、ステップ８０５において、点数演算部１４５は、前記被写体のダンス動作とデータベース１４６に含まれているダンス動作とを比較して点数化することができる。
このような構成によると、多様なキャラクターのモーションデータをリアルタイムで３次元の空間に入れて多様な姿勢を示しながら、これを自分のダンスとリアルタイムで合成して示してくれるため、自分のダンス動作を正確にキャラクターまたはビデオ画面とリアルタイムで比較しながら見ることができる。
よって、ダンス教師がいなくても、自分一人でシステムから提供されるキャラクターの動きを真似しながら学ぶことができ、さらに、これらのキャラクターと共にダンスを踊りながら歌を歌って、リアルタイムで自分が踊っている場面を録画したミュージックビデオを製作することもできるようにして、楽しくダンスを踊りながらヘルシーな運動が楽しめる運動装置になることができる。
また、本発明の構成によると、自分のダンス動作とデータベースに格納されているダンス動作とを比べて点数化することで、ゲームを楽しみながら自然に運動を楽しめることができると共に、ダンスも学ぶことができる。
本願の明細書の構成要素は、コンポネント、モジュール、またはシステムであることができる。この明細書で使われている用語である「コンポネント」、「モジュール」、「システム」などは、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェア及びハードウェアの組み合わせ、またはソフトウェアの実行を指称する。例えば、コンポネントは、プロセッサ上で実行される処理過程、プロセッサ、客体、実行スレッド、プログラム、及び／またはコンピューターであることができるが、これらに制限されない。例えば、コンピューター装置で実行されるアプリケーション及びコンピューター装置の何れもコンポネントであることができる。一つ以上のコンポネントは、プロセッサ及び／または実行スレッド内に常在することができ、一つのコンポネントは一つのコンピューター内でローカル化されることができ、または、２個以上のコンピューターの間に分配されることができる。また、このようなコンポネントは、その内部に格納されている多様なデータ構造を有する多様なコンピューター読み取りが可能な媒体から実行することができる。コンポネントは、例えば、一つ以上のデータパケットを有する信号（例えば、ローカルシステム、分散システムで他のコンポネントと相互作用する一つのコンポネントからデータ及び／または信号を通じて他のシステムとインターネットのようなネットワークを通じるデータ）によってローカル及び／または遠隔処理を通じて通信することができる。
一つ以上の例示的な具現において、ここで提示されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせにより具現されることができる。ソフトウェアに具現される場合、前記機能は、コンピューター読み取りが可能な媒体上に一つ以上の命令またはコードとして格納されるか、または、これらを通じて転送されることができる。コンピューター読み取りが可能な媒体は、コンピューター格納媒体及び一つの場所から他の場所までのコンピュータープログラムの移転を容易にするための任意の媒体を含む通信媒体を含む。格納媒体は、汎用コンピューターまたは特殊コンピューターによってアクセス可能な任意の可用媒体であることができる。例えば、このようなコンピューター読み取りが可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、または、他の光学ディスク格納媒体、磁気ディスク格納媒体、または他の磁気格納装置、または命令やデータ構造の形態に要求されるプログラムコード手段を格納するのに使われることができ、汎用コンピューター、特殊コンピューター、汎用プロセッサ、または、特殊プロセッサによってアクセス可能な任意の他の媒体を含むが、これらに制限されない。また、任意の連結手段がコンピューター読み取りが可能な媒体に見なされることができる。例えば、ソフトウェアがウェブサイト、サーバー、または他の遠隔ソースから同軸ケーブル、光ファイバケーブル、ペアケーブル、デジタル加入者ライン（ＤＳＬ）、または赤外線ラジオ、及びマイクロウェーブのような無線技術を通じて転送される場合、このような同軸ケーブル、光ファイバケーブル、ペアケーブル、ＤＳＬ、または赤外線ラジオ、及びマイクロウェーブのような無線技術が、このような媒体の定義内に含まれることができる。ここで使われるｄｉｓｋ及びディスクは、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、ＤＶＤ、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ここで、ｄｉｓｋはデータを磁気的に再生するが、ディスクはレーザーを通じて光学的にデータを再生する。上記の組み合わせもコンピューター読み取りが可能な媒体の範囲内に含まれることができる。
この明細書のデータベース１４６は、揮発性メモリー、または非揮発性メモリーであることができ、または、揮発性と非揮発性メモリーとの両方を含むことができる。制限されない例として、非揮発性メモリーは、ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＲＯＭ）、ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＰＲＯＭ）、ｅｌｅｃｔｒｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ（ＥＥＰＲＯＭ）、または、フラッシュメモリーを含むことができる。揮発性メモリーは、外部キャッシュメモリーとして動作するランダムアクセスメモリー（ＲＡＭ）を含むことができる。制限されない例として、ＲＡＭは、ｓｙｎｃｈｒｏｎｏｕｓ ＲＡＭ（ＳＲＡＭ）、ｄｙｎａｍｉｃ ＲＡＭ（ＤＲＡＭ）、ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ（ＳＤＲＡＭ）、ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、ｅｎｈａｎｃｅｄ ＳＤＲＡＭ（ＥＳＤＲＡＭ）、Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ（ＳＬＤＲＡＭ）、及びｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ（ＤＲＲＡＭ）のような多様な形態に提供されることができる。
開示された実施例についての説明は、任意の本発明の技術分野で通常の知識を持った者が本発明を利用または実施できるように提供される。このような実施例に対する多様な変形は、本発明の技術分野で通常の知識を持った者にとって自明であるべきであり、ここで定義されている一般的な原理は、本発明の範囲を超えずに他の実施例に適用されることができる。よって、本発明は、ここで提示されている実施例に限定されるのではなく、ここで提示されている原理及び新規の特徴と一貫した最広義の範囲で解釈されるべきである。

Claims (4)

  1. 映像表示装置、スピーカー、及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；
    被写体を撮影するためのカメラ；
    前記被写体をスキャンするための赤外線カメラ；
    複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；
    ３Ｄ加速グラフィックカードで前記カメラから出力される映像をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線に従ってピクセル当り距離情報を演算すると同時に、前記３次元の映像発生装置の映像を３次元レンダリングして３次元の仮想の映像に出力する３Ｄ仮想スタジオを含む、ダンシングカラオケシステム。
  2. ダンス動作に対するデータを含んでいるデータベース；及び、
    前記被写体のダンス動作と前記データベースに含まれているダンス動作とを比べて点数化する点数演算装置をさらに含む、請求項１に記載のダンシングカラオケシステム。
  3. カメラを用いて被写体のダンス動作を撮影するステップ；
    赤外線カメラを用いて前記被写体のダンス動作をスキャンするステップ；
    複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させるステップ；及び、
    ３Ｄ加速グラフィックカードで前記撮影された被写体をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線を認識してピクセル当り距離情報を演算すると同時に、前記発生された３次元のグラフィックを３次元レンダリングして３次元の仮想の映像に出力するステップを含む、ダンシングカラオケを提供するための方法。
  4. 前記被写体のダンス動作とデータベースに含まれているダンス動作とを比べて点数化するステップをさらに含む、請求項３に記載のダンシングカラオケゲームを提供するための方法。
JP2015501567A 2012-03-20 2013-03-15 カラオケダンシングゲーム Pending JP2015520403A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120028045A KR101304111B1 (ko) 2012-03-20 2012-03-20 댄싱 가라오케 시스템
KR10-2012-0028045 2012-03-20
PCT/KR2013/002080 WO2013141522A1 (ko) 2012-03-20 2013-03-15 가라오케 댄싱 게임

Publications (1)

Publication Number Publication Date
JP2015520403A true JP2015520403A (ja) 2015-07-16

Family

ID=49222928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015501567A Pending JP2015520403A (ja) 2012-03-20 2013-03-15 カラオケダンシングゲーム

Country Status (4)

Country Link
US (1) US20150080072A1 (ja)
JP (1) JP2015520403A (ja)
KR (1) KR101304111B1 (ja)
WO (1) WO2013141522A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102289830B1 (ko) * 2020-10-05 2021-08-13 최준석 발레레슨방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936983B2 (en) 2013-03-15 2018-04-10 Si-Bone Inc. Implants for spinal fixation or fusion
US9666194B2 (en) * 2013-06-07 2017-05-30 Flashbox Media, LLC Recording and entertainment system
US9751019B2 (en) * 2013-12-18 2017-09-05 Activision Publishing, Inc. Input methods and devices for music-based video games
US10441876B2 (en) * 2013-12-20 2019-10-15 Activision Publishing, Inc. Video game integrating recorded video
CN103761758A (zh) * 2013-12-27 2014-04-30 一派视觉（北京）数字科技有限公司 一种旅游虚拟人物照相方法及系统
JP6539941B2 (ja) * 2014-01-07 2019-07-10 富士通株式会社 評価プログラム、評価方法及び評価装置
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
JP6662302B2 (ja) * 2015-01-15 2020-03-11 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9975002B2 (en) * 2015-05-08 2018-05-22 Ross Philip Pinkerton Synchronized exercising and singing
CN106303288A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 合成演唱视频的方法、装置及系统
KR20170078176A (ko) * 2015-12-29 2017-07-07 경일대학교산학협력단 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
CN107368491B (zh) * 2016-05-12 2023-07-25 富泰华工业（深圳）有限公司 影像制作系统及方法
CN113596590B (zh) * 2020-04-30 2022-08-26 聚好看科技股份有限公司 显示设备及播放控制方法
CN113938720B (zh) * 2020-07-13 2023-11-17 华为技术有限公司 多设备协作的方法、电子设备及多设备协作系统
CN112487940B (zh) * 2020-11-26 2023-02-28 腾讯音乐娱乐科技（深圳）有限公司 视频的分类方法和装置
US20230057073A1 (en) * 2021-08-21 2023-02-23 Laron A. Walker Augmented Reality Platform for Fan Engagement
CN117746510A (zh) * 2024-02-19 2024-03-22 河海大学 一种基于点云特征图的实时三维行为识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3742701B2 (ja) * 1997-01-27 2006-02-08 株式会社エクシング カラオケ用の振付採点装置
KR100619494B1 (ko) * 2004-04-28 2006-09-08 주식회사 다림비젼 삼차원 가상 스투디오를 이용한 가라오케
KR100956454B1 (ko) * 2007-09-15 2010-05-10 김영대 가상 스튜디오 자세 교정 장치
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102289830B1 (ko) * 2020-10-05 2021-08-13 최준석 발레레슨방법

Also Published As

Publication number Publication date
KR101304111B1 (ko) 2013-09-05
WO2013141522A1 (ko) 2013-09-26
US20150080072A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
JP2015520403A (ja) カラオケダンシングゲーム
Bolter et al. Reality media: Augmented and virtual reality
CN108200445B (zh) 虚拟形象的虚拟演播系统及方法
CN109564760A (zh) 通过3d音频定位来生成虚拟或增强现实呈现的方法和装置
US20100201693A1 (en) System and method for audience participation event with digital avatars
JPH11219446A (ja) 映像音響再生システム
CN207460313U (zh) 混合现实演播室系统
KR20200126367A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
KR101613777B1 (ko) 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법
JP2017005371A (ja) 共演映像演出装置および共演映像演出システム
Baker The History of Motion Capture Within The Entertainment Industry
CN104156529A (zh) 三维模型制作全息片源的方法
US10032447B1 (en) System and method for manipulating audio data in view of corresponding visual data
JP6313003B2 (ja) カラオケ装置、画像出力方法、およびプログラム
WO2024027063A1 (zh) 直播方法、装置、存储介质、电子设备及产品
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
TWI515691B (zh) 現場動態情境重建之合成錄像拍製方法
KR20170075321A (ko) 증강현실 노래방 시스템
KR101486959B1 (ko) 몰입감을 향상시키는 노래방 시스템
US20170287521A1 (en) Methods, circuits, devices, systems and associated computer executable code for composing composite content
WO2022137907A1 (ja) 情報処理装置、情報処理方法およびプログラム
Ming COMPUTER PHOTOGRAPHY DESIGN, 3D ANIMATION AND MOVIES EFFECT
JP6403649B2 (ja) 空間像演出装置およびその制御方法
Jacquemin et al. Alice on both sides of the looking glass: Performance, installations, and the real/virtual continuity