JP2017093803A - 評価プログラム、評価方法及び評価装置 - Google Patents

評価プログラム、評価方法及び評価装置 Download PDF

Info

Publication number
JP2017093803A
JP2017093803A JP2015228982A JP2015228982A JP2017093803A JP 2017093803 A JP2017093803 A JP 2017093803A JP 2015228982 A JP2015228982 A JP 2015228982A JP 2015228982 A JP2015228982 A JP 2015228982A JP 2017093803 A JP2017093803 A JP 2017093803A
Authority
JP
Japan
Prior art keywords
evaluation
player
timing
control unit
beat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015228982A
Other languages
English (en)
Inventor
美帆 坂井
Miho Sakai
美帆 坂井
淳 小口
Atsushi Oguchi
淳 小口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015228982A priority Critical patent/JP2017093803A/ja
Priority to US15/344,192 priority patent/US20170148176A1/en
Priority to CN201611013743.8A priority patent/CN107008002A/zh
Priority to KR1020160154017A priority patent/KR101884089B1/ko
Publication of JP2017093803A publication Critical patent/JP2017093803A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/798—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for assessing skills or for ranking players, e.g. for generating a hall of fame
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】各人にダンスの評価の対象となる領域を認識させることができる。【解決手段】評価プログラムは、コンピュータに、撮像装置により撮像された撮像画像のうち、設定された複数の領域内のそれぞれで人の動作を解析し、複数の領域間を区分する表示を撮像画像に重畳させて表示装置に表示させる制御を行う処理を実行させる。【選択図】図１

Description

本発明は、評価プログラム、評価方法及び評価装置に関する。
人物のダンスを採点し、採点結果を人物に通知する技術がある。人物のダンスの採点や評価に関連する技術として、例えば、楽曲に合わせて身体の部位を移動させるゲームに関する技術がある。当該技術においては、ゲームを実行するプレイヤーの部位が基準速度以上で移動した場合、部位が移動後に略停止している状態が基準期間継続したか否かの判定結果に基づいて、プレイヤーのゲームプレイを評価する。
特開平７−５０８２５号公報 特開２０００−２３７４５５号公報 特開２０１３−１５４１２５号公報
ところで、複数人で行うダンスを評価するような場合も考えられる。しかし、プレイヤーの部位の移動から複数人のダンスを評価しようとしても、適切に評価できない場合がある。例えば、複数人が撮像範囲内で一斉にダンスをすると、体の大きい人の動きや、撮像装置に近い人の動きに評価が左右されやすく、また撮像範囲内で各人の位置が重複する場合もあり、各人のダンスを適切に評価できない場合がある。各人のダンスを適切に評価するには、撮像範囲内で各人がダンスをする領域が分かれていることが好ましい。
１つの側面では、各人にダンスの評価の対象となる領域を認識させることができる評価プログラム、評価方法及び評価装置を提供することを目的とする。
１つの側面では、評価プログラムは、コンピュータに、撮像装置により撮像された撮像画像のうち、設定された複数の領域内のそれぞれで人の動作を解析し、複数の領域間を区分する表示を撮像画像に重畳させて表示装置に表示させる制御を行う処理を実行させる。
一実施態様によれば、各人にダンスの評価の対象となる領域を認識させることができる。
図１は、実施例１に係る評価装置の構成の一例を示す図である。 図２は、フレームの一例を示す図である。 図３は、タイミングデータの一例を示す図である。 図４は、実施例１に係る人数選択画面の一例を示す図である。 図５は、実施例１に係る評価対象領域の一例を示す図である。 図６は、実施例１に係る顔認識技術を用いた人数特定処理の一例を示す図である。 図７は、実施例１に係る物体認識技術を用いた人数特定処理の一例を示す図である。 図８は、実施例１に係る領域区分表示の一例を示す図である。 図９は、実施例１に係る領域区分表示の別の一例を示す図である。 図１０は、２値化された画像の一例を示す図である。 図１１は、背景差分量と評価対象領域とフレーム番号との対応付けの一例を示す図である。 図１２は、実施例１に係る評価装置が実行する処理の一例を説明するための図である。 図１３は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。 図１４は、タイミングの比較方法の一例を示す図である。 図１５は、評価表示画面の一例を示す図である。 図１６は、評価表示画面の別の一例を示す図である。 図１７は、実施例１に係る結果表示画面の一例を示す図である。 図１８は、実施例１に係る処理の一例を示すフローチャートである。 図１９は、実施例１に係る評価処理の一例を示すフローチャートである。 図２０は、実施例２に係る映像効果の一例を示す図である。 図２１は、実施例２に係る図形の各部分を表示させる映像効果の一例を示す図である。 図２２は、実施例２に係る図形の各部分を表示させる映像効果の別の一例を示す図である。 図２３は、実施例２に係るキャラクターを表示させる映像効果の一例を示す図である。 図２４は、実施例３に係る区分線を越えた人物への通知の一例を示す図である。 図２５は、実施例３に係るプレイヤー同士が接近し過ぎた場合の通知の一例を示す図である。 図２６は、実施例４に係るシンクロ判定処理の一例を示す図である。 図２７は、評価装置とカラオケ装置が連動した場合のシステムの一例を示す図である。 図２８は、サーバを有するシステムの一例を示す図である。 図２９は、評価プログラムを実行するコンピュータを示す図である。
以下に、本願の開示する評価プログラム、評価方法及び評価装置の実施例を図面に基づいて詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。
［実施例１に係る評価装置１０の機能構成の一例］
図１の例に示す評価装置１０は、例えばカラオケボックス等に設置され、カメラ２１で撮像されたプレイヤーの動作を解析する。評価装置１０は、例えば、カラオケボックス内に設けられたカラオケ装置と連動して、解析されたプレイヤーの動作を評価し、評価結果をリアルタイムで表示させる。例えば、評価装置１０は、カラオケ装置の音源から取得される基準テンポと、プレイヤーの動作との一致度合いに応じて、プレイヤーの動作を評価する。カラオケボックスにおける評価装置１０を含むシステム構成については後に詳しく説明する。
図１の例に示す評価装置１０は、複数に分割された撮像領域（以下において「評価対象領域」と呼ぶ場合がある。）のそれぞれにおいて、ダンスを行う人物をカメラ２１により撮像した結果得られた動画像の各フレームから人物の動作を解析する。具体的には、評価装置１０は、人物の動作量が一時的に低下するタイミングを、人物がリズムをとるタイミング、すなわち、人物が拍をとるタイミングとして抽出する。
このように、人物の動作量が一時的に低下するタイミングを、人物が拍をとるタイミングとして抽出するのは、人物は、拍をとるときに一時的に動作を停止させるので、動作量が一時的に低下するからである。ここで、リズムとは、例えば、テンポの間隔の規則性を意味する。また、テンポとは、例えば、拍の間隔の長さを意味する。そして、評価装置１０は、抽出したタイミングが示すテンポと、基準となるテンポである基準テンポとを比較して、人物の動作のテンポを評価する。これにより、評価装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い（処理負荷の高い）認識処理を行うことなく、人物が拍をとるタイミングを抽出し、人物の動作のテンポを評価する。したがって、評価装置１０によれば、簡易に人物の動作のテンポを評価することができる。
本実施例においては、評価装置１０は、人物が拍をとるタイミングを、後述する領域制御部１４ａにより複数に分割された評価対象領域のそれぞれにおいて抽出する。また、評価装置１０は、評価対象領域を分割することを示す表示を、撮像画像に重畳して表示させる。このように、本実施例によれば、撮像画像に設定された複数の領域における各人の動作を解析するとともに、領域間を区分する表示を撮像画像に重畳させて表示装置に表示させるので、各人にダンスの評価の対象となる領域を認識させることができる。
図１は、実施例１の評価装置の構成の一例を示すブロック図である。図１の例に示すように、評価装置１０は、入力部１１、出力部１２、記憶部１３および制御部１４を有する。
入力部１１は、各種情報を制御部１４に入力する。例えば、入力部１１は、評価装置１０を使用するユーザからの後述の評価処理を実行するための指示を受け付けた場合には、受け付けた指示を制御部１４に入力する。入力部１１のデバイスの一例としては、マウスやキーボード、図示しない他の装置から送信された各種の情報を受信し受信した情報を制御部１４に入力するためのネットワークカードが挙げられる。
出力部１２は、各種情報を出力する。例えば、出力部１２は、後述する出力制御部１４ｄから人物の動作のテンポの評価結果を受信した場合には、受信した評価結果を表示したり、受信した評価結果をユーザが保持する携帯端末や外部のモニタに送信したりする。出力部１２のデバイスの一例としては、モニタや、制御部１４から送信された各種の情報を図示しない他の装置へ送信するためのネットワークカードなどが挙げられる。
記憶部１３は、各種情報を記憶する。例えば、記憶部１３は、動画像データ１３ａ、タイミングデータ１３ｂ、音楽テンポデータ１３ｃおよび評価データ１３ｄを記憶する。
動画像データ１３ａは、ダンスを行う複数の人物をカメラ２１によって撮像した結果得られた複数のフレームを含む動画像のデータである。かかる複数の人物の一例としては、例えば、カラオケボックスで、カラオケ装置により再生された曲に合わせて歌を歌うとともに、再生された曲に合わせてダンスを行う人物が挙げられる。なお、動画像データ１３ａに含まれる複数のフレームは、カメラ２１によって連続的に撮像されたものであり、撮像画像の一例である。
図２は、フレームの一例を示す図である。図２の例は、フレーム１５に、カラオケボックス９０で、曲に合わせて歌を歌うとともにダンスを行う人物４０１及び４０２が含まれた場合を示す。以下、人物４０１をプレイヤーＡ、人物４０２をプレイヤーＢと、それぞれ呼ぶ場合がある。また、各人物を区別せずに総称する場合には、プレイヤーと呼ぶ場合がある。
また、フレーム１５は、区分線６０１によって、左側の評価対象領域７０１（以下「領域Ａ」と呼ぶ場合がある。）と、右側の評価対象領域７０２（以下「領域Ｂ」と呼ぶ場合がある。）とに分割される。区分線６０１は、区分ラインの一例である。プレイヤーＡ４０１は、分割された撮像領域のうち、左側の評価対象領域７０１に位置し、プレイヤーＢ４０２は右側の評価対象領域７０２に位置する。なお、動画像データ１３ａのフレームレートとしては、任意の値を採用できるが、以下、フレームレートが３０fps（frames per second）である場合について説明する。
タイミングデータ１３ｂは、ダンスを行うプレイヤーが拍をとるとき（拍をとるとき）の時間（タイミング）を示すデータである。かかる時間の一例としては、例えば、動画像データ１３ａに含まれるプレイヤーが、カラオケボックスで、再生された曲に合わせて歌を歌うとともにダンスを行う場合には、曲とともにダンスが開始されるので、曲およびダンスの開始からの時間が挙げられる。
図３は、タイミングデータの一例を示す図である。図３の例に示すタイミングデータ１３ｂは、「時間」および「拍をとるタイミング」の各項目を有する。「時間」の項目には、後述の評価部１４ｃにより、曲およびダンスの開始からの時間が登録される。「拍をとるタイミング」の項目には、「時間」の項目に登録された時間が、プレイヤーが拍をとるタイミングである場合には、後述の評価部１４ｃにより「とる」が登録され、プレイヤーが拍をとるタイミングでない場合には、「とらない」が登録される。
例えば、図３の例に示すタイミングデータ１３ｂの１番目のレコードでは、曲およびダンスの開始から「０．０３３」秒後の時間には「拍をとるタイミング」の項目に「とる」が登録されているため、プレイヤーが拍をとるタイミングであることを示す。また、図３の例に示すタイミングデータ１３ｂの２番目のレコードでは、曲およびダンスの開始から「０．０６６」秒後の時間には「拍をとるタイミング」の項目に「とらない」が登録されているため、プレイヤーが拍をとるタイミングでないことを示す。
音楽テンポデータ１３ｃは、基準テンポを示すデータである。基準テンポは、後述の評価部１４ｃにより音情報から取得される。ここで、音情報の一例としては、例えば、図示しないマイクにより集音された音、カラオケ装置で再生された曲、図示しないビデオカメラ等で録画された映像データにおいて動画像データ１３ａと連動して取得された音声データが挙げられる。また、音情報の一例として、ＭＩＤＩ（Musical Instrument Digital Interface）を用いてもよい。
評価データ１３ｄは、後述の評価部１４ｃにより評価された各プレイヤーの動作のテンポの評価結果である。かかる評価結果については後述する。
記憶部１３は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。図１に示すように、制御部１４は、領域制御部１４ａと、取得部１４ｂと、評価部１４ｃと、出力制御部１４ｄとを有する。
領域制御部１４ａは、撮像される画像に含まれるプレイヤーの人数に応じて、撮像される画像を複数の評価対象領域に分割し、当該複数の評価対象領域の区分線を生成する処理部である。
領域制御部１４ａの一態様について説明する。まず、領域制御部１４ａは、撮像される画像に含まれるプレイヤーの人数を特定する。例えば、領域制御部１４ａは、ユーザが入力又は選択した人数を用いて、撮像される画像に含まれるプレイヤーの人数を特定することができる。なお、本実施例においては、ダンスを行う人数は１人から最大４人まで選択可能としているが、実施の形態はこれに限られない。
ユーザが入力又は選択した人数を用いる構成について、図４を用いて説明する。図４は、実施例１に係る人数選択画面の一例を示す図である。領域制御部１４ａは、入力部１１から評価処理を実行するための指示の入力を受けると、図４に示すような画面を生成して、出力制御部１４ｄに出力する。
図４に示すように、人数選択画面は、撮像される画像に、メッセージ領域５０１と、選択領域５０２とが重畳して表示される。メッセージ領域５０１には、ユーザにダンスを行うプレイヤーの人数の選択を促すメッセージが表示される。選択領域５０２には、人数を選択するための選択肢とカーソルとが表示される。ユーザは、図示しないポインティングデバイス等を用いて、選択領域５０２において人数を選択する。入力部１１は、ユーザから人数の選択に関する指示を受け付けると、領域制御部１４ａに受け付けた指示を出力する。
領域制御部１４ａは、入力部１１から人数の選択に関する入力を受けると、入力された人数に応じて、フレームを複数の評価対象領域に分割する。領域制御部１４ａは、例えば、入力された人数によって、フレームの幅を等分する。図５は、実施例１に係る評価対象領域の一例を示す図である。図５は、例えば、入力された人数が３人である場合に、領域制御部により設定される複数の評価対象領域の一例を示すものであり、人数に応じて、評価対象領域７０１、７０２及び７０３の３つの評価対象領域にフレームが分割されている。
また、領域制御部１４ａは、各評価対象領域を区分する表示をさらに生成し、撮像画像に重畳して表示されるように出力制御部１４ｄに出力する。図５に示すように、領域制御部１４ａは、評価対象領域７０１と評価対象領域７０２とを区分する区分線６０１を、撮像画像に重畳して表示させる。同様に、領域制御部１４ａは、評価対象領域７０２と評価対象領域７０３とを区分する区分線６０２を、撮像画像に重畳して表示させる。
ここまで、領域制御部１４ａが、ユーザによる入力又は選択に基づいて撮像される画像に含まれるプレイヤーの人数を特定する構成について説明したが、これに限られない。例えば、領域制御部１４ａが、顔認識技術又は物体認識技術を用いてプレイヤーの人数を特定するような構成であってもよい。図６は、実施例１に係る顔認識技術を用いた人数特定処理の一例を示す図である。図６に示すように、領域制御部１４ａは、公知の顔認識技術を用いて、顔認識領域４２１乃至４２３が示すように、撮像される画像に含まれる顔を認識し、認識された顔の数に基づいて撮像される画像に含まれるプレイヤーの人数を特定する。また、領域制御部１４ａは、メッセージ領域５０１に、特定された人数が正しいか否かのメッセージを表示させ、選択領域５０２に選択肢を表示させる。
また、顔認識技術に代えて、物体認識技術を用いてプレイヤーの人数を特定する場合においては、撮像される画像に含まれるプレイヤーは、例えばリストバンドや楽器など、認識の対象となる物体を所持し又は装着する。図７は、実施例１に係る物体認識技術を用いた人数特定処理の一例を示す図である。図７に示すように、領域制御部１４ａは、公知の物体認識技術を用いて、撮像される画像に含まれる物体を認識し、認識された物体の数に基づいて撮像される画像に含まれるプレイヤーの人数を特定する。図７に示す例においては、領域制御部１４ａは、物体認識領域４４１乃至４４３が示すように、各プレイヤーが装着するリストバンド４５１乃至４５３を認識し、プレイヤーの人数が３人であることを特定する。また、領域制御部１４ａは、メッセージ領域５０１に、特定された人数が正しいか否かのメッセージを表示させ、選択領域５０２に選択肢を表示させる。
なお、領域制御部１４ａが、プレイヤーに対して、それぞれの評価対象領域内に入るように指示するような構成であってもよい。図８は、実施例１に係る領域区分表示の一例を示す図である。図８に示すように、領域制御部１４ａは、各評価対象領域を区分する区分線６０１及び６０２を、撮像される画像に重畳して表示させる。また、領域制御部１４ａは、メッセージ領域５０１に、プレイヤーに対して評価対象領域内への移動を促すメッセージを表示させる。また、領域制御部１４ａは、選択領域５０２に、準備ができたことを入力するための選択肢を表示させてもよい。領域制御部１４ａは、入力部１１から「ＯＫ」が選択されたことを入力されると、取得部１４ｂに評価処理の開始を指示する。
本実施例において、領域制御部１４ａは、評価対象領域及び区分線の表示を、特定されたプレイヤーの人数に応じて変化させる。図９は、実施例１に係る領域区分表示の別の一例を示す図である。図９に示すように、撮像される画像に含まれるプレイヤーの人数が２人である場合、領域制御部１４ａは、１本の区分線６０１を表示させ、フレームを左右２つの評価対象領域に分割する。同様に、撮像される画像に含まれるプレイヤーの人数が４人である場合、領域制御部１４ａは、区分線を３本表示させ、フレームを４つの評価対象領域に分割する。
なお、領域制御部１４ａは、ユーザにより「ＯＫ」が選択された際に、一つの評価対象領域に複数のプレイヤーがいる場合や、プレイヤーが区分線上にいる場合、プレイヤーに対して立ち位置の修正を促すメッセージを表示させるような構成であってもよい。また、領域制御部１４ａが、メッセージ及び選択肢を表示させずに、プレイヤーが一人ずつ評価対象領域に立ったことが確認できた時点で次の処理を始めるような構成であってもよい。
なお、顔認識技術又は物体認識技術を用いるような構成においては、領域制御部１４ａが評価対象領域７０１乃至７０３を予め設定しないような構成であってもよい。例えば、領域制御部１４ａは、図６に示す顔認識領域４２１、又は図７に示す物体認識領域４４１から所定の範囲内に含まれる領域を、評価対象領域と設定してもよい。この場合、領域制御部１４ａは、プレイヤーＡ４０１が移動した場合に、評価対象領域を、プレイヤーＡ４０１の位置に応じて移動させる。
図１の説明に戻って、取得部１４ｂは、動画像に含まれるフレームの差分を取得する処理部である。具体的には、取得部１４ｂは、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。また、取得部１４ｂは、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。本実施例において、取得部１４ｂは、当該差分を、分割された領域Ａ７０１及び領域Ｂ７０２のそれぞれについて個別に取得する。
取得部１４ｂの一態様について説明する。例えば、取得部１４ｂは、入力部１１により後述の評価処理を実行するための指示が入力された場合に、記憶部１３に記憶された動画像データ１３ａを取得する。
そして、取得部１４ｂは、分割された領域Ａ７０１及び領域Ｂ７０２のそれぞれにつき、背景差分法を用いて、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。例えば、取得部１４ｂは、公知の背景統計量の累積に関する関数を用いて、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。
取得部１４ｂが背景統計量の累積に関する関数を用いた場合の処理について説明する。取得部１４ｂは、対応する評価対象領域ごとに、フレームと、当該フレームより前に撮像したフレームから得られた背景情報とを比較し、輝度の変化に基づいて２値化された画像を生成する。なお、ここで生成される情報は、例えば、輝度の変化が閾値以下の画素を黒色の画素とし、輝度の変化が閾値より大きい画素を白色の画素とする情報であるが、これに限られない。取得部１４ｂは、輝度の変化が閾値以下、あるいは閾値より大きいことが識別可能な情報であれば、白黒の画素とする２値化した画像に限定されず、その他の画像を生成してもよい。
図１０は、２値化された画像の一例を示す図である。図１０は、フレーム画像全体について２値化した結果の一例を示している。例えば、取得部１４ｂは、背景統計量の累積に関する関数を用いて、対応する評価対象領域ごとに、先の図２の例に示すフレーム１５と、フレーム１５より前に撮像されたフレームから得られた背景情報とを比較する。そして、取得部１４ｂは、図１０の例に示すような２値化された画像を生成し、対応する評価対象領域ごとに、生成した２値化された画像に含まれる白い画素の総数（背景差分量）を、プレイヤーの動作量として算出する。
このように、本実施例では、分割された評価対象領域それぞれにおける背景差分量が、各プレイヤーが移動した量を示す指標として用いられる。例えば、取得部１４ｂは、図１０の例に示す撮像領域のうち、左側の領域Ａ７０１における２値化された画像に含まれる白い画素の総数を、プレイヤーＡ４０１の動作量として算出する。同様に、例えば、取得部１４ｂは、図１０の例に示す撮像領域のうち、右側の領域Ｂ７０２における２値化された画像に含まれる白い画素の総数を、プレイヤーＢ４０２の動作量として算出する。
このようにして、取得部１４ｂは、評価対象領域ごとに、フレームそれぞれについて、背景差分量をプレイヤーの動作量として取得する。そして、取得部１４ｂは、フレームそれぞれについて、背景差分量とフレーム番号とを対応付ける。
図１１は、背景差分量と評価対象領域とフレーム番号との対応付けの一例を示す図である。図１１の例は、取得部１４ｂが、フレーム番号「２」と、「領域Ａ」と、背景差分量「２６７０００」とを対応付けた場合を示す。また、図１１の例は、取得部１４ｂが、フレーム番号「３」と、「領域Ａ」と、背景差分量「２６６０００」とを対応付けた場合を示す。図１１に示すように、取得部１４ｂは、「領域Ｂ」についても、同様に背景差分量とフレーム番号とを対応付けて登録する。
このようにして、取得部１４ｂは、複数のフレームそれぞれについて、評価対象領域ごとに、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。
なお、取得部１４ｂは、コードブック法を用いて、フレームと、当該フレームより前に撮像したフレームとの差分を取得するとともに、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得することもできる。
図１の説明に戻って、評価部１４ｃは、各プレイヤーの動作を評価する処理部である。評価部１４ｃは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する。本実施例において、評価部１４ｃは、当該タイミングを、評価対象領域ごとに個別に検出する。
評価部１４ｃの一態様について説明する。例えば、評価部１４ｃは、取得部１４ｂによりフレーム番号と背景差分量とが対応付けられた情報を用いて、１つ前のフレームの背景差分量よりも背景差分量が小さく、かつ、１つ後のフレームの背景差分量よりも背景差分量が小さいフレームを検出する。
図１２は、実施例１に係る評価装置が実行する処理の一例を説明するための図である。図１２の例は、図１０に示す左側の領域Ａ７０１において、横軸をフレーム番号とし、縦軸を背景差分量とする、取得部１４ｂにより対応付けられたフレーム番号と背景差分量との関係を表すグラフを示す。図１２の例に示すグラフは、フレーム番号が１から５０までのフレームの背景差分量を示す。
図１２の例のグラフに示されるように、取得部１４ｂによりフレーム番号と背景差分量とが対応付けられた場合には、評価部１４ｃは、次の処理を行う。すなわち、評価部１４ｃは、フレーム番号「３」のフレームの背景差分量よりも背景差分量が小さく、かつ、フレーム番号「５」のフレームの背景差分量よりも背景差分量が小さいフレーム番号「４」のフレームを検出する。同様に、評価部１４ｃは、フレーム番号「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームを検出する。
そして、評価部１４ｃは、検出したフレームが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。例えば、評価部１４ｃは、フレーム番号「４」、「６」、「１０」、「１８」、「２０」のフレームのそれぞれが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。また、評価部１４ｃは、例えばフレーム番号「２５」、「３３」、「３８」、「４０」、「４７」のフレームのそれぞれが撮像された時間についても、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。本実施例において、評価部１４ｃは、図１０に示す右側の領域Ｂ７０２においても、同様にタイミングを検出する。
また、評価部１４ｃは、検出されたタイミングに基づいて、フレームに含まれるプレイヤーが拍をとる動作または拍をとるタイミングを抽出する。本実施例において、評価部１４ｃは、当該タイミングを、各評価対象領域に存在するプレイヤーごとに個別に抽出する。
例えば、評価部１４ｃは、検出されたタイミングの中から、次のようなタイミングを抽出する。すなわち、評価部１４ｃは、評価対象領域ごとに、検出されたタイミングで撮像されたフレームの中から、所定の条件を満たすフレームを抽出し、抽出したフレームが撮像された時間を、フレームに含まれるプレイヤーが拍をとるタイミングとして抽出する。
ここで、評価部１４ｃが、所定の条件を満たすフレームを抽出する方法の一例について説明する。例えば、評価部１４ｃは、検出されたタイミングに対応するフレーム（検出されたタイミングで撮像されたフレーム）を抽出候補のフレームとして１つずつ選択する。そして、評価部１４ｃは、抽出候補のフレームを１つ選択するたびに、次の処理を行う。すなわち、評価部１４ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加しているか否かを判定する。
評価部１４ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合には、次の処理を行う。すなわち、評価部１４ｃは、抽出候補のフレームが撮像された時間を、フレームに含まれるプレイヤーが拍をとるタイミングとして抽出する。換言すると、評価部１４ｃは、複数のフレームそれぞれが示すプレイヤーの動作の中から、抽出候補のフレームに含まれるプレイヤーが拍をとる動作を抽出する。そして、評価部１４ｃは、上述した処理を、検出されたタイミングに対応する全てのフレームに対して行う。
例えば、図１０に示す左側の領域Ａ７０１において、所定数が「４」であり、図１２の例のグラフが示すように取得部１４ｂによりフレーム番号と背景差分量とが対応付けられた場合について説明する。この場合、評価部１４ｃは、フレーム番号「２１」のフレームからフレーム番号「２５」のフレームまでの背景差分量が減少し、フレーム番号「２５」のフレームからフレーム番号「２９」のフレームまでの背景差分量が増加しているので、次の処理を行う。すなわち、評価部１４ｃは、フレーム番号「２５」のフレームが撮像された時間を、フレームに含まれるプレイヤーが拍をとるタイミングとして抽出する。
また、評価部１４ｃは、複数のフレームそれぞれが示すプレイヤーの動作の中から、フレーム番号「２５」のフレームに含まれるプレイヤーが拍をとる動作を抽出する。なお、上述した所定数は、抽出候補のフレームより前のフレームに対する所定数と、抽出候補のフレームより後のフレームに対する所定数とで、異なる値が設定されることとしても良い。例えば、抽出候補のフレームより前のフレームに対する所定数を「５」とし、抽出候補のフレームより後のフレームに対する所定数を「１」とする態様などが考えられる。
そして、評価部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、プレイヤーが拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。また、評価部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、プレイヤーが拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。本実施例において、評価部１４ｃは、当該拍をとるタイミングである時間及び拍をとるタイミングでない時間も、各評価対象領域に存在するプレイヤーごとに個別に登録する。
このようにして、各種の情報が登録されたタイミングデータ１３ｂは、例えば、プレイヤーが拍をとるタイミングが示すプレイヤーのリズムを評価する際に用いられる。そして、評価部１４ｃは、全てのフレームそれぞれについて、拍をとるタイミングである時間と「とる」とを対応付けるか、拍をとるタイミングでない時間と「とらない」とを対応付けてタイミングデータ１３ｂに登録する。
図１３は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。なお、図１３の横軸は時間（秒）を示し、縦軸は拍をとるかとらないかを示す。図１３の例では、０．３秒間隔で、プレイヤーが拍をとるタイミングであるか否かがプロットされる。
例えば、図１３の例では、連続する９つのフレームごとに、９つのフレームが撮像されたタイミングの中に、プレイヤーが拍をとるタイミングがある場合には、「とる」の位置に丸印がプロットされる。また、図１３の例においては、連続する９つのフレームごとに、９つのフレームが撮像されたタイミングの中に、プレイヤーが拍をとるタイミングがない場合には、丸印がプロットされない。図１３の例では、例えば、時間「４．３秒」に対応して「とる」の位置に丸印がプロットされている。これは、時間が４．０秒から４．３秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、プレイヤーが拍をとるタイミングがあることを示す。また、図１３の例では、例えば、時間「４．６秒」に対応して丸印がプロットされていない。これは、時間が４．３秒から４．６秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、プレイヤーが拍をとるタイミングがないことを示す。他の時間についても同様である。なお、図１３はタイミングデータを概念的に示した一例であり、適宜、図１３以外の態様をとることが可能である。
また、評価部１４ｃは、複数のフレームに基づいて抽出される、フレーム中の各評価対象領域に含まれる各プレイヤーが拍をとる動作または拍をとるタイミングが示すテンポと、基準テンポとの比較に応じて、各プレイヤーの動作のテンポに関する評価を行う。また、評価部１４ｃは、再生される曲（音楽）から抽出されるテンポと、曲の再生に応じて歌う各プレイヤーを撮像対象に含むフレームから取得される各プレイヤーのリズムを取るタイミングとに基づいて、各プレイヤーの動作に関する評価を行なう。
評価部１４ｃは、タイミングデータ１３ｂから、プレイヤーが拍をとるタイミングの時間を取得する。そして、評価部１４ｃは、音情報から基準テンポを取得する。例えば、評価部１４ｃは、カラオケボックスに設けられた図示しないマイクにより集音された、再生された曲に合わせて歌を歌うとともにダンスを行うプレイヤーの音声や再生された曲などの音情報に対して、次の処理を行う。すなわち、評価部１４ｃは、ビートトラッキングやリズム認識といった技術を用いて基準テンポを取得する。ビートトラッキングやリズム認識として、例えば、非特許文献（“電子情報通信学会『知識の森』２群−９編−２章 ２−４ オーディオアライメント・ビートトラッキング・リズム認識”、［Online］，［平成２５年１２月１７日検索］、インターネット＜http://www.ieice-hbkb.org/portal/doc_557.html＞）に記載の技術を用いることができる。また、評価部１４ｃは、再生された曲に対応するＭＩＤＩデータから、基準テンポを取得することもできる。そして、評価部１４ｃは、取得した基準テンポを音楽テンポデータ１３ｃとして記憶部１３に格納する。
そして、評価部１４ｃは、音楽テンポデータ１３ｃが示す基準テンポにおける拍のタイミングと、タイミングデータ１３ｂから取得したプレイヤーが拍をとるタイミングとを比較する。
例えば、評価部１４ｃは、プレイヤーが拍をとるタイミングを基準として、タイミングを比較する。図１４は、タイミングの比較方法の一例を示す図である。図１４の例は、左側の評価対象領域７０１に位置するプレイヤーＡ４０１が拍をとるタイミングが示すテンポと、基準テンポとを示す。なお、図１４中、上段の丸印は、プレイヤーが拍をとるタイミングを示し、下段の丸印は、基準テンポにおける拍のタイミングを示す。
図１４の例において、評価部１４ｃは、プレイヤーが拍をとるタイミングのそれぞれについて、基準テンポにおける拍のタイミングのうち最も時間的に近いタイミングとの差を算出し、差の大きさに応じて点数を算出し、算出した点数をスコアに加算する。例えば、評価部１４ｃは、差が「０」秒（第１の閾値）である場合には、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。また、評価部１４ｃは、差が「０」秒より大きく、「０．２」秒（第２の閾値）以下である場合には、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部１４ｃは、差が「０．２」秒より大きい場合には、「Ｂａｄ！」として−１点を評価のスコアに加算する。本実施例においては、評価部１４ｃは、図１０に示す領域Ｂ７０２においても、同様に点数を算出する。
評価部１４ｃは、プレイヤーが拍をとる全てのタイミングについて、差を算出し、差に対応する点数をスコアに加算する。なお、スコアは、評価処理を開始する時点では、０点である。また、第１の閾値および第２の閾値は上述の値に限られず、第１の閾値および第２の閾値として任意の値を採用することができる。
図１４の例では、評価部１４ｃは、プレイヤーが拍をとるタイミング（２２．２秒）と、基準テンポにおける拍のタイミング（２２．３秒）との差「０．１秒」を算出し、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部１４ｃは、プレイヤーが拍をとるタイミング（２３．５秒）と、基準テンポにおける拍のタイミング（２３．２秒）との差「０．３秒」を算出し、「Ｂａｄ！」として−１点を評価のスコアに加算する。また、評価部１４ｃは、プレイヤーが拍をとるタイミング（２４秒）と、基準テンポにおける拍のタイミング（２４秒）との差「０秒」を算出し、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。
なお、評価部１４ｃは、基準テンポにおける拍のタイミングを基準として、タイミングを比較してもよい。その際、評価に用いる基準テンポが示すタイミングとしてさらに、音情報から取得されたタイミング間の間、いわゆる裏拍のタイミングを追加しても良い。これにより、裏拍のタイミングで拍をとるプレイヤーのリズムを適切に評価することができる。また、音情報から取得されたタイミング（表拍）と比較して、裏拍をとる難易度が高いことを考慮し、プレイヤーが拍をとるタイミングが裏拍と一致した場合に加算される点数を、表拍と一致した場合に加算される点数より高くする態様としても良い。
そして、評価部１４ｃは、プレイヤーが拍をとる全てのタイミング、または、基準テンポにおける全ての拍のタイミングについて、点数をスコアに加算した場合には、スコアを用いて評価を算出する。例えば、評価部１４ｃは、スコアをそのまま評価としてもよいし、下記の式（１）に基づいて、１００点満点となるように採点点数を算出し、採点点数を評価としてもよい。
Figure 2017093803
上記の式（１）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。また、「拍数」は、プレイヤーが拍をとる全てのタイミング、または、基準テンポにおける全ての拍のタイミングの数を示す。また、「Ｅｘｃｅｌｌｅｎｔの点数」は、「２」を示す。したがって、式（１）では、分数の項の分母が取得可能な最大のスコアとなり、全てのタイミングが「Ｅｘｃｅｌｌｅｎｔ！」と判定されれば１００点となる。また、式（１）では、全てのタイミングが「Ｂａｄ！」と判定された場合でも５０点となるので、ダンスを行うプレイヤーのモチベーションを保つことができる。
また、評価部１４ｃは、式（１）を用いた場合には、プレイヤーが拍をとるタイミングと、基準テンポに示されるタイミングとの差が所定の値より小さいタイミングの数が多くなることに応じて、スコアの値が高くなるようにスコアを算出することができる。これにより、プレイヤーが拍をとるタイミングと、基準テンポに示されるタイミングとが合っているかという観点から、プレイヤーの動作のテンポを評価することができる。なお、上記の式（１）は一例に過ぎず、評価部１４ｃは、「Ｅｘｃｅｌｌｅｎｔ！」の評価の数に応じて点数が増加するようなその他の数式を用いてもよい。
そして、評価部１４ｃは、算出した評価を評価データ１３ｄとして記憶部１３に格納するとともに、出力制御部１４ｄに送信する。また、評価部１４ｃは、全ての評価が終了した時点、例えば曲が終了した時点において、各プレイヤーの評価結果を集計して、後述する結果表示画面に出力される情報を生成し、出力制御部１４ｄに出力する。
図１の説明に戻って、出力制御部１４ｄは、各処理部による処理結果を出力するように制御する処理部である。具体的には、出力制御部１４ｄは、領域制御部１４ａにより生成された各種画面を出力するように制御する。例えば、出力制御部１４ｄは、図４乃至図９に示されるような画面を出力するように制御する。
また、出力制御部１４ｄは、評価部１４ｃから入力を受けた評価の結果である評価結果を出力するように制御する。例えば、出力制御部１４ｄは、評価結果が出力部１２から出力されるように、評価結果を出力部１２に送信する。
出力される評価結果の一例について、図１５を用いて説明する。図１５は、評価表示画面の一例を示す図である。図１５において、出力制御部１４ｄは、プレイヤーＡ４０１の評価結果７５１を、プレイヤーＡ４０１の顔の位置と横座標が一致するように出力させている。同様に、出力制御部１４ｄは、プレイヤーＢ４０２の評価結果７５２を、プレイヤーＢ４０２の顔の位置と横座標が一致するように出力させている。各プレイヤーの評価結果７５１及び７５２は、図１５に例示されるように、プレイヤーを識別する表示と、スコアを示す数値と、スコアを示す棒グラフとを含む。なお、出力制御部１４ｃが、プレイヤーが移動した場合に、評価結果の表示も合わせて移動させるような構成であってもよい。
また、出力制御部１４ｄは、各プレイヤーが拍を取るタイミングである基準テンポを指示する表示を出力するように制御する。例えば、図１５の符号９０１に示すように、出力制御部１４ｄは、各プレイヤーの評価結果に加えて、基準テンポを、歌詞と合わせて表示させる。
図１５の符号９０１に示されるように、出力制御部１４ｄは、基準テンポに相当する部分を、符号９０３に示されるように強調して表示させる。例えば、基準テンポを示す部分の文字は、他の歌詞の文字よりも大きく表示され、別の色で表示され、又は点滅するなど、他の文字と区別して表示される。また、出力制御部１４ｄは、現在の歌詞に該当する部分をカーソル９０２で示させる。カーソル９０２は、歌の進行とともに歌詞に合わせて移動する。これにより、各プレイヤーは、今どの部分を歌っているか、またどのタイミングで拍を取ればいいかを視認することができる。
図１５においては、出力制御部１４ｄが評価結果を各プレイヤーの顔の位置と横座標が一致するように出力する例について説明したが、評価結果を表示する構成はこれに限られない。例えば、出力制御部１４ｄが、評価結果を各プレイヤーの顔の位置と縦座標が一致するように出力するような構成であってもよい。図１６は、評価表示画面の別の一例を示す図である。図１６において、出力制御部１４ｄは、プレイヤーＡ４１１の評価結果７６１を、プレイヤーＡ４１１の顔の位置と縦座標が一致するように出力させている。同様に、出力制御部１４ｄは、プレイヤーＢ４０２の評価結果７６２を、プレイヤーＢ４０２の顔の位置と縦座標が一致するように出力させている。かかる構成によれば、例えば、大人が子供と一緒にダンスをする場合など、プレイヤー間の身長差が大きい場合に、出力制御部１４ｄは、各プレイヤーの評価結果を認識しやすい形で提示できる。なお、出力制御部１４ｄが、各プレイヤーの評価結果を、各プレイヤーの顔の周辺に表示させたり、各プレイヤーの体に重畳させて表示させたりするような構成であってもよい。また、出力制御部１４ｄが、各プレイヤーの評価結果を、プレイヤーの顔の位置に対応する位置、プレイヤーの顔の位置の周り、又はプレイヤーの顔の位置と縦座標若しくは横座標が対応する位置のうち複数の位置に表示させるような構成であってもよい。
また、出力制御部１４ｄは、例えば曲が終了した時点において、評価部１４ｃから入力された情報を用いて、結果表示画面を出力するように制御する。図１７は、実施例１に係る結果表示画面の一例を示す図である。図１７の符号８２１乃至８２３に示すように、結果表示画面は、各プレイヤーの評価結果である点数の表示を含む。また、結果表示画面は、符号８３１に示すように、最も点数が高かったプレイヤーＣ４０３が優勝である旨の表示をさらに含む。
図１の説明に戻って、制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などの回路により実現されるようにしてもよい。
［処理の流れ］
次に、実施例１に係る評価装置１０が実行する処理の流れについて説明する。図１８は、実施例１に係る処理の一例を示すフローチャートである。実施例に係る評価処理は、例えば、入力部１１から、評価処理を実行するための指示が制御部１４に入力された場合に、制御部１４により実行される。
まず、領域制御部１４ａは、撮像される画像に含まれるプレイヤーの人数を特定する（ステップＳ１０１）。次に、領域制御部１４ａは、特定された人数に応じて、評価対象領域を設定し（ステップＳ１０３）、区分線を撮像される画像に重畳して表示させる（ステップＳ１０５）。
次に、領域制御部１４ａは、図８の符号５０２に示されるような、撮像される画像に含まれる各プレイヤーがそれぞれ評価対象領域に移動したこと示す「ＯＫ」の入力を受けるまで待機する（ステップＳ１１１：Ｎｏ）。領域制御部１４ａは、「ＯＫ」の入力を受けた場合（ステップＳ１１１：Ｙｅｓ）、取得部１４ｂに評価処理の実行を指示する（ステップＳ１２１）。
図１９は、実施例１に係る評価処理の一例を示すフローチャートである。図１９に示すように、取得部１４ｂは、記憶部１３に記憶された動画像データ１３ａを取得する（ステップＳ２０１）。そして、取得部１４ｂは、複数のフレームそれぞれについて、背景差分量をプレイヤーの動作量として取得し、背景差分量とフレーム番号とを対応付ける（ステップＳ２０２）。
そして、評価部１４ｃは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する（ステップＳ２０３）。そして、評価部１４ｃは、検出されたタイミングに基づいて、フレームに含まれるプレイヤーが拍をとる動作または拍をとるタイミングを抽出する（ステップＳ２０４）。
そして、評価部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、プレイヤーが拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。また、評価部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、プレイヤーが拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する（ステップＳ２０５）。そして、評価部１４ｃは、評価を行う（ステップＳ２０６）。そして、出力制御部１４ｄは、評価結果が出力部１２から出力されるように、評価結果を出力部１２に送信する（ステップＳ２０７）。
取得部１４ｂは、全ての評価が終了するまで、ステップＳ１２１の評価処理を繰り返す（ステップＳ１３１：Ｎｏ）。全ての評価が終了した場合（ステップＳ１３１：Ｙｅｓ）、評価部１４ｃは出力制御部１４ｄに評価結果を示す情報を出力し、出力制御部１４ｄは結果表示画面を出力するように制御し（ステップＳ１４１）、処理を終了する。
以上説明したように、本実施例においては、評価装置は、撮像領域を複数の評価対象領域に分割して、評価対象領域ごとに一人のプレイヤーの動作を評価する。これにより、評価装置は、一つの評価対象領域においては複数のプレイヤーの動作を評価しないため、特定のプレイヤーの動作に評価が左右されることなく、各人の動作を適切に評価することができる。
また、評価装置が、同一の領域内における複数のプレイヤーの動作を検出するために、各プレイヤーを特定する認識処理を行うと、評価装置の処理負荷が高くなる場合がある。このため、評価装置の撮像精度が低い場合や評価装置の処理能力が低い場合、十分な評価ができない場合がある。本実施例においては、評価装置が、分割された各評価対象領域内における単独のプレイヤーの動作を検出することで、処理量が多い（処理負荷の高い）認識処理を行うことなく、簡易に複数人のダンスを評価することができる。
さらに、本実施例における評価装置は、各評価対象領域を区分することを示す表示を、撮像画像に重畳させて表示させるので、各人にダンスの評価の対象となる領域を認識させることができる。
また、上記実施例１では、評価装置が、プレイヤーが拍をとるタイミングと基準テンポに示されるタイミングとが一致しているかどうかの評価を行う構成について説明したが、評価装置は、これに限定されない。例えば、評価装置は、時間を複数の区間に区切って、区間毎に、プレイヤーが拍をとるタイミングの数と基準テンポに示されるタイミングの数とが一致しているかどうかの評価を行うようにしてもよい。
なお、上記実施例１では、評価装置が、プレイヤーが拍をとるタイミングと基準テンポに示されるタイミングとが一致しているかどうかの評価を行う構成について説明したが、評価装置は、これに限定されない。例えば、評価装置は、時間を複数の区間に区切って、区間毎に、プレイヤーが拍をとるタイミングの数と基準テンポに示されるタイミングの数とが一致しているかどうかの評価を行うようにしてもよい。また、例えば、評価装置は、プレイヤーの動きの量と、基準テンポが示す、例えば、「激しい」や「ゆっくり」などで表現される曲調とが合っているかどうかの評価を行うようにしてもよい。
上述した実施例において、評価装置は、プレイヤーのダンスの評価を表示するに際し、評価に応じた映像効果を出力することで、プレイヤーに評価をわかりやすく認識させることができ、またエンターテイメント性の高いサービスを提供できる。そこで、評価装置が、プレイヤーのダンスの評価に応じた映像効果を出力する構成について、実施例２として以下に説明する。
本実施例において、評価装置１０の出力制御部１４ｄは、例えば、各プレイヤーの評価結果に応じて、各プレイヤーの周辺に評価結果を示す映像効果を出力させる。図２０は、実施例２に係る映像効果の一例を示す図である。図２０に示すように、出力制御部１４ｄは、各プレイヤーの評価の段階に応じた映像効果を出力する。
出力制御部１４ｄは、例えば、プレイヤーＡ４０１が拍をとるタイミングと、基準テンポにおける拍のタイミングとの差が「０秒」であった場合、「Ｅｘｃｅｌｌｅｎｔ！」のメッセージ８１１を出力する。さらに、出力制御部１４ｄは、「Ｅｘｃｅｌｌｅｎｔ！」の評価結果に応じて、プレイヤーＡ４０１の周囲に、大きな星の映像効果８０１を出力させる。
また、出力制御部１４ｄは、例えば、プレイヤーＢ４０２が拍をとるタイミングと、基準テンポにおける拍のタイミングとの差が「０．１秒」であった場合、「Ｇｏｏｄ！」のメッセージ８１２を出力する。さらに、出力制御部１４ｄは、プレイヤーＢ４０２の周囲に小さな星の映像効果８０２を出力させる。同様に、出力制御部１４ｄは、例えば、プレイヤーＣ４０３が拍をとるタイミングと、基準テンポにおける拍のタイミングとの差が「０．３秒」であった場合、「Ｂａｄ！」のメッセージ８１３を出力させる。この場合、出力制御部１４ｄは、プレイヤーＣ４０３の周囲に映像効果を出力させない。
このように、出力制御部１４ｄは、例えば、星の数や大きさによって評価結果を視覚的に示す。これにより、各プレイヤーは一目で評価結果を視認できる。なお、図２０に示す例において、出力制御部１４ｄは、例えば、メッセージ８１１乃至８１３、並びに映像効果８０１及び８０２が短時間で消滅し、次の拍を取るタイミングに新たな映像効果が表示されるように制御する。なお、出力制御部１４ｄが、映像効果において表示させる図形は星形に限られず、また、出力制御部１４ｄが図形を表示させる代わりに、プレイヤー周辺の画像を波紋のように変化させるような構成であってもよい。また、図２０においては、出力制御部１４ｄが、映像効果をプレイヤーの周辺に表示される例を示したが、これに限られず、プレイヤーの評価結果の周辺に表示させたり、又は画面中のランダムな場所に表示させたりするような構成であってもよい。
また、出力制御部１４ｄが、評価結果に応じて新たな画像を出力させる代わりに、既に表示されている画像を、評価結果に応じて他の画像に変えるように制御するような構成であってもよい。例えば、出力制御部１４ｄが、テンポに合わせて星形の画像が流れてくるように制御し、所定の拍のタイミングで「Ｅｘｃｅｌｌｅｎｔ！」の評価結果が得られると、星形の画像を音符の画像に変えるように制御するような構成であってもよい。
なお、出力制御部１４ｄが、基準テンポにおける１つの拍のタイミングの評価結果だけでなく、複数の拍のタイミングの評価結果に基づいて、映像効果の出力を制御するような構成であってもよい。例えば、出力制御部１４ｄは、４つの拍のタイミングの評価結果のそれぞれに、特定の図形の部分を対応させてもよい。出力制御部１４ｄは、例えば、１つの拍のタイミングにおいて「Ｅｘｃｅｌｌｅｎｔ！」の判定が得られるごとに、当該拍のタイミングに対応付けられた図形の部分を表示させる。このような構成によれば、出力制御部１４ｄは、全ての拍のタイミングにおいて「Ｅｘｃｅｌｌｅｎｔ！」の判定が得られた場合に、特定の図形が完成するように出力を制御する。
図２１は、実施例２に係る図形の各部分を表示させる映像効果の一例を示す図である。図２１においては、例えば、４分の４拍子の曲において、４つの拍のタイミングの一つ一つに、ハート形の図形の一部分が対応している例を示す。出力制御部１４ｄは、プレイヤーが１つ目の拍のタイミングで「Ｅｘｃｅｌｌｅｎｔ！」の評価結果を得た場合に、一つ目の部分を表示させる。同様に、出力制御部１４ｄは、２つ目の拍のタイミング、３つ目の拍のタイミング、４つ目の拍のタイミングのそれぞれにおいて、プレイヤーが「Ｅｘｃｅｌｌｅｎｔ！」の評価結果を得た場合に、各拍のタイミングに対応する部分を表示させる。このような構成によれば、ひとまとまりの複数の拍のタイミングにおいて全て拍を取らなければ図形が完成しないので、ダンスの評価が視覚的に認識しやすくなるとともに、よりゲーム性の高いサービスが提供される。
なお、出力制御部１４ｄがリズムの取得結果に応じて図形の一部分を出力する構成において、各部分を複数のプレイヤーに割り当てるような構成であってもよい。例えば、領域制御部１４ａは、３つの拍子で完成する図形を出力する構成において、図形の１つ目の部分をプレイヤーＡ４０１が１つ目のリズムを取得できた場合に表示するよう制御する。同様に、領域制御部１４ａは、図形の２つ目の部分をプレイヤーＢ４０２が２つ目のリズムを取得できた場合に表示させ、図形の３つ目の部分をプレイヤーＣ４０３が３つ目のリズムを取得できた場合に表示するよう制御する。かかる構成によれば、複数のプレイヤーがお互いに競争するだけでなく、協力して一つの図形を完成させるという別のゲームの目的も提示することができる。
出力制御部１４ｄが、表示された図形を、例えば４つのテンポが終わったタイミングで徐々に消滅していき、隣に次の図形の一部が表示させるように制御するような構成であってもよい。図２２は、実施例２に係る図形の各部分を表示させる映像効果の別の一例を示す図である。図２２に示す例においては、１つめの拍子では４テンポ中３テンポでリズムが取れ、２つめの拍子では４つのテンポ全てでリズムが取れ、３つめの拍子では１つめのテンポでリズムが取れている段階において出力される映像効果の一例を示す。図２２に示すように、出力制御部１４ｄは、終了した拍子については、時間の経過とともに徐々に色が薄くなって消滅していくように出力を制御する。なお、出力制御部１４ｄが、終了した拍子に対応する図形が徐々に消滅していく代わりに、徐々にスクロールして画面外に移動するように出力を制御するような構成であってもよい。
なお、図２１及び図２２に示す例においては、出力制御部１４ｄが、各評価時点の評価結果に対応付けて、ハート形の図形の各部分を出力する構成を示したが、これに限られない。例えば、出力制御部１４ｄが、人間の顔の目、鼻、口等の部分を出力するような構成や、動物の手、足、尻尾等を出力するような構成であってもよい。また、図２１及び図２２においては、評価の対象となる拍子が４拍子である場合の例を示したが、これに限られず、例えば３拍子や６拍子で一つの図形が完成するような構成であってもよい。また、例えば、図形の一部の代わりに、１つの拍について「Ｅｘｃｅｌｌｅｎｔ！」の評価結果が得られるごとに１つ文字が表示され、対象となる全ての拍で評価結果が得られるとキーワードが完成するような構成であってもよい。
また、出力制御部１４ｄが、画面上にキャラクターを表示させ、キャラクターの動きにより各プレイヤーの評価結果を視覚的に表示させるような構成であってもよい。図２３は、実施例２に係るキャラクターを表示させる映像効果の一例を示す図である。図２３におけるキャラクター４６１は、プレイヤーＡ４０１の動きに合わせてダンスをする。例えば、プレイヤーＡ４０１がリズムを多数取れている場合はキャラクター４６１は動きが活発になり、逆にプレイヤーＡ４０１がリズムをほとんどとれていない場合は、キャラクター４６１は転倒したり、動きが止まったりする。同様に、図２３におけるキャラクター４６２も、プレイヤーＢ４０２の動きに合わせてダンスをする。
このようにプレイヤーの評価に合わせてキャラクターが動くことにより、プレイヤーは自分のダンスの評価を視覚的に認識しやすくなる。
なお、出力制御部１４ｄが評価に応じて出力を制御する効果は映像効果に限られない。例えば、出力制御部１４ｄが、音楽に合わせて、基準テンポにおいて音を出力し、プレイヤーのダンスが基準テンポと一致した場合には別の音を出力するように制御して、プレイヤーに評価を通知するような構成であってもよい。また、プレイヤーのダンスが基準テンポと一致した場合に、出力制御部１４ｄが、例えばプレイヤーが装着するリストバンド４５１乃至４５３を振動させるよう制御するなど、触感による効果を用いて、プレイヤーに評価を通知するような構成であってもよい。さらに、出力制御部１４ｄが、評価結果を示す情報、映像効果、音の出力による効果及び触感による効果を組み合わせて出力させることにより、プレイヤーに評価を通知するような構成であってもよい。これにより、ダンス中のプレイヤーが画面を視認できない場合においても、評価をプレイヤーに認識させることができる。
以上説明したように、評価装置は、プレイヤーの評価結果に応じた映像効果、音響効果、触感効果又はこれらの組み合わせ等を出力することにより、プレイヤーが評価結果を認識しやすく、かつゲーム性の高いサービスを提供できる。
上述した各実施例において、プレイヤーが区分線を越えて他のプレイヤーの評価対象領域に進入したり、プレイヤー同士が近接しすぎたりすると、各プレイヤーの動作を適切に評価できなくなる場合がある。このため、評価装置が、プレイヤーが移動して区分線を越えたり、他のプレイヤーに近接しすぎたりした場合に、プレイヤーに対して元の位置に戻るよう通知をするような構成が考えられる。
本実施例において、評価装置１０の領域制御部１４ａは、各プレイヤーが各評価対象領域を区分する表示を越えて移動したか否かを検出する。領域制御部１４ａは、いずれかのプレイヤーが区分する表示を越えて移動したことを検出した場合、画面上に、評価対象領域を越えたことを通知する表示を出力させるように出力制御部１４ｄに指示を出力する。図２４は、実施例３に係る区分線を越えた人物への通知の一例を示す図である。図２４に示す例においては、プレイヤーＢ４０２が、区分線６０１を越えて、プレイヤーＡ４０１の評価対象領域内に移動している。領域制御部１４ａが、かかるプレイヤーＢ４０２の移動を検出すると、出力制御部１４ｄは、メッセージ領域５０１に示すように、自分の評価対象領域に戻るよう促すメッセージを出力するように制御する。
図２４においては、プレイヤーが区分線を越えて移動したことを検出する構成について説明したが、実施の形態はこれに限られない。例えば、領域制御部１４ａが顔認識技術又は物体認識技術を用いてプレイヤーの人数を特定する場合、顔認識結果又は物体認識結果に基づいて、プレイヤー同士が接近しすぎていることを検出するような構成であってもよい。
プレイヤー同士の接近を検出する構成について、図２５を用いて説明する。図２５は、実施例３に係るプレイヤー同士が接近し過ぎた場合の通知の一例を示す図である。図２５に示す例において、領域制御部１４ａは、プレイヤーを認識する顔認識領域が相互に重複する場合に、出力制御部１４ｄに対して、図２５のメッセージ領域５０１に示すようなメッセージを出力させるように指示を出力する。なお、顔認識領域４３１及び４３２には、プレイヤーＡ４０１及びプレイヤーＢ４０２の接近度合を検出するにあたり、顔認識領域４２１及び４２２より大きな領域が設定されている。また、出力制御部１４ｄが、プレイヤーが近づき過ぎた場合に通知を出すような構成においては、図２５に示すように、出力制御部１４ｄが評価対象領域の区分線を表示させないような構成であってもよい。
なお、領域制御部１４ａが、画面の色を変える、点滅させるなど、プレイヤーが通知をより認識しやすい形の映像効果を出力制御部１４ｄに出力させるような構成であってもよい。また、領域制御部１４ａは、プレイヤーが区分線を越えて移動した場合に、当該プレイヤーの評価を減点するように評価部１４ｃに指示を出力するような構成であってもよい。
本実施例によれば、一つの評価対象領域内に複数のプレイヤーが進入し、又はプレイヤー同士が接近しすぎることで、各プレイヤーのダンスの評価が適切に行われなくなることを防ぐことができる。
上述した各実施例において、評価装置が、各プレイヤーの動作を個別に評価するだけでなく、複数のプレイヤーが同じタイミングで拍を取ったか否か、すなわち複数のプレイヤーの動作がシンクロしているか否かを評価するような構成であってもよい。例えば、評価装置が、全てのプレイヤーの動作がシンクロしている場合に高い評価をつけるような構成も考えられる。本実施例においては、各プレイヤーの動作がどの程度シンクロしているかを特定するシンクロ判定処理について説明する。本実施例においては、各プレイヤーの動作がどの程度シンクロしているかを「シンクロ率」と表す場合がある。
本実施例において、評価部１４ｃは、各プレイヤーのダンスの評価を個別に行うことに加えて、各プレイヤーが同じタイミングで拍を取ったか否かを判定する。図２６は、実施例４に係るシンクロ判定処理の一例を示す図である。図２６においては、各プレイヤーの評価結果は、符号９５０に示されるように、画面の上部に、歌詞９５１と合わせて表示される。図２６において、カーソル９５２は現在歌っている箇所を示し、ポイント９５３は各プレイヤーが拍を取る基準テンポを示す。
図２６の符号９５４に示すポイントにおいては、いずれのプレイヤーも「Ｅｘｃｅｌｌｅｎｔ！」の評価結果を得ている。この場合、評価部１４ｃは、各プレイヤーのダンスがシンクロしたと評価し、シンクロ率を更新する。また、評価部１４ｃは、例えば図２６の符号９６１に示すようなシンクロ率の表示を出力させる。シンクロ率の表示は、図２６の符号９６１に示すように、例えば「シンクロ率」という表記と、「５０％」というシンクロ率を示す数値とを対応付けた情報を含む。一方、図２６の符号９５５に示すポイントにおいては、各プレイヤーの拍を取るタイミングが一致しないため、評価部１４ｃはシンクロ率を更新しない。
本実施例によれば、各プレイヤーの競争に加えて、各プレイヤーが協力する要素も加わるので、ゲーム性を高めるとともに、統一感のあるダンスを促すことができる。なお、複数人から同じタイミングでテンポを取得できた場合においても、当該タイミングが正解のタイミングと異なる場合、例えば「Ｅｘｃｅｌｌｅｎｔ！」の評価結果を得られなかった場合はスコアを加算しないような構成であってもよい。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
例えば、上述したように、評価装置１０（以下、単に評価装置と表記する場合がある）は、カラオケボックス内に設けられたカラオケ装置と連動して、プレイヤーのリズムを抽出することもできる。例えば、評価装置１０は、カラオケ装置と連動して、リアルタイムでプレイヤーのリズムを抽出することができる。ここでリアルタイムとは、例えば、入力されたフレームに対して逐次処理を行ない、順次処理結果を出力する態様を含む。図２７は、評価装置とカラオケ装置が連動した場合のシステムの一例を示す図である。図２７の例に示すシステム４０は、カラオケ装置４１と、マイク４２と、カメラ４３と、モニタ４４と、評価装置１０とを有する。カラオケ装置４１は、カラオケを行うプレイヤーＡ４０１及びプレイヤーＢ４０２に対して、プレイヤーＡ４０１又はプレイヤーＢ４０２により指定された曲を再生して図示しないスピーカから出力する。これにより、プレイヤーＡ４０１及びプレイヤーＢ４０２は、マイク４２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置４１は、曲の再生を開始するタイミングで、評価装置に、曲の再生を開始するタイミングであることを示すメッセージを通知する。また、カラオケ装置４１は、曲の再生を終了するタイミングで、評価装置に、曲の再生を終了するタイミングであることを示すメッセージを通知する。
評価装置は、曲の再生を開始するタイミングであることを示すメッセージを受信すると、カメラ４３に対して、撮像を開始する指示を送信する。カメラ４３は、撮像を開始する指示を受信すると、撮像範囲内に存在するプレイヤーＡ４０１及びプレイヤーＢ４０２の撮像を開始し、撮像により得られた動画像データ１３ａのフレームを次々と評価装置に送信する。
また、マイク４２によって集音された、再生された曲に合わせて歌を歌うとともにダンスを行うプレイヤーの音声や再生された曲などの音情報は、カラオケ装置４１を介して、次々と評価装置に送信される。なお、かかる音情報は、動画像データ１３ａのフレームと並行して出力される。
評価装置は、カメラ４３から送信されたフレームを受信すると、受信したフレームに対して上述した各種の処理を施して、プレイヤーＡ４０１及びプレイヤーＢ４０２のそれぞれが拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録する。そして、評価装置は、カラオケ装置４１から音情報を受信すると、受信した音情報から基準テンポを取得する。そして、評価装置は、上述した評価を行い、評価結果をカラオケ装置４１に送信する。
カラオケ装置４１は、評価結果を受信すると、受信した評価結果をモニタ４４に表示させる。これにより、プレイヤーＡ４０１及びプレイヤーＢ４０２は、評価結果を把握することができる。なお、評価装置１０は、リアルタイムで評価結果をモニタ４４に表示させることができる。したがって、システム４０によれば、迅速に評価結果を出力することができる。
そして、評価装置は、カラオケ装置４１から曲の再生を終了するタイミングであることを示すメッセージが通知されると、カメラ４３に対して、撮像を停止する指示を送信する。カメラ４３は、撮像を停止する指示を受信すると、撮像を停止する。
上述したように、システム４０において、評価装置は、カラオケボックス内に設けられたカラオケ装置４１と連動して、評価結果を出力することができる。
また、カラオケボックス外に設けられたサーバが、評価装置が有する各種の機能と同様の機能を備え、このサーバが、評価結果を出力することもできる。図２８は、サーバを有するシステムの一例を示す図である。図２８の例に示すシステム５０は、カラオケ装置５１と、マイク５２と、カメラ５３と、サーバ５４と、携帯端末５５及び５６とを有する。カラオケ装置５１は、カラオケを行うプレイヤーＡ４０１及びプレイヤーＢ４０２に対して、プレイヤーＡ４０１又はプレイヤーＢ４０２により指定された曲を再生して図示しないスピーカから出力する。これにより、プレイヤーＡ４０１及びプレイヤーＢ４０２は、マイク５２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置５１は、曲の再生を開始するタイミングで、カメラ５３に対して、撮像を開始する指示を送信する。また、カラオケ装置５１は、曲の再生を終了するタイミングで、カメラ５３に対して、撮像を停止する指示を送信する。
カメラ５３は、撮像を開始する指示を受信すると、撮像範囲内に存在するプレイヤーＡ４０１及びプレイヤーＢ４０２の撮像を開始し、撮像により得られた動画像データ１３ａのフレームを次々とカラオケ装置５１に送信する。カラオケ装置５１は、カメラ５３から送信されたフレームを受信すると、受信したフレームを次々と、ネットワーク８０を介して、サーバ５４に送信する。また、カラオケ装置５１は、マイク５２によって集音された、再生された曲に合わせて歌を歌うとともにダンスを行うプレイヤーの音声や再生された曲などの音情報を次々と、ネットワーク８０を介して、サーバ５４に送信する。なお、かかる音情報は、動画像データ１３ａのフレームと並行して出力される。
サーバ５４は、カラオケ装置５１から送信されたフレームに対して、上述した評価装置による各種の処理と同様の処理を施して、プレイヤーＡ４０１及びプレイヤーＢ４０２が拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録する。そして、評価装置は、カラオケ装置４１から音情報を受信すると、受信した音情報から基準テンポを取得する。そして、評価装置は、上述した評価を行い、評価結果を、ネットワーク８０および基地局８１を介して、プレイヤーＡ４０１が保有する携帯端末５５及びプレイヤーＢ４０２が保有する携帯端末５６に送信する。
携帯端末５５及び５６は、評価結果を受信すると、受信した評価結果を携帯端末５５及び５６のディスプレイに表示させる。これにより、プレイヤーＡ４０１及びプレイヤーＢ４０２は、プレイヤーＡ４０１が保有する携帯端末５５及びプレイヤーＢ４０２が保有する携帯端末５６から評価結果を把握することができる。
また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。
また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理の順番を変更できる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、実施例に記載のカメラ４３をカラオケ装置４１と接続し、カラオケ装置４１を介して評価装置と通信可能とすることとしても良い。また例えば、実施例に記載したカラオケ装置４１と評価装置の機能が、単一のコンピュータにより実現されることとしても良い。
なお、複数の領域の区分および領域を区分する表示は固定される態様であっても、変動（移動）する態様であってもよい。例えば、プレイヤーの評価に応じて、点数の高いプレイヤーの領域が広くなるように区分表示が移動するような構成であってもよい。これにより、よりゲーム性の高いサービスを提供することができる。
また、実施例３においては、プレイヤーが別の評価対象領域に進入した場合に通知を出す構成を説明したが、例えば、領域制御部１４ａが、逆にプレイヤーに対して別の評価対象領域へ移動するように指示を出すような構成であってもよい。領域制御部１４ａが、指定された時間内にプレイヤーが別の評価対象領域に移動した場合にスコアを加算するような構成にすれば、よりゲーム性が高く、また動きのあるダンスに対応することができる。なお、領域を移動中のプレイヤーの動作を検出する場合、処理負荷が高くなったり、誤認識が生じたりすることがあるため、指定された時間内は動作を検出せず、指定された時間が終了した時点での各プレイヤーの位置を検出するような構成であってもよい。
［評価プログラム］
また、上記の各実施例で説明した評価装置１０の各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図２９を用いて、上記の実施例１〜４のうちいずれかの実施例で説明した評価装置と同様の機能を有する評価プログラムを実行するコンピュータの一例を説明する。図２９は、評価プログラムを実行するコンピュータを示す図である。
図２９に示すように、コンピュータ３００は、ＣＰＵ３１０と、ＲＯＭ（Read Only Memory）３２０と、ＨＤＤ（Hard Disk Drive）３３０と、ＲＡＭ（Random Access Memory）３４０と、入力装置３５０と、出力装置３６０とを有する。これら各機器３１０〜３６０は、バス３７０を介して接続されている。
ＲＯＭ３２０には、ＯＳ（Operating System）などの基本プログラムが記憶されている。また、ＨＤＤ３３０には、上記の実施例で示す領域制御部１４ａ、取得部１４ｂ、評価部１４ｃ、出力制御部１４ｄと同様の機能を発揮する評価プログラム３３０ａが予め記憶される。また、ＨＤＤ３３０には、動画像データ１３ａとタイミングデータ１３ｂと音楽テンポデータ１３ｃと評価データ１３ｄとが予め記憶される。
ＣＰＵ３１０は、評価プログラム３３０ａをＨＤＤ３３０から読み出して実行する。ＣＰＵ３１０は、ＨＤＤ３３０から動画像データ１３ａとタイミングデータ１３ｂと音楽テンポデータ１３ｃと評価データ１３ｄとを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された各種のデータを用いて、評価プログラム３３０ａを実行する。なお、ＲＡＭ３４０に格納されるデータは、常に全てのデータがＲＡＭ３４０に格納されなくともよい。処理に用いられるデータがＲＡＭ３４０に格納されれば良い。
なお、上記した評価プログラム３３０ａについては、必ずしも最初からＨＤＤ３３０に記憶させておく必要はない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に評価プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから評価プログラム３３０ａを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などに評価プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから評価プログラム３３０ａを読み出して実行するようにしてもよい。
１０ 評価装置
１３ 記憶部
１３ａ 動画像データ
１３ｂ タイミングデータ
１３ｃ 音楽テンポデータ
１３ｄ 評価データ
１４ 制御部
１４ａ 領域制御部
１４ｂ 取得部
１４ｃ 評価部
１４ｄ 出力制御部
３００ コンピュータ
３３０ａ 評価プログラム

Claims (12)

  1. コンピュータに、
    撮像装置により撮像された撮像画像のうち、設定された複数の領域内のそれぞれで人の動作を解析し、
    前記複数の領域間を区分する表示を前記撮像画像に重畳させて表示装置に表示させる制御を行う、
    処理を実行させることを特徴とする評価プログラム。
  2. 前記人の動作解析の結果に基づいて、前記複数の領域のそれぞれにおける前記人の動作を評価し、
    前記複数の領域のそれぞれについて、評価結果を示す情報、又は当該評価結果を示す映像効果、音響効果、触感効果、の少なくともいずれかを出力する
    処理をさらに実行させることを特徴とする請求項１に記載の評価プログラム。
  3. 前記出力する処理は、複数の評価時点における評価結果と、複数の部分で構成される図形の各部分とを対応させ、各評価時点において所定の評価結果が得られた場合に、当該評価時点に対応付けられた各部分を出力するものであることを特徴とする請求項２に記載の評価プログラム。
  4. 前記出力する処理は、前記評価結果を示す情報又は前記映像効果を、前記人の顔の位置に対応する位置、前記人の顔の位置の周り、又は前記人の顔の位置と縦座標若しくは横座標が対応する位置、の少なくともいずれかに表示させることを特徴とする請求項２又は３に記載の評価プログラム。
  5. 前記表示させる制御を行う処理は、前記複数の領域を、予め入力された人数に関する情報、又は前記撮像画像に含まれる人の部分若しくは人が所持する物体に対して行われる認識結果に基づいて設定されることを特徴とする請求項１乃至４のいずれか１つに記載の評価プログラム。
  6. 前記表示させる制御を行う処理は、２つ又は３つの領域を設定することを特徴とする請求項１乃至５のいずれか１つに記載の評価プログラム。
  7. コンピュータに、
    撮像装置により撮像された撮像画像のうち、設定された第１の固定領域内で第１の人の動作を解析し、
    設定された前記第１の固定領域と異なる第２の固定領域内で第２の人の動作を解析し、
    前記第１の固定領域と前記第２の固定領域とを区分する表示を前記撮像画像に重畳させて表示装置に表示させる制御を行う、
    処理を実行させることを特徴とする評価プログラム。
  8. コンピュータに、
    撮像装置により撮像された撮像画像から検出された第１の人と第２の人とが、所定の近接基準を超えて近接すること、又は、前記撮像画像のうち、前記第１の人と前記第２の人の少なくともいずれかが前記撮像画像に含まれる第１の領域と第２の領域を区分する区分ラインに到達することを検出すると、前記近接に応じた所定の通知を出力する、
    処理を実行させることを特徴とする評価プログラム。
  9. コンピュータに、
    撮像装置により撮像された動画像に含まれる複数の画像領域から、複数の人それぞれが拍をとる動作または拍をとるタイミングを抽出し、
    前記複数の画像領域それぞれから抽出された、前記複数の人が拍をとるタイミングの一致度に応じて、前記複数の人の動作の相関に関する評価情報を出力する、
    処理を実行させることを特徴とする評価プログラム。
  10. 前記出力する処理が、前記一致度に応じた数値の情報、又はシンクロ率と題した表記と前記数値とを対応付けた情報を出力することを特徴とする請求項９に記載の評価プログラム。
  11. コンピュータが、
    撮像装置により撮像された撮像画像のうち、設定された複数の領域内のそれぞれで人の動作を解析し、
    前記複数の領域間を区分する表示を前記撮像画像に重畳させて表示装置に表示させる制御を行う、
    処理を実行することを特徴とする評価方法。
  12. 撮像装置により撮像された撮像画像のうち、設定された複数の領域内のそれぞれで人の動作を解析する評価部と、
    前記複数の領域間を区分する表示を前記撮像画像に重畳させて表示装置に表示させる出力制御部と、
    を有することを特徴とする評価装置。
JP2015228982A 2015-11-24 2015-11-24 評価プログラム、評価方法及び評価装置 Pending JP2017093803A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015228982A JP2017093803A (ja) 2015-11-24 2015-11-24 評価プログラム、評価方法及び評価装置
US15/344,192 US20170148176A1 (en) 2015-11-24 2016-11-04 Non-transitory computer-readable storage medium, evaluation method, and evaluation device
CN201611013743.8A CN107008002A (zh) 2015-11-24 2016-11-17 非暂态计算机可读存储介质、评估方法和评估装置
KR1020160154017A KR101884089B1 (ko) 2015-11-24 2016-11-18 평가 프로그램, 평가 방법 및 평가 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015228982A JP2017093803A (ja) 2015-11-24 2015-11-24 評価プログラム、評価方法及び評価装置

Publications (1)

Publication Number Publication Date
JP2017093803A true JP2017093803A (ja) 2017-06-01

Family

ID=58720950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015228982A Pending JP2017093803A (ja) 2015-11-24 2015-11-24 評価プログラム、評価方法及び評価装置

Country Status (4)

Country Link
US (1) US20170148176A1 (ja)
JP (1) JP2017093803A (ja)
KR (1) KR101884089B1 (ja)
CN (1) CN107008002A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095634A (ja) * 2018-12-14 2020-06-18 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747292B2 (ja) * 2014-09-19 2020-08-26 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
CN111104964B (zh) * 2019-11-22 2023-10-17 北京永航科技有限公司 音乐与动作的匹配方法、设备及计算机存储介质
CN111382141B (zh) * 2020-02-29 2023-05-26 平安科技（深圳）有限公司 主从架构配置方法、装置、设备以及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750825A (ja) 1993-05-24 1995-02-21 Hideo Mori 人間動物監視システム
JP2000237455A (ja) 1999-02-16 2000-09-05 Konami Co Ltd 音楽演出ゲーム装置、音楽演出ゲーム方法および可読記録媒体
KR20010081193A (ko) * 2000-02-10 2001-08-29 이수원 모션 캡쳐 기능을 활용한 3차원 가상 현실 기법의 댄스게임 장치
US20080234023A1 (en) * 2007-03-23 2008-09-25 Ajmal Mullahkhel Light game
KR100900794B1 (ko) * 2007-04-12 2009-06-02 누리엔소프트웨어 주식회사 댄스 게임방법 및 이 방법이 수록되어 컴퓨터로 읽을 수있는 기록매체
JP5568230B2 (ja) * 2008-10-08 2014-08-06 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及びゲームシステム
US20110293144A1 (en) * 2009-02-02 2011-12-01 Agency For Science, Technology And Research Method and System for Rendering an Entertainment Animation
JP5504818B2 (ja) * 2009-10-23 2014-05-28 ソニー株式会社 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8654250B2 (en) * 2010-03-30 2014-02-18 Sony Corporation Deriving visual rhythm from video signals
JP5406883B2 (ja) * 2011-05-20 2014-02-05 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
US9573052B2 (en) * 2012-01-31 2017-02-21 Konami Digital Entertainment Co., Ltd. Game device, control method for a game device, and non-transitory information storage medium
JP5746644B2 (ja) 2012-01-31 2015-07-08 株式会社コナミデジタルエンタテインメント ゲーム装置及びプログラム
JP2015128507A (ja) * 2014-01-07 2015-07-16 富士通株式会社 評価プログラム、評価方法および評価装置
CN104754421A (zh) * 2014-02-26 2015-07-01 苏州乐聚一堂电子科技有限公司 互动节拍特效系统及互动节拍特效处理方法
WO2015142019A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095634A (ja) * 2018-12-14 2020-06-18 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7027300B2 (ja) 2018-12-14 2022-03-01 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
KR20170060581A (ko) 2017-06-01
US20170148176A1 (en) 2017-05-25
CN107008002A (zh) 2017-08-04
KR101884089B1 (ko) 2018-07-31

Similar Documents

Publication Publication Date Title
JP6539941B2 (ja) 評価プログラム、評価方法及び評価装置
KR101884089B1 (ko) 평가 프로그램, 평가 방법 및 평가 장치
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
JP2015128507A (ja) 評価プログラム、評価方法および評価装置
JP2020089539A (ja) 表示方法、表示プログラムおよび情報処理装置
WO2019124069A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20120132499A (ko) 게임 시스템 및 기억 매체
JP2023027113A (ja) プログラム、電子機器および制御方法
JP7314605B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US11992765B2 (en) Computer system and game system
JP2014023745A (ja) ダンス教習装置
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
CN105848737B (zh) 解析装置、记录媒体和解析方法
JP6459979B2 (ja) 解析装置、記録媒体および解析方法
JP5318016B2 (ja) ゲームシステム、ゲームシステムの制御方法、及びプログラム
JP2012203071A (ja) カラオケ装置
JP7420218B2 (ja) 演奏方法
JP2023076341A (ja) 画像解析システム、画像解析方法およびプログラム
JP2021153789A (ja) 情報処理装置、出力音決定方法及び出力音決定プログラム
US9684969B2 (en) Computer-readable recording medium, detecting method, and detecting apparatus detecting an amount of image difference
JP2024046351A (ja) プログラム、情報処理装置、情報処理方法、および、演奏データ処理システム
JP2023149618A (ja) 生成方法、生成システム、並びに制御プログラム、及びゲームシステム
JP2019000458A (ja) コンピュータシステムおよびプログラム
JP2005319193A (ja) 画像処理システム、プログラム、情報記憶媒体および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203