JP2017058526A - カラオケ装置及びカラオケ用プログラム - Google Patents
カラオケ装置及びカラオケ用プログラム Download PDFInfo
- Publication number
- JP2017058526A JP2017058526A JP2015183489A JP2015183489A JP2017058526A JP 2017058526 A JP2017058526 A JP 2017058526A JP 2015183489 A JP2015183489 A JP 2015183489A JP 2015183489 A JP2015183489 A JP 2015183489A JP 2017058526 A JP2017058526 A JP 2017058526A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- user
- lyrics
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【解決手段】ヘッドマウントディスプレイによる視野映像60内に、歌詞表示オブジェクト61が非透過で、コントローラオブジェクト62と共に表示される。ユーザーは、把持するコントローラに対応するコントローラオブジェクト62を視野映像60中に視認するとともに、コントローラオブジェクト62の上方に位置する歌詞表示オブジェクト61に表示される非透過の歌詞を確認しながら歌唱を行う。
【選択図】図11
Description
楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて評価を行う評価処理と、
評価処理の評価結果をユーザーに通知する通知処理と、を実行することを特徴とする。
表示部はユーザーの頭部に装着するヘッドセットに配置され、
表示処理は、ヘッドセットの移動に応じて映像を移動させ、
視線判定処理は、表示部に表示される映像の所定位置をユーザーの視線通過位置として視線を判定することを特徴とする。
視線判定処理は、ユーザーの眼球の動きを検出することでユーザーの視線を判定することを特徴とする。
評価処理は、視線判定処理により判定された視線が、歌詞表示領域に含まれる時間に基づいて歌唱没入度を算出することを特徴とする。
評価処理は、視線判定処理により判定された視線が、背景映像に位置している時間に基づいて背景没入度を算出することを特徴とする。
評価処理は、視線判定処理により判定された視線が、背景映像に位置している場合、視線が位置している背景映像の位置に応じて重み付けをして背景没入度を算出することを特徴とする。
通知処理は、表示処理で使用した背景映像に応じた評価結果を通知することを特徴とする。
楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて評価を行う評価処理と、
評価処理の評価結果をユーザーに通知する通知処理と、を情報処理装置に実行させることを特徴とする。
前述した本実施形態では、視野映像60の上下及び左右方向の略中央(視線カーソル63の位置)を簡易的に視線通過位置とみなすことで視線を検出しているが、実際のユーザーの視線は、ユーザーが眼球を運動させることで、視野映像60内でも移動する。ユーザーの視線を正確に検出するため、センサーを使用してユーザーの実際の視線を検出してもよい。例えば、HMD筐体37の内部に赤外線センサーを搭載し、ユーザーの眼球の動きを検出することで、視野映像60内の視線を正確に検出することが考えられる。ユーザーの眼球の動きを検出する場合、HMD3を使用して行う形態に限らず、モニタを視認しながら行う従来のカラオケ装置に適用することも可能である。例えば、図1のモニタ22を直接視認しながら歌唱を行う形態のカラオケでは、例えば、カメラ21でユーザーの眼球の動きを検出し、モニタ22の何処(歌詞表示領域もしくはそれ以外の領域)を見ているかを判定し、評価を行うこととしてもよい。
前述した実施形態では、ユーザーの視線が歌詞表示領域(歌詞表示オブジェクト61)を向いていることを条件として累積ポイントP(歌唱没入度)をカウントしているが、視線が視野映像60中の歌詞表示領域以外に位置していることを条件として、累積ポイントP(背景没入度)をカウントすることとしてもよい。この場合、累積ポイントP(背景没入度)が大きくなる程、ユーザーは背景映像情報による仮想空間の体験に没入していたことになる。その際、視線が歌詞表示領域以外を向いている場合、背景映像の何所を見ているかによって重み付けして累積ポイントP(背景没入度)をカウントしてもよい。例えば、背景映像中、制作者側が注目させたい背景映像の所定領域を設けておき、当該所定領域に視線が位置している場合には累積ポイントP(背景没入度)が高くなるように重み付けすること等が考えられる。
前述した実施形態では、視線が歌詞表示オブジェクト61に位置している場合、歌詞表示領域を向いていると判定しているが、歌詞表示オブジェクト61よりも狭い領域であって、実際に歌詞文字が表示されている領域を歌詞表示領域として使用することとしてもよい。さらに、歌唱すべき歌詞文字(色替えが行われている部分)を中心とする所定領域を、歌詞表示領域として使用することとしてもよい。
前述した実施形態では、ユーザーの操作により、歌詞表示オブジェクト61の透過、非透過を切り替えることとしているが、歌詞表示オブジェクト61の透過、非透過は自動で切り替えるようにしてもよい。例えば、前奏、間奏、後奏といった歌唱しない区間では、歌詞表示オブジェクト61を透過状態に自動で切り替えることで、ユーザーは、当該区間中、歌詞表示オブジェクト61に阻害されない視野映像を楽しむことが可能となる。このような区間は、図6で説明した楽曲情報中の区間識別情報で判定することが可能である。あるいは、マイクロホン33に入力される歌唱音声の有無で、ユーザーが歌唱していない期間を判定し、歌詞表示オブジェクト61を透過状態に切り替えてもよい。
前述した実施形態では、背景映像情報はカメラで撮影した実際の映像を使用した形態であるが、背景映像情報をコンピュータグラフィックによる3次元オブジェクトとして形成することとしてもよい。このような形態では、形成された仮想空間内を自由に移動することも可能である。前述の実施形態は固定の視点であるのに対し、第5変形例では自由な視点で仮想空間を体験することが可能となる。視点の移動は、例えば、コントローラ4の左アナログスティック43Lを仮想空間内の移動用に割り当て、左アナログスティック43Lを倒した方向に仮想空間を移動すること、あるいは、再生進行に伴って所定の経路で移動させること等が考えられる。なお、第5変形例について、第2変形例で説明した、背景映像の何所を見ているかによって重み付けして累積ポイントP(背景没入度)をカウントする形態を適用する場合、重み付けを可変する対象は所定領域ではなく、所定の3次元オブジェクトとなる。例えば、視線が所定の3次元オブジェクト(例えば、注目させたい歌手の顔)に位置している場合、累積ポイントP(背景没入度)が高くなるように重み付けすることとなる。
前述の実施形態では、HMD3に対するコントローラ4の相対的な方向、HMD3とコントローラ4間の距離、HMD3に対するコントローラ4の傾きを使用して、歌詞表示オブジェクト61、コントローラオブジェクト62を表示させているが、歌詞表示オブジェクト61、コントローラオブジェクト62の表示には、HMD3に対するコントローラ4の相対的な方向のみを使用することでもよい。視野映像60中、HMD3に対するコントローラ4の相対的な方向に対応した位置に歌詞表示オブジェクト61、コントローラオブジェクト62を表示することが可能である。さらに、距離を加えることで大きさを変更することが可能であり、さらに傾きを加えることで見え方を変更することが可能となり、仮想現実性の向上を図ることが可能となる。
前述の実施形態では、HMD3、及び、コントローラ4の位置検出について、カメラ21で撮影した映像を使用した形態としているが、HMD3、及び、コントローラ4の位置検出はこのような形態に限られるものではなく、ジャイロ等、各種センターを利用して検出する形態を採用してもよい。また、前述の実施形態では、操作装置として、ゲーム装置1用のコントローラ4を使用しているが、操作装置はコントローラ4に限られるものではなく、ゲーム装置1(情報処理装置)に対して各種指令を出すことのできるデバイスを採用することが可能である。例えば、ユーザーが手に装着して使用するグローブ状のデバイス等を操作装置として使用してもよい。
3:HMD 37:HMD筐体
4:コントローラ(操作装置) 41:ルータ
5:サーバ装置 41L:左グリップ
10:CPU 41R:右グリップ
11:メモリ 42:接続部
12:ビデオRAM 43L:左アナログスティック
13:映像再生部 43R:アナログスティック
14:映像制御部 44:十字キー
15:音響制御部 45:ボタン群
16:第1無線通信部 46L1:左第1ボタン
17:第2無線通信部 46L2:左第2ボタン
18:LAN通信部 46R1:右第1ボタン
19:ハードディスク 46R2:右第2ボタン
20:媒体再生部 47:LED
21:カメラ 51:サーバ装置
22:モニタ 60:視野映像
31L:左目用ディスプレイ 61:歌詞表示オブジェクト
31R:右目用ディスプレイ 62:コントローラオブジェクト
32(32R、32L):ヘッドホン 63:視線カーソル
33:マイクロホン 64:没入度ランク表示欄
34:ヘッドバンド 65:没入度表示グラフ
Claims (8)
- 楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて評価を行う評価処理と、
評価処理の評価結果をユーザーに通知する通知処理と、を実行することを特徴とする
カラオケ装置。 - 表示部はユーザーの頭部に装着するヘッドセットに配置され、
表示処理は、ヘッドセットの移動に応じて映像を移動させ、
視線判定処理は、表示部に表示される映像の所定位置をユーザーの視線通過位置として視線を判定することを特徴とする
請求項1に記載のカラオケ装置。 - 視線判定処理は、ユーザーの眼球の動きを検出することでユーザーの視線を判定することを特徴とする
請求項1に記載のカラオケ装置。 - 評価処理は、視線判定処理により判定された視線が、歌詞表示領域に位置している時間に基づいて歌唱没入度を算出することを特徴とする
請求項1から請求項3の何れか1項に記載のカラオケ装置。 - 評価処理は、視線判定処理により判定された視線が、背景映像に位置している時間に基づいて背景没入度を算出することを特徴とする
請求項1から請求項4の何れか1項に記載のカラオケ装置。 - 評価処理は、視線判定処理により判定された視線が、背景映像に位置している場合、視線が位置している背景映像の位置に応じて重み付けをして背景没入度を算出することを特徴とする
請求項5に記載のカラオケ装置。 - 通知処理は、表示処理で使用した背景映像に応じた評価結果を通知することを特徴とする
請求項1から請求項6の何れか1項に記載のカラオケ装置。 - 楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて評価を行う評価処理と、
評価処理の評価結果をユーザーに通知する通知処理と、を情報処理装置に実行させることを特徴とする
カラオケ用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015183489A JP6438869B2 (ja) | 2015-09-16 | 2015-09-16 | カラオケ装置及びカラオケ用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015183489A JP6438869B2 (ja) | 2015-09-16 | 2015-09-16 | カラオケ装置及びカラオケ用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017058526A true JP2017058526A (ja) | 2017-03-23 |
JP6438869B2 JP6438869B2 (ja) | 2018-12-19 |
Family
ID=58391442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015183489A Active JP6438869B2 (ja) | 2015-09-16 | 2015-09-16 | カラオケ装置及びカラオケ用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6438869B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017058527A (ja) * | 2015-09-16 | 2017-03-23 | 株式会社エクシング | カラオケ装置及びカラオケ用プログラム |
JP2019191216A (ja) * | 2018-04-18 | 2019-10-31 | 株式会社エジェ | 動画再生装置及び動画再生システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
WO2023049705A1 (en) * | 2021-09-23 | 2023-03-30 | Apple Inc. | Devices, methods, and graphical user interfaces for content applications |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11212582A (ja) * | 1998-01-27 | 1999-08-06 | Daiichikosho Co Ltd | 振り付け採点機能を有するカラオケ装置 |
JP2000029483A (ja) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | カラオケ装置 |
JP2008170685A (ja) * | 2007-01-11 | 2008-07-24 | Yamaha Corp | 音声評価装置及びカラオケ装置 |
JP2016057337A (ja) * | 2014-09-05 | 2016-04-21 | オムロン株式会社 | 採点装置及び採点方法 |
-
2015
- 2015-09-16 JP JP2015183489A patent/JP6438869B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11212582A (ja) * | 1998-01-27 | 1999-08-06 | Daiichikosho Co Ltd | 振り付け採点機能を有するカラオケ装置 |
JP2000029483A (ja) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | カラオケ装置 |
JP2008170685A (ja) * | 2007-01-11 | 2008-07-24 | Yamaha Corp | 音声評価装置及びカラオケ装置 |
JP2016057337A (ja) * | 2014-09-05 | 2016-04-21 | オムロン株式会社 | 採点装置及び採点方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017058527A (ja) * | 2015-09-16 | 2017-03-23 | 株式会社エクシング | カラオケ装置及びカラオケ用プログラム |
JP2019191216A (ja) * | 2018-04-18 | 2019-10-31 | 株式会社エジェ | 動画再生装置及び動画再生システム |
Also Published As
Publication number | Publication date |
---|---|
JP6438869B2 (ja) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6484340B2 (ja) | ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム | |
JP6684559B2 (ja) | プログラムおよび画像生成装置 | |
KR102354274B1 (ko) | Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기 | |
CN106924966B (zh) | 游戏装置以及处理方法 | |
US10183220B2 (en) | Image generation device and image generation method | |
JP6788327B2 (ja) | 表示制御プログラム、表示制御装置、及び表示制御方法 | |
JP6481057B1 (ja) | 仮想空間におけるキャラクタの制御方法 | |
JP6147486B2 (ja) | ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム | |
JP5718603B2 (ja) | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム | |
JP5279737B2 (ja) | 表示制御装置、視線誘導方法、および、プログラム | |
JP6438869B2 (ja) | カラオケ装置及びカラオケ用プログラム | |
JP6719633B1 (ja) | プログラム、方法、および視聴端末 | |
JP7344189B2 (ja) | 視聴プログラム、視聴方法、および情報端末装置 | |
JP7369674B2 (ja) | プログラム、方法、および視聴端末 | |
US20140119580A1 (en) | Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus | |
JP6737941B1 (ja) | プログラム、方法、および視聴端末 | |
JP6489984B2 (ja) | カラオケ装置及びカラオケ用プログラム | |
JP6498090B2 (ja) | カラオケ装置及びカラオケ用プログラム | |
JP6465780B2 (ja) | カラオケ装置及びカラオケ用プログラム | |
JP7361736B2 (ja) | ゲームプログラム、ゲーム方法、および端末装置 | |
JP7053074B1 (ja) | 鑑賞システム、鑑賞装置及びプログラム | |
JP7440401B2 (ja) | ゲームプログラム、ゲーム方法、および情報端末装置 | |
JP7282731B2 (ja) | プログラム、方法、および端末 | |
JP6603734B2 (ja) | ゲームプログラムおよびゲーム装置 | |
JP2019133677A (ja) | 仮想空間におけるキャラクタの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6438869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |