JP2010145878A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】複数の者より同時に音が発せられた場合であっても、音程差やテンポずれの発生要因がどの者に起因するものであるかを特定し、通知することが可能なヘッドマウントディスプレイを提供する。
【解決手段】電源が投入され、マイクより音声が取得された場合（Ｓ１３：ＹＥＳ）、入力された音声の記憶が開始される（Ｓ１５）とともに、記憶している楽曲音との比較処理が実行される（Ｓ１７）。取得された音声と記憶された楽曲音とで、音レベル、テンポ、及び音程のいずれかが相違すると判断された場合（Ｓ２１：ＹＥＳ）、相違内容を相違量とともにヘッドマウントディスプレイに表示させ（Ｓ２３）、装着する者に視認させる。マイクとして、音声の到来方向を特定できるマイクを使用することにより、相違すると判断された音声が発せられた方向を判断し、該当者を特定して表示させることが可能となる。
【選択図】図８

Description

本発明はヘッドマウントディスプレイに関する。より詳細には、所定の楽曲とは異なる音程やテンポで音が発せられた場合において、この音を発した者を特定するための表示を行うことが可能なヘッドマウントディスプレイに関する。

従前より、歌唱者より発声される歌唱音声や演奏者が演奏する演奏音を楽曲音と比較して音程やテンポのずれを抽出し、歌唱者及び演奏者に対して通知することにより、歌唱や演奏の練習を支援するシステムが提案されている。例えば、歌唱者の歌唱音練習支援システムとしては、演奏音と歌い手の音声とを比較し、両者の音程にずれがある場合に音程差を表示することが可能なカラオケ装置を使用することが可能である（例えば特許文献１参照）。
特開平４−１３１７６号公報

しかしながら上述の装置では、複数の者より同時に音が発せられた場合、音程差やテンポずれの発生要因がどの者に起因するかを特定できないという問題点があった。

本発明は、上述の問題点を解決するためになされたものであり、複数の者より同時に音が発せられた場合であっても、音程差やテンポずれの発生要因がどの者に起因するものであるかを特定し、通知することが可能なヘッドマウントディスプレイを提供することを目的とする。

上述の問題点を解決するために、請求項１に係る発明のヘッドマウントディスプレイは、音を取得する音取得手段と、前記音取得手段にて取得された前記音の到来方向を特定する方向特定手段と、前記音取得手段にて取得された前記音と、前記方向特定手段にて特定された前記到来方向とを対応付けて第一記憶手段に記憶する第一記憶制御手段と、前記第一記憶手段に記憶された前記音の情報である取得音情報と、所定の楽曲の音の情報であり、第二記憶手段に記憶された情報である楽曲音情報とが一致するか否かを判断する音一致判断手段と、前記音一致判断手段にて双方が相違すると判断された場合に、相違するとされた前記取得音情報に対応する前記到来方向を表示手段に表示させる表示制御手段とを備えている。

また、請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加えて、前記音一致判断手段は、前記第一記憶手段に記憶された前記取得音情報から、振幅成分である取得音振幅を抽出する取得音振幅抽出手段と、前記取得音振幅抽出手段にて抽出された前記取得音振幅と、前記第二記憶手段に記憶されている前記楽曲音情報の振幅成分である楽曲音振幅とが一致するか否かを判断することにより、前記取得音情報と前記楽曲音情報とが一致するか否かを判断する振幅一致判断手段とを備えている。

また、請求項３に係る発明のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加えて、前記振幅一致判断手段は、前記取得音振幅と前記楽曲音振幅とでタイミングが一致するか否かを判断することを特徴とする。

また、請求項４に係る発明のヘッドマウントディスプレイは、請求項２又は３に記載の発明の構成に加えて、前記振幅一致判断手段において相違すると判断された場合に、相違の程度である第一相違量を算出する第一相違算出手段を備え、前記表示制御手段は、前記第一相違算出手段にて前記第一相違量が算出された場合には、算出された前記第一相違量を前記表示手段に表示させることを特徴とする。

また、請求項５に係る発明のヘッドマウントディスプレイは、請求項１乃至４のいずれかに記載の発明の構成に加えて、前記音一致判断手段は、前記第一記憶手段に記憶された前記取得音情報から、周波数成分である取得音周波数を抽出する取得音周波数抽出手段と、前記取得音周波数抽出手段にて抽出された前記取得音周波数と、前記第二記憶手段に記憶されている前記楽曲音情報の周波数成分である楽曲音周波数とが一致するか否かを判断することにより、前記取得音情報と前記楽曲音情報とが一致するか否かを判断する周波数一致判断手段とを備えている。

また、請求項６に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加えて、前記周波数一致判断手段において相違すると判断された場合に、相違の程度である第二相違量を算出する第二相違算出手段を備え、前記表示制御手段は、前記第二相違算出手段にて前記第二相違量が算出された場合には、算出された前記第二相違量を前記表示手段に表示させることを特徴とする。

また、請求項７に係る発明のヘッドマウントディスプレイは、請求項４に記載の発明の構成に加えて、前記第一相違算出手段にて前記第一相違量が算出された場合に、前記第一相違量を、相違するとされた前記取得音振幅の基となる前記取得音情報に対応付けられた前記到来方向とともに第三記憶手段に記憶する第三記憶制御手段を備え、前記表示制御手段は、前記第三記憶手段に前記第一相違量が記憶されている場合には、前記第一相違量を前記表示手段に表示させることを特徴とする。

また、請求項８に係る発明のヘッドマウントディスプレイは、請求項６に記載の発明の構成に加えて、前記第二相違算出手段にて前記第二相違量が算出された場合に、前記第二相違量を、相違するとされた前記取得音周波数の基となる前記取得音情報に対応付けられた前記到来方向とともに第四記憶手段に記憶する第四記憶制御手段を備え、前記表示制御手段は、前記第四記憶手段に前記第二相違量が記憶されている場合には、前記第二相違量を前記表示手段に表示させることを特徴とする。

また、請求項９に係る発明のヘッドマウントディスプレイは、請求項１乃至８のいずれかに記載の発明の構成に加えて、前記音一致判断手段にて、前記取得音情報と前記楽曲音情報とが相違すると判断された場合において、相違箇所に相当する前記所定の楽曲の演奏箇所を特定するための情報である相違箇所情報を、相違するとされた前記取得音情報に対応付けられている前記到来方向とともに第五記憶手段に記憶する第五記憶制御手段を備え、前記表示制御手段は、前記第五記憶手段に前記相違箇所情報が記憶されている場合には、前記相違箇所情報にて特定される前記所定の楽曲の演奏箇所を通知する為の情報と、前記相違箇所情報に対応付けられている前記到来方向とを前記表示手段に表示させることを特徴とする。

また、請求項１０に係る発明のヘッドマウントディスプレイは、請求項１乃至９のいずれかに記載の発明の構成に加えて、前記音一致判断手段にて前記取得音情報と前記楽曲音情報とが相違すると判断された回数である相違回数を、相違するとされた前記取得音情報に対応する前記到来方向毎に累計する第一累計手段を備え、前記表示制御手段は、前記第一累計手段にて前記相違回数が累計された場合には、前記相違回数を前記到来方向毎に前記表示手段に表示させることを特徴とする。

請求項１に係る発明のヘッドマウントディスプレイでは、取得した音と楽曲音とが相違する場合に、相違するとされた音の到来方向を特定して表示手段に表示させることが可能となる。これによりヘッドマウントディスプレイを装着した指揮者等は、演奏者や歌唱者のうち、発せられる音の音程やテンポがずれている者を特定することが可能となるので、該当者に修正指示を促すことにより、演奏や歌唱を理想的な状態に近づけることが可能となる。

また、請求項２に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加えて、音の振幅成分を抽出し、楽曲音と比較することが可能となる。これによりヘッドマウントディスプレイを装着した指揮者等は、演奏者や歌唱者より発せられる音と楽曲の音との音レベルの相違を特定することが可能となる。従って、音のレベルを注意すべき旨の指摘が可能となり、より具体的な修正指示を行うことが可能となる。

また、請求項３に係る発明のヘッドマウントディスプレイでは、請求項２に記載の発明の効果に加えて、取得振幅と楽曲振幅とのタイミングのずれが比較されるので、演奏者や歌唱者より発せられる音のテンポずれを特定することが可能となる。従って、テンポを注意するべき旨の指摘が可能となり、より具体的な修正指示を行うことが可能となる。

また、請求項４に係る発明のヘッドマウントディスプレイでは、請求項２又は３に記載の発明の効果に加えて、演奏者や歌唱者より発せられる音と楽曲音とが相違する場合に、双方の相違量を定量的に把握することが可能となる。従ってより定量的な修正指示を行うことが可能となる。

また、請求項５に係る発明のヘッドマウントディスプレイでは、請求項１乃至４のいずれかに記載の発明の効果に加えて、音の周波数成分を抽出し、楽曲音と比較することが可能となる。これによりヘッドマウントディスプレイを装着した指揮者等は、演奏者や歌唱者より発せられる音と楽曲の音との音程の相違を特定することが可能となる。従って、音程を注意するべき旨の指摘が可能となり、より具体的な修正指示を行うことが可能となる。

また、請求項６に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加えて、演奏者や歌唱者より発せられる音と楽曲音とが相違する場合に、双方の相違量を定量的に把握することが可能となる。従ってより定量的な修正指示を行うことが可能となる。

また、請求項７に係る発明のヘッドマウントディスプレイでは、請求項４に記載の発明の効果に加えて、相違量を前もって通知する為の表示を行うことが可能となる。これによりヘッドマウントディスプレイを装着する指揮者等は、演奏者や歌唱者に対して、前もって定量的に正確な演奏や発声を促すことが可能となる。

また、請求項８に係る発明のヘッドマウントディスプレイでは、請求項６に記載の発明の効果に加えて、相違量を前もって通知する為の表示を行うことが可能となる。これによりヘッドマウントディスプレイを装着する指揮者等は、演奏者や歌唱者に対して、前もって定量的に正確な演奏や発声を促すことが可能となる。

また、請求項９に係る発明のヘッドマウントディスプレイでは、請求項１乃至８のいずれかに記載の発明の効果に加えて、取得した音と楽曲音との相違が発生した場合、相違箇所に相当する所定の楽曲の演奏箇所を到来方向とともに記憶する。そして再度同一の楽曲が発せられた場合に、該当する演奏箇所を到来方向とともに前もって通知するための表示を行うことが可能となる。これによりヘッドマウントディスプレイを装着する指揮者等は、演奏者や歌唱者に対して、前もって正確な演奏や発声を促すことが可能となる。

また、請求項１０に係る発明のヘッドマウントディスプレイでは、請求項１乃至９のいずれかに記載の発明の効果に加えて、取得音情報と楽曲音情報とが相違すると判断された場合の累計回数を到来方向別に表示手段に表示させる。これによりヘッドマウントディスプレイを装着する指揮者等は、どの方向より到来した音に誤りが発生し易いかを認識することが可能となる。

以下、本発明のヘッドマウントディスプレイの実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

はじめに、図１を参照し、ヘッドマウントディスプレイ２が使用されるシステムの一例である合唱練習システム１の概要について説明する。図１は、ヘッドマウントディスプレイ２が使用される合唱練習システム１の概要を示す模式図である。

図１に示すように、本発明のヘッドマウントディスプレイ２は、例えば合唱隊６の指揮を行う指揮者３に装着される。ヘッドマウントディスプレイ２では、合唱隊６の発声する音声のレベルずれやテンポずれ、音程ずれの発生の検出、及び、これらの音声を発声した者の居る方向の特定が行われる。検出結果や特定された方向の情報はヘッドマウントディスプレイ２にて表示され、指揮者３により視認される。これにより指揮者３は、レベルやテンポ、音程のずれた音声を発声した者を特定することが可能となるので、該当者を特定して矯正を促すことが可能となる。

合唱練習システム１では、音声を入力する為のマイク１２が設けられる（マイク１２１〜マイク１２５）。マイク１２により検出された音声の情報は、無線によりヘッドマウントディスプレイ２に送信される。マイク１２１〜１２５には、無線信号間の混信を防止するために、マイク毎に異なる周波数チャネルがあらかじめ設定される。これにより、無線信号の受信側（ヘッドマウントディスプレイ２、後述）にてそれぞれの無線信号を区別して受信することが可能となっている。またマイク１２として、指向性を有する従来周知のマイクが使用される。マイク１２は、受信強度の強い方向（指向方向）を合唱隊６に向け、且つ、マイク１２１〜１２５が其々異なる指向方向となるように配置される。図１に示す例では、マイク１２１は、合唱隊６を指揮者３側から見た場合の最左方向に指向方向を向けた状態で配置されている。マイク１２２は左中方向（最左方向と中央方向との間）、マイク１２３は中央方向、マイク１２４は右中方向（最右方向と中央方向との間）、マイク１２５は最右方向に其々指向方向を向けた状態で配置されている。これによりマイク１２では、合唱隊６の個々の構成員より発声される音声を、その到来方向を特定して取得することが可能となる。

ヘッドマウントディスプレイ２では、マイク１２より無線送信される音声の情報（以下「音声情報」という。）が受信される。そして、予めヘッドマウントディスプレイ２のフラッシュメモリ４９（図３参照、後述）に記憶されている音声の情報であって、合唱隊６により合唱されている楽曲と同一の楽曲の音声の情報（以下「楽曲音情報」という。）と、受信された音声情報とが比較される。双方が比較された結果相違すると判断された場合、合唱隊６のうち特定の者の音のレベルやテンポ、音程がずれていると判断される。音のレベルやテンポ、音程がずれている旨の通知は、該当する音声の到来方向の情報とともに、ヘッドマウントディスプレイ２に表示される。これにより指揮者３は、音程やテンポのずれた音声を発声した者を特定することが可能となる。

なお本実施の形態では、指向性を有するマイク１２が複数使用されているが、本発明はこの構成に限定されない。従って例えば、音の到来方向を特定可能な唯一のマイクアレイを使用してもかまわない。また、マイク１２とヘッドマウントディスプレイ２とは、無線電波を用いて音声情報の通信が行われているが、本発明はこれに限定されない。従って、マイク１２とヘッドマウントディスプレイ２とを通信ケーブルを介して接続させ、通信ケーブルを介して音声情報の通信が行われる構成であってもよい。

図２を参照し、ヘッドマウントディスプレイ２の概略構成について説明する。図２は、指揮者３に装着された状態のヘッドマウントディスプレイ２の外観構成を示した図である。

図２に示すように、ヘッドマウントディスプレイ２は、画像信号に応じて変調、走査されたレーザ光（以下「画像光４」という。）を出射させ、指揮者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、指揮者３に画像を視認させる。図２に示すように、ヘッドマウントディスプレイ２は、画像信号に応じて画像光４を出射する出射装置１００と、その出射装置１００から出射された画像光４を導くと共に、その画像光４を指揮者３の眼に向かって反射させるプリズム１５０と、出射装置１００及びプリズム１５０を支持する支持部材２００とを少なくとも備えている。

出射装置１００は、画像光４をプリズム１５０に対し出射させる。プリズム１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された画像光４を導き、その画像光４を指揮者３の眼に向かって反射させる。プリズム１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、指揮者３の眼に導く。プリズム１５０は、指揮者３の側方から入射された画像光４を指揮者３の眼に入射させると共に、外界からの外光５を指揮者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された画像光４に基づく画像が視認可能となる。

またヘッドマウントディスプレイ２は、カメラ７を備えている。カメラ７は、指揮者３の視野方向を撮像することが可能な素子である。撮像された結果の像情報は、状況に応じ、指揮者３に視認させるための映像の基とされる。例えば、カメラ７にて撮影された結果の像情報に基づき合唱隊６の構成員の配置状態が把握される。そして、把握された構成員の配置状態と、音の到来方向とが比較され、音レベルずれやテンポずれ、音程ずれを発生させた者が特定される。このように、合唱隊６の構成員のうち特定者を特定するための情報をヘッドマウントディスプレイ２に表示させ、指揮者３に視認させることが可能となる。

なお本実施形態においては、プリズム１５０によって外光５と画像光４とを同時に視認することができるような構成とした。しかしながら本発明はこの構成に限定されず、例えば、プリズム１５０に代えてハーフミラーを用いることもできる。これにより、出射装置１００からの画像光４はハーフミラーに反射させて指揮者３の眼に入射させると共に、外光５はハーフミラーを透過させて指揮者３の眼に入射させることが可能となる。

また本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。

本実施形態のカメラ７としては、従来周知の素子が使用可能である。例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用可能である。

図３を参照し、ヘッドマウントディスプレイ２の電気的構成について説明する。図３は、ヘッドマウントディスプレイ２の電気的構成を示す模式図である。

図３に示すように、ヘッドマウントディスプレイ２は、指揮者３に画像を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、マイク１２より音声情報を受信するための近距離無線通信部４３、音声や映像に関する情報が記憶されるフラッシュメモリ４９、ヘッドマウントディスプレイ２全体を制御する制御部４６、カメラ７、加速度センサ１４、及び電源部４７を備えている。

表示部４０は、制御部４６にて形成された、映像を指揮者３に視認させる場合に必要な制御信号（映像信号）を受信し、指揮者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０を備えている。また、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。

また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラーであるガルバノミラー８１２及びガルバノミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラーであるガルバノミラー７９２及びガルバノミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。垂直走査制御回路８１１はガルバノミラー８１２と電気的に接続されている。水平走査制御回路７９１はガルバノミラー７９２と電気的に接続されている。

入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。

近距離無線通信部４３は、無線電波の受信を行う近距離無線通信モジュール５７と、この近距離無線通信モジュール５７を制御し、マイク１２より送信される音声情報を受信する近距離無線通信制御回路５８とを備えている。近距離無線通信モジュール５７は、設置されるマイク１２（１２１〜１２５）の数分設けられる。其々の近距離無線通信モジュール５７は其々のマイク１２（１２１〜１２５）に対応付けられ、対応付けられたマイク１２より送信される音声信号を受信することが可能なように、受信周波数が設定される。このような構成とすることにより、近距離無線通信モジュール５７にて受信された音声情報をマイク１２のいずれかに対応付けることが可能となっている。なお、受信された音声信号は、所定のフォーマットに変換された後、送信元のマイク１２を識別するための情報（マイク識別情報）が対応付けられフラッシュメモリ４９に記憶される（詳細は後述する）。そして、制御部４６にて音声信号を取得することが可能なように、制御部４６と近距離無線通信制御回路５８とはバスを介して電気的に接続されている。また、近距離無線通信モジュール５７と近距離無線通信制御回路５８とは電気的に接続されている。

なお、近距離無線通信モジュール５７の通信方式としては特に限定されず、従来周知の無線通信方式が使用可能である。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）規格、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂなど）規格、ＷｉｒｅｌｅｓｓＵＳＢ規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したＩｒＤＡ（Infrared Data Association）規格に準拠した無線通信方式も使用可能である。

カメラ７は、指揮者３の視野方向を撮像することが可能な撮像素子を備える。そして、撮像された結果の像情報を制御部４６にて認識することが可能なように、カメラ７と制御部４６とは電気的に接続されている。

加速度センサ１４は、ヘッドマウントディスプレイ２を装着する指揮者３の視野の向いている方向を特定するために使用される。ヘッドマウントディスプレイ２では、初期化時に定められた基準位置からの移動角度が、加速度センサ１４により求められ、指揮者３の視野方向が特定される。特定された視野方向は、マイク１２１〜１２５の設置されている方向と比較される。これにより、マイク１２１〜１２５の指向方向と視野方向とのマッチング処理がなされる（詳細は後述する）。

電源部４７は、ヘッドマウントディスプレイ２を駆動させるための電源となる電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。

フラッシュメモリ４９には、受信された音声情報が所定の音声フォーマットに変換された結果の情報（以下「音声データ情報」という。）、楽曲音情報が所定の音声フォーマットに変換された情報（以下「楽曲音データ情報」という。）、指揮者３に視認させる画像（グラフィック）やテキストなどのイメージデータ（以下「映像情報」という。）が記憶される。ファイルフォーマットとしては特に限定されず、従来周知のファイルフォーマット（ＷＡＶ、ＷＭＡ、ＭＰ３等）が使用可能である。そして、制御部４６より各記憶領域に記憶された情報を参照することが可能なように、フラッシュメモリ４９はバスを介して制御部４６と電気的に接続されている。

制御部４６は、ヘッドマウントディスプレイ２全体を制御する機能を有している。例えば、近距離無線通信部４３を介してマイク１２より音声情報を受信する処理、所望の情報を表示部４０に表示させる処理、指揮者３による入力部４１の操作に応じて所定の動作を行う処理等が、制御部４６により実行される。制御部４６は、ＣＰＵ６１、各種プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成されている。制御部４６では、ＣＰＵ６１によりＲＯＭ６２に格納された各種プログラムが読み出され、既述の各処理が実行される。ＲＡＭ４８は、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。

表示部４０にて画像光４が形成される過程の概要について、図４を参照して詳説する。図４は、表示部４０の電気的及び光学的構成を示す模式図である。表示部４０は、図４に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及びガルバノミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及びガルバノミラー８１２を備えている。

光源ユニット部６５の構成について詳説する。映像信号処理部７０は、既述のように、制御部４６と電気的に接続されている。そして、制御部４６にて形成された映像信号が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８が其々電気的に接続される。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、垂直同期信号、水平同期信号）が生成される。生成された各信号は、輝度信号６６、垂直同期信号６７、及び水平同期信号６８に対して画素毎に出力される。

輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々電気的に接続される。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に接続される。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に接続される。

レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続される。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。

また、レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられる。

尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。

表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を水平走査系７９のガルバノミラー７９２に導くためのコリメート光学系７７が設けられる。ガルバノミラー７９２は、レーザ光を水平方向に走査させる。ガルバノミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査させるための光学系である。

また、水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０と、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるためのガルバノミラー８１２が設けられる。ガルバノミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査する光学系である。

また、垂直走査されたレーザ光（画像光４）をプリズム１５０に導くための第二リレー光学系８２が設けられる。第二リレー光学系８２にて導かれた画像光４は、プリズム１５０に入射される。プリズム１５０は、既述のように、第二リレー光学系８２と指揮者３の瞳孔９０との間に配置される。プリズム１５０は、画像光４を全反射させるなどして、ユーザの瞳孔９０に導く。

上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９のガルバノミラー７９２と、垂直走査系８１のガルバノミラー８１２とが共役となるように設けられる。第二リレー光学系８２は、ガルバノミラー８１２と、ユーザの瞳孔９０とが共役となるように設けられる。

本発明の一実施形態のヘッドマウントディスプレイ２が、外部からの映像信号を受けてから、ユーザの網膜上に映像を投影するまでの過程について、図４を参照して説明する。

本実施形態のヘッドマウントディスプレイ２では、光源ユニット部６５に設けられた映像信号処理部７０が制御部４６より映像信号を受信する。次いで映像信号処理部７０より、赤、緑、青の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。

Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。

上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。

光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７に導かれる。そして水平走査系７９に出射される。

水平走査系７９に入射されたレーザ光は、ガルバノミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。ガルバノミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。このガルバノミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。

第一リレー光学系８０では、ガルバノミラー７９２の偏向面７９３とガルバノミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、ガルバノミラー７９２の面倒れが補正される。

垂直走査系８１に入射されたレーザ光は、ガルバノミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。ガルバノミラー８１２は、ガルバノミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。このガルバノミラー８１２によってレーザ光は垂直方向に走査される。

水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（画像光４）は、ガルバノミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、プリズム１５０によりユーザの瞳孔９０へ入射され、網膜上に投影される。

以上説明した過程を経ることにより、指揮者３は、２次元走査されて網膜上に投影された画像光４による画像を認識することが可能となる。なお、水平走査系７９のガルバノミラー７９２と、垂直走査系８１のガルバノミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。

図５乃至７を参照し、フラッシュメモリ４９の記憶領域及び記憶される情報について説明する。図５は、フラッシュメモリ４９の記憶領域を示す模式図である。図６は、音声関連記憶領域４９１に記憶される音声データ関連情報を示す模式図である。図７は、相違情報記憶領域４９３に記憶される相違情報を示す模式図である。

図５を参照し、フラッシュメモリ４９の記憶領域について説明する。図５に示すように、フラッシュメモリ４９には、音声関連記憶領域４９１、楽曲音記憶領域４９２、相違情報記憶領域４９３、音声記憶領域４９４、映像記憶領域４９５、及びその他の領域が設けられている。音声関連記憶領域４９１には、音声データ情報に関連する情報（以下「音声データ関連情報」という。）が記憶される。楽曲音記憶領域４９２には、楽曲音データ情報が記憶される。相違情報記憶領域４９３には、音声データ情報と楽曲音データ情報とが比較された結果の情報（以下「相違情報」という。）が記憶される。音声記憶領域４９４には、音声データ情報が記憶される。映像記憶領域４９５には、映像情報が記憶される。以下、記憶される情報の詳細について説明する。

音声関連記憶領域４９１に記憶されている音声データ関連情報について、図６を参照し説明する。図６に示す例では、音声データ関連情報として「ファイル名」及び「マイク識別情報」の情報項目が設けられている。「ファイル名」としては、音声データ情報のファイル名が記憶される。「マイク識別情報」としては、音声データ情報の基となる音声を受信した近距離無線通信モジュール５７に対応付けられているマイク１２の識別情報が記憶される。

ヘッドマウントディスプレイ２では、マイク１２より音声情報を受信した場合、取得した音声情報を所定の音声データフォーマットに変換し、音声データ情報が作成される。作成された音声データ情報は、音声記憶領域４９４に記憶される。音声データ情報のファイル名の情報は、基となる音声情報を送信したマイク１２の識別情報に対応付けられ、音声データ関連情報として音声関連記憶領域４９１に記憶される。マイク１２は指向性を有しているので、音声データ情報とマイク１２の識別情報とを関連付けて記憶することにより、音声の到来方向を特定することが可能となる。

図６に示す例では、音声データ情報のファイル名は「ＡＡ１．ｍｐ３」であり、マイク識別情報は「１２１」である。従って、合唱隊６を指揮者３側から見た場合の最左方向より、「ＡＡ１．ｍｐ３」の基となる音声情報が発せられている。また、音声データ情報のファイル名は「ＡＡ２．ｍｐ３」であり、マイク識別情報は「１２２」である。従って、合唱隊６を指揮者３側から見た場合の左中方向より、「ＡＡ２．ｍｐ３」の基となる音声情報が発せられている。

楽曲音記憶領域４９２に記憶されている楽曲音データ情報について説明する。楽曲音データ情報としては、合唱隊６により合唱される楽曲の楽曲音データ情報があらかじめ複数記憶されている。これらの情報は、理想的な合唱音声のデータ情報として、音声情報を受信た場合に比較対象とされる。そして双方に相違があると判断された場合に、受信した音声情報にずれ（音レベル、テンポ、音程等）が発生しているものと判断される（詳細は後述する）。

相違情報記憶領域４９３に記憶されている相違情報について、図７を参照し説明する。相違情報は、音声データ情報と楽曲音データ情報とが比較され、双方の音声が相違すると判断された場合に、相違内容に関する情報が記憶される。なお相違情報は、比較された楽曲データ情報の楽曲に対応付けられ、楽曲毎に記憶される。図７では、それらのうち唯一の楽曲に相当する相違情報のみ示されている。

図７に示すように、相違情報として「マイク識別情報」「相違箇所」「相違内容」「相違量」「累計回数」の情報項目が設けられている。「マイク識別情報」としては、マイク１２の識別情報が記憶される。「相違箇所」としては、相違すると判断された箇所の情報として、楽曲の開始時点から相違すると判断された箇所迄の経過時間が記憶される。

「相違内容」としては、相違すると判断された場合の相違内容が記憶される。図７に示す例では、双方の音声の振幅レベルが異なり「レベルずれ」が生じていることを示す「レベル」、双方の音声のタイミングが異なり「テンポずれ」が生じていることを示す「テンポ」、及び、双方の音声の周波数が異なり「音程ずれ」が生じていることを示す「音程」のうちいずれかが「相違内容」として記憶されている。

「相違量」としては、相違すると判断された場合の相違の程度の定量値が記憶される。図７に示す例では、相違内容が「レベルずれ」の場合は、振幅差（単位：ｄＢ）が記憶される。相違内容が「テンポずれ」の場合は、タイミングずれの時間（単位：ｓ）が記憶される。相違内容が「音程ずれ」の場合は、周波数差（単位：Ｈｚ）が記憶される。「累計回数」としては、相違の回数が相違内容毎に記憶される。

図７に示す例では、マイク１２１より受信された音声の音声データ情報が楽曲音データ情報と比較された結果、楽曲開始から１０ｓ経過後のタイミングでテンポが０．５ｓ遅れ、その累計回数は２である。楽曲開始から２４ｓ経過後のタイミングでテンポが１ｓ進み、その累計回数は１である。また、マイク１２２より受信された音声の音声データ情報が楽曲音データ情報と比較された結果、楽曲開始から２１ｓ経過後のタイミングで音程が０．３Ｈｚ高域側にずれ、その累計回数は３である。楽曲開始から３６ｓ経過後のタイミングでレベルが３ｄＢ小さく、その累計回数は４である。

音声記憶領域４９４には、音声関連記憶領域４９１に記憶されている音声データ関連情報のファイル名に対応する音声データ情報が記憶される。

映像記憶領域４９５に記憶されている映像情報としては、合唱隊６のうち所定の構成員を特定するための構成員通知映像情報、相違量を定量的に視認させるための相違量映像情報等が記憶される。映像情報は、指揮者３に映像を視認させるための処理が実行される場合に、制御部４６のＣＰＵ６１より読みだされる。

ヘッドマウントディスプレイ２のＣＰＵ６１にて実行される処理の詳細について、図８及び図９を参照して説明する。図８は、ＣＰＵ６１にて実行される相違通知処理のフローチャートである。図９は、相違特定処理のサブルーティンフローチャートである。相違通知処理は、ヘッドマウントディスプレイ２の電源が投入された場合において、ＣＰＵ６１により起動され実行される。

相違通知処理において使用されるフラグについて説明する。フラグ１は、レベルずれが発生したか否かを特定するために使用される。レベルずれが発生した場合に１が記憶される。フラグ２は、テンポずれが発生したか否かを特定するために使用される。テンポずれが発生した場合に１が記憶される。フラグ３は、音程ずれが発生したか否かを特定するために使用される。音程ずれが発生した場合に１が記憶される。なおこれらのフラグは、ＲＡＭ４８に記憶されており、電源投入時において０が記憶され初期化される。以下、上述のフラグに０が記憶される場合に「ＯＦＦされる」といい、１が記憶される場合に「ＯＮされる」という。

図８に示すように、ヘッドマウントディスプレイ２のＣＰＵ６１では、はじめに、加速度センサ１４からの情報が参照され、ヘッドマウントディスプレイ２を装着する指揮者３の視野方向が特定される（Ｓ１１）。これにより、マイク１２１〜１２５の指向方向と指揮者３の視野方向とのマッチングがなされる。具体的には、指揮者３の視野の中心方向が、マイク１２１〜１２５の指向方向のうちいずれの指向方向と一致するかが特定される。これにより、ヘッドマウントディスプレイ２の表示領域とマイク１２の指向方向との相関が確立される。

次いで、カメラ７により合唱隊６が撮影される。撮影された結果の像情報は画像処理され、合唱隊６の構成員の配置状態が特定される。そして、特定された合唱隊６の構成員の配置状態と、既述のマイク１２の指向方向とが関係付けられ、マイク１２の指向方向に配置する合唱隊６の構成員が其々特定される。

次いで、近距離無線通信モジュール５７及び近距離無線通信制御回路５８を介してマイク１２より音声情報を受信したか否かが判断される（Ｓ１３）。マイク１２より何ら音声情報が受信されていない状態では（Ｓ１３：ＮＯ）、特段処理を行うことなくＳ１１に戻り、継続してヘッドマウントディスプレイ２を装着する指揮者３の視野方向の特定処理が実行される。

近距離無線通信モジュール５７及び近距離無線通信制御回路５８を介して音声情報が受信された場合（Ｓ１３：ＹＥＳ）、次いで、受信された音声情報の音声データ情報への変換処理が開始される。変換された音声データ情報は、フラッシュメモリ４９の音声記憶領域４９４に記憶される。また、音声データ情報の基となった音声情報を受信した近距離無線通信モジュール５７に対応付けられているマイク１２の識別情報が、変換された音声データ情報のファイル名とともに音声関連記憶領域４９１に記憶されている音声データ関連情報に記憶される（Ｓ１５）。

次いで、Ｓ１３において受信が開始された音声情報の基となる音声が、いずれの楽曲について合唱されたものであるかを特定し、相当する楽曲音データ情報を選択する処理が実行される。具体的には、はじめに、Ｓ１５にて記憶開始された音声データ情報が音声認識される。音声認識では、音声データ情報に含まれる歌詞のフレーズ抽出が行われて音素に分解される。次いで、分解された音素毎の音声波形の音程及び音素長が、楽曲音記憶領域４９２に記憶されている楽曲音データ情報に基づく音程及び音素長と比較される。そして双方が一致した場合の楽曲音データ情報が、比較対象とする楽曲音データ情報として選択される（Ｓ１７）。

なお、上述の選択処理は一例であり、他の方法により楽曲音データ情報を選択してもかまわない。例えば、予め入力部４１を介して入力される楽曲の情報に基づいて、比較対象とする楽曲音データ情報を選択してもよい。

また上述の選択処理と同時に、受信中の音声情報の音声が、楽曲音データ情報中のどの演奏部分に相当する音声であるかが特定される。相当する音声が特定された場合、楽曲音データ情報の演奏開始時点から当該音声が演奏されるタイミングまでの経過時間が、ＲＡＭ４８のカウンタに記憶される。以後、カウンタは時間経過とともに更新される。後述の相違特定処理（図９参照）では、楽曲音データ情報中カウンタにて特定される経過時間だけ経過した時点の情報と、受信した直後の音声情報の音声データ情報とが比較される。

次いで、Ｓ１５にて記憶開始された音声データ情報のうち受信した直後の音声情報部分と、選択された楽曲音データ情報とが比較され、双方間でレベルずれ、テンポずれ、及び音程ずれが生じているか否かが判断される（Ｓ１９）。

図９を参照し、相違特定処理（Ｓ１９、図８参照）について説明する。相違特定処理では、記憶開始されている音声データ情報のうち受信した直後の音声情報部分が、マイク識別情報毎に音声記憶領域４９４より抽出される。そして、Ｓ１７（図８参照）にて選択された楽曲音データ情報と比較され、双方間のずれ（レベルずれ、テンポずれ、音程ずれ）の有無が判断される。双方間で振幅レベルが相違する場合に「レベルずれ」が発生していると判断され、タイミングがずれている場合に「テンポずれ」が発生していると判断され、周波数が相違する場合に「音程ずれ」が発生していると判断される。ＲＡＭ４８に記憶更新されているカウンタに基づき、音声データ情報と楽曲音データ情報とで演奏箇所が一致する部分の音声どうしが比較され実行される。

図９に示すように、はじめに、音声データ情報に基づき、音声の振幅成分が抽出される。抽出された振幅成分は、楽曲音データ情報に基づいて抽出された音声の振幅成分と比較され、双方の振幅レベルが一致するか否かが判断される（Ｓ４１）。双方の振幅レベルが一致すると判断された場合には（Ｓ４１：ＮＯ）双方間でレベルずれはないものと判断され、Ｓ４９に移行される。

双方の振幅レベルが相違すると判断された場合には（Ｓ４１：ＹＥＳ）、レベルずれが発生していることを示すためにフラグ１がＯＮされる（Ｓ４３）。次いで、音声データ情報に基づく振幅レベルと楽曲音データ情報に基づく振幅レベルとの差が算出され、レベルずれの相違量とされる（Ｓ４５）。次いで、演奏開始時点からの経過時間が、カウンタの値に基づいて特定される（特定された情報を「相違箇所情報」という。）。そして、Ｓ４１にて特定された相違内容（レベルずれ）、Ｓ４５にて算出された相違量、及び、相違箇所情報が、対象としている音声の音声情報が送信されたマイク１２の識別情報とともに、ＲＡＭ４８に一時的に記憶される（Ｓ４７）。そしてＳ４９に移行される。

Ｓ４９では、音声データ情報に基づき、音声の振幅成分が抽出される。抽出された振幅成分は、楽曲音データ情報に基づいて抽出された音声の振幅成分と比較され、双方の振幅のピーク位置が一致するか否かが判断される（Ｓ４９）。双方の振幅のピーク位置が一致すると判断された場合には（Ｓ４９：ＮＯ）、双方のテンポずれはないものと判断され、Ｓ５７の処理に移行される。

双方の振幅のピーク位置が相違すると判断された場合には（Ｓ４９：ＹＥＳ）、テンポずれが発生していることを示すためにフラグ２がＯＮされる（Ｓ５１）。次いで、音声データに基づく振幅のピーク位置と楽曲音データ情報に基づく振幅のピーク位置との差が算出され、テンポずれの相違量とされる（Ｓ５３）。次いで、カウンタの値に基づいて相違箇所情報が特定される。そして、Ｓ４９にて特定された相違内容（テンポずれ）、Ｓ５３にて算出された相違量、及び、相違箇所情報が、対象としている音声の音声情報が送信されたマイク１２の識別情報とともに、ＲＡＭ４８に一時的に記憶される（Ｓ５５）。そしてＳ５７に移行される。

Ｓ５７では、音声データ情報に基づき、音声の周波数成分が抽出される。抽出された周波数成分は、楽曲音データ情報に基づいて抽出された音声の周波数成分と比較され、双方周波数が一致するか否かが判断される（Ｓ５７）。例えば、音声データ情報に基づいた音声の周波数成分のうち、大きさが最大の周波数成分が楽曲音データ情報に基づいて抽出された音声の周波数成分と比較され、双方の周波数が一致すると判断された場合には（Ｓ５７：ＮＯ）、双方間の音程ずれはないものと判断され、Ｓ６７の処理に移行される。

双方の周波数が相違すると判断された場合には（Ｓ５７：ＹＥＳ）、音程ずれが発生していることを示すためにフラグ３がＯＮされる（Ｓ５９）。次いで、音声データ情報に基づく周波数と楽曲音データ情報に基づく周波数との差が算出され、周波数ずれの相違量とされる（Ｓ６１）。次いで、カウンタの値に基づいて相違箇所情報が特定される。そして、Ｓ５７にて特定された相違内容（音程ずれ）、Ｓ６１にて算出された相違量、及び、相違箇所情報が、対象としている音声の音声情報が送信されたマイク１２の識別情報とともに、ＲＡＭ４８に一時的に記憶される（Ｓ６３）。そしてＳ６７の処理に移行される。

Ｓ６７では、音声記憶領域４９４に記憶されている音声データ情報すべてについて上述の処理が実行されたかどうかが判断される（Ｓ６７）。比較処理が実行されていない音声データ情報が存在する場合には（Ｓ６７：ＮＯ）、マイク１２１〜１２５にて受信された音声のうち上述の処理が実行されていない音声の音声データ情報が残存していると判断される。この場合Ｓ４１に戻り、残存する音声データ情報について繰り返し上述の処理が実行される。一方、すべての音声データ情報について上述の比較処理が実行された場合には（Ｓ６７：ＹＥＳ）、相違特定処理を終了して相違通知処理に戻る。

図８に示すように、相違特定処理の後、レベルずれ、テンポずれ、及び音程ずれのいずれか発生したかどうかが判断される（Ｓ２１）。少なくともいずれかのずれが発生していると判断された場合には、フラグ１〜フラグ３のうち少なくともいずれかがＯＮとされている。そこでこれらのフラグが参照される。そしていずれかのフラグがＯＮされている場合には（Ｓ２１：ＹＥＳ）、ずれが発生した旨を表示する為の処理が実行される（Ｓ２３〜Ｓ２７）。一方、いずれのフラグもＯＮされていない場合には（Ｓ２１：ＮＯ）、指揮者３への映像の表示処理を行う必要はないので、特段の処理を行うことなくＳ２９に移行される。

Ｓ２３では、フラグ情報に基づいて発生したずれの種別が判別される。フラグ１がＯＮされている場合は、レベルずれが発生していると判断される。フラグ２がＯＮされている場合は、テンポずれが発生していると判断される。フラグ３がＯＮされている場合は、音程ずれが発生していると判断される。

ＲＡＭ４８に記憶されているマイクの識別情報、相違内容、及び相違量が読みだされる。次いで、これらの情報を表示させて指揮者３に視認させるための映像情報が、フラッシュメモリ４９の映像記憶領域４９５より読みだされる。読みだされた映像情報に基づき、制御部４６にて映像信号が形成され、表示部４０の映像信号処理部７０に送信される。表示部４０では、指揮者３に視認させるために網膜に出射させる画像光４が形成される。形成された画像光４は、指揮者３の網膜に出射される。これにより、相違情報（該当する構成員の居る方向、相違内容、相違量）を指揮者３に視認させる（Ｓ２３）。

図１０を参照し、ヘッドマウントディスプレイ２を介し指揮者３により視認される像の一例について説明する。図１０は、ヘッドマウントディスプレイ２を介して指揮者３が視認する像の一例を示す模式図である。

図１０に示すように、指揮者３の視野には、直接プリズム１５０を透過する合唱隊６の構成員、一部の構成員を特定する為の表示８、相違内容及び相違量を通知する為の表示９がそれぞれ表示される。表示８は、カメラ７にて撮影された結果の像に基づき画像処理を経て認識された構成員の位置に、ＲＡＭ４８に記憶されているマイク識別情報が対応付けられることにより表示される。図１０に示す例では、マイク１２２（指向方向：左中方向、図１参照）にて受信された音声の音声データ情報が楽曲音データ情報と比較され相違すると判断された場合の表示が例示されている。また表示９には、ＲＡＭ４８に記憶されている相違内容及び相違量が表示される。このような映像を指揮者３に視認させることによって、指揮者３は、誤った発声をした合唱隊６の構成員を特定し、その相違内容及び相違量を認識することが可能となっている。

次いで図８に示すように、指揮者３に対して一定期間、表示させた映像を視認させるために、表示開始からの経過時間が監視される（Ｓ２５：ＮＯ）。経過時間が所定時間（例えば１ｓ）経過した場合（Ｓ２５：ＹＥＳ）、表示を停止させる（Ｓ２７）。そしてＳ２９に移行される。

Ｓ２９では、マイク１２より継続して音声信号を受信している状態であるかどうかが判断される（Ｓ２９）。継続して音声信号が受信されている場合には（Ｓ２９：ＮＯ）、Ｓ１９に戻り、上述の処理が繰り返し実行される。マイク１２からの音声信号の送信が停止され、受信されていない状態となった場合には（Ｓ２９：ＹＥＳ）、Ｓ１５にて開始された音声信号の記憶処理が停止される（Ｓ３１）。

次いで、ＲＡＭ４８に記憶されている情報（マイク識別情報、相違内容、相違量、相違箇所情報）が相違情報記憶領域４９３の相違情報（図７参照）として記憶される（Ｓ３３）。はじめに、比較対象とされた楽曲に対応する相違情報が選択される。次いで、同一マイク識別情報として、同一の相違内容及び相違箇所が既に相違情報として相違情報記憶領域４９３に記憶されているか否かが判断される。同一の相違内容及び相違箇所が相違情報として記憶されていない場合には、ＲＡＭ４８に記憶されている情報（マイク識別情報、相違内容、相違量、相違箇所情報）が相違情報として新たに記憶される。同一の相違内容及び相違箇所が相違情報として既に相違情報記憶領域４９３に記憶されている場合には、記憶されている情報の累計回数に１加算して更新する。そして相違通知処理は終了される。

以上説明したようにヘッドマウントディスプレイ２は、合唱隊６の構成員のうち、レベルずれやテンポずれ、音程ずれを発生させている構成員の居る方向を特定し、相違内容及び相違量の情報ととともに表示させ、指揮者３に視認させることが可能となる。これにより指揮者３は、該当する構成員に対して矯正を促すことが可能となり、合唱隊６の合唱を理想的な状態に近づけることが可能となる。

また、ヘッドマウントディスプレイ２は、レベルずれ、テンポずれ、及び音程ずれが発生している場合に、その相違内容と相違量とを特定して指揮者３に対して通知することが可能となるので、合唱隊６の構成員に対して、より具体的な矯正指示を行うことが可能となる。

なお、本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。上述の実施の形態では、合唱隊６の発声する音声について、理想的な楽曲音声と比較して相違の有無を判断し、相違がある場合に指揮者３に通知していた。しかしながら本発明は合唱隊の発声音声の相違の判断に限定されず、例えばオーケストラやブラスバンドによる演奏音声の相違を判断する構成としてもよい。

上述の実施の形態では、ヘッドマウントディスプレイ２が近距離無線通信モジュール５７を備え、マイク１２より音声情報を受信する構成としたが、本発明はこの構成に限定されない。従って、ヘッドマウントディスプレイ２とマイク１２とは有線ケーブルを介して接続されており、有線ケーブルを介して音声情報の通信が行われる構成としてもよい。また、マイク１２より音声情報を受信しフォーマット変換する装置（レシーバ）を別途設けてもよい。この場合、ヘッドマウントディスプレイ２はレシーバよりフォーマット変換された音声データ情報をマイク識別情報とともに受信することにより、上述の処理が実行される。

上述の実施の形態では、受信した直後の音声と楽曲の音声とを比較し、双方が相違すると判断された場合に、相違内容等を指揮者３に対して視認させていた。しかしながら本発明はこの構成に限定されず、例えば、繰り返し同一の楽曲が合唱される場合において、過去に相違が発生していた場合には、予め相違情報を指揮者３に対して通知する構成としてもよい。これにより指揮者３は、合唱隊６の構成員に対して未然に注意を喚起することが可能となる。以下、本実施の形態の変形例について説明する。
＜変形例＞

以下、本実施の形態の変形例について、図面を参照して説明する。図１１は、変形例における相違通知処理のフローチャートである。図１２は、変形例における相違事前表示処理のサブルーティンフローチャートである。相違通知処理は、ヘッドマウントディスプレイ２の電源が投入された場合において、ＣＰＵ６１により起動され実行される。以下においては、既述の実施の形態と同様部分については、説明を省略し又は簡略する。

変形例では、ヘッドマウントディスプレイ２は、相違情報記憶領域４９３に記憶されている相違情報の内容を予め表示し、相違箇所に相当する部分が合唱隊６により合唱される前に指揮者３に認識させる。楽曲中、レベルずれやテンポずれ、音程ずれの発生は、同一箇所にて繰り返されることが想定されるので、指揮者３は、予めずれが発生し易い箇所を認識し、事前に合唱隊６の構成員に注意を喚起することが可能となる。

図１１を参照し、相違通知処理のフローチャートについて説明する。図１１に示すように、ヘッドマウントディスプレイ２のＣＰＵ６１では、はじめに、加速度センサ１４からの情報が参照され、ヘッドマウントディスプレイ２を装着する指揮者３の視野方向が特定される（Ｓ１１）。次いで、マイク１２より音声情報を受信したか否かが判断される（Ｓ１３）。マイクより何ら音声情報が受信されていない状態では（Ｓ１３：ＮＯ）、特段処理を行うことなくＳ１１に戻り、継続してヘッドマウントディスプレイ２を装着する指揮者３の視野方向の特定処理が実行される。

マイク１２より音声情報が受信された場合（Ｓ１３：ＹＥＳ）、受信した音声情報を変換した音声データ情報の記憶が開始され（Ｓ１５）、次いで受信された音声情報の基となる音声が、いずれの楽曲について合唱されたものであるかが選択される（Ｓ１７）。同時に、受信中の音声情報の音声が、楽曲音データ情報中のどの演奏部分に相当する音声であるかが特定される。相当する音声が特定された場合、楽曲音データ情報の演奏開始時点から当該音声が演奏されるタイミングまでの経過時間が、ＲＡＭ４８のカウンタに記憶される。以後、カウンタは時間経過とともに更新される。次いで、選択された楽曲に対応する相違情報を表示させるための処理（相違事前表示処理）が実行される（Ｓ７１）。

図１２を参照し、相違事前表示処理について説明する。相違事前表示処理では、Ｓ１７（図１１参照）にて選択された楽曲に対応する相違情報（図７参照）のうち、ＲＡＭ４８のカウンタにて特定される経過時間に所定時間（例えば５ｓ）を加算した時間と一致する相違箇所の情報が記憶されているかが判断される。そして、同一の相違箇所の情報が記憶されていると判断された場合には、当該箇所にて過去に相違が発生していたものと判断される（Ｓ８１：ＹＥＳ）。この場合、繰り返し同様の相違音声が発声される可能性がある。そこで、該当する相違箇所に対応付けられているマイク識別情報、相違内容、及び相違量の情報を表示させ、指揮者３に視認させる（Ｓ８３）。これにより、相違音声が発声される可能性が高いタイミングの所定時間（５ｓ）前に、相違音声を発声する可能性が高い構成員を特定し、その相違内容及び相違量の情報とともに指揮者３に認識させることが可能となる。

上述の表示処理は、所定時間（５ｓ）が経過するまで継続して実行される（Ｓ８５：ＮＯ）。そして、所定時間が経過した場合（Ｓ８５：ＹＥＳ）、表示処理を停止させる（Ｓ８７）。そして相違事前表示処理は終了し、相違通知処理（図１１参照）に戻る。

一方、Ｓ１７（図１１参照）にて選択された楽曲に対応する相違情報に、該当する相違情報が記憶されていない場合には（Ｓ８１：ＮＯ）、特段の処理を行うことなく相違事前表示処理を終了し、相違通知処理（図１１参照）に戻る。

相違通知処理では、相違事前表示処理の後、相違特定処理（Ｓ１９）が実行される。相違特定処理では、受信直後の音声情報が楽曲情報と比較され、相違の有無が判断される。そして、相違があると判断された場合には（Ｓ２１：ＹＥＳ）、相違内容を表示させ（Ｓ２３）、指揮者３に視認させる。

上述の処理は、マイク１２より送信される音声情報が終了するまで繰り返し実行され（Ｓ２９：ＮＯ）、音声情報の受信が終了した場合には（Ｓ２９：ＹＥＳ）、発生した相違情報を相違情報記憶領域４９３の相違情報に記憶させ（Ｓ３１）、相違通知処理が終了される。

以上説明したように、変形例では、合唱隊６の構成員が誤った音声を発声させてしまう可能性が高い箇所をあらかじめ指揮者３に対して通知することが可能となるので、指揮者３は、事前に合唱隊６の構成員に対して注意を喚起することが可能となる。これにより、より合唱練習の効率を向上させることが可能となる。

なお、図８のＳ１３の処理を行うＣＰＵ６１が本発明の「音取得手段」に相当し、Ｓ１３において受信した音声情報の送信元のマイク識別情報より音の到来方向を特定する処理を行うＣＰＵ６１が本発明の「方向特定手段」に相当する。図５の音声関連記憶領域４９１を備えたフラッシュメモリ４９が本発明の「第一記憶手段」に相当し、図８のＳ１５の処理を行うＣＰＵ６１が本発明の「第一記憶制御手段」に相当し、Ｓ１９の処理を行うＣＰＵ６１が本発明の「音一致判断手段」に相当し、Ｓ２３の処理を行うＣＰＵ６１が本発明の「表示制御手段」に相当する。図５の楽曲音記憶領域４９２を備えたフラッシュメモリ４９が本発明の「第二記憶手段」に相当する。

図９のＳ４１にてレベルずれを判断するために、又はＳ４９にてテンポずれを判断するために振幅成分を抽出する処理を行うＣＰＵ６１が本発明の「取得音振幅抽出手段」に相当し、Ｓ４１にてレベルずれが発生しているかを判断する処理を行うＣＰＵ６１、又はＳ４９にてテンポずれが発生しているかを判断する処理を行うＣＰＵ６１が本発明の「振幅一致判断手段」に相当し、Ｓ５７にて音程ずれを判断するために周波数成分を抽出する処理を行うＣＰＵ６１が本発明の「取得音周波数抽出手段」に相当し、Ｓ５７にて音程ずれが発生しているかを判断する処理を行うＣＰＵ６１が本発明の「周波数一致判断手段」に相当し、Ｓ４５、Ｓ５３、Ｓ６１にて相違量を算出する処理を行うＣＰＵ６１が本発明の「相違算出手段」に相当する。

図５の相違情報記憶領域４９３を備えたフラッシュメモリ４９が本発明の「第五記憶手段」に相当し、図８のＳ３３にて相違情報を記憶する処理を行うＣＰＵ６１が本発明の「第五記憶制御手段」に相当する。図５の相違情報記憶領域４９３のうち相違量を記憶する領域を備えたフラッシュメモリ４９が本発明の「第三記憶手段」「第四記憶手段」に相当し、図８のＳ３３にて相違量を記憶する処理を行うＣＰＵ６１が本発明の「第三記憶制御手段」「第四記憶制御手段」に相当する。図８のＳ３３にて、累計回数を更新する処理を行うＣＰＵ６１が本発明の「第一累計手段」に相当する。

ヘッドマウントディスプレイ２が使用される合唱練習システム１の概要を示す模式図である。 指揮者３に装着された状態のヘッドマウントディスプレイ２の外観構成を示した図である。 ヘッドマウントディスプレイ２の電気的構成を示す模式図である。 表示部４０において画像光４が形成される過程を説明した模式図である。 フラッシュメモリ４９の記憶領域を示す模式図である。 音声関連記憶領域４９１に記憶される取得音情報を示す模式図である。 相違情報記憶領域４９３に記憶される相違情報を示す模式図である。 相違通知処理のフローチャートである。 相違特定処理のサブルーティンフローチャートである。 ヘッドマウントディスプレイ２を介して指揮者３が視認する像の一例を示す模式図である。 変形例における相違通知処理のフローチャートである。 変形例における相違事前表示処理のサブルーティンフローチャートである。

符号の説明

１ 合唱練習システム
２ ヘッドマウントディスプレイ
３ 指揮者
６ 合唱隊
１２、１２１、１２２、１２３、１２４、１２５ マイク
４０ 表示部
４３ 近距離無線通信部
４６ 制御部
６１ ＣＰＵ
４９ フラッシュメモリ
５７ 近距離無線通信モジュール
５８ 近距離無線通信制御回路
４９１ 音声関連記憶領域
４９２ 楽曲音記憶領域
４９３ 相違情報記憶領域
４９４ 音声記憶領域
４９５ 映像記憶領域

Claims (10)

1. 音を取得する音取得手段と、
   前記音取得手段にて取得された前記音の到来方向を特定する方向特定手段と、
   前記音取得手段にて取得された前記音と、前記方向特定手段にて特定された前記到来方向とを対応付けて第一記憶手段に記憶する第一記憶制御手段と、
   前記第一記憶手段に記憶された前記音の情報である取得音情報と、所定の楽曲の音の情報であり、第二記憶手段に記憶された情報である楽曲音情報とが一致するか否かを判断する音一致判断手段と、
   前記音一致判断手段にて双方が相違すると判断された場合に、相違するとされた前記取得音情報に対応する前記到来方向を表示手段に表示させる表示制御手段と
   を備えたヘッドマウントディスプレイ。
2. 前記音一致判断手段は、
   前記第一記憶手段に記憶された前記取得音情報から、振幅成分である取得音振幅を抽出する取得音振幅抽出手段と、
   前記取得音振幅抽出手段にて抽出された前記取得音振幅と、前記第二記憶手段に記憶されている前記楽曲音情報の振幅成分である楽曲音振幅とが一致するか否かを判断することにより、前記取得音情報と前記楽曲音情報とが一致するか否かを判断する振幅一致判断手段と
   を備えたことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記振幅一致判断手段は、
   前記取得音振幅と前記楽曲音振幅とでタイミングが一致するか否かを判断することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記振幅一致判断手段において相違すると判断された場合に、相違の程度である第一相違量を算出する第一相違算出手段を備え、
   前記表示制御手段は、
   前記第一相違算出手段にて前記第一相違量が算出された場合には、算出された前記第一相違量を前記表示手段に表示させることを特徴とする請求項２又は３に記載のヘッドマウントディスプレイ。
5. 前記音一致判断手段は、
   前記第一記憶手段に記憶された前記取得音情報から、周波数成分である取得音周波数を抽出する取得音周波数抽出手段と、
   前記取得音周波数抽出手段にて抽出された前記取得音周波数と、前記第二記憶手段に記憶されている前記楽曲音情報の周波数成分である楽曲音周波数とが一致するか否かを判断することにより、前記取得音情報と前記楽曲音情報とが一致するか否かを判断する周波数一致判断手段と
   を備えたことを特徴とする請求項１乃至４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記周波数一致判断手段において相違すると判断された場合に、相違の程度である第二相違量を算出する第二相違算出手段を備え、
   前記表示制御手段は、
   前記第二相違算出手段にて前記第二相違量が算出された場合には、算出された前記第二相違量を前記表示手段に表示させることを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記第一相違算出手段にて前記第一相違量が算出された場合に、前記第一相違量を、相違するとされた前記取得音振幅の基となる前記取得音情報に対応付けられた前記到来方向とともに第三記憶手段に記憶する第三記憶制御手段を備え、
   前記表示制御手段は、
   前記第三記憶手段に前記第一相違量が記憶されている場合には、前記第一相違量を前記表示手段に表示させることを特徴とする請求項４に記載のヘッドマウントディスプレイ。
8. 前記第二相違算出手段にて前記第二相違量が算出された場合に、前記第二相違量を、相違するとされた前記取得音周波数の基となる前記取得音情報に対応付けられた前記到来方向とともに第四記憶手段に記憶する第四記憶制御手段を備え、
   前記表示制御手段は、
   前記第四記憶手段に前記第二相違量が記憶されている場合には、前記第二相違量を前記表示手段に表示させることを特徴とする請求項６に記載のヘッドマウントディスプレイ。
9. 前記音一致判断手段にて、前記取得音情報と前記楽曲音情報とが相違すると判断された場合において、相違箇所に相当する前記所定の楽曲の演奏箇所を特定するための情報である相違箇所情報を、相違するとされた前記取得音情報に対応付けられている前記到来方向とともに第五記憶手段に記憶する第五記憶制御手段を備え、
   前記表示制御手段は、
   前記第五記憶手段に前記相違箇所情報が記憶されている場合には、前記相違箇所情報にて特定される前記所定の楽曲の演奏箇所を通知する為の情報と、前記相違箇所情報に対応付けられている前記到来方向とを前記表示手段に表示させることを特徴とする請求項１乃至８のいずれかに記載のヘッドマウントディスプレイ。
10. 前記音一致判断手段にて前記取得音情報と前記楽曲音情報とが相違すると判断された回数である相違回数を、相違するとされた前記取得音情報に対応する前記到来方向毎に累計する第一累計手段を備え、
    前記表示制御手段は、
    前記第一累計手段にて前記相違回数が累計された場合には、前記相違回数を前記到来方向毎に前記表示手段に表示させることを特徴とする請求項１乃至９のいずれかに記載のヘッドマウントディスプレイ。

Images