JP2017181850A - Playing apparatus, motion capture method for fingering, and performance support system - Google Patents
Playing apparatus, motion capture method for fingering, and performance support system Download PDFInfo
- Publication number
- JP2017181850A JP2017181850A JP2016070290A JP2016070290A JP2017181850A JP 2017181850 A JP2017181850 A JP 2017181850A JP 2016070290 A JP2016070290 A JP 2016070290A JP 2016070290 A JP2016070290 A JP 2016070290A JP 2017181850 A JP2017181850 A JP 2017181850A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- image
- fingering
- infrared
- white
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000000463 material Substances 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 15
- 239000011358 absorbing material Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 22
- 210000000707 wrist Anatomy 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000008451 emotion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000031636 Body Temperature Changes Diseases 0.000 description 2
- 229910052769 Ytterbium Inorganic materials 0.000 description 2
- 239000002253 acid Substances 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 235000019577 caloric intake Nutrition 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- NAWDYIZEMPQZHO-UHFFFAOYSA-N ytterbium Chemical compound [Yb] NAWDYIZEMPQZHO-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000012463 white pigment Substances 0.000 description 1
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
本発明は、演奏装置、運指のモーションキャプチャ方法及び演奏支援システムに関する。 The present invention relates to a performance device, a fingering motion capture method, and a performance support system.
鍵盤楽器などを練習する場合、どこをどのように押さえるかが楽譜を見ただけではわかりづらく、練習がうまく出来なかったり、上達しなかったりすることがある。これは、演奏する対象の鍵盤と、演奏を指示している楽譜に物理的な隔たりがあるからである。この隔たりがあるために、演奏者（練習者）は、楽譜と鍵盤を交互に見なければならず、演奏練習は、非常にわずらわしいものとなる。このような場合に、演奏者が楽譜と鍵盤を交互に見なくても良いように、楽曲データに基づいて、鍵盤を光らせるなどの演奏ガイドを表示する電子楽器が提案されている。 When practicing a keyboard instrument etc., it is difficult to know where and how to hold it by just looking at the score, and it may be difficult to practice or improve. This is because there is a physical gap between the keyboard to be played and the musical score instructing the performance. Because of this gap, the performer (practitioner) must see the score and the keyboard alternately, and the performance practice becomes very troublesome. In such a case, there has been proposed an electronic musical instrument that displays a performance guide such as illuminating a keyboard based on music data so that a player does not have to look at a score and a keyboard alternately.
しかし、鍵盤上に演奏ガイドを表示した場合、どの操作子（鍵）を操作するのかは、鍵盤から目を離さずに確認することが出来るが、その操作子をどの指で操作するべきなのかは、鍵盤上に表示される演奏ガイドからは、判別することが出来ない。 However, when the performance guide is displayed on the keyboard, it is possible to check which controls (keys) to operate without taking your eyes off the keyboard, but with which fingers you should operate the controls. Cannot be determined from the performance guide displayed on the keyboard.
そこで、演奏者に演奏支援情報を効率的に提示する発明が開示されている。この発明は、複数の鍵盤等の演奏操作子と、複数の演奏操作子を含む視界を撮影し、視界画像を生成する撮影手段と、演奏者の運指画像と複数の演奏操作子を含む視界画像とを合成して表示するものである。 Therefore, an invention for efficiently presenting performance support information to a performer is disclosed. The present invention shoots a performance operator such as a plurality of keys, a field of view including a plurality of performance operators, and generates a field image, a player's fingering image, and a field of view including a plurality of performance operators The image is synthesized and displayed.
上述した発明は、鍵盤等の操作子をどの指で操作すれば良いか、また、実際に演奏の練習をしながら、指の運び方の情報（運指画像）が表示されるので、ユーザは表示画面と、表示画面の向こう側に見える実際の楽器及びユーザの手を見ながら演奏練習を行うことができる。 In the above-described invention, the finger can be used to operate an operator such as a keyboard, and information on how to carry the finger (fingering image) is displayed while actually practicing the performance. It is possible to practice the performance while looking at the display screen and the actual musical instrument and the user's hand that are visible beyond the display screen.
ところで、運指画像はコンピュータグラフィクス等により作成されるが、その運指画像の基本データはモデルとなる演奏者が楽器を実際に演奏し、その手や指の動きをキャプチャして取得する（モーションキャプチャとも呼ばれる）。このモーションキャプチャの方法には、光学式、機械式、磁気式などがあり、なかでも光学式の赤外線方式が普及している。 By the way, the fingering image is created by computer graphics or the like, but the basic data of the fingering image is obtained by the player who actually acts as a model, capturing the movement of the hand and fingers (motion Also called capture). This motion capture method includes an optical type, a mechanical type, a magnetic type, etc. Among them, an optical infrared type is widely used.
しかし、赤外線方式は、モーションキャプチャする対象、例えば、演奏者の手指の背景に他の物体があると誤認識するなど、背景の影響を受けやすく一定の精度を保つのが困難であった。 However, the infrared method is easily affected by the background, such as misrecognizing that there is another object in the background of the motion capture target, for example, the player's finger, and it is difficult to maintain a certain accuracy.
例えば、楽器がピアノであり、そのピアノの演奏する演奏者の手指を、赤外線センサを使用してモーションキャプチャする場合、手指などの人体は「白色」、それ以外の背景は「黒色」という形ではっきりと識別されるのが理想的である。しかし、図１９に示すように、指と鍵盤が非常に近い位置関係にあるため、ピアノ鍵盤の白黒のコントラストが高いことや、その配列パターンが指の形状に似ている等の理由で、誤認識が非常に発生しやすい。 For example, when a musical instrument is a piano and the fingers of the performer who plays the piano are motion-captured using an infrared sensor, the human body such as fingers is white and the background is black. Ideally it should be clearly identified. However, as shown in FIG. 19, since the finger and the keyboard are in a very close positional relationship, the piano keyboard has a high black-and-white contrast and the arrangement pattern resembles the shape of the finger. Recognition is very likely to occur.
それを解決する方法として、全ての鍵盤を黒色で形成、又は、着色することも考えられるが、この方法では演奏者は白鍵と黒鍵との区別のないピアノ鍵盤で演奏することになり、演奏者側に負担をかけてしまう。また、美観の観点から好ましくない。 As a method of solving this, it is possible to form all the keys in black or to color them, but in this method, the performer performs with a piano keyboard that does not distinguish between white and black keys, It puts a burden on the player. Moreover, it is not preferable from the viewpoint of aesthetics.
更に、上述した先行技術文献に記載された発明のように、ユーザの視界の視界画像が光学的透過又は撮影されて表示される透過型ヘッドマウントディスプレイ（頭部装着ディスプレイ: Head Mounted Display、HMD）を用いる場合、演奏支援情報となる運指画像を、現在演奏しているユーザの手や指が光学的に透過して見える実写又は撮影された運指画像に重畳して表示することになる。この場合、ユーザの指の運指画像の下に演奏支援情報となる運指画像を表示した方が、ユーザにとって自然であり、好ましい。
しかし、そのように表示するためには、現在演奏しているユーザの指の運指画像をモーションキャプチャにより生成する必要があり、上述と同様な理由により通常の鍵盤ではユーザの指の運びを、精度よくモーションキャプチャすることが困難であった。
Further, as in the invention described in the above-described prior art document, a transmissive head mounted display (Head Mounted Display: HMD) in which a view field image of a user's field of view is optically transmitted or photographed is displayed. Is used, the fingering image serving as the performance support information is displayed superimposed on a live-action or photographed fingering image in which the hand or finger of the currently playing user is optically transparent. In this case, it is natural and preferable for the user to display a fingering image serving as performance support information under the fingering image of the user's finger.
However, in order to display in such a manner, it is necessary to generate a fingering image of the finger of the user who is currently playing by motion capture. For the same reason as described above, the user's finger is carried on a normal keyboard. It was difficult to capture motion accurately.
そこで、本発明は、演奏者の指運びを、高精度に、赤外線方式によりモーションキャプチャできる演奏装置、モーションキャプチャ方法及び演奏支援システムを提供することにある。 SUMMARY OF THE INVENTION The present invention provides a performance apparatus, a motion capture method, and a performance support system that can capture a player's finger motion with high accuracy using an infrared method.
本発明の一態様は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、前記演奏操作子が黒色の画像となるように、前記演奏操作子を形成した演奏装置である。 One aspect of the present invention is a performance device in which the performance operator is formed so that the performance operator becomes a black image when the performance operator of the performance device is photographed by an infrared sensor.
本発明の一態様は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、前記演奏操作子の色が黒色となるように形成された演奏装置において、前記演奏操作子に赤外線を照射し、前記演奏装置の演奏者の運指を、赤外線センサによりキャプチャする運指のキャプチャ方法である。 According to one aspect of the present invention, in the performance device formed so that the color of the performance operator becomes black when the performance operator of the performance device is photographed by an infrared sensor, the performance operator is irradiated with infrared rays. In this method, the fingering of the performer of the performance device is captured by an infrared sensor.
本発明の一態様は、赤外線センサにより撮影したときに黒色となるように形成された演奏操作子と、前記演奏操作子に、赤外線を照射する赤外線照射手段と、前記演奏操作子を撮影する赤外線センサとを有する演奏装置と、表示部と、前記演奏装置を演奏する演奏者の視線方向と前記演奏装置との位置関係を検出する空間認識センサと、前記空間認識センサの検出結果と、手本となる演奏者の運指を示す運指データに基づいて、ユーザの視界方向に対応する前記手本となる演奏者の運指画像を生成する第１の運指画像生成手段と、前記空間認識センサの検出結果と、前記赤外線センサによりモーションキャプチャされた前記演奏装置を演奏する演奏者の運指データに基づいて、ユーザの視界方向に対応する前記演奏装置を演奏する演奏者の運指画像を生成する第２の運指画像生成手段と、前記手本となる演奏者の運指画像と前記演奏装置を演奏する演奏者の運指画像との差分である差分運指画像を生成する差分運画像生成手段と、光学的透過又は撮影されて表示される、前記演奏装置を演奏する演奏者の視界画像に、前記差分運指画像を重畳して前記表示部に表示する画像表示制御手段とを有する演奏情報表示装置とを有する演奏支援システムである。 One aspect of the present invention is a performance operator formed to be black when photographed by an infrared sensor, an infrared irradiation means for irradiating the performance operator with infrared rays, and an infrared ray for photographing the performance operator. A performance device having a sensor, a display unit, a space recognition sensor for detecting a positional relationship between the visual line direction of a player who performs the performance device and the performance device, a detection result of the space recognition sensor, and a model First fingering image generation means for generating a fingering image of the player who serves as the model corresponding to the viewing direction of the user, based on fingering data indicating the fingering of the player to be, and the space recognition Based on the detection result of the sensor and the fingering data of the player who plays the performance device motion-captured by the infrared sensor, the luck of the player who plays the performance device corresponding to the visual field direction of the user. Second fingering image generation means for generating an image, and a differential fingering image that is a difference between the fingering image of the player who serves as the model and the fingering image of the player who plays the performance device A difference luck image generating means, and an image display control means for displaying the difference finger image on the display unit by superimposing the difference finger image on a visual field image of a player who performs the performance device, which is optically transmitted or photographed. A performance support system having a performance information display device.
本発明によれば、演奏装置の演奏や美観を損ねることなく、演奏者の指運びを、高精度に、赤外線方式によりモーションキャプチャできる。 According to the present invention, it is possible to capture motion of a performer's finger with high accuracy by an infrared method without impairing the performance and aesthetics of the performance device.
本発明は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、演奏操作子の色が黒色となるように、演奏装置の演奏操作子を形成した演奏装置である。以下の説明では、演奏装置が鍵盤楽器の代表的な楽器であるピアノの場合を説明するが、これに限られず、例えば、キーボードやオルガン等の鍵盤を有する楽器だけでなく、ギターやベース、サックス等の楽器であっても良い。 The present invention is a performance device in which the performance operator of the performance device is formed so that the color of the performance operator becomes black when the performance operator of the performance device is photographed by an infrared sensor. In the following description, the case where the performance apparatus is a piano, which is a representative musical instrument of a keyboard instrument, will be described. However, the present invention is not limited to this, for example, not only a musical instrument having a keyboard such as a keyboard or an organ, but also a guitar, a bass, a saxophone. It may be a musical instrument.
ピアノの演奏操作子には、周知の如く、白鍵と黒鍵とがある。このピアノを用いて運指画像の基本データとなる演奏者の指運びを、赤外線方式により、モーションキャプチャすると、上述したように、黒鍵の部分は、その上に指があっても、精度よく認識することはできるが、白鍵の部分に指がある場合、背景となる白鍵と認識対象である指とのコントラストの相違が大きくなく、検出精度を一定に保つのが困難であった。 As is well known, piano performance operators include white keys and black keys. When the player's finger movement, which is the basic data of the fingering image using this piano, is motion-captured using the infrared method, as described above, the black key part is accurate even if there is a finger on it. Although it can be recognized, when there is a finger in the white key portion, the difference in contrast between the white key as a background and the finger to be recognized is not large, and it is difficult to keep detection accuracy constant.
これらを解決する方法として、白鍵も黒色で形成、又は、着色することも考えられるが、この方法では演奏者は白鍵と黒鍵との区別ができないピアノ鍵盤で演奏することになり、演奏者側に負担をかけてしまう。また、将来的に、ユーザが所有するピアノでモーションキャプチャする場合、全て黒色の鍵盤では、美観の観点からも好ましくない。 As a method for solving these problems, white keys may be formed in black or colored, but in this method, the player performs on a piano keyboard that cannot distinguish white keys from black keys. Burden the person. In the future, when motion capture is performed with a piano owned by the user, a black keyboard is not preferable from the viewpoint of aesthetics.
そこで、発明者は、可視光では白色となり(すなわち、視覚的な外観においては白色)、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となるように白鍵を構成すれば良いことを着想した。そして、そのような白鍵は、以下の方法により、形成することができることに気付いた。 Therefore, the inventor found that the white key is white in visible light (i.e., white in visual appearance), and the white key is black in the image taken by the infrared sensor by irradiating infrared light. Inspired that it should be configured. And it has been found that such a white key can be formed by the following method.
（方法１）通常の白色の白鍵の表面に、白鍵の白色の地色が透過する透明な赤外線吸収材を塗布する。 (Method 1) A transparent infrared absorbing material that allows the white ground color of the white key to pass through is applied to the surface of a normal white key.
図１に示すような、通常の白色の白鍵１の表面に、白色の地色が透過する、すなわち、可視光は透過する透明な赤外線吸収材を塗布することにより、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。 As shown in FIG. 1, a white background color is transmitted to the surface of a normal white key 1, that is, a transparent infrared absorbing material that transmits visible light is applied to make the surface visually white. In an image shot with an infrared sensor by irradiating infrared light, a white key can be formed in which the color of the white key is black.
可視光は透過するような透明な赤外線吸収材の一例としては、イッテルビウムと酸との塩からなる赤外線吸収材料がある（例えば、特許３２８５４００号公報）。この赤外線吸収材料を用いた透明なインクを白鍵に塗布すれば、可視光では白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。尚、黒鍵２にも赤外線吸収材を塗布しても良いが、黒鍵２は地色が黒色なので、塗布する必要はない。 An example of a transparent infrared absorbing material that transmits visible light is an infrared absorbing material made of a salt of ytterbium and an acid (for example, Japanese Patent No. 3285400). If transparent ink using this infrared absorbing material is applied to the white key, the white key becomes white in visible light, and the white key turns black in the image taken by the infrared sensor by irradiating infrared light. Can be formed. Note that an infrared absorbing material may be applied to the black key 2 as well, but the black key 2 does not need to be applied because the ground color is black.
また、白鍵１の上面にのみ塗布するだけでも検出精度は高まるが、演奏時に白鍵１が押下されたとき、赤外線センサの画角によっては、白鍵の白色の側面が撮像されてしまい、検出の精度が低下する可能性がある。従って、図２に示す如く、白鍵の二側面および手前面にも赤外線吸収材料を用いた透明なインクを塗布することが好ましい。 Further, although the detection accuracy is increased only by applying to the upper surface of the white key 1, the white side of the white key is imaged depending on the angle of view of the infrared sensor when the white key 1 is pressed during performance. Detection accuracy may be reduced. Therefore, as shown in FIG. 2, it is preferable to apply a transparent ink using an infrared absorbing material on the two side surfaces of the white key and the front surface of the hand.
（方法２）白鍵の地色を黒色で着色し、その上に視覚的には白色に見える赤外線透過材フィルムを貼付又はその赤外線透過材を蒸着する。 (Method 2) The background color of the white key is colored with black, and an infrared transmitting material film that visually appears white is pasted thereon or the infrared transmitting material is deposited.
図３に示すように、白鍵１の地色を黒色で形成、又は、白鍵１の白色の地色を黒色で着色し、その黒色の白鍵１の上に、視覚的には白色に見える赤外線透過材フィルム３を貼付する。このように、白鍵１を構成することにより、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。尚、赤外線透過材フィルム３は、少なくとも白鍵１の上面の形に形成されており、赤外線透過材フィルム３を、白鍵にそのまま貼付すれば、白鍵１の上面が覆われるように形成されている。 As shown in FIG. 3, the ground color of the white key 1 is formed in black, or the white ground color of the white key 1 is colored in black, and the white color of the white key 1 is visually white. A visible infrared transmitting material film 3 is attached. In this way, by configuring the white key 1, it is possible to form a white key in which the white key is visually white, and the color of the white key is black in an image captured by an infrared sensor irradiated with infrared light. it can. The infrared transmitting material film 3 is formed at least in the shape of the upper surface of the white key 1. If the infrared transmitting material film 3 is attached to the white key as it is, the upper surface of the white key 1 is covered. ing.
このような赤外線透過材フィルム３の赤外線透過材としては、少なくとも赤外光を透過させる基材と、基材の外面及び内面の少なくとも一方に形成され、赤外光を透過させるとともに可視光を反射及び透過させる誘電体多層膜とを備え、誘電体多層膜は、可視光の波長域について反射率が透過率を上回る波長域と反射率が透過率を下回る波長域とからなるように設定され、誘電体多層膜によって反射された可視光の反射の光のみで外観を彩色（白色）する赤外線透過材がある（例えば、特許３７９８００３８号公報、特許４１２２０１０号公報）この赤外線透過材フィルムによる白色フィルムの実験結果を図４に示す。図４に示すように、可視光による視覚感知では白色に見えるが、赤外線センサで撮影した画像では黒色に見える。 The infrared transmitting material of the infrared transmitting material film 3 is formed on at least one of a base material that transmits infrared light and at least one of an outer surface and an inner surface of the base material, and transmits infrared light and reflects visible light. And a dielectric multilayer film to be transmitted, the dielectric multilayer film is set to have a wavelength region in which the reflectance exceeds the transmittance and a wavelength region in which the reflectance is less than the transmittance for the wavelength range of visible light, There is an infrared transmitting material that colors (white) the appearance only by the reflected light of the visible light reflected by the dielectric multilayer film (for example, Japanese Patent No. 37980038 and Japanese Patent No. 4122010). The experimental results are shown in FIG. As shown in FIG. 4, it appears white in visual sensing with visible light, but appears black in an image taken with an infrared sensor.
尚、上述の例では、赤外線透過材フィルムを白鍵に貼付する例を説明したが、貼付する代わりに、その赤外線透過材を白鍵に蒸着しても同様の効果が得られる。 In the above example, the example in which the infrared transmitting material film is attached to the white key has been described. However, the same effect can be obtained by depositing the infrared transmitting material on the white key instead of attaching.
また、上記（方法１）と同様に、白鍵の上面にのみ、赤外線透過材フィルム３を貼付又はその赤外線透過材を蒸着するだけでも検出精度は高まるが、演奏時に白鍵が押下されたとき、赤外線センサの画角によっては、白鍵の白色の側面が撮像されてしまい、検出の精度が低下する可能性がある。従って、図５に示す如く、白鍵の二側面および手前面にも、赤外線透過材フィルム３を貼付又はその赤外線透過材を蒸着することが好ましい。 Similarly to the above (Method 1), the detection accuracy can be improved only by attaching the infrared transmitting material film 3 or depositing the infrared transmitting material only on the upper surface of the white key, but when the white key is pressed during performance. Depending on the angle of view of the infrared sensor, the white side surface of the white key may be imaged, which may reduce the detection accuracy. Therefore, as shown in FIG. 5, it is preferable to attach the infrared transmitting material film 3 to the two side surfaces of the white key and the front surface of the hand or to deposit the infrared transmitting material.
（方法３）地色が白色の白鍵(通常の白鍵)の上に、黒色のフィルムを貼付し、その上に視覚的には白色に見える赤外線透過材フィルムを貼付する。 (Method 3) A black film is pasted on a white key (ordinary white key) with a white ground color, and an infrared transmitting material film that visually appears white is pasted thereon.
地色が白色の白鍵１(通常の白鍵)の上に、図６に示す如く、黒色のフィルム４を貼付し、その上に、上述した視覚的には白色に見える赤外線透過材フィルム３を貼付する。このように、白鍵１を形成することにより、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。 As shown in FIG. 6, a black film 4 is pasted on a white key 1 (ordinary white key) having a white background color, and the above-described infrared transparent material film 3 that appears visually white as described above. Affix. In this way, by forming the white key 1, it is possible to form a white key in which the white key is visually white, and the color of the white key is black in an image shot by an infrared sensor irradiated with infrared light. it can.
ここで、黒色のフィルム４は通常の黒色のフィルムであり、その上に貼付される赤外線透過材フィルム３は、上述した赤外線透過材を用いることができる。 Here, the black film 4 is a normal black film, and the infrared transmitting material described above can be used as the infrared transmitting material film 3 stuck thereon.
尚、上記と同様に、白鍵の上面にのみ、黒色のフィルム４及び赤外線透過材フィルム３を貼付するだけでも検出精度は高まるが、演奏時に白鍵が押下されたとき、赤外線センサの画角によっては、白鍵の白色の側面が撮像されてしまい、検出の精度が低下する可能性がある。従って、図７に示す如く、白鍵の二側面および手前面にも、黒色のフィルム４及び赤外線透過材フィルム３を貼付又はその赤外線透過材を蒸着することが好ましい。 Similarly to the above, the detection accuracy can be improved by simply attaching the black film 4 and the infrared transmitting material film 3 only to the upper surface of the white key. However, when the white key is pressed during performance, the angle of view of the infrared sensor is increased. Depending on the case, the white side surface of the white key may be imaged, which may reduce the detection accuracy. Therefore, as shown in FIG. 7, it is preferable to attach the black film 4 and the infrared transmitting material film 3 to the two side surfaces and the front surface of the white key or to deposit the infrared transmitting material.
また、黒色のフィルム４と赤外線透過材フィルム３との２層構造を有する１枚のフィルムとしても良い。このようなフィルムを用いる利点としては、ピアノの白鍵にフィルムだけを貼付すれば良いので、従来からあるピアノをそのまま用いることができる点である。 Alternatively, a single film having a two-layer structure of the black film 4 and the infrared transmitting material film 3 may be used. An advantage of using such a film is that a conventional piano can be used as it is because only the film needs to be attached to the white key of the piano.
（方法４）透明な赤外線吸収材が付加された白色の樹脂等により白鍵自体を形成する。 (Method 4) The white key itself is formed from a white resin to which a transparent infrared absorbing material is added.
上述したイッテルビウムと酸との塩からなる赤外線吸収材料を、白色の顔料と混合し、この色素で、白鍵を生成する。このような方法であっても、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。 The above infrared absorbing material composed of a salt of ytterbium and acid is mixed with a white pigment, and a white key is generated with this pigment. Even with such a method, it is possible to form a white key in which the color of the white key is black in the image that is visually white and is captured by the infrared sensor by irradiating infrared light.
続いて、上述した、可視光では白色となり(すなわち、視覚的な外観においては白色)、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を有する鍵盤（以下、特殊加工鍵盤と呼ぶ）を用いた、モーションキャプチャ機能が付いたピアノについて説明する。 Subsequently, in the above-described image, which is white in visible light (i.e., white in visual appearance), and has been captured by an infrared sensor by irradiating infrared light, the white key has a white key whose color is black. A piano with a motion capture function using a keyboard (hereinafter referred to as a specially processed keyboard) will be described.
図８はモーションキャプチャ機能が付いた特殊加工鍵盤のピアノ５を示した図である。 FIG. 8 is a diagram showing a piano 5 as a specially processed keyboard with a motion capture function.
本実施の形態におけるモーションキャプチャ機能が付いた特殊加工鍵盤のピアノ５は、特殊加工鍵盤の上に、バー６が設けられている。このバー６は、図９に示す如く、赤外線センサ７と、赤外線照射ライト８とが内蔵されている。また、バー６は、前後に可動式になっており、モーションキャプチャをしないときは、後ろに倒して格納することができる。モーションキャプチャ時には前に倒すことにより、バー６と特殊加工鍵盤との位置関係が一定に保つように構成されている。そして、バー６と鍵盤との間で鍵盤を操作することにより、運指を内蔵の赤外線センサ７でモーションキャプチャを行う。 The specially processed keyboard piano 5 with a motion capture function in the present embodiment is provided with a bar 6 on the specially processed keyboard. As shown in FIG. 9, the bar 6 includes an infrared sensor 7 and an infrared irradiation light 8. Further, the bar 6 is movable back and forth, and can be stored by tilting backward when not performing motion capture. It is configured so that the positional relationship between the bar 6 and the specially processed keyboard is kept constant by tilting forward during motion capture. Then, by operating the keyboard between the bar 6 and the keyboard, the fingering is motion-captured by the built-in infrared sensor 7.
上記のように構成されたピアノであれば、美観を損なうことなく、精度の高い運指のモーションキャプチャを行うことができる。 With the piano configured as described above, high-precision fingering motion capture can be performed without deteriorating the aesthetic appearance.
更に、上述したバー６と特殊加工鍵盤とを備えるピアノ５は、運指のモーションキャプチャを行うのに好適であるが、運指画像を用いた演奏支援情報をヘッドマウントディスプレイに表示しながら、ピアノの練習を行う場合にも好適である。 Furthermore, the piano 5 including the bar 6 and the specially processed keyboard described above is suitable for performing fingering motion capture, while the performance support information using the fingering image is displayed on the head mounted display while the piano 5 is displayed. It is also suitable when practicing.
特に、ユーザの視界の視界画像が光学的透過又は撮影されて表示される透過型ヘッドマウントディスプレイを用いる場合、演奏支援情報となる運指画像と、現在演奏しているユーザの指が光学的に透過して見える実写又は撮影された運指画像とを重畳して表示することになるが、通常の処理であれば、図１０に示すように、実際に演奏しているユーザの手首１０の上に、演奏支援情報である運指画像１１が重畳されて表示されてしまう。しかしながらユーザにとっては、演奏しているユーザの手首１０の下に演奏支援情報となる運指画像１１が表示される方が、演奏しているユーザ自身の手首の全体が見えるので、自然であり、好ましい。 In particular, in the case of using a transmissive head mounted display in which a visual field image of a user's visual field is optically transmitted or photographed, a fingering image as performance support information and a finger of a user who is currently playing are optically displayed. A live-action image that is seen through or a fingering image that has been photographed is displayed in a superimposed manner, but if it is a normal process, as shown in FIG. In addition, the fingering image 11 that is performance support information is superimposed and displayed. However, it is natural for the user that the fingering image 11 serving as performance support information is displayed under the wrist 10 of the user who is playing because the entire wrist of the user who is playing is visible. preferable.
実際に演奏しているユーザの手首１０の下に演奏支援情報となる運指画像１１を表示するためには、ユーザの手首１０の動き（運指）に応じた画像を、運指画像１１にマスクする必要がある。すなわち、実際に演奏しているユーザの手首１０の動き（運指）をモーションキャプチャし、そのユーザの手首１０の動き（運指）の仮想的な運指画像を生成し、このユーザの仮想的な運指画像と演奏支援情報となる運指画像１１との差分の運指画像をヘッドマウントディスプレイに表示する必要がある。そのため、実際に演奏しているユーザの手首１０の動き（運指）を、正確にモーションキャプチャする必要があり、従来の白色の白鍵を有するピアノでは不可能である。 In order to display the fingering image 11 serving as performance support information under the wrist 10 of the user who is actually playing, an image corresponding to the movement (fingering) of the user's wrist 10 is displayed on the fingering image 11. Must be masked. That is, the motion (fingering) of the wrist 10 of the user who is actually playing is motion-captured, and a virtual fingering image of the movement (fingering) of the user's wrist 10 is generated. It is necessary to display a difference fingering image between the fingering image and the fingering image 11 serving as performance support information on the head mounted display. Therefore, it is necessary to accurately capture the motion (fingering) of the wrist 10 of the user who is actually playing, which is impossible with a conventional piano having a white white key.
しかしながら、上述したバーと特殊加工鍵盤とを備えるピアノ５であれば、実際に演奏しているユーザの手首１０の動き（運指）を、正確にモーションキャプチャすることができる。 However, if the piano 5 includes the above-described bar and specially processed keyboard, the motion (fingering) of the wrist 10 of the user who is actually playing can be accurately captured.
更に、バー６と特殊加工鍵盤とを備えるピアノ５によりモーションキャプチャされたユーザの手首１０の動き（運指）のデータに基づいて、このユーザの運指画像と演奏支援情報となる運指画像との差分の運指画像をヘッドマウントディスプレイで生成して表示するようにすれば、ユーザにとって好ましい画像を表示することができる。 Furthermore, based on the data of the movement (fingering) of the wrist 10 of the user captured by the piano 5 having the bar 6 and the specially processed keyboard, the fingering image of the user and the fingering image serving as performance support information If a difference fingering image is generated and displayed on the head mounted display, an image preferable for the user can be displayed.
ヘッドマウントディスプレイにおける運指画像の生成・表示処理を具体的に説明する。 The fingering image generation / display processing in the head mounted display will be specifically described.
まず、図１１のような演奏支援情報となる運指画像１１があるとする。 First, assume that there is a fingering image 11 as performance support information as shown in FIG.
このタイミングで、実際に演奏しているユーザの手首の動き１０（運指）をモーションキャプチャする。そして、そのデータに基づいて、ユーザの手首の動き１０（運指）の仮想的な運指画像１２を生成する。生成したユーザの運指画像(ＣＧ)１２を、図１２に示す。 At this timing, a motion 10 (fingering) of the wrist of the user who is actually playing is captured. Based on the data, a virtual fingering image 12 of the user's wrist movement 10 (fingering) is generated. The generated user's fingering image (CG) 12 is shown in FIG.
そして、図１３に示すように、生成したユーザの運指画像１２と演奏支援情報となる運指画像と１１の差分画像(演奏支援情報となる運指画像のうち、ユーザの運指画像が重なる部分がない画像)１３を生成する。 As shown in FIG. 13, the generated fingering image 12 of the user and the fingering image as the performance support information and the difference image 11 (of the fingering image as the performance support information, the user's fingering image overlaps). An image having no part) 13 is generated.
最後に、差分画像１３と、光学的透過又は撮影した実際のユーザの手首１０の動きの画像（ＣＧではない）とを、図１４に示すように重畳して表示する。 Finally, the difference image 13 and the image (not CG) of the actual user's wrist movement optically transmitted or photographed are superimposed and displayed as shown in FIG.
このような処理を行うことにより、演奏しているユーザの手首の下に演奏支援情報となる運指画像がヘッドマウントディスプレイに表示され、ユーザにとって自然の映像を表示することができる。尚、このような処理ができるのは、演奏者の手首の動きを正確にモーションキャプチャできるモーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いることが前提であるのは、言うまでもない。 By performing such processing, a fingering image serving as performance support information is displayed on the head mounted display under the wrist of the user who is performing, and a natural image for the user can be displayed. Needless to say, such processing is premised on the use of a piano with a specially processed keyboard with a motion capture function that can accurately capture the motion of the player's wrist.
続いて、バー６と特殊加工鍵盤とを備えるピアノ５と、ヘッドマウントディスプレイ２０とを用いた具体的な演奏支援システムについて説明する。 Next, a specific performance support system using the piano 5 having the bar 6 and the specially processed keyboard and the head mounted display 20 will be described.
図１５は、本発明の実施の形態の演奏支援システムのブロック図である。 FIG. 15 is a block diagram of the performance support system according to the embodiment of this invention.
本発明の実施の形態は、バー６（赤外線センサ７と、赤外線照射ライト８とを含む）と特殊加工鍵盤とを備えるピアノ５と、ユーザの視界の視界画像が撮影されて表示されるヘッドマウントディスプレイ２０とを備える。 The embodiment of the present invention includes a piano 5 having a bar 6 (including an infrared sensor 7 and an infrared irradiation light 8) and a specially processed keyboard, and a head mount on which a visual field image of a user's visual field is captured and displayed. Display 20.
ヘッドマウントディスプレイ２０は、空間認識センサ２１（可視光センサ（カメラ）、赤外線センサ（カメラ）等を含む）と、表示部２２と、演奏支援情報となる運指画像と、視界画像（演奏者であるユーザの手首の実写画像を含む）とを重畳して表示部２２に表示する表示制御部２３とを有する演奏情報表示装置である。 The head-mounted display 20 includes a space recognition sensor 21 (including a visible light sensor (camera), an infrared sensor (camera), etc.), a display unit 22, a fingering image as performance support information, and a field-of-view image (by a player). A performance information display device having a display control unit 23 that superimposes a display control unit 22 on a display unit 22.
表示部２２は、例えば、ヘッドマウントディスプレイのディスプレイ部である。尚、本実施の形態では、ユーザの視界の視界画像が光学的透過又は撮影されて表示される透過型ヘッドマウントディスプレイを例にする。尚、視界画像は、ユーザが見ているピアノ等の楽器の画像のみならず、外部の景色等も含む概念である。 The display unit 22 is, for example, a display unit of a head mounted display. In the present embodiment, a transmissive head mounted display on which a view image of a user's view is optically transmitted or captured and displayed is taken as an example. The view image is a concept that includes not only an image of a musical instrument such as a piano that the user is looking at but also an external scenery.
表示制御部２３は、例えば、ヘッドマウントディスプレイ２０に内蔵された処理部であり、演奏者の運指の形状を示す運指画像と、視界映像とを重畳して、表示部２２に表示する。 The display control unit 23 is, for example, a processing unit built in the head-mounted display 20 and superimposes a fingering image indicating the shape of the player's fingering and a visual field image on the display unit 22.
図１６は、本発明の実施の形態におけるヘッドマウントディスプレイ（ＨＭＤ）２０の一例を示した図である。ユーザは、ＨＭＤを装着して、そこに映し出される楽器及び演奏画像を視聴しながら、演奏練習や、曲の鑑賞等を行う。 FIG. 16 is a diagram showing an example of a head mounted display (HMD) 20 in the embodiment of the present invention. The user wears the HMD and performs performance practice, appreciation of music, etc. while viewing the musical instrument and performance image displayed on the HMD.
次に、表示制御部２３の具体的な構成について説明する。図１７は表示制御部２３のブロック図である。 Next, a specific configuration of the display control unit 23 will be described. FIG. 17 is a block diagram of the display control unit 23.
表示制御部２３は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）とを含む演奏データが格納された格納部３０と、ＭＩＤＩ(Musical Instrument Digital Interface)データと画像基本データ（運指データ）とが入力されるシーケンサ部３１と、音源であってシーケンサ部３１に入力されたＭＩＤＩデータに基づいて音声信号を出力する音声処理部３２と、シーケンサ部３１に入力された演奏画像データに基づいてコンピュータグラフィクスにより描画を行って出力画像データとして出力する画像処理部３３と、から構成されている。 The display control unit 23 includes a storage unit 30 in which performance data including MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data) is stored, MIDI (Musical Instrument Digital Interface) data, and basic image data. A sequencer unit 31 to which (fingering data) is input, a sound processing unit 32 that outputs a sound signal based on MIDI data input to the sequencer unit 31 and a performance input to the sequencer unit 31 The image processing unit 33 is configured to draw by computer graphics based on the image data and output as output image data.
格納部３０に格納されるＭＩＤＩデータは、楽曲の演奏音のデータであって、ＭＩＤＩ規格に基づいて表わされている。ＭＩＤＩ規格は、電子楽器を外部から制御して演奏させるためのデータの規格であり、楽曲を構成する各音についてのデータを時系列にしたがって、電子楽器等に入力するように定められている。ＭＩＤＩデータでは、楽曲の先頭から順次出現する音に対し、パートや手の区別に概ね対応するチャネルごとに、その音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔などの情報を与えている。 The MIDI data stored in the storage unit 30 is data of musical performance sounds and is represented based on the MIDI standard. The MIDI standard is a data standard for playing an electronic musical instrument by controlling it from the outside. The MIDI standard is defined so that data on each sound constituting a musical composition is input to the electronic musical instrument or the like in time series. In MIDI data, for the sound that appears sequentially from the beginning of the song, for each channel that roughly corresponds to part or hand distinction, the pitch, magnitude, length, and start of the next sound from the beginning of that sound. Information such as the interval until the time is given.
本実施の形態では、そのＭＩＤＩデータに、運指画像（運指データ）に必要な画像基本データ（運指データ）の一部を含めている。 In this embodiment, the MIDI data includes a part of basic image data (fingering data) necessary for the fingering image (fingering data).
運指データは、演奏者（例えば、手本となる先生）に、バー６と特殊加工鍵盤とを備えるピアノ５を用いて曲を演奏してもらい、ＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を取得する。また、同時に、指の運指データの取得のため、赤外線センサ７により、演奏者の運指（手や指の動きを、３次元的に捉えることが可能で、上下左右、前後への移動の情報）も撮影する。尚、このようなモーションキャプチャができる製品としては、Leap Motionがある。このように取得したデータを元に、ピアノ等の楽器に対する指の３次元の座標データを取得し、そのデータを、ＭＩＤＩデータのテンポ情報に合わせて、時系列に配置する。 Fingering data is obtained by a performer (for example, a model teacher) playing a song using the piano 5 with the bar 6 and specially processed keyboard, and MIDI data (note number (keyboard position), duration) (Sound length), velocity (keystroke strength, etc.). At the same time, in order to obtain fingering data of the finger, the infrared sensor 7 can be used to three-dimensionally grasp the fingering of the performer (the movement of the hand and fingers, and move up and down, left and right, and back and forth. Information) is also taken. There is Leap Motion as a product that can perform such motion capture. Based on the data acquired in this way, three-dimensional coordinate data of a finger for a musical instrument such as a piano is acquired, and the data is arranged in time series in accordance with the tempo information of the MIDI data.
このように、取得されたＭＩＤＩ(Musical Instrument Digital Interface)データと運指データとを含む演奏データは、格納部３０に格納される。 Thus, the performance data including the acquired MIDI (Musical Instrument Digital Interface) data and fingering data is stored in the storage unit 30.
シーケンサ部３１は、格納されているＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）とを含む演奏データを入力し、時系列に沿って、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）とを分離する。そして、音声出力に必要なＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を、音声処理部３２に出力する。また、ＭＩＤＩ(Musical Instrument Digital Interface)データのうちのタイミング情報（再生トリガ）や、画像基本データ（運指データ）を、画像処理部３３に出力する。 The sequencer unit 31 inputs performance data including stored MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data), and performs MIDI (Musical Instrument Digital Interface) data in chronological order. And basic image data (fingering data). Then, MIDI data (note number (keyboard position), duration (sound length), velocity (keying strength), etc.) necessary for audio output is output to the audio processing unit 32. Also, timing information (playback trigger) and basic image data (fingering data) in MIDI (Musical Instrument Digital Interface) data are output to the image processing unit 33.
音声処理部３２は、ＭＩＤＩ(Musical Instrument Digital Interface)データに基づいて音声信号を生成し、外部の出力装置、例えば、スピーカに出力する。尚、ユーザが練習のために、演奏する場合等は音声の出力を止めることができる。 The audio processing unit 32 generates an audio signal based on MIDI (Musical Instrument Digital Interface) data and outputs it to an external output device, for example, a speaker. In addition, when the user performs for practice, the output of the sound can be stopped.
画像処理部３３は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）に基づいて、表示する運指画像を生成する。 The image processing unit 33 generates a fingering image to be displayed based on MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data).
まず、運指画像の生成について説明する。 First, generation of a fingering image will be described.
運指データとＭＩＤＩデータとを解析することにより、鍵盤上のある鍵をどのタイミングで打鍵すればよいかが分かる。しかしながら、実際の指の動きや形状は、打鍵対象が黒鍵であるか白鍵であるか、また、直前直後にどの指がどの鍵を弾くかなどに応じて変化する。本実施の形態では、指の運指データとして、赤外線センサ７により取得した演奏者（手本となる演者）の指の３次元の座標データを、時系列的に取得している。 By analyzing the fingering data and the MIDI data, it is possible to know at what timing a certain key on the keyboard should be pressed. However, the actual movement and shape of the finger varies depending on whether the target of keystroke is a black key or a white key, and which finger plays which key immediately before and after. In the present embodiment, as finger fingering data, the three-dimensional coordinate data of the player's (executor acting) finger acquired by the infrared sensor 7 is acquired in time series.
一方、画像処理部３３は、空間認識センサ２１の信号により、ヘッドマウントディスプレイ（ＨＭＤ）２０の表示部２２に映し出される視界画像がどのような画像であるか、具体的には、ユーザが見ているのは、ピアノのどの部分（例えば、ピアノのどの鍵盤であるのか）を見ているかを解析する。 On the other hand, the image processing unit 33 uses the signal of the space recognition sensor 21 to determine what kind of image the visual field image displayed on the display unit 22 of the head mounted display (HMD) 20 is. It analyzes which part of the piano is being viewed (for example, which keyboard of the piano is being viewed).
例えば、画像処理部３３の空間認識の方法として、既知のピアノ５の足および鍵盤から構成されるピアノモデルを記憶しておく。この既知のピアノモデルは、複数角度から撮影した画像より構成されるものとする。次に、空間認識センサ２１の位置を撮影基準位置とし、水平面を把握し、その面積や、連続性から床面を認識する。そして、空間認識センサ２１により、床と連続する対象物を認識し、その形状および距離を推定する。認識された対象物が、記憶されているピアノモデルと一致するか推定する。認識した対象物が既知のピアノモデルと合致する場合に、撮影基準位置とこの対象物との位置関係から実際のピアノとの角度、距離を推定する。そして、対象物と既知のピアノモデルとの鍵盤の位置関係は既知であるとし、得られたピアノとの角度、距離を元に鍵盤の位置を推定する。 For example, as a spatial recognition method of the image processing unit 33, a known piano model composed of the feet and keyboard of the piano 5 is stored. This known piano model is composed of images taken from a plurality of angles. Next, the position of the space recognition sensor 21 is set as the photographing reference position, the horizontal plane is grasped, and the floor surface is recognized from the area and continuity. Then, the space recognition sensor 21 recognizes an object continuous with the floor, and estimates its shape and distance. It is estimated whether the recognized object matches the stored piano model. When the recognized object matches a known piano model, the angle and distance from the actual piano are estimated from the positional relationship between the photographing reference position and the object. Then, the positional relationship of the keyboard between the object and the known piano model is known, and the position of the keyboard is estimated based on the angle and distance from the obtained piano.
このように、ユーザが、現在、見ているピアノの鍵盤位置を認識することができるので、その鍵盤位置に対応する演奏者の指の３次元の座標データを特定して運指画像を生成することができる。尚、指や手、腕の皮膚や爪などの形状を表わすデータは、画像処理部３３の内部のメモリに予め蓄積しておき、これらのデータと演奏者の指の３次元の座標データとに基づいて、運指画像を描画するようにする。 In this way, since the user can recognize the keyboard position of the currently viewed piano, the fingering image is generated by specifying the three-dimensional coordinate data of the player's finger corresponding to the keyboard position. be able to. It should be noted that data representing the shapes of fingers, hands, arm skin, nails and the like are stored in advance in a memory inside the image processing unit 33, and these data and the three-dimensional coordinate data of the performer's fingers are stored. Based on this, a fingering image is drawn.
一方、画像処理部３３には、実際に演奏している演奏者（ユーザの）手や指を、赤外線センサ７によりモーションキャプチャしている。また、上述したように、画像処理部３３は空間認識しているので、演奏者（手本となる演者）の運指画像とは別に演奏者（ユーザ）の運指画像も生成することができる。尚、演奏者（ユーザ）の指や手、腕の皮膚や爪などの形状を表わすデータは、画像処理部３３の内部のメモリに予め蓄積しておき、これらのデータと演奏者（ユーザ）の指の３次元の座標データとに基づいて、運指画像を描画するようにする。 On the other hand, the player (user's) hand or finger who is actually playing is motion-captured by the infrared sensor 7 in the image processing unit 33. As described above, since the image processing unit 33 recognizes the space, a fingering image of the performer (user) can be generated separately from the fingering image of the performer (executor as a model). . It should be noted that data representing the shape of the performer (user) such as the finger, hand, arm skin, and nails is stored in advance in the internal memory of the image processing unit 33, and these data and the performer (user) are stored. A fingering image is drawn based on the three-dimensional coordinate data of the finger.
次に、画像処理部３３は、演奏者（手本となる演者）の運指画像と、演奏者（ユーザ）の運指画像とを減算し、その差分運指画像を生成する。この差分運指画像は、上述した図１１から図１３に示す通りである。 Next, the image processing unit 33 subtracts the fingering image of the performer (actor as a model) and the fingering image of the performer (user), and generates a differential fingering image. This differential fingering image is as shown in FIGS. 11 to 13 described above.
そして、画像処理部３３は、図１４に示すように、差分運指画像１３と、空間認識センサ２１で撮影した実際の演奏者（ユーザ）の手首１０の動きの画像１４（ＣＧではない）とを、図１４に示すように重畳して表示部２２に表示する。 Then, as shown in FIG. 14, the image processing unit 33 includes a difference fingering image 13, an image 14 (not CG) of the movement of the wrist 10 of the actual performer (user) photographed by the space recognition sensor 21. Are superimposed and displayed on the display unit 22 as shown in FIG.
上記のように構成された本実施の形態における演奏支援システムによれば、ユーザの運指画像と演奏支援情報となる運指画像との差分運指画像をヘッドマウントディスプレイで生成して表示することができるので、ユーザにとって自然な画像を表示することができる。 According to the performance support system in the present embodiment configured as described above, the difference fingering image between the user's fingering image and the fingering image as the performance support information is generated and displayed on the head-mounted display. Therefore, it is possible to display a natural image for the user.
尚、運指画像に加えて、演奏者の演奏時の感情等を画像化した身体変化画像（エフェクト画像）をヘッドマウントディスプレイに表示するように構成しても良い。この身体変化画像（エフェクト画像）は、演奏者（手本となる演者）の演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体変化に関する身体変化情報を、演奏データに対して時系列に数値化し、数値に基づいて変化するエフェクト画像である。 In addition to the fingering image, a physical change image (effect image) obtained by imaging a player's emotion during performance may be displayed on the head mounted display. This physical change image (effect image) relates to a physical change obtained from at least one of the gaze direction, heart rate, calorie consumption, body temperature change, blood sugar level, brain wave, etc. during the performance of the performer (model performer) It is an effect image in which body change information is digitized in time series with respect to performance data and changes based on the numerical value.
図１８は、ヘッドマウントディスプレイの表示部２２に表示されるエフェクト画像の一例を示した図である。図１８では、ピアノを含む視界画像に、運指画像と身体変化画像とが重畳されて表示されている。運指画像はピアノの鍵盤（操作子）を操作するべき指が、その鍵盤に重ね合わせて表示されている。更に、その指で演奏された鍵盤上からは、その演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体データをパラメータとする関数から得られた身体変化画像（エフェクト画像）が表示されている。図１８では、ある演奏の一瞬を示した画像であるため、身体変化画像（エフェクト画像）の変化を表現することはできないが、演奏時間の経過によって、身体変化画像（エフェクト画像）は変化する。例えば、演奏者の心拍数が上昇すると、出現する粒子の数が多くなったり、その色が変化したりする。 FIG. 18 is a diagram illustrating an example of an effect image displayed on the display unit 22 of the head mounted display. In FIG. 18, a fingering image and a body change image are superimposed and displayed on a view field image including a piano. In the fingering image, a finger to operate a piano keyboard (operator) is displayed superimposed on the keyboard. Further, from the keyboard played with the finger, it is obtained from a function using body data obtained from at least one of the gaze direction, heart rate, calorie consumption, body temperature change, blood sugar level, brain wave, etc. as parameters. The displayed body change image (effect image) is displayed. In FIG. 18, since it is an image showing a moment of a certain performance, a change in the body change image (effect image) cannot be expressed, but the body change image (effect image) changes as the performance time elapses. For example, when the heart rate of the performer increases, the number of particles that appear increases or the color changes.
このようにすれば、演奏者の演奏時の感情の起伏や、視線方向等の要素を、エフェクト画像として、運指画像と共に表示することにより、実際の演奏や演奏視聴において重要な要素である演奏者の感情の高まり等を表現することができる。
尚、上述した説明では、ヘッドマウントディスプレイの例として、空間認識センサ２１（可視光センサ（カメラ）、赤外線センサ（カメラ）等を含む）と、表示部２２と、表示制御部２３とが一体構成されたヘッドマウントディスプレイを例にして説明したが、これに限られない。例えば、空間認識センサ２１と、表示部２２と、表示制御部２３のうち一部の機能が他の装置（例えば、スマートフォン）で行われ、その装置（例えば、スマートフォン）とヘッドセットとの組み合わせから、上述したヘッドマウントディスプレイと同様な機能を備えるものであれば、本発明を適用することができる。
In this way, by displaying elements such as the undulation of the emotion during the performance of the performer and the direction of the line of sight as an effect image together with the fingering image, the performance is an important element in actual performance and performance viewing. It is possible to express an increase in the emotions of the elderly.
In the above description, a space recognition sensor 21 (including a visible light sensor (camera), an infrared sensor (camera), etc.), a display unit 22, and a display control unit 23 are integrated as an example of a head-mounted display. The description has been given by taking the head mounted display as an example, but the present invention is not limited to this. For example, some functions of the space recognition sensor 21, the display unit 22, and the display control unit 23 are performed by another device (for example, a smartphone), and the combination of the device (for example, the smartphone) and the headset is used. The present invention can be applied as long as it has the same function as the head mounted display described above.
また、上述した実施の形態では、各部をハードウェアで構成したが、上述した動作の処理を情報処理装置（ＣＰＵ）に行わせるプログラムによっても構成できる。 In the above-described embodiment, each unit is configured by hardware, but may be configured by a program that causes the information processing apparatus (CPU) to perform the above-described operation processing.
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described with reference to the preferred embodiments, the present invention is not necessarily limited to the above-described embodiments, and various modifications can be made within the scope of the technical idea.
１ 白鍵
２ 黒鍵
３ 赤外線透過材フィルム
４ 黒色フィルム
５ ピアノ
６ バー
７ 赤外線センサ
８ 赤外線照射ライト
１０ ユーザ手首
１１ 運指画像
１２ ユーザの運指画像
１３ 差分画像
２０ ヘッドマウントディスプレイ
２１ 空間認識センサ
２２ 表示部
２３ 表示制御部
３０ 格納部
３１ シーケンサ部
３２ 音声処理部
３３ 画像処理部
DESCRIPTION OF SYMBOLS 1 White key 2 Black key 3 Infrared transparent material film 4 Black film 5 Piano 6 Bar 7 Infrared sensor 8 Infrared irradiation light 10 User wrist 11 Fingering image 12 User fingering image 13 Difference image 20 Head mounted display 21 Space recognition sensor 22 Display unit 23 Display control unit 30 Storage unit 31 Sequencer unit 32 Audio processing unit 33 Image processing unit
Claims (11)
演奏装置。 A performance device in which the performance operator is formed so that the performance operator becomes a black image when the performance operator of the performance device is photographed by an infrared sensor.
請求項１に記載の演奏装置。 The performance device according to claim 1, wherein the performance device is a keyboard instrument, and the performance operator is a white key.
請求項２に記載の演奏装置。 The performance device according to claim 2, wherein the white key is coated with a transparent infrared absorbing material through which a white ground color of the white key is transmitted.
請求項２に記載の演奏装置。 The performance device according to claim 2, wherein the white key is formed of a black material, and a white infrared transmitting material is applied to the formed black key.
請求項２に記載の演奏装置。 The white key is a white key formed of white, and a member composed of a lower black layer and an upper white infrared transmitting layer is attached to the white key. The performance device described.
請求項２に記載の演奏装置。 The performance device according to claim 2, wherein the white key is formed of a white infrared absorbing material.
前記演奏操作子を撮影する赤外線センサと
を有する請求項１から請求項６のいずれかに記載の演奏装置。 Infrared irradiation means for irradiating the performance operator with infrared rays;
The performance device according to any one of claims 1 to 6, further comprising an infrared sensor for photographing the performance operator.
前記演奏装置の演奏者の運指を、赤外線センサによりモーションキャプチャする
運指のモーションキャプチャ方法。 In the performance device formed so that the color of the performance operator becomes black when the performance operator of the performance device is photographed by an infrared sensor, the performance operator is irradiated with infrared rays,
A fingering motion capture method of capturing motion of a player's finger of the performance device with an infrared sensor.
請求項８に記載のモーションキャプチャ方法。 The motion capture method according to claim 8, wherein the performance device is a keyboard instrument, and the performance operator is a white key.
前記演奏操作子に、赤外線を照射する赤外線照射手段と、
前記演奏操作子を撮影する赤外線センサと
を有する演奏装置と、
表示部と、
前記演奏装置を演奏する演奏者の視線方向と前記演奏装置との位置関係を検出する空間認識センサと、
前記空間認識センサの検出結果と、手本となる演奏者の運指を示す運指データに基づいて、ユーザの視界方向に対応する前記手本となる演奏者の運指画像を生成する第１の運指画像生成手段と、
前記空間認識センサの検出結果と、前記赤外線センサによりモーションキャプチャされた前記演奏装置を演奏する演奏者の運指データに基づいて、ユーザの視界方向に対応する前記演奏装置を演奏する演奏者の運指画像を生成する第２の運指画像生成手段と、
前記手本となる演奏者の運指画像と前記演奏装置を演奏する演奏者の運指画像との差分である差分運指画像を生成する差分運画像生成手段と、
光学的透過又は撮影されて表示される、前記演奏装置を演奏する演奏者の視界画像に、前記差分運指画像を重畳して前記表示部に表示する画像表示制御手段と
を有する演奏情報表示装置と
を有する演奏支援システム。 A performance operator formed to be black when photographed by an infrared sensor;
Infrared irradiation means for irradiating the performance operator with infrared rays;
A performance device having an infrared sensor for photographing the performance operator;
A display unit;
A space recognition sensor for detecting a positional relationship between a visual line direction of a player who performs the performance device and the performance device;
Based on the detection result of the space recognition sensor and fingering data indicating the fingering of the player who serves as a model, a first fingering image of the player serving as the model corresponding to the visual field direction of the user is generated. Fingering image generation means,
Based on the detection result of the space recognition sensor and the fingering data of the player who plays the performance device motion-captured by the infrared sensor, the luck of the player who plays the performance device corresponding to the viewing direction of the user. Second fingering image generation means for generating a finger image;
Differential difference image generation means for generating a difference fingering image that is a difference between the fingering image of the player who serves as the model and the fingering image of the player who plays the performance device;
A performance information display device comprising: an image display control unit configured to superimpose the differential fingering image on a visual field image of a player who performs the performance device, which is optically transmitted or photographed and displayed on the display unit. And a performance support system.
前記演奏情報表示装置がヘッドマウントディスプレイである
請求項１０に記載の演奏支援システム。 The performance device is a keyboard instrument, the performance operator is a white key,
The performance support system according to claim 10, wherein the performance information display device is a head mounted display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016070290A JP6836329B2 (en) | 2016-03-31 | 2016-03-31 | Performance device and performance support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016070290A JP6836329B2 (en) | 2016-03-31 | 2016-03-31 | Performance device and performance support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017181850A true JP2017181850A (en) | 2017-10-05 |
| JP6836329B2 JP6836329B2 (en) | 2021-02-24 |
Family
ID=60004404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016070290A Active JP6836329B2 (en) | 2016-03-31 | 2016-03-31 | Performance device and performance support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6836329B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113758506A (en) * | 2021-08-31 | 2021-12-07 | 天津大学 | Thumb piano touch action measuring platform and method based on Leap Motion |
| WO2023243293A1 (en) * | 2022-06-15 | 2023-12-21 | ヤマハ株式会社 | Performance motion estimation method and performance motion estimation device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004109540A (en) * | 2002-09-19 | 2004-04-08 | Casio Comput Co Ltd | Musical performance learning apparatus |
| JP2007078956A (en) * | 2005-09-13 | 2007-03-29 | Casio Comput Co Ltd | Musical performance training apparatus and program of musical performance training processing |
| JP2008152115A (en) * | 2006-12-19 | 2008-07-03 | Yamaha Corp | Keyboard instrument |
| JP4122010B2 (en) * | 2004-11-12 | 2008-07-23 | 東海光学株式会社 | Infrared light emitter / receiver |
| JP2016501426A (en) * | 2012-11-08 | 2016-01-18 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | Object detection and tracking using variable field illuminators |
| WO2016032176A2 (en) * | 2014-08-23 | 2016-03-03 | 이문기 | Row division optical module and electronic keyboard using same |
-
2016
- 2016-03-31 JP JP2016070290A patent/JP6836329B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004109540A (en) * | 2002-09-19 | 2004-04-08 | Casio Comput Co Ltd | Musical performance learning apparatus |
| JP4122010B2 (en) * | 2004-11-12 | 2008-07-23 | 東海光学株式会社 | Infrared light emitter / receiver |
| JP2007078956A (en) * | 2005-09-13 | 2007-03-29 | Casio Comput Co Ltd | Musical performance training apparatus and program of musical performance training processing |
| JP2008152115A (en) * | 2006-12-19 | 2008-07-03 | Yamaha Corp | Keyboard instrument |
| JP2016501426A (en) * | 2012-11-08 | 2016-01-18 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | Object detection and tracking using variable field illuminators |
| WO2016032176A2 (en) * | 2014-08-23 | 2016-03-03 | 이문기 | Row division optical module and electronic keyboard using same |
Non-Patent Citations (1)
| Title |
|---|
| 杉山 孝之: " 音像プラネタリウム方式を用いた視聴覚併用ＭＲシステムＸ−Ｍｅｄｉａ Ｇａｌａｘｙ （１） 〜基幹シ", 電子情報通信学会２０１２年総合大会講演論文集 基礎・境界, JPN6019046816, 6 March 2012 (2012-03-06), pages 257, ISSN: 0004288279 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113758506A (en) * | 2021-08-31 | 2021-12-07 | 天津大学 | Thumb piano touch action measuring platform and method based on Leap Motion |
| CN113758506B (en) * | 2021-08-31 | 2023-09-12 | 天津大学 | Leap Motion-based thumb playing piano touch action measurement platform and method |
| WO2023243293A1 (en) * | 2022-06-15 | 2023-12-21 | ヤマハ株式会社 | Performance motion estimation method and performance motion estimation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6836329B2 (en) | 2021-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10783712B2 (en) | Visual flairs for emphasizing gestures in artificial-reality environments | |
| US11157725B2 (en) | Gesture-based casting and manipulation of virtual content in artificial-reality environments | |
| CN110647237B (en) | Gesture-based content sharing in an artificial reality environment | |
| US10733992B2 (en) | Communication device, communication robot and computer-readable storage medium | |
| US11615596B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| KR102196380B1 (en) | Technology for controlling a virtual image generation system using user's emotional states | |
| JP6099850B1 (en) | Program, display device, display method, broadcast system, and broadcast method | |
| AU2012201615B2 (en) | Automatic text scrolling on a head-mounted display | |
| JP4627052B2 (en) | Audio output method and apparatus linked to image | |
| US20130137076A1 (en) | Head-mounted display based education and instruction | |
| KR20180050746A (en) | Head pose mix of audio files | |
| CN106125921A (en) | Gaze detection in 3D map environment | |
| Gruen et al. | Measuring system visual latency through cognitive latency on video see-through AR devices | |
| CN107918482B (en) | Method and system for avoiding overstimulation in immersive VR system | |
| US12014645B2 (en) | Virtual tutorials for musical instruments with finger tracking in augmented reality | |
| JP6836329B2 (en) | Performance device and performance support system | |
| JP4409545B2 (en) | Three-dimensional position specifying device and method, depth position specifying device | |
| Berthaut et al. | Revgest: Augmenting gestural musical instruments with revealed virtual objects | |
| US20230384860A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| KR101050107B1 (en) | Video controller | |
| Inokuchi | Review of Kansei research in Japan | |
| JP2017062347A (en) | Data processing device and program | |
| WO2023230088A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| WO2023195995A1 (en) | Systems and methods for performing a motor skills neurological test using augmented or virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6836329 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |