JP2005099068A - Musical instrument and musical sound control method - Google Patents
Musical instrument and musical sound control method Download PDFInfo
- Publication number
- JP2005099068A JP2005099068A JP2003329338A JP2003329338A JP2005099068A JP 2005099068 A JP2005099068 A JP 2005099068A JP 2003329338 A JP2003329338 A JP 2003329338A JP 2003329338 A JP2003329338 A JP 2003329338A JP 2005099068 A JP2005099068 A JP 2005099068A
- Authority
- JP
- Japan
- Prior art keywords
- musical
- image
- musical tone
- graphic
- musical instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Electrophonic Musical Instruments (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、四肢麻痺者や四肢不自由者が楽器演奏を楽しむことができる福祉用の楽器で、演奏に四肢を用いなくともよく、演奏に必要な操作子を身体に装着しなくともよい楽器に関する。 The present invention is a welfare musical instrument that allows a paralyzed person or a physically handicapped person to enjoy playing a musical instrument, and does not require the use of the extremity for performance, and does not require the operator necessary for performance to be worn About.
既存の楽器や福祉楽器では、演奏に手足を動かすことが不可欠である。四肢麻痺者や四肢不自由者が楽器演奏を楽しむことができるものは知られていない。一方、人体の手首、肘、肩および足などに取り付けられるセンサーで演奏制御用の情報を電子楽器に与える技術が知られている(例えば、特許文献1参照)。
四肢麻痺者や四肢不自由者が楽器演奏を楽しむには、既存の楽器や福祉楽器のように、演奏に手足を動かすことが不要な楽器が必要である。本発明では、演奏に四肢を用いず、演奏に必要な操作子を身体に装着しない楽器を提供する。 In order for a person with limb paralysis or a person with a limb disability to enjoy playing a musical instrument, an instrument that does not require moving hands and feet is necessary, such as existing musical instruments and welfare instruments. The present invention provides a musical instrument that does not use limbs for performance and does not attach an operator necessary for performance to the body.
上記の課題を解決するために、本発明の楽器は、以下のような手段を採用する。
(1)演奏者の顔またはその一部を撮影する撮像部と、前記撮像部の出力する映像信号を解析して、特徴量を抽出する画像解析部と、前記特徴量に基づき楽音信号を発生する楽音合成部を備える楽器。
(2)前記映像信号から、演奏者の口唇部を抽出し、前記特徴量として、前記口唇部の開口部分の高さ情報と幅情報を抽出し、前記高さ情報と前記幅情報により、前記楽音信号の発生を制御する(1)記載の楽器。
(3)前記高さ情報により、前記楽音信号の音高と音量の一方を制御し、前記幅情報により、他方を制御することを特徴とする(2)記載の楽器。
(4)前記映像信号から、前記特徴量として、演奏者の鼻の位置情報を抽出し、前記鼻の位置情報により、前記楽音信号の発生を制御する(1)記載の楽器。
(5)前記映像信号から、前記特徴量として、演奏者の鼻の縦方向と横方向の2次元の位置情報を抽出し、前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御することを特徴とする(4)記載の楽器。
(6)前記映像信号から、前記特徴量として、演奏者の舌の位置情報を抽出し、前記舌の位置情報により、前記楽音信号の発生を制御する(1)記載の楽器。
In order to solve the above problems, the musical instrument of the present invention employs the following means.
(1) An image capturing unit that captures a face of a performer or a part thereof, an image analysis unit that analyzes a video signal output from the image capturing unit and extracts a feature value, and generates a musical sound signal based on the feature value A musical instrument with a musical sound synthesis unit.
(2) The player's lip is extracted from the video signal, the height information and width information of the opening of the lip is extracted as the feature amount, and the height information and the width information The musical instrument according to (1), which controls generation of a musical tone signal.
(3) The musical instrument according to (2), wherein one of pitch and volume of the musical tone signal is controlled by the height information, and the other is controlled by the width information.
(4) The musical instrument according to (1), wherein a player's nose position information is extracted as the feature value from the video signal, and the generation of the musical tone signal is controlled by the nose position information.
(5) Two-dimensional position information in the vertical and horizontal directions of the performer's nose is extracted as the feature value from the video signal, and the pitch and volume of the musical sound signal are extracted from the vertical position information. (1) The musical instrument according to (4), wherein one is controlled and the other is controlled based on the lateral position information.
(6) The musical instrument according to (1), wherein position information of a player's tongue is extracted as the feature value from the video signal, and generation of the musical sound signal is controlled by the position information of the tongue.
(7)前記映像信号から、前記特徴量として、演奏者の舌の縦方向と横方向の2次元の位置情報を抽出し、前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する、あるいは、演奏者の舌の縦方向、横方向、奥行き方向の3次元の位置情報を抽出し、各位置情報のいずれかにより、前記楽音信号の音高、音量、音色のいずれかを制御することを特徴とする(6)記載の楽器。
(8)前記映像信号から、前記特徴量として、演奏者の瞼または口唇部の開閉パターン情報を抽出し、前記開閉パターン情報により、前記楽音信号の属性の制御、もしくは、前記楽器の操作の制御を行うことを特徴とする(1)記載の楽器。
(9)表示部を備え、前記映像情報より抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に前記表示部に表示することを特徴とする(1)記載の楽器。
(10)前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付け、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行うようにしたことを特徴とする(9)記載の楽器。
(7) Two-dimensional position information in the vertical and horizontal directions of the performer's tongue is extracted as the feature value from the video signal, and the pitch and volume of the tone signal are extracted from the vertical position information. One side is controlled and the other side is controlled by the lateral position information, or three-dimensional positional information of the player's tongue in the vertical direction, horizontal direction, and depth direction is extracted. The musical instrument according to (6), wherein any one of a pitch, a volume, and a tone color of the musical tone signal is controlled.
(8) Extracting opening / closing pattern information of a player's heel or lip as the feature amount from the video signal, and controlling the attribute of the musical sound signal or controlling the operation of the musical instrument based on the opening / closing pattern information (1) The musical instrument according to (1).
(9) An image of a part of the lip, tongue, nose, or face extracted from the video information, or a graphic indicating the size, shape, or position of the image, together with a musical sound template The musical instrument according to (1), which is displayed on the display unit.
(10) Accepting an operation to place a predetermined portion of the image or the graphic on the musical sound template, and the size or shape of the graphic or the position of the graphic and the attribute of the generated musical sound The musical instrument according to (9), wherein the musical instrument is associated with the musical instrument.
(11)顔またはその一部の映像信号を解析して、特徴量を抽出する画像解析手順、および、前記特徴量に基づき楽音信号の発生を制御する手順の組、または、前記映像信号から、口唇部を抽出し、特徴量として、前記口唇部の開口部分の高さ情報と幅情報のいずれかを抽出する手順、および、前記高さ情報と前記幅情報のいずれかにより楽音信号の発生を制御する手順の組、または、前記映像信号から、口唇部を抽出し、特徴量として、前記口唇部の開口部分の高さ情報と幅情報を抽出する手順、および、前記高さ情報により、楽音信号の音高と音量の一方を制御し、前記幅情報により、他方を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の鼻の位置情報を抽出する手順、前記鼻の位置情報により、楽音信号の発生を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の鼻の縦方向と横方向の2次元の位置情報を抽出する手順、および、前記縦方向の位置情報により、楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の舌の位置情報を抽出手順、および、前記舌の位置情報により、前記楽音信号の発生を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の舌の縦方向と横方向の2次元の位置情報を抽出する手順、および、前記縦方向の位置情報により、楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の舌の縦方向、横方向、奥行き方向の3次元の位置情報を抽出する手順、および、各位置情報のいずれかにより、楽音信号の音高、音量、音色のいずれかを制御する手順の組、または、前記映像信号から、特徴量として、演奏者の瞼の開閉パターン情報を抽出する手順、および、前記開閉パターン情報により、楽音信号の属性の制御、もしくは、楽器の操作の制御する手順の組、の内の何れかの手順の組を実行する楽音制御方法。
(12)前記映像情報より抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示部に表示する手順を有することを特徴とする(11)記載の楽音制御方法。
(13)前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付け、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行う手順を有することを特徴とする(12)記載の楽音制御方法。
(14)上記(11)、(12)、(13)何れか記載の手順をコンピュータに行わせるプログラム。
(15)上記(11)、(12)、(13)何れか記載の手順をコンピュータに行わせるプログラムを記載した記録媒体。
(11) Analyzing a video signal of a face or a part thereof and extracting a feature quantity, and a set of procedures for controlling generation of a musical sound signal based on the feature quantity, or from the video signal, Extracting the lip and extracting the height information and the width information of the opening portion of the lip as a feature amount, and generating a musical sound signal by either the height information or the width information According to a set of procedures to be controlled or a procedure for extracting the lip from the video signal and extracting height information and width information of the opening of the lip as features, and the height information, A set of procedures for controlling one of the pitch and volume of the signal and controlling the other based on the width information, or a procedure for extracting position information of a player's nose as a feature value from the video signal; The position information of the A musical tone is obtained from a set of procedures for controlling the player, or a procedure for extracting two-dimensional position information in the vertical and horizontal directions of the player's nose as a feature value from the video signal, and the vertical position information. A set of procedures for controlling one of the pitch and volume of the signal and controlling the other based on the lateral position information, or a procedure for extracting the position information of the performer's tongue as a feature value from the video signal; and From the set of procedures for controlling the generation of the musical tone signal based on the position information of the tongue, or from the video signal, two-dimensional position information of the player's tongue in the vertical and horizontal directions is extracted as a feature amount. From the procedure and the position information in the vertical direction, one of the pitch and volume of the tone signal is controlled, and the other is controlled by the position information in the horizontal direction, or from the video signal, as a feature amount The vertical direction of the performer's tongue A set of procedures for extracting three-dimensional position information in the horizontal direction and the depth direction, and a procedure for controlling one of the pitch, volume, and tone color of the musical tone signal according to any one of the position information, or the video signal From the procedure for extracting the opening / closing pattern information of the player's kite as the feature quantity, and the set of procedures for controlling the attribute of the musical tone signal or the operation of the musical instrument based on the opening / closing pattern information. A musical sound control method that executes a set of procedures.
(12) A lip portion, tongue, nose, or part of face image extracted from the video information, or a graphic indicating the size, shape, or position of the image is displayed on the display unit together with the musical sound template. The musical sound control method according to (11), further comprising a procedure.
(13) An operation for placing the image or a predetermined part of the graphic on the musical sound template is accepted, and the size or shape of the graphic or the position of the graphic and the attribute of the generated musical sound are received. (10) The musical tone control method according to (12), further comprising:
(14) A program that causes a computer to perform the procedure according to any one of (11), (12), and (13).
(15) A recording medium on which a program for causing a computer to perform the procedure described in any one of (11), (12), and (13) is described.
以上のような本発明における楽器によれば、四肢麻痺者や四肢不自由者が、手足を動かすことなく楽器演奏が可能になる。また、演奏に必要な操作子を身体に装着しなくともよい。四肢麻痺者や四肢不自由者が、歌を唄うようにして楽器演奏できる。 According to the musical instrument in the present invention as described above, a paralyzed person or a physically handicapped person can play a musical instrument without moving his limbs. Moreover, it is not necessary to attach an operation element required for performance to the body. A paralyzed person or a handicapped person can play a musical instrument as if singing.
以下、本発明の楽器の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素が同様の動作を行う場合には、再度の説明を省略する場合がある。
(実施の形態1)
図1は、本発明の楽器の実施の形態を示す図である。本発明は、演奏者1の顔またはその一部を撮影する撮像部2、前記撮像部の出力する映像信号を解析して、顔、または表情から特徴量を抽出する画像解析部3、および、前記特徴量に基づき楽音信号を発生する楽音合成部4を備える楽器である。
Hereinafter, embodiments of a musical instrument of the present invention will be described with reference to the drawings. In addition, when the component which attached | subjected the same code | symbol performed in embodiment performs the same operation | movement, description may be abbreviate | omitted again.
(Embodiment 1)
FIG. 1 is a diagram showing an embodiment of a musical instrument of the present invention. The present invention includes an imaging unit 2 that captures a face of a performer 1 or a part thereof, an
図1において、撮像部2は、演奏者1の顔を撮影し、顔の映像信号を画像解析部3に供給する。画像解析部3は、映像信号に対して後述するような顔の画像解析を行い、特徴量を検出して楽音合成部4に供給する。楽音合成部4は、特徴量に従って楽音信号を出力する。楽音信号は、ヘッドフォンスピーカやスピーカなどにより音に変換され、演奏者1や周囲の人が聴取する。なお、図1において、当該ヘッドフォンスピーカやスピーカなどは省略している。
まず、図1における表示部5と操作部6は無いものとして説明する。
画像解析部3は、画像解析により、演奏者1の口唇部分を認識し、口唇の位置、口唇に設定した各位置の各サンプル点、開口面積等をリアルタイムで計測して、その変位をピッチデータ、ボリュームデータに変換して演奏する。なお、口唇位置のみを利用して、演奏手段に用いても良い。
In FIG. 1, the imaging unit 2 captures the face of the player 1 and supplies a video signal of the face to the
First, it is assumed that the display unit 5 and the
The
図2(A)は、画像解析部3が抽出した口唇部の画像例である。口唇部13のように口を開いている状態で、W1は、開口部の幅である。H1は開口部の高さである。この例では、口を横に広げた状態である。図2(B)の口唇部14では、口を縦に広く開け、横にはややすぼめた場合で、幅、高さがそれぞれW2、H2である。画像解析部3は、このような口唇部分を認識抽出し、幅情報W、高さ情報Hのような特徴量を抽出する。
FIG. 2A is an image example of the lip extracted by the
図3は、画像解析部3と楽音合成部4の例である。画像解析部3は、H検出部31、W検出部32、舌位置検出部33、右目検出部34、左目検出部35を備えている。H検出部31は、図2(A)、(B)における開口部の高さHを検出する。W検出部32は、図2(A)、(B)における口唇部13、14の画像の開口部の幅Wを検出する。開口部の高さHデータは楽音合成部4の端子T1に供給され、楽音の音階を制御する。開口部の幅Wデータは楽音合成部4の端子T2に供給され、楽音の音量、すなわち、ボリュームを制御する。
FIG. 3 is an example of the
開口部の高さWを5mm毎に区分し、H=5〜10mmをド、H=10〜15mmをレ、H=15〜20mmをミというふうに割り当てる。5〜45mmで1オクターブとなる。開口部の幅Hが30mm以下を楽譜の強弱記号のメゾピアノ(mp)、30〜40mmをメゾフォルテ(mf)、40mm以上をフォルテ(f)に割り当てる。楽音合成部4は、上記Hデータが、音階データとして、端子T1に印加されると対応する音階の楽音信号を発生する。Wデータは端子T2に印加されると、対応する強弱のついた楽音信号を発生する。H=0〜5mm、すなわち、口をほぼ閉じている場合は、楽音信号の発生を停止する。なぜなら、楽音が出っ放しにならないように、Wを0にしたり、Wを小さい値に保つために口の左右をすぼめておいたりするのは、容易な動作ではないと思われるからである。
なお、幅情報Wにより音高を制御し、高さ情報Hにより音量を制御してもよい。この場合は、口を閉じると音量がゼロになる。
本実施の形態のように、口唇部の形状により楽音の発生を制御する場合、リズムに乗って顔を多少動かしても、口唇部をそのままに保てば、発生する楽音は変化しないようにでき、演奏者1が顔を拘束される感じは少なくてすむ。
The height W of the opening is divided every 5 mm, H = 5 to 10 mm is assigned, H = 10 to 15 mm is assigned, and H = 15 to 20 mm is assigned to Mi. It becomes 1 octave at 5-45 mm. An opening width H of 30 mm or less is assigned to the mezzo piano (mp) of the musical score, 30 to 40 mm is assigned to the mesoforte (mf), and 40 mm or more is assigned to the forte (f). When the H data is applied to the terminal T1 as the scale data, the
Note that the pitch may be controlled by the width information W and the volume may be controlled by the height information H. In this case, the volume becomes zero when the mouth is closed.
When the generation of musical sounds is controlled by the shape of the lip as in this embodiment, even if the face is moved a little on the rhythm, the generated musical sounds can be kept unchanged if the lip is kept as it is. The player 1 is less likely to be restrained by his face.
図3において、舌位置検出部33は、口を開いている状態での舌の位置を検出し、その位置情報を出力する。舌が開口部の中心位置を基準にして、上下、左右のどの位置にあるかを検出し、2次元の舌の位置情報である舌座標データを端子T3に供給する。舌座標データは、楽音信号の種々の特性を制御するのに使用できる。楽音信号の音色を柔らかくしたり硬くしたりするのに使用できる。舌を動かすとビブラートが掛かるようにできる。撮像部2を立体視カメラにして、舌が前に出ているか奥にあるかを検出し、舌の3次元の位置座標情報を供給して楽音の制御に使用してもよい。
In FIG. 3, the tongue
図3において、右目検出部34と左目検出部35は、左右の眼の意識的な瞬きを検出する。眼を複数回瞬きしたとき、あるいは所定時間以上眼をつむったときに、検出信号を端子4と端子5に供給する。簡単なモールス符号のようなコードを決めておき、左右のコード検出信号によって、瞼の開閉パターン情報を得て、楽音信号の音色、楽器音を切り替えるようにできる。生理的に起きる瞬間的な短時間の瞬きは無視するようにする。片方の目が閉じているときには楽音の音量をゼロにするようにしてもよい。なお、瞼の開閉パターン情報は、楽音の属性の制御や選択だけでなく、楽器の各種機能の選択や切り替えにも使用できる。
画像解析部3が出力する連続的に変化するHデータを、楽音合成部4において音階データに変換してもよいし、連続的に変化するHデータを、画像解析部3において、音階名を表す音階データに変換してから、楽音合成部4に供給するようにしてもよい。得られる音階は、平均率に従った半音単位で隔たった音階になる。
なお、楽音合成部4における楽音の発生と制御の技術は、電子楽器の分野では周知であるので、詳細の説明を省く。
In FIG. 3, a right
The continuously changing H data output from the
The technique for generating and controlling the musical tone in the musical
(実施の形態2)
つぎに、演奏者1が、口唇部の練習や、演奏中の確認を行えるように表示部5を設けた実施の形態について、図1を使用して説明する。
図1において、表示部5には、画像解析部3から顔の一部分の画像データと楽音テンプレートデータが供給され、表示部5は、これらを表示する。他の部分は、実施の形態1での場合と同様である。
(Embodiment 2)
Next, an embodiment in which the display unit 5 is provided so that the performer 1 can practice the lips and check during performance will be described with reference to FIG.
In FIG. 1, image data of a part of the face and musical tone template data are supplied to the display unit 5 from the
図4(A)は、表示部5に表示する画像の例である。図4(A)において、縦横にメッシュ状の楽音テンプレートを表示する。楽音テンプレートには、その中心位置を基準にして、図4(A)に示すように、第1象限に、縦方向に音階を割り振り、横方向には、p、mp、mfの強弱記号を割り振る。第2〜第4象限は、第1象限に対して左右上下対象になる。楽音テンプレート上に演奏者1の口唇部の画像を表示する。画像解析部3は、口唇部の中心位置を検出し、楽音テンプレートの中心位置に合わせるように表示データを供給し、口唇部を表示させる。図4(A)の口唇部画像の場合、音階はレであり、強弱記号は、フォルテとなる。演奏者1は、表示部5の自分の口唇部の画像を見ながら。音階と音量を調節、修正して演奏ができる。どのくらい口をあけるとどの音階音になるかを確かめながら日頃の楽器演奏の訓練を行うこともできる。
なお、画像解析部3は、その内部で、口唇部の画像データと楽音テンプレートデータとを扱い、口唇部画像の中心点データを楽音テンプレートの中心点データに合わせて、開口の大きさを楽音テンプレート上で評価して、WとHを算出し、音階と音量を判定するようにしてもよい。
なお、図4(A)の楽音テンプレートでは、簡単にするために、音階はハ長調とし、シャープやフラットのついた半音階音は省略した。楽音テンプレートの行数を増やして、全ての半音階音を割り振ってもよい。
(実施の形態3)
FIG. 4A is an example of an image displayed on the display unit 5. In FIG. 4A, a mesh-like musical sound template is displayed vertically and horizontally. As shown in FIG. 4A, the musical sound template is assigned a musical scale in the vertical direction in the first quadrant, and a dynamic symbol of p, mp, and mf in the horizontal direction, as shown in FIG. 4A. . The second to fourth quadrants are subject to left, right, up and down with respect to the first quadrant. An image of the lip of the performer 1 is displayed on the musical tone template. The
The
In the musical tone template of FIG. 4A, for the sake of simplicity, the scale is C major, and the sharp and flat semitones are omitted. All the chromatic scales may be allocated by increasing the number of lines of the musical tone template.
(Embodiment 3)
つぎに、音階・強弱範囲設定モードにより、発生する楽音の音階範囲や強弱範囲を、演奏者1に合わせて設定する機能について説明する。すなわち、口唇部の画像の所定の部分を、楽音テンプレート上に配置する操作を受け付け、当該操作の受け付けにより、画像の大きさ、形状や画像の特定の部位と、発生する楽音の属性との関連付けを行う。
一般的に、演奏者の口唇部の大きさや口をあけられる範囲には個人差がある。演奏者1が、撮像部2との距離を調節してこの個人差を解消することができる。しかし、つぎのように口唇部のサイズの個人差を補正して、正規化するようにしてもよい。図1に示した操作部6を使用する場合について説明する。
Next, a function for setting the scale range and the strength range of the generated musical tone according to the player 1 in the scale / strong / weak range setting mode will be described. That is, an operation for placing a predetermined portion of the image of the lip on the musical tone template is accepted, and by accepting the operation, the size, shape, or specific part of the image is associated with the attribute of the musical tone to be generated I do.
In general, there are individual differences in the size of the performer's lip and the range in which the mouth can be opened. The performer 1 can eliminate this individual difference by adjusting the distance to the imaging unit 2. However, individual differences in the size of the lip may be corrected and normalized as follows. A case where the
まず、演奏者1は、操作部6上の音階・強弱範囲設定モードボタン(図示しない)を押し、画像解析部3を音階・強弱範囲設定モードにする。演奏者1が、口唇部を縦方向に最大に広げた状態で、操作部6の最高音階決定ボタン(図示しない)を押す。この操作により、画像解析部3は、口唇部画像の上唇を図4(A)の楽音テンプレートの最上部位置に、下唇をテンプレートの最低部位置になるように配置する決定を行う。つぎに、演奏者1が、口唇部を横方向に最大に広げた状態で、操作部6の強弱記号決定ボタン(図示しない)を押す。この操作により、画像解析部3は、口唇部画像の右端を楽音テンプレートの右端位置に、口唇部画像の左端を楽音テンプレートの左端位置になるように配置する決定を行う。元の口唇部画像は、縦方向と横方向とではその倍率を変えた形で処理され、表示されることになる。以降、この倍率に従って口唇部画像が処理され、楽音テンプレート上に位置が判定され、音階と強弱が決まる。また、この倍率に従って口唇部画像が表示される。この操作により、演奏者1の口唇部の開き方の個性、個人差に合わせて、音階と強弱の制御ができるようになる。
口唇部表示の縦横の倍率差を変える代わりに、楽音テンプレートを縦または横方向に縮小、拡大して、演奏者1の口唇部のサイズに合わせるようにしてもよい。
音楽演奏を行う場合は、音階・強弱範囲設定モード解除ボタン(図示しない)を押して、音階・強弱範囲設定モードを解除すればよい。
四肢不自由者の場合、操作部6のボタン操作が困難であれば、介護者が操作してもよい。演奏者1の眼の瞬きの特定のパターンを画像解析部3が検出して、音階・強弱範囲設定モードの選択と、音階と強弱の設定操作を検知するようにすれば、操作部6の操作が無くとも、音階・強弱範囲設定ができる。
(実施の形態4)
First, the performer 1 presses a scale / dynamic range setting mode button (not shown) on the
Instead of changing the vertical / horizontal magnification difference of the lip display, the musical sound template may be reduced or expanded in the vertical or horizontal direction to match the size of the lip of the player 1.
When performing a music performance, a scale / strength range setting mode cancel button (not shown) may be pressed to cancel the scale / strength range setting mode.
In the case of a person with a physical disability, a caregiver may operate if the button operation of the
(Embodiment 4)
上記実施の形態3において、撮像部2に自動焦点調節機能を設けておき、演奏者1が撮像部2に近づいたり離れたりしても、口唇部の画像がぼけないようにするのが好ましい。自動焦点調節機能から得た被写体との間の距離情報を、画像解析部3に供給して、演奏者1が撮像部2に近づいて口唇部画像が大きくなっても、音階が高く強い音になることがないように、口唇部画像の倍率をさらに補正してもよい。このように演奏者1と撮像部2の距離が音階や強弱に影響しないようにしておいた上で、前記距離情報により、楽音の音色やビブラートの深さなどのような、音階、強弱以外の音の性質を制御するようにしてもよい。
In the third embodiment, it is preferable that the image pickup unit 2 is provided with an automatic focus adjustment function so that the lip image is not blurred even when the player 1 approaches or moves away from the image pickup unit 2. The distance information between the subject obtained from the automatic focus adjustment function is supplied to the
(実施の形態5)
実施の形態3や実施の形態4で説明した口唇部のサイズの個人差の正規化や距離情報による倍率補正を行わず、演奏者1が、撮像部2に顔を近づけたり、離したりすることにより、音階や音量を制御できるようにしておいてもよい。
(Embodiment 5)
The player 1 moves his / her face closer to or away from the imaging unit 2 without performing normalization of individual differences in the size of the lips and the magnification correction based on the distance information described in the third and fourth embodiments. Thus, the scale and volume may be controlled.
(実施の形態6)
上記説明では、連続的に変化するHデータをハ長調の長音階の音階音に割り付けて平均率音階による音楽を演奏するようにしたが、Hデータをそのまま連続的な音高に対応させて東洋的な、あるいは民族的な音楽を演奏できるようにしてもよい。
(Embodiment 6)
In the above description, the H data that changes continuously is assigned to the scale notes of the C major major scale, and the music with the average rate scale is played. However, the H data corresponds to the continuous pitch as it is oriental. You may also be able to play national or ethnic music.
(実施の形態7)
実施の形態1で説明した舌座標データの内、舌の水平位置データを音階データに使用してもよい。舌を右側にすると高い音階音が出るようにすればよい。舌の前後方向の位置データで音量を制御し、舌が喉の奥の方にあるときは、小さい音とし、前に突き出すほど大きい音とすると、人の感覚に合致した操作になる。舌の上下方向は、音色などの音の種々の特性を制御するようにしてもよい。
前記実施の形態2において、口唇部の表示だけでなく、舌の先端部の位置を表示するようにし、実施の形態3において、口唇部の上下幅、左右幅の代わりに、舌の先端部の上下左右の位置設定ボタンにより、音階の範囲や強弱の範囲を設定するようにすればよい。
口の開口のコントロールよりも舌の先端位置のコントロールの方が容易な演奏者の場合、この方式が適している。
(Embodiment 7)
Of the tongue coordinate data described in the first embodiment, the horizontal position data of the tongue may be used as the scale data. It is sufficient to make a high scale sound when the tongue is on the right side. When the sound volume is controlled by position data in the front-rear direction of the tongue and the tongue is in the back of the throat, the sound is low, and the sound is loud enough to protrude forward. The vertical direction of the tongue may control various characteristics of sound such as timbre.
In the second embodiment, not only the display of the lip but also the position of the tip of the tongue is displayed. In the third embodiment, instead of the vertical and horizontal widths of the lip, It is only necessary to set the scale range and the strength range using the up / down / left / right position setting buttons.
This method is suitable for a player who can control the position of the tip of the tongue more easily than the control of the mouth opening.
(実施の形態8)
図3の画像解析部3に鼻位置検出部を設け、映像信号から、演奏者の鼻の先端位置データを位置情報として抽出し、鼻の位置情報により、楽音信号の音高、または、音高と強弱を制御してもよい。演奏者の鼻の縦方向と横方向の2次元の位置情報を抽出して、それぞれを楽音の制御に使用する。
(Embodiment 8)
The nose position detection unit is provided in the
実施の形態2において、図4(B)に示すように、口唇部の画像の表示の代わりに、鼻先端部の画像、または、先端部を示す点Nを楽音テンプレート上に表示する。この場合の楽音テンプレートは、その中心位置を、1オクターブなり2オクターブの音階発生範囲の中央の音階の高さとし、かつ、強弱記号の中間、mp、あるいは、mfとする。最も左の位置は、無音状態offとしてもよい。図4(B)の例では、鼻の先端部と認識している点Nの位置にX印も表示している。また、楽音テンプレートの中央の位置は、ファとソの境界、pとmpの境界になっている。
なお、図4(B)の楽音テンプレートでは、簡単にするために、音階はハ長調とし、シャープやフラットのついた半音階音は省略した。楽音テンプレートの行数を増やして、全ての半音階音を割り振ってもよい。
In the second embodiment, as shown in FIG. 4B, instead of displaying the lip image, the image of the tip of the nose or the point N indicating the tip is displayed on the musical tone template. In this case, the musical sound template has a center position that is one octave or two octaves in the middle of the scale generation range and the middle of the dynamic symbol, mp, or mf. The leftmost position may be a silent state off. In the example of FIG. 4B, an X mark is also displayed at the position of the point N recognized as the tip of the nose. Further, the central position of the musical sound template is the boundary between fa and so, and the boundary between p and mp.
In the musical tone template of FIG. 4B, for the sake of simplicity, the scale is C major, and the chromatic halftones with sharp or flat are omitted. All the chromatic scales may be allocated by increasing the number of lines of the musical tone template.
実施の形態3での口唇部サイズの正規化と同様の考え方により、鼻の画像の先端の部分を、楽音テンプレート上に配置する操作を行い、鼻の位置と発生する楽音の属性との関連付けを行う。最初に、演奏者1は、ベッドや車椅子の上で、顔を通常位置にして、このときの鼻の位置N0を、図4(B)の楽音テンプレートの中心位置になるように、画像解析部3において座標設定する。この設定が終わると、顔をやや上に向けて鼻を上方に移動させ、この位置Nhを、最高音階音である上のソに対応する位置として設定する。この設定が終わると、つぎに、顔を通常位置からやや右方向へ向けて鼻を右へ移動させ、この位置Nfを最大音量、強記号ffに対応する位置として設定する。以上の設定で、音階・強弱範囲設定モードを終了する。操作部6には、これらの設定操作用のボタンを設けておけばよい。
この音階・強弱範囲設定モードを終了の後は、演奏者1は、顔を上下、左右に少し動かすことにより、音階や音の強弱を制御して音楽の演奏ができる。演奏が終われば、顔を少し左に向けて音を止めることもできる。図4(B)の例では、下のドがmfの強度で発音される。
なお、座標の左右方向を音高とし、上下方向を強弱記号に割り振ってもよい。
口唇部は、動かさなくともよい。口をずっと開けておき、さらに、開口具合を正確に制御するのが困難な場合は、この実施の形態によって、より楽に音楽演奏ができる。
Based on the same concept as the normalization of the lip size in the third embodiment, an operation of placing the tip portion of the nose image on the musical tone template is performed, and the association between the nose position and the generated musical tone attribute is performed. Do. First, the performer 1 places the face on a bed or a wheelchair in a normal position, and sets the nose position N0 at this time to the center position of the musical tone template in FIG. The coordinates are set at 3. When this setting is finished, the nose is moved upward with the face slightly upward, and this position Nh is set as the position corresponding to the upper so that is the highest scale sound. When this setting is finished, the face is then moved slightly to the right from the normal position and the nose is moved to the right, and this position Nf is set as the position corresponding to the maximum volume and the strong symbol ff. The scale / strength range setting mode ends with the above settings. The
After the scale / strength range setting mode is completed, the performer 1 can perform music by controlling the scale and sound intensity by slightly moving his / her face up / down and left / right. When the performance is over, you can turn the face a little to the left and stop the sound. In the example of FIG. 4B, the lower symbol is pronounced with an intensity of mf.
Note that the coordinate direction may be assigned to the left and right direction, and the up and down direction may be assigned to dynamic symbols.
It is not necessary to move the lip. If it is difficult to keep the mouth open and control the opening accurately, this embodiment allows music to be played more easily.
口唇部のW、Hのデータや開口面積なども検出して、別の楽音制御に使用してもよい。強弱記号の制御は、鼻の位置によらず、開口具合により制御してもよい。鼻の位置の制御は、左右のみとして音階制御に使用し、大きな音を出すときは、口をやや大きく開けるようにする。顔の向きと口の大きさは、それぞれ独立に制御しやすい。また、人の音楽的感覚に割合に合致した動作感覚ともいえる。通常は口を閉じておいて、楽音を発生させるときだけ口を開けるようにして演奏することができる。
鼻の位置をある音階から別の音階へ瞬時に移動させるのは、一般的には困難であり、ポルタメントのように連続的な音高の変化が伴いがちになる。これはこれでひとつの音楽表現になる。ポルタメントが好ましくない場合は、口を一旦閉じて音を消してから、次の音階を発生するようにすることも容易にできる。
The W and H data of the lip and the opening area may also be detected and used for another musical tone control. The control of the strength symbol may be controlled according to the degree of opening regardless of the position of the nose. The nose position control is used for the scale control only for the left and right sides, and when making a loud sound, the mouth is opened slightly larger. Face orientation and mouth size are easy to control independently. It can also be said to be a movement sensation that matches the proportion of human musical sensation. You can usually perform with your mouth closed and your mouth open only when you want to generate a musical tone.
In general, it is difficult to move the position of the nose from one musical scale to another, and it tends to be accompanied by continuous pitch changes like portamento. This is now a musical expression. If portamento is not preferred, it is easy to generate the next scale after closing the mouth and muting the sound.
口を開けた後、瞬時に閉じるように演奏した場合、すぐに音を消すのではなく、徐々に減衰するようにしてもよい。ピアノやギターなどのパーカッシブな音を演奏することができる。口を開ける速度や閉じる速度により、音の立ち上がりや音の緊迫感や音色を制御するようにしてもよい。口を閉じて、前の音が残っている状態で、鼻の位置を変えて新たな音階の音を決め、口を開けて次の音を出すようにすれば、一時的であるが、和音が出せる。擬似的に2声や多声の音楽演奏もできる。
顔を左右に向けると、口唇部の画像が変わり、音の大きさに影響を与えるので、前を見たまま頭部を左右に移動させるように演奏してもよい。顔が左右に向いた場合、その角度を画像解析により検出して、楽音の制御に使用してもよい。逆に、その角度データにより、口唇部画像の変形を補正するようにしてもよい。
なお、鼻の位置データを半音階に離散的に割り振らず、前記実施の形態6の場合と同様に、連続的な音高を発生させるようにしてもよい。
なお、上記のような、鼻の位置による楽音テンプレート上での音階・強弱範囲設定を行わないで、撮像部2の位置を演奏者1の前で、前後左右の適切な位置に設定して、音階の範囲や強弱記号の範囲を決めるようにしてもよい。
When the performance is performed so that the mouth is closed immediately after opening the mouth, the sound may be gradually attenuated rather than being immediately turned off. Percussive sounds such as piano and guitar can be played. The rising of the sound, the tightness of the sound, and the timbre may be controlled by the speed at which the mouth is opened or closed. If you close your mouth and leave the previous sound, change the position of your nose to determine the sound of a new scale, and open the mouth to make the next sound. Can be put out. Pseudo and multi-voice music performances can also be performed.
If the face is turned to the left or right, the lip image changes and affects the volume of the sound. Therefore, the head may be moved left and right while looking forward. When the face turns to the left or right, the angle may be detected by image analysis and used to control the musical sound. Conversely, the deformation of the lip image may be corrected based on the angle data.
It should be noted that, as in the case of the sixth embodiment, continuous pitches may be generated instead of discretely assigning the nose position data to the chromatic scale.
In addition, without performing the scale / strength range setting on the musical tone template according to the position of the nose as described above, the position of the imaging unit 2 is set to an appropriate position in front, back, left, and right in front of the player 1, You may make it determine the range of a musical scale, and the range of a dynamic symbol.
(その他の実施の形態および補足)
上記各実施の形態において、画像解析部3の画像解析、画像認識の性能が不十分であったり、演奏者1の口唇部や舌や鼻の先端位置が認識困難な形状であったりする場合は、あまり望ましいことではないが、口唇部の上下左右の位置や舌、鼻の先端に小さな目印のラベルを貼り付けたり、目印をつけることにより、画像解析部3の画像解析、画像認識を容易にしてもよい。目印は、特定の波長に反応するが一般の人の目にはつかないような物質でもよい。
(Other embodiments and supplements)
In each of the above embodiments, when the image analysis and image recognition performance of the
上記表示部5は、映像情報より抽出した口唇部、舌、鼻、または、顔の一部の画像を表示するようにしたが、実際の映像を表示せずに、演奏者1の顔の画像から、その大きさ、形状、あるいは位置を示す図形を作図して、人工的な図形を楽音テンプレートと共に表示するようにしてもよい。上記図形の所定の部分を、楽音テンプレート上に配置する操作により、図形の大きさ、形状または図形の位置と発生する楽音の属性との関連付けを行うようにすればよい。楽音テンプレートは、図4(A)、(B)に示したものに限らない。
図3の画像解析部3が楽音合成部4に出力する楽音制御用の各信号は、電子楽器分野で周知のMIDI信号の形で楽音合成部4に供給されるようにしてもよい。この場合、画像解析部3が出力する楽音制御用の各信号は、1つの信号に纏められるので、楽音合成部4のT1〜T5の端子は1つに集約される。
The display unit 5 displays an image of a part of the lip, tongue, nose, or face extracted from the video information. However, without displaying an actual video, the image of the face of the player 1 is displayed. Then, a figure indicating the size, shape, or position may be drawn, and the artificial figure may be displayed together with the musical sound template. It is only necessary to associate the size, shape, or position of the graphic with the attribute of the generated musical sound by an operation of placing a predetermined portion of the graphic on the musical sound template. The musical sound templates are not limited to those shown in FIGS. 4 (A) and 4 (B).
The musical tone control signals output from the
本発明の楽器は、ノートパソコンにカメラを接続し、画像解析部3の上記各実施の形態における動作をコンピュータプログラムの形にして、前記ノートパソコン上に構成することができる。楽音合成部4は、ノートパソコン上に設けられた楽音合成機能を使用することができる。ノートパソコンの液晶表示部に、図4(A)、(B)のような表示を行える。また、携帯電話器には、カメラと楽音合成機能が搭載されていることが多いので、このような携帯電話器に、上記画像解析部3の機能をソフトウェアとして搭載することにより、携帯電話を本発明の楽器として使用することができる。
The musical instrument of the present invention can be configured on the notebook computer by connecting a camera to the notebook computer and making the operation of the above-described embodiments of the
すなわち、上記のすべての実施の形態における本発明の楽器の処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。かかるソフトウェアは、コンピュータに、演奏者の顔またはその一部を撮影を指示する撮像指示ステップと、撮像指示ステップにおける指示に対する撮像結果である映像信号を解析して、特徴量を抽出する画像解析ステップと、当該特徴量に基づき楽音信号を発生する楽音合成ステップを実行させるためのプログラム、である。また、上記プログラムに対して、コンピュータに、映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示するステップをさらに実行させるプログラムでも良い。さらに、上記プログラムに対して、画像、または、図形の所定の部分を、楽音テンプレート上に配置する操作を受け付けるステップと、当該操作の受け付けにより、画像、あるいは、図形の大きさ、形状または図形の位置と発生する楽音の属性との関連付けを行うステップをさらに実行させるためのプログラムでも良い。 In other words, the processing of the musical instrument of the present invention in all the above embodiments may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. The software includes an imaging instruction step for instructing a computer to photograph the player's face or a part thereof, and an image analysis step for analyzing a video signal that is an imaging result corresponding to the instruction in the imaging instruction step and extracting a feature amount. And a program for executing a tone synthesis step for generating a tone signal based on the feature amount. In addition, for the above program, a musical tone template is created on the computer by using a lip, tongue, nose, or part of face image extracted from the video signal, or a figure indicating the size, shape, or position of the image. It may be a program for further executing the step of displaying together. Furthermore, a step of accepting an operation for placing a predetermined part of an image or a graphic on the musical sound template with respect to the program, and the size of the image or the graphic, the shape or the graphic by receiving the operation. A program for further executing the step of associating the position with the attribute of the generated musical sound may be used.
本発明にかかる楽器は、四肢麻痺者や四肢不自由者が楽器演奏を楽しむのに有用であり、また、種々の情報機器上に実現することができ、また、健常者が使用する楽器とすることも可能である。 The musical instrument according to the present invention is useful for a paralyzed person or a physically handicapped person to enjoy playing a musical instrument, can be realized on various information devices, and is an instrument used by a healthy person. It is also possible.
1 演奏者
2 撮像部
3 画像解析部
4 楽音合成部
5 表示部
6 操作部
31 H検出部
32 W検出部
33 舌位置検出部
34 右目検出部
35 左目検出部
T1〜T5 入力用の端子
DESCRIPTION OF SYMBOLS 1 Player 2 Image pick-up
Claims (17)
前記撮像部の出力する映像信号を解析して、特徴量を抽出する画像解析部と、
前記特徴量に基づき楽音信号を発生する楽音合成部を備える楽器。 An imaging unit for photographing the performer's face or a part thereof;
An image analysis unit that analyzes a video signal output from the imaging unit and extracts a feature amount;
A musical instrument comprising a tone synthesis unit that generates a tone signal based on the feature amount.
前記映像信号から、演奏者の口唇部を抽出し、前記特徴量として、前記口唇部の開口部分の高さ情報と幅情報を抽出し、
前記楽音合成部は、
前記高さ情報と前記幅情報により、前記楽音信号の発生を制御する請求項1記載の楽器。 The image analysis unit
The player's lip is extracted from the video signal, and height information and width information of the opening portion of the lip is extracted as the feature amount,
The musical tone synthesis unit
The musical instrument according to claim 1, wherein the generation of the tone signal is controlled by the height information and the width information.
前記高さ情報により、前記楽音信号の音高と音量の一方を制御し、前記幅情報により、他方を制御することを特徴とする請求項2記載の楽器。 The musical tone synthesis unit
The musical instrument according to claim 2, wherein one of a pitch and a volume of the musical tone signal is controlled by the height information, and the other is controlled by the width information.
前記映像信号から、前記特徴量として、演奏者の鼻の位置情報を抽出し、
前記楽音合成部は、
前記鼻の位置情報により、前記楽音信号の発生を制御する請求項1記載の楽器。 The image analysis unit
From the video signal, the player's nose position information is extracted as the feature amount,
The musical tone synthesis unit
The musical instrument according to claim 1, wherein the generation of the musical tone signal is controlled by the position information of the nose.
前記映像信号から、前記特徴量として、演奏者の鼻の縦方向と横方向の2次元の位置情報を抽出し、
前記楽音合成部は、
前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御することを特徴とする請求項4記載の楽器。 The image analysis unit
From the video signal, two-dimensional position information in the vertical and horizontal directions of the performer's nose is extracted as the feature amount,
The musical tone synthesis unit
The musical instrument according to claim 4, wherein one of pitch and volume of the musical tone signal is controlled by the position information in the vertical direction, and the other is controlled by the position information in the horizontal direction.
前記映像信号から、前記特徴量として、演奏者の舌の位置情報を抽出し、
前記楽音合成部は、
前記舌の位置情報により、前記楽音信号の発生を制御する請求項1記載の楽器。 The image analysis unit
From the video signal, the position information of the player's tongue is extracted as the feature amount,
The musical tone synthesis unit
The musical instrument according to claim 1, wherein generation of the musical tone signal is controlled based on position information of the tongue.
前記映像信号から、前記特徴量として、演奏者の舌の縦方向と横方向の2次元の位置情報を抽出し、
前記楽音合成部は、
前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する請求項6記載の楽器。 The image analysis unit
From the video signal, two-dimensional position information in the vertical and horizontal directions of the performer's tongue is extracted as the feature amount,
The musical tone synthesis unit
The musical instrument according to claim 6, wherein one of pitch and volume of the musical tone signal is controlled by the position information in the vertical direction, and the other is controlled by the position information in the horizontal direction.
演奏者の舌の縦方向、横方向、奥行き方向の3次元の位置情報を抽出し、
前記楽音合成部は、
各位置情報のいずれかにより、前記楽音信号の音高、音量、音色のいずれかを制御する請求項6記載の楽器。 The image analysis unit
Extract the three-dimensional position information of the player's tongue in the vertical, horizontal and depth directions,
The musical tone synthesis unit
The musical instrument according to claim 6, wherein any one of the pieces of positional information controls any one of a pitch, a volume, and a timbre of the musical tone signal.
前記映像信号から、前記特徴量として、演奏者の瞼または口唇部の開閉パターン情報を抽出し、
前記楽音合成部は、
前記開閉パターン情報により、前記楽音信号の属性の制御、もしくは、前記楽器の操作の制御を行う請求項1記載の楽器。 The image analysis unit
From the video signal, as the feature amount, the open / close pattern information of the performer's heel or lip is extracted,
The musical tone synthesis unit
The musical instrument according to claim 1, wherein an attribute of the musical sound signal or an operation of the musical instrument is controlled based on the opening / closing pattern information.
前記映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に前記表示部に表示する請求項1記載の楽器。 A display unit;
An image of a part of a lip, tongue, nose, or face extracted from the video signal, or a graphic indicating the size, shape, or position of the image is displayed on the display unit together with a musical sound template. 1. The musical instrument according to 1.
前記撮像ステップにおける出力である映像信号を解析して、顔、または表情から特徴量を抽出する画像解析ステップと、
前記特徴量に基づき楽音信号を発生する楽音合成ステップを備える楽音制御方法。 An imaging step for photographing the performer's face or part thereof;
An image analysis step of analyzing a video signal that is an output in the imaging step and extracting a feature amount from a face or an expression;
A musical tone control method comprising a musical tone synthesis step for generating a musical tone signal based on the feature amount.
演奏者の顔またはその一部の撮影を指示する撮像指示ステップと、
前記撮像指示ステップにおける指示に対する撮像結果である映像信号を解析して、特徴量を抽出する画像解析ステップと、
前記特徴量に基づき楽音信号を発生する楽音合成ステップを実行させるためのプログラム。 On the computer,
An imaging instruction step for instructing photographing of the performer's face or a part thereof;
An image analysis step of analyzing a video signal which is an imaging result for an instruction in the imaging instruction step and extracting a feature amount;
A program for executing a tone synthesis step for generating a tone signal based on the feature amount.
前記映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示するステップをさらに実行させるための請求項15記載のプログラム。 On the computer,
In order to further execute a step of displaying an image of a part of the lip, tongue, nose, or face extracted from the video signal, or a graphic showing the size, shape, or position of the image together with the musical sound template. The program according to claim 15.
Receiving an operation of placing a predetermined portion of the image or the graphic on the musical sound template; and receiving the operation, the size of the image, the shape of the graphic, or the position of the graphic; The program according to claim 16, further executing a step of associating with an attribute of a generated musical sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003329338A JP2005099068A (en) | 2003-09-22 | 2003-09-22 | Musical instrument and musical sound control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003329338A JP2005099068A (en) | 2003-09-22 | 2003-09-22 | Musical instrument and musical sound control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005099068A true JP2005099068A (en) | 2005-04-14 |
Family
ID=34458598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003329338A Pending JP2005099068A (en) | 2003-09-22 | 2003-09-22 | Musical instrument and musical sound control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005099068A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219393A (en) * | 2006-02-20 | 2007-08-30 | Doshisha | Music creation apparatus for creating music from image |
JP2008076765A (en) * | 2006-09-21 | 2008-04-03 | Xing Inc | Musical performance system |
JP2018017806A (en) * | 2016-07-26 | 2018-02-01 | ヤマハ株式会社 | Musical instrument sound generation system, and musical instrument sound generation method |
JP7218861B2 (en) | 2018-12-18 | 2023-02-07 | Kyb株式会社 | Rotating electric machine |
-
2003
- 2003-09-22 JP JP2003329338A patent/JP2005099068A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219393A (en) * | 2006-02-20 | 2007-08-30 | Doshisha | Music creation apparatus for creating music from image |
JP2008076765A (en) * | 2006-09-21 | 2008-04-03 | Xing Inc | Musical performance system |
JP2018017806A (en) * | 2016-07-26 | 2018-02-01 | ヤマハ株式会社 | Musical instrument sound generation system, and musical instrument sound generation method |
JP7218861B2 (en) | 2018-12-18 | 2023-02-07 | Kyb株式会社 | Rotating electric machine |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10895914B2 (en) | Methods, devices, and methods for creating control signals | |
Miranda et al. | New digital musical instruments: control and interaction beyond the keyboard | |
JP4439740B2 (en) | Voice conversion apparatus and method | |
Lyons et al. | 2003: Designing, Playing, and Performing with a Vision-Based Mouth Interface | |
Fels | Designing for intimacy: Creating new interfaces for musical expression | |
US20160027338A1 (en) | Wearable sound | |
US20150103019A1 (en) | Methods and Devices and Systems for Positioning Input Devices and Creating Control | |
EP3759707B1 (en) | A method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces | |
JP7383943B2 (en) | Control system, control method, and program | |
CN110322861A (en) | Fortune refers to display device and storage medium | |
JP2023025013A (en) | Singing support device for music therapy | |
JP5803172B2 (en) | Evaluation device | |
JP2005099068A (en) | Musical instrument and musical sound control method | |
Overholt et al. | A multimodal system for gesture recognition in interactive music performance | |
JPH11175061A (en) | Control unit and karaoke device | |
JPH08123977A (en) | Animation system | |
Perrotin et al. | Target acquisition vs. expressive motion: dynamic pitch warping for intonation correction | |
Cosentino et al. | Human–robot musical interaction | |
CN111028823B (en) | Audio generation method, device, computer readable storage medium and computing equipment | |
JP2008076765A (en) | Musical performance system | |
JP5884987B2 (en) | Music performance device | |
WO2016111644A1 (en) | A method for signal processing of voice of a speaker | |
WO2022202267A1 (en) | Information processing method, information processing system, and program | |
US20230351986A1 (en) | Music playing method | |
WO2015141663A1 (en) | Musical instrument for supporting recovery of finger motor function, and system for generating music notation data for one-handed performance |