JP2004302482A - 手話学習機能付きカラオケ装置 - Google Patents

Abstract

【課題】 気軽に手話が学習できる手話学習方式を提供する。
【解決手段】 指定された楽曲のカラオケ伴奏音楽を音響出力するとともに、その伴奏音楽に同期して歌詞文字列を表示出力するカラオケ装置において、文字言語における多数の単語や例文のそれぞれに動画表現された手話言語を対応付けして編集した手話動画データベースを設け、ある楽曲のある演奏時点で表示されている歌詞文字列に含まれているある単語や文節に該当する手話表現の動画データを前記手話動画データベースから取りだして表示する手話学習機能付きカラオケ装置とした。
【選択図】 図２

Description

この発明はカラオケ装置を手話学習に利用するための改良技術に関する。

＝＝＝この技術の背景＝＝＝
近年「バリアフリー」というキーワードが社会に定着しつつある。バリアフリーは心身のどこかしらに障害がある人のＱＯＬ（Quality of Life）を向上させるために社会環境を整備することである。そして、その社会環境を整備するためには、障害を持つ人とそうでない人とが積極的にコミュニケーションを交わすことが重要である。

本発明が取り扱う手話は、聴覚に障害がある人とそうでない人とのコミュニケーション手段として有効であり、上述のバリアフリーの概念が定着するに従って手話を覚える人が多くなりつつある。

＝＝＝手話学習＝＝＝
手話は文字や口語による言語（以下、文字言語）を単純に手指で表現したものではない。ある国における手話言語であってもその国の文字言語とは異なる独自の文法と語彙の体系をもつ、いわば外国語である。したがって手話学習は、手話の話者（手話を母語としている人や手話に熟達した人）から直接習うのが最も効果的である。

確かに、手話を積極的に「修得」しようとする人にとっては、手話話者から直接手話を習うのがよい。しかし、聴覚に障害を持つ人との気軽で自然なコミュニケーションを希望する人にとってはこの学習法は堅苦しい。そして、手話文字言語における単語や例文を手話言語に翻訳するだけで日常会話程度の意志疎通ができるため、市販の教材を使用して手話を学習する場合が多い。教材の形態としては、手話が手指を主体とした身体動作によって言語を表現することから、手話動作を録画したビデオテープが一般的である。すなわち、手話動作自体の映像と各手話動作の語彙（手話単語）を示す字幕とが収録されているビデオテープをビデオテーププレーヤーにて再生し、それを視聴しながら学習するのである。

最近では、ＣＤ−ＲＯＭなどパーソナルコンピュータで利用できる形態の手話学習用教材も提供されている。このコンピュータ対応教材は、多数の単語や例文について手話言語と文字言語とを対応付けした辞書であり、手話言語をコンピュータグラフィクス（ＣＧ）による動画によって表現している。そして、普通の辞書を引くようにして文字言語における単語や例文を選択すると、対応する手話言語がＣＧによってコンピュータディスプレイに表示出力されるものである。

上述したように、一般の人にとって手話は外国語と同じである。したがって、手話を覚えるためにはある程度の決意や努力は必要となる。また、必要に迫られて手話を覚えるのでなければ、学習意欲は一時的なものである場合が多い。

しかし、従来のビデオテープによる教材では一巻に盛り込める単語や例文の数は少ない。また、日常会話程度の語学（手話）力を身につけるのであれば、文字言語の単語や例文を単に翻訳しただけの教材では応用力に欠ける。生活の中で想定される会話の場面などを多角的に取り扱う必要がある。しかし、これも一巻のビデオテープに収録するのは難しい。そのため、多種多様なビデオ教材を用意しない限り、すぐに学習意欲が減退してしまう。多くの教材を揃えれば、教材費が嵩む。これでは「気軽」に手話は覚えられず、手話の普及は難しい。なお、コンピュータ対応教材は、確かに収録語彙は多いが単なる辞書に過ぎない。したがって、会話の各場面を想定した実践的な学習は望めない。

そこで本発明は、多種多様な会話の場面を想定でき、しかも、自然に手話に接して気軽に手話を学習できる環境を提供するための手話学習方式を実現することを目的としている。

本願発明者らは、気軽に手話を学習するための条件や環境について考察し、カラオケに着目した。カラオケは伴奏音楽に合わせて歌詞を言葉で話す行為である。上述したように手話も言語（言葉）であるから、このカラオケ行為はそのまま手話に当てはまる。そして、伴奏音楽に合わせて「手話で話す」とすれば、カラオケが手話学習の教材になり得ると確信した。

カラオケを演奏するカラオケ装置は、数万曲以上のカラオケ楽曲についての伴奏音楽と歌詞文字列とを音響映像出力することができる。各楽曲の歌詞はそのままストーリー性のある会話として通用する。したがって、手話学習機能付きのカラオケ装置があれば、誰もが自然に手話に親め、手話の普及の一助になると考えた。

そして第１の発明は、指定された楽曲のカラオケ伴奏音楽を音響出力するとともに、その伴奏音楽に同期して歌詞文字列を表示出力するカラオケ装置において、文字言語における多数の単語や例文のそれぞれに動画表現された手話言語を対応付けして編集した手話動画データベースを設け、ある楽曲のある演奏時点で表示されている歌詞文字列に含まれているある単語や文節に該当する手話表現の動画データを前記手話動画データベースから取りだして表示する手話学習機能付きカラオケ装置とした。

第２の発明は、第１の発明において、手話表現の動画データの表示出力動作に連動して伴奏音楽の進行速度を適宜に可変制御する手段を備えた手話学習機能付きカラオケ装置としている。

第３の発明における手話学習機能付きカラオケ装置は、第１の発明において、手話表現の動画データの表示出力動作に連動して、表示中の歌詞文字列中において当該手話表現に対応する単語や文節を他の文字と区別できるようにしてディスプレイに表示出力する手段を備えている。

第４の発明は、第１の発明において、利用者による学習レベルの設定入力を受け付ける手段と、当該入力手段にて設定されたレベルに応じて歌詞文字列中から手話表現の表示対象とする単語や文節の種類を適宜に選出する手段を備えた手話学習機能付きカラオケ装置とし、第５の発明は、第１の発明において、利用者による学習レベルの設定入力を受け付ける手段と、当該入力手段にて設定されたレベルに応じて前記手話表現の動画描出速度を適宜に可変制御する手段を備えた手話学習機能付きカラオケ装置とした。

本発明によれば、カラオケ装置に手話学習機能を付帯させることができる。それによって、膨大なカラオケ楽曲のそれぞれの歌詞が含む多種多様な場面を手話学習に反映させることができる。そのため、学習者が飽きずに継続して学習することができる。また、カラオケ装置は多種多様な人が利用するため、手話に自然に接し、気軽に学習できる環境を提供することができる。したがって手話の普及にも寄与する。

＝＝＝カラオケ装置の概略構成と基本動作＝＝＝
図１は本発明の実施例における手話学習機能付きカラオケ装置の機能ブロック図を示している。この手話学習機能付きカラオケ装置（以下、カラオケ装置）のハードウエア構成は、ＭＩＤＩデータを処理してカラオケ伴奏音楽を生成するタイプのカラオケ装置とほぼ同じである。

中央制御部２は、内部にＣＰＵ、ＲＡＭ、ＲＯＭを含むマイコンであり、周辺各構成部を制御して、このカラオケ装置１を統括している。ハードディスク装置３は、多数曲分のカラオケ楽曲について、ＭＩＤＩ形式によって記述されたカラオケ伴奏音楽の起源となる音楽生成データと、その楽曲演奏に同期して描出する歌詞画像の生成起源となる歌詞描出データとをカラオケデータとして格納している。また、歌詞画像がスーパーインポーズされるムード映像を指定するための映像台本データも各楽曲に対応付けされている。

中央制御部２は、リモコン送信器５や操作パネル６などのユーザインタフェースにて指定入力されたリクエスト楽曲の楽曲番号（楽曲ＩＤ）を操作制御部７を介して受け取ると、その入力順と楽曲番号とを対応づけてＲＡＭに格納することでこの楽曲の演奏予約処理を行う。そして、その楽曲の演奏順番になると、ハードディスク装置３より該当の音楽生成データ・歌詞描出データ・映像台本データを取り出して処理する。

音楽生成データはシンセサイザ８に順次転送され、ここで生成された伴奏音楽のオーディオ信号とマイクロホン１１から入力されたオーディオ信号はミキシングアンプ９に入力され、その混合オーディオ信号がスピーカ１０に向けて出力される。また、歌詞描出データを処理して伴奏音楽に同期した歌詞文字列を生成する。歌詞描出データは全歌詞文字を適宜な小節ごとに区切って文字列とし、その文字列の表示／消去順序（歌詞描出シーケンス）や文字列の表示位置などの情報と、各文字列の表示／消去タイミングや文字列中の各文字における色変えタイミング（歌唱時機指示）などの各情報を記述している。中央制御部２は指定の歌詞文字列を含んだ歌詞画像を指定のタイミングで生成するとともに、その歌詞文字列中の各文字を指定のタイミングで色変えていくような歌詞画像を逐次生成し、その画像をビデオＲＡＭ１２に順次ビットマップ展開していく。

光ディスクチェンジャ１３は、歌詞画像の背景として使用されるムード映像の生成起源となる長時間分の映像データを多数の光ディスクに分割して格納している。本実施例では、光ディスクとしてＣＤ−ＲＯＭを採用し、各ＣＤ−ＲＯＭには、周知のビデオＣＤと同じく、再生時間にして７４分の映像に相当するＭＰＥＧ１形式の映像データが記録されている。そして、多数のＣＤ−ＲＯＭを収納する媒体格納部と、ＣＤ−ＲＯＭ駆動装置と映像データの復号回路とを含むプレーヤと、適宜なＣＤ−ＲＯＭを媒体格納部から取り出してプレーヤに装填する搬送機構を内蔵している。

映像台本データは、いつ・どのディスクの・どこに記録されている映像データを復号するのかを記述したデータであり、この例では、カラオケ楽曲の演奏開始時点を起点とした経過時間と、光ディスクチェンジャの媒体格納部におけるＣＤ−ＲＯＭ格納位置（ディスク番号）と、ＣＤ−ＲＯＭのデータセクタ毎に割り当てられたセクタアドレスを記述している。なお、セクタアドレスとして、ＣＤ−ＲＯＭに収録されている映像を最初から再生したときの経過時間に対応した分／秒／フレームが記載されている。

中央制御部２は、この映像台本データに従って光ディスクチェンジャ１３を制御し、指定のＣＤ−ＲＯＭを内蔵のプレーヤにて駆動させ、そのＣＤ−ＲＯＭの指定の記録位置から映像データを復号させてムード映像の映像信号として出力させる。それによって、短時間分の映像データが順次復号されながらつなぎ合わされて一連のムード映像に編集される。映像制御部１４は、ビデオＲＡＭ１２にビットマップ展開される歌詞画像を光ディスクチェンジャ１３が再生する適宜なムード映像の映像信号にスーパーインポーズし、歌詞画像入りのムード映像をディスプレイ１５に表示出力する。

また、この例の光ディスクチェンジャ１３は２系統のＣＤ−ＲＯＭ駆動装置を内蔵し、映像台本データは、同じＣＤ−ＲＯＭに記録されている映像データが連続して指定されないようにあらかじめ作成されている。そして、光ディスクチェンジャ１３は、２系統のプレーヤのそれぞれに装填されたＣＤ−ＲＯＭから読み出されて復号された映像データを交互に出力している。それによって、短時間分の映像が切り替わるときに映像が途切れてしまわないようにしている。なお、この例の構成に限らず、映像データをハードディスク装置に格納したり、ソフトウエアによって映像データを復号したりする構成も考えられる。

＝＝＝手話動画データベース＝＝＝
本実施例のカラオケ装置１は、従来のカラオケ装置と同様のハードウエア構成としながら、中央制御部２が実行するソフトウエアやそのソフトウエアが使用するデータベース構造を工夫することで手話学習機能を実現している。

手話言語における単語や例文に対応する手話動作はムード映像と同様にＣＤ−ＲＯＭに映像データ（手話動画データ）として格納されている。本実施例では、光ディスクチェンジャ１３に手話動画データが専用に収録されているＣＤ−ＲＯＭが複数枚格納されている。また、文字言語における単語や例文を集約し、各単語や例文に対応する手話動画データの記録場所とを対応付けした単語／例文集がハードディスク装置３に格納されて用意されている。図２はこの単語／例文集のデータ構造を概略的に示している。多数の文字列にＣＤ−ＲＯＭを特定するためのディスク番号と、そのディスクにおけるデータ記録位置（セクタアドレス）とを対応付けしている。

また、多数のカラオケ楽曲には手話学習に適していると思われる楽曲が手話学習曲としてあらかじめ登録されている。本実施例では、比較的テンポが遅く、歌詞文字列に含まれる文字言語が日本語のみである楽曲を手話学習曲として選定している。そして、これらの手話学習曲の楽曲番号一覧がハードディスク装置３に記憶されて用意されている。したがって、この一覧を更新することで、他のカラオケ楽曲を新規の手話学習曲として登録することができる。もちろん、音楽生成データや歌詞描出データ中に当該楽曲が手話学習曲である旨の符合を付記し、中央制御部２がこの符合を認知することで通常のカラオ楽曲と手話学習曲とを識別してもよい。

＝＝＝手話学習機能におけるカラオケ装置の動作＝＝＝
利用者がユーザインタフェース（５、６）を適宜に操作して、動作モードを手話学習機能に切り替える。そして、利用者が手話学習曲を一般のカラオケ楽曲と同様にして楽曲番号をユーザインタフェース（５、６）を介してカラオケ装置１に入力し、この楽曲を演奏予約させる。中央制御部２は、手話学習モードにおいて、手話学習曲の演奏順番になると、該当の音楽生成データと歌詞描出データとを取り出す。

中央制御部２は、手話学習曲の音楽生成データを処理して伴奏音楽を音響出力するとともに、歌詞描出データを処理して歌詞文字列を表示していく。本実施例では、歌詞文字列に対する色変え制御は行わず、文字列の表示／消去だけを伴奏音楽の進行に合わせて行う。そして、表示出力中の歌詞文字列から単語単位の文字や文字列を抽出し、その抽出した文字列を単語／例文集に照会していく。該当する手話動画データが対応付けされている場合には光ディスクチェンジャ１３を制御し、その文字列に相当する手話動画データを復号させてディスプレイに表示する。このとき、表示中の手話動作に該当する歌詞の文字部分を他の文字と異なる色にした歌詞画像を生成してビデオＲＡＭにビットマップ展開する。それによって、歌詞文字列中のどの単語が手話言語に翻訳されているのかが利用者にわかるようにしている。もちろん、歌詞描出データ中の文字列とは別に、手話動作に対応する単語や例文の文字列を手話動画データとして一体的にＣＤ−ＲＯＭに記録しておき、その文字列入りの手話動作を映像表示することも可能である。なお、手話動画が表示されていないときは、歌詞文字列をブルーバックなど単色の画面を背景にして表示している。

また、この例では、手話映像の表示中にシンセサイザ８への音楽生成データ転送を休止して、伴奏音楽を一時停止状態にしている。そして、ある単語の手話動画が一通り表示されると、伴奏音楽の一時停止状態を解除している。それによって、ある単語の手話動作が確実に表示されてから、つぎの単語の手話動作へ移行できるようにしている。もちろん、シンセサイザ８への音楽生成データ転送速度を遅くして伴奏音楽の進行テンポを遅くしてもよい。図３は、本実施例における手話学習モードの動作状態をディスプレイに手話動画が表示されているときの概略画面図によって示している。

＝＝＝その他の実施例＝＝＝
上記実施例では、手話学習曲の歌詞文字列を表示しているときにリアルタイムで単語を抽出して該当する手話動画データを復号・出力していた。この制御方式に限らず、例えば、手話学習曲を演奏処理するのに先立って、当該楽曲の歌詞描出データを事前に調査して単語を単語／例文集に照会し、対応する手話映像データの記録場所とその手話映像データの表示タイミングとを記述したスケジュールを作成しておいてもよい。そして、当該手話学習曲の音楽生成データを処理する際に、そのスケジュールに則って該当する手話映像データを指定のタイミングで復号する方式も考えられる。また、作成したスケジュールを記憶しておけば、次回に同じ楽曲が手話学習曲として指定された場合にスケジュール作成処理を省略することができる。

もちろん、手話に翻訳すべき単語の文字列部分が識別できるように歌詞描出データ中に適宜な識別符号を付帯させておいてもよいし、楽曲番号に翻訳すべき単語を対応付けしたテーブルを用意しておいてもよい、そして、手話学習機能によって楽曲を演奏処理する際、表示中の歌詞文字列中に識別符号が付された単語や、テーブルによって指定された単語が抽出されると該当の手話映像を表示することもできる。

また、事前に歌詞文字列中の単語を調査する場合、手話言語に対応付けされている単語で出現頻度の高い所定数の単語のみを手話言語に翻訳することとしてもよい。それによって、所定数の単語の手話動作を集中的に学習することができる。

利用者の手話熟達度に応じて手話に翻訳する単語を適宜に選択することもできる。例えば、ユーザインタフェースを初級・中級・上級など、学習レベルの設定入力を受け付けるようにしておき、単語／例文集に収録されている各文字列にレベルを示す符合を付記しておく。あるいはレベル毎に異なる単語／例文集を用意しておく。そして、設定されたレベルに対応する単語については手話に翻訳する。

また、学習レベルに応じて表示出力される手話映像を早回しやスローモーションにするなど、適宜にその再生速度を可変制御してもよい。

上記実施例では、手話動画が表示されていないときは、単色画面に歌詞文字列をスーパーインポーズしていた。この構成に限らず、通常のカラオケ楽曲演奏時と同様にムード映像に歌詞画像をスーパーインポーズしておき、手話動画を２画面表示や子画面表示などの周知の映像挿入方式によってディスプレイ画面上に同時に表示してもよい。

本発明の実施例における手話学習機能付きカラオケ装置の機能ブロック図である。 上記実施例にて処理される単語／例文集の概略データ構造図である。 上記実施例のディスプレイに表示される手話動画画面を示す概略図である。

符号の説明

１ カラオケ装置
２ 中央制御部
３ ハードディスク装置
１３ 光ディスクチェンジャ
１５ ディスプレイ

Claims (5)

1. 指定された楽曲のカラオケ伴奏音楽を音響出力するとともに、その伴奏音楽に同期して歌詞文字列を表示出力するカラオケ装置において、文字言語における多数の単語や例文のそれぞれに動画表現された手話言語を対応付けして編集した手話動画データベースを設け、ある楽曲のある演奏時点で表示されている歌詞文字列に含まれているある単語や文節に該当する手話表現の動画データを前記手話動画データベースから取りだして表示することを特徴とする手話学習機能付きカラオケ装置。
2. 請求項１において、手話表現の動画データの表示出力動作に連動して伴奏音楽の進行速度を適宜に可変制御する手段を備えたことを特徴とする手話学習機能付きカラオケ装置。
3. 請求項１において、手話表現の動画データの表示出力動作に連動して、表示中の歌詞文字列中において当該手話表現に対応する単語や文節を他の文字と区別できるようにしてディスプレイに表示出力する手段を備えたことを特徴とする手話学習機能付きカラオケ装置。
4. 請求項１において、利用者による学習レベルの設定入力を受け付ける手段と、当該入力手段にて設定されたレベルに応じて歌詞文字列中から手話表現の表示対象とする単語や文節の種類を適宜に選出する手段を備えたことを特徴とする手話学習機能付きカラオケ装置。
5. 請求項１において、利用者による学習レベルの設定入力を受け付ける手段と、当該入力手段にて設定されたレベルに応じて前記手話表現の動画描出速度を適宜に可変制御する手段を備えたことを特徴とする手話学習機能付きカラオケ装置。
   

Images