JP2000214764A - 手話メ―ル装置 - Google Patents

Abstract

(57)【要約】 【課題】手話動作を音声言語に変換したり音声言語で入
力された情報を手話動作に変換し、入力情報に含まれる
言語情報および非言語情報をメールとして送受信する。 【解決手段】音声言語で入力された情報から言語情報お
よび非言語情報を抽出し、同情報を用いて手話動作を生
成する手段と、手話動作として入力された情報から音声
言語情報を生成する手段を構築する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手話アニメーショ
ンを生成し、同アニメーション情報をメール情報として
送受信する情報処理装置に関する。

【０００２】

【従来の技術】近年、ユニバーサルデザインの提唱にも
見られるように、健常者が享受しているサービスを障害
者も同様に受けるために、障害者用の特別なサービス体
系を構築するのではなく、健常者が受けるサービスの中
に障害者をも取り込んだ体系を構築する傾向がある。た
だし、この傾向は最近始まったことであり、現状、サー
ビスとして具体化している装置は少ない。

【０００３】聴覚障害者に焦点を当てると、聴覚障害者
の間でも電子メールの利用が浸透しつつあるが、聴覚障
害者どうしの対話においては通常手話が用いられている
ため、健聴者が音声言語でメールを書くような自然さは
得られていないと考えられる。

【０００４】

【発明が解決しようとする課題】聴覚障害者にとって自
然な会話手段である手話動作をメールで送信することが
可能になれば、聴覚障害者どうしのメール交換において
も健聴者と同様に、より会話性の高い対話が可能となる
と考えられる。したがって、聴覚障害者が、手話動作を
メールとして送受信可能とする手段を構築することが必
要となる。さらには、メールを送信する側あるいは受信
する側が、必ずしも聴覚障害者とは限らず、送信側が聴
覚障害者であって受信側は聴覚障害者および健聴者であ
ったり、送信者側が健聴者であって受信側は聴覚障害者
である場合もある。

【０００５】したがって、聴覚障害者が手話で表現した
情報をテキスト情報等の健聴者が利用している媒体に変
換する手段が必要となる。さらに、健聴者側が入力した
テキスト情報等を聴覚障害者の利用媒体である手話情報
に変換する手段が必要となる。特に入力情報が手話情報
である場合、上記情報中には、言語情報のみが含まれて
いるのではなく、強調情報や感情情報といった情報をも
含まれているため、健聴者から聴覚障害者、また、聴覚
障害者から健聴者に送信する場合には、上記情報をも変
換する手段が必要となる。

【０００６】また、テキスト情報を入力して手話情報に
変換する場合には、上記テキスト情報に強調情報や感情
情報を付加する手段がある方が健聴者が音声言語でメー
ルを書くような対話性を持つことが可能となる。

【０００７】

【課題を解決するための手段】上記課題を達成するため
の本発明の一態様によれば、少なくともテキスト等の情
報を入力可能とする情報入力手段と、手話単語見出し情
報を用いて手話アニメーションを生成するアニメーショ
ン生成手段と、テキスト等の入力情報や手話単語見出し
情報等を格納する情報格納手段と、上記テキスト情報や
アニメーション情報を表示する情報表示手段と、データ
を電話回線等を用いて送受信するデータ通信手段を有す
る情報処理装置において、手話単語見出しを入力するこ
とにより自動生成されたアニメーションに対してユーザ
が編集を加えた手話アニメーションデータから非言語情
報を抽出し、上記手話単語見出しと非言語情報を上記デ
ータ通信手段を用いて送信すると、送信した上記手話単
語見出しと非言語情報を、手話アニメーション、テキス
ト表示、音声出力といった受信側あるいは送信側で設定
した情報出力手段に対応するデータ表示形式に変換す
る。

【０００８】上記データ形式変換に当たり、手話情報、
テキスト情報、音声情報に関する非言語情報の対応デー
タを有する。また、上記手話アニメーション生成手段に
より手話単語見出し列情報から生成した手話アニメーシ
ョンに対してユーザが強調表現や感情表現を付加したデ
ータと付加以前のデータとの差分値を算出し、算出され
た上記差分値により強調表現情報と感情表現情報等の非
言語情報を抽出する。

【０００９】また、ユーザが日本語入力を行なった場
合、入力された日本語文を送信すると、受信側において
上記形態素解析手段を用いて上記日本語文を解析し、解
析した結果として得られた分割単語と隣接した分割単語
を結合する隣接単語結合手段と、同分割単語内をさらに
分割する単語内分割手段と、上記情報格納手段に格納さ
れている手話単語見出し対応データ中の日本語単語を分
割する日本語−手話見出し対応データ分割手段と、上記
手段によって作成された結合単語あるいは分割単語を上
記日本語−手話単語見出し対応データと照合し、手話単
語見出しを抽出し、手話単語見出し列を生成する。

【００１０】また、テキスト上においても強調情報や感
情情報等を付加することを可能とし、上記テキスト上に
おいて非言語情報表現個所である強調個所や感情付与個
所を明示すると、上記個所をそれぞれ強調個所、感情付
与個所として記憶し、さらに上記個所に対応する手話ア
ニメーションデータに対して上記当する非言語情報を付
加する。

【００１１】また、ユーザが音声入力を行なった場合に
は、発声情報をＡ／Ｄ変換し、上記変換情報から音韻情
報、音圧情報、音高情報、時間情報を獲得して、さらに
音声で入力された入力内容から強調情報や感情情報とい
った非言語情報を抽出し、上記非言語情報を手話表現と
してアニメーション表示する。

【００１２】また、ユーザが音声出力を指定した場合に
は、上記手話対応非言語情報抽出手段により抽出された
強調表現情報と感情表現情報といった非言語情報を用い
て上記音声合成により手話アニメーション情報を音声情
報に変換してユーザに音声情報として出力する。

【００１３】

【発明の実施の形態】以下、本発明をシステムに適用し
た場合の一実施形態について図面を参照しながら説明す
る。本実施例のシステムは、手話動作、テキスト、音声
を取り扱うシステムであり、手話動作データに含まれる
言語情報や非言語情報を日本語文や音声に変換したり、
テキストや音声から言語情報および非言語情報を抽出
し、上記情報を手話動作に変換したりすると共に、メー
ルシステム上で上記情報を送受信するシステムである。

【００１４】まず、図１を用いて、本発明の実施形態の
一例を説明する。図１は、本発明の構成を示すブロック
図である。１０１は起動されたプログラム処理に応じて
処理を行なうＣＰＵ、１０２はデータ等を記憶する主記
憶装置、１０３は電話回線等のネットワーク情報を管理
制御するネットワーク管理装置、１０４は情報を視覚的
に提示する情報表示装置、１０５は表示装置１０４に対
する表示内容を制御する表示制御装置、１０６は音響や
音声といった音情報のボリューム等を制御する音響出力
制御装置、１０７はスピーカに代表される音響あるいは
音声等を出力する音響出力装置、１０８は音声入力に用
いるマイクロフォンである。実行プログラムおよびアク
セスするデータは、必要に応じて主記憶装置１０２上に
読み込まれ、ＣＰＵ１０１によって本発明に基づくデー
タ処理がなされる。

【００１５】ディスク１０９には、システム全体を制御
するシステムプログラム１１０、ユーザが作成した手話
メールを送受信する手話メール管理プログラム１１１、
入力された手話単語情報あるいはアニメーションとして
表示されている手話表現情報を日本語に変換する手話−
日本語変換プログラム１１２、ユーザが入力したデータ
から手話アニメーションを生成する手話生成プログラム
１１３、ユーザの要求に応じて出力内容を変更する出力
内容制御プログラム１１４、音声情報を入出力する音声
入出力プログラム１１５、入力情報中に含まれる非言語
情報を抽出する非言語情報抽出プログラム１１６、入力
された音声情報を分析する音声情報分析プログラム１１
７、音素片から合成音声を生成する音声合成プログラム
１１８、手話表現情報やテキスト情報等を表示する画像
表示プログラム１１９、テキストを入力するテキスト入
力プログラム１２０、さらにデータベースとして、日本
語単語と手話単語の対応が記述されている日本語−手話
単語見出し対応データ１２１、非言語情報を手話や音声
で表現する規則が記述されている非言語情報対応データ
１２２、合成音声を生成するための音素片の集合体であ
る音源データ１２３、入力された音声を分析するために
必要な音声認識用データ１２４、入力情報の認識あるい
は分析結果を格納する入力情報分析結果格納テーブル１
２５、形態素解析用単語辞書１２６が含まれている。

【００１６】以下に本装置における処理を記述する。説
明にあたっては、図１１ないし図１８に示す各処理フロ
ーを参照する。

【００１７】まず、ユーザがシステムプログラム１１０
を起動する（Ｓ１１０１）。さらに手話メール管理プロ
グラム１１１を起動することにより（Ｓ１１０２）、テ
キスト入力プログラム１２０（Ｓ１３０３）、音声入出
力プログラム１１５（Ｓ１３０４）が起動する。音声入
出力プログラムは、音声入力プログラムと音声出力プロ
グラムから構成されており、ここでは音声入力プログラ
ムが起動する。さらに、画像表示プログラム１１９が起
動して、情報入出力画面を表示する（Ｓ１１０５）。上
記情報入出力画面の一例を図２に示す。

【００１８】まず、メール作成について説明する。メー
ルの作成方法は、３種類用意されている。ひとつは、手
話アニメーション編集機能を用いてアニメーションを生
成する方法、二つ目は、音声入力を行う方法、三つ目
は、テキスト入力を行う方法である。

【００１９】まずはじめに図１２により、手話アニメー
ション編集機能を用いてメールを作成する方法について
説明する。例えば、図２中に示したメニューバー２００
から「メール作成」を選択し、さらに「手話アニメ入力
・編集」と表示されている手話アニメ入力指定メニュー
２０１を選択すると、図３に示すような手話アニメ編集
画面が表示される。同画面上に表示されている「手話単
語見出し入力部」３０１において、ユーザは手話単語見
出しを入力する（Ｓ１２００）。ここでは一例として
「私 山 登る」という手話単語見出し列を入力する。

【００２０】上記手話単語見出し列を入力後、「入力終
了」と表示されている手話単語見出し決定ボタン３０２
を押すと、上記手話単語見出しは時系列情報として Ｌｉｎｇ＿ｈ〔ｉ〕〔ｊ〕 （ｉ＝手話単語見出し出現順番号、ｊ＝文字数） の構造体形式で主記憶装置１０２に記憶される（Ｓ１２
０１）。

【００２１】ここで手話生成プログラム１１３が起動す
る。上記手話生成プログラム１１３は、図４に示すよう
に、手話単語見出し−手話表現変換プログラム１１３
１、手話編集プログラム１１３２、日本語−手話単語見
出し変換プログラム１１３３から構成されている。ま
ず、上記手話単語見出し−手話表現変換プログラム１１
３１により、日本語−手話単語見出し対応データ１２１
から手話単語見出し各々に対応する手話動作データを抽
出する。

【００２２】上記日本語−手話単語見出し対応データの
構造は、例えば図５に示すような構造となっている。４
００には手話単語見出しの登録番号が記述されており、
４０１の「日本語」には日本語単語が登録されている。
また、上記日本語単語に対応した手話単語見出しが４０
２に格納されており、各単語に対応する品詞が４０３に
格納されている。さらに、各手話単語見出しをアニメー
ションとして表示するための手話動作データが４０４に
格納されており、上記手話動作データには、経過時刻４
０４１の時刻に対応した位置データが例えば右手４０４
２中の肘動作データ４０４２１にＸＹＺ軸の３次元で表
現された位置情報として格納されている。また、４０４
３には、各単語中において動作が静止する静止点をＡと
いうフラグで記述し、４０４４には、動作方向を表すベ
クトルの方向変換点であるベクトル変換点をＡというフ
ラグで記述している。

【００２３】具体的には、例えば、上記手法で作成した
オリジナル表示データとして、 ｏｒｇ＿ｆ〔ｉ〕〔ｓ０〕〔ａｘｉｓ〕 （ｉ＝単語出現番号、ｓ０＝単語内フレーム番号、ａｘ
ｉｓ＝軸（ｘ＝０，Ｙ＝１，Ｚ＝２） というオリジナルデータ構造体が作成され、さらに上記
構造体に対するサブ構造体として、 〔ｐａｒｔ〕：動作軸点の大分類４０４２、 〔ｓｕｂ＿ｐａｒｔ〕：動作軸点の小分類４０４２１、 〔ｄａｔａ＿ｎ〕：上記対応データにおける登録番号、 〔ｐｅｒｍ〕：座標値 で構成される構造体が作成され、上記オリジナル表示デ
ータが格納される。

【００２４】上記格納が行われると、手話単語見出しと
同列に格納されている上記動作データを用いて、例え
ば、手話編集システム「Ｍｉｍｅｈａｎｄ」（（株）日
立製作所）における機能により、画面に表示されている
ＣＧキャラクタの手指動作や表情等を表示制御装置１０
５および情報表示装置１０６を通してアニメーション表
示する（Ｓ１２０２）。

【００２５】ここでユーザは、上記アニメーション表示
情報に対して強調表現や感情表現を付与することが可能
である（Ｓ１２０３）。例えば、図６に示すような表示
画面において、まず、図６の右下部に表示されているメ
ニュー中の「表現情報表示部」から手話動作の変更を行
うフレームを選択する。次にメニューから「編集ツー
ル」を選択し、例えば右手を編集対象としたい場合に
は、「右手」を選択する。さらに「肘」を選択した後、
「上下」「左右」「前後」のメニュー脇にあるスクロー
ルボタンを動かすと、選択したフレームにおける「肘」
の位置がスクロール量に応じて変動する。

【００２６】各フレーム毎に上記操作を行ない、フレー
ム毎に変動後の位置情報を Ｃｈａｎｇｅ＿ｆ〔ｉ＿１〕〔ｓ１〕〔ａｘｉｓ〕 という変更データ格納構造体について、さらに 〔ｐａｒｔ〕：ｐａｒｔ＝動作個所の大分類、 〔ｓｕｂ＿ｐａｒｔ〕：動作個所の小分類、 〔ｐｅｒｍ〕：座標値、 〔ｄａｔａ＿ｎ１〕：上記対応データにおける登録番号 を構成要素とする構造体が作成され、変動後データ格納
用構造体として編集されたデータを記憶する。

【００２７】また、動作時間長を長くしたい場合には、
例えば図７に示すように、編集個所の始端と終端を、例
えばカーソル５０２を操作するマウスで確定し、上記始
端、終端をドラッグすることで全体の時間長の伸縮操作
を行う。上記操作において時間長を伸ばした場合には、
手話編集プログラム１１３２により、例えば、伸長した
時間長に適合するように均等にフレームを挿入して線形
補完し、縮めた場合には、上記当個所からフレームを均
等に間引いて線形補完するといった操作を行う。この場
合、Ｃｈａｎｇｅ＿ｆのｓ１：フレーム番号は、挿入あ
るいは削除されて登録される。

【００２８】ここで、非言語情報抽出プログラム１１６
が起動し、非言語情報対応データ１２２、および上記日
本語−手話単語見出し対応データを用いて入力情報から
の非言語情報抽出を行う（Ｓ１２０４）。

【００２９】ここでは例として、強調表現の抽出を行
う。手話における強調表現の特徴として語順の変化があ
る。ここでは、上記語順の変化および手話動作の軌跡と
時間長の変化を強調表現の特徴量として扱う。

【００３０】まず、手話単語見出しの語順を比較する。
上記非言語情報対応データ１２２の構造は、例えば図８
に示すような構造となっており、シンボル番号により、
手話データ部、音声データ部、テキストデータ部に格納
されている非言語データを相互に参照する構造となって
いる。

【００３１】上記手話データ部の構造は、例えば、図９
に示すような構造となっている。強調情報および複数の
感情情報といった非言語情報の種類を示すシンボル番号
９０１、シンボルを抽出するにあたり比較関数とする比
較対象９０２、上記比較対象の具体的な比較用特徴量モ
デル９０３、非言語情報基本モデル９０４により構成さ
れている。また、音声データ部の構造は、図１０に示す
ような構造になっている。

【００３２】以下では、強調表現を例として説明する。
強調表現としては、ひとつに、強調表現を伴う場合の語
順が文法情報として格納されており、上記文法情報と入
力された単語の語順とを比較する。Ｌｉｎｇ＿ｈ〔ｉ〕
に格納されている手話単語見出しデータと同列に記述さ
れている品詞記述内容から語順を判断する。例えば、Ｌ
ｉｎｇ＿ｈ〔ｉ〕に「私」「登る」「山」という語順で
入力されていた場合には、上記品詞情報から「Ｓ」
「Ｖ」「Ｏ」構文を抽出する。次に、上記非言語情報対
応データ１２２に格納されている強調構文パタン「Ｓ，
Ｖ，Ｏ」と照合し、照合が取れた場合には、ｌｉｎｇ＿
ｈ〔ｉ〕を強調個所格納メモリｃｏｎｖ＿ｖ１として主
記憶装置１０２に格納する。この場合は、「Ｏ」の
「山」を格納する。

【００３３】二つ目として、動作の大きさや表現時間長
に関して平叙動作と強調や感情が含まれる動作との差分
値により強調表現を検出する。各手話単語動作データに
ついて、平叙動作値である ｏｒｇ＿ｆ〔ｉ〕〔ｓ０〕〔ａｘｉｓ〕 と入力された手話アニメーション情報中の値である Ｃｈａｎｇｅ＿ｆ〔ｉ＿１〕〔ｓ〕〔ａｘｉｓ〕 との差分値を上記非言語情報対応データ１２２中の比較
用特徴量モデル６０３に代入し、モデルに合致した単語
が検出された場合には、上記単語を強調表現として上記
文法情報の場合と同様にＮｏｎ−Ｖ１として主記憶装置
１０２に格納する。上記比較用特徴量モデルの概要を以
下に示す。

【００３４】１）時間長モデル １−１） ｗｏｒｄ＿ｄｅｆ〔ｉ〕＝（ｓ−ｓ０）（ｓ−ｓ０）／
ｓ０ （ｉ＝出現順単語番号）：各単語における時間長変動率
の算出 １−２） 文中の単語において、最も時間長変動率が大きい単語ｄ
ｅｆ＿ｌｅｇを検出 ｄｅｆ＿ｌｇ＝０； ｆｏｒ（ｊ＝０；ｊ＜ｉ；ｊ＋＋）｛ ｉｆ（ｗｏｒｄ＿ｄｅｆ〔ｊ＋１〕−ｗｏｒｄ＿ｄｅｆ〔ｊ〕＞０）｛ ｄｅｆ＿ｌｇ＝ｊ＋１； ｝ ２）座標値変動量モデル ２−１） 静止点の検出およびフレーム間のベクトル値の検出 各フレーム間のユークリッド距離を座標値から求める。

【００３５】ｌｅｎｇｔｈ〔ｔｉｍｅ〕〔ｄｅｆ〕 は、各フレーム間の距離を示す。

【００３６】次に、 ｌｅｎｇｔｈ〔ｔｉｍｅ〕〔ｄｅｆ〕 がある値よりも小さい場合には、上記フレーム間では移
動がなかったと判断し、静止フレーム間長とする。さら
に、上記静止フレーム間長が連続して、例えば３フレー
ム以上検出された場合には、上記フレーム間長群を静止
点とし、 ｌｅｎｇｔｈ〔ｔｉｍｅ〕〔ｐｏｉｎｔ＿ｓｃ〕 に、静止点のフラグとして「１」を代入する。静止点で
ない場合には、「０」が代入されている。また、各フレ
ーム間の方向ベクトル値が上記フレーム間の前後のベク
トル値と比較して有意差があった場合には、有意差が認
められた２方向の方向ベクトルの接点を方向変更座標値
としてＶｅｃｔｏｒ〔ｎｕｍｂｅｒ＿ｖ〕〔ｐｏｓｉｔ
ｉｏｎ＿ｖ〕（ｎｕｍｂｅｒ＿ｖ＝変更点番号、ｐｏｓ
ｉｔｉｏｎ＿ｖ＝１（変更点フレーム番号））に登録す
る。

【００３７】２−２） 静止点滞留時間および静止点間、ベクトル変更点間の加
速度値の算出 静止点フラグがある値以上連続して存在した場合には、
上記静止点群を静止点滞留フレーム群として、静止点群
フレーム位置を示す構造体 ｓｔ＿ｄｕｒ〔ｎｕｍｂｅｒ〕〔ｐｏｓｉｔｉｏｎ〕
（ｎｕｍｂｅｒ＝静止点群番号、ｐｏｓｉｔｉｏｎ＝０
（開始点フレーム）、１（終了点フレーム）２（静止滞
留時間））に登録する。また、静止点群の終端から始端
に至るまでのフレーム群における加速度値および方向変
更点間の加速度値を求め、それぞれ、ｓｔ＿ｄｕｒ〔ｎ
ｕｍｂｅｒ〕〔４〕に格納する。また、ベクトル変更点
については、Ｖｅｃｔｏｒ〔ｎｕｍｂｅｒ＿ｖ〕〔２〕
に変更点間の加速度値を代入する。

【００３８】２−３） 標準値と実動作値の比較 非言語情報対応データ１２１に登録されている静止点群
４０４３の静止滞留時間値、および静止点間とベクトル
変更点４０４４間の加速度値と上記値に表現位置として
対応する２−２で算出された静止滞留時間と加速度値を
比較し、上記滞留時間比がある値ｃｏｎｆ＿ｉ以上であ
った場合、また、加速度値の比がある値ｃｏｎｆ＿ｊ以
上であり、さらに単語間の比較において、ｃｏｎｆ＿Ｉ
の値に関して、そしてｃｏｎｆ＿ｊの値に関して有意差
があった場合には、有意差があった上記単語を強調表現
を伴う単語としてシンボル番号と共に、Ｎｏｎ−Ｖ１に
格納する。

【００３９】ここで、図７に示すように、相手先のアド
レスを指定し（Ｓ１２０５）、手話単語見出し列ＭＨ
〔ｋ〕（ｋ＝０〜ｎ）とＮｏｎ−Ｖ１を手話メール管理
プログラム１１１により送信する（Ｓ１２０６）。

【００４０】次に図１３により、ユーザが音声入力を行
う場合について説明する。ユーザは、マイクロフォン１
０８を用いて音声入力を行う（Ｓ１３０１）。ここで音
声情報分析プログラム１１７が起動する（Ｓ１３０
２）。入力結果は音声入力プログラム１１５により、Ａ
／Ｄ変換され（Ｓ１３０３）、さらに主記憶装置１０２
上の音声波形メモリＴＮに音声波形として記憶される。

【００４１】記憶された音声波形は、上記音声情報分析
プログラムにより、ピッチ抽出および時間長抽出が行わ
れ、さらに音声認識処理が行われる。音声認識処理は、
例えば、音素モデルが格納されている音声認識用データ
１２４を用いて古井貞煕著「ディジタル音声処理」（東
海大学出版会、１９８５）に記載の音声認識手法を用い
て音声認識を行ない、文字列に変換する（Ｓ１３０
４）。

【００４２】上記文字列を上記認識結果格納テーブル１
２５の音声認識結果セル中に格納する。さらに、ピッチ
情報（基本周波数）を例えば２０ｍｓｅｃ毎に抽出し、
認識結果格納テーブル中に、Ｐ〔ｍ〕〔ｎ〕〔ｑ〕（Ｐ

〔０〕

〔０〕

〔０〕、Ｐ

〔０〕

〔０〕〔１〕、−Ｐ
〔ｍ〕〔ｎ〕〔ｑ〕：ｍは文字列番号、ｎはフレーム
数、ｑは２０ｍｓｅｃ毎のピッチ格納序数）の形式で格
納する。

【００４３】さらに、音声認識結果である文字列の発声
始端時刻、終端時刻、発声時間長、そして各音韻長を配
列Ｐより算出し、 Ｌｅｎｇｔｈ〔ｍ〕〔ｄａｔａ〕（Ｌｅｎｇｔｈ

〔０〕、−Ｌｅｎｇｔｈ〔ｍ〕：ｍは文字列番号、ｄａ
ｔａ＝０（発声時間長）、１（発声始端時刻）、２（発
声終端時刻）、３（音韻発声時間長）） の形式で格納する（Ｓ１３０５）。また、上記３（音韻
発声時間長）については、さらに音韻数に相当する配列
を確保し、格納する。

【００４４】上記ピッチ情報Ｐと上記発声時間長Ｌｅｎ
ｇｔｈと、非言語情報基本データ１２２中に含まれてい
る音声非言語情報モデルを用いて上記音声情報に非言語
情報が含まれているかどうかを判断する（Ｓ１３０
６）。上記音声非言語情報モデルには、例えば、隣接単
語間の無音区間平均時間長および単語始端部におけるピ
ッチの立ち上がり傾斜度が表現されている。

【００４５】上記発声時間長やピッチの立ち上がり傾斜
度と対応する実測値の比率がある一定値以上であれば、
上記無音区間直後の単語をシンボル単語と共に強調表現
単語としてｃｏｎｖ＿Ｖ１に登録する。また、各単語の
音韻発声時間長に関して、（実測値）-（非言語情報デ
ータに対応する値）という差分値が単語の始めの音韻か
ら最後の音韻にかけて大きくなる傾向を持つ単語があれ
ば、上記単語の直後の単語を強調表現単語として、ｃｏ
ｎｖ＿Ｖ１に登録する。

【００４６】上記情報モデルによって非言語情報が含ま
れていると判断された場合には、非言語情報のフラグを
主記憶装置１０２に非言語情報フラグをｃｏｎｖ＿ｖ１
として格納する。ここで、送信先を指定し（Ｓ１３０
７）、文字列情報と非言語情報フラグを送信する（Ｓ１
３０８）。

【００４７】次に図１４によりテキスト入力について説
明する。テキスト入力においては、テキスト入力メニュ
ーを開き、図１９に示すように、ユーザがテキストをテ
キスト入力個所に入力する（Ｓ１４０１）。ユーザが強
調表現や感情表現等を付加したい場合には、例えば強調
表現個所にアンダーラインをひいたり（Ｓ１４０２）、
感情表現文に対してフェイスマークを書くといった作業
を行い（Ｓ１４０３）、強調表現については、アンダー
ライン付加部の単語を非言語情報フラグの強調表現とし
てｃｏｎｖ＿Ｖ１に登録し、送信先を指定した後（Ｓ１
４０４）、文字列情報と非言語情報フラグを送信する
（Ｓ１４０５）。

【００４８】次に、図１５により受信側における情報出
力方法について述べる。出力に当たっては、例えばユー
ザがメール受信ボタンを押し、ホストからメールをダウ
ンロードする（Ｓ１５００）。ユーザが表示画面上にあ
る受信メールヘッドラインから読みたいメールを選択し
（Ｓ１５０１）、さらに表示方法を選択する（Ｓ１５０
２）。

【００４９】まず、出力希望情報として手話アニメーシ
ョン情報が選択された場合について図１６により説明す
る（Ｓ１６０１）。まず、送信情報を識別し、送信され
た情報が、手話単語見出し列と非言語情報の組み合わせ
であるのか日本語テキスト文と非言語情報の組み合わせ
であるのかを判断する（Ｓ１６０２）。選択したメール
情報として手話単語見出し列情報と非言語情報が送信さ
れている場合には、非言語情報対応データ中の非言語情
報基本モデル９０４に日本語−手話単語見出し対応デー
タ中に格納されている各単語に対する手話動作データを
代入することにより、非言語情報を付加した手話アニメ
ーション動作を生成し（Ｓ１６０３）、三次元コンピュ
ータグラフィックス（３Ｄ−ＣＧ）での手話アニメーシ
ョンを生成して表示画面に出力する（Ｓ１６０４）。

【００５０】また、送信情報が、音声認識結果であるテ
キスト情報と非言語情報の組み合わせや、テキスト情報
と非言語情報との組み合わせである場合には、日本語−
手話単語見出し変換プログラム１１３３が起動する（Ｓ
１６０５）。上記日本語−手話単語見出し変換プログラ
ムは、形態素解析プログラム１１３３１と日本語単語−
手話単語見出し変換プログラム１１３３２により構成さ
れている。

【００５１】まず、送信されたテキスト情報を上記形態
素解析プログラムと形態素解析用単語辞書１２６によ
り、例えば、形態素解析システム「ＡＮＩＭＡ」（櫻井
博文、久光徹，形態素解析プログラムＡＮＩＭＡの設計
と評価，情報処理学会第５４回全国大会論文集（１９９
７年３月））に示されているような形態素解析手法を用
いて、上記文を単語に分割し、単語の品詞や活用形等の
情報を単語情報構造体 Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔ｊ〕 （ｉ＝単語出現順番号、ｊ＝情報の種類（１＝単語表
記、２＝終止形表記、３＝品詞、４＝時制、５＝読み
…）） として格納する（Ｓ１６０６）。

【００５２】さらに、上記日本語単語―手話単語見出し
変換プログラムによって日本語−手話単語見出し対応デ
ータ１２１中の日本語単語データと上記Ｗｏｒｄ＿ｉｎ
ｆｏ〔ｉ〕〔２〕の終止形表記情報との照合を行い、さ
らに上記データ１２１中の品詞情報とＷｏｒｄ＿ｉｎｆ
ｏ〔ｉ〕〔３〕の品詞情報との照合を行ない、単語表記
および品詞の両者の照合に成功した場合には、Ｗｏｒｄ
＿ｉｎｆｏ〔ｉ〕〔ｊ＋１〕に手話単語見出しを格納す
る（Ｓ１６０７、Ｓ１６０８）。

【００５３】また、上記照合に失敗した場合には、Ｗｏ
ｒｄ＿ｉｎｆｏ〔ｉ〕〔２〕を分割し、分割された複数
単語と日本語−手話単語見出し対応データ１２１中の日
本語単語データとの照合を行なって、上記日本語単語デ
ータによりＷｏｒｄ＿ｉｎｆｏ〔ｉ〕〔２〕が構成可能
であった場合には、Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔ｊ＋
１〕に、照合に成功した上記日本語単語の複数データを
格納する（Ｓ１６０９）。

【００５４】さらに、送信された非言語情報について
は、例えば、強調個所の語順変更を行なう。強調個所が
同モデルに当てはまる場合には、非言語情報対応モデル
中に記述されている構文モデルに従いＷｏｒｄ＿ｉｎｆ
ｏ〔ｉ〕〔ｊ＋１〕の〔ｉ〕の出現順序を変更する。

【００５５】また、動作表現情報が送信されている場合
には、強調個所を、非言語情報対応データ中のアニメー
ション強調モデルを用い、強調個所として指定されてい
る単語と同列に記述されている日本語−手話単語見出し
対応データ１２１中の手話動作データを変更し、強調表
現を付加する。感情表現についても同様に、非言語情報
に対応した感情表現モデルを用いて上記手話動作データ
を変更する。最終的に、変更された上記手話動作対応デ
ータにより手話アニメーションを生成し、図３に示すよ
うな手話動作出力画面に３次元（３Ｄ）表示する（Ｓ１
６１０）。

【００５６】次に図１７により、ユーザがテキスト情報
での出力を選択した場合について説明する。送信された
データを識別し（Ｓ１７０１）、上記送信データが、手
話単語見出し列と非言語情報であった場合、手話−日本
語変換プログラム１１２が起動し（Ｓ１７０２）、メー
ルとして送信された手話単語見出し列の情報と日本語−
手話単語見出し対応データ１２１との照合を行ない（Ｓ
１７０３）、各手話単語見出しに対応した日本語単語を
検索する。

【００５７】検索結果として得られた日本語単語列を、
上記単語列の品詞情報を用いてＳ−Ｏ−Ｖ等の構文モデ
ルに当てはめ（Ｓ１７０４）、上記単語列が矛盾なく当
てはまる構文モデルが検出された場合には、構文モデル
に付随する格助詞を上記単語に結合させて、Ｗｏｒｄ＿
ｂｏｘ〔ｍ〕（ｍ＝単語出現順番号）に格納する（Ｓ１
７０５）。

【００５８】さらに、非言語情報として送信された強調
個所等の情報を非言語情報基本モデルを用いてテキスト
中に付加する（Ｓ１７０６）。例えば、強調個所である
単語にアンダーラインを付加したり、感情情報が付加さ
れている個所にフェイスマークを付加するといった操作
を行う。音声認識結果と非言語情報の組み合わせが送信
された場合には、認識結果をテキスト情報とし、さらに
非言語情報については、強調個所である単語にアンダー
ラインを付加したり、感情情報が付加されている個所に
フェイスマークを付加するといった操作を行う。テキス
ト情報と非言語情報との組み合わせの場合も同様であ
る。

【００５９】次に図１８により、音声出力が指定された
場合について説明する。まず送信データを識別し（Ｓ１
８０１）、送信情報が手話単語見出し列と非言語情報と
の組み合わせの場合には、まず最初に、上記の手話アニ
メーション表示指定の場合と同様に、手話単語見出し列
を手話−日本語変換プログラム１１２により単語に分割
されたテキスト情報に変換する（Ｓ１８０２）。

【００６０】次に、音声合成プログラム１１８を起動
し、例えば、「特願平９−２０５７７３：話者適応機能
を持つ音声合成方式」に記載の手法により上記テキスト
情報を発話記号列に変換する（Ｓ１８０３）。さらに、
上記発話記号列に対応した音源データ列を抽出し、抽出
された音源データ列の各音源の持続時間や単語間の無音
時間長、そして強調直前の単語の音韻時間長を単語の始
端から終端にかけて増幅させるといった操作を行なうこ
とにより、非言語情報を付加する。上記非言語情報対応
データの音声データ部に記述されている非言語情報基本
モデルを用い、強調情報等を付加する（Ｓ１８０４）。
上記付加処理を行なった音源データ列を用いて音声入出
力プログラム１１５中の音声出力プログラム１１５２に
よって音響出力制御装置１０６および音響出力装置１０
７を通して合成音声を出力する（Ｓ１８０５）。

【００６１】

【発明の効果】本発明によれば、自動生成された手話ア
ニメーションにユーザが編集を加えたデータから非言語
情報を抽出し、上記手話単語見出しと非言語情報を上記
データ通信手段を用いて送信すると、送信した上記手話
単語見出しと非言語情報を、手話アニメーション、テキ
スト表示、音声出力といった受信側あるいは送信側で設
定した情報出力手段に対応するデータ表示形式に変換す
ることにより、ユーザが嗜好するデータ形式でメール情
報を獲得することができるようになる。

【００６２】また、上記データ形式変換に当たり、手話
情報、テキスト情報、音声情報に関する非言語情報の対
応データを有することにより、複数のメディアにおける
非言語情報の対応関係を簡便に取得することができるよ
うになる。

【００６３】また、ユーザが強調表現や感情表現を付加
したアニメーションデータと付加以前のアニメーション
データとの差分値を算出し、算出された上記差分値によ
り強調表現情報と感情表現情報を抽出する機能を持つこ
とにより、ユーザが強調表現個所をシンボルとして入力
することなく自動的に強調個所、感情表現個所を推定す
ることが可能になる。

【００６４】また、ユーザが日本語入力を行なった場
合、入力された日本語文を送信すると、受信側において
上記形態素解析手段を用いて上記日本語文を解析し、解
析した結果として得られた分割単語と隣接した分割単語
を結合する隣接単語結合手段と、同分割単語内をさらに
分割する単語内分割手段と、上記情報格納手段に格納さ
れている手話単語見出し対応データ中の日本語単語を分
割する日本語−手話見出し対応データ分割手段と、上記
手段によって作成された結合単語あるいは分割単語を上
記日本語−手話単語見出し対応データと照合し、手話単
語見出しを抽出し、手話単語見出し列を生成することに
より、日本語単語と手話単語見出しにおける表現単位の
差を吸収することが可能になる。

【００６５】また、テキスト上においても強調情報や感
情情報等を付加することを可能とし、上記テキスト上に
おいて非言語情報である強調個所や感情表現個所を明示
すると、上記個所を非言語情報フラグと共にそれぞれ強
調個所、感情表現個所として記憶する。

【００６６】また、ユーザが音声入力を行なった場合に
は、発声情報をＡ／Ｄ変換し、上記変換情報から音韻情
報、音圧情報、音高情報、時間情報を獲得して、さらに
音声で入力された入力内容から強調情報や感情情報とい
った非言語情報を抽出し、上記非言語情報を手話表現と
してアニメーション表示することにより、テキスト情報
における強調情報、感情情報をもアニメーションとして
表示することが可能になる。

【００６７】また、ユーザが音声出力を指定した場合に
は、上記手話対応非言語情報抽出手段により抽出された
強調表現情報と感情表現情報といった非言語情報、およ
び上記手話単語見出しを用いて上記音声合成により手話
アニメーション情報を音声情報に変換してユーザに音声
情報として出力することにより、手話情報として入力さ
れた強調情報や感情情報を音声情報として獲得すること
が可能となり、日常的に利用している言語での非言語情
報のやりとりが可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例の手話メール装置の構成を示
すブロック図。

【図２】本発明の一実施例での表示画面の一例を示す説
明図。

【図３】手話アニメ編集入力を行うための表示画面の一
例を示す説明図。

【図４】手話生成プログラム１１３の構成を示す一例を
示すブロック図。

【図５】日本語−手話単語見出し対応データの構造の一
例を示す説明図。

【図６】手話メール編集操作画面の一例を示す説明図。

【図７】手話メール編集操作画面の一例を示す説明図。

【図８】非言語情報対応データ１２２の構造の一例を示
す説明図。

【図９】非言語情報対応データ１２２の手話データ部の
構造の一例を示す説明図。

【図１０】非言語情報対応データ１２２の音声データ部
の構造の一例を示す説明図。

【図１１】本発明の一実施例の処理フロー図。

【図１２】本発明の一実施例の処理フロー図。

【図１３】本発明の一実施例の処理フロー図。

【図１４】本発明の一実施例の処理フロー図。

【図１５】本発明の一実施例の処理フロー図。

【図１６】本発明の一実施例の処理フロー図。

【図１７】本発明の一実施例の処理フロー図。

【図１８】本発明の一実施例の処理フロー図。

【図１９】テキスト入力操作画面の一例を示す説明図。

【符号の説明】

１０１…ＣＰＵ、１０２…主記憶装置、１０３…ネット
ワーク管理装置、１０４…情報表示装置、１０５…表示
制御装置、１０６…音響出力制御装置、１０７…音響出
力装置、１０８…マイクロフォン、１０９…ディスク、
１１０…システムプログラム、１１１…手話メール管理
プログラム、１１２…手話−日本語変換プログラム、１
１３…手話生成プログラム、１１４…出力内容制御プロ
グラム、１１５…音声入出力プログラム、１１６…非言
語情報抽出プログラム、１１７…音声情報分析プログラ
ム、１１８…音声合成プログラム、１１９…画像表示プ
ログラム、１２０…テキスト入力プログラム、１２１…
日本語−手話単語見出し対応データ、１２２…非言語情
報対応データ、１２３…音源データ、１２４…音声認識
用データ、１２５…認識結果格納テーブル、１２６…形
態素解析用単語辞書。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹内 勝 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 Ｆターム(参考） 2C028 AA06 BB04 BD01 BD02

Claims (8)

【特許請求の範囲】
1. 【請求項１】少なくともテキスト等の情報を入力可能と
   する情報入力手段と、手話単語見出し情報を用いて手話
   アニメーションを生成するアニメーション生成手段と、
   テキスト等の入力情報や手話単語見出し情報等を格納す
   る情報格納手段と、上記テキスト情報やアニメーション
   情報等を表示する情報表示手段と、データを電話回線等
   を用いて送受信するデータ通信手段を有する情報処理装
   置において、手話単語見出しを入力することにより自動
   生成されたアニメーションにユーザが編集を加えたデー
   タから非言語情報を抽出する手話非言語情報抽出手段
   と、上記手話単語見出しと非言語情報を上記データ通信
   手段を用いて送信すると、送信した上記手話単語見出し
   と非言語情報を用いて、手話アニメーション、テキスト
   表示、音声出力といった受信側あるいは送信側で設定し
   た情報出力手段に対応するデータ表示形式に変換する手
   話データ変換手段を有することを特徴とする手話メール
   装置。
2. 【請求項２】請求項１に記載の手話メール装置におい
   て、手話情報、テキスト情報、音声情報各々の媒体によ
   って表現される非言語情報の対応データを有することを
   特徴とする手話メール装置。
3. 【請求項３】請求項２に記載の手話メール装置におい
   て、上記手話アニメーション生成手段により手話単語見
   出し列情報から生成した手話アニメーションに対してユ
   ーザが強調表現や感情表現を付加したデータと付加以前
   のデータとの差分値を算出し、算出された上記差分値に
   より強調表現や感情表現等の非言語情報を抽出する手話
   対応非言語情報抽出手段を有することを特徴とする手話
   メール装置。
4. 【請求項４】請求項３に記載の手話メール装置におい
   て、ユーザが編集したアニメーションデータから静止
   点、静止点間の加速度値、静止点滞留時間、単語長、お
   よび文時間長に対する単語長の比率、構文といった特徴
   量を検出する編集データ特徴量抽出手段と、上記手段に
   よって検出された特徴量と既に基本データとして登録さ
   れている上記特徴量との差分値を算出する差分値算出手
   段を有することを特徴とする手話メール装置。
5. 【請求項５】請求項１に記載の手段およびテキスト等の
   文字列情報を品詞や活用形等の情報を含む単語情報に分
   割する形態素解析手段を持つ手話メール装置において、
   上記情報入力手段を用いて入力された日本語文テキスト
   を上記形態素解析手段を用いて解析し、解析した結果と
   して得られた分割単語と隣接した分割単語を結合する隣
   接単語結合手段と、同分割単語内をさらに分割する単語
   内分割手段と、上記情報格納手段に格納されている手話
   単語見出し対応データ中の日本語単語を分割する日本語
   −手話見出し対応データ分割手段と、上記手段によって
   作成された結合単語あるいは分割単語を上記日本語−手
   話単語見出し対応データと照合し、手話単語見出しを抽
   出する日本語−手話対応データ照合手段を有することを
   特徴とする手話メール装置。
6. 【請求項６】請求項１に記載の手段および画面上の位置
   情報を指示する位置情報入力手段を有する情報処理装置
   において、上記テキスト上において非言語情報を示す強
   調個所や感情付与個所を明示し、上記個所をそれぞれ強
   調個所、感情付与個所として記憶する強調・表情付加手
   段と、上記個所に対して手話アニメーションにおいて非
   言語情報を付加するテキスト非言語情報変換手段を有す
   ることを特徴とする手話メール装置。
7. 【請求項７】請求項１に記載の手段および、少なくと
   も、発声情報を入力する音声入力手段と上記発声情報を
   Ａ／Ｄ変換するディジタル情報変換手段とＡ／Ｄ変換さ
   れた情報から入力された発声情報の音韻情報、音圧情
   報、音高情報、時間情報を獲得可能とする音声認識手段
   を持つ情報処理装置において、上記音声認識手段によっ
   て獲得された単語列および単語間ポーズ長、および音韻
   時間長から非言語情報を抽出し、上記非言語情報を手話
   表現としてアニメーション表示する音声−手話非言語情
   報変換手段を有することを特徴とする手話メール装置。
8. 【請求項８】請求項１に記載の手段および文字列情報か
   ら音声を合成する音声合成手段を有する手話メール装置
   において、上記手話対応非言語情報抽出手段により抽出
   された強調表現情報と感情表現情報といった非言語情報
   を用いて、単語の時間長や単語間のポーズ長、および単
   語内に含まれる音韻の音韻時間長を制御することによっ
   て上記音声合成により手話アニメーション情報を音声情
   報に変換する手話アニメーション−音声変換手段を有す
   ることを特徴とする手話メール装置。