JP2000149042A

JP2000149042A - ワード手話映像変換方法並びに装置及びそのプログラムを記録した記録媒体

Info

Publication number: JP2000149042A
Application number: JP10327577A
Authority: JP
Inventors: Kazuo Kamata; 一雄鎌田; Toshiari Matsui; 利有松井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-11-18
Filing date: 1998-11-18
Publication date: 2000-05-30

Abstract

(57)【要約】【課題】ワード手話映像変換方法等に関し、手話映像
の収録素片群を利用し、任意文章情報から滑らかな手話
映像を効率良く合成することを課題とする。【解決手段】コンピュータと、複数単語につき手話表
現に不可欠なコア映像を収録したコア映像ファイルと、
所定の手の位置で始まり自己が接続するコア映像の手の
開始位置で終わるプリ接続映像を収録したプリ接続映像
ファイルと、自己が接続するコア映像の手の終了位置で
始まり所定の手の位置で終わるポスト接続映像を収録し
たポスト接続映像ファイルと、各単語をコア映像に関係
付けるデータベースとを備え、（ａ）入力文章情報から
手話単語列を抽出し、（ｂ）各手話単語のコア映像及び
これに接続するポスト・プリ接続映像を抽出して前の単
語のポスト接続映像と後の単語のプリ接続映像間を所定
のフレーム数間隔となるように重ね合わせ、（ｃ）重畳
部分の両接続映像につき両者の手の位置間の距離が最小
となる位置でポスト・プリ接続映像フレームを接続す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はワード手話映像変換
方法並びに装置及びそのプログラムを記録した記録媒体
に関し、更に詳しくは、入力した文章情報に基づき、予
め収録した手話映像素片を接続して滑らかな手話映像を
合成出力するワード手話映像変換方法並びに装置及びそ
のプログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】従来は、パーソナルコンピュータの画面
に表示された例文の中から特定の文をマウスでクリック
することにより、同じ意味の手話をする人の映像が画面
に映し出されるワード手話映像変換プロセッサが知られ
ている。例えば「今、食欲ありますか」，「注射を打つ
ので腕をまくって下さい」等、予め変換プロセッサに複
数パターンの表現を組み込んで置くことにより、医者が
患者を問診したり、指示を与える等、各分野への応用が
期待されている。

【０００３】

【発明が解決しようとする課題】しかし、上記例文毎に
手話映像を用意する方式では例文毎に滑らかで見易い手
話映像を提供できるが、例文数を増そうとすると、対応
する手話映像の作成に多大の労力を要する。また全例文
中には同一の単語が重複して使用されるため、メモリを
大量に使用する手話映像も重複して登録されることな
り、メモリの使用効率が大幅に低下する。

【０００４】一方、ある単語の手話映像をどの例文中で
も使用できるようにすると、前後の単語の接続部の映像
の滑らかさが問題となる。即ち、もし前後の単語の手話
映像を単純に繋ぎ合わせると、繋ぎ目で手の位置や形態
が不自然に変化し、意味が通じにくくなってしまう。

【０００５】本発明は、上記従来技術の問題点に鑑み成
されたものであって、その目的とする所は、手話映像の
収録素片群を利用して任意の文章情報から滑らかな手話
映像を効率良く合成可能なワード手話映像変換方法並び
に装置及びそのプログラムを記録した記録媒体を提供す
ることにある。

【０００６】

【課題を解決するための手段】上記の課題は例えば図１
の構成により解決される。即ち、本発明（１）のワード
手話映像変換方法は、コンピュータと、複数の単語につ
き手話表現に不可欠な部分の各コア映像を収録したコア
映像ファイルと、第１の所定の手の位置で始まりかつ自
己が接続するコア映像の手の開始位置で終わる様なプリ
接続映像をコア映像毎に収録したプリ接続映像ファイル
と、自己が接続するコア映像の手の終了位置で始まりか
つ第２の所定の手の位置で終わる様なポスト接続映像を
コア映像毎に収録したポスト接続映像ファイルと、複数
の単語を各対応するコア映像に関係付けるデータベース
とを備え、前記コンピュータは、（ａ）入力の文章情報
から手話単語に対応する単語列を抽出し、（ｂ）該抽出
された各単語のコア映像及び該各コア映像に接続するポ
スト接続映像とプリ接続映像とを抽出して、前の単語の
ポスト接続映像と後の単語のプリ接続映像間を所定のフ
レーム数間隔となるように重ね合わせ、（ｃ）該重ね合
わせた部分の両接続映像につき両者の手の位置間の距離
が最小となる位置でポスト接続映像フレームとプリ接続
映像フレームとを接続するものである。

【０００７】図１において、単語「忙しい」のコア映像
は手（但し、ここでは右手で説明する）の位置が胸の略
中央部にあって上下に複数回振動している。そして、そ
のプリ接続映像は、第１の所定の手の位置（例えばＰ
２）で始まりかつ自己が接続するコア映像「忙しい」の
手の開始位置（例えばＰ２）で終わる様な接続映像から
なっており、またそのポスト接続映像は、自己が接続す
るコア映像「忙しい」の手の終了位置（例えばＰ２）で
始まりかつ第２の所定の手の位置（例えばＰ１）で終わ
る様な接続映像からなっている。従って、コア映像「忙
しい」とその前後のプリ・ポスト映像間の手の動きの接
続は滑らか（自然）である。他の単語「昨日」等につい
ても同様である。

【０００８】今、文章情報の一例として「昨日は忙しい
でした。」が入力したとすると、まず、（ａ）入力の文
章情報から手話単語（即ち、コア映像が登録されている
単語）に対応する単語列（「昨日」，「忙しい」，「で
した」）を抽出する。次に、（ｂ）該抽出された各単語
（最初は「昨日」，「忙しい」）のコア映像及び該各コ
ア映像に接続するポスト接続映像とプリ接続映像とを抽
出して、前の単語「昨日」のポスト接続映像と後の単語
「忙しい」のプリ接続映像間を所定のフレーム数間隔Ｃ
_tとなるように重ね合わせる。そして、（ｃ）該重ね合
わせた部分の両接続映像につき両者の手の位置間の距離
ｄが最小となる位置（図の点線の位置）でポスト接続映
像フレームとプリ接続映像フレームとを接続する。従っ
て、その出力の合成手話映像においては、その大半が各
単語「昨日」，「忙しい」の本来の手話映像に忠実であ
ると共に、その接続部も手の位置の相違が最小となるよ
うに滑らかに接続されている。

【０００９】このように、本発明（１）によれば、コア
映像とその前後のプリ・ポスト接続映像は単語毎に１つ
用意しておけば、文章情報内の他のどの単語にも比較的
滑らかに接続出来る。従って、手話映像の収録素片群を
利用して任意の文章情報から滑らかな手話映像を効率良
く合成できる。また、ポスト・プリ接続映像間を所定の
フレーム数間隔Ｃ_t（例えば秒０．５間隔に相当）とな
るように重ね合わせるので、各コア映像の接続部には一
定のリズム感が得られ、手話を認識し易い。

【００１０】好ましくは、本発明（２）においては、上
記本発明（１）において、第１，第２の各所定の手の位
置は手話映像画面の略中央にある。

【００１１】一般に、手話動作は映像画面の中央部付近
（即ち、手話者の胸の付近）を中心としてその回りに展
開される場合が多い。そこで、本発明（２）において
は、予め各単語につき、そのポスト接続映像の手の位置
を手話映像画面の略中央（第２の所定の手の位置）で終
わる様に設け、かつプリ接続映像の手の位置を同じく手
話映像画面の略中央（第１の所定の手の位置）で始まる
ように設ける。従って、どの単語間を接続しても、手話
映像の滑らかな接続が得られる。

【００１２】また好ましくは、本発明（３）において
は、上記本発明（１）において、手話映像画面を複数の
領域に分割すると共に、プリ接続映像ファイルは、各領
域の手の位置で始まりかつ自己が接続するコア映像の手
の開始位置で終わる様な複数のプリ接続映像をコア映像
毎に収録し、またポスト接続映像ファイルは、自己が接
続するコア映像の手の終了位置で始まりかつ各領域の手
の位置で終わる様な複数のポスト接続映像をコア映像毎
に収録したものである。

【００１３】図において、例えば単語「忙しい」に対応
するプリ・ポスト接続映像の各手話映像画面を４つの領
域Ｐ０〜Ｐ３に分割すると共に、プリ接続映像ファイル
は、領域Ｐ０〜Ｐ３の各手の位置で始まりかつ自己が接
続するコア映像「忙しい」の手の開始位置で終わる様な
複数のプリ接続映像を収録している。またポスト接続映
像ファイルは、自己が接続するコア映像「忙しい」の手
の終了位置で始まりかつ領域Ｐ０〜Ｐ３の各手の位置で
終わる様な複数のポスト接続映像を収録している。他の
単語「昨日」などについても同様である。

【００１４】従って、本発明（３）によれば、各単語に
つきその接続相手の単語に応じてその手の動きの接続が
最も滑らかとなるようなプリ・ポスト接続映像を選択で
きることとなり、手話合成映像の品質が格段に向上す
る。

【００１５】また好ましくは、本発明（４）において
は、上記本発明（１）〜（３）において、手の形態を形
態が類似する複数のグループに分類すると共に、プリ接
続映像ファイルは、各分類に含まれる何れかの手の形態
で始まりかつ自己が接続するコア映像の手の開始形態で
終わる様な複数のプリ接続映像をコア映像毎に収録し、
またポスト接続映像ファイルは、自己が接続するコア映
像の手の終了形態で始まりかつ各分類に含まれる何れか
の手の形態で終わる様な複数のポスト接続映像をコア映
像毎に収録したものである。

【００１６】上記手の位置における場合と同様に、接続
部における手の形態の相違も手話映像の滑らかさを損な
う要因となる。例えば直前のポスト接続映像では大きく
開いていた様な手の形態がプリ接続映像に接続した瞬間
から１本指の尖った手の形態に変わる様な場合である。

【００１７】この点、本発明（４）においては、手の形
態を形態が類似する複数のグループ（例えば３つのグル
ープＨ１〜Ｈ３）に分類すると共に、プリ接続映像ファ
イルは、各分類Ｈ１〜Ｈ３に含まれる何れかの手の形態
で始まりかつ自己が接続するコア映像の手の開始形態で
終わる様な複数のプリ接続映像をコア映像毎に収録し、
またポスト接続映像ファイルは、自己が接続するコア映
像の手の終了形態で始まりかつ各分類Ｈ１〜Ｈ３に含ま
れる何れかの手の形態で終わる様な複数のポスト接続映
像をコア映像毎に収録している。

【００１８】従って、本発明（４）によれば、各単語に
つきその接続相手の単語に応じてその手の形態の接続が
最も滑らかとなるようなプリ・ポスト接続映像を選択で
きることとなり、手話合成映像の品質が格段に向上す
る。

【００１９】また本発明（５）のワード手話映像変換装
置は、複数の単語につき手話表現に不可欠な部分の各コ
ア映像を収録したコア映像ファイルと、第１の所定の手
の位置で始まりかつ自己が接続するコア映像の手の開始
位置で終わる様なプリ接続映像をコア映像毎に収録した
プリ接続映像ファイルと、自己が接続するコア映像の手
の終了位置で始まりかつ第２の所定の手の位置で終わる
様なポスト接続映像をコア映像毎に収録したポスト接続
映像ファイルと、複数の単語を各対応するコア映像に関
係付けるデータベースと、文章情報を入力する入力手段
と、入力の文章情報から手話単語に対応する単語列を抽
出する単語抽出手段と、該抽出された各単語のコア映像
及び該各コア映像に接続するポスト接続映像とプリ接続
映像とを抽出して、前の単語のポスト接続映像と後の単
語のプリ接続映像間を所定のフレーム数間隔となるよう
に重ね合わせ、該重ね合わせた部分の両接続映像につき
両者の手の位置間の距離が最小となる位置でポスト接続
映像フレームとプリ接続映像フレームとを接続する手話
映像接続手段とを備えるものである。

【００２０】また本発明（６）のコンピュータ読み取り
可能な記録媒体は、上記本発明（１）〜（４）の何れか
１に記載のワード手話映像変換方法をコンピュータに実
行させるためのプログラムを記録したものである。

【００２１】

【発明の実施の形態】以下、添付図面に従って本発明に
好適なる複数の実施の形態を詳細に説明する。なお、全
図を通して同一符号は同一又は相当部分を示すものとす
る。

【００２２】図２は実施の形態によるワード手話映像変
換プロセッサのブロック図で、音声，キーボード又はフ
ロッピー（登録商標）ディスク等により入力された日本
語の文章情報を一連の手話映像に変換（合成）して画面
に出力する装置の構成を示している。

【００２３】図において、１１はマイク（ＭＩＣ）、１
２は音声認識部、１３はキーボード（ＫＢＤ）、１４は
マウス等のポインティングデバイス（ＰＤ）、１５はフ
ロッピーディスク装置（ＦＤＤ）、１６は本装置の主制
御・処理を行うＣＰＵ、１７はＣＰＵ１６が実行する各
種プログラム（図３，図４等）や各種データを記憶する
ＲＡＭ，ＲＯＭ，ＥＥＰＲＯＭ等から成る主メモリ（Ｍ
Ｍ）、１８は各種のアプリケーションプログラムや後述
の各種データベース（ＤＢ）ファイルを記憶しているハ
ードディスク装置（ＨＤＤ）、１９は予め作成された手
話合成用の映像ファイル（コア映像ファイル，プリ・ポ
スト接続映像ファイル等）をＭＰＥＧ方式等により記憶
しているＣＤ−ＲＯＭ装置（ＣＤ−ＲＯＭ）等の記憶装
置、２０は手話映像データの復号装置（ＭＰＥＧ等）、
２１は手話映像のコア部と接続部との手話映像接続処理
を行う映像接続部、２２は実際に手話映像を合成する映
像合成部、２３は液晶やＣＲＴ等から成る手話映像の表
示部（ＤＳＰ）、２４はＣＰＵ１６の共通バス、そし
て、５０は必要なら合成された手話映像を記録しておく
ための外部のＶＴＲ装置（ＶＴＲ）である。なお、図示
しないが、映像接続部２１は独自のプロセッサ（ＭＰ
Ｕ）とメモリとを備え、図５の手話映像接続処理を実行
するものであっても良い。

【００２４】ところで、手話を構成するパラメータとし
ては次のように分けられる。（１）手指パラメータａ．手の形態（手の形，向き）ｂ．手の位置（手話動作の開始，終止位置）ｃ．手話動作（手話の開始→終止間の動き）（２）非手指パラメータａ．顔の表情（眉，目，口）ｂ．頭（傾き，向き）ｃ．身体の状態（傾き，向き）また、手話映像の中には手話表現として絶対的に必要な
部分（コア部分）と遷移動作と考えてもよい部分（接続
又はエッジ部分）とがあり、これらを分けて考えること
ができる。

【００２５】ここで、手話の連続性で大きく問題となる
のは手指パラメータの手の位置と手の形態である。従っ
て、手話の連続性を高めるためには、日本語に対応する
手話映像に対して、実際に利用する映像部分をどこにす
るかを前後のエッジ部分の中で手話映像の手の位置や形
態により決定する。更に、日本語に対応する前後の手話
映像のつなぎ部分を、夫々の手の位置と手の形態との組
み合わせによりパターン化し、それによりつなぎ部分の
前の手話のエンドと後ろの手話のスタートを決める。以
下詳細に説明する。

【００２６】図１４は実施の形態による手の位置の分類
を説明する図である。ここでは、手話者を正面から見た
場合に、右手（利き手）の掌や手指の置かれる位置を図
示の如く７箇所の領域Ｐ０〜Ｐ６に分類した。なお、手
話映像のつなぎ部分におけるＰ６の位置は手話上ではあ
まり重要な意味を持たないので、領域を左右に分割せず
にこれを１つの領域とした。また手話映像のつなぎ部分
における左手（即ち、非利き手）の動作については、同
化現象（一般に右手の動作を単に補完するものであり、
右手の動作に付随して認識される程度のもの）等の観察
結果から、本実施の形態では考慮しないこととした。こ
れらの考察により、手話映像合成処理の大幅な簡略化が
図れる。

【００２７】図１５は実施の形態による手の形態の分類
を説明する図で、図は日本語の平仮名に対応する指文字
の例を示している。但し、これは指文字の例を示すもの
であり、一般の手話動作の中には指文字とは関係のない
様々な手の位置や形態が含まれることは言うまでも無
い。いずれにしても、本実施の形態では、手話映像のつ
なぎ部分における手話者の手を正面から見た場合に、手
の形態を次の３種類に大別した。

【００２８】Ｈ１：全ての指を握っている状態、又は下
記Ｈ２及びＨ３の状態で指先が正面を向いている状態
（即ち、固まっている状態）Ｈ２：大半（３本以上）の指を開いた状態（即ち、広が
っている状態）Ｈ３：指が２本以下しか開いていない状態（即ち、尖っ
ている状態）因みに、これを図１５の指文字の例で説明すると、Ｈ１
（固まっている）には「あ」，「お」，「も」等が含ま
れ、Ｈ２（広がっている）には「け」，「て」，「ね」
等が含まれ、Ｈ３（尖っている）には「か」，「ら」，
「ろ」等が含まれる。

【００２９】図１１〜図１３は実施の形態によるデータ
ベースを説明する図（１）〜（３）で、図１１は日本語
の単語と手話上の単語（コア映像）との間を関係付ける
単語辞書の記憶構造を示している。図において、例えば
日本語の単語「１日」の欄には、対応する手話のコア映
像番号「１１Ｃ２」、該コア映像における手の開始位置
「Ｐ５」と手の開始形態「Ｈ３」、及び該コア映像にお
ける手の終了位置「Ｐ３」と手の終了形態「Ｈ３」の各
情報が記憶されている。他の単語についても同様であ
る。

【００３０】図１２（Ａ）はコア映像−プリ接続映像番
号テーブルを示している。例えば手話単語「１日」に対
応するコア映像番号「１１Ｃ２」の欄には、手の位置Ｐ
０〜Ｐ５又はＰ６より出発してコア映像「１日」の手の
開始位置Ｐ５で終わる様な合計７種類の代表的な手の動
きからなる各プリ接続映像の映像番号が夫々記録されて
いる。他の単語についても同様である。

【００３１】図１２（Ｂ）はコア映像−ポスト接続映像
番号テーブルを示している。例えば手話単語「１日」に
対応するコア映像番号「１１Ｃ２」の欄には、コア映像
「１日」の手の終了位置Ｐ３で始まりかつ手の位置Ｐ０
〜Ｐ５又はＰ６で終わる様な合計７種類の代表的な手の
動きからなる各ポスト接続映像の映像番号が夫々記録さ
れている。他の単語についても同様である。

【００３２】図１３（Ａ）はプリ接続映像−手形態番号
テーブルを示している。例えば手話単語「１日」に対応
するコア映像は手の形態Ｈ３（尖っている）の状態で始
まるが、その直前にあった単語の手の形態の終わり方
は、該単語に応じて、その手の形態にもＨ１〜Ｈ３の３
種類があり得る。従って、直前の単語の終わりの手の形
態Ｈ１，Ｈ２又はＨ３と次の単語「１日」の始まりの手
の形態Ｈ３との間をうまく整合させるには、途中で両者
の手の形態が大きく変化しないように、単語「１日」の
プリ接続映像の手の形態を直前の単語の終わりの手の形
態に合わせ込む必要がある。

【００３３】そこで、例えば手の位置Ｐ５，形態Ｈ３で
始まる手話単語「１日」のプリ接続映像番号「０１Ｃ
７」の欄には、手の形態Ｈ１，Ｈ２又はＨ３より出発
し、かつコア映像「１日」の手の開始形態Ｈ３で終わる
様な合計３種類の代表的な手の形態の動きからなる各プ
リ接続映像の映像番号「０１Ｃ７−１」〜「０１Ｃ７−
３」が夫々記録されている。他の単語についても同様で
ある。なお、図１３（Ａ）は単語「忙しい」に対応する
場合を示している。

【００３４】図１３（Ｂ）はポスト接続映像−手形態番
号テーブルを示している。例えば手話単語「１日」に対
応するコア映像は手の形態Ｈ３（尖っている）の状態で
終了するが、その直後に続く手話単語の手の形態の始ま
り方は、該単語に応じて、その手の形態にもＨ１〜Ｈ３
の３種類があり得る。従って、手話単語「１日」の終わ
りの手の形態Ｈ３と、これに続く単語の手の形態Ｈ１，
Ｈ２又はＨ３との間をうまく整合させるには、途中で両
者の手の形態が大きく変化しないように、単語「１日」
のポスト接続映像の手の形態を直後の単語の始めの手の
形態に合わせ込む必要がある。

【００３５】そこで、手の位置Ｐ３，形態Ｈ３で終わる
手話単語「１日」のポスト接続映像番号「２１Ｃ５」の
欄には、コア映像「１日」の終わりの手の形態Ｈ３で始
まり、かつ手の形態Ｈ１，Ｈ２又はＨ３で終わる様な合
計３種類の代表的な手の形態の動きからなる各ポスト接
続映像の映像番号「２１Ｃ５−１」〜「２１Ｃ５−３」
が夫々記録されている。他の単語についても同様であ
る。なお、図１３（Ｂ）は単語「忙しい」に対応する場
合を示している。

【００３６】以下、一例の文章−手話映像変換動作を具
体的に説明する。図３，図４は実施の形態によるワード
手話映像変換処理のフローチャート（１），（２）で、
図３はそのメイン処理を示している。入力手段より何ら
かの日本語文章（ワード）が入力されるとこの処理に入
力する。

【００３７】ステップＳ１ではワードプロセッサ３１が
文章情報を文章情報バッファ３２に入力する。日本語文
章は音声認識部１２，キーボ−ド１３又はフロッピーデ
ィスク１５等の入力手段から入力可能である。マイク１
１から入力した音声信号は音声認識部１２で認識され、
日本語の文章データに変換され、文章バッファ３２に格
納される。又はキーボード１３から直接（会話型）に文
章データを入力しても良い。又はＦＤＤ１５から既に作
成された文章データを入力しても良い。

【００３８】ステップＳ２では入力データが手話映像へ
の変換要求コードか否かを判別する。なお、音声入力の
場合は音声認識部１２が所定時間以上音声が途切れたこ
とを検出したことにより変換要求コードを挿入する。ま
たキー入力やフロッピーディスク入力の場合は「、」，
「。」，「改行」等の文章の区切りのコードが検出され
たことにより変換要求コードと判別される。以下、例え
ば「今日１日は忙しいでした。」と入力された場合を説
明する。

【００３９】上記ステップＳ２で変換要求コード「。」
が検出されると、ステップＳ３ではワード手話映像番号
変換処理部３３が、図１１に示す単語辞書を参照して、
入力の文章情報から手話映像変換に必要な単語列（手話
単語列）を抽出する。この例では手話単語列「今日」，
「１日」，「忙しい」，「でした」を抽出する。ステッ
プＳ４では手話単語列を単語辞書を参照して対応するコ
ア映像番号列に変換する。ステップＳ５では上記ステッ
プＳ３で得られた手話単語列に基づき、これらのコア映
像間を滑らかに接続するための図４のコア映像番号間接
続処理を行う。ステップＳ６では上記ステップＳ４で得
られたコア映像番号列と上記ステップＳ５で得られたプ
リ・ポスト接続映像番号列とからなる手話映像番号列を
映像接続部２１に出力する。

【００４０】これにより、映像接続部２１では、後述の
図５の手話映像接続処理を実行することにより、相互に
接続するポスト・プリ接続映像につき両者の手の位置間
の距離ｄが最小となるような接続映像フレームの切替タ
イミング情報Ｉ_cnn（ｊ）を生成することになる。

【００４１】図３に戻り、ステップＳ７では一連の手話
映像変換処理終了か否かを判別する。終了でない場合は
ステップＳ１に戻り次の文章データを入力する。また変
換終了の場合は本処理を終了する。

【００４２】図４は実施の形態によるコア映像番号間接
続処理のフローチャートで、上記図３のステップＳ５で
実行され、連続する２つのコア映像間をスムーズに接続
するためのポスト・プリ接続映像の各番号を選択する処
理である。ステップＳ１１では手話単語列から第１，第
２の単語「今日」，「１日」を抽出する。ステップＳ１
２では、単語辞書を参照し、第１の単語「今日」につき
そのコア映像の手の終了位置Ｐ_e（＝Ｐ３）及び手の形
態Ｈ_e（＝Ｈ１）の各情報を取得する。ステップＳ１３
では同じく第２の単語「１日」につきそのコア映像の手
の開始位置Ｐ_s（＝Ｐ５）及び手の形態Ｈ_s（＝Ｈ３）
の各情報を取得する。

【００４３】ステップＳ１４では、図１２（Ｂ）のコア
映像−ポスト接続映像番号テーブル及び図１３（Ｂ）の
ポスト接続映像−手形態番号テーブルを参照し、第１の
単語「今日」につき第２の単語「今日」の手の開始位置
Ｐ_s（＝Ｐ５）及び手の形態Ｈ_s（＝Ｈ３）に対応（整
合）するポスト接続映像番号ＰＯＣＮ（Ｐ５，Ｈ３対
応）を取得する。ステップＳ１５では、図１２（Ａ）の
コア映像−プリ接続映像番号テーブル及び図１３（Ａ）
のプリ接続映像−手形態番号テーブルを参照し、第２の
単語「１日」につき第１の単語「今日」の手の終了位置
Ｐ_e（＝Ｐ３）及び手の形態Ｈ_e（＝Ｈ１）に対応（整
合）するプリ接続映像番号ＰＲＣＮ（Ｐ３，Ｈ１対応）
を取得する。ステップＳ１６では全手話単語の処理終了
か否かを判別する。終了でない場合はステップＳ１１に
戻り、手話単語列から次の第１，第２の単語（即ち、今
度は「１日」，「忙しい」）を抽出し、上記同様の処理
を行う。また処理終了の場合はこの処理を抜ける。

【００４４】かくして、上記手話単語列「今日」，「１
日」，「忙しい」，「でした」に対応する手話映像番号
列は以下の通りである。［日本語］［プリ接続映像番号］［コア映像番号］［ポスト接続映像番号］「ＤＦ」「DFPRCN」「DFコア」「DFPOCN」「今日」「DFPRCN」 P3H1「13C1」P3H1 「23C6-3」「１日」「01C5-1」 P5H3「11C2」P3H3 「21C5-1」「忙しい」「01AE-3」 P3H1「11AB」P3H1 「21AE-2」「でした」「048B-1」 P3H2「1488」P3H1 「DFPOCN」「ＤＦ」「DFPRCN」「DFコア」「DFPOCN」なお、ここでコア映像番号の前後に付記した手の位置及
び形態の情報Ｐ３Ｈ１，Ｐ３Ｈ１等は説明の便宜のため
のものであり、「１３Ｃ１」がコア映像番号である。ま
たプリ接続映像番号「０１Ｃ５−１」は手の位置Ｐ３で
始まるプリ接続映像番号「０１Ｃ５」の内の手の形態
「Ｈ１」に対応するものを表し、またポスト接続映像番
号「２１Ｃ５−１」は手の位置Ｐ３で終わるポスト接続
映像番号「２１Ｃ５」の内の手の形態「Ｈ１」に対応す
るものを表す。また「ＤＦＰＲＣＮ」はデフォルト映像
のプリ接続映像番号、「ＤＦＰＯＣＮ」はデフォルト映
像のポスト接続映像番号を夫々表す。

【００４５】図６〜図８は実施の形態による手話映像接
続処理を説明する図（１）〜（３）で、図６は手話映像
接続処理の基本的な処理イメージを示している。

【００４６】ここで、手話の映像ファイルの一例の作成
方法を説明しておく。まず予め多数の文章情報に対応す
る手話映像を撮像しておく。この中には「今日１日は忙
しいでした。」「昨日の昼は暇でした。」等の多数の手
話映像が含まれる。次に、上記撮像した手話映像から手
話単語のコア映像部分及びその前後の手話のプリ・ポス
ト接続映像部分の各映像を切り出す。具体的に言うと、
例えば単語「忙しい」については、一般に多数の文章情
報中で使用されるため、その手話映像も多数得られる。
例えば、「１日」「接続１」「忙しい」「接続２」「でした」「今日」「接続３」「忙しい」「接続４」「でしょう」等の手話映像が得られる。ここで、コア映像「忙しい」
を中心にして考えると、「接続１」，「接続３」には直
前のコア映像「１日」，「今日」に夫々接続するプリ接
続映像が含まれ、また「接続２」，「接続４」には直後
のコア映像「でした」，「でしょう」に夫々接続するポ
スト接続映像が含まれる。

【００４７】今、「接続１」，「接続３」の各プリ接続
映像を比較すると、「接続１」の場合は直前のコア映像
「１日」に接続するため、その始めの映像はコア映像
「１日」の終わりの映像と同一である。これを手の位
置，形態の分類で言うとＰ３，Ｈ３に属する。一方、
「接続３」の場合は直前のコア映像「今日」に接続する
ため、その始めの映像はコア映像「今日」の終わりの映
像と同一である。これを手の位置，形態の分類で言うと
Ｐ６，Ｈ１に属する。このように、コア映像「忙しい」
については、直前の単語に応じてその接続映像の内容
（手の位置，形態等）も異なり、上記の例では手の位置
Ｐ３，形態Ｈ３で始まるようなプリ接続映像「接続１」
と、手の位置Ｐ６，形態Ｈ１で始まるようなプリ接続映
像「接続３」とが切り出せる。

【００４８】こうして、多数の手話映像を解析すると、
全体としては、コア映像「忙しい」については、手の位
置Ｐ０〜Ｐ６，形態Ｈ１〜Ｈ３の各組合せで始まり、か
つコア映像「忙しい」に正確に繋がるような合計２１種
類（手の位置７×手の形態３）の代表的な各プリ接続映
像が切り出せる。また同様にして、コア映像「忙しい」
については、コア映像「忙しい」で始まり、かつ手の位
置Ｐ０〜Ｐ６，形態Ｈ１〜Ｈ３の各組合せで終わるよう
な合計２１種類の代表的な各ポスト接続映像が切り出せ
る。

【００４９】更に、こうして得られたどの手話映像につ
いても、そのコア映像「忙しい」の部分に関してはみな
同一と考えても良いから、どれか１つのコア映像「忙し
い」を切り出して、これをコア映像ファイルに登録す
る。これに上記各２１種類のプリ接続映像とポスト接続
映像とを夫々接続可能に切り出してファイル構成し、そ
の全体をコア映像「忙しい」に関する映像ファイルとす
る。他の手話単語についても同様である。

【００５０】なお、プリ接続映像ファイルとポスト接続
映像ファイルの各映像フレームには、手の位置（但し、
ここでは手話者の右手の位置で説明する）の座標情報
（ｘ，ｙ）が映像フレーム毎に付加されている。この座
標情報（ｘ，ｙ）は、予め例えば手話映像に対する公知
の画像解析処理（右手の認識，右手の重心位置の検出，
重心位置の記録等）を行うことにより自動生成される。
又は別途人手により解析・記録してもよい。図２の映像
接続部２１は、この座標情報（ｘ，ｙ）に基づき、プリ
接続映像とポスト接続映像の各手の位置間の距離ｄを計
算し、該距離ｄが最小となる様なタイミングに、読出映
像フレームをポスト接続映像映からプリ接続映像映に切
り替えるためのフレーム切替タイミング情報Ｉ
_cnn（ｊ）を生成する。詳細は後述する。

【００５１】図６においては、上記図４のコア映像番号
間接続処理の結果、例えば第１の単語「今日」のコア映
像番号「１３Ｃ１」の次にはポスト接続映像番号「２３
Ｃ６−３」が接続されている。このポスト接続映像は第
１のコア映像「今日」の延長上で始まり、かつ手の位置
Ｐ５，形態Ｈ３（尖っている）で終わる様な手の動きの
接続映像から成っている。ここで、ポスト接続映像の第
１フレームはコア映像「今日」の最後のフレームと繋が
っており、従って、その手の位置及び形態は同一であ
る。一方、ポスト接続映像の第Ｎ（最終）フレームは手
の位置Ｐ５，形態Ｈ３に属するが、これは必ずしも第２
のコア映像「１日」の手の開始位置，形態と同一では無
い。

【００５２】一方、第２の単語「１日」のコア映像番号
「１１Ｃ２」の前にはプリ接続映像番号「０１Ｃ８−
１」が接続されている。このプリ接続映像は手の位置Ｐ
３，形態Ｈ１（固まっている）で始まり、かつ第２のコ
ア映像「１日」に繋がる様な手の動きの接続映像から成
っている。ここで、プリ接続映像の第Ｍ（最終）フレー
ムはコア映像「１日」の最初のフレームと繋がってお
り、従って、手の位置及び形態は同一である。一方、プ
リ接続映像の第１フレームは手の位置Ｐ３，形態Ｈ１に
属するが、これは必ずしも第１のコア映像「今日」の手
の終了位置，形態と同一では無い。そこで、この様なポ
スト接続映像とプリ接続映像とを中間の位置で外観上滑
らかとなる様に接続したい。

【００５３】図５の手話映像接続処理はこの映像フレ−
ムの切替位置を検出する処理である。ここで、処理の概
要を説明しておく。今、コア映像「今日」と「１日」と
の間の接続時間をＣ_t（例えば１／２秒に相当）とする
と、まず「今日」のポスト接続映像より第１〜第ｎのフ
レームを読み出し、次に「１日」のプリ接続映像より第
ｍ〜第Ｍのフレームを読み出すことで、両コア映像「今
日」，「１日」間を滑らかに接続できる。ここで、αは
距離ｄの検出範囲の開始フレーム位置を規定する定数、
βは同検出範囲の終了フレーム位置を規定する定数であ
る。

【００５４】図７は第１のコア映像「今日」と第２のコ
ア映像「１日」を接続する場合の距離ｄの演算処理のイ
メージを示している。図７（Ａ）において、第１のコア
映像「今日」のポスト接続映像は、該コア映像「今日」
の終わりの形態（手の位置，形態等）に正確に繋がるも
のではあるが、該ポスト接続映像の終わりの形態への遷
移の仕方については例えばルート，，の何れか１
つと成り得る。一方、コア映像「１日」のプリ接続映像
は、その終わりの形態（手の位置，形態等）については
該コア映像「１日」の始めの形態に正確に繋がるもので
はあるが、該プリ接続映像の始めの形態から終わりの形
態への遷移の仕方については例えばルート，，の
何れか１つと成り得る。従って、これらを滑らかに接続
する必要がある。

【００５５】図７（Ｂ）はポスト接続映像とプリ接続
映像とを接続する場合を示している。ポスト接続映像
についてはその第１〜第（α−１）フレームまでを無
条件で使用する。ｉ≧αになると、ポスト接続映像と
同時にプリ接続映像を読み出す。この時、プリ接続映
像につき最初に読み出される映像フレームはｉ＝｛Ｍ
−（Ｃ_t−α）｝である。そして、ポスト接続映像の
手の位置（ｘ₁，ｙ₁）とプリ接続映像の手の位置
（ｘ₂，ｙ₂）との間の距離ｄ（ｉ＝α）を求める。こ
の距離ｄは画面上の２次元の距離であるから、ｄ＝√｛（ｘ₂−ｘ₁）²＋（ｙ₂−ｙ₁）²｝により求まる。なお、√の演算は省略しても大きさを比
較できる。

【００５６】こうして、ｉ＝α〜βまでの各距離ｄ（ｉ
＝α）〜ｄ（ｉ＝β）を順次求め、距離ｄが最小となる
時のフレームカウント数ｉをポスト接続映像からプリ
接続映像への映像フレーム切替位置とする。因みに、
この例ではｉ＝βで距離ｄが最小となっている。従っ
て、実際の表示時には、先ずポスト接続映像は１〜ｎ
フレームまでが読み出され、その後プリ接続映像はｍ
〜Ｍフレームまでが読み出される。

【００５７】図７（Ｃ）はポスト接続映像とプリ接続
映像とを接続する場合を示している。この例ではｉ＝
βで距離ｄが最小となっている。

【００５８】図８（Ａ）はポスト接続映像とプリ接続
映像とを接続する場合を示している。この例ではｉ＝
αで距離ｄが最小となっている。図８（Ｂ）はポスト接
続映像とプリ接続映像とを接続する場合を示してい
る。この例ではｉ＝βで距離ｄが最小となっている。

【００５９】なお、上記実施の形態では手の位置の接続
性の良い例を幾つか示したが、２つのコア映像間を接続
性を殆ど考慮していない任意の接続映像で接続すること
も可能である。これを他の１つの実施の形態とする。図
８（Ｃ）はこの場合の接続処理を示している。ここで
は、ポスト接続映像は手の位置Ｐ６で始まりかつ手の
位置Ｐ６で終わっている。一方、プリ接続映像は手の
位置Ｐ２で始まりかつ手の位置Ｐ５で終わっている。従
って、２つの接続映像はどの様に重ね合わせても２つの
手の位置が重なる場合はない。しかし、この場合でも距
離ｄが最小となる様なタイミングを検出可能であり、こ
こでは図示の位置で距離ｄが最小となっている。

【００６０】これにより、実際の表示時には、先ずポス
ト接続映像は１〜ｎフレームが読み出され、この時、
手の位置はＰ６で始まり、かつＰ６に戻る途中である。
その後プリ接続映像はｍ〜Ｍフレームが読み出され
る。この時、手の位置の軌跡は上記Ｐ６に戻る途中か
ら、上記プリ接続映像のＰ２からＰ５に向かう途中の
手の位置に一瞬ワープした様になるが、距離ｄが短いの
で手話を見る人にはあまり気にならない。

【００６１】なお、上記図８（Ｃ）の方法を示したの
は、もしこの様な手話映像の接続が許されるような用途
では、プリ・ポスト接続映像ファイルの容量を大幅に節
約できるからである。即ち、この方法（他の１つの実施
の形態）によれば、コア映像毎に、手の位置が類似の軌
跡を遷移するようなポスト接続映像とプリ接続映像とを
備える必要がないので、プリ・ポスト接続映像ファイル
の容量を大幅に節約できることとなる。

【００６２】図５は実施の形態による手話映像接続処理
のフローチャートで、図３のステップＳ６でＣＰＵ１６
から手話映像番号列を入力された映像接続部２１におけ
る処理を示している。この手話映像接続処理は、映像合
成部２２による手話映像合成の前に実施され、連続する
２つのコア映像間をスムーズに接続するための上記ポス
ト・プリ接続映像フレームの繋ぎ目を決定する処理であ
る。

【００６３】ステップＳ２１では単語の接続数カウンタ
ｊ＝０に初期化する。ステップＳ２２では手の位置間の
距離の最小値を記憶するための最小値レジスタＤ_minに
最大値ｄ_maxをセットし、かつ映像フレーム数のカウン
タｉ＝αに初期化する。

【００６４】ステップＳ２３ではポスト接続映像ファイ
ルのｉ番目（最初はα）の映像フレームＰＯＣＮ（ｉ）
を読み出す。ステップＳ２４ではプリ接続映像ファイル
の｛Ｍ−（Ｃ_t−ｉ）｝番目の映像フレームＰＲＣＮ
｛Ｍ−（Ｃ_t−ｉ）｝を読み出す。ステップＳ２５では
両映像フレームに夫々付加された手の位置の座標情報
（ｘ，ｙ）に従い両者の手の位置間の距離ｄを求める。
ステップＳ２６ではｄ＜Ｄ _minか否かを判別する。ｄ＜
Ｄ_minの場合はステップＳ２７で最小値レジスタＤ _min
にｄをセットし、かつその時の読出フレームカウント数
ｉをｊ番目の単語接続部のフレーム切替カウント数とし
て接続レジスタＩ_cnn（ｊ）に格納する。なお、この接
続レジスタＩ_cnn（ｊ）の内容は映像合成部２２に出力
されている。またｄ＜Ｄ_minでない場合は上記ステップ
Ｓ２７の処理をスキップする。

【００６５】ステップＳ２８ではカウンタｉに＋１す
る。ステップＳ２９ではｉ＞βか否かを判別する。ｉ＞
βでない場合はステップＳ２３に戻り、次のポスト接続
映像フレームとプリ接続映像フレームとにつき上記同様
の処理を行う。こうして、やがて、上記ステップＳ２９
の判別でｉ＞βになると、この時点では、α≦ｉ≦βの
区間における距離ｄの最小値がレジスタＤ_minに格納さ
れ、かつその時の切替フレーム番号ｉが接続レジスタＩ
_cnn（ｊ）に格納されている。

【００６６】ステップＳ３０ではカウンタｊに＋１す
る。ステップＳ３１ではｊ＞ｋか否かを判別する。ここ
で、ｋは手話単語列の数により決まる最大の接続数であ
る。ｊ＞ｋでない場合はステップＳ２２に戻り、次のコ
ア映像の接続部におけるポスト接続映像フレームとプリ
接続映像フレームとにつき上記同様の処理を行う。こう
して、やがてｊ＞ｋになると、入力文章情報の終わりで
あり、この処理を終了する。

【００６７】この時、映像合成部２２には、例えばコア
映像「今日」，「１日」，「忙しい」，「でした」の各
コア映像番号と、各コア映像間の各ポスト・プリ接続映
像番号と、各ポスト・プリ接続映像番号に夫々対応して
「Ｉ_cnn（１）」〜「Ｉ_cnn（３）」の各接続フレーム
切替情報が提供されている。これにより、映像合成部２
２は「今日」，「ポスト−プリ接続映像」，「１
日」，「ポスト−プリ接続映像」，「忙しい」，「ポ
スト−プリ接続映像」，「でした」の手話映像を滑ら
かに合成し、表示部２３に表示する。

【００６８】図９，図１０は実施の形態による手話合成
映像を示す図（１），（２）で、図９は入力文章「今日
１日は忙しいでした。」に対応する手話映像を示してい
る。最初の映像は手話を行う前のデフォルト（ここでは
手話待機中を表す）の手話映像で、文章情報の区切り等
に自動的に挿入され、映像処理される。次に「デフォル
ト」の終わりと「今日」の始まりとでは手の位置及び形
態に分類上の差はなく、この区間は手の位置Ｐ６，形態
Ｈ１の接続映像で滑らかに接続される。次のコア映像
「今日」の部分には実際の手話映像が表示され、この部
分は現実に収録された正確な手話映像から成っている。
因みに、手の位置，形態の分類はＰ６，Ｈ１で始まり、
かつＰ６，Ｈ１で終わっている。次に「今日」の終わり
と「１日」の始まりとでは手の位置，形態がＰ６，Ｈ１
からＰ５，Ｈ３に変化する。そこで、「今日」の終わり
はＰ５，Ｈ３に向かうポスト接続映像で接続され、かつ
「１日」の始まりはＰ６，Ｈ１から来るプリ接続映像で
接続される。この時、ポスト接続映像の何フレーム目で
プリ接続映像に切り替えるかは接続レジスタＩ
_cnn（ｊ）に基づき制御される。以下同様である。

【００６９】なお、図示しないが、この入力文章「今日
１日は忙しいでした。」の直後に他の入力文章が続く場
合は、これらの文章の間にはデフォルトの手話映像が挿
入されることはなく、前の文章の終わりのコア映像に引
き続き次の文章の始めのコア映像が直接に接続される。
従って、長い文章情報でも滑らかに手話表現できる。こ
の場合に、文章情報間の接続時間Ｃ_tは上記単語間の接
続時間Ｃ_tよりも長めに設定しても良い。また入力文章
「今日１日は忙しいでした。」の直後に他の入力文章が
続かない場合は、前の文章の終わりにデフォルトの映像
が自動的に接続される。

【００７０】図１０は入力文章「昨日の昼は暇でし
た。」に対応する手話映像を示している。文章情報の内
容（単語）が異なっていても、各コア映像間は手話単語
列に最適の接続映像で夫々滑らかに接続されるので、手
話映像を容易に認識できる。

【００７１】ところで、上記実施の形態ではコア映像間
を手の形態をも考慮して滑らかに接続した。しかし、実
際上手の形態が重要となるのはコア映像内部であって、
コア映像間のつなぎ部分では手の位置さえ滑らかに繋が
っていれば、手の形態が多少不自然に変化（接続）して
もあまり気にはならない場合が多い。係る場合には、上
記手の形態Ｈ１〜Ｈ３別に設けたプリ・ポスト接続映像
ファイルを１つの手の形態（例えば固まっているＨ１）
で代表させることが可能である。こうすればプリ・ポス
ト映像ファイルと単語辞書の一部及びこれに関連する処
理等を省略でき、よってメモリを節約できると共に、Ｃ
ＰＵ１６の処理負担が軽減される。そこで、これを他の
実施の形態の更に他の１つとする。

【００７２】なお、上記各実施の形態ではマイク１１、
キーボード１３，ＦＤＤ１５から文章情報を入力する場
合を述べたが、他にＯＣＲ，タブレット（手書き入力文
字認識装置）等から文章情報を入力する様に構成しても
良い。

【００７３】また、上記各実施の形態では日本語手話映
像変換プロセッサへの適用例を述べたが、本発明は英語
手話映像変換プロセッサ等、他のあらゆる言語と手話映
像間のワード手話映像変換プロセッサ（装置）に適用で
きることは言うまでも無い。

【００７４】また、上記各実施の形態では映像接続部２
１が事前にフレームの切替位置を求める処理を行った
が、この演算は上記の如く実時間にかつシーケンシャル
に行えるから、映像合成部２２において、表示部２３へ
の手話映像の表示と同時に行う様に構成しても良い。こ
の場合は映像接続部２１を映像合成部２２に含ませ、か
つ表示部２３への手話映像の表示と同時に接続演算算を
行う。

【００７５】また、上記本発明に好適なる複数の実施の
形態を述べたが、本発明思想を逸脱しない範囲内で各部
の構成、制御、処理及びこれらの組合せの様々な変更が
行えることは言うまでも無い。

【００７６】

【発明の効果】以上述べた如く本発明によれば、手話映
像の収録素片群を利用して任意の文章情報から滑らかな
手話映像を効率良く合成可能となり、健常者と聴障者と
の間のコミュニケーション拡大・向上に寄与する所が極
めて大きい。

【図面の簡単な説明】

【図１】本発明の原理を説明する図である。

【図２】図２は実施の形態によるワード手話映像変換プ
ロセッサのブロック図である。

【図３】実施の形態によるワード手話映像変換処理のフ
ローチャート（１）である。

【図４】実施の形態によるワード手話映像変換処理のフ
ローチャート（２）である。

【図５】実施の形態による手話映像接続処理のフローチ
ャートである。

【図６】実施の形態による手話映像接続処理を説明する
図（１）である。

【図７】実施の形態による手話映像接続処理を説明する
図（２）である。

【図８】実施の形態による手話映像接続処理を説明する
図（３）である。

【図９】実施の形態による手話合成映像を説明する図
（１）である。

【図１０】実施の形態による手話合成映像を説明する図
（２）である。

【図１１】実施の形態によるデータベースを説明する図
（１）である。

【図１２】実施の形態によるデータベースを説明する図
（２）である。

【図１３】実施の形態によるデータベースを説明する図
（３）である。

【図１４】実施の形態による手の位置の分類を説明する
図である。

【図１５】実施の形態による手の形態の分類を説明する
図である。

【符号の説明】

１１マイク（ＭＩＣ）１２音声認識部１３キーボード（ＫＢＤ）１４ポインティングデバイス（ＰＤ）１５フロッピーディスク装置（ＦＤＤ）１６ＣＰＵ１７主メモリ（ＭＭ）１８ハードディスク装置（ＨＤＤ）１９ＣＤ−ＲＯＭ装置（ＣＤ−ＲＯＭ）２０復号装置（ＭＰＥＧ）２１映像接続部２２映像合成部２３表示部（ＤＳＰ）２４共通バス５０ＶＴＲ装置（ＶＴＲ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者松井利有栃木県小山市城東３丁目28番１号富士通キャドテック株式会社内Ｆターム(参考） 5B050 BA06 BA08 BA12 BA20 EA19 GA08

Claims

【特許請求の範囲】

【請求項１】コンピュータと、複数の単語につき手話
表現に不可欠な部分の各コア映像を収録したコア映像フ
ァイルと、第１の所定の手の位置で始まりかつ自己が接
続するコア映像の手の開始位置で終わる様なプリ接続映
像をコア映像毎に収録したプリ接続映像ファイルと、自
己が接続するコア映像の手の終了位置で始まりかつ第２
の所定の手の位置で終わる様なポスト接続映像をコア映
像毎に収録したポスト接続映像ファイルと、複数の単語
を各対応するコア映像に関係付けるデータベースとを備
え、前記コンピュータは、（ａ）入力の文章情報から手
話単語に対応する単語列を抽出し、（ｂ）該抽出された
各単語のコア映像及び該各コア映像に接続するポスト接
続映像とプリ接続映像とを抽出して、前の単語のポスト
接続映像と後の単語のプリ接続映像間を所定のフレーム
数間隔となるように重ね合わせ、（ｃ）該重ね合わせた
部分の両接続映像につき両者の手の位置間の距離が最小
となる位置でポスト接続映像フレームとプリ接続映像フ
レームとを接続することを特徴とするワード手話映像変
換方法。
【請求項２】第１，第２の各所定の手の位置は手話映
像画面の略中央にあることを特徴とする請求項１に記載
のワード手話映像変換方法。
【請求項３】手話映像画面を複数の領域に分割すると
共に、プリ接続映像ファイルは、各領域の手の位置で始
まりかつ自己が接続するコア映像の手の開始位置で終わ
る様な複数のプリ接続映像をコア映像毎に収録し、また
ポスト接続映像ファイルは、自己が接続するコア映像の
手の終了位置で始まりかつ各領域の手の位置で終わる様
な複数のポスト接続映像をコア映像毎に収録したことを
特徴とする請求項１に記載のワード手話映像変換方法。
【請求項４】手の形態を形態が類似する複数のグルー
プに分類すると共に、プリ接続映像ファイルは、各分類
に含まれる何れかの手の形態で始まりかつ自己が接続す
るコア映像の手の開始形態で終わる様な複数のプリ接続
映像をコア映像毎に収録し、またポスト接続映像ファイ
ルは、自己が接続するコア映像の手の終了形態で始まり
かつ各分類に含まれる何れかの手の形態で終わる様な複
数のポスト接続映像をコア映像毎に収録したことを特徴
とする請求項１乃至３の何れか１に記載のワード手話映
像変換方法。
【請求項５】複数の単語につき手話表現に不可欠な部
分の各コア映像を収録したコア映像ファイルと、第１の所定の手の位置で始まりかつ自己が接続するコア
映像の手の開始位置で終わる様なプリ接続映像をコア映
像毎に収録したプリ接続映像ファイルと、自己が接続するコア映像の手の終了位置で始まりかつ第
２の所定の手の位置で終わる様なポスト接続映像をコア
映像毎に収録したポスト接続映像ファイルと、複数の単語を各対応するコア映像に関係付けるデータベ
ースと、文章情報を入力する入力手段と、入力の文章情報から手話単語に対応する単語列を抽出す
る単語抽出手段と、該抽出された各単語のコア映像及び該各コア映像に接続
するポスト接続映像とプリ接続映像とを抽出して、前の
単語のポスト接続映像と後の単語のプリ接続映像間を所
定のフレーム数間隔となるように重ね合わせ、該重ね合
わせた部分の両接続映像につき両者の手の位置間の距離
が最小となる位置でポスト接続映像フレームとプリ接続
映像フレームとを接続する手話映像接続手段とを備える
ことを特徴とするワード手話映像変換装置。
【請求項６】請求項１乃至４の何れか１に記載のワー
ド手話映像変換方法をコンピュータに実行させるための
プログラムを記録したコンピュータ読み取り可能な記録
媒体。