JP2015166902A - 非手指動作検出装置及びプログラム - Google Patents

Abstract

【課題】日本語文と手話文との対訳コーパスに基づき非手指動作すべき単語を検出する。
【解決手段】本発明に係る非手指動作検出装置は、日本語文と、前記日本語文に対応する手話文とを含む対訳コーパスを格納する格納部と、前記日本語文に含まれる日本語単語と、前記手話文に含まれる手話単語とを対応付けるアライメント部と、前記日本語単語のうち、前記手話単語と対応付けられていない日本語単語から、非手指動作を行う日本語単語を検出する非手指動作検出部と、を備える。
【選択図】図１

Description

この発明は、非手指動作検出装置及びプログラムに関する。

手話サービスの拡充をめざし、日本語から手話への自動翻訳の研究が進められている。手話では、手や指の動きなどの手指動作とともに、顔の表情や頭部の動きなどの非手指動作によって言語的情報を表出している。テキストから手話への翻訳は、日本語文と手話文との対訳コーパスに基づいて行われる。一般に、手話文で表記されるのは主に手指動作であり、非手指動作は一部のみしか書き起こされていない。これは、手指動作は単語の同定をしやすいが、非手指動作は難しいからである。非手指動作は言語的役割や音声言語のプロソディの役割もあり、その区別をつけて書き起こすことは人間でも容易ではない。

従来、非手指動作を検出する技術としては、顔認識技術を使って顔の表情を自動認識し、その箇所を非手指動作として検出する技術がある（例えば、特許文献１〜３）。

特開２０１４−０２１８９６号公報 特開２０１４−０２１８４６号公報 特開２０１１−１５０３８１号公報

社会福祉法人全国手話研修センター日本手話研究所編、「新 日本語−手話辞典」、財団法人全日本聾唖連盟、２０１１年６月１０日

しかしながら、手話では顔表情が音声言語のプロソディの役割も持っており、非手指動作以外でも顔表情が表出されることがある。したがって、顔表情があっても必ずしも言語的な意味を持つものではなく、正しく非手指動作が検出されない場合がある。

したがって、かかる点に鑑みてなされた本発明の目的は、日本語文と手話文との対訳コーパスに基づき非手指動作すべき単語を検出する非手指動作検出装置及びプログラムを提供することである。

上述した諸課題を解決すべく、本発明に係る非手指動作検出装置は、日本語文と、前記日本語文に対応する手話文とを含む対訳コーパスを格納する格納部と、前記日本語文に含まれる日本語単語と、前記手話文に含まれる手話単語とを対応付けるアライメント部と、前記日本語単語のうち、前記手話単語と対応付けられていない日本語単語から、非手指動作を行う日本語単語を検出する非手指動作検出部と、を備える。

また、前記アライメント部は、前記日本語単語のうち、複数漢字から構成される日本語単語が当該日本語単語の漢字数以上の他言語単語に翻訳される場合、前記複数漢字から構成される日本語単語を各漢字に分割し、前記各漢字と前記手話単語との間の翻訳確率に基づき前記各漢字と前記手話単語との対応付けを行う、ことが好ましい。

また、前記アライメント部は、前記手話単語と対応付けられていない日本語単語のうち、語彙的意味を表す内容語を非手指動作の対象となる日本語単語として検出する、ことが好ましい。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記非手指動作検出装置として機能させるものである。

本発明に係る非手指動作検出装置及びプログラムによれば、日本語文と手話文との対訳コーパスに基づき非手指動作すべき単語を検出することが可能になる。

本発明の一実施形態に係る非手指動作検出装置の概略構成を示す図である。 非手指動作検出装置の処理を示すフローチャートである。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、手話には確立された表記法はないが、本稿においては、一般的に用いられる表記法である日本語ラベルを用いるものとする（非特許文献１参照）。日本語ラベルでは、手話単語は“{雨}”のように、手話単語と意味的に近い日本語の単語を括弧“{}”で括ることによって記述される。日本語ラベルは単語ごとの書き起こしであるので、機械翻訳で扱いやすいという利点がある。日本語文と手話文（日本語ラベル）との対訳コーパスの一例は、下記の通り表わされる。
［対訳コーパス］
日本語文：大雪や強い雷雨に注意するよう呼びかけています
手話文 ：{とても} {降雪} {雷} {雨} {注意} {宣伝} {中}

図１は、本発明の一実施形態に係る非手指動作検出装置の概略構成を示す図である。非手指動作検出装置は、形態素解析部１１、単語プレアライメント部１２、文字プレアライメント部１３、文中距離計算部１４、漢字分割部１５、翻訳確率推定部１６、翻訳確率アライメント部１７、及び非手指動作検出部１８を有する制御部１０と、対訳コーパス格納部２１及び翻訳確率格納部２２を有する格納部２０とを備える。制御部１０において、単語プレアライメント部１２、文字プレアライメント部１３、文中距離計算部１４、漢字分割部１５、翻訳確率推定部１６、翻訳確率アライメント部１７は、アライメント部Ａを構成する。制御部１０の各処理部１１〜１８は好適なプロセッサにより構成され、各処理部１１〜１８を共通のプロセッサで実装したり、個別のプロセッサとして実装したりすることができる。格納部２０は好適な記憶装置であって、非手指動作検出装置に内蔵されるものだけではなく、通信インタフェースを介した外部記憶装置を用いてもよい。

形態素解析部１１は、対訳コーパス中の日本語文を形態素解析して単語に分割する。また、形態素解析部１１は、対訳コーパス中の手話文が日本語ラベルのように単語ごとに分かれていない場合、手話文を形態素解析して単語に分割することができる。これ以降、日本語文中の各単語を日本語単語、手話文中の各単語を手話単語と適宜称するものとする。

アライメント部Ａは、日本語文に含まれる日本語単語と、手話文に含まれる手話単語とを対応付ける（アライメントする）ものである。

単語プレアライメント部１２は、日本語単語と手話単語との間で表層的に一致するもの同士を対応付ける。すなわち、単語プレアライメント部１２は、文字（文字列）が完全に一致する日本語単語と手話単語とを対応付けるものである。

文字プレアライメント部１３は、日本語単語を構成する文字と手話単語との間で表層的に一致するもの同士を対応付ける。すなわち、文字プレアライメント部１３は、日本語単語と、当該日本語単語を構成する文字と同じ手話単語とを対応付けるものである。

文中距離計算部１４は、ある日本語単語が日本語文中で出現する位置と、ある手話単語が手話文中で出現する位置との近さ（文中距離）を計算する。一般的に日本語文と手話文との語順は似ているため、ある日本語単語とある手話単語との文中距離が近い場合、当該単語同士が対応する可能性も高くなる。また、ある日本語単語とある手話単語との文中距離が離れている場合、当該単語同士が対応する可能性は低くなる。そのため、文中距離が所定の閾値を超える単語同士については、アライメントの対象から除外することが可能となる。文中距離計算部１４が計算する文中距離dist(j_p,s_q)は、式（１）のように定義される。ここで、N_Jは日本語文中の日本語単語数、j_pはp番目の日本語単語、N_Sは手話文中の手話単語数、s_qはq番目の手話単語である。
dist(j_p,s_q) = |p/N_J - q/N_S| （１）

漢字分割部１５は、日本語単語のうち、複数漢字から構成される日本語単語が当該日本語単語の漢字数以上の他言語単語に翻訳される場合、複数漢字から構成される日本語単語を各漢字に分割する。ここで、他言語とは、例えば英語であって、漢字分割部１５は、２文字の漢字から構成される日本語単語が２つ以上の英単語に翻訳される場合、当該日本語単語を各漢字に分割する。日本語単語の他言語への翻訳には種々の公知技術を用いることができ、例えば、漢字分割部１５は、日本語単語から他言語への翻訳辞書等を備えているものとする。

翻訳確率推定部１６は、日本語単語と手話単語との間の翻訳確率を推定する。翻訳確率の推定には種々の公知技術を用いることができ、例えば、翻訳確率推定部１６は、ＥＭアルゴリズムにより翻訳確率を推定することができる。なお、ここで言う日本語単語とは、漢字分割部１５により分割された各漢字（１つの漢字からなる日本語単語）を含むものである。

翻訳確率アライメント部１７は、日本語単語と手話単語との間の翻訳確率に基づき日本語単語と手話単語との対応付けを行う。翻訳確率に基づく対応付けには、種々の公知技術を用いることができ、例えば、翻訳確率アライメント部１７は、Ｇｒｅｅｄｙアルゴリズムにより単語の対応付けを行うことができる。なお、日本語単語は漢字分割部１５により分割された各漢字を含むものであるため、翻訳確率アライメント部１７は、各漢字と手話単語との間の翻訳確率に基づき各漢字と手話単語との対応付けを行うものである。

非手指動作検出部１８は、日本語単語のうち、手話単語と対応付けられていない日本語単語から、非手指動作を行う日本語単語を検出する。特に、非手指動作検出部１８は、手話単語と対応付けられていない日本語単語のうち、名詞、動詞、形容詞など、主として語彙的意味を表す内容語を非手指動作の対象となる日本語単語として検出する。

対訳コーパス格納部２１は、日本語文と、日本語文に対応する手話文とを含む対訳コーパスを格納する。また、対訳コーパス格納部２１は、アライメント部Ａによる日本語単語と手話単語との対応付け結果を適宜格納する。

翻訳確率格納部２２は、翻訳確率推定部１６が推定した日本語単語と手話単語との間の翻訳確率を格納する。

図２は、非手指動作検出装置の処理を示すフローチャートである。本フローチャートでは、下記の対訳コーパス１を例に、各機能部の処理を説明する。
［対訳コーパス１］
日本語文：大雪や強い雷雨に注意するよう呼びかけています
手話文 ：{とても} {降雪} {雷} {雨} {注意} {宣伝} {中}

Ｓ１では、日本語文と手話文とを含む対訳コーパスが入力されると、形態素解析部１１は、対訳コーパスの日本語文を形態素解析して単語に分割し、分割結果を対訳コーパス格納部２１に格納する。例えば、対訳コーパス１は、形態素解析部１１により下記の通り単語に分割される。
［対訳コーパス１（単語分割例）］
日本語文：大雪₁/や₂/強い₃/雷雨₄/に₅/注意₆/する₇/よう₈/呼びかけ₉/て₁₀/い₁₁/ます₁₂
手話文 ：{とても}₁ {降雪}₂ {雷}₃ {雨}₄ {注意}₅ {宣伝}₆ {中}₇

Ｓ２では、単語プレアライメント部１２は、Ｓ１で分割された日本語単語及び手話単語の中で表層的に一致するもの同士を発見し、文中距離計算部１４により計算された文中距離が閾値以下である場合には、当該単語同士を対応付けてアライメント結果を対訳コーパス格納部２１に格納する。例えば、対訳コーパス１（単語分割例）の日本語単語及び手話単語の中で、表層的に一致する単語は「注意₆」と{注意}₅である。

ここで、文中距離計算部１４は、「注意₆」と{注意}₅との文中距離dist(注意₆,{注意}₅)を計算する。文中距離の閾値を0.3とすると、下記の通り、dist(注意₆,{注意}₅)は閾値0.3を下回る値となるため、単語プレアライメント部１２は、「注意₆」と{注意}₅とを対応付けてアライメント結果を対訳コーパス格納部２１に格納する。
dist(注意₆,{注意}₅) = |6/12 - 5/7|= 0.21 ≦ 0.3

Ｓ３では、文字プレアライメント部１３は、アライメントされていない日本語単語を対象に、日本語単語を構成する文字と手話単語とが表層的に一致するもの同士を発見し、文中距離計算部１４により計算された値が閾値以下である場合には、当該単語同士をアライメントしてアライメント結果を対訳コーパス格納部２１に格納する。例えば、Ｓ２でアライメントされなかった対訳コーパス１（単語分割例）の日本語単語の中で、日本語単語を構成する文字と手話単語とが表層的に一致するものは次の単語となる。
雷雨₄の雷 ＝ {雷}₃
雷雨₄の雨 ＝ {雨}₄

ここで、文中距離計算部１４は、「雷雨₄」と{雷}₃との文中距離dist(雷雨₄,{雷}₃)及び「雷雨₄」と{雨}₄との文中距離dist(雷雨₄,{雨}₄)を計算する。下記の通り、dist(雷雨₄,{雷}₃)及びdist(雷雨₄,{雨}₄)はいずれも閾値0.3を下回る値となるため、文字プレアライメント部１３は、雷雨₄の「雷」と{雷}₃、雷雨₄の「雨」と{雨}₄とを対応付けてアライメント結果を対訳コーパス格納部２１に格納する。
dist(雷雨₄,{雷}₃) = |4/12 - 3/7|= 0.10 ≦ 0.3
dist(雷雨₄,{雨}₄) = |4/12 - 4/7|= 0.24 ≦ 0.3

Ｓ４では、漢字分割部１５は、アライメントされていない日本語単語のうち、複数漢字から構成される日本語単語が当該日本語単語の漢字数以上の他言語単語に翻訳される場合、複数漢字から構成される日本語単語を各漢字に分割し、分割後の各漢字を対訳コーパス格納部２１に格納する。例えば、Ｓ２及びＳ３でアライメントされなかった対訳コーパス１（単語分割例）の日本語単語の中で、複数漢字で構成される単語は「大雪₁」である。漢字分割部１５は、例えば日英対訳辞書を参照すると、「大雪₁」は「heavy snow」という２つの英単語に翻訳されるため、「大雪₁」を「大」と「雪」の各漢字に分割し、分割結果を対訳コーパス格納部２１に格納する。

Ｓ５では、翻訳確率推定部１６は、アライメントされていない日本語単語及び手話単語のうち、文中距離が閾値以下である単語の組を対象に、翻訳確率を推定して翻訳確率格納部２２に格納する。ここで、対訳コーパス１（単語分割例）の中で、Ｓ２〜Ｓ４でアライメントされていない日本語単語及び手話単語は以下の通りである。
［対訳コーパス（アライメントされていない単語）］
日本語文：大₁/雪₁/や₂/強い₃/に₅/する₇/よう₈/呼びかけ₉/て₁₀/い₁₁/ます₁₂
手話文 ：{とても}₁ {降雪}₂ {宣伝}₆ {中}₇

まず、文中距離計算部１４は、各日本語単語と各手話単語との文中距離を計算する。例えば、日本語単語である「大₁」と各手話単語との文中距離は、下記のように計算できる。この結果、「大₁」に対して、翻訳確率推定部１６により翻訳確率を推定する対象となるのは、文中距離が閾値（0.3）以下となる{とても}₁と{降雪}₂である。
dist(大₁,{とても}₁) = |1/12 - 1/7|= 0.20 ≦ 0.3
dist(大₁,{降雪}₂) = |1/12 - 2/7|= 0.20 ≦ 0.3
dist(大₁,{宣伝}₆) = |1/12 - 6/7|= 0.77 ＞ 0.3
dist(大₁,{中}₇) = |1/12 - 3/7|= 0.92 ＞ 0.3

翻訳確率推定部１６は、文中距離が閾値以下となる日本語単語と手話単語の組について、例えばＥＭアルゴリズムにより以下のような翻訳確率を推定し、推定した翻訳確率を翻訳確率格納部２２に格納する。
大₁：{とても}₁（翻訳確率＝0.54）
雪₁：{降雪}₂（翻訳確率＝0.83）
呼びかけ₉：{宣伝}₆（翻訳確率＝0.65）
い₁₁：{中}₇（翻訳確率＝0.16）

Ｓ６では、翻訳確率アライメント部１７は、Ｓ５で推定された翻訳確率を用いて、まだアライメントされていない単語のアライメントを行い、アライメント結果を対訳コーパス格納部２１に格納する。翻訳確率アライメント部１７は、例えば、ある閾値以上の翻訳確率のみを用いたgreedyアルゴリズムにより下記のようなアライメントを行い、アライメント結果を対訳コーパス格納部２１に格納する。
大₁ ＝ {とても}₁
雪₁ ＝ {降雪}₂
強い₃ ＝ （アライメントなし）
に₅ ＝ （アライメントなし）
する₇ ＝ （アライメントなし）
呼びかけ₉ ＝ {宣伝}₆
い₁₁ ＝ {中}₇
ます₁₂ ＝ （アライメントなし）

非手指動作検出部１８は、Ｓ２〜６のアライメント後もまだ手話単語と対応付けられていない日本語単語から、非手指動作を行う日本語単語を検出する。特に、非手指動作検出部１８は、アライメントされていない日本語単語のうち、名詞、動詞、形容詞など、主として語彙的意味を表す内容語を非手指動作の対象となる日本語単語として検出する。例えば、上記例では、アライメントなしと判定された日本語単語は「強い₃」、「に₅」、「する₇」、「ます₁₂」である。非手指動作検出部１８は、このうち内容語である「強い₃」を非手指動作の対象となる日本語単語として検出する。

Ｓ８では、非手指動作検出部１８は、Ｓ７で検出した非手指動作の対象となる日本語単語を後段の手話表示装置等（図示せず）に出力する。なお、例えば、対訳コーパス１の場合、日本語文において「強い₃」は「雷雨₄」に係るものであり、このような係り受け情報はＳ１の形態素解析により取得することができる。そのため、非手指動作検出部１８は、非手指動作の対象となる日本語単語に加え、係り受けの情報を併せて出力することにより、後段の手話表示装置等において、「強い」という非手指動作を「雷雨」の手指動作のタイミングで行わせることが可能となる。

このように、本実施形態によれば、アライメント部Ａは日本語文に含まれる日本語単語と、手話文に含まれる手話単語とを対応付け、非手指動作検出部１８は日本語単語のうち、手話単語と対応付けられていない日本語単語から、非手指動作を行う日本語単語を検出する。これにより、日本語文と手話文との対訳コーパスに基づき非手指動作すべき単語を検出することが可能となる。

また、アライメント部Ａは、日本語単語のうち、複数漢字から構成される日本語単語が当該日本語単語の漢字数以上の他言語単語に翻訳される場合、複数漢字から構成される日本語単語を各漢字に分割し、各漢字と手話単語との間の翻訳確率に基づき各漢字と手話単語との対応付けを行うことができる。これにより、表層的に一致しない日本語単語と手話単語であっても、日本語単語を構成する漢字と手話単語との意味が近い場合には、当該単語同士を対応づけることが可能となる。このため、対訳コーパス中の単語同士の対応精度を向上させることができ、結果的にアライメントされない単語が減少するため、より精度よく非手指動作すべき単語を検出することが可能となる。

また、アライメント部Ａは、手話単語と対応付けられていない日本語単語のうち、語彙的意味を表す内容語を非手指動作の対象となる日本語単語として検出する。これにより、名詞、動詞、形容詞など、主として語彙的意味を表す内容語を非手指動作により表現することが可能となる。

なお、上述した非手指動作検出装置として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、非手指動作検出装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１０ 制御部
１１ 形態素解析部
１２ 単語プレアライメント部
１３ 文字プレアライメント部
１４ 文中距離計算部
１５ 漢字分割部
１６ 翻訳確率推定部
１７ 翻訳確率アライメント部
１８ 非手指動作検出部
Ａ アライメント部
２０ 格納部
２１ 対訳コーパス格納部
２２ 翻訳確率格納部

Claims (4)

1. 日本語文と、前記日本語文に対応する手話文とを含む対訳コーパスを格納する格納部と、
   前記日本語文に含まれる日本語単語と、前記手話文に含まれる手話単語とを対応付けるアライメント部と、
   前記日本語単語のうち、前記手話単語と対応付けられていない日本語単語から、非手指動作を行う日本語単語を検出する非手指動作検出部と、を備える非手指動作検出装置。
2. 前記アライメント部は、前記日本語単語のうち、複数漢字から構成される日本語単語が当該日本語単語の漢字数以上の他言語単語に翻訳される場合、前記複数漢字から構成される日本語単語を各漢字に分割し、前記各漢字と前記手話単語との間の翻訳確率に基づき前記各漢字と前記手話単語との対応付けを行う、請求項１に記載の非手指動作検出装置。
3. 前記アライメント部は、前記手話単語と対応付けられていない日本語単語のうち、語彙的意味を表す内容語を非手指動作の対象となる日本語単語として検出する、請求項１又は２に記載の非手指動作検出装置。
4. コンピュータを、請求項１乃至３のいずれか一項に記載の非手指動作検出装置として機能させるためのプログラム。

Images