JP2023003442A - 手話教材用画像生成装置及びそのプログラム - Google Patents

Abstract

【課題】静止画の手話教材用画像を効率的に生成できる手話教材用画像生成装置を提供する。【解決手段】手話教材用画像生成装置１は、手話動画から、手話動作開始画像及び手話動作終了画像を選択する手話動作画像選択手段１２と、手話動作終了画像から手話動作開始画像まで、所定のフレーム間隔に渡って手首の動きが少なくなる候補画像を推定する候補画像推定手段２１と、候補画像２１に手首の軌跡を合成することで、手話教材用画像を生成する手首軌跡合成手段３１とを備える。【選択図】図１

Description

本発明は、手話教材用画像生成装置及びそのプログラムに関する。

手話教材書籍は、手話単語や指文字といった手話を習得するための書籍であり、手話動作の写真やイラストを用いた説明が行われる。現状、手話教材書籍は、手話動作を行っている人物の写真やイラストなどの静止画教材が主流である。従って、手話を理解できる制作者が手話映像から一枚一枚静止画を手作業で抽出する、又は、イラストレーターが実手話映像から手話動作を想像してイラスト化することで、静止画教材を作成している。

また、手話教材を作成する技術も提案されている（非特許文献１）。この従来技術は、言語研究用に開発された無料ソフトＥＬＡＮ（EUDICO Linguistic Annotator）を利用して、手話教材を作成するものである。なお、ＥＬＡＮは、映像や音声データなどのメディアファイルを取り込み、異なるタイプの注釈（コメントやメモ）を自由につけることを可能にするソフトである。

南田政浩 松岡和美 矢野羽衣子、ＥＬＡＮを用いた手話教材の開発、『手話学研究』第２０巻（２０１１年）、３９ページ～４４ページ

しかしながら、前記した静止画教材の作成手法では、静止画の抽出やイラスト化に手話の経験が要求され、作業時間が多くなるという問題がある。また、非特許文献１に記載の技術は、手話教材を動画で作成するものであり、静止画の手話教材には対応できない。

そこで、本発明は、静止画の手話教材用画像を効率的に生成できる手話教材用画像生成装置及びそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る手話教材用画像生成装置は、人物が手話を行っている手話映像から、静止画である手話教材用画像を生成する手話教材用画像生成装置であって、手話動作画像選択手段と、候補画像推定手段と、手首軌跡合成手段と、を備える構成とした。

かかる構成によれば、手話動作画像選択手段は、手話映像の手首位置が予め設定した手話動作基準位置より下側となるフレーム画像を手話動作開始画像として選択し、手話動作開始画像より後に、再び手首位置が手話動作基準位置より下側となるフレーム画像を手話動作終了画像として選択する。

候補画像推定手段は、手話動作終了画像から手話動作開始画像まで、所定のフレーム間隔に渡って手首の動きが少なくなるフレーム画像を候補画像として推定する。
手首軌跡合成手段は、候補画像に手首の軌跡を合成することで、手話教材用画像を生成する。

ここで、手首の動きが遅いときの画像や手首が反転するときの画像が、手話動作の特徴を表していると考えられる。そこで、候補画像推定手段が、手首の動きが遅いときのフレーム画像や手首が反転するときのフレーム画像を候補画像として推定することで、手話学習に適した静止画の手話教材用画像を効率的に生成できる。

なお、本発明は、コンピュータを、前記した手話教材用画像生成装置として機能させるためのプログラムで実現することもできる。

本発明によれば、静止画の手話教材用画像を効率的に生成することができる。

実施形態に係る手話教材用画像生成装置の構成を示すブロック図である。 実施形態において、手話教材用画像生成装置の全体動作を示すフローチャートである。 実施形態において、手話動作取得処理を示すフローチャートである。 実施形態において、画像差分による候補画像推定処理を示すフローチャートである。 実施形態において、手首座標による候補画像推定処理を示すフローチャートである。 実施形態において、候補画像指定処理を示すフローチャートである。 実施形態において、動き情報合成処理を示すフローチャートである。 （ａ）及び（ｂ）は、手話教材用画像の生成を説明する説明図である。

以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。

［手話教材用画像生成装置の構成］
図１及び図２を参照し、実施形態に係る手話教材用画像生成装置１の構成について説明する。
手話教材用画像生成装置１は、人物が手話を行っている手話映像から、静止画である手話教材用画像を生成するものである。図１に示すように、手話教材用画像生成装置１は、手話動作取得手段１０と、静止画推定手段２０と、動き情報合成手段３０とを備える。

手話動作取得手段１０は、手話映像から手話動作を取得する手話動作取得処理Ｓ１（図２）を行うものであり、キャプチャデータ判定手段１１と、手話動作画像選択手段１２とを備える。

キャプチャデータ判定手段１１は、手話映像が入力され、入力された手話映像にキャプチャデータが付加されているか否かを判定するである。
なお、キャプチャデータとは、手話映像の各フレーム画像に付加されている手首の３次元座標を表すデータのことであり、一般的なモーションキャプチャ装置で生成できる。

手話動作画像選択手段１２は、手話映像の手首位置が予め設定した手話動作基準位置より下側となるフレーム画像を手話動作開始画像として選択するものである。また、手話動作画像選択手段１２は、手話動作開始画像より後に、再び手首位置が手話動作基準位置より下側となるフレーム画像を手話動作終了画像として選択する。
以後、手話動作開始画像を「Ｉｎ点」と表記し、手話動作終了画像を「Ｏｕｔ点」と表記する場合ある。

静止画推定手段２０は、手話教材用画像として用いる静止画を推定する静止画推定処理Ｓ２（図２）を行うものであり、候補画像推定手段２１と、候補画像指定手段２２とを備える。

候補画像推定手段２１は、手話映像のＯｕｔ点からＩｎ点まで、所定のフレーム間隔に渡って手首の動きが少なくなるフレーム画像を候補画像として推定するものである。
候補画像指定手段２２は、前記した候補画像を指定するものである。例えば、手話教材用画像生成装置１の利用者が、図示を省略したキーボード、マウスなどの操作手段を用いて、候補画像を手動で指定する。

動き情報合成手段３０は、手首の動き情報（軌跡）を候補画像に合成する動き情報合成処理Ｓ３（図２）を行うものであり、手首軌跡合成手段３１と、手首軌跡修正手段３２とを備える。

手首軌跡合成手段３１は、候補画像に手首の軌跡を合成することで、手話教材用画像を生成するものである。
手首軌跡修正手段３２は、前記した手首の軌跡を修正するものである。例えば、手話教材用画像生成装置１の利用者が、操作手段を用いて、手首の軌跡を手動で修正する。

［手話教材用画像生成装置の全体動作：手話動作取得処理］
図２を参照し、手話教材用画像生成装置１の全体動作を説明する。
手話教材を作成する際、手話映像だけを収録する場合と、手話映像に加え、モーションキャプチャ装置でキャプチャデータも取得している場合がある。このため、図２の手話動作取得処理Ｓ１では、手話動作取得手段１０が、手話映像又はキャプチャデータから手首位置を取得する。そして、手話動作取得手段１０は、手話映像の手の動きに注目し、両手を胸下で組んだ状態又は両手を真下に下した状態をＩｎ点、再び両手を胸下で組んだ状態又は両手を真下に戻した状態をＯｕｔ点として選択する。

図３を参照し、手話動作取得処理Ｓ１の各ステップを詳細に説明する。
ステップＳ１０において、キャプチャデータ判定手段１１は、手話映像にキャプチャデータが付加されているか否かを判定する。
キャプチャデータが付加されていない場合（ステップＳ１０でＮｏ）、キャプチャデータ判定手段１１は、手話映像のみを取得し、ステップＳ１２の処理に進む。
キャプチャデータが付加されている場合（ステップＳ１０でＮｏ）、キャプチャデータ判定手段１１は、手話映像及びキャプチャデータを取得し、ステップＳ１３の処理に進む。

ステップＳ１２において、手話動作画像選択手段１２は、手話映像の各フレーム画像に関節検出処理を施すことで、手首の２次元座標を手首位置として検出する。例えば、関節検出処理には、フレーム画像単位で関節位置を検出可能なＯｐｅｎＰｏｓｅを利用できる（参考文献１）。このＯｐｅｎＰｏｓｅでは、検出された各関節に固有の識別子が割り当てられており、例えば、識別子４，７が両手首に割り当てられている。従って、この識別子を指定すれば、ＯｐｅｎＰｏｓｅで両手首の２次元座標を検出できる。

参考文献１：ＯｐｅｎＰｏｓｅ、［online］、［令和３年５月２４日検索］、インターネット＜URL：https://github.com/CMU-Perceptual-Computing-Lab/openpose＞

ステップＳ１３，Ｓ１４では、手話動作画像選択手段１２が、手話映像から、手首位置が手話動作基準位置より下側となるフレーム画像をＯｕｔ点として選択する。
具体的には、ステップＳ１３において、手話動作画像選択手段１２は、処理対象となるｉ番目のフレーム画像Ｙ_ｉを最後のフレーム画像Ｙ_Ｅｎｄに設定する（ｉ＝Ｅｎｄ）。そして、手話動作画像選択手段１２は、フレーム画像Ｙ_ｉから手首位置を取得する。

ここで、キャプチャデータが付加されている場合（ステップＳ１０でＹｅｓ）、手話動作画像選択手段１２は、キャプチャデータから手首の３次元座標（ｘ，ｙ，ｚ）を取得する。
一方、キャプチャデータが付加されていない場合（ステップＳ１０でＮｏ）、手話動作画像選択手段１２は、ステップＳ１２で検出した手首の２次元座標（ｘ，ｙ）を取得する。この場合、奥行座標ｚ＝０として扱うこととする。

ステップＳ１４において、手話動作画像選択手段１２は、手首の垂直座標ｙが予め設定した手話動作基準位置（閾値ｙ＿Ｃｈｓｔ）を超えているかを閾値判定する。ここでは、手話動作画像選択手段１２は、左右両方の手首の垂直座標ｙが手話動作基準位置を超えているかを閾値判定する。
なお、手話動作基準位置は、画像上で手話動作の開始及び終了するときの位置（高さ）を表しており、例えば、胸下で両手を組んだときの胸下位置、又は、両手を真下に下げたときの真下位置である。なお、閾値ｙ＿Ｃｈｓｔが胸下位置を表す閾値である。

垂直座標ｙが閾値ｙ＿Ｃｈｓｔを超えない場合（ステップＳ１４でＮｏ）、手話動作画像選択手段１２は、変数ｉをデクリメントし（ｉ＝ｉ－１）、ステップＳ１３の処理に戻る。
垂直座標ｙが閾値ｙ＿Ｃｈｓｔを超える場合（ステップＳ１４でＹｅｓ）、手話動作画像選択手段１２は、フレーム画像Ｙ_ｉをＯｕｔ点として選択する（Ｏｕｔ点＝ｉ）。

ステップＳ１５，Ｓ１６では、手話動作画像選択手段１２が、手話映像から、手首位置が手話動作基準位置より下側となるフレーム画像Ｙ_ｉをＩｎ点として選択する。
ステップＳ１５において、手話動作画像選択手段１２は、フレーム画像Ｙ_ｉから手首位置を取得する。

ステップＳ１６において、手話動作画像選択手段１２は、手首の垂直座標ｙが閾値ｙ＿Ｃｈｓｔ未満であるかを閾値判定する。ここでは、手話動作画像選択手段１２は、左右両方の手首の垂直座標ｙが手話動作基準位置未満であるかを閾値判定する。
垂直座標ｙが閾値ｙ＿Ｃｈｓｔ未満でない場合（ステップＳ１６でＮｏ）、手話動作画像選択手段１２は、変数ｉをデクリメントし（ｉ＝ｉ－１）、ステップＳ１５の処理に戻る。
垂直座標ｙが閾値ｙ＿Ｃｈｓｔ未満の場合（ステップＳ１６でＹｅｓ）、手話動作画像選択手段１２は、フレーム画像Ｙ_ｉをＩｎ点として選択し（Ｉｎ点＝ｉ）、図２の静止画推定処理Ｓ２に進む。

図２の静止画推定処理Ｓ２では、静止画推定手段２０は、画像差分による候補画像推定処理Ｓ２０、又は、手首座標による候補画像推定処理Ｓ２１の何れか一方を実行した後、候補画像指定処理Ｓ２２を実行する。例えば、手話教材用画像生成装置１の利用者が、操作手段を用いて、画像差分による候補画像推定処理Ｓ２０、又は、手首座標による候補画像推定処理Ｓ２１の何れを実行するか手動で設定する。

＜画像差分による候補画像推定処理＞
図４を参照し、画像差分による候補画像推定処理Ｓ２０を説明する。
画像差分による候補画像推定処理Ｓ２０では、候補画像推定手段２１が、Ｏｕｔ点からＩｎ点まで、隣接するフレーム画像Ｙ_ｉで画像差分を算出する。そして、候補画像推定手段２１は、フレーム間隔連続して画像差分が予め設定した差分閾値未満となるフレーム画像Ｙ_ｉを候補画像として推定する。

以下、画像差分による候補画像推定処理Ｓ２０の各ステップを詳細に説明する。
図４に示すように、ステップＳ２００では、候補画像推定手段２１は、変数ｉをＯｕｔ点に設定し（ｉ：Ｏｕｔ点）、変数ｊを初期化し（ｊ：１）、変数ｋを初期化する（ｋ：１）。続いて、候補画像推定手段２１は、処理対象のフレーム画像Ｙ_ｉがＩｎ点未満であるか否か、つまり、変数ｉがＩｎ点未満を指しているか否かを判定する。

変数ｉがＩｎ点未満を指す場合（ステップＳ２００でＹｅｓ）、候補画像推定手段２１は、図２の候補画像指定処理Ｓ２２に進む。
変数ｉがｉｎ点未満を指していない場合（ステップＳ２００でＮｏ）、候補画像推定手段２１は、ステップＳ２０１の処理に進む。

ステップＳ２０１において、候補画像推定手段２１は、Ｏｕｔ点からＩｎ点まで、隣接するフレーム画像Ｙ_ｉで画像差分を算出する。本実施形態では、候補画像推定手段２１は、画像差分として、隣接するフレーム画像Ｙ_ｉ間において、全対応画素の輝度値の絶対差分合計値を算出する。この他、候補画像推定手段２１は、ＲＧＢや色差信号を用いて、画像差分を算出してもよい。

具体的には、候補画像推定手段２１は、フレーム画像Ｙ_ｉの画素（ｐ，ｓ）の輝度値Ｙ_ｉ（ｐ，ｓ）と、フレーム画像Ｙ_ｉ-１の画素（ｐ，ｓ）の輝度値Ｙ_ｉ-１（ｐ，ｓ）との絶対差分を算出する。そして、候補画像推定手段２１は、全画素（ｐ，ｓ）について、輝度値の絶対差分の合計値ＤｉｆｆＹを求める。
なお、ｐ＝０，…，ｐｍａｘ、ｓ＝０，…，ｓｍａｘとなる。また、ｐｍａｘがフレーム画像Ｙ_ｉの水平最大画素数、ｓｍａｘがフレーム画像Ｙ_ｉの垂直最大画素数を表す。

ステップＳ２０２において、候補画像推定手段２１は、合計値ＤｉｆｆＹが差分閾値Ｙ＿ｔｈ未満であるか否かを閾値判定する。

なお、差分閾値Ｙ＿ｔｈは画像差分の閾値であり、時間閾値Ｃｎｔ＿ｔｈはフレーム間隔の閾値である。例えば、手話動作が早い人と遅い人がいるので、手話動作の速度に応じて、手話教材用画像生成装置１の利用者が、これら閾値を手動で設定すればよい。

合計値ＤｉｆｆＹが差分閾値Ｙ＿ｔｈ未満の場合（ステップＳ２０２でＹｅｓ）、候補画像推定手段２１は、ステップＳ２０３の処理に進む。
合計値ＤｉｆｆＹが差分閾値Ｙ＿ｔｈ未満でない場合（ステップＳ２０２でＮｏ）、候補画像推定手段２１は、変数ｉをデクリメントし（ｉ＝ｉ－１）、ステップＳ２００の処理に戻る。

ステップＳ２０３において、候補画像推定手段２１は、変数ｊが時間閾値Ｃｎｔ＿ｔｈ以上であるかを閾値判定する。

変数ｊが時間閾値Ｃｎｔ＿ｔｈ以上の場合（ステップＳ２０３でＹｅｓ）、手首の動きが少ない状態が所定のフレーム間隔連続したと言えるので、候補画像推定手段２１は、ステップＳ２０４の処理に進む。
変数ｊが時間閾値Ｃｎｔ＿ｔｈ以上でない場合（ステップＳ２０３でＮｏ）、候補画像推定手段２１は、変数ｉをデクリメントし（ｉ＝ｉ－１）、変数ｊをインクリメントし（ｊ＝ｊ＋１）、ステップＳ２００の処理に戻る。

ステップＳ２０４において、候補画像推定手段２１は、フレーム画像Ｙ_ｉをｋ番目の候補画像ＳｔｏｐＦｒａｍｅ［ｋ］として推定する。そして、候補画像推定手段２１は、変数ｉをデクリメントし（ｉ＝ｉ－１）、変数ｊを初期化し（ｊ＝１）、変数ｋをカウントアップし（ｋ＝＋１）、ステップＳ２００の処理に戻る。
なお、候補画像ＳｔｏｐＦｒａｍｅ［ｋ］は、Ｏｕｔ点に近くなる程、優先度が高くなる。従って、ｋ＝１の候補画像ＳｔｏｐＦｒａｍｅ［１］が、優先度が最も高い候補画像となる。

＜手首座標による候補画像推定処理＞
図５を参照し、手首座標による候補画像推定処理Ｓ２１を詳細に説明する。
手首座標による候補画像推定処理Ｓ２１では、候補画像推定手段２１が、手首座標として、キャプチャデータが示す手首の３次元座標、又は、関節検出処理で検出した手首の２次元座標を用いて、図４の画像差分による候補画像推定処理Ｓ２０と同様の処理を行う。

つまり、手首座標による候補画像推定処理Ｓ２１では、候補画像推定手段２１が、Ｏｕｔ点からＩｎ点まで、隣接するフレーム画像Ｙ_ｉで手首座標（３次元座標又は２次元座標）の差分を算出する。そして、候補画像推定手段２１は、フレーム間隔連続して手首座標の差分が予め設定した差分閾値未満となるフレーム画像Ｙ_ｉを候補画像として推定する。

以下、手首座標による候補画像推定処理Ｓ２１の各ステップを詳細に説明する。
図５に示すように、ステップＳ２１０では、候補画像推定手段２１は、変数ｉをＯｕｔ点に設定し、変数ｊ，ｋを初期化する（ｉ：Ｏｕｔ点、ｊ：１、ｋ：１）。続いて、候補画像推定手段２１は、変数ｉがＩｎ点未満を指しているか否かを判定する。

変数ｉがｉｎ点未満を指す場合（ステップＳ２１０でＹｅｓ）、候補画像推定手段２１は、図２の候補画像指定処理Ｓ２２に進む。
変数ｉがｉｎ点未満を指していない場合（ステップＳ２１０でＮｏ）、候補画像推定手段２１は、ステップＳ２１１の処理に進む。

ステップＳ２１１において、候補画像推定手段２１は、Ｏｕｔ点からＩｎ点まで、隣接するフレーム画像Ｙ_ｉで手首座標を取得する。具体的には、候補画像推定手段２１は、フレーム画像Ｙ_ｉの手首座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と、フレーム画像Ｙ_ｉ-１の手首座標（ｘ_ｉ-１，ｙ_ｉ-１，ｚ_ｉ-１）とを取得する。なお、関節検出処理で手首の２次元座標を検出した場合、ｚ_ｉ＝ｚ_ｉ-１＝０とすればよい。

ステップＳ２１２において、候補画像推定手段２１は、フレーム画像Ｙ_ｉ，Ｙ_ｉ-１の手首座標の差分Ｌ＝｛｜ｘ_ｉ－ｘ_ｉ-１｜＋｜ｙ_ｉ－ｙ_ｉ-１｜＋｜ｚ_ｉ－ｚ_ｉ-１｜｝を算出する。そして、候補画像推定手段２１は、手首座標の差分Ｌが差分閾値Ｄ＿ｔｈ未満であるか否かを閾値判定する。
なお、差分閾値Ｄ＿ｔｈは、手首座標の差分閾値であり、例えば、手話教材用画像生成装置１の利用者が手動で設定する。

手首座標の差分Ｌが差分閾値Ｄ＿ｔｈ未満の場合（ステップＳ２１２でＹｅｓ）、候補画像推定手段２１は、ステップＳ２１３の処理に進む。
手首座標の差分Ｌが差分閾値Ｄ＿ｔｈ未満でない場合（ステップＳ２１２でＮｏ）、候補画像推定手段２１は、変数ｉをデクリメントし（ｉ＝ｉ－１）、ステップＳ２１０の処理に戻る。

ステップＳ２１３において、候補画像推定手段２１は、変数ｊが時間閾値Ｃｎｔ＿ｔｈ以上であるかを閾値判定する。

変数ｊが時間閾値Ｃｎｔ＿ｔｈ以上の場合（ステップＳ２１３でＹｅｓ）、手首の動きが少ない状態が所定のフレーム間隔連続したと言えるので、候補画像推定手段２１は、ステップＳ２１４の処理に進む。
変数ｊが時間閾値Ｃｎｔ＿ｔｈ以上でない場合（ステップＳ２１３でＮｏ）、候補画像推定手段２１は、変数ｉをデクリメントし（ｉ＝ｉ－１）、変数ｊをインクリメントし（ｊ＝ｊ＋１）、ステップＳ２１０の処理に戻る。

ステップＳ２１４において、候補画像推定手段２１は、フレーム画像Ｙ_ｉをｋ番目の候補画像ＳｔｏｐＦｒａｍｅ［ｋ］として推定する。そして、候補画像推定手段２１は、変数ｉをデクリメントし（ｉ＝ｉ－１）、変数ｊを初期化し（ｊ＝１）、変数ｋをカウントアップし（ｋ＝＋１）、ステップＳ２１０の処理に戻る。

＜候補画像指定処理＞
図６を参照し、図２の候補画像指定処理Ｓ２２を説明する。
候補画像指定処理Ｓ２２では、手話教材用画像生成装置１の利用者が、最優先の候補画像よりも、他の候補画像又はフレーム画像Ｙ_ｉの方が手話教材用画像として最適と判断した場合、最終的な候補画像を手動で指定する。

以下、候補画像指定処理Ｓ２２の各ステップを詳細に説明する。
図６に示すように、ステップＳ２２０において、候補画像指定手段２２は、全ての候補画像（Ａｌｌ ＳｔｏｐＦｒａｍｅ［ｊ］）をディスプレイ（不図示）に表示する。ここで、手話教材用画像生成装置１の利用者が候補画像を指定できれば、その表示手法は任意である。例えば、候補画像指定手段２２は、各候補画像を一枚一枚順に表示してもよく、全ての候補画像を１画面に縮小表示してもよい。

ステップＳ２２１において、手話教材用画像生成装置１の利用者に候補画像ＳｔｏｐＦｒａｍｅ［ｊ］を指定させる。例えば、手話教材用画像生成装置１の利用者が、操作手段を用いて、候補画像ＳｔｏｐＦｒａｍｅ［ｊ］を手動で指定する。
なお、手話教材用画像生成装置１の利用者が指定した候補画像ＳｔｏｐＦｒａｍｅ［ｊ］を候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｋ］とする。

ステップＳ２２２において、候補画像指定手段２２は、候補画像ＳｔｏｐＦｒａｍｅ［ｊ］が指定されたか否かを判定する。
候補画像ＳｔｏｐＦｒａｍｅ［ｊ］が指定された場合（ステップＳ２２２でＹｅｓ）、候補画像指定手段２２は、ステップＳ２２３の処理に進む。
候補画像ＳｔｏｐＦｒａｍｅ［ｊ］が指定されなかった場合（ステップＳ２２２でＮｏ）、候補画像指定手段２２は、ステップＳ２２５の処理に進む。

ステップＳ２２３において、候補画像指定手段２２は、候補画像ＳｔｏｐＦｒａｍｅ［ｊ］に±Ｄフレームだけ前後するフレーム画像（ＳｔｏｐＦｒａｍｅ［ｊ］±Ｄ）をディスプレイに表示する。なお、Ｄは、１以上の任意の整数で予め設定する。

ステップＳ２２４において、候補画像指定手段２２は、手話教材用画像生成装置１の利用者に、前後のフレーム画像（ＳｔｏｐＦｒａｍｅ［ｊ］±Ｄ）を指定させる。例えば、手話教材用画像生成装置１の利用者が、操作手段を用いて、候補画像ＳｔｏｐＦｒａｍｅ［ｊ］±Ｄを手動で指定する。
なお、手話教材用画像生成装置１の利用者が指定した候補画像ＳｔｏｐＦｒａｍｅ［ｊ］±Ｄを候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｋ］とする。

ステップＳ２２５において、候補画像指定手段２２は、複数の候補画像ＳｔｏｐＦｒａｍｅ［ｊ］が指定されたか否かを判定する。
複数の候補画像ＳｔｏｐＦｒａｍｅ［ｊ］±Ｄが指定された場合（ステップＳ２２５でＹｅｓ）、候補画像指定手段２２は、変数ｋをカウントアップし（ｋ＝+１）、ステップＳ２２１の処理に戻る。
複数の候補画像ＳｔｏｐＦｒａｍｅ［ｊ］±Ｄが指定されなかった場合（ステップＳ２２５でＮｏ）、候補画像指定手段２２は、図２の動き情報合成処理Ｓ３に進む。

＜動き情報合成処理＞
図７を参照し、図２の動き情報合成処理Ｓ３を説明する。
動き情報合成処理Ｓ３では、手首軌跡合成手段３１が、手首の３次元座標を２次元座標に透視変換し、手首の２次元座標に基づいて軌跡を合成する。さらに、動き情報合成処理Ｓ３では、手話教材用画像生成装置１の利用者が、合成した軌跡を消去又は修正する。

以下、動き情報合成処理Ｓ３の各ステップを詳細に説明する。
図７に示すように、ステップＳ３００において、手首軌跡合成手段３１は、候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｍ］をディスプレイに表示する。なお、候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｍ］は、図６の候補画像指定処理Ｓ２２で最終的に指定された候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｋ］のことである。

ステップＳ３０１において、手首軌跡合成手段３１は、手話教材用画像生成装置１の利用者に、手首の軌跡を合成するか否かを入力させる。
手首の軌跡を合成する場合（ステップＳ３０１でＹｅｓ）、手首軌跡合成手段３１は、ステップＳ３０２の処理に進む。
手首の軌跡を合成しない場合（ステップＳ３０１でＮｏ）、手首軌跡合成手段３１は、ステップＳ３１０の処理に進む。

ステップＳ３０２において、手首軌跡合成手段３１は、手首の３次元座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）を２次元座標（ｐ_ｉ，ｓ_ｉ）に透視変換し、手首の２次元座標（ｐ_ｉ，ｓ_ｉ）に基づいて軌跡を合成する。ここで、手首軌跡合成手段３１は、最もＯｕｔ点に近い候補画像から最もＩｎ点に近い候補画像までの間で手首の軌跡を合成する。具体的には、手首軌跡合成手段３１は、候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｍ］以前で、ｉ＝ＳｅｌｅｃｔＦｒａｍｅ［ｍ］からＳｔｏｐＦｒａｍｅ［ｊｍａｘ］までのフレーム画像Ｙ_ｉについて、手首の２次元座標（ｐ_ｉ，ｓ_ｉ）を軌跡として連結する。そして、手首軌跡合成手段３１は、手首の軌跡を候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｍ］に合成する。なお、ｊｍａｘは、フレーム間隔ｊの最大値で予め設定されている。

ステップＳ３１０において、手首軌跡合成手段３１は、手首の軌跡が合成された候補画像ＳｅｌｅｃｔＦｒａｍｅ［ｋ］をディスプレイに表示する。
ステップＳ３１１において、手首軌跡修正手段３２は、手話教材用画像生成装置１の利用者に、手首の軌跡を修正するか否かを入力させる。

手首の軌跡を修正する場合（ステップＳ３１１でＹｅｓ）、手首軌跡修正手段３２は、ステップＳ３１２の処理に進む。
手首の軌跡を修正しない場合（ステップＳ３１１でＮｏ）、手首軌跡修正手段３２は、処理を終了する。

ステップＳ３１２において、手首軌跡修正手段３２は、手話教材用画像生成装置１の利用者に、ｉ≦ＳｔｏｐＦｒａｍｅ［ｊｍａｘ］の範囲内で、軌跡の先頭及び末尾となるフレーム画像Ｙ_ｉを選択させる。そして、手首軌跡修正手段３２は、選択された先頭から末尾までのフレーム画像Ｙ_ｉにおいて、ステップＳ３２と同様に手首の軌跡を生成し、ステップＳ３１０の処理に戻る。

＜手話教材用画像の具体例＞
図８を参照し、手話教材用画像の具体例について説明する。
図８（ａ）には、手話動画の各フレーム画像Ｙ_ｉのうち、手話教材用画像の生成に関連するものを図示した。また、図８（ｂ）には、手話教材用画像の一例を図示した。

図８（ａ）に示すように、手話動作画像選択手段１２が、手話動画の末尾から先頭側にかけて、両手を真下に下げた状態となる最初のフレーム画像Ｙ_ＯｕｔをＯｕｔ点として選択する。
また、手話動作画像選択手段１２が、手話動画のＯｕｔ点から先頭側にかけて、再び両手を真下に下げた状態となるフレーム画像Ｙ_ＩｎをＩｎ点として選択する。

候補画像推定手段２１が、手話動画のＯｕｔ点から先頭側にかけて、合計値ＤｉｆｆＹが差分閾値Ｙ＿ｔｈ未満で、かつ、変数ｊが時間閾値Ｃｎｔ＿ｔｈ未満となる最初のフレーム画像Ｙ_ｋ１を、最優先の候補画像ＳｔｏｐＦｒａｍｅ［１］として推定する。

また、候補画像推定手段２１が、手話動画のフレーム画像Ｙ_ｋ１から先頭側にかけて、合計値ＤｉｆｆＹが差分閾値Ｙ＿ｔｈ未満で、かつ、変数ｊが時間閾値Ｃｎｔ＿ｔｈ未満となるフレーム画像Ｙ_ｋ２を、優先度が２番目の候補画像ＳｔｏｐＦｒａｍｅ［２］として推定する。ここで、フレーム画像Ｙ_ｋ２より優先度が高いフレーム画像Ｙ_ｋ１が、最終的な候補画像となる。

図８（ｂ）に示すように、手首軌跡合成手段３１は、フレーム画像Ｙ_ｋ２からフレーム画像Ｙ_Ｉｎまでの手首の軌跡Ｂを連結し、フレーム画像Ｙ_ｋ１に軌跡Ｂを合成する。この軌跡Ｂを合成したフレーム画像Ｙ_ｋ１が手話教材用画像となる。

［作用・効果］
以上のように、実施形態に係る手話教材用画像生成装置１は、静止画の手話教材用画像を効率的に生成できる。つまり、手話教材用画像生成装置１は、手話動画から手話教材用画像として用いる静止画を自動的に抽出し、手話教材用画像に必要な手首の軌跡も自動的に合成できる。このように、手話教材用画像生成装置１は、静止画という制約のある書籍に適した手話教材用画像を生成できるので、著者が意図する書籍を短時間で制作できる。
さらに、手話教材用画像生成装置１は、書籍では伝わりにくかった手首の動きを簡易に合成できるため、静止画の手話教材用画像でも手話の動作が理解しやすくなる。

以上、実施例を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した実施形態では、手話教材用画像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した手話教材用画像生成装置として動作させるプログラムで実現することもできる。これらプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 手話教材用画像生成装置
１０ 手話動作取得手段
１１ キャプチャデータ判定手段
１２ 手話動作画像選択手段
２０ 静止画推定手段
２１ 候補画像推定手段
２２ 候補画像指定手段
３０ 動き情報合成手段
３１ 手首軌跡合成手段
３２ 手首軌跡修正手段

Claims (9)

1. 人物が手話を行っている手話映像から、静止画である手話教材用画像を生成する手話教材用画像生成装置であって、
   前記手話映像の手首位置が予め設定した手話動作基準位置より下側となるフレーム画像を手話動作開始画像として選択し、前記手話動作開始画像より後に、再び前記手首位置が前記手話動作基準位置より下側となるフレーム画像を手話動作終了画像として選択する手話動作画像選択手段と、
   前記手話動作終了画像から前記手話動作開始画像まで、所定のフレーム間隔に渡って手首の動きが少なくなる前記フレーム画像を候補画像として推定する候補画像推定手段と、
   前記候補画像に前記手首の軌跡を合成することで、前記手話教材用画像を生成する手首軌跡合成手段と、
   を備えることを特徴とする手話教材用画像生成装置。
2. 前記手話動作画像選択手段は、前記手話映像の各フレーム画像に関節検出処理を施すことで、前記手首の２次元座標を前記手首位置として検出することを特徴とする請求項１に記載の手話教材用画像生成装置。
3. 前記候補画像推定手段は、前記手話動作終了画像から前記手話動作開始画像まで、隣接する前記フレーム画像で前記手首の２次元座標の差分を算出し、前記フレーム間隔連続して前記手首の２次元座標の差分が予め設定した差分閾値未満となるフレーム画像を前記候補画像として推定することを特徴とする請求項２に記載の手話教材用画像生成装置。
4. 前記候補画像推定手段は、前記手話動作終了画像から前記手話動作開始画像まで、隣接する前記フレーム画像で画像差分を算出し、前記フレーム間隔連続して前記画像差分が予め設定した差分閾値未満となるフレーム画像を前記候補画像として推定することを特徴とする請求項１又は請求項２に記載の手話教材用画像生成装置。
5. 前記手話動作画像選択手段は、前記手話映像の各フレーム画像に付加されている前記手首の３次元座標を前記手首位置として取得することを特徴とする請求項１に記載の手話教材用画像生成装置。
6. 前記候補画像推定手段は、前記手話動作終了画像から前記手話動作開始画像まで、隣接する前記フレーム画像で前記手首の３次元座標の差分を算出し、前記フレーム間隔連続して前記手首の３次元座標の差分が予め設定した差分閾値未満となるフレーム画像を前記候補画像として推定することを特徴とする請求項５に記載の手話教材用画像生成装置。
7. 前記手首軌跡合成手段は、前記手首の３次元座標を２次元座標に透視変換し、前記手首の２次元座標に基づいて前記軌跡を合成することを特徴とする請求項５又は請求項６に記載の手話教材用画像生成装置。
8. 前記手話動作基準位置は、前記フレーム画像において、両手を胸下で組んだときの胸下位置、又は、両手を真下に下げたときの真下位置に予め設定されていることを特徴とする請求項１から請求項７の何れか一項に記載の手話教材用画像生成装置。
9. コンピュータを、請求項１から請求項８の何れか一項に記載の手話教材用画像生成装置として機能させるためのプログラム。

Images