JP2013045282A - コミュニケーション支援システム - Google Patents
コミュニケーション支援システム Download PDFInfo
- Publication number
- JP2013045282A JP2013045282A JP2011182594A JP2011182594A JP2013045282A JP 2013045282 A JP2013045282 A JP 2013045282A JP 2011182594 A JP2011182594 A JP 2011182594A JP 2011182594 A JP2011182594 A JP 2011182594A JP 2013045282 A JP2013045282 A JP 2013045282A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- recognition result
- utterance
- unit
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】事前に登録した発話内容の中から話し相手に伝えたい発話内容を、その口唇の動きに基づきその特徴量をリアルタイムに計測し、この計測された特徴量とデータベースに登録されている特徴量を比較して、発話内容を判断して認識結果をコントローラに出力する。コントローラの指示に基づき正しい認識結果を出力部に出力する。
【選択図】 図1
Description
図5は、構築した顔モデルを例示する図であり、図6は、構築した口唇モデルを例示する図である。撮像手段(カメラ)により取得した顔画像には、目や眉、首など口唇以外の部位が多く写っており、このような画像から直接口唇領域を抽出することは困難である。そこで、本発明では処理を3段階にわけて口唇領域を抽出する。最初にViolaとJones(非特許文献3参照)が提案した顔検出器を適用して画像中から顔領域を抽出する。第1段階の処理では、顔位置を大まかにかつ確実に抽出する。第2段階の処理として、Cootesらが提案したActive appearance model(AAM:非特許文献4参照)を適用し、口唇以外の目、眉、鼻の部位を検出する。AAMは動的輪郭モデルの一種であり、学習サンプルをもとに抽出対象物体の形状と内部の明度分布を同時に低次元で表現する統計モデルとして周知である。画像から学習サンプルに近い物体を抽出する手法であり、顔や臓器など変形を伴う物体を抽出できる利点をもつ。
(特徴量の計測)
AAM(Active appearance model)は、モデルの特徴点を並べたベクトルである形状パラメータ、特徴点を囲む領域内の明度分布ベクトルであるテクスチャパラメータをもとに、両パラメータを組み合わせたappearanceパラメータを用いて物体領域を抽出する。appearanceパラメータは、領域の形状と内部のテクスチャを表現しており、読唇の特徴量としても利用されている。本発明でもappearanceパラメータを認識の特徴量として用いることができる。
(発話区間検出)
AAMの口唇モデルより得られる唇の高さh(f)を求め、h(f)≦Thを満たすフレームfを、口を閉じた閉唇口形と判定する。Thは閉唇判定のためのしきい値である。発話中においても両唇音などにより閉唇口形が観測される。そこで数フレーム連続して閉唇口形が観測された場合に、真に閉唇と判定することができる。
(認識処理)
認識手法にはk-NN(Nearest Neighbor)法を適用する。k-NN法は、特徴量空間における最も近い学習サンプルに基づいた統計分類の手法であり、パターン認識でよく使われる。認識対象データである入力画像系列(発話シーン)から得られる特徴量Xに対して、データベースの全学習サンプル(参照パターン)の特徴量Ynとの距離D(X, Yn)を計算する。次に距離Dが小さいk個を選び出す。つまり、Xの近傍にあるk個の学習サンプルを選び出す。k個の最近傍に最も多く存在するクラス(発話内容)を認識結果とする。このとき、k個の近傍を選び出す距離Dを、DP(Dynamic Programing)マッチングの距離とする。DPマッチングは時系列データの認識によく用いられている手法である。
本発明ではコミュニケーション支援システムのプロトタイプを開発した。プロトタイプシステムでは、USBカメラ(Point Grey Research社製USBカメラChameleon)、ノートPC(CPU: Intel Core2 i5-520M、2.40GHz)、無線で把持しやすい形状をもつコントローラ(任天堂Wiiリモコン)を利用した。カメラより取得される画像サイズは640×480画素であるが、抽出処理の高速化を図るため160×120画素に縮小した。また前述のハードウェア構成における処理速度は22.3fpsであり、リアルタイム性を確認した。
(孤立文の伝達実験)
本実験では定型文として表2に示す電話会話で用いられる日本語50文を選択した。登録モードを利用して各発話内容においてそれぞれ10サンプル登録した。1サンプル50文の登録に要する時間は5〜10分であった。登録作業は、被験者Aは3日間、その他の3人は6日間に分けて実施した。
(組合せ文の伝達実験)
本実験では定型文として0〜9までの10数字を登録し、4桁の数字をランダムに表示させてその内容を被験者に発話させる実験を実施した。つまりデータベースに登録されていない4桁数字を組合せ文伝達として利用して出力する実験である。被験者は前実験と同じ4人であり、登録サンプル数は10サンプルとした。登録作業は、被験者Aは3日間、その他の3人は6日間に分けて実施した。認識実験は、被験者がボタンを押すと、システムは4桁の数字をランダムに表示する。前実験では1文を入力し終えた後に音声メッセージを出力したが、本実験では、4桁の数字を正しく入力し終えるまでメッセージを出力させず、正しい認識結果が得られた場合は次の数字を入力させた。一人10サンプルずつの登録作業を終えた後に認識実験を実施した。一つの4桁数字の入力を1試行として、全ての被験者に対して50回以上の試行を実施した。実験実施日は被験者により異なるが15日〜50日の期間に実施した。前実験と同様に特定話者実験とした。認識結果を表4に示す。
Claims (5)
- ユーザの発話した発話内容を、読唇により認識して話し相手に伝達するコミュニケーション支援システムにおいて、
発話内容の口唇の動きを計測するカメラと、
前記口唇の動きに基づき発話内容の特徴量をデータベースに登録する登録部と、
認識結果を表示する表示部、及び認識結果をもとにユーザが操作する入力手段とを有するコントローラと、
事前に登録した発話内容の中から話し相手に伝えたい発話内容を、その口唇の動きに基づきその特徴量をリアルタイムに計測し、この計測された特徴量と前記データベースに登録されている特徴量を比較して、発話内容を判断して認識結果を前記コントローラに出力すると共に、前記コントローラの指示に基づき正しい認識結果を出力する認識部と、
前記認識部より出力された認識結果を出力する出力部と、
から成るコミュニケーション支援システム。 - 前記登録部は、前記カメラによって取得した取得顔画像から口唇領域を抽出する領域抽出手段、抽出された口唇領域より特徴量を計測する特徴量計測手段、及び抽出された口唇領域の変化より発話区間を検出する発話区間検出手段を有し、前記認識部は、前記領域抽出手段、前記特徴量計測手段、前記発話区間検出手段に加えて、計測された特徴量と登録されている前記データベースの特徴量を比較し、前記発話区間の発話内容を判断してその認識結果を前記コントローラに出力すると共に、前記コントローラの指示に基づき正しいと指示された認識結果をメッセージ出力手段に出力する判断手段を有する請求項1に記載のコミュニケーション支援システム。
- 前記認識部は、誤認識と判断された認識結果を認識候補リストから取り除くことにより、連続して同じ認識結果に誤認識されることを防ぐ請求項1に記載のコミュニケーション支援システム。
- 正認識結果を得られた場合、前記コントローラによる操作だけでなく、次の発話内容を入力することにより正認識を得られたと前記認識部が判断する請求項1に記載のコミュニケーション支援システム。
- 前記コントローラに出力された認識結果の第1の言語と、前記メッセージ出力手段に出力された認識結果の第2の言語は互いに異なる言語であり、かつ、第2の言語は、第1の言語を通訳した関係にある通訳システムとして用いられる請求項1に記載のコミュニケーション支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011182594A JP2013045282A (ja) | 2011-08-24 | 2011-08-24 | コミュニケーション支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011182594A JP2013045282A (ja) | 2011-08-24 | 2011-08-24 | コミュニケーション支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013045282A true JP2013045282A (ja) | 2013-03-04 |
Family
ID=48009144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011182594A Pending JP2013045282A (ja) | 2011-08-24 | 2011-08-24 | コミュニケーション支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013045282A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021086274A (ja) * | 2019-11-26 | 2021-06-03 | 国立大学法人九州工業大学 | 読唇装置及び読唇方法 |
JP2021179689A (ja) * | 2020-05-11 | 2021-11-18 | 徹 江崎 | 翻訳プログラム、翻訳装置、翻訳方法、及びウェアラブル端末 |
JP7392492B2 (ja) | 2019-01-29 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | 時間的視覚的な顔の特徴に基づく認知及び発話障害検出のための方法、サーバ及びプログラム |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS603793A (ja) * | 1983-06-21 | 1985-01-10 | Agency Of Ind Science & Technol | 口唇情報解析装置 |
JPH07129594A (ja) * | 1993-10-29 | 1995-05-19 | Toshiba Corp | 自動通訳システム |
JP2000068882A (ja) * | 1998-08-17 | 2000-03-03 | Matsushita Electric Ind Co Ltd | 無線通信装置 |
JP2000250587A (ja) * | 1999-03-01 | 2000-09-14 | Hitachi Ltd | 音声認識装置及び音声認識翻訳装置 |
JP2002099295A (ja) * | 2000-09-22 | 2002-04-05 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 翻訳装置、画像合成装置、翻訳方法、画像合成方法および媒体 |
JP2003018278A (ja) * | 2001-07-02 | 2003-01-17 | Sony Corp | 通信装置 |
JP2004015250A (ja) * | 2002-06-05 | 2004-01-15 | Nec Corp | 携帯端末装置 |
JP2005148959A (ja) * | 2003-11-12 | 2005-06-09 | Kagoshima Tlo Co Ltd | 意思疎通支援装置 |
JP2005215474A (ja) * | 2004-01-30 | 2005-08-11 | Denso Corp | 音声認識装置、プログラム、記憶媒体及びナビゲーション装置 |
WO2005109830A1 (ja) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | 会話支援装置及び会話支援方法 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
JP2009116277A (ja) * | 2007-11-09 | 2009-05-28 | Panasonic Electric Works Co Ltd | 音声認識装置 |
JP2011013731A (ja) * | 2009-06-30 | 2011-01-20 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
-
2011
- 2011-08-24 JP JP2011182594A patent/JP2013045282A/ja active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS603793A (ja) * | 1983-06-21 | 1985-01-10 | Agency Of Ind Science & Technol | 口唇情報解析装置 |
JPH07129594A (ja) * | 1993-10-29 | 1995-05-19 | Toshiba Corp | 自動通訳システム |
JP2000068882A (ja) * | 1998-08-17 | 2000-03-03 | Matsushita Electric Ind Co Ltd | 無線通信装置 |
JP2000250587A (ja) * | 1999-03-01 | 2000-09-14 | Hitachi Ltd | 音声認識装置及び音声認識翻訳装置 |
JP2002099295A (ja) * | 2000-09-22 | 2002-04-05 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 翻訳装置、画像合成装置、翻訳方法、画像合成方法および媒体 |
JP2003018278A (ja) * | 2001-07-02 | 2003-01-17 | Sony Corp | 通信装置 |
JP2004015250A (ja) * | 2002-06-05 | 2004-01-15 | Nec Corp | 携帯端末装置 |
JP2005148959A (ja) * | 2003-11-12 | 2005-06-09 | Kagoshima Tlo Co Ltd | 意思疎通支援装置 |
JP2005215474A (ja) * | 2004-01-30 | 2005-08-11 | Denso Corp | 音声認識装置、プログラム、記憶媒体及びナビゲーション装置 |
WO2005109830A1 (ja) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | 会話支援装置及び会話支援方法 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
JP2009116277A (ja) * | 2007-11-09 | 2009-05-28 | Panasonic Electric Works Co Ltd | 音声認識装置 |
JP2011013731A (ja) * | 2009-06-30 | 2011-01-20 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7392492B2 (ja) | 2019-01-29 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | 時間的視覚的な顔の特徴に基づく認知及び発話障害検出のための方法、サーバ及びプログラム |
JP2021086274A (ja) * | 2019-11-26 | 2021-06-03 | 国立大学法人九州工業大学 | 読唇装置及び読唇方法 |
JP7370050B2 (ja) | 2019-11-26 | 2023-10-27 | 国立大学法人九州工業大学 | 読唇装置及び読唇方法 |
JP2021179689A (ja) * | 2020-05-11 | 2021-11-18 | 徹 江崎 | 翻訳プログラム、翻訳装置、翻訳方法、及びウェアラブル端末 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101777807B1 (ko) | 수화 번역기, 시스템 및 방법 | |
JP5323770B2 (ja) | ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機 | |
Hennecke et al. | Visionary speech: Looking ahead to practical speechreading systems | |
US8791914B2 (en) | Input method applied in electronic devices | |
KR102167760B1 (ko) | 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템 | |
KR102351008B1 (ko) | 감정 인식 장치 및 감정 인식 방법 | |
US20200342896A1 (en) | Conference support device, conference support system, and conference support program | |
US11482134B2 (en) | Method, apparatus, and terminal for providing sign language video reflecting appearance of conversation partner | |
KR102174922B1 (ko) | 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치 | |
Khatri et al. | Facial expression recognition: A survey | |
Hassanat | Visual words for automatic lip-reading | |
Zhang et al. | Speechin: A smart necklace for silent speech recognition | |
WO2017086108A1 (ja) | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム | |
JP2013045282A (ja) | コミュニケーション支援システム | |
Amin et al. | HMM based automatic Arabic sign language translator using Kinect | |
CN111931662A (zh) | 唇读识别系统、方法及自助终端 | |
WO2020175969A1 (ko) | 감정 인식 장치 및 감정 인식 방법 | |
KR20210073856A (ko) | 휴대용 수화 번역기 및 수화 번역 방법 | |
KR20060133190A (ko) | 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템 | |
JP2008146268A (ja) | 映像を用いた発音の推定方法 | |
US20220327961A1 (en) | Realtime AI Sign Language Recognition | |
Kumar et al. | Sign Language to Speech Conversion—An Assistive System for Speech Impaired | |
JP2012059017A (ja) | ワードスポッティング読唇装置及び方法 | |
Sahu et al. | Result based analysis of various lip tracking systems | |
Tang et al. | Multimodal emotion recognition (MER) system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160119 |