JP2016129069A - 携帯端末装置及び情報処理システム - Google Patents
携帯端末装置及び情報処理システム Download PDFInfo
- Publication number
- JP2016129069A JP2016129069A JP2016046542A JP2016046542A JP2016129069A JP 2016129069 A JP2016129069 A JP 2016129069A JP 2016046542 A JP2016046542 A JP 2016046542A JP 2016046542 A JP2016046542 A JP 2016046542A JP 2016129069 A JP2016129069 A JP 2016129069A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- lip
- lip movement
- voice
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
声を発するのが好ましくない環境や騒音が大きい環境においても、より使い勝手の良い携帯端末装置及び情報処理システムを提供する。
【解決手段】
口唇動き認識データを記憶する記憶部と、操作者の少なくとも口唇部分を含む映像を撮影する撮像部と、撮像部から得られた操作者の口唇部分の動きデータと口唇動き認識データを比較することにより実行する操作を認識する口唇動き認識部と、口唇動き認識部に従って実行可能な操作を行う制御部とを備える。
【選択図】 図1
Description
口唇部分が撮影範囲から外れていて入力された映像から口唇部分の検出ができず、口唇動きデータ取得処理S801において口唇動きデータの取得に失敗した場合には、分岐処理802においてNoと判断し、口唇検出フラグ及び口唇動き認識フラグをNGに設定(S803、S809)し、処理を終了する。一方、入力された映像から口唇動きデータの取得に成功した場合には、分岐処理S802においてYesと判断し、口唇検出フラグをOKに設定(S804)する。次に、この取得した口唇動きデータとメモリ領域104bに記憶されている操作選択肢に対応する口唇動き認識データとの尤度を計算する(S805)。分岐処理S806では尤度計算の結果の最大確率 (最大尤度)が所定の値(ここでは一例として0.6とした)以上の場合(Yes)には、口唇動き認識フラグをOKとし(S807)、最大確率を与える操作選択肢を認識結果として決定し(S808)、処理を終了する。一方、分岐処理S806でNoと判断した場合には口唇動き認識フラグをNGとし(S809)、処理を終了する。
更新後の口唇動き認識データYr(t)‘は次の口唇動き認識における口唇動き認識データYr(t)として用いられる。
ここで、αは口唇動き認識データが取得した口唇動きデータに収束する速さを決定する係数であり、例えば、α=1とすると、
(数2) Yr(t)‘=Yd(t)
となり、取得した口唇動きデータYd(t)が次の口唇動き認識における口唇動き認識データとなる。α=0.5とすると、
(数3) Yr(t)‘=0.5・(Yd(t)+Yr(t))
となり、取得した口唇動きデータYd(t)と更新前の口唇動き認識データYr(t)の平均が次の口唇動き認識における口唇動き認識データとなる。αの範囲は、
(数4) 0<α<1
が選ばれる。αが大きいほど口唇動き認識データが取得した口唇動きデータに早く収束する。図11(c)はα=0.5の場合を示している。
以上の処理により、更新後の口唇動き認識データXr(t)’、Yr(t)’は更新前よりも実際に取得した口唇動きに近いデータに更新され、次の口唇動き認識において口唇動き認識データXr(t)、Yr(t)として用いられる。これを繰り返すことで、より操作者の口唇動きに合わせた口唇動き認識データXr(t)、Yr(t)を得ることができ、口唇動き認識の精度を向上することができる。
まず入力された口唇の動きの映像から、口唇の動きを検出し、口唇動きデータを取得する(S1703)。口唇動きデータ取得処理S1703において口唇が撮影範囲から外れていて口唇検出ができず、口唇動きデータの取得に失敗した場合には、分岐処理1704においてNoと判断し、口唇検出フラグ及び口唇動き認識フラグをNGに設定(S1705、S1711)し、処理を終了する。一方、口唇動きデータ取得処理S1703において入力された映像から口唇動きデータの取得に成功した場合には、分岐処理S1704においてYesと判断し、口唇検出フラグをOKに設定する(S1706)。次に、この入力映像に対応した口唇動きデータと選択のために付加した文字(図18の例では「あ」「い」「う」)に対応した口唇動き認識データとの尤度を計算する(S1707)。分岐処理S1708では尤度計算の結果の最大確率 (最大尤度)が所定の値(ここでは一例として0.6とした)以上の場合(Yes)には、口唇動き認識フラグをOKとし(S1709)、最大確率を与える選択肢を操作対象として決定し(S1710)、処理を終了する。
一方、分岐処理S1708でNoと判断した場合には口唇動き認識フラグをNGとし(S1711)、処理を終了する。
図21において、まず入力された口唇の動きの映像から、音節数Nを決定する(S2101)。次に、音節母音並び変換処理により各音節に対応する口唇の形状がどの母音に対応するかを判別し、N個の音節に対応した母音の並びに変換する(S2102)。この入力映像に対応した母音の並びとメモリ104bに記憶されている操作選択肢に対応する母音の並びで表現された口唇動き認識データとの尤度を計算する(S2103)。
分岐処理2104では尤度計算の結果の最大確率 (最大尤度)が所定の値(ここでは一例として0.6とした)以上の場合(Yes)には、認識フラグをOKとし(S2105)、最大確率を与える操作選択肢を認識結果として決定し(S2106)、処理を終了する。一方、分岐処理S2104でNoと判定した場合には認識フラグをNGとし(S2107)、処理を終了する。
また、操作決定処理S201に限らず、操作対象決定処理S203についても同様に操作者に対応した口唇動き認識データ更新処理を適用してもよい。
Claims (2)
- 操作者の映像を撮影する撮像部と、
前記撮像部が取得した映像における操作者の動きに関する情報に基づいて実行する操作を認識する動き認識部と、
操作者の音声を取り込むマイクと、
前記マイクにより取り込んだ音声に基づいて実行する操作を認識する音声認識部と、
前記撮像部が取得した映像又は前記マイクにより取り込んだ音声により操作者を認識する操作者認識部と、
制御部と、
を備え、
前記制御部は、
前記操作者認識部により認識された操作者が予め登録された特定の操作者と認識された場合に限り、前記音声認識部により成功した音声認識結果に基づいて、前記特定の操作者の音声に基づく操作を実行するように制御することを特徴とする携帯端末装置。 - 請求項1記載の携帯端末装置であって、
さらに、音声を出力するスピーカーを備え、
前記制御部は、前記スピーカーからの出力をオフとするマナーモード設定時であっても前記音声認識部による音声認識に成功すると、前記特定の操作者の音声に基づく操作に関する音声を前記スピーカーから出力するように制御することを特徴とする携帯端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046542A JP6190909B2 (ja) | 2016-03-10 | 2016-03-10 | 携帯端末装置及び情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046542A JP6190909B2 (ja) | 2016-03-10 | 2016-03-10 | 携帯端末装置及び情報処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013000297A Division JP5902632B2 (ja) | 2013-01-07 | 2013-01-07 | 携帯端末装置及び情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016129069A true JP2016129069A (ja) | 2016-07-14 |
JP6190909B2 JP6190909B2 (ja) | 2017-08-30 |
Family
ID=56384422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016046542A Active JP6190909B2 (ja) | 2016-03-10 | 2016-03-10 | 携帯端末装置及び情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6190909B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001358828A (ja) * | 2000-06-10 | 2001-12-26 | Masahiko Okuno | モバイル機器、モバイル機器の指紋認証方法及びモバイル機器の指紋認証プログラムを記録した記録媒体 |
JP2002368870A (ja) * | 2001-06-04 | 2002-12-20 | Nec Corp | 移動通信端末装置 |
JP2004246095A (ja) * | 2003-02-14 | 2004-09-02 | Nec Saitama Ltd | 携帯電話装置及び遠隔制御方法 |
JP2005184485A (ja) * | 2003-12-19 | 2005-07-07 | Casio Comput Co Ltd | 撮像装置、撮像装置の動作制御方法及びプログラム |
WO2006080161A1 (ja) * | 2005-01-28 | 2006-08-03 | Kyocera Corporation | 発声内容認識装置及び発声内容認識方法 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
JP2010026731A (ja) * | 2008-07-17 | 2010-02-04 | Nec Saitama Ltd | 文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末 |
JP2011049910A (ja) * | 2009-08-27 | 2011-03-10 | Kyocera Corp | 電子機器 |
-
2016
- 2016-03-10 JP JP2016046542A patent/JP6190909B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001358828A (ja) * | 2000-06-10 | 2001-12-26 | Masahiko Okuno | モバイル機器、モバイル機器の指紋認証方法及びモバイル機器の指紋認証プログラムを記録した記録媒体 |
JP2002368870A (ja) * | 2001-06-04 | 2002-12-20 | Nec Corp | 移動通信端末装置 |
JP2004246095A (ja) * | 2003-02-14 | 2004-09-02 | Nec Saitama Ltd | 携帯電話装置及び遠隔制御方法 |
JP2005184485A (ja) * | 2003-12-19 | 2005-07-07 | Casio Comput Co Ltd | 撮像装置、撮像装置の動作制御方法及びプログラム |
WO2006080161A1 (ja) * | 2005-01-28 | 2006-08-03 | Kyocera Corporation | 発声内容認識装置及び発声内容認識方法 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
JP2010026731A (ja) * | 2008-07-17 | 2010-02-04 | Nec Saitama Ltd | 文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末 |
JP2011049910A (ja) * | 2009-08-27 | 2011-03-10 | Kyocera Corp | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
JP6190909B2 (ja) | 2017-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5902632B2 (ja) | 携帯端末装置及び情報処理システム | |
CN107644646B (zh) | 语音处理方法、装置以及用于语音处理的装置 | |
JP2022532313A (ja) | 分散システムにおいてユーザの好みに最適化するためのカスタマイズされた出力 | |
EP2323351A2 (en) | Mobile communication terminal that delivers vibration information, and method thereof | |
KR20170032096A (ko) | 전자장치, 전자장치의 구동방법, 음성인식장치, 음성인식장치의 구동 방법 및 컴퓨터 판독가능 기록매체 | |
CN110556127B (zh) | 语音识别结果的检测方法、装置、设备及介质 | |
KR20150093482A (ko) | 화자 분할 기반 다자간 자동 통번역 운용 시스템 및 방법과 이를 지원하는 장치 | |
US20200403816A1 (en) | Utilizing volume-based speaker attribution to associate meeting attendees with digital meeting content | |
KR101322394B1 (ko) | 음성인식 정보검색 시스템 및 그 방법 | |
KR20170044386A (ko) | 전자기기 및 전자기기의 제어방법 | |
WO2019101099A1 (zh) | 视频节目识别方法、设备、终端、系统和存储介质 | |
CN109388699A (zh) | 输入方法、装置、设备及存储介质 | |
CN107277368A (zh) | 一种用于智能设备的拍摄方法及拍摄装置 | |
CN105302335B (zh) | 词汇推荐方法和装置及计算机可读存储介质 | |
JP6190909B2 (ja) | 携帯端末装置及び情報処理システム | |
US9343065B2 (en) | System and method for processing a keyword identifier | |
JP5402122B2 (ja) | オートフォーカス機能を有する情報処理装置、オートフォーカス機能を有する情報処理装置の制御方法等 | |
JP2019139572A (ja) | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム | |
KR20110066628A (ko) | 독순술을 이용한 휴대전화용 문자 입력 장치 및 방법 | |
CN113409765A (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
KR102527585B1 (ko) | 이동 단말기 및 그 제어방법 | |
CN111091807A (zh) | 语音合成方法、装置、计算机设备及存储介质 | |
CN112214114A (zh) | 一种输入方法、装置和电子设备 | |
JP2020052511A (ja) | 要約生成装置、要約生成方法、及びプログラム | |
KR102315211B1 (ko) | 단말기 및 그것의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6190909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |