JP2008158055A - 言語発音練習支援システム - Google Patents
言語発音練習支援システム Download PDFInfo
- Publication number
- JP2008158055A JP2008158055A JP2006344338A JP2006344338A JP2008158055A JP 2008158055 A JP2008158055 A JP 2008158055A JP 2006344338 A JP2006344338 A JP 2006344338A JP 2006344338 A JP2006344338 A JP 2006344338A JP 2008158055 A JP2008158055 A JP 2008158055A
- Authority
- JP
- Japan
- Prior art keywords
- pronunciation
- language
- lip
- voice
- practice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
【解決手段】発音評価装置45による画像解析技術を組み合わせ、唇の動きを追跡、解析する。つまり、音声評価判定処理部44による音声データに対する音声処理だけでなく、唇の動きを撮影したビデオデータを合わせて解析するものである。これにより、正確な発音の判定が可能になる。
【選択図】図8
Description
F2’=a21F1+a22F2 ……(2)
5…クライアント装置
6…言語発音練習支援装置
7…標準発音者装置
8…発音課題作成装置
9…ASPサービス提供用サーバ装置
10…基礎データ収集装置
11…標準発音評価判定装置
12、32…判定用発音データベース装置
13、30、41…発音課題データベース装置
20…学習者用ユーザ・インターフェイス装置
21…学習者データ収集装置
22…学習者発音データベース装置
24…学習者発音評価エンジン装置
25…学習管理装置
26…学習管理データベース装置
28…評価フィードバック装置
40…発音課題作成装置
44…音声評価判定処理部
45…発音評価装置
46…唇形状特徴量抽出処理部
47…評価判定処理部
51…探索処理部
52…抽出処理部
53…等分処理部
60…結合処理部
61、62…分離処理部
63〜65…比較処理部
66〜72…評価処理部
73…総合処理部
301〜303…バス
310…CPU
311…RAM
312…ROM
313…LAN−I/F
314…MODEM
320〜322…I/F
330…画面表示装置
331…キーボード
332…マウス
333…プリンタ装置
335…マイクロフォン
336…ビデオカメラ
340…HDD装置
341…CDドライブ装置
342…FDD装置
Claims (8)
- 練習対象になる言語の手本となる発音をする、標準発音者が発音する言語の音声をマイクロフォンにより採取して、電気信号に変換し、該音声の信号に対して、周波数成分の分析を行い、
前記音声採取と同期して、ビデオカメラにより、標準発音者の唇を動画撮像して、ビデオデータを取得し、該ビデオデータに基づいて、唇の輪郭の特徴を抽出し、
同様の音声採取や周波数成分分析、又、動画撮像や唇輪郭特徴抽出を、言語発音の練習の対象者に対しても行い、
標準発音者及び練習対象者において、周波数成分の分析結果や、唇輪郭特徴の情報に基づいた判定を行って、練習対象者の発音の適正を判断するようにしたことを特徴とする言語発音練習支援方法。 - 請求項1において、
前記周波数成分分析に際して、主成分分析による正規化処理を行うようにしたと共に、
該主成分分析処理に係るパラメータを、外部から設定可能なデータとしたことを特徴とする言語発音練習支援方法。 - 請求項1又は2において、前記言語が中国語であって、
前記唇輪郭特徴抽出が、唇の縦幅及び横幅のそれぞれの測定であって、該測定結果を、前記発音適正判断に用いるようにしたことを特徴とする言語発音練習支援方法。 - 請求項1乃至3のいずれか1つにおいて、
該当の発音の発話区間を、前記音声信号における音声の有無から判定し、
該発話区間における音声信号に対して、前記周波数成分分析を行うと共に、
該発話区間におけるビデオデータに対して、前記唇輪郭特徴抽出を行うようにしたことを特徴とする言語発音練習支援方法。 - 請求項4において、前記言語が中国語であって、
前記発話区間を、前半及び後半に時間軸において2等分して、前半の唇輪郭特徴、及び後半の唇輪郭特徴の間における変化の度合いを計算し、
該計算結果を、前記発音適正判断に用いるようにしたことを特徴とする言語発音練習支援方法。 - 練習対象になる言語の手本となる発音をする、標準発音者が発音する言語の音声をマイクロフォンにより採取して得られた電気信号を入力し、該音声の信号に対して、周波数成分の分析を行う基礎データ収集音声処理部と、
前記音声採取と同期して、ビデオカメラにより標準発音者の唇を動画撮像して得られたビデオデータを入力し、該ビデオデータに基づいて、唇の輪郭の特徴を抽出する基礎データ収集画像処理部と、
前記周波数成分分析の結果、及び唇輪郭特徴抽出の結果に基づく情報を格納する判定用音声データベース装置と、
を備えたことを特徴とする標準発音者装置。 - 言語発音の練習の対象者が発音する言語の音声をマイクロフォンにより採取して得られた電気信号を入力し、該音声の信号に対して、周波数成分の分析を行う学習者データ収集音声処理部と、
前記音声採取と同期して、ビデオカメラにより練習対象者の唇を動画撮像して得られたビデオデータを入力し、該ビデオデータに基づいて、唇の輪郭の特徴を抽出する学習者データ収集画像処理部と、
請求項6記載の判定用音声データベース装置に格納された情報を複製格納した判定用音声データベース装置と、
標準発音者及び練習対象者において、周波数成分の分析結果や、唇輪郭特徴の情報に基づいた判定を行って、練習対象者の発音の適正を判断する学習者発音評価エンジン装置と、
を備えたことを特徴とする言語発音練習支援装置。 - 請求項7において、少なくとも前記判定用音声データベース装置を、インターネットで接続するASPサービス提供用サーバ装置側に設けるようにしたことを特徴とする言語発音練習支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006344338A JP2008158055A (ja) | 2006-12-21 | 2006-12-21 | 言語発音練習支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006344338A JP2008158055A (ja) | 2006-12-21 | 2006-12-21 | 言語発音練習支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008158055A true JP2008158055A (ja) | 2008-07-10 |
Family
ID=39659058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006344338A Pending JP2008158055A (ja) | 2006-12-21 | 2006-12-21 | 言語発音練習支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008158055A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191302A (ja) * | 2009-02-20 | 2010-09-02 | Sharp Corp | 音声出力装置 |
JP2012047998A (ja) * | 2010-08-27 | 2012-03-08 | Tokai Univ | 発話学習支援装置およびそのプログラム |
JP2012073299A (ja) * | 2010-09-27 | 2012-04-12 | Panasonic Corp | 言語訓練装置 |
WO2015099464A1 (ko) * | 2013-12-26 | 2015-07-02 | 강진호 | 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
JP2016033530A (ja) * | 2014-07-30 | 2016-03-10 | 株式会社東芝 | 発話区間検出装置、音声処理システム、発話区間検出方法およびプログラム |
CN108670199A (zh) * | 2018-05-28 | 2018-10-19 | 暨南大学 | 一种构音障碍元音评估模板及评估方法 |
JP2020075090A (ja) * | 2013-10-31 | 2020-05-21 | パウ−サン ハルタ | 言語関連障害の診断及び治療のためのコンピューティング技術 |
CN111951828A (zh) * | 2019-05-16 | 2020-11-17 | 上海流利说信息技术有限公司 | 发音测评方法、装置、系统、介质和计算设备 |
JPWO2021152786A1 (ja) * | 2020-01-30 | 2021-08-05 | ||
CN115050354A (zh) * | 2022-08-10 | 2022-09-13 | 北京百度网讯科技有限公司 | 数字人驱动方法和装置 |
-
2006
- 2006-12-21 JP JP2006344338A patent/JP2008158055A/ja active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191302A (ja) * | 2009-02-20 | 2010-09-02 | Sharp Corp | 音声出力装置 |
JP2012047998A (ja) * | 2010-08-27 | 2012-03-08 | Tokai Univ | 発話学習支援装置およびそのプログラム |
JP2012073299A (ja) * | 2010-09-27 | 2012-04-12 | Panasonic Corp | 言語訓練装置 |
JP2020075090A (ja) * | 2013-10-31 | 2020-05-21 | パウ−サン ハルタ | 言語関連障害の診断及び治療のためのコンピューティング技術 |
JP7005567B2 (ja) | 2013-10-31 | 2022-01-21 | パウ-サン ハルタ | 言語関連障害の診断及び治療のためのコンピューティング技術 |
WO2015099464A1 (ko) * | 2013-12-26 | 2015-07-02 | 강진호 | 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
JP2016033530A (ja) * | 2014-07-30 | 2016-03-10 | 株式会社東芝 | 発話区間検出装置、音声処理システム、発話区間検出方法およびプログラム |
CN108670199A (zh) * | 2018-05-28 | 2018-10-19 | 暨南大学 | 一种构音障碍元音评估模板及评估方法 |
CN108670199B (zh) * | 2018-05-28 | 2023-05-23 | 暨南大学 | 一种构音障碍元音评估模板及评估方法 |
CN111951828A (zh) * | 2019-05-16 | 2020-11-17 | 上海流利说信息技术有限公司 | 发音测评方法、装置、系统、介质和计算设备 |
JPWO2021152786A1 (ja) * | 2020-01-30 | 2021-08-05 | ||
WO2021152786A1 (ja) * | 2020-01-30 | 2021-08-05 | 日本電信電話株式会社 | 訓練装置、その方法、およびプログラム |
JP7294460B2 (ja) | 2020-01-30 | 2023-06-20 | 日本電信電話株式会社 | 訓練装置、その方法、およびプログラム |
CN115050354A (zh) * | 2022-08-10 | 2022-09-13 | 北京百度网讯科技有限公司 | 数字人驱动方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008158055A (ja) | 言語発音練習支援システム | |
JP2002091482A (ja) | 感情検出方法及び感情検出装置ならびに記録媒体 | |
CN109256133A (zh) | 一种语音交互方法、装置、设备及存储介质 | |
US11810471B2 (en) | Computer implemented method and apparatus for recognition of speech patterns and feedback | |
JP2010256391A (ja) | 音声情報処理装置 | |
JP2002040926A (ja) | インターネット上での自動発音比較方法を用いた外国語発音学習及び口頭テスト方法 | |
Liu et al. | Acoustical assessment of voice disorder with continuous speech using ASR posterior features | |
Seita et al. | Behavioral changes in speakers who are automatically captioned in meetings with deaf or hard-of-hearing peers | |
US20120219932A1 (en) | System and method for automated speech instruction | |
Stemberger et al. | Phonetic transcription for speech-language pathology in the 21st century | |
WO2006034569A1 (en) | A speech training system and method for comparing utterances to baseline speech | |
JP6425493B2 (ja) | 人の発言に基づいて学習項目に対する評価レベルを推定するプログラム、装置及び方法 | |
Shahriar et al. | A communication platform between bangla and sign language | |
CN115796653A (zh) | 一种面试发言评价方法及系统 | |
Priego-Valverde et al. | “Cheese!”: a Corpus of Face-to-face French Interactions. A Case Study for Analyzing Smiling and Conversational Humor | |
CN112232276A (zh) | 一种基于语音识别和图像识别的情绪检测方法和装置 | |
KR20210071713A (ko) | 스피치 스킬 피드백 시스템 | |
JP2013088552A (ja) | 発音トレーニング装置 | |
KR20080018658A (ko) | 사용자 선택구간에 대한 음성비교 시스템 | |
Neumeyer et al. | Webgrader: a multilingual pronunciation practice tool | |
JP2006195094A (ja) | 発音学習支援装置 | |
JP6511380B2 (ja) | 記録システムのための制御装置、記録システム、記録システムのための制御方法及び記録システムのための制御プログラム | |
JP2006201491A (ja) | 発音評定装置、およびプログラム | |
JP4626310B2 (ja) | 発音評価装置 | |
Tits et al. | Flowchase: a Mobile Application for Pronunciation Training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101115 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101115 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20101115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101115 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20110426 |