JP2000099088A - 記録媒体および言語処理装置 - Google Patents

記録媒体および言語処理装置

Info

Publication number
JP2000099088A
JP2000099088A JP10268192A JP26819298A JP2000099088A JP 2000099088 A JP2000099088 A JP 2000099088A JP 10268192 A JP10268192 A JP 10268192A JP 26819298 A JP26819298 A JP 26819298A JP 2000099088 A JP2000099088 A JP 2000099088A
Authority
JP
Japan
Prior art keywords
language
voice
lip
data
outputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10268192A
Other languages
English (en)
Inventor
Hideki Toida
秀基 戸井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TECHNO ISHII KK
Original Assignee
TECHNO ISHII KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TECHNO ISHII KK filed Critical TECHNO ISHII KK
Priority to JP10268192A priority Critical patent/JP2000099088A/ja
Publication of JP2000099088A publication Critical patent/JP2000099088A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Document Processing Apparatus (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】この発明は、音声とは異なる角度の口唇の動作
から言語を認識することができるプログラムを記録した
記録媒体および言語処理装置の提供を目的とし、さら
に、音声と口唇動作との統合により精良な言語を認識す
ることのでる記録媒体および言語処理装置の提供を目的
とする。 【解決手段】この発明は、音声を発したときの口唇動作
を撮像した口唇画像信号の解析処理から言語を認識して
言語データを出力する口唇言語処理と、前記音声による
音声信号の解析処理から言語を認識して言語データを出
力する音声言語処理と、前記口唇言語処理と音声言語処
理との言語データを照合して精良な言語データを出力す
る照合言語処理とのプログラムを記録した記録媒体、お
よび該記録媒体のプログラムと、カメラおよびマイクロ
ホン、制御手段を用いて音声と口唇動作から言語を認識
する言語処理装置であることを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えば、人が声
(音声)を発生したときの口唇の動作(活動)を読取っ
て言語(言葉)を認識する言語処理を行うようなプログ
ラムを記録した記録媒体または言語処理装置に関する。
【0002】
【従来の技術】従来、会話入力装置として、音声を解析
処理して言語として認識する音声入力装置があるが、人
の声の特徴範囲が余りにも広範囲であるため、誤認識と
いう致命傷を抱えいてる。そのために、声の特徴が類似
する少数の特定の人に使用を限定することで、その誤認
識の発生率を改善することができるが、これでは汎用性
が損なわれる問題点がある。
【0003】
【発明が解決しようとする課題】この発明は、音声とは
異なる角度の口唇の動作から言語を認識することができ
るプログラムを記録した記録媒体および言語処理装置の
提供を目的とし、さらに、音声と口唇動作との統合によ
り精良な言語を認識することのでる記録媒体および言語
処理装置の提供を目的とする。
【0004】
【課題を解決するための手段】この発明の請求項1記載
の発明は、音声を発したときの口唇動作を撮像した口唇
画像信号の解析処理から言語を認識して言語データを出
力する口唇言語処理のプログラムを記録した記録媒体で
あることを特徴とする。
【0005】この発明の請求項2記載の発明は、音声を
発したときの口唇動作を撮像した口唇画像信号の解析処
理から言語を認識して言語データを出力する口唇言語処
理と、前記音声による音声信号の解析処理から言語を認
識して言語データを出力する音声言語処理と、前記口唇
言語処理と音声言語処理との言語データを照合して精良
な言語データを出力する照合言語処理とのプログラムを
記録した記録媒体であることを特徴とする。
【0006】この発明の請求項3記載の発明は、音声を
発した口唇動作を撮像して口唇画像信号を出力するカメ
ラと、請求項1記載の記録媒体に記録されたのプログラ
ムに沿って、前記口唇画像信号から言語データを出力す
る制御手段とを備えた言語処理装置であることを特徴と
する。
【0007】この発明の請求項4記載の発明は、音声を
受けて音声信号を出力するマイクロホンと、前記音声を
発した口唇動作を撮像して口唇画像信号を出力するカメ
ラと、請求項2記載の記録媒体に記録されたのプログラ
ムに沿って、前記音声信号と口唇画像信号とで精良な言
語データを出力する制御手段とを備えた言語処理装置で
あることを特徴とする。
【0008】この発明の請求項5記載の発明は、音声を
受けて音声信号を出力するマイクロホンと、前記音声を
発した口唇動作を撮像して口唇画像信号を出力するカメ
ラと、前記カメラからの口唇画像信号の解析処理から言
語を認識して言語データを出力する口唇言語処理部と、
前記マイクロホンからの音声信号の解析処理から言語を
認識して言語データを出力する音声言語処理部と、前記
口唇言語処理部と音声言語処理部との言語データを照合
して精良な言語データを出力する照合言語処理部と、前
記マイクロホン、カメラ、各言語処理部を制御する制御
手段とを備えた言語処理装置であることを特徴とする。
【0009】
【発明の作用・効果】この発明によれば、音声から言語
を認識する場合とは角度が異なる口唇の動作から言語を
認識するので、会話から精良な言語を得るために、音声
から認識した言語の対照として使用することができる。
そして、音声から認識した言語と、その音声を発したと
きの口唇の動作から認識した言語とを対照(照合)する
ことにより、精良な言語を得ることができる。また、音
声を発した口唇の動作から言語を認識する口唇言語処理
を記録媒体に記録し、また、音声から言語を認識する音
声言語処理と、口唇言語処理と音声言語処理との言語デ
ータを対照(照合)する照合言語処理とを記録媒体に記
録した場合、例えば、パーソナルコンピュータにソフト
ウエアとして使用して、音声と口唇動作から精良な言語
を認識し出力することができる。
【0010】また、口唇動作から言語を認識する場合、
音声が届かない距離にある会話の言語も認識することが
できる。
【0011】
【実施例】この発明の一実施例を以下図面と共に説明す
る。図面は言語処理装置を示し、図1において、言語処
理装置10はパソコン(パーソナルコンピュータ)11
とビデオカメラ(以下カメラと称する)12と、該カメ
ラ11に装着されたマイクロホン13とで構成し、カメ
ラ12の画像信号およびマイクロホン13の音声信号は
パソコン11に入力できるようにデータ接続している。
なお、上述のパソコン11は表示器14、キーボード1
5を備え、本体16にはCD−ROMを駆動するCDド
ライバのCD挿入口17と、FDを駆動するFDドライ
バのFD挿入口18を備えている。
【0012】図2は、言語処理装置10の制御回路ブロ
ック図を示し、CPU20はROM21に格納されたプ
ログラムに沿って各回路装置を駆動制御し、RAM23
は動作に必要なデータを記憶する。CDドライブ23は
CD−ROM24を駆動してデータの読取りを行い、該
CD−ROM24には言語処理を実行するプログラムが
記録(記憶)されている。また、FDドライバ25はF
Dを駆動してデータの読取り書込みを行う。
【0013】図3は、上述のCD−ROM24に記録し
たプログラムを示し、音声言語処理プログラムR1は、
マイクロホン13から入力された音声信号を解析処理し
て、これを言語として認識する比較対象の音声言語基準
データと比較して言語を判定処理する実行プログラムで
あり、口唇言語処理プログラムR2は、カメラ12から
音声を発したときの口唇画像信号を解析処理して、例え
ば、口唇動作を画像処理して連続した動作特徴を遺伝的
アルゴニズム、または、ニューラル・ネットという非線
形的な処理をして、これを言語として認識する比較対象
の口唇言語基準データと比較して言語を判定処理する実
行プログラムであり、照合言語処理プログラムR3は、
音声言語処理プログラムR1と口唇言語処理プログラム
R2とがそれぞれ得た言語データを照合(対照)して精
良な言語データを得る実行プログラムである。
【0014】このように構成した言語処理装置10の動
作を説明すると、CD−ROM24がCDドライブ23
に装填されることにより、該CD−ROM24に記憶
(記録)された各プログラムR1,R2,R3が読出さ
れてRAM22に記憶され、CPU20は原語処理の実
行が可能となる。勿論、CD−ROM24からプログラ
ムを読取りながら処理を実行することもできる。
【0015】話をする人の言葉を入力するには、この人
の口元をカメラ12で撮像すると共に、マイクロホン1
3で音声を拾う。CPU20はマイクロホン13からの
音声信号を音声言語処理プログラムR1に沿って解析処
理して、言語として認識する言語データを取得し、さら
に、カメラ12で撮像された口唇動作の口唇画像信号を
口唇言語処理プログラムR2に沿って解析処理して、言
語として認識する言語データを取得し、さらに、照合言
語処理プログラムR3に沿って、音声から得た言語デー
タと口唇動作から得た言語データとを照合して精良な言
語データを出力する。
【0016】このように音声により認識した言語データ
と、これとは角度の異なる口唇動作により認識した言語
データとを照合することにより、音声では認識が不充分
であった言語を口唇で認識した言語で補正することがで
き、また、口唇動作では認識が不充分であった言語を音
声で認識した言語で補正することができ、これによって
発声に固有の特徴(個性)がある音声や聞き取り難い音
声でも精良な言語を認識することができる。また、各言
語処理プログラムR1,R2,R3をCD−ROM24
に記録することにより、例えば、パーソナルコンピュー
タにソフトウエアとして使用して、音声と口唇動作から
精良な言語を認識し出力することができる。
【0017】なお、認識した言語データは表示器14に
出力して表示したり、また、FDドライブ25に出力し
てFDに記録(書込み)することができる。
【0018】上述の実施例では、音声と口唇動作から精
良な言語を認識するための言語処理装置10を示してい
るが、他の例としては、カメラ12と口唇言語処理プロ
グラムR2を用いることにより、音声が届かない距離に
ある会話の言語を認識することができる。
【0019】図4は、カメラ12とマイクロホン13と
の他の構成例を示し、この例ではハンドタイプを示し、
本体30の上端には二股部31を形成して、この二股部
31に小型CCDのビデオカメラ32を上下角度が調節
できるように枢着し、また、本体30の上部であって、
ビデオカメラ32の撮像方向と同じ方向に向けてマイク
ロホン33を装備している。
【0020】このようにビデオカメラ32とマイクロホ
ン33を一体にしたハンドタイプにすることにより、声
を発する者が本人の手で持って音声と口唇動作を入力す
ることができる。
【0021】この発明の構成と、上述の実施例との対応
において、この発明の記録媒体は、実施例のCD−RO
M24、またはRAM22、その他FD等の記録媒体に
対応し、以下同様に制御手段は、CPU20に対応する
も、この発明は、特許請求の範囲に記載の技術的思想に
沿って応用することができ、実施例の構成のみに限定さ
れるものではない。例えば、音声言語処理プログラムR
1、口唇言語処理プログラムR2、照合言語処理プログ
ラムR3を予めROM21またはRAM22に記録(記
憶)しておくもよい。また、実施例では人の音声を対象
に説明したが、その他動物の音声と口唇動作から該動物
の言語を認識することができる。
【図面の簡単な説明】
【図1】 言語処理装置の構成図。
【図2】 言語処理装置の制御回路ブロック図。
【図3】 CD−ROMの記録内容を示す説明図。
【図4】 カメラとマイクロンとの他の例を示す斜視
図。
【符合の説明】
10…言語処理装置 11…パソコン 12…カメラ 13…マイクロホン 20…CPU 24…CD−ROM R1…音声言語処理プログラム R2…口唇言語処理プログラム R3…照合言語処理プログラム

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】音声を発したときの口唇動作を撮像した口
    唇画像信号の解析処理から言語を認識して言語データを
    出力する口唇言語処理のプログラムを記録した記録媒
    体。
  2. 【請求項2】音声を発したときの口唇動作を撮像した口
    唇画像信号の解析処理から言語を認識して言語データを
    出力する口唇言語処理と、前記音声による音声信号の解
    析処理から言語を認識して言語データを出力する音声言
    語処理と、前記口唇言語処理と音声言語処理との言語デ
    ータを照合して精良な言語データを出力する照合言語処
    理とのプログラムを記録した記録媒体。
  3. 【請求項3】音声を発した口唇動作を撮像して口唇画像
    信号を出力するカメラと、請求項1記載の記録媒体に記
    録されたのプログラムに沿って、前記口唇画像信号から
    言語データを出力する制御手段とを備えた言語処理装
    置。
  4. 【請求項4】音声を受けて音声信号を出力するマイクロ
    ホンと、前記音声を発した口唇動作を撮像して口唇画像
    信号を出力するカメラと、請求項2記載の記録媒体に記
    録されたのプログラムに沿って、前記音声信号と口唇画
    像信号とで精良な言語データを出力する制御手段とを備
    えた言語処理装置。
  5. 【請求項5】音声を受けて音声信号を出力するマイクロ
    ホンと、前記音声を発した口唇動作を撮像して口唇画像
    信号を出力するカメラと、前記カメラからの口唇画像信
    号の解析処理から言語を認識して言語データを出力する
    口唇言語処理部と、前記マイクロホンからの音声信号の
    解析処理から言語を認識して言語データを出力する音声
    言語処理部と、前記口唇言語処理部と音声言語処理部と
    の言語データを照合して精良な言語データを出力する照
    合言語処理部と、前記マイクロホン、カメラ、各言語処
    理部を制御する制御手段とを備えた言語処理装置。
JP10268192A 1998-09-22 1998-09-22 記録媒体および言語処理装置 Pending JP2000099088A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10268192A JP2000099088A (ja) 1998-09-22 1998-09-22 記録媒体および言語処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10268192A JP2000099088A (ja) 1998-09-22 1998-09-22 記録媒体および言語処理装置

Publications (1)

Publication Number Publication Date
JP2000099088A true JP2000099088A (ja) 2000-04-07

Family

ID=17455209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10268192A Pending JP2000099088A (ja) 1998-09-22 1998-09-22 記録媒体および言語処理装置

Country Status (1)

Country Link
JP (1) JP2000099088A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020062796A (ja) * 2018-10-17 2020-04-23 コニカミノルタ株式会社 画像処理装置、操作制御方法及び操作制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020062796A (ja) * 2018-10-17 2020-04-23 コニカミノルタ株式会社 画像処理装置、操作制御方法及び操作制御プログラム
JP7187965B2 (ja) 2018-10-17 2022-12-13 コニカミノルタ株式会社 画像処理装置、操作制御方法及び操作制御プログラム

Similar Documents

Publication Publication Date Title
KR100307730B1 (ko) 측면 프로파일 영상에 의해 지원되는 음성 인식 시스템 및 방법
EP1748387B1 (en) Devices for classifying the arousal state of the eyes of a driver, corresponding method and computer readable storage medium
JP5323770B2 (ja) ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
CN1841187B (zh) 图像摄取设备及其控制方法
JP4294853B2 (ja) 操作指示装置
US20030214524A1 (en) Control apparatus and method by gesture recognition and recording medium therefor
WO2020140840A1 (zh) 用于唤醒可穿戴设备的方法及装置
Freitas et al. An introduction to silent speech interfaces
JP3886660B2 (ja) 人物認識装置における登録装置及びその方法
JP3652961B2 (ja) 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
CN111866382A (zh) 用于采集图像的方法、电子设备及计算机可读存储介质
JP2000099088A (ja) 記録媒体および言語処理装置
JP2021131699A (ja) 情報処理装置および行動モード設定方法
Freitas et al. Multimodal silent speech interface based on video, depth, surface electromyography and ultrasonic doppler: Data collection and first recognition results
JP2020067562A (ja) ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法
JP4394532B2 (ja) 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
KR20060044008A (ko) 다수의 화자 분별을 위한 음성 인식장치
JP2003228449A (ja) 対話装置及び対話処理プログラムを記録した記録媒体
JP4143487B2 (ja) 時系列情報制御システム及びその方法並びに時系列情報制御プログラム
JP2002108388A (ja) 対話装置及び対話処理プログラムを記録した記録媒体
Al-Hames et al. Using audio, visual, and lexical features in a multi-modal virtual meeting director
CN114745349B (zh) 一种点评方法、电子设备及计算机可读存储介质
JP2603975B2 (ja) 音声入力装置
Chen et al. Challenges in the fusion of video and audio for robust speech recognition
JP2021149347A (ja) 褒め方評価モデル学習装置、褒め方評価装置、褒め方評価モデル学習方法、褒め方評価方法、プログラム