JP2002135376A

JP2002135376A - 無声入力通信装置

Info

Publication number: JP2002135376A
Application number: JP2000358489A
Authority: JP
Inventors: Kunihiko Koike; 邦彦小池
Original assignee: Individual
Current assignee: Individual
Priority date: 2000-10-20
Filing date: 2000-10-20
Publication date: 2002-05-10

Abstract

(57)【要約】【課題】声を出さずに、時、場所、場合に応じた入力
方法を実現する映像入力装置で通話が可能な通信通話装
置を提供する。【解決手段】ＣＣＤカメラ１２により受像された人間
の口の動きの映像信号を解析する電子回路により、音声
合成された音声、又は活字情報として、相手先に送信す
る本体２と相手先からの音声を出力するスピーカー２８
を装着する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像入力で通話と
活字送信ができる通信通話装置

【０００２】

【従来の技術】近年、通信通話装置の技術発展は飛躍的
な進歩をとげている。それにより、多様技術による組み
合わせで装置が開発されている。特に携帯電話の普及は
著しく街中のあちらこちらで通話する姿を見かける様に
なった。しかしその一方では、利用者のマナーが大きな
問題となっている。そこで、携帯電話機にキーボードを
取り付け、活字入力したものを送信するメール機能が重
要視されている。しかし、キーボードの操作を得意とし
ない利用者にとっては、この機能は、ものすごい時間を
必要としていた。従来の例として、ＴＶ電話など、通信
機にＣＣＤカメラを取り付けたもの、又活字入力により
得た情報を音声合成し、通話するものがある。

【０００３】

【発明が解決しようとする課題】本発明では、その欠点
をなくす為に、キーボードなどの活字入力や音声入力や
手書き入力ではなく、人間が言葉を発音する時の口の動
きをカメラなどの映像入力装置によりとらえ、利用者の
口の動きで特性を解析し、文字データにし、そのままデ
ータをメールとして送信する。又は、同じ手段によって
得られたデータを音声合成し、この音声を相手先へ送る
為のシステムを作る事を課題として研究を進めた。この
発明により、キーボード操作を得意としない利用者にも
電車や食堂など、マナーを必要とする、しゃべる事の出
来ない場所からでも、通話やメールが発信できる通信通
話装置を提供する事にある。よって従来例とは構成、プ
ログラムの利用方法が全く異なるものである。

【０００４】

【課題を解決する為の手段】上記目的を達成する為、請
求項１に記載の発明では、人間が言葉を発音する時の口
の動きをカメラなどの映像入力装置によりとらえ、利用
者の特性を解析できるプログラムとシステムを有し、映
像入力された情報から音声合成し、この音声を相手先へ
送り、通話が可能な通信通話装置であり、キーボードな
どの文字入力ではなく、映像入力で通話ができる事を特
長とする。この場合のレンズ部はくもり止めを考えた素
材が好ましい。

【０００５】請求項２に記載の発明では、人間が言葉を
発音する時の口の動きをカメラなどの映像入力装置によ
りとらえ、利用者の特性を解析出来るプログラムとシス
テムを有し、映像入力された情報から活字情報、又はデ
ータ信号に変換し、この活字情報を相手先への送信が可
能な通信通話装置であり、キーボードなどの文字入力で
はなく、映像入力でＥメールなどの活字情報の送信がで
きる事を特長とする。又、通信を無線、有線を問わず、
通常のパーソナルコンピューターやモバイル端末などを
相手先とし、ありとあらゆるコンピューターシステムに
対してのキーボードにかわる入力手段となる事も特長と
する。この場合、手で持つだけではなく、顔の一部に取
り付ける事を可能にしても良い。さらに、本装置自体を
いくつかのユニットに分かれる様にし、ＣＣＤ部だけ、
顔の一部に取り付ける事を可能にしても良い。当然マス
クやメガネ、ヘッドホン、帽子などの機能と複合させる
事もできる。もちろん、ＣＣＤと外部に出す必要のない
ユニットはパーソナルコンピューターなど他のコンピュ
ーターシステムの中に入れても構わない。

【０００６】請求項３に記載の発明では、請求項１と請
求項２に記載のそれぞれの特長を一つの装置に合体した
通信通話装置であり、キーボードなどの文字入力手段で
はなく、映像入力で通話ができ、又は、通話と送信が交
互，又は同時にできる事を特長とする。

【０００７】上記請求項１〜請求項３に従属する請求項
４に記載の発明では、前記手段により通話、送信がされ
た内容をすべて、又は一部本装置内の記憶装置に記録
し、保管できるシステムを有し、通話、送信先別、日時
別などにタイトルを付け、いつでも確認できるシステム
により、通話内容、送信内容が正確に伝えられているの
かを確認できる事を特長とする。さらに、通話中の場合
も音声合成される音声を活字情報で確認できる事が好ま
しい。

【０００８】上記請求項１〜請求項４に従属する請求項
５に記載の発明では、前記装置に電話機能とパーソナル
コンピューター機能を有する事により、前記手段の映像
入力による通話中に回線を切らずに切替えができ、通常
の電話としての機能になることを特長とし、又映像入力
でコンピューターに入力したデータをそのまま、又は加
工してこの装置で通信回線を介し、他のコンピューター
へデータ送信が可能にする事を特長とする。又ディスク
トップのコンピューターに入力する際、静かなオフィー
スなどでも本装置から無音で入力することができる。こ
の時、顔に本装置を固定できる仕組みにしても構わな
い。又、本装置をＭＤプレイヤーやＤＶＤプレイヤー、
ＭＰ３プレイヤーなどと一体化する事により、再生、録
画、巻き戻しなどの機能への指示を映像入力装置がとら
える口の動きで行なえる事にしても構わない。又、美術
館などの静かな場所での解説を、無線でイヤホーンを用
いて聞く場合など、質問や指示を行なうインターフェー
スとして、使用できる事が好ましい。さらに、カーナビ
などのインターフェースとして使用しても構わない。

【０００９】上記請求項１〜請求項５に従属する請求項
６に記載の発明では、本装置に取り付けるカメラなどの
映像入力装置にズームレンズ、又はデジタル式ズーム機
能を取り付ける事により、利用者が離れていても前記手
段により通話、送信が可能とする事を特長とする。この
場合、カメラなどの映像入力装置は、一つ又は二つ以上
を取り付ける事が好ましい。さらに利用者が多少移動す
る場合、他のセンサーと組み合わせて、自動的に利用者
の口元にレンズの方向を追跡できるシステムとを組み合
わせる事が好ましい。この場合、二つの映像入力装置に
より、一方は人物全体をとらえ、もう一方は口元もとら
えるシステムにし、人物が移動する方向と距離を常に解
析し、一方の口元をとらえている映像入力装置自ら方向
を変え、常に口元をとらえる様にする事が好ましい。も
ちろん、パン、チルトをさせるシステムを別の装置と
し、その装置に対し、常にデータを送り、動作の指示を
行なう型でも構わない。この場合も本装置をいくつかの
ユニットに分けても構わない。又、カメラでとらえた映
像を録画できる事が好ましい。

【００１０】請求項１〜請求項６に従属する請求項７に
記載の発明では、本装置に取り付けるカメラなどの映像
装置に小さなライトを取り付け、夜間でも使用できる事
を特長とし、又は赤外線などを利用した暗視カメラを取
り付け、夜間でも使用できる事を特長とする。又、本装
置は一般のトランシーバー機能とし、無声音で入力しな
がら情報交換ができる様にする事も好ましい。さらに、
ヘルメットやマスクなど警察や警備員などで使用される
道具に組み込まれる事により、全く声を外に漏らさず
に、情報交換手段となる事が好ましい。

【００１１】請求項１〜請求項７に従属する請求項８に
記載の発明では、本装置を利用者が利用する為に、あら
かじめ設定した言葉を登録した場合、この登録作業によ
り利用者の口の動きで特性をデータ化するシステムを有
する事を特長とし、利用者の本人確認を必要とする場合
に限り、正確な判別をする事を特長とする。このシステ
ムは、通信システムのみならず、通常のパーソナルコン
ピューターやモバイル単体、又これらに属するあらゆる
物に対しての入力方法として用いられる。

【００１２】請求項８に従属する請求項９に記載の発明
では、上記手段により、利用者の特性をデータ化し、そ
のデータを外部の個人情報データベースにあらかじめ登
録する事により、パスワード的効力がある事を特長とす
る。

【００１３】請求項１〜請求項８に従属する請求項１０
に記載の発明では、本装置を利用する為の本人確認の手
段として、利用者があらかじめ映像入力により、利用者
の口の型、又は歯並び、又は両方の情報を入力し、利用
者の特性をデータ化するシステムを有する事を特長と
し、さらにこのデータを登録した、外部の個人情報デー
タベースと個人の情報のやり取りが可能なシステムを有
する事を特長とする。又、請求項８、請求項９、請求項
１０の手段が一つの装置内で組み合わせる事により、制
度の高い本人確認ができ、本装置が移動型の本人認証機
としても利用できる。これにより、本装置が自宅や自動
車の鍵、又はクレジットカードの認証も行なえる。

【００１４】請求項１〜請求項１０に従属する請求項１
１に記載する発明では、口の動きをはっきり動かす事を
得意としない人の為に、口の動きと連動して無音状況に
限りなく近い、小さな声の時に発する音圧と息の方向を
受け止めるセンサーとセンサーによるデータ解析をする
プログラムを含むシステムを有する事により、映像入力
でとらえる情報の制度を高める為の補足機能を追加する
事を特長とする。このセンサーの取り付け場所には、口
の正面以外に口の端に位置する場所に一つ以上取り付け
る事が好ましい。利用者により、口の動きはかなり個性
がでる為、ある特定の言葉を発し、プログラムに入力す
る事により性能を高め、さらにプログラム自ら学習する
システムとし、利用を重ねる事により、性能を高める様
にする事が好ましい。

【００１５】請求項１〜請求項１１に従属する請求項１
２に記載する発明では、従来からある二文字以上のパス
ワード機能を有する事により、パスワードを映像入力で
「リンゴ」と設定登録すれば、口の動きを「リンゴ」と
するだけで、パスワードの認証が取れるシステムを有
し、活字入力や声を出した音声入力をする必要のない事
を特長とする。さらに、認証はパスワードそのものの言
葉の文字だけではなく、利用者の口の動きで特性をも同
時に確認できるシステムを有する事で、２重の性能の高
い本人確認ができる。さらに、「リンゴ」と「スイカ」
など複数の言葉による口の動きをさせる事により、さら
に性能が高まるだけではなく、組み合わせによる特定の
指示が同時に可能となり、認証と指示を同時に行なう事
ができる。

【００１６】請求項１４記載の発明では、あらかじめペ
ンや筆などで、手書きした文字を全て図形として登録で
きるシステムを有し、映像入力などで入力された情報を
上記手段により、入力された活字を図形情報として、通
信回線を介し、送信できる事を特徴とする。送信時には
文字の大きさ、縦書き、横書きなどのバランスを自動
的、又は手動にて調整できるシステムと組み合わせて利
用する事が好ましく、手書きの風合に限りなく近く個性
を伝えることを損なわないプログラムを有する事が好ま
しい。

【００１７】請求項１〜請求項１２に従属する請求項１
５の発明では、ろう話者が、本装置を利用する場合、映
像入力され音声合成された音声を拡声器として、外部音
を発生させる為、アンプとスピーカーを有する事を特長
とする。さらに、本装置から無線、有線を問わず、パー
ソナルコンピューター、モバイル端末単体への入力がで
き、情報も確認ができ、その情報を音声合成された音声
により読み上げるプログラムをあらかじめ入力する事に
より、ろう話者にスムーズなコミュニケーションを可能
とさせる事が好ましい。

【発明の実施の形態】［第１実施形態］本発明の第１実
施形態による無声入力通信装置を図１乃を用いて説明す
る。図１は、本実施形態による通信通話装置の一体型の
一例の斜視図である。２の通信通話装置の本体に１２の
ＣＣＤカメラを取り付け、１６のスロットルにより左右
の１７のピンジャックの範囲において、１２のＣＣＤカ
メラが移動できる様になっていて、常に口の動きをとら
える一番適位の位置に手動、又は自動でカメラが動く機
能を有している。さらに、９のロット棒の先に人間の頬
の部分にあたる８のパットを設け、１２のＣＣＤカメラ
と口の距離が常に固定できる。そして、９のロット棒は
利用以外は、２の本体に密着、又はかくのうされる構造
を有する。５のロット棒で支えられる４の小型ディスプ
レーは、カメラでとらえる映像信号を解析し、活字情報
とし、表示するシステムを有し、利用しない時は取り外
しができる。６のディスプレーは４のディスプレーと同
じ情報も表示する。耳に当てる３のスピーカーはねじる
事などで、高さを調整できる機能を有し、１のアンテナ
は衛星通信を利用する場合に取り付けられるアタッチメ
ント方式とする。一般のアンテナは２の本体に付属す
る。この１のアンテナ以外にズーム付きカメラなど他の
オプションも取り付けられる方式を用いる。１８のセン
サーは中央と左右に３つ取り付け、口を動かす時に発す
る息の量と方向を感知し、口の動きを映像信号で受け、
解析する際より正確さを増す為の補足として用いるシス
テムを有する。１４のメモリーステック挿入口は、メモ
リーステックなどの記憶装置を入れられ、コンピュータ
ーなどからの情報を入力する事が可能であり、１５のミ
ニＤＶＤ−Ｒ挿入口には、直径６以下のミニＤＶＤ−Ｒ
のディスクなどが記憶媒体に入れられ、情報の記録、録
画が可能である。１６のスロットルには、電話会社が配
布をする利用者別に与えられる周波数と送受信装置カー
トリッジを収めたものを利用する際、かくのうできる。
１７のピンジャックには一般電話回線に直接ケーブルで
つなぐ事が可能である。又、１０のマイクを設け、１９
の小型ライト、２０の赤外線ライトには夜間暗い所から
でも使用できる様に設置された。あとは、通常の携帯電
話等にも設定されている７のプッシュダイヤル等の操作
部で構成されている。［第２実施形態］次に図２を用いて無線入力外部装置の
本発明の第２実施形態による無声入力装置を図２を用い
て説明する。図２は有線、又は無線にて接続する外部用
の映像入力装置で、２２のヘッドホン型状カメラが利用
時に人間の口の動きをとらえる適位な位置にくる様、ロ
ット棒２３の回転、収縮により調節ができる機能を有
し、２７の小さなライトにより夜間の利用ができる。２
４のスピーカーは、取りはずしも可能で、相手からの通
信音声やメッセージを聞く為に設ける。さらに、人間の
口の動きをとらえた２２のカメラから入力される映像信
号の他、補足として人間の顎の動き、又は振動をとらえ
る２５のセンサーを用いる事により、正確性を増す事が
可能になる。もちろん、図１本体には２５のセンサーか
ら得られる情報を解析するプログラム並びシステムを有
する。この２５のセンサー部は取りはずしができ、それ
ぞれにコードを付け、人間の顎の部分に直接貼り、図１
本体へ直接接続も可能なユニットである。［変形実施形態］本発明は、上記実施形態に限らず、種
々の変形が可能である。本発明により通信通話装置は、
有線通信によりネットワークと接続するＰＤＡの他、無
線通信によるネットワークとアクセス可能な移動体通信
端末機器（衛星通信機器も含む）にも適用され得る。さ
らに、ビデオカメラ、ＴＶモニター、ゲーム機、文具、
コンピューター、自動車、飛行機、ヘリコプター、電
車、ＭＰ−３プレイヤー、ＤＶＤプレイヤー、他の家電
機器の内部に装置自体が複合、又はかくのうされる機器
にも適用され得る。手袋、ヘルメット、ウェアー、マス
ク、ゴーグルなど、身につける物に付属、又はかくのう
される機器にも適用され得る。又、通信利用だけでな
く、映像入力により本体操作の指示等も可能である。さ
らに、ロボットなどとの会話手段の入力方法としても可
能である。

【発明の効果】以上の通り、本発明によれば、デジタル
カメラなどの入力手段により、入力される人間の口の動
きを解析するシステムを装着する事により、移動体通信
端末を用いた移動体通信を行なう事ができる。人間の口
の動きを解析するシステムにより、本人の確認を含め、
あらゆるセキュリティーシステムに応用でき、電車の中
やオフィスなどで無声にて入力、通信、認証を同時に行
なえる。

【図面の簡単な説明】

【図１】本発明の第１実施形態による映像入力で、通話
が可能な移動体通信端末を示す斜視図である。

【図２】本発明の第２実施形態による映像入力で、入
力、通信が可能な入力装置の斜視図である。

【図３】本発明の通信通話装置のシステムを示すブロッ
ク図である。

【図４】本発明の通信通話装置のサービスシステムを示
すブロック図である。

【符号の説明】

１…アンテナ２…本体３…スピーカー４…ディスプレー５…ロット棒６…ディスプレー７…操作ボタン８…パット９…ロット棒１０…マイク１１…ＰＣ接続ジャック１２…ＣＣＤカメラ１３…外部入力ジャック１４…メモリステック挿入口１５…ミニＤＶＤ−Ｒ挿入口１６…スロットル１７…ピンジャック１８…音圧センサー１９…ライト２０…赤外線ライト２１…送受信カードリッジ挿入口２２…ＣＣＤカメラ２３…ロット棒２４…スピーカー付耳あて２５…音圧センサー２６…図１本体接線端子２７…ライト小２８…スピーカー

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｍ 11/00 ３０２Ｈ０４Ｂ 7/26 Ｍ

Claims

【特許請求の範囲】

【請求項１】デジタルカメラなどの入力手段により、
入力される人間の口の動きをとらえた映像情報を解析し
た後、音声合成し、合成された音声を送話音とし、相手
先に送信する映像入力で通話が可能な通信通話装置。
【請求項２】デジタルカメラなどの入力手段により、
入力される人間の口の動きをとらえた映像情報を解析
し、活字情報、又はデータ信号にし、直接相手先に送信
する映像入力で、活字情報、又はデータ信号の送信が可
能な通信通話装置。
【請求項３】請求項１と請求項２のそれぞれの機能を
１つの装置に合体し、利用者が利用時にどちらかの一方
を選択できるシステムであって、又はあらかじめ設定し
た方法で２つの機能を交互、又は同時に利用できる通信
通話装置。
【請求項４】請求項１〜請求項３のいずれか記載の装
置において送信、又は通話、又は送受信したデータを記
憶装置に保管できるシステムを有する通信通話装置。
【請求項５】請求項１〜請求項４のいずれか記載の装
置において従来からある電話機能とパーソナルコンピュ
ータ機能を有する通信通話装置。
【請求項６】請求項１〜請求項５のいずれか記載の装
置において、ズームレンズ、又はデジタル式ズーム機能
を有し、本装置から離れた人間の口の動きを解析でき、
記憶装置に録画もするシステムを有する通信通話装置。
【請求項７】請求項１〜請求項６のいずれか記載の装
置において、人間の口の動きを夜間でも解析を可能にす
る為、ライト又は赤外線を利用したカメラシステムを有
する通信通話装置。
【請求項８】請求項１〜請求項７のいずれか記載の装
置において、利用者があらかじめ登録する口の動きを認
識し、利用者の特性をデータ化するシステムを有し、こ
れにより本人確認が正確にできる通信通話装置。
【請求項９】請求項８において通信回線を介してあら
かじめ利用者の口の動きで特性を登録した外部の個人情
報データベースと個人情報のやり取りが可能なシステム
を有する通信通話装置。
【請求項１０】請求項１〜請求項８のいずれか記載の
装置において利用者があらかじめ登録する利用者の口の
型、又は歯並び、又は口の型と歯並びを認識し、利用者
の特性をデータ化するシステムを有し、これにより本人
確認が正確にできる通信通話装置であって、通信回線を
介してあらかじめ口の型、又は歯並び、又は口の型と歯
並びの特性を登録した外部の個人情報データベースと個
人情報のやり取りが可能なシステムを有する通信通話装
置。
【請求項１１】請求項１〜請求項１０のいずれか記載
の装置において利用者が口を動かす時に発する音圧、又
は口から出る息の方向と量を解析するシステムを有する
通信通話装置。
【請求項１２】請求項１〜請求項１１のいずれか記載
の装置において従来から利用されている２文字以上のパ
スワードを利用者ごとに設定できるシステムを有する通
信通話装置。
【請求項１３】請求項１と請求項３のいずれか記載の
装置において利用者の声と同等な音声合成音を送話音と
して相手方に送り、通話のできるシステムを有し、又あ
らかじめ設定される色々なキャラクターの音声合成音を
送話音として相手方に送り、通話のできるシステムを有
する通信通話装置。
【請求項１４】利用者があらかじめペン、又は筆で手
書きした文字を登録できるシステムを有し、映像入力、
又は活字入力、又は音声入力された情報を上記登録され
た文字、又は図形を活字情報として送信が可能な通信通
話装置。
【請求項１５】請求項１〜請求項１２のいずれか記載
の装置においてアンプとスピーカーを有し、拡声器の機
能も有する通信通話装置。