JP2004348382A

JP2004348382A - Portable electronic device and its control method

Info

Publication number: JP2004348382A
Application number: JP2003143880A
Authority: JP
Inventors: Hiroyuki Manabe; 宏幸真鍋; Akira Hiraiwa; 明平岩; Hiroki Hayashi; 宏樹林; Takeshi Ninchoji; 毅忍頂寺; Toshiaki Sugimura; 利明杉村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2003-05-21
Filing date: 2003-05-21
Publication date: 2004-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To recognize information based on biological signals, by using a portable electronic device. <P>SOLUTION: A transmitter connected to a cellular phone has a recognition means which recognizes information on the basis of the biological signal of myoelectric signal of a hand, or the like, and a communication means which produces electromagnetic noises affecting the detection of the biological signal. In addition, a control means is provided which sequentially supplies the recognition means and the communication means with an operation enabling signal at predetermined time periods, and performs time sharing control for activating the recognition means and the communication means, when the operation enabling signal is supplied. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯電話、ＰＤＡ、ウェアラブルＰＣ等の携帯型電子装置およびそれを作動させるための制御方法に関する。
【０００２】
【従来の技術】
従来から、携帯電話、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）や、ウェアラブルコンピュータ（体に装着して使用する携帯型コンピュータ、以下「ウェアラブＰＣ」という）等の携帯型電子装置はそれぞれ他の装置との関連なく、独立して作動可能なように設計されている。もちろん、係る携帯型電子装置は他の装置と連携して作動させることもできる。例えば、携帯電話とＰＤＡを連携させたり、携帯電話とウェアラブルＰＣを連携させたり、さらにはＰＤＡとウェアラブＰＣを連携させて作動させることが可能である。
【０００３】
ところで、近年、脳波や筋電信号等の生体から得られる信号（生体信号）を測定し、それを解析および信号処理した上で、情報機器の入力として用いることが可能となってきており、そのための各種入力インターフェース（生体信号入力Ｉ／Ｆ）が開発されている。従来のダイヤルキーやキーボード等の入力手段は、小型化が難しく、携帯型電子装置を小型化する際の障害になっていたことから、生体信号入力Ｉ／Ｆを採用することで、従来の入力手段が不要になり、携帯型電子装置自体の小型化が可能となる。そのため、携帯型電子装置と生体信号入力Ｉ／Ｆの融合は有意義であると考えられている。
なお、従来の生体信号を計測する装置に関し、例えば次の特許文献１に開示されているものがあった（例えば、特許文献１参照。）。
【０００４】
【特許文献１】
特開２００２−３２０５９１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、生体信号は非常に微弱な信号であるため、測定または検出の際に外部からノイズの影響を受けやすい。そのため、生体信号の取り扱いにはノイズに対する十分な注意が必要とされ、このことが携帯型電子装置と生体信号入力Ｉ／Ｆを融合する上での課題となっていた。
一方、携帯型電子装置はその外部に比較的大きな電磁波を発生し、それが電磁的ノイズとなることが多い。このような電磁的ノイズは、一般に他の携帯型電子装置に対しては影響が少なく動作を不安定にすることはないが、生体信号の検出に対してはノイズとなって非常に大きな影響を及ぼす。特に携帯電話は外部に電磁波を放射することを基本的な機能としているから、生体信号の検出に影響しないように、その電磁波を遮断することが重要であるが、従来これを実現するための技術は知られていなかった。
【０００６】
そこで、本発明は上記課題を解決するためになされたもので、ノイズを発生する携帯型電子装置を利用しながら生体信号に基づき情報を認識することが可能な携帯型電子装置およびその制御方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明は生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、認識手段とノイズ発生手段とに動作許可信号を所定の時間周期で順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う制御手段を設けた携帯型電子装置を特徴とする。
この携帯型電子装置は、認識手段とノイズ発生手段とを時分割制御で作動させることにより、双方の作動期間を分けて重ならないようにし、双方の動作を両立させている。
【０００８】
また、本発明は、生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、認識手段とノイズ発生手段のいずれか一方に動作許可信号を順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う制御手段を設けた携帯型電子装置を提供する。
この携帯型電子装置も、認識手段とノイズ発生手段とを時分割制御で作動させることにより、双方の作動期間を分けて重ならないようにし、双方の動作を両立させている。
さらに本発明は、生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、認識手段は、動作許可信号が供給されたときに生体信号に基づき情報を認識する認識動作を行い、ノイズ発生手段は、動作許可信号が供給されたときにノイズ発生動作を行う携帯型電子装置を提供する。
この携帯型電子装置は認識手段の認識動作とノイズ発生手段のノイズ発生動作の期間が重ならないようになっている。
【０００９】
そして、本発明は、生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備えた携帯型電子装置の制御方法において、認識手段とノイズ発生手段とに、動作許可信号を所定の時間周期で順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う携帯型電子装置の制御方法を提供する。
また生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備えた携帯型電子装置の制御方法において、認識手段とノイズ発生手段のいずれか一方に動作許可信号を順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う携帯型電子装置の制御方法を提供する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
図２は、本発明の特徴とする制御を行う送信機１６を利用して、利用者１０が携帯電話１２と筋電信号検出電極１４を使用する状態の一例を示す図である。図２に示すように、利用者１０は、送信機１６を腰部に装着するとともに、筋電信号検出電極１４を一方の手１０ｂに装着し、他方の手１０ｃに携帯電話１２を持っている。この図２では、図示しないロボットハンドが設置された遠隔地のユーザ（図示せず）と、利用者１０が携帯電話１２により会話をしながら、手１０ｂを動かしロボットハンドを遠隔操作する状態を想定している。
【００１１】
携帯電話１２は、図３に示すように、折畳式の構成を有し、表面に筋電信号検出電極１２ａが３つ設けられている。
各筋電信号検出電極１２ａは利用者１０の顔の皮膚が接触する面に設けられ、顔（特に頬や顎、口の周囲）の筋電信号を検出するための板状の電極からなり、利用者１０の筋電信号を検出する。携帯電話１２は、利用者１０が自らの頭部の近くに配置して筋電信号検出電極１２ａを頬や顎に接触させることができる。
【００１２】
また、携帯電話１２は、図４に示すように、筋電信号検出電極１２ａのほか、音声認識手段１２ｂ、通信手段１２ｃおよびスピーカ１２ｄを有している。音声認識手段１２ｂは、生体信号に基づき情報を認識する認識手段であって、生体信号に基づき情報を認識する動作（以下「認識動作」という）を実行する。すなわち、音声認識手段１２ｂは、筋電信号検出電極１２ａが検出した筋電信号を入力し、その筋電信号に基づいて（筋電信号の変化から）、利用者１０が発しようとしている音声情報を認識し、音声データを生成する。音声認識手段１２ｂは、配線ａにより送信機１６に接続され、その後述する制御手段１６ｃの時分割制御にしたがって作動する。なお、音声を認識する技術には各種技術があるので音声認識手段１２ｂにはそれを適用することができる。
【００１３】
通信手段１２ｃは、移動通信機能を有する手段であって、音声認識手段１２ｂが生成した音声データを図示しない携帯電話１２の基地局等に送信する。また、通信手段１２ｃは、その基地局等から相手方との通話のメッセージデータを受信し、その受信したメッセージデータに対応する音声をスピーカ１２ｄから出力させる。この通信手段１２ｃは配線ａにより送信機１６に接続され、その制御手段１６ｃの時分割制御にしたがって作動する。
ここで、制御手段１６ｃの時分割制御は、筋電信号検出電極１２ａによる生体信号の検出に影響する後述のノイズ発生動作を行うノイズ発生手段（通信手段１２ｃ，通信手段１６ｂ）と、認識手段（音声認識手段１２ｂ，動作認識手段１６ａ）とに動作許可信号を所定の時間周期で順次供給するとともに、その周期をある程度短くすることにより、みかけ上、前者の動作と後者の動作とが同時並行的に行われるようにするものである。
【００１４】
スピーカ１２ｄは通信手段１２ｃからメッセージデータを入力して、それを音声に変えて出力する。利用者１０はこの音声、すなわち相手方からの通話メッセージを聞くことが出来る
携帯電話１２は、筋電信号検出電極１２ａとともに音声認識手段１２ｂと通信手段１２ｃを設けているため、利用者１０が声を出さなくても（発声しなくても）、声を出すように口を動かすことによって音声を入力し、それを相手方に送信して会話（無声会話）を行えるように構成されている。図２では、利用者１０が声を出さず口１０ａだけを声を出すように動かして無声会話を行っている状態を想定している。例えば、利用者１０が人ごみにいて、声を出して会話を行うことが公衆マナーに違反するような場合は、この無声会話ができる携帯電話１２が好ましいものとなる。
【００１５】
携帯電話１２のように、顔面の頬および顎の筋肉による筋電信号を計測して、無声会話を可能とする技術は従来から知られている。例えば、２００２年３月２２日付け発行の日本経済新聞には、その第１面において、筋肉の動きを読みとり会話を行える携帯電話（読唇携帯電話）に関する事項が開示されている。
また、特開平６−１２４８３号公報には、唇周囲の筋電信号波形から発声単語を認識可能な技術が開示されている。
さらに、特開平７−１８１８８８号公報には、口周辺の筋電信号に基づいた合成音声を出力する音声代行装置が開示されている。
【００１６】
筋電信号検出電極１４は利用者１０の手１０ｂに装着可能な構成を有し、配線ｂにより送信機１６に接続されている。そして、筋電信号検出電極１４は手１０ｂの動きによる筋電信号を検出し、その検出した筋電信号を配線ｂを介して送信機１６に送信する。この筋電信号検出電極１４が装着された手１０ｂを利用者１０が動かすことにより手１０ｂの動作が検出され、図示しないロボットハンドが遠隔操作される。
なお、手に筋電信号検出電極１４を装着してロボットハンドを作動させる技術が従来から知られている。例えば、特開平２−２９８４７９号公報には学習型のロボットハンドが開示されている。
【００１７】
また、特開平５−１１１８８１号公報には、筋電信号を高速フーリエ変換した信号を用いてニューラルネットワークを学習させ、ニューラルネットワークを用いて手の動きを認識することによって、ロボットハンドの制御を行う技術が開示されている。
さらに、特開平６−３９７５４号公報には、雑音に強いニューラルネットワークを用いて手の動きを認識することによって、ロボットハンドの制御を行う技術が開示されている。
【００１８】
送信機１６は、利用者１０が携帯可能な携帯型の装置であって、図５に示すように、動作認識手段１６ａと、通信手段１６ｂおよび制御手段１６ｃを有している。
動作認識手段１６ａは、生体信号に基づき情報を認識する認識手段であって、音声認識手段１２ｂと同様、認識動作を実行する。この動作認識手段１６ａは、筋電信号検出電極１４が検出した手１０ｂの筋電信号を入力し、その筋電信号に基づいて（筋電信号の変化から）、手１０ｂの動作情報を認識し、手動作データを生成する。動作認識手段１６ａは制御手段１６ｃの時分割制御にしたがって作動する。なお、手の動作を認識する技術は上述のように従来公知であり、動作認識手段１６ａにはその従来技術を適用することができる。
【００１９】
通信手段１６ｂは、送信機１６を携帯電話として作動させるために必要な移動通信機能を内蔵し、その通信機能により、動作認識手段１６ａが生成した手１０ｂの手動作データを遠隔地のロボットハンドに送信する（このとき、そのロボットハンドは送信された手動作データに対応した動作を行う）。携帯電話による通信システムは、音声のみならずデータ通信でも用いられるので、通信手段１６ｂはこのデータ通信を用いて手動作データを送信することができる。この通信手段１６ｂも制御手段１６ｃの時分割制御にしたがって作動する。
【００２０】
制御手段１６ｃは、通信手段１６ｂと動作認識手段１６ａが接続され、携帯電話１２の通信手段１２ｃおよび音声認識手段１２ｂが配線ａにより接続されている。この制御手段１６ｃは、時分割制御の対象となる通信手段１２ｃ、音声認識手段１２ｂ、通信手段１６ｂおよび動作認識手段１６ａの各手段（以下、時分割制御の対象となるこれらの手段を「時分割対象手段」という）に、後述する動作許可信号を所定の時間周期で、いずれか一つに選択的に供給する。これにより、時分割対象手段の各手段が順番に作動する。そのため、音声認識手段１２ｂや動作認識手段１６ａが認識動作を実行する際には、通信手段１２ｃや通信手段１６ｂが動作を行わないように制御され、携帯電話１２における生体信号の検出およびそれに基づく情報の認識がノイズのない状況下で安定して行われる。
【００２１】
次に、制御手段１６ｃによる時分割制御の手順について、図１に示すフローチャートを参照して説明する。図１は制御手段１６ｃによる時分割制御の手順を示すフローチャートである。なお、図１ではステップをＳと略記している。
制御手段１６ｃは、図示しないメインルーチンから起動されるとステップ１に進み、時分割制御の対象となる動作（時分割動作）を行うか否かを判断する。なお、この判断は利用者１０の指示に基づいて行うのが好ましい。例えば、送信機１６に動作モードを指示するスイッチ（モードスイッチ１６ｄ、図２参照）を設け、利用者１０によるモードスイッチ１６ｄの設定により判断するとよい。この場合、利用者１０はモードスイッチ１６ｄを操作して、通信動作と生体信号の検出に関する動作を共存する必要があるか否かを指示する（共存する必要ありの場合に時分割動作を行う）。ステップ１で時分割動作を行わないと判断したときはステップ２に進み、時分割動作を行うと判断したときはステップ３に進む。
【００２２】
ステップ２では、時分割動作を行わないので、制御手段１６ｃは時分割対象手段（通信手段１２ｃ、通信手段１６ｂ、音声認識手段１２ｂ、動作認識手段１６ａのすべて）に動作許可信号を出力し、各手段が自由に動作可能にする。その後ステップ１１に進む。
ステップ３に進むと、時分割動作を行うので、制御手段１６ｃは時分割対象手段のうち、まず通信手段１２ｃに動作許可信号を出力し、その他の通信手段１６ｂ、音声認識手段１２ｂおよび動作認識手段１６ａには動作許可信号を出力しない。これにより、通信手段１２ｃは動作を自由に行い、電磁波ノイズを放射する等の生体信号の検出に影響する動作を行うこともある。しかし、音声認識手段１２ｂおよび動作認識手段１６ａは動作を実行することができないので、音声情報を認識する認識動作等のその電磁波ノイズの影響を受ける動作は実行されない。
【００２３】
続いてステップ４に進み、制御手段１６ｃが時間の計測を行い、その時間が所定の時間（以下この所定の時間を「待機時間」という）を経過した後にステップ５に進む。この待機時間は例えば２０ｍｓ程度の値に設定し得るが、これには限定されずどのような値でもよい。
ステップ５に進むと、制御手段１６ｃは時分割対象手段のうち通信手段１６ｂに動作許可信号を出力し、その他の通信手段１２ｃ、音声認識手段１２ｂおよび動作認識手段１６ａには動作許可信号を出力しない。そのため、通信手段１６ｂが動作を自由に行い、電磁波ノイズを放射する等の生体信号の検出に影響する動作を行うこともある。しかし、音声認識手段１２ｂおよび動作認識手段１６ａは音声情報を認識する認識動作等の電磁波ノイズの影響を受ける動作およびその他の動作も実行されない。
【００２４】
続くステップ６でステップ４と同様の待機時間を経過した後にステップ７に進み、制御手段１６ｃは音声認識手段１２ｂに動作許可信号を出力し、その他の通信手段１６ｂ、通信手段１２ｃおよび動作認識手段１６ａには動作許可信号を出力しない。そのため音声認識手段１２ｂが作動する。このとき、筋電信号検出電極１２ａにより検出された筋電信号に基づき音声情報を認識する動作のように、電磁波ノイズの影響を受ける認識動作が実行されることもある。しかし、通信手段１２ｃと、通信手段１６ｂによるノイズ発生動作は実行できない。
【００２５】
続くステップ８でステップ４と同様に待機時間を経過した後にステップ９に進み、制御手段１６ｃは動作認識手段１６ａに動作許可信号を出力し、その他の通信手段１６ｂ、通信手段１２ｃおよび音声認識手段１２ｂには動作許可信号を出力しない。そのため、動作認識手段１６ａが作動する。このとき、筋電信号検出電極１４により検出された筋電信号に基づき手の動作情報を認識する動作のように、電磁波ノイズの影響を受ける認識動作が実行されることがある。しかし、通信手段１２ｃ、通信手段１６ｂによるノイズ発生動作は実行されない。
続くステップ１０で、ステップ４と同様に待機時間を経過した後にステップ１１に進み、終了指示の有無を判断する。終了指示が有れば時分割制御を終了するが、無ければステップ１に戻り、上述の各ステップが繰り返される。
【００２６】
以上のように、本実施の形態では、上述の制御手段１６ｃが時分割対象手段の各手段に所定の待機時間を置いて周期的に動作許可信号を出力し、その動作許可信号を出力した手段を作動させる時分割制御を行っている。それにより、利用者１０の生体信号に基づき情報を認識する認識動作と、その生体信号の検出に影響するノイズ発生動作とが時間的に重ならないようにそれぞれの実行タイミングがずれ、それぞれの重畳が排除されている。これにより、携帯電話１２を作動させながら（通話を行いながら）、ノイズの少ない環境下で生体信号に基づき情報を認識することが可能となる。これにより、携帯型電子装置の入力に生体信号を利用することが可能となり、携帯型電子装置の小型化を図ることが可能となる。
【００２７】
ところで、図１に示した時分割制御によると、時分割対象手段のいずれか１つが作動している間は他の手段が作動しないことになる。そのため、例えば、通信手段１２ｃが後述する非ノイズ発生動作を実行している（ノイズを発生していない）ときでも、他の手段が作動しなくなり、携帯電話１２と送信機１６の連携が効率的に行われ難い状況が想定される。そこで、制御手段１６ｃの時分割制御を図６に示すようにして行うとよい。図６では、ノイズ発生手段（通信手段１２ｃ，通信手段１６ｂ）の動作をノイズ発生動作と非ノイズ発生動作とに分けるとともに、認識手段（音声認識手段１２ｂ，動作認識手段１６ａ）の動作を認識動作とノイズに影響されない動作（以下「非ノイズ影響動作」という）とに分けている。そして、ノイズ発生動作と認識動作が重ならないように、時分割対象手段を以下のように制御している。
【００２８】
すなわち、制御手段１６ｃは、各ノイズ発生手段と各認識手段に動作許可信号を所定の時間周期（期間Ｔ１，Ｔ２，Ｔ３，Ｔ４）で順次供給して（各期間Ｔ１，Ｔ２，Ｔ３，Ｔ４の開始タイミングに供給する）、その各期間中にノイズ発生動作と認識動作を行い、各期間中に非ノイズ発生動作と非ノイズ影響動作とを同時並行的に実行するようにしている。
続いて、制御手段１６ｃによるこの時分割制御の具体的な内容について、図７を参照して詳細に説明する。図７は、時分割対象手段のそれぞれの動作タイミングを示すタイミングチャートである。
【００２９】
図７では、ノイズ発生手段（通信手段１２ｃ、通信手段１６ｂ）による動作と認識手段（音声認識手段１２ｂ、筋電信号検出電極１４）による動作が見かけ上同時並行的に実行されている。ここでは、制御手段１６ｃが期間Ｔ１，Ｔ２，Ｔ３，Ｔ４で示される各期間の開始タイミングにおいて、動作許可信号を時分割対象手段の各手段に順次出力している。
携帯電話１２は通信を行う以上、外部に電磁波を放射する。これはノイズ発生動作である。図７（ａ）の動作チャートに示すように、通信手段１２ｃは制御手段１６ｃにより、そのノイズ発生動作を所定の時間を置いて周期的に実行するように制御されている。すなわち、通信手段１２ｃは期間Ｔ１で示されるタイミングでノイズ発生動作を実行し、所定の時間（Ｔ２＋Ｔ３＋Ｔ４）経過後、再びノイズ発生動作を実行する。しかし、その間はノイズ発生動作を実行せず、非ノイズ発生動作を実行している。
【００３０】
また、送信機１６もノイズ発生動作を所定の時間を置いて周期的に実行するように制御されている。すなわち、同図７（ｂ）の動作チャートに示すように、通信手段１６ｃが期間Ｔ２で示されるタイミングでノイズ発生動作を実行し、所定の時間（Ｔ３＋Ｔ４＋Ｔ１）経過後、再びノイズ発生動作を実行する。しかし、その間はノイズ発生動作を実行せず、非ノイズ発生動作を実行している（または休止状態である）。
このように、携帯電話１２と送信機１６は常にノイズ発生動作を行っているのではなく、ノイズ発生動作と非ノイズ発生動作とを周期的に繰り返すことによってそれぞれが一連の動作を行っている。
【００３１】
ここで、ノイズ発生動作とは、生体信号の検出を行う上で大きな（測定可能または認識可能な）影響を及ぼす動作をいい、非ノイズ発生動作とは、生体信号を検出する上で大きな影響を与えない動作（影響を全く及ぼさない動作のほか、影響を及ぼすが、その影響が生体信号の検出を行う上で無視しえる程度のものを含む）をいう。例えば、携帯電話１２の通信手段１２ｃが基地局に音声データを送信する動作は、外部に電波を放射する動作であるからノイズ発生動作である。これに対し、通信手段１２ｃが基地局から受信したメッセージデータに対応する音声をスピーカ１２ｄから出力させる動作や、筋電信号検出電極１４が検出した筋電信号に基づいて、音声認識手段１２ｂが音声情報を認識し、音声データを生成する動作や、その音声データを基地局への送信形式に変換する動作は非ノイズ発生動作である。
【００３２】
非ノイズ発生動作として、携帯電話１２が顔の筋電信号に基づき音声情報を認識する動作の例を示したが、他にも非ノイズ発生動作が存在する。例えば、通常の音声による会話のために携帯電話１２がそのマイクで受けた信号を処理して基地局への送信形式に変換する動作は外部との信号のやりとりの必要がなく、携帯電話１２内で閉じた処理であるから、非ノイズ発生動作である。
また、携帯電話１２以外の携帯型電子装置、例えば、ＰＤＡやウェアラブルＰＣでも、ノイズ発生動作の定義は同様である。例えば、外部との特に信号のやりとり等が必要なくても、高速演算処理は消費電力の増大に伴い外部にノイズを発生させ、生体信号の検出を行う上で大きな影響を及ぼし得るから、ノイズ発生動作に該当することがある。
【００３３】
携帯電話１２と送信機１６の各動作は、演算速度によりノイズ発生動作であるか否かを判断することができる。演算速度が一定値以上の高速演算は、生体信号の検出に大きな影響を及ぼすことがあると考えられているからである。この点に着目すると、演算速度が一定値以上の高速演算を行う動作がノイズ発生動作であり、演算速度がその一定値以下の低速演算を行う動作が非ノイズ発生動作と判断することができる。
また、携帯電話１２と送信機１６の各動作は、消費電力によりノイズ発生動作か否かを判断することもできる。一定値以上の消費電力が発生していると、発生するノイズも多く、生体信号の検出に大きな影響を及ぼすことがあり得るからである。この点に着目し、消費電力が一定値以上の動作をノイズ発生動作、一定値未満の動作を非ノイズ発生動作と判断するようにしてもよい。
【００３４】
一方、ノイズ発生手段（通信手段１２ｃ、通信手段１６ｂ）がノイズ発生動作を行っている期間中に認識手段（音声認識手段１２ｂ、筋電信号検出電極１４）が認識動作を行うと、生体信号の検出に大きな影響が及ぶ（検出される生体信号にノイズが混入し得る）恐れがある。しかし、ノイズ発生手段が非ノイズ発生動作を実行している期間中には、その恐れはないので、認識手段が認識動作を行ってもよい。
そこで、図７（ｃ）の動作チャートに示すように、音声認識手段１２ｂは期間Ｔ１および期間Ｔ２では非ノイズ発生動作（例えば、生体信号を解析或いは信号処理する動作、音声データを生成する等の動作）を行い、期間Ｔ３においてだけ認識動作を行う。また、同図７（ｄ）の動作チャートに示すように、動作認識手段１６ａは期間Ｔ１から期間Ｔ３までは非ノイズ発生動作（例えば、生体信号を解析或いは信号処理する動作、手動作データを生成する等の動作）を行うか、休止状態にあり、期間Ｔ４においてだけ認識動作を行う。
【００３５】
期間Ｔ２では、制御手段１６ｃが通信手段１６ｂにのみ動作許可信号を出力することで、通信手段１６ｂがノイズ発生動作を行う。この期間Ｔ２でも、音声認識手段１２ｂや動作認識手段１６ａは、生体信号の検出に大きく影響しない非ノイズ影響動作なら実行することができる。例えば、それ以前に認識した筋電信号に基づき、音声の認識動作を実行することができる。
また、期間Ｔ３では、制御手段１６ｃが音声認識手段１２ｂにのみ動作許可信号を出力するので、音声認識手段１２ｂが筋電信号検出電極１２ａから筋電信号を入力し、その筋電信号に基づき音声情報を認識する。期間Ｔ３では、通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行している（または休止状態である）。例えば、通信手段１２ｃは期間Ｔ１で受信した（通信相手方の）音声データをスピーカ１２ｄから出力させる動作を続行する。また、通信手段１６ｂはロボットハンドから送られてきたデータ（期間Ｔ２で受信したデータ）の解析処理等を行う。これらは生体信号の検出に影響を与えない非ノイズ発生動作である。通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行するが、ノイズ発生動作を実行しないので、音声認識手段１２ｂは筋電信号の入力を電磁波ノイズに妨害されることなく行える。
【００３６】
期間Ｔ４では、制御手段１６ｃが動作認識手段１６ａにのみ動作許可信号を出力するので、動作認識手段１６ａが筋電信号検出電極１４を介して筋電信号を入力し、その筋電信号に基づき手の動作情報を認識する。この期間Ｔ４では、通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行している（または休止状態である）。例えば、期間Ｔ３と同様に、通信手段１２ｃは音声をスピーカ１２ｄから出力させる動作を実行し、通信手段１６ｂはロボットハンドから送られてきたデータ（期間Ｔ２で受信したデータ）の解析処理等を行う。
【００３７】
また、この期間Ｔ４では、音声認識手段１２ｂが、期間Ｔ３で入力した筋電信号に基づき、利用者１０が発声しようとする音声データを生成するようにするとよい。ここで生成された音声データは、次の周期Ｔ１で通信手段１２ｃによる送信の対象とされる。これらは生体信号の検出に影響を与えない非ノイズ発生動作である。期間Ｔ４でも、通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行するが、ノイズ発生動作は実行しないので、動作認識手段１６ａは筋電信号の入力を電磁波ノイズ等に妨害されることなく行える。
以上のようにして時分割制御を行うと以下のような作用効果が得られる。図１に示す時分割制御では、動作許可信号を供給した手段のみが作動し、他の手段は作動しないように制御しているので、各手段が作動しない期間が存在し得る。しかし、図７では、各手段が作動しない期間を極力少なくし、みかけ上同時並行的に作動しているようにすることができるので、携帯電話１２と送信機１６の連携が一層効率的になる。
【００３８】
なお、図７のタイミングチャートでは、各期間Ｔ１，Ｔ２，Ｔ３，Ｔ４にはそれぞれ同じ時間幅が与えられているが、全体としてのパフォーマンス向上を目指してそれぞれに適した異なる時間幅を与えることもできる。各期間Ｔ１，Ｔ２，Ｔ３，Ｔ４は例えば２０ｍｓｅｃ程度の時間に設定することができる。この程度の時間をかけて筋電信号を検出すれば、音声の解析処理を良好に行えるからである。また、通信手段１２ｃの通信規格によって、期間Ｔ１は長短自在にすることができる。
図７ではノイズ発生手段が２つ（通信手段１２ｃ，通信手段１６ｂ）であり、認識手段が２つ（音声認識手段１２ｂ、動作認識手段１６ａ）である場合を例にとって説明しているが、いずれも２個以上有していてもよい。そして、各手段を時分割対象手段に設定して、上述した本発明の時分割制御を適用すれば同様の作用効果が得られる。もちろん、いずれも１つだけ有していてもよい。
【００３９】
また、時分割制御を行う制御手段１６ｃを送信機１６が有しているが、この制御手段１６ｃによる時分割制御と同じ時分割制御を行う制御手段を携帯電話１２に設けてもよい。この場合も、携帯電話１２によるノイズ発生動作と認識動作が時間的に重ならないようになるから、携帯電話１２で通話をしながら、ノイズの少ない環境下で生体信号に基づき情報を認識することが可能となる。
ところで、上述した携帯電話１２と送信機１６は同期して作動しなければならない。つまり、通信手段１２ｃ、通信手段１６ｂ、音声認識手段１２ｂおよび動作認識手段１６ａの動作は同期がとられていなければならない。その同期動作のため、携帯電話１２と送信機１６は配線ａより接続され、いわば有線通信システムで接続されている（ケーブルで接続されている）。このような接続によって、制御手段１６ｃが、通信手段１２ｃ等に動作許可信号を供給し、動作の同期を制御している。
【００４０】
上述の説明では、配線ａ，ｂにより、送信機１６は携帯電話１２と筋電信号検出電極１４に有線接続（ケーブル接続）されているが、有線接続の代わりに生体信号に影響を与えない程度の無線通信システムにより接続してもよい。米国ＩＢＭ社の以下のウェブサイトにも、無線通信システムによる接続に関する文献１が開示されている。
文献１：「ＳｙｓｔｅｍｓＪｏｕｒｎａｌｐｅｒｓｏｎａｌＡｒｅａＮｅｔｗｏｒｋｓ：Ｎｅａｒ−ｆｉｅｌｄｉｎｔｒａｂｏｄｙｃｏｍｍｕｎｉｃａｔｉｏｎｂｙＴ．Ｇ．ＺｉｍｍｅｒｍａｎＲｅｐｒｉｎｔＯｒｄｅｒＮｏ．Ｇ３２１−５６２７」
ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｒｅｓｅａｒｃｈ．ｉｂｍ．ｃｏｍ／ｊｏｕｒｎａｌ／ｓｊ／ｍｉｔ／ｓｅｃｔｉｏｎｅ／ｚｉｍｍｅｒｍａｎ．ｈｔｍｌ
この接続は、生体を導線とみなして通信を行うものである。以下の説明では、このような無線通信システムによる接続を「生体ＬＡＮ」という。制御手段１６ｃがこの生体ＬＡＮを介して時分割対象手段に上述の時分割制御を行い、携帯電話１２を同期して作動させることもできる。
【００４１】
図８はノイズ発生動作を実行する第１の携帯型電子装置と、ノイズ発生動作の影響を受ける認識動作を実行する第２の携帯型電子装置が、生体ＬＡＮにより１台づつ接続されている無線通信システムのタイミングチャートの一例を図示したものである。もちろん、双方の携帯型電子装置は複数個接続されていてもよい。ここでは、第１の携帯型電子装置は携帯電話であり、第２の携帯型電子装置は筋電信号の検出装置を想定している（いずれも図示せず）。
以下の説明では、その第２の携帯型電子装置が筋電信号を検出し、それを解析および信号処理して利用者の発話内容を認識し、その認識した発話内容のデータを生体ＬＡＮを介して第１の携帯型電子装置に伝送することを想定している。こうすることにより、利用者が第１の携帯型電子装置を用いて他のユーザと通話を行う。
【００４２】
生体ＬＡＮを用いることにより、携帯型電子装置同士を通信ケーブルを介さずに接続することができるので、配線の引き回しが不要になり、接続作業が非常に容易になる。また、接続が容易になると、例えば上述の携帯電話１２や筋電信号検出電極１４を同期して作動させるための制御も簡易になる。
まず、第２の携帯型電子装置は、例えば以下の文献２、文献３に開示されている技術にしたがい筋電信号を検出し、それを解析および信号処理して利用者の動作データ（例えば、手の動作データ）を生成する。
文献２：ＩＥＥＥ生体医用工学会誌「ＮｏｂｏｒｕＳｕｇｉｅｅｔａｌ．， ”ＡｓｐｅｅｃｈＥｍｐｌｏｙｉｎｇａＳｐｅｅｃｈＳｙｎｔｈｅｓｉｚｅｒＶｏｗｅｌＤｉｓｃｒｉｍｉｎａｔｉｏｎｆｒｏｍＰｅｒｉｏｒａｌＭｕｓｃｌｅｓＡｃｔｉｖｉｔｉｅｓａｎｄＶｏｗｅｌＰｒｏｄｕｃｔｉｏｎ，” ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ｖｏｌ．３２Ｎｏ．７，ｐｐ４８５−４９０」
文献３：特開平７−１８１８８８号公報
【００４３】
そして、第２の携帯型電子装置は生成された動作データを生体ＬＡＮを通じて第１の携帯型電子装置に伝送する。すると、第１の携帯型電子装置から外部のユーザと通話することが可能になる。
この無線通話システムでは、第２の携帯型電子装置が生体信号を検出し、その検出した生体信号を解析および信号処理して発話内容を認識する。このとき、第１の携帯型電子装置が外部と無線で通信を行っている間は、生体信号の検出に影響する電磁的ノイズが発生し、検出される生体信号にその電磁的ノイズが混入するおそれがある。そのため、第１、第２の携帯型電子装置は図８に示す手順にしたがい、以下のように作動する。
まず、図８（ａ）の動作チャートに示すように、第１の携帯型電子装置がステップ２１で外部と無線通信を行い、同図（ｂ）に示すように、次のステップ２２で生体ＬＡＮにより第２の携帯型電子装置と通信を行う。次に、ステップ２３において、第１の携帯型電子装置が生体信号の検出に影響を与えない程度にまで無線出力のレベルを落とす。これにより、第１の携帯型電子装置は非ノイズ発生動作を実行していることになる。
【００４４】
このとき、同図（ｃ）に示すように、ステップ２３では、第２の携帯型電子装置が生体信号を検出し、検出した生体信号を解析および信号処理して発話内容の情報を認識する。また、続くステップ２４で、その認識した発話内容のデータを生体ＬＡＮを介して第１の携帯型電子装置に伝送する（生体ＬＡＮ通信）。ステップ２５に進むと、その発話内容のデータを受領した第１の携帯型電子装置が無線出力のレベルを増大した上で、外部へその発話内容のデータを伝送する。このとき、第１の携帯型電子装置はノイズ発生動作を実行している。なお、第１の携帯型電子装置はそれと同時に外部から信号を受け取ることもできる。
【００４５】
次に、ステップ２６以降、以上の手順にしたがった処理を繰り返し実行する。これにより、第１の携帯型電子装置による通話と、第２の携帯型電子装置による生体信号の検出とを、生体ＬＡＮを用いた時分割制御により両立させることができる。
この通話システムでは、生体ＬＡＮを用いた場合を示しているが、生体ＬＡＮを用いるのではなく、有線回線や無線でもよい。また、生体ＬＡＮに関しても、上記した文献１によるものだけでなく、他の方式による生体ＬＡＮを用いてもよい。
【００４６】
【発明の効果】
以上詳述したように、本発明によれば、ノイズを発生する携帯型電子装置を使用しながら、脳波や筋電信号等の生体信号を検出して生体信号に基づき情報を認識することができる。したがって、携帯型電子装置において、生体信号を入力インターフェースとして利用することが可能となり、携帯型電子装置のさらなる小型化が期待できる。
【図面の簡単な説明】
【図１】制御手段による時分割制御の手順を示すフローチャートである。
【図２】送信機を利用して、携帯電話を使用する状態の一例を示す図である。
【図３】実施の形態にかかる携帯電話の外観斜視図である。
【図４】同じく、携帯電話の内部構成を示すブロック図である。
【図５】実施の形態にかかる送信機の内部構成を示すブロック図である。
【図６】制御手段による別の時分割制御の手順を示すタイミングチャートである。
【図７】図６の時分割制御の手順を実行する手段とともに示すタイミングチャートである。
【図８】生体ＬＡＮを用いて接続した場合の時分割制御の手順を示すタイミングチャートである。
【符号の説明】
１０…利用者、１２…携帯電話
１２ａ…筋電信号検出電極
１２ｂ…音声認識手段、１２ｃ，１６ｂ…通信手段
１４…筋電信号検出電極
１６…送信機、１６ａ…動作認識手段
１６ｃ…制御手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a portable electronic device such as a mobile phone, a PDA, and a wearable PC, and a control method for operating the electronic device.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, portable electronic devices such as a mobile phone, a PDA (Personal Digital Assistant), and a wearable computer (a portable computer worn on a body; hereinafter, referred to as a “wearlab PC”) are associated with other devices. And are designed to operate independently. Of course, such portable electronic devices can also be operated in cooperation with other devices. For example, a mobile phone and a PDA can be linked, a mobile phone and a wearable PC can be linked, and further, a PDA and a wearlab PC can be linked to operate.
[0003]
By the way, in recent years, it has become possible to measure signals (biological signals) obtained from a living body such as brain waves and myoelectric signals, analyze and process the signals, and then use them as inputs for information equipment. Various input interfaces (biological signal input I / F) have been developed. Conventional input means such as a dial key and a keyboard are difficult to miniaturize, which has been an obstacle to miniaturization of a portable electronic device. No means is required, and the size of the portable electronic device itself can be reduced. Therefore, fusion of the portable electronic device and the biological signal input I / F is considered to be significant.
A conventional apparatus for measuring a biological signal has been disclosed in, for example, the following Patent Document 1 (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP-A-2002-320591
[0005]
[Problems to be solved by the invention]
However, since the biological signal is a very weak signal, it is susceptible to external noise during measurement or detection. Therefore, the handling of the biological signal requires sufficient attention to noise, which has been a problem in integrating the portable electronic device with the biological signal input I / F.
On the other hand, a portable electronic device generates a relatively large electromagnetic wave outside thereof, which often becomes electromagnetic noise. Such electromagnetic noise generally has little effect on other portable electronic devices and does not make the operation unstable, but it has a very large effect on the detection of biological signals as noise. Exert. In particular, since mobile phones have a fundamental function of emitting electromagnetic waves to the outside, it is important to block the electromagnetic waves so that they do not affect the detection of biological signals. Was not known.
[0006]
Therefore, the present invention has been made to solve the above-mentioned problem, and has been made to provide a portable electronic device capable of recognizing information based on a biological signal while using a portable electronic device that generates noise, and a control method thereof. The purpose is to provide.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, the present invention includes a recognition unit that recognizes information based on a biological signal, and a noise generation unit that performs a noise generation operation that affects detection of the biological signal, and the recognition unit and the noise generation unit operate. The portable electronic device is characterized in that a permission signal is sequentially supplied at a predetermined time period, and control means for performing time-sharing control for operating the recognition means or the noise generation means to which the operation permission signal is supplied is provided.
In this portable electronic device, the recognition means and the noise generation means are operated by time-division control so that both operation periods are separated from each other so that they do not overlap, and both operations are compatible.
[0008]
Further, the present invention includes a recognition unit that recognizes information based on a biological signal, and a noise generation unit that performs a noise generation operation that affects the detection of the biological signal, and one of the recognition unit and the noise generation unit is permitted to operate. A portable electronic device provided with control means for sequentially supplying signals and performing time-sharing control for operating recognition means or noise generation means to which the operation permission signal has been supplied.
In this portable electronic device, the recognition means and the noise generation means are operated by time-division control so that both operation periods are separated so that they do not overlap, and both operations are compatible.
Further, the present invention includes a recognition unit for recognizing information based on the biological signal, and a noise generation unit for performing a noise generation operation affecting the detection of the biological signal. A portable electronic device that performs a recognition operation of recognizing information based on a signal and performs a noise generation operation when the operation permission signal is supplied.
In this portable electronic device, the periods of the recognition operation of the recognition unit and the noise generation operation of the noise generation unit do not overlap.
[0009]
The present invention relates to a method for controlling a portable electronic device, comprising: a recognition unit that recognizes information based on a biological signal; and a noise generation unit that performs a noise generation operation that affects the detection of the biological signal. The present invention provides a control method for a portable electronic device that sequentially supplies an operation permission signal to a generation unit at a predetermined time period and performs time division control for operating the recognition unit or the noise generation unit that has supplied the operation permission signal.
Also, in a control method of a portable electronic device, comprising: a recognition unit that recognizes information based on a biological signal; and a noise generation unit that performs a noise generation operation that affects the detection of the biological signal. Provided is a control method for a portable electronic device that sequentially supplies an operation permission signal to one of them and performs time-division control for operating a recognition unit or a noise generation unit that has supplied the operation permission signal.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described. Note that the same reference numerals are used for the same elements, and duplicate descriptions are omitted.
FIG. 2 is a diagram illustrating an example of a state in which the user 10 uses the mobile phone 12 and the myoelectric signal detection electrode 14 by using the transmitter 16 that performs control which is a feature of the present invention. As shown in FIG. 2, the user 10 wears the transmitter 16 on the waist, wears the myoelectric signal detection electrode 14 on one hand 10b, and holds the mobile phone 12 on the other hand 10c. In FIG. 2, it is assumed that the user 10 moves the hand 10 b and remotely controls the robot hand while having a conversation with the mobile phone 12 with a remote user (not shown) in which a robot hand (not shown) is installed. are doing.
[0011]
As shown in FIG. 3, the mobile phone 12 has a foldable configuration, and is provided with three myoelectric signal detection electrodes 12a on the surface.
Each of the myoelectric signal detection electrodes 12a is provided on a surface of the face of the user 10 where the skin of the user 10 comes into contact, and is a plate-shaped electrode for detecting myoelectric signals of the face (especially around the cheeks, chin, and mouth). A myoelectric signal of the user 10 is detected. The mobile phone 12 allows the user 10 to arrange the myoelectric signal detection electrode 12a near the cheek or the chin by arranging it near the head of the user.
[0012]
Further, as shown in FIG. 4, the mobile phone 12 has a voice recognition unit 12b, a communication unit 12c, and a speaker 12d in addition to the myoelectric signal detection electrode 12a. The voice recognition unit 12b is a recognition unit that recognizes information based on a biological signal, and performs an operation of recognizing information based on a biological signal (hereinafter, referred to as a “recognition operation”). That is, the voice recognition means 12b inputs the myoelectric signal detected by the myoelectric signal detection electrode 12a, and based on the myoelectric signal (from a change in the myoelectric signal), the voice information which the user 10 is about to emit. And generate voice data. The voice recognition means 12b is connected to the transmitter 16 by a wire a, and operates according to time-division control of a control means 16c described later. It should be noted that there are various techniques for recognizing speech, and these can be applied to the speech recognition means 12b.
[0013]
The communication unit 12c is a unit having a mobile communication function, and transmits the voice data generated by the voice recognition unit 12b to a base station of the mobile phone 12 (not shown). Further, the communication means 12c receives message data of a call with the other party from the base station or the like, and outputs a voice corresponding to the received message data from the speaker 12d. The communication means 12c is connected to the transmitter 16 by a wire a, and operates according to the time division control of the control means 16c.
Here, the time division control of the control unit 16c includes a noise generation unit (communication unit 12c and communication unit 16b) that performs a noise generation operation described below that affects detection of a biological signal by the myoelectric signal detection electrode 12a, and a recognition unit ( The operation permission signal is sequentially supplied to the voice recognition unit 12b and the operation recognition unit 16a) at a predetermined time period, and the period is shortened to a certain extent, so that the former operation and the latter operation are apparently performed simultaneously in parallel. Is to be performed.
[0014]
The loudspeaker 12d receives the message data from the communication means 12c, converts it into voice, and outputs it. The user 10 can hear this voice, that is, the call message from the other party.
Since the mobile phone 12 is provided with the voice recognition means 12b and the communication means 12c together with the myoelectric signal detection electrode 12a, even if the user 10 does not make a voice (or does not make a voice), he or she can speak. Is operated so that a voice is input and transmitted to the other party to make a conversation (silent conversation). In FIG. 2, it is assumed that the user 10 is performing a silent conversation by moving only the mouth 10a so as not to speak. For example, when the user 10 is in a crowd and speaking out loud violates public manners, the mobile phone 12 capable of silent conversation is preferable.
[0015]
Conventionally, there has been known a technology that enables a silent conversation by measuring a myoelectric signal by the muscles of the cheeks and the chin of the face like the mobile phone 12. For example, the Nihon Keizai Shimbun published on March 22, 2002 discloses, on the first page, matters relating to a mobile phone (lip-reading mobile phone) capable of reading muscle movements and having a conversation.
Japanese Patent Application Laid-Open No. 6-12483 discloses a technique capable of recognizing an uttered word from a myoelectric signal waveform around the lips.
Further, Japanese Patent Application Laid-Open No. 7-181888 discloses a voice substitute device that outputs a synthesized voice based on a myoelectric signal around the mouth.
[0016]
The myoelectric signal detection electrode 14 has a configuration attachable to the hand 10b of the user 10, and is connected to the transmitter 16 by the wiring b. Then, the myoelectric signal detection electrode 14 detects an electromyographic signal due to the movement of the hand 10b, and transmits the detected myoelectric signal to the transmitter 16 via the wiring b. When the user 10 moves the hand 10b on which the myoelectric signal detection electrode 14 is mounted, the operation of the hand 10b is detected, and a robot hand (not shown) is remotely operated.
A technique of attaching the myoelectric signal detection electrode 14 to the hand to operate the robot hand is conventionally known. For example, Japanese Patent Laying-Open No. 2-298479 discloses a learning type robot hand.
[0017]
Further, Japanese Patent Laid-Open No. Hei 5-111881 teaches that a neural network is learned by using a signal obtained by performing a fast Fourier transform of an electromyographic signal, and that the robot hand is controlled by recognizing a hand movement using the neural network. The technology is disclosed.
Furthermore, Japanese Patent Application Laid-Open No. 6-39754 discloses a technique for controlling a robot hand by recognizing hand movements using a neural network that is strong against noise.
[0018]
The transmitter 16 is a portable device that can be carried by the user 10, and has an operation recognition unit 16a, a communication unit 16b, and a control unit 16c, as shown in FIG.
The motion recognizing means 16a is a recognizing means for recognizing information based on a biological signal, and performs a recognition operation similarly to the voice recognizing means 12b. The motion recognizing means 16a inputs the myoelectric signal of the hand 10b detected by the myoelectric signal detection electrode 14, and recognizes the motion information of the hand 10b based on the myoelectric signal (from a change in the myoelectric signal). , Generate hand movement data. The operation recognizing means 16a operates according to the time division control of the control means 16c. The technique for recognizing hand motion is conventionally known as described above, and the conventional technique can be applied to the motion recognizing means 16a.
[0019]
The communication means 16b has a built-in mobile communication function required to operate the transmitter 16 as a mobile phone, and the communication function allows the hand movement data of the hand 10b generated by the movement recognition means 16a to be transmitted to a remote robot hand. Transmit (at this time, the robot hand performs an operation corresponding to the transmitted hand operation data). Since the communication system using the mobile phone is used not only for voice but also for data communication, the communication means 16b can transmit hand operation data using this data communication. The communication means 16b also operates according to the time division control of the control means 16c.
[0020]
In the control unit 16c, the communication unit 16b and the operation recognition unit 16a are connected, and the communication unit 12c and the voice recognition unit 12b of the mobile phone 12 are connected by the wiring a. The control unit 16c includes the communication unit 12c, the voice recognition unit 12b, the communication unit 16b, and the operation recognition unit 16a that are to be subjected to time division control (hereinafter, these units to be subjected to time division control are referred to as “time division control”). An operation permission signal, which will be described later, is selectively supplied to any one of them at a predetermined time period. Thereby, each means of the time-sharing target means operates in order. Therefore, when the voice recognition unit 12b and the operation recognition unit 16a execute the recognition operation, the communication unit 12c and the communication unit 16b are controlled so as not to perform the operation, and the detection of the biological signal in the mobile phone 12 and the information based thereon are performed. Recognition is performed stably in a noise-free situation.
[0021]
Next, the procedure of the time division control by the control unit 16c will be described with reference to the flowchart shown in FIG. FIG. 1 is a flowchart showing the procedure of time division control by the control means 16c. In FIG. 1, steps are abbreviated as S.
When started from a main routine (not shown), the control unit 16c proceeds to step 1, and determines whether or not to perform an operation (time-division operation) to be subjected to time-division control. Note that this determination is preferably made based on an instruction from the user 10. For example, a switch (mode switch 16d, see FIG. 2) for instructing the operation mode may be provided in the transmitter 16, and the determination may be made based on the setting of the mode switch 16d by the user 10. In this case, the user 10 operates the mode switch 16d to instruct whether or not the communication operation and the operation related to the detection of the biological signal need to coexist (if the coexistence is necessary, the time division operation is performed). . If it is determined in step 1 that the time division operation is not to be performed, the process proceeds to step 2. If it is determined that the time division operation is to be performed, the process proceeds to step 3.
[0022]
In step 2, since the time division operation is not performed, the control unit 16c outputs an operation permission signal to the time division target unit (all of the communication unit 12c, the communication unit 16b, the voice recognition unit 12b, and the operation recognition unit 16a). The means are free to operate. Thereafter, the process proceeds to step 11.
In step 3, since the time division operation is performed, the control unit 16c first outputs an operation permission signal to the communication unit 12c among the time division target units, and the other communication unit 16b, the voice recognition unit 12b, and the operation recognition unit No operation permission signal is output to 16a. Accordingly, the communication unit 12c may freely perform an operation, and may perform an operation that affects detection of a biological signal, such as radiating electromagnetic wave noise. However, since the voice recognition unit 12b and the motion recognition unit 16a cannot execute the operation, the operation affected by the electromagnetic wave noise such as the recognition operation for recognizing the voice information is not performed.
[0023]
Subsequently, the process proceeds to step 4, where the control unit 16 c measures time, and proceeds to step 5 after a lapse of a predetermined time (hereinafter, the predetermined time is referred to as “standby time”). The waiting time can be set to, for example, a value of about 20 ms, but is not limited to this, and may be any value.
In step 5, the control unit 16c outputs an operation permission signal to the communication unit 16b among the time division target units, and does not output an operation permission signal to the other communication units 12c, the voice recognition unit 12b, and the operation recognition unit 16a. . For this reason, the communication unit 16b may freely perform an operation and perform an operation that affects detection of a biological signal, such as radiating electromagnetic noise. However, the voice recognition unit 12b and the motion recognition unit 16a do not perform operations affected by electromagnetic noise and other operations such as a recognition operation for recognizing voice information.
[0024]
After elapse of the same standby time as in step 4 in step 6, the control unit 16c outputs an operation permission signal to the voice recognition unit 12b, and the other communication units 16b, the communication unit 12c, and the operation recognition unit 16a. Does not output the operation permission signal. Therefore, the voice recognition means 12b operates. At this time, a recognition operation affected by electromagnetic wave noise may be executed, such as an operation of recognizing voice information based on a myoelectric signal detected by the myoelectric signal detection electrode 12a. However, the noise generation operation by the communication means 12c and the communication means 16b cannot be executed.
[0025]
After the elapse of the standby time in step 8 as in step 4, the process proceeds to step 9, where the control means 16c outputs an operation permission signal to the operation recognition means 16a, and the other communication means 16b, communication means 12c, and voice recognition means 12b Does not output the operation permission signal. Therefore, the operation recognition means 16a operates. At this time, a recognition operation affected by electromagnetic noise may be performed, such as an operation of recognizing hand movement information based on a myoelectric signal detected by the myoelectric signal detection electrode 14. However, the noise generation operation by the communication unit 12c and the communication unit 16b is not executed.
In the following step 10, after the elapse of the standby time as in step 4, the process proceeds to step 11, and it is determined whether or not there is an end instruction. If there is an end instruction, the time-division control is ended. If not, the process returns to step 1 and the above steps are repeated.
[0026]
As described above, in the present embodiment, the control unit 16c periodically outputs the operation permission signal to each unit of the time division target unit with a predetermined standby time, and outputs the operation permission signal. Is performed in a time-sharing control. Thereby, the execution timing is shifted so that the recognition operation for recognizing information based on the biological signal of the user 10 and the noise generation operation affecting the detection of the biological signal do not overlap in time, and the respective superimpositions are performed. Has been eliminated. This makes it possible to recognize information based on the biological signal in an environment with little noise while operating the mobile phone 12 (while making a call). This makes it possible to use a biological signal for input to the portable electronic device, and to reduce the size of the portable electronic device.
[0027]
By the way, according to the time division control shown in FIG. 1, while one of the time division target means is operating, the other means does not operate. Therefore, for example, even when the communication unit 12c is executing a non-noise generation operation described below (no noise is generated), other units do not operate, and the cooperation between the mobile phone 12 and the transmitter 16 is efficiently performed. It is assumed that the situation is difficult to perform. Therefore, the time division control of the control means 16c may be performed as shown in FIG. In FIG. 6, the operation of the noise generation means (communication means 12c and communication means 16b) is divided into a noise generation operation and a non-noise generation operation, and the operation of the recognition means (speech recognition means 12b and operation recognition means 16a) is recognized. And operations not affected by noise (hereinafter referred to as “non-noise-affected operations”). Then, the time division target means is controlled as follows so that the noise generation operation and the recognition operation do not overlap.
[0028]
That is, the control unit 16c sequentially supplies the operation permission signal to each of the noise generation units and each of the recognition units at a predetermined time period (period T1, T2, T3, T4) (for each period T1, T2, T3, T4). (Supplied at the start timing), a noise generation operation and a recognition operation are performed during each period, and a non-noise generation operation and a non-noise-affected operation are simultaneously performed in each period.
Subsequently, the specific content of the time division control by the control unit 16c will be described in detail with reference to FIG. FIG. 7 is a timing chart showing the operation timing of each of the time division target means.
[0029]
In FIG. 7, the operation by the noise generation unit (communication unit 12c, communication unit 16b) and the operation by the recognition unit (voice recognition unit 12b, myoelectric signal detection electrode 14) are apparently executed concurrently. Here, the control unit 16c sequentially outputs the operation permission signal to each unit of the time division target unit at the start timing of each period indicated by the periods T1, T2, T3, and T4.
As long as the mobile phone 12 performs communication, it emits electromagnetic waves to the outside. This is a noise generation operation. As shown in the operation chart of FIG. 7A, the communication unit 12c is controlled by the control unit 16c so as to periodically execute the noise generation operation at a predetermined time interval. That is, the communication unit 12c executes the noise generating operation at the timing indicated by the period T1, and after a predetermined time (T2 + T3 + T4) elapses, executes the noise generating operation again. However, during that time, the noise generation operation is not performed, and the non-noise generation operation is performed.
[0030]
The transmitter 16 is also controlled so as to periodically execute a noise generation operation at a predetermined time interval. That is, as shown in the operation chart of FIG. 7B, the communication unit 16c executes the noise generating operation at the timing indicated by the period T2, and executes the noise generating operation again after a predetermined time (T3 + T4 + T1) has elapsed. . However, during that time, the noise generating operation is not performed, and the non-noise generating operation is performed (or is in the sleep state).
As described above, the mobile phone 12 and the transmitter 16 do not always perform the noise generating operation, but perform a series of operations by periodically repeating the noise generating operation and the non-noise generating operation.
[0031]
Here, the noise generation operation refers to an operation that has a large (measurable or recognizable) effect on the detection of a biological signal, and the non-noise generation operation has a large effect on the detection of a biological signal. An operation that does not affect (including an operation that has no effect at all, and an operation that has an influence but can be ignored when detecting a biological signal). For example, an operation in which the communication unit 12c of the mobile phone 12 transmits voice data to the base station is an operation of emitting radio waves to the outside, and is therefore a noise generation operation. On the other hand, based on the operation of the communication unit 12c to output a voice corresponding to the message data received from the base station from the speaker 12d, and the voice recognition unit 12b based on the myoelectric signal detected by the myoelectric signal detection electrode 14, The operation of recognizing information and generating audio data and the operation of converting the audio data into a format for transmission to the base station are non-noise generating operations.
[0032]
As the non-noise generating operation, an example of the operation in which the mobile phone 12 recognizes voice information based on the myoelectric signal of the face has been described, but there is another non-noise generating operation. For example, the operation of the mobile phone 12 processing a signal received by the microphone and converting the signal into a transmission format to the base station for ordinary voice conversation does not require the exchange of signals with the outside, and the mobile phone 12 does not need to exchange signals. This is a non-noise generation operation because the processing is closed by the above.
Further, the definition of the noise generation operation is the same for portable electronic devices other than the mobile phone 12, for example, PDAs and wearable PCs. For example, even if there is no need to exchange signals with the outside, high-speed arithmetic processing can generate noise outside due to an increase in power consumption and can have a significant effect on the detection of biological signals. May correspond to operation.
[0033]
Each operation of the mobile phone 12 and the transmitter 16 can determine whether or not the operation is a noise generation operation based on the calculation speed. This is because it is considered that a high-speed operation in which the operation speed is equal to or more than a certain value may have a great effect on the detection of a biological signal. Focusing on this point, it can be determined that an operation of performing a high-speed operation at a calculation speed of a certain value or more is a noise generation operation, and an operation of performing a low-speed calculation at a calculation speed of a certain value or less is a non-noise generation operation.
In addition, each operation of the mobile phone 12 and the transmitter 16 can determine whether or not the operation is a noise generation operation based on power consumption. This is because if power consumption equal to or more than a certain value is generated, a large amount of noise is generated, which may greatly affect the detection of a biological signal. Focusing on this point, an operation in which power consumption is equal to or more than a certain value may be determined as a noise generating operation, and an operation in which the power consumption is less than a certain value may be determined as a non-noise generating operation.
[0034]
On the other hand, when the recognition unit (voice recognition unit 12b, myoelectric signal detection electrode 14) performs the recognition operation during the period when the noise generation unit (communication unit 12c, communication unit 16b) is performing the noise generation operation, the biological signal There is a risk that detection will be greatly affected (noise may be mixed into the detected biological signal). However, during the period when the noise generating unit is performing the non-noise generating operation, there is no possibility that the noise generating unit performs the non-noise generating operation, and the recognizing unit may perform the recognizing operation.
Therefore, as shown in the operation chart of FIG. 7C, the voice recognition unit 12b performs a non-noise generating operation (for example, an operation of analyzing or processing a biological signal, generating voice data, etc.) in the periods T1 and T2. Operation), and the recognition operation is performed only in the period T3. As shown in the operation chart of FIG. 7D, the operation recognizing unit 16a performs a non-noise generating operation (for example, an operation of analyzing or processing a biological signal and a generation of hand operation data) during a period T1 to a period T3. Is performed, or the operation is in a pause state, and the recognition operation is performed only in the period T4.
[0035]
In the period T2, the control unit 16c outputs an operation permission signal only to the communication unit 16b, so that the communication unit 16b performs a noise generation operation. Also in this period T2, the voice recognition unit 12b and the motion recognition unit 16a can execute any non-noise-affecting operation that does not significantly affect the detection of the biological signal. For example, a voice recognition operation can be executed based on a myoelectric signal recognized before that.
In the period T3, the control unit 16c outputs an operation permission signal only to the voice recognition unit 12b. Therefore, the voice recognition unit 12b inputs a myoelectric signal from the myoelectric signal detection electrode 12a and outputs a voice based on the myoelectric signal. Recognize information. In the period T3, the communication unit 12c and the communication unit 16b are performing a non-noise generation operation (or are in a pause state). For example, the communication unit 12c continues the operation of outputting the audio data (of the communication partner) received in the period T1 from the speaker 12d. In addition, the communication unit 16b performs an analysis process on data transmitted from the robot hand (data received in the period T2). These are non-noise generating operations that do not affect the detection of biological signals. The communication unit 12c and the communication unit 16b perform the non-noise generating operation but do not perform the noise generating operation, so that the voice recognition unit 12b can input the myoelectric signal without being disturbed by the electromagnetic noise.
[0036]
In the period T4, the control unit 16c outputs the operation permission signal only to the operation recognizing unit 16a. Therefore, the operation recognizing unit 16a inputs the myoelectric signal via the myoelectric signal detection electrode 14, and performs the manual operation based on the myoelectric signal. Recognize the operation information. In this period T4, the communication unit 12c and the communication unit 16b are performing a non-noise generation operation (or are in a pause state). For example, similarly to the period T3, the communication unit 12c performs an operation of outputting sound from the speaker 12d, and the communication unit 16b performs an analysis process of data transmitted from the robot hand (data received in the period T2). .
[0037]
In this period T4, the voice recognition unit 12b may generate voice data that the user 10 wants to utter based on the myoelectric signal input in the period T3. The audio data generated here is targeted for transmission by the communication unit 12c in the next cycle T1. These are non-noise generating operations that do not affect the detection of biological signals. Also in the period T4, the communication unit 12c and the communication unit 16b perform the non-noise generating operation, but do not perform the noise generating operation. Therefore, the operation recognizing unit 16a can perform the input of the myoelectric signal without being disturbed by the electromagnetic noise or the like. .
When the time-sharing control is performed as described above, the following operational effects can be obtained. In the time-division control shown in FIG. 1, only the means to which the operation permission signal is supplied is operated, and the other means are controlled so as not to be operated. Therefore, there may be a period during which each means is not operated. However, in FIG. 7, the period during which each unit does not operate can be reduced as much as possible, and it can be made to operate seemingly concurrently, so that the cooperation between the mobile phone 12 and the transmitter 16 becomes more efficient. .
[0038]
In the timing chart of FIG. 7, although the same time width is given to each of the periods T1, T2, T3, and T4, different time widths suitable for each may be given for the purpose of improving overall performance. it can. Each of the periods T1, T2, T3, and T4 can be set to a time of, for example, about 20 msec. This is because if the myoelectric signal is detected in such a long time, the voice analysis processing can be performed well. Further, the period T1 can be freely lengthened or shortened depending on the communication standard of the communication unit 12c.
FIG. 7 illustrates an example in which there are two noise generating means (communication means 12c and communication means 16b) and two recognition means (speech recognition means 12b and motion recognition means 16a). May also be provided. The same operation and effect can be obtained by setting each unit as a time division target unit and applying the above-described time division control of the present invention. Of course, only one of them may be provided.
[0039]
Further, although the transmitter 16 has the control means 16c for performing the time division control, the mobile phone 12 may be provided with a control means for performing the same time division control as the time division control by the control means 16c. Also in this case, since the noise generation operation and the recognition operation by the mobile phone 12 do not overlap in time, it is possible to recognize information based on the biological signal in an environment with little noise while talking on the mobile phone 12. It becomes possible.
By the way, the mobile phone 12 and the transmitter 16 described above must operate in synchronization. That is, the operations of the communication unit 12c, the communication unit 16b, the voice recognition unit 12b, and the operation recognition unit 16a must be synchronized. For the synchronization operation, the mobile phone 12 and the transmitter 16 are connected by a wire a, so to speak, a wired communication system (connected by a cable). With such a connection, the control unit 16c supplies an operation permission signal to the communication unit 12c and the like, and controls the synchronization of the operation.
[0040]
In the above description, the transmitter 16 is connected by wire (cable connection) to the mobile phone 12 and the myoelectric signal detection electrode 14 by the wires a and b. Wireless communication system. The following website of IBM Corporation of the United States also discloses Document 1 relating to connection by a wireless communication system.
Reference 1: "Systems Journal personal Area Networks: Near-field intrabody communication by TG Zimmerman Reprint Order No. G321-5627"
URL: http: // www. research. ibm. com / journal / sj / mit / section / zimmerman. html
This connection performs communication by regarding the living body as a conducting wire. In the following description, such a connection by the wireless communication system is referred to as “biological LAN”. The control unit 16c can perform the above-described time-sharing control on the time-sharing target unit via the living body LAN, and operate the mobile phone 12 in synchronization.
[0041]
FIG. 8 shows a wireless system in which a first portable electronic device that performs a noise generating operation and a second portable electronic device that performs a recognition operation affected by the noise generating operation are connected one by one by a living body LAN. 1 illustrates an example of a timing chart of a communication system. Of course, two or more portable electronic devices may be connected. Here, the first portable electronic device is a mobile phone, and the second portable electronic device is assumed to be a device for detecting a myoelectric signal (neither is shown).
In the following description, the second portable electronic device detects the myoelectric signal, analyzes and processes the signal to recognize the contents of the user's utterance, and transmits the data of the recognized utterance via the living body LAN. To the first portable electronic device. This allows the user to make a call with another user using the first portable electronic device.
[0042]
By using the living body LAN, the portable electronic devices can be connected to each other without using a communication cable, so that the wiring is not required, and the connection work becomes very easy. Further, when the connection is facilitated, for example, the control for synchronously operating the above-described mobile phone 12 and the myoelectric signal detection electrode 14 is also simplified.
First, the second portable electronic device detects a myoelectric signal in accordance with the technology disclosed in, for example, the following Documents 2 and 3, analyzes the signal, and processes the signal to analyze the signal. Hand movement data).
Document 2: IEEE biomedical engineering Journal ". Noboru Sugie et al," A speech Employing a Speech Synthesizer Vowel Discrimination from Perioral Muscles Activities and Vowel Production, "IEEE Transactions on BiomedicalEngineering, vol.32 No.7, pp485-490"
Document 3: JP-A-7-181888
[0043]
Then, the second portable electronic device transmits the generated operation data to the first portable electronic device through the living body LAN. Then, it becomes possible to make a call with an external user from the first portable electronic device.
In this wireless communication system, the second portable electronic device detects a biological signal and analyzes and processes the detected biological signal to recognize the utterance content. At this time, while the first portable electronic device is communicating wirelessly with the outside, electromagnetic noise affecting the detection of the biological signal is generated, and the electromagnetic noise is mixed in the detected biological signal. There is a risk. Therefore, the first and second portable electronic devices operate as follows according to the procedure shown in FIG.
First, as shown in the operation chart of FIG. 8A, the first portable electronic device performs wireless communication with the outside in step 21, and as shown in FIG. To communicate with the second portable electronic device. Next, in step 23, the wireless output level is reduced to such an extent that the first portable electronic device does not affect the detection of the biological signal. This means that the first portable electronic device is performing a non-noise generating operation.
[0044]
At this time, as shown in FIG. 3C, in step 23, the second portable electronic device detects a biological signal, analyzes and processes the detected biological signal, and recognizes information of the utterance content. Further, in the subsequent step 24, the data of the recognized speech content is transmitted to the first portable electronic device via the living body LAN (biological LAN communication). In step 25, the first portable electronic device that has received the utterance content data transmits the utterance content data to the outside after increasing the wireless output level. At this time, the first portable electronic device is performing a noise generating operation. Note that the first portable electronic device can also receive a signal from the outside at the same time.
[0045]
Next, after step 26, the process according to the above procedure is repeatedly executed. This makes it possible to achieve both the call by the first portable electronic device and the detection of the biological signal by the second portable electronic device by time-division control using the biological LAN.
In this communication system, a case where a living body LAN is used is shown, but a wired line or wireless may be used instead of using the living body LAN. Further, as for the living body LAN, not only the living body LAN according to the above-mentioned document 1 but also a living body LAN according to another method may be used.
[0046]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to detect a biological signal such as an electroencephalogram or an electromyographic signal and recognize information based on the biological signal while using a portable electronic device that generates noise. . Therefore, in a portable electronic device, a biological signal can be used as an input interface, and further miniaturization of the portable electronic device can be expected.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating a procedure of time division control by a control unit.
FIG. 2 is a diagram illustrating an example of a state in which a mobile phone is used using a transmitter.
FIG. 3 is an external perspective view of the mobile phone according to the embodiment.
FIG. 4 is a block diagram showing an internal configuration of the mobile phone.
FIG. 5 is a block diagram showing an internal configuration of a transmitter according to the embodiment.
FIG. 6 is a timing chart showing a procedure of another time division control by the control means.
FIG. 7 is a timing chart shown together with means for executing the procedure of the time division control of FIG. 6;
FIG. 8 is a timing chart showing a procedure of time-division control when connection is made using a biological LAN.
[Explanation of symbols]
10 ... user, 12 ... mobile phone
12a: Myoelectric signal detection electrode
12b ... voice recognition means, 12c, 16b ... communication means
14 ... Electromyographic signal detection electrode
16: transmitter, 16a: operation recognition means
16c ... Control means

Claims

A recognition unit that recognizes information based on a biological signal, and a noise generating unit that performs a noise generating operation that affects detection of the biological signal,
A control means is provided for sequentially supplying an operation permission signal to the recognition means and the noise generation means at a predetermined time period, and performing time division control for operating the recognition means or the noise generation means which supplied the operation permission signal. Portable electronic device characterized by the above-mentioned.

A recognition unit that recognizes information based on a biological signal, and a noise generating unit that performs a noise generating operation that affects detection of the biological signal,
Control means for sequentially supplying an operation permission signal to one of the recognition means and the noise generation means and performing time-sharing control for operating the recognition means or the noise generation means which supplied the operation permission signal is provided. A portable electronic device characterized by the above-mentioned.

A recognition unit that recognizes information based on a biological signal, and a noise generating unit that performs a noise generating operation that affects detection of the biological signal,
The recognition unit performs a recognition operation of recognizing information based on a biological signal when an operation permission signal is supplied, and the noise generation unit performs the noise generation operation when an operation permission signal is supplied. A portable electronic device characterized by:

A recognition method for recognizing information based on a biological signal, and a method for controlling a portable electronic device including a noise generating means for performing a noise generating operation affecting the detection of the biological signal,
An operation permission signal is sequentially supplied to the recognition unit and the noise generation unit at a predetermined time period, and time-division control for operating the recognition unit or the noise generation unit that has supplied the operation permission signal is performed. A method for controlling a portable electronic device.

A recognition method for recognizing information based on a biological signal, and a method for controlling a portable electronic device including a noise generating means for performing a noise generating operation affecting the detection of the biological signal,
An operation permission signal is sequentially supplied to one of the recognition means and the noise generation means, and time division control for operating the recognition means or the noise generation means to which the operation permission signal is supplied is performed. Control method of electronic device.