JP2014106601A - Interface device and control method thereof - Google Patents
Interface device and control method thereof Download PDFInfo
- Publication number
- JP2014106601A JP2014106601A JP2012257387A JP2012257387A JP2014106601A JP 2014106601 A JP2014106601 A JP 2014106601A JP 2012257387 A JP2012257387 A JP 2012257387A JP 2012257387 A JP2012257387 A JP 2012257387A JP 2014106601 A JP2014106601 A JP 2014106601A
- Authority
- JP
- Japan
- Prior art keywords
- time axis
- biological signal
- mode
- signal
- axis data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は神経細胞から得られる生体信号を外部機器に出力するインターフェイス装置及びその制御方法に関する。 The present invention relates to an interface device that outputs a biological signal obtained from a nerve cell to an external device and a control method thereof.
例えば重度の障害者から筋電位信号、脳波、呼気、眼の動き、手足の動き等の生体信号を検出し、当該筋電位等の生体信号に基づいてアクチュエータ装置を動作させて障害者を支援する支援システムがある（例えば、特許文献１参照）。また、この支援システムでは、障害者（操作者）から検出した生体信号をデータベースに登録されたパターンデータと比較することで、当該障害者が希望するパターンを認識してアクチュエータ装置が所定の動作を行うことで当該障害者に対する作業支援を可能にしている。 For example, biological signals such as myoelectric potential signals, brain waves, expiration, eye movements, limb movements, etc. are detected from severely disabled persons, and the actuator device is operated based on the biological signals such as myoelectric potentials to assist the disabled persons. There is a support system (see, for example, Patent Document 1). Further, in this support system, by comparing the biological signal detected from the disabled person (operator) with the pattern data registered in the database, the actuator device recognizes the pattern desired by the disabled person and performs a predetermined operation. This enables work support for the disabled.
また、筋萎縮性側索硬化症（ＡＬＳ：Ａｍｙｏｔｒｏｐｈｉｃ Ｌａｔｅｒａｌ Ｓｃｌｅｒｏｓｉｓ）の場合、例えば手足を自由に動かすことができないばかりか呼吸することも難しいような障害者からの筋電位を検出することが難しく、極めて微弱な信号を検出できたとしても当該障害者自身の意思との関係性を確認することが困難であった。 In addition, in the case of amyotrophic lateral sclerosis (ALS), for example, it is difficult to detect a myoelectric potential from a disabled person who cannot move his limbs freely and is difficult to breathe, Even if a very weak signal could be detected, it was difficult to confirm the relationship with the disabled person's own intention.
従来は、上記パターン認識システムでは、筋電位信号等の生体信号のパターンをデータベースに登録する必要がある。そして、障害者から検出された生体信号をデータベースに登録されたパターンと比較して当該障害者の意思を認識する方式のため、例えば筋萎縮性側索硬化症の場合のように、筋電位自体が十分に検出できない場合、予め本人による生体信号のパターンを登録することができないことから、別人（例えば健常者）の筋電位に対応する動作パターンを登録せざるをえない。
そのため、従来は、検出された筋電位が微弱な場合、検出された筋電位と予め登録されたパターンとが正確に一致しないことから、アクチュエータ装置に入力される制御信号が本人の意思に対応していないことがあり、アクチュエータ装置を正確に動作制御することが難しかった。
Conventionally, in the pattern recognition system, it is necessary to register biosignal patterns such as myoelectric potential signals in a database. The bioelectric signal detected from the disabled person is compared with the pattern registered in the database to recognize the intention of the disabled person. For example, as in the case of amyotrophic lateral sclerosis, the myoelectric potential itself If the signal cannot be detected sufficiently, it is impossible to register the biological signal pattern by the person in advance, and thus an operation pattern corresponding to the myoelectric potential of another person (for example, a healthy person) must be registered.
Therefore, conventionally, when the detected myoelectric potential is weak, the detected myoelectric potential does not exactly match the pre-registered pattern, so the control signal input to the actuator device corresponds to the intention of the person. In some cases, it was difficult to accurately control the operation of the actuator device.
そこで、本発明は上記事情に鑑み、上記課題を解決したインターフェイス装置及びその制御方法の提供を目的とする。 In view of the above circumstances, an object of the present invention is to provide an interface device and a control method therefor that solve the above-described problems.
上記課題を解決するため、本発明は以下のような手段を有する。
（１）本発明は、神経細胞から生成される神経信号に相当する生体信号を検出する生体信号検出手段と、
該生体信号検出手段より得られた生体信号を所定電圧値に増幅する増幅手段と、
前記増幅手段により所定振幅に増幅された生体信号を時間軸データとして変換するデータ変換手段と、
該データ変換手段により生成された生体信号の時間軸データに対応する制御信号を外部機器を操作する操作信号として当該外部機器に送信する送信手段と、
を備えたことを特徴とする。
（２）本発明は、神経細胞から生成される神経信号に相当する生体信号を検出する第１の過程と、
該第１の過程より得られた生体信号を所定電圧値に増幅する第２の過程と、
該第２の過程により所定振幅に増幅された生体信号を時間軸データとして変換する第３の過程と、
該第３の過程により生成された生体信号の時間軸データに対応する制御信号を外部機器を操作する操作信号として当該外部機器に送信する第４の過程と、
を行うことを特徴とする。
In order to solve the above problems, the present invention has the following means.
(1) The present invention provides biological signal detection means for detecting a biological signal corresponding to a nerve signal generated from a nerve cell;
Amplifying means for amplifying the biological signal obtained from the biological signal detecting means to a predetermined voltage value;
Data conversion means for converting the biological signal amplified to a predetermined amplitude by the amplification means as time axis data;
Transmitting means for transmitting a control signal corresponding to the time axis data of the biological signal generated by the data conversion means to the external device as an operation signal for operating the external device;
It is provided with.
(2) The present invention includes a first process of detecting a biological signal corresponding to a nerve signal generated from a nerve cell;
A second step of amplifying the biological signal obtained from the first step to a predetermined voltage value;
A third process of converting the biological signal amplified to a predetermined amplitude by the second process as time axis data;
A fourth step of transmitting a control signal corresponding to the time axis data of the biological signal generated by the third step to the external device as an operation signal for operating the external device;
It is characterized by performing.
本発明によれば、神経細胞から生成される神経信号に相当する生体信号による時系列的な時間軸データを作成して外部機器に出力するため、例えば微弱な信号しか検出できないような操作者でも、外部機器を操作することが可能になる。 According to the present invention, time-series time axis data based on biological signals corresponding to nerve signals generated from nerve cells is created and output to an external device. For example, even an operator who can detect only weak signals can be used. It becomes possible to operate an external device.
以下、図面を参照して本発明を実施するための形態について説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
〔インターフェイス装置の構成〕
図１Ａは本発明によるインターフェイス装置及びその制御方法の一実施例を示すブロック図である。図１Ａに示されるように、インターフェイス装置１０は、生体信号検出センサ（生体信号検出手段）２０と、差動増幅器（増幅手段）３０と、増幅・フィルタ回路４０と、ＡＤコンバータ５０と、制御部（データ変換手段）６０と、送信回路（送信手段）７０と、モニタ（表示手段）８０とを有する。
[Configuration of interface device]
FIG. 1A is a block diagram showing an embodiment of an interface device and a control method thereof according to the present invention. As shown in FIG. 1A, the
生体信号検出センサ（生体信号検出手段）２０は、操作者の意思に基づき脳から筋肉に伝達される神経信号に相当する電位（生体信号）を検出する電位検出センサである。また、生体信号検出センサ２０は、操作者の皮膚の複数箇所に貼り付けられ、操作者が意識的に生体電位（神経信号）を発生させた場合に得られる生体信号（生体電位信号）をセンサ信号として出力する。また、生体信号検出センサ２０は、例えば、重度の障害者等のように手足の筋肉を自由に動かすことができない場合、骨格筋のなかにあって、その伸縮状態を感知する筋紡錘から得られる生体信号（神経信号に相当する電位信号）を検出する。尚、生体信号検出センサ２０は、筋紡錘以外の筋肉を動作させる際に生成される電位を生体信号として検出するように操作者に貼り付けても良い。
The biological signal detection sensor (biological signal detection means) 20 is a potential detection sensor that detects a potential (biological signal) corresponding to a nerve signal transmitted from the brain to the muscle based on the intention of the operator. In addition, the biological
筋紡錘は、骨格筋の伸縮を感知しており、錘内筋線維と呼ばれる筋と、それに巻きついた数本の感覚神経終末、錘内筋線維を運動神経支配するガンマ運動ニューロンとから構成されている。また、筋紡錘は、骨格筋線維の間に散在し、それらと平行に並んでいるが、例えば眼球や指など細かくコントロールされた動きをする筋には多く存在する。そして、骨格筋に合わせて錘内筋線維が伸張すると、それに巻きついた感覚神経終末が刺激され固有感覚のインパルスを生じ、筋紡錘による神経信号が検出される。 The muscle spindle senses the expansion and contraction of skeletal muscle, and is composed of muscles called intramuscular muscle fibers, several sensory nerve endings wrapped around them, and gamma motor neurons that innervate muscle fibers inside the spindle. ing. In addition, muscle spindles are scattered between skeletal muscle fibers and aligned in parallel with them, but there are many muscles that move in a finely controlled manner such as the eyeball and fingers. When the intramuscular muscle fiber stretches in accordance with the skeletal muscle, the sensory nerve ending wrapped around the muscle fiber is stimulated to generate a proper sensory impulse, and a nerve signal from the muscle spindle is detected.
例えば、操作者が筋萎縮性側索硬化症の場合、筋肉を動かす際の筋電位は殆ど発生しないことから、重度の障害者の筋電位を検出することは難しい。しかしながら、重度の障害者であっても筋肉の動きは見られないまでも、錘内筋線維が伸縮し信号を発する場合があり、神経信号が発生する箇所に生体信号検出センサ２０を貼り付けることで当該神経信号を検出可能になる。尚、神経信号が得られる箇所は、各個人によって様々で異なるため、予め複数の生体信号検出センサ２０を当該操作者に装着して生体信号が得られる箇所を探し出しておく。
For example, when the operator has amyotrophic lateral sclerosis, since the myoelectric potential when moving the muscle hardly occurs, it is difficult to detect the myoelectric potential of a severely disabled person. However, even if a person with a severe disability does not see any movement of muscles, the intramuscular muscle fibers may expand and contract to generate a signal, and the biological
差動増幅器３０は、複数の生体信号検出センサ２０からの各生体信号（神経信号に相当）が入力されると、二つの信号の差分を一定係数（差動利得）で増幅する。従って、差動増幅器３０は、複数箇所のうち１箇所あるいは複数箇所で神経信号が得られると、各信号の差に基づく電位を増幅して生体信号を出力する。
When each biological signal (corresponding to a nerve signal) is input from the plurality of biological
増幅・フィルタ回路４０は、生体信号の高周波成分を除去して所定の周波数以下の成分だけを通過させるローパスフィルタと、生体信号の低周波成分を除去して所定の周波数以上の成分だけを通過させるハイパスフィルタとを有する。そして、生体信号は、増幅・フィルタ回路４０によりノイズ成分が除去され、その後を二つのフィルタ回路を介して取出された所定周波数範囲の生体信号を増幅して出力する。
The amplification /
ＡＤコンバータ５０は、増幅・フィルタ回路４０及びその他機器からの信号（アナログ信号）をデジタル信号に変換して制御部６０に入力する。また、増幅・フィルタ回路４０で増幅された生体信号は、制御部６０へ直接的に入力されており、制御部６０において時間軸データに変換される。
The
制御部６０は、制御プログラムを実行するマイクロコンピュータからなり、増幅・フィルタ回路４０で増幅された各生体信号を時間軸データに変換して外部機器１１０へ出力される制御信号を生成する。また、制御部６０は、生体信号検出センサ２０より得られた生体信号を時間軸データとして変換する時間軸データ変換手段６２と、時間軸データに基づく外部機器に応じた制御信号を生成する制御信号変換手段６４とを有する。上記制御信号は、各外部機器において判別可能なデータ形式の信号に変換されたものである。
The
また、制御部６０は、後述するように、神経細胞から生成される神経信号に相当する生体信号を検出する第１の過程と、第１の過程より得られた生体信号を所定電圧値に増幅する第２の過程と、第２の過程により所定振幅に増幅された生体信号を時間軸データとして変換する第３の過程と、第３の過程により生成された生体信号の時間軸データに対応する制御信号を外部機器を操作する操作信号として当該外部機器に送信する第４の過程と、を実行する制御プログラムがメモリに格納されている。
In addition, as will be described later, the
送信回路７０は、近距離無線通信を行う送信機であり、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース：登録商標）等の通信システムに対応している。また、送信回路７０は、上記制御部６０において生体信号に対応する制御信号が生成されると、当該制御信号を無線によりモニタ８０の受信回路８２に送信する。または、外部機器１１０に制御信号を送信する外部機器制御部７２に送信する。尚、外部機器制御部７２は、例えば光あるいは無線あるいは有線などを用いた通信手段に対応するインターフェイスであり、外部機器１１０の構成や機能に合わせて通信方式が適宜選択される。
The
モニタ８０は、表示専用のディスプレイあるいはタブレット型端末装置あるいはスマートホンなどの携帯電話機あるいはパーソナルコンピュータのディスプレイ（液晶パネル）などの表示手段からなり、送信回路７０から送信された制御信号を受信する受信回路８２を有し、制御信号に応じた画像を表示する。また、モニタ８０は、操作者が介護ベットあるいは車椅子を利用している場合、ブラケットなどの支持部材により操作者から見やすい高さ位置、角度に支持されており、後述するモード選択画面２００、文字入力画面３００、エアコン制御画面５００、テレビ制御画面７００、照明スイッチ制御画面９００などが表示される。そして、操作者は、神経信号を出力することで生成された入力データ（制御信号による指示内容）をモニタ８０の表示をみることで、本人が目視により入力されたデータを確認することができ、神経信号と入力データとの関連性を視覚的に認識することが可能になる。
The
また、外部機器１１０としては、携帯電話機、電子メール送信機、チャット送受信を行うインターネット接続機器等の通信機器があり、その他に通信機能を有する端末装置（例えば、ナースコールのような緊急信号を送受信する緊急連絡機器）などがある。また、外部機器１１０の取付箇所としては、上記車椅子やストレッチャーなどの移動体やエレベータ、押しボタンを有する信号機などの公共設備などでも良い。
The
〔インターフェイス装置の変形例〕
図１Ｂは本発明によるインターフェイス装置の変形例を示すブロック図である。図１Ｂに示されるように、変形例のインターフェイス装置１０Ａは、モニタ８０に接続された外部機器制御部８４より外部機器１１０に制御信号を送信できる。この場合、モニタ８０は、通信機能を有するタブレット型端末装置あるいはスマートホンなどの携帯電話機あるいはパーソナルコンピュータのディスプレイ（液晶パネル）であり、後述するモード選択画面２００、文字入力画面３００、エアコン制御画面５００、テレビ制御画面７００、照明スイッチ制御画面９００などが表示される。
[Modification of interface device]
FIG. 1B is a block diagram showing a modification of the interface device according to the present invention. As illustrated in FIG. 1B, the
インターフェイス装置１０Ａは、前述したインターフェイス装置１０と外部機器制御部８４がモニタ８０側に配置されている点が異なる構成であり、主要部（生体信号検出センサ２０、差動増幅器３０、増幅・フィルタ回路４０、ＡＤコンバータ５０、制御部６０、送信回路７０）は同じ構成である。そのため、操作者は上記インターフェイス装置１０、１０Ａの中から使いやすい何れかの方式を任意に選択することが可能になる。
The
図２は本発明のインターフェイス装置１０を外部機器に接続した場合の構成例を模式的に示す図である。図２に示されるように、インターフェイス装置１０は、操作者１００と外部機器１１０との間に介在し、生体信号検出センサ２０により操作者から検出された神経信号に相当する生体信号が検出されると、増幅・フィルタ回路４０により識別可能なレベルまで増幅（生体信号検出・増幅処理）すると共に、所定以上の高周波数及び所定以下の低周波数のノイズ成分を除去してＡＤコンバータ５０によりデジタル信号に変換した後、さらに時間軸データ変換手段６２によりデジタル信号を時間軸データに変換（データ変換処理）し、さらに外部機器１１０で認識可能なデータ形式とされた制御信号を各入力端子１１２ａ〜１１２ｃに入力する。
FIG. 2 is a diagram schematically showing a configuration example when the
尚、制御部６０で生成された時間軸データによる制御信号は、各外部機器に搭載されたマイクロコンピュータの制御方式に対応するデータ形式に変換されており、送信回路７０から無線信号として送信される。また、送信回路７０において、無線信号で送信する代わりに、通信ケーブル又は光通信用の光ファイバを介して外部機器１１０に送信する通信方式を用いても良いのは勿論である。
The control signal based on the time axis data generated by the
外部機器１１０では、インターフェイス装置１０の送信回路７０から送信された制御信号を受信する受信手段としての入力端子１１２ａ〜１１２ｃを有し、時間軸データに基づく制御信号ａ〜ｃが各入力端子１１２ａ〜１１２ｃに入力されると、各制御信号に対応する制御動作ａ〜ｃを行うように駆動制御を行う。尚、外部機器１１０の構成例としては、後述するように、例えば文字入力装置、エアコンのコントローラ、テレビのリモコン、照明の切替えスイッチなどがある。
The
図３は本発明のインターフェイス装置１０を複数の外部機器に接続した場合の構成例を模式的に示す図である。図３に示されるように、インターフェイス装置１０は、操作者１００と複数の外部機器１１０Ａ〜１１０Ｃとの間に介在し、生体信号検出センサ２０により操作者から検出された神経信号に相当する生体信号が検出されると、増幅・フィルタ回路４０により識別可能なレベルまで増幅（生体信号検出・増幅処理）すると共に、所定以上の高周波数及び所定以下の低周波数のノイズ成分を除去してＡＤコンバータ５０によりデジタル信号に変換した後、さらに時間軸データ変換手段６２によりデジタル信号を時間軸データに変換（データ変換処理）して外部機器１１０Ａ〜１１０Ｃの各入力端子１１２ａ、１１２ｂ、１１２ａ'、１１２ｂ'、１１２ａ''、１１２ｂ''に入力する。
FIG. 3 is a diagram schematically showing a configuration example when the
外部機器１１０Ａ〜１１０Ｃでは、インターフェイス装置１０からの時間軸データに応じた制御信号ａ、ｂが各入力端子１１２ａ、１１２ｂ、１１２ａ'、１１２ｂ'、１１２ａ''、１１２ｂ''に入力されると、各制御信号に対応する制御動作ａ〜ｃを行うように駆動制御を行う。尚、外部機器１１０Ａ〜１１０Ｃの構成例としては、後述するように、例えば文字入力装置、エアコンのコントローラ、テレビのリモコン、照明の切替えスイッチなどがある。
In the
〔制御部６０のデータ変換制御処理〕
図４は神経細胞からの神経信号による生体信号及び時間軸データのパターン例を示す図である。図４（Ａ）に示されるように、生体信号検出センサ２０は、操作者１００が神経信号を生成すると、当該神経信号に応じた生体信号Ｅ１を出力する。この生体信号Ｅ１は、差動増幅器３０により増幅されるが、時間軸上において、ゼロＶより＋側に立ち上がり、最大値に達すると、−側に低下した後、再び＋側に推移しながら緩やかにゼロＶに戻る傾向にある。
[Data Conversion Control Processing of Control Unit 60]
FIG. 4 is a diagram showing a pattern example of biological signals and time axis data based on nerve signals from nerve cells. As shown in FIG. 4A, when the
制御部６０は、生体信号検出センサ２０により検出された神経信号に応じた生体信号Ｅ１がノイズ除去及び増幅されて入力されると、時間軸データに変換した出力信号Ｐ１を生成する。この出力信号Ｐ１は、下記のとおり出力条件を変えることで様々なパターンの生体信号入力に対応することができる。
When the biological signal E1 corresponding to the nerve signal detected by the biological
（第１出力条件）
制御部６０は、生体信号Ｅ１の電位と予め設定された閾値Ｖａとを比較（閾値比較手段）し、比較結果がＥ１＞Ｖａになった時点で出力信号Ｐ１（時間軸データ）を所定時間が経過するまで出力（出力信号生成手段）する。
(First output condition)
The
図４（Ｂ）に示されるように、２個の生体信号Ｅ１、Ｅ２が連続して閾値Ｖａ以上になったことが検出された場合、すなわち、１番目の生体信号Ｅ１が検出されてから所定時間Ｔ１が経過する前に２番目の生体信号Ｅ２が検出された場合は、時間軸Ｔ２（＞Ｔ１）の出力信号Ｐ２が生成される。 As shown in FIG. 4B, when it is detected that the two biological signals E1 and E2 are continuously equal to or higher than the threshold value Va, that is, after the first biological signal E1 is detected, a predetermined value is obtained. When the second biological signal E2 is detected before the time T1 elapses, the output signal P2 of the time axis T2 (> T1) is generated.
図４（Ｃ）に示されるように、３個の生体信号Ｅ１〜Ｅ３が連続して閾値Ｖａ以上に達したことが検出された場合、すなわち、１番目の生体信号Ｅ１が検出されてから所定時間Ｔ１が経過する前に２番目の生体信号Ｅ２が検出され、さらに所定時間Ｔ１が経過する前に３番目の生体信号Ｅ３が検出された場合は、時間軸Ｔ３の出力信号Ｐ３（＞Ｔ２）が生成される。このように、生体信号Ｅの数に応じた時間軸長さが異なる時間軸データＰ１〜Ｐ３が生成される。 As shown in FIG. 4C, when it is detected that the three biological signals E1 to E3 continuously reach the threshold value Va or more, that is, after the first biological signal E1 is detected, a predetermined value is detected. When the second biological signal E2 is detected before the time T1 elapses and further the third biological signal E3 is detected before the predetermined time T1 elapses, the output signal P3 (> T2) of the time axis T3 Is generated. Thus, time axis data P1 to P3 having different time axis lengths according to the number of biological signals E are generated.
従って、外部機器１１０では、上記時間軸（Ｔ１＜Ｔ２＜Ｔ３）の長さが異なる時間軸データＰ１〜Ｐ３に基づく制御信号が入力されると、入力された制御信号、すなわち各時間軸データＰ１〜Ｐ３の時間軸（Ｔ１＜Ｔ２＜Ｔ３）の長さに応じた動作を行うように制御が行われる。
Therefore, in the
（第２出力条件）
図４（Ａ）に示されるように、制御部６０は、入力された生体信号Ｅが、一定時間内にｎ回以上の立ち上がりエッジを数えた場合（エッジカウンタ手段）、矩形波信号（パルス波形）Ｐ１を出力する（出力信号生成手段）。なお、エッジカウンタ手段の閾値ｎは１以上の任意の値を自由に設定できる。また、図４（Ｂ）（Ｃ）に示されるように、エッジカウンタの値が２又は３になると、エッジカウント値に応じた矩形波信号（パルス波形）Ｐ２，Ｐ３を出力する。
(Second output condition)
As shown in FIG. 4A, when the input biological signal E counts n or more rising edges within a predetermined time (edge counter means), the
（第３出力条件）
図４（Ａ）に示されるように、制御部６０は、入力された生体信号Ｅが示す個人特有の性質（信号の振幅、発火頻度など）を考慮し、適切な条件を満たす場合に矩形波信号（パルス波形）Ｐ１を出力する。個人特有の性質は、残存する筋肉や神経の量などが異なるために生じる差異であり、固定の出力条件下では適正な出力が実現しない。また、図４（Ｂ）（Ｃ）に示されるように、個人特有の性質（信号の振幅、発火頻度など）を考慮し、個人差に応じた矩形波信号（パルス波形）Ｐ２，Ｐ３を出力する。
(3rd output condition)
As shown in FIG. 4A, the
（第４出力条件）
図４（Ａ）に示されるように、制御部６０は、入力された生体信号Ｅに応じ何らかの出力条件（閾値以外の要素、例えば生体信号の電流値あるいは電圧値の変化率など）を満たす場合に矩形波信号（パルス波形）Ｐ１を出力し、次の出力Ｐ２までの間に不感帯を設けることができる。これにより、操作者の意図と連動した生体信号Ｅ１とＥ２との間に、操作者の意図と連動しない生体信号が連続して入力されてしまう誤入力を回避することができる。また、図４（Ｂ）（Ｃ）に示されるように、入力された生体信号Ｅに応じ何らかの出力条件を満たす場合に、その回数に応じた矩形波信号（パルス波形）Ｐ２，Ｐ３を出力する。
(4th output condition)
As shown in FIG. 4A, the
尚、上記の時間軸データＰ１〜Ｐ３については、Ｐ１＝Ｐ２＝Ｐ３として認識させることもできる。例えば、生体信号Ｅの性質には個人差が大きく、誤入力を防止するために上記設定が必要な場合がある。Ｐ１＝Ｐ２＝Ｐ３として認識する場合、パルス数をカウントして指示内容を判別しても良い。 The time axis data P1 to P3 may be recognized as P1 = P2 = P3. For example, there is a great difference between individuals in the nature of the biological signal E, and the above setting may be necessary to prevent erroneous input. When recognizing as P1 = P2 = P3, the number of pulses may be counted to determine the instruction content.
また、上記データ変換処理のための各出力条件は、単独で設定する方式でも良いし、複数の出力条件を組み合わせても良い。さらには、複数の出力条件の中から各操作者に適した出力条件を選択できるようにしておき、予め操作者の生体信号の検出しやすさなど各人の個性に合った出力条件を登録することで、生体信号から出力信号を生成する過程での精度をより高められる。 Each output condition for the data conversion process may be set independently, or a plurality of output conditions may be combined. Furthermore, an output condition suitable for each operator can be selected from among a plurality of output conditions, and an output condition suitable for each person's individuality such as ease of detection of an operator's biological signal is registered in advance. Thus, the accuracy in the process of generating the output signal from the biological signal can be further increased.
また、生体信号検出センサ２０により検出される生体信号の検出精度は、各操作者の個人差があるので、制御部６０において、当該操作者から検出された生体信号を出力信号にデータ変換する処理を行う際は、過去に検出された生体信号の波形を記憶したデータベースを作成し、各操作者の固有の生体信号を学習することで、例えば操作者が体調不良で微弱な生体信号しか検出されない場合でも、過去に検出された通常レベルの生体信号に変換して出力信号を生成するように演算処理しても良い。
Moreover, since the detection accuracy of the biological signal detected by the biological
〔制御部６０からの出力信号を受信した外部機器１１０が実行する制御処理例〕
尚、以下では、上記第１出力条件に基づいて制御する場合について説明する。
[Example of control processing executed by
In the following, the case of controlling based on the first output condition will be described.
図５Ａはモード選択処理を説明するための概念図である。図５Ａに示されるように、最初はモード選択画面２００が表示される。モード選択画面２００には、「初期モード」の第１のアイコン２１０と、「文字入力モード」の第２のアイコン２２０と、「エアコンモード」の第３のアイコン２３０と、「テレビモード」の第４のアイコン２４０と、「照明スイッチモード」の第５のアイコン２５０が表示されており、各アイコン２１０、２２０、２３０、２４０、２５０が同一半径上に所定間隔おいて表示される。
FIG. 5A is a conceptual diagram for explaining mode selection processing. As shown in FIG. 5A, a
また、モード選択画面２００には、各アイコン２１０、２２０、２３０、２４０、２５０の中から何れかを選択したことを示すモード選択カーソル２６０が表示されており、時間軸データＰ１〜Ｐ３の何れかが入力されると、入力された時間軸データＰ１〜Ｐ３の時間軸Ｔ１〜Ｔ３に応じたカーソル移動処理が行われる。
The
図５Ｂはモード選択制御処理を説明するためのフローチャートである。図５Ｂに示されるように、制御部６０からの出力信号を受信した外部機器１１０のコントローラは、Ｓ１１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ１１において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ１２に進み、モード選択カーソル２６０が時計方向（右回り）に１ステップ移動する。例えば、初期モード２１０のモード選択カーソル２６０が一つ右隣の文字入力モードのアイコン２２０と一致する位置に移動する。さらに、時間軸Ｔ１の時間軸データＰ１が生成された場合、モード選択カーソル２６０が時計方向（右回り）に１ステップ移動して一つ右隣のエアコンモードのアイコン２３０と一致する位置に移動する。
FIG. 5B is a flowchart for explaining the mode selection control process. As shown in FIG. 5B, the controller of the
尚、モード選択カーソル２６０の位置を分かりやすくするため、モード選択カーソル２６０の囲まれた範囲内側を外側とは異なる色で表示しても良い。
In order to make the position of the
次のＳ１３では、予め設定された所定時間（例えば、２〜３秒）が経過したか否かをチェックする。Ｓ１３において、モード選択カーソル２６０が停止したまま所定時間が経過すると、Ｓ１４に進み、当該カーソル停止位置と一致するアイコンの制御モードが選択（設定）される。
In next S13, it is checked whether or not a predetermined time (for example, 2 to 3 seconds) set in advance has elapsed. In S13, when a predetermined time elapses while the
また、上記Ｓ１３において、所定時間が経過していない場合（ＮＯの場合）、Ｓ１５に進み、時間軸Ｔ３に相当する時間軸データＰ３が生成されたか否かをチェックする。Ｓ１５において、時間軸Ｔ３に相当する時間軸データＰ３が生成された場合（ＹＥＳの場合）、Ｓ１４に進み、当該カーソル停止位置のアイコンの制御モードが選択（設定）される。この後は上記Ｓ１１の処理に戻る。 In S13, if the predetermined time has not elapsed (NO), the process proceeds to S15, and it is checked whether or not time axis data P3 corresponding to the time axis T3 has been generated. When the time axis data P3 corresponding to the time axis T3 is generated in S15 (in the case of YES), the process proceeds to S14, and the control mode of the icon at the cursor stop position is selected (set). Thereafter, the process returns to S11.
また、上記Ｓ１５において、時間軸Ｔ３に相当する時間軸データＰ３が生成されない場合（ＮＯの場合）、上記Ｓ１１の処理に戻り、Ｓ１１以降の処理を実行する。また、Ｓ１１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ１６に進み、時間軸Ｔ２に相当する時間軸データＰ２が生成されたか否かをチェックする。Ｓ１６において、時間軸Ｔ２に相当する時間軸データＰ２が生成された場合（ＹＥＳの場合）、Ｓ１７に進み、モード選択カーソル２６０が時計方向（右回り）に２ステップ移動する。例えば、「初期モード」のアイコン２１０に位置するモード選択カーソル２６０が二つ右隣の「エアコンモード」のアイコン２３０と一致する位置に移動する。この後は、上記Ｓ１３以降の処理を行う。
In S15, when the time axis data P3 corresponding to the time axis T3 is not generated (in the case of NO), the process returns to S11, and the processes after S11 are executed. In S11, when the time axis data P1 corresponding to the time axis T1 is not generated (NO), the process proceeds to S16, and it is checked whether or not the time axis data P2 corresponding to the time axis T2 is generated. When the time axis data P2 corresponding to the time axis T2 is generated in S16 (in the case of YES), the process proceeds to S17, and the
このように生体信号検出センサ２０から生体信号Ｅ１〜Ｅ３が検出され、時間軸データＰ１〜Ｐ３が生成されることで、モード選択カーソル２６０がモニタ８０に表示された各アイコン２１０、２２０、２３０、２４０、２５０のうち何れかのアイコンと一致する位置に移動し、「初期モード」、「文字入力モード」、「エアコンモード」、「テレビモード」、「照明スイッチモード」の中から操作者が希望する任意のモードを選択（設定）することが可能になる。
In this way, the biological signals E1 to E3 are detected from the biological
尚、制御部６０において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合、モード選択カーソル２６０が時計方向（右回り）に１ステップずつ自動的に移動させ、時間軸Ｔ２の時間軸データＰ２が生成された場合、モード選択カーソル２６０を停止させ、時間軸Ｔ３の時間軸データＰ３が生成された場合、当該カーソル停止位置のアイコンの制御モードが設定されるように制御することも可能である。
When the time axis data P1 corresponding to the time axis T1 is generated in the
〔文字入力モードの制御処理方法〕
図６Ａは文字入力モードの表示画面を説明するための概念図である。図６Ａに示されるように、前述したモード選択カーソル２６０の移動により文字入力モードが選択されると、モニタ８０に文字入力画面３００が表示される。文字入力画面３００には、ひらがなを選択できるように「あいうえお」を選択できる「あ行」３１０Ａ、「かきくけこ」を選択できる「か行」３２０Ａ、「さしすせそ」を選択できる「さ行」３３０Ａ、「たちつてと」を選択できる「た行」３４０Ａ、「なにぬねの」を選択できる「な行」３５０Ａ、「はひふへほ」を選択できる「は行」３６０Ａ、「まみむめも」を選択できる「ま行」３７０Ａ、「やゆよ」を選択できる「や行」３８０Ａ、「らりるれろ」を選択できる「ら行」３９０Ａ、「わをん」を選択できる「わ行」４００Ａが表示される。
[Character input mode control processing method]
FIG. 6A is a conceptual diagram for explaining a display screen in a character input mode. As shown in FIG. 6A, when the character input mode is selected by moving the
さらに、文字入力画面３００には、各行の中から任意の行を選択する第１の文字選択カーソル４１０と、上記５０音のひらがなから任意の文字を選択するための第２の文字選択カーソル４２０が表示される。この文字選択カーソル４１０、４２０は、入力される時間軸データＰ１〜Ｐ３に応じてＸ方向（各文字列方向）またはＹ方向（文字行方向）に移動して任意の文字の座標位置へ移動する。
Further, the
例えば、第１の文字選択カーソル４１０が「あ行」３１０に停止している場合、「へ」の位置へカーソル移動させる操作方法について説明する。操作者１００は、モニタ８０に表示された文字入力画面３００をみながら時間軸Ｔ１の時間軸データＰ１が出力されるように、神経信号を出力する。このとき、操作者１００は、モニタ８０に表示された文字入力画面３００をみながらどの筋肉を動かすと神経信号が検出されるかを予め学習しており、そのとき検出された生体信号の波形パターンを制御部６０に登録してある。尚、当該操作者が例えば筋萎縮性側索硬化症の場合には、十分な振幅（電圧）を有する筋電位信号が発せられなくても、筋紡錘からの微弱な生体信号を検出することができる。
For example, an operation method for moving the cursor to the “to” position when the first
図６Ｂは文字入力モードの制御方法を説明するためのフローチャートである。図６Ｂに示されるように、制御部６０からの出力信号を受信した外部機器１１０のコントローラは、Ｓ２１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ２１において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ２２に進み、第１の文字選択カーソル４１０を横方向（Ｘ方向）に１ステップ移動させる。
FIG. 6B is a flowchart for explaining the control method of the character input mode. As shown in FIG. 6B, the controller of the
例えば、第１の文字選択カーソル４１０が文字入力画面３００の「あ」の位置にある場合について説明する。生体信号検出センサ２０から生体信号Ｅ１が検出されると、インターフェイス装置１０の制御部６０において、時間軸データＰ１が生成される。そして、時間軸データＰ１に対応する制御信号が入力されると、文字入力画面３００に表示された第１の文字選択カーソル４１０が「あ行」３１０Ａの位置からＸ方向に移動する。
For example, a case where the first
次のＳ２３では、再度、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ２３において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ２２に戻り、第１の文字選択カーソル４１０を横方向（Ｘ方向）に１ステップ移動させる。これを６回繰り返すことにより、例えば、文字入力画面３００の第１の文字選択カーソル４１０は、「は行」３６０Ａの位置に移動する。
In the next S23, it is checked again whether or not the time axis data P1 corresponding to the time axis T1 has been generated. In S23, when the time axis data P1 corresponding to the time axis T1 is not generated (in the case of NO), the process returns to S22, and the first
また、上記Ｓ２３において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ２４に進み、「あ」〜「わ」行の何れかが確定（設定）する。この後は上記Ｓ２１の処理に戻る。 In S23, when the time axis data P1 corresponding to the time axis T1 is generated (in the case of YES), the process proceeds to S24, and any of the “a” to “wa” lines is determined (set). Thereafter, the process returns to S21.
次にＳ２１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ２５に進み、時間軸Ｔ２に相当する時間軸データＰ２が生成されたか否かをチェックする。Ｓ２５において、時間軸Ｔ２に相当する時間軸データＰ２が生成されない場合（ＮＯの場合）、上記Ｓ２１に戻り、Ｓ２１、Ｓ２５の処理を繰り返す待機状態となる。 Next, in S21, when the time axis data P1 corresponding to the time axis T1 is not generated (in the case of NO), the process proceeds to S25, and it is checked whether or not the time axis data P2 corresponding to the time axis T2 is generated. When the time axis data P2 corresponding to the time axis T2 is not generated in S25 (in the case of NO), the process returns to S21 and enters a standby state in which the processes of S21 and S25 are repeated.
また、上記Ｓ２５において、時間軸Ｔ２に相当する時間軸データＰ２が生成された場合（ＹＥＳの場合）、Ｓ２６に進み、第２の文字選択カーソル４２０を縦方向（Ｙ方向）に１ステップ移動させる。続いて、Ｓ２７では、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ２７において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、上記Ｓ２６に戻り、第２の文字選択カーソル４２０を縦方向（Ｙ方向）に１ステップ移動させる。これを３回繰り返すと、文字入力画面３００に表示された第２の文字選択カーソル４２０は、「へ」の位置に移動する。
If the time axis data P2 corresponding to the time axis T2 is generated in S25 (YES), the process proceeds to S26, and the second
そして、Ｓ２７において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ２８に進み、「へ」の入力が確定（設定）する。この後は上記Ｓ２１の処理に戻る。 In S27, when the time axis data P1 corresponding to the time axis T1 is generated (in the case of YES), the process proceeds to S28, and the input of “to” is confirmed (set). Thereafter, the process returns to S21.
このように生体信号検出センサ２０から生体信号Ｅ１、Ｅ２が検出され、時間軸データＰ１、Ｐ２が生成されることで、任意の文字を入力することが可能になる。
As described above, the biological signals E1 and E2 are detected from the biological
〔エアコン設定モードの制御処理方法〕
図７Ａはエアコン設定モードの表示画面を説明するための概念図である。図７Ａに示されるように、前述したモード選択カーソル２６０の移動によりエアコンモードが選択されると、モニタ８０にエアコン制御画面５００が表示される。
[Control processing method of air conditioner setting mode]
FIG. 7A is a conceptual diagram for explaining a display screen of an air conditioner setting mode. As shown in FIG. 7A, when the air conditioner mode is selected by moving the
エアコン制御画面５００の左側には、「冷房モード」のアイコン５１０と、「除湿モード」のアイコン５２０と、「暖房モード」のアイコン５３０と、「換気モード」のアイコン５４０とが表示される。また、エアコン制御画面５００の上側には、「風量設定」のアイコン５６０Ａと、「温度設定」のアイコン５７０Ａと、「切タイマ設定」のアイコン５８０Ａと、「入タイマ設定」のアイコン５９０Ａと、「風向き設定」のアイコン６００Ａとが表示される。
On the left side of the air
各アイコンは、モード選択カーソル６１０、６２０、６３０を移動・停止させることで、任意のアイコンが選択、設定される。このアイコンの選択・設定操作は、前述した時間軸データＰ１〜Ｐ３の時間軸Ｔ１〜Ｔ３に基づいて行われる。
Each icon is selected and set by moving and stopping the
さらに、「風量設定」のアイコン５６０Ａの下方には、風量を選択するための「弱」「中」「強」のアイコンが縦方向（Ｙ方向）に並ぶ風量設定領域５６０Ｂが表示される。また、「温度設定」のアイコン５７０Ａの下方には、「現設定」「マイナス１度〜５度」「プラス１〜５度」のアイコンが縦方向（Ｙ方向）に並ぶ温度設定領域５７０Ｂが表示される。「切タイマ設定」のアイコン５８０Ａに下方には、「３０分、１時間〜１０時間」のアイコンが縦方向（Ｙ方向）に並ぶ切タイマ設定領域５８０Ｂが表示される。
Further, below the “air volume setting”
また、「入タイマ設定」のアイコン５９０Ａの下方には、「３０分、１時間〜１０時間」の各アイコンが縦方向（Ｙ方向）に並ぶ入タイマ設定領域５９０Ｂが表示される。また、「風向き設定」のアイコン６００Ａの下方には、「現設定、下へ１段階〜５段階、上へ１段階〜５段階」のアイコンが縦方向（Ｙ方向）に並ぶ風向き設定領域６００Ｂが表示される。
Also, below the “input timer setting”
さらに、エアコン制御画面５００には、上記アイコン５１０〜５４０の中からメイン動作モードを選択する第１のモード選択カーソル６１０と、上記アイコン５６０Ａ〜６００Ａの中からサブ動作モードを選択するための第２のモード選択カーソル６２０と、サブ動作モードの各制御データを選択するための第３のモード選択カーソル６３０とが表示される。このモード選択カーソル６１０、６２０、６３０は、入力される時間軸データＰ１〜Ｐ３に応じて任意の制御モードを選択する位置（Ｘ方向又はＹ方向の位置）へ移動する。
Further, the air
図７Ｂはエアコン設定モードの制御方法を説明するためのフローチャートである。図７Ｂに示されるように、制御部６０からの出力信号を受信した外部機器１１０のコントローラは、Ｓ３１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ３１において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ３２に進み、第１のモード選択カーソル６１０を縦方向（Ｙ方向）に１ステップ移動させる。例えば、メイン動作モードである「冷房モード」のアイコン５１０、「除湿モード」のアイコン５２０、「暖房モード」のアイコン５３０、「換気モード」のアイコン５４０の何れかを選択できる。
FIG. 7B is a flowchart for explaining a control method of the air conditioner setting mode. As illustrated in FIG. 7B, the controller of the
次のＳ３３では、再度、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ３３において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ３２に戻り、第１のモード選択カーソル６１０を縦方向（下方向）に１ステップ移動させる。これを１〜４回繰り返すことにより、第１のモード選択カーソル６１０は、メイン動作モードである「冷房モード」、「除湿モード」、「暖房モード」、「換気モード」のアイコン５１０、５２０、５３０、５４０の何れかの位置に移動する。
In next S33, it is checked again whether or not the time axis data P1 corresponding to the time axis T1 has been generated. If the time axis data P1 corresponding to the time axis T1 is not generated in S33 (NO), the process returns to S32, and the first
また、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ３４に進み、「冷房モード」、「除湿モード」、「暖房モード」、「換気モード」の中から第１のモード選択カーソル６１０のカーソル停止位置と一致するメイン動作モードが選択され、「冷房モード」、「除湿モード」、「暖房モード」、「換気モード」の何れかのモードに確定（設定）する。この後は上記Ｓ３１の処理に戻る。
Further, when the time axis data P1 corresponding to the time axis T1 is generated (in the case of YES), the process proceeds to S34, and the “cooling mode”, “dehumidification mode”, “heating mode”, and “ventilation mode” are selected. The main operation mode that coincides with the cursor stop position of the first
上記Ｓ３１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ３５に進み、時間軸Ｔ２に相当する時間軸データＰ２が生成されたか否かをチェックする。上記Ｓ３５において、時間軸Ｔ２に相当する時間軸データＰ２が生成された場合（ＹＥＳの場合）、Ｓ３６に進み、第２のモード選択カーソル６２０を横方向（Ｘ方向）に１ステップ移動させる。続いて、Ｓ３７では、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ３７において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、上記Ｓ３６に戻り、第２のモード選択カーソル６２０を横方向（Ｘ方向）に１ステップ移動させる。
In S31, when the time axis data P1 corresponding to the time axis T1 is not generated (in the case of NO), the process proceeds to S35, and it is checked whether or not the time axis data P2 corresponding to the time axis T2 is generated. When the time axis data P2 corresponding to the time axis T2 is generated in S35 (YES), the process proceeds to S36, and the second
これを１〜５回繰り返すと、文字入力画面３００に表示された第２のモード選択カーソル６２０は、「風量設定」のアイコン５６０Ａ、「温度設定」のアイコン５７０Ａ、「切タイマ設定」のアイコン５８０Ａ、「入タイマ設定」のアイコン５９０Ａ、「風向き設定」のアイコン６００Ａの何れかの位置に移動する。
When this is repeated 1 to 5 times, the second
上記Ｓ３７において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ３８に進み、「風量設定」、「温度設定」、「切タイマ設定」、「入タイマ設定」、「風向き設定」の中から第２のモード選択カーソル６２０のカーソル停止位置と一致する任意のサブ動作モードが確定（設定）する。この後は上記Ｓ３１の処理に戻る。
If the time axis data P1 corresponding to the time axis T1 is generated in S37 (YES), the process proceeds to S38, and “air volume setting”, “temperature setting”, “off timer setting”, “on timer setting”. In the “wind direction setting”, an arbitrary sub operation mode that matches the cursor stop position of the second
また、上記Ｓ３５において、時間軸Ｔ２に相当する時間軸データＰ２が生成されない場合（ＮＯの場合）、Ｓ３９に進み、時間軸Ｔ３に相当する時間軸データＰ３が生成されたか否かをチェックする。Ｓ３９において、時間軸Ｔ３に相当する時間軸データＰ３が生成されない場合（ＮＯの場合）、上記Ｓ３１に戻り、Ｓ３１、Ｓ３５、Ｓ３９の処理を繰り返す待機状態となる。 In S35, when the time axis data P2 corresponding to the time axis T2 is not generated (in the case of NO), the process proceeds to S39, and it is checked whether or not the time axis data P3 corresponding to the time axis T3 is generated. In S39, when the time axis data P3 corresponding to the time axis T3 is not generated (in the case of NO), the process returns to S31 and enters a standby state in which the processes of S31, S35, and S39 are repeated.
上記Ｓ３９において、時間軸Ｔ３に相当する時間軸データＰ３が生成された場合（ＹＥＳの場合）、Ｓ４０に進み、第３のモード選択カーソル６３０を縦方向（Ｙ方向）に１ステップ移動させる。続いて、Ｓ４１では、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ４１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、上記Ｓ４０に戻り、第３のモード選択カーソル６３０を縦方向（Ｙ方向）に１ステップ移動させる。
In S39, when the time axis data P3 corresponding to the time axis T3 is generated (YES), the process proceeds to S40, and the third
上記Ｓ４１において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ４２に進み、「風量設定」、「温度設定」、「切タイマ設定」、「入タイマ設定」、「風向き設定」の中から選択された任意のサブ動作モードの制御量（例えば、温度をマイナス３度）が確定（設定）する。この後は上記Ｓ３１の処理に戻る。 When the time axis data P1 corresponding to the time axis T1 is generated in the above S41 (in the case of YES), the process proceeds to S42 and “air volume setting”, “temperature setting”, “off timer setting”, “on timer setting”. , The control amount (for example, minus 3 degrees of temperature) in an arbitrary sub operation mode selected from “wind direction setting” is fixed (set). Thereafter, the process returns to S31.
このように生体信号検出センサ２０から生体信号Ｅ１〜Ｅ３が検出され、時間軸データＰ１〜Ｐ３が生成されることで、エアコンの任意のモードあるいは温度や湿度、風向きなどの調整データ（制御信号）を入力することが可能になる。
As described above, the biological signals E1 to E3 are detected from the biological
〔テレビ操作モードの制御処理方法〕
図８Ａはテレビ操作モードの場合の制御処理方法を説明するための概念図である。図８Ａに示されるように、前述したモード選択カーソル２６０の移動によりテレビモードが選択されると、モニタ８０にテレビ制御画面７００が表示される。
[Control processing method for TV operation mode]
FIG. 8A is a conceptual diagram for explaining a control processing method in the television operation mode. As shown in FIG. 8A, when the television mode is selected by the above-described movement of the
テレビ制御画面７００には、「チャンネル切替モード」のアイコン７１０Ａと、「音量調整モード」のアイコン７２０Ａと、「予約モード」のアイコン７３０Ａとが表示される。さらに、テレビ制御画面７００には、「チャンネル切替モード」の各チャンネル番号１〜１２の表示領域７１０Ｂと、「音量調整モード」の音量調整表示領域７２０Ｂと、「予約モード」の番組予約表示領域７３０Ｂとが表示される。
On the
また、テレビ制御画面７００には、「チャンネル切替モード」のアイコン７１０Ａ、「音量調整モード」のアイコン７２０Ａ、「予約モード」のアイコン７３０Ａの中から何れかのメイン動作モードを選択するための第１のモード選択カーソル８１０と、各モード７１０Ｂ、７２０Ｂ、７３０Ｂの中に表示されるサブ動作モードの制御データを選択する第２のモード選択カーソル８２０とが表示される。このモード選択カーソル８１０、８２０は、入力される時間軸データＰ１、Ｐ２に応じて任意の制御モードを選択する位置へ移動する。
The
図８Ｂはテレビ操作モードの制御方法を説明するためのフローチャートである。図８Ｂに示されるように、制御部６０からの出力信号を受信した外部機器１１０のコントローラは、Ｓ５１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ５１において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ２２に進み、第１のモード選択カーソル８１０を横方向（Ｘ方向）に１ステップ移動させる。
FIG. 8B is a flowchart for explaining a control method of the television operation mode. As illustrated in FIG. 8B, the controller of the
例えば、第１のモード選択カーソル８１０が「チャンネル切替モード」のアイコン７１０Ａの位置にある場合について説明する。生体信号検出センサ２０から生体信号Ｅ１が検出されると、インターフェイス装置１０の制御部６０において、時間軸データＰ１が生成される。そして、時間軸データＰ１が入力されると、テレビ制御画面７００に表示された第１のモード選択カーソル８１０がアイコン７１０Ａの位置から右隣の「音量調整モード」のアイコン７２０Ａの位置に移動する。
For example, the case where the first
次のＳ５３では、再度、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ５３において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ５２に戻り、第１のモード選択カーソル８１０を横方向（Ｘ方向）に１ステップ移動させる。これを２回繰り返すことにより、第１のモード選択カーソル８１０は、「音量調整モード」のアイコン７２０Ａ、「予約モード」のアイコン７３０Ａの位置に移動する。
In next S53, it is checked again whether or not the time axis data P1 corresponding to the time axis T1 has been generated. In S53, when the time axis data P1 corresponding to the time axis T1 is not generated (in the case of NO), the process returns to S52, and the first
また、上記Ｓ５３において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ５４に進み、「チャンネル切替モード」、「音量調整モード」、「予約モード」の何れかが確定（設定）する。この後は上記Ｓ５１の処理に戻る。 In S53, when the time axis data P1 corresponding to the time axis T1 is generated (in the case of YES), the process proceeds to S54, and any one of “channel switching mode”, “volume adjustment mode”, and “reservation mode” is selected. Is fixed (set). Thereafter, the process returns to S51.
次に上記Ｓ５１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ５５に進み、時間軸Ｔ２に相当する時間軸データＰ２が生成されたか否かをチェックする。Ｓ５５において、時間軸Ｔ２に相当する時間軸データＰ２が生成されない場合（ＮＯの場合）、上記Ｓ５１に戻り、Ｓ５１、Ｓ５５の処理を繰り返す待機状態となる。 Next, in S51, when the time axis data P1 corresponding to the time axis T1 is not generated (NO), the process proceeds to S55, and it is checked whether or not the time axis data P2 corresponding to the time axis T2 is generated. In S55, when the time axis data P2 corresponding to the time axis T2 is not generated (in the case of NO), the process returns to S51 and enters a standby state in which the processes of S51 and S55 are repeated.
また、上記Ｓ５５において、時間軸Ｔ２に相当する時間軸データＰ２が生成された場合（ＹＥＳの場合）、Ｓ５６に進み、第２のモード選択カーソル８２０を縦方向（Ｙ方向）に１ステップ移動させる。続いて、Ｓ５７では、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ５７において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、上記Ｓ５６に戻り、第２のモード選択カーソル８２０を縦方向（Ｙ方向）に１ステップ移動させる。これを５回繰り返すと、例えばテレビ制御画面７００に表示された第２のモード選択カーソル８２０は、「音量調整モード」の「１目盛」の位置から「５目盛」の位置に移動する。
If the time axis data P2 corresponding to the time axis T2 is generated in S55 (YES), the process proceeds to S56, and the second
そして、Ｓ５７において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ５８に進み、「音量調整モード」の「５目盛」又は「消音」の入力が確定（設定）する。この後は上記Ｓ５１の処理に戻る。 If the time axis data P1 corresponding to the time axis T1 is generated in S57 (in the case of YES), the process proceeds to S58, and the input of “5 scale” or “mute” in “volume adjustment mode” is confirmed (set) ) Thereafter, the process returns to S51.
このように生体信号検出センサ２０から生体信号Ｅ１、Ｅ２が検出され、時間軸データＰ１、Ｐ２が生成されることで、テレビのチャンネル、音量、番組の予約を設定することが可能になる。
In this way, the biological signals E1 and E2 are detected from the biological
〔照明スイッチ切替操作モードの制御処理方法〕
図９Ａは照明スイッチの切替え操作の制御処理方法を説明するための概念図である。図９Ａに示されるように、前述したモード選択カーソル２６０の移動により照明スイッチモードが選択されると、モニタ８０に照明スイッチ制御画面９００が表示される。
[Control processing method of lighting switch switching operation mode]
FIG. 9A is a conceptual diagram for explaining a control processing method of a lighting switch switching operation. As shown in FIG. 9A, when the illumination switch mode is selected by moving the
照明スイッチ制御画面９００には、「消灯モード」のアイコン９１０と、「半灯モード（複数の照明灯の半分を点灯）」のアイコン９２０と、「全灯モード（複数の照明灯を全て点灯）」のアイコン９３０と、「半灯モード（全灯の半分の照度）」のアイコン９４０と、「豆灯モード（小電球点灯）」のアイコン９５０とが同一半径上に配置されて表示される。また、照明スイッチ制御画面９００には、「消灯モード」のアイコン９１０、「半灯モード」のアイコン９２０、「全灯モード」のアイコン９３０、「半灯モード」のアイコン９４０、「豆灯モード」のアイコン９５０の何れかを選択するためのモード選択カーソル９６０が表示される。このモード選択カーソル９６０は、入力される時間軸データＰ１〜Ｐ３に応じて任意の制御モードを選択する位置へ移動する。
On the lighting
図９Ｂは照明スイッチ切替操作モードの制御方法を説明するためのフローチャートである。図９Ｂに示されるように、制御部６０からの出力信号を受信した外部機器１１０のコントローラは、Ｓ６１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されたか否かをチェックする。Ｓ６１において、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合（ＹＥＳの場合）、Ｓ６２に進み、モード選択カーソル９６０が時計方向（右回り）に１ステップ移動する。例えば、モード選択カーソル９６０が「消灯」のアイコン９１０にある場合、時計方向（右回り）に１ステップ移動して一つ右隣の「半灯モード」のアイコン９２０と一致する位置に移動する。さらに、時間軸Ｔ１の時間軸データＰ１が生成された場合、モード選択カーソル９６０が時計方向（右回り）に１ステップ移動して一つ右隣の「全灯モード」のアイコン９３０と一致する位置に移動する。
FIG. 9B is a flowchart for explaining a control method of the illumination switch switching operation mode. As illustrated in FIG. 9B, the controller of the
次のＳ６３では、予め設定された所定時間（例えば、２〜３秒）が経過したか否かをチェックする。Ｓ６３において、モード選択カーソル９６０が停止したまま所定時間が経過すると、Ｓ６４に進み、「消灯モード」、「半灯モード」、「全灯モード」、「半灯モード」、「豆灯モード」のうち当該カーソル停止位置と一致する制御モードが選択（設定）される。
In the next S63, it is checked whether or not a predetermined time (for example, 2 to 3 seconds) set in advance has elapsed. In S63, when a predetermined time elapses while the
また、上記Ｓ６３において、所定時間が経過していない場合（ＮＯの場合）、Ｓ６５に進み、時間軸Ｔ３に相当する時間軸データＰ３が生成されたか否かをチェックする。Ｓ６５において、時間軸Ｔ３に相当する時間軸データＰ３が生成された場合（ＹＥＳの場合）、Ｓ６４に進み、当該カーソル停止位置のアイコンの制御モードが設定される。この後は上記Ｓ６１の処理に戻る。 In S63, if the predetermined time has not elapsed (NO), the process proceeds to S65, and it is checked whether or not the time axis data P3 corresponding to the time axis T3 has been generated. When the time axis data P3 corresponding to the time axis T3 is generated in S65 (YES), the process proceeds to S64, and the control mode of the icon at the cursor stop position is set. Thereafter, the process returns to S61.
また、上記Ｓ６５において、時間軸Ｔ３に相当する時間軸データＰ３が生成されない場合（ＮＯの場合）、上記Ｓ６１の処理に戻り、Ｓ６１以降の処理を実行する。また、Ｓ６１において、時間軸Ｔ１に相当する時間軸データＰ１が生成されない場合（ＮＯの場合）、Ｓ６６に進み、時間軸Ｔ２に相当する時間軸データＰ２が生成されたか否かをチェックする。Ｓ６６において、時間軸Ｔ２に相当する時間軸データＰ２が生成された場合（ＹＥＳの場合）、Ｓ６７に進み、モード選択カーソル２６０が時計方向（右回り）に２ステップ移動する。例えば、「消灯モード」のアイコン９１０に位置するモード選択カーソル９６０が二つ右隣の「全灯コンモード」のアイコン９３０と一致する位置に移動する。この後は、上記Ｓ６３以降の処理を行う。
In S65, when the time axis data P3 corresponding to the time axis T3 is not generated (in the case of NO), the process returns to S61, and the processes after S61 are executed. In S61, when the time axis data P1 corresponding to the time axis T1 is not generated (in the case of NO), the process proceeds to S66, and it is checked whether or not the time axis data P2 corresponding to the time axis T2 is generated. If the time axis data P2 corresponding to the time axis T2 is generated in S66 (in the case of YES), the process proceeds to S67, and the
尚、制御部６０からの出力信号を受信した外部機器１１０のコントローラにおいて、時間軸Ｔ１に相当する時間軸データＰ１が生成された場合、モード選択カーソル９６０が時計方向（右回り）に１ステップずつ自動的に移動させ、時間軸Ｔ２の時間軸データＰ２が生成された場合、モード選択カーソル９６０を停止させ、時間軸Ｔ３の時間軸データＰ３が生成された場合、当該カーソル停止位置のアイコンの制御モードが設定されるように制御することも可能である。
When the time axis data P1 corresponding to the time axis T1 is generated in the controller of the
上記実施例では、外部機器として文字入力装置、エアコンのコントローラ、テレビのリモコン、照明の切替えスイッチなどを例示したが、これに限らず、これ以外の装置にも適用できるのは、勿論である。 In the above-described embodiment, a character input device, an air conditioner controller, a television remote controller, a lighting changeover switch, and the like are illustrated as external devices. However, the present invention is not limited to this and can be applied to other devices.
また、上記実施例で説明したもの以外の外部機器としては、例えば車椅子のロボットハンドを取り付けて車椅子に座った操作者の生体信号に基づいてロボットハンドを動作させることも可能である。尚、ロボットハンドとしては、肩関節、肘関節、手首関節に相当する複数の関節を有し、人間の手のように複数の指が駆動可能に設けられたものでも良い。また、ロボットハンドの動作としては、皿や茶碗などの食器を持ち上げて移動させたり、あるいは各指を動作させてピアノの鍵盤を押して曲を演奏したり、あるいは車椅子の進行方向のドアを開けたりと多目的に動作させることも可能である。 In addition, as an external device other than the one described in the above embodiment, for example, a robot hand can be attached and a robot hand can be operated based on a biological signal of an operator sitting on the wheelchair. The robot hand may have a plurality of joints corresponding to a shoulder joint, an elbow joint, and a wrist joint, and may be provided with a plurality of fingers that can be driven like a human hand. The robot hand can be moved by lifting dishes such as dishes and teacups, or by moving each finger to play a song by pressing the piano keyboard, or opening the door in the direction of the wheelchair. It can also be operated for multiple purposes.
１０、１０Ａ インターフェイス装置
２０ 生体信号検出センサ
３０ 差動増幅器
４０ 増幅・フィルタ回路
５０ ＡＤコンバータ
６０ 制御部
６２ 時間軸データ変換手段
６４ 制御信号変換手段
７０ 送信回路
８０ モニタ
８２ 受信回路
１００ 操作者
１１０Ａ〜１１０Ｃ 外部機器
１１２ａ、１１２ｂ、１１２ａ'、１１２ｂ'、１１２ａ''、１１２ｂ'' 入力端子
２００ モード選択画面
２６０、５５０、９６０ モード選択カーソル
３００ 文字入力画面
４１０ 第１の文字選択カーソル
４２０ 第２の文字選択カーソル
５００ エアコン制御画面
６１０ 第１のモード選択カーソル
６２０ 第２のモード選択カーソル
６３０ 第３のモード選択カーソル
７００ テレビ制御画面
８１０ 第１のモード選択カーソル
８２０ 第２のモード選択カーソル
９００ 照明スイッチ制御画面
10,
Claims (7)
該生体信号検出手段より得られた生体信号を所定電圧値に増幅する増幅手段と、
該増幅手段により所定振幅に増幅された生体信号を時間軸データとして変換するデータ変換手段と、
該データ変換手段により生成された生体信号の時間軸データに対応する制御信号を外部機器を操作する操作信号として当該外部機器に送信する送信手段と、
を備えたことを特徴とするインターフェイス装置。 Biological signal detection means for detecting a biological signal corresponding to a nerve signal generated from a nerve cell;
Amplifying means for amplifying the biological signal obtained from the biological signal detecting means to a predetermined voltage value;
Data conversion means for converting the biological signal amplified to a predetermined amplitude by the amplification means as time axis data;
Transmitting means for transmitting a control signal corresponding to the time axis data of the biological signal generated by the data conversion means to the external device as an operation signal for operating the external device;
An interface device comprising:
前記生体信号検出センサより得られた生体信号を時間軸データとして変換する時間軸データ変換手段と、
前記時間軸データに基づく外部機器に応じた制御信号を生成して前記送信手段に供給する制御信号変換手段とを有することを特徴とする請求項１〜３の何れかに記載のインターフェイス装置。 The data conversion means includes
Time axis data conversion means for converting a biological signal obtained from the biological signal detection sensor as time axis data;
The interface apparatus according to claim 1, further comprising a control signal conversion unit that generates a control signal corresponding to an external device based on the time axis data and supplies the control signal to the transmission unit.
前記表示手段及び前記外部機器は、前記送信手段より送信された無線信号を受信する受信回路を有する請求項１〜５の何れかに記載のインターフェイス装置。 The transmission means is a transmitter that performs near field communication,
The interface device according to claim 1, wherein the display unit and the external device each include a reception circuit that receives a radio signal transmitted from the transmission unit.
該第１の過程より得られた生体信号を所定電圧値に増幅する第２の過程と、
該第２の過程により所定振幅に増幅された生体信号を時間軸データとして変換する第３の過程と、
該第３の過程により生成された生体信号の時間軸データに対応する制御信号を外部機器を操作する操作信号として当該外部機器に送信する第４の過程と、
を行うことを特徴とするインターフェイス装置の制御方法。 A first process of detecting a biological signal corresponding to a nerve signal generated from a nerve cell;
A second step of amplifying the biological signal obtained from the first step to a predetermined voltage value;
A third process of converting the biological signal amplified to a predetermined amplitude by the second process as time axis data;
A fourth step of transmitting a control signal corresponding to the time axis data of the biological signal generated by the third step to the external device as an operation signal for operating the external device;
A method for controlling an interface device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012257387A JP6084823B2 (en) | 2012-11-26 | 2012-11-26 | Interface device and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012257387A JP6084823B2 (en) | 2012-11-26 | 2012-11-26 | Interface device and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014106601A true JP2014106601A (en) | 2014-06-09 |
| JP6084823B2 JP6084823B2 (en) | 2017-02-22 |
Family
ID=51028060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012257387A Active JP6084823B2 (en) | 2012-11-26 | 2012-11-26 | Interface device and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6084823B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019111471A1 (en) * | 2017-12-08 | 2019-06-13 | ソニー株式会社 | Information processing device, method for controlling same, and recording medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54121025A (en) * | 1978-03-13 | 1979-09-19 | Agency Of Ind Science & Technol | Signal generating device for machine operation |
| JP2006026088A (en) * | 2004-07-15 | 2006-02-02 | Sony Corp | Signal processing device, signal processing method, and machinery |
| JP2006051343A (en) * | 2004-07-16 | 2006-02-23 | Semiconductor Energy Lab Co Ltd | Biological signal processor, radio memory, processing system for biological signal, and controlling system for controlled apparatus |
| US20090281448A1 (en) * | 2008-05-10 | 2009-11-12 | Neural Signals, Inc. | Wireless Skin Surface Potential Sensing System and Method |
| JP2010051356A (en) * | 2008-08-26 | 2010-03-11 | Keio Gijuku | System for detecting motion-related potential signal, headset used in the same and system unit using the same |
| WO2010029966A1 (en) * | 2008-09-10 | 2010-03-18 | 国立大学法人筑波大学 | Wearing tool for measuring biological signal, and wearing-type motion assisting device |
-
2012
- 2012-11-26 JP JP2012257387A patent/JP6084823B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54121025A (en) * | 1978-03-13 | 1979-09-19 | Agency Of Ind Science & Technol | Signal generating device for machine operation |
| JP2006026088A (en) * | 2004-07-15 | 2006-02-02 | Sony Corp | Signal processing device, signal processing method, and machinery |
| JP2006051343A (en) * | 2004-07-16 | 2006-02-23 | Semiconductor Energy Lab Co Ltd | Biological signal processor, radio memory, processing system for biological signal, and controlling system for controlled apparatus |
| US20090281448A1 (en) * | 2008-05-10 | 2009-11-12 | Neural Signals, Inc. | Wireless Skin Surface Potential Sensing System and Method |
| JP2010051356A (en) * | 2008-08-26 | 2010-03-11 | Keio Gijuku | System for detecting motion-related potential signal, headset used in the same and system unit using the same |
| WO2010029966A1 (en) * | 2008-09-10 | 2010-03-18 | 国立大学法人筑波大学 | Wearing tool for measuring biological signal, and wearing-type motion assisting device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019111471A1 (en) * | 2017-12-08 | 2019-06-13 | ソニー株式会社 | Information processing device, method for controlling same, and recording medium |
| US11642431B2 (en) | 2017-12-08 | 2023-05-09 | Sony Corporation | Information processing apparatus, control method of the same, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6084823B2 (en) | 2017-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stefanov et al. | The smart house for older persons and persons with physical disabilities: structure, technology arrangements, and perspectives | |
| JP7149492B2 (en) | EMG-assisted communication device with context-sensitive user interface | |
| Valbuena et al. | Brain-computer interface for high-level control of rehabilitation robotic systems | |
| US20010029319A1 (en) | System and method of monitoring and modifying human activity-based behavior | |
| KR20220030935A (en) | Universal control system and method using neural network | |
| KR101955941B1 (en) | SYSTEM AND METHOD FOR PROVIDING MENTAL CARE BASED ON IoT USING BRAIN WAVES | |
| JP2021506052A (en) | Communication methods and systems | |
| Lin et al. | A wireless BCI-controlled integration system in smart living space for patients | |
| AU2022268375B2 (en) | Multiple switching electromyography (emg) assistive communications device | |
| Lo et al. | Novel non-contact control system for medical healthcare of disabled patients | |
| US8894718B2 (en) | System for remote management in ambient intelligence environments using electromyographic signals | |
| JP6084823B2 (en) | Interface device and control method thereof | |
| KR102386359B1 (en) | System and method for controlling exoskeleton robot using brain waves according to motion imagination | |
| Iliev et al. | Assisted living systems for elderly and disabled people: a short review | |
| Goto et al. | Development of Hands‐Free Remote Operation System for a Mobile Robot Using EOG and EMG | |
| Bujnowski et al. | Enhanced remote control providing medical functionalities | |
| Contreras-Castañeda et al. | Smart home: Multimodal interaction for control of home devices | |
| Anil et al. | A tactile P300 based brain computer interface system for communication in iOS devices | |
| KR20200071236A (en) | Timing feedback system based on multi-sensor with adjusting intensity of exercise | |
| Cincotti et al. | Brain-operated assistive devices: the ASPICE project | |
| Abdal et al. | Human–machine interaction for motorized wheelchair based on single-channel electroencephalogram headband | |
| Hassan et al. | EEG Signal Based Cognitive System for Controlling Home Appliances and Generating Speech Command | |
| KR101214544B1 (en) | System and method for controlling input using activeness detecting device | |
| Pande et al. | Development of a voice-controlled home automation system for the differently-abled | |
| KR101727183B1 (en) | Home care system using brain wave |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20151215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170126 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6084823 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |