JP2014048748A - 制御装置、制御装置の制御方法及び制御プログラム - Google Patents
制御装置、制御装置の制御方法及び制御プログラム Download PDFInfo
- Publication number
- JP2014048748A JP2014048748A JP2012189207A JP2012189207A JP2014048748A JP 2014048748 A JP2014048748 A JP 2014048748A JP 2012189207 A JP2012189207 A JP 2012189207A JP 2012189207 A JP2012189207 A JP 2012189207A JP 2014048748 A JP2014048748 A JP 2014048748A
- Authority
- JP
- Japan
- Prior art keywords
- control
- sound
- control device
- control signal
- sound information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
Abstract
【課題】音声認識を用いずに、ユーザ意図の誤認識の可能性の低い制御装置を提供する。
【解決手段】制御装置1は、自装置と動作装置2との通信状態を取得する通信状態取得手段14、15、16と、音情報を音の大きさおよび長さの少なくとも一方について判定する音情報判定手段130と、音情報判定手段130が音判定基準の充足を判定すると、自装置と通信状態にある動作装置2に対し制御信号を送信する制御信号生成手段130とを備えている。
【選択図】図1
【解決手段】制御装置1は、自装置と動作装置2との通信状態を取得する通信状態取得手段14、15、16と、音情報を音の大きさおよび長さの少なくとも一方について判定する音情報判定手段130と、音情報判定手段130が音判定基準の充足を判定すると、自装置と通信状態にある動作装置2に対し制御信号を送信する制御信号生成手段130とを備えている。
【選択図】図1
Description
本発明は、音情報を用いて動作装置の動作を指示する制御装置に関する。
従来から、照明またはエアコンといった動作装置の動作を、音声により指示する様々な制御装置が提案されている。
例えば、下掲の[特許文献1]には、利用者の音声から抽出する語彙と、音声が入力されたときの場所、または時刻といった付加条件情報とを用いて、比較的少数の語彙で多くの機器を誤りなく制御する機器制御装置が開示されている。
また[特許文献2]には、車内の各座席に設けられた音声認識用マイクを介して、音声信号の入力元の座席をそれぞれ特定し、音声信号の入力元として特定された各座席に対応する音声認識結果として得られたオペレーション内容に応じて、座席ごとの音響制御を実行する技術が開示されている。
しかしながら、上述のような従来技術は下記の問題がある。
まず、特許文献1に開示されている技術は、音声認識によって、簡単に動作装置を操作する技術であるが、利用者の音声から予め記録されている語彙を抽出する必要があり、従って、語彙抽出を必要としない構成に比べ、高コストとなる。
例えば特許文献1は、周波数成分を解析することにより音韻を抽出するとともに、音韻の並びをテキストデータに変換し、さらに当該テキストデータを形態素(単語の最小単位)に区切り、形態素を用いて単語・連語のような語彙を抽出する音声認識処理部を例示している。
しかし、上述のような複雑な処理を行う精度の高い音声認識処理部を設けようとすると、その分、特許文献1に開示されている技術は、高コストとなる。
他方で、コストを抑えるために音声認識の精度を下げると、利用者の音声からの語彙抽出の精度が低下するため、上記音声認識処理部による音声の認識誤りを防止することが難しくなり、誤作動が生じやすくなる。
また、特許文献2に開示されている技術は、音声の発生場所を認識して、特定の利用者の意図を反映して動作装置を操作する技術であるが、音声のみによって音声の発生場所を特定することが難しいため、操作の意図がない利用者の音声を誤って認識してしまい、誤作動を生じやすい。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、語彙抽出を行うような高精度な音声認識を必要としない、低コストかつ、ユーザの動作制御意図を誤認する可能性の低い制御装置を提供することにある。
上記の課題を解決するため、本発明に係る制御装置は、動作装置の動作を制御するための制御装置であって、
(1)音情報を取得する音情報取得手段と、
(2)自装置および上記動作装置との通信状態を取得する通信状態取得手段と、
(3)当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部と、
(4)上記音情報取得手段が取得した音情報が、当該音判定基準を満たすかを判定する音情報判定手段と、
(5)上記音情報判定手段が満たすと判定すると、上記通信状態取得手段が取得した通信状態に基づき、自装置と通信可能な状態にある上記動作装置に対し制御信号を送信する制御信号生成手段とを備えていることを特徴としている。
(1)音情報を取得する音情報取得手段と、
(2)自装置および上記動作装置との通信状態を取得する通信状態取得手段と、
(3)当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部と、
(4)上記音情報取得手段が取得した音情報が、当該音判定基準を満たすかを判定する音情報判定手段と、
(5)上記音情報判定手段が満たすと判定すると、上記通信状態取得手段が取得した通信状態に基づき、自装置と通信可能な状態にある上記動作装置に対し制御信号を送信する制御信号生成手段とを備えていることを特徴としている。
また、上記の課題を解決するため、本発明に係る制御装置の制御方法は、動作装置の動作を制御するための制御装置の制御方法であって、
(1)音情報を取得する音情報取得ステップと、
(2)自装置および上記動作装置との通信状態を取得する通信状態取得ステップと、
(3)当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部における当該音判定基準を用いて、上記音情報取得ステップにて取得された音情報が、満たすかを判定する音情報判定ステップと、
(4)上記音情報判定ステップにて満たすと判定されると、上記通信状態取得ステップにて取得された通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する制御信号送信ステップとを含むことを特徴としている。
(1)音情報を取得する音情報取得ステップと、
(2)自装置および上記動作装置との通信状態を取得する通信状態取得ステップと、
(3)当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部における当該音判定基準を用いて、上記音情報取得ステップにて取得された音情報が、満たすかを判定する音情報判定ステップと、
(4)上記音情報判定ステップにて満たすと判定されると、上記通信状態取得ステップにて取得された通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する制御信号送信ステップとを含むことを特徴としている。
上記構成および方法によれば、音情報を取得すると、取得した音の大きさおよび長さの少なくとも一方について、基準を満たすかを判定し、基準を満たすと判定すると、取得された自装置および動作装置との通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する。
音の大きさおよび長さの少なくとも一方を判定することは容易であり、判定に際し、語彙抽出のような高精度な音声認識を用いる必要はない。
また、動作制御意図のあるユーザが発する音の大きさおよび長さの少なくとも一方は、それ以外の音の大きさおよび長さの少なくとも一方とは異なる可能性が高い。
例えば、ユーザが動作制御意図をもって敢えて発した「アー」という声は、単なる物音よりも大きいだろうし、連続的な長さを有する会話における声よりも短いと考えられる。
つまり、音の大きさおよび長さの少なくとも一方から、当該音が、動作制御意図のあるユーザが発した音であるのか、それともそれ以外の音であるのかを、高い精度で推定することが可能である。
もちろん、ユーザが発する音は、「アー」という声に限られず、「オン」という声であってもよいし、声ではなく、手を打ち鳴らす音であってもよいし、指を弾いて鳴らす音でもよい。
従って、本発明は、語彙抽出のような高精度な音声認識を必要としない、低コストかつ、ユーザの動作制御意図を誤認する可能性の低い制御装置を提供することができる。
さらに、本発明は、音声認識を行わなくてもよいため、異なる言語が話される地域に、同じ仕様の制御装置を提供することができ、より低コスト化することができる。
さらに、本発明に係る制御装置は、自装置の状態と、動作装置の状態との少なくとも一方を取得する状態取得手段をさらに備えており、上記制御信号生成手段は、上記状態取得手段が取得した状態に対応する制御信号を送信することが好ましい。
上記の構成によれば、状態取得手段は、例えば、「自装置と動作装置との距離」、「自装置の向き」、および「動作装置の動作状態」の少なくとも1つを取得する。
ここで、ユーザからあまりにも離れた場所にある動作装置に対してユーザが動作制御意図を持つことは考えにくい。また、ユーザが見向きもしていない動作装置に対して、ユーザが動作制御意図を持っていることも考えにくい。さらに、例えば、電源が既にオンになっている照明に対して、「電源をオンにする」ことをユーザが意図することも考えにくい。
従って、状態取得手段が、例えば、「自装置と動作装置との距離」、「自装置の向き」、および「動作装置の動作状態」の少なくとも1つを取得し、それに対応する制御信号を生成し、送信することによって、ユーザの動作制御意図の対象である動作装置を、高い精度で推定することができる。
さらに、本発明に係る制御装置は、自装置の状態と、動作装置の状態との少なくとも一方と、動作装置の動作内容とを対応付けた対応制御データを格納する記憶部をさらに備えており、上記制御信号生成手段は、上記対応制御データを参照して、上記状態取得手段が取得した状態に対応する動作内容を示す制御信号を送信することが好ましい。
上記の構成によれば、対応制御データは、同じ1つの動作装置に対し、自装置の状態と、動作装置の状態との少なくとも一方に応じて、複数の動作内容を対応付けている。
これにより、ユーザは、自装置の状態と、動作装置の状態との少なくとも一方を変化させることによって、同じ1つの動作装置に対して、複数の互いに異なる動作内容を指示することができる。
さらに、本発明に係る制御装置は、上記通信状態と、制御信号を送信すべき動作装置の優先順位とを対応付けた優先対象データを格納する記憶部をさらに備えており、自装置が複数の動作装置と通信可能な状態である場合、上記制御信号生成手段は、上記優先対象データを参照し、各動作装置との通信可能状態に対応する優先順位に従って、制御信号を送信する動作装置を決定し、決定した動作装置に制御信号を送信することが好ましい。
上記の構成によれば、制御信号生成手段は、優先対象データによって、自装置と通信可能な状態にある複数の動作装置の中から、制御信号を送信する動作装置を決定する。
これにより、ユーザの動作制御意図の対象ではない動作装置に対して、制御信号を送信してしまう可能性を抑えることができる。
さらに、本発明に係る制御装置は、
(A)上記音情報判定手段は、上記音判定基準の判定基準を満たす音情報が存在すると判定した場合、上記音判定基準の判定基準を満たす音情報が存在すると判定した旨を、請求項1から6のいずれか1項に記載の制御装置であって、自己以外の制御装置である制御装置へと通知し、
(B)上記記憶部は、上記通知によって、上記自己以外の制御装置が、自己と同時に、「音判定基準の基準を満たす音情報が存在する」と判定したことを認識した場合に、動作装置に動作指示を与える権限を持つのがどの制御装置なのかを、制御装置自身が決定するためのデータである制御装置優先順位データを格納しており、
(C)上記制御信号生成手段は、当該制御装置優先順位データと、上記通知とに基づいて、自己が動作装置に制御指示を与える権限を持つ制御装置であるかを確認し、自己が権限を持つ場合は動作指示の対象動作装置を決定し、権限を持たない場合は処理を中止することが好ましい。
(A)上記音情報判定手段は、上記音判定基準の判定基準を満たす音情報が存在すると判定した場合、上記音判定基準の判定基準を満たす音情報が存在すると判定した旨を、請求項1から6のいずれか1項に記載の制御装置であって、自己以外の制御装置である制御装置へと通知し、
(B)上記記憶部は、上記通知によって、上記自己以外の制御装置が、自己と同時に、「音判定基準の基準を満たす音情報が存在する」と判定したことを認識した場合に、動作装置に動作指示を与える権限を持つのがどの制御装置なのかを、制御装置自身が決定するためのデータである制御装置優先順位データを格納しており、
(C)上記制御信号生成手段は、当該制御装置優先順位データと、上記通知とに基づいて、自己が動作装置に制御指示を与える権限を持つ制御装置であるかを確認し、自己が権限を持つ場合は動作指示の対象動作装置を決定し、権限を持たない場合は処理を中止することが好ましい。
上記の構成によれば、ユーザが複数の制御装置を有している場合であっても、各制御装置が相互に通信し合うことにより、各装置は、基準を満たす音を検知したのがどの制御装置であるかを認識することができる。
さらに、制御装置優先順位データによって、基準を満たす音を検知した制御装置のうち、どの制御装置が動作装置に対して制御信号を送信する権限を持つのかを、制御装置自身が決定することができる。
これにより、ユーザが意図したのではない制御装置が、制御信号を送信してしまう可能性を抑えることが可能となる。
さらに、本発明に係る制御装置は、上記動作装置を一体として備えることが好ましい。
上記の構成によれば、他の動作装置の動作を制御することのできる多機能な動作装置を提供することが可能となる。
なお、上記制御装置の各手段を、制御プログラムによりコンピュータ上で実行させることができる。さらに、上記制御プログラムを、コンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で当該制御プログラムを実行させることができる。
なお、上記構成の制御装置と、当該制御装置によって動作を制御される動作装置とを含む動作装置制御システムであれば、上述と同様の効果を奏することができる。
本発明に係る制御装置は、動作装置の動作を制御するための制御装置であって、
(1)音情報を取得する音情報取得手段と、
(2)自装置および上記動作装置との通信状態を取得する通信状態取得手段と、
(3)当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部と、
(4)上記音情報取得手段が取得した音情報が、当該音判定基準を満たすかを判定する音情報判定手段と、
(5)上記音情報判定手段が満たすと判定すると、上記通信状態取得手段が取得した通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する制御信号生成手段とを備えている。
(1)音情報を取得する音情報取得手段と、
(2)自装置および上記動作装置との通信状態を取得する通信状態取得手段と、
(3)当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部と、
(4)上記音情報取得手段が取得した音情報が、当該音判定基準を満たすかを判定する音情報判定手段と、
(5)上記音情報判定手段が満たすと判定すると、上記通信状態取得手段が取得した通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する制御信号生成手段とを備えている。
これにより、高精度な音声認識を必要としない、低コストかつ、ユーザの動作制御意図を誤認する可能性の低い制御装置を提供することができるという効果を奏する。
以下では、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の一実施形態に係る動作装置制御システムの概要を示すブロック図である。上記動作装置制御システムは、制御装置1と、1または複数の動作装置2とを備える。本実施形態では、制御装置1としてスマートフォンを利用しているが、これに限定されるものではない。また図2は、上記制御装置1における処理の概要を示すフロー図である。
まず、説明の簡明化を図るため、制御装置1における処理の概要から説明を行う。
(1)制御装置における処理の概要
図2は、上記制御装置1における処理の概要を示すフロー図である。
(1)制御装置における処理の概要
図2は、上記制御装置1における処理の概要を示すフロー図である。
まず、ステップ1(以下、S1のように略記する)では、制御装置1は音情報を取得する(音情報取得ステップ)。次に、制御装置1は、取得した音の大きさおよび長さの少なくとも一方について、音判定基準を満たすかを判定し(S2)する(音情報判定ステップ)。取得した音が音判定基準を満たすと判定した場合(S2でYes)、制御装置1は、さらに、自装置と動作装置2との通信状態を取得し(S3;通信状態取得ステップ)、自装置と通信状態にあることを確認することのできた動作装置2に対し、制御信号を送信する(S4;制御信号送信ステップ)。
ここで、音の大きさおよび長さの少なくとも一方を判定することは容易であり、判定に際し、語彙抽出のような高精度な音声認識を用いる必要はない。
また、動作制御意図のあるユーザが発する音の大きさおよび長さの少なくとも一方は、それ以外の音の大きさおよび長さの少なくとも一方とは異なる可能性が高い。
例えば、ユーザが動作制御意図をもって敢えて発した「アー」という声は、単なる物音よりも大きいだろうし、連続的な長さを有する会話における声よりも短いと考えられる。
つまり、音の大きさおよび長さの少なくとも一方から、当該音が、動作制御意図のあるユーザが発した音であるのか、それともそれ以外の音であるのかを、高い精度で推定することが可能である。
従って、制御装置1は、語彙抽出のような高精度な音声認識を用いずに、ユーザの動作制御意図を、高い精度で推定することができる。
さらに、制御装置1は、音声認識を行わなくてもよいため、異なる言語が話される地域に、同じ仕様の制御装置を提供することができ、より低コスト化することができる。
なお、制御装置1は、音の大きさおよび長さの少なくとも一方を判定するのであるから、制御装置1が判定する音は、例えば、ユーザが発した「アー」や「オン」といった声、またはユーザが手をたたいて発する音であってもよい。
なお、上記の処理において、制御装置1は、自装置と動作装置2との通信状態の取得に先行して、音情報の取得および判定を行っているが、この処理順序は必須のものではない。
音情報と上記通信状態とを同時に取得するとしても、音情報と上記通信状態とを組み合わせて、信号送信の可否および対象動作装置2を決定することは可能だからである。
制御装置1は、ユーザの制御意図を判定するための音情報と、制御信号の送信対象動作装置2を決定するための上記通信状態とを取得できればよいのであって、音情報の取得および判定後に上記通信状態を取得するという処理順序は必須ではない。
ただし、単純な音情報の取得および判定後に初めて、上記通信状態の取得以後の処理を行うとすることによって、上記通信状態の取得以後の処理で消費する電力を抑えることができる。
すなわち、動作制御意図のあるユーザが発した音を検知した場合に初めて、通信状態の取得および判定を行うとすることで、通信状態の無用な取得および判定に係る電力消費を抑えることができる。
図2に示す上記処理を行う制御装置1のハード構成について、以下説明する。
(2)制御装置の主要な構成
図1は、上記制御装置1のハード構成の概要を示すブロック図である。また、図3は、上記制御装置1の主要な構成である制御部10の各機能部が、制御装置1の他の機能部からどのような情報を取得し、どのように動作するかを示すブロック図である。
(2)制御装置の主要な構成
図1は、上記制御装置1のハード構成の概要を示すブロック図である。また、図3は、上記制御装置1の主要な構成である制御部10の各機能部が、制御装置1の他の機能部からどのような情報を取得し、どのように動作するかを示すブロック図である。
制御装置1は、上記制御信号送信処理を司る主要な構成として、制御部10を備えている。ここでは、まず、制御部10の機能的な構成について説明する。
図3に示すように、制御部10は、機能部として、音情報判定部120(音情報判定手段)と、制御信号生成部130(制御信号生成手段)とを含む。
音情報判定部120は、音情報が音判定基準を満たすかを判定し、制御信号生成部130は、制御装置1と動作装置2との通信状態に基づいて制御信号の送信対象動作装置2を決定する。
制御信号生成部130は、さらに、制御装置1の状態と、動作装置2の状態との少なくとも一方と、動作装置2の動作内容とを対応付けた対応制御データを参照して、制御装置1の状態と、動作装置2の状態との少なくとも一方に対応する動作内容を示す制御信号を、操作装置2に送信することもできる。
ここで、対応制御データは、例えば、「制御装置1から1m以内の範囲にある」という状態にある動作装置2にのみ、動作内容を定義づけておくことも可能である。つまり、対応制御データによって、単に制御装置1と通信可能であるだけでなく、例えば、「制御装置1から1m以内の範囲にある」といった別の条件を満たした状態にある動作装置2のみを、制御信号の送信対象として定義することが可能となる。
従って、実質的に対応制御データは、制御装置1が発する制御信号の対象についても、制御装置1の状態と、動作装置2の状態との少なくとも一方とに対応付けている。
制御装置1は、例えば、「制御装置1から1m以内の範囲にある」といった動作装置2の状態に対応する制御信号を送信することにより、単に制御装置1と通信可能な状態にある動作装置2に制御信号を送信する場合に比べ、ユーザの動作制御意図の対象である動作装置2を、高い精度で推定することができる。
さらに、対応制御データは、制御装置1の状態と、動作装置2の状態との少なくとも一方と、動作装置2の動作内容とを対応付けている。つまり、対応制御データは、同じ1つの動作装置2について、例えば、動作装置2の状態に応じて、複数の異なる動作内容を対応付けている。
従って、制御信号生成部130は、対応制御データに基づき、1つの動作装置2に対して、制御装置1の状態と、動作装置2の状態との少なくとも一方に基づいて、複数の異なる動作内容の制御信号を、送信することができる。
なお、対応制御データの内容と、制御装置1および動作装置2の状態の取得方法について、詳細は後述する。
また説明の便宜のため、制御信号生成部130の用いる、制御装置1と動作装置2との通信状態、および制御装置1の状態と、動作装置2の状態との少なくとも一方に係る情報について、特に区別する必要がない限り、両者を合わせて、補助情報と呼ぶことにする。
以下、制御部10の各機能部についてより詳細に説明する。
音情報判定部120は、上記制御装置1の取得した音が、音判定基準を満たしているかを判定する。
ここで、音判定基準とは、詳細は後述するが、例えば「音の大きさ」といった判定内容と、「60デシベル以上70デシベル以下」といった判定基準とを必須要素として含む情報であり、予め記憶部18に格納されている。
音情報が音判定基準を満たすと音情報判定部120が判定すると、音情報判定部120はさらに、制御信号生成部130に対し、「音情報が音判定基準の示す」旨を通知し、または、補助情報の判定を実行するよう指示する。
上記指示に従い、制御信号生成部130は、補助情報の判定を実行する。すなわち、制御信号生成部130は、上記制御装置1の取得する、補助情報と対応制御データとを用いて、制御信号を送信する対象である動作装置2と制御内容とを決定し、制御信号を送信する。
上述した制御部10の各機能部は、CPU(central processing unit)等が、ROM(read only memory)、NVRAM(non-volatile random access memory)等で実現された記憶装置(記憶部18)に記憶されているプログラムをRAM(random access memory)等に読み出して実行することで実現できる。
(3)音判定基準および対応制御データの構成の概要
図4は、記憶部18が格納している音判定基準を示す表形式の図であり、図5は、記憶部18が格納している対応制御データを示す表形式の図である。
(3)音判定基準および対応制御データの構成の概要
図4は、記憶部18が格納している音判定基準を示す表形式の図であり、図5は、記憶部18が格納している対応制御データを示す表形式の図である。
音判定基準とは、制御装置1が取得した音情報を、音情報判定部120が判定する際に用いる情報であり、上記の通り、例えば「音の大きさ」といった判定内容と、「60デシベル以上70デシベル以下」といった判定基準とを含む情報である。
図4に示されているように、音判定基準は、判定内容および判定基準以外の要素として、情報取得順位、判定対象機器、制御対象機器、制御内容、利用有無を含んでいる。
なお、音判定基準の含んでいる、判定内容および判定基準以外の上記要素は、音判定基準を対応制御データと同じデータ構造にするための要素であり、音判定基準にとって必須の要素ではない。
音情報判定部120は、制御装置1が取得した音情報を、「音の大きさ」といった判定内容と、「60デシベル以上70デシベル以下」といった判定基準とだけに基づいて、判定することができるからである。
音判定基準の含んでいる、判定内容および判定基準以外の上記要素の詳細は、対応制御データについて説明する際に述べる。
音判定基準と対応制御データとは、同じデータ構造を有することで、同じテーブルに格納しておくことができる。
対応制御データは、上記のように、実質的に、制御装置1が発する制御信号の対象および制御内容を、制御装置1の状態と、動作装置2の状態との少なくとも一方とに対応付けており、予め記憶部18に格納されている。
対応制御データは、例えば、動作装置2の状態が、「制御装置1から所定距離に存在する」というものである場合、当該動作装置2を制御装置1の制御対象動作装置2とするといった内容を定義している。
また、対応制御データは、例えば、制御装置1の状態が、「制御装置1の表側が上記動作装置2に向いている」というものである場合、「電源をオンにする」という操作内容の信号を送信するといった内容を定義している。
一方、補助情報とは、制御信号生成部130が、上記対応制御データを用いて、制御信号を送信する動作装置2および制御信号の内容を決定するために取得する情報であり、つまり対応制御データの制御条件の内容に対応する情報である。
例えば、制御信号生成部130が、「制御装置1から所定距離に存在する」という制御条件を含む対応制御データを用いる場合、補助情報は、「制御装置1から各動作装置2がどのくらい離れているか」を示す情報となる。
また例えば、制御信号生成部130が、「制御装置1の表側が対象動作装置2へと向いているか」という制御条件を含む対応制御データを用いる場合、補助情報は、「制御装置1は、対象動作装置2に対してどちら側を向けているか」を示す情報となる。
制御信号生成部130は、補助情報と、対応制御データとを用いて、制御信号を送信する動作装置2と、制御内容とを決定することができる。
以下、さらに詳細に対応制御データおよび補助情報について説明する。
(4)対応制御データの構成の詳細
対応制御データとは、制御装置1が取得した音情報以外の情報である補助情報に基づいて、制御信号生成部130が、制御信号を送信する動作装置2および制御信号の内容を決定する際に参照する情報である。
(4)対応制御データの構成の詳細
対応制御データとは、制御装置1が取得した音情報以外の情報である補助情報に基づいて、制御信号生成部130が、制御信号を送信する動作装置2および制御信号の内容を決定する際に参照する情報である。
図5は、記憶部18に予め格納されている対応制御データを示すものであり、対応制御データは、判定内容および判定基準以外の要素として、情報取得順位、判定対象機器、制御対象機器、制御内容、利用有無を含んでいる。
以下、音判定基準および対応制御データの含んでいる、判定内容および判定基準以外の上記要素の詳細について説明する。なお、説明を簡明化するため、利用有無、判定対象機器、制御対象機器、制御内容、情報取得順位の順に説明を行っていくものとする。また、各データを、音情報判定部120と、制御信号生成部130とが如何に用いるかについても、併せて詳細に説明する。
まず第1に、利用有無は、音情報判定部120と、制御信号生成部130とが、各々、複数の異なる内容の判定を行い得る場合に、音情報判定部120と、制御信号生成部130とが実際に行う判定はどの内容の判定なのかを示している。
例えば、図4に示すように、音情報判定部120が、制御装置1の取得する音情報について、「音の大きさ」と「音の長さ」とを判定することができる場合、利用有無の欄が「利用」となっている「音の大きさ」を音情報判定部120は判定する。
当然、「音の長さ」の利用有無の欄のみが「利用」となっている場合には、音情報判定部120は、「音の長さ」のみを判定する。また、「音の大きさ」と「音の長さ」との利用有無の欄がともに「利用」となっている場合、音情報判定部120は、「音の大きさ」と「音の長さ」との両方を判定する。
同様に、例えば、図5に示すように、利用有無の欄が「利用」となっている「自装置からの距離」と「自装置の向き」とである場合、制御信号生成部130は、「制御装置1からの距離」と「制御装置1の向き」とを判定する。なお、当該判定内容について、詳細は判定対象機器の説明において述べる。
なお、音情報判定部120と、制御信号生成部130とについて、各々が判定する内容が所与であり、判定内容を変更することはできないとする場合、上記「利用有無」の欄は不要となる。
上記「利用有無」の欄を設けることで、例えばユーザによる制御装置1の利用状況に応じて、複数の判定内容の中から、どの判定内容を、音情報判定部120と、制御信号生成部130とに採用させるかを選択することができるようになる。
第2に、判定対象機器は、制御装置1が行う判定の、つまり、音情報判定部120と制御信号生成部130とが行なう判定の対象となる動作機器を示す。
例えば、図4で、「音の大きさ」の判定対象機器は「自装置」となっているが、これは、音情報判定部120が、制御装置1の取得する「音の大きさ」を判定することを示している。
また図5で、「自装置からの距離」の判定対象機器が「自装置以外」となっているが、これは、制御信号生成部130が、制御装置1以外の動作機器について、「自装置、つまり制御装置1からの距離」を判定することを示している。
なお、上記「判定対象機器」の欄についても、音情報判定部120と、制御信号生成部130とについて、各々が判定する対象である動作機器が所与であり、判定対象である動作機器を変更することはできないとする場合、不要となる。
例えば、音情報判定部120による音情報の判定について、音情報判定部120は、「音の大きさ」を判定する場合も、「音の長さ」を判定する場合も、いずれにせよ、制御装置1の取得する音情報を判定するものである。
従って、音判定基準としては、「判定対象機器」という要素は不要である。ただし、音判定基準と対応制御データとのデータ構造を同じにすることで、両データを同じ1つのテーブルに格納しておくことができるようになる。
第3に、制御対象機器は、判定基準を満たす動作機器が存在すると判定した場合に、制御装置1が動作を指示する対象となる動作機器を示し、第4に、制御内容は、制御装置1が制御対象機器に対して指示する動作の内容を示す。
例えば、図4で、「音の大きさ」の制御対象機器は「自装置」となっており、また、制御内容は「補助情報取得順位:1の情報を取得」となっている。
これは、音情報判定部120が判定基準を満たす音情報があると判定した場合に、音情報判定部120は、「自装置」、つまり、制御装置1の制御信号生成部130に、「補助情報取得順位が1である情報を取得」するよう、指示することを示している。
制御信号生成部130は、上記指示に基づいて、利用有無の欄が「利用」であって、情報取得順位の欄が「1」の対応制御データに対応する補助情報を取得する。
図5に示すように、利用有無の欄が「利用」となっている対応制御データの中で、情報取得順位が「1」である判定内容は、「自装置からの距離」である。
従って、制御信号生成部130は、まず、各動作装置2と、自装置、つまり制御装置1との距離の情報を取得する。
ここで、「自装置からの距離」の判定対象機器は「自装置以外」であり、判定基準は「1m以内」である。従って、制御装置1以外の動作機器であって、制御装置1から1m以内にある動作機器が存在する場合、制御信号生成部130は、判定基準は満たされていると判定し、「自装置からの距離」の制御内容を実行する。
「自装置からの距離」の制御内容は「補助情報取得順位:2の情報を取得」であるため、制御信号生成部130は、利用有無の欄が「利用」となっている対応制御データの中で、情報取得順位が「2」である「自装置の向き」に対応する補助情報を取得する。
ここで、「自装置の向き」とは、各動作装置2に対して、制御装置1は、表側を向けているのか、それとも裏側を向けているのかという情報を指す。なお、スマートフォンである制御装置1について、タッチパネルのある側を表側とする。
制御装置1から1m以内にエアコンがあり、制御装置1の表側がエアコンに向いている場合、制御信号生成部130は、「制御装置1から1m以内」にあるエアコンに対して、「電源をオンにする」制御信号を生成することを決定し、当該制御信号を送信する。
なお、上記「制御対象機器」についても、制御装置1が制御できる動作装置2と、制御内容とは所与であり、変更することはできないとする場合、不要となる。
音判定基準が制御対象機器および制御内容という要素を含まない場合であっても、例えば下記のように制御信号生成部130の処理を定義することで、音判定基準が制御対象機器と制御内容という要素を含む場合と同様の処理を実行することが可能となる。
すなわち、音情報判定部120から、判定基準を満たす音情報がある旨を通知された制御信号生成部130は、常に、情報取得順位が「1」の判定を実行するとするのである。
上記「制御対象機器」という要素を、音判定基準および対応制御データに設けることによって、制御装置1の制御できる動作装置2を変更することができる。
第5に、情報取得順位は、制御装置1が、音判定基準に対応する音情報と、対応制御データに対応する補助情報とを取得する順番である。
例えば、音判定基準の情報取得順位が、対応制御データの情報取得順位よりも早い場合、制御装置1は、まず音情報を取得し、当該音情報を音判定基準に基づき判定した後、補助情報を取得する。
当然、音判定基準と対応制御データとで情報取得順位が同じ場合、音情報と補助情報とを制御装置1は同時に取得するが、上記の通り、補助情報の取得を音情報の判定後にすることで、制御装置1の消費する電力を抑えることができる。
また、複数の対応制御データのそれぞれに対応する複数の補助情報を取得し、当該複数の補助情報の中で、取得順位に差を設ける場合にも、情報取得順位を利用することができる。
例えば、図5に示すように、「自装置からの距離」と「自装置の向き」との利用有無の欄が「利用」になっており、「自装置からの距離」の情報取得順位が、「自装置の向き」の情報取得順位よりも早い場合、制御装置1は、以下のように動作する。
すなわち、制御装置1は、まず「制御装置1から1m以内にある動作装置2があるか」を判定し、次に「制御装置1から1m以内にある動作装置2に対し、制御装置1は表側と裏側のいずれを向けているか」を判定する。
当然、「自装置からの距離」と「自装置の向き」とで情報取得順位を同じにすることで、「制御装置1と各動作装置2との距離」と「各動作装置2に対し制御装置1はどの面を向けているか」を、制御装置1は同時に取得する。
また、「情報取得順位」の欄を設けずに、音情報および補助情報の取得および判定をすべて同時に行うとすることもできる。
しかし、複数の情報を同時に取得するよりも、順番に取得して判定する方が、制御装置1の消費電力を抑えることができる点は、上記の通りである。
スマートフォンである上記制御装置1のより具体的な構成および動作の一例について説明すると、以下のとおりである。
(制御装置の具体的な構成)
制御装置1は、音情報と補助情報とを組み合わせて、制御装置1が制御信号を送信する動作装置2と、当該制御信号の内容とを決定するものである。
制御装置1は、音情報と補助情報とを組み合わせて、制御装置1が制御信号を送信する動作装置2と、当該制御信号の内容とを決定するものである。
従って、制御装置1は、音情報を取得する音情報取得部と、補助情報を取得する補助情報取得部とを有する。
なお、上記のように、補助情報とは、制御装置1と動作装置2との通信状態、および制御装置1の状態と、動作装置2の状態との少なくとも一方に係る情報であった。従って、補助情報取得部は、制御装置1と動作装置2との通信状態を取得する通信状態取得部と、制御装置1の状態と、動作装置2の状態との少なくとも一方を取得する状態取得部とに分けて考えることができる。
図1に示すように、本実施例において、制御装置1は、上記音情報取得部として、マイクロフォン13(音情報取得手段)を備える。
また、制御装置1は、上記補助情報取得部として、RFID(Radio Frequencu Identification)リーダ14(通信状態取得手段/状態取得手段)、赤外線センサ15(通信状態取得手段/状態取得手段)、無線LAN通信モジュール16(通信状態取得手段/状態取得手段)、加速度センサ17(状態取得手段)を備える。
このうち、加速度センサ17は、状態取得部であるが、RFIDリーダ14、赤外線センサ15、無線LAN通信モジュール16は、通信状態取得部であるのと同時に、状態取得部でもある。すなわち、RFIDリーダ14、赤外線センサ15、無線LAN通信モジュール16は、制御装置1と動作装置2との通信状態だけでなく、制御装置1および動作装置2の少なくとも一方の状態を取得することができる。これに対し、加速度センサ17が取得するのは、制御装置1の傾き等の状態を取得するものである。
さらに、制御装置1は、上記の通り、制御部10と記憶部18とを備え、またキー操作部19と、無線通信部12と、アンテナ11とを備える。
記憶部18は、上記の通り、図4に示す音判定基準と、図5に示す対応制御データとを予め格納しており、さらに、図9に示す優先対象データと、図10に示す制御装置優先順位データとを格納している。
優先対象データとは、制御装置1が制御しようとする対象動作機器が複数存在する場合に、どの動作機器を優先的に操作するかを決定するためのデータであり、詳細は後述する。
制御装置優先順位データとは、ユーザが本発明に係る制御装置を複数所持する場合に、動作装置2に制御信号を送信する権限を持つのがどの制御装置なのかを、制御装置自身が決定するためデータであり、詳細は後述する。
制御装置1は、無線通信部12およびアンテナ11を介して、外部の動作機器に対して制御信号を送信することができる。
また、詳細は後述するが、ユーザがキー操作部19を操作することによって、制御装置1は、制御処理利用モードと制御処理不要モードと、データ更新モードとに切り替わることができる。
(制御装置の動作)
次に、上記構成における移動通信装置1の動作について説明する。図6は、制御装置1の動作を示すフローチャートである。
次に、上記構成における移動通信装置1の動作について説明する。図6は、制御装置1の動作を示すフローチャートである。
なお、ここで、制御装置1は、図4に示す音判定基準と、図5に示す対応制御データとを、予め記憶部18に格納している。
従って、音情報判定部120は、図4で利用有無の欄が「利用」である「音の大きさ」を判定内容とし、その判定基準は「60デシベル以上70デシベル以下」である。
なお、上記判定基準によって、制御装置1は、ユーザの制御意図を誤認識する可能性を抑制することが可能となる。
なぜならば、一般的な話し声の大きさは60デシベル程度とされ、70デシベルが掃除機や騒々しい事務所の音の大きさであり、人の一般的な話し声程度の大きさの声のみを、ユーザの制御意図のある音と判定することが可能となるからである。
同様に、図5に示すように、制御信号生成部130は、まず「自装置、つまり制御装置1からの距離」が「1m以内」にある、「自装置、つまり制御装置1以外の動作装置2」があるかを判定する。
制御信号生成部130が、「制御装置1からの距離が1m以内にある、制御装置1以外の動作装置2がある」と判定する場合、制御信号生成部130は、次に、当該動作装置2に対する「自装置、つまり制御装置1の向き」を判定する。
また、説明の簡明化を図るため、図6に示すフロー図においては、「制御装置1からの距離が1m以内にある動作装置2」は1台のみであり、エアコンであったとする。
当然、上記仮定は、制御装置1にとって必須のものではなく、あくまでも説明の簡明化のための過程である。
制御信号生成部130が、複数の動作機器が対応制御データの判定基準を満たすと判定する場合の制御装置1の処理について、詳細は後述する。
まず、ステップ11で、制御装置1は、音情報取得部であるマイクロフォン13によって音情報を取得する。そして、マイクロフォン13は、取得した音情報を、制御部10の音情報判定部120に通知する。
音情報判定部120は、記憶部18に格納されている「音の大きさ」の判定基準である「60デシベル以上70デシベル以下」を用いて、通知された音情報が、当該基準を満たすかを判定する(S12)。
通知された音情報は上記基準を満たさないと音情報判定部120が判定する場合(S12でNo)、制御部10は処理を終了する(End)。
通知された情報は上記基準を満たすと音情報判定部120が判定する場合(S12でYes)、音情報判定部120は、制御内容に基づいて、制御信号生成部130に「補助情報取得順位が1である情報を取得」するよう指示する。
上記の指示を受けた制御信号生成部130はまず、「制御装置1からの距離が1m以内にある、制御装置1以外の動作装置2があるか」という判定に対応する補助情報を取得する。
すなわち、制御信号生成部130は、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とを用いて、当該各補助情報取得部と通信可能な動作装置2、および当該動作装置2と制御装置1との距離を取得する。
より正確には、制御信号生成部130は、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とが、各々、通信可能距離を有することを利用し、制御信号生成部130は、上記各部と通信することのできた動作装置2について、制御装置1との距離を推定する。
ここで、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とについて、それぞれ通信可能距離は、1mから2m、1m以内、50mである。制御信号生成部130は、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とから取得する情報に基づき、下記の推定を行う。
すなわち、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とが全て通信可能であった動作装置2がある場合、当該動作装置2は、制御装置1から1m以内の距離にあったと、制御信号生成部130は推定する。
また、RFIDリーダ14と、無線LAN通信モジュール16とが通信可能であった動作装置2がある場合、当該動作装置2は、制御装置1から1mから2mの距離にあったと、制御信号生成部130は推定する。
RFIDリーダ14のみが動作装置2と通信可能であった場合、当該動作装置2は、制御装置1から2m以上の距離にあったと、制御信号生成部130は推定する。
上記のように、制御信号生成部130は、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とから、各動作装置2と制御装置1との距離を取得する(S13)。
そして、制御信号生成部130は、上記複数の動作装置2の中に、制御装置1から1m以内にある動作装置2が存在するか否かを判定する(S14)。
制御信号生成部130が、上記複数の動作装置2の中に、制御装置1から1m以内にある動作装置2が存在しないと判定する場合(S14でNo)、制御部10は処理を終了する(End)。
制御信号生成部130が、上記複数の動作装置2の中に、制御装置1から1m以内にある動作装置2が存在すると判定する場合(S14でYes)、制御信号生成部130は、制御装置1の、当該動作装置2への向きを取得する(S15)。
なおここで、上記の通り、説明の簡明化のため、制御装置1から1m以内には1台のエアコンのみがあったとする。
従って、制御信号生成部130は、上記エアコンへの制御装置1の向きを取得する。
具体的には、制御信号生成部130は、加速度センサ17を用いて、制御装置1の向きを取得することができる。
また、制御装置1から1m以内に上記エアコンがあり、通信可能距離が1m以内である赤外線センサ15と、上記エアコンとは通信することができる。従って、制御信号生成部130は、赤外線センサ15の指向性を利用して、制御装置1の赤外線センサ15が付いている側が上記エアコンに向かっていると判定することができる。
なお、スマートフォンである制御装置1について、タッチパネルのある側、つまりキー操作部19の表示される側を表側と定義する。
制御信号生成部130が、制御装置1の表側が上記エアコンへと向いていると判定する場合(S16でYes)、制御信号生成部130は、上記エアコンに対し、上記エアコンの電源をオンにする制御信号を生成することを決定し、制御信号を送信する。
制御信号生成部130が、制御装置1の裏側が上記エアコンへと向いていると判定する場合(S16でNo)、制御信号生成部130は、上記エアコンに対し、上記エアコンの電源をオフにする制御信号を生成することを決定し、制御信号を送信する。
(複数の動作装置の制御)
図9は、記憶部18が予め格納している優先対象データを表す表形式の図である。
図9は、記憶部18が予め格納している優先対象データを表す表形式の図である。
優先対象データを参照することによって、制御装置1は、音情報が音判定基準を満たし、かつ補助情報と対応制御データとによって制御対象であると判定した動作機器が複数存在する場合に、どの動作装置2を優先的に操作すべきかを決定する。
例えば、「60デシベル以上70デシベル以下」の音をユーザが発した時に、「制御装置1から1m以内」に、エアコンとテレビと照明とがあった場合、図9に示すように、制御装置1はまず、照明を操作する。
制御装置1によって操作する動作装置2について、操作の順番を決めておくことで、例えば、「最初に照明を消してしまって、ユーザは真っ暗な部屋の中で何も見えなくなってしまう」といった、動作装置2の想定外の動作を防ぐことが出来る。
また、図9に示すように、優先対象データは、制御内容に応じて、各制御対象機器の操作優先順位が異なっている。
例えば、エアコンとテレビと照明について、部屋に入って最初に「電源をオンにする」のは、照明であり、続いてエアコン、最後にテレビと考えられる。しかし、部屋を退出する際には、テレビ、エアコン、照明の順で「電源をオフにする」方が、ユーザにとって便利だと考えられるからである。
(複数の制御装置の制御)
次に、制御装置1の近傍に発明に係る別の制御装置1´が存在する場合に、動作装置2に制御信号を送信する権限を持つのがどちらの制御装置なのかを、制御装置1と1´とが決定する方法を説明する。
次に、制御装置1の近傍に発明に係る別の制御装置1´が存在する場合に、動作装置2に制御信号を送信する権限を持つのがどちらの制御装置なのかを、制御装置1と1´とが決定する方法を説明する。
図10は、本発明に係る制御装置が複数存在する場合に、動作装置2に制御信号を送信する権限を持つのがどの制御装置なのかを、制御装置1が決定するための制御装置優先順位データを示す表形式の図であり、記憶部18が予め格納している。
制御装置1は、「60デシベル以上70デシベル以下」の音があったと判定すると、その近傍に存在する制御装置1´に対し、当該判定結果を通知する。
同様に、制御装置1´も、「60デシベル以上70デシベル以下」の音があったと判定すると、その近傍に存在する制御装置1に対し、当該判定結果を通知する。
記憶部18と18´とはそれぞれ、図10に示す同じ内容の制御装置優先順位データを格納しており、制御装置1と1´とは、当該制御装置優先順位データに基づき、動作装置2に制御信号を送信する権限を持つのがどの制御装置なのかを決定する。
図10に示すように、制御装置1の優先順位の方が、制御装置1´の優先順位よりも高いため、両者がともに、同時に「60デシベル以上70デシベル以下」の音があったと判定する場合、制御信号の送信権限は制御装置1が有する。
当然、制御装置1と1´のどちらか一方のみが「60デシベル以上70デシベル以下」の音があったと判定する場合には、当該判定を行った制御装置が、制御信号の送信権限を有する。
制御装置1と1´とは、各々、「60デシベル以上70デシベル以下」の音があったと判定する場合に、当該判定結果を他の制御装置へと通知することによって、音判定基準を満たす音を検知した制御装置が1台であったのか、複数台であったのかを確認する。
制御装置優先順位データは、複数の制御装置が同時に、「音情報が音判定基準の基準を満たす」と判定する場合に、動作装置2に制御信号を送信する権限を持つのがどの制御装置なのかを、制御装置自身が決定するためのデータである。
複数の制御装置について、各制御装置が同じ制御装置優先順位データを有し、音判定基準の基準を満たす音情報が存在すると判定した旨を互いに通知し合うことにより、動作装置2の想定外の動作を防ぐことが出来る。
すなわち、複数の制御装置が、各々、同じ動作装置2に対して、異なる制御内容の制御信号を送信してしまうといった事態を防ぐことができる。
なお、上記制御装置優先順位データによる制御権限の決定は、制御信号生成部130が行う。
(モード切替)
ユーザがキー操作部19を操作することによって、制御装置1は、制御処理利用モードと制御処理不要モードと、データ更新モードとに切り替わることができる。
ユーザがキー操作部19を操作することによって、制御装置1は、制御処理利用モードと制御処理不要モードと、データ更新モードとに切り替わることができる。
制御処理利用モードとは、これまで説明してきたように、制御部10が、マイクロフォン13によって収集する音を自動的に判定し、さらに補助情報判定、そして制御信号の送信対象動作機器および制御内容の決定といった一連の処理を実行するモードである。
制御処理不要モードとは、制御部10が上記処理を行わないモードである。
ユーザは、キー操作部19により制御処理利用モードと制御処理不要モードとを切り替えることで、制御装置1を制御装置として使用しない場合の、例えば単に電話として用いる場合の、制御装置1の電力消費を抑えることが可能となる。
データ更新モードとは、記憶部18が格納している音判定基準、対応制御データ、優先対象データ、制御装置優先順位データの内容を、ユーザが更新することのできるモードである。
例えば、「自装置からの距離」という判定内容の対応制御データの判定基準を、「1m以内」から「0.5m以内」へと変更したり、「自装置の向き」が「表」である場合の制御内容を、「電源をオンにする」から「電源をオフにする」に変更することができる。
ユーザによるカスタマイズを可能とすることにより、各ユーザにとってより感覚的に理解しやく、ユーザによる柔軟な運用になじみやすい制御方法を、制御装置1は備えることが可能となる。
(ユーザによる使用例)
以下に、実際にユーザが制御装置1をどのように用いて各動作装置2の動作を制御するかを、図7および図8を用いて説明する。
以下に、実際にユーザが制御装置1をどのように用いて各動作装置2の動作を制御するかを、図7および図8を用いて説明する。
なおここでも、制御装置1は、図4に示す音判定基準と、図5に示す対応制御データとを、予め記憶部18に格納している。
また、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とについて、それぞれ通信可能距離は、1mから2m、1m以内、50mである。
さらに、図7および図8において、制御装置1(スマートフォン)を中心とする実線および点線の円は、制御装置1から1mの範囲を示している。
図7は、制御装置1と、電源をオンにする制御信号を制御装置1から受信する動作装置2であるエアコン22との位置関係の例を示す図である。
また、図8は、制御装置1と、電源をオフにする制御信号を制御装置1から受信する動作装置2であるエアコン22との位置関係の例を示す図である。
まず図7について、ユーザは、ドア51を通って部屋50に入室した後、ドア51のそばの場所501で、制御装置1の表側をエアコン22に向けながら、「アー」という声をあげる。
ユーザの持ち歩いている制御装置1は、マイクロフォン13によって音情報の取得を行っており、マイクロフォン13は、上記ユーザの声を、音情報判定部120に通知する。
音情報判定部120は、上記ユーザの声の大きさが「60デシベル以上70デシベル以下」であるかを判定する。
上記ユーザの声が「60デシベル以上70デシベル以下」であると判定した場合、音情報判定部120は、制御信号生成部130に、「制御装置1から1m以内にある動作機器があるか」を判定するよう指示する。
上記指示に従って、制御信号生成部130は、RFIDリーダ14と、赤外線センサ15と、無線LAN通信モジュール16とから、テレビ21およびエアコン22と制御装置1との距離を取得する。
図7の点線の円の範囲内にあるのは、つまり「制御装置1から1m以内にある」のは、エアコン22だけであり、従って、制御信号生成部130は、エアコン22が制御信号の送信対象動作装置2であると判定する。
次に、制御信号生成部130は、エアコン22の方に向いているのが、制御装置1が表側なのか裏側なのかを判定する。
具体的には、制御信号生成部130は、加速度センサ17を用いて、制御装置1の向きを取得することができる。
また、制御信号生成部130は、エアコン22と通信することのできる赤外線センサ15の指向性を利用して、制御装置1の赤外線センサ15が付いている側が上記エアコンに向かっていると判定することができる。
制御装置1について、赤外線センサ15が表側に付いている場合、制御信号生成部130は、エアコン22の方に向いているのが、制御装置1が表側であると判定する。
従って、制御信号生成部130は、エアコン22に対して、「電源をオンにする」制御信号を送信することを決定し、当該制御信号を送信する。
その後、ユーザは、ドア51の近くである場所501から、テレビ21の近くである場所502へと移動し、テレビ21を鑑賞する。
場所502にユーザがあるとき、テレビ21から、人の話し声の大きさである「60デシベル」未満の音が生じても、音情報判定部120による音情報の判定によって、制御装置1は、誤作動を回避することができる。
また、テレビ21から「60デシベル以上70デシベル以下」の音が発せられても、「制御装置1から1m以内(実線の円内)にある」動作機器がないため、制御信号生成部130による補助情報の判定により、制御装置1は誤作動を回避できる。
図8は、図7に示す状況の後、ユーザが、退室のために、テレビ21の近くである場所502から、ドアの近くである場所501へと移動し、場所501で、制御装置1の裏側をエアコン22に向けながら、「アー」という声をあげたときの図である。
図7で示した状況と同様に、まず、音情報判定部120が、上記ユーザの声の大きさが「60デシベル以上70デシベル以下」であることを判定する。それに続き、制御信号生成部130は、エアコン22が制御信号の送信対象動作装置2であり、エアコン22の方に向いているのが、制御装置1が裏側であると判定する。
従って、制御信号生成部130は、エアコン22に対して、「電源をオフにする」制御信号を送信することを決定し、当該制御信号を送信する。
〔変形例1〕
音情報判定部120は、「音の大きさ」ではなく、「音の長さ」を判定しても良い。すなわち、音判定基準は「音の長さ」であってもよく、その場合、図4で「音の持続期間」の利用有無の欄は「利用」となる。
音情報判定部120は、「音の大きさ」ではなく、「音の長さ」を判定しても良い。すなわち、音判定基準は「音の長さ」であってもよく、その場合、図4で「音の持続期間」の利用有無の欄は「利用」となる。
また、音情報判定部120は、「音の大きさ」と「音の長さ」とを共に判定してもよい。
「音の大きさ」を判定するのも、「音の長さ」を判定するのも、高精度な音声認識を必要とせずに実施することができる。
また、「音の大きさ」に加え、「音の長さ」も判定するという構成にする場合であっても、音情報検知部としてはマイクロフォン13があれば足り、追加コストの発生を抑えつつ、ユーザの制御意図の認識精度を向上させることができる。
ここで、音情報判定部120が「音の長さ」を判定する場合、記憶部18は、図4に示すように、「音の長さ」という判定の基準と、例えば「1秒以上3秒以内」といった判定基準とを予め格納している。
なお、動作装置2を操作しようとするユーザが発する音は、単なる物音よりも長い一方で、会話などの連続的な長さを持つ音よりも短いと考えられるため、「音の長さ」の判定基準は、例えば「1秒以上3秒以内」といった一定の範囲であることが望ましい。
〔変形例2〕
制御装置1が動作装置2に対して発信する制御信号の制御内容は、単に電源のオンとオフとを切り替えるだけの信号ではなく、例えば、「電源をオンにし、かつ、現設定よりエアコンの設定温度を下げる」といった複合的な内容であってもよい。
制御装置1が動作装置2に対して発信する制御信号の制御内容は、単に電源のオンとオフとを切り替えるだけの信号ではなく、例えば、「電源をオンにし、かつ、現設定よりエアコンの設定温度を下げる」といった複合的な内容であってもよい。
制御内容を複合的な内容とすることで、例えば「アー」といった声を発するような単純な行為をトリガとして、動作装置2に対し、複数の操作内容の指示を行うことが可能になる。
〔変形例3〕
例えば、マイクロフォン13を骨伝導型のマイクロフォンにするなど、制御装置1は、ユーザの骨伝導を検知する手段を備え、ユーザが声を発した際に生じる骨伝導による振動の有無を、ユーザの意図の誤認識を防ぐ手段として利用してもよい。
例えば、マイクロフォン13を骨伝導型のマイクロフォンにするなど、制御装置1は、ユーザの骨伝導を検知する手段を備え、ユーザが声を発した際に生じる骨伝導による振動の有無を、ユーザの意図の誤認識を防ぐ手段として利用してもよい。
「音の大きさ」や「音の長さ」の長さに加え、ユーザが発声する際に生じる骨伝導による振動の有無を利用することによって、ユーザが意図して発した声と、ユーザの意図が無い音とを、制御装置1がより正確に区別することができるようになる。
当然、この場合にも、語彙抽出のような高度な音声認識は必要なく、従って、コストを抑えつつ、ユーザの制御意図を誤認識する可能性の低い制御装置を、異なる言語が話される地域に、同じ仕様で提供することが可能である。
なお、ユーザの骨伝導を検知してユーザの意図に関する誤認識を防ぐ場合、さらに、ユーザによる発声の長さを、骨振動の長さとして骨伝導検知手段により取得し、発生の長さに応じて、動作装置への制御信号の内容を変えることができる。
例えば、骨伝導検知手段が振動時間の長い骨振動を捉えた場合、ユーザによる発声は時間的に長いものであったと判定することができ、その場合には、エアコンの設定温度を下げる制御信号を、エアコンに送信するとしてもよい。一方、骨伝導検知手段が振動時間の短い骨振動を捉えた場合には、エアコンの設定温度を上げる制御信号を、エアコンに送信する。
当然、本変形例においても、動作装置が複数ある場合に当該複数の動作装置のうち何れの動作装置を制御対象動作装置とするかを決定する手段を備えていてもよく、また各動作装置の動作状況などを検知し、動作状況にあわせて制御信号の内容を決定してもよい。
例えば、制御対象動作装置であるエアコンが電源オフの状態で、骨伝導検知手段によってユーザの発声を検知した場合、電源をオンにするとし、電源オンの状態で、時間的に長いユーザの発声を検知した場合には設定温度を下げ、電源オンの状態で短時間のユーザの発声を検知した場合には設定温度を上げるとしてもよい。
〔変形例4〕
さらに、制御信号生成部130は、各動作装置2の動作状態を取得し、取得した動作状態に応じた内容の制御信号を送信するとしてもよい。
さらに、制御信号生成部130は、各動作装置2の動作状態を取得し、取得した動作状態に応じた内容の制御信号を送信するとしてもよい。
例えば、図5に示すように、制御装置1から所定距離以内にある動作装置2が「動作中(電源がオン)」の時は、「電源をオフにする」制御信号を当該動作装置2に送信し、「停止中(電源がオフ)」の時は、「電源をオンにする」制御信号を送信してもよい。
ここで、各動作装置2の動作状態は、RFIDリーダ14および無線LAN通信モジュール16によって取得してもよい。特に、各動作装置2が、DLNA(Digital Living Network Alliance)ガイドラインに従うものである場合、動作状態の取得は容易となる。
〔その他の変形例〕
制御装置1は、補助情報取得部として、カメラを備えていてもよく、当該カメラによる画像認識を利用して、制御装置1と各動作装置2との距離情報、および各動作装置2に対して制御装置1は表側と裏側のいずれの側を向けているのかという情報を補助情報として取得するとしてもよい。
制御装置1は、補助情報取得部として、カメラを備えていてもよく、当該カメラによる画像認識を利用して、制御装置1と各動作装置2との距離情報、および各動作装置2に対して制御装置1は表側と裏側のいずれの側を向けているのかという情報を補助情報として取得するとしてもよい。
これまで、制御装置1がスマートフォンであるとして、制御装置1についての説明を行ってきたが、制御装置1はこれに限られるものではない。
本発明に係る制御装置は、音情報を取得する音情報取得部と、自装置と動作装置2との通信状態を取得する補助情報取得部とを備え、動作装置2に対して、当該動作装置2の動作を指示する制御装置であればよく、例えば、タブレットPC、動作装置2のリモコン、及びモバイル機器であってもよい。また、RFIDタグの中には、数メートル以上の通信可能距離を有するものも存在するため、そのようなRFIDタグを備えたモバイル機器であってもよい。
さらに、制御装置1および動作装置2を一体に備えた動作機器であってもよい。
また動作装置2は、エアコン、テレビ、照明であるとしたが、本発明に係る制御装置により動作を制御される動作機器2には、BDレコーダ/プレーヤ、PCが含まれ、さらに、スマートフォン及びタブレットPCが含まれる。
最後に、制御装置1の各ブロック、特に制御部10は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、制御装置1は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラムおよび各種データを格納するメモリ等で構成された記憶部18、あるいは記録媒体などを備えている。
そして、本発明の目的は、上述した機能を実現するソフトウェアである制御装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、制御装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、制御装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
つまり、制御装置1の各部を、制御プログラムによりコンピュータ上で実行させることができ、さらに、当該制御プログラムを、コンピュータ読取り可能な記録媒体に記憶させることで、任意のコンピュータ上で当該制御プログラムを実行させることができる。
例えば、ユーザが既に所持している汎用のスマートフォンに、制御部10の処理に該当するアプリプログラムをインストールすることで、上記制御信号送信処理が行えるようになれば、ユーザは制御装置を新たに買う必要がなく、コストメリットがある。
本発明は、ユーザが、より容易に動作装置を操作することを可能とするものであり、例えば、各種制御装置や動作装置が普及していない国および地域であっても、ユーザは本発明に係る制御装置によって、容易に動作装置を制御することができる。
また、本発明に係る制御装置によって、動作装置の操作に不慣れなユーザや高齢者が、より容易に動作装置を操作できるようになる。
さらに、本発明は、動作装置への誤った制御情報を発信する可能性の低い制御装置を提供することができ、動作装置の誤作動を防止することができる。
本発明は、音情報を取得する音情報取得部と、自装置および上記動作装置との通信状態を取得する通信状態取得部と、当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部と、上記音情報取得部が取得した音情報が、当該音判定基準を満たすかを判定する音情報判定部と、上記音情報判定部が満たすと判定すると、上記通信状態取得部が取得した通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する制御信号生成部とを備え、動作装置に制御信号を送信する制御装置であればよく、特に通信状態取得部の具体的内容は、種々の変更が可能である。また、請求項に開示した範囲で、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、音情報と自装置と動作装置との通信状態とを収集し、外部の動作装置に制御信号を送信する装置全般に利用することができる。
1 制御装置
2 動作装置
13 マイクロフォン(音情報取得手段)
14 RFIDリーダ(通信状態取得手段/状態取得手段)
15 赤外線センサ(通信状態取得手段/状態取得手段)
16 無線LAN通信モジュール(通信状態取得手段/状態取得手段)
17 加速度センサ(状態取得手段)
18 記憶部
120 音情報判定部(音情報判定手段)
130 制御信号生成部(制御信号生成手段)
2 動作装置
13 マイクロフォン(音情報取得手段)
14 RFIDリーダ(通信状態取得手段/状態取得手段)
15 赤外線センサ(通信状態取得手段/状態取得手段)
16 無線LAN通信モジュール(通信状態取得手段/状態取得手段)
17 加速度センサ(状態取得手段)
18 記憶部
120 音情報判定部(音情報判定手段)
130 制御信号生成部(制御信号生成手段)
Claims (10)
- 動作装置の動作を制御するための制御装置であって、
音情報を取得する音情報取得手段と、
自装置および上記動作装置との通信状態を取得する通信状態取得手段と、
当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部と、
上記音情報取得手段が取得した音情報が、当該音判定基準を満たすかを判定する音情報判定手段と、
上記音情報判定手段が満たすと判定すると、上記通信状態取得手段が取得した通信状態に基づき、自装置と通信可能な状態にある上記動作装置に対し制御信号を送信する制御信号生成手段と
を備えることを特徴とする制御装置。 - 自装置の状態と、動作装置の状態との少なくとも一方を取得する状態取得手段をさらに備えており、
上記制御信号生成手段は、上記状態取得手段が取得した状態に対応する制御信号を送信することを特徴とする請求項1に記載の制御装置。 - 自装置の状態と、動作装置の状態との少なくとも一方と、動作装置の動作内容とを対応付けた対応制御データを格納する記憶部をさらに備えており、
上記制御信号生成手段は、上記対応制御データを参照して、上記状態取得手段が取得した状態に対応する動作内容を示す制御信号を送信することを特徴とする請求項2に記載の制御装置。 - 上記通信状態と、制御信号を送信すべき動作装置の優先順位とを対応付けた優先対象データを格納する記憶部をさらに備えており、
自装置が複数の動作装置と通信可能な状態である場合、上記制御信号生成手段は、上記優先対象データを参照し、各動作装置との通信可能状態に対応する優先順位に従って、制御信号を送信する動作装置を決定し、決定した動作装置に制御信号を送信することを特徴とする請求項1から3のいずれか1項に記載の制御装置。 - 上記音情報判定手段は、上記音判定基準の判定基準を満たす音情報が存在すると判定した場合、上記音判定基準の判定基準を満たす音情報が存在すると判定した旨を、請求項1から4のいずれか1項に記載の制御装置であって、自己以外の制御装置である制御装置へと通知し、
上記記憶部は、上記通知によって、上記自己以外の制御装置が、自己と同時に、「音判定基準の基準を満たす音情報が存在する」と判定したことを認識した場合に、動作装置に制御信号を送信する権限を持つのがどの制御装置なのかを、制御装置自身が決定するためのデータである制御装置優先順位データを格納しており、
上記制御信号生成手段は、当該制御装置優先順位データと、上記通知とに基づいて、自己が動作装置に制御信号を送信する権限を持つ制御装置であるかを確認し、自己が権限を持つ場合は制御信号の送信の対象動作装置を決定し、権限を持たない場合は処理を中止する
ことを特徴とする請求項1から4のいずれか1項に記載の制御装置。 - 上記動作装置を一体として備えることを特徴とする請求項1から5のいずれか1項に記載の制御装置。
- 請求項1から6のいずれか1項に記載の制御装置が備えた上記音情報判定手段、制御信号生成手段として、コンピュータを機能させることを特徴とする制御装置の制御プログラム。
- 請求項7に記載の制御装置の制御プログラムを格納したコンピュータ読取可能な記録媒体。
- 動作装置の動作を制御するための制御装置の制御方法であって、
音情報を取得する音情報取得ステップと、
自装置および上記動作装置との通信状態を取得する通信状態取得ステップと、
当該音情報を音の大きさおよび長さの少なくとも一方について判定するための音判定基準を格納している記憶部における当該音判定基準を用いて、上記音情報取得ステップにて取得された音情報が、満たすかを判定する音情報判定ステップと、
上記音情報判定ステップにて満たすと判定されると、上記通信状態取得ステップにて取得された通信状態に基づき、自装置と通信状態にある上記動作装置に対し制御信号を送信する制御信号送信ステップと
を含むことを特徴とする制御装置の制御方法。 - 請求項1から6のいずれか1項に記載の制御装置と、
当該制御装置によって動作を制御される動作装置と
を含むことを特徴とする動作装置制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012189207A JP2014048748A (ja) | 2012-08-29 | 2012-08-29 | 制御装置、制御装置の制御方法及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012189207A JP2014048748A (ja) | 2012-08-29 | 2012-08-29 | 制御装置、制御装置の制御方法及び制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014048748A true JP2014048748A (ja) | 2014-03-17 |
Family
ID=50608407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012189207A Pending JP2014048748A (ja) | 2012-08-29 | 2012-08-29 | 制御装置、制御装置の制御方法及び制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014048748A (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09231049A (ja) * | 1996-02-22 | 1997-09-05 | Toshiba Corp | 情報処理装置 |
JP2000152349A (ja) * | 1998-11-05 | 2000-05-30 | Sharp Corp | 双方向リモートコントロールシステム |
JP2001251693A (ja) * | 2000-03-08 | 2001-09-14 | Hitachi Video & Inf Syst Inc | リモートコントロール装置 |
JP2002182690A (ja) * | 2000-12-14 | 2002-06-26 | Sharp Corp | 音声操作装置及び該音声操作装置の音声命令判定方法 |
JP2002247666A (ja) * | 2001-02-20 | 2002-08-30 | Seiko Epson Corp | 機器制御方法および機器制御システム |
JP2003284169A (ja) * | 2002-03-20 | 2003-10-03 | Mitsubishi Electric Corp | 家電機器のリモコン装置 |
JP2004178093A (ja) * | 2002-11-25 | 2004-06-24 | Canon Inc | 情報処理システム |
JP2009094580A (ja) * | 2007-10-03 | 2009-04-30 | Sharp Corp | 遠隔操作装置およびその制御方法、携帯電話機、遠隔操作装置制御プログラム、並びに該プログラムを記録した記録媒体 |
JP2010086014A (ja) * | 2008-09-29 | 2010-04-15 | Seiko Epson Corp | 情報処理装置およびプログラム |
JP2012511275A (ja) * | 2008-12-04 | 2012-05-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置を選択及び制御する方法 |
-
2012
- 2012-08-29 JP JP2012189207A patent/JP2014048748A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09231049A (ja) * | 1996-02-22 | 1997-09-05 | Toshiba Corp | 情報処理装置 |
JP2000152349A (ja) * | 1998-11-05 | 2000-05-30 | Sharp Corp | 双方向リモートコントロールシステム |
JP2001251693A (ja) * | 2000-03-08 | 2001-09-14 | Hitachi Video & Inf Syst Inc | リモートコントロール装置 |
JP2002182690A (ja) * | 2000-12-14 | 2002-06-26 | Sharp Corp | 音声操作装置及び該音声操作装置の音声命令判定方法 |
JP2002247666A (ja) * | 2001-02-20 | 2002-08-30 | Seiko Epson Corp | 機器制御方法および機器制御システム |
JP2003284169A (ja) * | 2002-03-20 | 2003-10-03 | Mitsubishi Electric Corp | 家電機器のリモコン装置 |
JP2004178093A (ja) * | 2002-11-25 | 2004-06-24 | Canon Inc | 情報処理システム |
JP2009094580A (ja) * | 2007-10-03 | 2009-04-30 | Sharp Corp | 遠隔操作装置およびその制御方法、携帯電話機、遠隔操作装置制御プログラム、並びに該プログラムを記録した記録媒体 |
JP2010086014A (ja) * | 2008-09-29 | 2010-04-15 | Seiko Epson Corp | 情報処理装置およびプログラム |
JP2012511275A (ja) * | 2008-12-04 | 2012-05-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置を選択及び制御する方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11114099B2 (en) | Method of providing voice command and electronic device supporting the same | |
US9880808B2 (en) | Display apparatus and method of controlling a display apparatus in a voice recognition system | |
KR102216048B1 (ko) | 음성 명령 인식 장치 및 방법 | |
EP2639793B1 (en) | Electronic device and method for controlling power using voice recognition | |
US9354842B2 (en) | Apparatus and method of controlling voice input in electronic device supporting voice recognition | |
US8421932B2 (en) | Apparatus and method for speech recognition, and television equipped with apparatus for speech recognition | |
US10720162B2 (en) | Display apparatus capable of releasing a voice input mode by sensing a speech finish and voice control method thereof | |
JP5998861B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN109243463B (zh) | 遥控器及其用于接收用户语音的方法 | |
KR102421824B1 (ko) | 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법 | |
JP2017138476A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20110070338A (ko) | 휴대단말의 외부 출력 제어 방법 및 장치 | |
KR102492727B1 (ko) | 전자장치 및 그 제어방법 | |
KR20180132011A (ko) | 음성 인식을 이용하여 전원을 제어하는 전자 장치 및 이의 전원 제어 방법 | |
KR20160014297A (ko) | 전자 장치 및 이의 제어 방법 | |
JP2011118822A (ja) | 電子機器、発話検出装置、音声認識操作システム、音声認識操作方法及びプログラム | |
WO2017141530A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102629796B1 (ko) | 음성 인식의 향상을 지원하는 전자 장치 | |
KR102395013B1 (ko) | 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 | |
US20200312332A1 (en) | Speech recognition device, speech recognition method, and recording medium | |
US11507759B2 (en) | Speech translation device, speech translation method, and recording medium | |
CN109427332B (zh) | 使用语音命令执行操作的电子设备及其操作方法 | |
US20220122600A1 (en) | Information processing device and information processing method | |
US20200379731A1 (en) | Voice assistant | |
JP2014048748A (ja) | 制御装置、制御装置の制御方法及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161018 |