JP2020184692A - 制御システム及びその制御方法 - Google Patents

Abstract

【課題】付加装置を使わずに容易に操作可能な耳装着型装置を提供する。【解決手段】本発明の制御システムは、第１の耳装着型装置の動きを示す第１の動き情報と、第２の耳装着型装置の動きを示す第２の動き情報とを取得する動き情報取得部と、第１の動き情報と第２の動き情報との相関に基づいて、第１の耳装着型装置及び第２の耳装着型装置のうち少なくとも一方の動作状態を変化させる制御部と、を備える。【選択図】図１

Description

本発明は、制御システム及びその制御方法に関する。

近年、電子の働きを応用して増幅などの能動的な役割を果たす電子デバイスである半導体、電子管、集積回路などが小型化している。電子デバイスの小型化に伴って電子デバイスを使用するセンサも小型化が可能となっていて、センサは使用者が身に着けて使用するウェアラブルデバイスにも組み込まれるようになっている。ウェアラブルデバイスは筐体が小さいため、筐体に取り付けられたボタンなどを操作することは操作性が悪く間違った操作となってしまうことも多く難しい。例えば特許文献１にはケース１００と連動することで無線通信機能のオンとオフとが切り替わるウェアラブルデバイスであるイヤホン１１５ａ，１１５ｂが開示されている。

特開２０１７−１０８６０６号公報

しかしながら、特許文献１に記載のイヤホン（以下、これを耳装着型装置と呼んでもよい）は、ケースと連動させなければ操作ができず、イヤホンの収納に伴う動作を検知するケースなどの付加装置を使用しない場合には適用できないという課題がある。

本発明の一つの態様は、付加装置を使わずに容易に操作可能な耳装着型装置などを提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る制御システムは、第１の耳装着型装置の動きを示す第１の動き情報と、第２の耳装着型装置の動きを示す第２の動き情報とを取得する動き情報取得部と、第１の動き情報と第２の動き情報との相関に基づいて、第１の耳装着型装置及び第２の耳装着型装置のうち少なくとも一方の動作状態を変化させる制御部と、を備える。

本発明の一態様によれば、付加装置を使わずに容易に操作可能な耳装着型装置などを提供することができる。

信号処理信号システムの構成を示すブロック図である。 耳装着型装置が装着された際の概略図である。 耳装着型装置の概略図である。 耳装着型装置の起動時及び加速度検出時のシーケンス図である。 実施の形態の制御システムの制御処理の一例を示すフローチャートである。 使用者が耳装着型装置を持って振った際にセンサが検知するｘ軸の加速度の波形図である。 使用者が耳装着型装置を持って振った際にセンサが検知するｙ軸の加速度の波形図である。 耳装着型装置を装着した使用者が走った際にセンサが検知するｘ軸の加速度の波形図である。 耳装着型装置を装着した使用者が走った際にセンサが検知するｙ軸の加速度の波形図である。 使用者が耳装着型装置を持って振った際にセンサが検知するｚ軸の加速度の波形図である。 耳装着型装置を装着した使用者が走った際にセンサが検知するｚ軸の加速度の波形図である。 使用者が耳装着型装置を持ってジェスチャをした際にセンサが検知するｘ軸、ｙ軸及びｚ軸の加速度の波形図である。 相対角度と処理内容の一例である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１に本実施の形態における制御システム１００の構成を示すブロック図を示す。図１に示すように制御システム１００は、耳装着型装置１３０，１４０と端末１１０とを備える。また図２に耳装着型装置１３０，１４０が使用者２０１に装着された際の概略図を示す。図１、図２に示すように耳装着型装置１３０，１４０は、端末１１０と相互に通信を行う。

耳装着型装置１３０，１４０は、例えばイヤホンのような装置であって、通信部１３１，１４１、センサ１３２，１４２、装置制御部１３３，１４３、増幅部１３４，１４４及び発音体１３５，１４５を備える。なお通信部１３１，１４１、センサ１３２，１４２、装置制御部１３３，１４３及び増幅部１３４，１４４を合わせて回路１３６，１３７とする。

制御システム１００は、センサ１３２，１４２からの情報を利用することで、耳装着型装置１３０，１４０を、付加装置を使わずに容易に操作できるようにして使用者２０１に快適に使用させるシステムである。

また図３の耳装着型装置１３０，１４０の概略図に示すように、耳装着型装置１３０，１４０は、例えば発音体１３５，１４５を内包する筐体３０２，３１２と、イヤーパッド３０１，３１１と、回路１３６，１３７と電源３０６，３１６とを備える。電源３０６，３１６は回路１３６，１３７及び発音体１３５，１４５に電力を供給する。

耳装着型装置１３０，１４０は、例えば図３のようにイヤーパッド３０１，３１１が使用者２０１の耳道に挿入されるような形状でもよい。また耳装着型装置１３０，１４０は、耳介に保持されるような形状でもよい。それぞれが独立していて１つの耳に１つの耳装着型装置１３０，１４０が装着されるような形状であればよい。また耳装着型装置１３０，１４０は、必ずしも耳に装着する必要はなく、指向性スピーカなどが用いられ例えば左右の肩にそれぞれ装着するような装置でもよいものとする。

通信部１３１，１４１、装置制御部１３３，１４３及び増幅部１３４，１４４は、例えばそれぞれ独立した電子回路とする。また通信部１３１，１４１、装置制御部１３３，１４３及び増幅部１３４，１４４は、耳装着型装置１３０，１４０の有するメモリに保存されたプログラムによる一機能であってもよい。装置制御部１３３，１４３は、耳装着型装置１３０，１４０における各部、例えば通信部１３１、センサ１３２、増幅部１３４及び発音体１３５を制御する。

通信部１３１，１４１は、後述の端末１１０に備えられた端末通信部１２４と通信する。通信部１３１，１４１と端末通信部１２４とは、例えば、無線で通信し、通信媒体は例えば電波や磁気などとするが通信媒体は電波や磁気に限らない。なお通信部１３１及び通信部１４１のそれぞれが、端末通信部１２４と通信してもよいし、通信部１４１と端末通信部１２４の通信に際しては、通信部１３１を中継して通信してもよいし、通信部１３１と端末通信部１２４の通信に際しては、通信部１４１を中継して通信してもよい。

センサ１３２，１４２は、耳装着型装置１３０，１４０の動きを検出する。このセンサ１３２，１４２は、耳装着型装置１３０，１４０の動きを検出するものであればよく、例えば加速度センサや角加速度センサなどが挙げられる。

以下、本実施の形態においてはセンサ１３２，１４２が加速度センサである場合について説明する。このセンサ１３２，１４２は、例えば耳装着型装置１３０，１４０の筐体３０２，３１２に、筐体３０２，３１２の向きとは関係なく常に図２に示したようなｘ軸、ｙ軸、ｚ軸を持つように固定され内蔵される。図２のようにｘ軸及びｙ軸は水平方向の方向であって、ｚ軸は鉛直方向の方向とする。

センサ１３２，１４２は、耳装着型装置１３０，１４０のｘ軸，ｙ軸及びｚ軸方向の加速度ａ_ｘ，ａ_ｙ，ａ_ｚ（耳装着型装置１３０，１４０の動き）を検出する。耳装着型装置１３０，１４０の加速度ａ_ｘ，ａ_ｙの相関からそれぞれの耳装着型装置１３０，１４０の相対的な向きを求めることができる。耳装着型装置１３０，１４０の相対的な向きは、例えば、耳装着型装置１３０の耳道に挿入される方向の軸に対する耳装着型装置１４０の耳道に挿入される方向の軸の向き（角度）である。

また耳装着型装置１３０，１４０の加速度ａ_ｚが相関している場合、耳装着型装置１３０，１４０の加速度ａ_ｚから耳装着型装置１３０，１４０の動きの大きさを求めることができる。検出された加速度ａ_ｘ，ａ_ｙ，ａ_ｚは、通信部１３１，１４１を介して、端末１１０に送信される。

増幅部１３４，１４４は、端末１１０から通信部１３１，１４１を介して、それぞれ耳装着型装置１３０、１４０に対応する音声信号を受信する。そして、増幅部１３４，１４４は、例えば受信した音声信号の増幅率を変更する処理を行う。発音体１３５，１４５は、例えばスピーカであって、それぞれ耳装着型装置１３０，１４０に対応する、増幅部１３４，１４４から受信した音声信号に従って発音する。

発音体１３５，１４５は、例えば内磁式であって、磁石３０３，３１３、磁気回路３０４，３１４及び振動板３０５，３１５を備える。磁石３０３と磁石３１３とは極性が反転しているため、磁石３０３，３１３からの漏洩磁束によって耳装着型装置１３０と耳装着型装置１４０とは係合して一体となる。

また、磁石３０３と磁石３１３の吸着力により耳装着型装置１３０と耳装着型装置１４０とが係合した時に、耳装着型装置１３０と耳装着型装置１４０の相対的な向き（角度）が所定の角度（例えば、０度）となるように、磁石３０３、３１３が設けられていてもよい。

また、筐体３０２，３１２にそれぞれ凹凸が設け、耳装着型装置１３０と耳装着型装置１４０とが係合（詳細には、筐体３０２と筐体３１２の凹凸が互いに嵌合）した時に、耳装着型装置１３０と耳装着型装置１４０の相対的な向きが所定の角度（例えば、０度）となるようにしてもよい。

磁石３０３、３１３及び筐体３０２，３１２の凹凸は、耳装着型装置１３０と耳装着型装置１４０の相対的な向きが所定の角度となるように耳装着型装置１３０と耳装着型装置１４０とが係合するための機構の一例である。このような機構により、使用者２０１は耳装着型装置１３０と耳装着型装置１４０の相対的な向きを所定の角度にすることが容易になる。

振動板３０５，３１５にはボイスコイルが巻き付けられていて、電源３０６，３１６から供給される電力によってボイスコイルに電流が流れると、ボイスコイルが一種の電磁石となり磁界が発生する。

磁気回路３０４，３１４は磁石３０３，３１３のＮ極からＳ極へ流れる磁束を発生させており、ボイスコイルに流れる電流の向きや大きさによって振動板３０５，３１５の振動が変化し、発音体から発音される音が変化する。なお発音体１３５，１４５は実際に発音しなくてもよく例えば骨伝導を利用して直接骨に振動を伝達するようなものであってもよい。

また耳装着型装置１３０，１４０を活動計として使用する場合、増幅部１３４，１４４及び発音体１３５，１４５は不要となり、この場合、耳装着型装置１３０，１４０は例えばイヤリングやピアスのような形状でもよい。

次に端末１１０について説明する。端末１１０は例えば携帯型再生機や携帯型情報端末であって、耳装着型装置１３０，１４０と相互に通信を行うモジュールである信号送出部１２０を備える。信号送出部１２０は、独立した電子回路であってもよいし、端末１１０の有するメモリに保存されたプログラムによる一機能であって、端末１１０の有するＣＰＵ(Central Processing Unit)によって処理されてもよい。

信号送出部１２０は、例えば入力部１２１、端末信号処理部１２２、端末制御部１２３及び端末通信部１２４を備える。信号送出部１２０が電子回路の場合、入力部１２１、端末信号処理部１２２、端末制御部１２３及び端末通信部１２４は、独立した電子回路であってもよい。

また信号送出部１２０が電子回路の場合、入力部１２１、端末信号処理部１２２、端末制御部１２３及び端末通信部１２４は、信号送出部１２０の有するメモリに保存されたプログラムによる一機能であって、端末１１０の有するＣＰＵ(Central Processing Unit)によって処理されてもよい。

信号送出部１２０が端末１１０の有するメモリに保存されたプログラムによる一機能である場合、入力部１２１、端末信号処理部１２２、端末制御部１２３及び端末通信部１２４は、信号送出部１２０の機能を細分化した機能を有するプログラムとする。信号送出部１２０は、例えば端末１１０が携帯型音楽再生機の場合、端末１１０が電源オンになると動作を開始する。

端末通信部１２４は、耳装着型装置１３０，１４０の備える通信部１３１，１４１と通信する。なお、端末通信部１２４は、通信部１３１，１４１と同様の構成である。入力部１２１は、信号送出部１２０の外部から、耳装着型装置１３０，１４０の発音体１３５，１４５において出力（再生）される、例えば音楽の音声信号や通話時の音声信号を受信する。これらの音声信号は、例えば端末１１０の有するメモリに蓄えられる。

端末制御部１２３は、端末１１０の各部、例えば入力部１２１、端末信号処理部１２２、端末通信部１２４などを制御する。さらに、端末制御部１２３は、耳装着型装置１３０，１４０から取得した加速度ａ_ｘ，ａ_ｙ，ａ_ｚの相関に基づいて、耳装着型装置１３０，１４０の状態などを判断する。

さらに、端末制御部１２３は、耳装着型装置１３０，１４０から取得した加速度の相関、耳装着型装置１３０と耳装着型装置１４０の相対的な向き、及び耳装着型装置１３０，１４０から取得した加速度などに基づいて、耳装着型装置１３０，１４０の電源状態や音量などの動作状態を変化させる。

このように端末制御部１２３は、動き情報である加速度ａ_ｘ，ａ_ｙ，ａ_ｚを取得する動き情報取得部の役割と動き情報に基づいて判定を行い入力部１２１、端末信号処理部１２２、端末通信部１２４などを制御する制御システム１００の制御部の役割とを備える。

本実施の形態における耳装着型装置１３０，１４０の状態は、例えば耳装着型装置１３０，１４０が、同一の使用者２０１に装着されている状態や、使用者２０１が耳装着型装置１３０，１４０を、向きをそろえて係合して持っている状態などがある。

向きを揃えてとは、具体的には図３のように耳装着型装置１３０，１４０の形状に応じて、耳に挿入される方向が耳装着型装置１３０，１４０で平行になることを指す。他にも耳に挿入される方向とは別の方向において耳装着型装置１３０，１４０が平行になることを、向きを揃えてとしてもよい。

また他にも耳装着型装置１３０，１４０の状態として耳装着型装置１３０，１４０が概ね所定の位置関係にある状態であって、同一の使用者２０１に装着されている状態とは異なる相対的な向きの状態を想定してもよい。

例えば耳装着型装置１３０から取得した加速度ａ_ｘ，ａ_ｙと耳装着型装置１４０から取得した加速度ａ_ｘ，ａ_ｙとの相関が高い場合、端末制御部１２３は、耳装着型装置１３０，１４０がほぼ向かい合っており、耳装着型装置１３０，１４０が同一の使用者２０１に装着されている状態と判定する。

また耳装着型装置１３０から取得した加速度ａ_ｘ，ａ_ｙと耳装着型装置１４０から取得した加速度ａ_ｘ，ａ_ｙとの相関が高い場合、端末制御部１２３は、耳装着型装置１３０，１４０がほぼ同じ方向を向いており、耳装着型装置１３０，１４０は係合され使用者２０１に持たれている状態と判断する。

なお例えば相関の高低の判定は、検出した耳装着型装置１３０，１４０における加速度ａ_ｘ，ａ_ｙから所定の演算により判定すればよく、特に限定されるものではない。例えば相関の高低の判定は、同一の期間における耳装着型装置１３０及び耳装着型装置１４０の加速度ａ_ｘ，ａ_ｙの加速度ａ_ｘ，ａ_ｙにそれぞれに関して差分を取り、加速度ａ_ｘ，ａ_ｙのどちらに関しても差分が閾値以下の場合に相関が高いなどとする。

相関が高い場合にも、正の相関が高い場合と負の相関が高い場合がある。例えば耳装着型装置１３０，１４０の向きをそろえる場合には耳装着型装置１３０，１４０のｘ軸、ｙ軸、ｚ軸の方向がすべてそろうので正の相関が高くなる。

一方で使用者２０１が耳装着型装置１３０，１４０を装着する場合、ｚ軸の方向はそろうが、ｘ軸及びｙ軸の少なくとも一方の方向についてはほぼ逆の方向となるため、負の相関が高くなる。なお加速度ａ_ｘ，ａ_ｙ，ａ_ｚの数値の符号によって方向に関しては判断できる。

なお耳装着型装置１３０，１４０が使用者２０１の耳道に挿入されている状態では、厳密には使用者２０１の頭部には耳装着型装置１３０，１４０は固定されないため、耳装着型装置１３０，１４０間で若干のずれが生じるが本実施の形態に関しての影響は少ない。

またセンサ１３２，１４２の出力にはオフセットやドリフトやノイズなどが伴うが、本実施の形態において使用する加速度ａ_ｘ，ａ_ｙ，ａ_ｚは比較的大きな値であるため、本実施の形態に関しての影響は少ない。

また耳装着型装置１３０，１４０は、使用者２０１が耳装着型装置１３０，１４０を左右に装着したり、使用者２０１が耳装着型装置１３０，１４０を持ったりと、それぞれ同じような温度環境で使われる。耳装着型装置１３０，１４０はそれぞれ同じような温度環境で使われるため、センサ１３２，１４２の熱による影響は軽減できる。

さらに端末制御部１２３は、使用者２０１の動作についても耳装着型装置１３０，１４０から取得した加速度ａ_ｚを用いて判定する。例えば端末制御部１２３は、加速度ａ_ｚに基づいて、使用者２０１が耳装着型装置１３０，１４０を振ったか否かの判定をする。

端末信号処理部１２２は、端末制御部１２３で判定された耳装着型装置１３０，１４０の状態に基づいて、入力部１２１が受信した音声信号を例えばモノラル形式やステレオ形式に変換するなどの処理を行う。

次に図４の耳装着型装置１３０，１４０の起動時及び加速度検出時のシーケンス図を用いて、耳装着型装置１３０，１４０の起動時及び加速度検出時の詳細な動作の一例について説明する。

まず、信号送出部１２０が動作を開始した後、端末制御部１２３は端末１１０と通信可能な登録機器がリストアップされた、端末制御部１２３が保持する登録機器テーブルを用いて、現在通信が可能な登録機器があるか否かを確認する機器接続処理Ｓ４００を行う。

機器接続処理Ｓ４００では、具体的には例えば信号送出部１２０は、耳装着型装置１３０に対して接続メッセージを送信する（ステップＳ４０１）。耳装着型装置１３０は、電源オン状態であって接続メッセージに対して応答が可能であれば応答メッセージを信号送出部１２０に対して返送する（ステップＳ４０２）。

信号送出部１２０は、耳装着型装置１３０から応答メッセージを受信すると耳装着型装置１３０から耳装着型装置１３０の加速度の情報を受信可能となる（ステップＳ４０２）。

機器接続処理Ｓ４００では、信号送出部１２０は、耳装着型装置１４０に対して接続メッセージを送信する（ステップＳ４０３）。耳装着型装置１４０は、電源オン状態であって接続メッセージに対して応答が可能であれば応答メッセージを信号送出部１２０に対して返送する（ステップＳ４０４）。

信号送出部１２０は、耳装着型装置１４０から応答メッセージを受信すると耳装着型装置１４０から耳装着型装置１４０の加速度の情報を受信可能となる（ステップＳ４０４）。

耳装着型装置１３０は、耳装着型装置１３０の加速度を検出し、検出した加速度を信号送出部１２０に送信する（ステップＳ４１１）。耳装着型装置１４０は、耳装着型装置１４０の加速度を検出し、検出した加速度を信号送出部１２０に送信する（ステップＳ４２１）。

また、ステップＳ４１１，Ｓ４２１の処理は、所定の周期で繰り返し実行される。次に、本実施の形態における制御システム１００における制御処理について説明する。図５は、実施の形態の制御システム１００の制御処理の一例を示すフローチャートである。

制御システム１００は、端末１１０及び耳装着型装置１３０，１４０の電源が投入されると図５の制御処理を開始する。なお図５の制御処理は、端末１１０及び耳装着型装置１３０，１４０の電源がオンの間、所定の周期で繰り返し実行される。

センサ１３２，１４２は、２つの耳装着型装置１３０，１４０の加速度ａ_ｘ，ａ_ｙ，ａ_ｚを検出する（Ｓ５０１）。装置制御部１３３，１４３は、センサ１３２，１４２が検出した加速度ａ_ｘ，ａ_ｙ，ａ_ｚを通信部１３１，１４１や端末通信部１２４などを介して端末制御部１２３に送信する。

端末制御部１２３は、受信した耳装着型装置１３０，１４０の加速度の相関が高いか低いか判定する（Ｓ５０２）。端末制御部１２３は、例えば、加速度ａ_ｘ，ａ_ｙ及び閾値に基づいて、相関が高いか低いか判定する。加速度の相関が高いと判定された場合、端末制御部１２３はステップＳ５０３に進む。加速度の相関が低いと判定された場合、制御処理は終了する。

ここで、耳装着型装置１３０，１４０の加速度の相関が高いか低いかの判定についての詳細について説明する。図６Ａは、使用者２０１が耳装着型装置１３０、１４０の向きをそろえて持って振った際にセンサ１３２，１４２が検知するｘ軸の加速度ａ_ｘの波形図を示す。図６Ｂは、使用者２０１が耳装着型装置１３０、１４０の向きをそろえて持って振った際にセンサ１３２，１４２が検知するｙ軸の加速度ａ_ｙの波形図を示す。

図６Ａに示すグラフ６０１は、耳装着型装置１３０のセンサ１３２が検出する経時によるｘ軸における加速度ａ_ｘの変化を示す。同様に図４Ａに示すグラフ６０２は、耳装着型装置１４０のセンサ１４２が検出する経時によるｘ軸における加速度ａ_ｘの変化を示す。

図６Ａにおいて、センサ１３２，１４２が加速度ａ_ｘを計測している１秒間においてはセンサ１３２，１４２が検出する加速度ａ_ｘ間の差分は０．５Ｇ以内に収まっている。このため、閾値を０．５Ｇとするとｘ軸に関しては耳装着型装置１３０と耳装着型装置１４０との動きは正の相関が高いと判定される。

図６Ｂに示すグラフ６０３は、耳装着型装置１３０のセンサ１３２が検出する経時によるｙ軸における加速度ａ_ｙの変化を示す。同様に図６Ｂに示すグラフ６０４は、耳装着型装置１４０のセンサ１４２が検出する経時によるｙ軸における加速度ａ_ｙの変化を示す。

図６Ｂにおいて、センサ１３２，１４２が加速度ａ_ｙを計測している１秒間においてはセンサ１３２，１４２が検出する加速度ａ_ｘ間の差分は１Ｇ以内に収まっている。このため、閾値を１Ｇとするとｙ軸に関しては耳装着型装置１３０と耳装着型装置１４０との動きは正の相関が高いと判定される。

図６Ａ及び図６Ｂから加速度ａ_ｘ，ａ_ｙのどちらに関しても耳装着型装置１３０，１４０間の差分が閾値以下であり正の相関が高いため、図６Ａ及び図６Ｂに示した場合では耳装着型装置１３０と耳装着型装置１４０との動きは正の相関が高いと判定される。

図７Ａは、耳装着型装置１３０，１４０を装着した使用者２０１が走った際にセンサ１３２，１４２が検知するｘ軸の加速度ａ_ｘの波形図を示す。また図７Ｂは、耳装着型装置１３０，１４０を装着した使用者２０１が走った際にセンサ１３２，１４２が検知するｙ軸の加速度ａ_ｙの波形図を示す。

図７Ａに示すグラフ７０１は、耳装着型装置１３０のセンサ１３２が検出する経時によるｘ軸における加速度ａ_ｘの変化を示す。同様に図７Ａに示すグラフ７０２は、耳装着型装置１４０のセンサ１４２が検出する経時によるｘ軸における加速度ａ_ｘの変化を示す。

図７Ａにおいて、センサ１３２，１４２が加速度ａ_ｘを計測している１秒間においてはセンサ１３２が検出する加速度ａ_ｘとセンサ１４２が検出する加速度ａ_ｘとの絶対値の差分は０．５Ｇ以内に収まっている。

またセンサ１３２が検出する加速度ａ_ｘとセンサ１４２が検出する加速度ａ_ｘとは方向が逆である。このため、閾値を０．５Ｇとし絶対値を比較するとｘ軸に関しては耳装着型装置１３０と耳装着型装置１４０の加速度は負の相関が高いと判定される。

図７Ｂに示すグラフ７０３は、耳装着型装置１３０のセンサ１３２が検出する経時によるｙ軸における加速度ａ_ｙの変化を示す。同様に図７Ｂに示すグラフ７０４は、耳装着型装置１４０のセンサ１４２が検出する経時によるｙ軸における加速度ａ_ｙの変化を示す。

図７Ｂにおいて、センサ１３２，１４２が加速度ａ_ｙを計測している１秒間においてはセンサ１３２が検出する加速度ａ_ｙとセンサ１４２が検出する加速度ａ_ｙとの絶対値の差分は１Ｇ以内に収まっている。またセンサ１３２が検出する加速度ａ_ｙとセンサ１４２が検出する加速度ａ_ｙとは方向が逆である。このため、閾値を１Ｇとすると、ｙ軸に関して、耳装着型装置１３０と耳装着型装置１４０の加速度の相関は高いと判定される。

図７Ａ及び図７Ｂから加速度ａ_ｘ，ａ_ｙのどちらに関しても耳装着型装置１３０，１４０間の絶対値の差分が閾値以下であるため、図７Ａ及び図７Ｂに示した場合では耳装着型装置１３０と耳装着型装置１４０との加速度は負の相関が高いと判定される。

なお図７Ａ及び図７Ｂに示した例では、耳装着型装置１３０及び耳装着型装置１４０に関してｘ軸方向の加速度ａ_ｘとｙ軸方向の加速度ａ_ｙとが共に負の相関が高いと判定されため、耳装着型装置１３０と耳装着型装置１４０との加速度は負の相関が高い判定される。

耳装着型装置１３０と耳装着型装置１４０との動きは負の相関が高いとする場合は、これに限らず例えばｘ軸方向の加速度ａ_ｘとｙ軸方向の加速度ａ_ｙとの一方が負の相関が高く、もう一方は正の相関が高い場合でもよいものとする。なお相関が高いか否かに関しては、加速度ａ_ｘを複数回取得して相関を求める場合、例えば、相関係数ｒに基づいて判断するように構成してもよい。

ここで、相関係数ｒは下記式（１）を用いて表される。なお、ｘを耳装着型装置１３０の加速度ａ_ｘ、ｙを耳装着型装置１４０の加速度ａ_ｘとする。また共分散Ｓ_ｘｙはｘとｙとの共分散、標準偏差Ｓ_ｘはｘの標準偏差、標準偏差Ｓ_ｙはｙの標準偏差、ｎは２変数データ（ｘ，ｙ）の総数、ｘ_ｉはｘの個々の数値、ｙ_ｉはｙの個々の数値、

はｘの平均値、

はｙの平均値、とする。

そして、例えば、相関係数ｒが−１以上−０．７以下の場合にｘとｙとは強い負の相関であり、負の相関が高いと判定される。また例えば、相関係数ｒが−０．７より大きく−０．４以下の場合にｘとｙとは負の相関であり負の相関が高いと判定され、相関係数ｒが−０．４より大きく−０．２以下の場合にｘとｙとは弱い負の相関であり相関が低いと判定される。

また例えば相関係数ｒが−０．２より大きく０．２以下の場合にｘとｙとはほとんど相関がなく、相関が低いと判定される。また例えば相関係数ｒが０．２より大きく０．４以下の場合にｘとｙとは弱い正の相関であり、相関が低いと判定される。

また例えば相関係数ｒが０．４より大きく０．７以下の場合にｘとｙとは正の相関であり、正の相関が高いと判定される。また例えば相関係数ｒが０．７より大きく１以下の場合にｘとｙとは強い正の相関であり、正の相関が高いと判定される。

耳装着型装置１３０の加速度ａ_ｙと耳装着型装置１４０の加速度ａ_ｙとの相関及び耳装着型装置１３０の加速度ａ_ｚと耳装着型装置１４０の加速度ａ_ｚとの相関に関しても耳装着型装置１３０の加速度ａ_ｘと耳装着型装置１４０の加速度ａ_ｘとの相関と同様に求めることができる。

図５に戻り説明を続ける。端末制御部１２３は、２つの耳装着型装置１３０，１４０の相対的な向きを判定する（Ｓ５０３）。端末制御部１２３は、具体的には、例えば、センサ１３２，１４２が検出した加速度ａ_ｘ，ａ_ｙ，ａ_ｚに基づいて、２つの耳装着型装置１３０，１４０の相対的な向きを算出する。

端末制御部１２３は、算出結果に基づいて２つの耳装着型装置１３０，１４０の相対的な向きが、揃っている（同じ向き）か、向かい合っているか、又は揃っている及び向かい合っている以外（その他）か判定する。

端末制御部１２３は、例えば、ステップＳ５０２で用いた相関を用いて、耳装着型装置１３０，１４０の相対的な向き（角度）を判定してもよい。例えば、センサ１３２，１４２が検出した加速度は負の相関が高いと判定された場合、端末制御部１２３は、２つの耳装着型装置１３０，１４０の相対的な向きは、向かい合っていると判定する。

また、例えば、センサ１３２，１４２が検出した加速度は正の相関が高いと判定された場合、端末制御部１２３は、２つの耳装着型装置１３０，１４０の相対的な向きは、揃っていると判定する。

２つの耳装着型装置１３０，１４０が揃っていると判定された場合、端末制御部１２３は、２つの耳装着型装置１３０，１４０は使用者２０１に装着されていないと判定し、端末制御部１２３はステップＳ５０４に進む。

向かい合っていると判定された場合、端末制御部１２３は、２つの耳装着型装置１３０，１４０は、使用者２０１に装着されていると判定し、端末制御部１２３はステップＳ５０６に進む。その他と判定された場合、制御処理は終了する。

端末制御部１２３は、耳装着型装置１３０，１４０を振っているか否か判定する（Ｓ５０４）。例えば、端末制御部１２３は、耳装着型装置１３０，１４０の加速度ａ_ｚの平均値の所定期間（例えば、１秒間）における最大値が閾値以上の場合、耳装着型装置１３０，１４０を振っていると判定する（Ｓ５０４：ＹＥＳ）。

また端末制御部１２３は、耳装着型装置１３０，１４０の加速度ａ_ｚの平均値の所定期間における最大値が閾値未満の場合、耳装着型装置１３０，１４０を振っていないと判定する（Ｓ５０４：ＮＯ）。

耳装着型装置１３０，１４０を振っていると判定された場合（Ｓ５０４：ＹＥＳ）、制御処理はステップＳ５０５に進み、耳装着型装置１３０，１４０を振っていないと判定された場合（Ｓ５０４：ＮＯ）、制御処理は終了する。

使用者２０１が耳装着型装置１３０，１４０を振っているか否かの判定に関しての詳細を説明する。図８は使用者２０１が耳装着型装置を持って振った際にセンサが検知するｚ軸の加速度の波形図を示す。

図８に示すグラフ８０１は、耳装着型装置１３０のセンサ１３２が検出する経時によるｚ軸における加速度ａ_ｚの変化を示す。同様に図８に示すグラフ８０２は、耳装着型装置１４０のセンサ１４２が検出する経時によるｚ軸における加速度ａ_ｚの変化を示す。

またグラフ６０１，６０２よりセンサ１３２，１４２が加速度ａ_ｚを計測している１秒間においてはセンサ１３２が検出する加速度ａ_ｚとセンサ１４２が検出する加速度ａ_ｚは、共に最大値が３Ｇを超えている。なお人が頷く際に頭部に生じる加速度は２Ｇ程度であることが知られている。実施の形態において、例えば、閾値を３Ｇとする。

図８に示すセンサ１３２，１４２が検出する加速度ａ_ｚは、共に最大値が３Ｇを超えている。このため、図８に示すような加速度ａ_ｚが検出された場合、端末制御部１２３は、センサ１３２，１４２が検出する加速度ａ_ｚの平均値の最大値は、閾値（３Ｇ）以上であるため、耳装着型装置１３０，１４０を振っていると判定する。

尚、耳装着型装置１３０，１４０を振っているか否か判定するために用いる加速度は、耳装着型装置１３０，１４０の加速度ａ_ｚのいずれか一方のみでもよい。また、端末制御部１２３は、加速度ａ_ｚを積分した値である速度や２度積分した値である距離などが閾値以上か否かによって、耳装着型装置１３０，１４０を振っているか否か判定してもよい。

図５に戻り説明を続ける。端末制御部１２３は、端末通信部１２４、通信部１３１，１４１を介して装置制御部１３３，１４３に電源オフ指示を行う（Ｓ５０５）。装置制御部１３３，１４３は、端末制御部１２３から電源オフ指示を受けると、耳装着型装置１３０，１４０の電源をオフにする。

例えば使用者２０１が耳装着型装置１３０，１４０の向きをそろえて振った場合、ステップＳ５０３において耳装着型装置１３０，１４０の相対的な向きが揃っていると判定され且つステップＳ５０４において耳装着型装置１３０，１４０を振っていると判定される。

耳装着型装置１３０，１４０を振っていると判定されると（Ｓ５０４：ＹＥＳ）、耳装着型装置１３０，１４０の電源はオフにされる（Ｓ５０５）。このように、使用者２０１は耳装着型装置１３０，１４０の向きをそろえて振ることで、付加装置を使わずに容易に耳装着型装置１３０，１４０の電源をオフにすることができる。

端末制御部１２３は、耳装着型装置１３０，１４０の加速度に基づいて、使用者２０１が激しい運動をしているか否か判定する（Ｓ５０６）。例えば、端末制御部１２３は、耳装着型装置１３０，１４０の加速度ａ_ｚの平均値の所定期間（例えば、１秒間）における最大値が閾値以上の場合、使用者２０１が激しい運動をしていると判定する（Ｓ５０６：ＹＥＳ）。また端末制御部１２３は、加速度ａ_ｚの平均値の所定期間における最大値が閾値未満の場合、使用者２０１が激しい運動をしていない判定する（Ｓ５０６：ＮＯ）。

使用者２０１が激しい運動をしていると判定された場合（Ｓ５０６：ＹＥＳ）、制御処理はステップＳ５０７に進み、使用者２０１が激しい運動をしていないと判定された場合（Ｓ５０６：ＮＯ）、制御処理は終了する。使用者２０１が走るなどの激しい運動をしているか否かの判定に関しての詳細を説明する。

図９は、耳装着型装置１３０，１４０を装着した使用者２０１が走った際にセンサが検知するｚ軸の加速度ａ_ｚの波形図を示す。図９に示すグラフ９０１は、耳装着型装置１３０のセンサ１３２が検出する経時によるｚ軸における加速度ａ_ｚの変化を示す。同様に図１１に示すグラフ９０２は、耳装着型装置１４０のセンサ１４２が検出する経時によるｚ軸における加速度ａ_ｚの変化を示す。

またグラフ９０１，９０２よりセンサ１３２，１４２が加速度ａ_ｚを計測している１秒間においてはセンサ１３２が検出する加速度ａ_ｚとセンサ１４２が検出する加速度ａ_ｚは、共に最大値が４Ｇを超えている。なお人が頷く際に頭部に生じる加速度は２Ｇ程度であることが知られている。実施の形態において、例えば、閾値を３Ｇとする。

図９に示すセンサ１３２，１４２が検出する加速度ａ_ｚは、共に最大値が４Ｇを超えている。このため、図９に示すような加速度ａ_ｚが検出された場合、端末制御部１２３は、センサ１３２，１４２が検出する加速度ａ_ｚの平均値の最大値は、閾値（３Ｇ）以上であるため、使用者２０１が激しい運動をしていると判定する。

なお上記においては、センサ１３２，１４２が検出する加速度ａ_ｚの平均値の最大値を３Ｇのような閾値と比較する場合について述べたが、本実施の形態はこれに限らない。例えば、耳装着型装置１３０，１４０を振っているか否か判定するために用いる加速度は、耳装着型装置１３０，１４０の加速度ａ_ｚのいずれか一方のみでもよい。また、センサ１３２，１４２が検出する加速度ａ_ｚのうちの絶対値が大きい方を閾値と比較してもよい。

上述の例では、閾値によって使用者２０１が激しい運動をしているか否かを判定しているが、加速度ａ_ｚの経時による変化のパターンによって使用者２０１が激しい運動をしているか否かを判定してもよい。

例えば、１秒間に２．５往復以上の４Ｇを超える対照的な加速度ａ_ｚが検出された場合に、端末制御部１２３は、使用者２０１が激しい運動をしていると判定し、発音体１３５，１４５からの発音を停止するなどの処理をしてもよい。人間の自然な動きでは、１秒間に２．５往復以上の５Ｇを超える対照的な加速度ａ_ｚが検出されることは困難である。

加速度の経時による変化のパターンによって使用者２０１の動作を判定することで、人為的な操作の加速度変化のみを検出することを可能とし、使用者２０１の動作を判定する際の精度を上げることができる。加速度の経時による変化のパターンのパターンとは例えばｘ軸やｙ軸やｚ軸のすくなくとも１つの軸に関して対照的な変化のパターンが挙げられる。

また、端末制御部１２３は、加速度ａ_ｚを積分した値である速度や２度積分した値である距離などが閾値以上か否かによって、使用者２０１が激しい運動をしているか否か判定してもよい。

図５に戻り説明を続ける。端末制御部１２３は、装置制御部１３３，１４３に指示し、装置制御部１３３，１４３は、音量を下げる（Ｓ５０７）。なお端末制御部は、発音体１３５，１４５から発音される音量が所定値より大きい場合にのみ指示を行ってもよく、この場合は、装置制御部１３３，１４３は、指示があった場合に音量を所定値になるように下げる。

端末制御部１２３は、例えば発音体１３５，１４５から発音される音量が一定以上の大きさとならないような制限をかける。使用者２０１が走る等の激しい運動をしていると判定された場合、安全のために外来音が聞こえやすくなるように音量が下がる。また、音量が制限される発音体１３５，１４５は、いずれか一方のみでもよい。

また、ステップＳ５０７において、耳装着型装置１３０，１４０は、集音体で集音した音を発音体１３５，１４５で再生してもよい。この場合、制御システム１００は、マイクなどの集音体を備える。

集音体で集音した音を発音体１３５，１４５で再生する場合、集音体が制御信号を受けてから、発音体１３５，１４５が集音体で集音した音を再生するまでの伝送時間（遅延時間）を減らすことが好ましい。このため、集音体は耳装着型装置１３０，１４０に内蔵されているものが好ましい。

同一の筐体３０２，３１２で集音体と発音体１３５，１４５とを動作させる場合、発音体１３５，１４５からの出力の一部が集音体に帰還されることで生ずる発振現象を抑制するハウリングキャンセラを制御システム１００が実装していることが好ましい。

尚、上述の制御処理では、ステップＳ５０５において耳装着型装置１３０，１４０の電源をオフにする場合を示したが、これに限らず別の処理を行ってもよい。また、耳装着型装置１３０，１４０を振っていないと判定された場合（Ｓ５０４：ＮＯ）、端末制御部１２３は、耳装着型装置１３０，１４０の動き（ジェスチャ）に応じた表示を表示装置に行ってもよい。

具体的には、端末制御部１２３は、端末１１０の図示せぬ表示装置に、ジェスチャによって表される入力結果を表示してもよい。例えば、使用者２０１が耳装着型装置１３０，１４０の向きをそろえて持って、「は」の字を書くようなジェスチャを行った場合、端末制御部１２３は、耳装着型装置１３０，１４０の動きを検出して「は」を表示装置に表示する。なお表示装置に表示される「は」は、ジェスチャ通りでもよいし、データベースで照合され、データベースを参照して表示されるようなきれいな形でもよい。

図１０は、使用者２０１が耳装着型装置１３０，１４０を持って「は」の字を書くようなジェスチャをした際にセンサ１３２が検知するｘ軸、ｙ軸及びｚ軸の加速度ａ_ｘ，ａ_ｙ，ａ_ｚの波形図である。

使用者２０１が耳装着型装置１３０，１４０を手に方向をそろえて持つ際には、センサ１３２とセンサ１４２との検出する加速度はほぼ同じとなるため、図１０ではセンサ１３２が検知するｘ軸、ｙ軸及びｚ軸の加速度ａ_ｘ，ａ_ｙ，ａ_ｚのみを示している。

図１０に示すグラフ１００１は、耳装着型装置１３０のセンサ１３２が検出する経時によるｘ軸における加速度ａ_ｘの変化を示す。グラフ１００２は、耳装着型装置１３０のセンサ１３２が検出する経時によるｚ軸における加速度ａ_ｚの変化を示す。グラフ１００３は、耳装着型装置１３０のセンサ１３２が検出する経時によるｙ軸における加速度ａ_ｙの変化を示す。

使用者２０１は、図２のセンサ１３２の向きにセンサ１４２を揃えるように耳装着型装置１３０，１４０を持ち、ｘ軸、ｚ軸平面上で、「は」の字を書くようにジェスチャをしたとする。この場合、図２のｙ軸方向の加速度ａ_ｙを無視することができる。なお耳装着型装置１３０，１４０を揃える方法としては、鉛筆のように一本の棒としてもよい。

ｙ軸方向の加速度ａ_ｙを無視することで、ｘ軸方向の加速度ａ_ｘとｚ軸方向の加速度ａ_ｚのみに着目すればよくなり、ジェスチャの種類を判定することが容易となる。なおデータベースと照合することでジェスチャの種類を判定する場合、データベースとの照合が容易となる。

またジェスチャによる入力機能だけを使う場合は、耳装着型装置１３０，１４０は耳装着型ではなくてもよく、例えば指輪の形状であってもよい。また上述の例では耳装着型装置１３０，１４０を係合させてジェスチャを行う場合について述べたが、耳装着型装置１３０，１４０のうちの１つのみでジェスチャを行ってもよいものとする。

また、上述のステップＳ５０４、Ｓ５０６、Ｓ５０７の一部又は全てを省略してもよい。本実施の形態ではステップＳ５０３において、端末制御部１２３は、２つの耳装着型装置１３０，１４０の相対的な向きが、揃っているか、向かい合っているか、又はその他か判定している。

本実施の形態はこれらに限らず、２つの耳装着型装置１３０，１４０の相対的な向きが所定の向きであるか判定し、所定の向きであると判定されたら、所定の向きに対応付けられた所定の処理を行ってもよい。

所定の向きは、耳装着型装置１３０，１４０が使用者２０１に装着されている状態と区別するため、２つの耳装着型装置１３０，１４０の相対的な向きが向かい合っている状態と異なることが望ましい。

例えば、端末１１０の有するメモリは図１１に示すような耳装着型装置１３０，１４０の相対的な向き（相対角度）と処理内容とを対応付けて記憶しており、端末制御部１２３は、２つの耳装着型装置１３０，１４０の相対角度に応じた処理を行ってもよい。

例えば、図１１に基づいて、端末制御部１２３は、相対角度が０°〜１０°の場合、耳装着型装置１３０，１４０の電源をオフにし、相対角度が１７０°〜１８０°の場合、使用者の動作状態に応じて音量を下げ、相対角度が３０°〜４０°の場合、端末１１０の図示せぬ表示装置に耳装着型装置１３０，１４０の動きに応じた表示や所定の情報の表示などを行うＵＩ処理を行ってもよい。

制御システム１００は、端末１１０と複数の耳装着型装置１３０，１４０で構成してもよいし、端末１１０のみで構成してもよいし、１つの耳装着型装置１３０，１４０で構成してもよい。端末１１０のみで制御システム１００を構成する場合には、端末１１０は発音体１３５，１４５を備えるように構成してもよい。

なお、特許請求の範囲における制御システムは、例えば端末単体、耳装着型装置のうちの１つ、又は、端末と耳装着型装置のうちの複数で実現される場合のいずれも含む。また、耳装着型装置１３０，１４０の動きを示す動き情報は、例えば、耳装着型装置１３０，１４０の加速度または角加速度等である。また、耳装着型装置１３０，１４０の動作状態は、例えば、耳装着型装置１３０，１４０の電源状態または音量等である。

以上のように本実施の形態による制御システム１００によれば、耳装着型装置１３０，１４０の電源オフや音量制御といった操作を、耳装着型装置１３０，１４０を使用した動作のみで行うことができる。

１００……制御システム、１１０……端末、１２０，８２０……信号送出部、１２１……入力部、１２２……端末信号処理部、１２３……端末制御部、１２４……端末通信部、１３０，１４０……耳装着型装置、１３１，１４１……通信部、１３２，１４２……センサ、１３３，１４３……装置制御部、１３４，１４４……増幅部、１３５，１４５……発音体、２０１……使用者。

Claims (8)

1. 第１の耳装着型装置の動きを示す第１の動き情報と、第２の耳装着型装置の動きを示す第２の動き情報とを取得する動き情報取得部と、
   前記第１の動き情報と前記第２の動き情報との相関に基づいて、前記第１の耳装着型装置及び前記第２の耳装着型装置のうち少なくとも一方の動作状態を変化させる制御部と、
   を備える制御システム。
2. 前記制御部は、前記第１の耳装着型装置と前記第２の耳装着型装置の相対的な角度に基づいて、前記第１の耳装着型装置及び前記第２の耳装着型装置のうち少なくとも一方の電源を制御する、
   請求項１に記載の制御システム。
3. 前記第１の動き情報は、前記第１の耳装着型装置の加速度であり、前記第２の動き情報は、前記第２の耳装着型装置の加速度であり、
   前記制御部は、前記第１の耳装着型装置と前記第２の耳装着型装置の相対的な角度、及び所定期間の間の前記第１の耳装着型装置の加速度及び前記第２の耳装着型装置の加速度の少なくとも一方の最大値に基づいて、第１の耳装着型装置及び第２の耳装着型装置の少なくとも一方から発音される音声を制限する、
   請求項１に記載の制御システム。
4. 前記第１の動き情報は、前記第１の耳装着型装置の加速度であり、前記第２の動き情報は、前記第２の耳装着型装置の加速度であり、
   前記制御部は、前記第１の耳装着型装置と前記第２の耳装着型装置の相対的な角度、及び所定期間の間の前記第１の耳装着型装置の加速度及び前記第２の耳装着型装置の加速度の少なくとも一方の積分値に基づいて、第１の耳装着型装置及び第２の耳装着型装置の少なくとも一方から発音される音声を制限する、
   請求項１に記載の制御システム。
5. 前記第１の動き情報は、前記第１の耳装着型装置の加速度であり、前記第２の動き情報は、前記第２の耳装着型装置の加速度であり、
   前記制御部は、所定期間の間の前記第１の耳装着型装置の加速度及び前記第２の耳装着型装置の加速度の少なくとも一方が所定のパターンに該当する場合、第１の耳装着型装置及び第２の耳装着型装置の少なくとも一方から発音される音声を制限する、
   請求項１に記載の制御システム。
6. 前記制御部は、前記第１の耳装着型装置と前記第２の耳装着型装置の相対的な角度に基づいて、前記第１の動き情報が示す動きに対応する文字を表示装置に表示する、
   請求項１に記載の制御システム。
7. 前記第１の耳装着型装置と前記第２の耳装着型装置は、前記第１の耳装着型装置と前記第２の耳装着型装置の相対的な角度が所定の角度となるように係合するための機構を有し、
   前記第１の耳装着型装置と前記第２の耳装着型装置の相対的な角度が前記所定の角度である場合、前記制御部は、前記所定の角度に対応付けられた処理を実行することで前記第１の耳装着型装置及び前記第２の耳装着型装置のうち少なくとも一方の動作状態を変化させる
   請求項１に記載の制御システム。
8. 第１の耳装着型装置の動きを示す第１の動き情報と、第２の耳装着型装置の動きを示す第２の動き情報とを取得し、
   前記第１の動き情報と前記第２の動き情報との相関に基づいて、前記第１の耳装着型装置及び前記第２の耳装着型装置のうち少なくとも一方の動作状態を変化させる、
   制御方法。

Images