JP2015211803A - 瞬き検出装置及び眼鏡型電子機器 - Google Patents

Abstract

【課題】 使用者が動いている環境においても、小規模且つ省電力な構成で、瞬きを高精度に検出できる瞬き検出装置を提供する。
【解決手段】 ブリッジ３５に固定されたボックス５１内の加速度センサ５５において、鼻パッド４１，４３及びブリッジ３５等を介して使用者の目付近の動きに応じた振動に応じた加速度信号Ｓ５５が生成される。処理部６１は、加速度センサ５５からの加速度信号Ｓ５５から、加速度センサ５７から加速度信号Ｓ５７を差し引いた差分信号し、これを瞬きに応じた特徴量を検出し、当該検出結果を基に瞬き判定を行う。
【選択図】図１

Description

本発明は、使用者の瞬きを検出する瞬き検出装置及び眼鏡型電子機器に関するものである。

人の瞬きを検出し、その検出結果を様々な処理に用いたいという要請がある。
このような瞬きを検出する装置として、例えば、特許文献１には、眼鏡（の鼻ブリッジ近傍）に設けられた赤外線センサから瞼や眼球に赤外線を照射し、その反射光を基に瞼や眼球の動きを検出して、覚醒状態を判別する感知装置が開示されている。
また、引用文献２には、眼鏡のフレームに加速度センサを取り付け、使用者の頭部の動きを検出し、居眠りを防止する眼鏡が開示されている。

特表２００９−５０４２０５号公報 特開２００８−２９９０３６号公報

しかしながら、上述した特許文献１の装置では、赤外線センサから瞼や眼球に赤外線を照射するため、赤外線の照射位置がずれると、検出できないという問題がある。また、特許文献１の装置では、赤外線センサーを用いるため、装置が大規模化してしまうと共に、電力消費が大きいという問題がある。
また、引用文献２の装置では、使用者の瞬きを検出できない。

本発明はかかる事情に鑑みてなされたものであり、その目的は、使用者が動いている環境においても、使用者の瞬きを高精度に検出できる瞬き検出装置及び眼鏡型電子機器を提供することを目的とする。
また、本発明は、小規模且つ省電力な構成で、瞬きを検出できる瞬き検出装置及び眼鏡型電子機器を提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明の瞬き検出装置は、使用者に装着された状態で前記使用者の瞼の動きに応じた動きが伝わる動き伝達部を有する眼鏡型フレームに取り付けられる瞬き検出装置であって、前記使用者の瞼の瞬きに応じて前記動き伝達部に生じる動きを検出して第１の検出信号を生成する伝達部動き検出手段と、前記伝達部動き検出手段が生成した前記第１の検出信号に基づいて前記使用者が瞬きを行ったか否かを判定する判定手段とを有する瞬き検出装置。

この構成によれば、眼鏡型フレームが使用者に装着された状態で、前記使用者の瞼が動くと、当該動きが動き伝達部に生じる。
そして、伝達部動き検出手段において、前記動き伝達部の動きが検出されて第１の検出信号が生成される。すなわち、光学的な方法ではなく、使用者の瞬きに応じた動きを、動きとして検出するため、小規模な構成で実現できる。また、動きが生じた場合でも、高い検出精度を保つことができる。
そして、判定手段において、前記伝達部動き検出手段が生成した前記第１の検出信号に基づいて前記使用者が瞬きを行ったか否かを判定される。

好適には、本発明の瞬き検出装置は、前記眼鏡型フレームの全体の動きを検出して第２の検出信号を生成するフレーム動き検出手段をさらに有し、前記判定手段は、前記伝達部動き検出手段が生成した前記第１の検出信号と、前記フレーム動き検出手段が生成した前記第２の検出信号とを基に、前記判定を行う。
この構成によれば、フレーム動き検出手段によって眼鏡型フレーム全体の動きが検出され、その検出結果である第２の検出信号をさらに用いて、判定手段で判定を行うことで、眼鏡型フレーム全体の動きを考慮した高精度な瞬き検出ができる。

好適には、本発明の瞬き検出装置の前記判定手段は、前記第１の検出信号と前記第２の検出信号との差分信号を基に、前記判定を行う。
この構成によれば、前記動き伝達部に生じる動きを検出して得た第１の検出信号内の眼鏡型フレーム全体の動き成分をキャンセルした差分信号を基に判定ができ、眼鏡型フレーム全体の動きの影響を受けることなく、高精度な瞬き検出を行うことができる。

好適には、本発明の瞬き検出装置の前記判定手段は、前記差分信号を周波数変換して周波数成分信号を生成し、当該周波数成分信号内に、予め規定した前記瞬きに応じた特徴量が含まれているか否かを基に前記判定を行う。
この構成によれば、瞬きに応じた特徴量を適切に規定することで、高精度な瞬き検出を行うことができる。

好適には、本発明の瞬き検出装置の前記伝達部動き検出手段及び前記フレーム動き検出手段は、加速度センサである。
この構成によれば、加速度センサを使用することにより、従来の赤外線センサを用いた装置より小規模化及び省電力化を実現できる。

好適には、本発明の瞬き検出装置は、前記第１の検出信号、前記第２の検出信号及び前記判定手段の判定結果の少なくとも一つを無線送信する通信手段さらに有する。
この構成によれば、前記第１の検出信号、前記第２の検出信号及び前記判定手段の判定結果の少なくとも一つを無線送信により外部装置に送信できる。そのため、処理能力が高い外部装置において高機能な処理を実現できる。

本発明の眼鏡型電子機器は、使用者に装着された状態で前記使用者の瞼の動きに応じた動きが伝わる動き伝達部を有する眼鏡型電子機器であって、上述した瞬き検出装置を備えている。
眼鏡型電子機器に、上述した本発明の瞬き検出装置を取り付けることにより、簡単にまた日常で違和感なく、瞬きを検出できる。

好適には、本発明の眼鏡型電子機器は、前記使用者の鼻筋付近と接触する前記動き伝達部としての２つの鼻パッドと、前記２つの鼻パッドの間に介在するブリッジとを有し、前記伝達部動き検出手段は、前記ブリッジに搭載されている。
この構成によれば、ブリッジに前記伝達部動き検出手段を取り付けることにより、日常で違和感なく瞬きを検出できる。

好適には、本発明の眼鏡型電子機器の前記フレーム動き検出手段は、前記使用者の両耳に掛けられるテンプル、あるいは当該テンプルの先端のモダンに固定されている。
テンプル、あるいは当該テンプルの先端のモダンにフレーム動き検出手段を取り付けることにより、顔の動きに追従したフレームの動きを検出できる。

本発明によれば、使用者が動いている環境においても、使用者の瞬きを高精度に検出できる瞬き検出装置及び眼鏡型電子機器を提供することができる。
また、本発明によれば、小規模且つ省電力な構成で、瞬きを検出できる瞬き検出装置及び眼鏡型電子機器を提供することができる。

図１は、本発明の実施形態に係る眼鏡の外観図である。 図２は、図１に示す眼鏡に用いられるセンサ及び信号処理系の構成要素を説明するための図である。 図３は、図１及び図２に示す眼鏡の処理例を説明するためのフローチャートである。

図１は、本発明の実施形態に係る眼鏡１の外観図である。図２は、図１に示す眼鏡１に用いられるセンサ及び信号処理系の構成要素を説明するための図である。
図１に示すように、眼鏡１は、使用者に耳に掛けられるテンプル１１，１３と、レンズ２１，２３が固定されるリム３１，３３と、リム３１，３３の間に介在するブリッジ３５と、鼻パッド４１，４３とを有する。テンプル１１，１３の先端はモダン３７，３９と呼ばれる。また、テンプル１１，１３とリム３１，３３との間には丁番４５，４７が設けられている。

テンプル１１，１３、リム３１，３３、ブリッジ３５、鼻パッド４１，４３、モダン３７，３９及び丁番４５，４７が、本発明の眼鏡型フレームの一例である。また、鼻パッド４１，４３が本発明の動き伝達部の一例である。
また、加速度センサ５５が本発明の伝達部動き検出手段の一例であり、加速度センサ５７が本発明のフレーム動き検出手段の一例である。

なお、眼鏡１の上述した構成要素の部材としては、振動が伝わりやすいものを用いることが望ましい。
眼鏡１は、ボックス５１及びボックス５３を有する。また、ボックス５１とボックス５３との間には信号線及び電源線（図示せず）が設けられている。

ブリッジ３５には、ボックス５１が固定されている。
加速度センサ５５は、ボックス５１内に設けられている。
例えば、使用者が瞬きをしたときに、瞼の動きがテンプル１１，１３及び鼻パッド４１，４３を介してブリッジ３５に伝達される。加速度センサ５５は、ブリッジ３５の動きを検出する。
加速度センサ５５は、上記振動に応じた加速度の検出結果を示す加速度信号Ｓ５５（本発明の第１の検出信号の一例）を生成する。加速度センサ５５と処理部６１とは上記信号線を介して接続されており、加速度信号Ｓ５５は上記信号線を介して加速度センサ５５から処理部６１に送信される。

ボックス５３は、例えば、テンプル１１あるいはモダン３７に固定されている。ボックス５３には加速度センサ５７が搭載されている。
加速度センサ５７は、例えば、使用者の体全体の動きや、周囲環境の加速度（リファレンス）を検出する。
加速度センサ５７は、加速度の検出結果を示す加速度信号Ｓ５７（本発明の第２の検出信号の一例）を生成する。加速度センサ５７と処理部６１とは信号線（図示せず）で接続され、加速度信号Ｓ５７は当該信号線を介して加速度センサ５７から処理部６１に送信される。加速度信号Ｓ５７は、ファレンス（バックグラウンドのデータ）として用いられる。

加速度センサ５５，５７は、例えば、３軸センサである。
ボックス５１には、図示しない電池が搭載されている。加速度センサ５５，５７及び処理部６１は当該電池から給電されて動作する。
また、ボックス５１は、携帯型通信装置と通信可能な通信モジュールを搭載していてもよい。

加速度センサ５５，５７で生成した加速度信号Ｓ５５，Ｓ５７は、図２に示す処理部６１に出力する。
処理部６１は、図１に示すボックス５３に設けられている。
処理部６１は、加速度センサ５５から入力した加速度信号Ｓ５５から、加速度センサ５７から入力した加速度信号Ｓ５７を差し引いた差分信号を生成する。
そして、処理部６１は、当該差分信号にＦＦＴ等の周波数変換を施し、周波数成分信号を基に領域において特性を分析する。

処理部６１は、周波数成分信号を基に、予め実験等によって特定した瞬きによって生じる周波数成分の特徴量（スペクトル）を特定する。
処理部６１は、周波数成分信号を基に、会話等の発音によって生じるスペクトル、くしゃみによって生じるスペクトル等を判別する。

処理部６１は、周波数成分信号を基に瞬きによって生じる周波数成分の特徴を特定すると、瞬きが生じたと判定する。
そして、処理部６１は、瞬きの判定結果を基に、予め規定された処理を実行する。
例えば、処理部６１は、瞬きを一定期間検出しない場合に、使用者を覚醒させるために、音や振動等の警報を出力してもよい。また、処理部６１は、瞬きが予め決められた特殊なパターンであると判定した場合に、当該パターンの発生指示を入力指示として、事前に決められた処理を行うようにしてもよい。
処理部６１は、加速度センサ５５,５７が生成した加速度信号Ｓ５５，Ｓ５７を、ボックス５１内の通信モジュールを介して携帯型通信装置に送信し、携帯型通信装置において、瞬き検出処理、覚醒状態の判別処理及び警報出力処理を行ってもよい。この場合に、通信モジュールから携帯型通信装置に、加速度信号Ｓ５５，Ｓ５７及び瞬き判定結果の少なくとも一つが送信される。

以下、眼鏡１の動作例を説明する。
図３は、図１及び図２に示す眼鏡１の処理例を説明するためのフローチャートである。
ステップＳＴ１：
ブリッジ３５に固定されたボックス５１内の加速度センサ５５において、鼻パッド４１，４３及びブリッジ３５等を介して使用者の瞼の動きに応じた加速度信号Ｓ５５が生成される。そして、加速度信号Ｓ５５が信号線を介して加速度センサ５５から処理部６１に送信される。

また、テンプル１１に固定されたボックス５３の加速度センサ５７において、使用者の体全体の動きに応じた加速度信号Ｓ５７が生成される。そして、加速度信号Ｓ５７が信号線を介して加速度センサ５７から処理部６１に送信される。

ステップＳＴ２：
処理部６１は、加速度センサ５５からの加速度信号Ｓ５５から、加速度センサ５７から加速度信号Ｓ５７を差し引いた差分信号を生成する。

ステップＳＴ３：
処理部６１は、ステップＳＴ２で生成した差分信号にＦＦＴ等の周波数変換を施し、周波数成分信号を生成する。

ステップＳＴ４：
処理部６１は、ステップＳＴ３で生成した周波数成分信号を基に、予め実験等によって特定した瞬きによって生じる周波数成分の特徴量（スペクトル）を抽出する。

ステップＳＴ５：
処理部６１は、ステップＳＴ４で特徴量が抽出された場合に、瞬きが生じたと判定する。

ステップＳＴ６：
そして、処理部６１は、瞬きの判定結果を基に、予め規定された処理を実行する。
例えば、処理部６１は、瞬きを一定期間検出しない場合に音や振動等の警報を出力してもよい。また、処理部６１は、瞬きが予め決められた特殊なパターンであると判定した場合に、当該パターンの発生指示を入力指示として、事前に決められた処理（警報出力処理等）を行う。

眼鏡１によれば、ブリッジ３５に固定したボックス５１内の加速度センサ５５によって、使用者が瞬きをしたときの瞼の動きに応じた加速度信号Ｓ５５を生成し、これに基づいて瞬きを検出できる。
このように、眼鏡１では、赤外線センサ等の光学センサではなく、加速度センサ５５，５７を用いるため、小型化及び省電力化が図れる。また、このように加速度センサ５５を用いることで、赤外線センサのように赤外線の照射位置がずれて検出が不能になることを回避できる。そのため、瞬きを安定して高精度に検出できる。

また、眼鏡１によれば、テンプル１１に固定されたボックス５３の加速度センサ５７において、使用者の体全体の動きに応じた加速度信号Ｓ５７を生成し、これをリファレンスとして用いて、加速度センサ５５の加速度信号Ｓ５５から差し引いた差分信号に基づいて瞬き検出を行う。そのため、使用者が動いている状態でも、瞬きを高精度に検出できる。
すなわち、眼鏡１によれば、加速度センサ５５の加速度信号Ｓ５５から加速度センサ５７の加速度信号Ｓ５７を差し引くことで、加速信号Ｓ５５内にある使用者の頭あるいは体全体の動きによる影響（外部影響）をキャンセルでき、キャンセル後の信号を基に瞬きを高精度に検出できる。

また、眼鏡１によれば、ブリッジ３５に固定されたボックス５１内に加速度センサ５５を設け、テンプル１１に固定されたボックス５３内に加速度センサ５７を設けた。そのたため、眼鏡としての本来の機能を損なうことなく、日常で違和感なく瞬きを検出できる。また、デザイン性にも優れている。

また、眼鏡１によれば、ボックス５１内の通信モジュールを介して携帯型通信装置等の外部装置に信号を送信することで、外部装置の高い処理能力及びメモリ容量を用いた高機能な処理を実現できる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態では、ブリッジ３５に固定されたボックス５１内に加速度センサ５５を設けた場合を例示したが、加速度センサ５５をブリッジ３５に直接固定してもよし、リム３１，３３等に固定してもよい。
また、加速度センサ５５が眼鏡１を装着した使用者の目付近に直接触れるようにしてもよい。

また、上述した実施形態ではボックス５３をテンプル１１に設けた場合を例示したが、テンプル１１以外の場所に設けてもよい。
また、上述した実施形態では、本発明をレンズ２１，２３を備えた眼鏡１に適用した場合を例示したが、レンズが無いアイウェア等に適用してもよい。

また、上述した実施形態では、加速度センサ５５，５７の２つの加速度センサを用いた場合を例示したが、３つ以上の加速度センサを搭載し、これらの加速度信号を基に瞬きを検出すうようにしてもよい。
また、使用者の目付近を撮像するカメラからの画像信号を組み合わせて瞬き判定をするようにしてもよい。
また、上述した実施形態では、電池や通信モジュールは、ボックス５１に搭載されているが、ボックス５３に搭載してもよい。

本発明は、使用者の瞬きを検出する瞬き検出装置及び眼鏡型電子機器に適用可能である。

１…眼鏡
１１,１３…テンプル
２１，２３…レンズ
３１，３３…リム
３５…ブリッジ
４１，４３…鼻パッド
５１，５３…ボックス
５５，５７…加速度センサ
６１…処理部

Claims (9)

1. 使用者に装着された状態で前記使用者の瞼の動きに応じた動きが伝わる動き伝達部を有する眼鏡型フレームに取り付けられる瞬き検出装置であって、
   前記使用者の瞼の動きに応じて前記動き伝達部に生じる動きを検出して第１の検出信号を生成する伝達部動き検出手段と、
   前記伝達部動き検出手段が生成した前記第１の検出信号に基づいて前記使用者が瞬きを行ったか否かを判定する判定手段と
   を有する瞬き検出装置。
2. 前記眼鏡型フレームの全体の動きを検出して第２の検出信号を生成するフレーム動き検出手段
   をさらに有し、
   前記判定手段は、前記伝達部動き検出手段が生成した前記第１の検出信号と、前記フレーム動き検出手段が生成した前記第２の検出信号とを基に、前記判定を行う
   請求項１に記載の瞬き検出装置。
3. 前記判定手段は、前記第１の検出信号と前記第２の検出信号との差分信号を基に、前記判定を行う
   請求項２に記載の瞬き検出装置。
4. 前記判定手段は、前記差分信号を周波数変換して周波数成分信号を生成し、当該周波数成分信号内に、予め規定した前記瞬きに応じた特徴量が含まれているか否かを基に前記判定を行う
   請求項３に記載の瞬き検出装置。
5. 前記伝達部動き検出手段及び前記フレーム動き検出手段は、加速度センサである
   請求項１〜４のいずれかに記載の瞬き検出装置。
6. 前記第１の検出信号、前記第２の検出信号及び前記判定手段の判定結果の少なくとも一つを無線送信する通信手段
   をさらに有する請求項１〜５のいずれかに記載の瞬き検出装置。
7. 使用者に装着された状態で前記使用者の瞼の動きに応じた動きが伝わる動き伝達部を有する眼鏡型電子機器であって、
   請求項１〜６に記載のいずれかの瞬き検出装置を備えた眼鏡型電子機器。
8. 前記使用者の鼻筋付近と接触する前記動き伝達部としての２つの鼻パッドと、
   前記２つの鼻パッドの間に介在するブリッジと
   を有し、
   前記伝達部動き検出手段は、前記ブリッジに固定されている
   請求項７に記載の眼鏡型電子機器。
9. 前記フレーム動き検出手段は、前記使用者の耳に掛けられるテンプル、あるいは当該テンプルの先端のモダンに搭載されている
   請求項８に記載の眼鏡型電子機器。