JP2012514392A - 制御システム、イヤホン、および制御方法 - Google Patents

制御システム、イヤホン、および制御方法 Download PDF

Info

Publication number
JP2012514392A
JP2012514392A JP2011543722A JP2011543722A JP2012514392A JP 2012514392 A JP2012514392 A JP 2012514392A JP 2011543722 A JP2011543722 A JP 2011543722A JP 2011543722 A JP2011543722 A JP 2011543722A JP 2012514392 A JP2012514392 A JP 2012514392A
Authority
JP
Japan
Prior art keywords
head
information
motion
position information
earphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011543722A
Other languages
English (en)
Other versions
JP5528471B2 (ja
Inventor
ユルゲン・パイシッヒ
ダニエル・シュレジンガー
ハイコ・ツォイナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sennheiser Electronic GmbH and Co KG
Original Assignee
Sennheiser Electronic GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sennheiser Electronic GmbH and Co KG filed Critical Sennheiser Electronic GmbH and Co KG
Publication of JP2012514392A publication Critical patent/JP2012514392A/ja
Application granted granted Critical
Publication of JP5528471B2 publication Critical patent/JP5528471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Stereophonic System (AREA)
  • Headphones And Earphones (AREA)

Abstract

イヤホン(2)と演算デバイス(3)とを有する制御システム(1)を提供する。制御システム(1)は、頭の動作情報および/または頭の位置情報を評価するための演算デバイス(3)を有する。このとき演算デバイスは、評価に基づいて少なくとも1つの制御信号を出力するように構成され、イヤホンは、頭の動作情報および/または頭の位置情報を検出するためのセンサデバイス(9a,9b,9c)、および動作情報および/または位置情報を送信する送信デバイス(10)を有する。

Description

本願は、2008年12月30日付けで出願された独国特許出願第102008055180.5に基づく優先権を主張し、その開示内容全体がここに一体のものとして参考に統合される。
本発明は、制御システム、イヤホン、および制御方法に関する。
マン・マシン・インターフェースと呼ばれる一連のものが当業者の間で広く知られている。この点において、一般に、人類は技術的な装置を制御する。こうした制御装置の具体例として、コンピュータマウスがある。ユーザは自らの手を用いて、平坦な表面上にマウスを移動させる。マウス内のセンサがその動きを測定し、その動きをコンピュータなどの演算ユニットに送信し、演算ユニットがその動きに関する情報を分析する。この分析に基づいて、マウスポインタまたはカーソルがディスプレイ画面上を移動する。
別の具体例はポータブルMP3プレーヤの操作に関する。このプレーヤは、たとえば表面にボタンを有し、ユーザの手で押して、たとえば音量調節やユーザが聴きたい楽曲の選曲等の操作を実現することができる。
本発明の課題は、ユーザが技術的なデバイスを有利に制御するための制御システムを提供することである。
この課題は、請求項1に係る制御システム、請求項8に係るイヤホン、および請求項9に係る制御方法により解決することができる。
本発明に係る制御システムは、頭の動作情報(の要素)および/または頭の位置情報を検出するためのセンサデバイス、およびユーザの体の少なくとも一部を特定するために、頭の動作情報(の要素)および/または頭の位置情報(の要素)を送信する送信デバイスを有するイヤホンと、頭の動作情報(の要素)および/または頭の位置情報を評価する演算デバイスとを備える。演算デバイスは、当該評価に基づいて少なくとも1つの制御信号を出力するように構成されている。
本発明の基本的な概念は、イヤホンまたはヘッドセットを着用した頭の所与の動き、位置、または動作パターンにより、技術的なデバイスを制御する制御システムを提供することにある。
こうしたイヤホンまたはヘッドセットがユーザの体の一部に固定的に接続されることは意義のあることである。ユーザは、頭に固定したイヤホンまたはヘッドセットを用いて、体の一部の位置情報および/または動作情報(の要素)を検出することができる。
イヤホンまたはヘッドセットにしっかりと固定されたセンサデバイスは、動作情報および/または位置情報の要素を検出するように機能する。センサデバイスは、たとえば加速度センサ、旅行距離センサ、旋回センサ、動作センサなどのセンサであってもよい。動作情報および/または位置情報の要素は、センサデバイスが配置された頭の位置および/または動きを示すものであり、こうした動作情報および/または位置情報はセンサデバイスまたはセンサを用いて検出される。
頭の動作情報(の要素)は、たとえば頷くときに起こる頭の前後(上下)の頷き動作、首を横に振るときに起こる頭の左右の回転動作、および頭を左右の肩の方へ傾げるときに起こる頭の傾斜動作に関する動作の情報要素を含む。人間の頭をボールと見立てると、これらの動作は、互いに直交する第1軸、第2軸、および第3軸の周りのボールの回転運動とモデル化することができる。これらの軸のうちの1つは、頭の中心を貫通する体の長手方向軸に一致する。別の動作は、空間上における頭の動作、すなわち空間上の第1のポイントから第2のポイントまでの動作である。
頭の位置情報(の要素)は、たとえば頭が前方、右方、または左方に傾斜するときの瞬間的な傾斜角度、すなわち上記3つの軸の周りの回転角度に関するものである。3つの軸のうちの1つは、頭の中心を貫通する体の長手方向軸に一致する。別の頭の位置(の要素)は、空間における頭の絶対的な位置である。この場合、頭は実質的には空間上の1点に向いている。
センサデバイスで検出された動作情報および/または位置情報(の要素)は、送受信デバイスを介して、演算デバイスに送信することができる。送受信デバイスは、たとえば動作情報および/または位置情報の要素を、外部にある演算デバイスへ送信するアンテナを有していてもよい。択一的には、送受信デバイスは、ケーブルを介して、演算デバイスに接続してもよい。ただし演算デバイスはイヤホンに取り付け、または内蔵してもよい。また演算デバイスは、有線接続を介してセンサデバイスに接続してもよい。演算デバイスは、動作情報および/または位置情報(の要素)を評価するように構成されている。この評価手順は、たとえば頭の位置(空間上の位置、第1軸、第2軸、および第3軸の周りの第1、第2、および第3の傾斜角度)、および/または頭の動作(空間上の動作、第1軸、第2軸、および第3軸の周りの第1、第2、および第3の回転動作)を特定するステップにリンクさせることもできる。これらの値は、頭の動作パラメータおよび/または頭の位置パラメータと呼ぶことができる。
演算デバイスは、動作情報および/または位置情報の要素、これらから求めたパラメータ(たとえば頭の動作情報、位置情報、頭の動作パラメータ、および位置パラメータ)から、イヤホンが装着されたユーザの頭の一部に関する動作パターンを認識することができる。たとえば、首振り動作、頭の頷き動作、頭の円運動動作などを認識することができる。そのためには、演算デバイスは、特定の動作パターンを認識できるように、予め設定しておいてもよいが、ユーザが所定の動作パターンを記憶させることができるように設計しておいてもよい。たとえば、ユーザは、訓練モードで動作パターンを実行し、動作検出デバイスを用いて、対応する動作情報および/または位置情報の要素、またはパラメータ、または時間推移を検出し、制御モードで実際の動作を認識させるように演算デバイスを設計してもよい。
すなわち演算デバイスは、訓練モードおよび制御モードを有することが好ましい。
制御システムは、たとえば以下の特定の用途において用いることができる。ヘッドホンまたはヘッドセットにおいて、ユーザのヘッドホンまたはヘッドセットの動きに応じてオーディオ再生を制御することができる。ヘッドホンまたはヘッドセットの制御システムにおいて、モニタ手段を実現することができ、たとえば頭を所定の方向へ動作させたとき、たとえば1つの音楽装置の音量を他の音楽装置の音量より大きくすることができる。また制御システムを用いて、モニタ上のマウスポインタまたはカーソルを制御することができる。
本発明の態様によれば、演算デバイスは、動作情報および/または頭の位置情報(の要素)から動作パターンを認識し、認識された動作パターンに依存する少なくとも1つの制御信号を出力するように構成することができる。すなわちユーザの体の一部の動作パターンは、ジェスチャと呼ぶことができるが、これを用いて技術的なデバイスを制御することができる。
所与の頭の姿勢位置に基づいて、制御信号を決定または出力することができる。頭の動作情報および/または位置情報(の要素)を評価するとき、たとえば所定の傾斜角度が検出された場合、または複数の所定の傾斜角度(頭の第1軸、第2軸、および第3軸の周りの第1、第2、および第3の傾斜角度)が検出された場合に、制御信号を出力してもよい。
頭の動作に関する動作パターンとは、たとえば頭の頷き動作、頭の円運動動作、頭の傾斜動作、または首振り動作である。
演算デバイスは、こうした姿勢位置または動作パターンを認識するように構成してもよく、演算デバイスは、予め設定された姿勢位置および/または予め設定された動作パターンを記憶したメモリを有し、現在検出された動作情報および/または位置情報の要素と、記憶されたデータとを比較することにより、特定の動作パターンまたは姿勢位置を認識することができる。
本発明の態様によれば、演算デバイスは、動作パターンおよび/または姿勢位置を記憶させる訓練モードで作動させることができる。この場合、たとえば動作検出デバイスを用いて、体の一部の姿勢または動作パターンを検出することができる。動作情報および/または位置情報(の要素)は、訓練モードで演算デバイスに記憶させるが、これは、演算デバイスがこれらのデータを、動作パターンまたは姿勢位置として格納し、覚え込むということを意味する。動作モードでは、演算デバイスは対応する姿勢位置または動作パターンを認識することができる。
姿勢位置または動作パターンにより形成されたデータと、所定の動作パターンまたは姿勢位置に属する記憶されたデータとを比較することにより、認識を行う。両者のデータの差異が所定の限界値より小さいときに、演算デバイスは、対応する姿勢位置または動作パターンを認識する。所定の制御信号は、動作パターンおよび/または姿勢位置に関連付けられる。
本発明の態様によれば、少なくとも1つの制御信号は、動作パターンの時間間隔または姿勢位置に依存する。頭の頷き動作などの動作パターンは認識され、たとえば音量を増大するための制御信号が出力される。頷き動作をより長い時間続けると、これに伴い、ラウドスピーカの音量が増大する。これは、姿勢位置または動作パターンが認識され、たとえば別の音楽に切り換えるといった所定の効果を実現する場合とは状況が異なる。このように制御装置は、より高い柔軟性および快適性をユーザに提供することができる。
本発明の態様によれば、演算デバイスは、動作情報および位置情報(の要素)についてフィルタリング処理を行うフィルタを有し、フィルタは、位置情報に比して動作情報をより強く重み付けするように構成されている。こうしたフィルタは、「ゼロポイント設定」という自動再調節機能を有する。とりわけ動作パターンについては、一般に、一定の長い期間における正確な位置を特定する必要はない。動作パターンを一意的に認識するためには、瞬間的な角加速度および瞬間的な角速度等に係るパラメータの方が、正確な位置に係るパラメータよりも適当である。頭による制御に際して、たとえば頭を前方の位置は、こうしたフィルタを用いて再調節することができる。頭が所定の時間、第1の方向に向いている場合、その方向を頭の動作の開始位置と判断される。頭が所定の長い時間、異なる方向を向いていると、新しい開始位置がその方向に更新されたと判断される。
1つの態様によれば、演算デバイスは、動作情報および/または位置情報(の要素)をフィルタ処理するための補償フィルタを有し、このフィルタは、センサデバイスの特異性を補償するように構成されている。したがって、たとえば用いられるセンサまたはセンサデバイスが有する系統的誤差または不正確さを補償することができる。これにより、動作パターン認識および姿勢位置認識の品位を改善することができる。
本発明のさらなる態様によれば、センサデバイスおよび/または送受信デバイスを作動または停止させる作動/停止ユニットが提供される。この作動ユニットは、たとえばノブの形態を有する作動部品または停止部品として構成することができる。すなわち頭の動作の検出を停止させることもできる。これは、ユーザがたとえばスポーツアクティビティを行っている場合に、とりわけ適当なものとなる。
たとえば特定の一連の頭の動作により、作動/停止ユニットを作動または停止させることができる。センサデバイスおよび/または送受信デバイスを停止することにより誤って制御命令を行うことを防止することができる。本発明のさらなる形態は、添付クレームの主題となるものである。
第1の実施形態に係る制御システムの概略図である。 第2の実施形態に係るイヤホンの概略図である。 第3の実施形態に係るイヤホンの概略図である。 第4の実施形態に係るイヤホンの概略図である。 第5の実施形態に係るイヤホンの概略図である。 頭の動作をパラメータ化した概略図である。 第6の実施形態に係る演算デバイスのブロック回路図である。 第6の実施形態に係る演算デバイスのドライバのブロック回路図である。 第16の実施形態において、傾斜角度を複数の角度領域に分割することを示す概略図である。
添付図面を参照しつつ、本発明の好適な実施形態について以下説明する。
図1は、本発明に係る第1の実施形態による制御システムの概略図である。制御システム1は、ハンドセット2(移動検出デバイス)、演算ユニット3、および演算ユニット3に任意的に接続できる別のデバイスとを有する。これらのデバイスは、コンピュータ/ラップトップコンピュータ4a、MP3プレーヤ/iPod4b、航空機コックピット4c、ホームステレオシステム4d、または電話4eであってもよい。
ハンドセット2は、第1のイヤホンカプセル5aと、第2のイヤホンカプセル5bとを有する。2つのイヤホンカプセル5a,5bは、任意的には、バンド6を介して互いに接続される。ハンドセット2は、任意的には、マイクロホン7とマイクロホンホルダ8とを有する。加速度センサ9a,9b,9cがハンドセット2に配設される。加速度センサ9a,9b,9cは、送受信デバイス10に接続されている。ハンドセットはユーザの頭に取り付けられ、ユーザが頭を動かすと、加速度センサ9a,9b,9cがユーザの頭の加速度を測定し、これを送受信デバイス10に送る。検出された加速度情報(の要素)は、送受信デバイス10により、演算ユニット3へ送信される。送信デバイス10と演算ユニット3との間の通信は、一方では無線または有線であってもよい。さらに、演算ユニット3は、送受信デバイス10に直接的に取り付けてもよいし、これに内蔵するものであってもよいし、あるいはこれに付随するものであってもよい。
演算ユニット3は、送受信デバイス10だけでなく、たとえばUSB接続を介して、コンピュータ/ラップトップコンピュータ4aなどの別のデバイスに接続してもよい。演算ユニット3は、同様に、たとえばMP3プレーヤ4bに無線通信で接続してもよい。無線および/またはケーブル接続で演算ユニット3に接続可能な別のデバイスは、コックピット4c、ホームステレオシステム4d、および電話4eである。無線通信を行う場合は、これらのデバイスは、適当な送受信デバイスを有する。とりわけ、こうした複数のデバイスを演算ユニット3に同時に接続することができる。
演算ユニット3は、送受信デバイス10から加速度情報11(の要素)を受信し、評価する。これは、とりわけユーザの頭の一部の動作パターンを、受信された加速度情報に基づいて認識するということを意味する。動作パターンの他、たとえば空間上の第1の位置から第2の位置へ頭が移動したことを認識できる。演算ユニット3は、所定の動作パターンに対する比較データを記憶するメモリを有していてもよい。加速度情報11(の要素)を比較データと比較することにより、所定の動作パターンを認識することができる。
演算ユニット3は、所定の動作パターンを覚え込ませる訓練モードで作動させることができる。訓練モードでは、たとえば所定の動作パターンを行い、そのように特徴付けて、メモリ12に記憶させる。通常動作モードでは、演算ユニット3は、覚え込ませた動作パターンを認識する。動作パターンの認識感度を改善するために、特定の動作パターンについて複数回にわたって訓練する。こうして動作パターンについて、複数のデータ組(データセット)を得ることができる。通常動作モードでは、たとえば、加速度情報11の検出要素と、その動作パターンに関してメモリに記憶されたデータ組との間の差異が所定の閾値より小さいことを検出して、所定の動作パターンを認識することができる。動作バターンの認識感度は、閾値に基づいて調節することができる。好適には、こうした閾値は、演算ユニット3において調節することができる。
対応する制御信号を認識された動作パターンを関連付けて、コンピュータ/ラップトップコンピュータ4a、MP3プレーヤ4b、コックピット4c、ホームステレオシステム4d、または電話4eなどのデバイスに対し、演算ユニット3と各デバイス間の適当な通信手段を用いて当該制御信号を送信することができる。コンピュータ/ラップトップコンピュータ4aの場合、制御信号を用いて、たとえばディスプレイ画面またはコンピュータゲーム上のマウスの位置を制御することができる。MP3プレーヤ4bの場合、制御信号を用いて、たとえば音量調節、ベース調節、トレブル調節、楽曲部分の選択を行うことができる。コックピット4cの場合、制御信号を用いて、たとえば所定の無線チャンネルを選択することができる。こうした無線チャンネルの通信には、たとえば管制塔との通信、キャビン内の乗客との通信、または所定のハンドセットを着用した別のフライト乗務員との通信が含まれる。制御信号を用いて、ホームステレオシステム4dを制御し、たとえば音量調節や、たとえばラジオ、CD、DVDなどのデバイス選択、音響信号のトレブル調節、重低音調節を行うことができる。
電話4eに接続される場合、たとえば適当に予めプログラムされた電話番号を選択して、電話通信を確立することができる。
好適には、演算ユニット3は、これらの複数のデバイスに接続され、所定の動作パターンを行うことにより、こうした接続を選択する。たとえばMP3プレーヤ4bや電話4eが演算ユニット3に接続された場合、最初は楽曲を聴くことができ、電話の着信があった場合には、所定の動作パターンにより電話4eとの通信が選択され、MP3プレーヤから音楽が流れることなく、電話で会話をすることができる。
コンピュータ/ラップトップコンピュータ4a、MP3プレーヤ4b、コックピット4c、ホームステレオシステム4d、または電話4eなどのデバイスは、演算ユニット3の制御信号により制御される信号を出力する。したがって、こうした出力信号は、頭の動作パターンにより制御することができる。具体例として掲げたデバイスの出力信号を、ハンドセットに直接的に送信してもよいし、送受信デバイス10に送信してもよい。ただし、演算ユニット3は、特定のデバイスの出力信号を受信して、ハンドセットの送受信デバイス10に対し、たとえば音響信号14などの対応する信号を送信することが好ましい。このように受信された音響信号14は、第1および第2のイヤホンカプセル5a,5bに送信され、ユーザは所望の音響信号、たとえばMP3プレーヤから所望の楽曲を所望の音量で聴くことができ、電話で会話することができる。加速度情報11の要素に加え、たとえばマイクロホン7で録音した音声信号を演算ユニット3に送信して、演算ユニット3が音声信号をたとえば電話に送信することもできる。
頭の動作パターンの要素として、たとえば首を縦に振る動作において、頭を前方または後方に振るとき、たとえば首を横に振る動作において、頭を右方または左方に回転させるとき、たとえば頭を右肩または左肩に近づける動作において、頭を傾けるときの動作に関する情報要素を含むものである。人間の頭をボールとみなすと、これらの動作を互いに直交する第1、第2、および第3の軸の周りの回転動作として擬制(モデル化)することができる。このとき、これらの軸のうちの1つは、頭の中心点を貫通して延びる体の長手方向軸と一致する。さらなる動作は、空間上の頭の第1の位置から第2の位置に至るまでの空間上の動作である。
頭の位置情報の要素は、たとえば頭を瞬間的に前方に傾けた角度、右方または側方に傾けた角度、すなわち上述の3つの軸のうちの体の長手方向軸の周りの回転角度を含むものである。頭の位置情報のさらなる要素は、たとえば空間における頭の絶対的な位置である。
認識された動作パラメータおよび/または位置パラメータ、すなわち認識された動作パターンに基づいて、演算ユニットは、こうした認識に基づいて少なくとも1つの制御信号を出力する。この制御信号は、たとえば音響信号の音量調節、音響信号の選択、スキップ早送り、スキップ巻戻し、フィルタ、ピッチレベル、変動、ビブラート、トレモロ、特定の楽曲または音声の強調などの音楽再生時の音響効果、電気機器の音響効果、クロスフェードなどの2つの楽曲のクロスオーバーを実現する。この制御信号は、コンピュータゲームまたは音響的なゲームを同様に制御することができる。
図2aは、本発明に係る第2の実施形態によるイヤホンの概略図である。動作検出デバイスがイヤホンまたはヘッドホンに内蔵されている。ヘッドホンは、第1のイヤホンカプセル31のための第1のハウジングと、第2のイヤホンカプセル32のための第2のハウジングと、第1のハウジングを第2のハウジングに連結するバンド33とを有する。第1のセンサ34は、好適には加速度センサであるが、好適には、バンド33のほぼ中央に配置される。第2のセンサ35は、好適には、第1のハウジング31のほぼ中央に配置される。第3のセンサ36は、好適には、第1のハウジング31の下方に配置される。こうして、頭の動作(頭を縦に振る動作、頭を横に振る動作、および頭を斜めにする動作)の好適な方向を、とりわけ正確に検出することができる。動作検出デバイスは、第1のセンサ34、第2のセンサ35、および第3のセンサ36を有する。
図2bは、本発明に係る第3の実施形態によるイヤホンの概略図である。第1のイヤホンカプセルまたは第1のハウジング41は、後頭部バンド43を介して第2のイヤホンカプセル(図2bでは図示せず)に接続去れている。第1のセンサ44は、後頭部バンド43のほぼ中央に配置されている。第2のセンサ45は、第1のイヤホンカプセルまたは第1のハウジング41の下側領域であって、そのほぼ中央に配置されている。第3のセンサ46は、イヤホンカプセルまたはハウジングの上方または下方に配置されている。センサ44,45,46は、一例として加速度センサであることが好ましい。このようにセンサを配置することにより、頭に関する十分な動作情報を得ることができる。
図2cは、第4の実施形態によるイヤホンの概略図である。インイア(インナーイア)式イヤホン51は、ハウジングおよび任意的にはケーブル55を有するが、耳52の内部取り付けられる。センサ54は、ハウジングのほぼ中央に配置される。
図2dは、本発明に係る第5の実施形態によるイヤホンの概略図である。イヤホン60は、耳62の周りに固定されるホルダまたはイヤホンループ61を有する。マイクロホン63は、ホルダ61に取り付けられ、すなわちホルダ61に接続されたキャリアアーム64に支持されている。任意的に、第2のキャリアアーム65がホルダ61に固定され、その端部に第1のセンサ66を有する。第2のセンサ67は、上述のホルダの上または耳の上側領域に設けられる。第3のセンサ68は、ホルダを着用したとき、耳たぶの若干前方の位置にあるホルダ上に配置される。第4のセンサ69は、キャリアアーム64の前方領域であって、マイクロホン63のほぼ直近に配置される。第5のセンサ70は、たとえばインイア式イヤホン71の中央に配置される。図示されたセンサ66,67,68,69,70のセンサ位置は、十分な動作検出機能を実現するために好適なものである。これと同時に、とりわけ図示されたセンサ位置は、頭に対して比較的に確実に接続されているので、センサにより記録され、頭の動作ではなく、耳の周囲のホルダに関する動作を極力抑えることができる。第4のセンサ69をキャリアアーム64の先端部に配置すると、キャリアアーム64の動作パターンにより、たとえば上方および下方、または前方および後方の動作パターンから、所与の制御信号を得ることができる。
図3は、頭の動作をパラメータ化した概略図である。頭について、第1の軸91、第2の軸92、および第3の軸93が定義される。3つの軸91,92,93は、互いに対して直交し、空間デカルト座標系を構成する。頭を近似的にボールとみなした場合、この座標系の原点は頭9のほぼ中心にある。第2の軸92の周りの頭の回転は、頭の頷き動作に対応する。軸92の周りのゼロ点に対する偏位は、βであると特定されるか、あるいはピッチpiまたは傾斜/頷き動作(前後角)と呼ばれる。体の長手方向軸に対応する第1の軸91の周りの頭/ボール90の回転角度はα、またはヨー角(左右角)もしくは横揺れ動作yaと呼ばれる。第1の軸91の周りの頭90の動作は、首振り動作に対応する。第3の軸93の周りの回転角は、γまたはロールもしくはロール動作roとして記述される。頭の第3の軸93の周りの動作は、頭を傾ける動作に対応する。
図4aは、第6の実施形態に係る演算ユニット100のブロック回路図を示す。演算ユニット100は、マス・ドリフト補正フィルタ101、角度演算ユニット102、および頭部動作認識ユニット103を有する。ドリフト補正フィルタ101の入力は、角加速度dα/dt(「αダブルドット」と表記する。)(ya,αダブルドット,首振り動作)、角加速度dβ/dt(「βダブルドット」と表記する。)(pi,βダブルドット,傾斜/頷き動作)、および角加速度dγ/dt(「γダブルドット」と表記する。)(ro,γダブルドット,ロール動作)である。
安価な加速度センサは、加速度に比例し、多少なりとも漏れ電流/漏れ電圧を含む出力信号を出力する。加速度信号(角加速度αダブルドット、βダブルドット、γダブルドット)を角度信号(α,β,γ)に変換するためには、角加速度信号を二重積分する必要がある。このとき加速度センサの漏れ電流またはオフセット電圧に起因して、積分結果に時間的ずれが生じる。マス・ドリフト補正フィルタ101を用いると、動作検出ユニットに安価な加速度センサを利用することができる。
ドリフト補正フィルタ101を用いてフィルタリング処理を行った後、フィルタリング処理された角加速度(αダブルドット,βダブルドット,γダブルドット)は、角度演算ユニット102により連続的に処理される。角度演算ユニット102は、その出力端において、角度信号(α,β,γ)、角速度信号(αシングルドット,βシングルドット,γシングルドット)、角加速度(αダブルドット,βダブルドット,γダブルドット)を出力する。ドリフト補正フィルタの出力信号は、角度演算ユニット102だけでなく、頭部動作認識ユニット103にも供給される。フィルタリング処理された角加速度(αダブルドット,βダブルドット,γダブルドット)を用い、メモリユニット内に記憶された動作パターンを示すデータセットと比較することにより、動作パターンを認識する。出力信号1〜Nは、認識された動作パターンに依存して出力される。ドリフト補正フィルタ101および頭部動作認識ユニット103は、それぞれ第1および第2の制御入力信号を受信する。認識された動作パターンに依存するが、認識された動作パターンに基づいて、ドリフト補正フィルタ101を調節し、あるいはそのパラメータを調節してもよい。この目的のため、キャリア信号106が頭部動作認識ユニット103から出力され、ドリフト補正フィルタ101に供給される。同様に、頭部動作認識ユニット103を制御するための頭部動作認識ユニット103からの出力信号をフィードバックすることができる。したがって、演算ユニット100は、その出力信号として、角度信号(α,β,γ)、角速度信号(αシングルドット,βシングルドット,γシングルドット)、角加速度(αダブルドット,βダブルドット,γダブルドット)を出力するとともに、頭部動作認識ユニット103から動作パターン認識信号1〜Nを出力する。
こうした演算ユニットは、一般には、ASIC(特定用途向け集積回路)、FPGA(フィールド・プログラマブル・ゲート・アレイ)、またはたとえばDSP(デジタル・シグナル・プロセッサ)上で作動するソフトウェアとして具現化することができる。
図4bは、演算ユニット100の出力信号に相当する入力信号に基づいて作動するデバイスのドライバ(ドライバ120)のブロック回路図を示す。ドライバ120は、特定用途向け制御ユニット121、音響制御ユニット122、ヘッドホン123、別の制御ユニット124、およびマイクロホン125などの別体のデバイスを有する。演算ユニット100の出力信号は、ドライバ120に対する入力信号として供給される。特定用途向け制御ユニット121は、入力信号から特定用途向け制御信号を特定し、出力する。特定用途向け制御ユニット121の出力端における第1の制御信号126が、たとえば音響制御ユニット122に送信される。たとえば選択された楽曲や所望の音量レベルについて、この制御信号がヘッドホン123を制御する。さらに特定用途向け制御ユニット121から出力された制御信号が別の制御ユニット124に送信され、MP3プレーヤ、コンピュータ、コックピットなどの別のデバイスを制御する。制御ユニット124は、マイクロホン125からの信号を受信して、音量を変更して、出力信号127を出力する。
上記具体例においては、イヤホンまたはヘッドホンを参照して説明したが、本発明に係る原理は、インイヤ式イヤホン、イヤホンレシーバ、ヘッドセット、およびインイヤ式モニタに適用することができる。
本発明に係る上述の実施形態に基づくさらなる実施形態によれば、作動停止ユニットが提供される。この作動停止ユニットは、センサデバイスおよび/または送受信デバイスを作動または停止させることができる。作動停止ユニットは、たとえばノブまたはボタンの形態を有する作動部品または起動部品を用いて実現することができる。択一的には、作動停止ユニットは、所定の一連の頭の動きにより作動または停止させることができる。頭の動きを検出して停止させることにより、誤った制御命令を防止することができる。これはユーザがジョギングなどのスポーツ活動を行っている場合に特に好都合である。とりわけ、このように停止させることにより、振動または揺れの動きを制御信号と認識することを防ぐことができる。
さらなる実施形態において、角加速度センサをイヤホンに取り付けて、頭の動きを検出することができる。以下の動きを、制御命令に関連付けることができる。
「上を見る」:音量を上げる
「下を見る」:音量を下げる
「左を見る」:前のトラックに戻る
「右を見る」:次のトラックに進む
制御命令は、独立して、あるいは一連の制御命令として実行することができる。とりわけ、頭の動きにより、こうした制御を実行できる作動ユニットを提供することができる。
本発明に係る上述の実施形態に基づくさらなる実施形態によれば、所定の時間より長い(調整可能な)時間において、制御命令として認識される頭の動きが認識されなかった場合、センサデバイスからの信号の送信を自動停止させることができる。
本発明に係る上述の実施形態に基づく第7の実施形態によれば、センサは角速度センサ、角加速度センサ、速度センサ、および/または加速度センサであってもよい。たとえば、それぞれの軸の周りの角速度を検出するための2つの角速度センサを用いることができる。この場合、第1のセンサは、センサを取り付けたヘッドホンが装着された頭を上下に移動させたとき、その動きの角速度を検出するように構成してもよい。第2のセンサは、同様に、左側または右側に視線を向けたとき、左方向または右方向に頭を振り向けたとき、すなわち首振り動作が行われたとき、頭の動きの角速度を検出するように構成してもよい。択一的または追加的に、2つの軸の周りの角速度を検出する1つの角速度センサを用いてもよい。さらなる択一例では、3つの軸の角速度を検出する1つの角速度センサを用いてもよい。3軸センサは、実際に配置された向きに拘わらず、座標変換技術を用いて、任意の所望の回転軸の周りの角速度を検出することができる。
角速度を検出することに加え、頭が動いた角度自体または頭のジェスチャ(身振り)を入力信号として用いて、制御命令を特定または関連付けることができる。絶対的な角度は、時間で角速度を積分することにより求めることができる。好適には、角度のゼロポイント(基準点)を設定しておくべきである。これは、たとえばジェスチャ制御部を起動させ、中立的な位置と認識される位置がゼロとなるように設定された絶対的な角度により実現することができる。ただし、測定値が積分処理により求められる場合、ドリフト(位置ずれ)の問題が生じ得る。この点に関して、ドリフトの問題は、角速度信号のわずかな誤差に起因して、時間に対してゼロポイントがずれることに関連する。絶対的な角度のゼロポイントは、これに対して積分計算で求めた信号を、ハイパスフィルタリング処理を行うことにより、時間に対して再調節することができる。
本発明に係る上述の実施形態に基づく第8の実施形態によれば、命令または制御により、音響フィードバック信号が出力される。特定の音響フィードバック信号または音響信号を、任意の認識された信号に付随して出力させることができる。すなわち、センサユニットを作動させると、たとえばセンサユニットのスイッチを入れると、2つまたはそれ以上の上昇する音程が出力され、センサユニットを停止させると、たとえばセンサユニットのスイッチを切ると、2つまたはそれ以上の下降する音程が出力されるようにしてもよい。音量を上げたとき、1つまたはそれ以上の高い音が出力され、音量を下げたとき、1つまたはそれ以上の低い音が出力されるようにしてもよい。たとえばシステムが、次のファイルへ進む(次のトラックに進む)か、前のファイルを再び呼び出す(前のトラックに戻る)ように制御されるとき、たとえばクリックノイズ(「かちっ」という音)を出力してもよい。たとえば単独の(シングル)クリックノイズを、次のトラックへの早送りに関連付け、二重の(ダブル)クリックノイズを前のトラックへの巻き戻しに関連付けてもよい。択一的には、これとは逆であってもよい。クリック音の代わりに、別の音響信号を出力することもできる。
本発明に係る上述の実施形態に基づく第9の実施形態によれば、所定の機能または機能ブロックを選択的に作動させることができる。たとえば作動後、最初にユーザが上または下を見たことに伴い、ユーザの頭が傾斜した場合に、音量調節機能のみを作動させるようにしてもよい。早送り(次のトラックに進む)または巻き戻し(前のトラックに戻る)に係るスイッチング信号に対する制御機能を実行することはできず、またはその制御機能は停止している。ただし作動後、最初に頭を左または右に動かした場合には、トラックの早送りまたは巻き戻しの機能ブロックのみを作動させるようにしてもよい。この場合、過誤により、上または下を見て、頭を傾斜することにより、音量調節機能を実行することはできず、音量調節機能は停止している。たとえば数多くの作動部品を用いて、別のさらなる機能について、より広範囲に及ぶ作動を実現することができる。択一例として、最初にジェスチャ認識機能を停止した後、さらなる機能を実現するために新しい機能を作動させてもよい。
本発明に係る上述の実施形態に基づく第10の実施形態によれば、イヤホンで再生する信号の音量を調節するために、たとえば命令信号を、イヤホンから、所望の音量または所望のレベルでイヤホンに信号を出力するメディアプレーヤに送信することができる。択一的には、メディアプレーヤではなく、イヤホン自体やイヤホンケーブルに取り付けられた制御ユニットで音量調節を行うことができる。こうした場合、メディアプレーヤは、イヤホンに対して、たとえば一定に維持される音量信号または音量レベルの信号を出力してもよい。この信号は、頭のジェスチャにより認識された制御信号に基づいて、たとえばイヤホンまたは制御ユニットの音量に関してのみ用いることができる。このとき、イヤホンとメディアプレーヤとの間において、有線および無線の通信を実行することができる。
イヤホンに音量調節機能を付加する具体例によれば、イヤホンからメディアプレーヤに制御信号を通信して、所定の機能、すなわち音量調節機能を実行する必要がないという利点がある。すなわち、メディアプレーヤは、好適にも、再生すべき音響信号をイヤホンに出力するだけでよく、イヤホンからメディアプレーヤに信号を通信しなくてもよい。したがって、メディアプレーヤに対する制御命令を省略することができる。ユーザが頭のジェスチャにより音量を調節したい場合、イヤホンからメディアプレーヤに制御命令を通信する必要性を完全に排除することができる。こうして、自ら音量調節機能を有するイヤホンは、制御命令を受信しなくても任意のメディアプレーヤに接続することができる。
本発明に係る上述の実施形態に基づく第11の実施形態によれば、イヤホンに取り付けたセンサで得られた、あるいは検出された角速度に基づいて直接的に、命令または要求を起動してもよい。この場合、命令または要求を認識できるように、角速度を測定する必要がある。有利なことであるが、角速度を測定する場合、角速度の大きさが所定の制限値または起動比較値を超えるとき、命令または要求が認識されたものと判断され、対応する制御命令をメディアプレーヤまたはイヤホンへそれぞれ出力することができる。
ただし、この場合に生じ得る問題として、命令を起動するために必要な角速度が、命令が認識された後も継続的に検出され、命令の検出が更新され得るという点にある。その結果、システムはたとえば「先のトラック」を1回だけジャンプするのではなく、同時に複数回「先のトラック」へジャンプする場合がある。この本質的な問題は、命令および指令が検出された後においても、角速度が変化せず、命令を検出したと認識されたことにより、頭が1回しか動いていないのに、同一の制御命令が複数回検出されてしまうことである。この問題を解消するために、命令および指令を検出した後、角速度の大きさをモニタしてもよい。角速度の大きさが、たとえば解除比較値などの比較値を継続して越える場合、対応する命令および指令は更新されず、2回目の命令および指令が形成されることはない。角速度の検出値が再び比較値より小さくなるまで、頭の動きに連動して命令を更新することが抑制される。
この点において、任意的ではあるが、解除比較値は起動比較値より小さくなるように選択してもよい。こうして、比較値より大きい角速度で頭を動かし続けた場合、不要であるにもかかわらず複数回制御命令を起動することを回避することができる。
本発明に係る上述の実施形態に基づく第12の実施形態によれば、命令または指令が先に認識された後、命令または指令の検出または実行を一時的に中断させることができる。そのため、たとえば最初に命令が認識された後、約0.5秒の短期間、すべての命令の取得または検出を中断してもよい。これは、制御命令を複数回起動させるような頭の動きを回避することができるので、都合がよい。こうして1度に1つの機能だけを起動させることができる。さらに、たとえば頭を右方へ移動させると同時に、上方へ持ち上げた場合、「トラックの先送り」命令および「音量増大」命令の両方が検出されることを防止することができる。必要としない音量変化を回避することができる。さらに短い命令中断期間において、ユーザは、視線または頭をまっすぐ前方に向いた状態に戻すことができ、元に戻す動作の際に、不必要な命令が形成されることを回避することができる。
すべての命令または指令を短期間中断する代わりに、認識された機能に関連する「音量増大/音量低減」の機能だけを中断するようにしてもよく、たとえば「音量増大」の命令が検出された場合には、さらなる「音量増大/音量低減」の命令だけが中断され、「トラックの先送り」命令などの他の命令は中断されないようにしてもよい。
本発明に係る上述の実施形態に基づく第13の実施形態によれば、中断命令を復帰動作により解除してもよい。この実施形態において、命令方向とは反対方向の動きにより中断命令を解除してもよい。
たとえばユーザが右方を見ることにより「トラックの先送り」命令を出した場合、中立的な位置に戻すためには、反対方向に頭を回転させる必要がある。ただし、この動きが「トラックの巻き戻し」命令と認識され得る。第13の実施形態によれば、第1の命令と反対方向の動きに起因して、対応する復帰命令ではなく、中断命令の解除を行う。このとき、復帰動作を検出すると、角速度を起動比較値および解除比較値と比較してもよい。そうでなければ、特定の実施例においては、中断命令は、当初は確かに先の「トラックの先送り」命令を元に戻す(解除する)ことになるが、その後に同一の復帰動作を行うと、「トラックの巻き戻し」の制御命令が形成され得る。
第13の実施形態に係る動作モードによれば、ユーザは、好適にも、当初設定した時間を待つことなく、命令形成および中断命令の解除に関する経過時間を自ら設定することができる。
本発明に係る上述の実施形態に基づく第14の実施形態によれば、中断命令は所定時間の経過および復帰動作の組み合わせにより解除することができる。たとえば頭の動きに基づいて、命令が認識された後、中断命令が起動される場合がある。頭が復帰動作を行った場合、中断命令が解除される。しかし、ユーザが頭を中立位置に向かって非常にゆっくりと動かした場合、復帰動作が認識されないということを意味し得る。これは、たとえば検出された角速度が起動比較値に及ばない場合に起こり得る。すなわち頭の復帰動作が検出されない場合、所定の経過時間を用いて、中断命令の解除を行う。
上述の実施形態に基づく第15の実施形態によれば、頭が動いたときの頭の絶対的な傾斜角度を用いて音量調節を行う。この場合、頭の動きによる制御の起動に際し、頭の傾斜角度または頭の位置を、頭の中立位置として選択することができる。ユーザが頭を上下に移動させると、検出された頭の角度に基づいて音量が調節される。ユーザがさらに上を見上げると、これに伴い頭の傾斜角度が大きくなり、音量がさらに大きくなる。しかし、ユーザが下を見下ろすと、これに伴い頭の傾斜角度が小さくなり、音量が小さくなる。ユーザが頭を当初の傾斜位置または初期位置に戻した場合、当初の音量に応じた音量が出力される。すなわち設定される音量は、頭の傾斜度合いに依存する。所望の音量に達したとき、起動/停止ノブまたはボタンを押下することにより、その音量が適正に検出され、記憶される。その後(すなわち起動/停止ノブまたはボタンを起動した後)、ユーザは、命令が検出されることなく、頭を自由に動かすことができる。
任意ではあるが、角度は、たとえば3.5度毎のステップ(段階)で評価することができる。この場合、各角度ステップを所定の音量ステップに関連付けることができる。たとえば各角度ステップを3dBの音量変化に関連付けることができる。任意ではあるが、頭の中立位置を中心として、音量調節が行われない所定の範囲を定義することができる。この領域または範囲は、中間位置に対してたとえば5度の範囲であってもよい。この範囲で頭を上下に動かしても、音量変化させることはないので好都合である。
任意ではあるが、個々の角度ステップのレベルについて、異なる値を用いてもよい。
図5は、第16の実施形態において、傾斜角度を複数の角度領域に分割することを示す概略図である。上述の実施形態に基づく第16の実施形態において、検出された傾斜角度は、パラメータ変化の速度、たとえば音量変化の速度に影響を与える。頭の傾斜角度を複数の角度領域に分割することができる。すなわち、たとえば中立領域として、中間位置を中心としてプラスマイナス(+−)8度と設定することができる。第1の領域P1を+8度から+16度まで、第2の領域P2を+16度から+24度まで、第3の領域P3を+24度より大きいと設定することができる。第4の領域M1を−8度から−16度まで、第5の領域M2を−16度から−24度まで、第6の領域M3を−24度より小さいと設定することができる。傾斜角度が中立領域にある限り(すなわちプラスマイナス8度以内であるとき)、音量は変化しない。しかし、頭の傾斜角度が8度以上になると、傾斜角度は、第1の領域P1内に入る。このとき音量は、たとえば3dBで段階的に反復的に増大する。個々の音量増大ステップは0.25秒毎に行われる。したがって、その結果、頭の傾斜角度が第1の領域P1内にあるとき、音量はゆっくりと増大する。
しかしユーザが、頭の傾斜角度が第2の領域P2内に入るように、傾斜角度を大きくすると、音量は周期的に段階的に増大するが、個々の段階的な音量増大は、たとえば0.175秒毎の短い時間間隔で行われる。これは、音量増大の中程度の速度に対応する。
しかしユーザが、頭の傾斜角度をさらに大きくして、傾斜角度が第3の領域P3内にあるとき、音量増大ステップの間隔をたとえば0.1秒毎に短縮し、より迅速に音量増大させる。
しかしユーザが、頭の傾斜角度を下向きに変えて、−8度以下にしたとき、音量は低減れ、音量低減速度は傾斜角度が入る領域に依存する。速度変化は、第4の領域M1では遅く、第5の領域M2では中程度で、第6の領域M3では速い。
所望の音量が得られたとき、ユーザは、音量変化を停止させるために、頭の傾斜角度を中立領域Nに戻す必要がある。すなわち、この実施形態によれば、検出命令を停止することを要しない。
中立領域は、プラスマイナス8度の範囲より大きくてもよいし、より小さくてもよいことに留意されたい。任意ではあるが、その他の領域もより大きくてもよいし、より小さくてもよい。任意ではあるが、頭の傾斜角度を大きく下を向くことがあまり快適でない場合には、正の角度領域の幅は、負の角度領域の幅より大きく選択することができる。追加的または択一的には、中立領域Nに隣接する領域(すなわち領域P1,N1)の幅を、後続の領域の幅より大きくなるように選択してもよい。これは、音量を急に変化させることなく、簡便に実施可能な頭の動きにより所望の音量調節を正確に行うことができるので有利である。
上記においては、正の角度範囲に対する3つの角度領域および負の角度範囲に対する3つの角度領域について説明したが、より数多くの、または数少ない領域を用いてもよい。
上述の実施形態に基づく第17の実施形態によれば、段階的な頷き動作により音量調節することができる。このとき、ユーザが1回、上または下方向に視線を向けて、頭を動かしたとき、たとえば3dBの音量ステップで音量を増減させることができる。これは、たとえば頭の動作する軸の周りの角速度を用いて認識することができる。上記説明したように、角速度に関連する命令の起動および命令の中断については、第17の実施形態においても同様に採用することができる。択一的には、検出された絶対的な角度を用いて、音量を段階的に調節することができる。この目的のため、ユーザが中立位置に対して(起動角度として)たとえば10度、頭を上または下に向ける毎に、1ステップ分の音量を増減させることができる。ただし、さらに音量を増減させるためには、ユーザは頭の傾斜角度を元の中立位置に戻す必要がある。その後にのみ、頭の傾斜角度を更新することにより、音量を再び変えることができる。音量を増大するための起動角度は、音量を低減するための起動角度とは異なってもよい。択一的には、互いに対して同等の角度であってもよい。
上述の実施形態に基づく第18の実施形態によれば、上述のセンサを用いて、頭の動きを検出することができる。この点において、頭の任意の動きは、所定の命令を形成するためのものであっても、単一の回転軸の周りにのみ生じるものではなく、複数の軸の周りに生じるものである。比較値を越えたときに命令が特定されるときに、角速度に基づいて命令が認定される場合には、このことは考慮する必要はない。このとき、通常、他の軸の周りの角速度が越えることはない。ただし、角速度を積分して角度を計算したとき、頭の動きを不明確に特定すると、問題となる場合がある。こうした頭の動きは、たとえば頭を左右に向けて動かすときに、頭を水平方向にも傾斜させた場合に起こり得る。頭の上下方向の移動を検出するセンサは、本来の測定軸から外れて傾斜することにより、角速度の一部が別の回転軸の周りに生じ、検出されない場合がある。これにより、角速度の測定誤差が大きくなる。こうした角速度が積分されると、ゼロポイントからの位置ずれ(シフトずれ)が生じ得る。したがって、左/右命令があって、命令中断に相当する期間が経過した後、ゼロポイントからの位置ずれを修正してもよい。これは、たとえば新しいゼロポイントとして設定された頭の現在の支配的な配置位置を用いて行うことができる。
上述の本発明に係る実施形態に基づく第19の実施形態によれば、頭のジェスチャによる制御に関するパラメータは、ユーザの好みに応じて個別に適用することができる。その目的のために、イヤホンは、たとえば入力ユニットを介して、入力ユニットまたはPCに接続することができる。択一的または補足的には、入力ユニットを頭のジェスチャまたは音声信号により、制御することができる。
入力ユニットを制御するために頭のジェスチャまたは動きを用いるとき、ユーザは、メニュにより音声で案内を受けるようにしてもよい。この場合、たとえば頭のジェスチャにより回答できる質問を与えるようにしてもよい(「はい」に対しては頷き、「いいえ」に対しては首を横に振る。逆も同様。)。
たとえばイヤホンはUSBポートを介してPCに接続することができる。この場合、以下のパラメータを調節することができる。
・最後に命令を認識してから自動的に停止するまでの期間、
・「トラック先送り/トラック巻き戻し」を実行するための角速度、
・短期間の中断命令期間、
・(第9の実施形態に係る)選択的作動、スイッチオンまたはオフの可能性、
・音量調節のためのさまざまなオプションの選択、
・(第15の実施形態に係る)音量調節の感度、
・(第16の実施形態に係る)領域の幅、および
・(第17の実施形態に係る)角速度または音量変更のための起動角度
択一的には、入力ユニットは、たとえばUSB接続により、すべてのパラメータを調節可能にすることができるが、限られた数のパラメータだけを調節するように構成することができる。
さらに、個別に調節可能なさまざまなプロファイルをさまざまな利用オプションにおいて記録することができ、そして/または個別に調節可能なさまざまなプロファイルをさまざまなユーザにおいて記録することができる。たとえばイヤホンに取り付けられた作動部品を用いて、それぞれのプロファイルの選択を実行することができる。すなわち、たとえばスポーツや、オフィス等のためのプロファイルを提供することができる。
上述の実施形態に基づく第20の実施形態によれば、ジェスチャまたは頭の動きに関する命令を、メディアプレーヤに有線または無線の態様(ブルートゥース、WLAN、WiFi、赤外線通信、またはHF等を)で送信することができる。
たとえばジャックプラグ(3極ジャックプラグ;3.5mmまたは2.5mm)を用いて、制御命令を無線で送信することができる。この場合、ステレオ音響信号は、3つの接点を介して出力することができる。択一的には、ジェスチャ命令がメディアプレーヤに通信される場合には、たとえば4極ジャックプラグを用いることができる。ステレオ信号は3つの接点を介して送信され、制御信号は第4の接点を介して送信される。
択一的には、メディアプレーヤからイヤホンへの音響信号は、3極ジャックプラグを介して通信され、イヤホンからメディアプレーヤへの制御命令は、無線で(ブルートゥース、WLAN等により)通信される。この場合には、イヤホンは3極ソケットのみを有するメディアプレーヤに接続することができる。さらに、制御命令はUSBプラグを有するケーブルを介して送信することができる。これにより好適にも、極めて数多くのメディアプレーヤがUSBソケットを有し、4極ジャックプラグを有さないメディアプレーヤも同様に、ジェスチャ命令で制御することができる。
本発明に係る上述の実施形態に基づく第21の実施形態によれば、遠隔制御のため、センサはイヤホンだけでなく、イヤホンケーブルにも取り付けることができる。択一的には、センサはたとえば腕時計に取り付けてもよい。この場合、上述の実施形態に基づいて、腕の動きを検出して、これにより制御を実施することができる。なお、この場合、頭の動きは関与せず、腕時計を着用した腕の動き、またはケーブルに沿った遠隔制御に係る腕の動きだけが関係する点につき留意されたい。
1…制御システム、2…ハンドセット2(移動検出デバイス)、3…演算ユニット(演算デバイス)、4a…コンピュータ/ラップトップコンピュータ、4b…MP3プレーヤ/iPod、4c…航空機コックピット、4d…ホームステレオシステム、4e…電話、5…イヤホンカプセル、6…バンド、7…マイクロホン、8…マイクロホンホルダ、9a,9b,9c…加速度センサ、10…送受信デバイス、11…加速度情報、12…メモリ、14…音響信号、31,32…イヤホンカプセル、33…バンド、34,35,36…センサ、41…ハウジング、43…後頭部バンド、44,45,46…センサ、51,71…インイア式イヤホン、52…耳、54…センサ、55…ケーブル、60…イヤホン、61…ホルダ、62…耳、63…マイクロホン、64,65…キャリアアーム、66,67,68,69,70…センサ、91,92,93…軸、100…演算ユニット(演算デバイス)、101…マス・ドリフト補正フィルタ、102…角度演算ユニット、103…頭部動作認識ユニット、120…ドライバ、121…特定用途向け制御ユニット、122…音響制御ユニット、123…ヘッドホン、124…制御ユニット、125…マイクロホン。

Claims (10)

  1. 制御システム(1)であって、
    頭の動作情報および/または頭の位置情報を検出するためのセンサデバイス(9a,9b,9c)、および検出された頭の動作情報および/または頭の位置情報を送信する送信デバイス(10)を有するイヤホンまたはヘッドセットと、
    送信デバイス(10)からの頭の動作情報および/または頭の位置情報を評価して、当該評価に基づいて少なくとも1つの制御命令または制御信号を出力する演算デバイス(3)とを備え、
    演算デバイス(3)は、動作情報および/または位置情報から動作パターンを認識し、認識された動作パターンに基づいて少なくとも1つの制御命令または制御信号を出力することを特徴とする制御システム。
  2. 請求項1に記載の制御システムであって、
    送信デバイス(10)からの頭の動作情報および/または頭の位置情報を受信する受信デバイスを有することを特徴とする制御システム。
  3. 請求項1または2に記載の制御システムであって、
    演算デバイス(3)は、動作パターンおよび姿勢位置を記憶させる訓練モードで作動可能であることを特徴とする制御システム。
  4. 請求項1〜3のいずれか1に記載の制御システムであって、
    少なくとも1つの制御信号は、動作パターンの時間間隔または姿勢位置に依存することを特徴とする制御システム。
  5. 請求項1〜4のいずれか1に記載の制御システムであって、
    演算デバイス(3)は、動作情報および位置情報の要素についてフィルタリング処理を行うフィルタを有し、
    フィルタは、位置情報に比して動作情報をより強く重み付けするように構成されたことを特徴とする制御システム。
  6. 請求項1〜5のいずれか1に記載の制御システムであって、
    演算デバイス(3)は、動作情報および/または位置情報についてフィルタリング処理を行う補償フィルタを有し、当該フィルタはセンサデバイスの特異性を補償するように構成されたことを特徴とする制御システム。
  7. 請求項1〜6のいずれか1に記載の制御システムであって、
    センサデバイスおよび/または送信デバイスを作動または停止させる作動ユニットをさらに有することを特徴とする制御システム。
  8. イヤホンであって、
    頭の動作情報および/または頭の位置情報を検出するためのセンサデバイス(9a,9b,9c)と、
    検出された頭の動作情報および/または頭の位置情報を評価するために、これらの情報を送信デバイス(10)へ送信する送信デバイス(10)とを有することを特徴とするイヤホン。
  9. イヤホンまたはヘッドセットの音響信号の再生を制御する方法であって、
    イヤホンまたはヘッドセットに取り付けられたセンサデバイス(9a,9b,9c)を用いて、頭の動作情報および/または頭の位置情報を検出するステップと、
    演算デバイス(3)を用いて、頭の動作情報および/または頭の位置情報を評価して、動作情報および/または位置情報から動作パターンを認識するステップと、
    認識された動作パターンに基づいて少なくとも1つの制御命令または制御信号を出力するステップとを有することを特徴とする方法。
  10. 請求項9に記載の方法であって、
    動作情報および/または位置情報から頭の動作パラメータおよび/または頭の位置パラメータを特定するステップと、
    動作情報および/または位置情報を評価して、少なくとも1つの動作パターンを認識するステップと、
    認識された動作パターンに基づいて少なくとも1つの制御命令を出力するステップと、
    頭の動作情報が頭の位置情報の要素よりも強く重み付けされるように、動作情報および/または位置情報についてフィルタリング処理を行うステップと、
    センサデバイスの特異性を補償するように動作情報および/または位置情報について、フィルタリング処理を行うステップと、
    からなるステップのうち少なくとも1つのステップを有することを特徴とする方法。
JP2011543722A 2008-12-30 2009-12-29 制御システム、イヤホン、および制御方法 Active JP5528471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE200810055180 DE102008055180A1 (de) 2008-12-30 2008-12-30 Steuersystem, Hörer und Steuerungsverfahren
DE102008055180.5 2008-12-30
PCT/US2009/069743 WO2010078372A1 (en) 2008-12-30 2009-12-29 Control system, earphone and control method

Publications (2)

Publication Number Publication Date
JP2012514392A true JP2012514392A (ja) 2012-06-21
JP5528471B2 JP5528471B2 (ja) 2014-06-25

Family

ID=41718439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011543722A Active JP5528471B2 (ja) 2008-12-30 2009-12-29 制御システム、イヤホン、および制御方法

Country Status (5)

Country Link
US (1) US8949744B2 (ja)
EP (1) EP2384586B1 (ja)
JP (1) JP5528471B2 (ja)
DE (1) DE102008055180A1 (ja)
WO (1) WO2010078372A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052845A (ja) * 2012-09-07 2014-03-20 Leben Hanbai:Kk ポータブルメディアプレーヤー
US9516429B2 (en) 2013-07-02 2016-12-06 Samsung Electronics Co., Ltd. Hearing aid and method for controlling hearing aid
KR20170080651A (ko) * 2014-10-31 2017-07-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화
JP6234622B1 (ja) * 2017-01-16 2017-11-22 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2020160478A (ja) * 2020-06-26 2020-10-01 知行 宍戸 補助ペダルシステム
US11950040B2 (en) 2021-09-09 2024-04-02 Apple Inc. Volume control of ear devices

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238590B2 (en) * 2008-03-07 2012-08-07 Bose Corporation Automated audio source control based on audio output device placement detection
US8243946B2 (en) * 2009-03-30 2012-08-14 Bose Corporation Personal acoustic device position determination
US8699719B2 (en) * 2009-03-30 2014-04-15 Bose Corporation Personal acoustic device position determination
US8238567B2 (en) * 2009-03-30 2012-08-07 Bose Corporation Personal acoustic device position determination
US8238570B2 (en) * 2009-03-30 2012-08-07 Bose Corporation Personal acoustic device position determination
US20120064951A1 (en) * 2010-09-13 2012-03-15 Sony Ericsson Mobile Communications Ab Hands-Free Control of Mobile Communication Device Based on Head Movement
US20120114154A1 (en) * 2010-11-05 2012-05-10 Sony Ericsson Mobile Communications Ab Using accelerometers for left right detection of headset earpieces
US9237393B2 (en) * 2010-11-05 2016-01-12 Sony Corporation Headset with accelerometers to determine direction and movements of user head and method
JP2012209766A (ja) * 2011-03-30 2012-10-25 Yamaha Corp コントローラー
GB201107007D0 (en) * 2011-04-27 2011-06-08 Soundchip Sa Earphone apparatus
JP5757166B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
US9819710B2 (en) * 2011-08-25 2017-11-14 Logitech Europe S.A. Easy sharing of wireless audio signals
US9554229B2 (en) 2011-10-31 2017-01-24 Sony Corporation Amplifying audio-visual data based on user's head orientation
EP2645750A1 (en) * 2012-03-30 2013-10-02 GN Store Nord A/S A hearing device with an inertial measurement unit
US8730048B2 (en) * 2012-06-18 2014-05-20 Microsoft Corporation Earphone-based game controller and health monitor
US8578773B1 (en) * 2012-09-26 2013-11-12 Google Inc. Travel direction detection
US9326058B2 (en) 2012-09-26 2016-04-26 Sony Corporation Control method of mobile terminal apparatus
US9351090B2 (en) * 2012-10-02 2016-05-24 Sony Corporation Method of checking earphone wearing state
US9214913B2 (en) * 2012-11-16 2015-12-15 Gn Netcom A/S Communication device with motion dependent auto volume control
CN103024655B (zh) * 2012-11-19 2015-01-28 青岛歌尔声学科技有限公司 一种耳机振子检测装置、系统和方法
US20150036835A1 (en) * 2013-08-05 2015-02-05 Christina Summer Chen Earpieces with gesture control
TWI590640B (zh) * 2014-04-25 2017-07-01 緯創資通股份有限公司 通話方法及其電子裝置
US20170127197A1 (en) * 2014-06-04 2017-05-04 Sonova Ag Hearing assistance system and method
US10721594B2 (en) 2014-06-26 2020-07-21 Microsoft Technology Licensing, Llc Location-based audio messaging
CN104199655A (zh) * 2014-08-27 2014-12-10 深迪半导体(上海)有限公司 一种音频切换方法、微处理器及耳机
CN104333827B (zh) * 2014-11-27 2018-02-06 上海斐讯数据通信技术有限公司 通话耳机及其增益调整方法
CN104507004B (zh) * 2014-11-28 2018-01-30 上海斐讯数据通信技术有限公司 一种播放器控制方法、播放器及耳机
KR102460393B1 (ko) 2015-04-30 2022-11-01 삼성전자주식회사 사운드 출력 기기, 전자 장치 및 그 제어 방법
US10345901B2 (en) 2015-04-30 2019-07-09 Samsung Electronics Co., Ltd. Sound outputting apparatus, electronic apparatus, and control method thereof
CN105022485B (zh) * 2015-07-09 2018-09-28 中山大学 一种自动柜员机设备的悬浮交互方法及系统
CN108024738A (zh) * 2015-10-20 2018-05-11 莱夫毕恩技术有限公司 具生理监测的有线式音频耳机
CN106993243A (zh) 2016-02-03 2017-07-28 深圳市汇顶科技股份有限公司 一种基于耳机的智能设备控制方法、装置及系统
US10911860B2 (en) * 2016-03-23 2021-02-02 Intel Corporation Automated and body driven headset audio control
KR20170119922A (ko) * 2016-04-20 2017-10-30 엘지전자 주식회사 휴대용 음향기기
US9860626B2 (en) 2016-05-18 2018-01-02 Bose Corporation On/off head detection of personal acoustic device
CN110140358B (zh) * 2016-06-03 2021-02-09 新星产品有限公司 配有集成耳机的耳饰
US10698477B2 (en) * 2016-09-01 2020-06-30 Motorola Mobility Llc Employing headset motion data to determine audio selection preferences
US9838812B1 (en) 2016-11-03 2017-12-05 Bose Corporation On/off head detection of personal acoustic device using an earpiece microphone
US10051107B1 (en) 2017-03-16 2018-08-14 Microsoft Technology Licensing, Llc Opportunistic timing of device notifications
US20180279032A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH Smart Windshield for Utilization with Wireless Earpieces
CN107580268B (zh) * 2017-08-04 2019-11-08 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机
US10575777B2 (en) * 2017-08-18 2020-03-03 Bose Corporation In-ear electrical potential sensor
EP3502838B1 (en) 2017-12-22 2023-08-02 Nokia Technologies Oy Apparatus, method and system for identifying a target object from a plurality of objects
US10440462B1 (en) * 2018-03-27 2019-10-08 Cheng Uei Precision Industry Co., Ltd. Earphone assembly and sound channel control method applied therein
DE102018206979A1 (de) 2018-05-04 2019-11-07 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
US10764406B1 (en) 2019-03-01 2020-09-01 Bose Corporation Methods and systems for sending sensor data
US10863277B2 (en) 2019-03-07 2020-12-08 Bose Corporation Systems and methods for controlling electronic devices
US11228853B2 (en) 2020-04-22 2022-01-18 Bose Corporation Correct donning of a behind-the-ear hearing assistance device using an accelerometer
IT202100019751A1 (it) * 2021-07-23 2023-01-23 Monte Paschi Fiduciaria S P A Dispositivo auricolare controllabile motorialmente per la ricetrasmissione di segnali acustici
US11762456B2 (en) 2021-09-27 2023-09-19 International Business Machines Corporation Head-movement-based user interface and control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981785A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 画像投影装置および機器制御装置
JPH11161190A (ja) * 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JPH11283474A (ja) * 1998-03-27 1999-10-15 Kobe Steel Ltd 情報再生装置
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU654118B2 (en) * 1990-05-01 1994-10-27 Wang Laboratories, Inc. Keyboard access with alternate input device
US6184847B1 (en) * 1998-09-22 2001-02-06 Vega Vista, Inc. Intuitive control of portable data displays
GB0413877D0 (en) 2004-06-21 2004-07-21 Univ Staffordshire Head/body mounted control device
ES2283208B1 (es) * 2006-01-18 2008-10-01 Fundacion Fatronik Dispositivo de control de equipos unidimensionales, bidimensionales o tridimensionales para la asistencia a personas con discapacidad.
US20080211768A1 (en) 2006-12-07 2008-09-04 Randy Breen Inertial Sensor Input Device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981785A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 画像投影装置および機器制御装置
JPH11161190A (ja) * 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JPH11283474A (ja) * 1998-03-27 1999-10-15 Kobe Steel Ltd 情報再生装置
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052845A (ja) * 2012-09-07 2014-03-20 Leben Hanbai:Kk ポータブルメディアプレーヤー
US9516429B2 (en) 2013-07-02 2016-12-06 Samsung Electronics Co., Ltd. Hearing aid and method for controlling hearing aid
KR20170080651A (ko) * 2014-10-31 2017-07-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화
KR102470734B1 (ko) 2014-10-31 2022-11-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화
JP6234622B1 (ja) * 2017-01-16 2017-11-22 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018116352A (ja) * 2017-01-16 2018-07-26 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10410395B2 (en) 2017-01-16 2019-09-10 Colopl, Inc. Method for communicating via virtual space and system for executing the method
JP2020160478A (ja) * 2020-06-26 2020-10-01 知行 宍戸 補助ペダルシステム
JP7004771B2 (ja) 2020-06-26 2022-01-21 知行 宍戸 デバイスコントローラー
US11950040B2 (en) 2021-09-09 2024-04-02 Apple Inc. Volume control of ear devices

Also Published As

Publication number Publication date
WO2010078372A1 (en) 2010-07-08
DE102008055180A1 (de) 2010-07-01
US20120002822A1 (en) 2012-01-05
JP5528471B2 (ja) 2014-06-25
EP2384586A1 (en) 2011-11-09
EP2384586B1 (en) 2013-05-29
US8949744B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
JP5528471B2 (ja) 制御システム、イヤホン、および制御方法
US20210289283A1 (en) Automated and body driven headset audio control
EP2277301B1 (en) An improved headset
JP6677915B2 (ja) ヘッドホン、再生制御方法、並びにプログラム
US10070213B2 (en) Methods of generating tactile user feedback utilizing headphone devices and related systems
EP3451692B1 (en) Headphones system
US20090203318A1 (en) Headset
KR20150003528A (ko) 머리 움직임을 이용한 사용자 인터페이스 방법 및 장치
EP1762116A2 (en) A headset and a headphone
CN107277661B (zh) 压感耳机和压感耳机的工作方法
WO2013103770A1 (en) Earbuds and earphones for personal sound system
US11785389B2 (en) Dynamic adjustment of earbud performance characteristics
US20170126869A1 (en) Headset for controlling an electronic appliance
CN113347526B (zh) 耳机的音效调节方法、装置及可读存储介质
WO2021192455A1 (ja) 音入出力制御装置、音入出力制御方法、及びプログラム
CN115605944A (zh) 基于活动的智能透明度
CN220023035U (zh) 一种带麦克风的头戴式耳机
KR20130026137A (ko) 움직임에 기반하여 애플리케이션 속성의 조절이 가능한 단말기 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140415

R150 Certificate of patent or registration of utility model

Ref document number: 5528471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250