JP2022010351A - 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム - Google Patents

聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム Download PDF

Info

Publication number
JP2022010351A
JP2022010351A JP2021186814A JP2021186814A JP2022010351A JP 2022010351 A JP2022010351 A JP 2022010351A JP 2021186814 A JP2021186814 A JP 2021186814A JP 2021186814 A JP2021186814 A JP 2021186814A JP 2022010351 A JP2022010351 A JP 2022010351A
Authority
JP
Japan
Prior art keywords
information
wearer
auditory
sound source
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021186814A
Other languages
English (en)
Other versions
JP7251601B2 (ja
Inventor
浩明 長野
Hiroaki Nagano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019058454A external-priority patent/JP2020161949A/ja
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021186814A priority Critical patent/JP7251601B2/ja
Publication of JP2022010351A publication Critical patent/JP2022010351A/ja
Application granted granted Critical
Publication of JP7251601B2 publication Critical patent/JP7251601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Figure 2022010351000001
【課題】集団で共有する聴覚ウェアラブルデバイス(以下、聴覚デバイスと略記)を効果的に使用することを支援する聴覚デバイス管理システムを提供する。
【解決手段】集団を構成して行動する各装着者が装着している聴覚デバイス10に対して1ないし複数の情報音源20からの音声情報を配布する聴覚ウェアラブルデバイス管理システム100であって、装着者と装着している聴覚デバイス10の装着状況とを紐付けて装着情報として保持している装着情報保持手段2と、各情報音源20の音声情報の配布先となる装着者を指定する配布制御情報を出力する音声情報配布制御手段6と、前記配布制御情報および前記装着情報に基づいて取得した情報音源20の音声情報の配布先および装着者の聴覚デバイス10の装着状況に応じ、装着者向けの情報音源20からの音声情報を、該装着者が識別することが可能な形に音場形成して加工する装着者音場形成手段3と、を有している。
【選択図】図1

Description

本発明は、聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法および聴覚ウェアラブルデバイス管理プログラムに関し、特に、消防や救助や防衛、建設などの現場において或る程度の人数の集団が共有して聴覚ウェアラブルデバイスを利用する聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法および聴覚ウェアラブルデバイス管理プログラムに関する。
聴覚ウェアラブルデバイス(以下、「聴覚デバイス」と略記する)は、AR(Augmented Reality:拡張現実)やVR(Virtual Reality:仮想現実)に用いられる視覚デバイスなどと比べると、装着が容易であり、消防や救助や防衛、建設などの現場における聴覚デバイスの貸し借りや装着者の変更も容易である。さらに、この聴覚デバイスは、視覚を遮るものがあって視覚デバイスを使い難いような状況であっても、利用することが可能である。聴覚デバイスは、このような有用な特性を有している。
一方、視覚デバイス等は一度装着されるとほぼ装着されたままの状態になるので、各個人と視覚デバイス等を紐付けた運用が可能になるのに対して、聴覚デバイスは、前述のように、その装着の容易性や現場でのデバイスの貸し借りや装着者の変更も容易であるという特性から、聴覚デバイスからその装着者を固定的に推定するのは容易ではなく、常に、装着者と聴覚デバイスとの関係は流動的であると考えなければならない。
かくのごとき聴覚デバイスの特性は、或る程度の人数の集団で共有して聴覚デバイスを運用する際に特に顕著になる。また、聴覚デバイスの装着時においても、各人が自分用の聴覚デバイスを探して装着するという状況よりも、乱雑に置かれた聴覚デバイス群の中から、1つないし2つの聴覚デバイスを無作為に選択して装着することが許容されるという状況になっていることが好ましいことが多い。
さらには、消防や救助や防衛、建設などの現場を考えると、聴覚デバイスの不具合に対処する等のために、装着者間での聴覚デバイスのやり取りがなされる可能性を十分に考慮しておくことが必要になる。
また、一般に、聴覚デバイスは、視覚デバイス等に比べると、各情報をそれぞれ分離して伝える能力は相対的に低い。しかし、集団で行動している場合を想定すると、各個人宛ての情報、装着者のグループへの同報情報、集団の全員への同報情報など、複数の性格を有する情報を同時に伝達する能力が要求される。したがって、これらの情報が同時に聴覚デバイスに対して提示されることを想定して、個々の情報を識別する手段を聴覚デバイスに備えていることが重要である。
このような用途に関連する技術として、特許文献1の特表2017-528990号公報「聴覚デバイスを介した多数の聴取環境生成技法」には、多数の会話が行われている状況下において、それらの会話を独立にレベルコントロールする技術が開示されている。また、特許文献2の国際公開第2017/061218号「音響出力装置、音響生成方法およびプログラム」には、任意の位置に音像(音源)を定位させる方法が開示されている。また、特許文献3の特開2015-136100号公報「選択可能な知覚空間的な音源の位置決めを備える聴覚装置」には、音声情報を聞き取ることができるように、音像(音源)の位置を任意の位置に変更することができる技術が開示されている。
特表2017-528990号公報 国際公開第2017/061218号 特開2015-136100号公報
しかしながら、前記特許文献1等の本発明に関連する現状の技術においては、聴覚デバイス(聴覚ウェアラブルデバイス)を装着者個々人が固定して単体で使う場合の機能に関するものであり、或る程度の人数の集団が共有して聴覚デバイスを使う場合において聴覚デバイスの運用を適切に支援するという具体的な仕組みについては、全く考慮されていない。
つまり、或る程度の人数の集団で共有する聴覚デバイスを効果的に使用することを可能にするためには、前述したように、聴覚デバイスと使用者(装着者)との事前の結び付けが必要であり、さらに、運用現場において聴覚デバイスを交換したり、装着状況を変更したりするような場面に対して迅速かつ柔軟に対応することが必要になる。しかし、現状の技術においては、これらの課題を解決する具体的な技術は提示されていない。すなわち、現状の技術は、多数の音声情報が多重化して伝達されている状況下において、共有している複数の聴覚デバイスの中からいずれの聴覚デバイスを装着しても、各装着者がそれぞれに向けられた音声情報を的確に取得することを可能にするという仕組みを有していない。
(本開発の目的)
本開発の目的は、前述のような課題に鑑み、集団で共有する聴覚ウェアラブルデバイスを効果的に使用することを支援する聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法および聴覚ウェアラブルデバイス管理プログラムの提供にある。
前述の課題を解決するため、本発明による聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法および聴覚ウェアラブルデバイス管理プログラムは、主に、次のような特徴的な構成を採用している。
(1)本発明による聴覚ウェアラブルデバイス管理システムは、
集団を構成して行動する各装着者が装着している聴覚ウェアラブルデバイスに対して1ないし複数の情報音源からの音声情報を配布し、
前記装着者と装着している前記聴覚ウェアラブルデバイスの装着状況とを紐付けて装着情報として保持している装着情報保持手段と、
各前記情報音源の音声情報の配布先となる前記装着者を指定する配布制御情報を出力する音声情報配布制御手段と、
前記配布制御情報および前記装着情報に基づいて取得した前記情報音源の音声情報の配布先および前記装着者の前記聴覚ウェアラブルデバイスの装着状況に応じて、前記装着者向けの前記情報音源からの音声情報を、該装着者が識別することが可能な形に音場形成して加工する装着者音場形成手段と、
を有していることを特徴とする。
(2)本発明による聴覚ウェアラブルデバイス管理方法は、
集団を構成して行動する各装着者が装着している聴覚ウェアラブルデバイスに対して1ないし複数の情報音源からの音声情報を配布し、
前記装着者と装着している前記聴覚ウェアラブルデバイスの装着状況とを紐付けて装着情報として保持している装着情報保持ステップと、
各前記情報音源の音声情報の配布先となる前記装着者を指定する配布制御情報を出力する音声情報配布制御ステップと、
前記配布制御情報および前記装着情報に基づいて取得した前記情報音源の音声情報の配布先および前記装着者の前記聴覚ウェアラブルデバイスの装着状況に応じて、前記装着者向けの前記情報音源からの音声情報を、該装着者が識別することが可能な形に音場形成して加工する装着者音場形成ステップと、
を有していることを特徴とする。
(3)本発明による聴覚ウェアラブルデバイス管理プログラムは、
集団を構成して行動する各装着者が装着している聴覚ウェアラブルデバイスに対して1ないし複数の情報音源からの音声情報を配布する処理をコンピュータによって実行し、
前記装着者と装着している前記聴覚ウェアラブルデバイスの装着状況とを紐付けて装着情報として保持している装着情報保持機能と、
各前記情報音源の音声情報の配布先となる前記装着者を指定する配布制御情報を出力する音声情報配布制御機能と、
前記配布制御情報および前記装着情報に基づいて取得した前記情報音源の音声情報の配布先および前記装着者の前記聴覚ウェアラブルデバイスの装着状況に応じて、前記装着者向けの前記情報音源からの音声情報を、該装着者が識別することが可能な形に音場形成して加工する装着者音場形成機能と、
を有していることを特徴とする。
本発明の聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法および聴覚ウェアラブルデバイス管理プログラムによれば、主に、以下のような効果を奏することができる。
第1に、集団で行動している装着者間で聴覚デバイスの貸し借りや装着状態の変化に柔軟に対応しつつ、音声情報の提供対象となる各装着者に対して当該音声情報を確実に届けることができる。その理由は、聴覚デバイスを指定して音声情報を提供するのではなく、装着者を指定して該装着者がその時点で装着している聴覚デバイスに対して音声情報を提供するからである、つまり、装着情報保持手段により、装着者と聴覚デバイスとを関連付けた(マッピングした)装着情報をキーにして、音声情報の配布動作を制御しているからである。
第2に、複数の音声情報が届けられる場合であっても、各装着者はそれぞれの音声情報を聞き分けることができる。その理由は、音声情報の発生源となる情報音源の属性(位置、周波数等)のみならず、該音声情報の配布先となる装着者が装着している聴覚デバイスの装着状況に連動して音声情報の音場を形成する装着者音場形成手段を備えているので、配布先の装着者が聴覚デバイスを両耳に装着しているか、左右いずれか片耳に装着しているかという聴覚デバイスの装着状況に応じてそれぞれに適した音場を形成することができるからである。
本発明に係る聴覚ウェアラブルデバイス管理システムのシステム構成の一例を示すシステム構成図である。 図1に示した聴覚ウェアラブルデバイス管理システムの装着者音場形成手段の内部構成の一例を示すブロック構成図である。
以下、本発明による聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法および聴覚ウェアラブルデバイス管理プログラムの好適な実施形態について添付図を参照して説明する。なお、以下の説明においては、本発明による聴覚ウェアラブルデバイス管理システムおよび聴覚ウェアラブルデバイス管理方法について説明するが、かかる聴覚ウェアラブルデバイス管理方法をコンピュータにより実行可能な聴覚ウェアラブルデバイス管理プログラムとして実施するようにしても良いし、あるいは、聴覚ウェアラブルデバイス管理プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。また、以下の説明においては、聴覚ウェアラブルデバイスを「聴覚デバイス」と略記して記載する。さらに、以下の各図面に付した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではないことは言うまでもない。
(本発明の特徴)
本発明の実施形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、集団で共有する聴覚デバイスが装着者に装着された際に、聴覚デバイスを装着した装着者と両耳・片耳等の装着状況との関連付けを行うことを、主要な特徴の一つとしている。そして、情報音源からの音声情報の配布先となる装着者が装着している聴覚デバイスの両耳、片耳等の装着状況に応じて、音場定位や音量レベルや周波数などの音場を個々に形成することにより、他の音声情報と識別することが可能な形に加工された状態にして、装着者個々に伝達することも、主要な特徴の一つとしている。
そして、集団で利用する各種の音声情報を出力する1ないし複数の情報音源それぞれに関し、音声情報の配布先を集団内の各装着者個人単位、集団内に任意に編成した装着者グループ単位、集団内全員等に分類して、それぞれの情報音源の音声情報の配布先となる装着者をあらかじめ設定することも主要な特徴の一つとしている。さらに、情報音源の配置位置等の属性を、それぞれの情報音源からの音声情報の音場の形成を適切に行うことができるように、集団の指令者や装着者グループのチーム編成者や装着者個々人によってカスタマイズすることを可能にしていることも、主要な特徴の一つとしている。
而して、集団で共有する聴覚デバイスの使用環境下においても、各装着者は、聴覚デバイスの装着状況に適応して、必要とする音声情報を的確に聴取することが可能であり、かつ、現場における聴覚デバイスの貸し借りや装着状況の頻繁な変化にも柔軟に対応することが可能になるので、聴覚デバイスを効果的に使用することができるという効果を奏することができる。
さらに、本発明の特徴を実現手段の観点から、具体的に説明すると、次の通りである。
本発明においては、集団で共有する聴覚デバイスの運用支援方式として、聴覚デバイスを装着している個人を識別する装着者識別手段を用いて装着者および装着した聴覚デバイスの装着状況との関連付けを行い、装着情報として保持する装着情報保持手段と、装着者個人または装着者グループもしくは集団全員それぞれに対して該当する情報音源からの音声情報を配布する情報配布手段と、該情報配布手段や情報音源の属性(位置、周波数、音量レベル、位相等)や装着者の生体情報によりフィルタリングされた情報および各装着者の装着状況に応じて音場を形成する装着者音場形成手段と、を備えていることを主要な特徴としている。
さらに、本発明においては、集団の指令者やグループの編成を行うチーム編成者等が制御や管理を行うための制御用の手段として、情報音源からの音声情報の配布先を集団の指令者等から制御する音声情報配布制御手段や、チーム編成者等により集団中の装着者グループの構成を任意に制御する装着者グループ管理手段をさらに備えていることも主要な特徴としている。
(本発明の実施形態の構成例)
次に、本発明に係る聴覚ウェアラブルデバイス管理システムのシステム構成について、その一例を、図1を参照しながら詳細に説明する。図1は、本発明に係る聴覚ウェアラブルデバイス管理システムのシステム構成の一例を示すシステム構成図であり、或る程度の人数で複数の聴覚デバイスを共有して利用する場合において各聴覚デバイスの運用を支援管理するためのシステム構成の一例を示している。
図1に示す聴覚ウェアラブルデバイス管理システム100は、集団で共有する複数の聴覚デバイス10を管理するために、装着者識別手段1、装着情報保持手段2、装着者音場形成手段3、データ配布手段4、装着者用情報選択手段5、音声情報配布制御手段6、情報配布手段7および装着者グループ管理手段8を少なくとも備えるとともに、各種の音声情報を各装着者に対して提供する1ないし複数の情報音源20を備えている。
複数の各聴覚デバイス10は、それぞれ、自デバイスが装着状態にあるか否かを判別する機能を有するとともに、本実施形態においては、装着状態になると、装着している装着者を識別するための識別情報を取得する機能もさらに有している。そして、装着している状態にあると判別した場合には、聴覚デバイス10は、前記識別情報を装着者識別手段1に送信する。
装着者識別手段1は、各聴覚デバイス10から送信されてくる前記識別情報に基づき、装着者が誰であるか、また、装着されているのは右耳か左耳か等の装着状況を判別して、判別した情報を、装着している聴覚デバイス10に関する装着情報として装着情報保持手段2に格納する。
なお、本実施形態においては、聴覚デバイス10による装着者を識別するための前記識別情報に関し、聴覚デバイス10が収集した装着者の生体情報(例えば、耳や頭の向き・動き、血流、耳穴形状等の情報)に基づくものを想定している。しかし、聴覚デバイス10からではなく、装着者識別手段1において、音声認識手段や音声を用いたログイン情報等による装着者認証手段や装着状況を判別するための何らかの操作(例えば片耳ずつ順に聴覚デバイス10を外す等の操作)などに基づいて前記識別情報を取得するようにしても構わない。さらには、音声認識手段や装着者認証手段等により取得した情報に関して、生体情報等と併用する場合も含むことを妨げない。
情報音源20は、聴覚デバイス10の装着者に対して提示し得る様々な音声情報を出力する音源である。また、音声情報配布制御手段6は、1ないし複数の情報音源20のうちどの情報音源の音声情報を、集団の中のどの装着者に対して配布するかを、該集団の指令者等からの指示に基づいて制御する。そして、音声情報配布制御手段6は、各情報音源20の音声情報の配布先となる装着者を指定する配布制御情報を、情報配布手段7に対して出力する。
情報配布手段7は、音声情報配布制御手段6からの配布制御情報に基づき、各情報音源20の音声情報毎に、それぞれの配布先となる装着者を選択して、情報音源20の音声情報を該当する装着者に対して配布する。
ここで、情報配布手段7は、典型的には、Publish-Subscribe(出版・購読)モデルに基づくトピック、チャネルなどという形式で実装され、情報音源20の音声情報(トピック)毎に、それぞれの音声情報を聞く対象者(トピックの購読者)として設定された装着者個人や装着者全員や装着者グループに対してデータ配布という形式で音声情報を配布する。情報配布手段7による装着者個々人への音声情報および装着者全員への同報用の音声情報は装着者チャネル7aに対して送付され、一方、任意に編成された装着者グループへの同報用の音声情報は、一旦、グループチャネル7bに対して送付される。
なお、情報配布手段7による装着者個人に対しての音声情報は、各装着者個人が指定することができる装着者用情報選択手段5によっても制御され、情報配布手段7からの音声情報が送付される装着者チャネル7aを装着者用情報選択手段5によって制御して、装着者個人ごとに受け取る音声情報を選択することができる。
また、装着者グループへの同報用の音声情報については、グループチャネル7bに一旦送付されて、装着者グループ管理手段8によって配布先が制御され、装着者グループの構成員となっている装着者それぞれを宛先とする同報用の音声情報に設定されて、装着者チャネル7aに転送される。その結果、同報の配布先として指定した装着者グループの構成員全員に対して同報用の音声情報を送付することになる。ここで、集団内におけるチーム編成者等は、情報音源20の音声情報の同報配布先とする装着者グループの構成員を任意に指定して、装着者グループの構成員を管理するための装着者グループ管理手段8にあらかじめ登録している。
図1の説明に戻って、装着者音場形成手段3は、装着者チャネル7aに送付された装着者向けの音声情報に対して、該装着者が配布されてくる音声情報を他の音声情報と分離して識別することが可能な形に音場形成を施して、音場定位や周波数や音量レベル等を加工する。なお、装着者音場形成手段3は、装着者向けの音声情報を加工するに当たって、加工の対象となる情報音源20の属性(位置、周波数、音量レベル、位相等)や装着者の生体情報の他に、音声情報の配布先となる装着者が聴覚デバイス10を装着しているのは片耳装着か両耳装着かなどの装着状況を装着情報保持手段2から取得して、音場形成用に用いている。音声情報の加工が終了すると、装着者音場形成手段3は、加工した音声情報を、加工データとしてデータ配布手段4に送付する。
データ配布手段4は、装着者音場形成手段3から受け取った加工データを、配布先として指定されている装着者の聴覚デバイス10に対して配布する。ここで、データ配布手段4は、装着者音場形成手段3から加工データを受け取ると、まず、装着者と聴覚デバイス10との関連付けを保持している装着情報保持手段2にアクセスして、装着者音場形成手段3から受け取った加工データの配布先として指定されている装着者が装着している聴覚デバイス10に関する情報を取得する。しかる後、データ配布手段4は、装着者音場形成手段3から受け取った加工データを、配布先の装着者が装着している聴覚デバイス10に対して配布する。
(本発明の実施形態の動作の説明)
次に、本発明の一実施形態として図1に示した聴覚ウェアラブルデバイス管理システム100の動作について詳細に説明する。
装着者が聴覚デバイス10を装着すると、聴覚デバイス10から当該装着者を識別する情報が装着者識別手段1に対して送信される。ここで、送信される情報は、前述したように、聴覚デバイス10によって収集された装着者の生体情報等である。聴覚デバイス10から送信されてきた情報を基にして、装着者識別手段1は、当該装着者、および、聴覚デバイス10が装着されているのが当該装着者の右耳、左耳のいずれかの耳かまたは双方の耳であるかを判別する。
なお、かかる情報を、聴覚デバイス10からの装着者の生体情報のみでは取得することができない場合には、前述したように、音声等による利用者識別処理やログイン処理などと装着状態判定のための手続き(片方ずつ聴覚デバイス10を順に外す等)とにより、生体情報と代替するか、もしくは、生体情報と併用するようにしても良い。
装着者識別手段1において判別された装着情報(聴覚デバイス10の装着者および装着状態)は、装着情報保持手段2に保持され、装着者音場形成手段3における音源生成用の情報、データ配布手段4等における装着者と聴覚デバイス10との関係判別情報として利用される。
かくのごとき装着者識別手段1と装着情報保持手段2とを備えた構成とすることにより、聴覚デバイス10と装着者との関係は流動的となり、利用現場における聴覚デバイス10の装着状態の変更や貸し借りなどによる聴覚デバイス10の装着者の変更に対しても柔軟かつ迅速に対応することができる。
装着者に提示される音声情報は、1ないし複数の情報音源20が保有する音声情報が対象になる。情報音源20としては、絶対位置情報が付随する音声情報を誘導用として用いる誘導用音源のみならず、絶対位置情報を付随していない音声情報を情報提供用として用いる情報用音源などをさらに備えていても良い。ここで、誘導用音源は、絶対位置情報が示す位置に固定して配置され、固定した位置をあらかじめ当該情報音源20の属性として設定登録する。一方、情報用音源の位置は、装着者や集団の司令者や装着者グループの管理を行うチーム編成者等により任意の位置に配置することが可能であり、配置した位置を当該情報音源20の属性として設定登録している。
また、聴覚ウェアラブルデバイス管理システム100における集団の指令者等は、各情報音源20を配置した位置を示す属性や周波数・音量レベル等の属性の他に、各情報音源20に対して、集団を構成する各装着者個人宛、チーム編成者等により集団内に任意に編成した装着者グループの構成員全員宛の同報、集団を構成する装着者全員宛の同報、配布しない、などの音声情報の配布に関する属性を付与する。付与した配布に関する属性に応じて、各装着者個々に割り付けられた装着者チャネル7aに該当する情報音源20の音声情報が配布される。
また、装着者グループの構成員全員宛の音声情報については、情報配布手段7においてグループチャネル7bに一旦配布されるが、しかる後、装着者グループ管理手段8の制御によりグループチャネル7bから装着者チャネル7aに転送して、装着者グループ管理手段8によって指定した装着者グループの各構成員(各装着者)個々に対して同じ音声情報が送付される。ここで、装着者グループのチーム編成者は、装着者グループ管理手段8の管理情報(すなわち登録した装着者グループの構成員に関する情報)を制御することによって、装着者グループの構成員の変更等に柔軟に対処することができる。
装着者チャネル7aに送付された音声情報は、図2に示すような内部構成を有する装着者音場形成手段3によって、他の音声情報と分離して識別することに適した形に加工される。すなわち、装着者音場形成手段3は、対象とする音声情報の発生源である情報音源20に付随する属性(位置、周波数、音量レベル、位相等)や装着者の生体情報の他に、音声情報配布制御手段6からの配布制御情報等にて指定された音声情報の配布先を示す装着者および装着情報保持手段2に保持されている装着情報が示す該装着者の装着状況に応じて、音場形成の対象とする音声情報を他の音声情報と分離して識別することに適した形に加工する。図2は、図1に示した聴覚ウェアラブルデバイス管理システム100の装着者音場形成手段3の内部構成の一例を示すブロック構成図である。
ここで、装着者音場形成手段3は、前述したように、複数の各情報音源20(誘導用音源や各種の情報用音源)の音声情報に関して、音声情報配布制御手段6や装着者用情報選択手段5や装着者グループ管理手段8等によって指定された装着者が識別することが可能な形式に加工した音場を形成する手段である。したがって、装着者音場形成手段3は、一例として図2に示すように、音場選択手段31、両耳用音場形成手段32、片耳用音場形成手段33の各手段と、情報配置デフォルト設定情報34および装着者毎カスタマイズ情報35の各情報とを有して構成されている。
音場選択手段31は、聴覚デバイス10を装着している装着者毎に、対象とする情報音源20の属性(位置、周波数、音量レベル等)の他に、情報配置デフォルト設定情報34、装着者毎カスタマイズ情報35、および、装着情報保持手段2にて保持されている聴覚デバイス10の装着情報21に基づいて、装着者向けの音場を形成する形成手段を選択する。そして、選択した形成手段すなわち両耳用音場形成手段32または片耳用音場形成手段33のいずれかを起動する。
ここで、装着情報21は、前述したように、装着者毎に、聴覚デバイス10を両耳に装着しているのか、または、左耳・右耳のいずれの耳に装着しているのかを識別する情報を有している。また、情報配置デフォルト設定情報34は、情報音源20の配置位置に関するデフォルト値を設定している情報であり、あらかじめ定めたデフォルトの位置を設定している。また、装着者毎カスタマイズ情報35は、集団の指令者や装着者グループのチーム編成者や装着者自身等からの指示に基づいて情報音源20の配置を前記デフォルト値から装着者毎にカスタマイズした位置に配置したことを示す情報である。つまり、情報配置デフォルト設定情報34および装着者毎カスタマイズ情報35により、各情報音源20の音声情報の音場が、装着者から見てどのような位置に定位しているのかを決定している。
そして、装着情報21の参照結果として、装着者が聴覚デバイス10を両耳に装着していることが分かった場合には、両耳用音場形成手段32において、情報配置デフォルト設定情報34、装着者毎カスタマイズ情報35を参照して、両耳に与える音量レベルの差により、装着者から見て各音声情報の音場が別々の位置に定位しているように各情報音源20の音声情報を加工して、右耳用データ22aと左耳用データ22bとして、データ配布手段4に対して出力される。
一方、装着情報21の参照結果として、装着者が聴覚デバイス10を左耳または右耳のいずれかの耳に装着していることが分かった場合には、片耳用音場形成手段33において、各情報音源20からの音声情報の判別用として周波数や音量レベルが主に用いられるように各情報音源20の音声情報を加工して、片耳用データ23として、データ配布手段4に対して出力される。
その結果として、装着者音場形成手段3において、以上のように、音声情報の音場が他の音声情報とは容易に識別することが可能な加工が施された加工データとして、情報音源20の音声情報が、データ配布手段4を介して、該当する聴覚デバイス10に出力されることになる。したがって、聴覚デバイス10の装着者は、データ配布手段4を介して受け取った加工データを聴取することにより、該当する情報音源20の音声情報を容易に理解することが可能になる。
なお、データ配布手段4は、装着情報保持手段2へアクセスして、配布先の装着者が装着している聴覚デバイス10に関する情報を取得して、装着者が装着している聴覚デバイス10に対して、装着者音場形成手段3によって作成された加工データを、該当する情報音源20からの音声情報として送付する。この結果、各情報音源20からの各種の音声情報が、配布先として指定している装着者に対して適切に認識することが可能な形式になって提示されることになる。
なお、情報音源20の音声情報が誘導用に用いるための絶対位置情報を属性として有し、かつ、聴覚デバイス10または別の何らかの手段の補佐によって装着者の位置や姿勢を推定することが可能な場合には、当該情報音源20は、絶対位置情報が示す位置に固定される。一方、誘導用の絶対位置情報が付随していない情報音源20(情報用音源)の場合には、当該情報音源20は、装着者や指令者等によって音場位置の自由な設定が可能であり、任意の位置に配置することができる。
また、情報音源20の配置位置に関しては、通常、情報配置デフォルト設定情報34として、デフォルトの位置をあらかじめ設定しているが、前述したように、装着者毎カスタマイズ情報35により、情報音源20の配置位置を任意にカスタマイズして指定することが可能である。
(実施形態の効果の説明)
以上に詳細に説明したように、本実施形態においては、次のような効果が得られる。
第1に、集団で行動している装着者間で聴覚デバイス10の貸し借りや装着状態の変化に柔軟に対応しつつ、音声情報の提供対象となる各装着者に対して当該音声情報を確実に届けることができる。その理由は、聴覚デバイス10を指定して音声情報を送付するのではなく、装着者を指定して該装着者が装着している聴覚デバイス10に対して音声情報を送付するからである、つまり、装着情報保持手段2により、装着者と聴覚デバイス10とを関連付けた(マッピングした)装着情報をキーにして、音声情報の配布動作を制御しているからである。
第2に、複数の音声情報が届けられる場合であっても、各装着者はそれぞれの音声情報を聞き分けることができる。その理由は、音声情報の発生源となる情報音源20の属性および聴覚デバイス10の装着状況に連動して音声情報の音場を形成する装着者音場形成手段3を備えているので、情報音源の属性のみならず、聴覚デバイス10を両耳に装着しているか、左右いずれか一方の耳に装着しているかという聴覚デバイス10の装着状況に応じてそれぞれに適した音場を形成することができるからである。さらには、音声情報の発生源となる情報音源の位置に関しては、情報配置デフォルト設定情報34に、デフォルト値として、適切な配置状態をシステムの指令者等があらかじめ設定することもできるし、あるいは、装着者毎カスタマイズ情報35に、必要に応じて、装着者毎に任意にカスタマイズして随時設定することもできる。
第3に、各聴覚デバイス10の装着者を集団として構成している場合であっても、該集団を構成している各個人毎にまたは集団の全員に共通にまたは任意に編成した各装着車グループ単位の構成員全員に共通に、それぞれに応じて分類した音声情報を提供することが容易に可能である。その理由は、音声情報の配布先やグループ編成に関する管理手段として、装着者用情報選択手段5や音声情報配布制御手段6や装着者グループ管理手段8を備えているからである。
第4に、絶対座標上に固定された音場定位と装着者相対の音場定位とのいずれかを選ぶことによって、誘導などに用いるための音声情報と個人が情報識別に用いるための音声情報とを分離した状態で併用することができ、かつ、その制御を、集団の指令者が行うのみならず、聴覚デバイス10の能力によっては、装着者側でも行うことができる。その理由は、情報音源20として絶対位置情報を付随した音声情報を用いるものと付随していない音声情報を用いる場合とを併存させ、かつ、情報音源20への絶対位置情報の付加の有無に対応した音場を形成する装着者音場形成手段3を備えているからである。
(本発明の他の実施形態)
前述の実施形態においては、聴覚デバイス10に限定して音声情報の識別を効果的に行う仕組みに関する実施形態について説明したが、本発明は、視覚デバイスやその他のデバイスとの連携を妨げるものではない。特に、視覚デバイスは、装着者の位置、姿勢に関するより正確な詳細情報を取得することが可能であることが多いので、図1に前述した装着者音場形成手段3との連携を図ることにより、聴覚デバイス10の装着者が受信した音声情報をより的確に識別することが可能になる。
また、前述の実施形態においては、聴覚デバイス10として、耳に挿入するイヤホンタイプまたは耳に密着するようなヘッドホンタイプのものを想定して記載している。しかし、かかる場合に限るものではなく、音場形成と装着者識別とが可能なものであれば、聴覚デバイス10として、装着者の身体表面等に配置するものであっても良いし、装着者近傍の外部に設置するものであっても構わない。また、かくのごとき各種のタイプの聴覚デバイス10が複数混在する状況であっても構わない。
また、前述の実施形態における各種の制御手段や管理手段や設定手段等に関しては、各装着者が保有しているスマートフォンやタブレット端末のようなスマートデバイスとの連携も容易に可能であり、例えば、音場形成に関連する各種の情報設定機能等をスマートデバイスと連動して行うように構成することができる。
さらに、情報音源20として、多数の言語で同時に提供する機能、もしくは、ほぼリアルタイムで翻訳する機能を有する構成にし、装着者音場形成手段3において、装着者個人毎または装着者グループ単位で音声情報と言語とのマッピングを行うことにより、情報音源20の音声情報の識別をより容易化する要素をさらに付加した構成とすることも容易に可能である。
以上、本発明の好適な実施形態の構成を説明した。しかし、かかる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。
1 装着者識別手段
2 装着情報保持手段
3 装着者音場形成手段
4 データ配布手段
5 装着者用情報選択手段
6 音声情報配布制御手段
7 情報配布手段
7a 装着者チャネル
7b グループチャネル
8 装着者グループ管理手段
10 聴覚デバイス
20 情報音源
21 装着情報
22a 右耳用データ
22b 左耳用データ
23 片耳用データ
31 音場選択手段
32 両耳用音場形成手段
33 片耳用音場形成手段
34 情報配置デフォルト設定情報
35 装着者毎カスタマイズ情報
100 聴覚ウェアラブルデバイス管理システム

Claims (11)

  1. 集団を構成して行動する各装着者が装着している聴覚ウェアラブルデバイスに対して1ないし複数の情報音源からの音声情報を配布し、
    各前記情報音源の音声情報の配布先となる前記装着者を指定する配布制御情報を出力する音声情報配布制御手段と、
    前記配布制御情報に基づいて取得した前記情報音源の音声情報の配布先に応じて、前記装着者向けの前記情報音源からの音声情報を、前記聴覚ウェアラブルデバイスが取得した前記装着者の生体情報及び前記情報音源の属性に基づいて該装着者が識別することが可能な形に音場形成して加工する装着者音場形成手段と、
    を有することを特徴とする聴覚ウェアラブルデバイス管理システム。
  2. 前記聴覚ウェアラブルデバイスから前記装着者に装着された旨を受け取った際に、
    該聴覚ウェアラブルデバイスから送付されてくる前記装着者を識別する識別情報、前記装着者が発する音声の認識結果、前記装着者の音声によるログイン情報のいずれか1ないし複数の情報に用いて、前記装着者を特定し、
    かつ、
    特定した該装着者が前記聴覚ウェアラブルデバイスを装着した状況を示す装着状況を識別して、
    前記装着者と前記聴覚ウェアラブルデバイスの装着状況とを紐付けた装着情報として、前記装着者と装着している前記聴覚ウェアラブルデバイスの装着状況とを紐付けて前記装着情報として保持している装着情報保持手段に対して出力する装着者識別手段、
    をさらに有することを特徴とする請求項1に記載の聴覚ウェアラブルデバイス管理システム。
  3. 前記装着者音場形成手段は、前記情報音源からの音声情報を音場形成して加工する際に、
    前記装着情報に基づいて、前記装着者が前記聴覚ウェアラブルデバイスを両耳に装着しているかまたは片耳に装着しているかを判別し、
    両耳に装着していると判別した場合には、両耳に与える音量レベルの差により、前記装着者から見て各前記情報音源からの音声情報が別々の位置に定位しているように該音声情報を音場形成して加工した結果を右耳用と左耳用として出力し、
    一方、片耳に装着していると判別した場合には、各前記情報音源の判別用として主として周波数や音量レベルを用いて前記情報音源それぞれからの音声情報を音場形成して加工した結果を片耳用として出力する、
    ことを特徴とする請求項2に記載の聴覚ウェアラブルデバイス管理システム。
  4. 前記音声情報配布制御手段からの前記配布制御情報に基づき、前記情報音源毎に、それぞれの配布先として、前記装着者個人毎に、前記装着者全員に共通に、または、前記装着者グループとして編成された前記装着者の構成員全員に共通に、のいずれかを選択してそれぞれの前記情報音源の音声情報を配布する情報配布手段、
    をさらに有していることを特徴とする請求項1ないし3のいずれかに記載の聴覚ウェアラブルデバイス管理システム。
  5. 同報配布先として共通に前記情報音源の音声情報を配布する前記装着者グループを構成する前記装着者の編成を行って管理する装着者グループ管理手段、
    をさらに有していることを特徴とする請求項4に記載の聴覚ウェアラブルデバイス管理システム。
  6. 前記装着者個人毎に配布する前記情報音源の音声情報を、前記装着者個人が指定する装着者用情報選択手段、
    をさらに有していることを特徴とする請求項4または5に記載の聴覚ウェアラブルデバイス管理システム。
  7. 前記情報音源として、絶対位置情報を付随している音声情報を誘導用として用いる誘導用音源と、絶対位置情報を付随していない音声情報を情報提供用として用いる情報用音源と、を有し、
    前記誘導用音源は、配置位置を固定し、固定した位置をあらかじめ前記情報音源の属性として設定登録し、
    一方、前記情報用音源は、任意の位置に配置することが可能であり、任意に配置した位置を前記情報音源の属性として設定登録する、
    ことを特徴とする請求項1ないし6のいずれかに記載の聴覚ウェアラブルデバイス管理システム。
  8. 前記情報用音源を配置する位置としてあらかじめ定めたデフォルトの位置を設定登録する情報配置デフォルト設定情報、
    を有していることを特徴とする請求項7に記載の聴覚ウェアラブルデバイス管理システム。
  9. 前記生体情報は、聴覚ウェアラブルデバイスが収集した前記装着者の耳穴形状である、請求項1ないし8のいずれかに記載の聴覚ウェアラブルデバイス管理システム。
  10. 集団を構成して行動する各装着者が装着している聴覚ウェアラブルデバイスに対して1ないし複数の情報音源からの音声情報を配布し、
    各前記情報音源の音声情報の配布先となる前記装着者を指定する配布制御情報を出力する音声情報配布制御ステップと、
    前記配布制御情報に基づいて取得した前記情報音源の音声情報の配布先に応じて、前記装着者向けの前記情報音源からの音声情報を、前記聴覚ウェアラブルデバイスが取得した前記装着者の生体情報及び前記情報音源の属性に基づいて該装着者が識別することが可能な形に音場形成して加工する装着者音場形成ステップと、
    を有することを特徴とする聴覚ウェアラブルデバイス管理方法。
  11. 集団を構成して行動する各装着者が装着している聴覚ウェアラブルデバイスに対して1ないし複数の情報音源からの音声情報を配布する処理をコンピュータによって実行し、
    各前記情報音源の音声情報の配布先となる前記装着者を指定する配布制御情報を出力する音声情報配布制御機能と、
    前記配布制御情報に基づいて取得した前記情報音源の音声情報の配布先に応じて、前記装着者向けの前記情報音源からの音声情報を、前記聴覚ウェアラブルデバイスが取得した前記装着者の生体情報及び前記情報音源の属性に基づいて該装着者が識別することが可能な形に音場形成して加工する装着者音場形成機能と、
    を有することを特徴とする聴覚ウェアラブルデバイス管理プログラム。
JP2021186814A 2019-03-26 2021-11-17 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム Active JP7251601B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021186814A JP7251601B2 (ja) 2019-03-26 2021-11-17 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019058454A JP2020161949A (ja) 2019-03-26 2019-03-26 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム
JP2021186814A JP7251601B2 (ja) 2019-03-26 2021-11-17 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019058454A Division JP2020161949A (ja) 2019-03-26 2019-03-26 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2022010351A true JP2022010351A (ja) 2022-01-14
JP7251601B2 JP7251601B2 (ja) 2023-04-04

Family

ID=87852483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021186814A Active JP7251601B2 (ja) 2019-03-26 2021-11-17 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム

Country Status (1)

Country Link
JP (1) JP7251601B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182509A (ja) * 2007-01-25 2008-08-07 Funai Electric Co Ltd ヘッドホン装置およびワイヤレスヘッドホンシステム
JP2009152666A (ja) * 2007-12-18 2009-07-09 Toshiba Corp 音響出力制御装置、音響再生装置および音響出力制御方法
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
JP2018509820A (ja) * 2015-02-20 2018-04-05 ハーマン インターナショナル インダストリーズ インコーポレイテッド パーソナライズされたヘッドホン
WO2018216121A1 (ja) * 2017-05-23 2018-11-29 Necプラットフォームズ株式会社 イヤパッド及びこれを用いたイヤホン

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182509A (ja) * 2007-01-25 2008-08-07 Funai Electric Co Ltd ヘッドホン装置およびワイヤレスヘッドホンシステム
JP2009152666A (ja) * 2007-12-18 2009-07-09 Toshiba Corp 音響出力制御装置、音響再生装置および音響出力制御方法
JP2018509820A (ja) * 2015-02-20 2018-04-05 ハーマン インターナショナル インダストリーズ インコーポレイテッド パーソナライズされたヘッドホン
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
WO2018216121A1 (ja) * 2017-05-23 2018-11-29 Necプラットフォームズ株式会社 イヤパッド及びこれを用いたイヤホン

Also Published As

Publication number Publication date
JP7251601B2 (ja) 2023-04-04

Similar Documents

Publication Publication Date Title
US11736880B2 (en) Switching binaural sound
US20220286792A1 (en) Assistive listening device systems, devices and methods for providing audio streams within sound fields
US20220210583A1 (en) Detecting user's eye movement using sensors in hearing instruments
US10819953B1 (en) Systems and methods for processing mixed media streams
Johnson et al. Impact of hearing aid technology on outcomes in daily life III: Localization
WO2020069275A3 (en) Binaural sound source localization
CN107609371B (zh) 一种消息提示方法及音频播放设备
US11696086B2 (en) Auditory wearable device management system, auditory wearable device management method, and program thereof
US20200137488A1 (en) Virtual microphone
JP2022010351A (ja) 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム
Lock et al. Bone-conduction audio interface to guide people with visual impairments
CN116057635A (zh) 手术室中的声音管理
Whitmer et al. Changes in orientation behavior due to extended high-frequency (5 to 10 kHz) spatial cues
US10516961B2 (en) Preferential rendering of multi-user free-viewpoint audio for improved coverage of interest
WO2023286320A1 (ja) 情報処理装置および方法、並びにプログラム
WO2024067994A1 (de) System und verfahren zum verarbeiten von mikrofonsignalen
Chinnaraj et al. Speech perception in noise and localization performance of digital noise reduction algorithm in hearing aids with ear-to-ear synchronization
TW202110173A (zh) 在擴增實境裝置中用於社交相關用戶參與指示器的系統及方法
Shinn-Cunningham How Poor Spatial Hearing Impedes Communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R151 Written notification of patent or utility model registration

Ref document number: 7251601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151