JP2022130662A - 頭部伝達関数を生成するシステム及び方法 - Google Patents

頭部伝達関数を生成するシステム及び方法 Download PDF

Info

Publication number
JP2022130662A
JP2022130662A JP2022106932A JP2022106932A JP2022130662A JP 2022130662 A JP2022130662 A JP 2022130662A JP 2022106932 A JP2022106932 A JP 2022106932A JP 2022106932 A JP2022106932 A JP 2022106932A JP 2022130662 A JP2022130662 A JP 2022130662A
Authority
JP
Japan
Prior art keywords
user
head
related transfer
data
computer program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022106932A
Other languages
English (en)
Inventor
ヨハンソン,ヤーン
Johansson Jaan
カルヤライネン,アーポ
Karjalainen Aapo
マリネン,マッティ
Malinen Matti
ティッカネン,ユッシ
Tikkanen Jussi
サーリ,ヴィッレ
Saari Ville
ヴォスーグ,プーラン
Vosough Poorang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genelec Oy
Original Assignee
Genelec Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/435,613 external-priority patent/US10743128B1/en
Priority claimed from FI20195495A external-priority patent/FI20195495A1/en
Application filed by Genelec Oy filed Critical Genelec Oy
Publication of JP2022130662A publication Critical patent/JP2022130662A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/23Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】頭部伝達関数を生成するシステム及び方法を提供すること。【解決手段】本発明の例示的態様によれば、ユーザの頭部伝達関数を計算することと、前記頭部伝達関数を送信することとを含む方法を提供し、計算は、少なくとも1つの映像素材及び少なくとも1つの追加画像を含む収集データに少なくとも部分的に基づき、少なくとも1つの追加画像は、透明測定デバイスを、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像を含む。【選択図】図1

Description

本開示は、特に音響工学を適用する分野において、第1のコンピュータ・プログラム・
アプリケーションによって、ユーザの頭部伝達関数を計算することと、前記頭部伝達関数
を送信することとを含む方法を提供し、計算は、少なくとも1つの映像素材及び少なくと
も1つの追加画像を含む収集データに少なくとも部分的に基づき、少なくとも1つの追加
画像は、透明測定デバイスを、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像
を含む。
より詳細には、本開示は、個人の頭部伝達関数を生成するシステム及び方法を提供する
。本開示は、コンピュータ・プログラム・アプリケーション、及び測定デバイスから構成
されるキットも含み、測定デバイスは、ユーザの生物学的データ、及び伝達関数に影響を
与え得る他のデータに基づいて頭部伝達関数を得るのに使用可能である。更に、ユーザが
較正する必要のない頭部伝達関数を実装する音響ハードウェアが提供される。
音響監視の目的は、音の表現を中立的に評価し、他の再生システムへの良好な伝達を保
証することである。頭部の動きを伴う頭部及び外耳の形状、人間の聴覚系の主定位機構は
、素晴らしい音源定位能をもたらすものであり、ラウドスピーカの監視を働かせることを
可能にしている。ヘッドフォンは、人間が生涯にわたって取得するこうした生来の機構に
対する連係を損なうものである。こうした理由のために、耳上ヘッドフォン及び耳内ヘッ
ドフォンは、監視には最適な選択ではなかった。通常のヘッドフォンは、レベルを設定し
、音の場所を選別し、人間の声又は楽器のような重要な音源を等化することを困難にして
いる。というのは、ヘッドフォンは、中音域内に良好に制御された周波数応答を有さず、
ヘッドフォン間の音の特性変動は、大きいためである。この問題は、個人差によって複雑
化する。ある人がヘッドフォン上で聞くものは、同じヘッドフォン・セットの場合でさえ
、他の人が聞くものとはかなり異なる場合がある。こうした特性は、良好な室内ラウドス
ピーカ監視システムと比較すると完全に異なる。良好なラウドスピーカ監視システムを使
用して行った成果は、他のラウドスピーカに正確に伝達され、全ての聴取者に同じに聞こ
え、ヘッドフォン再生でも良好に働く。
ヘッドフォンを使用した監視を可能にするには、新たな解決策が必要である。本開示は
、ヘッドフォンを使用したステレオ・オーディオ、サラウンド・オーディオ及びイマーシ
ブ・オーディオの監視を可能にする、確実な経路を提供することを目的とする。本開示の
実施形態では、ユーザの頭部、外耳及び上半身がどのように影響し、あらゆる所与の方向
から到来する音色をどのように変化させるかを計算する。この影響は、頭部伝達関数(H
ead-Related Transfer Function、HRTF)と呼ばれる
。本開示の実施形態少なくともいくつかは、ユーザ固有の個人的HRTFをSOFAファ
イル・フォーマット内に提供する。SOFA(Spatially Oriented
Format for Acoustics)ファイル・フォーマットは、Audio
Engineering Society(AES)によって規格化されており、音響ソ
フトウェアによって広く受け入れられ、支持されている。
HRTFの提供にはいくつかの方法があり、これらの方法は、当人から固有に測定して
いないデータを使用する。そのようなデータは、マネキン又はダミーの頭部に由来するこ
とがある。典型的には、これらの解決策は、最高の品質をもたらさない。即ち、生成した
HRTFは、ユーザの解剖学的構造にそれほど一致するものではない。質の悪いHRTF
は、ユーザにとって有用ではなく、実際には、HRTFが、音色の変化及び不正確な音像
定位並び音像定位誤差を含む等、忠実度がより低くなり得ることは理解されよう。
データベース内で利用可能であり、全く異なる人々から独自に測定したデータもある。
以前の方法は、そのようなデータベース内で最良の一致を選択するデバイスを備えている
。そのような選択は、通常、人体測定と一般に呼ばれる頭部サイズ及び耳の寸法等、その
人の寸法のセット測定に基づく。標的とする人の人体測定データは、最良の一致を探すこ
とを目的として、データベース内の他の人からのデータに一致させることができる。この
データは、所与の人に対して正確な音響表現を生成する可能性が最も高いHRTFが選択
されることを仮定している。残念ながら、そのような方法は、実際には、さほど良好な性
能を示すものではない。不要な音色の変化、定位誤差、又は良好な外在化の欠如を伴う問
題が見られることが多いが、典型的には、このことが、確実なレンダリングをもたらすわ
けではない。というのは、依然として著しい個人差があり、完全な選択方法は、依然とし
て存在しないためである。
本発明は、本明細書で提示したこれらの問題及び解決策の欠点を解決し、本明細書で開
示する有利な効果を提供することを目的とする。
本発明は、独立請求項の特徴によって定義される。いくつかの特定の実施形態は、従属
請求項において定義される。
本発明の第1の態様によれば、第1のコンピュータ・プログラム・アプリケーションに
よって、ユーザの頭部伝達関数を計算すること、及び前記頭部伝達関数を送信することが
提供され、計算は、少なくとも1つの映像素材及び少なくとも1つの追加画像を含む収集
データに少なくとも部分的に基づき、少なくとも1つの追加画像は、透明測定デバイスを
、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像を含む。
本発明の第2の態様によれば、少なくとも1つの処理コアと、コンピュータ・プログラ
ム・コードとを含む少なくとも1つのメモリとを備える装置が提供され、少なくとも1つ
のメモリ及びコンピュータ・プログラム・コードは、少なくとも1つの処理コアと共に、
装置が、少なくとも、ユーザの頭部伝達関数を計算し、前記頭部伝達関数を送信するよう
に構成し、計算は、少なくとも1つの映像素材及び少なくとも1つの追加画像を含む収集
データに少なくとも部分的に基づき、少なくとも1つの追加画像は、透明測定デバイスを
、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像を含む。
第1の態様及び/又は第2の態様の様々な実施形態は、以下の箇条書きで書かれたリス
トからの少なくとも1つの特徴を含むことができる:
・ユーザに関連するデータの収集、
・○映像素材、
○少なくとも1つの追加画像、
○聴覚測定データ、
○ユーザのメタデータ
の少なくとも1つを含む、ユーザに関連するデータ、
・ユーザから収集される少なくとも1つの追加画像。追加画像は、透明測定デバイスを
、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像を含む、
・少なくとも1つのコンピュータ・プログラム・アプリケーションによる、ユーザに関
連するデータの送信、
・少なくとも1つのコンピュータ・プログラム・アプリケーションによる、ユーザに関
連するデータの受信、
・コンピュータ・プログラム・アプリケーションの使用による、ユーザの少なくとも1
つの頭部伝達関数の計算。この計算は、前記収集データに少なくとも部分的に基づく、
・少なくとも1つのコンピュータ・プログラム・アプリケーションへの少なくとも1つ
の頭部伝達関数の送信、
・少なくとも1つの音響デバイスへの頭部伝達関数のロード、
・ユーザへの、頭部伝達関数を含む音響デバイスの提供。当該頭部伝達関数は、当該ユ
ーザに基づく、
・頭部伝達関数を含むヘッドフォン、
・自律デバイスは、ユーザに関連するデータを収集するために使用する、
・例えば、コンピュータ・プログラム・アプリケーションの使用による、データ収集工
程の間の状況命令の提供、
・ユーザに関連するメタデータを含むデータ、
・映像素材及び追加画像とは個別の、コンピュータ・プログラム・アプリケーションへ
のメタデータの送信、
・ユーザの左耳の少なくとも1つの追加画像及びユーザの右耳の少なくとも1つの追加
画像を含むデータ、
・少なくとも1つの波動方程式を解くことによる、時間領域における頭部伝達関数の計
算、
・少なくとも1つのヘルムホルツ方程式を解くことによる、周波数領域における頭部伝
達関数の計算。
本発明の少なくともいくつかの実施形態による、ユーザ、及びユーザの少なくとも一方の耳により聞こえる音を発する音源の一例の概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの視覚表現の取得を伴う例示的データ捕捉方法の概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの視覚表現の取得、更に、自律デバイスの利用を伴う例示的データ捕捉方法の概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの視覚表現を取得し、更に、自律デバイスを利用する例示的データ捕捉方法の概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの生物学的詳細の取得に際し使用可能な例示的測定デバイスの概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの生物学的詳細の取得に際し使用可能な例示的測定デバイスの概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの生物学的詳細のために、ユーザの耳が異なる様式で音と相互作用する概略図である。 本発明の少なくともいくつかの実施形態による、ユーザの生物学的詳細のために、ユーザの耳が異なる様式で音と相互作用する概略図である。 本発明の少なくともいくつかの実施形態による例示的方法を示す流れの図式である。 本発明の少なくともいくつかの実施形態による例示的方法を示す流れの図式である。
本開示では、頭部伝達関数を生成するシステム及び方法を提示する。本開示は、コンピ
ュータ・プログラム・アプリケーション、及び測定デバイスから構成されるキットも含み
、測定デバイスは、少なくとも、HRTFに影響を与えることが公知であるユーザの頭部
、外耳、及び上半身の正確な形状の情報、並びに伝達関数に影響を与え得る他のデータに
基づき、標的ユーザの頭部伝達関数を得るのに使用可能である。更に、ユーザが較正する
必要のない頭部伝達関数を実装する音響ハードウェアが提供される。
頭部伝達関数(HRTF)は、各耳のための個別のフィルタであり、水平面(方位角)
及び垂直面(高度)上での各到来方向に対して異なる値を有し、全てのスペクトル効果及
び時間領域効果を組み込むものである。HRTFは、音に対する全ての変化を表し、この
音は、所与の方位から耳に接近する音によって生成される。音への方向による影響に完全
な理解をもたらすには、全ての到来方向のための、聴取者の頭部を囲む球にわたる多数の
HRTFを必要とする。HRTF情報を時間領域で表すと、この結果は、頭部インパルス
応答(HRIR)である。
図1は、2つの耳、左耳12及び右耳11を有するユーザ10を示す。音源200によ
って発せられる音は、両耳によって聞かれる、即ち、音202は、左耳により聞かれ、音
201は、右耳により聞かれる。
Spatially Oriented Format for Acoustic(
SOFA)は、多数のHRTFを保存する、国際的に規格化されたファイル・フォーマッ
トである。本開示では、出力SOFAファイルは、例えば、836の異なる到来方向で両
耳に与えられた、音響信号に関するHRIRデータを含むことができる。HRIRインパ
ルス応答は、1024のサンプル長さであり、ユーザの好みに応じてサンプリング・レー
ト48、44.1又は96kHzを使用する。ファイル内の方位角分解能は、高度によっ
て決まり、表1に示される。最も高い方位角分解能は、わずかな高度にあり、わずかな高
度では、人間の聴覚系も最も高い角度分解能を有する。
Figure 2022130662000002
本開示の実施形態の少なくともいくつかでは、個人化した頭部伝達関数の測定、計算、
及び少なくとも1人のエンドユーザへの配信を促進するシステムを提供する。そのような
システムは、少なくとも1つの第1のコンピュータ・プログラム・アプリケーションを備
えることができ、第1のコンピュータ・プログラム・アプリケーションは、ユーザが提供
するデータに基づき、頭部伝達関数を計算し、頭部伝達関数を得、少なくとも1つの所望
のファイル・フォーマットにパッケージ化し、前記ファイル・フォーマットをユーザに配
信する機能を備える。システムは、第2のコンピュータ・プログラム・アプリケーション
も備えることができ、第2のコンピュータ・プログラム・アプリケーションは、ユーザが
測定を行い、測定値を第1のコンピュータ・プログラム・アプリケーションに送信するの
を支援する機能を備える。次に、ユーザは、第2のコンピュータ・プログラム・アプリケ
ーションを利用し、ファイル・フォーマットを安全に得ることができる、又は代替実施形
態では、個別の第3のコンピュータ・プログラム・アプリケーションを使用することがで
きる。
HRTFは、ヘッドフォン、イヤフォン、ラウドスピーカ、サブウーファ、骨伝導音響
デバイス、補聴器、PAシステム、増幅器、前置増幅器、監視器、テレビ、携帯電話、タ
ブレット、スマートウオッチ等のあらゆる形態の音響機器と共に利用可能である。
本開示の実施形態の少なくともいくつかによれば、素材は、エンドユーザ、即ち、頭部
伝達関数を生成する人の詳細を必要とする。この素材を、本明細書ではユーザ・データ、
ユーザ素材又は他のそのような用語と呼ぶことができる。この素材は、例えば、第1のコ
ンピュータ・プログラム・アプリケーションを、任意で、第2のコンピュータ・プログラ
ム・アプリケーションを含むコンピューティング・デバイスのオペレーティング・システ
ムの要素と共に使用することによって得ることができる。例えば、第2のコンピュータ・
プログラム・アプリケーションは、少なくとも1つの携帯電話アプリケーションを備える
ことができる。
必要なユーザ素材は、静止画像及び/又は映像、即ち、画像シーケンスを含むことがで
きる。更に、ユーザ・データは、画像を処理するために使用される試験信号又はタイミン
グ信号等の音を含むことができる。画像又は音のデータは、映像の一部として含めること
ができるか、又は個別に記録することができる。例示的な一実施形態では、画像素材は、
好ましくは、少なくとも720×920画素、より好ましくは、1920×1080画素
である。画像素材は、好ましくは、以下の少なくともいくつか:頭部、肩、胴、頸部、顔
、耳、鼻を含むユーザの生物学的詳細の視覚表現を含む。ユーザの耳に関し、外耳の生物
学的詳細は、耳介及び外耳道の形状及び寸法を含めて重要である。ユーザが知覚する音は
、以下生物学的データ(生物学的詳細)の少なくともいくつか:耳の形状、耳のサイズ、
頭の形状、頭のサイズ、肩のサイズ、肩の形状、口腔のサイズ及び形状、及び鼻腔、並び
に既に述べた身体部位と他の生物学的詳細との間の距離によって影響を受ける。したがっ
て、頭部に加えて、ユーザの胴及び肩の視覚的な記録を有することが有利である。少なく
とも1つの例示的実施形態では、画像素材は、ユーザが口を開けている視覚表現を含み、
ユーザの歯の状態に関連する情報、例えば、歯が欠けていることを得る。そのような情報
は、計算段階において頭部伝達関数を調節し、より正確なモデルを得るために使用可能で
ある。更に、耳を含むユーザの頭の各側の画像を有することが有益である。というのは、
ユーザは、外傷を負ったことがあり、各頭の側に異なる生物学的詳細がもたらされる可能
性があるためである。
図2は、本開示の少なくともいくつかの実施形態による映像捕捉を受けるユーザ10を
示す。ユーザ10は、耳11及び12、口15を備える頭部16を有する。ユーザ10は
、頸部18、肩13及び14も備える。ユーザの生物学的要素11、12、13、14、
15及び16は、記録デバイス300によって記録される。記録デバイス300は、カメ
ラ等の少なくとも1つの映像捕捉デバイスを備え、前記カメラは、線303によって示す
視野を有する。したがって、ユーザの視覚表現301は、捕捉され、更に示される。視覚
表現301は、有利には、ユーザの生物学的要素11、12、13、14、15、16、
18の全てを含み、HRTF生成工程において使用される。本開示によれば、少なくとも
1つの異なるデータ取得方法を利用し得るこの実施形態及び他の実施形態は、ユーザの視
覚表現301の捕捉を含む。
図3は、本開示の少なくともいくつかの実施形態による映像捕捉を受けるユーザ10を
示す。この図では、映像の捕捉は、ここでは空中ドローンとして示される自律デバイス4
00によって実施される。図から分かるように、映像の捕捉は、ユーザの1つの側の向き
から撮られる。自律デバイスは、経路404及び405から構成される経路を辿る。経路
404及び405は、一緒にすると、円、楕円又は他の幾何学的形状を表すことができる
。したがって、自律デバイスは、ユーザ10の周囲を旋回する一方で、カメラの視野40
3がユーザの方を指すように有利に向けられる。旋回が生じると同時に、デバイス400
は、ユーザ10を連続的に記録し、デバイス400によって捕捉した映像が、ユーザの様
々な側からの、ユーザの生物学的詳細の視覚表現を有する映像フレームを含むようにする
。例えば、ユーザの左耳11は、1000の映像フレームで示すことができ、最初の20
0のフレームは、前記耳の顔方向からの眺めを示し、フレーム201~800を含み得る
耳の側の(直接的な)眺めに徐々に移行し、この後、残りのフレームは、後方からの耳を
示す。前記フレームは、耳及び肩の詳細等の特定の詳細、並びに全体寸法、即ち、ユーザ
のそれぞれの寸法、例えば、耳から肩への距離の決定に使用可能であり得る。
更なる例示的実施形態では、デバイス経路は、高度を変化させることができ、デバイス
は、ユーザの頭を越えて交差し、頭の真上等の上昇角度からユーザの生物学的詳細の写真
素材を得ることができる。更なる例示的実施形態では、素材を捕捉する自律デバイスを使
用する際、本開示内で開示される命令をユーザに与えることができる。更なる例示的実施
形態では、自律デバイスは、まず、測定デバイスを耳の上に配置するようにユーザに指し
示し、次に、追加画像を捕捉するように位置を調節することができる。本開示の少なくと
もいくつかの実施形態によれば、経路404及び405は、所定の向き、例えば、90度
ごと又は60度ごとでの停止部を組み込み、捕捉画像上の被写体ブレによる影響を最小化
するようにする。
図4は、自律デバイス400によって映像捕捉を受けるユーザを示し、自律デバイス4
00は、視野限界403によって画定される画像を捕捉する経路404及び405上を進
行する。経路は、ユーザに向かう角度にあり、デバイスが、ユーザの頭部の生物学的詳細
に関するより多くの重要な詳細を捕捉することを可能にする。例示的な一実施形態では、
デバイスが取る経路は、二重螺旋と似ていてもよい。即ち、ユーザの側部の全ては、少な
くとも2つの向きから捕捉され、これにより、HRTF計算のための形状データを増大さ
せる。
第1のコンピュータ・プログラムは、視覚的命令、聴覚的命令、テキストによる命令若
しくは触覚による命令を表示、送信又は発することを含み、捕捉工程を支援することがで
きる。命令は、状況命令として、例えば現在のユーザの状態に基づき、有利に提供される
。命令の状況は、収集データ、ユーザの場所、収集デバイスの向き又は動きに基づき、第
1のコンピュータ・プログラム・アプリケーション又は第2のコンピュータ・プログラム
・アプリケーションによって得ることができる。例えば、ユーザ・データの照明が不十分
である場合、このことを警告音によってエンドユーザに示すことができる。少なくとも例
示的な一実施形態では、状況命令の提供は、第2のコンピュータ・プログラム・アプリケ
ーションから第1のコンピュータ・プログラム・アプリケーションに伝達されたデータに
基づき、少なくとも1つの第1のコンピュータ・プログラム・アプリケーションによって
決定される。更に、第1のコンピュータ・プログラム又は第2のコンピュータ・プログラ
ムは、ユーザ・データ分析機能を含み、ユーザ・データに対する最初のサニティ・チェッ
クを実施することができ、不要なデータ送信を回避するようにする。第1のコンピュータ
・プログラム又は第2のコンピュータ・プログラムは、更に、ユーザの素材を安全にする
暗号化機能、及び送信データ量を低減する圧縮機能を含むことができる。
第2のコンピュータ・プログラムは、コンピューティング・デバイスの向き及び動きを
検知し、前記向き及び/又は動きの情報を、画像素材と共に保存することを含み、頭部伝
達関数を生成する際に使用することができる。画像安定化を利用することができる。例示
的な一実施形態では、ユーザ・データは、ドローン等の自律飛行デバイスを使用して捕捉
される。ドローン経路は、上記で詳述したサニティ・チェックに応答する第2のコンピュ
ータ・プログラムに事前にプログラミングすることができ、ドローンに、第2のコンピュ
ータ・プログラムによって、特定のデータ、例えば、質が低いと決定されたデータを再度
捕捉するように命令することができる。
頭部伝達関数の正確さを増大させるため、測定工程は、特定の測定デバイスを利用する
ことができる。測定デバイスは、以下の少なくとも1つ等の尺度:メートル長さ尺度、所
定パターン、反射部分、LED等の構成要素、バーコード及びQRコード等の視覚的に保
存される情報を含むことができる。測定デバイスは、以下の少なくとも1つ:フック、誘
導具、固定具、留め具、バンド、接着剤等の配置補助具を備えることができる。例示的な
一実施形態では、測定デバイスは、少なくとも1つの機械可読フォーマット及び少なくと
も1つの人間可読フォーマット内に保存される情報を含み、機械可読フォーマットに対す
るデータが人間によって解釈されないようにする、及び/又は人間可読フォーマットに対
するデータが機械によって解釈されないようにする。機械可読データは、テキスト・フォ
ーマット等の人間が容易に理解可能なフォーマットで保存することもでき、この場合、本
明細書で説明するコンピュータ・プログラム・アプリケーションは、光学式文字認識(O
CR)を実施するか又は実施させ、データを読み取るようにする。例示的な一実施形態で
は、少なくとも1つの測定デバイスは、透明である、即ち、光透過性材料から構成するこ
とができる。このことは、測定デバイスをユーザの身体部位上に置くことができ、得られ
た画像は、測定デバイスをユーザの身体部位上に重ねて表示するため、有益である。更な
る例示的実施形態では、測定デバイスの位置は、データ取得中、第1のコンピュータ・プ
ログラム・アプリケーション又は第2のコンピュータ・プログラム・アプリケーションに
よって分析することができ、位置に対するあらゆる必要な修正は、状況命令を介して、例
えば、ユーザが測定デバイスを保持しながら没頭できるように、音声命令を介してユーザ
に伝達することができる。
図5は、本発明の少なくともいくつかの実施形態による測定デバイスの使用を示す。ユ
ーザの耳12を撮った画像において、測定デバイス90は、耳12に重ねて示されている
。測定デバイス90は、機械可読である目盛り91を備える。そのような透明測定デバイ
スの使用は、参照特徴としての目盛りを用いた画素ベースの計算の使用により、耳介寸法
等のユーザの生物学的特徴を容易に寸法決定するという利益を提供する。
図6は、ユーザの耳12の上に重ねた別の種類の透明測定デバイス95を示す。測定デ
バイス95、及び本明細書で開示する他の測定デバイスは、例えば、ABS又はポリエチ
レン等のプラスチック材料から製造することができる。測定デバイス95は、機械可読目
盛り96、及びバーコードとして表される識別手段97を備える。目盛り96及び識別手
段97の位置及び向きは、ユーザの生物学的詳細の迅速な分析を可能にする。測定デバイ
ス95は、ユーザの耳12に対して軽く押しあてられ、見掛けの効果により、データ収集
の邪魔をしないことを保証することができる。
例示的な一実施形態では、第2のコンピュータ・プログラム及び測定デバイスは、キッ
トとして提供される。キットは、少なくとも1つの透明測定デバイスを備えることができ
る。更なる例示的実施形態では、キットは、以下:照明デバイス、伝導測定デバイス、マ
イクロフォン、ヘッドフォン、例えば背景又は背景幕として使用する光不透過性測定デバ
イスの少なくとも1つを備えることができる。本開示による測定デバイスの少なくともい
くつかは、ユーザの少なくとも1つの身体部位に一時的に取り付けるように構成すること
ができる。測定デバイスの少なくともいくつかは、帽子、ヘアバンド、シャツ等の衣類物
品を含むことができる。キット内に備えられるデバイスの少なくともいくつかは、有利に
は、ユーザ測定に基づき生成されるHRTF等のHRTFを受け入れるように構成するこ
とができる。少なくとも1つの例示的実施形態では、キットは、アクセス・コードを含む
ことができ、ユーザがデータを第1のコンピュータ・プログラム・アプリケーションに送
信することを可能にする。
本開示の少なくともいくつかの実施形態では、上述の画像及び音声データに加えて、ユ
ーザからのデータを収集する。本開示の文脈ではメタデータと呼ばれるこのデータは、ユ
ーザの識別情報、即ち、以下の少なくとも1つ:ユーザの名前、ユーザの別名、指紋等の
ユーザの生体識別情報、ユーザの年齢、ユーザの生物学的性別を含むことができる。前記
データは、ユーザに関連する地理的データも含むことができ、地理的データには、ユーザ
の場所、ユーザの場所における(ユーザが手動で測定、得た又は入力した)大気圧、ユー
ザの場所における湿度、ユーザの場所における温度の少なくとも1つを含む。そのような
データは、頭部伝達関数の生成に有益である。というのは、ユーザが受ける音は、年齢、
骨伝導等の生物学的な要因、及び湿度等の場所的な要因によって影響を受けるためである
。メタデータは、画像データの一部として収集することができ、例えば、ユーザは、デー
タを映像の音声トラック上に伝達することができる。メタデータは、少なくとも一部は、
センサ・データを使用する第2のコンピュータ・プログラム・アプリケーションを備える
デバイスによって収集することができるか、又は測定イベントの前若しくはその後、1つ
若しくは複数のデータベース及び/若しくはコンピュータ・システムからの第1のコンピ
ュータ・プログラム若しくは第2のコンピュータ・プログラムによって、他の供給源から
得ることができ、1つ若しくは複数のデータベース及び/若しくはコンピュータ・システ
ムは、少なくともいくつかの実施形態では、第2のコンピュータ・プログラム・アプリケ
ーション及び/又は第1のコンピュータ・プログラム・アプリケーションを備えない。
図7は、ユーザの耳12に到来する音の影響を示す。音202bは、ユーザの外耳道に
直接到来する一方で、音202aは、ユーザの耳の表面、より正確にはユーザの耳甲介か
ら反射される。ユーザが受ける、音への対応する影響は、図に含まれる周波数グラフで示
す。
図8は、別の状況を示し、音202c及び202dは、耳の上から到来する。音202
cは、ユーザの外耳道に直接到来する一方で、音202dは、耳の表面から反射され、外
耳道に入る。ユーザが受ける、音への対応する影響は、図に含まれる周波数グラフで示す
。図7及び図8に示す状況は、例示的な性質のものであり、典型的なシミュレーションで
は、結果を得るために重ねられる数十から数百のそのようなシミュレーションを含む。図
7及び図8に関して本明細書で説明する状況は、計算の一部として使用し、HRTFを得
るか、又は代替若しくは追加として、HRTF生成後、HRTFの少なくともある部分、
例えば周波数範囲を修正することができる。図7及び図8に示す状況は、耳への音の物理
的伝達に対するユーザの生物学的詳細の影響もここで提示し、知覚音に対するそのような
現象による影響を強調し、本開示内で提示する高度に正確なHRTFの必要性を際立たせ
ている。
本開示による少なくともいくつかの実施形態では、ユーザの聴覚感受性は、少なくとも
部分的に第2のコンピュータ・プログラム・アプリケーションを使用して検査する。その
ような検査は、空気伝導音検査及び骨伝導音検査を対象とする要素を含むことができる。
検査は、少なくとも1つの第1のデバイスに、振動、即ち、第1の刺激を発するように指
示すること、及び少なくとも1つの第1の刺激に対する少なくとも1つの第1のユーザ応
答を手動又は自動的に記録することを含むことができる。本開示の少なくともいくつかの
実施形態では、第2のコンピュータ・プログラム及び任意で測定デバイスを備える測定機
器は、ユーザとは異なる場所にあることがある。この場合、ユーザは、第1のコンピュー
タ・プログラムのローカル・インスタンスを有することができ、ローカル・インスタンス
は、ユーザが測定機器の場所に行き、高品質測定を得るべきであることを直接、又はユー
ザの測定に応じて表示することができる。
本開示によれば、頭部伝達関数の計算は、測定したユーザの生物学的詳細による、ユー
ザの鼓膜に対する音圧のシミュレーションによって、及び/又は周波数領域音場モデル化
の使用によって周波数領域内で実施される。シミュレーションの入力値は、遠距離音場、
例えば、回転楕円形構成で被験者の頭部から2メートルに位置する音源とすることができ
る。頭部伝達関数を得るには、各音源から被験者の耳までの、関連する音場の計算を組み
込むことができる。音場の計算は、時間領域において少なくとも1つの波動方程式を解く
ことによって及び/又は周波数領域において少なくとも1つのヘルムホルツ方程式を解く
ことによって、被験者の形状で達成することができる。波動方程式及び/又はヘルムホル
ツ方程式の数値の解法は、以下の1つ:有限要素法(FEM)、有限差分/有限差分時間
領域法(FD/FDTD)若しくは境界要素法(BEM)若しくはこれらの修正形態及び
拡張形態、又は本明細書で開示するあらゆる他の方法によって行うことができる。音場を
時間領域内で解く及び/又は計算する場合、被験者の耳内で得られる圧力場が、直接的な
所望のインパルス応答である。音場を周波数領域内で解く及び/又は計算する場合、例え
ば、逆フーリエ変換等の計算を使用して所望のインパルス応答を得る。更に、計算は、以
下の少なくともいくつか:周波数掃引正弦波又は最長系列を利用することができる。伝達
関数は、表1に列挙する少なくとも1つの値及び必要に応じた内挿、又はより多数の方向
、例えば836の方向に対して計算することができる。
本開示の少なくともいくつかの実施形態によれば、計算の前にユーザの生物学的詳細を
モデル化する。前記モデル化は、任意でユーザのメタデータを含む供給された素材からユ
ーザの生物学的形状を抽出すること、形状に対する検査を実施すること、3Dメッシュを
生成すること、及び耳道進入点を割り当てることを含む。
HRTFの生成は、1つ又は複数の重みベクトルを使用して入力変数を重み付けること
によって更に調節することができる。例えば、耳介の長さは、ユーザの耳から肩までの距
離よりも重み付けることができる。ユーザからのメタデータ及び/又は更なるデータに対
し、本開示内の他の場所で開示する入力データの質、HRTFの質、及び決定基準に応じ
て、より多く又はより少なく重みを与えることができる。
本開示の実施形態の少なくともいくつかによれば、頭部伝達関数を計算又は生成した後
、少なくとも1つの品質基準を計算することができる。品質基準は、伝達関数の推定精度
に関する情報を提供する。品質スコアは、得られた伝達関数と、人口統計学的値、集団デ
ータ、シミュレーションした頭部データ、ダミーの頭部データの少なくとも1つに基づき
得られた伝達関数とを比較することによって計算することができる。品質スコアは、パー
センテージ形式で表すことができる。
本開示の実施形態の少なくともいくつかによれば、頭部伝達関数は、本開示内で既に説
明したユーザのメタデータを使用して計算するか又は計算後、調節することができる。例
えば、海面に対するユーザの高度及び/又はユーザの場所における大気圧は、ユーザの耳
道への音の伝播の仕方に影響を与えることがあり、したがって、この要因を考慮すると、
より正確な伝達関数がもたらされる。別の例では、いくつかの状況では、ユーザは、音を
経験する間、ヘルメット又は他のヘッドギアをかぶらなければならないことがある。その
ような機器も、頭蓋骨及び空気を通じた音の伝導に影響を与えるため、モデルが、機器の
形状及び材料特性を考慮することが有益である。更に別の例では、ユーザが、ヘッドフォ
ン等の特定の音響機器を使用する又は使用を計画する場合、本明細書で提示する他の例と
同様に、材料及び機械的構造を含むヘッドフォンの設計を考慮に入れることができる。
したがって、ユーザのメタデータに関連するそのような条件に関連するデータ及び本明
細書で提示する例は、例えば、重み付けされた値の表又は多次元マトリックスとしてシス
テム内に保存することができる。少なくとも1つの第1のコンピュータ・プログラム・ア
プリケーション又は第2のコンピュータ・プログラム・アプリケーションは、事前にプロ
グラムした命令を含み、これらの値を利用若しくは適用することができるか、又はアプリ
ケーションは、伝達関数の品質スコアが特定の閾値が例えば50%に合致しない場合、こ
れらの値を利用することができる。
有利な実施形態では、頭部伝達関数は、ヘッドフォン又はスピーカ等の少なくとも1つ
の音聴取デバイスに事前にロードすることによってユーザに提供される。そのようなハー
ドウェアは、以下の少なくとも1つ:ドライバ要素、頭部伝達関数に少なくとも部分的に
基づいて音響信号に対し少なくともいくつかの調節を実施するようにプログラムされた命
令を含むプリプロセッサ、ケーブル・ジャック等の音入力手段、Bluetooth適合
器等のワイヤレス通信手段を含むことができる。したがって、ハードウェアを受ける際、
ハードウェアは、ユーザの特定の生物学的詳細及び条件を考慮に入れるように既にカスタ
マイズされており、ユーザの貴重な時間を節約する。ハードウェアは、起動時、又はユー
ザの要求により頭部伝達関数をダウンロードするように構成することもできる。
図9に示す第1の方法では、本開示の少なくともいくつかの実施形態によれば、聴取者
の映像を撮影する。この映像は、聴取者の頭部及び上半身(肩)を含む一方で、場面は聴
取者を旋回し、こうした詳細を全ての角度で示す。この後、計算工程は、映像を分析し、
映像中の異なる画像の間に生じる差を見ることによる写真測量方法を使用して、聴取者の
3次元モデルを構築する。次に、このモデルは、衝撃音が異なる向きから両耳に到来した
際に衝撃音経験を計算する際に使用される。最終的に、この情報を使用すると、800を
超える異なる向きの到来音でHRTFフィルタを得ることができる。
第1の方法の第1のステップでは、ユーザの映像は、ユーザの正面から開始して、背面
に沿って旋回することによって、全角度から撮影する。このステップの一例を図3に示す
。映像工程の間、ユーザは、静止しており、カメラは、ドローン又はクレーン又は支持シ
ステムにより、別の人が動かす。映像工程の間、カメラの移動は、カメラが耳に直接面す
る点、及びユーザの後頭部で停止する。このことは、これらの重要な生物学的詳細に対し
て得られた画像に被写体ブレがないことを保証するのに有益な効果を有する。いくつかの
実施形態では、ユーザの口は、映像工程の間、開いており、口腔から見える歯の情報を得
る。実施形態の一部では、映像工程は、本開示に従って複数回繰り返すことができる。映
像工程の間、音声データ、反響データ、加速度計データ、照明データ等、更なるセンサ・
データを捕捉することができる。
第1の方法の第2のステップでは、ユーザの追加又は補足の画像(静止写真)を撮影す
る。追加画像は、ユーザの生物学的詳細、及び本開示で既に提示したデバイスによる測定
デバイスの詳細を含む。追加画像は、映像素材の詳細を測るため、第1のコンピュータ・
プログラム・アプリケーションによって後に使用され、ユーザの生物学的詳細、機器等に
関連する詳細のために使用することもできる。
第1の方法の第3のステップでは、更なるデータを収集することができ、更なるデータ
は、第2のコンピュータ・プログラム・アプリケーションによって少なくとも部分的に促
進される。この収集ステップは、音声の記録、骨伝導の測定、振動の測定、ユーザの少な
くとも一部の重さを量ることを伴ってもよい。本開示によれば、データ収集工程を形成す
る方法ステップ1~3は、異なる順序、及び更なる例示的実施形態では任意の順序で実施
し得ることを理解されたい。これらのステップは、データ収集段階と総称することができ
、図9のステップ401に示す。これらのステップの間、第2のコンピュータ・プログラ
ム・アプリケーションは、以下の少なくとも1つ:データ収集工程に関連する命令又は指
示、データ収集工程に関連する品質データ、データ収集工程の支援者との通信を提供する
ことができる。
第1の方法の第4のステップでは、自動的に、もしくはプロンプト又はユーザ入力に対
して応答して第2のコンピュータ・プログラム・アプリケーションは、収集した素材を準
備し、第1のコンピュータ・プログラム・アプリケーションに送信する。素材は、以下の
手順:符号化、暗号化、単一ファイルへのパッケージ化、複数ファイルへの分離、送信、
再送信、検証の少なくともいくつかを受けることができる。手順は、以下の条件:データ
・サイズ、データの質、ネットワーク状態、接続状態、接続技術、接続速度、ユーザの支
払い状況の少なくともいくつかに応答して、1回又は複数回受けることができる。更なる
例示的実施形態では、ユーザのメタデータ及び映像データは、ユーザの個人詳細を有利に
保護する少なくとも1つの異なる手順、条件又は接続を使用して個別に送信することがで
きる。例えば、ユーザの個人詳細は、Advanced Encryption Sta
ndard(AES*)及び暗号鍵の第1のセットを使用して暗号化し、仮想私設ネット
ワークを介して送信することができる一方で、画像データは、暗号鍵の第2のセットを使
用して暗号化し、インターネット上で送信することができる。この送信ステップを図9の
ステップ402として示す。
第1の方法のステップ1~4のいずれかと同時に生じ得る第1の方法の第5のステップ
では、データは、第1のコンピュータ・プログラム・アプリケーションによって受信され
、処理される。本開示による少なくともいくつかの実施形態では、データは、以下の手順
の少なくともいくつかを受けることができる:復号、逆圧縮、フィルタリング、品質評価
、指数化、正規化、相互参照。HRTFの計算及び/又は生成は、少なくとも部分的に、
本開示の他の箇所で開示した計算方法又はステップを利用して達成することができる。
第1の方法の第6のステップでは、更なる調節は、少なくとも、本開示内の他の場所で
開示する計算方法及び重み付けされた値を使用して実施することができる。第5のステッ
プ及び第6のステップは、HRTF生成ステップ404として図9にまとめて示す。
任意の第7のステップでは、本開示の他の場所で詳述する品質管理方法に従って頭部伝
達関数の質を評価することができる。伝達関数の品質スコア及び伝達関数に関連する他の
詳細は、保存し、エンドユーザに送信することができる。更なる実施形態では、品質スコ
アは、検討のため、エンドユーザに直ちに送信することができる。この場合、第1の方法
は、ユーザからの確認又は更なるデータを待つために休止することができる。更なる実施
形態では、計算ステップで実施される計算は、データ収集ステップ及び品質評価ステップ
の両方において提供されるデータを使用して繰り返す、即ち、再度実施することができる
。このことは、前記ステップにおいて必要なデータ量を低減し、頭部伝達関数の質及び精
度を改善するという利益をもたらす。このステップを図9のステップ405として示す。
第8のステップでは、HRTFをユーザのためにパッケージ化する。前記パッケージ化
は、少なくとも1つのSpatially Oriented Format for
Acoustic (SOFA)ファイルを含むことができる。SOFAファイルは、複
数のHRTFを含むことができる。例示的実施形態では、出力SOFAファイルは、両耳
のHRIRデータを含む。前記HRIRデータは、好ましくは、800~2200の異な
る方向、特に836又は1668の異なる方向等、多数の音響信号到来方向で与えること
ができる。HRIRインパルス応答は、256~4096の間のサンプル長、特に102
4サンプル長とすることができる。サンプリング・レートは、ユーザの好みに応じて、4
8、44.1又は96kHz等、40~200kHzの間とすることができる。パッケー
ジ化した後、HRTFは、本開示の他の箇所で開示した送信方法のうち少なくとも1つを
介してユーザに送信する。パッケージ化ステップ及び送信ステップを図9のステップ40
6として示す。
第9のステップでは、ユーザはHRTFを受信する。有利には、HRTFファイルは、
少なくとも1つの検証信号を少なくとも1つの第1のコンピュータ・プログラムに送信す
るための自動生成プログラム命令を含むことがでる。検証信号は、ユーザがHRTFを受
信しており、HRTF機器を用いてHRTFを使用できることを保証するという利益をも
たらす。検証信号に応答して、ユーザは、HRTFに関する更なる命令又は通信を送信す
ることができる。HRTFは、以下の方法:少なくとも1つの処理デバイス、音響機器、
ハイパーリンク、ウェブベースの記憶域にアクセスする信用証明、USBドライブ等の電
子媒体のうち少なくとも1つを介してユーザが受信することができる。特に有利な実施形
態では、ユーザには、多数の音響機器で使用するためのHRTFの複数のコピーを提供す
る。そのようなコピーは、本開示で概説した前記多数の音響機器の詳細に従って調節する
ことができる。
第1の方法又は第2の方法を完了した後、図9のステップ407として示すように、ユ
ーザは、個人化した頭部伝達関数を所有する。第2のコンピュータ・プログラム・アプリ
ケーションは、ユーザに、頭部伝達関数を評価するルーチン又は方法を提供することがで
きる。更なる例示的実施形態では、ユーザは、コンピュータ・プログラム・アプリケーシ
ョン、又は更に少なくとも1つのデバイスを利用することができ、少なくとも1つのデバ
イスは、少なくとも事前にプログラムした試験信号に関連するマイクロフォンを備え、H
RTFの性能に関連する更なるデータを得るようにし、更なるデータは、次に、少なくと
も1つの第1のコンピュータ・プログラム・アプリケーションに送信され、本開示の他の
箇所で開示した基準の少なくともいくつかに従って分析される。次に、ユーザは、更新し
たバージョンのHRTFを受信することができる。更に、頭部伝達関数は、有利には、周
期的、例えば年に一度、更新することができる。というのは、ユーザの生物学的詳細は、
典型的には年齢と共に変化するためである。第1のコンピュータ・プログラム・アプリケ
ーションは、ユーザにそのような更新に関するリマインダを提供することができる。更な
る例示的実施形態では、ヘッドフォン等の音響機器内でのHRTFの更新、及び更新した
HRTFの使用は、自律的に行い、音響機器、第1のコンピュータ・プログラム・アプリ
ケーション、第2のコンピュータ・プログラム・アプリケーションのうち少なくとも1つ
によって開始することができる。
少なくとも1つの第2の方法では、本開示によれば、ユーザは、サーバ上に保存したリ
ソースにアクセスし、個人化HRTFの取得を開始することができる。上記で開示した第
1の方法の少なくともいくつかの要素及びステップは、第2の方法の文脈内においても使
用可能である。
第2の方法では、ユーザは、インターネットを介してHRTF関連コンテンツにアクセ
スすることができる。更なる例示的実施形態では、このアクセスは、安全なウェブページ
を介して提供することができる。更なる例示的実施形態では、リソースは、少なくとも1
つの第1のコンピュータ・プログラム・アプリケーション又は第2のコンピュータ・プロ
グラム・アプリケーションによって提供される。更なる例示的実施形態では、HRTF関
連コンテンツにアクセスする前、ユーザは、最初にユーザについての基本情報を提供し、
ユーザの連絡先詳細を検証し、任意でデータを検証する。このステップ又は本明細書で説
明するあらゆる他の方法ステップで使用可能な検証手順は、計算に誤ったデータを入力す
ることを低減し、ユーザの場所、年齢又は他のHRTF関連データが不正確である可能性
を低減するという利益をもたらす。
ユーザが上述の情報提供を実施した後、HRTFに関連する命令、例えば、HRTF関
連データの入手又は測定の仕方をユーザに与えることができる。これらの命令は、静的に
、例えば、テキスト若しくは映像グラフィック形式でもたらすことができるか、又は有利
には、ユーザが工程全体を通じて繰り返し案内される双方向形式でもたらすことができ、
これらの命令の繰り返しは、ユーザが問題に直面し得る必要な点で提供される。同様に、
そのような命令は、少なくとも、HRTF入力データを承認された捕捉方法によって多大
に改善し得るという理由で有益である。
第1の方法又は第2の方法による少なくともいくつかの実施形態では、ユーザがユーザ
の詳細を提供した後、本開示による測定デバイスを備える測定キットをユーザに送信、転
送するか又はユーザが作製することができる。そのような動作は、有利には、自律的に達
成し、人間による労働の必要性を低減し、誤りをなくすことができる。
第2の方法によれば、ユーザは、受信プログラムに前記データを提供することができ、
受信プログラムは、例えば、ウェブ・ページを介して少なくとも1つの第1のコンピュー
タ・プログラム・アプリケーション若しくは第2のコンピュータ・プログラム・アプリケ
ーション及び/又はサーバ・アプリケーションを含むことができる。ユーザが提供した前
記データは、データ転送完了時、プログラムを受信することによって、自律的に品質検査
にかけることができる。更なる例示的実施形態では、受信プログラムは、データが、HR
TF生成に容認可能な状態にあるという検証メッセージをユーザに自律的に送信すること
ができる。HRTFの計算及び/又は生成は、少なくとも部分的に、本開示の他の箇所で
開示した計算方法又はステップを利用して達成することができる。
第2の方法によれば、受信プログラムは、第1の方法に関して概説した対応するステッ
プに従ってHRTFを生成、調節、修正、パッケージ化し、ユーザに送信するように構成
することができる。特に有利な例示的実施形態では、HRTFは、ヘッドフォン等の音響
機器に対してアップロード、インストール、送信又はパッケージ化され、次に、音響機器
は、郵便サービス等の配達サービスによってユーザに配達される。このことは、ユーザに
カスタマイズしたヘッドフォンを提供するという利益、及び本開示の他の箇所で開示した
音質の改善という利益を有する。音響機器は、ユーザの近隣内の小売店等の商業的企業で
あってもよく、ユーザのHRTFは、自動的又は任意で手動でヘッドフォンにアップロー
ドされる。このことにより、ユーザの待機時間を最小化し、単に小売店で購入したヘッド
フォンよりも良好な音質を提供する。更なる例示的実施形態では、ユーザHRTFは、電
子的に送信され、ユーザは、ユーザ自身のHRTFを使用していくつかの対の音響機器を
検査することができる。
本開示による少なくともいくつかの実施形態では、コンピュータ・プログラム・アプリ
ケーションの少なくともいくつかは、支払いモジュールを備えることができる。そのよう
な支払いモジュールは、API、サブルーチン、又はユーザからの電子支払い物の収集を
促進する別の手段を備えることができる。ユーザの支払い状況は、ユーザ・データに付加
し、様々な方法で使用することができ、例えば、部分的に、計算リソースをHRTFに割
り当てるために使用することができるか、又は支払い確認として、支払い状況は、計算工
程を開始する前に受信されている。
本開示の文脈において、HRTF関連コンテンツは、少なくとも、データ収集工程に関
連する命令又は指示、データ収集工程に関連する品質データ、データ収集工程の支援者と
の通信を含むことができる。
図10は、例示的実施形態を以下のように示す。ステップ501は、第1のコンピュー
タ・プログラム・アプリケーションによって、ユーザの頭部伝達関数を計算することを含
み、計算は、少なくとも1つの映像素材及び少なくとも1つの追加画像を含む収集データ
に少なくとも部分的に基づき、少なくとも1つの追加画像は、透明測定デバイスを、ユー
ザの少なくとも1つの生物学的要素の細部の上に重ねた画像を含み、ステップ502では
、前記頭部伝達関数は、例えば、ユーザに送信される。
いくつかの実施形態では、コンピュータ・プログラム・アプリケーションは、計算デバ
イスによって実行され、前記デバイスはそれぞれ、少なくとも1つの処理コアを備える。
計算デバイスは、例えば、以下の少なくとも1つ:パーソナル・コンピュータ(PC)、
携帯電話、スマート・フォン、スマート・ウォッチ、タブレット・コンピュータ、サーバ
、ノード又はクラウド計算デバイスとすることができる。計算デバイスに含まれるのは、
プロセッサであり、プロセッサは、例えば、シングルコア・プロセッサ又はマルチコア・
プロセッサを含むことができ、シングルコア・プロセッサは、1つの処理コアを備え、マ
ルチコア・プロセッサは、2つ以上の処理コアを備える。プロセッサは、2つ以上のプロ
セッサを備えることができる。処理コアは、例えば、ARM HoldingsによるC
ortex-A8処理コア又はAdvanced Micro Devices Cor
poration製のSteamroller処理コアを含むことができる。プロセッサ
は、少なくとも1つのQualcommのSnapdragon及び/又はIntelの
コア・プロセッサを含むことができる。プロセッサは、少なくとも1つの特定用途向け集
積回路、即ちASICを含むことができる。プロセッサは、少なくとも1つのフィールド
・プログラマブル・ゲート・アレイ、即ちFPGAを含むことができる。プロセッサは、
計算デバイスにおいて方法ステップを実施する手段とすることができる。プロセッサは、
少なくとも部分的に、コンピュータ命令によって動作を実施するように構成することがで
きる。
いくつかの実施形態では、ネットワークは、計算デバイスと第2の計算デバイスと他の
要素との間の通信を促進するために使用される。本開示による使用可能なネットワーク技
術は、少なくとも、例えば、ワイヤレス・ローカル・エリア・ネットワーク、即ちWLA
N、イーサネット、ユニバーサル・シリアル・バス、即ちUSB、並びに/又はWorl
dwide Interoperability for Microwave Acc
ess、Bluetooth、WiMAX、規格、及び衛星通信方法を備える。代替又は
追加として、登録商標権をもつ通信フレームワークを利用することができる。いくつかの
実施形態では、個別のネットワークは、以下の目的:計算デバイスと周辺デバイスとの間
の通信、計算デバイスとサーバとの間の通信等のうち1つ又は複数のために使用すること
ができる。
上述のように、本開示に関連して、本明細書で開示する頭部伝達関数又はコンピュータ
・プログラム・アプリケーションのいずれかは、事前にプログラムした命令、第1のデバ
イス若しくは第3者デバイスの有無を含む他のデバイスから受信した通信、経過時間、事
前設定時間、ユーザの体内若しくは体外の測定値、ユーザの場所、ユーザの入力及びタイ
ミング、バッテリ・レベル、ネットワーク・データ、検出された使用量、計画された使用
量又はそれらの任意の組合せを含む、様々な決定基準に従って調節することができる。コ
ンピュータ・プログラム・アプリケーション又はハードウェア・ユニットは、事前にプロ
グラムした行動又は工程を有することもできる。事前にプログラムした行動又は工程は、
上記で挙げた基準に基づき作動させることができる。
本開示及び特に本明細書で開示する実施形態は、少なくとも以下の利益を提供する。例
えば、規格の携帯電話を使用し得るため、計装が単純で安価である。データ取得工程は、
ユーザにとって単純であり、この取得は、あらゆる場所で取得することができ、聴取者が
長時間動かずに座ることを必要としない。無音を必要としない。この方法は、無響HRT
Fを提供するにもかかわらず、無響室の使用を必要としない。本明細書で開示する方法は
、マイクロフォンを聴取者の耳に置くことに関連する不確実さをなくす。聴取者の動きに
よる影響は、最終結果の品質に役割を果たすものではない。
開示する本発明の実施形態は、当業者には了解されるように、本明細書で開示する特定
の構造、工程ステップ又は材料に限定されないが、これらの等価物に拡張されることを理
解されたい。本明細書で使用する用語は、特定の実施形態を説明する目的で使用するにす
ぎず、限定を意図するものではないことも理解されたい。
1つの実施形態又は一実施形態に対する本明細書全体にわたる言及は、当該実施形態に
関連して説明する特定の特徴、構造又は特性が、本発明の少なくとも一実施形態の中に含
まれることを意味する。したがって、本明細書全体にわたる様々な場所における句「1つ
の実施形態では」又は「一実施形態では」の出現は、必ずしも、全てが同じ実施形態に言
及するわけではない。例えば、約又はほぼといった用語を使用して数値に対し言及する場
合、正確な数値も開示されている。
本明細書で使用する複数の項目、構造要素、組成要素及び/又は材料は、便宜上、共通
のリスト内に提示することができる。しかし、これらのリストは、リストの各部材が、個
別で固有の部材として独立に特定されているかのように解釈すべきである。したがって、
そのようなリストの個々の部材は、別段の指示がない限り、共通の群内の提示のみに基づ
く、同じリストのあらゆる他の部材の事実上の等価物として解釈すべきである。更に、本
発明の様々な実施形態及び例は、これらの様々な構成要素の代替形態と共に本明細書で参
照することができる。そのような実施形態、例及び代替形態は、事実上の互いの等価物と
して解釈すべきではないが、本発明の個別の、自律的な表現としてみなされることを理解
されたい。
更に、説明する特徴、構造又は特性は、あらゆる適切な様式で1つ又は複数の実施形態
において組み合わせることができる。本明細書では、長さ、幅、形状等の例等の多数の具
体的な詳細を提供し、本発明の実施形態に対する完全な理解をもたらしている。しかし、
本発明は、特定の詳細の1つ若しくは複数を伴わずに、又は他の方法、構成要素、材料等
と共に実行し得ることを当業者は了解するであろう。他の例では、周知の構造、材料又は
動作は、本発明の態様をあいまいにしないように、詳細に示さないか又は説明していない
上記の例は、1つ又は複数の特定の用途における本発明の原理を示すものであるが、本
発明の機能を実行することなく、本発明の原理及び概念から逸脱することなく、実装形態
の形態、使用法及び詳細における多数の修正形態を行い得ることは当業者には明らかであ
ろう。したがって、以下に示す特許請求の範囲を除いて本発明を限定することを意図しな
い。
動詞「備える」及び「含む」は、本文書ではオープンな限定として使用され、列挙しな
い特徴の存在に対し除外も、要求もしない。従属請求項で列挙される特徴は、それ以外の
ことが明確に述べられていない限り、相互に、自由に組み合わせ可能である。更に、1つ
の(「a」又は「an」)、即ち、単数形は、本文書全体を通じて複数形を除外しないこ
とを理解されたい。
本発明の少なくともいくつかの実施形態には、音響工学、音響効果及び聴覚較正におけ
る産業上の利用可能性が見いだされる。
頭字語のリスト
AES Audio Engineering Society
AES* Advanced Encryption Standard
API アプリケーション・プログラム・インターフェース
BEM 境界要素法(boundary element method)
FD 有限差分法(finite difference method)
FDTD 有限差分時間領域法(finite difference time d
omain method)
FEM 有限要素法(Finite element method)
HRIR 頭部インパルス応答(Head-related impulse res
ponse)
HRTF 頭部伝達関数(Head-related Transfer Funct
ion)
LED 発光ダイオード(Light emitting diode)
OCR 光学式文字認識(Optical character recogniti
on)
QR クイック・レスポンス・コード(Quick response code)
SOFA Spatially Oriented Format for Acou
stics
USB ユニバーサル・シリアル・バス(Universal serial bus
10 ユーザ
11 ユーザの右耳
12 ユーザの左耳
13 ユーザの右肩
14 ユーザの左肩
15 ユーザの口腔
16 ユーザの頭部
18 ユーザの頸部
90 測定デバイス
91 測定デバイス上の機械可読目盛り
95 測定デバイス
96 測定デバイス上の機械可読目盛り
97 測定デバイス上の識別手段
200 音生成デバイス
201 ユーザの右耳に聞こえる音
202 ユーザの左耳に聞こえる音
202a ユーザの耳に対して異なる経路を取る、ユーザの左耳に聞こえる音
202b ユーザの耳に対して異なる経路を取る、ユーザの左耳に聞こえる音
202c ユーザの耳に対して異なる経路を取る、ユーザの左耳に聞こえる音
202d ユーザの耳に対して異なる経路を取る、ユーザの左耳に聞こえる音
401 方法ステップ
402 方法ステップ
403 方法ステップ
404 方法ステップ
405 方法ステップ
406 方法ステップ
407 方法ステップ
501 方法ステップ
502 方法ステップ

Claims (15)

  1. -第1のコンピュータ・プログラム・アプリケーションによって、ユーザの頭部伝達関
    数を計算することと、
    前記頭部伝達関数を送信することと
    を含む方法であって、前記計算は、少なくとも1つの映像素材及び少なくとも1つの追加
    画像を含む収集データに少なくとも部分的に基づき、前記少なくとも1つの追加画像は、
    透明測定デバイスを、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像を含む、
    方法。
  2. 前記送信は、
    -前記頭部伝達関数を少なくとも1つの音響デバイスにロードすることと、
    -ユーザが前記音響デバイスを利用可能になることと
    を含む、請求項1に記載の方法。
  3. 前記音響デバイスは、ヘッドフォンを備える、請求項2に記載の方法。
  4. 自律デバイスは、ユーザに関連するデータを収集するために使用する、請求項1から3
    のいずれか一項に記載の方法。
  5. 前記第1のコンピュータ・プログラム・アプリケーションは、前記データ収集工程のた
    めの状況命令を提供する、請求項1から4のいずれか一項に記載の方法。
  6. 前記収集データは、ユーザに関連するメタデータを含み、前記メタデータは、前記第1
    のコンピュータ・プログラム・アプリケーションにおいて、前記映像素材及び前記少なく
    とも1つの追加画像とは個別に受信する、請求項1から5のいずれか一項に記載の方法。
  7. 前記収集データは、ユーザの左耳の少なくとも1つの追加画像及びユーザの右耳の少な
    くとも1つの追加画像を含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記頭部伝達関数は、少なくとも1つの波動方程式を解くことによって、時間領域にお
    いて計算する、請求項1から7のいずれか一項に記載の方法。
  9. 前記頭部伝達関数は、少なくとも1つのヘルムホルツ方程式を解くことによって、周波
    数領域において計算する、請求項1から8のいずれか一項に記載の方法。
  10. 前記送信は、前記頭部伝達関数をSOFAファイル・フォーマットにパッケージ化する
    ことを含む、請求項1から9のいずれか一項に記載の方法。
  11. 少なくとも1つの処理コアと、コンピュータ・プログラム・コードを含む少なくとも1
    つのメモリとを備える装置であって、前記少なくとも1つのメモリ及び前記コンピュータ
    ・プログラム・コードは、前記少なくとも1つの処理コアと共に、前記装置が、少なくと
    も、
    -ユーザの頭部伝達関数を計算し、
    -前記頭部伝達関数を送信する
    ように構成し、前記計算は、少なくとも1つの映像素材及び少なくとも1つの追加画像を
    含む収集データに少なくとも部分的に基づき、前記少なくとも1つの追加画像は、透明測
    定デバイスを、ユーザの少なくとも1つの生物学的詳細の上に重ねた画像を含む、装置。
  12. 前記頭部伝達関数の送信は、
    -前記頭部伝達関数を少なくとも1つの音響デバイスにロードすることと、
    -ユーザが前記音響デバイスを利用可能になることと
    を含む、請求項11に記載の装置。
  13. 前記頭部伝達関数は、少なくとも1つの波動方程式を解くことによって、時間領域にお
    いて計算する、請求項11又は12に記載の装置。
  14. 前記頭部伝達関数は、少なくとも1つのヘルムホルツ方程式を解くことによって、周波
    数領域において計算する、請求項11~13のいずれか一項に記載の装置。
  15. 請求項1~10のいずれか一項に記載の方法を実施させるように構成したコンピュータ
    ・プログラム。
JP2022106932A 2019-06-10 2022-07-01 頭部伝達関数を生成するシステム及び方法 Pending JP2022130662A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/435,613 US10743128B1 (en) 2019-06-10 2019-06-10 System and method for generating head-related transfer function
US16/435,613 2019-06-10
FI20195495 2019-06-10
FI20195495A FI20195495A1 (en) 2019-06-10 2019-06-10 System and method for generating head-related transfer function
JP2020090281A JP2020201479A (ja) 2019-06-10 2020-05-25 頭部伝達関数を生成するシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020090281A Division JP2020201479A (ja) 2019-06-10 2020-05-25 頭部伝達関数を生成するシステム及び方法

Publications (1)

Publication Number Publication Date
JP2022130662A true JP2022130662A (ja) 2022-09-06

Family

ID=71083422

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020090281A Pending JP2020201479A (ja) 2019-06-10 2020-05-25 頭部伝達関数を生成するシステム及び方法
JP2022106932A Pending JP2022130662A (ja) 2019-06-10 2022-07-01 頭部伝達関数を生成するシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020090281A Pending JP2020201479A (ja) 2019-06-10 2020-05-25 頭部伝達関数を生成するシステム及び方法

Country Status (4)

Country Link
EP (1) EP3751869A1 (ja)
JP (2) JP2020201479A (ja)
CN (1) CN112073891B (ja)
AU (1) AU2020203290B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022163308A1 (ja) * 2021-01-29 2022-08-04
WO2023239624A1 (en) * 2022-06-05 2023-12-14 Apple Inc. Providing personalized audio

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544706B1 (en) * 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
US20190087972A1 (en) * 2016-03-15 2019-03-21 Ownsurround Oy An arrangement for producing head related transfer function filters

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3340784A (en) * 1963-04-22 1967-09-12 Zimberoff Manuel Photographic measuring device
JP2005005949A (ja) * 2003-06-11 2005-01-06 Matsushita Electric Ind Co Ltd 伝達関数補間方法
JP2009206691A (ja) * 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
EP3183892B1 (en) * 2014-08-21 2020-02-05 Dirac Research AB Personal multichannel audio precompensation controller design
WO2016089133A1 (ko) * 2014-12-04 2016-06-09 가우디오디오랩 주식회사 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
US9602946B2 (en) * 2014-12-19 2017-03-21 Nokia Technologies Oy Method and apparatus for providing virtual audio reproduction
SG10201510822YA (en) * 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
WO2018089952A1 (en) * 2016-11-13 2018-05-17 EmbodyVR, Inc. Spatially ambient aware personal audio delivery device
CN109151704B (zh) * 2017-06-15 2020-05-19 宏达国际电子股份有限公司 音讯处理方法、音频定位系统以及非暂态电脑可读取媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544706B1 (en) * 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
US20190087972A1 (en) * 2016-03-15 2019-03-21 Ownsurround Oy An arrangement for producing head related transfer function filters

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岩谷 幸雄: "頭部伝達関数データセット記述の標準化を目指したSOFA:Spatially Oriented For", 電子情報通信学会技術研究報告 VOL.114 NO.112 IEICE TECHNICAL REPORT, vol. 第114巻, JPN6021032733, 2014, JP, pages 19 - 23, ISSN: 0005109156 *
竹本 浩典, 日本音響学会 2009年 春季研究発表会講演論文集CD−ROM, JPN6023028704, March 2009 (2009-03-01), pages 1445 - 1448, ISSN: 0005109155 *

Also Published As

Publication number Publication date
JP2020201479A (ja) 2020-12-17
CN112073891A (zh) 2020-12-11
AU2020203290B2 (en) 2022-03-03
AU2020203290A1 (en) 2020-12-24
CN112073891B (zh) 2022-03-01
EP3751869A1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
US10038967B2 (en) Augmented reality headphone environment rendering
US10939225B2 (en) Calibrating listening devices
US9955279B2 (en) Systems and methods of calibrating earphones
US10839545B2 (en) Arrangement for producing head related transfer function filters
JP2022130662A (ja) 頭部伝達関数を生成するシステム及び方法
KR20230030563A (ko) 레거시 시청각 매체들로부터의 공간화된 가상 음향 장면들의 결정
JP2022534833A (ja) 個人化されたオーディオ拡張のためのオーディオプロファイル
US11082794B2 (en) Compensating for effects of headset on head related transfer functions
KR20210008062A (ko) 시뮬레이션을 사용하는 머리 전달 함수 개인화
US11962991B2 (en) Non-coincident audio-visual capture system
US10743128B1 (en) System and method for generating head-related transfer function
US11315277B1 (en) Device to determine user-specific HRTF based on combined geometric data
US10728657B2 (en) Acoustic transfer function personalization using simulation
CN112328676A (zh) 一种估计个性化头相关传输函数的方法及相关设备
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
US20190394583A1 (en) Method of audio reproduction in a hearing device and hearing device
FI20195495A1 (en) System and method for generating head-related transfer function

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240430

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240531