JP2020069113A - 処理装置、システム、処理方法、およびプログラム - Google Patents

処理装置、システム、処理方法、およびプログラム Download PDF

Info

Publication number
JP2020069113A
JP2020069113A JP2018205535A JP2018205535A JP2020069113A JP 2020069113 A JP2020069113 A JP 2020069113A JP 2018205535 A JP2018205535 A JP 2018205535A JP 2018205535 A JP2018205535 A JP 2018205535A JP 2020069113 A JP2020069113 A JP 2020069113A
Authority
JP
Japan
Prior art keywords
sound data
section
sound
unit
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018205535A
Other languages
English (en)
Other versions
JP7122225B2 (ja
Inventor
小林 透
Toru Kobayashi
透 小林
隆真 亀谷
Ryushin Kametani
隆真 亀谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2018205535A priority Critical patent/JP7122225B2/ja
Publication of JP2020069113A publication Critical patent/JP2020069113A/ja
Application granted granted Critical
Publication of JP7122225B2 publication Critical patent/JP7122225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出する技術を提供することが一例として挙げられる。【解決手段】処理装置10は、取得部110、区間特定部130、および算出部150を備える。取得部110は、呼吸音を含む一以上の音データを取得する。区間特定部130は、第1区間と第2区間との少なくとも一方を特定する。第1区間は呼吸が行われていると推定される区間であり、第2区間は複数の第1区間の間の区間である。算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。【選択図】図1

Description

本発明は、処理装置、システム、処理方法、およびプログラムに関する。
医学分野において、患者の呼吸音量を測定することは重要である、たとえば、呼吸音量の減弱を捉えられれば、気胸等、異常の早期発見に役立つ。また、近年、電子聴診器等のセンサを用いて得た信号を解析し、呼吸状態等を推定する方法も提案されている。
特許文献1には、生体の第一部位における生体音と第二部位における生体音とのパワ比や、特定の周波数帯における生体信号のパワ等を用いて、生体音特性を算出する技術が記載されている。
特許文献2には、連続した呼吸音から呼気音を抽出し、呼気音の音圧を表す値等を用いて異常呼気音と疑わしき疑呼気音を検出することが記載されている。また特許文献2には、呼吸バンドセンサを被験者の胸部を巻くように取り付け、呼吸動作における胸部の膨張と収縮の変化を測定し、その測定結果を用いて呼気音を抽出することが記載されている。
特許文献3には、圧電素子を備えるセンサの出力信号をデジタル化し、高域通過フィルタによってフィルタリングして生体の呼吸気流音信号とすることが記載されている。また、特許文献3には、呼吸気流音信号の振幅の大きさに基づいて吸気音および呼気音が発生している時間帯を特定することが記載されている。
特許文献4には、バンドパスフィルタを用いて生体音から呼吸音を抽出することが記載されている。また、呼吸音のパワーパターンに基づいて呼吸区間を推定することが記載されている。なお、呼吸区間の推定には予め設定した閾値が用いられる。
国際公開第2012/060107号公報 特開2012−205693号公報 特開2017−169647号公報 国際公開第2014/103107号公報
しかし、センサで得られる信号には、呼吸音以外の生体音等の影響が含まれ、その影響には個人差もあるため、解析により正確な呼吸音量を得ることは容易ではなかった。
本発明が解決しようとする課題としては、生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出する技術を提供することが一例として挙げられる。
請求項1に記載の発明は、
呼吸音を含む一以上の音データを取得する取得部と、
呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を特定する区間特定部と、
対象の前記音データのうち前記第1区間に基づいて定められる第1部分と前記対象の音データのうち前記第2区間に基づいて定められる第2部分とを用いて、前記対象の音データの、呼吸音量を示す音量情報を算出する算出部とを備える処理装置である。
請求項9に記載の発明は、
請求項1に記載の処理装置と、
センサとを備え、
前記取得部は、前記センサで検出された音を示す前記音データを取得するシステムである。
請求項10に記載の発明は、
呼吸音を含む一以上の音データを取得する取得ステップと、
呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を特定する区間特定ステップと、
対象の前記音データのうち前記第1区間に基づいて定められる第1部分と前記対象の音データのうち前記第2区間に基づいて定められる第2部分とを用いて、前記対象の音データの、呼吸音量を示す音量情報を算出する算出ステップとを含む処理方法である。
請求項11に記載の発明は、
請求項10に記載の処理方法の各ステップをコンピュータに実行させるプログラムである。
第1の実施形態に係る処理装置の構成を例示する図である。 第1の実施形態に係る処理方法を例示するフローチャートである。 音データの一例を画像表示した図である。 第2の実施形態に係る処理装置およびシステムの構成を例示する図である。 第2の実施形態に係る処理装置で実行される処理方法を例示するフローチャートである。 区間特定ステップS130の処理内容を詳しく例示するフローチャートである。 (a)から(d)は、第2の実施形態に係る、区間特定ステップS130の処理内容の例を説明するための図である。 第2の実施形態に係る、区間特定ステップS130の処理内容の例を説明するための図である。 (a)および(b)は、第2の実施形態に係る、区間特定ステップS130の処理内容の例を説明するための図である。 処理装置を実現するための計算機を例示する図である。 第3の実施形態に係る処理装置およびシステムの構成を例示する図である。 複数のセンサの取り付け位置を例示する図である。 複数の部位の音量情報の表示例を示す図である。 第5の実施形態に係る処理装置およびシステムの構成を例示する図である。 複数の部位の音量情報の表示例を示す図である。 複数の部位の音量情報の表示例を示す図である。 比較例で算出された音量を示す値と、聴覚評価の結果との関係を示す箱ひげ図である。 実施例で算出された音量を示す値と、聴覚評価の結果との関係を示す箱ひげ図である。 聴覚評価の結果と比較例で算出された音量を示す値との関係を、ヒストグラムで示した図である。 聴覚評価の結果と実施例で算出された音量を示す値との関係を、ヒストグラムで示した図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
以下に示す説明において、処理装置10の各構成要素は、特に説明する場合を除き、ハードウエア単位の構成ではなく、機能単位のブロックを示している。処理装置10の各構成要素は、任意のコンピュータのCPU、メモリ、メモリにロードされたプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
(第1の実施形態)
図1は、第1の実施形態に係る処理装置10の構成を例示する図である。本実施形態に係る処理装置10は、取得部110、区間特定部130、および算出部150を備える。取得部110は、呼吸音を含む一以上の音データを取得する。区間特定部130は、第1区間と第2区間との少なくとも一方を特定する。第1区間は呼吸が行われていると推定される区間であり、第2区間は複数の第1区間の間の区間である。算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。
図2は、第1の実施形態に係る処理方法を例示するフローチャートである。本方法は、取得ステップS110、区間特定ステップS130、および算出ステップS150を含む。取得ステップS110では、呼吸音を含む一以上の音データが取得される。区間特定ステップS130では、第1区間と第2区間との少なくとも一方が特定される。第1区間は呼吸が行われていると推定される区間であり、第2区間は複数の第1区間の間の区間である。算出ステップS150では、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの、呼吸音量を示す音量情報が算出される。
本処理方法は、処理装置10により実行可能である。
呼吸音量の算出としてはたとえば、生体信号に特定の周波数成分を除去するフィルタ処理を行い、呼吸音成分を抽出した後の信号パワーを求める方法がある。しかし、呼吸音成分とその他の生体音成分(脈動、心音、血流音等)を分離するカットオフ周波数を一意に決定することは難しい。フィルタ処理だけで呼吸音の抽出を行おうとする場合に適切なカットオフ周波数は、生体音を取得する部位の違いや、測定対象者の個人差によって異なるからである。
また、呼吸音成分の周波数帯域とその他の生体音成分の周波数帯域は、どの部位で検出した生体音においても互いに重なっている。一つの計測例では、頸部に取り付けたセンサで得られた生体音において、呼吸音成分が0Hzから1500Hzまでの帯域に現れ、脈動および血流音成分が0Hzから200Hzまでの帯域に現れた。また、胸部右上に取り付けたセンサで得られた生体音において、呼吸音成分が0Hzから300Hzまでの帯域に現れ、心音成分が0Hzから500Hzまでの帯域に現れた。胸部左上に取り付けたセンサで得られた生体音において、呼吸音成分が0Hzから300Hzまでの帯域に現れ、心音成分が0Hzから400Hzまでの帯域に現れた。そして、胸部右下に取り付けたセンサで得られた生体音において、呼吸音成分が0Hzから300Hzまでの帯域に現れ、心音成分が0Hzから300Hzまでの帯域に現れた。したがって、単に帯域を限定して信号パワーを求めても、他の成分の影響を避けられない。
本実施形態に係る処理装置10では、取得部110がたとえば生体に取り付けられたセンサから音データを取得する。区間特定部130は、第1区間と第2区間とを特定する。第1区間は、生体において息を吸うまたは息を吐くという動作が行われていると推定される区間である。そして、第2区間は第1区間と第1区間の間の区間である。より詳しくは、第2区間は第1区間以外の区間である。すなわち第2区間は、呼吸が行われていないと推定される区間であり、呼吸と呼吸の間で一時的に無呼吸となったと推定される区間である。なお、第2区間は必ずしも第1区間と第1区間との間にある必要は無い。たとえば、音データの端部が第2区間として特定されても良い。
図3は、音データの一例を画像表示した図である。本図では、表示領域501に音データの時間波形が示されており、表示領域502に音データのスペクトログラムが示されている。スペクトログラムにおいて横軸は時刻(時間)であり、縦軸は周波数であり、各周波数成分の強度が輝度で示されている。なお、時間波形の横軸とスペクトログラムの横軸は揃っている。また、第1区間として特定される区間を表示領域502において矢印で示している。一方、矢印が付されていない区間が第2区間である。このように、区間とは時刻範囲を示す。また、音データには互いに離間した複数の第1区間が存在し、互いに離間した複数の第2区間が存在する。
ここで、呼吸が行われていると推定される部分には、呼吸音成分とその他の生体音成分が含まれ、無呼吸と推定される部分にはその他の生体音成分のみが含まれると考えられる。したがって、呼吸が行われていると推定される部分のデータと、それ以外の部分のデータとを対比することにより、その他の生体音成分の影響が低減された音量情報を得ることができる。この様に算出された音量情報は、たとえば人が聴覚で聞き取る場合に感じる呼吸音の音量と、高い相関を持つ。このような音量情報を用いれば、たとえば生体の異常等をデータ処理により検知しやすくなり、たとえば診断の補助や、患者の様態のモニタリングに有益である。
処理装置10における詳しい処理内容は後述の第2の実施形態以降で詳しく説明する。
以上、本実施形態によれば、算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。したがって、生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出することができる。
(第2の実施形態)
図4は、第2の実施形態に係る処理装置10およびシステム20の構成を例示する図である。本実施形態に係る処理装置10は、第1の実施形態に係る処理装置10の構成を有する。図5は、第2の実施形態に係る処理装置10で実行される処理方法を例示するフローチャートである。本実施形態に係る処理方法は第1の実施形態に係る処理方法の構成を有する。
本実施形態に係るシステム20は、処理装置10とセンサ210とを備える。そして、取得部110は、センサ210で検出された音を示す音データを取得する。
処理装置10およびシステム20の各構成要素について、以下に詳しく説明する。
センサ210は呼吸音を含む生体音を検出する。センサ210では生体音を示す電気信号が生成され、音データとして出力される。センサ210はたとえば、マイクロフォンまたは振動センサである。振動センサはたとえば変位センサ、速度センサ、または加速度センサである。マイクロフォンは生体音に起因した空気の振動を電気信号に変換する。この電気信号の信号レベル値は、空気の振動の音圧を示す。一方、振動センサは、生体音に起因した媒質(例えば、対象者の体表)の振動を電気信号に変換する。この電気信号の信号レベル値は、媒質の振動変位を直接的または間接的に示す。たとえば、振動センサがダイヤフラムを備える場合、媒質の振動がダイヤフラムに伝達され、ダイヤフラムの振動が電気信号に変換される。なお、電気信号はアナログ信号であっても良いしデジタル信号であっても良い。また、センサ210は、電気信号を処理する回路等を含んで構成されても良い。電気信号を処理する回路としてはたとえばA/D変換回路およびフィルタ回路が挙げられる。ただし、A/D変換等は処理装置10で行われても良い。
音データは、電気信号を示すデータであり、センサ210で得られた電気信号に基づく信号レベル値を時系列で示すデータである。すなわち、音データは音波の波形を表す。なお、一つの音データとは、時間的に一続きの音データを意味する。
また、センサ210はたとえば電子聴診器である。センサ210はたとえば測定者により対象者の生体のうち生体音を測定したい部位に押し当てられる、または貼り付けられる。本実施形態では、取得部110が、連続する一の音データのみを取得する例について説明する。
取得部110は取得ステップS110において、たとえば音データをセンサ210から取得する。この場合、取得部110はセンサ210で検出された音データをリアルタイムで取得することができる。ただし、予めセンサ210で測定され、記憶装置に保持された音データを、取得部110が読み出して取得しても良い。記憶装置は処理装置10の内部に設けられていても良いし外部に設けられていても良い。処理装置10の内部に設けられる記憶装置はたとえば後述する計算機1000のストレージデバイス1080である。また、センサ210から出力され、処理装置10内や処理装置10以外の装置で変換処理等がされた音データを取得部110が取得しても良い。変換処理としてはたとえば増幅処理や、A/D変換処理が挙げられる。
取得部110は、生体音を含む音データをセンサ210からたとえば連続的に取得する。なお、音データの各信号レベル値は録音時刻と関連づけられる。音データにはセンサ210において時刻が関連づけられても良いし、音データがセンサ210からリアルタイムで取得される場合、取得部110が音データの取得時刻をその音データに関連づけてもよい。
取得部110で取得された音データのうち、音量情報の算出対象とする音データを特に対象の音データとも呼ぶ。なお、本実施形態において、取得部110は一の音データのみを取得するため、取得された音データがすなわち対象の音データである。取得部110は、以降のステップS120、区間特定ステップS130、および算出ステップS150が行われている間も継続して音データの取得を行うことができる。取得された音データに対しては、冒頭部分から順に以下の処理が行われる。
本図の例において、処理装置10は、フィルタ処理部120をさらに備える。取得部110による音データの取得が開始されると、ステップS120が開始される。ステップS120においてフィルタ処理部120は、少なくとも対象の音データに対し、第1のフィルタ処理を行う。具体的にはフィルタ処理部120は、低周波数側のカットオフ周波数をfL1[Hz]とし、高周波数側のカットオフ周波数をfH1[Hz]とするバンドパスフィルタ処理を行う。第1のフィルタ処理ではたとえば、音データに対してフーリエ変換を行い、周波数空間上でfL1[Hz]以下の帯域およびfH1[Hz]以上の帯域を除去する。その上で、逆フーリエ変換で時間軸波形に戻す。フーリエ変換はたとえば高速フーリエ変換(FFT)である。ただし、第1のフィルタ処理は上記の例に限定されず、たとえばFIR(Finite Impulse Response)フィルタまたはIIR(Infinite Impulse Response)フィルタによる処理であっても良い。
本図の例において、算出部150は、第1のフィルタ処理がされた後の対象の音データの第1部分および第2部分を用いて音量情報を算出する。ここで、50≦fL1≦150が成り立つことが好ましく、また、500≦fH1≦1500が成り立つことが好ましい。第1のフィルタ処理により、音データに含まれるノイズを除去することができる。なお、第1のフィルタ処理により呼吸音成分のみを抽出する必要は無い。第1のフィルタ処理後の音データには呼吸音以外の成分が含まれても良い。
区間特定部130は、第1区間と第2区間との少なくとも一方を特定する。図4および図5の例において区間特定部130は、取得部110で取得された音データに基づいて第1区間と第2区間との少なくとも一方を特定する。ただし、区間特定部130は音データを用いずに第1区間と第2区間との少なくとも一方を特定してもよい。区間特定部130が区間を特定する方法については詳しく後述する。
さらに区間特定部130は、区間の特定結果に基づいて、第1区間の時刻範囲を示す第1時刻情報と第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成する。たとえば、区間特定部130が第1区間を特定する場合区間特定部130は第1時刻情報を生成し、区間特定部130が第2区間を特定する場合区間特定部130は第2時刻情報を生成する。なお、区間特定部130において非連続な複数の第1区間が特定された場合には、複数の第1時刻情報が生成される。また、区間特定部130において非連続な複数の第2区間が特定された場合には、複数の第2時刻情報が生成される。
算出ステップS150において算出部150は、取得部110で取得された対象の音データのうち、第1領域におけるデータを用いて音量情報を算出する。第1領域とは、たとえば算出部150が本ステップを行う時点における直近の時間Tの間の音を示す領域である。Tは特に限定されないが、たとえば2秒以上30秒以下である。
上記した通り、算出部150は、区間特定部130で生成された第1時刻情報と第2時刻情報の少なくとも一方を用い、対象の音データの第1領域において第1部分と第2部分を特定する。
区間特定部130が第1時刻情報および第2時刻情報を生成する場合、算出部150は、対象の音データの第1領域のうち第1時刻情報が示す時刻範囲の部分を第1部分とし、第1領域のうち第2時刻情報が示す時刻範囲の部分を第2部分とする。また、区間特定部130が第1時刻情報のみを生成する場合、算出部150は、第1領域のうち第1時刻情報が示す時刻範囲の部分を第1部分とし、第1領域のそれ以外の部分を第2部分とする。そして、また、区間特定部130が第2時刻情報のみを生成する場合、算出部150は、第1領域のうち第2時刻情報が示す時刻範囲の部分を第2部分とし、第1領域のそれ以外の部分を第1部分とする。
そして算出部150は、対象の音データの第1部分の強度である第1信号強度と、対象の音データの第2部分の強度である第2信号強度とを算出する。具体的にはたとえば、算出部150は、対象の音データの第1部分のRMS(root mean square)を第1信号強度として算出する。また、算出部150は対象の音データの第2部分のRMSを第2信号強度として算出する。なお、算出部150はRMSの代わりにpeak to peak 値等、他の指標を信号強度として算出しても良い。ただし、第1信号強度の算出方法と第2信号強度の算出方法は同様とする。
なお、処理範囲に第1部分が二つ以上含まれる場合、第1信号強度は、たとえば全ての第1部分を連続した一つの信号と見た場合の、信号強度を示す値である。また、処理範囲に第2部分が二つ以上含まれる場合、第2信号強度は、たとえば全ての第2部分を連続した一つの信号と見た場合の、信号強度を示す値である。
そして算出部150は、第1信号強度と第2信号強度とを用いて対象の音データの音量情報を算出する。音量情報は他の機器等で測定される絶対的な音量(たとえばdB SPL等)である必要は無い。音量情報は、少なくとも処理装置10で得られた音量情報同士で比較可能な、相対的な値であればよい。
具体的には算出部150は、第1信号強度の第2信号強度に対する比を特定する情報、および第1信号強度と第2信号強度との差を特定する情報の少なくとも一方を対象の音データの音量情報として算出する。ただし算出部150は、第1信号強度の第2信号強度に対する比を特定する情報を少なくとも音量情報として算出することが好ましい。そうすることで、音量情報を、通常の音量と同様にdB単位で表記することができ、人の聴覚で感じる音量により近い情報とすることができる。第1信号強度の第2信号強度に対する比を特定する情報は、たとえば第1信号強度を第2信号強度で除した値、第2信号強度を第1信号強度で除した値、およびこれらの値のいずれかをデシベル表示した値のいずれかである。
算出部150は同様にして、たとえば時間T毎に音量情報を算出する。Tは特に限定されないが、たとえば1秒以上10秒以下である。
算出部150で算出された音量情報はたとえば表示装置に表示される。ここで、算出部150が対象の音データの音量情報を複数、時系列に算出し、複数の音量情報を時系列に示すグラフが表示装置に表示されても良い。ただし、音量情報は数値で表示されても良い。また、算出部150で算出された音量情報は、記憶装置に記憶されても良いし、処理装置10以外の装置に対して出力されても良い。
図6は、区間特定ステップS130の処理内容を詳しく例示するフローチャートである。また、図7(a)から図9(b)は、本実施形態に係る、区間特定ステップS130の処理内容の例を説明するための図である。なお、図7(a)から図7(d)、図9(a)、および図9(b)において、横軸は基準時刻からの経過時間を表示している。図6から図9(b)を参照し、区間特定部130が区間を特定する方法の例について以下に詳しく説明する。
区間特定部130は、区間特定ステップS130において、第1区間と第2区間との少なくとも一方を、第1の音データの振幅を示す値についての閾値を用いて特定する。振幅を示す値は第1の音データの各時刻の振動の大きさを示す値である。そして区間特定部130は、閾値を第1の音データに基づいて決定する。
取得部110で取得された音データには、第1の音データと対象の音データとが含まれる。ここで、第1の音データは区間の特定に用いられる音データであり、対象の音データは、音量情報の算出対象となる音データである。取得部110が一の音データのみを取得する場合、第1の音データと対象の音データはいずれもこの一の音データであり、取得部110における取得時において互いに同一である。本実施形態において、取得部110で取得される音データは頸部で取得された生体音のデータであることが好ましい。そうすれば、区間の特定をより正確に行うことができる。頸部やその近辺では、呼吸音成分が高い比率で検出できるからである。
区間特定部130は、取得部110で取得された第1の音データに対しステップS131において第2のフィルタ処理を行う。第2のフィルタ処理ではたとえば、音データに対してフーリエ変換を行い、周波数空間上でfL2[Hz]以下の帯域およびfH2[Hz]以上の帯域を除去する。その上で、逆フーリエ変換で時間軸波形に戻す。フーリエ変換はたとえば高速フーリエ変換(FFT)である。ただし、第2のフィルタ処理は上記の例に限定されず、たとえばFIRフィルタまたはIIRフィルタによる処理であっても良い。
区間特定部130は第2のフィルタ処理を行った後の第1の音データに基づき、後述する最頻値を求める。第2のフィルタ処理は、低周波数側のカットオフ周波数をfL2[Hz]とし、高周波数側のカットオフ周波数をfH2[Hz]とするバンドパスフィルタ処理である。ここで、150≦fL2≦250が成り立つことが好ましく、また、550≦fH2≦650が成り立つことが好ましい。第2のフィルタ処理により、第1の音データに含まれる呼吸音成分を主に抽出することができる。なお、第2のフィルタ処理により呼吸音成分のみを抽出する必要は無い。また、第2のフィルタ処理後の第1の音データには呼吸音以外の成分が含まれても良い。
図7(a)は取得部110での取得時の第1の音データの波形を例示する図であり、図7(b)は、図7(a)の波形に第2のフィルタ処理を施した後の波形を例示する図である。図7(b)に矢印で示したように、第2のフィルタ処理により呼吸音成分が主に抽出される。
なお、取得部110で取得された第1の音データには、フィルタ処理部120によるステップS120の第1のフィルタ処理と、区間特定部130によるステップS131の第2のフィルタ処理との両方が行われても良い。ただし、第2のフィルタ処理の透過帯域の方が第1のフィルタ処理の透過帯域よりも狭い場合、第1のフィルタ処理の有無は区間の特定結果に影響しない。
次いで、ステップS132において区間特定部130は、ステップS131で得られたデータの絶対値を算出する。すなわち、時系列データにおける各信号レベル値が絶対値に変換される。図7(c)は図7(b)のデータの絶対値を算出した結果を示す図である。
次いで、ステップS133において、区間特定部130は、ステップS132で得られたデータに対しダウンサンプリング処理を行う。そうすることにより、図7(d)のようにデータ波形の輪郭が得られる。そして、ダウンサンプリング処理により得られるデータの各データ点が、第1の音データの各時刻の振幅を示す値に相当する。区間特定部130はこのように第1の音データに少なくともダウンサンプリング処理を行って得られるデータに基づき、後述する最頻値を求める。ここで図7(d)には、呼吸が行われていると推定される部分を下向き矢印で示し、呼吸が行われていないと推定される部分を上向き矢印で示している。最終的に区間特定部130でこれらが識別できればよい。
次いで、区間特定部130はステップS134において、予め定められた更新条件に基づき、閾値の更新(決定)を行うか否かを判定する。具体的には、たとえば、その第1の音データに対して一度も区間特定部130による閾値の決定がされていない場合、区間特定部130は更新条件が満たされると判定する。一方、その第1の音データに対して少なくとも一度、区間特定部130による閾値の決定がされている場合、区間特定部130は更新条件が満たされないと判定する。
更新条件が満たされると判定された場合(ステップS134のYes)、区間特定部130はステップS135に進み、閾値を定めるための処理を行う。一方、更新条件が満たされないと判定された場合(ステップS134のNo)、区間特定部130はすでに定められた閾値を用いてステップS137を行う。
区間特定部130が閾値を定める処理について以下に説明する。区間特定部130は、第1のデータにおいて振幅を示す値の最頻値を求める。具体的には、区間特定部130はステップS135において、第1の音データの振幅を示す値の、最頻値を求める。そのために区間特定部130は、第1の音データのうち所定の時刻範囲における各振幅を示す値の出現回数をカウントする。そして区間特定部130は、出現回数が最も多かった振幅を示す値を、最頻値として求める。所定の時刻範囲とは、たとえば取得部110が第1の音データを取得し始めてから、区間特定部130が本ステップを行う時点までの範囲であってもよいし、区間特定部130が本ステップを行う時点における直近の時間Tであってもよい。Tは特に限定されないが、たとえば2秒以上30秒以下である。また、たとえばTはTと同じであってもよい。第1の音データを対象の音データとする場合、所定の時刻範囲の領域と上記した第1領域とを一致させても良い。
なお上記した通り、取得部110は記憶装置に保持された音データを読み出して取得しても良い。その場合、たとえば区間特定部130は音データ全体を用いて最頻値の特定および閾値の決定を行っても良い。
図8は、各振幅の出現回数を例示するヒストグラムである。このようなヒストグラムは、第1の音データを、横軸を振幅を示す値とし、縦軸を出現回数としたグラフに表したものに相当する。なお、振幅を示す値は上記の処理により得られる値に限らず、たとえばpeak to peak 値であっても良いし、規格化等がされた値であっても良い。
そして、区間特定部130はステップS136において、最頻値よりも大きい閾値を定める。具体的には、ヒストグラムにおいて、極小値をとる一以上の振幅を示す値のうち、最頻値に最も近い振幅を示す値が閾値とされる。なお、ヒストグラムにおける最頻値は、極大値をとる複数の振幅を示す値のうち最も小さい振幅を示す値となる。図8のグラフでは、出現回数が最大となる点505、および複数の極小値に丸印が付されている。本図の例においてこの点505をとる振幅を示す値が最頻値である。そして、極小値のうち最も低振幅側の極小値506をとる振幅を示す値が閾値として決定される。最頻値は、主に無呼吸区間に対応する振幅を示す値であると考えられる。したがって、このように閾値を決定することで、無呼吸区間とそれ以外の区間とを識別可能な閾値が得られる。また、この閾値は取得部110で取得された音データを用いて得られるため、生体音における呼吸タイミングを、個人差によらず高精度に特定することができる。なお、閾値は上記の例に限られない。たとえば閾値は、ヒストグラムにおいて低振幅側から2番目または3番目の極小値をとる振幅を示す値であっても良いし、点505の隣の極大値をとる振幅を示す値であっても良い。
ステップS136において閾値が決定されると、または、ステップS134で更新条件が満たされないと判定されると、ステップS137において、区間特定部130は以下の第1処理および第2処理の少なくとも一方を行う。第1処理は、第1の音データの内、少なくとも振幅を示す値が閾値を超える区間を、第1区間として特定する処理である。一方、第2処理は、第1の音データの内、少なくとも振幅を示す値が閾値未満である区間を、第2区間として特定する処理である。なお、閾値に一致する区間は第1区間に含めてもよいし、第2区間に含めてもよい。
具体的には区間特定部130は、ステップS133の処理が行われた第1の音データに対して、閾値を適用し、連続して振幅を示す値が閾値を超える区間を一つの第1区間とする。一方、連続して振幅を示す値が閾値未満となる区間を一つの第2区間とする。なお、区間特定部130は、第1区間と第2区間の一方のみを特定しても良い。その場合、残りの区間が他方の区間となる。
図9(a)は図7(d)のグラフの閾値未満の点に丸印を付したものである。図9(b)は、図9(a)のうち、小振幅側を拡大して示している。また、図9(b)には、閾値を示す直線が付されている。
区間特定部130は新たに取得された音データに対する区間特定を、たとえば時間T毎に行う。Tは特に限定されないが、たとえば1秒以上10秒以下である。なお、Tは上記したT以下であることが好ましい。
なお、区間特定部130は区間特定の度に閾値を決定しても良い。また、算出部150が音量情報の算出を行う度に、区間特定部130は区間特定を行っても良い。たとえば、同一の時間範囲の音データを処理対象として、閾値の決定、区間の特定、および音量情報の算出が行われてもよい。
また、区間特定部130は他の方法で区間を特定しても良い。たとえば、予め定められた閾値を用いて同様に区間の判定を行っても良い。また、区間特定部130は対象の人物の胸部等に取り付けられたバンドセンサの出力に基づいて区間を特定しても良い。たとえばバンドセンサは、呼吸時の胸のふくらみや動きを検出することができる。
処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図10は、処理装置10を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、SoC(System On Chip)、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、処理装置10を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、キーボードやマウスなどの入力装置や、ディスプレイ装置などの出力装置が接続される。また、入出力インタフェース1100には、ディスプレイ装置と入力装置を兼ねたタッチパネル等が接続されてもよい。
ネットワークインタフェース1120は、計算機1000をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
ストレージデバイス1080は、処理装置10の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
センサ210はたとえば、計算機1000の入出力インタフェース1100に、またはネットワークを通じてネットワークインタフェース1120に、接続される。
以上、本実施形態によれば、第1の実施形態と同様、算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。したがって、生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出することができる。
(第3の実施形態)
図11は、第3の実施形態に係る処理装置10およびシステム20の構成を例示する図である。本実施形態に係る処理装置10およびシステム20は、以下に説明する点を除いて第2の実施形態に係る処理装置10およびシステム20とそれぞれ同様である。
本実施形態に係るシステム20は、複数のセンサ210を備え、本実施形態に係る取得部110は、複数のセンサ210で検出された音を示す複数の音データを取得する。複数のセンサ210はたとえば同一人物の生体の複数の部位において生体音を検出する。そして取得部110は、同一人物の生体の複数の部位において同時に検出された生体音の音データを取得することができる。また、取得部110は、少なくとも一部の録音時刻が互いに重なる複数の音データを取得することができる。なお、取得部110は複数の人物の生体音の音データをさらに取得しても良いが、少なくとも区間特定部130および算出部150による処理は人物毎に行われる。また、取得部110は、互いに録音時刻が重ならない複数の音データを取得してもよいが、少なくとも区間特定部130および算出部150による処理は、一の音データ毎または、少なくとも一部の録音時刻が互いに重なる複数の音データ毎に行われる。
図12は、複数のセンサ210の取り付け位置を例示する図である。本図の例において、センサ210は部位Aから部位Dに取り付けられる。たとえば処理装置10は、音データの取得に先立ち、ユーザによるセンサ210の取り付け部位を示す情報の入力を受け付ける。具体的には、生体を示す図が、センサ210の取り付け部位の候補と共に表示装置に表示され、ユーザは候補のうち各センサ210を取り付ける位置をマウス、キーボードまたはタッチパネル等の入力装置を用いて指定する。各センサ210で取得される音データには、部位を示す情報が関連づけられる。
本実施形態において、区間特定部130は、第2の実施形態において説明した様に、第1の音データに基づき第1の区間および第2の区間の少なくとも一方を特定する。すなわち、取得部110で取得された複数の音データには対象の音データおよび第1の音データが含まれる。ここで、対象の音データは一つに限られない。そして以下では、対象の音データが少なくとも第1の音データとは異なる第2の音データを含む例に付いて説明する。すなわち、第1の音データで特定された区間に基づいて、第2の音データの音量情報が算出される。なお、第2の音データは複数存在しても良い。
たとえば第1の音データは、人体の表面または内部の、第1の位置に設けられた第1のセンサ210によって検出された音を示す。そして、第2の音データは、人体の表面または内部の、第2の位置に設けられた第2のセンサ210によって検出された音を示す。ここで、第1の位置が頸部に位置するか、第1の位置が第2の位置よりも頸部に近いことが好ましい。そうすれば、区間の特定をより正確に行うことができる。たとえば図12の例において、部位Aで得られる音データが第1の音データであることが好ましい。たとえば区間特定部130は、各音データに関連づけられた部位を示す情報に基づいて、取得部110で取得された複数の音データのうち、いずれを第1の音データとするかを選択する。
本実施形態に係る取得ステップS110およびステップS120は、それぞれ取得部110およびフィルタ処理部120により、第2の実施形態と同様に行われる。
そして、本実施形態に係る区間特定部130は、区間特定ステップS130において、第2の実施形態と同様、第1の音データにおける第1区間と第2区間との少なくとも一方を特定する。そして、第1の音データに基づいて第1区間の時刻範囲を示す第1時刻情報と第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成する。
また、本実施形態に係る算出部150は、算出ステップS150において、第2の実施形態と同様、第1時刻情報および第2時刻情報の少なくとも一方を用いて、各対象の音データの第1部分と第2部分とを特定する。そうすることで、対象の音データに含まれる第2の音データにおいても、呼吸が行われていると推定される第1区間とそれ以外の第2区間とを特定できる。
さらに算出部150は、各対象の音データについて、第2の実施形態と同様、音量情報を算出する。そうすることで、部位毎の音量情報を得ることができる。なお、算出部150は、取得部110で取得された全ての音データを対象の音データとしても良いし、ユーザにより指定された部位に対応する音データのみを対象の音データとしても良い。
図13は、複数の部位の音量情報の表示例を示す図である。本図の例において、複数の部位の音量情報はそれぞれ部位との対応が分かる状態で表示される。具体的には、部位を示すマップにおいて音量情報に基づき、音量を示す数値が表示される。加えて、音量を示す数値が時系列にグラフに示される。なお、本図のグラフにおいて、横軸はそれぞれ基準時刻からの経過時間を表示しており、複数の部位間で同期している。なお、グラフの軸のスケールは、ユーザが必要に応じて拡大または縮小したり、平行移動させたりできてよい。
なお、対象の音データは、第1の音データをさらに含んでも良い。また、本実施形態では対象の音データが少なくとも第1の音データとは異なる第2の音データを含む例について説明したが、対象の音データは、第1の音データのみを含んでも良い。第1の音データの音量情報も上記と同様に算出可能である。
以上、本実施形態によれば、第1の実施形態と同様、算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。したがって、生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出することができる。
(第4の実施形態)
第4の実施形態に係る処理装置10およびシステム20は、区間特定部130および算出部150の処理内容を除いて第3の実施形態に係る処理装置10およびシステム20とそれぞれ同様である。
本実施形態に係る取得部110は、第3の実施形態に係る取得部110と同様、複数のセンサ210で検出された音を示す複数の音データを取得する。そして、区間特定部130は、取得された複数の音データのうち二以上の音データのそれぞれにおいて第1区間と第2区間とを特定する。すなわち本実施形態において、区間特定部130は、取得部110で取得された複数の音データのうち二以上の音データを、第1の音データとして用いる。二以上の第1の音データを用いて区間を特定することにより、区間特定の正確さを高めることができる。
なお、第2の実施形態に係る区間特定ステップS130と同様に閾値が第1の音データに基づいて決定される場合、区間特定部130は、区間を特定する第1の音データ毎に閾値を決定する。
区間特定部130は、区間を特定した全ての第1の音データにおいて第1区間とされた時刻範囲、または、区間を特定した全ての第1の音データにおいて第2区間とされた時刻範囲を示す第3時刻情報を生成する。
ここで、二以上の第1の音データには、頸部で検出された音データまたは、複数の音データのうち最も頸部に近い位置で検出された音データが含まれることが好ましい。そうすれば、区間の特定をより正確に行うことができる。
そして算出部150は、第3時刻情報を用いて各対象の音データの第1部分と第2部分とを特定する。具体的には、第3時刻情報が全ての第1の音データにおいて第1区間とされた時刻範囲を示す情報である場合、算出部150は各対象の音データのうち第3時刻情報が示す時刻範囲の部分を第1部分とし、それ以外の部分を第2部分とする。一方、第3時刻情報が全ての第1の音データにおいて第2区間とされた時刻範囲を示す情報である場合、算出部150は各対象の音データのうち第3時刻情報が示す時刻範囲の部分を第2部分とし、それ以外の部分を第1部分とする。
対象の音データには第1の音データが含まれても良いし含まれなくても良い。また、対象の音データには、第1の音データとは異なる第2の音データが含まれても良いし、含まれなくても良い。
さらに算出部150は、各対象の音データについて、第2の実施形態と同様、音量情報を算出する。そうすることで、部位毎の音量情報を得ることができる。
以上、本実施形態によれば、第1の実施形態と同様、算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。したがって、生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出することができる。
くわえて、本実施形態によれば、区間特定部130は、二以上の音データのそれぞれにおいて第1区間と第2区間とを特定する。したがって、区間特定の正確さを高めることができる。
(第5の実施形態)
図14は、第5の実施形態に係る処理装置10およびシステム20の構成を例示する図である。本実施形態に係る処理装置10およびシステム20は、以下に説明する点を除いて第2から第4の実施形態の少なくともいずれかと同様である。
本実施形態において、処理装置10は推定部170をさらに備える。推定部170は算出部150で算出された音量情報に基づいて、生体音が検出された人物の状態を推定する。以下に詳しく説明する。
たとえば算出部150は、第2から第4の実施形態の少なくともいずれかと同様にして複数の対象の音データの音量情報を算出する。
図15および図16はそれぞれ、複数の部位の音量情報の表示例を示す図である。
算出部150が音量情報を算出すると、推定部170は算出部150から算出された音量情報を取得する。各音量情報には、部位を示す情報が関連づけられている。推定部170はたとえば、各部位の音量情報が示す音量の、時間あたりの低下率を算出する。そして、低下率が予め定められた基準値を上回る場合、呼吸が弱くなっていると推定する。その場合推定部170は、たとえば図15に示すように呼吸が弱くなっていることを示す表示または通知を行う。なお、推定部170は、予め定められた数以上の部位において音量の低下率が高くなった場合に、呼吸が弱くなっていると推定しても良い。また、推定部170は、予め定められた長さにわたり音量の低下率が高くなった場合に、呼吸が弱くなっていると推定しても良い。
また、推定部170はたとえば、生体のうち互いに対称的な位置において検出された生体音を示す二つの音データの差を算出する。そして、推定部170は、差の大きさが予め定められた基準値を上回る場合、気胸の疑いがあると推定する。また、差が正であるか負であるかに基づいて、左右どちらの肺に気胸の疑いがあるかを推定する。このように推定部170は算出された複数の音量情報に基づいて異常呼吸音の音源の位置を推定してもよい。その上で推定部170は、たとえば図16に示すように気胸の疑いがある旨および、推定される位置を示す表示または通知を行う。なお、推定部170は、予め定められた長さにわたり差の大きさが基準値を上回る場合に、呼吸が弱くなっていると推定しても良い。
本実施形態に係る処理装置10も、図10に示すような計算機1000を用いて実現可能である。
以上、本実施形態によれば、第1の実施形態と同様、算出部150は、対象の音データのうち第1区間に基づいて定められる第1部分と対象の音データのうち第2区間に基づいて定められる第2部分とを用いて、対象の音データの呼吸音量を示す音量情報を算出する。したがって、生体音のデータから、人の聴覚で感じる音量と近い呼吸音量を算出することができる。
くわえて、本実施形態によれば、処理装置10は算出部150で算出された音量情報に基づいて、生体音が検出された人物の状態を推定する推定部170を備える。したがって、患者等の様態をモニタできる。
以下、本実施形態を、実施例を参照して詳細に説明する。なお、本実施形態は、これらの実施例の記載に何ら限定されるものではない。
22名の被験者で4部位(頸部、胸部右上、胸部左上、および胸部右下)の生体音を測定して音データを得た。そして、得られた音データを再生し、呼吸音が聞こえるか否かの聴感評価を行った。聴感評価においては、呼吸音が全く聞こえない場合を「0」、かろうじて聞こえる場合を「1」、良く聞こえる場合を「2」とした。
一方、実施例と比較例のそれぞれの方法で音データを処理し、音量を示す値を算出した。そして、算出された値と、聴感評価の結果を比較した。
比較例では、音データに対してカットオフ周波数を400Hzとするハイパスフィルタ処理を行った。その上で、RMSを算出し、RMSをデシベル表示した値を、音量を示す値とした。なお、0dB=1digitとした。
実施例では、第2の実施形態で説明した通り音量を示す値を算出した。具体的には、各音データに基づいて閾値を定め、区間を特定した。また、fL1を100Hzとし、fH1を1000Hzとした第1のフィルタ処理を施した音データの、各区間のRMSを算出した。そして、第1区間のRMSを第2区間のRMSで除した値をデシベル表示した値を、音量を示す値とした。すなわち、第2区間のRMSを0dBとした。なお、閾値の決定、区間の特定および音量を示す値の算出は、音データ毎に独立して行った。
図17および図18はそれぞれ、比較例および実施例で算出された音量を示す値と、聴覚評価の結果との関係を示す箱ひげ図である。また、図19は、聴覚評価の結果と比較例で算出された音量を示す値との関係を、ヒストグラムで示した図である。図20は、聴覚評価の結果と実施例で算出された音量を示す値との関係を、ヒストグラムで示した図である。図17および図19に示すように、比較例では、評価1の音データと評価0の音データの違いが音量の違いとして適切に現れなかった。一方、図18および図20に示すように、実施例では、音量を示す値の大小が、評価0、評価1、および評価2と良く相関しており、評価0の音データと評価1の音データも、音量を示す値で明確に識別できた。このように、実施例の方法で、聴覚評価の結果と相関が高い値を音量として算出できた。したがって、実施例の方法で、音データから、人の聴覚で感じる音量と近い呼吸音量を算出することができることが確認された。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、上述の説明で用いたフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
以下、参考形態の例を付記する。
1−1. 呼吸音を含む一以上の音データを取得する取得部と、
呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を特定する区間特定部と、
対象の前記音データのうち前記第1区間に基づいて定められる第1部分と前記対象の音データのうち前記第2区間に基づいて定められる第2部分とを用いて、前記対象の音データの、呼吸音量を示す音量情報を算出する算出部とを備える処理装置。
1−2. 1−1.に記載の処理装置において、
前記算出部は、
前記対象の音データの前記第1部分の強度である第1信号強度と、前記対象の音データの前記第2部分の強度である第2信号強度とを算出し、
前記第1信号強度と前記第2信号強度とを用いて前記対象の音データの前記音量情報を算出する処理装置。
1−3. 1−2.に記載の処理装置において、
前記算出部は、前記第1信号強度の前記第2信号強度に対する比を特定する情報を前記対象の音データの前記音量情報として算出する処理装置。
1−4. 1−1.から1−3.のいずれか一つに記載の処理装置において、
少なくとも前記対象の音データに対しフィルタ処理を行うフィルタ処理部をさらに備え、
前記算出部は、前記フィルタ処理された後の前記対象の音データの前記第1部分および前記第2部分を用いて前記音量情報を算出し、
前記フィルタ処理部は、低周波数側のカットオフ周波数をfL1[Hz]とし、高周波数側のカットオフ周波数をfH1[Hz]とするバンドパスフィルタ処理を行い、
50≦fL1≦150が成り立ち、
500≦fH1≦1500が成り立つ処理装置。
1−5. 1−1.から1−4.のいずれか一つに記載の処理装置において、
前記取得部は、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定部は、第1の前記音データに基づいて前記第1区間の時刻範囲を示す第1時刻情報と前記第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成し、
前記算出部は、前記第1時刻情報および前記第2時刻情報の少なくとも一方を用いて、前記対象の音データの前記第1部分と前記第2部分とを特定し、
前記対象の音データは、少なくとも前記第1の音データとは異なる第2の前記音データを含む処理装置。
1−6. 1−5.に記載の処理装置において、
前記第1の音データは、人体の表面または内部の、第1の位置に設けられた第1の前記センサによって検出された音を示し、
前記第2の音データは、前記人体の表面または内部の、第2の位置に設けられた第2の前記センサによって検出された音を示し、
前記第1の位置は頸部に位置する、または、前記第1の位置は前記第2の位置よりも頸部に近い処理装置。
1−7. 1−1.から1−4.のいずれか一つに記載の処理装置において、
前記取得部は、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定部は、
二以上の前記音データのそれぞれにおいて前記第1区間と前記第2区間とを特定し、
前記二以上の音データの全てにおいて前記第1区間とされた時刻範囲、または前記二以上の音データの全てにおいて前記第2区間とされた時刻範囲を示す第3時刻情報を生成し、
前記算出部は、前記第3時刻情報を用いて前記対象の音データの前記第1部分と前記第2部分とを特定する処理装置。
1−8. 1−5.から1−7.のいずれか一つに記載の処理装置において、
前記算出部は、複数の前記対象の音データの前記音量情報を算出し、
算出された前記複数の音量情報に基づいて異常呼吸音の音源の位置を推定する推定部をさらに備える処理装置。
1−9. 1−1.から1−8のいずれか一つに記載の処理装置と、
センサとを備え、
前記取得部は、前記センサで検出された音を示す前記音データを取得するシステム。
2−1. 呼吸音を含む一以上の音データを取得する取得ステップと、
呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を特定する区間特定ステップと、
対象の前記音データのうち前記第1区間に基づいて定められる第1部分と前記対象の音データのうち前記第2区間に基づいて定められる第2部分とを用いて、前記対象の音データの、呼吸音量を示す音量情報を算出する算出ステップとを含む処理方法。
2−2. 2−1.に記載の処理方法において、
前記算出ステップでは、
前記対象の音データの前記第1部分の強度である第1信号強度と、前記対象の音データの前記第2部分の強度である第2信号強度とを算出し、
前記第1信号強度と前記第2信号強度とを用いて前記対象の音データの前記音量情報を算出する処理方法。
2−3. 2−2.に記載の処理方法において、
前記算出ステップでは、前記第1信号強度の前記第2信号強度に対する比を特定する情報を前記対象の音データの前記音量情報として算出する処理方法。
2−4. 2−1.から2−3.のいずれか一つに記載の処理方法において、
少なくとも前記対象の音データに対しフィルタ処理を行うフィルタ処理ステップをさらに含み、
前記算出ステップでは、前記フィルタ処理された後の前記対象の音データの前記第1部分および前記第2部分を用いて前記音量情報を算出し、
前記フィルタ処理ステップでは、低周波数側のカットオフ周波数をfL1[Hz]とし、高周波数側のカットオフ周波数をfH1[Hz]とするバンドパスフィルタ処理を行い、
50≦fL1≦150が成り立ち、
500≦fH1≦1500が成り立つ処理方法。
2−5. 2−1.から2−4.のいずれか一つに記載の処理方法において、
前記取得ステップでは、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定ステップでは、第1の前記音データに基づいて前記第1区間の時刻範囲を示す第1時刻情報と前記第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成し、
前記算出ステップでは、前記第1時刻情報および前記第2時刻情報の少なくとも一方を用いて、前記対象の音データの前記第1部分と前記第2部分とを特定し、
前記対象の音データは、少なくとも前記第1の音データとは異なる第2の前記音データを含む処理方法。
2−6. 2−5.に記載の処理方法において、
前記第1の音データは、人体の表面または内部の、第1の位置に設けられた第1の前記センサによって検出された音を示し、
前記第2の音データは、前記人体の表面または内部の、第2の位置に設けられた第2の前記センサによって検出された音を示し、
前記第1の位置は頸部に位置する、または、前記第1の位置は前記第2の位置よりも頸部に近い処理方法。
2−7. 2−1.から2−4.のいずれか一つに記載の処理方法において、
前記取得ステップでは、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定ステップでは、
二以上の前記音データのそれぞれにおいて前記第1区間と前記第2区間とを特定し、
前記二以上の音データの全てにおいて前記第1区間とされた時刻範囲、または前記二以上の音データの全てにおいて前記第2区間とされた時刻範囲を示す第3時刻情報を生成し、
前記算出ステップでは、前記第3時刻情報を用いて前記対象の音データの前記第1部分と前記第2部分とを特定する処理方法。
2−8. 2−5.から2−7.のいずれか一つに記載の処理方法において、
前記算出ステップでは、複数の前記対象の音データの前記音量情報を算出し、
算出された前記複数の音量情報に基づいて異常呼吸音の音源の位置を推定する推定ステップをさらに含む処理方法。
3−1. 2−1.から2−8.のいずれか一つに記載の処理方法の各ステップをコンピュータに実行させるプログラム。
4−1. 呼吸音を含む音データを取得する取得部と、
前記音データにおける呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を、前記音データの振幅を示す値についての閾値を用いて特定する区間特定部とを備え、
前記振幅を示す値は前記音データの各時刻の振動の大きさを示す値であり、
前記区間特定部は、前記閾値を前記音データに基づいて決定する処理装置。
4−2. 4−1.に記載の処理装置において、
前記区間特定部は、
前記音データにおいて前記振幅を示す値の最頻値を求め、
前記最頻値よりも大きい前記閾値を定め、
前記音データの内、少なくとも前記振幅を示す値が前記閾値を超える区間を、前記第1区間として特定する第1処理、および、少なくとも前記振幅を示す値が前記閾値未満である区間を、前記第2区間として特定する第2処理の少なくとも一方を行う処理装置。
4−3. 4−2.に記載の処理装置において、
前記閾値は、前記音データを、横軸を前記振幅を示す値とし縦軸を出現回数としたグラフに表したとき、極小値をとる一以上の前記振幅を示す値のうち、前記最頻値に最も近い前記振幅を示す値である処理装置。
4−4. 4−3.に記載の処理装置において、
前記音データを前記グラフに表したとき、前記最頻値は、極大値をとる複数の前記振幅を示す値のうち最も小さい前記振幅を示す値である処理装置。
4−5. 4−2.から4−4.のいずれか一つに記載の処理装置において、
前記区間特定部は、フィルタ処理を行った後の前記音データに基づき、前記最頻値を求め、
前記フィルタ処理は、低周波数側のカットオフ周波数をfL2[Hz]とし、高周波数側のカットオフ周波数をfH2[Hz]とするバンドパスフィルタ処理であり、
150≦fL2≦250が成り立ち、
550≦fH2≦650が成り立つ処理装置。
4−6. 4−2.から4−5.のいずれか一つに記載の処理装置において、
前記区間特定部は、前記音データに少なくともダウンサンプリング処理を行って得たデータに基づき、前記最頻値を求める処理装置。
4−7. 4−1.から4−6.のいずれか一つに記載の処理装置において、
前記取得部は、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定部は、
前記複数の音データに含まれる第1の前記音データにおける前記第1区間と前記第2区間との少なくとも一方を特定し、
前記第1区間の時刻範囲を示す第1時刻情報と前記第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成し、
前記複数の音データに含まれる前記音データであって、前記第1の音データとは異なる第2の前記音データの前記第1区間および前記第2区間を前記第1時刻情報と前記第2時刻情報との少なくとも一方に基づき特定する処理装置。
4−8. 4−7.に記載の処理装置において、
前記第1の音データは、人体の表面または内部の、第1の位置に設けられた第1の前記センサによって検出された音を示し、
前記第2の音データは、前記人体の表面または内部の、第2の位置に設けられた第2の前記センサによって検出された音を示し、
前記第1の位置は頸部に位置する、または、前記第1の位置は前記第2の位置よりも頸部に近い処理装置。
4−9. 4−1.から4−6.のいずれか一つに記載の処理装置において、
前記取得部は、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定部は、
二以上の前記音データのそれぞれにおいて前記第1区間と前記第2区間とを特定し、
前記二以上の音データの全てにおいて前記第1区間と特定された時刻範囲、または前記二以上の音データの全てにおいて前記第2区間と特定された時刻範囲を示す第3時刻情報を生成する処理装置。
4−10. 4−1.から4−9.のいずれか一つに記載の処理装置と、
センサとを備え、
前記取得部は、前記センサで検出された音を示す前記音データを取得するシステム。
5−1. 呼吸音を含む音データを取得する取得ステップと、
前記音データにおける呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を、前記音データの振幅を示す値についての閾値を用いて特定する区間特定ステップとを含み、
前記振幅を示す値は前記音データの各時刻の振動の大きさを示す値であり、
前記区間特定ステップでは、前記閾値を前記音データに基づいて決定する処理方法。
5−2. 5−1.に記載の処理方法において、
前記区間特定ステップでは、
前記音データにおいて前記振幅を示す値の最頻値を求め、
前記最頻値よりも大きい前記閾値を定め、
前記音データの内、少なくとも前記振幅を示す値が前記閾値を超える区間を、前記第1区間として特定する第1処理、および、少なくとも前記振幅を示す値が前記閾値未満である区間を、前記第2区間として特定する第2処理の少なくとも一方を行う処理方法。
5−3. 5−2.に記載の処理方法において、
前記閾値は、前記音データを、横軸を前記振幅を示す値とし縦軸を出現回数としたグラフに表したとき、極小値をとる一以上の前記振幅を示す値のうち、前記最頻値に最も近い前記振幅を示す値である処理方法。
5−4. 5−3.に記載の処理方法において、
前記音データを前記グラフに表したとき、前記最頻値は、極大値をとる複数の前記振幅を示す値のうち最も小さい前記振幅を示す値である処理方法。
5−5. 5−2.から5−4.のいずれか一つに記載の処理方法において、
前記区間特定ステップでは、フィルタ処理を行った後の前記音データに基づき、前記最頻値を求め、
前記フィルタ処理は、低周波数側のカットオフ周波数をfL2[Hz]とし、高周波数側のカットオフ周波数をfH2[Hz]とするバンドパスフィルタ処理であり、
150≦fL2≦250が成り立ち、
550≦fH2≦650が成り立つ処理方法。
5−6. 5−2.から5−5.のいずれか一つに記載の処理方法において、
前記区間特定ステップでは、前記音データに少なくともダウンサンプリング処理を行って得たデータに基づき、前記最頻値を求める処理方法。
5−7. 5−1.から5−6.のいずれか一つに記載の処理方法において、
前記取得ステップでは、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定ステップでは、
前記複数の音データに含まれる第1の前記音データにおける前記第1区間と前記第2区間との少なくとも一方を特定し、
前記第1区間の時刻範囲を示す第1時刻情報と前記第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成し、
前記複数の音データに含まれる前記音データであって、前記第1の音データとは異なる第2の前記音データの前記第1区間および前記第2区間を前記第1時刻情報と前記第2時刻情報との少なくとも一方に基づき特定する処理方法。
5−8. 5−7.に記載の処理方法において、
前記第1の音データは、人体の表面または内部の、第1の位置に設けられた第1の前記センサによって検出された音を示し、
前記第2の音データは、前記人体の表面または内部の、第2の位置に設けられた第2の前記センサによって検出された音を示し、
前記第1の位置は頸部に位置する、または、前記第1の位置は前記第2の位置よりも頸部に近い処理方法。
5−9. 5−1.から5−6.のいずれか一つに記載の処理方法において、
前記取得ステップでは、複数のセンサで検出された音を示す複数の前記音データを取得し、
前記区間特定ステップでは、
二以上の前記音データのそれぞれにおいて前記第1区間と前記第2区間とを特定し、
前記二以上の音データの全てにおいて前記第1区間と特定された時刻範囲、または前記二以上の音データの全てにおいて前記第2区間と特定された時刻範囲を示す第3時刻情報を生成する処理方法。
6−1. 5−1.から5−9.のいずれか一つに記載の処理方法の各ステップをコンピュータに実行させるプログラム。
10 処理装置
20 システム
110 取得部
120 フィルタ処理部
130 区間特定部
150 算出部
170 推定部
210 センサ
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース

Claims (11)

  1. 呼吸音を含む一以上の音データを取得する取得部と、
    呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を特定する区間特定部と、
    対象の前記音データのうち前記第1区間に基づいて定められる第1部分と前記対象の音データのうち前記第2区間に基づいて定められる第2部分とを用いて、前記対象の音データの、呼吸音量を示す音量情報を算出する算出部とを備える処理装置。
  2. 請求項1に記載の処理装置において、
    前記算出部は、
    前記対象の音データの前記第1部分の強度である第1信号強度と、前記対象の音データの前記第2部分の強度である第2信号強度とを算出し、
    前記第1信号強度と前記第2信号強度とを用いて前記対象の音データの前記音量情報を算出する処理装置。
  3. 請求項2に記載の処理装置において、
    前記算出部は、前記第1信号強度の前記第2信号強度に対する比を特定する情報を前記対象の音データの前記音量情報として算出する処理装置。
  4. 請求項1から3のいずれか一項に記載の処理装置において、
    少なくとも前記対象の音データに対しフィルタ処理を行うフィルタ処理部をさらに備え、
    前記算出部は、前記フィルタ処理された後の前記対象の音データの前記第1部分および前記第2部分を用いて前記音量情報を算出し、
    前記フィルタ処理部は、低周波数側のカットオフ周波数をfL1[Hz]とし、高周波数側のカットオフ周波数をfH1[Hz]とするバンドパスフィルタ処理を行い、
    50≦fL1≦150が成り立ち、
    500≦fH1≦1500が成り立つ処理装置。
  5. 請求項1から4のいずれか一項に記載の処理装置において、
    前記取得部は、複数のセンサで検出された音を示す複数の前記音データを取得し、
    前記区間特定部は、第1の前記音データに基づいて前記第1区間の時刻範囲を示す第1時刻情報と前記第2区間の時刻範囲を示す第2時刻情報との少なくとも一方を生成し、
    前記算出部は、前記第1時刻情報および前記第2時刻情報の少なくとも一方を用いて、前記対象の音データの前記第1部分と前記第2部分とを特定し、
    前記対象の音データは、少なくとも前記第1の音データとは異なる第2の前記音データを含む処理装置。
  6. 請求項5に記載の処理装置において、
    前記第1の音データは、人体の表面または内部の、第1の位置に設けられた第1の前記センサによって検出された音を示し、
    前記第2の音データは、前記人体の表面または内部の、第2の位置に設けられた第2の前記センサによって検出された音を示し、
    前記第1の位置は頸部に位置する、または、前記第1の位置は前記第2の位置よりも頸部に近い処理装置。
  7. 請求項1から4のいずれか一項に記載の処理装置において、
    前記取得部は、複数のセンサで検出された音を示す複数の前記音データを取得し、
    前記区間特定部は、
    二以上の前記音データのそれぞれにおいて前記第1区間と前記第2区間とを特定し、
    前記二以上の音データの全てにおいて前記第1区間とされた時刻範囲、または前記二以上の音データの全てにおいて前記第2区間とされた時刻範囲を示す第3時刻情報を生成し、
    前記算出部は、前記第3時刻情報を用いて前記対象の音データの前記第1部分と前記第2部分とを特定する処理装置。
  8. 請求項5から7のいずれか一項に記載の処理装置において、
    前記算出部は、複数の前記対象の音データの前記音量情報を算出し、
    算出された前記複数の音量情報に基づいて異常呼吸音の音源の位置を推定する推定部をさらに備える処理装置。
  9. 請求項1に記載の処理装置と、
    センサとを備え、
    前記取得部は、前記センサで検出された音を示す前記音データを取得するシステム。
  10. 呼吸音を含む一以上の音データを取得する取得ステップと、
    呼吸が行われていると推定される第1区間と複数の前記第1区間の間の第2区間との少なくとも一方を特定する区間特定ステップと、
    対象の前記音データのうち前記第1区間に基づいて定められる第1部分と前記対象の音データのうち前記第2区間に基づいて定められる第2部分とを用いて、前記対象の音データの、呼吸音量を示す音量情報を算出する算出ステップとを含む処理方法。
  11. 請求項10に記載の処理方法の各ステップをコンピュータに実行させるプログラム。
JP2018205535A 2018-10-31 2018-10-31 処理装置、システム、処理方法、およびプログラム Active JP7122225B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018205535A JP7122225B2 (ja) 2018-10-31 2018-10-31 処理装置、システム、処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018205535A JP7122225B2 (ja) 2018-10-31 2018-10-31 処理装置、システム、処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020069113A true JP2020069113A (ja) 2020-05-07
JP7122225B2 JP7122225B2 (ja) 2022-08-19

Family

ID=70548544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018205535A Active JP7122225B2 (ja) 2018-10-31 2018-10-31 処理装置、システム、処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP7122225B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001029328A (ja) * 1999-07-23 2001-02-06 Toshiba Corp 事故防止装置
JP2004531309A (ja) * 2001-04-18 2004-10-14 ニューモパートナーズ 副雑音の分析支援装置
WO2011010384A1 (ja) * 2009-07-24 2011-01-27 富士通株式会社 睡眠時無呼吸症候群の検査装置及びプログラム
WO2012060107A1 (ja) * 2010-11-04 2012-05-10 パナソニック株式会社 生体音検査装置、及び、生体音検査方法
JP2012205693A (ja) * 2011-03-29 2012-10-25 Shizuoka Prefecture 呼吸音解析装置、呼吸音解析方法、および呼吸音解析プログラム
JP2012532650A (ja) * 2009-07-07 2012-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 呼吸信号のノイズ低減
JP2013106906A (ja) * 2011-11-24 2013-06-06 Omron Healthcare Co Ltd 睡眠評価装置
JP2013202101A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 無呼吸状態判定装置,無呼吸状態判定方法,及び無呼吸状態判定プログラム
JP2014050614A (ja) * 2012-09-10 2014-03-20 Hoya Corp 生体音測定システム
WO2014103107A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 呼吸相判定装置、呼吸相判定方法、および呼吸相判定プログラム
JP2017169647A (ja) * 2016-03-22 2017-09-28 国立大学法人秋田大学 生体信号測定装置及び生体信号測定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001029328A (ja) * 1999-07-23 2001-02-06 Toshiba Corp 事故防止装置
JP2004531309A (ja) * 2001-04-18 2004-10-14 ニューモパートナーズ 副雑音の分析支援装置
JP2012532650A (ja) * 2009-07-07 2012-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 呼吸信号のノイズ低減
WO2011010384A1 (ja) * 2009-07-24 2011-01-27 富士通株式会社 睡眠時無呼吸症候群の検査装置及びプログラム
WO2012060107A1 (ja) * 2010-11-04 2012-05-10 パナソニック株式会社 生体音検査装置、及び、生体音検査方法
JP2012205693A (ja) * 2011-03-29 2012-10-25 Shizuoka Prefecture 呼吸音解析装置、呼吸音解析方法、および呼吸音解析プログラム
JP2013106906A (ja) * 2011-11-24 2013-06-06 Omron Healthcare Co Ltd 睡眠評価装置
JP2013202101A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 無呼吸状態判定装置,無呼吸状態判定方法,及び無呼吸状態判定プログラム
JP2014050614A (ja) * 2012-09-10 2014-03-20 Hoya Corp 生体音測定システム
WO2014103107A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 呼吸相判定装置、呼吸相判定方法、および呼吸相判定プログラム
JP2017169647A (ja) * 2016-03-22 2017-09-28 国立大学法人秋田大学 生体信号測定装置及び生体信号測定方法

Also Published As

Publication number Publication date
JP7122225B2 (ja) 2022-08-19

Similar Documents

Publication Publication Date Title
JP6555692B2 (ja) 呼吸速度を測定する方法および呼吸速度を測定するシステム
US10413233B2 (en) Monitoring of sleep phenomena
US10898160B2 (en) Acoustic monitoring system, monitoring method, and monitoring computer program
KR101619611B1 (ko) 마이크로폰을 이용한 호흡률 추정 장치 및 기법
EP3471610B1 (en) Cardiovascular and cardiorespiratory fitness determination
US8882683B2 (en) Physiological sound examination device and physiological sound examination method
JP2013518607A (ja) 携帯型モニタリングのための生理学的信号の品質を分類する方法およびシステム
JP7297190B2 (ja) 警報発出システム
KR101706197B1 (ko) 압전센서를 이용한 폐쇄성수면무호흡 선별검사를 위한 장치 및 방법
JP2014171660A (ja) 心房細動解析装置、心房細動解析システム、心房細動解析方法およびプログラム
JP6522327B2 (ja) 脈波解析装置
JP3415796B2 (ja) 周期性生体情報測定装置
WO2015178439A2 (ja) 睡眠時無呼吸の中枢型/閉塞型診断支援装置および診断支援方法、ならびに睡眠時無呼吸の中枢型/閉塞型診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7089650B2 (ja) 処理装置、システム、処理方法、およびプログラム
JP7122225B2 (ja) 処理装置、システム、処理方法、およびプログラム
KR102242479B1 (ko) 피부영상을 이용한 디지털 호흡 청진 방법
Rohman et al. Analysis of the Effectiveness of Using Digital Filters in Electronic Stethoscopes
JP2009254611A (ja) 咳検出装置
CN111528831B (zh) 一种心肺音采集方法、装置和设备
KR101587989B1 (ko) 생체음향을 이용한 심박규칙도 수치화 방법과 청진 장비
TWI575474B (zh) 人體器官之生理微震動感測系統及方法
EP4326145A1 (en) Multi sensor and method
CN116458848A (zh) 一种基于驻极体柔性传感器的生命体征监测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7122225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150