JP2008528124A - 音声認識を使用した聴診音の分析 - Google Patents

音声認識を使用した聴診音の分析 Download PDF

Info

Publication number
JP2008528124A
JP2008528124A JP2007552364A JP2007552364A JP2008528124A JP 2008528124 A JP2008528124 A JP 2008528124A JP 2007552364 A JP2007552364 A JP 2007552364A JP 2007552364 A JP2007552364 A JP 2007552364A JP 2008528124 A JP2008528124 A JP 2008528124A
Authority
JP
Japan
Prior art keywords
patient
applying
matrices
auscultatory
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007552364A
Other languages
English (en)
Inventor
エー. ギオン,マリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Minnesota
Original Assignee
University of Minnesota
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Minnesota filed Critical University of Minnesota
Publication of JP2008528124A publication Critical patent/JP2008528124A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

聴診音を分析することにより、患者の生理的状態を診断する際に医療専門家を支援する技法について説明している。例えば、データ分析システムは、音声認識及び主成分分析(例えば、特異値分解)を既知の生理的状態と関連する聴診音に対して適用することにより、多次元空間内に1つ又は複数の疾病領域の組を定義している。電子聴診器又はPDA(Personal Digital Assistant)などの診断装置は、データ分析システムからの構成データを適用することにより、患者と関連する聴診音を表す1つ又は複数のベクトルを多次元空間内に生成する。診断装置は、多次元空間内の疾病領域との関係におけるベクトルの向きに基づいて、患者の生理的状態と関連する診断メッセージを出力する。

Description

本発明は、一般に、医療機器に関し、特に、聴診音を分析する電子装置に関する。
医師及びその他の医療専門家は、長い間、聴診音に依存することにより、生理的状態の検出及び診断を支援してきた。例えば、医師は、聴診器を利用して心音を監視することにより、心臓病を検出可能である。その他の例として、医師は、患者の肺又は腹部と関連した音響を監視することにより、呼吸器及び胃腸の状態を検出可能である。
電子的に記録された聴診音に対してアルゴリズムを適用する自動化された装置が開発されている。一例が自動血圧監視装置である。その他の例には、聴診音の分析に基づいて生理的状態を自動検出するべく試みる分析システムが含まれている。例えば、聴診音を分析すると共に、自動診断又は示唆診断(suggested diagnosis)を提供するための1つの可能なメカニズムとして、人工ニューラルネットワークが議論されている。
これらの従来の技法を使用した場合には、聴診音に基づいて特定の生理学的状態の自動診断を任意の精度レベルにおいて提供することがしばしば困難である。又、従来の技法は、多くの場合に、リアルタイム又は擬似リアルタイムに適用して医師を支援可能な方式で実装することが困難である。
一般に、本発明は、聴診音を分析することにより、患者の生理的状態を診断する際に医療専門家を支援する技法に関するものである。本技法は、例えば、様々な心臓病の状態を診断する際に医療専門家を支援するべく適用可能である。本明細書に記述されている技法を使用して自動的に検出可能である例示用の心臓病の状態には、大動脈弁閉鎖不全及び狭窄、三尖弁逆流及び狭窄、肺動脈弁狭窄及び逆流、僧帽弁逆流及び狭窄、大動脈瘤、頸動脈狭窄、及びその他の心臓病の病状が含まれる。本技法を聴診音に適用することにより、人工心臓弁に伴う問題及び心臓に関係していない生理的状態を検出可能である。例えば、本技法を適用して患者の肺、腹部、又はその他の領域から記録された音響を検出することにより、呼吸器又は胃腸の状態を検出可能である。
本明細書に記述されている技法によれば、既知の生理的状態に関連する聴診音のデジタル化表現を含む臨床データに対して特異値分解(Singular Value Decomposition:SVD)を適用している。臨床データを行列の組として表現可能であり、この場合に、それぞれの行列は、生理的状態の中の異なる1つと関連付けられた聴診音のデジタル表現を保存している。臨床データに対してSVDを適用することにより、これらの行列を多次元空間内の「疾病領域」の組を定義する部分行列の組に分解している。
次いで、それぞれの生理的状態の部分行列の1つ又は複数のものを診断装置内において構成データとして使用可能である。具体的には、診断装置は、構成データを患者と関連する聴診音のデジタル化表現に適用することにより、多次元空間内に1つ又は複数のベクトルの組を生成している。診断装置は、定義されている疾病領域との関係におけるベクトルの向きに基づいて、患者が生理的状態(例えば、心臓病の病状)を経験しているかどうかを判定する。一実施例においては、方法は、音声認識を既知の生理的状態に関連する聴診音に対して適用することにより、音声認識係数を生成するステップと、これらの係数を多次元空間内に定義されている1つ又は複数の疾病領域の組に対してマッピングするステップと、を有している。
別の実施例においては、方法は、特異値分解(Singular Value Decomposition:SVD)を生理的状態と関連する聴診音のデジタル化表現に対して適用することにより、聴診音を多次元空間内の1つ又は複数の疾病領域の組に対してマッピングするステップと、この多次元マッピングに基づいて診断装置によって適用される構成データを出力するステップと、を有している。
別の実施例においては、方法は、既知の生理的状態と関連する聴診音のデジタル化表現に対して音声認識法及び主成分分析(Principle Component Analysis:PCA)を適用することによって生成された構成データを診断装置内に保存するステップを有しており、この場合に、構成データは、聴診音を多次元空間内の1つ又は複数の疾病領域の組に対してマッピングしている。本方法は、構成データを患者と関連する聴診音を表すデジタル化表現に対して適用することにより、生理的状態の中の1つ又は複数のものを選択するステップと、選択された生理的状態について通知する診断メッセージを出力するステップと、を更に有している。
別の実施例においては、診断装置は、媒体及び制御ユニットを有している。媒体は、既知の生理的状態と関連する聴診音のデジタル化表現に対して音声認識を適用することによって生成されたデータを保存している。制御ユニットは、患者と関連する聴診音を表すデジタル化表現に対して構成データを適用することにより、生理的状態の中の1つを選択している。制御ユニットは、生理的状態の中の選択されたものについて通知する診断メッセージを出力する。
別の実施例においては、データ分析システムは、分析モジュール及びデータベースを有している。分析モジュールは、既知の生理的状態と関連する聴診音のデジタル化表現に対して音声認識及び主成分分析(Principle Component Analysis:PCA)を適用することにより、聴診音を多次元空間内の1つ又は複数の疾病領域の組に対してマッピングしている。データベースは、分析モジュールによって生成されたデータを保存している。
別の実施例においては、本発明は、命令を含むコンピュータ可読媒体に関係している。これらの命令により、プログラム可能なプロセッサは、患者と関連する聴診音を表すデジタル化表現に対して構成データを適用することにより、生理的状態の組の中の1つを選択している(この場合に、構成は、音声認識及び主成分分析(Principle Component Analysis:PCA)を使用することにより、聴診音を多次元空間内の1つ又は複数の疾病領域の組に対してマッピングしている)。更には、これらの命令により、プログラム可能なプロセッサは、生理的状態の中の選択されたものについて通知する診断メッセージを出力している。
本技法は、1つ又は複数の利点を提供可能である。例えば、SVDの適用により、従来の方法と比べて、相対的に正確な患者の自動診断を実現可能である。又、これらの技法によれば、構成データをSVDを使用して事前演算した後に、リアルタイム又は擬似リアルタイムで診断装置によって(即ち、医師によって)適用することにより、患者の診断を実施する際に医師を支援可能である。
本発明の1つ又は複数の実施例の詳細については、添付の図面及び以下の説明に開示されている。本発明のその他の特徴、目的、及び利点については、本明細書、図面、及び請求項を参照することにより、明らかとなろう。
図1は、診断装置6が、患者8からの聴診音を分析することにより、診断を実施する際に医師10を支援する例示用のシステム2を示すブロック図である。一般的に、診断装置6は、分析システム4によって生成された構成データ13に従ってプログラムされている。診断装置6は、構成データを使用することにより、患者8からの聴診音を分析すると共に、分析に基づいて診断メッセージを出力し、患者の生理的状態の診断において医師10を支援する。尚、模範的なものとして、心臓病の状態を参照して説明しているが、本技法は、患者8の身体のその他の領域から記録された聴診音に対しても適用可能である。例えば、本技法を患者8の肺又は腹部から記録された聴診音に対して適用することにより、呼吸器又は胃腸の状態を検出可能である。
診断装置6によって適用される構成データ13を生成する際には、データ分析システム4は、既知の生理的状態を具備した患者の組から記録された聴診音のデジタル化表現を有する臨床データ12を受領して処理することになる。例えば、これらの聴診音は、1つ又は複数の既知の心臓病の病状を具備した患者から記録可能である。例示用の心臓病の病状には、大動脈弁閉鎖不全及び狭窄、三尖弁逆流及び狭窄、肺動脈弁狭窄及び逆流、僧帽弁逆流及び狭窄、大動脈瘤、頸動脈狭窄、及びその他の病状が含まれている。又、臨床データ12には、「正常」な患者(即ち、心臓病の病状を具備していない患者)から記録された聴診音も包含されている。一実施例においては、臨床データ12は、未加工のフィルタリングされていないフォーマットを有する心音の記録を有している。
データ分析システム4の分析モジュール14は、本明細書に記述されている技法に従って臨床データ12の聴診音の記録を分析することにより、電子的に記録された聴診音を表す「疾病領域」の組を多次元エネルギー空間内に定義する。多次元空間内のそれぞれの疾病領域は、個別の疾病を表していると数学的に識別された心臓サイクル内の音響の特性に対応している。
後程詳述するように、一実施例においては、分析モジュール14は、特異値分解(Singular Value Decomposition:SVD)を適用することにより、多次元空間内の疾病領域及びそれらの境界を定義している。又、分析モジュール14は、SVDを適用することにより、多次元空間内の疾病領域間のエネルギー差を極大化すると共に、疾病領域のそれぞれの間の通常の距離を極大化するそれぞれの疾病領域ごとの個別のエネルギー角度を定義している。データ分析システム4は、分析モジュール14の稼動及びSVDの適用(これらは、演算集約的なタスクとなろう)のための動作環境を提供する1つ又は複数のコンピュータを包含可能である。例えば、データ分析システム4は、数学的モデリング及び数値分析環境を提供する1つ又は複数のワークステーション又はメインフレームコンピュータを包含可能である。
分析モジュール14は、診断装置6によって適用されるべく、分析の結果をパラメータデータベース16内に保存している。例えば、パラメータデータベース16は、多次元エネルギー空間及びこの空間の疾病領域のエネルギー領域を定義する診断装置6用のデータを包含可能である。換言すれば、このデータを使用することにより、正常な心臓の活動及び定義された心臓病の病状を表す心臓サイクルの聴診音の特性を識別可能である。後程詳述するように、このデータは、臨床データ12に対してSVDを適用した際に生成される1つ又は複数の部分行列を有することができる。
分析モジュール14による臨床データ12の処理及びパラメータデータベース16の生成が完了すると、診断装置6は、患者8の診断を支援するための構成データ13を受信する(或いは、さもなければ、これを適用するべく構成されている)。図示の実施例においては、聴診音記録装置18が、患者8からの聴診音を監視しており、通信リンク19を介して、この音響のデジタル化表現を診断装置6に対して伝送している。診断装置6は、構成データ13を適用することにより、患者8からの聴診音の記録を分析する。
一般に、診断装置6は、構成データ13を適用することにより、聴診音記録装置18から受信したデジタル化表現を、データ分析システム4によって臨床データ12から演算された多次元エネルギー空間に対してマッピングする。後程詳述するように、診断装置6は、構成データ13を適用することにより、キャプチャされた音響を表すベクトルの組を多次元空間内に生成する。次いで、診断装置6は、疾病領域との関係における多次元空間内のベクトルの向きに基づいて疾病領域の中の1つを選択する。一実施例においては、診断装置6は、その代表的なベクトルから最小の距離を具備している多次元空間内に定義された疾病領域を判定している。この判定に基づいて、診断装置は、医師10に対して示唆診断を提示する。診断装置6は、患者8の心音の記録において識別されている1つ又は複数の心臓サイクルの分析を反復することにより、医師10に対して正確な診断が報告されることを保証するべく支援可能である。
様々な実施例において、診断装置6は、様々なメッセージタイプを出力可能である。例えば、診断装置6は、患者8の生理的状態が正常であるか異常であるか(例えば、患者が心臓病の病状を経験しているかどうか)を通知する「合格/不合格」タイプのメッセージを出力可能である。この実施例においては、データ分析システム4は、(1)正常及び(2)羅病という2つの領域を含むように多次元空間を定義可能である。換言すれば、データ分析システム4は、それぞれの心臓病の疾病ごとに、多次元空間において個別の疾病領域を定義する必要はない。分析の際に診断装置6に対して要求されるのは、患者8の聴診音が、「正常」領域又は「羅病」領域のいずれに近接してマッピングされているのかを判定し、この判定に基づいて合格/不合格メッセージを出力することのみである。診断装置6は、マッピングされた患者8の聴診音が正常な領域から離隔している算出距離に基づいて重大性インジケータを表示可能である。
別の例として、診断装置6は、診断メッセージを出力することにより、患者8が現在経験している1つ又は複数の特定の病状を示唆可能である。或いは、この代わりに、又は、これに加えて、診断装置6は、患者8が傾向を有している病状の予報的な評価として診断メッセージを出力することも可能である。換言すれば、この予報的な評価は、患者が特定の心臓病の状態に陥りやすいかどうかを通知するものである。これにより、医師8は、事前に治療法を処方することにより、予測される病状が発生又は悪化する可能性を低減可能である。
診断装置6は、表示されたメッセージタイプを医師10が選択可能であるユーザー構成可能なモード設定をサポート可能である。例えば、診断装置6は、合格/不合格タイプのメッセージのみを表示する第1モード、1つ又は複数の示唆診断を表示する第2モード、及び1つ又は複数の予測診断を示唆する第3モードをサポート可能である。
診断装置6は、ラップトップコンピュータ、ハンドヘルド型演算装置、PDA(Personal Digital Assistant)、心エコー図分析器、又はその他の装置であってよい。診断装置6は、本技法を実装するべく、組み込み型のマイクロプロセッサ、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、又はその他のハードウェア、ファームウェア、及び/又はソフトウェアを包含可能である。換言すれば、本明細書に記述されている患者8の聴診音の分析は、ハードウェア、ソフトウェア、ファームウェア、これらの組み合わせ、又はこれらに類似したものによって実装可能である。ソフトウェアによって実装された場合には、コンピュータ可読媒体は、前述の技法の1つ又は複数のものを実行するべくプロセッサ又はDSPによって実行可能である命令(即ち、プログラムコード)を保存可能である。例えば、コンピュータ可読媒体は、磁気媒体、光学媒体、RAM(Random Access Memory)、ROM(Read-Only Memory)、NVRAM(Non-Volatile Random Access Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリ、又はプログラムコードを保存するためのその他の媒体を有することができる。
聴診音記録装置18は、患者8の聴診音を表す電子信号を生成する能力を有する任意の装置であってよい。一例として、聴診音記録装置18は、聴診音の電子的な記録を生成及びキャプチャするDSP(Digital Signal Processor)又はその他の内部コントローラを具備した電子聴診器であってよい。或いは、この代わりに、使い捨て/再使用可能なセンサ、マイクロフォン、及び聴診音をキャプチャするその他の装置などの非聴診器製品を使用することも可能である。
本明細書に記述されている技法を適用することにより、フィルタリングされていない形態の未加工のデータを利用可能である。又、本技法は、聴診音記録装置18によってキャプチャされた可聴範囲内ではない聴診音を利用することも可能である。例えば、電子聴診器は、0〜2000Hzの範囲の音響をキャプチャ可能である。
尚、別個の装置として示されているが、診断装置6及び聴診音記録装置18は、単一の装置として(例えば、本明細書に記述されている技法に従って患者8からの心音を記録及び分析する十分な演算リソースを具備した電子聴診器内に)統合可能である。通信リンク19は、有線のリンク(例えば、シリアル又はパラレル通信リンク)、無線赤外線通信リンク、或いは、プロプライエタリなプロトコル又は802.11(a/b/g)、Bluetooth(登録商標)、及びこれらに類似したものなどの様々な無線規格のいずれかに準拠した無線の通信リンクであってよい。
図2は、診断装置として動作することにより、患者8(図1)の診断を支援するPDA(Portable Digital Assistant)20の模範的な実施例のブロック図である。図示の実施例においては、PDA20は、接触感知画面22、入力キー26、28、及び29A〜29Dを含んでいる。
医師10が取得キー26を選択した際に、診断装置20は、取得モードに入り、記録された聴診音のデジタル化表現を通信リンク19を介して患者8から受信する。デジタル化表現の受信が完了すると、医師10は、診断キー28を起動することにより、構成データ13を適用すると共に、受信した聴診音に基づいて示唆診断を実施するように、診断装置20に対して命令する。或いは、この代わりに、診断装置20は、診断キー28の起動を必要とすることなしに、音響の処理を自動的に開始することも可能である。
後程詳述するように、診断装置20は、構成データ13を適用することにより、聴診音記録装置18から受信したデジタル化表現をデータ分析システム4によって演算された多次元エネルギー空間に対してマッピングしている。一般に、診断装置20は、患者8の聴診音が最も近接してマッピングされている多次元空間内に定義された疾病領域を判定する。この判定に基づいて、診断装置20は、接触感知画面22を更新することにより、1つ又は複数の示唆診断を医師10に対して出力する。この例においては、診断装置20は、患者8が大動脈弁狭窄を経験している可能性があると聴診音が通知しているということを通知する診断メッセージ24を出力している。又、診断装置は、患者8から記録された聴診音のグラフィカルな表現23を出力することも可能である。
診断装置20は、この装置を介して実行される分析のタイプを制御するいくつかの入力キー29A〜29Dを包含可能である。例えば、どの入力キー29A〜29Dが医師10によって選択されたかに基づいて、診断装置20は、合格/不合格タイプの診断メッセージ、患者8が現在経験している可能性のある1つ又は複数の病状、患者8が経験していると識別された1つ又は複数の病状、及び/又は患者8が傾向を有している1つ又は複数の病状の予報的な評価を提供する。
又、画面22又は入力キーにより、性別、年齢、及びBMI(体格指数=「体重(Kg)」/「身長(メートル)の二乗」)などの特定の患者情報を入力することも可能であろう。この情報は、本明細書に記述されている分析の際に使用することができよう。
図2に示されている実施例においては、診断装置20は、カリフォルニア州ミルピタス(Milpitas)に所在するPalm(登録商標)Inc.社によって製造されたPalmPilot(登録商標)又はワシントン州レドモンド(Redmond)に所在するMicrosoft(登録商標)Corporation社のWindows(登録商標)CEオペレーティングシステムを実行するPocketPC(登録商標)などの任意のPDAであってよい。
図3は、本明細書に記述されている技法に従って診断装置として動作する電子聴診器30の模範的な実施例の透視図である。図示の実施例においては、電子聴診器30は、チェストピース32、音響伝送メカニズム34、及びイアピースアセンブリ36を有している。チェストピース32は、聴診音を収集するべく患者8の身体の近傍又はこれに対して配置されるべく適合されている。音響伝送メカニズム34は、収集された音響をイアピースアセンブリ36に対して伝送する。イアピースアセンブリ36は、イアピースのペア37A、37Bを含んでおり、医師10は、これによって聴診音を監視可能である。
図示の実施例においては、チェストピース32は、診断メッセージ42を出力するためのディスプレイ40を含んでいる。更に詳しくは、電子聴診器30は、構成データ13を適用することにより、チェストピース32によってキャプチャされた聴診音をデータ分析システム4によって演算された多次元エネルギー空間に対してマッピングする内部コントローラ44を含んでいる。コントローラ44は、患者8の聴診音が最も近接してマッピングされているエネルギー空間内に定義された疾病領域を判定する。この判定に基づいて、コントローラ44は、ディスプレイ40を更新して診断メッセージ42を出力する。
尚、コントローラ44は、模範的な態様を示すべく、チェストピース32内に配置されるものとして図示されているが、電子聴診器30のその他の領域内に配置することも可能である。コントローラ44は、組み込み型のマイクロプロセッサ、DSP、FPGA、ASIC、又は本技法を実装するための類似のハードウェア、ファームウェア、及び/又はソフトウェアを有することができる。コントローラ44は、本明細書に記述されている技法の1つ又は複数のものを実行するべく実行可能であるコンピュータ可読命令(即ち、プログラムコード)を保存するためのコンピュータ可読媒体を包含可能である。
図4は、本明細書に記述されている技法の概要を提供するフローチャートである。図4に示されているように、本プロセスは、大きく2つの段階に分割可能である。第1の段階は、パラメトリック分析段階と呼ばれるものであり、ここでは、SVDを使用して臨床データ12(図1)を分析することにより、診断装置6用の構成データ13を生成している。このプロセスは、演算集約的なものとなろう。第2段階は、診断段階と呼ばれるものであり、ここでは、診断装置6によって分析段階の結果を適用することにより、患者の診断を支援している。説明のために、図1を参照して図4のフローチャートについて説明する。
まず、臨床データ12を収集し(50)、特異値分解(52)のためにデータ分析システム4に提供している。前述のように、臨床データ12は、既知の心臓病の状態を具備した患者の組からの聴診音の電子的な記録を有している。
データ分析システム4の分析モジュール14は、本明細書に記述されている技法に従って臨床データ12の心音の記録を分析することにより、その電子的に記録された心音を表す疾病領域の組を多次元空間内に定義している(52)。多次元空間内のそれぞれの疾病領域は、個別の疾病を表すものと数学的に識別された心臓サイクル内の音響に対応している。分析モジュール14は、分析の結果をパラメータデータベース16内に保存している(54)、具体的には、この結果は、患者の聴診音を生成された多次元空間に対してマッピングするべく診断装置6によって使用される構成データ13を含んでいる。分析モジュール14による臨床データ12の処理が完了したら、診断装置6が、患者18の診断を支援するべく、構成データ13を受信する(或いは、さもなければ、これを適用するべくプログラムされている)(56)。従って、データ分析システムは、SVDを含む本明細書に記述されている技法を適用して既知の生理的状態を具備した患者からの記録された聴診音の代表的なサンプルセットを分析することにより、リアルタイム又は擬似リアルタイムで適用可能であるパラメータデータを生成しているものと見なすことができる。
診断段階は、聴診音記録装置18が患者8から聴診音をキャプチャした際に始まることになる。診断装置6は、構成データ13を適用することにより、聴診音記録装置18から受信した心音をデータ分析システム4によって臨床データ12から演算された多次元エネルギー空間に対してマッピングしている(58)。心臓病の聴診音の場合には、診断装置6は、患者8の心音の記録において識別されている1つ又は複数の心臓サイクルのリアルタイム診断を反復することにより、医者10に対して正確な診断が報告されることを保証するべく支援可能である。診断装置6は、構成の適用と患者の聴診音の多次元空間に対するマッピングに基づいて診断メッセージを出力する(59)。
図5は、パラメトリック分析段階(図4)について更に詳しく示しているフローチャートである。まず、既知の心臓病の状態を具備した患者の組から臨床データ12を収集している(60)。一実施例においては、それぞれの記録は、約8秒の聴診心音をキャプチャしており、これは、70拍動/分の心拍数において、約9.33個の心臓サイクルを表している。それぞれの記録は、32,000個の離散値を具備したベクトルR(これは、約4000Hzのサンプリングレートを表している)としてデジタルの形態で保存されている。
図6を参照して後程詳述するように、それぞれの心音の記録Rを前処理している(62)。この前処理においては、分析モジュール12は、ベクトルRを処理することにより、それぞれの心臓サイクルの開始時点及び終了時点を識別している。更には、分析モジュール14は、それぞれの心臓サイクル中の収縮期及び拡張期並びにS1及びS2期間の開始及び終了時点を識別している。これらの識別結果に基づいて、分析モジュール14は、それぞれの心臓サイクルを共通の心拍数(例えば、70拍動/分)に正規化している。換言すれば、分析モジュール14は、定義された期間(例えば、約857msであり、これは、70拍動/分の心拍数に対応している)に整合するように心臓サイクルと関連したデータを伸長又は圧縮するべく、それぞれの心臓サイクルに対応したデジタル化データをリサンプリング可能である。
それぞれの個別の心臓の記録を前処理した後に、分析モジュール14は、特異値分解(SVD)を臨床データ12に対して適用することにより、多次元エネルギー空間を生成すると共に、聴診音の特性に相関している疾病領域を多次元エネルギー空間内に定義している(64)。
更に詳しくは、分析モジュール14は、同一の既知の心臓病の状態を具備した患者のN個の前処理済みの音響記録Rを組み合わせることにより、MxNの行列Aを次のように形成している。
Figure 2008528124
ここで、それぞれの行は、M個のデジタル化値(例えば、3400個の値)を具備した異なる音響記録Rを表している。
次に、分析モジュール14は、SVDを適用することにより、Aを3つの部分行列の積に分解している。
A=UDVT
ここで、Uは、直交列を有するNxMの行列であり、Dは、MxMの非負対角行列であり、Vは、MxMの直交行列である。この関係は、次のようにも表現可能である。
TAV=diag(S)=diag(σ1,...,σp
ここで、行列S(σ1,...,σp)の要素は、Aの特異値である。このSVD表現において、Uは、左特異行列であり、Vは、右特異行列である。又、Uは、行列Aを最良に定義するそれぞれのRにおける特性を定義するMxMの重み付け行列と見なすことも可能である。更に詳しくは、SVDの原理によれば、U行列は、行列AをM次元空間内の定義された領域に対してマッピングする重み付け行列を提供している。
分析モジュール14は、それぞれの心臓病の状態について、このプロセスを反復する。換言すれば、分析モジュール14は、「正常」な患者の音響記録Rを利用して対応する行列ANORMALを演算すると共に、SVDを適応してUNORMAL行列を生成している。同様に、分析モジュールは、それぞれの病状ごとに、A行列及び対応するU行列を演算している。例えば、分析モジュール14は、UAS、UAR、UTR、及び/又はUDISEASEDを生成可能であり、この場合に、「AS」は、大動脈弁狭窄を有しているとその他の診断ツールによって判明している一人の患者又は患者の集団から生成されたU行列を表している。同様に、添え字「AR」は、大動脈弁閉鎖不全を表しており、添え字「TR」は、三尖弁逆流を表している。
次いで、分析モジュール14は、演算されたU行列のそれぞれとその他のU行列をペアとして乗算すると共に、心臓病の状態間を弁別する特性を最良に特徴付けているU行列の部分を識別するべく、結果的に得られた行列に対してSVDを実行している。例えば、UNORMAL、UAS、及びUARという行列を仮定した場合には、分析モジュールは、次の行列を演算している。
T1=UNORMAL*UAS
T2=UNORMAL*UAR、及び
T3=UAS*UAR
次いで、分析モジュール14は、この結果得られた行列T1、T2、及びT3のそれぞれに対してSVDを適用しており、この結果、この場合にも、それぞれの心臓病の状態間における多次元空間内のエネルギー差を極大化するそれぞれのオリジナルのU行列の部分を識別するのに使用可能である部分行列の組が返されることになる。例えば、T1に対してSVDを適用して演算された行列を使用することにより、多次元空間内の個別の疾病領域の直交性を極大化するUNORMAL及びUASの部分を識別可能である。
この結果、T1を使用することにより、UNORMAL及びUASを(診断において相対的に効率的に適用可能である)部分行列にトリミング(或いは、さもなければ、縮小)可能である(64)。例えば、T1、T2、及びT3のそれぞれに対してSVDを適用して演算されたS行列を使用可能である。逆コサインをそれぞれのS行列に対して適用することにより、多次元空間内の個別の2つの心臓病の状態間におけるエネルギー角度を演算可能である。次いで、このエネルギー角度を使用することにより、多次元空間内の疾病領域間におけるエネルギー差を最良に表すそれぞれのU行列の部分を識別可能である。
次いで、分析モジュールは、それぞれの心臓病の状態ごとに平均ベクトルAVを演算している(66)。具体的には、心臓病データ12から生成されたそれぞれのMxNのA行列ごとに、分析モジュール14は、行列A内のN個の音響記録Rから演算された平均デジタル化値を保存する1xNの平均ベクトルAVを演算している。例えば、分析モジュール14は、AVAS、AVAR、AVTR、及び/又はAVDISEASEDベクトルを演算可能である。
分析モジュール14は、演算されたAV平均ベクトル及びUベクトル(又は、縮小されたU行列)を、構成データ13として使用するべく、パラメータデータベース16内に保存している。例えば、分析モジュール14は、診断装置6によって構成データ13として使用されるように、AVAS、AVAR、AVTR、UNORMAL、UAS、及びUARを保存可能である(68)。
図6は、聴診音の記録Rを前処理する一技法を更に詳細に示しているフローチャートである。一般に、この前処理法においては、聴診音の記録Rを複数の心臓サイクルに分離すると共に、それぞれの心臓サイクルを(第1心音、収縮期部分、第2心音、及び拡張期部分からなる)4つの部分に更に分離している。この前処理法においては、雑音を抑圧するべくSEE(Shannon Energy Envelogram)を適用している。次いで、心音ピークの相対的な一貫性を利用することにより、SEEに閾値を設定している。使用する閾値は、その特定の聴診音の記録Rに基づいて適応的に生成可能である。
まず、分析モジュール14は、聴診音の記録Rに対してウェーブレット分析を実行することにより、記録内においてエネルギー閾値を識別している(70)。例えば、ウェーブレット分析によれば、特定の周波数範囲間のエネルギー閾値を入手可能である。換言すれば、デジタル化された記録のエネルギーの重要な部分を含む特定の周波数範囲を識別可能である。
識別されたエネルギー閾値に基づいて、分析モジュール14は、聴診音の記録Rを1つ又は複数の周波数帯域に分解している(72)。分析モジュール14は、それぞれの周波数帯域内の信号の特性を分析することにより、それぞれの心臓サイクルを識別する。具体的には、分析モジュール14は、周波数帯域を調査することにより、心臓サイクルの収縮期及び拡張期段階と、特定の心臓弁膜の活動が発生するS1及びS2期間を識別している(74)。それぞれの心臓サイクルをセグメントするために、分析モジュール14は、まず、低域通過フィルタ(例えば、1kHzのカットオフ周波数を有する8次Chebyshevタイプの低域通過フィルタ)を適用可能である。次いで、0.01秒のセグメントのオーバーラップを有する聴診音の記録Rの0.02秒セグメントごとに、平均SEEを次のように算出可能である。
Figure 2008528124
ここで、Xnormは、低域通過フィルタリング及び正規化された音響記録のサンプルであり、Nは、0.02秒のセグメント内の信号サンプルの数である(例えば、Nは、200に等しい)。次いで、正規化済みの平均シャノンエネルギー対時間軸を次のように演算可能である。
Figure 2008528124
ここで、M(ES(t))は、ES(t)の平均であり、S(ES(t))は、ES(t)の標準偏差である。次いで、これらの平均及び標準偏差を、それぞれの心臓サイクルにおけるピーク及びそれぞれの心臓サイクルにおけるそれぞれのセグメントの開始及び終了時点を識別するための基礎として使用する。
聴診音の記録R内におけるそれぞれの心臓サイクル及びそれぞれのS1及びS2期間の開始及び終了時点の判定が完了したら、分析モジュール14は、それぞれの心臓サイクル及びそれぞれのS1及びS2期間が所定の期間において発生するように伸長又は圧縮するべく、聴診音の記録Rをリサンプリングしている(76)。例えば、分析モジュール14は、それぞれの心臓サイクルを共通の心拍数(例えば、70拍動/分)に正規化可能であり、且つ、サイクル内のそれぞれのS1及びS2期間が等しい時間長に対応するように保証可能である。これにより、有利には、心臓の活動の様々なフェーズにおける聴診音の記録Rの各部分を相対的に容易且つ正確に分析すると共に、その他の聴診音の記録の類似した部分と比較可能である。
デジタル化された音響記録R内の心臓サイクルを正規化した後に、分析モジュール14は、分析のために、1つ又は複数の心臓サイクルを選択している(78)。例えば、分析モジュール14は、心臓サイクル内に存在している雑音の量に基づいて心臓サイクルの中から「最もクリーン」なものを識別可能である。その他の例として、分析モジュール14は、分析のために、すべての心臓サイクルの平均又はランダムに選択された複数の心臓サイクルの平均を演算することも可能である。
図7は、図6を参照して前述したウェーブレット分析及びエネルギー閾値設定の例示用の結果を示している。具体的には、図7は、音響記録Rの一部を示している。この例においては、分析モジュール14は、模範的な聴診音の記録Rを4つの周波数帯域80A〜80Dに分解しており、それぞれの周波数帯域は、個別の周波数成分82A〜82Dを含んでいる。
分解結果に基づいて、分析モジュール14は、心臓サイクルの各段階を表している聴診音に対する変化を検出する。分解された周波数を分析すると共に、関係する特性(例えば、1つ又は複数の周波数帯域80内のスロープの変化)を識別することにより、分析モジュール14は、収縮期及び拡張期と、特に、S1及びS2期間の開始及び終了を確実に検出可能である。
図8は、聴診音の記録Rの例示用のデータ構造84を示している。図示のように、データ構造84は、聴診音の記録Rを表すデジタル化データを保存する1xNのベクトルを有することができる。又、前処理及びリサンプリングに基づいて、データ構造84は、固定数の心臓サイクルにおけるデータを保存しており、それぞれのS1及びS2領域は、データ構造の予め定義されている部分を占有している。例えば、第1心臓サイクルにおけるS1領域86は、データ構造84の要素0〜399を有することが可能であり、第1心臓サイクルの収縮期領域87は、要素400〜1299を有することができる。これにより、前述のように、複数の聴診音の記録Rを容易に組み合わせることにより、所与の心臓サイクルにおけるS1及びS2領域が列アライメントされたMxNの行列Aを形成可能である。
図9は、診断段階(図4)を更に詳細に示しているフローチャートである。まず、聴診データを患者8から収集している(90)。前述のように、聴診データは、別個の聴診音記録装置18(例えば、電子聴診器)によって収集し、通信リンク19を介して診断装置6に伝送可能である。別の実施例においては、診断装置6の機能を聴診音記録装置18内に統合可能である。パラメトリック分析段階と同様に、収集された聴診記録は、略8秒の聴診音を患者8からキャプチャしており、3400個の離散値を具備したベクトルRPATとしてデジタルの形態で保存可能である。
聴診データRPATをキャプチャした後に、診断装置6は、図6を参照して先程詳述したように、心音記録RPATを前処理している(92)。この前処理においては、診断装置6は、ベクトルRPATを処理することにより、それぞれの心臓サイクルの開始時点及び終了時点と、それぞれの心臓サイクルの収縮期及び拡張期並びにS1及びS2期間の開始及び終了時点を識別している。これらの識別結果に基づいて、診断装置6は、それぞれの心臓サイクルを共通の心拍数(例えば、70拍動/分)に正規化している。
次いで、診断装置6は、分析段階において調査されているそれぞれの生理的状態ごとに、構成データ13を適用するループを起動する。例えば、診断装置は、AVAS、AVAR、AVTR、UNORMAL、UAS、及びUARの構成データを利用して患者8の診断を支援可能である。
診断装置6は、まず、第1の生理的状態(例えば、正常)を選択している(93)。次いで、診断装置6は、キャプチャされた聴診音ベクトルRPATから対応する平均ベクトルAVを減算することにより、差分ベクトルDを生成している(94)。結果的に得られるDのデジタル化データが、キャプチャされた心音ベクトルRPATと現時点において選択されている生理的状態の間の差を表しているため、Dは、一般に差分ベクトルと呼ばれている。例えば、診断装置6は、DNORMALを次のように算出可能である。
NORMAL=RPAT−AVNORMAL
次いで、診断装置6は、結果的に得られた差分ベクトルDに、現時点において選択されている生理的状態の対応するU行列を乗算することにより、現時点において選択されている心臓病の状態との関連において患者8を表しているベクトルPを生成している(96)。例えば、診断装置6は、PNORMALベクトルを次のように算出可能である。
NORMAL=DNORMAL*UNORMAL
対応するU行列を差分ベクトルDに対して乗算することにより、事実上、多次元空間内の対応する疾病領域と関連している重み付け行列が適用され、多次元空間内にベクトルPが生成されることになる。現在の心臓病の状態の疾病領域に対するベクトルPのアライメントは、結果的に得られる差分ベクトルD及び分析段階において判定されるU行列の正規性によって左右される。
診断装置6は、このプロセスを多次元空間内に定義されているそれぞれの心臓病の状態ごとに反復することにより、患者8から記録された聴診音を表しているベクトルの組を生成している(98、106)。例えば、構成データ13がAVAS、AVAR、AVTR、UNORMAL、UAS、及びUARを有していると仮定した場合には、診断装置6は、4つの患者ベクトルを次のように算出する。
NORMAL=DNORMAL*UNORMAL
AS=DAS*UAS
AR=DAR*UAR、及び
TR=DTR*UTR
このベクトルの組は、分析段階において生成された多次元空間内の患者8から記録された聴診音を表している。従って、このそれぞれのベクトルと、対応する疾病領域の間の距離は、患者8からの聴診音の特性と、個別の心臓病の状態を具備することが判明している患者の聴診音の特性の間の類似性の尺度を表している。
次いで、診断装置6は、多次元空間内のベクトル及び疾病領域の向きの関数として疾病領域の1つを選択する。一実施例においては、診断装置は、エネルギー空間内に定義されているどの疾病領域が代表的なベクトルから最小の距離を具備しているのかを判定している。例えば、診断装置6は、まず、それぞれのベクトルと、定義されている疾病領域の間の最小の角度距離を表すエネルギー角度を算出している(100)。前述の例を継続すれば、診断装置6は、次の4つの距離計測値を演算可能である。
DISTNORMAL=PNORMAL−MIN[PAS,PAR,PTR]、
DISTAS=PAS−MIN[PNORMAL,PAR,PTR]、
DISAR=PAR−MIN[PAS,PNORMAL,PTR]、及び
DISTR=PTR−MIN[PAS,PAR,PNORMAL
具体的には、それぞれの距離計測値DISTは、それぞれの患者ベクトルPと、多次元空間内の定義されているそれぞれの疾病領域の平均の間の2次元距離である。
演算された距離に基づいて、診断装置6は、最小の距離計測値を識別すると共に(102)、患者8用の示唆診断を判定することにより、医師10を支援している。例えば、患者ベクトルの組のなかで、PASが、その個別の疾病空間(即ち、AS疾病領域)から最小の距離だけ離隔している場合には、診断装置6は、患者8が大動脈弁狭窄を経験している可能性が高いと判定する。診断装置6は、この識別結果に基づいて代表的な診断メッセージを医師10に対して出力している(104)。メッセージを出力する前に、診断装置6は、患者8の記録された心音において識別されている1つ又は複数の心臓サイクルについて分析を反復することにより、正確な診断が医師10に対して報告されることを保証するべく支援可能である。
(例)
本明細書に記述されている技法を「正常」な心臓の活動又は大動脈弁狭窄のいずれかを具備していると判明している患者の組の臨床データに対して適用した。具体的には、例示用の臨床データに基づいて多次元空間を生成した後に、本明細書に記述されている技法に従って患者をリアルタイムで評価した。
次の表は、正常な心臓の状態を具備していると判明している患者の聴診音の距離計算を示している。具体的には、それぞれの患者の計測された心臓サイクルのそれぞれごとにベクトルを演算した。表1は、正常な心臓の状態と関連した多次元空間内の疾病領域との関係におけるベクトルの距離(ボルトと単位として計測したもの)を示している。
Figure 2008528124
表2は、大動脈弁狭窄を具備していると判明している患者の聴診音の距離計算(ボルトを単位として計測したもの)を示している。具体的には、表2は、大動脈弁狭窄の心臓病の状態と関連した多次元空間内の領域との関係におけるベクトルのエネルギー距離を示している。
Figure 2008528124
表1及び表2に示されているように、これらのベクトルは、多次元空間内において明確に分離されており、これは、診断を容易に実行可能であることを示している。5人の患者のすべてが、同様のパターンを示している。
図10A及び図10Bは、模範的な結果を概略的に示すグラフである。具体的には、図10A及び図10Bは、正常なデータとの比較において大動脈弁狭窄データを示している。同様に、図11A及び図11Bは、正常なデータとの比較において三尖弁逆流データを示すグラフである。図12A及び図12Bは、三尖弁逆流データとの比較において大動脈弁狭窄データを示すグラフである。一般に、図10A、図10B、図11A、及び図11Bのグラフは、本技法によれば、正常なデータ及び疾病に関係したデータの実質的にオーバーラップしていないデータが結果的に得られることを示している。
図13は、聴診音の記録Rの前処理用の別の技法を示すフローチャートである。具体的には、図14は、本明細書に記述されているSVDプロセス又はその他の主成分分析法によって使用されるメル−ケプストラム係数を生成するための音声認識法の適用法を示している。図6との関係において説明した前処理法とは異なり、聴診音の記録Rに対して音声認識技術を適用することにより、聴診音の記録Rの心臓サイクルへの分離と、それぞれの心臓サイクルの(第1心音、収縮期部分、第2心音、及び拡張期部分からなる)4つの部分への更なる分離を実行する必要性を除去可能である。セグメント化は、演算集約的であり、且つ、時間を所要することになろう。
一般に、ケプストラムとは、信号の対数スペクトルの離散コサイン変換のことであり、一般に、スピーチ認識システムにおいて使用されている。メル−ケプストラムとは、ケプストラムの1つの変形バージョンであり、ケプストラムの演算の際に周波数ドメインを不均等に分割することによって人間の聴覚系を利用するべく設計されている。
まず、分析モジュール14は、FFTアルゴリズム及びハニングウィンドウを使用することにより、聴診音の記録Rの離散フーリエ変換(Discrete Fourier Transform:DFT)を演算している(200)。次いで、分析モジュール14は、DFT(R)を、可聴範囲においてM個の不均等なサブ帯域に分割している(202)。具体的には、分析モジュール14は、可聴範囲の低周波数部分をN個の均等なサブ帯域に分割可能である。例えば、20〜500Hzの周波数範囲を12個のサブ帯域に線形分割可能である。次に、上部の周波数帯域をN個のサブ帯域に対数的に分割する。例えば、500〜200Hzを12個のサブ帯域に分割可能である。このように分割する1つの理由は、高周波数帯域内の可聴成分が雑音である可能性があるためである。
次いで、分析モジュール14は、結果的に得られた信号を大きさ−周波数表現として生成し、定義されたサブ帯域のそれぞれごとに、メル−ケプストラム係数を判定している(204)。メル−ケプストラムベクトル(c=[c1,c2,...,cK])は、聴診音ベクトルRの離散コサイン変換(DCT)から次のように演算可能である。
Figure 2008528124
ここで、Mは、サブ帯域の数を表している。
具体的には、分析モジュール14は、疾病状態間における可変性を最も表しているメル−ケプストラム係数の成分を選択し、それらの係数を本明細書に記述されているSVDプロセスに対する入力として使用することにより、多次元空間内の疾病領域及びそれらの境界を定義している(206)。この場合には、SVD分析において、聴診音ベクトルを使用する代わりに、判定されたメル−ケプストラム係数のベクトルを使用することになる。メル−ケプストラムに基づいた主成分分析の一例は、A. E. Cetin 他著, "Classification of Closed- and Open-Shell Pistachio Nuts using Voice-Rcognition Technology",(Transactions of ASAE、2004年、47(2)巻、659〜664頁)に記述されており、この内容は、本引用により、本明細書に包含される。その他の実施例においては、特徴抽出のために、回帰モデリング、ニューラルネットワーク、又はエキスパートシステムの使用などのあらゆるパラメトリック及び非パラメトリック法を使用可能である。
図14〜図17は、単一の疾病状態(この例においては、大動脈弁閉鎖不全)における模範的なメル−ケプストラム係数を示すグラフである。具体的には、図14は、0〜500Hzの周波数範囲において判定されたメル−ケプストラム係数の大きさをプロットしたグラフである。図示のように、本技法は、低周波数(例えば、0〜140Hz)のサブ帯域には、線形スケールを利用しており、高周波数(例えば、140〜500Hz)には、対数スケールを利用している。
図15は、大動脈弁閉鎖不全のメル−ケプストラム係数の大きさ対それぞれの周波数帯域におけるFFT値をプロットしたグラフである。
図16は、0〜500Hzの周波数範囲におけるメル−ケプストラム表現の知覚ピッチをプロットしたグラフである。
図17は、0〜500Hzの周波数範囲において模範的な疾病領域について判定されたメル−ケプストラム係数の大きさをプロットしたグラフである。
以上、本発明の様々な実施例について説明した。例として、音響の記録を参照することにより、説明しているが、患者からのその他の電子的な記録に対して本技法を適用することも可能であろう。例えば、本技法は、患者から電子的に検知された心電図の記録に対して適用可能である。これら及びその他の実施例も、添付の請求項の範囲に属している。
診断装置が本明細書に記述されている技法に従って聴診音を分析することによって患者の診断を実施する際に医師を支援する例示用のシステムを示すブロック図である。 本明細書に記述されている技法に従って診断装置として動作するPDA(Portable Digital Assistant)の模範的な実施例のブロック図である。 診断装置として動作する電子聴診器の模範的な実施例の透視図である。 本明細書に記述されている技法の概要を提供するフローチャートである。 特異値分解を臨床データに対して適用するパラメトリック分析段階を示すフローチャートである。 聴診音の記録の模範的な前処理を示すフローチャートである。 聴診音の記録の前処理の際におけるウェーブレット分析及びエネルギー閾値設定の例示用結果のグラフを示す図である。 聴診音の記録の模範的なデータ構造を示す図である。 診断装置がパラメトリック分析段階からの構成データを適用することによって患者の聴診音のデジタル化表現に対する推奨の診断を提供するリアルタイム診断段階を示すフローチャートである。 大動脈弁狭窄のデータを正常なデータと比較することによって本技法の模範的な結果のグラフを示す図である。 大動脈弁狭窄のデータを正常なデータと比較することによって本技法の模範的な結果のグラフを示す図である。 三尖弁逆流のデータを正常なデータと比較することによって本技法の模範的な結果のグラフを示す図である。 三尖弁逆流のデータを正常なデータと比較することによって本技法の模範的な結果のグラフを示す図である。 大動脈弁狭窄のデータを三尖弁逆流のデータと比較することによって本技法の模範的な結果のグラフを示す図である。 大動脈弁狭窄のデータを三尖弁逆流のデータと比較することによって本技法の模範的な結果のグラフを示す図である。 SVCを適用する前に音声認識法を使用して聴診音の記録を前処理する別の模範的な技法を示すフローチャートである。 多次元空間内において疾病を演算するための音声認識法、並びに、特に、メル−ケプストラム係数の使用法の模範的なグラフを示す図である。 多次元空間内において疾病を演算するための音声認識法、並びに、特に、メル−ケプストラム係数の使用法の模範的なグラフを示す図である。 多次元空間内において疾病を演算するための音声認識法、並びに、特に、メル−ケプストラム係数の使用法の模範的なグラフを示す図である。 多次元空間内において疾病を演算するための音声認識法、並びに、特に、メル−ケプストラム係数の使用法の模範的なグラフを示す図である。

Claims (43)

  1. 既知の生理的状態と関連する聴診音に対して音声認識を適用することにより、音声認識係数を生成するステップと、
    前記係数を多次元空間内に定義された1つ又は複数の疾病領域の組に対してマッピングするステップと、
    を有する方法。
  2. 音声認識を適用するステップは、
    前記聴診音のそれぞれを複数のサブ帯域に分割するステップと、
    前記サブ帯域のメル−ケプストラム係数を演算するステップと、
    を有する請求項1記載の方法。
  3. 前記係数と前記多次元空間内に定義された前記疾病領域の関数として前記患者の生理的状態と関連する診断メッセージを出力するステップを更に有する請求項1記載の方法。
  4. 診断メッセージを出力するステップは、
    前記多次元空間の前記疾病領域の中の1つを選択するステップと、
    前記選択結果に基づいて前記診断メッセージを出力するステップと、
    を有する請求項3記載の方法。
  5. 前記疾病領域の中の1つを選択するステップは、
    前記係数のベクトルから前記多次元空間内において複数のベクトルを演算するステップと、
    前記ベクトルのいずれが、その個別の疾病領域から最小距離を具備しているのかを識別するステップと、
    前記識別されたベクトルと関連する前記疾病領域を選択するステップと、
    を有する請求項4記載の方法。
  6. 前記多次元空間内のそれぞれの疾病領域は、前記個別の生理的状態のインジケータとして識別された前記既知の生理的状態と関連する前記聴診音の特性によって定義されている請求項1記載の方法。
  7. 診断メッセージを出力するステップは、異常な生理的状態が検出されたかどうかを通知する合格/不合格メッセージを出力するステップを有する請求項3記載の方法。
  8. 診断メッセージを出力するステップは、患者が現在経験している1つ又は複数の特定の病状を識別する診断メッセージを出力するステップを有する請求項3記載の方法。
  9. 診断メッセージを出力するステップは、前記患者が前記生理的状態の中の1つ又は複数のものに陥りやすいことを通知する前記診断メッセージを出力するステップを有する請求項3記載の方法。
  10. 診断メッセージを出力するステップは、ユーザー構成が可能なモードに基づいて前記診断メッセージのメッセージタイプを選択するステップを有する請求項3記載の方法。
  11. 前記メッセージタイプは、合格/不合格メッセージタイプ、示唆診断メッセージタイプ、及び予報的な診断メッセージタイプの中の1つを有する請求項3記載の方法。
  12. 前記多次元空間内の前記ベクトルの少なくとも1つと正常な領域から算出された距離に基づいて重大性インジケータを出力するステップを更に有する請求項5記載の方法。
  13. 聴診音をマッピングするステップは、
    前記係数を保存する行列の組を生成するステップであって、それぞれの行列は、前記生理的状態の中の異なるものと関連付けられている、ステップと、
    前記行列のそれぞれに対して特異値分解(Singular Value Decomposition:SVD)を適用することにより、前記多次元空間内の前記疾病領域を定義する部分行列の個別の組を演算するステップと、
    を有する請求項1記載の方法。
  14. 行列の組を生成するステップは、
    フィルタリングされていない未加工のフォーマットにおいてデジタル化表現を保存するべく前記行列の組を生成するステップを有する請求項13記載の方法。
  15. 診断装置用の構成データとして使用するべく、前記部分行列の中の1つ又は複数のものの少なくとも一部をデータベース内に保存するステップを更に有する請求項13記載の方法。
  16. 前記行列の組に対してSVDを適用することによって生成された構成データに従って診断装置をプログラムするステップであって、前記構成データは、前記異なる生理的状態と関連する前記部分行列の中の少なくとも1つを含んでいる、ステップと、
    前記診断装置によって前記構成データを前記患者と関連する前記聴診音のデジタル化表現に対して適用することにより、前記多次元空間内に前記ベクトルを生成するステップと、
    を更に有する請求項13記載の方法。
  17. SVDを適用するステップは、SVDを適用することにより、前記行列の組からなる行列Aを3つの部分行列の積に次のように分解するステップを有しており、
    A=UDVT
    ここで、Uは、直交列を有するNxMの行列であり、Dは、MxMの非負対角行列であり、Vは、MxMの直交行列である請求項13記載の方法。
  18. 前記演算されたU行列のそれぞれに対して前記その他のU行列をペアとして乗算することにより、行列Tの組を演算するステップと、
    前記結果的に得られた行列Tのそれぞれに対してSVDを実行することにより、それぞれの行列Tを部分行列の個別の組に分解するステップと、
    前記行列Tのそれぞれから生成された前記部分行列を適用することにより、前記患者の診断において使用される前記U行列の部分を識別するステップと、
    を更に有する請求項17記載の方法。
  19. 前記行列Tのそれぞれから生成された前記部分行列を適用するステップは、前記行列Tのそれぞれから生成された前記部分行列を適用することにより、前記多次元空間内の前記個別の疾病領域の直交性を極大化する前記U行列の部分を識別するステップを有する請求項18記載の方法。
  20. 前記行列の組から個別の平均ベクトルを演算するステップであって、それぞれの平均ベクトルは、前記個別の生理的状態と関連する前記聴診音の前記デジタル化表現の平均を表している、ステップと、
    前記診断装置によって前記平均ベクトル及び前記構成データを前記患者と関連する前記聴診音に対して適用することにより、前記多次元空間内に前記ベクトルの組を生成するステップと、
    を更に有する請求項13記載の方法。
  21. 前記診断装置によって前記平均ベクトル及び前記構成データを適用するステップは、
    前記患者と関連する前記聴診音を表すベクトルから前記対応する平均ベクトルを減算することにより、差分ベクトルの組を生成するステップであって、それぞれの差分ベクトルは、前記多次元空間内の前記疾病領域の中の異なるものに対応している、ステップと、
    前記構成データの前記部分行列を前記差分ベクトルに対して適用することにより、前記患者と関連する前記聴診音を表す前記ベクトル表現を生成するステップと、
    を有する請求項20記載の方法。
  22. 前記構成データの前記部分行列を適用するステップは、前記差分ベクトルに対して前記U行列の中の対応するものを乗算することにより、前記患者に関連する前記聴診音を表す前記ベクトルの中の個別のものを生成するステップを有する請求項21記載の方法。
  23. 聴診音をマッピングするステップは、主成分分析を前記音声認識係数に対して適用することにより、前記多次元空間内の前記疾病領域及びそれらの境界を定義するステップを有する請求項1記載の方法。
  24. 聴診音をマッピングするステップは、前記音声認識係数をニューラルネットワークに対して適用することにより、前記多次元空間内の前記疾病領域及びそれらの境界を定義するステップを有する請求項1記載の方法。
  25. 既知の生理的状態と関連する前記聴診音のそれぞれは、複数の心臓サイクルにわたって記録された音響のデジタル化表現を有する請求項1記載の方法。
  26. 前記生理的状態は、正常な生理的状態、大動脈弁閉鎖不全、大動脈弁狭窄、三尖弁逆流、三尖弁狭窄、肺動脈弁狭窄、肺動脈弁逆流、僧帽弁逆流、大動脈瘤、頸動脈狭窄、及び僧帽弁狭窄の1つ又は複数のものを含んでいる請求項1記載の方法。
  27. 第1装置を使用して前記患者と関連する前記聴診音をキャプチャするステップと、
    前記キャプチャされた聴診音のデジタル化表現を前記第1装置から第2装置に伝達するステップと、
    前記第2装置によって前記デジタル化表現を分析することにより、前記係数を生成するステップと、
    前記第2装置によって前記診断メッセージを出力するステップと、
    を更に有する請求項1記載の方法。
  28. 前記第1装置は、電子聴診器を有する請求項27記載の方法。
  29. 前記第2装置は、モバイル演算装置、PDA(Personal Digital Assistant)、及び心エコー図分析器の中の1つを有する請求項27記載の方法。
  30. 電子聴診器を使用して前記患者と関連する前記聴診音をキャプチャするステップと、
    前記電子聴診器によって前記デジタル化表現を分析することにより、前記係数を生成するステップと、
    前記診断メッセージを前記電子聴診器のディスプレイに出力するステップと、
    を更に有する請求項1記載の方法。
  31. 前記生理的状態は、心臓病の状態を有しており、前記患者と関連する前記聴診音は、心音を有する請求項1記載の方法。
  32. 前記患者と関連する前記聴診音は、肺の音響を有する請求項1記載の方法。
  33. 既知の生理的状態と関連する聴診音のデジタル化表現に対して音声認識を適用することによって生成されたデータを保存する媒体と、
    患者と関連する聴診音を表すデジタル化表現に対して前記構成データを適用することにより、前記生理的状態の中の1つを選択する制御ユニットと、
    を有し、
    前記制御ユニットは、前記生理的状態の中の前記選択されたものについて通知する診断メッセージを出力する診断装置。
  34. 前記制御ユニットは、前記構成データを前記患者と関連する前記聴診音を表す前記デジタル化表現に適用することにより、定義された疾病領域の組を具備した多次元空間内に1つ又は複数のベクトルの組を生成し、
    前記制御ユニットは、前記多次元空間内の前記疾病領域との関係における前記ベクトルの向きに基づいて前記生理的状態の中の1つを選択する請求項33記載の診断装置。
  35. 前記ベクトルのそれぞれは、前記疾病領域の中の個別の1つに対応しており、前記制御ユニットは、前記ベクトルのそれぞれと前記個別の疾病領域の間の距離の関数として前記前記疾病領域の中の1つを選択する請求項34記載の診断装置。
  36. 前記構成データは、前記既知の生理的状態と関連する前記聴診音の前記デジタル化表現に対してSVDを適用することによって生成された部分行列を有する請求項34記載の診断装置。
  37. 前記診断装置は、モバイル演算装置、PDA(Personal Digital Assistant)、心エコー図分析器、及び電子聴診器の中の1つを有する請求項33記載の診断装置。
  38. 既知の生理的状態と関連する電子的な記録のデジタル化表現に対して音声認識及び主成分分析(Principle Component Analysis:PCA)を適用することにより、前記聴診音を多次元空間内の1つ又は複数の疾病領域の組に対してマッピングする分析モジュールと、
    分析モジュールによって生成されたデータを保存するデータベースと、
    を有するデータ分析システム。
  39. 前記電子的な記録は、心エコー図を有する請求項38記載のデータ分析システム。
  40. 前記電子的な記録は、聴診音のデジタル化表現を有する請求項38記載のデータ分析システム。
  41. 前記分析モジュールは、前記生理的状態と関連する前記聴診音の前記デジタル化表現を保存する行列の組を生成し、この場合に、それぞれの行列は、前記生理的状態の中の異なるものと関連付けられていると共に、前記個別の生理的状態と関連する前記聴診音の前記デジタル化された表現を保存しており、
    前記分析モジュールは、前記行列のそれぞれに対してPCAを適用することにより、前記行列を、前記多次元空間内の前記疾病領域を定義する部分行列の個別の組に分解し、
    前記分析モジュールは、前記疾病領域のそれぞれ用の前記部分行列の中の少なくとも1つを前記データベース内に保存する請求項38記載のデータ分析システム。
  42. 構成データを患者と関連する聴診音を表すデジタル化表現に対して適用することにより、生理的状態の組の中の1つを選択するステップであって、前記構成は、音声認識及び主成分分析(Principle Component Analysis:PCA)を使用することにより、前記聴診音を多次元空間内の1つ又は複数の疾病領域の組に対してマッピングする、ステップと、
    前記生理的状態の中の前記選択されたものについて通知する診断メッセージを出力するステップと、
    をプロセッサに実行させる命令を有するコンピュータ可読媒体。
  43. 前記構成データを前記患者と関連する前記聴診音を表す前記デジタル化表現に対して適用することにより、前記多次元空間内に1つ又は複数のベクトルの組を生成するステップと、
    前記多次元空間内の前記疾病領域との関係における前記ベクトルの向きの関数として前記多次元空間の前記疾病領域の中の1つを選択するステップと、
    前記選択結果に基づいて前記診断メッセージを出力するステップと、
    をプロセッサに実行させる命令を更に有する請求項42記載のコンピュータ可読媒体。
JP2007552364A 2005-01-24 2006-01-24 音声認識を使用した聴診音の分析 Pending JP2008528124A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US64626005P 2005-01-24 2005-01-24
US67034505P 2005-04-12 2005-04-12
US11/217,129 US20060167385A1 (en) 2005-01-24 2005-08-31 Analysis of auscultatory sounds using voice recognition
PCT/US2006/002422 WO2006079062A1 (en) 2005-01-24 2006-01-24 Analysis of auscultatory sounds using voice recognition

Publications (1)

Publication Number Publication Date
JP2008528124A true JP2008528124A (ja) 2008-07-31

Family

ID=36390314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007552364A Pending JP2008528124A (ja) 2005-01-24 2006-01-24 音声認識を使用した聴診音の分析

Country Status (6)

Country Link
US (1) US20060167385A1 (ja)
EP (1) EP1855594A1 (ja)
JP (1) JP2008528124A (ja)
AU (1) AU2006206220A1 (ja)
CA (1) CA2595924A1 (ja)
WO (1) WO2006079062A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188518A (ja) * 2014-03-27 2015-11-02 旭化成株式会社 心疾患識別装置、プログラム、媒体及び心疾患識別方法
JP2017538454A (ja) * 2014-10-02 2017-12-28 ザ・ユナイテッド・ステイツ・オブ・アメリカ・アズ・リプレゼンテッド・バイ・ジ・アドミニストレーター・オブ・ザ・ナショナル・エアロノーティクス・アンド・スペース・アドミニストレーション 生理的過程を監視するための超低周波聴診器
JP2020513988A (ja) * 2016-12-20 2020-05-21 エコ デバイセズ、インコーポレイテッド 医療機器用の向上された無線通信

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070100213A1 (en) * 2005-10-27 2007-05-03 Dossas Vasilios D Emergency medical diagnosis and communications device
US8920343B2 (en) 2006-03-23 2014-12-30 Michael Edward Sabatino Apparatus for acquiring and processing of physiological auditory signals
US7479115B2 (en) * 2006-08-25 2009-01-20 Savic Research, Llc Computer aided diagnosis of lung disease
US8419652B2 (en) * 2008-03-04 2013-04-16 Koninklijke Philips Electronics N.V. Non invasive analysis of body sounds
US20090290719A1 (en) * 2008-05-22 2009-11-26 Welch Allyn, Inc. Stethoscopic assembly with record/playback feature
US20100125224A1 (en) * 2008-11-17 2010-05-20 Aniekan Umana Medical diagnosis method and medical diagnostic system
TW201244691A (en) * 2011-05-10 2012-11-16 Ind Tech Res Inst Heart sound signal/heart disease or cardiopathy distinguishing system and method
US10271737B2 (en) * 2014-09-18 2019-04-30 National Central University Noninvasive arterial condition detecting method, system, and non-transitory computer readable storage medium
US9687208B2 (en) * 2015-06-03 2017-06-27 iMEDI PLUS Inc. Method and system for recognizing physiological sound
CN108135485B (zh) 2015-10-08 2021-08-17 科蒂奥医疗公司 通过语音分析评估肺部病症
US10847177B2 (en) 2018-10-11 2020-11-24 Cordio Medical Ltd. Estimating lung volume by speech analysis
US11024327B2 (en) 2019-03-12 2021-06-01 Cordio Medical Ltd. Diagnostic techniques based on speech models
CN109893161A (zh) * 2019-03-12 2019-06-18 南京大学 一种基于改进梅尔非线性频段划分的心音信号特征提取方法
US11011188B2 (en) 2019-03-12 2021-05-18 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
CA3129884A1 (en) * 2019-03-12 2020-09-17 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
US11484211B2 (en) 2020-03-03 2022-11-01 Cordio Medical Ltd. Diagnosis of medical conditions using voice recordings and auscultation
CN112017695A (zh) * 2020-03-04 2020-12-01 上海交通大学医学院附属上海儿童医学中心 一种自动识别生理声音的系统及方法
US11417342B2 (en) 2020-06-29 2022-08-16 Cordio Medical Ltd. Synthesizing patient-specific speech models

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041778A1 (en) * 2003-10-22 2005-05-12 3M Innovative Properties Company Analysis of auscultatory sounds using single value decomposition

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3878832A (en) * 1973-05-14 1975-04-22 Palo Alto Medical Research Fou Method and apparatus for detecting and quantifying cardiovascular murmurs and the like
US4289141A (en) * 1976-08-19 1981-09-15 Cormier Cardiac Systems, Inc. Method and apparatus for extracting systolic valvular events from heart sounds
US4094308A (en) * 1976-08-19 1978-06-13 Cormier Cardiac Systems, Inc. Method and system for rapid non-invasive determination of the systolic time intervals
US4193393A (en) * 1977-08-25 1980-03-18 International Bio-Medical Industries Diagnostic apparatus
US4154231A (en) * 1977-11-23 1979-05-15 Russell Robert B System for non-invasive cardiac diagnosis
US4220160A (en) * 1978-07-05 1980-09-02 Clinical Systems Associates, Inc. Method and apparatus for discrimination and detection of heart sounds
US4446873A (en) * 1981-03-06 1984-05-08 Siemens Gammasonics, Inc. Method and apparatus for detecting heart sounds
US4549552A (en) * 1981-03-06 1985-10-29 Siemens Gammasonics, Inc. Heart sound detector and cardiac cycle data are combined for diagnostic reliability
US4546777A (en) * 1981-03-06 1985-10-15 Siemens Gammasonics, Inc. Heart sound detector and synchronization for diagnostics
US4548204A (en) * 1981-03-06 1985-10-22 Siemens Gammasonics, Inc. Apparatus for monitoring cardiac activity via ECG and heart sound signals
CA1198806A (en) * 1982-11-24 1985-12-31 Her Majesty The Queen, In Right Of Canada, As Represented By The Minister Of National Defence Heart rate detector
US4679570A (en) * 1984-11-13 1987-07-14 Phonocardioscope Partners Phonocardioscope with a liquid crystal display
US4720866A (en) * 1985-09-20 1988-01-19 Seaboard Digital Systems, Inc. Computerized stethoscopic analysis system and method
US4889130A (en) * 1985-10-11 1989-12-26 Lee Arnold St J Method for monitoring a subject's heart and lung sounds
US4792145A (en) * 1985-11-05 1988-12-20 Sound Enhancement Systems, Inc. Electronic stethoscope system and method
US4672976A (en) * 1986-06-10 1987-06-16 Cherne Industries, Inc. Heart sound sensor
US4712565A (en) * 1986-10-27 1987-12-15 International Acoustics Incorporated Method and apparatus for evaluating of artificial heart valves
US5218969A (en) * 1988-02-04 1993-06-15 Blood Line Technology, Inc. Intelligent stethoscope
US5213108A (en) * 1988-02-04 1993-05-25 Blood Line Technology, Inc. Visual display stethoscope
US4905706A (en) * 1988-04-20 1990-03-06 Nippon Colin Co., Ltd. Method an apparatus for detection of heart disease
US4967760A (en) * 1989-02-02 1990-11-06 Bennett Jr William R Dynamic spectral phonocardiograph
US5109863A (en) * 1989-10-26 1992-05-05 Rutgers, The State University Of New Jersey Noninvasive diagnostic system for coronary artery disease
US5036857A (en) * 1989-10-26 1991-08-06 Rutgers, The State University Of New Jersey Noninvasive diagnostic system for coronary artery disease
US5025809A (en) * 1989-11-28 1991-06-25 Cardionics, Inc. Recording, digital stethoscope for identifying PCG signatures
US5490516A (en) * 1990-12-14 1996-02-13 Hutson; William H. Method and system to enhance medical signals for real-time analysis and high-resolution display
US5301679A (en) * 1991-05-31 1994-04-12 Taylor Microtechnology, Inc. Method and system for analysis of body sounds
US5360005A (en) * 1992-01-10 1994-11-01 Wilk Peter J Medical diagnosis device for sensing cardiac activity and blood flow
US5687738A (en) * 1995-07-03 1997-11-18 The Regents Of The University Of Colorado Apparatus and methods for analyzing heart sounds
US6050950A (en) * 1996-12-18 2000-04-18 Aurora Holdings, Llc Passive/non-invasive systemic and pulmonary blood pressure measurement
US6135966A (en) * 1998-05-01 2000-10-24 Ko; Gary Kam-Yuen Method and apparatus for non-invasive diagnosis of cardiovascular and related disorders
AU4953299A (en) * 1998-07-08 2000-02-01 Cirrus Systems, Llc Analytic stethoscope
US6048319A (en) * 1998-10-01 2000-04-11 Integrated Medical Systems, Inc. Non-invasive acoustic screening device for coronary stenosis
US6396931B1 (en) * 1999-03-08 2002-05-28 Cicero H. Malilay Electronic stethoscope with diagnostic capability
US6440082B1 (en) * 1999-09-30 2002-08-27 Medtronic Physio-Control Manufacturing Corp. Method and apparatus for using heart sounds to determine the presence of a pulse
KR100387201B1 (ko) * 2000-11-16 2003-06-12 이병훈 자동판독 기록진단장치
EP1389957A1 (en) * 2001-05-28 2004-02-25 Health Devices Pte Ltd. Heart diagnosis system
US20040208390A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for processing image data for use in tissue characterization
US20040209237A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041778A1 (en) * 2003-10-22 2005-05-12 3M Innovative Properties Company Analysis of auscultatory sounds using single value decomposition

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188518A (ja) * 2014-03-27 2015-11-02 旭化成株式会社 心疾患識別装置、プログラム、媒体及び心疾患識別方法
JP2017538454A (ja) * 2014-10-02 2017-12-28 ザ・ユナイテッド・ステイツ・オブ・アメリカ・アズ・リプレゼンテッド・バイ・ジ・アドミニストレーター・オブ・ザ・ナショナル・エアロノーティクス・アンド・スペース・アドミニストレーション 生理的過程を監視するための超低周波聴診器
JP2020513988A (ja) * 2016-12-20 2020-05-21 エコ デバイセズ、インコーポレイテッド 医療機器用の向上された無線通信

Also Published As

Publication number Publication date
AU2006206220A1 (en) 2006-07-27
CA2595924A1 (en) 2006-07-27
US20060167385A1 (en) 2006-07-27
WO2006079062A1 (en) 2006-07-27
WO2006079062A8 (en) 2007-10-25
EP1855594A1 (en) 2007-11-21

Similar Documents

Publication Publication Date Title
JP2008528124A (ja) 音声認識を使用した聴診音の分析
JP4819687B2 (ja) 特異値分解を使用する聴診音を分析する方法および診断装置
Hamidi et al. Classification of heart sound signal using curve fitting and fractal dimension
EP2793691B1 (en) Intrinsic frequency hemodynamic waveform analysis
US6925324B2 (en) System and device for multi-scale analysis and representation of physiological data
EP3170449B1 (en) Device to detect diabetes in a person using pulse palpation signal
US8690789B2 (en) Categorizing automatically generated physiological data based on industry guidelines
US9636081B2 (en) Method and apparatus for recognizing moving anatomical structures using ultrasound
WO2008036911A2 (en) System and method for acoustic detection of coronary artery disease
CN111358453A (zh) 一种血压分类预测方法和装置
US20220304631A1 (en) Multisensor pulmonary artery and capillary pressure monitoring system
EP3885974A1 (en) Methods and systems for identifying presence of abnormal heart sounds of a subject
CN114912521A (zh) 心脏数据处理方法、装置、计算机设备及存储介质
US20170188892A1 (en) Method and Apparatus for Using Adaptive Plethysmographic Signal Conditioning to Determine Patient Identity
WO2022044131A1 (ja) 分析装置
WO2022044127A1 (ja) 肺音分析システム
WO2022044128A1 (ja) 肺音分析システム
WO2022044126A1 (ja) 肺音分析システム
Hariharasudhan et al. Heart Diseases Prediction with Sound Wave using Support Vector Machine

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329