JP2017513590A - 患者履歴の視覚化のための方法及びシステム - Google Patents

患者履歴の視覚化のための方法及びシステム Download PDF

Info

Publication number
JP2017513590A
JP2017513590A JP2016562543A JP2016562543A JP2017513590A JP 2017513590 A JP2017513590 A JP 2017513590A JP 2016562543 A JP2016562543 A JP 2016562543A JP 2016562543 A JP2016562543 A JP 2016562543A JP 2017513590 A JP2017513590 A JP 2017513590A
Authority
JP
Japan
Prior art keywords
examination
visualization
patient
subset
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016562543A
Other languages
English (en)
Other versions
JP2017513590A5 (ja
JP6526712B2 (ja
Inventor
ツシッタ ダナンジャヤ デ シルヴァ マボツワナ
ツシッタ ダナンジャヤ デ シルヴァ マボツワナ
ユエチェン チェン
ユエチェン チェン
ヨハネス ブールマン
ヨハネス ブールマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017513590A publication Critical patent/JP2017513590A/ja
Publication of JP2017513590A5 publication Critical patent/JP2017513590A5/ja
Application granted granted Critical
Publication of JP6526712B2 publication Critical patent/JP6526712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015By temperature mapping of body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image

Abstract

複数のレポートを受信することであって、レポートの各々は患者の複数の医用画像検査のうちの対応する1つを記述する、受信すること、レポートの各々から対応する特性を抽出すること、レポートのサブセットを、サブセットを備えるレポートの特性の類似性に基づいて識別すること、及び、患者に関する患者履歴の一部の視覚化を生成することであって、一部はレポートのサブセットを備える、生成することのための、システム及び方法。

Description

[0001] 放射線学的検査を行う前に、放射線科医は現行検査にとって適切な状況を確定するために1つ以上の関連する事前の画像検査を審査する。状況を確定することは、特に履歴が複数の臨床症状にわたる関連所見を含むがん患者の場合、簡単な作業ではない。既存の放射線機器は、患者の過去の検査を基本のタイムラインに沿って提供するため、適切な状況を確立することがより困難になる。
[0002]患者の画像検査履歴の2つの従来技術視覚化を示す図である。 [0003]例示の実施形態に従った、患者履歴の視覚化のためのシステムを概略的に示す図である。 [0004]図2の例示システムなどのシステムを使用する患者履歴の視覚化のための例示方法を示す図である。 [0005]図2の例示システム及び図3の例示方法によって生成される、患者履歴の第1の例示の視覚化を示す図である。 [0006]図2の例示システム及び図3の例示方法によって生成される、患者履歴の第2の例示の視覚化を示す図である。 [0007]図2の例示システム及び図3の例示方法によって生成される、患者履歴の第3の例示の視覚化を示す図である。 [0008]図2の例示システム及び図3の例示方法によって生成される、患者履歴の第4の例示の視覚化を示す図である。
[0009] 例示の実施形態は、以下の説明と、同様の要素に同じ参照番号が与えられる関連する添付の図面とを参照することで、更に理解できよう。具体的に言えば、例示の実施形態は、複雑な患者履歴の画像検査の視覚化のための方法及びシステムに関する。
[0010] 放射線科医は、典型的には患者を効果的に診断及び治療するために、大量の事前検査をよく理解しなければならない。現行検査にとって適切な状況を確定するために、事前検査の使用が必要である。特に、がん患者は頻繁に画像検査を受けるため、結果として放射線科医は大量の事前検査を再検討することになる。「放射線科医」という呼称は、
患者の診療記録を再検討する個人を指すために本説明全体を通じて使用されるが、当業者であれば、代替としてこの個人は医師、看護師、又は他の医療専門家などの、任意の他の適切なユーザであってよいことは明らかであろう。
[0011] 従来技術のソリューションは、典型的には以前の検査を基本タイムラインに沿って表示する。図1は2つのこうした従来技術の検査のタイムラインを示す。いくつかのソリューションでは、すべての検査が単一のタイムラインに沿って示される。図1の右側のタイムライン110は、こうした検査のディスプレイを提示している。タイムライン110には、所与の患者に関するすべての事前検査が示されている。タイムライン110は、時間期間にわたる患者の胸部のCT検査及びCR検査を含むが、当業者であれば、これが単なる例示であり、他のタイムラインが患者の身体の異なる領域のより多様なタイプの検査を含み得ることを理解されよう。
[0012] 従来のソリューションは、せいぜい、同じタイプのすべての検査(例えば同じモダリティ及び身体部分を有するすべての検査)をより集中的なタイムラインに沿ってグループ化する。図1の左側のタイムライン120は、タイムライン110に示された検査のサブセットを含む。具体的に言えば、タイムライン120はタイムライン110と同じ期間にわたる患者の胸部のCR検査を含むが、タイムライン110に示されたCT検査は省略している。CR胸部検査の選択は単なる例示であって、異なるサブセットが可能であることは明らかであろう。
[0013] 事前検査を再検討するプロセスは、典型的には1つ以上の事前レポートを開くことを含み、レポートは典型的には画像と説話形式の付属のテキストとを含む。しかしながら、図1に示されるような従来技術によって提示される一般化ビューは、放射線科医が再検討のために事前レポートを選択する際に最小限の支援しか与えない。更に従来技術のタイムライン自体は、放射線科医が現行検査のために適切な状況を確定する際にいかなる特定の助言も与えない。
[0014] 図2は、現行検査に関する状況情報を確定するために有用な情報を放射線科医に提供するための、例示システム200を示す。システム200は典型的にはコンピュータ実装型であり、プロセッサ210、メモリ220、及びユーザインターフェース230などの当分野で既知のコンピューティングシステムの一般要素を含む。メモリ220は、放射線科医が現在治療している現行患者を含む、1人以上の患者に関する事前検査データ240を記憶している。事前検査データ240は、当業者が熟知している医用におけるデジタル画像と通信(「DICOM」)フォーマットで記憶されるが、これは単なる例示であり、代替として他のフォーマットも使用できる。一般の一実施形態として、ユーザインターフェース230は3つのディスプレイを備え、左側ディスプレイはユーザ作業領域を表示し、中央ディスプレイは現行検査を表示し、右側ディスプレイは事前検査を表示するが、当業者であればこれは単なる例示であり、本明細書で説明するより広範な原理を逸脱することなく1つ以上のディスプレイの他の構成が可能であることを理解されよう。
[0015] システム200は、メモリ220に記憶され、方法300を参照しながら以下で説明する機能を実行するためにプロセッサ210によって実行される、コードのモジュールであり得る、典型的モジュールも含む。これらモジュールは、事前検査データ240から関連情報を抽出する抽出モジュール250と、事前に定義されるか又はユーザ指定の様式で関係検査をグループ化するグループ化モジュール260と、放射線科医が以下でより詳細に説明する様式で検査グループ化を視覚化できるようにするグラフィカルディスプレイを生成するインターフェースモジュール270とを含む。当業者であれば、3つの別々のモジュールを用いる方法300の実行の概要は単なる例示であり、機能は代替として、統合されたソフトウェアアプリケーションによって、又は本明細書で説明する様式とは異なって画成される機能を有する複数のアプリケーションによっても実行できることを理解されよう。
[0016] 図3は、現行検査に関する状況を確定するプロセスにおいて、放射線科医を援助するためのレンダリングを生成するための方法300を示す。方法300の実行は、放射線科医がシステム200を起動すること、又は特定患者に関するデータを表示するようにシステム200に命じることによって引き起こされる。ステップ310で、抽出モジュール250は、患者の事前検査のすべてを事前検査データ240から取り出す。これは、データ取り出し、データベース照会などに関する標準技法を介して達成される。前述のように、事前検査データ240から取り出されたデータは、DICOM標準に従ってフォーマット化される。
[0017] ステップ320で、抽出モジュール250は、患者の従来技術検査から検査の状況特性を抽出する。特性は、身体部分、診査理由、モダリティなどを含む。特性は記憶され、抽出モジュール250は、検査に関するメタデータと、前述のように説話フォーマットのテキストを備えるレポートのコンテンツとの両方から、特性を抽出する。
[0018] 前述のように、事前検査のメタデータは一般にDICOM標準に従って記憶される。様々な特性が、様々なDICOM属性(又は当業者に明らかなように、データがDICOMとは異なるフォーマットで記憶されている時は、他のメタデータ要素)から抽出される。例えば検査モダリティ特性は、DICOM属性から直接抽出可能であり、DICOMモダリティフィールド(0008、0060)に対応する。検査特性の身体部分はDICOM属性から直接抽出可能であり、DICOM身体部分診査フィールド(0018、0015)に対応する。
[0019] いくつかの特性は、メタデータを抽出すること、及び、MetaMap NLPエンジンなどを使用して、抽出されたテキストに自然言語処理(「NLP」)を適用することによって決定され得る。例えば、診査理由特性は、DICOMタグ(0032、1030)からテキストを抽出すること、及び、その中の説話テキストからNLP技法を使用して診断用語を抽出することによって決定可能である。同様に、検査特性の分析は、検査説明DICOMタグ(0008、1030)、プロトコル名DICOMタグ(0018、1030)、及びシリーズ説明DICOMタグ(0008、103e)に見られる説話記述から、特定の身体部分を抽出するために、NLP技法を適用することによって決定され得る。当業者であれば、前述のメタデータから抽出される特定の特性は単なる例示であり、他の実施形態では他の特性が抽出され得ることは明らかであろう。メタデータがDICOM標準である例示の実施形態を続けると、他の有用なタグは、手順コード、要求手順コード、及びスケジュール手順コードを含む。
[0020] 前述のように、メタデータに加えて、診査理由及び比較検査を含むレポートのコンテンツが、事前検査の説話テキストから抽出される。前述のように、この抽出を実行するためにNLP技法が使用される。NLPは、セクション、パラグラフ、及びセンテンスを含む、レポートの部分構造を決定することができる。これには、最大エントロピー分類子を使用することが含まれ、各センテンス終端文字(例えば、ピリオド、感嘆符、疑問符、コロン、又はバックスラッシュとn)に、以下の4つのラベルのうちの1つを割り当てる。
[0021] 1)文字はセンテンスの終端を指し、センテンスはセクションヘッダである。
[0022] 2)文字はセンテンスの終端を指し、センテンスはパラグラフを終了させる。
[0023] 3)文字はセンテンスの終端を指し、センテンスはセクションヘッダでもパラグラフの最終センテンスでもない。
[0024] 4)文字はセンテンスの終端を指さない。
[0025] セクションヘッダは、技法、比較、所見、印象、及び無しという、5つのクラスに関して正規化される。ここで使用される「正規化」とは、フォーマットが機関によって又は放射線科医によって異なる場合がある(例えば、ある機関では所見セクションを「FINDINGS」と呼び、別の機関では「FINDING」と呼び、更に別の機関では「OBSERVATIONS」と呼ぶ場合などがある)、様々なレポート内の項目が、前述の標準クラスに適合するように更新されることを意味する。セクションヘッダ以外のセンテンスは、パラグラフにグループ化される。各パラグラフ内の第1のセンテンスは、パラグラフヘッダ(例えば「肝臓」、「脾臓」、「肺」など)のリストと比較され、リスト内の項目に合致するセンテンスはパラグラフヘッダであるものとマーク付けされる。上記に加えて、診断関係用語及び分析関係用語が病歴セクションから抽出され、比較検査の日付が抽出される。
[0026] ステップ330で、グループ化モジュール260は、ステップ320で抽出モジュール250によって決定された検査及び抽出された特性を受信する。これは、コンピューティングルーチン間でデータを渡すための任意の標準手段を介して行われる。ステップ340で、グループ化モジュール260は、1つ以上のサブセットを備える検査に対応する特性に基づいて、後続の表示のために検査の1つ以上のサブセットをグループ化する。以下で説明するように、特性は、互いに関係しているグループに検査をグループ化するために使用される。グループ化は、事前構成された様式又はユーザ指定の様式であってよい。以下で、検査をグループ化するための様々な例示様式を説明するが、当業者であれば、本明細書で説明するより広範な原理から逸脱することなく、他のグループ化が可能であることは明らかであろう。
[0027] 例示の一グループ化では、検査から抽出される身体部分特性は人体内の臓器系にマッピングされる。こうしたマッピングを実行することにより、検査は臓器ごとにグループ化された後、臓器ベースのグループ化で放射線科医に提示される。別の例示のグループ化において、グループ化は、レポートの「診査理由」又は「病歴」のセクションから抽出される診断用語ベースで行われる。その結果、同じ診査基準に関係する事前検査のグループ化が生じる。
[0028] 別の例示のグループ化では、検査レポートの比較セクションから抽出される特性は、互いに関連するものとして記述された検査をグループ化するために使用される。例えば所与の事前検査のレポートの比較セクションは、所与の事前検査との比較に使用された他の事前検査の日付を含む。当業者であれば、現行検査と事前検査との間に何らかの関係があるため、事前検査がレポートで使用及び参照されることは明らかであろう。したがって、これらの抽出された特性を使用して、レポート内で作られた互いの明示的関係を有する検査がグループ化される。
[0029] 別の実施形態では、グループ化に先立ち、レポートから抽出される身体部分は、Systematized Nomenclature of Medicine(「SNOMED」)又はUnified Medical Language System(「UMLS」)などのオントロジを使用して正規化される。例えば、こうしたオントロジからの知識を使用して、抽出された特性「腎臓(kidney)」を有する検査は、抽出された特性「腎臓(renal)」を有する別の検査と一緒にグループ化されるべきであることが決定される。同様に、こうしたオントロジに含まれる関連性関係(例えば、「の一部である(is−part−of)」関係)を使用して、2つの身体部分は関連しており、2つの身体部分の特性を有する検査はまとめてグループ化されるべきであることが決定される。例えば、こうしたオントロジからの関係を使用して、抽出された特性「肝臓」を有する検査は、抽出された特性「腹部」を有する別の検査と一緒にグループ化されるべきであることが決定される。
[0030] 別の実施形態において、マトリクスを定義し、現行検査の特徴ベクトルを事前検査の特徴ベクトルと比較するために、データ主導手法が使用される。こうしたマトリクスは、現行検査からの特徴ベクトル及び事前検査からの特徴ベクトルを含むことができる。マトリクスの各列は、DICOMタグ(例えば、モダリティ、身体部分1、身体部分2など)などの検査メタデータから抽出される特徴と、レポートから抽出される語又は句とを表し、マトリクスの各行は、単一の検査についての抽出される特徴情報を表す。その後、同様の検査のグループを識別するために、当分野で既知の統計クラスタリング技法(例えばk平均法を使用する)が様々な特徴ベクトルに適用される。
[0031] ステップ350で、インターフェースモジュール270は、ステップ340でグループ化モジュール260によって決定された検査及びその1つ以上のグループ化を受信する。ステップ330を参照しながら上述したように、これは、コンピューティングルーチン間でデータを渡すための任意の標準手段を介して行われる。ステップ360で、インターフェースモジュール270は、グループ化モジュール260によって識別される1つ以上のグループ化に基づいて視覚化を生成し、ユーザインターフェース230によって視覚化を放射線科医に提供する。前述のユーザインターフェース230の共通3ディスプレイ実施形態において、インターフェースモジュール270は、この視覚化を右側ディスプレイに提供する。
[0032] インターフェースモジュール270は、様々な特定の様式でグループ化された検査を表示する。例示の一実施形態では、インターフェースモジュール270は、人体図と関連して検査タイムラインを示す視覚化を、ユーザインターフェース230に提供する。図4は、人410を含むこうした視覚化400を示す。視覚化400は、人410の頭の隣に脳検査のタイムライン420を含み、人410の胸の隣に胸部検査のタイムライン430を含み、人410の腹部の隣に腹部検査のタイムライン440を含む。当業者であれば、視覚化400内に示された特定のタイムラインは単なる例示であり、生成される特定のタイムラインは、視覚化400が作成されている患者の病歴に応じて変化することは明らかであろう。視覚化400は、タイムライン420、430、及び440がすべてスケーリングされるタイムスケール450も含む。
[0033] 別の例示の実施形態では、インターフェースモジュール270は、事前検査に対する明示的参照に基づいてグループ化された検査タイムラインを示す視覚化を、ユーザインターフェース230に提供する。前述のように、これは、検査レポートの比較セクションから抽出される情報を使用して達成される。図5はこうした視覚化500を示す。視覚化500は、タイムライン510、520、530、540、及び550を含み、その各々は、以前のステップで互いへの明示的な参照に基づいて互いに関係しているものと決定された2つ以上の検査を含む。例えばタイムライン540は検査542及び544を含み、検査544はその比較セクションで検査542を明示的に参照する。視覚化500は、上記ステップで互いに関係しているものと識別されなかった、検査560、562、564、566、568、及び570も含む。タイムライン510、520、530、540、及び550と、グループ化されていない検査560、562、564、566、568、及び570とは、共通タイムスケール580に沿って表示される。
[0034] 別の例示の実施形態では、インターフェースモジュール270は、モダリティ及び身体部分によってグループ化された検査タイムラインを示す視覚化を、ユーザインターフェース230に提供する。前述のように、これは、検査レポートの比較セクションから抽出される情報を使用して達成される。図6はこうした視覚化600を示し、図5の視覚化500に示された検査と同じであるが、異なる様式でグループ化された検査を示す。視覚化600は、タイムライン610、620、630、640、及び650を含み、その各々は、以前のステップで互いへの明示的な参照に基づいて互いに関係しているものと決定された2つ以上の検査を含む。例えばタイムライン620は検査622、624、626、及び628を含み、その各々は神経系コンピュータ断層撮影(「CT」)であってよい。視覚化600は、上記ステップで互いに関係しているものと識別されなかった、検査660、662、664、及び666も含む。タイムライン610、620、630、640、及び650と、グループ化されていない検査660、662、664、及び666とは、共通タイムスケール670に沿って表示される。
[0035] 前述のように、視覚化600は、図5の視覚化500と同じであり、異なるようにグループ化された検査を示す。例えば図5のグループ化されていない検査568である、胃腸(「GI」)高周波(「RF」)スキャンは、図6のタイムライン640にグループ化される。当業者であれば、視覚化600におけるこのグループ化は、タイムライン640がGI RFスキャンのグループ化を含むという事実によるものであることは明らかであろう。しかしながら検査568は、他の検査(例えば、視覚化500のタイムライン540を構成する)を明示的に参照していないこと、視覚化500における検査のグループ化に使用される基準によって、視覚化500のタイムラインから省略してもよい。
[0036] 別の例示の実施形態では、インターフェースモジュール270は、モダリティには関係なく身体部分によってグループ化された検査タイムラインを示す視覚化を、ユーザインターフェース230に提供する。前述のように、これは、検査レポートの比較セクションから抽出される情報を使用して達成される。図7はこうした視覚化700を示し、図5の視覚化500及び図6の視覚化600に示された検査と同じであるが、異なる様式でグループ化された検査を示す。視覚化700は、タイムライン710、720、730、740、及び750を含み、その各々は、以前のステップで互いへの明示的な参照に基づいて互いに関係しているものと決定された2つ以上の検査を含む。例えばタイムライン720は検査722、724、及び726を含み、その各々は腹部スキャンであってよく、検査722及び724は腹部CTスキャンであり、検査726は腹部コンピュータX線撮影(「CR」)スキャンである。視覚化700は、上記ステップで互いに関係しているものと識別されなかった、検査760も含む。タイムライン710、720、730、740、及び750と、グループ化されていない検査760とは、共通タイムスケール770に沿って表示される。
[0037] 前述のように、視覚化700は、図5の視覚化500及び図6の視覚化600と同じであり、異なるようにグループ化された検査を示す。例えば図6のグループ化されていない検査662である、胸部CTスキャンは、図7のタイムライン710にグループ化される。当業者であれば、視覚化700におけるこのグループ化は、タイムライン710がモダリティには関係なく胸部スキャンのグループ化を含むという事実によるものであることは明らかであろう。しかしながら検査662は、タイムライン610を構成する検査とは異なるモダリティと、視覚化600における検査のグループ化に使用される基準によって、視覚化600のタイムラインから省略してもよい。
[0038] 当業者であれば、前述の視覚化400、500、600、及び700は単なる例示であり、例示の実施形態のより広範な原理から逸脱することなく、検査グループ化に関する他の基準が使用できることは明らかであろう。更にユーザインターフェース230は、「ドラッグアンドドロップ」又は他のインターフェースを使用して、放射線科医が検査の関連性を訂正又は更新できるようにする。例えば、タイムライン610及びグループ化されていない検査662を含む視覚化600を閲覧している放射線科医が、検査662をタイムライン610に関連付けることを選択すると、当業者であれば、結果として視覚化700のタイムライン710と同様のタイムラインが生じることが理解されよう。追加として、放射線科医はユーザインターフェース230と対話して、検査のうちの1つ以上(例えば単一検査、選択されたタイムラインの一部、選択されたタイムライン全体、複数の選択されたタイムライン、など)を選択し、解釈するために検査を開始する。
[0039] 例示の実施形態によって提供される視覚化は、放射線科医が現行検査について臨床状況を確定する際に2通りのやり方で援助する。第1に、検査のグループ化自体が、所望の時間間隔にわたって患者に実施されたスキャンのタイプの概要を提供することによって、放射線科医が患者の履歴全体を理解できるようにする。第2に、検査は、図1に示されるように大規模ではなくサブセットにグループ化されて放射線科医に提示できるため、現行検査を実行する前に取り出して更に再検討するために望ましい1つ以上のレポートを識別及び選択することが、放射線科医にとってより簡単である。
[0040] 当業者であれば、前述の例示の実施形態は、ソフトウェアモジュールとして、ハードウェアとソフトウェアとの組み合わせとしてなどを含む、任意数の様式で実装可能であることを理解されよう。例えば例示方法300は、非一時的ストレージ媒体に記憶され、コンパイルされた時にプロセッサによって実行されるコードのラインを含む、プログラム内に具体化してよい。追加として、当業者であれば、本開示は特定タイプの医用画像検査について言及しているが、本明細書で説明するより広範な原理が、当業者に既知の任意のタイプの医用画像検査にも等しく適用可能であることは明らかであろう。これには、X線検査又は他のタイプのX線写真検査、RF検査、CT検査、CR検査、磁気共鳴画像(「MRI」)検査、超音波検査、陽電子放出型断層撮影(「PET」)検査又は他のタイプの放射性画像検査、光音響検査、サーモグラフィ検査、心エコー検査、近赤外分光分析(「FNIR」)検査、若しくは本明細書で明確に述べていない任意の他のタイプの医用画像検査が含まれる。
[0041] 当業者であれば、本発明の趣旨又は範囲を逸脱することなく、例示の実施形態に様々な修正が実行できることは明らかであろう。したがって本発明は、添付の特許請求の範囲及びそれらの等価物の範囲内にある与えられた本発明の修正及び変形をカバーしていることが意図される。

Claims (20)

  1. 複数のレポートを受信することであって、前記レポートの各々は患者の複数の医用画像検査のうちの対応する1つを記述する、受信すること、
    前記レポートの各々から対応する特性を抽出すること、
    前記レポートのサブセットを、前記サブセットを備える前記レポートの前記特性の類似性に基づいて識別すること、及び、
    前記患者に関する患者履歴の一部の視覚化を生成することであって、前記一部は前記レポートの前記サブセットを備える、生成すること、
    を含む、方法。
  2. 前記視覚化は、前記患者に関する医用画像検査の複数のタイムラインを備える、請求項1に記載の方法。
  3. 前記複数のタイムラインの各々は、同じ身体部分を有する医用画像検査と、同じ身体部分及びモダリティを有する医用画像検査と、互いへの明示的な参照を有する医用画像検査とのうちの1つを備える、請求項2に記載の方法。
  4. 前記複数のタイムラインは人体の図に関して示される、請求項2に記載の方法。
  5. 前記複数のタイムラインは共通タイムスケールに関して示される、請求項2に記載の方法。
  6. 前記視覚化は、前記タイムラインのうちの1つの一部でない前記医用画像検査のうちの1つの指示を更に備える、請求項2に記載の方法。
  7. 複数の対応する特性は前記レポートの各々から抽出される、請求項1に記載の方法。
  8. 前記特性は、モダリティ、身体部分、検査説明、プロトコル名、シリーズ説明、検査理由、及び手順コードのうちの1つを備える、請求項1に記載の方法。
  9. 前記検査各々の前記対応する特性は、前記検査各々のメタデータと、前記検査各々のテキスト概要とのうちの1つから抽出される、請求項1に記載の方法。
  10. 前記メタデータは、医用におけるデジタル画像と通信標準に従ってフォーマット化される、請求項9に記載の方法。
  11. 前記対応する特性は、自然言語処理を使用して前記検査各々のテキスト概要から抽出される、請求項9に記載の方法。
  12. 前記レポートのサブセットを識別することは、医学オントロジを使用して前記レポートの前記サブセットをグループ化することを含む、請求項1に記載の方法。
  13. 前記医学オントロジは、Systematized Nomenclature of Medicine及びUnified Medical Language Systemのうちの1つを含む、請求項12に記載の方法。
  14. 複数のレポートを記憶する非一時的メモリであって、前記レポートの各々は患者の複数の医用画像検査のうちの対応する1つを記述する、非一時的メモリと、
    前記レポートの各々から対応する特性を抽出モジュールが抽出すること、
    前記レポートのサブセットを、前記サブセットを備える前記レポートの前記特性の類似性に基づいて、グループ化モジュールが識別すること、及び、
    前記患者に関する患者履歴の一部の視覚化を視覚化モジュールが生成することであって、前記一部は前記レポートの前記サブセットを備える、生成すること、
    を実行するプロセッサと、
    前記視覚化をシステムのユーザに表示するグラフィカルユーザインターフェースと、
    を備える、システム。
  15. 医用画像検査は、X線写真検査、高周波検査、コンピュータ断層撮影検査、コンピュータX線撮影検査、磁気共鳴画像検査、超音波検査、陽電子放出型断層撮影検査、放射性画像検査、光音響検査、サーモグラフィ検査、心エコー検査、及び近赤外分光分析検査のうちの1つを含む、請求項14に記載のシステム。
  16. 前記視覚化は前記患者に関する医用画像検査の複数のタイムラインを備える、請求項14に記載のシステム。
  17. 前記複数のタイムラインの各々は、同じ身体部分を有する医用画像検査と、同じ身体部分及びモダリティを有する医用画像検査と、互いへの明示的な参照を有する医用画像検査とのうちの1つを備える、請求項16に記載のシステム。
  18. 前記抽出モジュールは前記レポートの各々から複数の対応する特性を抽出する、請求項14に記載のシステム。
  19. 前記抽出モジュールは、前記検査各々の前記対応する特性を、前記検査各々のメタデータと、前記検査各々のテキスト概要とのうちの1つから抽出する、請求項14に記載のシステム。
  20. プロセッサによって実行可能な命令のセットを記憶する非一時的コンピュータ可読ストレージ媒体であって、前記命令セットは、前記プロセッサによって実行された時、
    複数のレポートを受信することであって、前記レポートの各々は患者の複数の医用画像検査のうちの対応する1つを記述する、受信すること、
    前記レポートの各々から対応する特性を抽出すること、
    前記レポートのサブセットを、前記サブセットを備える前記レポートの前記特性の類似性に基づいて識別すること、及び、
    前記患者に関する患者履歴の一部の視覚化を生成することであって、前記一部は前記レポートの前記サブセットを備える、生成すること、
    を含む動作を前記プロセッサに実行させる、非一時的コンピュータ可読ストレージ媒体。
JP2016562543A 2014-04-17 2015-04-08 患者履歴の視覚化のための方法及びシステム Active JP6526712B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461980768P 2014-04-17 2014-04-17
US61/980,768 2014-04-17
PCT/IB2015/052526 WO2015159182A1 (en) 2014-04-17 2015-04-08 Method and system for visualization of patient history

Publications (3)

Publication Number Publication Date
JP2017513590A true JP2017513590A (ja) 2017-06-01
JP2017513590A5 JP2017513590A5 (ja) 2018-05-24
JP6526712B2 JP6526712B2 (ja) 2019-06-05

Family

ID=53267414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016562543A Active JP6526712B2 (ja) 2014-04-17 2015-04-08 患者履歴の視覚化のための方法及びシステム

Country Status (6)

Country Link
US (1) US20170177795A1 (ja)
EP (1) EP3132367A1 (ja)
JP (1) JP6526712B2 (ja)
CN (1) CN106233289B (ja)
RU (1) RU2016145132A (ja)
WO (1) WO2015159182A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210000103A (ko) * 2019-06-24 2021-01-04 (주)비주얼터미놀로지 건강기록 시스템
KR20210121718A (ko) * 2020-03-31 2021-10-08 인제대학교 산학협력단 뇌mri 획득 영상기법 자동 기재 방법 및 시스템
JP7392120B2 (ja) 2019-09-06 2023-12-05 エフ. ホフマン-ラ ロシュ アーゲー 自然言語処理を使用する病理報告内の自動化された情報の抽出及び改良

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250841B2 (en) * 2016-06-10 2022-02-15 Conduent Business Services, Llc Natural language generation, a hybrid sequence-to-sequence approach
US11610687B2 (en) * 2016-09-06 2023-03-21 Merative Us L.P. Automated peer review of medical imagery
JP2019537114A (ja) * 2016-10-14 2019-12-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Pacsログ・ファイルを使って関連する過去の放射線医学検査を判別するためのシステムおよび方法
EP3545530A1 (en) * 2016-11-22 2019-10-02 Koninklijke Philips N.V. System and method for patient history-sensitive structured finding object recommendation
US10956469B2 (en) * 2017-01-06 2021-03-23 International Business Machines Corporation System and method for metadata correlation using natural language processing
CN110709941B (zh) * 2017-04-18 2024-02-23 皇家飞利浦有限公司 通过订单代码的医学研究时间线的智能组织
US11244746B2 (en) * 2017-08-04 2022-02-08 International Business Machines Corporation Automatically associating user input with sections of an electronic report using machine learning
WO2019215109A1 (en) * 2018-05-08 2019-11-14 Koninklijke Philips N.V. Convolutional localization networks for intelligent captioning of medical images
US11416513B2 (en) 2018-06-27 2022-08-16 Universal Research Solutions, Llc Searching data structures maintained by distributed data sources
KR102366290B1 (ko) * 2019-05-13 2022-02-22 (주)비주얼터미놀로지 의료기계 학습 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122402A1 (ja) * 2010-03-31 2011-10-06 株式会社 日立メディコ 検査情報表示装置及び方法
JP2012230672A (ja) * 2011-04-14 2012-11-22 Toshiba Corp 医療情報システム及び医療情報表示装置
JP2013525898A (ja) * 2010-04-19 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 放射線ディスクリプタを用いた報告ビューア
WO2014053986A2 (en) * 2012-10-01 2014-04-10 Koninklijke Philips N.V. Multi-study medical image navigation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440904B2 (en) * 2000-10-11 2008-10-21 Malik M. Hanson Method and system for generating personal/individual health records
US9053222B2 (en) * 2002-05-17 2015-06-09 Lawrence A. Lynn Patient safety processor
US20090281838A1 (en) * 2008-05-07 2009-11-12 Lawrence A. Lynn Medical failure pattern search engine
US7657540B1 (en) * 2003-02-04 2010-02-02 Seisint, Inc. Method and system for linking and delinking data records
US8290958B2 (en) * 2003-05-30 2012-10-16 Dictaphone Corporation Method, system, and apparatus for data reuse
US20060064328A1 (en) * 2004-08-30 2006-03-23 Debarshi Datta System and method for utilizing a DICOM structured report for workflow optimization
US9081879B2 (en) * 2004-10-22 2015-07-14 Clinical Decision Support, Llc Matrix interface for medical diagnostic and treatment advice system and method
US20070082073A1 (en) * 2005-05-18 2007-04-12 University Of South Florida Catechin Adjuvants
JP2007122679A (ja) * 2005-09-27 2007-05-17 Fujifilm Corp 読影支援システム
US20070174296A1 (en) * 2006-01-17 2007-07-26 Andrew Gibbs Method and system for distributing a database and computer program within a network
JP2007233841A (ja) * 2006-03-02 2007-09-13 Konica Minolta Medical & Graphic Inc 診断システム
US20120035963A1 (en) * 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
US20100274584A1 (en) * 2009-04-23 2010-10-28 Kim Hyong S Method and system for presenting and processing multiple text-based medical reports
WO2010134016A1 (en) * 2009-05-19 2010-11-25 Koninklijke Philips Electronics N.V. Retrieving and viewing medical images
US20120065987A1 (en) * 2010-09-09 2012-03-15 Siemens Medical Solutions Usa, Inc. Computer-Based Patient Management for Healthcare
US9916420B2 (en) * 2011-02-18 2018-03-13 Nuance Communications, Inc. Physician and clinical documentation specialist workflow integration
US20120221347A1 (en) * 2011-02-23 2012-08-30 Bruce Reiner Medical reconciliation, communication, and educational reporting tools
CN103562846B (zh) * 2011-06-01 2017-07-14 皇家飞利浦有限公司 时间线显示工具
EP2798531A1 (en) * 2011-12-27 2014-11-05 Koninklijke Philips Electronics N.V. Text analysis system
US10839046B2 (en) * 2012-03-23 2020-11-17 Navya Network, Inc. Medical research retrieval engine
WO2013158778A1 (en) * 2012-04-20 2013-10-24 Valant Medical Solutions, Inc. Clinical note generator
US20140156303A1 (en) * 2012-12-04 2014-06-05 Gary Pacheco Processing of clinical data for validation of selected clinical procedures
US20140350961A1 (en) * 2013-05-21 2014-11-27 Xerox Corporation Targeted summarization of medical data based on implicit queries
US10860171B2 (en) * 2013-07-02 2020-12-08 Cerner Innovation, Inc. Dynamic association and documentation
WO2015079353A1 (en) * 2013-11-26 2015-06-04 Koninklijke Philips N.V. System and method for correlation of pathology reports and radiology reports
US10685743B2 (en) * 2014-03-21 2020-06-16 Ehr Command Center, Llc Data command center visual display system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122402A1 (ja) * 2010-03-31 2011-10-06 株式会社 日立メディコ 検査情報表示装置及び方法
JP2013525898A (ja) * 2010-04-19 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 放射線ディスクリプタを用いた報告ビューア
JP2012230672A (ja) * 2011-04-14 2012-11-22 Toshiba Corp 医療情報システム及び医療情報表示装置
WO2014053986A2 (en) * 2012-10-01 2014-04-10 Koninklijke Philips N.V. Multi-study medical image navigation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210000103A (ko) * 2019-06-24 2021-01-04 (주)비주얼터미놀로지 건강기록 시스템
WO2020262810A3 (ko) * 2019-06-24 2021-04-15 (주)비주얼터미놀로지 건강기록 시스템
KR102324217B1 (ko) * 2019-06-24 2021-11-10 (주)비주얼터미놀로지 건강기록 시스템
JP7392120B2 (ja) 2019-09-06 2023-12-05 エフ. ホフマン-ラ ロシュ アーゲー 自然言語処理を使用する病理報告内の自動化された情報の抽出及び改良
KR20210121718A (ko) * 2020-03-31 2021-10-08 인제대학교 산학협력단 뇌mri 획득 영상기법 자동 기재 방법 및 시스템
KR102365287B1 (ko) 2020-03-31 2022-02-18 인제대학교 산학협력단 뇌mri 획득 영상기법 자동 기재 방법 및 시스템

Also Published As

Publication number Publication date
CN106233289B (zh) 2021-09-07
CN106233289A (zh) 2016-12-14
WO2015159182A1 (en) 2015-10-22
JP6526712B2 (ja) 2019-06-05
RU2016145132A (ru) 2018-05-17
EP3132367A1 (en) 2017-02-22
US20170177795A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
JP6526712B2 (ja) 患者履歴の視覚化のための方法及びシステム
US20220199230A1 (en) Context driven summary view of radiology findings
CN110140178B (zh) 用于知道上下文的图像质量收集和反馈的闭环系统
Adams et al. Artificial intelligence solutions for analysis of X-ray images
JP6749835B2 (ja) コンテキスト依存医学データ入力システム
JP5952835B2 (ja) 撮像プロトコルの更新及び/又はリコメンダ
US20070127790A1 (en) System and method for anatomy labeling on a PACS
JP2015524107A (ja) 患者情報を臨床基準にマッチングするシステム及び方法
EP3191991B1 (en) Image report annotation identification
JP7258772B2 (ja) 全人的患者放射線医療ビューワ
US20180350466A1 (en) Longitudinal health patient profile for incidental findings
JP2017533522A (ja) テキスト認識に基づくテキストイメージリンキングを伴うピクチャアーカイビングシステム
JP2018512639A (ja) 臨床の所見のコンテキストによる評価のための方法及びシステム
US20230368893A1 (en) Image context aware medical recommendation engine
US20130159022A1 (en) Clinical state timeline
JP2019507428A (ja) コグニティブ患者治療イベントの再構成
US20200043167A1 (en) Auto comparison layout based on image similarity
US20200043583A1 (en) System and method for workflow-sensitive structured finding object (sfo) recommendation for clinical care continuum
CN110574118A (zh) 具有可操作建议的临床报告
WO2024083311A1 (en) Generation of and search for medical reference image data
CN116072266A (zh) 医疗图像数据的处理装置以及医疗图像数据的处理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6526712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250