JP2020523711A - 医療報告書の生成方法および装置 - Google Patents
医療報告書の生成方法および装置 Download PDFInfo
- Publication number
- JP2020523711A JP2020523711A JP2019569722A JP2019569722A JP2020523711A JP 2020523711 A JP2020523711 A JP 2020523711A JP 2019569722 A JP2019569722 A JP 2019569722A JP 2019569722 A JP2019569722 A JP 2019569722A JP 2020523711 A JP2020523711 A JP 2020523711A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- feature vector
- visual
- medical image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
Description
認識される医用画像を受信することと、
前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決めることと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築することと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成することと、を含む。
S101では、認識される医用画像を受信する。
S1021において、前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築する。
S1031において、各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成する。
さらに、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する前に、さらに以下を含む:
S401において、複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得する。
S501では、認識される医用画像を受信する。
S504では、各医療サブ画像を前記VGGニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得する。
認識される医用画像を受信するための医用画像受信ユニット61と、
前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するための特徴ベクトル取得ユニット62と、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定するための診断項目認識ユニット63と、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するための記述セグメント決定サブユニット64と、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するための医療報告書生成ユニット65と、を含む。
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築するための画素行列構築ユニットと、
前記VGGニューラルネットワークの5層プーリング層Maxpoolによって前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得するための視覚的特徴ベクトル生成ユニットと、
前記視覚的特徴ベクトルを前記VGGニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力するためのインデックスシーケンス生成ユニットと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定するためのキーワードシーケンス生成ユニットと、を含む。
各キーワードは事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成するためのキーワード特徴ベクトル構築ユニットと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得するための前処理ユニットと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力するための前処理ベクトルインポートユニットと、を含む。
複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得するための訓練パラメータ取得ユニットと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のLSTMニューラルネットワークの入力として、前記訓練診断項目を前記LSTMニューラルネットワークの出力として、前記LSTMニューラルネットワーク内の各学習パラメータを、前記LSTMニューラルネットワークが収束条件を満たすように調整するための学習パラメータ訓練ユニットと、ここで、前記収束条件は下記のとおりである、すなわち、
前記医用画像を二値化処理し、二値化された医用画像を取得するための二値化処理ユニットと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割するための境界分割ユニットと、をさらに含む。
各医療サブ画像を前記VGGニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得するための医療サブ画像認識ユニットと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成するための特徴ベクトル合成ユニットと、を含む。
61 医用画像受信ユニット
62 特徴ベクトル取得ユニット
63 診断項目認識ユニット
64 記述セグメント決定サブユニット
65 医療報告書生成ユニット
70 プロセッサ
71 メモリ
72 コンピュータプログラム
Claims (20)
- 認識される医用画像を受信することと、
前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築することと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に基づいて、前記医用画像の医療報告書を生成することと、を含むことを特徴とする医療報告書の生成方法。 - 前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
前記VGGニューラルネットワークの5層プーリング層Maxpoolによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
前記視覚的特徴ベクトルを前記VGGニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項1に記載の生成方法。 - 前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
各キーワードの事前設定されたコーパスでのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、前記前処理関数は、具体的に以下のとおりである、すなわち、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することとを含むことを特徴とする請求項1に記載の生成方法。 - 複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得することと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のLSTMニューラルネットワークの入力として、前記訓練診断項目を前記LSTMニューラルネットワークの出力として、前記LSTMニューラルネットワーク内の各学習パラメータを、前記LSTMニューラルネットワークが収束条件を満たすように調整することと、前記収束条件は下記のとおりである、すなわち、
調整されたLSTMニューラルネットワークを診断項目認識モデルとすることとをさらに含むことを特徴とする請求項1〜3のいずれか1項に記載の生成方法。 - 認識される医用画像を受信した後、
前記医用画像を二値化処理し、二値化された医用画像を取得することと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割することと、をさらに含み、
前記医用画像を事前設定されたVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
各医療サブ画像を前記VGGニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得することと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成することと、を含むことを特徴とする請求項1に記載の認識方法。 - 認識される医用画像を受信するための医用画像受信ユニットと、
前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するための特徴ベクトル取得ユニットと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定するための診断項目認識ユニットと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するための記述セグメント決定サブユニットと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するための医療報告書生成ユニットと、を含むことを特徴とする医療報告書の生成装置。 - 前記特徴ベクトル取得ユニットは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築するための画素行列構築ユニットと、
前記VGGニューラルネットワークの5層プーリング層Maxpoolによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得するための視覚的特徴ベクトル生成ユニットと、
前記視覚的特徴ベクトルを前記VGGニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力するためのインデックスシーケンス生成ユニットと、
キーワードインデックステーブルに基づいて、前記インデックスシーケンスに対応するキーワードシーケンスを決定するためのキーワードシーケンス生成ユニットと、を含むことを特徴とする請求項6に記載の分配装置。 - 前記診断項目認識ユニットは、
各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成するためのキーワード特徴ベクトル構築ユニットと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得するための前処理ユニットと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力するための前処理ベクトルインポートユニットと、を含むことを特徴とする請求項6に記載の分配装置。 - 前記医療報告書の生成装置は、
複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得するための訓練パラメータ取得ユニットと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のLSTMニューラルネットワークの入力として、前記訓練診断項目を前記LSTMニューラルネットワークの出力として、前記LSTMニューラルネットワーク内の各学習パラメータを、前記LSTMニューラルネットワークが収束条件を満たすように調整するための学習パラメータ訓練ユニットと、前記収束条件は下記のとおりである、すなわち、
調整されたLSTMニューラルネットワークを診断項目認識モデルとするための診断項目認識モデル生成ユニットとをさらに含むことを特徴とする請求項6〜8のいずれか1項に記載の分配装置。 - 前記医療報告書の生成装置は、
前記医用画像を二値化処理し、二値化された医用画像を取得するための二値化処理ユニットと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割するための境界分割ユニットと、をさらに含み、
前記特徴ベクトル取得ユニットは、
各医療サブ画像を前記VGGニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得するための医療サブ画像認識ユニットと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成するための特徴ベクトル合成ユニットと、を含むことを特徴とする請求項6に記載の分配装置。 - メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータ読み取り可能なコマンドと、を含んでおり、前記プロセッサは、前記コンピュータ読み取り可能なコマンドを実行するときに、下記のステップ、すなわち、
認識される医用画像を受信するステップと、
前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するステップと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定するステップと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するステップと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に基づいて、前記医用画像の医療報告書を生成するステップと、を実現することを特徴とする医療報告書の生成装置。 - 前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
前記VGGニューラルネットワークの5層プーリング層Maxpoolによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
前記視覚的特徴ベクトルを前記VGGニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項11に記載の生成装置。 - 前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、
ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することと、を含むことを特徴とする請求項12に記載の生成装置。 - 前記プロセッサは、前記コンピュータ読み取り可能なコマンドを実行するときに、下記のステップ、すなわち、
複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得するステップと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のLSTMニューラルネットワークの入力として、前記訓練診断項目を前記LSTMニューラルネットワークの出力として、前記LSTMニューラルネットワーク内の各学習パラメータを、前記LSTMニューラルネットワークが収束条件を満たすように調整するステップと、前記収束条件は下記のとおりである、すなわち、
調整されたLSTMニューラルネットワークを診断項目認識モデルとするステップとをさらに実現することを特徴とする請求項11〜13のいずれか1項に記載の生成装置。 - 認識される医用画像を受信した後、前記プロセッサは、前記コンピュータ読み取り可能なコマンドを実行するときに、下記のステップ、すなわち、
前記医用画像を二値化処理し、二値化された医用画像を取得するステップと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割するステップと、をさらに実現し、
前記医用画像を事前設定されたVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
各医療サブ画像を前記VGGニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得することと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成することと、を含むことを特徴とする請求項11に記載の生成装置。 - コンピュータ読み取り可能なコマンドが記憶されており、前記コンピュータ読み取り可能なコマンドがプロセッサによって実行されるときに、下記のステップ、すなわち、
認識される医用画像を受信するステップと、
前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するステップと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定するステップと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するステップと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するステップと、を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。 - 前記医用画像を事前設定された視覚幾何学グループVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
前記VGGニューラルネットワークの5層プーリング層Maxpoolによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
前記視覚的特徴ベクトルを前記VGGニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項16に記載のコンピュータ読み取り可能な記憶媒体。 - 前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することとを含むことを特徴とする請求項16に記載のコンピュータ読み取り可能な記憶媒体。 - 前記コンピュータ読み取り可能なコマンドがプロセッサによって実行されるときに、下記のステップ、すなわち、
複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得するステップと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のLSTMニューラルネットワークの入力として、前記訓練診断項目を前記LSTMニューラルネットワークの出力として、前記LSTMニューラルネットワーク内の各学習パラメータを、前記LSTMニューラルネットワークが収束条件を満たすように調整するステップと、前記収束条件は下記のとおりである、すなわち、
調整されたLSTMニューラルネットワークを診断項目認識モデルとするステップとをさらに実現することを特徴とする請求項16〜18のいずれか1項に記載のコンピュータ読み取り可能な記憶媒体。 - 前記コンピュータ読み取り可能なコマンドがプロセッサによって実行されるときに、下記のステップ、すなわち、
前記医用画像を二値化処理し、二値化された医用画像を取得するステップと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割するステップと、をさらに実現し、
前記医用画像を事前設定されたVGGニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
各医療サブ画像を前記VGGニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得することと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成することと、を含むことを特徴とする請求項16に記載のコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810456351.1 | 2018-05-14 | ||
CN201810456351.1A CN109147890B (zh) | 2018-05-14 | 2018-05-14 | 一种医学报告的生成方法及设备 |
PCT/CN2018/096266 WO2019218451A1 (zh) | 2018-05-14 | 2018-07-19 | 一种医学报告的生成方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020523711A true JP2020523711A (ja) | 2020-08-06 |
JP6980040B2 JP6980040B2 (ja) | 2021-12-15 |
Family
ID=64801706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019569722A Active JP6980040B2 (ja) | 2018-05-14 | 2018-07-19 | 医療報告書の生成方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210057069A1 (ja) |
JP (1) | JP6980040B2 (ja) |
CN (1) | CN109147890B (ja) |
SG (1) | SG11202000693YA (ja) |
WO (1) | WO2019218451A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023205177A1 (en) * | 2022-04-19 | 2023-10-26 | Synthesis Health Inc. | Combining natural language understanding and image segmentation to intelligently populate text reports |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109935294A (zh) * | 2019-02-19 | 2019-06-25 | 广州视源电子科技股份有限公司 | 一种文本报告输出方法、装置、存储介质及终端 |
CN110085299B (zh) * | 2019-04-19 | 2020-12-08 | 合肥中科离子医学技术装备有限公司 | 一种图像识别去燥方法、系统及图像库 |
CN110246109B (zh) * | 2019-05-15 | 2022-03-18 | 清华大学 | 融合ct影像和个性化信息的分析系统、方法、装置及介质 |
CN112420167A (zh) * | 2019-08-20 | 2021-02-26 | 阿里巴巴集团控股有限公司 | 影像报告的生成方法、装置及设备 |
US11507831B2 (en) * | 2020-02-24 | 2022-11-22 | Stmicroelectronics International N.V. | Pooling unit for deep learning acceleration |
CN112070755A (zh) * | 2020-09-14 | 2020-12-11 | 内江师范学院 | 基于深度学习和迁移学习结合的新冠肺炎图像识别方法 |
CN112992308B (zh) * | 2021-03-25 | 2023-05-16 | 腾讯科技(深圳)有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
CN113724359A (zh) * | 2021-07-14 | 2021-11-30 | 鹏城实验室 | 一种基于Transformer的CT报告生成方法 |
CN113539408B (zh) * | 2021-08-31 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 一种医学报告生成方法、模型的训练方法、装置及设备 |
CN113764073A (zh) * | 2021-09-02 | 2021-12-07 | 宁波权智科技有限公司 | 一种医学影像分析方法及装置 |
CN113781459A (zh) * | 2021-09-16 | 2021-12-10 | 人工智能与数字经济广东省实验室(广州) | 一种面向血管疾病辅助报告生成方法及装置 |
CN113989675B (zh) * | 2021-11-02 | 2022-06-14 | 四川睿迈威科技有限责任公司 | 基于遥感影像的地理信息提取深度学习训练样本交互制作方法 |
CN115132314B (zh) * | 2022-09-01 | 2022-12-20 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 检查印象生成模型训练方法、装置及生成方法 |
CN116797889B (zh) * | 2023-08-24 | 2023-12-08 | 青岛美迪康数字工程有限公司 | 医学影像识别模型的更新方法、装置和计算机设备 |
CN117274408B (zh) * | 2023-11-22 | 2024-02-20 | 江苏普隆磁电有限公司 | 一种钕铁硼磁体表面处理数据管理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017111660A (ja) * | 2015-12-17 | 2017-06-22 | 日本電信電話株式会社 | 映像パターン学習装置、方法、及びプログラム |
EP3246836A1 (en) * | 2016-05-18 | 2017-11-22 | Siemens Healthcare GmbH | Automatic generation of radiology reports from images and automatic rule out of images without findings |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008259622A (ja) * | 2007-04-11 | 2008-10-30 | Fujifilm Corp | レポート作成支援装置およびそのプログラム |
WO2010134016A1 (en) * | 2009-05-19 | 2010-11-25 | Koninklijke Philips Electronics N.V. | Retrieving and viewing medical images |
WO2012047940A1 (en) * | 2010-10-04 | 2012-04-12 | Nabil Abujbara | Personal nutrition and wellness advisor |
US10664567B2 (en) * | 2014-01-27 | 2020-05-26 | Koninklijke Philips N.V. | Extraction of information from an image and inclusion thereof in a clinical report |
CN105232081A (zh) * | 2014-07-09 | 2016-01-13 | 无锡祥生医学影像有限责任公司 | 医学超声辅助自动诊断装置及方法 |
CN107767928A (zh) * | 2017-09-15 | 2018-03-06 | 深圳市前海安测信息技术有限公司 | 基于人工智能的医学影像报告生成系统及方法 |
-
2018
- 2018-05-14 CN CN201810456351.1A patent/CN109147890B/zh active Active
- 2018-07-19 US US16/633,707 patent/US20210057069A1/en not_active Abandoned
- 2018-07-19 WO PCT/CN2018/096266 patent/WO2019218451A1/zh active Application Filing
- 2018-07-19 SG SG11202000693YA patent/SG11202000693YA/en unknown
- 2018-07-19 JP JP2019569722A patent/JP6980040B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017111660A (ja) * | 2015-12-17 | 2017-06-22 | 日本電信電話株式会社 | 映像パターン学習装置、方法、及びプログラム |
EP3246836A1 (en) * | 2016-05-18 | 2017-11-22 | Siemens Healthcare GmbH | Automatic generation of radiology reports from images and automatic rule out of images without findings |
Non-Patent Citations (2)
Title |
---|
AGHASI POGHOSYAN ET AL: "Long Short-Term Memory with Read-only Unit in Neural Image Caption Generator", 2017 COMPUTER SCIENCE AND INFORMATION TECHNOLOGIES (CSIT), JPN6021004956, 29 September 2017 (2017-09-29), US, pages 162 - 167, XP033329752, ISSN: 0004445963, DOI: 10.1109/CSITechnol.2017.8312163 * |
BAOYU JING ET AL: "On the Automatic Generation of Medical Imaging Reports", ARXIV, JPN6021004955, 22 November 2017 (2017-11-22), pages 1 - 9, ISSN: 0004445962 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023205177A1 (en) * | 2022-04-19 | 2023-10-26 | Synthesis Health Inc. | Combining natural language understanding and image segmentation to intelligently populate text reports |
Also Published As
Publication number | Publication date |
---|---|
US20210057069A1 (en) | 2021-02-25 |
JP6980040B2 (ja) | 2021-12-15 |
SG11202000693YA (en) | 2020-02-27 |
WO2019218451A1 (zh) | 2019-11-21 |
CN109147890B (zh) | 2020-04-24 |
CN109147890A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6980040B2 (ja) | 医療報告書の生成方法および装置 | |
US11861829B2 (en) | Deep learning based medical image detection method and related device | |
US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
US11024066B2 (en) | Presentation generating system for medical images, training method thereof and presentation generating method | |
WO2020224406A1 (zh) | 图像分类方法、计算机可读存储介质和计算机设备 | |
US11604949B2 (en) | Image processing method and apparatus, computer-readable storage medium, and computer device | |
CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
KR20210021039A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 | |
KR20210048523A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 | |
US20220076052A1 (en) | Similarity determining method and device, network training method and device, search method and device, and electronic device and storage medium | |
TW202125415A (zh) | 三維目標檢測及模型的訓練方法、設備、儲存媒體 | |
KR102202398B1 (ko) | 영상처리장치 및 그의 영상처리방법 | |
US11195262B2 (en) | Body region identification device and method | |
US11819427B2 (en) | Systems and methods for orthosis design | |
CN112530550A (zh) | 影像报告生成方法、装置、计算机设备和存储介质 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN110827283B (zh) | 基于卷积神经网络的头颈血管分割方法及装置 | |
WO2023174063A1 (zh) | 背景替换的方法和电子设备 | |
CN116630239A (zh) | 影像分析方法、装置和计算机设备 | |
GB2616921A (en) | System and methods for classifying magnetic resonance imaging (MRI) image characteristics | |
CN114781393A (zh) | 图像描述生成方法和装置、电子设备及存储介质 | |
CN114360695A (zh) | 乳腺超声扫查分析辅助系统、介质及设备 | |
CN113763352B (zh) | 一种腹腔积液图像处理方法和系统 | |
CN110415239B (zh) | 图像处理方法、装置、设备、医疗电子设备以及介质 | |
US20240127570A1 (en) | Image analysis apparatus, image analysis method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6980040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |