JP2014127011A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2014127011A JP2014127011A JP2012283035A JP2012283035A JP2014127011A JP 2014127011 A JP2014127011 A JP 2014127011A JP 2012283035 A JP2012283035 A JP 2012283035A JP 2012283035 A JP2012283035 A JP 2012283035A JP 2014127011 A JP2014127011 A JP 2014127011A
- Authority
- JP
- Japan
- Prior art keywords
- image
- diagnosed
- diagnostic
- unit
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Epidemiology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】 診断対象とする画像に類似した画像を効率的に検索する。
【解決手段】 本開示の一側面である情報処理装置は、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備える。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。
【選択図】 図1
【解決手段】 本開示の一側面である情報処理装置は、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備える。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。
【選択図】 図1
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、診断の対象とする診断画像に類似した症例画像をデータベース中から検索して表示させる場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
従来、医療の場において、腫瘍などの病理組織を診断する(例えば、癌などの悪性腫瘍であるか否かを判断する)方法として、患者から病理組織の一部を採取して薄く切り、その切片(以下、生検と称する)をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
また、その診断を支援するために、プレパラートをスキャニングし、その結果得られる診断画像に類似するものを、既に診断済みの症例画像が蓄積されているデータベースの中から検索して提示する方法が提案されている(例えば、特許文献1参照)。
特許文献1に記載の方法では、診断画像とデータベースの症例画像とのそれぞれの画像特徴量とを比較し、単にその類似性に基づいて検索した症例画像を提示しているだけである。したがって、診断の参考になるような症例画像が検索されず、参考にならないような多数の検索結果が出力されてしまったりすることが起こり得た。
本開示はこのような状況に鑑みてなされたものであり、診断対象とする画像に類似した画像を効率的に検索できるようにするものである。
本開示の一側面である情報処理装置は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備え、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部とを有する。
本開示の一側面である情報処理装置は、キーワードを設定するキーワード設定部をさらに備え、前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、前記診断済画像検索装置は、前記第1次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第2次フィルタ部をさらに有するようにすることができる。
本開示の一側面である情報処理装置は、前記キーワード設定部を複数備え、前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させることができる。
前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させることができる。
前記診断画像および前記診断済画像は、医療画像とすることができる。
前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像とすることができる。
前記診断済画像検索装置は、インターネット上に設けられたサーバとすることができる。
前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第1次フィルタ部、または前記第2次フィルタ部のうちの少なくとも1つを備えることができる。
前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第1の症例画像と、前記病変が存在しない旨の情報が関連付けられる第2の症例画像とを表示させることができる。
前記表示制御部は、病変が存在する旨を示す表示情報を前記第1の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第2の症例画像と対応づけて表示させることができる。
本開示の一側面である情報処理方法は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、前記情報処理装置による、前記診断画像を入力する診断画像入力ステップと、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップとを含み、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出し、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する。
本開示の一側面であるプログラムは、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部として機能させ、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部とを有する。
本開示の一側面においては、診断画像が入力され、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報が取得され、入力された前記診断画像の所定の領域が抽出されてクエリ画像が生成される。また、生成された前記クエリ画像と前記表示操作履歴情報が診断済画像検索装置に供給され、前記診断済画像検索装置の検索結果として得られる前記診断済画像が取得され、前記診断画像と、取得された前記診断済画像とが対比して表示される。なお、前記診断済画像検索装置では、前記クエリ画像の画像特徴量が抽出され、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像が検索され、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像が抽出される。
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
[類似症例画像表示制御装置の構成例]
本開示の情報処理装置の実施の形態である類似症例画像表示制御装置は、診断対象の病理画像を観察するに際し、それに類似した、診断済みの病理画像と比較しながらユーザ(病理医など)に提示するものである。
本開示の情報処理装置の実施の形態である類似症例画像表示制御装置は、診断対象の病理画像を観察するに際し、それに類似した、診断済みの病理画像と比較しながらユーザ(病理医など)に提示するものである。
ここで、病理画像とは、従来、病理医などの診断者が顕微鏡下で観察していたプレパラート(生体組織から切り出した生検をスライドガラスに配置して染色したもの)をスキャニングした画像を指すものとする。
なお、本開示は病理画像のみならず、CT、MRI、X線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を提示させる場合にも適用できる。
以下、診断対象のプレパラートをスキャニングして得られた病理画像を診断画像と称する。また、診断済みの病理画像を症例画像と称する。
図1は、類似症例画像表示制御装置の構成例を示している。
この類似症例画像提示装置10は、操作入力部11、表示制御部12、診断画像入力部13、クエリ画像設定部14、および症例画像取得部15から構成される。
操作入力部11は、ユーザ(診断者となる病理医など)による診断画像の選択操作、表示させた診断画像の移動や拡大・縮小の操作、診断画像上に設けるクエリ画像の設定操作、検索条件(キーワードなど)の入力操作などを受け付ける。さらに、操作入力部11は、入力された操作に応じた操作信号を対応する表示制御部12、診断画像入力部13、クエリ画像設定部14、または症例画像取得部15に入力する。
表示制御部12は、後段のディスプレイ30に対して、ユーザインタフェースとなる画面50(図4)を表示させる。ユーザインタフェースとなる画面50には、診断画像や検索結果として表示される症例画像などが表示される。なお、具体的な画面50の表示例については後述する。
診断画像入力部13は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部12およびクエリ画像設定部14に入力する。
クエリ画像設定部14は、表示されている診断画像上にユーザが設定する所定のサイズのクエリ画像設定枠53によって示される領域を診断画像から抽出し、その結果得られるクエリ画像を症例画像取得部15に入力する。
症例画像取得部15は、クエリ画像を症例検索サーバ20に送信して検索を依頼する。このとき、症例画像取得部15は、診断画像の表示に関するユーザの操作履歴を表す診断画像コントロール情報や2次フィルタリング情報(いずれも後述)も症例検索サーバ20に供給する。そして、症例画像取得部15は、症例検索サーバ20の検索結果として得られる症例画像を取得して表示制御部12に供給する。
症例検索サーバ20は、例えばインターネット上に設けるようにする。ただし、症例検索サーバ20の全体またはその構成要素の一部を類似症例画像提示装置10に内蔵するようにしてもよい。
図2は、症例検索サーバ20の構成例を示している。
症例検索サーバ20は、画像特徴量抽出部21、症例画像検索部22、症例データベース23、症例登録部24、第1フィルタ部25、第2フィルタ部26、および検索結果出力部27から構成される。
画像特徴量抽出部21は、クエリ画像から画像特徴量を抽出して症例画像検索部22に供給する。ここで画像特徴量を抽出する方法については、以下に説明する症例データベース23に登録されている症例画像の画像特徴量を抽出する方法と共通であれば、既存の任意の方法を適用することができる。
具体的には、例えばクエリ画像のテクスチャの周波数特性をFFTにより抽出したり、HOG、SHIFT特徴量などの輝度勾配のヒストグラム特徴量を抽出したりしてもよい。抽出された画像特徴量は、例えばN次元ベクトルで表現できる。
症例画像検索部22は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース23から検索し、その検索結果(画像データのみならず、画像データを含む症例情報全体)を第1フィルタ部25に入力する。以下、クエリ画像に類似した検索結果である症例画像上の部分画像を、類似画像とも称する。
症例データベース23には、診断済みの症例画像が多数記録されている。なお、症例画像上には、クエリ画像と同サイズの診断時に注目された領域を表す部分画像が設けられており、症例データベース23には、部分画像毎に症例情報が登録されている。この症例画像上の部分画像が後段において類似画像と成り得る。
図3は、症例情報に含まれる項目を示している。
部分画像に対応する症例情報40には、画像ID41、画像データ42、部分画像の位置とサイズ43、画像特徴量44、カルテ情報45、診断時画像コントロール情報46、および2次フィルタリング情報47が含まれる。
画像ID41は、症例画像上の各部分画像に対して個別に設けられた識別情報である。画像データ42は、部分画像を含む症例画像の各画素値を表す画像データである。部分画像の位置とサイズ43は、症例画像における該部分画像の位置とサイズを表す情報である。画像特徴量44は、該部分画像の画像特徴量である。なお、画像特徴量44を得るための画像特徴量抽出方法と、画像特徴量抽出部21の画像特徴量抽出方法とは同じものを採用する必要がある。カルテ情報45は、該部分画像を含む症例画像に対して既に下されている診断結果を表す文字列である。
診断時画像コントロール情報46は、該部分画像を含む症例画像を診断した際のユーザの表示操作履歴を表すものであり、後述する診断時画像コントロール情報60に相当する。2次フィルタリング情報47は、該部分画像を含む症例画像を診断した際にユーザが設定したものであり、後述する2次フィルタリング情報70に相当する。
症例登録部24は、症例データベース23に対して、症例画像上の部分画像毎に症例情報を登録する。なお、類似症例画像提示装置10を用いてユーザが診断画像に下した診断結果を症例データベース23に登録するようにしてもよい。
第1フィルタ部25は、症例画像検索部22の画像特徴量による検索結果に対して、診断時画像コントロール情報に基づいて1次フィルタリングを行う。ここで、診断時画像コントロール情報とは、ユーザが診断を行なうに際して診断画像に対して行った移動(上下左右のスクロール)、拡大・縮小などの表示制御に関する操作を行なった時の操作履歴を表す情報である。診断時画像コントロール情報については、図6を参照して後述する。
第2フィルタ部26は、第1フィルタ部25による1次フィルタリング結果に対して、2次フィルタリング情報に基づいて2次フィルタリングを行う。ここで、2次フィルタリング情報とは、1次フィルタリングの結果を絞り込むためにユーザが入力するキーワード、ソート基準などの項目から成る。2次フィルタリング情報については、図9を参照して後述する。
検索結果出力部27は、第2フィルタ部26による2次フィルタリングの結果(類似画像となる領域を含む症例画像)を、類似症例画像提示装置10の症例画像取得部15に出力する。
[ユーザインタフェースとなる画面について]
次に、図4は、ユーザインタフェースとなる画面の表示例を示している。
次に、図4は、ユーザインタフェースとなる画面の表示例を示している。
この表示画面50は、表示制御部12の制御に基づいてディスプレイ30に表示されるものである。表示画面50には、診断画像表示領域51、リスト数設定領域54、キーワード入力領域55、ソート順設定領域56、および検索結果表示領域57が設けられている。
診断画像表示領域51には、診断画像入力部13により入力された診断画像が表示される。診断画像表示領域51を拡大した図5が示すように、診断画像表示領域51内の右下には、診断画像の全体が縮小表示されており、そこに示される拡大領域52が診断画像表示領域51に拡大表示されている範囲を表している。
ユーザは、診断画像表示領域51に表示されている診断画像を任意にスクロールしたり、任意の倍率で拡大・縮小したり、回転したりすることができる。このときの操作履歴が所定のサンプリング周期で記録されることにより診断時画像コントロール情報が生成される。
図6は、診断時画像コントロール情報の一例を示している。診断時画像コントロール情報60には、サンプリング周期のタイミング、X座標、Y座標、および倍率から構成される。
例えば図6の場合、タイミングt1,t2においては、診断画像の座標(330,456)を中心として倍率10倍で表示されていたことを表す。そして、タイミングt3において、診断画像の座標(442,563)を中心とするようにスクロールされ、倍率20倍に拡大表示されていたことを表する。そして、タイミングt4において、さらに拡大され、倍率40倍で表示されていたことを表する。
例えば図6の場合、タイミングt1,t2においては、診断画像の座標(330,456)を中心として倍率10倍で表示されていたことを表す。そして、タイミングt3において、診断画像の座標(442,563)を中心とするようにスクロールされ、倍率20倍に拡大表示されていたことを表する。そして、タイミングt4において、さらに拡大され、倍率40倍で表示されていたことを表する。
図4に戻る。診断画像表示領域51に表示されている診断画像上には、診断画像表示領域51を拡大した図7が示すように、所定のサイズのクエリ画像設定枠53を設けることができる。ユーザは、診断画像表示領域51の診断画像上でクエリ画像設定枠53を任意の位置に移動させることができる。この診断画像上のクエリ画像設定枠53で表された領域がクエリ画像とされる。
リスト数設定領域54には、1次フィルタリングの結果をさらに絞り込んで得る2次フィルタリング結果の系統数(リスト数)をユーザが設定できる。図4の場合のように、リスト数が2に設定されると、次に説明するキーワード入力領域55が2系等分(55−1,55−2)だけ表示されることになる。また、検索結果表示領域57には、2系等分の検索結果を表示される。
キーワード入力領域55においては、ユーザが1次フィルタリングの結果をさらに絞り込むための検索結果フィルタリング情報の一項目であるキーワードを選択、または直接入力することができる。ここで選択または直接入力されたキーワードが、症例情報40のカルテ情報45に対する検索語となる。なお、図3の場合、診断画像が胃の病理画像である場合のキーワードが示されており、キーワード入力領域55−1では、キーワードとして”Por”と”Sig”が選択されている。またキーワード入力領域55−5では、キーワードとして”Non Cancer”が選択されている。
ソート順設定領域56には、2次フィルタリング結果をソートする時の基準をユーザが設定できる。図3の場合、診断画像が胃の病理画像である場合のソート基準が示されており、「核の大きさ」に設定されている。
なお、キーワード入力領域55およびソート順設定領域56は、診断画像に写っている生体部位に応じてユーザがその内容を切り替えることができる。図8Aは、診断画像が胃の病理画像である場合のキーワードとソート基準である。図8Bは、診断画像が前立腺の病理画像である場合のキーワードとソート基準である。なお、図8には、診断画像が胃または前立腺の病理画像である場合の2例についてのみ示しているが、当然ながらこれら以外の場合に対応するキーワードとソート基準を用意するようにしてもよい。
図9は、キーワード入力領域55およびソート順設定領域56に対する設定に応じて生成される2次フィルタリング情報の項目を示している。
2次フィルタリング情報70は、フィルタリングキーワード71、ソート基準72、類似画像ID73、および症例画像コントロール情報74を含む。
フィルタリングキーワード71は、キーワード入力領域55にて選択または直接入力されたキーワードであり、1次フィルタリング結果を、症例情報40のカルテ情報45に基づいて絞り込むための検索語となる。ソート基準72は、ソート順設定領域56にて設定されるものを指す。類似画像ID73は、検索結果表示領域57に表示されている検索結果(類似画像)の中でユーザが診断時に参照したものの識別情報である。症例画像コントロール情報74は、類似画像ID73が示す類似画像をユーザが参照するための表示した時の操作履歴を表す情報である。
図4に戻る。検索結果表示領域57には、キーワード入力領域55にて設定または直接入力されたキーワードを含む2次フィルタリング情報に基づく2次フィルタリングの結果が、ソート順設定領域56にて設定されたソート基準にしたがって並び替えられて表示される。
図4に戻る。検索結果表示領域57には、キーワード入力領域55にて設定または直接入力されたキーワードを含む2次フィルタリング情報に基づく2次フィルタリングの結果が、ソート順設定領域56にて設定されたソート基準にしたがって並び替えられて表示される。
図10は、リスト数設定領域54にてリスト数を1に設定し、キーワード入力領域55にて全てのキーワードを選択し、ソート順設定領域56にて画像特徴量類似度をソート基準に設定した場合の表示例を示している。
図11は、リスト数設定領域54にてリスト数を2に設定し、キーワード入力領域55−1にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域55−2にて”Not Cancer”を選択し、ソート順設定領域56にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に類似した様々な癌の症例画像と、非癌の症例画像とを検索結果として表示させることができる。
図12は、リスト数設定領域54にてリスト数を3に設定し、キーワード入力領域55−1,55−2,55−3にて、それぞれ”Tub2”,”Por”,”Sig”を選択し、ソート順設定領域56にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に対して疑わしい症例毎の症例画像を列毎に分けて表示させることができる。
なお、リスト数設定領域54にて設定可能なリスト数は4以上としてよい。
[動作説明]
次に類似症例画像提示装置10の動作について説明する。図13は、類似症例画像提示装置10による類似症例画像提示処理を説明するフローチャートである。
[動作説明]
次に類似症例画像提示装置10の動作について説明する。図13は、類似症例画像提示装置10による類似症例画像提示処理を説明するフローチャートである。
ステップS1において、診断画像入力部13は、操作入力部11から入力されるユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部12およびクエリ画像設定部14に入力する。表示制御部12は、診断画像をディスプレイに表示させる。このとき、ユーザが診断画像をスクロールさせたり、拡大・縮小させたりすると、その操作履歴が診断時画像コントロール情報として保持される。
ステップS2において、クエリ画像設定部14は、表示されている診断画像上にユーザが設定するクエリ画像設定枠53の領域をクエリ画像として抽出して症例画像取得部15に入力する。症例画像取得部15は、クエリ画像を症例検索サーバ20に送信して検索を依頼する。
ステップS3において、症例検索サーバ20の画像特徴量抽出部21は、クエリ画像から画像特徴量を抽出して症例画像検索部22に供給する。
ステップS4において、症例画像検索部22は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース23から検索する。具体的には、クエリ画像の画像特徴量と、症例情報40の画像特徴量44との類似度を例えば次式(1)を用いて算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを検索結果として第1フィルタ部25に入力する。
ここで、Nは特徴量の次元数、Qはクエリ画像の特徴量、Dは症例データベース中の画像の特徴量、wは特徴次元毎の重みパラメータを表す。特徴次元毎の重みパラメータは、例えばすべて1としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
なお、類似度算出方法については、式(1)に限るものではなく、任意の方法を用いることができる。
ステップS5において、第1フィルタ部25は、画像特徴量によりクエリ画像に類似しているとして検索された各症例情報40に対して、診断時画像コントロール情報に基づいて1次フィルタリングを行う。具体的には、診断画像の診断時画像コントロール情報と、各症例情報40の診断時画像コントロール情報46(症例画像が診断されたときの診断時画像コントロール情報)との類似度を算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを1次フィルタリング結果として第2フィルタ部26に入力する。
ここで、診断時画像コントロール情報の類似度算出方法の例について図14を参照して説明する。図14は、診断時画像コントロール情報のX座標値の変化に着目して類似度を求める方法を説明している。
初めに、診断時画像コントロール情報の時間と画素の座標値を相対値に変換する。ここでは時間は診断にかかった総時間に対する相対時間と、画像サイズを1000ピクセルとして得られる相対座標を計算している。診断画像の診断時画像コントロール情報と、検索された症例画像の診断時画像コントロール情報から得られた相対座標をグラフにプロットすると図8に図示するとおりとなり、この2つのグラフの類似度を計算する。
グラフの類似度の計算方法としては、診断時刻をtとし、2つのグラフをp(t)とq(t)とした場合、例えば次式(2)に示されるBhattacharyya距離を用いた算式を採用できる。
なお、上述した説明では、診断時画像コントロール情報のX座標値の変化に着目して類似度を求めたが、Y座標値の変化に着目したり、表示倍率の変化に着目したり、X座標値の移動差分値の変化に着目したりしてもよい。移動差分値を用いた場合、診断時に観察した範囲が分かるので、腫瘍の大きさの値が得られることが期待される。
なお、X座標値の変化に着目したり、Y座標値の変化に着目したり、表示倍率の変化に着目したり、して複数の類似度が得られる場合、それぞれで閾値処理をしてフィルタリングの結果としてもよいし、次式(3)を用いて複数の類似度を統合して用いてもよい。
ここで、Sx,Sy,Smは、それぞれ診断時画像コントロール情報のX座標値、Y座標値、または表示倍率に着目した類似度であり、α、β、γは、それぞれの重みパラメータである。特徴次元毎の重みパラメータは、例えばすべて1としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
このようにして第1フィルタリング結果を得た後、処理は図13のステップS6に進められる。ステップS6において、第2フィルタ部26は、1次フィルタリング結果に対して、2次フィルタリング情報に基づいて2次フィルタリングを行う。具体的には、画面50のキーワード入力領域55に設定されたキーワード(フィルタリングキーワード71)を検索語として1次フィルタリング結果の症例情報40に含まれるカルテ情報45を検索して絞り込みを行なったり、ソート順設定領域56にて設定されたソート基準(ソート基準72)に基づいて、キーワードによる絞込み結果をソートしたりする。さらに、2次フィルタリング情報70の症例画像コントロール情報74と、1次フィルタリング結果の診断時画像コントロール情報46との類似度を1次フィルタリングと同様の方法で算出して、算出した類似度に基づいて絞り込みを行ってもよい。
ステップS7において、検索結果出力部27は、第2フィルタ部26による2次フィルタリングの結果(類似画像となる領域を含む症例画像)を、類似症例画像提示装置10の症例画像取得部15に出力する。症例画像取得部15は、症例検索サーバ20から応答された検索結果の症例画像を表示制御部12に供給する。表示制御部12は、検索結果の症例画像などを含むユーザインタフェースとしての画面をディスプレイ30に表示させる。具体的には、画面50のリスト数設定領域54に対する設定数に応じて、図10乃至図12に示されたような画面50が表示される。以上で、類似症例画像提示処理の説明を終了する。
[ユーザインタフェースとなる画面の活用について]
例えば、ユーザが診断画像について具体的な症例名が思い当たらない場合には、図10に示されたように、キーワード入力領域55−1にて全てのキーワードが選択さればよい。この場合、画像特徴量の類似度に基づく検索結果が、設定されているソート基準(図10の場合、画像特徴量類似度)に従って検索結果表示領域57に表示される。
例えば、ユーザが診断画像について具体的な症例名が思い当たらない場合には、図10に示されたように、キーワード入力領域55−1にて全てのキーワードが選択さればよい。この場合、画像特徴量の類似度に基づく検索結果が、設定されているソート基準(図10の場合、画像特徴量類似度)に従って検索結果表示領域57に表示される。
検索結果表示領域57にリスト表示された症例画像のうちの1つをユーザが選択するとディスプレイ30の表示は、図15に示されるように、診断画像上のクエリ画像と、選択された症例画像上の類似画像とを並列に表示された画面60に切り替えられる。これにより、ユーザは拡大表示されたクエリ画像と類似画像とを詳細に見比べることができる。
例えば、検索結果として癌の症例画像と非癌の症例画像との2系統表示させる場合には、図11に示されたように、リスト数設定領域54にてリスト数を2に設定し、キーワード入力領域55−1にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域55−2にて”Not Cancer”を選択すればよい。
図11の検索結果表示領域57にリスト表示された2列の症例画像からそれぞれ1つの病理画像をユーザが選択するとディスプレイ30の表示は、図16に示されるように、選択された癌の症例画像上の類似画像と、診断画像上のクエリ画像と、選択された非癌の症例画像上の類似画像とを並列に表示された画面に切り替えられる。これにより、ユーザは、中央に拡大表示されたクエリ画像と、その両側に拡大表示された癌の類似画像と、非癌の類似画像とを詳細に見比べることができる。
そもそも病理画像の診断の目的は、主に、診断画像内に病変が含まれているか否かを判断することであるので、図11のように、クエリ画像とともに、それに類似した病変(癌)の症例画像と病変が無い(非癌の)症例画像とをグループ分けして表示することは、診断に非常に役に立つことが期待される。すなわち、ユーザは、クエリ画像が病変を持つグループに近いのか、病変を持たないグループに近いのかを容易に比較して診断することができる。
なお、例えば、リスト数設定領域54にてリスト数を6に設定し、キーワード入力領域55−1乃至55−6にて、それぞれ”Tub1”、”Tub2”、”Por”、”Sig”、”MUC”、または”Not Cancer”を選択し、検索結果表示領域57にリスト表示される6列の症例画像からそれぞれ1つの病理画像をユーザが選択した場合には、診断画像上のクエリ画像を中心として、選択された症例画像上の類似画像がその周囲に表示された、図16に示される画面80となる。これにより、ユーザは、中心に表示されたクエリ画像と、その周囲に表示された複数の類似画像とを詳細に見比べることができる。
図15乃至図17に示されたようにクエリ画像と類似画像を並べて表示している状態においてクエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小したりした場合、それに対応して他方もスクロール表示させたり、拡大・縮小させることができる。
なお、クエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小させたりした場合において、他方をそのままの状態(スクロール表示や拡大・縮小しない)とするようにする設定も可能である。
図18は、図15に示されたクエリ画像と類似画像を並べて表示している画面60において、クエリ画像または類似画像の一方をスクロール表示させた場合に、それに対応して他方もスクロール表示させた状態を示している。このように、クエリ画像または類似画像の一方のスクロール表示に対応して他方もスクロール表示させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
図19は、図15に示されたクエリ画像と類似画像を並べて表示している画面60において、クエリ画像または類似画像の一方を拡大させた場合に、それに対応して他方も拡大させた状態を示している。このように、クエリ画像または類似画像の一方の拡大・縮小に対応して他方も拡大・縮小させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
なお、図18および図19は、1枚のクエリ画像に対して1枚の類似画像を表示している場合を示しているが、1枚のクエリ画像に対して2枚以上の類似画像を表示している場合においても同様に、1枚の画像に対するスクロール表示や拡大・縮小を、他の画像にも適用させて表示することができる。
図20および図21は、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点の移動を説明するための図である。
なお、図20Aは、クエリ画像と類似画像の拡大率を下げて診断画像と症例画像の全体を表示している状態、図20Bは、クエリ画像と類似画像を表示している状態、図20Cは、クエリ画像と類似画像を拡大して表示している状態である。図21は、クエリ画像または類似画像の一方の拡大し、他方も拡大させる場合の、拡大させる領域の中心の移動を示している。
例えば、図20Bに示された状態から図20Aに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心ではなく、元の診断画像と症例画像のそれぞれの中心を中心点としてそれぞれの拡大率を下げるように制御する。反対に、図20Aに示された状態から図20Bに示された状態にする場合には、図21に示されるように、元の診断画像と症例画像のそれぞれの中心ではなく、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する
また例えば、図20Bに示された状態から図20Cに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する。反対に、図20Cに示された状態から図20Bに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を下げるように制御する。
このように、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点を移動させることにより、ユーザの画像比較による診断の効率を向上させることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図22は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
該コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。
また、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。さらに、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
10 類似症例画像提示装置, 11 操作入力部, 12 表示制御部, 13 診断画像入力部, 14 クエリ画像設定部, 15 症例画像取得部, 20 症例検索サーバ, 21 画像特徴量抽出部, 22 奨励画像検索部, 23 症例データベース, 症例登録部, 25 第1フィルタ部, 26 第2フィルタ部, 27 検索結果出力部, 30 ディスプレイ,50 画面, 51 診断画像表示領域, 52 拡大領域, 53 クエリ画像設定枠, 54 リスト数設定領域, 55 キーワード入力領域, 56 ソート順設定領域, 200 コンピュータ, 201 CPU
Claims (12)
- 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、
前記診断画像を入力する診断画像入力部と、
前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
を備え、
前記診断済画像検索装置は、
前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部と
を有する
情報処理装置。 - キーワードを設定するキーワード設定部をさらに備え、
前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、
前記診断済画像検索装置は、
前記第1次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第2次フィルタ部をさらに有する
請求項1に記載の情報処理装置。 - 前記キーワード設定部を複数備え、
前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させる
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させる
請求項2に記載の情報処理装置。 - 前記診断画像および前記診断済画像は、医療画像である
請求項2に記載の情報処理装置。 - 前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像である
請求項2に記載の情報処理装置。 - 前記診断済画像検索装置は、インターネット上に設けられたサーバである
請求項2に記載の情報処理装置。 - 前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第1次フィルタ部、または前記第2次フィルタ部のうちの少なくとも1つを備える
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第1の症例画像と、前記病変が存在しない旨の情報が関連付けられる第2の症例画像とを表示させる
請求項1に記載の情報処理装置。 - 前記表示制御部は、病変が存在する旨を示す表示情報を前記第1の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第2の症例画像と対応づけて表示させる
請求項9に記載の情報処理装置。 - 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、
前記情報処理装置による、
前記診断画像を入力する診断画像入力ステップと、
前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、
入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、
生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、
前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップと
を含み、
前記診断済画像検索装置は、
前記クエリ画像の画像特徴量を抽出し、
予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、
検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する
情報処理方法。 - 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、
前記診断画像を入力する診断画像入力部と、
前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
として機能させ、
前記診断済画像検索装置は、
前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部と
を有する
プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012283035A JP2014127011A (ja) | 2012-12-26 | 2012-12-26 | 情報処理装置、情報処理方法、およびプログラム |
CN201380067324.0A CN104885079B (zh) | 2012-12-26 | 2013-12-06 | 信息处理单元、信息处理方法以及计算机可读记录介质 |
US14/652,581 US9798770B2 (en) | 2012-12-26 | 2013-12-06 | Information processing unit, information processing method, and program |
PCT/JP2013/082807 WO2014103664A1 (ja) | 2012-12-26 | 2013-12-06 | 情報処理装置、情報処理方法、およびプログラム |
EP13868702.5A EP2940597B1 (en) | 2012-12-26 | 2013-12-06 | Information processing device, information processing method, and program |
US15/695,456 US11010375B2 (en) | 2012-12-26 | 2017-09-05 | Information processing unit, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012283035A JP2014127011A (ja) | 2012-12-26 | 2012-12-26 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014127011A true JP2014127011A (ja) | 2014-07-07 |
Family
ID=51020756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012283035A Pending JP2014127011A (ja) | 2012-12-26 | 2012-12-26 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US9798770B2 (ja) |
EP (1) | EP2940597B1 (ja) |
JP (1) | JP2014127011A (ja) |
CN (1) | CN104885079B (ja) |
WO (1) | WO2014103664A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6180878A (ja) * | 1984-09-28 | 1986-04-24 | Hitachi Ltd | 超電導マグネツト用クライオスタツト |
JP2016012345A (ja) * | 2014-06-04 | 2016-01-21 | パナソニック株式会社 | 制御方法及びプログラム |
WO2016031950A1 (ja) * | 2014-08-28 | 2016-03-03 | 京セラ株式会社 | 電子機器 |
JP2016110573A (ja) * | 2014-12-10 | 2016-06-20 | オリンパス株式会社 | 画像検索装置、画像検索方法及び画像検索プログラム |
JP2016154023A (ja) * | 2016-03-16 | 2016-08-25 | 京セラ株式会社 | 電子機器 |
WO2021124869A1 (ja) * | 2019-12-17 | 2021-06-24 | 富士フイルム株式会社 | 診断支援装置、診断支援方法、及び診断支援プログラム |
JP2021532493A (ja) * | 2018-08-08 | 2021-11-25 | ディープ バイオ インク | 生体画像診断システム、生体画像診断方法、及びこれを行うための端末 |
WO2022080848A1 (ko) * | 2020-10-15 | 2022-04-21 | 주식회사 뷰노 | 영상 분석을 위한 사용자 인터페이스 |
WO2022201992A1 (ja) * | 2021-03-24 | 2022-09-29 | ソニーグループ株式会社 | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5677348B2 (ja) * | 2012-03-23 | 2015-02-25 | 富士フイルム株式会社 | 症例検索装置、症例検索方法及びプログラム |
KR102289393B1 (ko) | 2014-07-11 | 2021-08-13 | 삼성메디슨 주식회사 | 영상 장치 및 그 제어방법 |
US10318575B2 (en) | 2014-11-14 | 2019-06-11 | Zorroa Corporation | Systems and methods of building and using an image catalog |
JP6419560B2 (ja) * | 2014-12-05 | 2018-11-07 | 株式会社東芝 | 検索装置、方法及びプログラム |
CA2973769C (en) * | 2015-01-31 | 2021-05-18 | F. Hoffmann-La Roche Ag | Systems and methods for meso-dissection |
JP2017041022A (ja) * | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6675099B2 (ja) * | 2015-09-30 | 2020-04-01 | パナソニックIpマネジメント株式会社 | 制御方法及びプログラム |
CN105740378B (zh) * | 2016-01-27 | 2020-07-21 | 北京航空航天大学 | 一种数字病理全切片图像检索方法 |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
CN106021362B (zh) * | 2016-05-10 | 2018-04-13 | 百度在线网络技术(北京)有限公司 | 查询式的图片特征表示的生成、图片搜索方法和装置 |
US11468111B2 (en) * | 2016-06-01 | 2022-10-11 | Microsoft Technology Licensing, Llc | Online perspective search for 3D components |
US10467257B2 (en) | 2016-08-09 | 2019-11-05 | Zorroa Corporation | Hierarchical search folders for a document repository |
US10311112B2 (en) * | 2016-08-09 | 2019-06-04 | Zorroa Corporation | Linearized search of visual media |
US10664514B2 (en) | 2016-09-06 | 2020-05-26 | Zorroa Corporation | Media search processing using partial schemas |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
JP7239363B2 (ja) * | 2019-03-22 | 2023-03-14 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム |
CN114375477A (zh) * | 2019-06-07 | 2022-04-19 | 徕卡显微系统Cms有限公司 | 用于处理生物学相关数据的系统和方法、用于控制显微镜的系统和方法及显微镜 |
JP2021173734A (ja) * | 2020-04-30 | 2021-11-01 | ソニーグループ株式会社 | 生成装置、生成方法、生成プログラム及び診断支援システム |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6904163B1 (en) * | 1999-03-19 | 2005-06-07 | Nippon Telegraph And Telephone Corporation | Tomographic image reading method, automatic alignment method, apparatus and computer readable medium |
US6678703B2 (en) * | 2000-06-22 | 2004-01-13 | Radvault, Inc. | Medical image management system and method |
WO2002025588A2 (en) * | 2000-09-21 | 2002-03-28 | Md Online Inc. | Medical image processing systems |
WO2003017833A1 (en) * | 2001-08-31 | 2003-03-06 | Jong-Won Park | Method and apparatus for a medical image processing system |
JP2004005364A (ja) | 2002-04-03 | 2004-01-08 | Fuji Photo Film Co Ltd | 類似画像検索システム |
US8594410B2 (en) * | 2006-08-28 | 2013-11-26 | Definiens Ag | Context driven image mining to generate image-based biomarkers |
JP4528529B2 (ja) * | 2004-01-20 | 2010-08-18 | 株式会社東芝 | 超音波診断装置及び超音波画像データ処理方法 |
JP2005218796A (ja) * | 2004-02-09 | 2005-08-18 | Matsushita Electric Ind Co Ltd | 医用画像処理装置および医用画像処理方法 |
US8218835B2 (en) * | 2005-08-22 | 2012-07-10 | Dai Nippon Printing Co., Ltd. | Method for assisting in diagnosis of cerebral diseases and apparatus thereof |
EP1959273A4 (en) * | 2005-11-30 | 2011-01-26 | Nihon Mediphysics Co Ltd | METHOD FOR DETECTING DEGENERATIVE HEADACHE, DETECTION PROGRAM AND DETECTOR |
JP4874701B2 (ja) * | 2006-04-18 | 2012-02-15 | 富士フイルム株式会社 | 類似画像検索装置および方法並びにプログラム |
JP2007287018A (ja) * | 2006-04-19 | 2007-11-01 | Fujifilm Corp | 診断支援システム |
US8090166B2 (en) * | 2006-09-21 | 2012-01-03 | Surgix Ltd. | Medical image analysis |
JP5128161B2 (ja) | 2007-03-30 | 2013-01-23 | 富士フイルム株式会社 | 画像診断支援装置及びシステム |
US8090172B2 (en) * | 2007-09-12 | 2012-01-03 | Siemens Medical Solutions Usa, Inc. | Robust segmentation of breast and muscle in MRI |
US8392053B2 (en) * | 2007-12-13 | 2013-03-05 | Service Solutions U.S., Llc | Graphing device and method |
JP5203858B2 (ja) * | 2008-09-01 | 2013-06-05 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム |
JP5056695B2 (ja) | 2008-09-24 | 2012-10-24 | 富士ゼロックス株式会社 | 類似画像提示装置及びプログラム |
JP5317716B2 (ja) * | 2009-01-14 | 2013-10-16 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP5227911B2 (ja) * | 2009-07-22 | 2013-07-03 | 株式会社日立国際電気 | 監視映像検索装置及び監視システム |
JP2011092681A (ja) * | 2009-09-30 | 2011-05-12 | Fujifilm Corp | 医用画像処理装置および方法並びにプログラム |
US8799013B2 (en) * | 2009-11-24 | 2014-08-05 | Penrad Technologies, Inc. | Mammography information system |
JP2011181015A (ja) * | 2010-03-03 | 2011-09-15 | Olympus Corp | 診断情報配信装置および病理診断システム |
US20110238676A1 (en) * | 2010-03-25 | 2011-09-29 | Palm, Inc. | System and method for data capture, storage, and retrieval |
JP5551957B2 (ja) * | 2010-03-31 | 2014-07-16 | 富士フイルム株式会社 | 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム |
JP5825889B2 (ja) * | 2010-08-11 | 2015-12-02 | 株式会社東芝 | レポート作成支援システム |
JP5844093B2 (ja) * | 2010-09-15 | 2016-01-13 | 株式会社東芝 | 医用画像処理装置及び医用画像処理方法 |
US8929624B2 (en) * | 2010-11-26 | 2015-01-06 | General Electric Company | Systems and methods for comparing different medical images to analyze a structure-of-interest |
JP5701138B2 (ja) * | 2011-04-19 | 2015-04-15 | 富士フイルム株式会社 | 医用画像処理装置および方法、並びにプログラム |
KR101982149B1 (ko) * | 2011-09-05 | 2019-05-27 | 삼성전자주식회사 | 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치 |
JP5631914B2 (ja) * | 2012-03-23 | 2014-11-26 | 富士フイルム株式会社 | データベース検索装置、方法、及び、プログラム |
SG11201407749TA (en) * | 2012-05-24 | 2014-12-30 | Hitachi Ltd | Image analysis device, image analysis system, and image analysis method |
-
2012
- 2012-12-26 JP JP2012283035A patent/JP2014127011A/ja active Pending
-
2013
- 2013-12-06 EP EP13868702.5A patent/EP2940597B1/en active Active
- 2013-12-06 CN CN201380067324.0A patent/CN104885079B/zh active Active
- 2013-12-06 US US14/652,581 patent/US9798770B2/en active Active
- 2013-12-06 WO PCT/JP2013/082807 patent/WO2014103664A1/ja active Application Filing
-
2017
- 2017-09-05 US US15/695,456 patent/US11010375B2/en active Active
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6180878A (ja) * | 1984-09-28 | 1986-04-24 | Hitachi Ltd | 超電導マグネツト用クライオスタツト |
JP2016012345A (ja) * | 2014-06-04 | 2016-01-21 | パナソニック株式会社 | 制御方法及びプログラム |
JP2019087272A (ja) * | 2014-06-04 | 2019-06-06 | パナソニック株式会社 | 情報端末、制御方法及びプログラム |
JP2016051216A (ja) * | 2014-08-28 | 2016-04-11 | 京セラ株式会社 | 電子機器 |
WO2016031950A1 (ja) * | 2014-08-28 | 2016-03-03 | 京セラ株式会社 | 電子機器 |
JP2016110573A (ja) * | 2014-12-10 | 2016-06-20 | オリンパス株式会社 | 画像検索装置、画像検索方法及び画像検索プログラム |
JP2016154023A (ja) * | 2016-03-16 | 2016-08-25 | 京セラ株式会社 | 電子機器 |
JP2021532493A (ja) * | 2018-08-08 | 2021-11-25 | ディープ バイオ インク | 生体画像診断システム、生体画像診断方法、及びこれを行うための端末 |
JP7320856B2 (ja) | 2018-08-08 | 2023-08-04 | ディープ バイオ インク | 生体画像診断システム、生体画像診断方法、及びこれを行うための端末 |
WO2021124869A1 (ja) * | 2019-12-17 | 2021-06-24 | 富士フイルム株式会社 | 診断支援装置、診断支援方法、及び診断支援プログラム |
JPWO2021124869A1 (ja) * | 2019-12-17 | 2021-06-24 | ||
JP7355849B2 (ja) | 2019-12-17 | 2023-10-03 | 富士フイルム株式会社 | 診断支援装置、診断支援方法、及び診断支援プログラム |
WO2022080848A1 (ko) * | 2020-10-15 | 2022-04-21 | 주식회사 뷰노 | 영상 분석을 위한 사용자 인터페이스 |
WO2022201992A1 (ja) * | 2021-03-24 | 2022-09-29 | ソニーグループ株式会社 | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム |
Also Published As
Publication number | Publication date |
---|---|
EP2940597B1 (en) | 2019-11-13 |
EP2940597A1 (en) | 2015-11-04 |
US20180004806A1 (en) | 2018-01-04 |
CN104885079B (zh) | 2020-06-05 |
EP2940597A4 (en) | 2016-09-07 |
CN104885079A (zh) | 2015-09-02 |
US9798770B2 (en) | 2017-10-24 |
US20150347505A1 (en) | 2015-12-03 |
WO2014103664A1 (ja) | 2014-07-03 |
US11010375B2 (en) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014103664A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6907381B2 (ja) | 制御方法及びプログラム | |
US11250048B2 (en) | Control method and non-transitory computer-readable recording medium for comparing medical images | |
US11112954B2 (en) | Control method and recording medium | |
US20200320336A1 (en) | Control method and recording medium | |
CN106560827B (zh) | 控制方法 | |
CN106557647B (zh) | 控制方法 | |
JP5652227B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6230787B2 (ja) | 検査情報表示装置及び方法 | |
JP6158509B2 (ja) | 検査情報表示装置及び方法 | |
US10261681B2 (en) | Method for displaying a medical image and a plurality of similar medical images obtained from a case search system | |
JP5670695B2 (ja) | 情報処理装置及び方法、並びにプログラム | |
CN111223556B (zh) | 集成医学图像可视化和探索 | |
JP2009527063A (ja) | 仮想環境において見本及びデータを使用及び統合するシステム及びその方法 | |
JP5677348B2 (ja) | 症例検索装置、症例検索方法及びプログラム | |
KR20120057170A (ko) | 뇌 자기공명영상 기반의 정량 분석 시스템 | |
Şekeroğlu et al. | A computer aided diagnosis system for lung cancer detection using support vector machine | |
Farhidzadeh et al. | Signal intensity analysis of ecological defined habitat in soft tissue sarcomas to predict metastasis development | |
EP4371079A2 (en) | Thumbnail animation for medical imaging | |
CN117637122A (zh) | 用于标识和提供医学图像中的候选医学发现的方法和系统 | |
JP2011115279A (ja) | 症例画像検索装置、方法およびプログラム | |
JP2019519794A (ja) | サンプルの画像の中の、生体要素のうち少なくとも1つの関心ある要素の判別を支援するための方法及び電子デバイス、関連するコンピュータプログラム |