JP2014127011A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2014127011A
JP2014127011A JP2012283035A JP2012283035A JP2014127011A JP 2014127011 A JP2014127011 A JP 2014127011A JP 2012283035 A JP2012283035 A JP 2012283035A JP 2012283035 A JP2012283035 A JP 2012283035A JP 2014127011 A JP2014127011 A JP 2014127011A
Authority
JP
Japan
Prior art keywords
image
diagnosed
diagnostic
unit
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012283035A
Other languages
English (en)
Inventor
Takeshi Ohashi
武史 大橋
Jun Yokono
順 横野
Takuya Narihira
拓也 成平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japanese Foundation for Cancer Research
Sony Corp
Original Assignee
Japanese Foundation for Cancer Research
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japanese Foundation for Cancer Research, Sony Corp filed Critical Japanese Foundation for Cancer Research
Priority to JP2012283035A priority Critical patent/JP2014127011A/ja
Priority to CN201380067324.0A priority patent/CN104885079B/zh
Priority to US14/652,581 priority patent/US9798770B2/en
Priority to PCT/JP2013/082807 priority patent/WO2014103664A1/ja
Priority to EP13868702.5A priority patent/EP2940597B1/en
Publication of JP2014127011A publication Critical patent/JP2014127011A/ja
Priority to US15/695,456 priority patent/US11010375B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 診断対象とする画像に類似した画像を効率的に検索する。
【解決手段】 本開示の一側面である情報処理装置は、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備える。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。
【選択図】 図1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、診断の対象とする診断画像に類似した症例画像をデータベース中から検索して表示させる場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
従来、医療の場において、腫瘍などの病理組織を診断する(例えば、癌などの悪性腫瘍であるか否かを判断する)方法として、患者から病理組織の一部を採取して薄く切り、その切片(以下、生検と称する)をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
また、その診断を支援するために、プレパラートをスキャニングし、その結果得られる診断画像に類似するものを、既に診断済みの症例画像が蓄積されているデータベースの中から検索して提示する方法が提案されている(例えば、特許文献1参照)。
特開2004−005364号公報
特許文献1に記載の方法では、診断画像とデータベースの症例画像とのそれぞれの画像特徴量とを比較し、単にその類似性に基づいて検索した症例画像を提示しているだけである。したがって、診断の参考になるような症例画像が検索されず、参考にならないような多数の検索結果が出力されてしまったりすることが起こり得た。
本開示はこのような状況に鑑みてなされたものであり、診断対象とする画像に類似した画像を効率的に検索できるようにするものである。
本開示の一側面である情報処理装置は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備え、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部とを有する。
本開示の一側面である情報処理装置は、キーワードを設定するキーワード設定部をさらに備え、前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、前記診断済画像検索装置は、前記第1次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第2次フィルタ部をさらに有するようにすることができる。
本開示の一側面である情報処理装置は、前記キーワード設定部を複数備え、前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させることができる。
前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させることができる。
前記診断画像および前記診断済画像は、医療画像とすることができる。
前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像とすることができる。
前記診断済画像検索装置は、インターネット上に設けられたサーバとすることができる。
前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第1次フィルタ部、または前記第2次フィルタ部のうちの少なくとも1つを備えることができる。
前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第1の症例画像と、前記病変が存在しない旨の情報が関連付けられる第2の症例画像とを表示させることができる。
前記表示制御部は、病変が存在する旨を示す表示情報を前記第1の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第2の症例画像と対応づけて表示させることができる。
本開示の一側面である情報処理方法は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、前記情報処理装置による、前記診断画像を入力する診断画像入力ステップと、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップとを含み、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出し、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する。
本開示の一側面であるプログラムは、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部として機能させ、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部とを有する。
本開示の一側面においては、診断画像が入力され、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報が取得され、入力された前記診断画像の所定の領域が抽出されてクエリ画像が生成される。また、生成された前記クエリ画像と前記表示操作履歴情報が診断済画像検索装置に供給され、前記診断済画像検索装置の検索結果として得られる前記診断済画像が取得され、前記診断画像と、取得された前記診断済画像とが対比して表示される。なお、前記診断済画像検索装置では、前記クエリ画像の画像特徴量が抽出され、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像が検索され、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像が抽出される。
本開示を適用した類似症例画像提示装置の構成例を示すブロック図である。 図1の症例検索サーバの構成例を示すブロック図である。 症例情報の項目を示す図である。 類似症例画像提示装置のユーザインタフェースの表示例を示す図である。 診断画像表示領域の表示例を示す図である。 診断時画像コントロール情報の一例を示す図である。 クエリ画像設定枠の表示例を示す図である。 診断する部位に応じたキーワードとソート基準の例を示す図である。 2次フィルタリング情報のデータ項目を示す図である。 リスト数1の場合の検索結果の表示例を示す図である。 リスト数2の場合の検索結果の表示例を示す図である。 リスト数3の場合の検索結果の表示例を示す図である。 類似症例画像提示処理を説明するフローチャートである。 診断時画像コントロール情報の類似度計算を説明する図である。 クエリ画像と類似画像を比較する場合の表示例を示す図である。 クエリ画像と類似画像を比較する場合の表示例を示す図である。 クエリ画像と類似画像を比較する場合の表示例を示す図である。 クエリ画像と類似画像とを同時スクロールさせた場合の表示例である。 クエリ画像と類似画像とを同時拡大させた場合の表示例である。 クエリ画像と類似画像とを同時拡大・縮小させた場合の中心の移動を説明するための図である。 クエリ画像と類似画像とを同時拡大・縮小させた場合の中心の移動を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
[類似症例画像表示制御装置の構成例]
本開示の情報処理装置の実施の形態である類似症例画像表示制御装置は、診断対象の病理画像を観察するに際し、それに類似した、診断済みの病理画像と比較しながらユーザ(病理医など)に提示するものである。
ここで、病理画像とは、従来、病理医などの診断者が顕微鏡下で観察していたプレパラート(生体組織から切り出した生検をスライドガラスに配置して染色したもの)をスキャニングした画像を指すものとする。
なお、本開示は病理画像のみならず、CT、MRI、X線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を提示させる場合にも適用できる。
以下、診断対象のプレパラートをスキャニングして得られた病理画像を診断画像と称する。また、診断済みの病理画像を症例画像と称する。
図1は、類似症例画像表示制御装置の構成例を示している。
この類似症例画像提示装置10は、操作入力部11、表示制御部12、診断画像入力部13、クエリ画像設定部14、および症例画像取得部15から構成される。
操作入力部11は、ユーザ(診断者となる病理医など)による診断画像の選択操作、表示させた診断画像の移動や拡大・縮小の操作、診断画像上に設けるクエリ画像の設定操作、検索条件(キーワードなど)の入力操作などを受け付ける。さらに、操作入力部11は、入力された操作に応じた操作信号を対応する表示制御部12、診断画像入力部13、クエリ画像設定部14、または症例画像取得部15に入力する。
表示制御部12は、後段のディスプレイ30に対して、ユーザインタフェースとなる画面50(図4)を表示させる。ユーザインタフェースとなる画面50には、診断画像や検索結果として表示される症例画像などが表示される。なお、具体的な画面50の表示例については後述する。
診断画像入力部13は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部12およびクエリ画像設定部14に入力する。
クエリ画像設定部14は、表示されている診断画像上にユーザが設定する所定のサイズのクエリ画像設定枠53によって示される領域を診断画像から抽出し、その結果得られるクエリ画像を症例画像取得部15に入力する。
症例画像取得部15は、クエリ画像を症例検索サーバ20に送信して検索を依頼する。このとき、症例画像取得部15は、診断画像の表示に関するユーザの操作履歴を表す診断画像コントロール情報や2次フィルタリング情報(いずれも後述)も症例検索サーバ20に供給する。そして、症例画像取得部15は、症例検索サーバ20の検索結果として得られる症例画像を取得して表示制御部12に供給する。
症例検索サーバ20は、例えばインターネット上に設けるようにする。ただし、症例検索サーバ20の全体またはその構成要素の一部を類似症例画像提示装置10に内蔵するようにしてもよい。
図2は、症例検索サーバ20の構成例を示している。
症例検索サーバ20は、画像特徴量抽出部21、症例画像検索部22、症例データベース23、症例登録部24、第1フィルタ部25、第2フィルタ部26、および検索結果出力部27から構成される。
画像特徴量抽出部21は、クエリ画像から画像特徴量を抽出して症例画像検索部22に供給する。ここで画像特徴量を抽出する方法については、以下に説明する症例データベース23に登録されている症例画像の画像特徴量を抽出する方法と共通であれば、既存の任意の方法を適用することができる。
具体的には、例えばクエリ画像のテクスチャの周波数特性をFFTにより抽出したり、HOG、SHIFT特徴量などの輝度勾配のヒストグラム特徴量を抽出したりしてもよい。抽出された画像特徴量は、例えばN次元ベクトルで表現できる。
症例画像検索部22は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース23から検索し、その検索結果(画像データのみならず、画像データを含む症例情報全体)を第1フィルタ部25に入力する。以下、クエリ画像に類似した検索結果である症例画像上の部分画像を、類似画像とも称する。
症例データベース23には、診断済みの症例画像が多数記録されている。なお、症例画像上には、クエリ画像と同サイズの診断時に注目された領域を表す部分画像が設けられており、症例データベース23には、部分画像毎に症例情報が登録されている。この症例画像上の部分画像が後段において類似画像と成り得る。
図3は、症例情報に含まれる項目を示している。
部分画像に対応する症例情報40には、画像ID41、画像データ42、部分画像の位置とサイズ43、画像特徴量44、カルテ情報45、診断時画像コントロール情報46、および2次フィルタリング情報47が含まれる。
画像ID41は、症例画像上の各部分画像に対して個別に設けられた識別情報である。画像データ42は、部分画像を含む症例画像の各画素値を表す画像データである。部分画像の位置とサイズ43は、症例画像における該部分画像の位置とサイズを表す情報である。画像特徴量44は、該部分画像の画像特徴量である。なお、画像特徴量44を得るための画像特徴量抽出方法と、画像特徴量抽出部21の画像特徴量抽出方法とは同じものを採用する必要がある。カルテ情報45は、該部分画像を含む症例画像に対して既に下されている診断結果を表す文字列である。
診断時画像コントロール情報46は、該部分画像を含む症例画像を診断した際のユーザの表示操作履歴を表すものであり、後述する診断時画像コントロール情報60に相当する。2次フィルタリング情報47は、該部分画像を含む症例画像を診断した際にユーザが設定したものであり、後述する2次フィルタリング情報70に相当する。
症例登録部24は、症例データベース23に対して、症例画像上の部分画像毎に症例情報を登録する。なお、類似症例画像提示装置10を用いてユーザが診断画像に下した診断結果を症例データベース23に登録するようにしてもよい。
第1フィルタ部25は、症例画像検索部22の画像特徴量による検索結果に対して、診断時画像コントロール情報に基づいて1次フィルタリングを行う。ここで、診断時画像コントロール情報とは、ユーザが診断を行なうに際して診断画像に対して行った移動(上下左右のスクロール)、拡大・縮小などの表示制御に関する操作を行なった時の操作履歴を表す情報である。診断時画像コントロール情報については、図6を参照して後述する。
第2フィルタ部26は、第1フィルタ部25による1次フィルタリング結果に対して、2次フィルタリング情報に基づいて2次フィルタリングを行う。ここで、2次フィルタリング情報とは、1次フィルタリングの結果を絞り込むためにユーザが入力するキーワード、ソート基準などの項目から成る。2次フィルタリング情報については、図9を参照して後述する。
検索結果出力部27は、第2フィルタ部26による2次フィルタリングの結果(類似画像となる領域を含む症例画像)を、類似症例画像提示装置10の症例画像取得部15に出力する。
[ユーザインタフェースとなる画面について]
次に、図4は、ユーザインタフェースとなる画面の表示例を示している。
この表示画面50は、表示制御部12の制御に基づいてディスプレイ30に表示されるものである。表示画面50には、診断画像表示領域51、リスト数設定領域54、キーワード入力領域55、ソート順設定領域56、および検索結果表示領域57が設けられている。
診断画像表示領域51には、診断画像入力部13により入力された診断画像が表示される。診断画像表示領域51を拡大した図5が示すように、診断画像表示領域51内の右下には、診断画像の全体が縮小表示されており、そこに示される拡大領域52が診断画像表示領域51に拡大表示されている範囲を表している。
ユーザは、診断画像表示領域51に表示されている診断画像を任意にスクロールしたり、任意の倍率で拡大・縮小したり、回転したりすることができる。このときの操作履歴が所定のサンプリング周期で記録されることにより診断時画像コントロール情報が生成される。
図6は、診断時画像コントロール情報の一例を示している。診断時画像コントロール情報60には、サンプリング周期のタイミング、X座標、Y座標、および倍率から構成される。
例えば図6の場合、タイミングt1,t2においては、診断画像の座標(330,456)を中心として倍率10倍で表示されていたことを表す。そして、タイミングt3において、診断画像の座標(442,563)を中心とするようにスクロールされ、倍率20倍に拡大表示されていたことを表する。そして、タイミングt4において、さらに拡大され、倍率40倍で表示されていたことを表する。
図4に戻る。診断画像表示領域51に表示されている診断画像上には、診断画像表示領域51を拡大した図7が示すように、所定のサイズのクエリ画像設定枠53を設けることができる。ユーザは、診断画像表示領域51の診断画像上でクエリ画像設定枠53を任意の位置に移動させることができる。この診断画像上のクエリ画像設定枠53で表された領域がクエリ画像とされる。
リスト数設定領域54には、1次フィルタリングの結果をさらに絞り込んで得る2次フィルタリング結果の系統数(リスト数)をユーザが設定できる。図4の場合のように、リスト数が2に設定されると、次に説明するキーワード入力領域55が2系等分(55−1,55−2)だけ表示されることになる。また、検索結果表示領域57には、2系等分の検索結果を表示される。
キーワード入力領域55においては、ユーザが1次フィルタリングの結果をさらに絞り込むための検索結果フィルタリング情報の一項目であるキーワードを選択、または直接入力することができる。ここで選択または直接入力されたキーワードが、症例情報40のカルテ情報45に対する検索語となる。なお、図3の場合、診断画像が胃の病理画像である場合のキーワードが示されており、キーワード入力領域55−1では、キーワードとして”Por”と”Sig”が選択されている。またキーワード入力領域55−5では、キーワードとして”Non Cancer”が選択されている。
ソート順設定領域56には、2次フィルタリング結果をソートする時の基準をユーザが設定できる。図3の場合、診断画像が胃の病理画像である場合のソート基準が示されており、「核の大きさ」に設定されている。
なお、キーワード入力領域55およびソート順設定領域56は、診断画像に写っている生体部位に応じてユーザがその内容を切り替えることができる。図8Aは、診断画像が胃の病理画像である場合のキーワードとソート基準である。図8Bは、診断画像が前立腺の病理画像である場合のキーワードとソート基準である。なお、図8には、診断画像が胃または前立腺の病理画像である場合の2例についてのみ示しているが、当然ながらこれら以外の場合に対応するキーワードとソート基準を用意するようにしてもよい。
図9は、キーワード入力領域55およびソート順設定領域56に対する設定に応じて生成される2次フィルタリング情報の項目を示している。
2次フィルタリング情報70は、フィルタリングキーワード71、ソート基準72、類似画像ID73、および症例画像コントロール情報74を含む。
フィルタリングキーワード71は、キーワード入力領域55にて選択または直接入力されたキーワードであり、1次フィルタリング結果を、症例情報40のカルテ情報45に基づいて絞り込むための検索語となる。ソート基準72は、ソート順設定領域56にて設定されるものを指す。類似画像ID73は、検索結果表示領域57に表示されている検索結果(類似画像)の中でユーザが診断時に参照したものの識別情報である。症例画像コントロール情報74は、類似画像ID73が示す類似画像をユーザが参照するための表示した時の操作履歴を表す情報である。

図4に戻る。検索結果表示領域57には、キーワード入力領域55にて設定または直接入力されたキーワードを含む2次フィルタリング情報に基づく2次フィルタリングの結果が、ソート順設定領域56にて設定されたソート基準にしたがって並び替えられて表示される。
図10は、リスト数設定領域54にてリスト数を1に設定し、キーワード入力領域55にて全てのキーワードを選択し、ソート順設定領域56にて画像特徴量類似度をソート基準に設定した場合の表示例を示している。
図11は、リスト数設定領域54にてリスト数を2に設定し、キーワード入力領域55−1にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域55−2にて”Not Cancer”を選択し、ソート順設定領域56にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に類似した様々な癌の症例画像と、非癌の症例画像とを検索結果として表示させることができる。
図12は、リスト数設定領域54にてリスト数を3に設定し、キーワード入力領域55−1,55−2,55−3にて、それぞれ”Tub2”,”Por”,”Sig”を選択し、ソート順設定領域56にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に対して疑わしい症例毎の症例画像を列毎に分けて表示させることができる。
なお、リスト数設定領域54にて設定可能なリスト数は4以上としてよい。
[動作説明]
次に類似症例画像提示装置10の動作について説明する。図13は、類似症例画像提示装置10による類似症例画像提示処理を説明するフローチャートである。
ステップS1において、診断画像入力部13は、操作入力部11から入力されるユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部12およびクエリ画像設定部14に入力する。表示制御部12は、診断画像をディスプレイに表示させる。このとき、ユーザが診断画像をスクロールさせたり、拡大・縮小させたりすると、その操作履歴が診断時画像コントロール情報として保持される。
ステップS2において、クエリ画像設定部14は、表示されている診断画像上にユーザが設定するクエリ画像設定枠53の領域をクエリ画像として抽出して症例画像取得部15に入力する。症例画像取得部15は、クエリ画像を症例検索サーバ20に送信して検索を依頼する。
ステップS3において、症例検索サーバ20の画像特徴量抽出部21は、クエリ画像から画像特徴量を抽出して症例画像検索部22に供給する。
ステップS4において、症例画像検索部22は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース23から検索する。具体的には、クエリ画像の画像特徴量と、症例情報40の画像特徴量44との類似度を例えば次式(1)を用いて算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを検索結果として第1フィルタ部25に入力する。
Figure 2014127011
・・・(1)
ここで、Nは特徴量の次元数、Qはクエリ画像の特徴量、Dは症例データベース中の画像の特徴量、wは特徴次元毎の重みパラメータを表す。特徴次元毎の重みパラメータは、例えばすべて1としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
なお、類似度算出方法については、式(1)に限るものではなく、任意の方法を用いることができる。
ステップS5において、第1フィルタ部25は、画像特徴量によりクエリ画像に類似しているとして検索された各症例情報40に対して、診断時画像コントロール情報に基づいて1次フィルタリングを行う。具体的には、診断画像の診断時画像コントロール情報と、各症例情報40の診断時画像コントロール情報46(症例画像が診断されたときの診断時画像コントロール情報)との類似度を算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを1次フィルタリング結果として第2フィルタ部26に入力する。
ここで、診断時画像コントロール情報の類似度算出方法の例について図14を参照して説明する。図14は、診断時画像コントロール情報のX座標値の変化に着目して類似度を求める方法を説明している。
初めに、診断時画像コントロール情報の時間と画素の座標値を相対値に変換する。ここでは時間は診断にかかった総時間に対する相対時間と、画像サイズを1000ピクセルとして得られる相対座標を計算している。診断画像の診断時画像コントロール情報と、検索された症例画像の診断時画像コントロール情報から得られた相対座標をグラフにプロットすると図8に図示するとおりとなり、この2つのグラフの類似度を計算する。
グラフの類似度の計算方法としては、診断時刻をtとし、2つのグラフをp(t)とq(t)とした場合、例えば次式(2)に示されるBhattacharyya距離を用いた算式を採用できる。
Figure 2014127011
・・・(2)
なお、上述した説明では、診断時画像コントロール情報のX座標値の変化に着目して類似度を求めたが、Y座標値の変化に着目したり、表示倍率の変化に着目したり、X座標値の移動差分値の変化に着目したりしてもよい。移動差分値を用いた場合、診断時に観察した範囲が分かるので、腫瘍の大きさの値が得られることが期待される。
なお、X座標値の変化に着目したり、Y座標値の変化に着目したり、表示倍率の変化に着目したり、して複数の類似度が得られる場合、それぞれで閾値処理をしてフィルタリングの結果としてもよいし、次式(3)を用いて複数の類似度を統合して用いてもよい。
Figure 2014127011
・・・(3)
ここで、S,S,Sは、それぞれ診断時画像コントロール情報のX座標値、Y座標値、または表示倍率に着目した類似度であり、α、β、γは、それぞれの重みパラメータである。特徴次元毎の重みパラメータは、例えばすべて1としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
このようにして第1フィルタリング結果を得た後、処理は図13のステップS6に進められる。ステップS6において、第2フィルタ部26は、1次フィルタリング結果に対して、2次フィルタリング情報に基づいて2次フィルタリングを行う。具体的には、画面50のキーワード入力領域55に設定されたキーワード(フィルタリングキーワード71)を検索語として1次フィルタリング結果の症例情報40に含まれるカルテ情報45を検索して絞り込みを行なったり、ソート順設定領域56にて設定されたソート基準(ソート基準72)に基づいて、キーワードによる絞込み結果をソートしたりする。さらに、2次フィルタリング情報70の症例画像コントロール情報74と、1次フィルタリング結果の診断時画像コントロール情報46との類似度を1次フィルタリングと同様の方法で算出して、算出した類似度に基づいて絞り込みを行ってもよい。
ステップS7において、検索結果出力部27は、第2フィルタ部26による2次フィルタリングの結果(類似画像となる領域を含む症例画像)を、類似症例画像提示装置10の症例画像取得部15に出力する。症例画像取得部15は、症例検索サーバ20から応答された検索結果の症例画像を表示制御部12に供給する。表示制御部12は、検索結果の症例画像などを含むユーザインタフェースとしての画面をディスプレイ30に表示させる。具体的には、画面50のリスト数設定領域54に対する設定数に応じて、図10乃至図12に示されたような画面50が表示される。以上で、類似症例画像提示処理の説明を終了する。
[ユーザインタフェースとなる画面の活用について]
例えば、ユーザが診断画像について具体的な症例名が思い当たらない場合には、図10に示されたように、キーワード入力領域55−1にて全てのキーワードが選択さればよい。この場合、画像特徴量の類似度に基づく検索結果が、設定されているソート基準(図10の場合、画像特徴量類似度)に従って検索結果表示領域57に表示される。
検索結果表示領域57にリスト表示された症例画像のうちの1つをユーザが選択するとディスプレイ30の表示は、図15に示されるように、診断画像上のクエリ画像と、選択された症例画像上の類似画像とを並列に表示された画面60に切り替えられる。これにより、ユーザは拡大表示されたクエリ画像と類似画像とを詳細に見比べることができる。
例えば、検索結果として癌の症例画像と非癌の症例画像との2系統表示させる場合には、図11に示されたように、リスト数設定領域54にてリスト数を2に設定し、キーワード入力領域55−1にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域55−2にて”Not Cancer”を選択すればよい。
図11の検索結果表示領域57にリスト表示された2列の症例画像からそれぞれ1つの病理画像をユーザが選択するとディスプレイ30の表示は、図16に示されるように、選択された癌の症例画像上の類似画像と、診断画像上のクエリ画像と、選択された非癌の症例画像上の類似画像とを並列に表示された画面に切り替えられる。これにより、ユーザは、中央に拡大表示されたクエリ画像と、その両側に拡大表示された癌の類似画像と、非癌の類似画像とを詳細に見比べることができる。
そもそも病理画像の診断の目的は、主に、診断画像内に病変が含まれているか否かを判断することであるので、図11のように、クエリ画像とともに、それに類似した病変(癌)の症例画像と病変が無い(非癌の)症例画像とをグループ分けして表示することは、診断に非常に役に立つことが期待される。すなわち、ユーザは、クエリ画像が病変を持つグループに近いのか、病変を持たないグループに近いのかを容易に比較して診断することができる。
なお、例えば、リスト数設定領域54にてリスト数を6に設定し、キーワード入力領域55−1乃至55−6にて、それぞれ”Tub1”、”Tub2”、”Por”、”Sig”、”MUC”、または”Not Cancer”を選択し、検索結果表示領域57にリスト表示される6列の症例画像からそれぞれ1つの病理画像をユーザが選択した場合には、診断画像上のクエリ画像を中心として、選択された症例画像上の類似画像がその周囲に表示された、図16に示される画面80となる。これにより、ユーザは、中心に表示されたクエリ画像と、その周囲に表示された複数の類似画像とを詳細に見比べることができる。
図15乃至図17に示されたようにクエリ画像と類似画像を並べて表示している状態においてクエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小したりした場合、それに対応して他方もスクロール表示させたり、拡大・縮小させることができる。
なお、クエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小させたりした場合において、他方をそのままの状態(スクロール表示や拡大・縮小しない)とするようにする設定も可能である。
図18は、図15に示されたクエリ画像と類似画像を並べて表示している画面60において、クエリ画像または類似画像の一方をスクロール表示させた場合に、それに対応して他方もスクロール表示させた状態を示している。このように、クエリ画像または類似画像の一方のスクロール表示に対応して他方もスクロール表示させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
図19は、図15に示されたクエリ画像と類似画像を並べて表示している画面60において、クエリ画像または類似画像の一方を拡大させた場合に、それに対応して他方も拡大させた状態を示している。このように、クエリ画像または類似画像の一方の拡大・縮小に対応して他方も拡大・縮小させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
なお、図18および図19は、1枚のクエリ画像に対して1枚の類似画像を表示している場合を示しているが、1枚のクエリ画像に対して2枚以上の類似画像を表示している場合においても同様に、1枚の画像に対するスクロール表示や拡大・縮小を、他の画像にも適用させて表示することができる。
図20および図21は、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点の移動を説明するための図である。
なお、図20Aは、クエリ画像と類似画像の拡大率を下げて診断画像と症例画像の全体を表示している状態、図20Bは、クエリ画像と類似画像を表示している状態、図20Cは、クエリ画像と類似画像を拡大して表示している状態である。図21は、クエリ画像または類似画像の一方の拡大し、他方も拡大させる場合の、拡大させる領域の中心の移動を示している。
例えば、図20Bに示された状態から図20Aに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心ではなく、元の診断画像と症例画像のそれぞれの中心を中心点としてそれぞれの拡大率を下げるように制御する。反対に、図20Aに示された状態から図20Bに示された状態にする場合には、図21に示されるように、元の診断画像と症例画像のそれぞれの中心ではなく、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する
また例えば、図20Bに示された状態から図20Cに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する。反対に、図20Cに示された状態から図20Bに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を下げるように制御する。
このように、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点を移動させることにより、ユーザの画像比較による診断の効率を向上させることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図22は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
該コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。
また、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。さらに、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
10 類似症例画像提示装置, 11 操作入力部, 12 表示制御部, 13 診断画像入力部, 14 クエリ画像設定部, 15 症例画像取得部, 20 症例検索サーバ, 21 画像特徴量抽出部, 22 奨励画像検索部, 23 症例データベース, 症例登録部, 25 第1フィルタ部, 26 第2フィルタ部, 27 検索結果出力部, 30 ディスプレイ,50 画面, 51 診断画像表示領域, 52 拡大領域, 53 クエリ画像設定枠, 54 リスト数設定領域, 55 キーワード入力領域, 56 ソート順設定領域, 200 コンピュータ, 201 CPU

Claims (12)

  1. 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、
    前記診断画像を入力する診断画像入力部と、
    前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
    入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
    生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
    前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
    を備え、
    前記診断済画像検索装置は、
    前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
    予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
    前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部と
    を有する
    情報処理装置。
  2. キーワードを設定するキーワード設定部をさらに備え、
    前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、
    前記診断済画像検索装置は、
    前記第1次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第2次フィルタ部をさらに有する
    請求項1に記載の情報処理装置。
  3. 前記キーワード設定部を複数備え、
    前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させる
    請求項2に記載の情報処理装置。
  4. 前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させる
    請求項2に記載の情報処理装置。
  5. 前記診断画像および前記診断済画像は、医療画像である
    請求項2に記載の情報処理装置。
  6. 前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像である
    請求項2に記載の情報処理装置。
  7. 前記診断済画像検索装置は、インターネット上に設けられたサーバである
    請求項2に記載の情報処理装置。
  8. 前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第1次フィルタ部、または前記第2次フィルタ部のうちの少なくとも1つを備える
    請求項2に記載の情報処理装置。
  9. 前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第1の症例画像と、前記病変が存在しない旨の情報が関連付けられる第2の症例画像とを表示させる
    請求項1に記載の情報処理装置。
  10. 前記表示制御部は、病変が存在する旨を示す表示情報を前記第1の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第2の症例画像と対応づけて表示させる
    請求項9に記載の情報処理装置。
  11. 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、
    前記情報処理装置による、
    前記診断画像を入力する診断画像入力ステップと、
    前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、
    入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、
    生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、
    前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップと
    を含み、
    前記診断済画像検索装置は、
    前記クエリ画像の画像特徴量を抽出し、
    予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、
    検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する
    情報処理方法。
  12. 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、
    前記診断画像を入力する診断画像入力部と、
    前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
    入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
    生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
    前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
    として機能させ、
    前記診断済画像検索装置は、
    前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
    予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
    前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第1次フィルタ部と
    を有する
    プログラム。
JP2012283035A 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム Pending JP2014127011A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012283035A JP2014127011A (ja) 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム
CN201380067324.0A CN104885079B (zh) 2012-12-26 2013-12-06 信息处理单元、信息处理方法以及计算机可读记录介质
US14/652,581 US9798770B2 (en) 2012-12-26 2013-12-06 Information processing unit, information processing method, and program
PCT/JP2013/082807 WO2014103664A1 (ja) 2012-12-26 2013-12-06 情報処理装置、情報処理方法、およびプログラム
EP13868702.5A EP2940597B1 (en) 2012-12-26 2013-12-06 Information processing device, information processing method, and program
US15/695,456 US11010375B2 (en) 2012-12-26 2017-09-05 Information processing unit, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012283035A JP2014127011A (ja) 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2014127011A true JP2014127011A (ja) 2014-07-07

Family

ID=51020756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012283035A Pending JP2014127011A (ja) 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US9798770B2 (ja)
EP (1) EP2940597B1 (ja)
JP (1) JP2014127011A (ja)
CN (1) CN104885079B (ja)
WO (1) WO2014103664A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6180878A (ja) * 1984-09-28 1986-04-24 Hitachi Ltd 超電導マグネツト用クライオスタツト
JP2016012345A (ja) * 2014-06-04 2016-01-21 パナソニック株式会社 制御方法及びプログラム
WO2016031950A1 (ja) * 2014-08-28 2016-03-03 京セラ株式会社 電子機器
JP2016110573A (ja) * 2014-12-10 2016-06-20 オリンパス株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2016154023A (ja) * 2016-03-16 2016-08-25 京セラ株式会社 電子機器
WO2021124869A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
JP2021532493A (ja) * 2018-08-08 2021-11-25 ディープ バイオ インク 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
WO2022080848A1 (ko) * 2020-10-15 2022-04-21 주식회사 뷰노 영상 분석을 위한 사용자 인터페이스
WO2022201992A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5677348B2 (ja) * 2012-03-23 2015-02-25 富士フイルム株式会社 症例検索装置、症例検索方法及びプログラム
KR102289393B1 (ko) 2014-07-11 2021-08-13 삼성메디슨 주식회사 영상 장치 및 그 제어방법
US10318575B2 (en) 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog
JP6419560B2 (ja) * 2014-12-05 2018-11-07 株式会社東芝 検索装置、方法及びプログラム
CA2973769C (en) * 2015-01-31 2021-05-18 F. Hoffmann-La Roche Ag Systems and methods for meso-dissection
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6675099B2 (ja) * 2015-09-30 2020-04-01 パナソニックIpマネジメント株式会社 制御方法及びプログラム
CN105740378B (zh) * 2016-01-27 2020-07-21 北京航空航天大学 一种数字病理全切片图像检索方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN106021362B (zh) * 2016-05-10 2018-04-13 百度在线网络技术(北京)有限公司 查询式的图片特征表示的生成、图片搜索方法和装置
US11468111B2 (en) * 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
US10467257B2 (en) 2016-08-09 2019-11-05 Zorroa Corporation Hierarchical search folders for a document repository
US10311112B2 (en) * 2016-08-09 2019-06-04 Zorroa Corporation Linearized search of visual media
US10664514B2 (en) 2016-09-06 2020-05-26 Zorroa Corporation Media search processing using partial schemas
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7239363B2 (ja) * 2019-03-22 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム
CN114375477A (zh) * 2019-06-07 2022-04-19 徕卡显微系统Cms有限公司 用于处理生物学相关数据的系统和方法、用于控制显微镜的系统和方法及显微镜
JP2021173734A (ja) * 2020-04-30 2021-11-01 ソニーグループ株式会社 生成装置、生成方法、生成プログラム及び診断支援システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904163B1 (en) * 1999-03-19 2005-06-07 Nippon Telegraph And Telephone Corporation Tomographic image reading method, automatic alignment method, apparatus and computer readable medium
US6678703B2 (en) * 2000-06-22 2004-01-13 Radvault, Inc. Medical image management system and method
WO2002025588A2 (en) * 2000-09-21 2002-03-28 Md Online Inc. Medical image processing systems
WO2003017833A1 (en) * 2001-08-31 2003-03-06 Jong-Won Park Method and apparatus for a medical image processing system
JP2004005364A (ja) 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
US8594410B2 (en) * 2006-08-28 2013-11-26 Definiens Ag Context driven image mining to generate image-based biomarkers
JP4528529B2 (ja) * 2004-01-20 2010-08-18 株式会社東芝 超音波診断装置及び超音波画像データ処理方法
JP2005218796A (ja) * 2004-02-09 2005-08-18 Matsushita Electric Ind Co Ltd 医用画像処理装置および医用画像処理方法
US8218835B2 (en) * 2005-08-22 2012-07-10 Dai Nippon Printing Co., Ltd. Method for assisting in diagnosis of cerebral diseases and apparatus thereof
EP1959273A4 (en) * 2005-11-30 2011-01-26 Nihon Mediphysics Co Ltd METHOD FOR DETECTING DEGENERATIVE HEADACHE, DETECTION PROGRAM AND DETECTOR
JP4874701B2 (ja) * 2006-04-18 2012-02-15 富士フイルム株式会社 類似画像検索装置および方法並びにプログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
US8090166B2 (en) * 2006-09-21 2012-01-03 Surgix Ltd. Medical image analysis
JP5128161B2 (ja) 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
US8090172B2 (en) * 2007-09-12 2012-01-03 Siemens Medical Solutions Usa, Inc. Robust segmentation of breast and muscle in MRI
US8392053B2 (en) * 2007-12-13 2013-03-05 Service Solutions U.S., Llc Graphing device and method
JP5203858B2 (ja) * 2008-09-01 2013-06-05 富士フイルム株式会社 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
JP5056695B2 (ja) 2008-09-24 2012-10-24 富士ゼロックス株式会社 類似画像提示装置及びプログラム
JP5317716B2 (ja) * 2009-01-14 2013-10-16 キヤノン株式会社 情報処理装置および情報処理方法
JP5227911B2 (ja) * 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
JP2011092681A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
US8799013B2 (en) * 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
US20110238676A1 (en) * 2010-03-25 2011-09-29 Palm, Inc. System and method for data capture, storage, and retrieval
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP5825889B2 (ja) * 2010-08-11 2015-12-02 株式会社東芝 レポート作成支援システム
JP5844093B2 (ja) * 2010-09-15 2016-01-13 株式会社東芝 医用画像処理装置及び医用画像処理方法
US8929624B2 (en) * 2010-11-26 2015-01-06 General Electric Company Systems and methods for comparing different medical images to analyze a structure-of-interest
JP5701138B2 (ja) * 2011-04-19 2015-04-15 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
KR101982149B1 (ko) * 2011-09-05 2019-05-27 삼성전자주식회사 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
JP5631914B2 (ja) * 2012-03-23 2014-11-26 富士フイルム株式会社 データベース検索装置、方法、及び、プログラム
SG11201407749TA (en) * 2012-05-24 2014-12-30 Hitachi Ltd Image analysis device, image analysis system, and image analysis method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6180878A (ja) * 1984-09-28 1986-04-24 Hitachi Ltd 超電導マグネツト用クライオスタツト
JP2016012345A (ja) * 2014-06-04 2016-01-21 パナソニック株式会社 制御方法及びプログラム
JP2019087272A (ja) * 2014-06-04 2019-06-06 パナソニック株式会社 情報端末、制御方法及びプログラム
JP2016051216A (ja) * 2014-08-28 2016-04-11 京セラ株式会社 電子機器
WO2016031950A1 (ja) * 2014-08-28 2016-03-03 京セラ株式会社 電子機器
JP2016110573A (ja) * 2014-12-10 2016-06-20 オリンパス株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2016154023A (ja) * 2016-03-16 2016-08-25 京セラ株式会社 電子機器
JP2021532493A (ja) * 2018-08-08 2021-11-25 ディープ バイオ インク 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
JP7320856B2 (ja) 2018-08-08 2023-08-04 ディープ バイオ インク 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
WO2021124869A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
JPWO2021124869A1 (ja) * 2019-12-17 2021-06-24
JP7355849B2 (ja) 2019-12-17 2023-10-03 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
WO2022080848A1 (ko) * 2020-10-15 2022-04-21 주식회사 뷰노 영상 분석을 위한 사용자 인터페이스
WO2022201992A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Also Published As

Publication number Publication date
EP2940597B1 (en) 2019-11-13
EP2940597A1 (en) 2015-11-04
US20180004806A1 (en) 2018-01-04
CN104885079B (zh) 2020-06-05
EP2940597A4 (en) 2016-09-07
CN104885079A (zh) 2015-09-02
US9798770B2 (en) 2017-10-24
US20150347505A1 (en) 2015-12-03
WO2014103664A1 (ja) 2014-07-03
US11010375B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6907381B2 (ja) 制御方法及びプログラム
US11250048B2 (en) Control method and non-transitory computer-readable recording medium for comparing medical images
US11112954B2 (en) Control method and recording medium
US20200320336A1 (en) Control method and recording medium
CN106560827B (zh) 控制方法
CN106557647B (zh) 控制方法
JP5652227B2 (ja) 画像処理装置および方法、並びにプログラム
JP6230787B2 (ja) 検査情報表示装置及び方法
JP6158509B2 (ja) 検査情報表示装置及び方法
US10261681B2 (en) Method for displaying a medical image and a plurality of similar medical images obtained from a case search system
JP5670695B2 (ja) 情報処理装置及び方法、並びにプログラム
CN111223556B (zh) 集成医学图像可视化和探索
JP2009527063A (ja) 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
JP5677348B2 (ja) 症例検索装置、症例検索方法及びプログラム
KR20120057170A (ko) 뇌 자기공명영상 기반의 정량 분석 시스템
Şekeroğlu et al. A computer aided diagnosis system for lung cancer detection using support vector machine
Farhidzadeh et al. Signal intensity analysis of ecological defined habitat in soft tissue sarcomas to predict metastasis development
EP4371079A2 (en) Thumbnail animation for medical imaging
CN117637122A (zh) 用于标识和提供医学图像中的候选医学发现的方法和系统
JP2011115279A (ja) 症例画像検索装置、方法およびプログラム
JP2019519794A (ja) サンプルの画像の中の、生体要素のうち少なくとも1つの関心ある要素の判別を支援するための方法及び電子デバイス、関連するコンピュータプログラム