JP2014127011A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2014127011A
JP2014127011A JP2012283035A JP2012283035A JP2014127011A JP 2014127011 A JP2014127011 A JP 2014127011A JP 2012283035 A JP2012283035 A JP 2012283035A JP 2012283035 A JP2012283035 A JP 2012283035A JP 2014127011 A JP2014127011 A JP 2014127011A
Authority
JP
Japan
Prior art keywords
image
diagnosed
diagnostic
unit
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012283035A
Other languages
English (en)
Inventor
Takeshi Ohashi
武史 大橋
Jun Yokono
順 横野
Takuya Narihira
拓也 成平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japanese Foundation for Cancer Research
Sony Corp
Original Assignee
Japanese Foundation for Cancer Research
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japanese Foundation for Cancer Research, Sony Corp filed Critical Japanese Foundation for Cancer Research
Priority to JP2012283035A priority Critical patent/JP2014127011A/ja
Priority to CN201380067324.0A priority patent/CN104885079B/zh
Priority to US14/652,581 priority patent/US9798770B2/en
Priority to EP13868702.5A priority patent/EP2940597B1/en
Priority to PCT/JP2013/082807 priority patent/WO2014103664A1/ja
Publication of JP2014127011A publication Critical patent/JP2014127011A/ja
Priority to US15/695,456 priority patent/US11010375B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 診断対象とする画像に類似した画像を効率的に検索する。
【解決手段】 本開示の一側面である情報処理装置は、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備える。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。
【選択図】 図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、診断の対象とする診断画像に類似した症例画像をデータベース中から検索して表示させる場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
従来、医療の場において、腫瘍などの病理組織を診断する（例えば、癌などの悪性腫瘍であるか否かを判断する）方法として、患者から病理組織の一部を採取して薄く切り、その切片（以下、生検と称する）をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
また、その診断を支援するために、プレパラートをスキャニングし、その結果得られる診断画像に類似するものを、既に診断済みの症例画像が蓄積されているデータベースの中から検索して提示する方法が提案されている（例えば、特許文献１参照）。
特開２００４−００５３６４号公報
特許文献１に記載の方法では、診断画像とデータベースの症例画像とのそれぞれの画像特徴量とを比較し、単にその類似性に基づいて検索した症例画像を提示しているだけである。したがって、診断の参考になるような症例画像が検索されず、参考にならないような多数の検索結果が出力されてしまったりすることが起こり得た。
本開示はこのような状況に鑑みてなされたものであり、診断対象とする画像に類似した画像を効率的に検索できるようにするものである。
本開示の一側面である情報処理装置は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備え、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部とを有する。
本開示の一側面である情報処理装置は、キーワードを設定するキーワード設定部をさらに備え、前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、前記診断済画像検索装置は、前記第１次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第２次フィルタ部をさらに有するようにすることができる。
本開示の一側面である情報処理装置は、前記キーワード設定部を複数備え、前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させることができる。
前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させることができる。
前記診断画像および前記診断済画像は、医療画像とすることができる。
前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像とすることができる。
前記診断済画像検索装置は、インターネット上に設けられたサーバとすることができる。
前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第１次フィルタ部、または前記第２次フィルタ部のうちの少なくとも１つを備えることができる。
前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第１の症例画像と、前記病変が存在しない旨の情報が関連付けられる第２の症例画像とを表示させることができる。
前記表示制御部は、病変が存在する旨を示す表示情報を前記第１の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第２の症例画像と対応づけて表示させることができる。
本開示の一側面である情報処理方法は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、前記情報処理装置による、前記診断画像を入力する診断画像入力ステップと、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップとを含み、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出し、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する。
本開示の一側面であるプログラムは、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部として機能させ、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部とを有する。
本開示の一側面においては、診断画像が入力され、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報が取得され、入力された前記診断画像の所定の領域が抽出されてクエリ画像が生成される。また、生成された前記クエリ画像と前記表示操作履歴情報が診断済画像検索装置に供給され、前記診断済画像検索装置の検索結果として得られる前記診断済画像が取得され、前記診断画像と、取得された前記診断済画像とが対比して表示される。なお、前記診断済画像検索装置では、前記クエリ画像の画像特徴量が抽出され、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像が検索され、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像が抽出される。
本開示を適用した類似症例画像提示装置の構成例を示すブロック図である。 図１の症例検索サーバの構成例を示すブロック図である。 症例情報の項目を示す図である。 類似症例画像提示装置のユーザインタフェースの表示例を示す図である。 診断画像表示領域の表示例を示す図である。 診断時画像コントロール情報の一例を示す図である。 クエリ画像設定枠の表示例を示す図である。 診断する部位に応じたキーワードとソート基準の例を示す図である。 ２次フィルタリング情報のデータ項目を示す図である。 リスト数１の場合の検索結果の表示例を示す図である。 リスト数２の場合の検索結果の表示例を示す図である。 リスト数３の場合の検索結果の表示例を示す図である。 類似症例画像提示処理を説明するフローチャートである。 診断時画像コントロール情報の類似度計算を説明する図である。 クエリ画像と類似画像を比較する場合の表示例を示す図である。 クエリ画像と類似画像を比較する場合の表示例を示す図である。 クエリ画像と類似画像を比較する場合の表示例を示す図である。 クエリ画像と類似画像とを同時スクロールさせた場合の表示例である。 クエリ画像と類似画像とを同時拡大させた場合の表示例である。 クエリ画像と類似画像とを同時拡大・縮小させた場合の中心の移動を説明するための図である。 クエリ画像と類似画像とを同時拡大・縮小させた場合の中心の移動を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
［類似症例画像表示制御装置の構成例］
本開示の情報処理装置の実施の形態である類似症例画像表示制御装置は、診断対象の病理画像を観察するに際し、それに類似した、診断済みの病理画像と比較しながらユーザ（病理医など）に提示するものである。
ここで、病理画像とは、従来、病理医などの診断者が顕微鏡下で観察していたプレパラート（生体組織から切り出した生検をスライドガラスに配置して染色したもの）をスキャニングした画像を指すものとする。
なお、本開示は病理画像のみならず、ＣＴ、MRI、Ｘ線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を提示させる場合にも適用できる。
以下、診断対象のプレパラートをスキャニングして得られた病理画像を診断画像と称する。また、診断済みの病理画像を症例画像と称する。
図１は、類似症例画像表示制御装置の構成例を示している。
この類似症例画像提示装置１０は、操作入力部１１、表示制御部１２、診断画像入力部１３、クエリ画像設定部１４、および症例画像取得部１５から構成される。
操作入力部１１は、ユーザ（診断者となる病理医など）による診断画像の選択操作、表示させた診断画像の移動や拡大・縮小の操作、診断画像上に設けるクエリ画像の設定操作、検索条件（キーワードなど）の入力操作などを受け付ける。さらに、操作入力部１１は、入力された操作に応じた操作信号を対応する表示制御部１２、診断画像入力部１３、クエリ画像設定部１４、または症例画像取得部１５に入力する。
表示制御部１２は、後段のディスプレイ３０に対して、ユーザインタフェースとなる画面５０（図４）を表示させる。ユーザインタフェースとなる画面５０には、診断画像や検索結果として表示される症例画像などが表示される。なお、具体的な画面５０の表示例については後述する。
診断画像入力部１３は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部１２およびクエリ画像設定部１４に入力する。
クエリ画像設定部１４は、表示されている診断画像上にユーザが設定する所定のサイズのクエリ画像設定枠５３によって示される領域を診断画像から抽出し、その結果得られるクエリ画像を症例画像取得部１５に入力する。
症例画像取得部１５は、クエリ画像を症例検索サーバ２０に送信して検索を依頼する。このとき、症例画像取得部１５は、診断画像の表示に関するユーザの操作履歴を表す診断画像コントロール情報や２次フィルタリング情報（いずれも後述）も症例検索サーバ２０に供給する。そして、症例画像取得部１５は、症例検索サーバ２０の検索結果として得られる症例画像を取得して表示制御部１２に供給する。
症例検索サーバ２０は、例えばインターネット上に設けるようにする。ただし、症例検索サーバ２０の全体またはその構成要素の一部を類似症例画像提示装置１０に内蔵するようにしてもよい。
図２は、症例検索サーバ２０の構成例を示している。
症例検索サーバ２０は、画像特徴量抽出部２１、症例画像検索部２２、症例データベース２３、症例登録部２４、第１フィルタ部２５、第２フィルタ部２６、および検索結果出力部２７から構成される。
画像特徴量抽出部２１は、クエリ画像から画像特徴量を抽出して症例画像検索部２２に供給する。ここで画像特徴量を抽出する方法については、以下に説明する症例データベース２３に登録されている症例画像の画像特徴量を抽出する方法と共通であれば、既存の任意の方法を適用することができる。
具体的には、例えばクエリ画像のテクスチャの周波数特性をFFTにより抽出したり、HOG、SHIFT特徴量などの輝度勾配のヒストグラム特徴量を抽出したりしてもよい。抽出された画像特徴量は、例えばＮ次元ベクトルで表現できる。
症例画像検索部２２は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース２３から検索し、その検索結果（画像データのみならず、画像データを含む症例情報全体）を第１フィルタ部２５に入力する。以下、クエリ画像に類似した検索結果である症例画像上の部分画像を、類似画像とも称する。
症例データベース２３には、診断済みの症例画像が多数記録されている。なお、症例画像上には、クエリ画像と同サイズの診断時に注目された領域を表す部分画像が設けられており、症例データベース２３には、部分画像毎に症例情報が登録されている。この症例画像上の部分画像が後段において類似画像と成り得る。
図３は、症例情報に含まれる項目を示している。
部分画像に対応する症例情報４０には、画像ＩＤ４１、画像データ４２、部分画像の位置とサイズ４３、画像特徴量４４、カルテ情報４５、診断時画像コントロール情報４６、および2次フィルタリング情報４７が含まれる。
画像ＩＤ４１は、症例画像上の各部分画像に対して個別に設けられた識別情報である。画像データ４２は、部分画像を含む症例画像の各画素値を表す画像データである。部分画像の位置とサイズ４３は、症例画像における該部分画像の位置とサイズを表す情報である。画像特徴量４４は、該部分画像の画像特徴量である。なお、画像特徴量４４を得るための画像特徴量抽出方法と、画像特徴量抽出部２１の画像特徴量抽出方法とは同じものを採用する必要がある。カルテ情報４５は、該部分画像を含む症例画像に対して既に下されている診断結果を表す文字列である。
診断時画像コントロール情報４６は、該部分画像を含む症例画像を診断した際のユーザの表示操作履歴を表すものであり、後述する診断時画像コントロール情報６０に相当する。2次フィルタリング情報４７は、該部分画像を含む症例画像を診断した際にユーザが設定したものであり、後述する2次フィルタリング情報７０に相当する。
症例登録部２４は、症例データベース２３に対して、症例画像上の部分画像毎に症例情報を登録する。なお、類似症例画像提示装置１０を用いてユーザが診断画像に下した診断結果を症例データベース２３に登録するようにしてもよい。
第１フィルタ部２５は、症例画像検索部２２の画像特徴量による検索結果に対して、診断時画像コントロール情報に基づいて１次フィルタリングを行う。ここで、診断時画像コントロール情報とは、ユーザが診断を行なうに際して診断画像に対して行った移動（上下左右のスクロール）、拡大・縮小などの表示制御に関する操作を行なった時の操作履歴を表す情報である。診断時画像コントロール情報については、図６を参照して後述する。
第２フィルタ部２６は、第１フィルタ部２５による１次フィルタリング結果に対して、２次フィルタリング情報に基づいて２次フィルタリングを行う。ここで、２次フィルタリング情報とは、１次フィルタリングの結果を絞り込むためにユーザが入力するキーワード、ソート基準などの項目から成る。２次フィルタリング情報については、図９を参照して後述する。
検索結果出力部２７は、第２フィルタ部２６による２次フィルタリングの結果（類似画像となる領域を含む症例画像）を、類似症例画像提示装置１０の症例画像取得部１５に出力する。
［ユーザインタフェースとなる画面について］
次に、図４は、ユーザインタフェースとなる画面の表示例を示している。
この表示画面５０は、表示制御部１２の制御に基づいてディスプレイ３０に表示されるものである。表示画面５０には、診断画像表示領域５１、リスト数設定領域５４、キーワード入力領域５５、ソート順設定領域５６、および検索結果表示領域５７が設けられている。
診断画像表示領域５１には、診断画像入力部１３により入力された診断画像が表示される。診断画像表示領域５１を拡大した図５が示すように、診断画像表示領域５１内の右下には、診断画像の全体が縮小表示されており、そこに示される拡大領域５２が診断画像表示領域５１に拡大表示されている範囲を表している。
ユーザは、診断画像表示領域５１に表示されている診断画像を任意にスクロールしたり、任意の倍率で拡大・縮小したり、回転したりすることができる。このときの操作履歴が所定のサンプリング周期で記録されることにより診断時画像コントロール情報が生成される。
図６は、診断時画像コントロール情報の一例を示している。診断時画像コントロール情報６０には、サンプリング周期のタイミング、Ｘ座標、Ｙ座標、および倍率から構成される。
例えば図６の場合、タイミングｔ１，ｔ２においては、診断画像の座標（３３０，４５６）を中心として倍率１０倍で表示されていたことを表す。そして、タイミングｔ３において、診断画像の座標（４４２，５６３）を中心とするようにスクロールされ、倍率２０倍に拡大表示されていたことを表する。そして、タイミングｔ４において、さらに拡大され、倍率４０倍で表示されていたことを表する。
図４に戻る。診断画像表示領域５１に表示されている診断画像上には、診断画像表示領域５１を拡大した図７が示すように、所定のサイズのクエリ画像設定枠５３を設けることができる。ユーザは、診断画像表示領域５１の診断画像上でクエリ画像設定枠５３を任意の位置に移動させることができる。この診断画像上のクエリ画像設定枠５３で表された領域がクエリ画像とされる。
リスト数設定領域５４には、１次フィルタリングの結果をさらに絞り込んで得る２次フィルタリング結果の系統数（リスト数）をユーザが設定できる。図４の場合のように、リスト数が２に設定されると、次に説明するキーワード入力領域５５が２系等分（５５−１，５５−２）だけ表示されることになる。また、検索結果表示領域５７には、２系等分の検索結果を表示される。
キーワード入力領域５５においては、ユーザが１次フィルタリングの結果をさらに絞り込むための検索結果フィルタリング情報の一項目であるキーワードを選択、または直接入力することができる。ここで選択または直接入力されたキーワードが、症例情報４０のカルテ情報４５に対する検索語となる。なお、図３の場合、診断画像が胃の病理画像である場合のキーワードが示されており、キーワード入力領域５５−１では、キーワードとして”Por”と”Sig”が選択されている。またキーワード入力領域５５−５では、キーワードとして”Non Cancer”が選択されている。
ソート順設定領域５６には、２次フィルタリング結果をソートする時の基準をユーザが設定できる。図３の場合、診断画像が胃の病理画像である場合のソート基準が示されており、「核の大きさ」に設定されている。
なお、キーワード入力領域５５およびソート順設定領域５６は、診断画像に写っている生体部位に応じてユーザがその内容を切り替えることができる。図８Ａは、診断画像が胃の病理画像である場合のキーワードとソート基準である。図８Ｂは、診断画像が前立腺の病理画像である場合のキーワードとソート基準である。なお、図８には、診断画像が胃または前立腺の病理画像である場合の２例についてのみ示しているが、当然ながらこれら以外の場合に対応するキーワードとソート基準を用意するようにしてもよい。
図９は、キーワード入力領域５５およびソート順設定領域５６に対する設定に応じて生成される２次フィルタリング情報の項目を示している。
２次フィルタリング情報７０は、フィルタリングキーワード７１、ソート基準７２、類似画像ＩＤ７３、および症例画像コントロール情報７４を含む。
フィルタリングキーワード７１は、キーワード入力領域５５にて選択または直接入力されたキーワードであり、１次フィルタリング結果を、症例情報４０のカルテ情報４５に基づいて絞り込むための検索語となる。ソート基準７２は、ソート順設定領域５６にて設定されるものを指す。類似画像ＩＤ７３は、検索結果表示領域５７に表示されている検索結果（類似画像）の中でユーザが診断時に参照したものの識別情報である。症例画像コントロール情報７４は、類似画像ＩＤ７３が示す類似画像をユーザが参照するための表示した時の操作履歴を表す情報である。

図４に戻る。検索結果表示領域５７には、キーワード入力領域５５にて設定または直接入力されたキーワードを含む２次フィルタリング情報に基づく２次フィルタリングの結果が、ソート順設定領域５６にて設定されたソート基準にしたがって並び替えられて表示される。
図１０は、リスト数設定領域５４にてリスト数を１に設定し、キーワード入力領域５５にて全てのキーワードを選択し、ソート順設定領域５６にて画像特徴量類似度をソート基準に設定した場合の表示例を示している。
図１１は、リスト数設定領域５４にてリスト数を２に設定し、キーワード入力領域５５−１にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域５５−２にて”Not Cancer”を選択し、ソート順設定領域５６にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に類似した様々な癌の症例画像と、非癌の症例画像とを検索結果として表示させることができる。
図１２は、リスト数設定領域５４にてリスト数を３に設定し、キーワード入力領域５５−１，５５−２，５５−３にて、それぞれ”Tub2”，”Por”，”Sig”を選択し、ソート順設定領域５６にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に対して疑わしい症例毎の症例画像を列毎に分けて表示させることができる。
なお、リスト数設定領域５４にて設定可能なリスト数は４以上としてよい。
［動作説明］
次に類似症例画像提示装置１０の動作について説明する。図１３は、類似症例画像提示装置１０による類似症例画像提示処理を説明するフローチャートである。
ステップＳ１において、診断画像入力部１３は、操作入力部１１から入力されるユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部１２およびクエリ画像設定部１４に入力する。表示制御部１２は、診断画像をディスプレイに表示させる。このとき、ユーザが診断画像をスクロールさせたり、拡大・縮小させたりすると、その操作履歴が診断時画像コントロール情報として保持される。
ステップＳ２において、クエリ画像設定部１４は、表示されている診断画像上にユーザが設定するクエリ画像設定枠５３の領域をクエリ画像として抽出して症例画像取得部１５に入力する。症例画像取得部１５は、クエリ画像を症例検索サーバ２０に送信して検索を依頼する。
ステップＳ３において、症例検索サーバ２０の画像特徴量抽出部２１は、クエリ画像から画像特徴量を抽出して症例画像検索部２２に供給する。
ステップＳ４において、症例画像検索部２２は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース２３から検索する。具体的には、クエリ画像の画像特徴量と、症例情報４０の画像特徴量４４との類似度を例えば次式（１）を用いて算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを検索結果として第１フィルタ部２５に入力する。
Figure 2014127011
 ・・・（１）
ここで、Ｎは特徴量の次元数、Ｑはクエリ画像の特徴量、Ｄは症例データベース中の画像の特徴量、ｗは特徴次元毎の重みパラメータを表す。特徴次元毎の重みパラメータは、例えばすべて１としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
なお、類似度算出方法については、式（１）に限るものではなく、任意の方法を用いることができる。
ステップＳ５において、第１フィルタ部２５は、画像特徴量によりクエリ画像に類似しているとして検索された各症例情報４０に対して、診断時画像コントロール情報に基づいて１次フィルタリングを行う。具体的には、診断画像の診断時画像コントロール情報と、各症例情報４０の診断時画像コントロール情報４６（症例画像が診断されたときの診断時画像コントロール情報）との類似度を算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを１次フィルタリング結果として第２フィルタ部２６に入力する。
ここで、診断時画像コントロール情報の類似度算出方法の例について図１４を参照して説明する。図１４は、診断時画像コントロール情報のＸ座標値の変化に着目して類似度を求める方法を説明している。
初めに、診断時画像コントロール情報の時間と画素の座標値を相対値に変換する。ここでは時間は診断にかかった総時間に対する相対時間と、画像サイズを1000ピクセルとして得られる相対座標を計算している。診断画像の診断時画像コントロール情報と、検索された症例画像の診断時画像コントロール情報から得られた相対座標をグラフにプロットすると図８に図示するとおりとなり、この２つのグラフの類似度を計算する。
グラフの類似度の計算方法としては、診断時刻をｔとし、２つのグラフをｐ(ｔ)とｑ(ｔ)とした場合、例えば次式（２）に示されるBhattacharyya距離を用いた算式を採用できる。
Figure 2014127011
 ・・・（２）
なお、上述した説明では、診断時画像コントロール情報のＸ座標値の変化に着目して類似度を求めたが、Ｙ座標値の変化に着目したり、表示倍率の変化に着目したり、Ｘ座標値の移動差分値の変化に着目したりしてもよい。移動差分値を用いた場合、診断時に観察した範囲が分かるので、腫瘍の大きさの値が得られることが期待される。
なお、Ｘ座標値の変化に着目したり、Ｙ座標値の変化に着目したり、表示倍率の変化に着目したり、して複数の類似度が得られる場合、それぞれで閾値処理をしてフィルタリングの結果としてもよいし、次式（３）を用いて複数の類似度を統合して用いてもよい。
Figure 2014127011
 ・・・（３）
ここで、Ｓｘ，Ｓｙ，Ｓｍは、それぞれ診断時画像コントロール情報のＸ座標値、Ｙ座標値、または表示倍率に着目した類似度であり、α、β、γは、それぞれの重みパラメータである。特徴次元毎の重みパラメータは、例えばすべて１としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
このようにして第１フィルタリング結果を得た後、処理は図１３のステップＳ６に進められる。ステップＳ６において、第２フィルタ部２６は、１次フィルタリング結果に対して、２次フィルタリング情報に基づいて２次フィルタリングを行う。具体的には、画面５０のキーワード入力領域５５に設定されたキーワード（フィルタリングキーワード７１）を検索語として１次フィルタリング結果の症例情報４０に含まれるカルテ情報４５を検索して絞り込みを行なったり、ソート順設定領域５６にて設定されたソート基準（ソート基準７２）に基づいて、キーワードによる絞込み結果をソートしたりする。さらに、２次フィルタリング情報７０の症例画像コントロール情報７４と、１次フィルタリング結果の診断時画像コントロール情報４６との類似度を１次フィルタリングと同様の方法で算出して、算出した類似度に基づいて絞り込みを行ってもよい。
ステップＳ７において、検索結果出力部２７は、第２フィルタ部２６による２次フィルタリングの結果（類似画像となる領域を含む症例画像）を、類似症例画像提示装置１０の症例画像取得部１５に出力する。症例画像取得部１５は、症例検索サーバ２０から応答された検索結果の症例画像を表示制御部１２に供給する。表示制御部１２は、検索結果の症例画像などを含むユーザインタフェースとしての画面をディスプレイ３０に表示させる。具体的には、画面５０のリスト数設定領域５４に対する設定数に応じて、図１０乃至図１２に示されたような画面５０が表示される。以上で、類似症例画像提示処理の説明を終了する。
［ユーザインタフェースとなる画面の活用について］
例えば、ユーザが診断画像について具体的な症例名が思い当たらない場合には、図１０に示されたように、キーワード入力領域５５−１にて全てのキーワードが選択さればよい。この場合、画像特徴量の類似度に基づく検索結果が、設定されているソート基準（図１０の場合、画像特徴量類似度）に従って検索結果表示領域５７に表示される。
検索結果表示領域５７にリスト表示された症例画像のうちの１つをユーザが選択するとディスプレイ３０の表示は、図１５に示されるように、診断画像上のクエリ画像と、選択された症例画像上の類似画像とを並列に表示された画面６０に切り替えられる。これにより、ユーザは拡大表示されたクエリ画像と類似画像とを詳細に見比べることができる。
例えば、検索結果として癌の症例画像と非癌の症例画像との２系統表示させる場合には、図１１に示されたように、リスト数設定領域５４にてリスト数を２に設定し、キーワード入力領域５５−１にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域５５−２にて”Not Cancer”を選択すればよい。
図１１の検索結果表示領域５７にリスト表示された２列の症例画像からそれぞれ１つの病理画像をユーザが選択するとディスプレイ３０の表示は、図１６に示されるように、選択された癌の症例画像上の類似画像と、診断画像上のクエリ画像と、選択された非癌の症例画像上の類似画像とを並列に表示された画面に切り替えられる。これにより、ユーザは、中央に拡大表示されたクエリ画像と、その両側に拡大表示された癌の類似画像と、非癌の類似画像とを詳細に見比べることができる。
そもそも病理画像の診断の目的は、主に、診断画像内に病変が含まれているか否かを判断することであるので、図１１のように、クエリ画像とともに、それに類似した病変（癌）の症例画像と病変が無い（非癌の）症例画像とをグループ分けして表示することは、診断に非常に役に立つことが期待される。すなわち、ユーザは、クエリ画像が病変を持つグループに近いのか、病変を持たないグループに近いのかを容易に比較して診断することができる。
なお、例えば、リスト数設定領域５４にてリスト数を６に設定し、キーワード入力領域５５−１乃至５５−６にて、それぞれ”Tub1”、”Tub2”、”Por”、”Sig”、”MUC”、または”Not Cancer”を選択し、検索結果表示領域５７にリスト表示される６列の症例画像からそれぞれ１つの病理画像をユーザが選択した場合には、診断画像上のクエリ画像を中心として、選択された症例画像上の類似画像がその周囲に表示された、図１６に示される画面８０となる。これにより、ユーザは、中心に表示されたクエリ画像と、その周囲に表示された複数の類似画像とを詳細に見比べることができる。
図１５乃至図１７に示されたようにクエリ画像と類似画像を並べて表示している状態においてクエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小したりした場合、それに対応して他方もスクロール表示させたり、拡大・縮小させることができる。
なお、クエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小させたりした場合において、他方をそのままの状態（スクロール表示や拡大・縮小しない）とするようにする設定も可能である。
図１８は、図１５に示されたクエリ画像と類似画像を並べて表示している画面６０において、クエリ画像または類似画像の一方をスクロール表示させた場合に、それに対応して他方もスクロール表示させた状態を示している。このように、クエリ画像または類似画像の一方のスクロール表示に対応して他方もスクロール表示させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
図１９は、図１５に示されたクエリ画像と類似画像を並べて表示している画面６０において、クエリ画像または類似画像の一方を拡大させた場合に、それに対応して他方も拡大させた状態を示している。このように、クエリ画像または類似画像の一方の拡大・縮小に対応して他方も拡大・縮小させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
なお、図１８および図１９は、１枚のクエリ画像に対して１枚の類似画像を表示している場合を示しているが、１枚のクエリ画像に対して２枚以上の類似画像を表示している場合においても同様に、１枚の画像に対するスクロール表示や拡大・縮小を、他の画像にも適用させて表示することができる。
図２０および図２１は、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点の移動を説明するための図である。
なお、図２０Ａは、クエリ画像と類似画像の拡大率を下げて診断画像と症例画像の全体を表示している状態、図２０Ｂは、クエリ画像と類似画像を表示している状態、図２０Ｃは、クエリ画像と類似画像を拡大して表示している状態である。図２１は、クエリ画像または類似画像の一方の拡大し、他方も拡大させる場合の、拡大させる領域の中心の移動を示している。
例えば、図２０Ｂに示された状態から図２０Ａに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心ではなく、元の診断画像と症例画像のそれぞれの中心を中心点としてそれぞれの拡大率を下げるように制御する。反対に、図２０Ａに示された状態から図２０Ｂに示された状態にする場合には、図２１に示されるように、元の診断画像と症例画像のそれぞれの中心ではなく、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する
また例えば、図２０Ｂに示された状態から図２０Ｃに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する。反対に、図２０Ｃに示された状態から図２０Ｂに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を下げるように制御する。
このように、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点を移動させることにより、ユーザの画像比較による診断の効率を向上させることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
該コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。
また、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。さらに、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１０ 類似症例画像提示装置， １１ 操作入力部， １２ 表示制御部， １３ 診断画像入力部， １４ クエリ画像設定部， １５ 症例画像取得部， ２０ 症例検索サーバ， ２１ 画像特徴量抽出部， ２２ 奨励画像検索部， ２３ 症例データベース， 症例登録部， ２５ 第１フィルタ部， ２６ 第２フィルタ部， ２７ 検索結果出力部， ３０ ディスプレイ，５０ 画面， ５１ 診断画像表示領域， ５２ 拡大領域， ５３ クエリ画像設定枠， ５４ リスト数設定領域， ５５ キーワード入力領域， ５６ ソート順設定領域， ２００ コンピュータ， ２０１ CPU

Claims (12)

  1. 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、
    前記診断画像を入力する診断画像入力部と、
    前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
    入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
    生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
    前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
    を備え、
    前記診断済画像検索装置は、
    前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
    予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
    前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部と
    を有する
    情報処理装置。
  2. キーワードを設定するキーワード設定部をさらに備え、
    前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、
    前記診断済画像検索装置は、
    前記第１次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第２次フィルタ部をさらに有する
    請求項１に記載の情報処理装置。
  3. 前記キーワード設定部を複数備え、
    前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させる
    請求項２に記載の情報処理装置。
  4. 前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させる
    請求項２に記載の情報処理装置。
  5. 前記診断画像および前記診断済画像は、医療画像である
    請求項２に記載の情報処理装置。
  6. 前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像である
    請求項２に記載の情報処理装置。
  7. 前記診断済画像検索装置は、インターネット上に設けられたサーバである
    請求項２に記載の情報処理装置。
  8. 前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第１次フィルタ部、または前記第２次フィルタ部のうちの少なくとも１つを備える
    請求項２に記載の情報処理装置。
  9. 前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第１の症例画像と、前記病変が存在しない旨の情報が関連付けられる第２の症例画像とを表示させる
    請求項１に記載の情報処理装置。
  10. 前記表示制御部は、病変が存在する旨を示す表示情報を前記第１の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第２の症例画像と対応づけて表示させる
    請求項９に記載の情報処理装置。
  11. 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、
    前記情報処理装置による、
    前記診断画像を入力する診断画像入力ステップと、
    前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、
    入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、
    生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、
    前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップと
    を含み、
    前記診断済画像検索装置は、
    前記クエリ画像の画像特徴量を抽出し、
    予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、
    検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する
    情報処理方法。
  12. 診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、
    前記診断画像を入力する診断画像入力部と、
    前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
    入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
    生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
    前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
    として機能させ、
    前記診断済画像検索装置は、
    前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
    予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
    前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部と
    を有する
    プログラム。
JP2012283035A 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム Pending JP2014127011A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012283035A JP2014127011A (ja) 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム
CN201380067324.0A CN104885079B (zh) 2012-12-26 2013-12-06 信息处理单元、信息处理方法以及计算机可读记录介质
US14/652,581 US9798770B2 (en) 2012-12-26 2013-12-06 Information processing unit, information processing method, and program
EP13868702.5A EP2940597B1 (en) 2012-12-26 2013-12-06 Information processing device, information processing method, and program
PCT/JP2013/082807 WO2014103664A1 (ja) 2012-12-26 2013-12-06 情報処理装置、情報処理方法、およびプログラム
US15/695,456 US11010375B2 (en) 2012-12-26 2017-09-05 Information processing unit, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012283035A JP2014127011A (ja) 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2014127011A true JP2014127011A (ja) 2014-07-07

Family

ID=51020756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012283035A Pending JP2014127011A (ja) 2012-12-26 2012-12-26 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US9798770B2 (ja)
EP (1) EP2940597B1 (ja)
JP (1) JP2014127011A (ja)
CN (1) CN104885079B (ja)
WO (1) WO2014103664A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6180878A (ja) * 1984-09-28 1986-04-24 Hitachi Ltd 超電導マグネツト用クライオスタツト
JP2016012345A (ja) * 2014-06-04 2016-01-21 パナソニック株式会社 制御方法及びプログラム
WO2016031950A1 (ja) * 2014-08-28 2016-03-03 京セラ株式会社 電子機器
JP2016110573A (ja) * 2014-12-10 2016-06-20 オリンパス株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2016154023A (ja) * 2016-03-16 2016-08-25 京セラ株式会社 電子機器
WO2021124869A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
JP2021532493A (ja) * 2018-08-08 2021-11-25 ディープ バイオ インク 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
WO2022080848A1 (ko) * 2020-10-15 2022-04-21 주식회사 뷰노 영상 분석을 위한 사용자 인터페이스
WO2022201992A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5677348B2 (ja) * 2012-03-23 2015-02-25 富士フイルム株式会社 症例検索装置、症例検索方法及びプログラム
KR102289393B1 (ko) * 2014-07-11 2021-08-13 삼성메디슨 주식회사 영상 장치 및 그 제어방법
US10318575B2 (en) 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog
JP6419560B2 (ja) * 2014-12-05 2018-11-07 株式会社東芝 検索装置、方法及びプログラム
EP3250900B1 (en) * 2015-01-31 2021-08-18 Roche Diagnostics GmbH Systems and methods for meso-dissection
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6675099B2 (ja) * 2015-09-30 2020-04-01 パナソニックＩｐマネジメント株式会社 制御方法及びプログラム
CN105740378B (zh) * 2016-01-27 2020-07-21 北京航空航天大学 一种数字病理全切片图像检索方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN106021362B (zh) * 2016-05-10 2018-04-13 百度在线网络技术（北京）有限公司 查询式的图片特征表示的生成、图片搜索方法和装置
US11468111B2 (en) * 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
US10467257B2 (en) 2016-08-09 2019-11-05 Zorroa Corporation Hierarchical search folders for a document repository
US10311112B2 (en) * 2016-08-09 2019-06-04 Zorroa Corporation Linearized search of visual media
US10664514B2 (en) 2016-09-06 2020-05-26 Zorroa Corporation Media search processing using partial schemas
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7239363B2 (ja) * 2019-03-22 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム
EP3981008A1 (en) * 2019-06-07 2022-04-13 Leica Microsystems CMS GmbH A system and method for processing biology-related data, a system and method for controlling a microscope and a microscope
JP2021173734A (ja) * 2020-04-30 2021-11-01 ソニーグループ株式会社 生成装置、生成方法、生成プログラム及び診断支援システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904163B1 (en) * 1999-03-19 2005-06-07 Nippon Telegraph And Telephone Corporation Tomographic image reading method, automatic alignment method, apparatus and computer readable medium
US6678703B2 (en) * 2000-06-22 2004-01-13 Radvault, Inc. Medical image management system and method
AU2001291175A1 (en) * 2000-09-21 2002-04-02 Md Online Inc. Medical image processing systems
JP3838954B2 (ja) * 2001-08-31 2006-10-25 宗元 朴 医療映像処理システム及び処理方法
JP2004005364A (ja) 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
US8594410B2 (en) * 2006-08-28 2013-11-26 Definiens Ag Context driven image mining to generate image-based biomarkers
JP4528529B2 (ja) * 2004-01-20 2010-08-18 株式会社東芝 超音波診断装置及び超音波画像データ処理方法
JP2005218796A (ja) * 2004-02-09 2005-08-18 Matsushita Electric Ind Co Ltd 医用画像処理装置および医用画像処理方法
US8218835B2 (en) * 2005-08-22 2012-07-10 Dai Nippon Printing Co., Ltd. Method for assisting in diagnosis of cerebral diseases and apparatus thereof
US8165362B2 (en) * 2005-11-30 2012-04-24 Nihon Medi-Physics Co., Ltd. Neurodegenerative disease detection method, detecting program, and detector
JP4874701B2 (ja) * 2006-04-18 2012-02-15 富士フイルム株式会社 類似画像検索装置および方法並びにプログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
US8090166B2 (en) * 2006-09-21 2012-01-03 Surgix Ltd. Medical image analysis
JP5128161B2 (ja) 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
US8090172B2 (en) * 2007-09-12 2012-01-03 Siemens Medical Solutions Usa, Inc. Robust segmentation of breast and muscle in MRI
US8392053B2 (en) * 2007-12-13 2013-03-05 Service Solutions U.S., Llc Graphing device and method
JP5203858B2 (ja) * 2008-09-01 2013-06-05 富士フイルム株式会社 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
JP5056695B2 (ja) 2008-09-24 2012-10-24 富士ゼロックス株式会社 類似画像提示装置及びプログラム
JP5317716B2 (ja) * 2009-01-14 2013-10-16 キヤノン株式会社 情報処理装置および情報処理方法
JP5227911B2 (ja) * 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
JP2011092681A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
US8799013B2 (en) * 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
US20110238676A1 (en) * 2010-03-25 2011-09-29 Palm, Inc. System and method for data capture, storage, and retrieval
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP5825889B2 (ja) * 2010-08-11 2015-12-02 株式会社東芝 レポート作成支援システム
JP5844093B2 (ja) * 2010-09-15 2016-01-13 株式会社東芝 医用画像処理装置及び医用画像処理方法
US8929624B2 (en) * 2010-11-26 2015-01-06 General Electric Company Systems and methods for comparing different medical images to analyze a structure-of-interest
JP5701138B2 (ja) * 2011-04-19 2015-04-15 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
KR101982149B1 (ko) * 2011-09-05 2019-05-27 삼성전자주식회사 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
JP5631914B2 (ja) * 2012-03-23 2014-11-26 富士フイルム株式会社 データベース検索装置、方法、及び、プログラム
JP5857124B2 (ja) * 2012-05-24 2016-02-10 株式会社日立製作所 画像解析装置、画像解析システム、画像解析方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6180878A (ja) * 1984-09-28 1986-04-24 Hitachi Ltd 超電導マグネツト用クライオスタツト
JP2016012345A (ja) * 2014-06-04 2016-01-21 パナソニック株式会社 制御方法及びプログラム
JP2019087272A (ja) * 2014-06-04 2019-06-06 パナソニック株式会社 情報端末、制御方法及びプログラム
JP2016051216A (ja) * 2014-08-28 2016-04-11 京セラ株式会社 電子機器
WO2016031950A1 (ja) * 2014-08-28 2016-03-03 京セラ株式会社 電子機器
JP2016110573A (ja) * 2014-12-10 2016-06-20 オリンパス株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2016154023A (ja) * 2016-03-16 2016-08-25 京セラ株式会社 電子機器
JP2021532493A (ja) * 2018-08-08 2021-11-25 ディープ バイオ インク 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
JP7320856B2 (ja) 2018-08-08 2023-08-04 ディープ バイオ インク 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
WO2021124869A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
JPWO2021124869A1 (ja) * 2019-12-17 2021-06-24
JP7355849B2 (ja) 2019-12-17 2023-10-03 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
WO2022080848A1 (ko) * 2020-10-15 2022-04-21 주식회사 뷰노 영상 분석을 위한 사용자 인터페이스
WO2022201992A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Also Published As

Publication number Publication date
EP2940597A4 (en) 2016-09-07
EP2940597B1 (en) 2019-11-13
CN104885079B (zh) 2020-06-05
EP2940597A1 (en) 2015-11-04
US20180004806A1 (en) 2018-01-04
US11010375B2 (en) 2021-05-18
CN104885079A (zh) 2015-09-02
US9798770B2 (en) 2017-10-24
WO2014103664A1 (ja) 2014-07-03
US20150347505A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6907381B2 (ja) 制御方法及びプログラム
US11250048B2 (en) Control method and non-transitory computer-readable recording medium for comparing medical images
US11112954B2 (en) Control method and recording medium
US20200320336A1 (en) Control method and recording medium
CN106560827B (zh) 控制方法
CN106557647B (zh) 控制方法
JP5652227B2 (ja) 画像処理装置および方法、並びにプログラム
JP6230787B2 (ja) 検査情報表示装置及び方法
JP6158509B2 (ja) 検査情報表示装置及び方法
US10261681B2 (en) Method for displaying a medical image and a plurality of similar medical images obtained from a case search system
JP5670695B2 (ja) 情報処理装置及び方法、並びにプログラム
CN111223556B (zh) 集成医学图像可视化和探索
JP2009527063A (ja) 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
JP5677348B2 (ja) 症例検索装置、症例検索方法及びプログラム
KR101203047B1 (ko) 뇌 자기공명영상 기반의 정량 분석 시스템
Şekeroğlu et al. A computer aided diagnosis system for lung cancer detection using support vector machine
Farhidzadeh et al. Signal intensity analysis of ecological defined habitat in soft tissue sarcomas to predict metastasis development
EP4371079A2 (en) Thumbnail animation for medical imaging
JP2011115279A (ja) 症例画像検索装置、方法およびプログラム
JP2019519794A (ja) サンプルの画像の中の、生体要素のうち少なくとも１つの関心ある要素の判別を支援するための方法及び電子デバイス、関連するコンピュータプログラム