JP2017046340A - 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体 - Google Patents

画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体 Download PDF

Info

Publication number
JP2017046340A
JP2017046340A JP2016049515A JP2016049515A JP2017046340A JP 2017046340 A JP2017046340 A JP 2017046340A JP 2016049515 A JP2016049515 A JP 2016049515A JP 2016049515 A JP2016049515 A JP 2016049515A JP 2017046340 A JP2017046340 A JP 2017046340A
Authority
JP
Japan
Prior art keywords
image
resolution
resolution image
evaluation value
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016049515A
Other languages
English (en)
Other versions
JP6719104B2 (ja
Inventor
太一 佐藤
Taichi Sato
太一 佐藤
本村 秀人
Hideto Motomura
秀人 本村
好秀 澤田
Yoshihide Sawada
好秀 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/218,204 priority Critical patent/US10048485B2/en
Priority to CN201610644318.2A priority patent/CN106483338A/zh
Publication of JP2017046340A publication Critical patent/JP2017046340A/ja
Application granted granted Critical
Publication of JP6719104B2 publication Critical patent/JP6719104B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q30/00Auxiliary means serving to assist or improve the scanning probe techniques or apparatus, e.g. display or data processing devices
    • G01Q30/02Non-SPM analysing devices, e.g. SEM [Scanning Electron Microscope], spectrometer or optical microscope

Landscapes

  • Microscoopes, Condenser (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Input (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimiles In General (AREA)
  • Television Systems (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高解像度画像の送受信または保存などの取り扱いの負担を軽減することができる画像出力装置を提供する。
【解決手段】本開示の画像出力装置1001は、第一解像度画像を取得する画像取得部1101と、第一解像度画像よりも高い解像度の画像である第二解像度画像を取得する高解像度画像取得部1102と、拡大率を受け付ける拡大受付部1201と、受け付けられた拡大率に基づく評価値が、所定の値よりも高いか否かを判定する判定部1202と、評価値が所定の値よりも高いと判定される場合には、第二解像度画像を送信し、評価値が所定の値よりも高くないと判定される場合には、第二解像度画像を送信しない送信部1204とを備える。
【選択図】図1

Description

本開示は、画像出力装置、画像送信装置および画像受信装置などに関する。
従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。顕微鏡のレンズで拡大された像を撮影してディスプレイ上に表示するデジタル顕微鏡も知られている。デジタル顕微鏡を利用することにより、複数人での同時観察、遠隔地での観察などが可能である。
近年、CIS(Contact Image Sensing)方式によってミクロ構造を観察する技術が注
目されている。CIS方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された2次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。
イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、1つの光電変換部を含む単位領域によって区画されている。したがって、2次元イメージセンサにおける分解能(解像度)は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。
イメージセンサの固有分解能を超える分解能(即ち、高解像度)を実現する技術が提案されている。特許文献1は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像(即ち、高解像度の画像)を形成する技術を開示している。
特開昭62−137037号公報
しかしながら、高解像度の画像はデータサイズが大きく、その画像の送受信または保存などの取り扱いには負担がかかるという問題がある。
そこで本開示では、高解像度画像の送受信または保存などの取り扱いの負担を軽減する画像出力装置、画像送信装置および画像受信装置などを提供する。
本開示の一態様にかかる画像出力装置は、少なくとも1つのプロセッサと、実行可能な命令を保持する非一時的な記録媒体とを備え、前記命令は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得し、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を外部装置に送信し、前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記外部装置に送信しない、ことを前記少なくとも1つのプロセッサに実行させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、高解像度画像の送受信または保存などの取り扱いの負担を軽減することができる。
実施の形態1における画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態1における、表示装置によって表示される表示画面の一例を示す図である。 実施の形態1における画像出力装置の処理動作の一例を示すフローチャートである。 実施の形態1における画像出力装置の処理動作の他の例を示すフローチャートである。 実施の形態1の変形例に係る画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態2における画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態2における画像送信装置および画像受信装置の処理動作を示すフローチャートである。 実施の形態2の変形例1に係る画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態2の変形例1に係る画像送信装置および画像受信装置の処理動作を示すフローチャートである。 実施の形態2の変形例2に係る画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態2の変形例2に係る画像送信装置および画像受信装置の処理動作を示すフローチャートである。 実施の形態3における画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態3における変形例1に係る画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態3における変形例2に係る画像出力装置を含む画像処理システムの他の例を示す構成図である。 被写体2の一部を模式的に示す平面図である。 図15Aに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。 被写体2を透過してフォトダイオード4pに入射する光線の方向を模式的に示す断面図である。 被写体2を透過してフォトダイオード4pに入射する光線の方向を模式的に示す断面図である。 6個のフォトダイオード4pによって取得される6個の画素Paを模式的に示す図である。 図16Aおよび図16Bに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図16Aおよび図16Bに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図17Aおよび図17Bに示す照射方向のもとで取得される6個の画素Pbを模式的に示す図である。 、図16Aおよび図16Bに示す照射方向ならびに図17Aおよび図17Bに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図16Aおよび図16Bに示す照射方向ならびに図17Aおよび図17Bに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図18Aおよび図18Bに示す照射方向のもとで取得される6個の画素Pcを模式的に示す図である。 図16Aおよび図16Bに示す照射方向、図17Aおよび図17Bに示す照射方向、ならびに図18Aおよび図18Bに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図19Aに示す照射方向のもとで取得される6個の画素Pdを模式的に示す図である。 4枚のサブ画像Sa、Sb、ScおよびSdから合成される高分解能画像HRを示す図である。 被写体2の隣接する2つの領域を通過した光線がそれぞれ異なるフォトダイオードに入射するように調整された照射方向を模式的に示す断面図である。 モジュールの断面構造の一例を模式的に示す図である。 図22Aに示すモジュール10をイメージセンサ4側から見たときの外観の一例を示す平面図である。 モジュールの作製方法の一例を説明するための図である。 サブ画像の取得時における照射角度の例を示す断面図である。 図24Aに示す照射角度とは異なる照射角度で被写体を照射する方法の例を示す断面図である。 本開示の実施形態による画像取得装置の構成の一例を示す概略図である。 画像取得装置100aの例示的な外観を示す斜視図である。 図26Aに示す画像取得装置100aにおいて蓋部120を閉じた状態を示す斜視図である。 画像取得装置100aのステージ32に対するソケット130の装填方法の一例を模式的に示す図である。 照射方向を変更する方法の一例を模式的に示す図である。 基準面に対してステージ32を角度θだけ傾斜させたときの、被写体に入射する光線の方向の変化を模式的に示す図である。 CCDイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す図である。 裏面照射型CMOSイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す図である。 裏面照射型CMOSイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す図である。 光電変換膜積層型イメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す図である。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した高解像度化の技術に関し、以下の問題が生じることを見出した。
顕微鏡を用いた病理検査では、観察対象となる個々の検体(病理検体ともいう)の病状によって使用するレンズの倍率が異なる。例えば癌の検査では、まず、対物10倍のレンズで観察を行う。癌の疑いが高い領域がない検体に対しては対物10倍のレンズの観察のみで観察を終了するが、癌の疑いが高い領域があれば対物レンズを40倍のレンズに切り替えて検査を行う。このように、検体に応じてレンズの拡大率が変更される。高い拡大率が必要になるか否かは検査をする前には不明であるため、高い拡大率から低い拡大率までの事前に決めた各拡大率で検体の撮影が行われる。
デジタル顕微鏡によって検体の画像を撮影する場合、その画像の解像度が高くなるに従って撮影時間および画像サイズが増大する。デジタル顕微鏡によって得られる対物10倍相当の画像のサイズを100Mバイトとすると、対物40倍相当の画像のサイズは1.6Gバイトとなる。
また、検査しなければならない病理検体の数が増える一方で、病理医の増加が追いついていない。したがって、今後、デジタル顕微鏡によって得られる画像である病理画像を遠隔地に送信して、遠隔地にいる病理医によって病理診断が行われることが増加していくと想定される。また、医療全体の高度化に伴い、一名の病理医で全ての臓器または症状の診断を行うことは困難になってきている。そのため、現場の病理医で診断が困難な検体の画像を、遠隔地にいる専門知識を有する病理医に送信して行う遠隔診断が行われていくようになる。しかし、高解像度の病理画像の送信には時間がかかるという問題がある。
このような問題を解決するために、本発明の一態様に係る画像出力装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得する高解像度画像取得部と、表示装置に表示される前記第一解像度画像に対する拡大率を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定する判定部と、前記判定部によって前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を外部装置に送信し、前記判定部によって前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記外部装置に送信しない送信部とを備える。
これにより、評価値が高い場合にのみ第二解像度画像が送信される。つまり、十分な診断が必要な検体(被写体)のみ、その検体の画像を高解像度で例えば遠隔地に送信することができる。したがって、例えば短時間で診断できるような重要度の低い検体の高解像度画像の送信のために、十分な診断が必要な検体の高解像度画像の送信が遅れてしまうことを抑えることができる。また、評価値の低い検体の高解像度画像の送信は行われないため、高解像度画像の取り扱いの負担を軽減することができる。
また、前記送信部は、前記判定部によって前記評価値が前記所定の値よりも高くないと判定される場合には、前記第一解像度画像を前記外部装置に送信してもよい。
これにより、例えば遠隔地にいる病理医も、送信された低解像度画像である第一解像度画像を用いた検体の診断を行うことができる。
また、前記画像出力装置は、さらに、前記判定部によって前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を記録媒体に出力して保存し、前記判定部によって前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記記録媒体に出力しない第一出力部を備えてもよい。
高解像度画像(第二解像度画像)の画像サイズは大きく、病理検査では、検査に用いた検体の画像は10年単位で保存される。また、人体から検体を取得する技術が向上している今日、撮影される検体の数は今後とも上昇していくと考えられる。したがって、デジタル顕微鏡で撮影した画像、特に高解像度画像の保存は重要な問題となる。
そこで、本発明の一態様では、評価値が高い場合にのみ第二解像度画像が保存される。つまり、十分な診断が必要な検体(被写体)のみ、その検体の画像を高解像度で保存しておくことができる。したがって、例えば短時間で診断できるような重要度の低い検体の高解像度画像の保存のために、記録媒体の空き容量が制限されてしまうことを抑えることができる。また、評価値の低い検体の高解像度画像の保存は行われないため、高解像度画像の取り扱いの負担を軽減することができる。
また、例えば、前記判定部は、前記拡大受付部によって受け付けられた1つまたは複数の前記拡大率のうち、最大の拡大率を前記評価値として導出する。または、前記判定部は、閾値よりも高い拡大率である高拡大率が前記拡大受付部によって受け付けられた回数が多いほど、または、前記被写体の画像が前記高拡大率で前記表示装置に表示されている時間が長いほど、高い前記評価値を導出してもよい。または、前記判定部は、閾値よりも高い前記拡大率で前記表示装置に表示される前記被写体の面積が広いほど高い前記評価値を算出してもよい。
これにより、被写体の画像の用途に応じて適切な評価値を導出することができ、最適な高解像度画像(第二解像度画像)のみを送信することができる。
また、本発明の他の態様に係る画像出力装置は、画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、前記画像送信装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得する高解像度画像取得部と、前記画像受信装置から通知される評価値関連情報によって示される評価値が、所定の値よりも高いか否かを判定する判定部と、前記判定部によって前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を前記画像受信装置に送信し、前記判定部によって前記評価値が前記所定の値よりも高くないと判定される場合には、前記第一解像度画像を前記画像受信装置に送信する送信部とを備え、前記画像受信装置は、表示装置に表示される前記第一解像度画像に対する拡大率を受け付ける拡大受付部と、前記画像送信装置から前記第一解像度画像または前記第二解像度画像を取得し、前記拡大受付部によって受け付けられた前記拡大率に基づき拡大された前記第一解像度画像または前記第二解像度画像を前記表示装置に表示させる表示用出力部とを備え、前記表示用出力部は、さらに、前記拡大受付部によって受け付けられた前記拡大率に基づく前記評価値関連情報を、前記画像送信装置に送信する。
または、本発明の他の態様に係る画像出力装置は、画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、前記画像送信装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得する高解像度画像取得部と、前記第一解像度画像または前記第二解像度画像を、前記画像受信装置に送信する送信部とを備え、前記画像受信装置は、表示装置に表示される前記第一解像度画像に対する拡大率を受け付ける拡大受付部と、前記画像送信装置から前記第一解像度画像または前記第二解像度画像を取得し、前記拡大受付部によって受け付けられた前記拡大率に基づき拡大された前記第一解像度画像または前記第二解像度画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、判定結果を前記画像送信装置に通知する判定部とを備え、前記送信部は、前記評価値が前記所定の値よりも高いことを示す前記判定結果である場合には、前記第二解像度画像を前記画像受信装置に送信し、前記評価値が前記所定の値よりも高くないことを示す前記判定結果である場合には、前記第一解像度画像を前記画像受信装置に送信する。なお、評価値関連情報は、拡大受付部によって受け付けられた拡大率、拡大率が受け付けられた回数、被写体の画像が表示されている時間、または、表示される被写体の面積などを含む情報である。
これにより、例えば被写体である検体が置かれた地点に病理医がいなくても、遠隔地にいる病理医は、その地点に設置された画像送信装置から送信される検体の画像を画像受信装置で取得して、その画像に基づく検体の診断を行うことができる。このときにも、不要な高解像度画像が画像受信装置に送信されることはないため、高解像度画像の取り扱いの負担を軽減することができる。
また、前記画像送信装置は、さらに、前記判定部によって前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を記録媒体に出力して保存する第二出力部を備えてもよい。
これにより、評価値が低いために高解像度画像(第二解像度画像)が遠隔地の病理医に送信されなかった場合でも、その高解像度画像は保存されている。したがって、その病理医が高解像度画像を必要とする場合には、迅速に、その高解像度画像を記録媒体から読み出して病理医に送信することができる。
なお、本発明の一態様に係る画像出力装置、画像送信装置および画像受信装置のそれぞれは、少なくとも1つのプロセッサと、実行可能な命令を保持する非一時的な記録媒体とを備えて構成されていてもよい。この場合、上述の各装置に備えられている各構成要素は、その記録媒体に保持されている命令がその少なくとも1つのプロセッサによって実行されることによって実現される。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
図1は、実施の形態1における画像出力装置を含む画像処理システムの一例を示す構成図である。
画像処理システム100Sは、デジタル顕微鏡1500、画像出力装置1001、および表示装置1501からなる。
デジタル顕微鏡1500は、後述の画像取得装置であって、病理検体を被写体として撮影する。ここで、本明細書において「デジタル顕微鏡」とは、病理組織プレパラート標本の少なくとも一部をデジタル画像化する装置である。例えば、デジタル顕微鏡は、前記標本をコンタクトイメージセンシング(CIS:Contact Image Sensing)方式で撮影する
後述の画像取得装置、またはバーチャルスライドスキャナ等である。ここで、CIS方式で撮影する画像取得装置は、イメージセンサの上に被写体を直接配置して撮影を行うことによって、被写体の画像である第一解像度画像および第二解像度画像を取得する装置である。具体的には、前記画像取得装置は、複数の異なる照射方向より光を被写体に照射してその被写体を撮影することで複数の第一解像度画像を生成する。そして、前記画像取得装置は、それらの複数の第一解像度画像の各画素を再配置することによって、各第一解像度画像よりも高い解像度の第二解像度画像を生成する。また、デジタル顕微鏡1500は、後述の画像取得装置の代わりに、複数の解像度の拡大画像を生成するバーチャルスライドスキャナ等のデジタル顕微鏡であっても構わない。バーチャルスライドスキャナは、顕微鏡越しに検体を撮影する装置である。顕微鏡に対するスライドの相対位置をずらす操作と撮影する操作を繰り返し、得られる複数の画像をつなぎ合わせて広範囲の検体の画像を生成する。バーチャルスライドスキャナでは、顕微鏡に装着する対物レンズを変えることで、取得する画像の解像度を選択する。低い倍率の対物レンズを用いると、解像度は低くなるが、1枚の画像に撮影される検体の範囲が広くなるので撮影箇所は少なくてすみ撮影時間は短くなる。画像取得装置については、実施の形態4において詳細に説明する。
表示装置1501は、デジタル顕微鏡による撮影に基づいて得られる画像を操作者(例えば病理医)に表示する装置であて、例えば、液晶ディスプレイまたはプロジェクター等である。
画像出力装置1001は、デジタル顕微鏡1500による撮影によって得られた画像を取得して、その画像を表示装置1501に表示させる。さらに、画像出力装置1001は、通信回線を介して、例えば遠隔地の病理医によって扱われる装置にその画像を送信する。
この画像出力装置1001は、画像取得部1101と、高解像度画像取得部1102と、拡大受付部1201と、判定部1202と、表示用出力部1203と、送信部1204とを備える。
画像取得部1101は、デジタル顕微鏡1500による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する。なお、デジタル顕微鏡1500による撮影に基づいて得られる被写体の画像は、その撮影によって直接的に得られる画像であってもよく、直接的に得られた画像に対して処理を行うことによって得られる画像であってもよい。ここでは、画像取得部1101は、デジタル顕微鏡1500における例えばコンタクトイメージセンサによる撮影によって得られたサブ画像を第一解像度画像として取得する。なお、第一解像度画像の解像度を第一解像度と呼ぶ。
高解像度画像取得部1102は、第一解像度画像よりも高い解像度の画像(高解像度画像)であって、デジタル顕微鏡1500による撮影に基づいて得られる被写体の画像である第二解像度画像を取得する。高解像度画像取得部1102は、複数のサブ画像から第二解像度画像を生成することによって、その第二解像度画像を取得してもよく、第二解像度画像をデジタル顕微鏡1500から取得してもよい。なお、第二解像度画像の解像度を第二解像度と呼ぶ。ここでは、第一解像度は画素ピッチが0.9μm、第二解像度は画素ピッチが0.3μmとする。また、第二解像度の画素ピッチに対する第一解像度の画素ピッチの比を解像度比とするとき、解像度比は3となる。
拡大受付部1201は、表示装置1501に表示される第一解像度画像に対する拡大率を受け付ける。具体的には、拡大受付部1201は、例えばキーボードの操作を介して拡大率Kを数値として取得する。また、拡大受付部1201は、例えばホイールを有するマウスの回転数を拡大率の変化値として用い、拡大率Kを更新してもよい。
表示用出力部1203は、拡大受付部1201によって受け付けられた拡大率に基づき拡大された第一解像度画像または第二解像度画像を表示装置1501に出力する。これにより、拡大された第一解像度画像または第二解像度画像が表示装置1501に表示される。なお、本実施の形態における画像出力装置1001は、表示用出力部1203を備えるが、この表示用出力部1203を備えていなくてもよい。
判定部1202は、拡大受付部1201によって受け付けられた拡大率に基づく評価値が、所定の値よりも高いか否かを判定する。ここで、所定の値とは、例えば病理医または操作者によって任意に設定される値であっても、予め定められた値であってもよい。具体的には、評価値が、拡大受付部1201によって受け付けられた1つまたは複数の拡大率のうち、最大の拡大率として導出される場合には、所定の値は例えば解像度比(つまり、上述の例の場合には3)と等しい値であってもよい。
なお、所定の値は1よりも大きい値である。ただし、所定の値を低い値にしてしまうと、後述の出力が頻繁に行われる事になる。これを避けるためには所定の値はできるだけ高い値であるこが望ましい。後述の出力は、送信部1204による送信、または、第一出力部1205による出力である。そこで、通信回線の太さや回線の混雑状況によって所定の値を切り替える構成としても良い。例えば、回線が細い携帯電話の回線を用いる場合には、所定の値を高い値10にし、回線が太い光回線を用いる場合には、所定の値を低い値3にする。また回線が混雑している場合には、所定の値を高い値10にし、回線が空いている場合には所定の値を低い値3にする。また、保存に用いるストレージ(例えば、後述する図8および図12〜図14の何れかの記録媒体1502)のサイズによって、所定の値を切り替える構成としても良い。例えば、そのストレージが大容量HDD(Hard Disk Drive)である場合には、所定の値を3とし、そのストレージが小容量のSSD(Solid State Drive)である場合には、所定の値を10としても良い。
送信部1204は、判定部1202によって評価値が所定の値よりも高いと判定される場合には、第二解像度画像を送信する。一方、送信部1204は、判定部1202によって評価値が所定の値よりも高くないと判定される場合には、第二解像度画像を送信しない。このとき、つまり、判定部1202によって評価値が高くないと判定される場合には、送信部1204は、第一解像度画像を送信する。第一解像度画像または第二解像度画像は、通信回線を介して、例えば遠隔地の病理医に扱われる装置に送信される。
図2は、表示装置1501によって表示される表示画面の一例を示す図である。
表示装置1501は、終了ボタン602、俯瞰画像表示部603、所見入力欄604、読込ボタン605、および拡大画像表示部606を含む表示画面601を表示する。
終了ボタン602が選択されると、表示装置1501は、画像の表示を終了すべきことを知らせる信号を画像出力装置1001に送信する。俯瞰画像表示部603には、第一解像度画像または第二解像度画像の全体が表示される。所見入力欄604には、例えば病理医による所見が書き込まれる。読込ボタン605が選択されると、表示装置1501は、例えば、第一解像度画像の表示を終了し、第二解像度画像の読み込みを指示する信号を画像出力装置1001に送信する。拡大画像表示部606には、第一解像度画像または第二解像度画像が拡大されて表示される。
図3は、画像出力装置1001の処理動作の一例を示すフローチャートである。
まず、画像出力装置1001の画像取得部1101は、デジタル顕微鏡1500から第一解像度画像を取得する(ステップS11)。次に、拡大受付部1201は、操作者による例えばキーボードなどへの操作に応じて画像の拡大率を受け付ける(ステップS12)。そして、表示用出力部1203は、受け付けられた拡大率で第一解像度画像を拡大して表示装置1501に出力する。その出力によって、表示用出力部1203は、受け付けられた拡大率に拡大された第一解像度画像を表示装置1501に表示させる(ステップS13)。
次に、表示用出力部1203は、終了ボタン602または読込ボタン605が選択されることによって表示装置1501から出力される信号に基づいて、第一解像度画像の表示を終了すべきか否かを判定する(ステップS14)。ここで、表示を終了すべきでないと判定されると(ステップS14のNo)、拡大受付部1201は、さらに、新たな拡大率を受け付ける。つまり、表示装置1501に表示された画像を観察する操作者は、検体に応じて拡大率を変更して観察を行う。
一方、表示を終了すべきと判定されると(ステップS14のYes)、判定部1202は、拡大受付部1201によって受け付けられた拡大率に基づく評価値を導出し、その評価値が所定の値よりも高いか否かを判定する(ステップS15)。
評価値は、例えば、ステップS12で受け付けられた1つまたは複数の拡大率のうちの、直前に受け付けられた拡大率(直前拡大率)、または最大の拡大率(最大拡大率)である。つまり、判定部1202は、直前拡大率または最大拡大率を評価値として導出する。または、判定部1202は、他の要件に基づいて評価値を導出してもよい。例えば、他の要件は、ステップS13によって拡大率が受け付けられた回数(受付回数)、表示装置1501に画像が表示されている時間(表示時間)、および、表示装置1501に表示された画像の面積(表示面積)のうちの少なくとも1つである。
また、判定部1202は、最大拡大率、受付回数、表示時間、および表示面積のそれぞれに係数を乗算し、それらを積算することによって評価値を導出してもよい。
ここで、評価値が所定の値よりも高くないと判定されると(ステップS15のNo)、送信部1204は、通信回線を介して第二解像度画像を送信することなく第一解像度画像を送信する(ステップS16)。一方、評価値が所定の値よりも高いと判定されると(ステップS15のYes)、高解像度画像取得部1102は、第二解像度画像を取得する(ステップS17)。さらに、送信部1204は、その高解像度画像取得部1102によって取得された第二解像度画像を、通信回線を介して送信する(ステップS18)。
図3のフローチャートでは、受け付けられた拡大率で拡大されて表示される画像は第一解像度画像だけであるが、図4のフローチャートに示すように、第二解像度画像もその拡大率で拡大して表示してもよい。
図4は、画像出力装置1001の処理動作の他の例を示すフローチャートである。
まず、画像出力装置1001の画像取得部1101は、デジタル顕微鏡1500から第一解像度画像を取得する(ステップS21)。そして、表示用出力部1203は、その第一解像度画像を表示装置1501に出力することによって、その第一解像度画像を表示装置1501に表示させる(ステップS22)。
次に、拡大受付部1201は、操作者による例えばキーボードなどへの操作に応じて画像の拡大率を受け付ける(ステップS23)。判定部1202は、拡大受付部1201によって受け付けられた拡大率に基づく評価値を導出し、その評価値が所定の値よりも高いか否かを判定する(ステップS24)。
ここで、評価値が所定の値よりも高くないと判定されると(ステップS24のNo)、表示用出力部1203は、ステップS23で受け付けられた拡大率に第一解像度画像を拡大して表示装置1501に出力する。この出力によって、表示用出力部1203は、拡大された第一解像度画像を表示装置1501に表示させる(ステップS25)。このときには、第二解像度画像が送信されることはない。そして、表示用出力部1203は、終了ボタン602または読込ボタン605が選択されることによって表示装置1501から出力される信号に基づいて、第一解像度画像の表示を終了すべきか否かを判定する(ステップS26)。ここで、表示を終了すべきと判定されると(ステップS26のYes)、画像出力装置1001は処理を終了する。一方、表示を終了すべきでないと判定されると(ステップS26のNo)、画像出力装置1001はステップS23からの処理を繰り返し実行する。
また、ステップS24において、評価値が所定の値よりも高いと判定されると(ステップS24のYes)、判定部1202は、その判定が検体に対して初回であるか否かを判別する(ステップS27)。ここで、初回であると判別されると(ステップS27のYes)、高解像度画像取得部1102は、第二解像度画像を取得する(ステップS28)。さらに、送信部1204は、高解像度画像取得部1102によって取得されたその第二解像度画像を、通信回線を介して送信する(ステップS29)。
ステップS29で第二解像度画像が送信された後、または、ステップS27において初回ではないと判別されると(ステップS27のNo)、表示用出力部1203は、ステップS23で受け付けられた拡大率に第二解像度画像を拡大して表示装置1501に出力する。その出力によって、表示装置1501は、拡大された第二解像度画像を表示装置1501に表示させる(ステップS30)。このとき、第二解像度画像を、ステップS23で受け付けられた拡大率で拡大するのではなく、その拡大率を解像度比で除算することによって得られる値で拡大してもよい。例えば、受け付けられた拡大率が3であって、解像度比が3の場合には、第二解像度画像は1倍に拡大される。
次に、表示用出力部1203は、終了ボタン602が選択されることによって表示装置1501から出力される信号に基づいて、第二解像度画像の表示を終了すべきか否かを判定する(ステップS31)。ここで、表示を終了すべきと判定されると(ステップS31のYes)、画像出力装置1001は処理を終了する。一方、表示を終了すべきでないと判定されると(ステップS31のNo)、画像出力装置1001はステップS23からの処理を繰り返し実行する。
(効果)
このように、本実施の形態では、評価値が高い場合にのみ第二解像度画像が送信される。つまり、十分な診断が必要な検体(被写体)のみ、その検体の画像を高解像度で例えば遠隔地に送信することができる。したがって、例えば短時間で診断できるような重要度の低い検体の高解像度画像の送信のために、十分な診断が必要な検体の高解像度画像の送信が遅れてしまうことを抑えることができる。また、評価値の低い検体の高解像度画像の送信は行われないため、高解像度画像の取り扱いの負担を軽減することができる。
具体的には、本実施の形態における画像出力装置1001が、経験の少ない病理医しかいない、または外科しかいない地方病院におかれて使用されることが考えられる。このケースでは、診断が難しい検体の第二解像度画像を、送信部1204によって、経験が豊富な病理医のいる遠隔地に送信するこができる。病理医には、まず低解像度の第一解像度画像が送信される。そして、高い評価値が得られたとき、つまり、検体に対してより詳細な診断が必要なときにのみ、高解像度の第二解像度画像を送信することができる。第一解像度画像を100Mバイト(=800Mビット)、第二解像度画像を1.6Gバイト、通信速度を50Mbpsとする場合、第一解像度画像は16秒で送信することができるが、高解像度画像の送信には256秒かかる。全ての画像を高解像度で送信すると時間がかかる。しかし、健康診断などで行われる生検では、ほとんどが低解像度の画像で異常がないことが判断できるため、必要な検体に対してのみ高解像度画像を送信することで診断を効率化することができる。また、画像出力装置1001は、病理医が一人しかいない小病院におかれ、重要な画像は遠隔地にいる病理医に送信されてダブルチェックを行う際の送信画像を選択する際に利用することができる。
(評価値の詳細)
ここで、上述の評価値について詳細に説明する。
上述のように、判定部1202は、受付回数、表示時間および表示面積のうちの少なくとも1つに基づいて評価値を導出してもよい。
これらの受付回数、表示時間または表示面積に基づく評価値は、診断において必須ではないのに高倍率での検体観察が行われたか、診断において必要なために高倍率での検体観察が行われたかを判定する際に有効である。つまり、通常の顕微鏡での診断では、レンズを交換する手間が大きいため、低倍率の観察を行った段階で検体が正常であることが分かれば、高倍率の観察は行われない。なお、検体が正常であるか否かの判断では、検体に腫瘍がない、または、診断上必要とされる検査項目が残っていない場合に、検体が正常であると判断される。一方、本実施の形態のデジタル顕微鏡1500のような電子顕微鏡によって取得された画像の高倍率の拡大は、マウスまたはキーボードのみの簡単な操作で行うことができる。したがって、デジタル顕微鏡1500では、通常の顕微鏡による低倍率の観察しか行わなかった検体に対しても、高倍率での観察を行う場合が極めて多い。
これは、病理医、医師または検査技師などの診断者が、高倍率で拡大された画像を見ることによって、検体の撮影が適切に行われているかを確認しているためであると考えられる。また、診断者が、正常な検体についても、その検体に含まれる小さな領域を、高倍率で拡大された像として見ておきたいという要求によるものであると考えられる。
このような診断に必要ではない高倍率での観察における受付回数、表示時間、または表示面積などのパラメータは、診断者の好みまたは経験によって異なる。しかし、これらのパラメータの数値は、診断に必須な高倍率での観察のパラメータと比べると極めて小さい。よって、本実施の形態では、受付回数、表示時間または表示面積に基づく評価値を用いることで、高倍率での観察が、診断に必要か否かを判定することができる。限られ通信帯域を有効に活用するためには、このような診断に必要ではない高倍率での観察が行われた際には、高解像度画像の送信を行わないことが望ましい。
また、受付回数、表示時間および表示面積のうちの少なくとも1つに基づいて評価値が導出されて、高解像度画像が送信されるときには、送信部1204は、その高解像度画像にタグを付けてもよい。つまり、送信部1204は、その評価値に用いられたパラメータ(受付回数、表示時間および表示面積のうちの少なくとも1つ)の種類と、その評価値とを示すタグを高解像度画像に付加し、そのタグ付けされた高解像度画像を送信する。これにより、その高解像度画像を受信する画像受信装置は、複数の高解像度画像の中から、パラメータの種類として例えば受付回数を示すタグが付加された高解像度画像を抽出することができる。また、画像受信装置は、抽出された高解像度画像が複数あれば、それらのタグに示される評価値に基づいて、それらの高解像度画像を評価値の昇順または降順に並べることができる。これにより、診断者は、容易に観察すべき高解像度画像を選択することができる。
(評価値の詳細:受付回数)
受付回数は、具体的には、閾値よりも高い拡大率である高拡大率が拡大受付部1201によって受け付けられた回数である。この閾値は、例えば上述の解像度比(具体的には3)である。判定部1202は、その受付回数が多いほど高い評価値を導出する。例えば、評価値は受付回数そのものであってもよい。この場合、判定部1202は、その評価値である受付回数が1回(所定の値=1)よりも多いか否かを判定する。つまり、受付回数が1回であれば、高拡大率に拡大された第一解像度画像の表示は、診断に必要でない表示である可能性が高い。言い換えれば、高拡大率よりも低い拡大率の第一解像度画像によって、検体が正常であると判断されている可能性が高い。逆に、受付回数が2回以上であれば、高拡大率に拡大された第一解像度画像の表示は、診断に必要な表示である可能性が高い。つまり、検体が正常であるか否かの判断が疑わしい可能性が高い。したがって、このように、受付回数が1回よりも多いか否かを判定して、多いと判定されたときに高解像度画像の送信を行うことによって、限られ通信帯域を有効に活用することができる。
あるいは、判定部1202は、その評価値である受付回数が2回(所定の値=2)よりも多い否かを判定してもよい。具体的には、悪性腫瘍を診断する場合には、腫瘍の様態およびサイズを確認するために3回以上の診断を行うことが多い。例えば、腫瘍の中心、左端、および右端のそれぞれの診断が行われることが多い。したがって、上述のように所定の値を「2」とすることによって、悪性腫瘍の疑いが高い検体の高解像度画像だけを送信することができる。
このように、評価値が受付回数に基づいて導出される場合には、高倍率での検体観察が1回または2回以下の回数しか行われていないにもかかわらず、高解像度画像が送信されてしまうことを抑えることができる。すなわち、診断に必要でない高倍率での検体観察が行われたことによって、高解像度画像が送信されてしまうことを抑えることができる。
(評価値の詳細:表示時間)
表示時間は、具体的には、被写体の画像が高拡大率で表示装置1501に表示されている時間である。判定部1202は、その表示時間が長いほど高い評価値を導出する。例えば、評価値は、被写体の画像が上述の解像度比(具体的には3)以上の高拡大率で表示装置1501に表示されている表示時間であってもよい。この場合、判定部1202は、その評価値である表示時間が例えば10秒(所定の値=10秒)よりも長いか否かを判定する。つまり、その表示時間が10秒以下であれば、高拡大率に拡大された画像の表示は、診断に必要でない表示である可能性が高い。これにより、診断に必要でない高倍率での検体観察が行われたことによって、高解像度画像が送信されてしまうことを抑えることができる。
また、悪性腫瘍の診断にかかる時間は、診断者または観察する部位によって差がある。したがって、診断者、観察する部位、あるいは検体の取得作成方法によって、その所定の値(上述の例では10秒)を変えもよい。例えば、通常の方法で作成した検体に対しては、その所定の値を10秒とし、術中迅速診断用に短時間で作成した検体に対しては、その所定の値を30秒としてもよい。
また、上述の例では、所定の値を10秒または30秒としたが、正常な検体の観察にかかる平均的な表示時間のm倍(mは1より大きい実数)の時間などを所定の値としてもよい。
また、判定部1202は、受け付けられた拡大率(つまり、3以上の高拡大率)ごとに、その拡大率での表示時間に重みを乗じ、それぞれの重み付けされた表示時間の総和を、評価値として導出してもよい。この重みは、拡大率が高いほど大きい値である。具体的には、判定部1202は、拡大率そのものを重みとして扱い、評価値=Σ[拡大率(k)×表示時間(k)]によって、評価値を導出する。なお、拡大率(k)は、k番目に受け付けられた3以上の拡大率であり、表示時間(k)は、k番目の拡大率で拡大された第一解像度画像が表示された表示時間である。つまり、解像度比以上の拡大率がn回受け付けられた場合、評価値は、kが1〜nまでの拡大率(k)×表示時間(k)の総和として導出される。例えば、受け付けられた拡大率Qと、そのときの表示時間T(秒)とは、(Q,T)=(3,7)、(4,6)、(5,5)、および(6,4)であったとする。このような場合、判定部1202は、評価値=(3×7)+(4×6)+(5×5)+(6×4)によって、評価値を導出する。なお、評価値の算出において、拡大率(k)の代わりに、「拡大率(k)−解像度比(具体的には3)+1」を用いてもよい。この場合には、判定部1202は、評価値=(1×7)+(2×6)+(3×5)+(4×4)によって、評価値を導出する。このような評価値を用いれば、観察時間が長いほど、また観察時の拡大率(倍率)が高いほど、高い評価値が導出される。また、この場合には、判定部1202は、評価値が例えば30(所定の値=30)を越えるか否かを判定してもよい。
なお、判定部1202は、各拡大率での表示時間を計算した後に、評価値を導出するが、観察時における評価値を随時更新してもよい。つまり、判定部1202は、一定時間の経過ごとに、観察時の拡大率を取得し、その取得された拡大率と一定時間との乗算結果を、直前に導出された評価値に加算することによって、その評価値を更新してもよい。これにより、一定時間の経過ごとに、新たな評価値が導出される。
また、判定部1202は、拡大率を表示時間に乗じる代わりに、拡大率に対して単調増加する値を表示時間に乗じてもよい。拡大率に対して単調増加する値は、関数によって得られる値であって、例えば、拡大率の対数である。つまり、判定部1202は、評価値=Σ[log拡大率(k)×表示時間(k)]によって、評価値を導出する。
また、判定部1202は、上述のような総和によって評価値を導出する代わりに、拡大率または拡大率の対数を表示時間で積分した値を評価値として導出してもよい。
(評価値の詳細:表示面積)
表示面積は、具体的には、その高拡大率で表示装置1501に表示される被写体の面積である。例えば、判定部1202は、一枚のフレームにおいて被写体が映し出されている領域を、エッジ検出を用いて特定し、その特定された領域の面積を、被写体の画像の面積として算出する。また、エッジ検出で一枚のフレームにおいて複数の領域が検出される場合には、判定部1202は、その複数の領域のうち、例えば、ユーザがマウスで指示した場所(座標)を含む領域の面積を被写体の画像の面積としてもよい。ここで、その表示されている画像がずらされると、新たなに表示される画像の面積だけ表示面積は広くなる。つまり、ユーザがマウスで指示した場所(即ち、座標)を含む領域が連続する場合(即ち、エッジがない場合)、ユーザが、画像をずらすと、その領域に連続する新たに領域が出現する。そこで、判定部1202は、その新たに出現した領域であって、かつ、ユーザがマウスで指示した場所を含む領域に連続する領域の面積を、被写体の画像の面積に加算してもよい。なお、表示面積である被写体の面積は、上述のように算出される被写体の画像の面積を実際の拡大率で除算することによって得られる値(商)である。判定部1202は、その表示面積が広いほど高い評価値を導出する。
例えば、評価値は、解像度比(具体的には3)以上の高拡大率で表示される被写体の表示面積である。この場合、判定部1202は、その評価値である表示面積が10,000μmよりも広いか否かを判定する。解像度比が3の際に、隣接する2つの画素に対応する検体の位置の間隔が1/3μm(=0.333μm)とすると、1つの画素で撮影される検体の面積は1/9μmとなり、10,000μmに対応する検体のサイズは10,000μm/(1/9μm)=9×10ピクセルとなる。すなわち、判定部1202は、9×10ピクセル(所定の値=9×10ピクセル)よりも広いか否かを判定する。つまり、その表示面積が9×10ピクセル以下であれば、高拡大率に拡大された第一解像度画像の表示は、診断に必要でない表示である可能性が高い。これにより、診断に必要でない高倍率での検体観察が行われたことによって、高解像度画像が送信されてしまうことを抑えることができる。
また、上述の例では、所定の値を10,000μm(すなわち、9×10ピクセル)としたが、正常な検体の観察にかかる平均的な表示面積のm倍(mは1よりも大きい実数)の面積などを所定の値としてもよい。
また、判定部1202は、受け付けられた拡大率(つまり、3以上の高拡大率)ごとに、その拡大率での表示面積に重みを乗じ、それぞれの重み付けされた表示面積の総和を、評価値として導出してもよい。この重みは、拡大率が高いほど大きい値である。具体的には、判定部1202は、拡大率の二乗を重みとして扱い、判定部1202は、評価値=Σ[拡大率(k)^2×表示面積(k)]によって、評価値を導出する。なお、拡大率(k)は、上述と同様、k番目に受け付けられた3以上の拡大率であり、表示面積(k)は、k番目の拡大率で拡大された被写体の表示面積である。なお、A^Bは、AのB乗の計算を示す。つまり、解像度比以上の拡大率がn回受け付けられた場合、評価値は、kが1〜nまでの拡大率(k)^2×表示面積(k)の総和として導出される。例えば、拡大率Qと、そのときの表示面積S(1×10ピクセル)とは、(Q,S)=(3, 2)、(4, 0.5)、(5, 1.5)、(6,1)であったとする。このような場合、判定部1202は、評価値=[(3^2)×2×10]+[(4^2)×0.5×10]+[(5^2)×1.5×10]+[(6^2)×1×10]によって、評価値を導出する。なお、評価値の算出において、拡大率(k)の二乗の代わりに、「拡大率(k)−解像度比(具体的には3)+1」の二乗を重みとして用いてもよい。この場合には、判定部1202は、評価値=[(1^2)×2×10]+[(2^2)×0.5×10]+[(3^2)×1.5×10]+[(4^2)×1×10]によって、評価値を導出する。このような評価値を用いれば、観察される被写体の面積が広いほど、また観察時の拡大率(倍率)が高いほど、高い評価値が導出される。また、この場合には、判定部1202は、評価値が例えば8.1×10(所定の値=8.1×10)を越えるか否かを判定してもよい。
なお、重みは、拡大率が高いほど大きい値であればよく、そのような値が算出される関数であれば、拡大率の二乗に限らず、どのような関数を用いてもよい。例えば、判定部1202は、評価値=Σ[拡大率(k)^3×表示面積(k)]によって、評価値を導出してもよい。
また、判定部1202は、上述のような総和によって評価値を導出する代わりに、拡大率のべき乗を表示面積で積分した値を評価値として導出してもよい。
(変形例)
ここで、実施の形態1における画像出力装置の変形例について説明する。本変形例にかかる画像出力装置は、評価値が高い場合には、第二解像度画像を送信するとともに保存する。
図5は、本変形例に係る画像出力装置を含む画像処理システムの一例を示す構成図である。
本変形例に係る画像処理システム100Saは、デジタル顕微鏡1500、画像出力装置1001a、表示装置1501、および記録媒体1502からなる。
記録媒体1502は、画像出力装置1001aから出力された画像を保持する。この記録媒体1502は、例えば、ハードディスク、BD(Blu−ray(登録商標) Disc)、DVD、SDカード(登録商標)、RAM(Random Access Memory)、またはキャッシュ等の記憶装置によって実現される。
画像出力装置1001aは、上記実施の形態1の画像出力装置1001が備えている各構成要素の他に、さらに、第一出力部1205を備える。
第一出力部1205は、判定部1202によって評価値が所定の値よりも高いと判定される場合には、第二解像度画像を記録媒体1502に出力して保存する。一方、第一出力部1205は、判定部1202によって評価値が所定の値よりも高くないと判定される場合には、第二解像度画像を記録媒体1502に出力しない。
言い換えれば、第一出力部1205は、送信部1204から送信される画像を記録媒体1502に出力することによって、その画像を記録媒体1502に保存する。つまり、第一出力部1205は、図3のステップS16,S18または図4のステップS29において送信される第一解像度画像または第二解像度画像を記録媒体1502に保存する。
(効果)
このような本変形例にかかる画像出力装置1001aでは、高解像度での診断が必要な検体に対しては、高解像度画像(第二解像度画像)を自動的に保存することができる。高解像度画像を保存するか否かを選択するボタンを設けることも考えられるが、病理医は一時間に60検体以上の診断を行うような場合があり、ボタン操作を忘れることが考えられる。しかし、本変形例にかかる画像出力装置1001aを用いれば、操作忘れを防止することができ、重要な高解像度画像を確実に保存することができる。
また、本変形例にかかる画像出力装置1001aを用いれば、高解像度画像で診断が行われた検体に対してはその高解像度画像が保存および送信され、低解像度画像(第一解像度画像)で診断が行われた検体に対してはその低解像度画像が保存および送信される。これにより、保存および送信される画像のサイズを検体に応じたサイズにすることで、保存される画像のサイズ、送信(転送)される画像のサイズおよび転送時間を削減することができる。
(実施の形態2)
本実施の形態における画像出力装置は、互いに通信回線を介して接続される画像送信装置と画像受信装置とから構成される。なお、本実施の形態における装置およびその構成要素のうち、実施の形態1と同じ装置およびその構成要素に対しては、実施の形態1と同じ符号を付し、それらの詳細な説明を省略する。
図6は、実施の形態2における画像出力装置を含む画像処理システムの一例を示す構成図である。
画像処理システム200Sは、デジタル顕微鏡1500、画像出力装置2001、表示装置1501、記録媒体1502、および記録媒体1503からなる。
記録媒体1502は、画像出力装置2001の画像受信装置1200から出力された画像を保持する。
記録媒体1503は、画像出力装置2001の画像送信装置1100から出力された画像を保持する。この記録媒体1503は、記録媒体1502と同様、例えば、ハードディスク、BD(Blu−ray(登録商標) Disc)、DVD、SDカード(登録商標)、RAM、またはキャッシュ等の記憶装置によって実現される。
画像出力装置2001は、通信回線を介して互いに接続される画像送信装置1100および画像受信装置1200を備える。なお、画像出力装置2001は全体として、実施の形態1の画像出力装置1001と同様の機能を有する。また、例えば、デジタル顕微鏡1500、画像送信装置1100および記録媒体1503を含むセットは、病理医のいない病院などの施設に配置される。画像受信装置1200、表示装置1501および記録媒体1502を含むセットは、例えば、その病院から遠く離れた、病理医がいる施設に配置される。
画像送信装置1100は、画像取得部1101、高解像度画像取得部1102、送信部1204、および第二出力部1103を備える。
第二出力部1103は、高解像度画像取得部1102によって取得された第二解像度画像を記録媒体1503に出力することによって、その第二解像度画像を記録媒体1503に保存する。つまり、この第二出力部1103は、判定部1202によって評価値が所定の値よりも高くないと判定される場合には、第二解像度画像を記録媒体1503に出力して保存する。
画像受信装置1200は、拡大受付部1201、判定部1202、表示用出力部1203、および第一出力部1205を備える。
表示用出力部1203は、画像送信装置1100から通信回線を介して第一解像度画像または第二解像度画像を取得する。そして、実施の形態1と同様に、表示用出力部1203は、拡大受付部1201によって受け付けられた拡大率に基づき拡大された第一解像度画像または第二解像度画像を表示装置1501に出力する。これにより、表示用出力部1203は、拡大された第一解像度画像または第二解像度画像を表示装置1501に表示させる。
判定部1202は、実施の形態1と同様に、評価値が所定の値よりも高いか否かを判定する。そして、判定部1202は、通信回線を介してその判定結果を画像送信装置1100に通知する。
画像送信装置1100の送信部1204は、評価値が高いことを示す判定結果である場合には、通信回線を介して第二解像度画像を画像受信装置1200に送信する。一方、送信部1204は、評価値が高くないことを示す判定結果である場合には、通信回線を介して第一解像度画像を第二解像度画像の代わりに送信する。
図7は、画像送信装置1100および画像受信装置1200の処理動作を示すフローチャートである。
画像送信装置1100の画像取得部1101は、デジタル顕微鏡1500から第一解像度画像を取得する(ステップS41)。送信部1204は、通信回線を介して第一解像度画像を画像受信装置1200に送信する(ステップS42)。
画像受信装置1200の表示用出力部1203は、通信回線を介して画像送信装置1100から送信される第一解像度画像を受信する(ステップS51)。次に、画像受信装置1200の拡大受付部1201は、操作者による例えばキーボードなどへの操作に応じて画像の拡大率を受け付ける(ステップS52)。そして、表示用出力部1203は、受け付けられた拡大率で第一解像度画像を拡大して表示装置1501に出力する。表示用出力部1203は、その出力によって、受け付けられた拡大率に拡大された第一解像度画像を表示装置1501に表示させる(ステップS53)。
次に、画像受信装置1200の表示用出力部1203は、終了ボタン602または読込ボタン605が選択されることによって表示装置1501から出力される信号に基づいて、第一解像度画像の表示を終了すべきか否かを判定する(ステップS54)。ここで、表示を終了すべきでないと判定されると(ステップS54のNo)、拡大受付部1201は、さらに、新たな拡大率を受け付ける。つまり、表示装置1501に表示された画像を観察する操作者(病理医)は、検体に応じて拡大率を変更して観察を行う。
一方、表示を終了すべきと判定されると(ステップS54のYes)、判定部1202は、拡大受付部1201によって受け付けられた拡大率に基づく評価値を導出し、その評価値が所定の値よりも高いか否かを判定する(ステップS55)。
ここで、評価値が所定の値よりも高くないと判定されると(ステップS55のNo)、画像受信装置1200の第一出力部1205は、第一解像度画像を記録媒体1502に出力して保存する(ステップS59)。一方、評価値が所定の値よりも高いと判定されると(ステップS55のYes)、第一出力部1205は、通信回線を介して画像送信装置1100に第二解像度画像を要求する(ステップS56)。
画像送信装置1100の送信部1204は、画像受信装置1200から第二解像度画像が要求されているか否かを判定する(ステップS43)。ここで、要求されていないと判定されると(ステップS43のNo)、高解像度画像取得部1102は、第二解像度画像を取得する(ステップS44)。そして、第二出力部1103は、高解像度画像取得部1102によって取得されたその第二解像度画像を記録媒体1503に出力して保存する(ステップS45)。したがって、この第二出力部1103は、判定部1202によって評価値が高くないと判定される場合には、第二解像度画像を記録媒体1503に出力して保存する。
一方、第二解像度画像が要求されていると判定すると(ステップS43のYes)、高解像度画像取得部1102は、第二解像度画像を取得する(ステップS46)。そして、送信部1204は、高解像度画像取得部1102によって取得されたその第二解像度画像を、通信回線を介して画像受信装置1200に送信する(ステップS47)。したがって、送信部1204は、実施の形態1と同様、判定部1202によって評価値が高いと判定される場合には、第二解像度画像を送信し、判定部1202によって評価値が高くないと判定される場合には、第二解像度画像を送信しない。
なお、上述の例では、ステップS43の判定の後に、ステップS44およびステップS46の処理が行われるが、ステップS43の判定の前に行われていてもよい。
ステップS47で第二解像度画像が送信されると、画像受信装置1200の第一出力部1205は、その第二解像度画像を受信する(ステップS57)。そして、第一出力部1205は、その第二解像度画像を記録媒体1502に出力して保存する(ステップS58)。
(効果)
このような本実施の形態における画像出力装置2001では、被写体の画像を取得する施設と、その画像を観察する施設とが離れていても、実施の形態1と同様の効果を奏することができる。
(変形例1)
ここで、実施の形態2における画像出力装置の第1の変形例について説明する。本変形例では、複数の検体に対して評価値が高いと判定された場合に、高い評価値の検体に対応する第二解像度画像から順に、複数の第二解像度画像を送信する。
図8は、本変形例に係る画像出力装置を含む画像処理システムの一例を示す構成図である。
本変形例に係る画像処理システム200Saは、デジタル顕微鏡1500、画像出力装置2001a、表示装置1501、記録媒体1502、および記録媒体1503からなる。
画像出力装置2001aは、通信回線を介して互いに接続される画像送信装置1100aおよび画像受信装置1200aを備える。
画像受信装置1200aは、実施の形態2における画像受信装置1200が備えている各構成要素の他に、さらに評価値蓄積部1206を備える。この評価値蓄積部1206には、各検体(被写体)に対して導出された評価値が蓄積される。また、第一出力部1205は、評価値蓄積部1206に蓄積されている各評価値に対応する第二解像度画像を画像送信装置1100aに要求する。
画像送信装置1100aは、実施の形態2における送信部1204の代わりに、送信部1204aを備える。この送信部1204aは、実施の形態2における送信部1204と同様の機能を有するだけでなく、第一出力部1205からの要求を受けた場合には、高い評価値の検体に対応する第二解像度画像から順に、複数の第二解像度画像を送信する。
図9は、画像送信装置1100aおよび画像受信装置1200aの処理動作を示すフローチャートである。
画像送信装置1100aの画像取得部1101および高解像度画像取得部1102は、被写体の第一解像度画像および第二解像度画像を取得する(ステップS71)。送信部1204aは、通信回線を介して第一解像度画像を画像受信装置1200aに送信する(ステップS72)。そして、画像取得部1101および高解像度画像取得部1102は、次の被写体があるか否かを判定する(ステップS73)。次の被写体があると判定されると(ステップS73)、画像送信装置1100aは、ステップS71からの処理を繰り返す。
画像受信装置1200aの表示用出力部1203は、通信回線を介して画像送信装置1100aから送信される第一解像度画像を受信する(ステップS81)。次に、画像受信装置1200aの拡大受付部1201は、操作者による例えばキーボードなどへの操作に応じて画像の拡大率を受け付ける(ステップS82)。そして、表示用出力部1203は、受け付けられた拡大率で第一解像度画像を拡大して表示装置1501に出力する。表示用出力部1203は、その出力によって、受け付けられた拡大率に拡大された第一解像度画像を表示装置1501に表示させる(ステップS83)。
次に、画像受信装置1200aの表示用出力部1203は、終了ボタン602または読込ボタン605が選択されることによって表示装置1501から出力される信号に基づいて、第一解像度画像の表示を終了すべきか否かを判定する(ステップS84)。ここで、表示を終了すべきでないと判定されると(ステップS84のNo)、拡大受付部1201は、さらに、新たな拡大率を受け付ける。つまり、表示装置1501に表示された画像を観察する操作者(病理医)は、検体に応じて拡大率を変更して観察を行う。
一方、表示を終了すべきと判定されると(ステップS84のYes)、判定部1202は、拡大受付部1201によって受け付けられた拡大率に基づく評価値を導出し、その評価値が所定の値よりも高いか否かを判定する(ステップS85)。
ここで、評価値が所定の値よりも高くないと判定されると(ステップS85のNo)、画像受信装置1200aの第一出力部1205は、第一解像度画像を記録媒体1502に出力して保存する(ステップS87)。一方、評価値が所定の値よりも高いと判定されると(ステップS85のYes)、判定部1202は、その所定の値よりも高い評価値を被写体に関連付けて評価値蓄積部1206に保存する(ステップS86)。
次に、画像受信装置1200aの表示用出力部1203は、次の被写体があるか否かを判定する(ステップS88)。ここで、次の被写体があると判定されると(ステップS88のYes)、画像受信装置1200aはステップS81からの処理を繰り返し実行する。一方、次の被写体がないと判定されると(ステップS88のNo)、画像受信装置1200aの第一出力部1205は、評価値蓄積部1206に保存されている評価値を参照する。そして、第一出力部1205は、高い評価値から順に、その評価値に関連付けられている被写体の第二解像度画像を送信するように、通信回線を介して画像送信装置1100に要求する(ステップS89)。
画像送信装置1100aの送信部1204aは、画像受信装置1200aから第二解像度画像が要求されているか否かを判定する(ステップS74)。ここで、要求されていないと判定されると(ステップS74のNo)、第二出力部1103は、ステップS71で取得された各被写体の第二解像度画像を記録媒体1503に出力して保存する(ステップS75)。一方、送信部1204aは、第二解像度画像が要求されていると判定すると(ステップS74のYes)、ステップS71で取得された各被写体の第二解像度画像のうち、所定の値よりも高い評価値に対応する第二解像度画像を画像受信装置1200aに送信する。このとき、送信部1204aは、高い評価値の第二解像度画像から順に、それらの第二解像度画像を、通信回線を介して画像受信装置1200aに送信する(ステップS76)。
画像受信装置1200aの第一出力部1205は、所定の値よりも高い評価値に対応する各第二解像度画像を、評価値の高い第二解像度画像から順に受信して記録媒体1502に出力する(ステップS90)。これにより、所定の値よりも高い評価値の各第二解像度画像が記録媒体1502に保存される。
(効果)
このように、本変形例では、評価値が高いと判定された複数の被写体の第二解像度画像をまとめて送信するときには、評価値が高い第二解像度画像から順に送信される。したがって、重要度の高い第二解像度画像を迅速に送信することができる。その結果、病理医は、重要度の高い第二解像度画像から順に、その第二解像度画像を用いた検体の診断を行うことができる。
つまり、画像送信装置1100aは、経験の少ない病理医しかいない、または外科しかいない地方病院におかれて使用されることが考えられる。このケースでは、診断が難しい検体の第二解像度画像が、送信部1204aによって、経験が豊富な病理医のいる大病院に送信される。通信回線は限りがあるが、本変形例における画像出力装置2001aを用いれば、診断が難しかった検体の第二解像度画像を優先して地方病院から大病院に送信することができる。また、画像送信装置1100aは、病理医が一人しかいない小病院におかれ、重要な画像は遠隔地にいる病理医に送信されてダブルチェックを行う際の送信画像を選択する際に利用することができる。
なお、病理検査では、同一患者から複数の検体を撮影する場合がある。例えば、癌の検査では、臓器の一部分を取得し、その一部分の異なる断面の切片を観察することがある。すなわち、上下方向の異なる位置(便宜上、異なる高さと呼ぶ)の検体切片を撮影することで、複数の2次元の画像を取得し、それらの画像によって、三次元的な癌の範囲を確認する。ここで、何れかの高さにおける画像において癌の疑いがある場合、その画像を含めて、他の高さにおける画像も、高解像度で送信または保持しておくことが望まれる。
そこで、高解像度画像取得部1102は、同一患者の同一臓器から得られた複数の第二解像度画像に対して同一の画像群識別子を付与してもよい。この場合、送信部1204aは、第二解像度画像を送信するときには、その第二解像度画像に付与された画像群識別子に関連付けられている他の第二解像度画像も画像受信装置1200aに送信する。これにより、画像受信装置1200aを扱う病理医は、同一患者の同一臓器に対して得られた複数の第二解像度画像をそれぞれ選択することなく、まとめて取得することができ、癌の範囲などを三次元的に簡単に確認することができる。
(変形例2)
上記実施の形態2およびその変形例1では、判定部1202は画像受信装置に備えられているが、画像送信装置に備えられていてもよい。第2の変形例における画像送信装置は、判定部1202を備える。
図10は、本変形例に係る画像出力装置を含む画像処理システムの一例を示す構成図である。
本変形例に係る画像処理システム200Sbは、デジタル顕微鏡1500、画像出力装置2001b、表示装置1501、記録媒体1502、および記録媒体1503からなる。
画像出力装置2001bは、通信回線を介して互いに接続される画像送信装置1100bおよび画像受信装置1200bを備える。
画像送信装置1100bは、実施の形態2およびその変形例1における画像送信装置1100aが備えている各構成要素の他に、さらに、判定部1202を備える。
画像受信装置1200bは、判定部1202を備えず、拡大受付部1201、表示用出力部1203および第一出力部1205を備える。
図11は、画像送信装置1100bおよび画像受信装置1200bの処理動作を示すフローチャートである。
画像送信装置1100bの画像取得部1101は、デジタル顕微鏡1500から第一解像度画像を取得する(ステップS101)。送信部1204は、通信回線を介して第一解像度画像を画像受信装置1200に送信する(ステップS102)。
画像受信装置1200bの表示用出力部1203は、通信回線を介して画像送信装置1100bから送信される第一解像度画像を受信する(ステップS121)。次に、画像受信装置1200bの拡大受付部1201は、操作者による例えばキーボードなどへの操作に応じて画像の拡大率を受け付ける(ステップS122)。そして、表示用出力部1203は、受け付けられた拡大率で第一解像度画像を拡大して表示装置1501に出力する。表示用出力部1203は、その出力によって、受け付けられた拡大率に拡大された第一解像度画像を表示装置1501に表示させる(ステップS123)。
次に、画像受信装置1200bの表示用出力部1203は、終了ボタン602または読込ボタン605が選択されることによって表示装置1501から出力される信号に基づいて、第一解像度画像の表示を終了すべきか否かを判定する(ステップS124)。ここで、表示を終了すべきでないと判定されると(ステップS124のNo)、拡大受付部1201は、さらに、新たな拡大率を受け付ける。つまり、表示装置1501に表示された画像を観察する操作者(病理医)は、検体に応じて拡大率を変更して観察を行う。一方、表示用出力部1203は、表示を終了すべきと判定すると(ステップS124のYes)、評価値の導出に必要となる評価値関連情報を、通信回線を介して画像送信装置1100bに送信する(ステップS126)。この評価値関連情報は、例えば、上述の直前拡大率、最大拡大率、表示回数、表示時間および表示面積のうちの少なくとも1つである。
画像送信装置1100bの判定部1202は、その評価値関連情報を受信する(ステップS104)。そして、判定部1202は、その評価値関連情報に基づいて評価値を導出する。さらに、判定部1202は、導出された評価値が所定の値よりも高いか否かを判定し、通信回線を介してその判定結果を画像受信装置1200bに通知する(ステップS105)。
画像受信装置1200bの第一出力部1205は、通信回線を介して画像送信装置1100bから通知された判定結果を受けると(ステップS127)、その判定結果が肯定的(Yes)であるか否かを確認する(ステップS128)。ここで、判定結果が否定的であること、つまり、評価値が所定の値よりも高くないことが確認されると(ステップS128のNo)、画像受信装置1200bの第一出力部1205は、第一解像度画像を記録媒体1502に出力して保存する(ステップS132)。一方、判定結果が肯定的であること、つまり、評価値が所定の値よりも高いことが確認されると(ステップS128のYes)、画像受信装置1200bの第一出力部1205は、通信回線を介して画像送信装置1100に第二解像度画像を要求する(ステップS129)。
画像送信装置1100bの送信部1204は、画像受信装置1200bから第二解像度画像が要求されているか否かを判定する(ステップS106)。ここで、要求されていないと判定されると(ステップS106のNo)、高解像度画像取得部1102は、第二解像度画像を取得する(ステップS107)。さらに、第二出力部1103は、高解像度画像取得部1102によって取得されたその第二解像度画像を記録媒体1503に出力して保存する(ステップS108)。
一方、第二解像度画像が要求されていると判定されると(ステップS106のYes)、高解像度画像取得部1102は、第二解像度画像を取得する(ステップS109)。そして、送信部1204は、高解像度画像取得部1102によって取得されたその第二解像度画像を、通信回線を介して画像受信装置1200bに送信する(ステップS110)。
なお、上述の例では、ステップS106の判定の後に、ステップS107およびステップS109の処理が行われるが、ステップS106の判定の前に行われていてもよい。
ステップS110で第二解像度画像が送信されると、画像受信装置1200bの第一出力部1205は、その第二解像度画像を受信する(ステップS130)。そして、第一出力部1205は、その第二解像度画像を記録媒体1502に出力して保存する(ステップS131)。
(効果)
このように、本変形例では、判定部1202が画像送信装置1100bに備えられていても、上記実施の形態1および2と同様の効果を奏することができる。
また、本変形例においても変形例1と同様に、所定の値よりも高い評価値に関連付けられた複数の被写体のそれぞれの第二解像度画像を、その評価値の高い第二解像度画像から順に送受信してもよい。
(実施の形態3)
上記実施の形態1および2とそれらの変形例では、評価値が所定の値よりも高いか否かに応じて、第二解像度画像を送信するか、送信しないかを切り替える。本実施の形態では、評価値が所定の値よりも高いか否かに応じて、その送信と非送信との切り替えを行うことなく、第二解像度画像を保存するか、保存しないかを切り替える。なお、本実施の形態における装置およびその構成要素のうち、実施の形態1または2と同じ装置およびその構成要素に対しては、実施の形態1または2と同じ符号を付し、それらの詳細な説明を省略する。
図12は、実施の形態3における画像出力装置を含む画像処理システムの一例を示す構成図である。
画像処理システム300Sは、デジタル顕微鏡1500、画像出力装置3001、表示装置1501、および記録媒体1502からなる。
画像出力装置3001は、画像取得部1101と、高解像度画像取得部1102と、拡大受付部1201と、判定部1202と、表示用出力部1203と、第一出力部1205とを備える。つまり、本実施の形態における画像出力装置3001は、実施の形態1の画像出力装置1001が備える各構成要素のうちの送信部1204に代えて第一出力部1205を備える。なお、本実施の形態における画像出力装置3001は、表示用出力部1203を備えるが、実施の形態1と同様に、この表示用出力部1203を備えていなくてもよい。
第一出力部1205は、実施の形態1の変形例と同様、判定部1202によって評価値が所定の値よりも高いと判定される場合には、第二解像度画像を記録媒体1502に出力して保存する。一方、第一出力部1205は、判定部1202によって評価値が所定の値よりも高くないと判定される場合には、第二解像度画像を記録媒体1502に出力しない。
(効果)
これにより、本実施の形態では、実施の形態1の変形例と同様、高解像度での診断が必要な検体に対しては、高解像度画像(第二解像度画像)を自動的に保存することができる。また、高解像度での診断が不要な検体に対しては、高解像度画像は保存されないため、記録媒体1502の空き容量が制限されてしまうことを抑えることができる。
(変形例1)
上記実施の形態3における画像出力装置3001は1つの装置として構成されているが、実施の形態2のように、2つの装置から構成されていてもよい。本変形例にかかる画像出力装置は、互いに通信回線を介して接続される画像送信装置と画像受信装置とから構成される。
図13は、実施の形態3における第1の変形例に係る画像出力装置を含む画像処理システムの一例を示す構成図である。
画像処理システム300Saは、デジタル顕微鏡1500、画像出力装置3001a、表示装置1501、および記録媒体1502からなる。
画像出力装置3001aは、通信回線を介して互いに接続される画像送信装置3100aおよび画像受信装置3200aを備える。なお、画像出力装置3001aは全体として、実施の形態3の画像出力装置3001と同様の機能を有する。また、例えば、デジタル顕微鏡1500および画像送信装置3100aを含むセットは、病理医のいない病院などの施設に配置される。画像受信装置3200a、表示装置1501および記録媒体1502を含むセットは、例えば、その病院から遠く離れた、病理医がいる施設に配置される。
画像送信装置3100aは、画像取得部1101を備える。画像取得部1101は、デジタル顕微鏡1500から第一解像度画像を取得し、通信回線を介して、その第一解像度画像を画像受信装置3200aに送信する。
画像受信装置3200aは、高解像度画像取得部1102、拡大受付部1201、判定部1202、表示用出力部1203、および第一出力部1205を備える。本変形例に係る高解像度画像取得部1102は、第一出力部1205からの要求に応じて、複数の第一解像度画像を、通信回線を介して画像送信装置3100aから取得する。そして、高解像度画像取得部1102は、それらの第一解像度画像に基づいて第二解像度画像を生成することによって、その第二解像度画像を取得する。
第一出力部1205は、評価値が所定の値よりも高いと判定部1202によって判定された場合に、高解像度画像取得部1102に第二解像度画像を要求し、高解像度画像取得部1102から第二解像度画像を取得する。そして、第一出力部1205は、その第二解像度画像を記録媒体1502に出力して保存する。一方、第一出力部1205は、評価値が所定の値よりも高くないと判定部1202によって判定された場合には、第二解像度画像を記録媒体1502に出力しない。
(効果)
このような本変形例における画像出力装置3001aでは、被写体の画像を取得する施設と、その画像を観察する施設とが離れていても、実施の形態3と同様の効果を奏することができる。
(変形例2)
上記実施の形態3における第1の変形例では、判定部1202は画像受信装置に備えられているが、画像送信装置に備えられていてもよい。第2の変形例における画像送信装置は、判定部1202を備える。
図14は、実施の形態3における第2の変形例に係る画像出力装置を含む画像処理システムの他の例を示す構成図である。
画像処理システム300Sbは、デジタル顕微鏡1500、画像出力装置3001b、表示装置1501、および記録媒体1502からなる。
画像出力装置3001bは、通信回線を介して互いに接続される画像送信装置3100bおよび画像受信装置3200bを備える。なお、画像出力装置3001bは全体として、実施の形態3の画像出力装置3001と同様の機能を有する。また、例えば、デジタル顕微鏡1500および画像送信装置3100bを含むセットは、病理医のいない病院などの施設に配置される。画像受信装置3200b、表示装置1501および記録媒体1502を含むセットは、例えば、その病院から遠く離れた、病理医がいる施設に配置される。
画像送信装置3100bは、画像取得部1101および判定部1202を備える。画像取得部1101は、デジタル顕微鏡1500から第一解像度画像を取得し、通信回線を介して、その第一解像度画像を画像受信装置3200bに送信する。判定部1202は、画像受信装置3200bから通信回線を介して送信される上述の評価値関連情報を取得し、その評価値関連情報に基づいて評価値を導出する。そして、判定部1202は、その評価値が所定の値よりも高いか否かを判定し、その判定結果を、通信回線を介して画像受信装置3200bに通知する。
画像受信装置3200bは、高解像度画像取得部1102、拡大受付部1201、表示用出力部1203、および第一出力部1205を備える。
高解像度画像取得部1102は、第一出力部1205からの要求に応じて、複数の第一解像度画像を、通信回線を介して画像送信装置3100bから取得する。そして、高解像度画像取得部1102は、それらの第一解像度画像に基づいて第二解像度画像を生成することによって、その第二解像度画像を取得する。
表示用出力部1203は、通信回線を介して評価値関連情報を画像送信装置3100bに送信する。これによって、画像送信装置3100bの判定部1202による判定が行われる。
第一出力部1205は、画像送信装置3100bから通知された判定結果が肯定的であること、つまり、評価値が所定の値よりも高いことが確認された場合に、高解像度画像取得部1102に第二解像度画像を要求する。そして、第一出力部1205は、高解像度画像取得部1102から第二解像度画像を取得し、その第二解像度画像を記録媒体1502に出力して保存する。一方、第一出力部1205は、画像送信装置3100bから通知された判定結果が否定的であること、つまり、評価値が所定の値よりも高くないことが確認された場合には、第二解像度画像を記録媒体1502に出力しない。
(効果)
このように、本変形例では、判定部1202が画像送信装置3100bに備えられていても、上記実施の形態3およびその変形例1と同様の効果を奏することができる。
(実施の形態4)
ここで、上記各実施の形態およびその変形例におけるデジタル顕微鏡1500について、以下、詳細に説明する。なお、デジタル顕微鏡1500を、以下、画像取得装置(デジタイザ)と称する。
<高解像度画像形成の原理>
本開示では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも解像度(分解能)の高い画像(以下、「高解像度画像」または「高分解能画像」と呼ぶ。)を形成する。なお、高解像度画像は、上述の第二解像度画像に相当し、その高解像度画像の形成に用いられる複数の画像(サブ画像)のそれぞれは、上述の第一解像度画像に相当する。まず、図15A〜図20を参照して、高解像度画像形成の原理を説明する。ここでは、CCD(Charge Coupled Device)イメージセンサを例示して説明を行う。なお、以下の説明において、実質的に同じ機
能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
図15Aおよび図15Bを参照する。図15Aは、被写体の一部を模式的に示す平面図である。図15Aに示す被写体2は、例えば、生物組織の薄片(典型的には、数十μm以下の厚さを有する。)である。被写体2の画像の取得時、被写体2は、イメージセンサの撮像面に近接して配置されている。イメージセンサの撮像面から被写体2までの距離は、典型的には1mm以下であり、例えば1μm程度に設定され得る。
図15Bは、イメージセンサのフォトダイオードのうち、図15Aに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ4に形成されたフォトダイオード4pのうち、6個のフォトダイオードが示されている。なお、参考のために、図15Bでは、互いに直交するx方向、y方向およびz方向を示す矢印が図示されている。z方向は、撮像面の法線方向を示している。図15Bでは、xy面内においてx軸からy軸に向かって45°回転した方向であるu方向を示す矢印も図示されている。他の図面においても、x方向、y方向、z方向またはu方向を示す矢印を図示することがある。
イメージセンサ4におけるフォトダイオード4p以外の構成要素は、遮光層によって覆われている。図15B中、ハッチングされた領域は、遮光層によって覆われている領域を示している。CCDイメージセンサの撮像面上における1つのフォトダイオードの受光面の面積(S2)は、そのフォトダイオードを含む単位領域の面積(S1)よりも小さい。画素の面積S1に対する受光面積S2の比率(S2/S1)は、「開口率」と呼ばれている。ここでは、開口率が25%であるとして説明を行う。
図16Aおよび図16Bは、被写体2を透過してフォトダイオード4pに入射する光線の方向を模式的に示す。図16Aおよび図16Bは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図16Aおよび図16Bにおいて模式的に示すように、ここでは、被写体2とイメージセンサ4との間に結像のためのレンズは配置されておらず、被写体2の画像は、被写体2を透過する実質的に平行な光線を用いて取得される。
図16Cは、図16Aおよび図16Bに示す照射方向のもとで取得される画像Sa(第1のサブ画像Sa)を模式的に示す。図16Cに示すように、第1のサブ画像Saは、6個のフォトダイオード4pによって取得される6個の画素Paから構成される。画素Paの各々は、個々のフォトダイオード4pに入射した光の量を示す値(画素値)を持つ。
図16Aおよび図16Bに示すように、撮像面に垂直な方向から被写体2を照射したときには、被写体2の全体のうち、フォトダイオード4pの直上に位置する領域を透過した光がフォトダイオード4pに入射する。この例では、第1のサブ画像Saは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6(図15A参照)の情報を有している。なお、フォトダイオード4pの直上に位置しない領域を透過した光は、フォトダイオード4pには入射しない。したがって、第1のサブ画像Saでは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6以外の領域の情報が欠落している。
図17Aおよび図17Bは、図16Aおよび図16Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図17Aおよび図17Bに示す光線は、z方向に対してx方向に傾斜している。このとき、被写体2の全体のうち、フォトダイオード4pの直上に位置する領域とは異なる領域を透過した光がフォトダイオード4pに入射する。
図17Cは、図17Aおよび図17Bに示す照射方向のもとで取得される画像Sb(第2のサブ画像Sb)を模式的に示す。図17Cに示すように、第2のサブ画像Sbも、6個のフォトダイオード4pによって取得される6個の画素から構成されている。ただし、第2のサブ画像Sbを構成する画素Pbは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6とは異なる領域B1、B2、B3、B4、B5およびB6(図15A参照)に関する画素値を持つ。言い換えれば、第2のサブ画像Sbは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6の情報は有しておらず、代わりに、領域B1、B2、B3、B4、B5およびB6の情報を有している。ここでは、例えば領域B1は、被写体2において領域A1の右側に隣接する領域である(図15A参照)。
図16Aおよび図16Bと、図17Aおよび図17Bとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体2の異なる領域を透過した光線をフォトダイオード4pに入射させることができる。その結果、第1のサブ画像Saと第2のサブ画像Sbは、被写体2において異なる位置に対応する画素情報を含むことができる。
図18Aおよび図18Bは、図16Aおよび図16Bに示す照射方向ならびに図17Aおよび図17Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図18Aおよび図18Bに示す光線は、z方向に対してy方向に傾斜している。
図18Cは、図18Aおよび図18Bに示す照射方向のもとで取得される画像Sc(第3のサブ画像Sc)を模式的に示す。図18Cに示すように、第3のサブ画像Scは、6個のフォトダイオード4pによって取得される6個の画素Pcから構成されている。図示するように、第3のサブ画像Scは、被写体2の全体のうち、図15Aに示す領域C1、C2、C3、C4、C5およびC6の情報を有している。ここでは、例えば領域C1は、被写体2において領域A1の上側に隣接する領域である(図15A参照)。
図19Aは、図16Aおよび図16Bに示す照射方向、図17Aおよび図17Bに示す照射方向、ならびに図18Aおよび図18Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図19Aに示す光線は、z方向に対して、xy面内においてx軸と45°の角をなす方向に傾斜している。
図19Bは、図19Aに示す照射方向のもとで取得される画像Sd(第4のサブ画像Sd)を模式的に示す。図19Bに示すように、第4のサブ画像Sdは、6個のフォトダイオード4pによって取得される6個の画素Pdから構成されている。第4のサブ画像Sdは、被写体2の全体のうち、図15Aに示す領域D1、D2、D3、D4、D5およびD6の情報を有している。ここでは、例えば領域D1は、領域C1の右側に隣接する領域である(図15A参照)。このように、サブ画像Sa、Sb、ScおよびSdの各々は、被写体2の異なる部分から構成される像を含んでいる。
図20は、4枚のサブ画像Sa、Sb、ScおよびSdから合成される高解像度画像HRを示している。図20に示すように、高解像度画像HRの画素数または画素密度は、4枚のサブ画像Sa、Sb、ScおよびSdの各々の画素数または画素密度の4倍である。
例えば、被写体2における、図15Aに示す領域A1、B1、C1およびD1のブロックに着目する。これまでの説明からわかるように、図20に示すサブ画像Saの画素Pa1は、上述のブロック全体ではなく、領域A1のみの情報を有している。したがって、サブ画像Saは、領域B1、C1およびD1の情報が欠落した画像であるということができる。
しかしながら、被写体2において異なる位置に対応する画素情報を有するサブ画像Sb、ScおよびSdを用いることにより、図20に示すように、サブ画像Saにおいて欠落した情報を補完し、ブロック全体の情報を有する高解像度画像HRを形成することが可能である。個々のサブ画像の解像度がイメージセンサ4の固有解像度に等しいことに対し、この例では、イメージセンサ4の固有解像度の4倍の解像度が得られている。高解像度化(超解像)の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ4の開口率が25%であるため、異なる4方向からの光照射によって最大4倍の高解像度化が達成されている。Nを2以上の整数するとき、イメージセンサ4の開口率が近似的に1/Nに等しければ、最大N倍の高解像度化が可能である。
このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも解像度の高い高解像度画像を形成することが可能である。もちろん、照射方向は、図16A〜図19Bを参照して説明した照射方向に限定されない。
なお、上記の例において、図20に示すサブ画像Sa、Sb、ScおよびSdは、被写体2における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体2において隣接する2つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図21に示すように、被写体2の隣接する2つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。
<モジュール>
図15A〜図20を参照して説明した原理に基づく高解像度画像の形成において、サブ画像の取得は、被写体2がイメージセンサ4の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体2およびイメージセンサ4が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。
図22Aは、モジュールの断面構造の一例を模式的に示す。図22Aに示すモジュール10では、封入剤6によって覆われた被写体2がイメージセンサ4の撮像面4A上に配置されている。図示する例では、透明プレート(典型的にはガラス板)8が被写体2上に配置されている。すなわち、図22Aに例示する構成では、被写体2は、イメージセンサ4と透明プレート8との間に挟まれている。モジュール10が透明プレート8を有すると、作業性が向上するので有益である。透明プレート8としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。
図22Aに例示する構成において、イメージセンサ4は、パッケージ5に固定されている。図22Bは、図22Aに示すモジュール10をイメージセンサ4側から見たときの外観の一例を示す。図22Aおよび図22Bに示すように、パッケージ5は、透明プレート8とは反対側の面に裏面電極5Bを有する。この裏面電極5Bは、パッケージ5に形成された不図示の配線パターンを介してイメージセンサ4と電気的に接続されている。すなわち、裏面電極5Bを介して、イメージセンサ4の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を「撮像素子」と呼ぶ。
図23を参照して、モジュール10の作製方法の一例を説明する。ここでは、被写体2として生物組織の薄片(組織切片)を例示する。生物組織の薄片を被写体2として有するモジュール10は、病理診断に利用され得る。
まず、図23に示すように、組織切片A02を透明プレート8に載せる。透明プレート8は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート8としてスライドガラスを例示する。次に、組織切片A02を透明プレート8ごと染色液Ssに漬けることにより、組織切片A02を染色する。次に、透明プレート8上に封入剤6を付与することにより、組織切片A02を染色することによって得られた被写体2を封入剤6によって覆う。封入剤6は、被写体2を保護する機能を有する。次に、撮像素子7を、イメージセンサ4の撮像面が被写体2に対向するようにして被写体2上に配置する。このようにして、モジュール10が得られる。
モジュール10は、撮像の対象ごとに作製される。例えば病理診断の場面では、1つの検体から複数(例えば5〜20枚)の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体2として有する複数のモジュール10が作製され得る。これらの複数のモジュール10のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール10のそれぞれに対応した高解像度画像の形成が可能である。
図22Aに示すように、モジュール10は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体2の画像を取得するイメージセンサ4を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図22Aに示すように被写体2および撮像素子7が一体化された構造を有するモジュール10を用いることにより、被写体2とイメージセンサ4との間の配置を固定できるという利点が得られる。
モジュール10を用いて被写体2の画像の取得を実行するとき、透明プレート8を介して被写体2に照明光を照射する。被写体2を透過した照明光がイメージセンサ4に入射する。これにより、被写体2の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図24Aに示すように、イメージセンサ4の直上に光源310を配置する。そして、コリメートされた光CLをイメージセンサ4の撮像面4Aの法線方向から被写体2に照射した状態で撮像を行えば、図26Cに示すサブ画像Saと同様のサブ画像が得られる。また、図24Bに示すように、モジュール10を傾けた状態でコリメートされた光CLを被写体2に照射して撮像を行えば、図17Cに示すサブ画像Sb(あるいは図18Cに示すサブ画像Sc)と同様のサブ画像が得られる。このように、光源に対するモジュール10の姿勢を変化させながら、順次、撮像を実行することにより、図15A〜図20を参照して説明した原理を適用して高解像度画像を得ることが可能である。
<画像取得装置>
図25は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図25に示す画像取得装置100aは、照明システム30を有する。図25に例示する構成において、照明システム30は、照明光を生成する光源31、モジュール10が着脱自在に装填されるように構成されたステージ32、および、ステージ32の姿勢を変更可能に構成されたステージ駆動機構33を含んでいる。図25は、ステージ32にモジュール10が装填された状態を模式的に示している。ただし、モジュール10における封入剤6および透明プレート8の図示は省略している。モジュール10は、画像取得装置100aに必須の構成要素ではない。
モジュール10は、ステージ32に接続された状態において、被写体2を透過した照明光が撮像素子7に入射するような配置を有する。照明システム30は、例えばステージ32の姿勢を変化させることにより、被写体2を基準とする照射方向を変化させる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。被写体2を基準とする複数の異なる照射方向から、順次、光源31によって生成された照明光で被写体2を照射する。照明システム30の構成の詳細および動作の例は後述する。照射方向を変えて被写体2を照射することにより、複数の異なる照射方向に応じて異なる複数の画像(サブ画像)が撮像素子7によって取得される。得られた複数の画像を用いて、高解像度画像の形成が可能である。
図25に示す画像取得装置100aは、照射方向決定部40aを有する。この照射方向決定部40aは、撮像素子7による複数のサブ画像の取得時における複数の異なる照射方向を決定する。本開示の実施形態では、サブ画像の取得は、照射方向決定部によって決定された複数の異なる照射方向のもとで実行される。言い換えれば、本開示の実施形態におけるサブ画像は、照射方向決定部によって決定された複数の異なる照射方向に対応した複数の異なる画像である。照射方向決定部40aの構成および動作の具体例は、後述する。
次に、図26A〜図27Bを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。
図26Aおよび図26Bは、画像取得装置100aの例示的な外観を示す。図26Aに例示する構成において、画像取得装置100aは、光源31およびステージ32を含む本体110と、本体110に開閉可能に連結された蓋部120とを有している。蓋部120を閉じることにより、画像取得装置100aの内部に暗室を形成することができる(図26B参照)。
図示する例では、ステージ32上にモジュール10を保持するためのソケット130が接続されている。ソケット130は、ステージ32に固定されていてもよいし、ステージ32に着脱可能に構成されていてもよい。ここでは、ソケット130がステージ32に着脱可能に構成されている構成を例示する。ソケット130は、例えば、モジュール10が着脱可能に構成された下部基材132と、開口部Apが形成された上部基材134とを含む。図26Aに例示する構成では、ソケット130は、下部基材132と上部基材134との間にモジュール10を挟むことにより、モジュール10を保持する。
下部基材132は、モジュール10の撮像素子7との電気的接続のための電気的接点を有する電気接続部を有し得る。被写体の画像の取得時、撮像素子7の撮像面が光源31に対向するようにしてモジュール10が下部基材132に載せられる。このとき、電気接続部の電気的接点と撮像素子7の裏面電極5B(図22Aおよび図22B参照)とが接触することにより、モジュール10の撮像素子7と下部基材132の電気接続部とが電気的に接続される。
図26Cは、画像取得装置100aのステージ32に対するソケット130の装填方法の一例を示す。図26Cに例示する構成において、ソケット130は、底面から突出する電極136を有している。この電極136は、下部基材132の電気接続部の一部であり得る。また、図26Cに示す例では、画像取得装置100aのステージ32は、ジャック36が設けられた取付部34を有している。図26Cに示すように、例えばモジュール10を保持した状態のソケット130は、ジャック36にソケット130の電極136が挿入されるようにしてステージ32に装填される。これにより、ソケット130に保持されたモジュール10中の撮像素子7と、画像取得装置100aとの間の電気的接続が確立される。ステージ32は、モジュール10を保持するソケット130が装填された状態においてイメージセンサ4の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置100aは、ソケット130が有する電気接続部を仲立ちとして被写体2の画像を示す情報(画像信号あるいは画像データ)を取得する。
なお、複数のモジュール10を用いて複数の被写体の撮像を行う場合、モジュール10と同数のソケット130を用意し、モジュール10を保持した状態のソケット130を換装することによって撮像の対象を変更してもよい。あるいは、ステージ32に1つのソケット130を取り付けた状態のままモジュール10を換装することにより、撮像の対象を変更してもよい。
図26Cに示すように、ソケット130をステージ32に装填することにより、ソケット130の底面と、取付部34の上面とを密着させ得る。これにより、ステージ32に対するソケット130の配置が固定される。したがって、ステージ32と、ソケット130に保持されたモジュール10との配置をステージ32の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ32にソケット130が装填された状態において、モジュール10の透明プレート8の主面とステージ32とは、ほぼ平行である。
図27Aは、照射方向を変更する方法の一例を示す。図示するように、ソケット130に保持されたモジュール10に、光源31から出射された照明光CLが照射される。照明光CLは、ソケット130に設けられた開口部Apを介して、モジュール10の被写体に入射する。被写体を透過した光が、モジュール10の撮像素子7の撮像面に入射する。
光源31から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源31から出射される光はコリメートされた光でなくてもよい。
光源31は、例えばLEDチップを含む。光源31は、各々が異なる波長帯域にピークを有する複数のLEDチップを含んでいてもよい。例えば、光源31が、青色の光を出射するLEDチップ、赤色の光を出射するLEDチップ、および緑色の光を出射するLEDチップを含んでいてもよい。複数の発光素子を近接(例えば100μm程度)して配置した場合には、これらを点光源とみなし得る。
互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセット、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高解像度画像を形成することができる。例えば病理診断の場面では、カラーの高解像度画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源31として白色LEDチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ4としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ4の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。
光源31は、LEDに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源31から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源31が有する発光素子の数および配置も任意に設定可能である。
図25および図27Aに示すように、画像取得装置100aは、ステージ駆動機構33を有する。ステージ駆動機構33は、ゴニオ機構、回転機構などを含み、本体110に対するステージ32の傾斜および/またはステージ32の中心を通る軸に関する回転角を変化させる。ステージ駆動機構33が、ステージ32を基準面(典型的には水平面)内において平行移動させることが可能なスライド機構を含んでいてもよい。
ステージ駆動機構33を動作させることにより、ステージ32の姿勢を変化させることができる。ここでは、モジュール10を保持した状態のソケット130がステージ32に取り付けられているので、ステージ32の姿勢を変化させることにより、モジュール10の姿勢を変化させることができる。例えば、ステージ32が基準面に対して傾斜していない時における照明光の入射方向がイメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ32の傾斜と基準面に対するモジュール10の傾斜(透明プレート8の傾斜といってもよい。)との間の関係(例えば、平行)が、ステージ32の姿勢の変化の前後において一定に保たれている。そのため、図27Bに示すように、基準面に対してステージ32を角度θだけ傾斜させると、被写体に入射する光線の方向も角度θだけ傾斜する。なお、図27B中、破線Nは、イメージセンサの撮像面の法線を示している。
このように、ステージ32とともにモジュール10の姿勢を変化させることにより、被写体2を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体2を基準とする複数の異なる照射方向に応じた複数の画像をモジュール10の撮像素子7によって取得することができる。被写体2を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Nと被写体2への入射光線とがなす角(図27Bに示す天頂角θ)、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角(方位角)の組によって表すことができる。
なお、光源31を画像取得装置100a内において移動させたり、互いに異なる場所に配置された複数の光源を順次に点灯させたりすることによっても、複数の異なる照射方向から被写体2を照射することが可能である。例えば、光源31と被写体2とを結ぶ方向に沿って光源31を移動させることにより、照射方向を変更してもよい。ステージ32の姿勢の変化と光源31の移動とを組み合わせることによって照射方向を変化させてもよい。
<モジュールに用いられるイメージセンサ>
なお、本開示の実施形態において、イメージセンサ4は、CCDイメージセンサに限定されず、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ、また
は、その他のイメージセンサ(一例として、後述する光電変換膜積層型イメージセンサ)であってもよい。CCDイメージセンサおよびCMOSイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。
図28は、CCDイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。図28に示すように、CCDイメージセンサは、概略的には、基板80と、基板80上の絶縁層82と、絶縁層82内に配置された配線84とを有している。基板80には、複数のフォトダイオード88が形成されている。配線84上には、遮光層(図28において不図示)が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型CMOSイメージセンサにおけるフォトダイオード近傍の断面構造は、CCDイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型CMOSイメージセンサの断面構造の図示および説明を省略する。
図28に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード88の直上にある領域R1を透過した照射光は、フォトダイオード88に入射する。一方、被写体のうち、配線84上の遮光層の直上にある領域R2を透過した照射光は、イメージセンサの遮光領域(遮光膜が形成された領域)に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード88の直上にある領域R1を示す画像が得られる。
遮光膜の直上にある領域を示す画像を取得するためには、領域R2を透過した光がフォトダイオード88に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域R2を透過した光のうちの一部が、配線84によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード88には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高解像度画像の形成は可能である。
図29Aおよび図29Bは、裏面照射型CMOSイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。図29Aに示すように、裏面照射型CMOSイメージセンサでは、斜め入射の場合であっても透過光が配線84によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光(図29Aおよび後述する図29B中、太い矢印BAで模式的に示す光)が基板80に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図29Bに示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層90を形成することにより低減することが可能である。
図30は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ(以下、「光電変換膜積層型イメージセンサ」と呼ぶ。)の断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。
図30に示すように、光電変換膜積層型イメージセンサは、概略的には、基板80と、複数の画素電極が設けられた絶縁層82と、絶縁層82上の光電変換膜94と、光電変換膜94上の透明電極96とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜94が基板80(例えば半導体基板)上に形成されている。光電変換膜94および透明電極96は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜94を保護する保護膜の図示を省略している。
光電変換膜積層型イメージセンサでは、光電変換膜94における入射光の光電変換によって発生した電荷(電子または正孔)が画素電極92によって集められる。これにより、光電変換膜94に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、1つの画素電極92を含む単位領域が1つの画素に相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型CMOSイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。
図15A〜図20を参照して説明したように、高解像度画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜94が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜94において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極92に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極92と透明電極96とが重なる領域(図30において網掛けされた領域)において発生した電荷を画素電極92に選択的に引き込むことが有益である。
図30に例示する構成では、画素電極92のそれぞれと対応して、画素内にダミー電極98が設けられている。被写体の像の取得時、画素電極92とダミー電極98との間には、適切な電位差が与えられる。これにより、画素電極92と透明電極96とが重なる領域以外の領域で発生した電荷をダミー電極98に引き込み、画素電極92と透明電極96とが重なる領域で発生した電荷を選択的に画素電極92に引き込むことができる。なお、透明電極96または光電変換膜94のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積S1に対する画素電極92の面積S3の比率(S3/S1)が、「開口率」に相当するということができる。
既に説明したように、Nを2以上の整数とするとき、イメージセンサ4の開口率が近似的に1/Nに等しければ、最大N倍の高解像度化が可能になる。言い換えれば、開口率が小さい方が高解像度化には有利である。光電変換膜積層型イメージセンサでは、画素電極92の面積S3を調整することによって、開口率に相当する比率(S3/S1)を調整することが可能である。この比率(S3/S1)は、例えば10%〜50%の範囲に設定される。比率(S3/S1)が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。
なお、図28および図29Bからわかるように、CCDイメージセンサおよび表面照射型CMOSイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、CCDイメージセンサでは、その表面に段差が存在する。また、裏面照射型CMOSイメージセンサでは、高解像度画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。
これに対し、光電変換膜積層型イメージセンサの撮像面は、図30からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。
以上、一つまたは複数の態様に係る画像出力装置について、いくつかの実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラム(すなわち命令)を読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像出力装置などを実現するソフトウェアは、図3、図4、図7、図9または図11のフローチャートにおける各ステップをコンピュータに実行させるプログラムである。なお、プログラム実行部は、1つのプロセッサから構成されていても、複数のプロセッサから構成されていてもよい。
また、本開示において、ユニット、デバイスの全部又は一部、又は図1、図5、図6、図8、図10、および図12〜図14に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)
を含む一つ又は一つ以上の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration) と呼ばれるかもしれない。 LSIの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセ
ットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のROM、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置(processor)によって実行された場合に、ソフトウエ
アは、ソフトウエア内の特定の機能を、処理装置(processor)と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えば
インターフェース、を備えていても良い。
本開示は、高解像度画像の取り扱いの負担を軽減することができるという効果を奏し、例えば、病理検体の高解像度画像を取り扱う画像出力装置などに適用することができる。
100S,100Sa,200S,200Sa,200Sb 画像処理システム
1001,1001a,2001,2001a 画像出力装置
1100,1100a,1100b 画像送信装置
1101 画像取得部
1102 高解像度画像取得部
1103 第二出力部
1200,1200a,1200b 画像受信装置
1201 拡大受付部
1202 判定部
1203 表示用出力部
1204,1204a 送信部
1205 第一出力部
1206 評価値蓄積部
1500 デジタル顕微鏡
1501 表示装置
1502,1503 記録媒体

Claims (15)

  1. 少なくとも1つのプロセッサと、
    実行可能な命令を保持する非一時的な記録媒体とを備え、
    前記命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を外部装置に送信し、前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記外部装置に送信しない、
    ことを前記少なくとも1つのプロセッサに実行させる
    画像出力装置。
  2. 前記命令は、さらに、
    前記評価値が前記所定の値よりも高くないと判定される場合には、前記第一解像度画像を前記外部装置に送信する、
    ことを前記少なくとも1つのプロセッサに実行させる
    請求項1に記載の画像出力装置。
  3. 前記命令は、さらに、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を記録媒体に出力して保存し、前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記記録媒体に出力しない、
    ことを前記少なくとも1つのプロセッサに実行させる
    請求項1または2に記載の画像出力装置。
  4. 前記命令は、さらに、
    受け付けられた1つまたは複数の前記拡大率のうち、最大の拡大率を前記評価値として導出する、
    ことを前記少なくとも1つのプロセッサに実行させる
    請求項1〜3の何れか1項に記載の画像出力装置。
  5. 前記命令は、さらに、
    前記拡大率の受け付けにおいて、閾値よりも高い拡大率である高拡大率が受け付けられた回数が多いほど、または、前記被写体の画像が前記高拡大率で前記表示装置に表示されている時間が長いほど、高い前記評価値を導出する、
    ことを前記少なくとも1つのプロセッサに実行させる
    請求項1〜3の何れか1項に記載の画像出力装置。
  6. 前記命令は、さらに、
    閾値よりも高い前記拡大率で前記表示装置に表示される前記被写体の面積が広いほど高い前記評価値を算出する、
    ことを前記少なくとも1つのプロセッサに実行させる
    請求項1〜3の何れか1項に記載の画像出力装置。
  7. 画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、
    前記画像送信装置は、
    少なくとも1つの送信用プロセッサと、
    実行可能な送信用命令を保持する非一時的な送信用記録媒体とを備え、
    前記送信用命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得して前記画像受信装置に送信し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    前記画像受信装置から通知される評価値関連情報によって示される評価値が、所定の値よりも高いか否かを判定し、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を前記画像受信装置に送信する、
    ことを前記少なくとも1つの送信用プロセッサに実行させ、
    前記画像受信装置は、
    少なくとも1つの受信用プロセッサと、
    実行可能な受信用命令を保持する非一時的な受信用記録媒体とを備え、
    前記受信用命令は、
    前記画像送信装置から前記第一解像度画像を取得して表示装置に表示し、
    前記表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づき、前記表示装置に表示されている前記第一解像度画像を拡大し、
    受け付けられた前記拡大率に基づく前記評価値関連情報を前記画像送信装置に送信する、
    ことを前記少なくとも1つの受信用プロセッサに実行させる
    画像出力装置。
  8. 画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、
    前記画像送信装置は、
    少なくとも1つの送信用プロセッサと、
    実行可能な送信用命令を保持する非一時的な送信用記録媒体とを備え、
    前記送信用命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得して前記画像受信装置に送信し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得する、
    ことを前記少なくとも1つの送信用プロセッサに実行させ、
    前記画像受信装置は、
    少なくとも1つの受信用プロセッサと、
    実行可能な受信用命令を保持する非一時的な受信用記録媒体とを備え、
    前記受信用命令は、
    前記画像送信装置から前記第一解像度画像を取得して表示装置に表示し、
    表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づき、前記表示装置に表示されている前記第一解像度画像を拡大し、
    受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、判定結果を前記画像送信装置に通知する、
    ことを前記少なくとも1つの受信用プロセッサに実行させ、
    前記画像送信装置の前記送信用命令は、さらに、
    前記画像受信装置から通知される前記判定結果が、前記評価値が前記所定の値よりも高いことを示す場合には、前記第二解像度画像を前記画像受信装置に送信する、
    ことを前記少なくとも1つの送信用プロセッサに実行させる
    画像出力装置。
  9. 前記送信用命令は、さらに、
    前記評価値の判定において、前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を記録媒体に出力して保存する、
    ことを前記少なくとも1つの送信用プロセッサに実行させる
    請求項7または8に記載の画像出力装置。
  10. デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を外部装置に送信し、前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記外部装置に送信しない
    画像出力方法。
  11. プログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体であって、
    前記プログラムは、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を外部装置に送信し、前記評価値が前記所定の値よりも高くないと判定される場合には、前記第二解像度画像を前記外部装置に送信しない
    ことを、コンピュータに実行させる記録媒体。
  12. 画像送信装置と通信回線を介して接続される画像受信装置であって、
    前記画像送信装置は、
    少なくとも1つの送信用プロセッサと、
    実行可能な送信用命令を保持する非一時的な送信用記録媒体とを備え、
    前記送信用命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得して前記画像受信装置に送信し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    画像受信装置から通知される評価値関連情報によって示される評価値が、所定の値よりも高いか否かを判定し、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を前記画像受信装置に送信する、
    ことを前記少なくとも1つの送信用プロセッサに実行させ、
    前記画像受信装置は、
    少なくとも1つの受信用プロセッサと、
    実行可能な受信用命令を保持する非一時的な受信用記録媒体とを備え、
    前記受信用命令は、
    前記画像送信装置から前記第一解像度画像を取得して表示装置に表示させ、
    前記表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づき、前記表示装置に表示されている前記第一解像度画像を拡大し、
    受け付けられた前記拡大率に基づく前記評価値関連情報を前記画像送信装置に送信する、
    ことを前記少なくとも1つの受信用プロセッサに実行させる
    画像受信装置。
  13. 画像送信装置と通信回線を介して接続される画像受信装置であって、
    前記画像送信装置は、
    少なくとも1つの送信用プロセッサと、
    実行可能な送信用命令を保持する非一時的な送信用記録媒体とを備え、
    前記送信用命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得して前記画像受信装置に送信し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得する、
    ことを前記少なくとも1つの送信用プロセッサに実行させ、
    前記画像受信装置は、
    少なくとも1つの受信用プロセッサと、
    実行可能な受信用命令を保持する非一時的な受信用記録媒体とを備え、
    前記受信用命令は、
    前記画像送信装置から前記第一解像度画像を取得して表示装置に表示させ、
    表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づき、前記表示装置に表示されている前記第一解像度画像を拡大し、
    受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、判定結果を前記画像送信装置に通知する、
    ことを前記少なくとも1つの受信用プロセッサに実行させ、
    前記画像送信装置の前記送信用命令は、さらに、
    前記画像受信装置から通知される前記判定結果が、前記評価値が前記所定の値よりも高いことを示す場合には、前記第二解像度画像を前記画像受信装置に送信する、
    ことを前記少なくとも1つの送信用プロセッサに実行させる。
    画像受信装置。
  14. 画像受信装置と、通信回線を介して接続される画像送信装置であって、
    前記画像受信装置は、
    少なくとも1つの受信用プロセッサと、
    実行可能な受信用命令を保持する非一時的な受信用記録媒体とを備え、
    前記受信用命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を、前記画像送信装置から取得して表示装置に表示させ、
    前記表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づき、前記表示装置に表示されている前記第一解像度画像を拡大し、
    受け付けられた前記拡大率に基づく評価値関連情報を前記画像送信装置に送信する、
    ことを前記少なくとも1つの受信用プロセッサに実行させ、
    前記画像送信装置は、
    少なくとも1つの送信用プロセッサと、
    実行可能な送信用命令を保持する非一時的な送信用記録媒体とを備え、
    前記送信用命令は、
    前記第一解像度画像を取得して前記画像受信装置に送信し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    前記画像受信装置から通知される前記評価値関連情報によって示される評価値が、所定の値よりも高いか否かを判定し、
    前記評価値が前記所定の値よりも高いと判定される場合には、前記第二解像度画像を前記画像受信装置に送信する、
    ことを前記少なくとも1つの送信用プロセッサに実行させる
    画像送信装置。
  15. 画像受信装置と、通信回線を介して接続される画像送信装置であって、
    前記画像受信装置は、
    少なくとも1つの受信用プロセッサと、
    実行可能な受信用命令を保持する非一時的な受信用記録媒体とを備え、
    前記受信用命令は、
    デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を、前記画像送信装置から取得して表示装置に表示させ、
    前記表示装置に表示される前記第一解像度画像に対する拡大率を受け付け、
    受け付けられた前記拡大率に基づき、前記表示装置に表示されている前記第一解像度画像を拡大し、
    受け付けられた前記拡大率に基づく評価値が、所定の値よりも高いか否かを判定し、判定結果を前記画像送信装置に通知する、
    ことを前記少なくとも1つの受信用プロセッサに実行させ、
    前記画像送信装置は、
    少なくとも1つの送信用プロセッサと、
    実行可能な送信用命令を保持する非一時的な送信用記録媒体とを備え、
    前記送信用命令は、
    前記第一解像度画像を取得して前記画像受信装置に送信し、
    前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を取得し、
    前記画像受信装置から通知される前記判定結果が、前記評価値が前記所定の値よりも高いことを示す場合には、前記第二解像度画像を前記画像受信装置に送信する、
    ことを前記少なくとも1つの送信用プロセッサに実行させる
    画像送信装置。
JP2016049515A 2015-08-28 2016-03-14 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体 Expired - Fee Related JP6719104B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/218,204 US10048485B2 (en) 2015-08-28 2016-07-25 Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium
CN201610644318.2A CN106483338A (zh) 2015-08-28 2016-08-09 图像输出装置、图像发送装置、图像接收装置、图像输出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015169822 2015-08-28
JP2015169822 2015-08-28

Publications (2)

Publication Number Publication Date
JP2017046340A true JP2017046340A (ja) 2017-03-02
JP6719104B2 JP6719104B2 (ja) 2020-07-08

Family

ID=58212293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016049515A Expired - Fee Related JP6719104B2 (ja) 2015-08-28 2016-03-14 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体

Country Status (2)

Country Link
JP (1) JP6719104B2 (ja)
CN (1) CN106483338A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170369A1 (ja) * 2019-02-20 2020-08-27 オリンパス株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN114268742A (zh) * 2022-03-01 2022-04-01 北京瞭望神州科技有限公司 一种天眼芯片处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918764A (ja) * 1995-06-28 1997-01-17 Canon Inc 監視システムおよびそれに用いる画像処理装置
JP2005117640A (ja) * 2003-09-16 2005-04-28 Sysmex Corp 標本画像の表示方法およびそれを用いた検索方法、サーベイランス方法、標本画像の表示システム、標本画像表示用プログラムおよびそのプログラムを記録した記録媒体
US20060159325A1 (en) * 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
JP2007189503A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 端末装置及びプログラム
JP2013105209A (ja) * 2011-11-10 2013-05-30 Olympus Corp 画像配信サーバ

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62137037A (ja) * 1985-12-11 1987-06-19 株式会社東芝 X線撮影装置
US4777525A (en) * 1985-12-23 1988-10-11 Preston Jr Kendall Apparatus and method for a multi-resolution electro-optical imaging, display and storage/retrieval system
DE69131394T2 (de) * 1990-10-30 2000-01-20 Omniplanar Inc Maschinenlesbares Zeichen mit Mehrfachauflösung
JPH0730899A (ja) * 1993-07-12 1995-01-31 Kyocera Corp 階層的動きベクトル検出方式
JPH1028222A (ja) * 1996-07-11 1998-01-27 Canon Inc 画像処理装置及び方法
JP3877474B2 (ja) * 1999-08-03 2007-02-07 三洋電機株式会社 電子カメラ
JP2001128062A (ja) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
JP3882585B2 (ja) * 2001-11-07 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
JP3882651B2 (ja) * 2002-03-20 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
FR2861525B1 (fr) * 2003-10-24 2006-04-28 Winlight System Finance Procede et dispositif de capture d'une image grand champ et d'une region d'interet de celle-ci
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
US8373652B2 (en) * 2005-04-06 2013-02-12 Kabushiki Kaisha Toshiba Image display apparatus and image display method
AU2006332488A1 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
JP4874904B2 (ja) * 2007-09-13 2012-02-15 株式会社東芝 画像処理装置及びその方法
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP4506854B2 (ja) * 2008-03-04 2010-07-21 富士ゼロックス株式会社 画像処理装置および画像形成装置
JP5028328B2 (ja) * 2008-05-13 2012-09-19 キヤノン株式会社 画像処理装置及び画像処理方法
WO2009154438A1 (en) * 2008-06-16 2009-12-23 Optelec Development B.V. Method and apparatus for automatically magnifying a text based image of an object
CN101320423A (zh) * 2008-06-26 2008-12-10 复旦大学 基于高频超分辨率的低分辨率步态识别方法
CN102150418B (zh) * 2008-12-22 2014-10-15 松下电器产业株式会社 图像放大装置、方法以及集成电路
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011023886A (ja) * 2009-07-14 2011-02-03 Panasonic Corp テレビ会議装置及び映像表示処理方法
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JP5660273B2 (ja) * 2010-01-04 2015-01-28 日本電気株式会社 画像診断方法、画像診断装置および画像診断プログラム
JP2011237997A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012175270A (ja) * 2011-02-18 2012-09-10 Brother Ind Ltd 制御装置
JP5903835B2 (ja) * 2011-04-28 2016-04-13 株式会社リコー 伝送端末、画像表示制御方法、画像表示制御プログラム、記録媒体、および伝送システム
JP5497874B2 (ja) * 2011-12-22 2014-05-21 富士フイルム株式会社 放射線画像検出器、放射線画像撮像装置、及び放射線画像撮像システム
US9304089B2 (en) * 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
KR101565926B1 (ko) * 2013-10-18 2015-11-04 주식회사 자원메디칼 저시력자를 위한 영상보정방법 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918764A (ja) * 1995-06-28 1997-01-17 Canon Inc 監視システムおよびそれに用いる画像処理装置
JP2005117640A (ja) * 2003-09-16 2005-04-28 Sysmex Corp 標本画像の表示方法およびそれを用いた検索方法、サーベイランス方法、標本画像の表示システム、標本画像表示用プログラムおよびそのプログラムを記録した記録媒体
US20060159325A1 (en) * 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
JP2007189503A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 端末装置及びプログラム
JP2013105209A (ja) * 2011-11-10 2013-05-30 Olympus Corp 画像配信サーバ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170369A1 (ja) * 2019-02-20 2020-08-27 オリンパス株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
JPWO2020170369A1 (ja) * 2019-02-20 2021-12-16 オリンパス株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP7219804B2 (ja) 2019-02-20 2023-02-08 株式会社エビデント 情報処理装置、情報処理システム、情報処理方法およびプログラム
US11972619B2 (en) 2019-02-20 2024-04-30 Evident Corporation Information processing device, information processing system, information processing method and computer-readable recording medium
CN114268742A (zh) * 2022-03-01 2022-04-01 北京瞭望神州科技有限公司 一种天眼芯片处理装置

Also Published As

Publication number Publication date
JP6719104B2 (ja) 2020-07-08
CN106483338A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
JP6307770B2 (ja) 撮像素子
CN103168272B (zh) 进深推定摄像装置以及摄像元件
JP6631886B2 (ja) 画像形成システム、画像形成方法、撮像素子、およびプログラム
KR20200104375A (ko) 광 결핍 환경에서의 도구 추적을 갖는 초분광 이미징
TW201126624A (en) System and method for inspecting a wafer (2)
JP2004049887A (ja) X線撮影装置およびx線撮影方法、並びに光電変換素子
US9901318B2 (en) X-ray detection panel, X-ray imaging apparatus, and X-ray image generation method
JP6739061B2 (ja) 画像生成装置、画像生成方法及びプログラム
KR20150142854A (ko) 엑스선 영상 장치 및 그 제어 방법
US20150309301A1 (en) Image forming apparatus, image forming method, image forming system, and recording medium
TW201538963A (zh) 選擇性檢測組件側壁的裝置和方法
JP2014098575A (ja) 画像取得装置および画像取得方法
JP2016052116A (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP6719104B2 (ja) 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体
US10048485B2 (en) Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium
JP6004245B1 (ja) 画像取得装置、画像形成システムおよび画像形成方法
JP2017045431A (ja) 画像出力装置、画像送信装置、画像受信装置、画像出力方法およびプログラム
US9778449B2 (en) Preparation element set, preparation, manufacturing method of preparation, imaging apparatus, and imaging method
US9774771B2 (en) Preparation, transparent plate, method for producing preparation, slide glass, imaging apparatus, imaging method, preparation producing apparatus, and preparation component set
JP2017045430A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2021044694A (ja) 蛍光撮影装置
US20230384243A1 (en) System and method for utilization of photon counting for colorization in a cabinet x-ray system
WO2022209349A1 (ja) 観察装置用照明装置、観察装置及び観察システム
US20240085284A1 (en) System and method for a specimen container for use in cabinet x-ray systems
JP2019078866A (ja) 顕微鏡システム、観察方法、及び観察プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200602

R151 Written notification of patent or utility model registration

Ref document number: 6719104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees