JP2012038209A - Image display device, additional information management server, image display system, image display method, and program - Google Patents

Image display device, additional information management server, image display system, image display method, and program Download PDF

Info

Publication number
JP2012038209A
JP2012038209A JP2010179693A JP2010179693A JP2012038209A JP 2012038209 A JP2012038209 A JP 2012038209A JP 2010179693 A JP2010179693 A JP 2010179693A JP 2010179693 A JP2010179693 A JP 2010179693A JP 2012038209 A JP2012038209 A JP 2012038209A
Authority
JP
Japan
Prior art keywords
additional information
image
microscope
image display
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010179693A
Other languages
Japanese (ja)
Inventor
Takashi Yamamoto
隆司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010179693A priority Critical patent/JP2012038209A/en
Publication of JP2012038209A publication Critical patent/JP2012038209A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Microscoopes, Condenser (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a novel and improved image display device, an additional information management server, an image display system, an image display method, and a program, capable of providing additional information by using a portion which does not include a sample in a display area of a microscopic image.SOLUTION: An image display device 40 comprises: a microscopic image obtaining unit 403 for obtaining a microscopic image including a magnified image of a sample imaged by a microscope 10; a display control unit 405 in which the microscopic image is displayed and which controls display of a microscopic image display area comprising a first area which includes a portion corresponding to the sample and a second area which does not include the portion corresponding to the sample; and an additional information obtaining unit 407 for obtaining additional information which is displayed in the second area and which is additionally provided for a user.

Description

本発明は、画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムに関する。   The present invention relates to an image display device, an additional information management server, an image display system, an image display method, and a program.

細胞組織スライド等のサンプルを観察する顕微鏡を用いて、サンプルの顕微鏡による観察像をデジタル画像として保存し、保存した顕微鏡画像をインターネットやイントラネット上に設けられた他の装置で観察する技術が提案されている（例えば、以下の特許文献１を参照。）。このような技術を用いることで、ネットワークを用いて遠隔地の医師が病理診断を行う、いわゆるテレパソロジー（ｔｅｌｅｐａｔｈｏｌｏｇｙ）の発展を促すことが可能となる。   Using a microscope for observing a sample such as a cell tissue slide, a technique has been proposed in which a microscope observation image of the sample is stored as a digital image, and the stored microscope image is observed with another device provided on the Internet or an intranet. (For example, refer to Patent Document 1 below.) By using such a technique, it is possible to promote the development of so-called telepathology in which a remote doctor performs pathological diagnosis using a network.

特開２００３−２２２８０１号公報JP 2003-222801 A

ここで、顕微鏡画像の観察者は、顕微鏡画像を観察する端末において、マウスなどの入力装置を操作し、操作に応じた表示領域の顕微鏡画像を観察する。このとき、観察者は、顕微鏡画像のうちサンプル部分を観察することを望んでいる。ところが、例えば表示倍率が低い場合、又は、顕微鏡画像を表示している領域がサンプルの端部に近い場合には、顕微鏡画像の表示領域中に観察対象であるサンプルを含まない領域が含まれてしまう場合があり、このサンプルを含まない領域は利用されず無駄になっているという問題があった。   Here, the observer of the microscope image operates an input device such as a mouse at a terminal that observes the microscope image, and observes the microscope image of the display area corresponding to the operation. At this time, the observer wants to observe the sample portion of the microscope image. However, for example, when the display magnification is low, or when the region displaying the microscope image is close to the end of the sample, the region not including the sample to be observed is included in the display region of the microscope image. There is a problem that an area not including this sample is not used and is wasted.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide additional information using a portion that does not include a sample in a display region of a microscope image. Another object of the present invention is to provide a new and improved image display device, additional information management server, image display system, image display method, and program.

上記課題を解決するために、本発明のある観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部とを有する、画像表示装置が提供される。   In order to solve the above problems, according to one aspect of the present invention, a microscope image acquisition unit that acquires a microscope image including an enlarged image of a sample imaged by a microscope, and the microscope image is displayed and corresponds to the sample A display control unit that controls display of a microscope image display region that includes a first region that includes a portion corresponding to the sample and a second region that does not include the portion corresponding to the sample, and is displayed in the second region and is displayed by the user There is provided an image display device having an additional information acquisition unit for acquiring additional information additionally provided.

顕微鏡で観察されるサンプルは、通常サンプル毎に異なる形状を有している。このため、顕微鏡画像を表示する領域内において、サンプルが存在しない第２の領域が存在する。上記構成によれば、サンプルに対応する部分を含まない第２の領域を有効に利用して、ユーザに顕微鏡画像に付随する付加的な情報を提供することができる。   Samples observed with a microscope usually have different shapes for each sample. For this reason, there exists a 2nd area | region where a sample does not exist in the area | region which displays a microscope image. According to the above configuration, it is possible to provide the user with additional information accompanying the microscope image by effectively using the second region that does not include the portion corresponding to the sample.

上記付加情報取得部は、上記サンプルを特徴づけるサンプル特徴情報、及び、上記ユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて選択された上記付加情報を取得してもよい。   The additional information acquisition unit may acquire the additional information selected based on at least one of sample feature information that characterizes the sample and user feature information that characterizes the user.

上記付加情報取得部は、上記顕微鏡画像表示領域の表示状態に関する表示状態情報に基づいて選択された上記付加情報を取得してもよい。   The additional information acquisition unit may acquire the additional information selected based on display state information related to a display state of the microscope image display area.

上記表示状態情報は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像の色彩の特徴を示す色彩情報を含んでもよい。   The display state information may include color information indicating the color characteristics of the microscope image displayed in the microscope image display area.

上記表示状態情報は、上記第２の領域の形状を示す情報を含んでもよい。   The display state information may include information indicating the shape of the second region.

上記表示制御部は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像から上記第２の領域を判定する領域判定部をさらに有し、上記領域判定部は、上記顕微鏡画像表示領域のうち表示する上記顕微鏡画像が存在しない領域を上記第２の領域と判定してもよい。   The display control unit further includes a region determination unit that determines the second region from the microscope image displayed in the microscope image display region, and the region determination unit displays the microscope image display region. The area where the microscope image does not exist may be determined as the second area.

上記領域判定部は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像のうち上記サンプル部分に該当しない領域をさらに上記第２の領域と判定してもよい。   The area determination unit may further determine an area that does not correspond to the sample portion in the microscope image displayed in the microscope image display area as the second area.

上記表示制御部は、上記付加情報取得部が取得する付加情報から上記第２の領域に表示する付加情報を選択する付加情報選択部をさらに有してもよい。   The display control unit may further include an additional information selection unit that selects additional information to be displayed in the second area from the additional information acquired by the additional information acquisition unit.

また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像に付随して、ユーザに付加的に提供される付加情報を記憶する記憶部と、上記顕微鏡画像を表示する画像表示装置からの要求に応じて、上記記憶部の中から上記画像表示装置に提供する付加情報を抽出する抽出部とを有する、付加情報管理サーバが提供される。   In order to solve the above problem, according to another aspect of the present invention, additional information provided additionally to a user is stored along with a microscope image including an enlarged image of a sample imaged by a microscope. And an additional information management server having an extraction unit for extracting additional information to be provided to the image display device from the storage unit in response to a request from the image display device for displaying the microscope image. Provided.

また、上記抽出部は、上記画像表示装置から送信される、上記サンプルを特徴づけるサンプル特徴情報、上記ユーザを特徴づけるユーザ特徴情報、上記顕微鏡画像表示領域の表示状態に関する表示状態情報の少なくともいずれかに基づいて上記付加情報を選択してもよい。   Further, the extraction unit is at least one of sample feature information that characterizes the sample, user feature information that characterizes the user, and display state information related to a display state of the microscope image display area, which is transmitted from the image display device. The additional information may be selected based on the above.

また、上記付加情報の提供に関する履歴情報を生成する履歴情報生成部をさらに有するものであってもよい。   Moreover, you may further have a history information generation part which produces | generates the history information regarding provision of the said additional information.

また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、を有する画像表示装置と、上記付加情報を記憶部と、上記画像表示装置からの要求に応じて、上記記憶部の中から上記画像表示装置に提供する付加情報を抽出する抽出部と、を有する付加情報管理サーバと、を有する画像表示システムが提供される。   In order to solve the above problem, according to another aspect of the present invention, a microscope image acquisition unit that acquires a microscope image including an enlarged image of a sample imaged by a microscope, the microscope image is displayed, and A display control unit that controls display of a microscope image display region that includes a first region that includes a portion corresponding to the sample and a second region that does not include the portion corresponding to the sample, and a display in the second region An additional information acquisition unit that acquires additional information provided additionally to the user, the additional information storage unit, and the storage unit in response to a request from the image display device An image display system is provided that includes an additional information management server that includes an extraction unit that extracts additional information to be provided to the image display device.

また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を表示する画像表示装置が、上記顕微鏡画像を取得するステップと、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得するステップと、上記付加情報を上記第２の領域に含む上記顕微鏡画像表示領域の表示を制御するステップと、を含む、画像表示方法が提供される。   In order to solve the above-mentioned problem, according to another aspect of the present invention, an image display device that displays a microscope image including an enlarged image of a sample imaged by a microscope acquires the microscope image; The microscope image is displayed and displayed in the second area of the microscope image display area including a first area including a portion corresponding to the sample and a second area not including the portion corresponding to the sample. There is provided an image display method comprising: acquiring additional information additionally provided to a user; and controlling display of the microscope image display area including the additional information in the second area. The

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部とを有する、画像表示装置として機能させるためのプログラムが提供される。   In order to solve the above problem, according to another aspect of the present invention, a computer displays a microscope image acquisition unit that acquires a microscope image including an enlarged image of a sample imaged by a microscope, and the microscope image is displayed. A display control unit that controls display of a microscopic image display region that includes a first region that includes a portion corresponding to the sample and a second region that does not include the portion corresponding to the sample; and the second A program for functioning as an image display device is provided, which includes an additional information acquisition unit that acquires additional information that is displayed in the region and is additionally provided to the user.

以上説明したように本発明によれば、顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供することができる。   As described above, according to the present invention, a new and improved image display device, additional information management server, which can provide additional information using a portion that does not include a sample in the display region of a microscope image, An image display system, an image display method, and a program can be provided.

本発明の一実施形態に係る顕微鏡画像管理システムの構成を示した説明図である。It is explanatory drawing which showed the structure of the microscope image management system which concerns on one Embodiment of this invention. 同実施形態に係る顕微鏡及び顕微鏡制御装置の全体構成を示した説明図である。It is explanatory drawing which showed the whole structure of the microscope and microscope control apparatus which concern on the embodiment. 顕微鏡画像取得の概要を説明するための説明図である。It is explanatory drawing for demonstrating the outline | summary of microscope image acquisition. 同実施形態に係る画像表示システムの構成を示した説明図である。It is explanatory drawing which showed the structure of the image display system which concerns on the embodiment. 顕微鏡画像表示領域の表示の一例を示す説明図である。It is explanatory drawing which shows an example of a display of a microscope image display area. 付加情報を含む顕微鏡画像表示領域の表示の一例を示す説明図である。It is explanatory drawing which shows an example of the display of the microscope image display area containing additional information. 付加情報を含む顕微鏡画像表示領域の表示の他の一例を示す説明図である。It is explanatory drawing which shows another example of the display of the microscope image display area containing additional information. 同実施形態に係る画像表示装置の表示制御部の詳細な構成を示した説明図である。FIG. 3 is an explanatory diagram showing a detailed configuration of a display control unit of the image display device according to the embodiment. 同実施形態に係る付加情報管理サーバの付加情報管理部の詳細な構成を示した説明図である。It is explanatory drawing which showed the detailed structure of the additional information management part of the additional information management server which concerns on the embodiment. 同実施形態に係る顕微鏡画像表示の流れを示すフローチャートである。It is a flowchart which shows the flow of the microscope image display which concerns on the same embodiment.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

なお、説明は以下の順序で行うものとする。
１．顕微鏡画像管理システムの構成
２．顕微鏡の構成
３．顕微鏡制御装置の構成
４．画像管理サーバの構成
５．画像表示装置の構成
６．付加情報管理サーバの構成
７．顕微鏡画像表示の流れ
８．まとめ The description will be made in the following order.
1. 1. Configuration of microscope image management system 2. Microscope configuration 3. Configuration of microscope control device 4. Configuration of image management server 5. Configuration of image display device 6. Configuration of additional information management server Flow of microscopic image display 8. Summary

なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプル（細胞組織サンプル）を例に挙げて説明を行うが、かかる場合に限定されるわけではない。   In the following, as a sample to be imaged by a microscope, a biological sample (cell tissue sample) composed of tissue sections or smear cells such as connective tissue such as blood, epithelial tissue or both tissues will be described as an example. However, the present invention is not limited to such a case.

＜１．顕微鏡画像管理システムの構成＞
まず、図１を参照しながら、本発明の第１の実施形態に係る顕微鏡画像管理システム１の構成について説明する。図１は、本実施形態に係る顕微鏡画像管理システム１の構成を示した説明図である。 <1. Configuration of Microscope Image Management System>
First, the configuration of the microscope image management system 1 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is an explanatory diagram showing a configuration of a microscope image management system 1 according to the present embodiment.

本実施形態に係る顕微鏡画像管理システム１は、図１に示したように、顕微鏡１０と、顕微鏡制御装置２０と、画像管理サーバ３０と、画像表示装置４０と、付加情報管理サーバ５０とを有する。また、顕微鏡制御装置２０、画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０は、ネットワーク３を介して接続されている。   As shown in FIG. 1, the microscope image management system 1 according to the present embodiment includes a microscope 10, a microscope control device 20, an image management server 30, an image display device 40, and an additional information management server 50. . Further, the microscope control device 20, the image management server 30, the image display device 40, and the additional information management server 50 are connected via the network 3.

なお、後述するが、本実施形態に係る顕微鏡画像管理システム１のうち、本実施形態においては特に画像を表示する機能について注目しているため、かかる機能に関連する画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０からなるシステムを画像表示システム２とよぶ。以下、本実施形態に係る画像表示システム２の特徴の理解を容易にするために、画像表示システムで用いる顕微鏡画像を取得する構成についても合わせて説明する。   As will be described later, in the microscopic image management system 1 according to the present embodiment, the present embodiment pays particular attention to the function of displaying an image. Therefore, the image management server 30 and the image display apparatus related to the function. 40 and the additional information management server 50 are referred to as an image display system 2. Hereinafter, in order to facilitate understanding of the features of the image display system 2 according to the present embodiment, a configuration for acquiring a microscope image used in the image display system will also be described.

ネットワーク３は、本実施形態に係る顕微鏡制御装置２０、画像管理サーバ３０、画像表示装置４０、付加情報管理サーバ５０を互いに双方向通信可能に接続する通信回線網である。このネットワーク３は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。また、このネットワーク３は、本実施形態に係る顕微鏡画像管理システム１に専用に設けられた通信回線網であってもよい。   The network 3 is a communication line network that connects the microscope control device 20, the image management server 30, the image display device 40, and the additional information management server 50 according to the present embodiment so that they can communicate with each other. The network 3 is, for example, a public line network such as the Internet, a telephone line network, a satellite communication network, a broadcast communication path, a WAN (Wide Area Network), a LAN (Local Area Network), an IP-VPN (Internet Protocol-Virtual). Private network), Ethernet (registered trademark), a dedicated line network such as a wireless LAN, and the like, regardless of wired / wireless. The network 3 may be a communication line network provided exclusively for the microscope image management system 1 according to the present embodiment.

顕微鏡１０は、当該顕微鏡１０のステージ上に載置されたサンプル（例えば生体サンプル）に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡１０の全体構成については、以下で改めて詳細に説明する。   The microscope 10 irradiates a sample (for example, a biological sample) placed on the stage of the microscope 10 with predetermined illumination light, and images light transmitted through the sample, light emission from the sample, or the like. . The overall configuration of the microscope 10 according to the present embodiment will be described in detail again below.

顕微鏡１０は、顕微鏡制御装置２０によって駆動制御されており、顕微鏡１０が撮像したサンプル画像は、顕微鏡制御装置２０を介して画像管理サーバ３０に格納される。   The microscope 10 is driven and controlled by the microscope control device 20, and a sample image captured by the microscope 10 is stored in the image management server 30 via the microscope control device 20.

顕微鏡制御装置２０は、サンプルを撮像する顕微鏡１０の駆動制御を行う装置である。顕微鏡制御装置２０は、顕微鏡１０を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置２０は、得られたサンプルのデジタル画像データを、画像管理サーバ３０にアップロードする。なお、本実施形態に係る顕微鏡制御装置２０の詳細な構成については、以下で改めて説明する。   The microscope control device 20 is a device that performs drive control of the microscope 10 that images a sample. The microscope control device 20 controls the microscope 10 to pick up a digital image of the sample, and performs predetermined digital processing on the obtained digital image data of the sample. Further, the microscope control device 20 uploads the obtained digital image data of the sample to the image management server 30. Note that the detailed configuration of the microscope control device 20 according to the present embodiment will be described below again.

画像管理サーバ３０は、顕微鏡１０によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ３０は、顕微鏡制御装置２０からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ３０は、閲覧者が操作する画像表示装置４０（すなわち、ビューワーに対応する装置）から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置４０に提供する。   The image management server 30 is a device that stores digital image data of samples taken by the microscope 10 and manages these digital image data. When the digital image data of the sample is output from the microscope control device 20, the image management server 30 stores the acquired digital image data of the sample in a predetermined storage area so that the viewer can use it. Further, when the image management server 30 is requested to view digital image data of a certain sample from the image display device 40 operated by the viewer (that is, a device corresponding to the viewer), the image management server 30 obtains the digital image data of the corresponding sample. The image display device 40 is provided.

なお、ここでサンプルのデジタル画像データは、サンプルのサムネイル画像と拡大画像とを含む顕微鏡画像である。詳しくは後述されるが、サムネイル画像は、サンプルを載置したプレパラートの全体像を撮像した画像であり、拡大画像は、サンプルが顕微鏡１０により所定の倍率で拡大された画像である。   Here, the sample digital image data is a microscope image including a sample thumbnail image and an enlarged image. As will be described in detail later, the thumbnail image is an image obtained by capturing the entire image of the preparation on which the sample is placed, and the enlarged image is an image obtained by enlarging the sample by the microscope 10 at a predetermined magnification.

画像表示装置４０は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末（すなわち、ビューワーに対応する装置）である。デジタル画像データの閲覧希望者は、画像管理サーバ３０に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ３０に対して要請する。画像管理サーバ３０からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置４０のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。   The image display device 40 is a terminal (that is, a device corresponding to a viewer) operated by a person who wants to view sample digital image data. A person who desires to browse digital image data refers to a list of digital image data stored in the image management server 30 and specifies the digital image data desired to be browsed, and provides the specified digital image data. To the image management server 30. When digital image data is provided from the image management server 30, an image corresponding to the provided digital image data is displayed on a display or the like of the image display device 40 so that a person who wishes to view can view it.

付加情報管理サーバ５０は、画像表示装置４０においてサンプルのデジタル画像データを閲覧する閲覧者に対して付加的に提供される付加情報を管理するサーバである。付加情報管理サーバ５０は、閲覧者が操作する画像表示装置４０からの要求に応じて、付加情報を画像表示装置４０に提供する。   The additional information management server 50 is a server that manages additional information additionally provided to a viewer who browses sample digital image data in the image display device 40. The additional information management server 50 provides additional information to the image display device 40 in response to a request from the image display device 40 operated by the viewer.

なお、本実施形態に係る画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０からなる画像表示システム２は、画像表示装置４０が、画像管理サーバ３０から顕微鏡画像を取得し、取得した顕微鏡画像を表示する顕微鏡画像表示領域のうち、サンプルに対応する部分以外の領域である余白領域に広告を始めとする付加情報を表示させる機能を有する。かかる機能を実現するための画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０の詳細な構成については、以下で改めて説明する。   In the image display system 2 including the image management server 30, the image display device 40, and the additional information management server 50 according to the present embodiment, the image display device 40 acquires a microscope image from the image management server 30 and acquires the image. It has a function of displaying additional information such as an advertisement in a blank area which is an area other than the part corresponding to the sample in the microscopic image display area for displaying the microscopic image. Detailed configurations of the image management server 30, the image display device 40, and the additional information management server 50 for realizing such functions will be described below again.

また、図１では、システム１に属する顕微鏡１０、顕微鏡制御装置２０、画像管理サーバ３０、及び付加情報管理サーバ５０がそれぞれ１台ずつ存在する場合について図示しているが、顕微鏡画像管理システム１に属する顕微鏡１０、顕微鏡制御装置２０、画像管理サーバ３０、及び付加情報管理サーバ５０の台数は図１の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。また、画像管理サーバ３０と付加情報管理サーバ５０とは同じハードウェア上に実装されてもよい。顕微鏡１０と顕微鏡制御装置２０とが一体型の構成や、画像管理サーバ３０と画像表示装置４０とが一体型の構成も考えられる。   Further, FIG. 1 illustrates a case where there is one microscope 10, a microscope control device 20, an image management server 30, and an additional information management server 50 belonging to the system 1, but the microscope image management system 1 includes The number of microscopes 10, the microscope control device 20, the image management server 30, and the additional information management server 50 that belong to the microscope 10 is not limited to the example in FIG. 1, and a plurality of microscopes may exist. The image management server 30 and the additional information management server 50 may be mounted on the same hardware. A configuration in which the microscope 10 and the microscope control device 20 are integrated and a configuration in which the image management server 30 and the image display device 40 are integrated are also conceivable.

＜２．顕微鏡の全体構成＞
続いて、図２を参照しながら、本実施形態に係る顕微鏡１０の全体構成について説明する。図２は、本実施形態に係る顕微鏡１０及び顕微鏡制御装置２０の全体構成を示した説明図である。 <2. Overall structure of microscope>
Next, the overall configuration of the microscope 10 according to the present embodiment will be described with reference to FIG. FIG. 2 is an explanatory diagram showing the overall configuration of the microscope 10 and the microscope control device 20 according to the present embodiment.

［全体構成］
本実施形態に係る顕微鏡１０は、図２に例示したように、生体サンプルＳＰＬが配設されるプレパラートＰＲＴ全体の像であるサムネイル画像を撮像するサムネイル画像撮像部１１０と、生体サンプルＳＰＬが所定倍率で拡大された像である拡大画像を撮像する拡大画像撮像部１２０と、を有する。 [overall structure]
As illustrated in FIG. 2, the microscope 10 according to the present embodiment includes a thumbnail image capturing unit 110 that captures a thumbnail image that is an image of the entire preparation PRT on which the biological sample SPL is disposed, and the biological sample SPL has a predetermined magnification. And an enlarged image capturing unit 120 that captures an enlarged image that is an image magnified by.

プレパラートＰＲＴは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルＳＰＬを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、ＨＥ（ヘマトキシリン・エオシン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｎ−Ｓｉｔｕ Ｈｙｂｒｉｄｉｚａｔｉｏｎ）や酵素抗体法等の蛍光染色が含まれる。   The preparation PRT is obtained by fixing a biological sample SPL made of a tissue section such as connective tissue such as blood, epithelial tissue or both tissues, or smeared cells to a slide glass by a predetermined fixing method. These tissue sections or smear cells are subjected to various stains as necessary. This staining includes not only general staining represented by HE (hematoxylin and eosin) staining, Giemsa staining or Papanicolaou staining, but also fluorescent staining such as FISH (Fluorescence In-Situ Hybridization) and enzyme antibody method.

また、プレパラートＰＲＴには、対応する生体サンプルＳＰＬを特定するための付帯情報（例えば、サンプルを採取した人の氏名、採取日時、染色の種類等）が記載されたラベルが貼付されていてもよい。   The preparation PRT may be attached with a label on which additional information for identifying the corresponding biological sample SPL (for example, the name of the person who collected the sample, the date and time of collection, the type of staining, etc.) is attached. .

本実施形態に係る顕微鏡１０には、上述のようなプレパラートＰＲＴが載置されるステージ１３０が設けられており、更に、ステージ１３０を様々な方向に移動させるためのステージ駆動機構１３５が設けられている。このステージ駆動機構１３５により、ステージ１３０を、ステージ面に対して平行となる方向（Ｘ軸−Ｙ軸方向）と、直交する方向（Ｚ軸方向）に自由に移動させることができる。   The microscope 10 according to the present embodiment is provided with a stage 130 on which the preparation PRT as described above is placed, and further, a stage driving mechanism 135 for moving the stage 130 in various directions is provided. Yes. By this stage drive mechanism 135, the stage 130 can be freely moved in a direction (X axis-Y axis direction) parallel to the stage surface and in a direction orthogonal to the Z axis direction.

また、本実施形態に係る顕微鏡１０には、サンプルＳＰＬを含むプレパラートＰＲＴをステージ１４０に搬送するサンプル搬送装置１４１が設けられていても良い。かかる搬送装置１４１を設けることで、ステージ１４０に、撮像予定のサンプルが自動的に設置されるようになり、サンプルＳＰＬの入れ替えを自動化することが可能となる。   Further, the microscope 10 according to the present embodiment may be provided with a sample transport device 141 that transports the preparation PRT including the sample SPL to the stage 140. By providing such a transport device 141, a sample to be imaged is automatically placed on the stage 140, and the replacement of the sample SPL can be automated.

［サムネイル画像撮像部］
サムネイル画像撮像部１１０は、図２に示したように、光源１１１と、対物レンズ１１２と、撮像素子１１３と、を主に備える。 [Thumbnail image capture unit]
As shown in FIG. 2, the thumbnail image capturing unit 110 mainly includes a light source 111, an objective lens 112, and an image sensor 113.

光源１１１は、ステージ１３０のプレパラート配置面とは逆の面側に設けられる。光源１１１は、一般染色が施された生体サンプルＳＰＬを照明する光（以下、明視野照明光、又は、単に照明光とも称する。）と、特殊染色が施された生体サンプルＳＰＬを照明する光（以下、暗視野照明光とも称する。）と、を切り換えて照射可能である。また、光源１１１は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源１１１として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の２種類の光源が設けられることとなる。   The light source 111 is provided on the surface side opposite to the preparation arrangement surface of the stage 130. The light source 111 illuminates the biological sample SPL that has been subjected to general staining (hereinafter also referred to as bright-field illumination light or simply illumination light) and light that illuminates the biological sample SPL that has undergone special staining ( (Hereinafter also referred to as dark field illumination light). The light source 111 may be capable of irradiating only one of bright field illumination light and dark field illumination light. In this case, two types of light sources are provided as the light source 111: a light source that emits bright-field illumination light and a light source that emits dark-field illumination light.

更に、サムネイル画像撮像部１１０には、プレパラートＰＲＴに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源（図示せず。）が別途設けられていてもよい。   Further, the thumbnail image capturing unit 110 may be separately provided with a label light source (not shown) that emits light for capturing supplementary information described in the label attached to the preparation PRT.

所定倍率の対物レンズ１１２は、プレパラート配置面におけるサムネイル画像撮像部１１０の基準位置の法線を光軸ＳＲＡとして、ステージ１３０のプレパラート配置面側に配設される。ステージ１３０上に配設されたプレパラートＰＲＴを透過した透過光は、この対物レンズ１１２によって集光されて、対物レンズ１１２の後方（すなわち、照明光の進行方向）に設けられた撮像素子１１３に結像する。   The objective lens 112 with a predetermined magnification is arranged on the preparation arrangement surface side of the stage 130 with the normal line of the reference position of the thumbnail image capturing unit 110 on the preparation arrangement surface as the optical axis SRA. The transmitted light that has passed through the preparation PRT disposed on the stage 130 is collected by the objective lens 112 and is connected to the image sensor 113 provided behind the objective lens 112 (that is, in the traveling direction of the illumination light). Image.

撮像素子１１３には、ステージ１３０のプレパラート配置面に載置されたプレパラートＰＲＴ全体を包括する撮像範囲の光（換言すれば、プレパラートＰＲＴ全体を透過した透過光）が結像する。この撮像素子１１３上に結像した像が、プレパラートＰＲＴ全体を撮像した顕微鏡画像であるサムネイル画像となる。   The imaging element 113 forms an image of light in an imaging range that covers the entire preparation PRT placed on the preparation arrangement surface of the stage 130 (in other words, transmitted light that has passed through the entire preparation PRT). The image formed on the imaging element 113 becomes a thumbnail image that is a microscope image obtained by imaging the entire preparation PRT.

［拡大画像撮像部］
拡大画像撮像部１２０は、図２に示したように、光源１２１と、コンデンサレンズ１２２と、対物レンズ１２３と、撮像素子１２４と、を主に備える。 [Enlarged image capturing unit]
As shown in FIG. 2, the enlarged image capturing unit 120 mainly includes a light source 121, a condenser lens 122, an objective lens 123, and an image sensor 124.

光源１２１は、明視野照明光を照射するものであり、ステージ１３０のプレパラート配置面とは逆の面側に設けられる。また、光源１２１とは異なる位置（例えばプレパラート配置面側）には、暗視野照明光を照射する光源（図示せず。）が設けられる。   The light source 121 emits bright-field illumination light, and is provided on the surface side opposite to the preparation arrangement surface of the stage 130. In addition, a light source (not shown) that irradiates dark field illumination light is provided at a position different from the light source 121 (for example, the preparation arrangement surface side).

コンデンサレンズ１２２は、光源１２１から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ１３０上のプレパラートＰＲＴに導くレンズである。このコンデンサレンズ１２２は、プレパラート配置面における拡大画像撮像部１２０の基準位置の法線を光軸ＥＲＡとして、光源１２１とステージ１３０との間に配設される。   The condenser lens 122 is a lens that collects the bright field illumination light emitted from the light source 121 and the dark field illumination light emitted from the light source for dark field illumination and guides it to the preparation PRT on the stage 130. The condenser lens 122 is disposed between the light source 121 and the stage 130 with the normal line of the reference position of the enlarged image capturing unit 120 on the preparation arrangement surface as the optical axis ERA.

所定倍率の対物レンズ１２３は、プレパラート配置面における拡大画像撮像部１２０の基準位置の法線を光軸ＥＲＡとして、ステージ１３０のプレパラート配置面側に配設される。拡大画像撮像部１２０では、この対物レンズ１２３を適宜交換することで、生体サンプルＳＰＬを様々な倍率に拡大して撮像することが可能となる。ステージ１３０上に配設されたプレパラートＰＲＴを透過した透過光は、この対物レンズ１２３によって集光されて、対物レンズ１２３の後方（すなわち、照明光の進行方向）に設けられた撮像素子１２４に結像する。   The objective lens 123 having a predetermined magnification is arranged on the preparation arrangement surface side of the stage 130 with the normal line of the reference position of the enlarged image capturing unit 120 on the preparation arrangement surface as the optical axis ERA. In the enlarged image capturing unit 120, the objective lens 123 is appropriately replaced, so that the biological sample SPL can be enlarged and imaged at various magnifications. The transmitted light that has passed through the preparation PRT disposed on the stage 130 is collected by the objective lens 123 and is connected to the image sensor 124 provided behind the objective lens 123 (that is, in the traveling direction of the illumination light). Image.

撮像素子１２４には、撮像素子１２４の画素サイズ及び対物レンズ１２３の倍率に応じて、ステージ１３０のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ１２３により生体サンプルＳＰＬの一部が拡大されるため、上述の撮像範囲は、撮像素子１１３の撮像範囲に比べて十分に狭い範囲となる。   An image of an imaging range having a predetermined horizontal width and vertical width on the preparation arrangement surface of the stage 130 is formed on the imaging element 124 in accordance with the pixel size of the imaging element 124 and the magnification of the objective lens 123. Since a part of the biological sample SPL is enlarged by the objective lens 123, the above-described imaging range is sufficiently narrower than the imaging range of the imaging element 113.

ここで、サムネイル画像撮像部１１０及び拡大画像撮像部１２０は、図２に示したように、それぞれの基準位置の法線である光軸ＳＲＡと光軸ＥＲＡとがＹ軸方向に距離Ｄだけ離れるように配置される。この距離Ｄは、撮像素子１１３の撮像範囲に拡大画像撮像部１２０の対物レンズ１２３を保持する鏡筒（図示せず）が写りこむことなく、かつ小型化のために近い距離に設定される。   Here, in the thumbnail image capturing unit 110 and the enlarged image capturing unit 120, as shown in FIG. 2, the optical axis SRA and the optical axis ERA, which are normal lines of the respective reference positions, are separated by a distance D in the Y-axis direction. Are arranged as follows. This distance D is set to a close distance for miniaturization without causing a lens barrel (not shown) holding the objective lens 123 of the enlarged image capturing unit 120 to be captured in the imaging range of the image sensor 113.

なお、サムネイル画像撮像部１１０及び拡大画像撮像部１２０それぞれに設けられる撮像素子は、１次元撮像素子であってもよく、２次元撮像素子であってもよい。   Note that the image sensor provided in each of the thumbnail image capturing unit 110 and the enlarged image image capturing unit 120 may be a one-dimensional image sensor or a two-dimensional image sensor.

＜３．顕微鏡制御装置の全体構成＞
本実施形態に係る顕微鏡１０には、図２に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置２０が接続されている。この顕微鏡制御装置２０は、図２に示したように、統括制御部２０１と、照明制御部２０３と、ステージ駆動制御部２０５と、サムネイル画像撮像制御部２０７と、拡大画像撮像制御部２０９と、記憶部２１１と、を主に備える。 <3. Overall Configuration of Microscope Control Device>
As shown in FIG. 2, a microscope control device 20 for controlling various parts of the microscope is connected to the microscope 10 according to the present embodiment. As shown in FIG. 2, the microscope control apparatus 20 includes an overall control unit 201, an illumination control unit 203, a stage drive control unit 205, a thumbnail image capturing control unit 207, an enlarged image capturing control unit 209, And a storage unit 211.

ここで、照明制御部２０３は、光源１１１及び光源１２１を含む、顕微鏡１０が備える各種の光源を制御する処理部であり、ステージ駆動制御部２０５は、ステージ駆動機構１３５を制御する処理部である。また、サムネイル画像撮像制御部２０７は、サムネイル画像を撮像するための撮像素子１１３を制御する処理部であり、拡大画像撮像制御部２０９は、生体サンプルＳＰＬの拡大画像を撮像するための撮像素子１２４を制御する処理部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。   Here, the illumination control unit 203 is a processing unit that controls various light sources included in the microscope 10 including the light source 111 and the light source 121, and the stage drive control unit 205 is a processing unit that controls the stage drive mechanism 135. . The thumbnail image capturing control unit 207 is a processing unit that controls the image sensor 113 for capturing thumbnail images, and the enlarged image capturing control unit 209 is an image sensor 124 for capturing an enlarged image of the biological sample SPL. It is a processing part which controls. These control units are connected to parts that perform control via various data communication paths.

また、本実施形態に係る顕微鏡制御装置２０には、顕微鏡全体の制御を行う制御部（統括制御部２０１）が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。   Further, the microscope control apparatus 20 according to the present embodiment is separately provided with a control unit (overall control unit 201) that controls the entire microscope, and is connected to the various control units described above via various data communication paths. Connected.

これらの制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ストレージ装置、通信装置及び演算回路等により実現されるものである。   These control units are realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a storage device, a communication device, an arithmetic circuit, and the like. .

記憶部２１１は、本実施形態に係る顕微鏡制御装置２０が備えるストレージ装置の一例である。記憶部２１１には、本実施形態に係る顕微鏡１０を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部２１１には、顕微鏡１０におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部２１１には、本実施形態に係る顕微鏡制御装置２０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。   The storage unit 211 is an example of a storage device provided in the microscope control device 20 according to the present embodiment. The storage unit 211 stores various setting information for controlling the microscope 10 according to the present embodiment, lookup tables such as various databases and load prediction tables, and the like. In the storage unit 211, various history information such as a sample imaging history of the microscope 10 may be recorded. In addition, the storage unit 211 stores various parameters, intermediate progress of processing, and various databases and programs that need to be saved when the microscope control apparatus 20 according to the present embodiment performs some processing. Are recorded as appropriate.

この記憶部２１１は、顕微鏡制御装置２０が備える各処理部が自由に読み書きを行うことが可能である。   This storage unit 211 can be freely read and written by each processing unit included in the microscope control device 20.

以下では、上記制御部について、それぞれその機能を簡単に説明するものとする。   In the following, the functions of the control units will be briefly described.

［照明制御部］
照明制御部２０３は、本実施形態に係る顕微鏡１０が備える各種の光源を制御する処理部である。照明制御部２０３は、統括制御部２０１から生体サンプルＳＰＬの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。 [Lighting control unit]
The illumination control unit 203 is a processing unit that controls various light sources included in the microscope 10 according to the present embodiment. When the information indicating the illumination method of the biological sample SPL is output from the overall control unit 201, the illumination control unit 203 performs irradiation control of the corresponding light source based on the acquired information indicating the illumination method.

例えば、照明制御部２０３が、サムネイル画像撮像部１１０に設けられた光源１１１の制御を行う場合について着目する。かかる場合、照明制御部２０３は、照明方法を示す情報を参照して、明視野像を取得すべきモード（以下、明視野モードとも称する。）又は暗視野像を取得すべきモード（以下、暗視野モードとも称する。）のどちらを実行するかを判断する。その後、照明制御部２０３は、各モードに応じたパラメータを光源１１１に対して設定し、光源１１１から、各モードに適した照明光を照射させる。これにより、光源１１１から照射された照明光が、ステージ１３０の開口部を介して、生体サンプルＳＰＬ全体に照射されることとなる。なお、照明制御部２０３が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。   For example, a case where the illumination control unit 203 controls the light source 111 provided in the thumbnail image capturing unit 110 will be noted. In such a case, the illumination control unit 203 refers to information indicating the illumination method, and a mode for acquiring a bright field image (hereinafter also referred to as a bright field mode) or a mode for acquiring a dark field image (hereinafter, a dark field image). Which is also referred to as a visual field mode). After that, the illumination control unit 203 sets a parameter corresponding to each mode for the light source 111 and causes the light source 111 to emit illumination light suitable for each mode. Thereby, the illumination light irradiated from the light source 111 is irradiated to the whole biological sample SPL through the opening of the stage 130. Note that examples of the parameters set by the illumination control unit 203 include selection of illumination light intensity and light source type.

また、照明制御部２０３が、拡大画像撮像部１２０に設けられた光源１２１の制御を行う場合について着目する。かかる場合、照明制御部２０３は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部２０３は、各モードに応じたパラメータを光源１２１に対して設定し、光源１２１から、各モードに適した照明光を照射させる。これにより、光源１２１から照射された照明光が、ステージ１３０の開口部を介して、生体サンプルＳＰＬ全体に照射されることとなる。なお、照明制御部２０３が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。   Further, attention is paid to a case where the illumination control unit 203 controls the light source 121 provided in the enlarged image capturing unit 120. In such a case, the illumination control unit 203 refers to the information indicating the illumination method and determines whether to execute the bright field mode or the dark field mode. Thereafter, the illumination control unit 203 sets a parameter corresponding to each mode for the light source 121 and causes the light source 121 to emit illumination light suitable for each mode. Thereby, the illumination light irradiated from the light source 121 is irradiated to the whole biological sample SPL through the opening of the stage 130. Note that examples of the parameters set by the illumination control unit 203 include selection of illumination light intensity and light source type.

なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。   Note that the irradiation light in the bright field mode is preferably visible light. The irradiation light in the dark field mode is preferably light including a wavelength that can excite a fluorescent marker used in special staining. In the dark field mode, the background portion with respect to the fluorescent marker is cut out.

［ステージ駆動制御部］
ステージ駆動制御部２０５は、本実施形態に係る顕微鏡１０に設けられたステージを駆動するためのステージ駆動機構１３５を制御する処理部である。ステージ駆動制御部２０５は、統括制御部２０１から生体サンプルＳＰＬの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構１３５の制御を行う。 [Stage drive controller]
The stage drive control unit 205 is a processing unit that controls a stage drive mechanism 135 for driving a stage provided in the microscope 10 according to the present embodiment. When the information indicating the imaging method of the biological sample SPL is output from the overall control unit 201, the stage driving control unit 205 controls the stage driving mechanism 135 based on the acquired information indicating the imaging method.

例えば、本実施形態に係る顕微鏡１０により、サムネイル画像を撮像する場合に着目する。ステージ駆動制御部２０５は、統括制御部２０１から、生体サンプルＳＰＬのサムネイル画像を撮像する旨の情報が出力されると、プレパラートＰＲＴ全体が撮像素子１１３の撮像範囲に入るように、ステージ面方向（Ｘ―Ｙ軸方向）にステージ１３０を移動させる。また、ステージ駆動制御部２０５は、プレパラートＰＲＴ全体に対物レンズ１１２の焦点が合うように、ステージ１３０をＺ軸方向に移動させる。   For example, attention is paid to a case where a thumbnail image is captured by the microscope 10 according to the present embodiment. When information indicating that the thumbnail image of the biological sample SPL is imaged is output from the overall control unit 201, the stage drive control unit 205 outputs the stage surface direction ( The stage 130 is moved in the XY axis direction). Further, the stage drive control unit 205 moves the stage 130 in the Z-axis direction so that the objective lens 112 is focused on the entire preparation PRT.

また、本実施形態に係る顕微鏡１０により、拡大画像を撮像する場合について着目する。ステージ駆動制御部２０５は、統括制御部２０１から、生体サンプルＳＰＬの拡大画像を撮像する旨の情報が出力されると、ステージ駆動機構１３５を駆動制御し、光源１１１と対物レンズ１１２との間からコンデンサレンズ１２２と対物レンズ１２３との間に生体サンプルＳＰＬが位置するよう、ステージ面方向にステージ１３０を移動させる。   Further, attention is paid to a case where an enlarged image is captured by the microscope 10 according to the present embodiment. When information indicating that an enlarged image of the biological sample SPL is captured is output from the overall control unit 201, the stage drive control unit 205 controls the drive of the stage drive mechanism 135 from between the light source 111 and the objective lens 112. The stage 130 is moved in the direction of the stage surface so that the biological sample SPL is positioned between the condenser lens 122 and the objective lens 123.

また、ステージ駆動制御部２０５は、撮像素子１２４に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向（Ｘ−Ｙ軸方向）にステージ１３０を移動させる。   Further, the stage drive control unit 205 moves the stage 130 in the stage surface direction (XY axis direction) so that a predetermined part of the biological sample is located in the imaging range imaged by the imaging element 124.

更に、ステージ駆動制御部２０５は、ステージ駆動機構１３５を駆動制御して、所定の撮影範囲内に位置する生体サンプルＳＰＬの部位が対物レンズ１２３の焦点に合うように、ステージ面に直交する方向（Ｚ軸方向、組織切片の奥行方向）にステージ１３０を移動させる。   Furthermore, the stage drive control unit 205 drives and controls the stage drive mechanism 135 so that the part of the biological sample SPL located within a predetermined imaging range is in a direction orthogonal to the stage surface so as to be in focus with the objective lens 123 ( The stage 130 is moved in the Z-axis direction and the depth direction of the tissue section.

［サムネイル画像撮像制御部］
サムネイル画像撮像制御部２０７は、サムネイル画像撮像部１１０に設けられた撮像素子１１３の制御を行う処理部である。サムネイル画像撮像制御部２０７は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子１１３に設定する。また、サムネイル画像撮像制御部２０７は、撮像素子１１３から出力される、撮像素子１１３の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル画像に対応する出力信号とする。サムネイル画像撮像制御部２０７は、サムネイル画像に対応する出力信号を取得すると、取得した信号に対応するデータ（ＲＡＷデータ）を統括制御部２０１に出力する。なお、サムネイル画像撮像制御部２０７が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。 [Thumbnail image capture control unit]
The thumbnail image capturing control unit 207 is a processing unit that controls the image sensor 113 provided in the thumbnail image capturing unit 110. The thumbnail image capturing control unit 207 sets parameters corresponding to the bright field mode or dark field mode in the image sensor 113. Further, when the thumbnail image capturing control unit 207 acquires an output signal output from the image sensor 113 and corresponding to the image formed on the imaging surface of the image sensor 113, the acquired output signal corresponds to the thumbnail image. Output signal. When the thumbnail image capturing control unit 207 acquires an output signal corresponding to the thumbnail image, the thumbnail image capturing control unit 207 outputs data (RAW data) corresponding to the acquired signal to the overall control unit 201. Note that examples of the parameters set by the thumbnail image capturing control unit 207 include exposure start timing and end timing.

［拡大画像撮像制御部］
拡大画像撮像制御部２０９は、拡大画像撮像部１２０に設けられた撮像素子１２４の制御を行う処理部である。拡大画像撮像制御部２０９は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子１２４に設定する。また、拡大画像撮像制御部２０９は、撮像素子１２４から出力される、撮像素子１２４の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大画像に対応する出力信号とする。拡大画像撮像制御部２０９は、拡大画像に対応する出力信号を取得すると、取得した信号に対応するデータ（ＲＡＷデータ）を統括制御部２０１に出力する。なお、拡大画像撮像制御部２０９が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。 [Enlarged image capture control unit]
The enlarged image imaging control unit 209 is a processing unit that controls the imaging element 124 provided in the enlarged image imaging unit 120. The enlarged image capturing control unit 209 sets parameters in the image sensor 124 according to the bright field mode or the dark field mode. Further, when the enlarged image capturing control unit 209 acquires an output signal output from the image sensor 124 and corresponding to an image formed on the imaging surface of the image sensor 124, the acquired output signal corresponds to the enlarged image. Output signal. When the enlarged image capturing control unit 209 acquires an output signal corresponding to the enlarged image, the enlarged image imaging control unit 209 outputs data (RAW data) corresponding to the acquired signal to the overall control unit 201. Examples of parameters set by the enlarged image capturing control unit 209 include exposure start timing and end timing.

［統括制御部］
統括制御部２０１は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。統括制御部２０１は、サンプルのサムネイル画像を参照して、プレパラート内におけるサンプル（検体）の位置を検出するとともに、プレパラート内においてサンプルが位置している領域を、拡大画像を撮像すべき領域と判断する。統括制御部２０１は、拡大画像を撮像すべき領域を、顕微鏡１０の倍率に応じて複数の領域に分割し、これらの領域それぞれを撮像していく。これにより、１つのサンプルに関する複数の拡大画像が取得される。その後、統括制御部２０１は、サムネイル画像及び拡大画像からなる顕微鏡画像データを、ネットワーク３を介して画像管理サーバ３０にアップロードする。これにより、顕微鏡１０によって撮像されたサンプルの顕微鏡画像が、ネットワーク３に接続されたクライアント機器である画像表示装置４０によって閲覧可能となる。 [General Control Department]
The overall control unit 201 is a processing unit that controls the entire microscope including the various control units described above. The overall control unit 201 refers to the thumbnail image of the sample, detects the position of the sample (specimen) in the preparation, and determines the area where the sample is located in the preparation as the area where the enlarged image is to be captured. To do. The overall control unit 201 divides a region where an enlarged image should be captured into a plurality of regions according to the magnification of the microscope 10 and captures each of these regions. Thereby, a plurality of enlarged images related to one sample are acquired. Thereafter, the overall control unit 201 uploads the microscope image data including the thumbnail image and the enlarged image to the image management server 30 via the network 3. Thereby, the microscope image of the sample imaged by the microscope 10 can be browsed by the image display device 40 which is a client device connected to the network 3.

以上説明したように、顕微鏡制御装置２０により顕微鏡１０を制御することによって、サムネイル画像及び拡大画像を含む顕微鏡画像が取得される。図３を参照すると、プレパラートＰＲＴ上に載置されたサンプルＳＰＬを顕微鏡１０により撮像することにより、まず全体像であるサムネイル画像が撮像される。そして、このサムネイル画像からサンプルが載置されている領域、即ち拡大画像を撮像すべき領域が抽出される。このサンプルは、複数の拡大画像として撮像され、サムネイル画像及び拡大画像は、画像管理サーバ３０により管理される。   As described above, a microscope image including a thumbnail image and an enlarged image is acquired by controlling the microscope 10 with the microscope control device 20. Referring to FIG. 3, when a sample SPL placed on the preparation PRT is imaged by the microscope 10, a thumbnail image that is an overall image is first imaged. Then, an area where a sample is placed, that is, an area where an enlarged image is to be captured is extracted from the thumbnail image. This sample is captured as a plurality of enlarged images, and the thumbnail image and the enlarged image are managed by the image management server 30.

また、サムネイル画像を取得する際には、プレパラートＰＲＴに貼付けられたラベルの情報を読み取ってデジタルデータ化されてもよい。ラベルには、観察組織名及び染色種類などの情報が記載されていることがある。一般的に知られているＯＣＲ機能を用いることにより、これらのラベル画像からサンプルの特徴を示すサンプル特徴情報を生成することができる。このサンプル特徴情報は、顕微鏡画像データと共に、画像管理サーバ３０に格納されてもよい。   Further, when acquiring the thumbnail image, the information of the label attached to the preparation PRT may be read and converted into digital data. The label may include information such as the observation tissue name and staining type. By using a generally known OCR function, sample feature information indicating sample features can be generated from these label images. This sample feature information may be stored in the image management server 30 together with the microscope image data.

＜４．画像管理サーバの構成＞
次に、本実施形態に係る画像管理サーバ３０の構成について、図４を参照しながら説明する。図４は、本実施形態に係る画像表示システムの構成を示すブロック図である。 <4. Configuration of image management server>
Next, the configuration of the image management server 30 according to the present embodiment will be described with reference to FIG. FIG. 4 is a block diagram showing the configuration of the image display system according to this embodiment.

画像管理サーバ３０は、上述した顕微鏡１０及び顕微鏡制御装置２０の機能により取得された顕微鏡画像を管理する装置である。画像管理サーバ３０は、通信制御部３０１と、顕微鏡画像管理部３０３と、記憶部３０５とを主に有する。   The image management server 30 is a device that manages the microscope images acquired by the functions of the microscope 10 and the microscope control device 20 described above. The image management server 30 mainly includes a communication control unit 301, a microscope image management unit 303, and a storage unit 305.

通信制御部３０１は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ，通信装置等により実現される。通信制御部３０１は、画像管理サーバ３０と、顕微鏡制御装置２０及び画像表示装置との間で、ネットワーク３を介して行われる通信の制御を行う。   The communication control unit 301 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like. The communication control unit 301 controls communication performed via the network 3 between the image management server 30, the microscope control device 20, and the image display device.

画像管理部３０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像管理部３０３は、画像管理サーバ３０内で管理される顕微鏡画像等の管理全般を制御する機能を有する。例えば、画像管理部３０３は、顕微鏡制御装置２０から送信された顕微鏡画像データを、通信制御部３０１を介して取得し、後述する記憶部３０５の顕微鏡画像格納領域に格納する機能を有する。また、画像管理部３０３は、画像表示装置４０からの要求に応じて、記憶部３０５の所定の格納領域に格納されている顕微鏡画像データを、画像表示装置４０に提供する機能を有する。   The image management unit 303 is realized by a CPU, a ROM, a RAM, and the like, for example. The image management unit 303 has a function of controlling overall management of microscope images and the like managed in the image management server 30. For example, the image management unit 303 has a function of acquiring the microscope image data transmitted from the microscope control device 20 via the communication control unit 301 and storing it in a microscope image storage area of the storage unit 305 described later. Further, the image management unit 303 has a function of providing the image display device 40 with microscopic image data stored in a predetermined storage area of the storage unit 305 in response to a request from the image display device 40.

記憶部３０５は、本実施形態に係る画像管理サーバ３０が備えるストレージ装置の一例である。記憶部３０５には、顕微鏡画像データや、顕微鏡画像と対応づけられたサンプルの特徴情報や、本実施形態に係る顕微鏡１０を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部３０５には、顕微鏡画像データの格納履歴や顕微鏡画像データの提供履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部３０５には、各種のデータベースやプログラム等が適宜記憶されてもよい。   The storage unit 305 is an example of a storage device provided in the image management server 30 according to the present embodiment. The storage unit 305 includes microscope image data, feature information of the sample associated with the microscope image, various setting information for controlling the microscope 10 according to the present embodiment, various databases, a load prediction table, and the like. A lookup table or the like is stored. The storage unit 305 may store various history information such as a storage history of microscope image data and a provision history of microscope image data. Furthermore, the storage unit 305 may appropriately store various databases and programs.

＜５．画像表示装置の構成＞
次に、本実施形態に係る画像表示装置４０の構成について、図４を参照しながら説明する。画像表示装置４０は、ユーザ操作情報取得部４０１と、顕微鏡画像取得部４０３と、表示制御部４０５と、付加情報取得部４０７と、通信制御部４０９と、記憶部４１１との機能を主に有する。 <5. Configuration of Image Display Device>
Next, the configuration of the image display apparatus 40 according to the present embodiment will be described with reference to FIG. The image display device 40 mainly has functions of a user operation information acquisition unit 401, a microscope image acquisition unit 403, a display control unit 405, an additional information acquisition unit 407, a communication control unit 409, and a storage unit 411. .

ユーザ操作情報取得部４０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。ユーザ操作情報取得部４０１は、キーボード、マウス、タッチパネル等といった入力装置から出力された、当該入力装置にユーザが行ったユーザ操作に対応する出力信号を取得して、ユーザが行った操作（ユーザ操作）を表すユーザ操作情報を生成する。ユーザ操作情報取得部４０１は、生成したユーザ操作情報を、後述する顕微鏡画像取得部４０３、表示制御部４０５及び表示画像選択部４０７に出力する。また、ユーザ操作情報取得部４０１は、生成したユーザ操作情報を、後述する記憶部４１１に格納して、履歴情報としてもよい。   The user operation information acquisition unit 401 is realized by, for example, a CPU, a ROM, a RAM, an input device, and the like. The user operation information acquisition unit 401 acquires an output signal output from an input device such as a keyboard, a mouse, or a touch panel, corresponding to a user operation performed by the user on the input device, and performs an operation (user operation performed by the user). ) Is generated. The user operation information acquisition unit 401 outputs the generated user operation information to a microscope image acquisition unit 403, a display control unit 405, and a display image selection unit 407, which will be described later. In addition, the user operation information acquisition unit 401 may store the generated user operation information in a storage unit 411 to be described later as history information.

ここで、キーボード、マウス、タッチパネル等の入力装置にユーザが行う操作の一例として、例えば、顕微鏡画像の選択処理や、ある顕微鏡画像についての表示領域の変更処理等を挙げることができる。また、ユーザが行うユーザ操作は、これらの例に限定されるわけではなく、ユーザが行ったユーザ操作は、適宜当該ユーザ操作を表すユーザ操作情報へと変換され、各処理部へと出力される。   Here, examples of operations performed by the user on an input device such as a keyboard, a mouse, and a touch panel include a selection process of a microscope image and a display area changing process for a certain microscope image. In addition, user operations performed by the user are not limited to these examples, and user operations performed by the user are appropriately converted into user operation information representing the user operation and output to each processing unit. .

顕微鏡画像取得部４０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。顕微鏡画像取得部４０３は、ユーザ操作情報取得部４０１から出力された、顕微鏡画像の一覧の取得開始を示すユーザ操作情報に応じて、画像管理サーバ３０から、当該画像管理サーバ３０が管理している顕微鏡画像の一覧（リスト）を取得する。また、顕微鏡画像取得部４０３は、ユーザ操作により、あるサンプルの顕微鏡画像が選択されると、選択されたサンプルに対応する顕微鏡画像の送信リクエストを、画像管理サーバ３０に送信する。   The microscope image acquisition unit 403 is realized by, for example, a CPU, a ROM, a RAM, and the like. The microscope image acquisition unit 403 is managed by the image management server 30 from the image management server 30 according to user operation information output from the user operation information acquisition unit 401 and indicating acquisition start of a list of microscope images. Obtain a list of microscope images. Further, when a microscopic image of a sample is selected by a user operation, the microscopic image acquisition unit 403 transmits a microscopic image transmission request corresponding to the selected sample to the image management server 30.

顕微鏡画像取得部４０３は、選択されたサンプルに対応する複数のデジタル画像からなる顕微鏡画像のデータを画像管理サーバ３０から取得すると、取得した顕微鏡画像のデータを、後述する表示制御部４０５に出力する。また、顕微鏡画像取得部４０３は、取得した顕微鏡画像のデータを、記憶部４１１に格納してもよい。   When the microscope image acquisition unit 403 acquires, from the image management server 30, data of a microscope image including a plurality of digital images corresponding to the selected sample, the microscope image acquisition unit 403 outputs the acquired microscope image data to the display control unit 405 described later. . The microscope image acquisition unit 403 may store the acquired microscope image data in the storage unit 411.

表示制御部４０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表示制御部４０５は、本実施形態に係る画像表示装置４０が備えるディスプレイ等の表示装置に表示される表示画面の制御を行う。また、表示制御部４０５は、ユーザ操作情報取得部４０１から出力されるユーザ操作情報に応じて、表示画面に表示されている内容を変更することができる。なお、表示画面中の顕微鏡画像が表示される領域のことを、以下、顕微鏡画像表示領域という。   The display control unit 405 is realized by a CPU, a ROM, a RAM, and the like, for example. The display control unit 405 controls a display screen displayed on a display device such as a display provided in the image display device 40 according to the present embodiment. Further, the display control unit 405 can change the contents displayed on the display screen according to the user operation information output from the user operation information acquisition unit 401. In addition, the area | region where the microscope image in a display screen is displayed is hereafter called a microscope image display area.

具体的には、表示制御部４０５は、顕微鏡画像取得部４０３から、顕微鏡画像の一覧に関する情報が出力されると、出力された情報に基づいて、ユーザが閲覧可能な顕微鏡画像のリストを、表示画面に表示する。また、表示制御部４０５は、ユーザ操作情報として顕微鏡画像の表示を開始する情報が出力された場合に、ユーザ操作情報に応じて表示する顕微鏡画像を選択し、サンプルの拡大像を、表示画面に表示する。また、ユーザ操作情報として、表示画面に表示されている表示領域を変更する情報が出力された場合には、表示画面内で拡大像を上下左右に（平面内で）動かしたり、ズーム・パンなど拡大縮小表示したり、奥行き方向に焦点位置を変えるように動かしたりする。   Specifically, when the information related to the list of microscope images is output from the microscope image acquisition unit 403, the display control unit 405 displays a list of microscope images that can be browsed by the user based on the output information. Display on the screen. In addition, when information for starting display of a microscope image is output as user operation information, the display control unit 405 selects a microscope image to be displayed according to the user operation information, and displays an enlarged image of the sample on the display screen. indicate. When information for changing the display area displayed on the display screen is output as user operation information, the enlarged image is moved up and down, left and right (within a plane) on the display screen, zoom / pan, etc. Enlarge / reduce the display or move the focus position in the depth direction.

また、表示制御部４０５は、画像表示装置４０の表示画面に表示する内容として、記憶部４１１等に格納されている各種の情報を利用することが可能である。なお、この表示制御部の詳細な機能については、後述される。   Further, the display control unit 405 can use various types of information stored in the storage unit 411 and the like as contents to be displayed on the display screen of the image display device 40. The detailed function of this display control unit will be described later.

付加情報取得部４０７は、後述される付加情報を管理する付加情報管理サーバ５０が付加情報を抽出するための情報を送信し、送信した情報に基づいて選択された付加情報を付加情報管理サーバ５０から取得する機能を有する。また、付加情報取得部４０７は、取得された付加情報を表示制御部４０５に対して出力する。   The additional information acquisition unit 407 transmits information for the additional information management server 50 that manages the additional information, which will be described later, to extract the additional information, and the additional information management server 50 selects the additional information selected based on the transmitted information. It has the function to acquire from. Further, the additional information acquisition unit 407 outputs the acquired additional information to the display control unit 405.

なお、ここで送信される情報としては、例えば、観察中のサンプルを特徴付けるサンプル特徴情報、画像表示装置４０を操作しているユーザを特徴づけるユーザ特徴情報、及び顕微鏡画像表示領域の観察している時点における表示状態に関する表示状態情報などが挙げられる。例えば、付加情報取得部４０７は、サンプル特徴情報を画像管理サーバ３０から取得される顕微鏡画像に付随するメタデータから取得して用いてもよい。また、付加情報取得部４０７は、ユーザ特徴情報を、記憶部４１１から取得して用いてもよい。ユーザ特徴情報は、例えば、ユーザＩＤ、所属病院名、専門領域が含まれていてもよい。また、表示制御部４０５がユーザ単位で閲覧履歴を取得する構成を有する場合には、ユーザ特徴情報は、履歴情報を含んでもよい。或いは、ユーザ特徴情報は、ユーザ個人に対応づけられた情報だけでなく、画像表示装置４０と対応づけられた情報を含んでもよい。この場合、ユーザ特徴情報は、画像表示装置４０の設置場所、画像表示装置４０を特定するためのＩＤなどを含むことができる。また、表示状態情報は、表示制御部４０５の機能により取得される表示状態情報である。   The information transmitted here includes, for example, sample feature information that characterizes the sample being observed, user feature information that characterizes the user operating the image display device 40, and observation of the microscope image display area. For example, display state information related to the display state at the time. For example, the additional information acquisition unit 407 may acquire and use the sample feature information from metadata attached to the microscope image acquired from the image management server 30. Further, the additional information acquisition unit 407 may acquire user feature information from the storage unit 411 and use it. The user characteristic information may include, for example, a user ID, a hospital name to which the user belongs, and a specialized area. In addition, when the display control unit 405 has a configuration in which a browsing history is acquired for each user, the user feature information may include history information. Alternatively, the user characteristic information may include not only information associated with individual users but also information associated with the image display device 40. In this case, the user characteristic information can include an installation location of the image display device 40, an ID for specifying the image display device 40, and the like. Further, the display state information is display state information acquired by the function of the display control unit 405.

通信制御部４０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。通信制御部４０９は、画像表示装置４０と、画像表示装置４０の外部に設けられた画像管理サーバ３０及び付加情報管理サーバ５０との間で、ネットワーク３を介して行われる通信の制御を行う。   The communication control unit 409 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like. The communication control unit 409 controls communication performed via the network 3 between the image display device 40 and the image management server 30 and the additional information management server 50 provided outside the image display device 40.

記憶部４１１は、本実施形態に係る画像表示装置４０が備えるストレージ装置の一例である。記憶部４１１には、例えば、画像管理サーバ３０から取得した顕微鏡画像データや、付加情報管理サーバ５０から取得した付加情報データが格納される。また、記憶部４１１には、顕微鏡画像データの取得履歴、及び付加情報データの取得履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部４１１には、本実施形態に係る画像表示装置４０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。   The storage unit 411 is an example of a storage device provided in the image display device 40 according to the present embodiment. For example, microscope image data acquired from the image management server 30 and additional information data acquired from the additional information management server 50 are stored in the storage unit 411. In the storage unit 411, various history information such as an acquisition history of microscope image data and an acquisition history of additional information data may be recorded. Furthermore, the storage unit 411 stores various parameters, intermediate processes, and various databases and programs that need to be saved when the image display apparatus 40 according to the present embodiment performs some processing. Are recorded as appropriate.

以上、本実施形態に係る画像表示装置４０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。   Heretofore, an example of the function of the image display device 40 according to the present embodiment has been shown. Each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component. In addition, the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.

なお、上述のような本実施形態に係る画像表示装置４０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。   A computer program for realizing each function of the image display apparatus 40 according to the present embodiment as described above can be produced and installed in a personal computer or the like. In addition, a computer-readable recording medium storing such a computer program can be provided. The recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.

次に、図５〜図７を参照しながら、本実施形態における画像表示方法の概要について説明する。そして、かかる機能を実現するための表示制御部４０５を中心とした画像表示装置４０の機能構成について、図８を用いて説明する。   Next, an overview of the image display method in the present embodiment will be described with reference to FIGS. Then, a functional configuration of the image display apparatus 40 centering on the display control unit 405 for realizing such functions will be described with reference to FIG.

まず、図５を参照すると、顕微鏡画像表示領域の表示の一例が示されている。この顕微鏡画像表示領域の表示は、ユーザ操作に応じて表示制御部４０５が制御することにより、指定された箇所を拡大したり、縮小したり、あるいは表示する領域を上下左右に動かすことができる。図５（ａ）を参照すると、顕微鏡画像表示領域は、番号が振られた複数の矩形領域である顕微鏡画像が存在する領域と、符号ＢＬ１で示される顕微鏡画像が存在しない領域とが含まれる。上述の通り、顕微鏡画像は、データ量の削減のために、サンプルが存在する領域のみを選択的に撮像している。このため、顕微鏡画像が存在しない領域ＢＬ１が含まれる。   First, referring to FIG. 5, an example of display of a microscope image display area is shown. The display of the microscope image display area is controlled by the display control unit 405 according to a user operation, so that the designated portion can be enlarged or reduced, or the display area can be moved up, down, left, or right. Referring to FIG. 5A, the microscope image display region includes a region where a microscope image which is a plurality of numbered rectangular regions exists and a region where a microscope image indicated by reference numeral BL1 does not exist. As described above, the microscope image selectively captures only the region where the sample exists in order to reduce the data amount. For this reason, the region BL1 in which no microscopic image exists is included.

また、図５（ｂ）を参照すると、図５（ａ）を拡大した状態の顕微鏡画像表示領域が示される。ここで、顕微鏡画像が存在する領域中は、顕微鏡画像中のサンプル部分に該当する領域と、サンプル部分に該当しない領域ＢＬ２とに分けることができる。   Further, referring to FIG. 5B, a microscopic image display area in an enlarged state of FIG. 5A is shown. Here, the region where the microscopic image exists can be divided into a region corresponding to the sample portion in the microscopic image and a region BL2 not corresponding to the sample portion.

本実施形態に係る画像表示装置４０は、顕微鏡画像表示領域を、サンプルに対応する部分からなる第１の領域と、サンプルに対応する部分を含まない第２の領域とに分ける。上述されたとおり、観察者の観察対象はサンプル部分である。しかし、観察対象であるサンプルは、多くの場合一定の形状を有しておらず、サンプル毎に形状が異なる。即ち、この第２の領域の形状及びサイズも、サンプル毎に異なる場合が多い。そこで、画像表示装置４０は、この第２の領域に、顕微鏡画像に付随する付加的な情報である付加情報を表示させることによって、サンプル部分に該当しない領域を有効に利用しようとするものである。   The image display device 40 according to the present embodiment divides the microscope image display area into a first area composed of a part corresponding to the sample and a second area not including a part corresponding to the sample. As described above, the observation target of the observer is the sample portion. However, in many cases, the sample to be observed does not have a fixed shape, and the shape differs from sample to sample. That is, the shape and size of the second region are often different for each sample. Therefore, the image display device 40 is intended to effectively use an area that does not correspond to the sample portion by displaying additional information that is additional information accompanying the microscope image in the second area. .

例えば、図６に示すように、画像表示装置４０は、顕微鏡画像表示領域中において表示する顕微鏡画像が存在しない領域ＢＬ１部分に付加情報ＡＤＤを表示させてもよい。付加情報ＡＤＤは、例えば図６（ａ）のように倍率の低い表示状態や、図６（ｂ）のようにサンプルＳＰＬの端部に近い領域が表示されている状態において表示される。図６（ｃ）に示されるように、観察倍率の高い状態においては表示されないようにしてもよい。   For example, as illustrated in FIG. 6, the image display device 40 may display the additional information ADD in a region BL1 where there is no microscope image to be displayed in the microscope image display region. The additional information ADD is displayed, for example, in a display state with a low magnification as shown in FIG. 6A or in a state where an area close to the end of the sample SPL is displayed as shown in FIG. 6B. As shown in FIG. 6C, it may not be displayed in a state where the observation magnification is high.

また、図７に示すように、画像表示装置４０は、顕微鏡画像中のサンプル部分に該当しない領域も合わせて第２の領域と判定し（即ち、図５の符号ＢＬ１及びＢＬ２で示される領域を合わせて第２の領域とする。）、かかる第２の領域に付加情報ＡＤＤを表示させてもよい。   Further, as shown in FIG. 7, the image display device 40 determines that the region that does not correspond to the sample portion in the microscope image is also the second region (that is, the regions indicated by the symbols BL1 and BL2 in FIG. 5). The additional area ADD may be displayed in the second area.

かかる機能を実現するための画像表示装置４０の詳細な構成について、図８を参照しながら説明する。図８を参照すると、表示制御部４０５は、表示画面生成部４２１と、領域判定部４２３と、色彩情報生成部４２５と、付加情報選択部４２７との機能を主に有する。   A detailed configuration of the image display device 40 for realizing such a function will be described with reference to FIG. Referring to FIG. 8, the display control unit 405 mainly has functions of a display screen generation unit 421, an area determination unit 423, a color information generation unit 425, and an additional information selection unit 427.

表示画面生成部４２１は、顕微鏡画像表示領域を含む表示画面を生成する機能を有する。表示画面生成部４２１は、例えば、顕微鏡画像取得部４０３が画像管理サーバ３０から取得した顕微鏡画像を用いて、ユーザ操作情報取得部４０１から入力される操作情報に基づいて表示画面を生成する。このとき、表示画面生成部４２１は、顕微鏡画像取得部４０３から直接入力された顕微鏡画像を用いてもよい。また、表示画面生成部４２１は、顕微鏡画像取得部４０３が記憶部４１１に記憶した顕微鏡画像を用いてもよい。また、表示画面生成部４２１は、顕微鏡画像表示領域中において、上述した第２の領域に付加情報を表示する表示画面を生成することができる。   The display screen generation unit 421 has a function of generating a display screen including a microscope image display area. For example, the display screen generation unit 421 generates a display screen based on operation information input from the user operation information acquisition unit 401 using the microscope image acquired by the microscope image acquisition unit 403 from the image management server 30. At this time, the display screen generation unit 421 may use a microscope image directly input from the microscope image acquisition unit 403. Further, the display screen generation unit 421 may use a microscope image stored in the storage unit 411 by the microscope image acquisition unit 403. In addition, the display screen generation unit 421 can generate a display screen that displays additional information in the above-described second region in the microscope image display region.

表示画面生成部４２１は、少なくとも顕微鏡画像表示領域を含む表示画面を生成すると、領域判定部４２３及び色彩情報生成部４２５に生成した表示画面を入力するとともに、顕微鏡画像表示領域に表示している顕微鏡画像に付随して取得されるメタデータを、サンプルを特徴づけるサンプル特徴情報として付加情報取得部４０７に入力する。   When the display screen generation unit 421 generates a display screen including at least a microscope image display region, the display screen generation unit 421 inputs the generated display screen to the region determination unit 423 and the color information generation unit 425 and also displays the microscope displayed in the microscope image display region. Metadata acquired along with the image is input to the additional information acquisition unit 407 as sample feature information that characterizes the sample.

そして、表示画面生成部４２１は、付加情報選択部４２７により選択された付加情報を第２の領域に含む表示画面を生成する。   Then, the display screen generation unit 421 generates a display screen that includes the additional information selected by the additional information selection unit 427 in the second area.

領域判定部４２３は、表示画面生成部４２１が生成する表示画面の顕微鏡画像表示領域において、サンプルに対応する部分からなる第１の領域と、サンプルに対応する部分を含まない第２の領域とのいずれであるかを判定する機能を有する。領域判定部４２３は、上述の通り、顕微鏡画像表示領域の中で、表示する顕微鏡画像が存在しない領域（図５のＢＬ１）を第２の領域とする。また、領域判定部４２３は、顕微鏡画像表示領域に表示される顕微鏡画像の中で、サンプルに対応する部分に該当しない領域も合わせて第２の領域であると判定してもよい。   The region determination unit 423 includes a first region including a portion corresponding to a sample and a second region not including a portion corresponding to the sample in the microscope image display region of the display screen generated by the display screen generation unit 421. It has a function of determining which one. As described above, the region determination unit 423 sets a region (BL1 in FIG. 5) in which no microscopic image to be displayed exists in the microscopic image display region as the second region. Further, the region determination unit 423 may determine that the region that does not correspond to the portion corresponding to the sample in the microscope image displayed in the microscope image display region is also the second region.

色彩情報生成部４２５は、顕微鏡画像表示領域に表示される顕微鏡画像の色彩の特徴を示す色彩情報を生成する機能を有する。例えば、この色彩情報は、顕微鏡画像の色彩情報に基づいて、顕微鏡画像表示領域の第２の領域に表示される付加情報を選択するために用いられる。即ち、この色彩情報は、後述される付加情報管理サーバ５０の抽出部５１３が画像表示装置４０に提供する付加情報を選択するとき、或いは、画像表示装置４０の付加情報選択部４２７が、第２の領域に表示する付加情報を選択するときに用いられる。   The color information generation unit 425 has a function of generating color information indicating the color characteristics of the microscope image displayed in the microscope image display area. For example, the color information is used to select additional information displayed in the second area of the microscope image display area based on the color information of the microscope image. That is, the color information is selected by the additional information selection unit 427 of the image display device 40 when the extraction unit 513 of the additional information management server 50 to be described later selects additional information to be provided to the image display device 40. This is used when selecting additional information to be displayed in the area.

具体的には、抽出部５１３及び付加情報選択部４２７は、対象となる第２の領域の周りの顕微鏡画像の色彩と付加情報の色彩とを並べたときに付加情報が人目を引くような色彩の組み合わせとなるように付加情報を選択してもよい。或いは、抽出部５１３及び付加情報選択部４２７は、観察者のサンプル観察行為の邪魔とならないように、付加情報に対して顕微鏡画像が際立つような色彩の組み合わせとなるように、付加情報を選択してもよい。   Specifically, the extraction unit 513 and the additional information selection unit 427 make the color in which the additional information catches the eye when the color of the microscopic image around the target second region and the color of the additional information are arranged. The additional information may be selected so that Alternatively, the extraction unit 513 and the additional information selection unit 427 select additional information so that a combination of colors such that the microscope image stands out with respect to the additional information does not interfere with the observer's sample observation action. May be.

付加情報選択部４２７は、付加情報取得部４０７により取得された付加情報の中から、対象とする第２の領域に表示させる付加情報を選択する機能を有する。付加情報選択部４２７は、選択した付加情報に関する情報を表示画面生成部４２１に入力する。付加情報選択部４２７は、領域判定部４２３の判定に基づいた、対象とする第２の領域のサイズを示す情報、顕微鏡画像表示領域に表示されているサンプルを特徴づけるサンプル特徴情報、及び、画像表示装置４０を操作しているユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて、付加情報を選択する。   The additional information selection unit 427 has a function of selecting additional information to be displayed in the target second area from the additional information acquired by the additional information acquisition unit 407. The additional information selection unit 427 inputs information regarding the selected additional information to the display screen generation unit 421. The additional information selection unit 427 is based on the determination of the region determination unit 423, information indicating the size of the target second region, sample feature information that characterizes the sample displayed in the microscope image display region, and an image The additional information is selected based on at least one of the user characteristic information that characterizes the user who is operating the display device 40.

付加情報選択部４２７は、表示画面の顕微鏡画像表示領域の表示状態が変わる毎に、表示させる付加情報を選択する。すなわち、顕微鏡画像表示領域の表示状態が変化すると、第２の領域の大きさ及び位置は変化する。このため、付加情報選択部４２７は、表示状態が変化する毎に表示する付加情報を選択する。   The additional information selection unit 427 selects additional information to be displayed every time the display state of the microscope image display area on the display screen changes. That is, when the display state of the microscope image display area changes, the size and position of the second area change. For this reason, the additional information selection unit 427 selects additional information to be displayed every time the display state changes.

付加情報取得部４０７は、顕微鏡画像表示領域に表示されているサンプルを特徴づけるサンプル特徴情報を表示制御部４０５から取得して、付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、記憶部４１１に記憶されたユーザ情報を取得し、付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、色彩情報生成部４２５により生成される色彩情報を付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、領域判定部４２３により第２の領域と判定された領域のサイズを示す情報を生成して付加情報管理サーバ５０に送信してもよい。付加情報取得部４０７は、送信した情報に基づいて付加情報管理サーバ５０が選択した付加情報を取得して表示制御部４０５に入力する。   The additional information acquisition unit 407 may acquire sample characteristic information characterizing the sample displayed in the microscope image display area from the display control unit 405 and transmit the sample characteristic information to the additional information management server 50. Further, the additional information acquisition unit 407 may acquire the user information stored in the storage unit 411 and transmit it to the additional information management server 50. Further, the additional information acquisition unit 407 may transmit the color information generated by the color information generation unit 425 to the additional information management server 50. Further, the additional information acquisition unit 407 may generate information indicating the size of the area determined as the second area by the area determination unit 423 and transmit the information to the additional information management server 50. The additional information acquisition unit 407 acquires additional information selected by the additional information management server 50 based on the transmitted information and inputs the additional information to the display control unit 405.

付加情報取得部４０７は、顕微鏡画像表示領域中に複数の第２の領域が存在する場合には、そのそれぞれについて付加情報管理サーバ５０に付加情報の取得要求を送信してもよい。或いは、複数の第２の領域について、まとめて付加情報の取得要求が送信されてもよい。   When there are a plurality of second areas in the microscope image display area, the additional information acquisition unit 407 may transmit an additional information acquisition request to the additional information management server 50 for each of the second areas. Or the acquisition request of additional information may be transmitted collectively about several 2nd area | region.

また、付加情報取得部４０７は、上記実施形態においては、表示画面の顕微鏡画像表示領域の表示状態が変わる毎に、付加情報管理サーバ５０から付加情報を取得する構成としたが、本発明はかかる例に限定されない。例えば、付加情報取得部４０７は、画像表示装置４０の起動時に、まとめて付加情報管理サーバ５０から付加情報を取得して、取得した付加情報を記憶部４１１に記憶しておいてもよい。この場合、付加情報選択部４２７が顕微鏡画像表示領域の表示状態に応じた付加情報を選択する。この付加情報は、例えば日次の更新処理が行われる。   Further, in the above-described embodiment, the additional information acquisition unit 407 is configured to acquire additional information from the additional information management server 50 each time the display state of the microscope image display area on the display screen changes. It is not limited to examples. For example, the additional information acquisition unit 407 may collectively acquire additional information from the additional information management server 50 when the image display device 40 is activated, and store the acquired additional information in the storage unit 411. In this case, the additional information selection unit 427 selects additional information according to the display state of the microscope image display area. This additional information is subjected to, for example, a daily update process.

或いは、付加情報取得部４０７は、サンプル特徴情報を付加情報管理サーバ５０に送信して、観察対象となるサンプルの変更タイミングで付加情報をまとめて取得してもよい。かかる場合においても、ユーザ操作に応じた表示状態変更のタイミングでは、付加情報選択部４２７が表示させる付加情報を選択する。この他、付加情報を取得するタイミングや諸条件については、各種の変形例を用いることが可能である。   Alternatively, the additional information acquisition unit 407 may transmit the sample feature information to the additional information management server 50 and acquire the additional information collectively at the change timing of the sample to be observed. Even in such a case, the additional information to be displayed by the additional information selection unit 427 is selected at the timing of the display state change according to the user operation. In addition, various modifications can be used for the timing and various conditions for acquiring additional information.

＜６．付加情報管理サーバの構成＞
次に、図４及び図９を参照しながら付加情報管理サーバ５０の構成について説明する。図９は、付加情報管理サーバ５０の付加情報管理部５０３の詳細な機能を説明するためのブロック図である。 <6. Configuration of additional information management server>
Next, the configuration of the additional information management server 50 will be described with reference to FIGS. 4 and 9. FIG. 9 is a block diagram for explaining detailed functions of the additional information management unit 503 of the additional information management server 50.

まず図４を参照すると、付加情報管理サーバ５０は、通信制御部５０１と、付加情報管理部５０３と、記憶部５０５とを主に有する。図９を参照すると、付加情報管理部５０３は、抽出部５１３と、履歴情報生成部５１５と、課金処理部５１７との機能を主に有する。   First, referring to FIG. 4, the additional information management server 50 mainly includes a communication control unit 501, an additional information management unit 503, and a storage unit 505. Referring to FIG. 9, the additional information management unit 503 mainly has functions of an extraction unit 513, a history information generation unit 515, and a charging processing unit 517.

通信制御部５０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。通信制御部５０１は、付加情報管理サーバ５０と、付加情報管理サーバ５０の外部に設けられた画像表示装置４０との間で、ネットワーク３を介して行われる通信の制御を行う。   The communication control unit 501 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like. The communication control unit 501 controls communication performed via the network 3 between the additional information management server 50 and the image display device 40 provided outside the additional information management server 50.

付加情報管理部５０３は、記憶部５０５に記憶される付加情報に関する各種の操作を制御する機能を有する。付加情報管理部５０３は、画像表示装置からの要求に応じて、記憶部５０５の中から画像表示装置４０に提供する付加情報を抽出する抽出部５１３の機能を有する。このとき抽出部５１３は、画像表示装置４０から付加情報の取得要求と共に送信される各種の情報に基づいて付加情報を抽出することができる。或いは、抽出部５１３は、付加情報の取得要求に特に提供する付加情報を選択する条件が含まれない場合には、記憶される全ての付加情報を抽出して画像表示装置に提供してもよい。   The additional information management unit 503 has a function of controlling various operations related to additional information stored in the storage unit 505. The additional information management unit 503 has a function of an extraction unit 513 that extracts additional information provided to the image display device 40 from the storage unit 505 in response to a request from the image display device. At this time, the extraction unit 513 can extract additional information based on various types of information transmitted from the image display device 40 together with the additional information acquisition request. Alternatively, the extraction unit 513 may extract all stored additional information and provide it to the image display device when the additional information acquisition request does not include a condition for selecting additional information to be provided. .

また、付加情報管理部５０３は、画像表示装置に提供した付加情報の履歴情報を生成する履歴情報生成部５１５の機能を有していてもよい。この履歴情報は、例えば抽出部５１３が画像表示装置４０に対して提供した付加情報のデータ量、回数などの情報がユーザＩＤと対応づけて記憶されてもよい。或いは、付加情報毎に提供されたデータ量及び回数が記憶されてもよい。また、履歴情報は、抽出部５１３により提供された後、画像表示装置４０において表示されたか否か、表示された場合には表示時間、及び、表示された付加情報をユーザがクリックすることによりより詳細な情報がブラウザ等により提供される場合には、かかるクリック操作の有無の情報が含まれていてもよい。この場合には、履歴情報生成部５１５は、画像表示装置４０の表示制御部４０５からかかる情報を取得することにより履歴情報を生成することができる。また、付加情報管理部５０３は、履歴情報に基づいて、付加情報を提供する者（例えば、広告主）毎に課金金額を集計する課金処理部５１７の機能を有することができる。   Further, the additional information management unit 503 may have a function of a history information generation unit 515 that generates history information of additional information provided to the image display device. As the history information, for example, information such as the data amount and the number of times of additional information provided by the extraction unit 513 to the image display device 40 may be stored in association with the user ID. Alternatively, the data amount and the number of times provided for each additional information may be stored. Further, after the history information is provided by the extraction unit 513, whether or not the history information is displayed on the image display device 40, if displayed, the display time, and the user clicks on the displayed additional information. When detailed information is provided by a browser or the like, information on the presence or absence of such a click operation may be included. In this case, the history information generation unit 515 can generate history information by acquiring such information from the display control unit 405 of the image display device 40. Further, the additional information management unit 503 can have a function of a billing processing unit 517 that counts a billing amount for each person (for example, an advertiser) who provides the additional information based on the history information.

このように、付加情報管理サーバ５０は、画像表示装置４０の要求に応じて付加情報を提供する機能だけでなく、提供された付加情報に関する履歴情報を生成する機能を有する。このため、付加情報管理サーバ５０を運営する事業者は、付加情報を提供する者から情報表示料を徴収するための情報を得ることができる。この情報に基づいて付加情報を提供する者から情報表示料を徴収すれば、顕微鏡画像管理システムの運営事業者は、ビューワー装置を安価又は無償にて医療関係者などのユーザに提供又はリースすることが可能となる。   As described above, the additional information management server 50 has not only a function of providing additional information in response to a request from the image display device 40 but also a function of generating history information related to the provided additional information. For this reason, the business operator who operates the additional information management server 50 can obtain information for collecting the information display fee from the person who provides the additional information. If an information display fee is collected from the person who provides the additional information based on this information, the operator of the microscope image management system can provide or lease the viewer device to a user such as a medical staff at low cost or free of charge. Is possible.

記憶部５０５は、本実施形態に係る付加情報管理サーバ５０が備えるストレージ装置の一例である。記憶部５０５には、画像表示装置４０に提供するための付加情報や、付加情報の提供に関する履歴情報が格納される。さらに、記憶部５０５には、本実施形態に係る付加情報管理サーバ５０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。   The storage unit 505 is an example of a storage device provided in the additional information management server 50 according to the present embodiment. The storage unit 505 stores additional information to be provided to the image display device 40 and history information regarding provision of the additional information. Further, the additional information management server 50 according to the present embodiment stores in the storage unit 505 various parameters that need to be saved when performing some processing, the progress of the processing, various databases, programs, and the like. Are recorded as appropriate.

ここで、付加情報は、画像表示装置４０において、顕微鏡画像と付随して提供される情報である。例えば、付加情報は、医療機器又は医薬品の広告情報、学会記事、最新論文、又は厚生労働省からの通達など、観察対象と関連する情報であることが望ましい。画像表示装置４０においては、この記憶部５０５に記憶される付加情報の中から、抽出部５１３又は画像表示装置４０の付加情報選択部４２７において選択される付加情報が表示される。このとき、抽出部５１３又は付加情報選択部４２７は、観察対象であるサンプル又はユーザ個人を特徴づける情報に基づいて表示される付加情報を選択するため、ユーザは、観察対象のサンプル又はユーザ自身に関連する付加情報を得ることができる。   Here, the additional information is information provided along with the microscope image in the image display device 40. For example, it is desirable that the additional information is information related to the observation target, such as advertisement information on medical devices or medicines, academic articles, latest papers, or notifications from the Ministry of Health, Labor and Welfare. In the image display device 40, additional information selected by the extraction unit 513 or the additional information selection unit 427 of the image display device 40 from the additional information stored in the storage unit 505 is displayed. At this time, since the extraction unit 513 or the additional information selection unit 427 selects additional information to be displayed based on information that characterizes the sample to be observed or the individual user, the user selects the sample to be observed or the user himself / herself. Related additional information can be obtained.

また、付加情報は、付加情報管理サーバ５０によって一元的に管理されており、付加情報の提供事業者等によって、時々刻々と削除、更新、新規追加などの処理がなされている。付加情報は、付加情報管理サーバ５０により都度最新の状態に更新されており、画像表示装置４０は、表示毎に、又は適切な頻度でこの付加情報管理サーバ５０から付加情報を取得して表示画面内に付加情報を表示する。このため、表示される付加情報は、表示される顕微鏡画像の撮像日次に影響されず、この顕微鏡画像を表示する時点において最新の情報がユーザに提供される。   Further, the additional information is centrally managed by the additional information management server 50, and processing such as deletion, update, and new addition is performed from time to time by a provider of additional information. The additional information is updated to the latest state each time by the additional information management server 50, and the image display device 40 acquires the additional information from the additional information management server 50 at every display or at an appropriate frequency, and displays the display screen. Additional information is displayed inside. For this reason, the additional information to be displayed is not affected by the imaging date of the displayed microscope image, and the latest information is provided to the user at the time of displaying the microscope image.

＜７．顕微鏡画像表示の流れ＞
次に、図１０を用いて、本実施形態に係る顕微鏡画像表示の流れについて説明する。まず、顕微鏡画像取得部４０３は、ユーザ操作によって指定されたサンプルの顕微鏡画像と、顕微鏡画像に付随するメタデータとを画像管理サーバ３０から取得する（Ｓ１０１）。このとき、例えば画像表示装置４０は、画像管理サーバ３０から、提供されるサンプルのリストを取得して取得したリストを表示画面に表示し、かかるリストの中からユーザが選択したサンプルについての顕微鏡画像取得要求を画像管理サーバ３０に送信することによって、顕微鏡画像等を取得する。 <7. Flow of microscope image display>
Next, the flow of microscopic image display according to the present embodiment will be described with reference to FIG. First, the microscope image acquisition unit 403 acquires from the image management server 30 a sample microscope image specified by a user operation and metadata associated with the microscope image (S101). At this time, for example, the image display device 40 acquires a list of provided samples from the image management server 30 and displays the acquired list on the display screen, and a microscope image of the sample selected by the user from the list. By sending an acquisition request to the image management server 30, a microscope image or the like is acquired.

次に、表示制御部４０５は、ユーザから終了操作がなされたか否かを判断する（Ｓ１０３）。終了操作がなされたと判断された場合には、本表示動作は終了する。一方、終了操作が検出されない場合には、終了操作が検出されるまで以下のステップＳ１０５〜ステップＳ１１３の動作が繰り返される。   Next, the display control unit 405 determines whether an end operation has been performed by the user (S103). When it is determined that the end operation has been performed, the display operation ends. On the other hand, when the end operation is not detected, the following operations in steps S105 to S113 are repeated until the end operation is detected.

次に、表示制御部４０５は、ユーザ操作に応じて、ステップＳ１０１において取得された顕微鏡画像から表示画面を生成する（Ｓ１０５）。具体的には、表示画面中の顕微鏡画像表示領域に、取得した顕微鏡画像のうちユーザ操作により指定された領域の顕微鏡画像を表示させる。   Next, the display control unit 405 generates a display screen from the microscope image acquired in step S101 in response to a user operation (S105). Specifically, the microscope image of the area designated by the user operation among the acquired microscope images is displayed in the microscope image display area in the display screen.

そして、生成された表示画面の顕微鏡画像表示領域を解析して余白領域を抽出する（Ｓ１０７）。余白領域とは、上述の第２の領域のことであり、サンプルに対応する部分に該当しない領域をいう。   Then, the microscopic image display area of the generated display screen is analyzed to extract a blank area (S107). The blank area is the above-described second area, which is an area that does not correspond to the portion corresponding to the sample.

次に、付加情報取得部４０７は、付加情報を取得する（Ｓ１０９）。このとき、付加情報取得部４０７は、ユーザ特徴情報、サンプル特徴情報、又は顕微鏡画像表示領域の表示状態を示す表示状態情報の少なくともいずれかを付加情報管理サーバ５０に送信して、これらの情報に基づいて選択された付加情報を取得する。   Next, the additional information acquisition unit 407 acquires additional information (S109). At this time, the additional information acquisition unit 407 transmits at least one of the user feature information, the sample feature information, or the display state information indicating the display state of the microscope image display area to the additional information management server 50, and includes these information. The additional information selected based on the information is acquired.

すると、付加情報選択部４２７は、付加情報取得部４０７により取得された付加情報の中から、顕微鏡画像表示領域のうちサンプルに対応する部分に該当しない第２の領域に表示する付加情報を選択する（Ｓ１１１）。なお、このステップＳ１１１の動作については、付加情報取得部４０７が常に第２の領域毎の付加情報を取得する場合には省略することが可能である。   Then, the additional information selection unit 427 selects, from the additional information acquired by the additional information acquisition unit 407, additional information to be displayed in the second region that does not correspond to the portion corresponding to the sample in the microscope image display region. (S111). The operation in step S111 can be omitted when the additional information acquisition unit 407 always acquires additional information for each second area.

そして、表示画面生成部４２１は、選択された付加情報を第２の領域に含む表示画面を生成して、この表示画面の表示を制御する（Ｓ１１３）。   Then, the display screen generation unit 421 generates a display screen including the selected additional information in the second area, and controls the display of this display screen (S113).

＜８．まとめ＞
以上説明したように、本実施形態に係る画像表示システム２によれば、顕微鏡画像を表示する領域において、サンプルが表示される部分以外の無駄となっていた第２の領域を利用して付加情報を提供することができる。観察対象とされるサンプルは、サンプル毎に異なる形状を有しており、ユーザ操作に応じて表示状態が変更される毎にこの第２の領域の形状及びサイズは変化する。画像表示装置４０は、第２の領域を判定する構成を有しているため、表示状態の変化に応じた付加情報をユーザに提供することができる。また、付加情報管理サーバ５０は、この付加情報の提供履歴情報を生成する機能を有するため、付加情報の情報表示料を徴収することにより、画像表示のためのソフトウェアを安価又は無償にて提供することが可能となる。 <8. Summary>
As described above, according to the image display system 2 according to the present embodiment, in the region for displaying the microscopic image, the additional information is utilized by using the second region that is wasted other than the portion where the sample is displayed. Can be provided. The sample to be observed has a different shape for each sample, and the shape and size of the second region change each time the display state is changed according to a user operation. Since the image display device 40 has a configuration for determining the second region, it is possible to provide the user with additional information according to a change in the display state. Further, since the additional information management server 50 has a function of generating this additional information provision history information, it collects an information display fee for the additional information, thereby providing image display software at a low cost or free of charge. It becomes possible.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。   In this specification, the steps described in the flowcharts are executed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series in the described order. Including processing to be performed. Further, it goes without saying that the order can be appropriately changed even in the steps processed in time series.

１ 顕微鏡画像管理システム
２ 画像表示システム
３ ネットワーク
１０ 顕微鏡
２０ 顕微鏡制御装置
３０ 画像管理サーバ
４０ 画像表示装置
５０ 付加情報管理サーバ
４０１ ユーザ操作情報取得部
４０３ 顕微鏡画像取得部
４０５ 表示制御部
４０７ 付加情報取得部
４０９ 通信制御部
４１１ 記憶部
４２１ 表示画面生成部
４２３ 領域判定部
４２７ 付加情報選択部
４２５ 色彩情報生成部
５０３ 付加情報管理部
５１３ 抽出部
５１５ 履歴情報生成部
５１７ 課金処理部
DESCRIPTION OF SYMBOLS 1 Microscope image management system 2 Image display system 3 Network 10 Microscope 20 Microscope control apparatus 30 Image management server 40 Image display apparatus 50 Additional information management server 401 User operation information acquisition part 403 Microscope image acquisition part 405 Display control part 407 Additional information acquisition part 409 Communication control unit 411 Storage unit 421 Display screen generation unit 423 Area determination unit 427 Additional information selection unit 425 Color information generation unit 503 Additional information management unit 513 Extraction unit 515 History information generation unit 517 Charge processing unit

Claims (14)

顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を備える、画像表示装置。 A microscope image acquisition unit for acquiring a microscope image including an enlarged image of a sample imaged by a microscope;
A display control unit configured to control display of a microscopic image display region including a first region including the portion corresponding to the sample and the second region not including the portion corresponding to the sample; ,
An additional information acquisition unit configured to acquire additional information displayed in the second area and additionally provided to the user;
An image display device comprising: 前記付加情報取得部は、前記サンプルを特徴づけるサンプル特徴情報、及び、前記ユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて選択された前記付加情報を取得する、請求項１に記載の画像表示装置。   The image according to claim 1, wherein the additional information acquisition unit acquires the additional information selected based on at least one of sample feature information that characterizes the sample and user feature information that characterizes the user. Display device. 前記付加情報取得部は、前記顕微鏡画像表示領域の表示状態に関する表示状態情報に基づいて選択された前記付加情報を取得する、請求項１又は２のいずれかに記載の画像表示装置。   The image display device according to claim 1, wherein the additional information acquisition unit acquires the additional information selected based on display state information related to a display state of the microscope image display area. 前記表示状態情報は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像の色彩の特徴を示す色彩情報を含む、請求項３に記載の画像表示装置。   The image display device according to claim 3, wherein the display state information includes color information indicating a color characteristic of the microscope image displayed in the microscope image display region. 前記表示状態情報は、前記第２の領域の形状を示す情報を含む、請求項３に記載の画像表示装置。   The image display device according to claim 3, wherein the display state information includes information indicating a shape of the second region. 前記表示制御部は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像から前記第２の領域を判定する領域判定部をさらに有し、
前記領域判定部は、前記顕微鏡画像表示領域のうち表示する前記顕微鏡画像が存在しない領域を前記第２の領域と判定する、請求項１に記載の画像表示装置。 The display control unit further includes a region determination unit that determines the second region from the microscope image displayed in the microscope image display region,
The image display device according to claim 1, wherein the region determination unit determines that a region where the microscope image to be displayed does not exist in the microscope image display region is the second region. 前記領域判定部は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像のうち前記サンプル部分に該当しない領域をさらに前記第２の領域と判定する、請求項６に記載の画像表示装置。   The image display device according to claim 6, wherein the region determination unit further determines a region that does not correspond to the sample portion in the microscope image displayed in the microscope image display region as the second region. 前記表示制御部は、前記付加情報取得部が取得する付加情報から前記第２の領域に表示する付加情報を選択する付加情報選択部をさらに有する、請求項１に記載の画像表示装置。   The image display device according to claim 1, wherein the display control unit further includes an additional information selection unit that selects additional information to be displayed in the second area from additional information acquired by the additional information acquisition unit. 顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像に付随して、ユーザに付加的に提供される付加情報を記憶する記憶部と、
前記顕微鏡画像を表示する画像表示装置からの要求に応じて、前記記憶部の中から前記画像表示装置に提供する付加情報を抽出する抽出部と、
を備える、付加情報管理サーバ。 A storage unit that stores additional information additionally provided to the user accompanying a microscope image including an enlarged image of the sample imaged by the microscope;
In response to a request from the image display device that displays the microscope image, an extraction unit that extracts additional information to be provided to the image display device from the storage unit;
An additional information management server. 前記抽出部は、前記画像表示装置から送信される、前記サンプルを特徴づけるサンプル特徴情報、前記ユーザを特徴づけるユーザ特徴情報、前記顕微鏡画像表示領域の表示状態に関する表示状態情報の少なくともいずれかに基づいて前記付加情報を選択する、請求項９に記載の付加情報管理サーバ。   The extraction unit is based on at least one of sample feature information that characterizes the sample, user feature information that characterizes the user, and display state information related to a display state of the microscope image display area, which is transmitted from the image display device. The additional information management server according to claim 9, wherein the additional information is selected. 前記付加情報の提供に関する履歴情報を生成する履歴情報生成部をさらに備える、請求項９または１０のいずれかに記載の付加情報管理サーバ。   The additional information management server according to claim 9, further comprising a history information generation unit that generates history information regarding provision of the additional information. 顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を有する画像表示装置と、
前記付加情報を記憶部と、
前記画像表示装置からの要求に応じて、前記記憶部の中から前記画像表示装置に提供する付加情報を抽出する抽出部と、
を有する付加情報管理サーバと、
を備える、画像表示システム。 A microscope image acquisition unit for acquiring a microscope image including an enlarged image of a sample imaged by a microscope;
A display control unit configured to control display of a microscopic image display region including a first region including the portion corresponding to the sample and the second region not including the portion corresponding to the sample; ,
An additional information acquisition unit configured to acquire additional information displayed in the second area and additionally provided to the user;
An image display device comprising:
A storage unit for storing the additional information;
In response to a request from the image display device, an extraction unit that extracts additional information to be provided to the image display device from the storage unit;
An additional information management server having
An image display system comprising: 顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を表示する画像表示装置が、
前記顕微鏡画像を取得するステップと、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得するステップと、
前記付加情報を前記第２の領域に含む前記顕微鏡画像表示領域の表示を制御するステップと、
を含む、画像表示方法。 An image display device that displays a microscope image including an enlarged image of a sample imaged by a microscope,
Obtaining the microscope image;
The microscope image is displayed and displayed in the second area of the microscope image display area including a first area including a portion corresponding to the sample and a second area not including the portion corresponding to the sample. Obtaining additional information additionally provided to the user;
Controlling the display of the microscope image display area including the additional information in the second area;
An image display method including: コンピュータを、
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を備える、画像表示装置として機能させるためのプログラム。
Computer
A microscope image acquisition unit for acquiring a microscope image including an enlarged image of a sample imaged by a microscope;
A display control unit configured to control display of a microscopic image display region including a first region including the portion corresponding to the sample and the second region not including the portion corresponding to the sample; ,
An additional information acquisition unit configured to acquire additional information displayed in the second area and additionally provided to the user;
A program for functioning as an image display device.
JP2010179693A 2010-08-10 2010-08-10 Image display device, additional information management server, image display system, image display method, and program Withdrawn JP2012038209A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010179693A JP2012038209A (en) 2010-08-10 2010-08-10 Image display device, additional information management server, image display system, image display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010179693A JP2012038209A (en) 2010-08-10 2010-08-10 Image display device, additional information management server, image display system, image display method, and program

Publications (1)

Publication Number Publication Date
JP2012038209A true JP2012038209A (en) 2012-02-23

Family

ID=45850120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010179693A Withdrawn JP2012038209A (en) 2010-08-10 2010-08-10 Image display device, additional information management server, image display system, image display method, and program

Country Status (1)

Country Link
JP (1) JP2012038209A (en)

Similar Documents

Publication Publication Date Title
JP5655557B2 (en) Microscope control device, image display device, image management server, focus position information generation method, image display method, image management method, and microscope image management system
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
CN110476101B (en) Augmented reality microscope for pathology
JP6313325B2 (en) Selection and display of biomarker expression
JP6348504B2 (en) Biological sample split screen display and system and method for capturing the records
US11636627B2 (en) System for histological examination of tissue specimens
JP5663979B2 (en) Image management server, image display device, image providing method, image acquisition method, program, and image management system
JP5560966B2 (en) Microscope control apparatus, image management server, image processing method, program, and image management system
US20120327211A1 (en) Diagnostic information distribution device and pathology diagnosis system
JP7183286B2 (en) Digital pathology scanning interface and workflow
WO2014165989A1 (en) Method and apparatus for small and large format histology sample examination
WO2016189469A1 (en) A method for medical screening and a system therefor
JP5466976B2 (en) Microscope system, observation image display method, program
JP2012038209A (en) Image display device, additional information management server, image display system, image display method, and program
CN116235223A (en) Annotation data collection using gaze-based tracking
JP5648366B2 (en) Microscope control apparatus and region determination method
WO2022201992A1 (en) Medical image analysis device, medical image analysis method, and medical image analysis system
US20240152692A1 (en) Information processing device, information processing method, information processing system, and conversion model

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131105