JP2014222321A - 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム - Google Patents

顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム Download PDF

Info

Publication number
JP2014222321A
JP2014222321A JP2013102275A JP2013102275A JP2014222321A JP 2014222321 A JP2014222321 A JP 2014222321A JP 2013102275 A JP2013102275 A JP 2013102275A JP 2013102275 A JP2013102275 A JP 2013102275A JP 2014222321 A JP2014222321 A JP 2014222321A
Authority
JP
Japan
Prior art keywords
image
microscope system
unit
user
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013102275A
Other languages
English (en)
Other versions
JP6147080B2 (ja
Inventor
剛志 古畑
Tsuyoshi Furuhata
剛志 古畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013102275A priority Critical patent/JP6147080B2/ja
Priority to US14/263,967 priority patent/US9798129B2/en
Priority to EP14166348.4A priority patent/EP2804039B1/en
Publication of JP2014222321A publication Critical patent/JP2014222321A/ja
Application granted granted Critical
Publication of JP6147080B2 publication Critical patent/JP6147080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Abstract

【課題】貼り合わせ画像の生成時間を短縮するための技術を提供する。
【解決手段】顕微鏡システム1は、要素画像を貼り合わせて貼り合わせ画像を生成するための顕微鏡システムである。貼り合わせ画像を構成する要素画像を取得する要素画像取得部と、ユーザによって指定された試料の領域である複数のユーザ指定領域を撮像して、複数のユーザ画像を取得するユーザ画像取得部と、複数のユーザ指定領域を含む矩形領域を決定する矩形領域決定部と、矩形領域決定部により決定された矩形領域を満たすように矩形領域に格子状に配置された要素画像取得部の視野サイズを有する複数の領域の各々を、要素画像を取得する候補となる領域である候補領域として決定する候補領域決定部と、候補領域決定部で決定された複数の候補領域から要素画像を取得する要素領域を選択する要素領域選択部と、備える。
【選択図】図1

Description

本発明は、複数の画像を貼り合わせた貼り合わせ画像を生成する顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラムに関する。
顕微鏡の分野では、試料の異なる領域を撮像した複数の画像を貼り合わせることにより、装置の視野よりも広い領域を撮像した広視野画像(以降、貼り合わせ画像と記す)を生成する技術が知られている。
この技術では、貼り合わせ画像を構成する複数の画像(以降、要素画像と記す)を高倍率の対物レンズを用いて取得するほど、高解像の貼り合わせ画像が生成される。その一方で、対物レンズの倍率が高いほど、装置の視野が狭くなり要素画像の枚数が増えてしまうため、貼り合わせ画像の生成に時間が掛かってしまう。
このような技術的な課題に関連する技術は、例えば、特許文献1に開示されている。特許文献1に開示される顕微鏡画像撮影装置は、低倍率対物レンズで取得した低倍率視野サイズの画像情報を、高倍率対物レンズの視野サイズに対応する高倍率視野サイズの画像情報に分割し、それぞれの高倍率視野サイズの画像情報内に標本像が有るか否かを調査し、標本像が有ると判明した高倍率視野サイズ部分のみについて高倍率対物レンズで高精細画像情報を取得する。
従って、特許文献1に開示される技術を用いることで、高倍率対物レンズで取得する要素画像の枚数を減らすことができる。
特開2004−040356号公報
しかしながら、特許文献1に開示される顕微鏡画像撮影装置は、高倍率対物レンズで高精細画像情報(要素画像)を取得する前に、スライドガラス全面を低倍対物レンズの視野サイズで区分し、区分された各領域の画像情報を低倍率対物レンズで取得する。つまり、利用者が不要であると認識している領域であっても、低倍率対物レンズで画像情報を一律に取得し、取得した画像情報に基づいて高倍率対物レンズでの高精細画像情報(要素画像)の取得の要否が判断される。このため、高倍率対物レンズで取得する要素画像の枚数が減っているにもかかわらず、貼り合わせ画像の生成時間が十分に短縮されない。
以上のような実情を踏まえ、貼り合わせ画像の生成時間を短縮するための技術を提供することを目的とする。
本発明の第1の態様は、要素画像を貼り合わせて貼り合わせ画像を生成するための顕微鏡システムであって、前記貼り合わせ画像を構成する前記要素画像を取得する要素画像取得部と、ユーザによって指定された試料の領域である複数のユーザ指定領域を撮像して、複数のユーザ画像を取得するユーザ画像取得部と、前記複数のユーザ指定領域を含む矩形領域を決定する矩形領域決定部と、前記矩形領域決定部により決定された前記矩形領域を満たすように前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定する候補領域決定部と、前記候補領域決定部で決定された複数の候補領域から前記要素画像を取得する要素領域を選択する要素領域選択部と、備える顕微鏡システムを提供する。
本発明の第2の態様は、第1の態様に記載の顕微鏡システムにおいて、前記要素領域選択部は、前記候補領域決定部で決定された複数の候補領域のうちの前記複数のユーザ指定領域の少なくとも1つと重複する領域を含む候補領域を、前記要素領域として選択する顕微鏡システムを提供する。
本発明の第3の態様は、第1の態様に記載の顕微鏡システムにおいて、さらに、前記要素領域選択部は、前記ユーザによる選択に基づいて、前記候補領域決定部で決定された複数の候補領域から前記要素領域を選択する顕微鏡システムを提供する。
本発明の第4の態様は、第1の態様乃至第3の態様のいずれか1つに記載の顕微鏡システムにおいて、前記要素画像取得部は、前記試料を走査する走査部を有する光学系を備え、前記走査部の走査量に基づいて前記要素画像取得部の視野サイズが決定される顕微鏡システムを提供する。
本発明の第5の態様は、第4の態様に記載の顕微鏡システムにおいて、前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の走査量を決定する顕微鏡システムを提供する。
本発明の第6の態様は、第5の態様に記載の顕微鏡システムにおいて、前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の異なる複数の走査量を決定する顕微鏡システムを提供する。
本発明の第7の態様は、第1の態様乃至第6の態様のいずれか1つに記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する顕微鏡システムを提供する。
本発明の第8の態様は、第1の態様乃至第6の態様のいずれか1つに記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記要素領域選択部で選択された複数の要素領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する顕微鏡システムを提供する。
本発明の第9の態様は、第7の態様または第8の態様に記載の顕微鏡システムにおいて、前記マップ画像上に重ねられる前記位置画像は、半透明な画像である顕微鏡システムを提供する。
本発明の第10の態様は、第1の態様乃至第6の態様のいずれか1つに記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示し且つ前記複数の候補領域のうちの前記要素領域選択部で選択された複数の要素領域の位置を要素領域でない候補領域の位置と区別して示す位置画像が重ねて表示されるように、前記表示装置を制御する顕微鏡システムを提供する。
本発明の第11の態様は、第10の態様に記載の顕微鏡システムにおいて、前記マップ画像上に重ねられる前記位置画像は、前記候補領域の部分と前記要素領域の部分とで透明度が異なる半透明な画像である顕微鏡システムを提供する。
本発明の第12の態様は、第1の態様乃至第6の態様のいずれか1つに記載の顕微鏡システムにおいて、さらに、前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える顕微鏡システムを提供する。
本発明の第13の態様は、第1の態様乃至第6の態様のいずれか1つに記載の顕微鏡システムにおいて、さらに、前記矩形領域決定部で決定された矩形領域のサイズまたは位置の少なくとも一方を変更する矩形領域変更部を備え、前記要素領域選択部は、前記要素領域選択部で選択された複数の要素領域のうちの前記矩形領域変更部により変更された矩形領域に収まる領域を要素領域として再選択する顕微鏡システムを提供する。
本発明の第14の態様は、第13の態様に記載の顕微鏡システムにおいて、さらに、前記矩形領域変更部により矩形領域が変更される前に前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える顕微鏡システムを提供する。
本発明の第15の態様は、第12の態様または第14の態様に記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記記憶部に記憶された前記複数の要素領域の座標情報に基づいて、試料の画像である試料画像上に、前記複数の要素領域の位置を示す位置画像を重ねて前記表示装置に表示させる顕微鏡システムを提供する。
本発明の第16の態様は、第15の態様に記載の顕微鏡システムにおいて、前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の外側であるときに、前記指定された位置が前記位置画像の中心と一致するように前記位置画像を前記試料画像に対して移動させる顕微鏡システムを提供する。
本発明の第17の態様は、第15の態様に記載の顕微鏡システムにおいて、前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の内側であるときに、前記指定された位置が前記指定された位置を含む要素領域の中心と一致するように前記位置画像を前記試料画像に対して移動させる顕微鏡システムを提供する。
本発明の第18の態様は、貼り合わせ画像を生成する顕微鏡システムの貼り合わせ領域を決定する方法であって、ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記顕微鏡システムの要素画像取得部の視野サイズを有する複数の領域の各々を、前記貼り合わせ画像を構成する要素画像を取得する候補となる領域である候補領域として決定し、前記複数の候補領域から、前記要素画像取得部が前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定する方法を提供する。
本発明の第19の態様は、貼り合わせ画像を構成する要素画像を取得する要素画像取得部を備える顕微鏡システムのプログラムであって、ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定し、前記複数の候補領域から前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定する処理をコンピュータに実行させるプログラムを提供する。
本発明によれば、貼り合わせ画像の生成時間を短縮するための技術を提供することができる。
本発明の一実施形態に係る顕微鏡システムの構成を示す図である。 図1に示す制御装置のハードウェア構成を示す図である。 図1に示す顕微鏡システムで行われる貼り合わせ領域決定処理の手順を示すフローチャートである。 図1に示す表示装置に表示される画面の一例を示す図である。 矩形領域決定処理について説明するための図である。 矩形領域決定処理について説明するための別の図である。 候補領域決定処理について説明するための図である。 候補領域決定処理について説明するための別の図である。 候補領域決定処理について説明するためのさらに別の図である。 要素領域決定処理について説明するための図である。 要素領域決定処理について説明するための別の図である。 要素領域決定処理について説明するためのさらに別の図である。 矩形領域と候補領域の決定方法の別の例を示した図である。 図1に示す制御装置の機能ブロック図である。
図1は、本発明の一実施形態に係る顕微鏡システム1の構成を示す図である。顕微鏡システム1は、試料の異なる領域を撮像した複数の共焦点画像を取得し、それらの共焦点画像を撮像した領域の位置関係に従って貼り合わせることで、貼り合わせ画像を生成する顕微鏡システムである。
顕微鏡システム1は、図1に示すように、共焦点顕微鏡本体100、表示装置120、入力装置130、及び、制御装置140を備えている。
共焦点顕微鏡本体100は、レーザ光源101、偏光ビームスプリッタ(以降、PBSと記す)102、試料106を走査する二次元走査部103、1/4λ板104、試料106に光を照射する対物レンズ105、結像レンズ107、ピンホール板108、光検出器109、AD変換器110、レボルバ111、X−Yステージ114、白色光源115、結像レンズ116、及び、CCDカメラ117を備えている。
なお、レボルバ111は、対物レンズ105を切り替える手段であるとともに、対物レンズ105と試料106との間の相対距離を変化させるZ位置変更手段でもある。また、X−Yステージ114は、試料106を対物レンズ105に対して対物レンズ105の光軸と直交する方向に移動させるXY位置変更手段である。
レーザ光源101から出射したレーザ光は、PBS102を透過した後、二次元走査部103に入射する。二次元走査部103は、例えばガルバノミラーである。二次元走査部103で偏向されたレーザ光は、1/4λ板104で直線偏光から円偏光に変換された後に、レボルバ111に装着されている対物レンズ105を経由して試料106へ照射される。
共焦点顕微鏡本体100では、二次元走査部103は対物レンズ105の瞳位置と光学的に共役な位置に配置されている。このため、二次元走査部103がレーザ光を偏向させることで、レーザ光の集光位置が対物レンズ105の焦点面上をXY方向に移動し、これによって、試料106がレーザ光で二次元に走査される。
ここで、二次元走査部103による二次元走査と、レボルバ111の回転駆動により共焦点顕微鏡本体100の光路上に配置される対物レンズ105の切替と、対物レンズ105の光軸方向(Z方向)へのレボルバ111の駆動と、対物レンズ105の光軸と直交する方向(XY方向)へのX−Yステージ114の駆動は、制御装置140によって制御される。なお、二次元走査部103による二次元走査の手法としては、共焦点顕微鏡で一般的に使用されている、ラスタスキャンを採用する。
試料106の表面で反射したレーザ光(以降、反射光と記す)は、対物レンズ105を経由して入射する1/4λ板104で円偏光から直線偏光に変換された後に、二次元走査部103を経由してPBS102に入射する。このとき、PBS102に入射する反射光は、レーザ光源101側からPBS102に入射するレーザ光の偏光面とは直交する偏光面を有しているため、PBS102で反射して、結像レンズ107に導かれる。
結像レンズ107は、PBS102で反射した反射光を集光させる。PBS102からの反射光路上に設けられたピンホール板108には、対物レンズ105の焦点面に形成されるレーザ光の集光位置と光学的に共役な位置にピンホールが形成されている。このため、試料106表面のある部位が対物レンズ105によるレーザ光の集光位置にある場合には、この部位からの反射光は、ピンホールに集光されて当該ピンホールを通過する。その一方、試料106表面のある部位が対物レンズ105によるレーザ光の集光位置からずれている場合には、この部位からの反射光は、ピンホールに集光しないので、ピンホールを通過せず、ピンホール板108によって遮断される。
ピンホールを通過した光は、光検出器109で検出される。光検出器109は、例えば、光電子増倍管(PMT)である。光検出器109は、このピンホールを通過した光、すなわち、試料106の表面のうち対物レンズ105によるレーザ光の集光位置に位置する部位のみからの反射光を受光し、その受光光量に応じた大きさの検出信号を、当該部位の輝度を示す輝度信号として出力する。アナログ信号であるこの輝度信号は、AD変換器110でアナログ−デジタル変換された上で、当該部位の輝度を示す輝度値情報として制御装置140に入力される。制御装置140は、この輝度値情報と、二次元走査部103による二次元走査における走査位置の情報とに基づき、試料106の共焦点画像を生成する。
即ち、顕微鏡システム1では、レーザ光源101から対物レンズ105までの構成、対物レンズ105から光検出器109までの構成、AD変換器110、及び、制御装置140が、共焦点画像を取得する手段として機能する。
なお、共焦点画像は、本実施形態では貼り合わせ画像を構成する要素画像である。このため、以降では、要素画像である共焦点画像を取得する手段を要素画像取得部と記す。また、要素画像を取得する試料106上の領域を要素領域と記し、要素画像から構成される貼り合わせ画像を取得する試料106上の領域を貼り合わせ領域と記す。従って、貼り合わせ領域は要素領域から構成されている。
一方、白色光源115から出射した光(白色光)は、レボルバ111に装着されている対物レンズ105の瞳位置に集光して、その後、試料106に照射される。これにより、ケーラー照明により試料106が照明される。試料106表面で反射した反射光は、結像レンズ116へ入射し、結像レンズ116は、この反射光をCCD(結合素子)カメラ117の受光面に集光する。
CCDカメラ117は、対物レンズ105の焦点面と光学的に共役な位置に受光面を有するカメラである。CCDカメラ117は受光面に集光された反射光により試料106を撮像して、試料106の非共焦点画像を生成する。生成された非共焦点画像は制御装置140に送られる。
即ち、顕微鏡システム1では、白色光源115から対物レンズ105までの構成、対物レンズ105からCCDカメラ117までの構成、及び、CCDカメラ117を制御する制御装置140が、非共焦点画像を取得する手段として機能する。
なお、非共焦点画像は、本実施形態ではユーザによって指定された試料106上の領域(以降、ユーザ指定領域)を撮像することによって取得されるユーザ画像である。このため、以降では、ユーザ画像である非共焦点画像を取得する手段をユーザ画像取得部と記す。また、複数のユーザ画像をこれらが撮像された領域の並びどおりに並べた画像をマップ画像と記す。
表示装置120は、例えば、液晶ディスプレイ装置である。入力装置130は、例えば、マウスやキーボードなどである。表示装置120及び入力装置130は、タッチパネルディスプレイ装置として一体に構成されてもよい。
制御装置140は、制御プログラムを実行するコンピュータである。制御装置140は、図2に示すように、CPU141、メモリ142、入出力I/F143、外部記憶装置144、可搬記録媒体146を収容する可搬記録媒体駆動装置145を備えていて、それらがバス147で接続されることにより各種データが各要素間で授受可能となっている。そして、CPU141が外部記憶装置144または可搬記録媒体146に記憶された制御プログラムをメモリ142にロードして実行することで、制御装置140により顕微鏡システム1の動作が制御される。
メモリ142は、例えば、RAM(Random Access Memory)である。入出力I/F143は、例えば、共焦点顕微鏡本体100、表示装置120、入力装置130などの制御装置140の外部にある装置との間でデータを授受するためのインターフェースである。外部記憶装置144は、制御プログラムや制御プログラムの実行に必要な情報を不揮発的に記憶するものであり、例えば、ハードディスク装置である。可搬記録媒体駆動装置145は、光ディスクやコンパクトフラッシュ(登録商標)などの可搬記録媒体146を収容するものであり、可搬記録媒体146は、外部記憶装置144と同様に、制御プログラムや制御プログラムの実行に必要な情報を不揮発的に記憶するものである。
以上のように構成された顕微鏡システム1では、ユーザによって指定された不定形な領域から貼り合わせ画像を取得する貼り合わせ領域が決定される。以下、図3から図12を参照しながら、貼り合わせ領域決定処理の手順について説明する。
図3は、顕微鏡システム1で行われる貼り合わせ領域決定処理の手順を示すフローチャートである。図4は、貼り合わせ領域決定処理において表示装置120に表示される画面の一例を示す図である。図5及び図6は、貼り合わせ領域決定処理中の矩形領域決定処理について説明するための図である。図7から図9は、貼り合わせ領域決定処理中の候補領域決定処理について説明するための図である。図10から図12は、貼り合わせ領域決定処理中の要素領域決定処理について説明するための図である。
図3に示す貼り合わせ領域決定処理は、CPU141が外部記憶装置144または可搬記録媒体146に格納された制御プログラムをメモリ142に展開して実行することにより行われる。
貼り合わせ領域決定処理が開始されると、制御装置140は、図4に示す画面200を表示装置120に表示させる(図3のステップS1、GUI画面表示処理)。即ち、制御装置140は、本実施形態では、表示装置120を制御する表示制御部である。
次に、制御装置140は、ユーザからの指示に従ってマップ画像を生成し、生成したマップ画像を表示装置120に表示させる(図3のステップS2、マップ画像生成処理)。即ち、制御装置140は、本実施形態ではマップ画像を生成するマップ画像生成部である。
ステップS2では、まず、ユーザが、画面200の操作部203で対物レンズの倍率を指定した後、操作部204の開始/終了ボタンを押下して、マップ画像生成処理の開始を指示する。これを受けて、制御装置140が、図4に示すように画像表示部201上にカーソルC1を表示させる。
なお、カーソルC1の位置は、試料106が配置されているX−Yステージ114の座標に対応している。より具体的には、例えば、画像表示部201全体に対するカーソルC1の位置は、X−Yステージ114の可動範囲全体に対するユーザ画像取得部の視野の現在位置を示している。
また、カーソルC1のサイズは、対物レンズ105の倍率などによって定まるユーザ画像取得部の視野サイズに対応している。より具体的には、例えば、画像表示部201全体に対するカーソルC1のサイズの比は、X−Yステージ114の可動範囲全体に対するユーザ画像取得部の視野サイズの比を示している。
ステップS2では、さらに、ユーザは、カーソルC1を移動させることにより、X−Yステージ114を移動させて、X−Yステージ114上に配置された試料106の任意の領域にユーザ画像取得部の視野を合わせる。そして、ユーザが操作部204の画像取得ボタンを押下することで、ユーザ画像取得部は、ユーザによって合わせされた試料106上の領域(ユーザ指定領域)を自動で撮像して非共焦点画像P1(ユーザ画像)を取得する。なお、自動で撮像する方法としては、例えば、ユーザ画像取得部が所定時間間隔で撮像するように予め設定しておく。取得した非共焦点画像P1は、ユーザによって合わせされた試料106上の領域(ユーザ指定領域)に対応する画像表示部201上の領域D1(以降、ユーザ指定領域に対応する領域と記す)に表示される。これが、操作部204の開始/終了ボタンが押下されるまで、繰り返されることで、図4に示すように、ユーザ画像取得部で取得した複数の非共焦点画像P1をこれらが撮像された複数のユーザ指定領域の並びどおりに並べたマップ画像Pmが、画像表示部201に表示される。その後、ユーザが再び操作部204の開始/終了ボタンを押下して、マップ画像生成処理の終了を指示する。なお、上記では、操作部204の開始/終了ボタンを押下し、再び操作部204の開始/終了ボタンが押下されるまで、ユーザ画像取得部は、ユーザによって合わせされた試料106上の領域(ユーザ指定領域)を自動で撮像して非共焦点画像P1(ユーザ画像)を取得する方法(オートモード)について説明したが、操作部204の開始/終了ボタンを押下後、試料106の任意の領域にユーザ画像取得部の視野を合わせ、ユーザが操作部204の画像取得ボタンを押下することで試料106上の領域(ユーザ指定領域)を撮像して非共焦点画像P1(ユーザ画像)を取得する動作を繰り返していく方法(マニュアルモード)でもよい。なお、マップ画像生成処理の詳細については、後述する。
次に、制御装置140は、ステップS2でユーザによって指定された複数のユーザ指定領域を含む矩形領域を決定する(図3のステップS3、矩形領域決定処理)。即ち、本実施形態では、制御装置140は、矩形領域を決定する矩形領域決定部である。
ステップS3では、まず、ユーザは、貼り合わせ画像を構成する共焦点画像(要素画像)の取得に用いる対物レンズの倍率を操作部203で指定する。さらに、ユーザは、動作モード(オートモードまたはマニュアルモード)を操作部205のラジオボタンで選択した後に、操作部205の開始/終了ボタンを押下して、矩形領域決定処理の開始を指示する。これを受けて、制御装置140は、複数のユーザ指定領域を含む試料106上の矩形領域を決定し、図5に示すように、決定した矩形領域に対応する画像表示部201上の領域を示す矩形枠Frを画像表示部201に表示する。
なお、図5は、矩形領域が複数のユーザ指定領域を含む最小の矩形領域として決定された場合を例示しているが、ステップS3では、図6に示すように、最小の矩形領域よりも大きな矩形領域を矩形領域として決定してもよい。また、貼り合わせ領域決定処理が開始時に、予め、共焦点画像(要素画像)の取得に用いる対物レンズの倍率の指定及び、動作モード(オートモードまたはマニュアルモード)を選択するようにし、ステップS2の操作部204の開始/終了ボタンによりマップ画像生成処理の終了が指示されたときに、複数のユーザ指定領域を含む試料106上の矩形領域を決定し、決定した矩形領域に対応する画像表示部201上の領域を示す矩形枠Frを画像表示部201に表示するようにしてもよい。この場合は、ステップS3は省略できる。
次に、制御装置140は、ステップS3で決定した試料106上の矩形領域に基づいて、貼り合わせ画像を構成する共焦点画像(要素画像)を取得する候補となる領域(以降、候補領域と記す)を決定する(図3のステップS4、候補領域決定処理)。即ち、本実施形態では、制御装置140は、候補領域を決定する候補領域決定部である。
ステップS4では、制御装置140は、まず、ステップS3で決定した試料106上の矩形領域を満たすように、各々が共焦点画像を取得する要素画像取得部の視野サイズを有する複数の領域を格子状に配置する。そして、格子状に配置された複数の領域の各々を候補領域として決定する。さらに、制御装置140は、図7に示すように、複数の候補領域の位置を示す位置画像Pcがマップ画像Pm上に重ねて表示されるように表示装置120を制御する。位置画像Pcは半透明な画像であるため、位置画像Pcを通してマップ画像Pmを視認することができる。
図7では、試料106の候補領域に対応する画像表示部201上の領域D2(以降、候補領域に対応する領域と記す)の各々が破線で区切られた網掛けの領域として示されている。図7では、図示を簡略化するため、候補領域に対応する各領域D2は互いに重複することなく配置されているが、これらの領域D2は、実際には所定量ずつ重複するように配置される。これは、貼り合わせ画像を生成する際に、共焦点画像(要素画像)間の相対位置関係をパターンマッチングにより判断するためである。なお、以降の図でも同様に候補領域が重複することなく配置されている例が示されているが、これらも図示を簡略化するためであり、実際には所定量ずつ重複して配置されている。また、重複する量については、例えば、1%から50%の間で設定できるようにしてもよい。また、図7では、図示を簡略化するため、ユーザ指定領域に対応する領域D1に表示される非共焦点画像P1の内容についての図示が省略されている。以降の図でも同様に、領域D1に表示される非共焦点画像P1の内容についての図示を省略する。
要素画像取得部の視野サイズは、対物レンズ105の倍率及び二次元走査部103の走査量(つまり、ズーム倍率)に基づいて決定される。このため、例えば、二次元走査部103のズーム倍率が1倍のときに図8に示すように要素画像取得部の視野サイズを有する複数の領域の一部が矩形領域からはみ出す場合には、制御装置140は、複数の領域がはみ出すことなく矩形領域を満すように二次元走査部103の走査量を決定してもよい。この場合、図7に示すように、すべての候補領域の走査量が一律に調整されてもよく、または、図9に示すように、一部の候補領域における二次元走査部103の走査量のみを調整しても良い。即ち、制御装置140は、異なる複数の走査量を決定してもよい。図9では、走査量の異なる候補領域に対応する領域を異なる濃度の網掛けで示している。
次に、制御装置140は、ステップS4で決定した複数の候補領域から貼り合わせ画像を構成する共焦点画像(要素画像)を取得する要素領域を選択する(図3のステップS5、要素領域決定処理)。即ち、本実施形態では、制御装置140は、要素領域を選択する要素領域選択部である。
貼り合わせ領域決定処理の動作モードがオートモードである場合には、ステップS5では、制御装置140は、ステップS4で決定された複数の候補領域のうちのステップS2で指定された複数のユーザ指定領域の少なくとも1つと重複する領域を含む候補領域を、要素領域として選択する。ここでは、制御装置140は、例えば、各候補領域内に輝度情報が含まれているかどうかで判断する。
さらに、制御装置140は、図10に示すように、複数の候補領域の位置を示し且つ複数の要素領域の位置を要素領域でない候補領域の位置と区別して示す位置画像Peがマップ画像Pm上に重ねて表示されるように表示装置120を制御する。位置画像Peは候補領域の部分と要素領域の部分とで透明度が異なる半透明な画像である。このため、位置画像Peを通してマップ画像Pmを視認することができる。図10では、試料106上の要素領域に対応する画像表示部201上の領域D3(以降、要素領域に対応する領域と記す)の各々が破線で区切られたハッチングされた領域として示されている。
その後、ユーザは、マップ画像Pm上に位置画像Peが重ねて表示された画像を確認し、必要があれば、要素領域を手動で調整する。この調整は、例えば、図11に示すように、ユーザの所定の操作(例えば、クリック操作)により指定された領域を、制御装置140が要素領域から除外することにより行われても良い。また、この調整は、例えば、図12に示すように、矩形枠Frに対するユーザの所定の操作(例えば、ドラッグ操作)に応じて、制御装置140が矩形領域のサイズまたは位置の少なくとも一方を変更することにより行われてもよい。この場合、制御装置140は、選択された複数の要素領域のうちの変更後の矩形領域に収まる領域を要素領域として再選択する。即ち、本実施形態では、制御装置140はステップS3で決定された矩形領域のサイズまたは位置の少なくとも一方を変更する矩形領域変更部である。
なお、制御装置140は要素領域の調整前に選択されていた複数の要素領域の座標情報を、例えば、メモリ142(記憶部)に一時的に記憶させる。このため、ユーザが操作部205の戻るボタンを押下することで、制御装置140は、メモリ142に記憶されている複数の要素領域の座標情報を読み出して、調整前の状態を復元することができる。
一方、貼り合わせ領域決定処理の動作モードがマニュアルモードである場合には、ステップS5では、制御装置140は、ユーザによる選択に基づいて、ステップS4で決定された複数の候補領域から要素領域を選択する。
なお、ユーザによる選択の方法は、例えば、ステップS4で決定された複数の候補領域から要素領域としない候補領域を指定するといった方法であってもよく、ステップS4で決定された複数の候補領域から要素領域とする候補領域を指定するといった方法であってもよい。
最後に、制御装置140は、ステップS5で決定した要素領域に基づいて、貼り合わせ領域を決定し(図3のステップS6)、貼り合わせ領域決定処理を終了する。
ステップS6では、まず、ユーザが再び操作部205の開始/終了ボタンを押下して、貼り合わせ領域決定処理の終了を指示する。これを受けて、制御装置140は、ステップS5で決定した要素領域からなる領域を貼り合わせ領域として決定し、貼り合わせ領域決定処理を終了する。
そして、貼り合わせ領域決定後に、ユーザがボタン206を押下することで、顕微鏡システム1では、貼り合わせ領域を構成する複数の要素領域が要素画像取得部で順番に撮像されて共焦点画像(要素画像)が取得されて、それらを貼り合わせた貼り合わせ画像が生成される。
なお、ユーザは、貼り合わせ領域決定処理の終了を指示する前に、操作部205の記録ボタンを押下してもよい。これにより、制御装置140は、ステップS5で選択された複数の要素領域の座標情報を、例えば、外部記憶装置144または可搬記録媒体146(記憶部)に記憶させる。
外部記憶装置144または可搬記録媒体146に記憶された座標情報は、例えば、試料を同種の別の試料に交換して観察を繰り返す場合などに使用されてもよい。具体的には、同種の試料のマップ画像を生成後にユーザが操作部205の復元ボタンを押下することで、制御装置140は、記憶されている座標情報から要素領域を決定し、マップ画像上に複数の要素領域の位置を示す位置画像を重ねて表示装置120に表示させてもよい。
なお、試料の交換前後で試料が配置されるX−Yステージ114上の位置がずれた場合などには、複数の要素領域が試料に対してずれて配置されることになるため、試料の所望の領域が複数の要素領域によって十分にカバーされていないことがある。このような場合には、ユーザの所定の操作に応じて制御装置140がマップ画像に対して位置画像を相対的に移動させてもよい。
例えば、ユーザが位置画像中の複数の要素領域に対応する領域の外側の位置を所定の操作(例えば、ダブルクリック)によって指定したときには、制御装置140は、指定された位置が位置画像の中心と一致するように、位置画像をマップ画像に対して相対的に移動させてもよい。また、ユーザが位置画像中の複数の要素領域に対応する領域の内側の位置を所定の操作(例えば、ダブルクリック)によって指定したときに、制御装置140は、指定された位置がその指定された位置を含む要素領域の中心と一致するように、位置画像をマップ画像に対して相対的に移動させてもよい。
なお、以上ではマップ画像上に位置画像を重ねる例を示したが、マップ画像の代わりに低倍の対物レンズで取得した一枚の画像に、位置画像を重ねても良い。
ここで、マップ画像生成処理における制御装置140の動作について補足する。図14は、制御装置140の機能ブロック図である。制御装置140は、図14に示すように、上述した表示制御部151、矩形領域決定部152、候補領域決定部153、要素領域選択部154、矩形領域変更部155、及び、記憶部156に加えて、マップ画像生成部160を備えている。
マップ画像生成部160は、ライブ画像受信部161、相対移動量算出部162、撮影画像構築部163、ライブ位置枠生成部164、及び、画像合成部165を備えている。
ライブ画像受信部161は、CCDカメラ117から随時送信されるライブ画像を受信して、受信したライブ画像を記憶部156に記憶させるとともに、相対移動量算出部162及び撮影画像構築部163へ送信する。
相対移動量算出部162は、ライブ画像受信部161から送信されたライブ画像を受信し、直前に受信したライブ画像と比較して、X−Yステージ114に対する視野の相対移動量を算出する。そして、算出した相対移動量をライブ位置枠生成部163及び画像合成部165へ送信する。
ライブ位置枠生成部163は、相対移動量算出部162から送信された相対移動量を受信し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出し、その位置情報をライブ位置枠の位置情報として表示制御部151に送信する。表示制御部151は、これを受けて、図4に示すように、ユーザ画像取得部の視野の現在位置を示す位置にライブ位置枠であるカーソルC1を表示する。
撮影画像構築部164は、ライブ画像受信部161から送信されたライブ画像を随時受信する。そして、図4に示す操作部204の画像取得ボタンが押下されたタイミングで受信したライブ画像に対して種々の画像処理を施してユーザ画像を生成し、生成したユーザ画像を画像合成部165へ送信する。撮影画像構築部164で行われる画像処理は、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理などである。
画像合成部165は、撮影画像構築部164から送信された相対移動量を受信し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出する。さらに、撮影画像構築部164から送信されたユーザ画像を受信し、算出した現在の視野位置に対応する位置に合成する。これにより、複数のユーザ画像をこれらが撮像された領域(つまり視野位置)の並びどおりに並べたマップ画像が生成される。画像合成部165は、生成したマップ画像を表示制御部151に送信する。表示制御部151は、これを受けて、図4に示すように、マップ画像Pmを画像表示部201に表示する。
以上で述べたように、顕微鏡システム1では、ユーザによって指定された不定形な領域から貼り合わせ領域が決定されるため、貼り合わせ領域を決定するために事前に試料全体を撮像する必要がない。このため、貼り合わせ領域を決定するまでに要する時間を短縮することができる。また、顕微鏡システム1では、ユーザが画像化を希望しない無駄な領域が少なくなるように貼り合わせ領域が決定されるため、ユーザが画像化を希望しない無駄な領域の撮像が抑制される。このため、貼り合わせ画像を構成する要素画像の取得に要する時間を短縮することができる。従って、顕微鏡システム1によれば、貼り合わせ画像の生成に要する時間を従来よりも大幅に短縮することができる。
なお、顕微鏡システム1は、3次元画像を貼り合わせた3次元貼り合わせ画像を生成しても良い。この場合、要素領域毎にZ位置の異なる複数の共焦点画像を取得して3次元画像を生成する必要があることから貼り合わせ画像の生成時間が長くなりやすいが、上述した貼り合わせ領域決定方法を用いて貼り合わせ領域を決定することで、貼り合わせ画像生成の時間を大幅に短縮することができる。
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこの実施形態に限定されるものではない。顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラムは、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
例えば、図3では制御装置140が矩形領域を決定してから複数の候補領域を決定する例を示したが、矩形領域が複数のユーザ指定領域を含み、尚且つ、複数の候補領域で満たされる限り、複数の候補領域を決定してから矩形領域を決定しても良い。図13は、複数の候補領域を決定してから矩形領域を決定した場合に画像表示部201に表示される画像の一例である。また、操作部205の開始/終了ボタン押下後に対物レンズの切り替えが発生した場合には、図3のステップS3以降の処理が再度行われて、要素領域が再決定されてもよい。
また、図1では、ユーザ画像取得部が非共焦点光学系を備え、要素画像取得部が共焦点光学系を備える例を示したが、これらは対物レンズ105を除き同じ光学系によって構成されていてもよい。例えば、ユーザ画像取得部が5倍の対物レンズを備えた非共焦点光学系であり、要素画像取得部が50倍の対物レンズを備えた非共焦点光学系であってもよい。また、ユーザ画像取得部が5倍の対物レンズを備えた共焦点光学系であり、要素画像取得部が50倍の対物レンズを備えた共焦点光学系であってもよい。即ち、ユーザ画像は非共焦点画像に限られず、要素画像は共焦点画像に限られない。
1 顕微鏡システム
100 共焦点顕微鏡本体
101 レーザ光源
102 PBS
103 二次元走査部
104 1/4λ板
105 対物レンズ
106 試料
107 結像レンズ
108 ピンホール板
109 光検出器
110 AD変換器
111 レボルバ
114 X−Yステージ
115 白色光源
116 結像レンズ
117 CCDカメラ
120 表示装置
130 入力装置
140 制御装置
141 CPU
142 メモリ
143 入出力I/F
144 外部記憶装置
145 可搬記録媒体駆動装置
146 可搬記録媒体
147 バス
151 表示制御部
152 矩形領域決定部
153 候補領域決定部
154 要素領域選択部
155 矩形領域変更部
156 記憶部
160 マップ画像生成部
161 ライブ画像受信部
162 相対移動量算出部
163 ライブ位置枠生成部
164 撮影画像構築部
165 画像合成部
200 画面
201 画像表示部
203、204、206 操作部
206 ボタン
C1 カーソル
P1 非共焦点画像
Pm マップ画像
Pc、Pe 位置画像
D1、D2、D3 領域
Fr 矩形枠

Claims (19)

  1. 要素画像を貼り合わせて貼り合わせ画像を生成するための顕微鏡システムであって、
    前記貼り合わせ画像を構成する前記要素画像を取得する要素画像取得部と、
    ユーザによって指定された試料の領域である複数のユーザ指定領域を撮像して、複数のユーザ画像を取得するユーザ画像取得部と、
    前記複数のユーザ指定領域を含む矩形領域を決定する矩形領域決定部と、
    前記矩形領域決定部により決定された前記矩形領域を満たすように前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定する候補領域決定部と、
    前記候補領域決定部で決定された複数の候補領域から前記要素画像を取得する要素領域を選択する要素領域選択部と、備える
    ことを特徴とする顕微鏡システム。
  2. 請求項1に記載の顕微鏡システムにおいて、
    前記要素領域選択部は、前記候補領域決定部で決定された複数の候補領域のうちの前記複数のユーザ指定領域の少なくとも1つと重複する領域を含む候補領域を、前記要素領域として選択する
    ことを特徴とする顕微鏡システム。
  3. 請求項1に記載の顕微鏡システムにおいて、
    前記要素領域選択部は、前記ユーザによる選択に基づいて、前記候補領域決定部で決定された複数の候補領域から前記要素領域を選択する
    ことを特徴とする顕微鏡システム。
  4. 請求項1乃至請求項3のいずれか1項に記載の顕微鏡システムにおいて、
    前記要素画像取得部は、前記試料を走査する走査部を有する光学系を備え、
    前記走査部の走査量に基づいて前記要素画像取得部の視野サイズが決定される
    ことを特徴とする顕微鏡システム。
  5. 請求項4に記載の顕微鏡システムにおいて、
    前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の走査量を決定する
    ことを特徴とする顕微鏡システム。
  6. 請求項5に記載の顕微鏡システムにおいて、
    前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の異なる複数の走査量を決定する
    ことを特徴とする顕微鏡システム。
  7. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    表示装置と、
    前記表示装置を制御する表示制御部と、を備え、
    前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する
    ことを特徴とする顕微鏡システム。
  8. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    表示装置と、
    前記表示装置を制御する表示制御部と、を備え、
    前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記要素領域選択部で選択された複数の要素領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する
    ことを特徴とする顕微鏡システム。
  9. 請求項7または請求項8に記載の顕微鏡システムにおいて、
    前記マップ画像上に重ねられる前記位置画像は、半透明な画像である
    ことを特徴とする顕微鏡システム。
  10. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    表示装置と、
    前記表示装置を制御する表示制御部と、を備え、
    前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示し且つ前記複数の候補領域のうちの前記要素領域選択部で選択された複数の要素領域の位置を要素領域でない候補領域の位置と区別して示す位置画像が重ねて表示されるように、前記表示装置を制御する
    ことを特徴とする顕微鏡システム。
  11. 請求項10に記載の顕微鏡システムにおいて、
    前記マップ画像上に重ねられる前記位置画像は、前記候補領域の部分と前記要素領域の部分とで透明度が異なる半透明な画像である
    ことを特徴とする顕微鏡システム。
  12. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える
    ことを特徴とする顕微鏡システム。
  13. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    前記矩形領域決定部で決定された矩形領域のサイズまたは位置の少なくとも一方を変更する矩形領域変更部を備え、
    前記要素領域選択部は、前記要素領域選択部で選択された複数の要素領域のうちの前記矩形領域変更部により変更された矩形領域に収まる領域を要素領域として再選択する
    ことを特徴とする顕微鏡システム。
  14. 請求項13に記載の顕微鏡システムにおいて、さらに、
    前記矩形領域変更部により矩形領域が変更される前に前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える
    ことを特徴とする顕微鏡システム。
  15. 請求項12または請求項14に記載の顕微鏡システムにおいて、さらに、
    表示装置と、
    前記表示装置を制御する表示制御部と、を備え、
    前記表示制御部は、前記記憶部に記憶された前記複数の要素領域の座標情報に基づいて、試料の画像である試料画像上に、前記複数の要素領域の位置を示す位置画像を重ねて前記表示装置に表示させる
    ことを特徴とする顕微鏡システム。
  16. 請求項15に記載の顕微鏡システムにおいて、
    前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の外側であるときに、前記指定された位置が前記位置画像の中心と一致するように前記位置画像を前記試料画像に対して移動させる
    ことを特徴とする顕微鏡システム。
  17. 請求項15に記載の顕微鏡システムにおいて、
    前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の内側であるときに、前記指定された位置が前記指定された位置を含む要素領域の中心と一致するように前記位置画像を前記試料画像に対して移動させる
    ことを特徴とする顕微鏡システム。
  18. 貼り合わせ画像を生成する顕微鏡システムの貼り合わせ領域を決定する方法であって、
    ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記顕微鏡システムの要素画像取得部の視野サイズを有する複数の領域の各々を、前記貼り合わせ画像を構成する要素画像を取得する候補となる領域である候補領域として決定し、
    前記複数の候補領域から、前記要素画像取得部が前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定する
    ことを特徴とする方法。
  19. 貼り合わせ画像を構成する要素画像を取得する要素画像取得部を備える顕微鏡システムのプログラムであって、
    ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定し、
    前記複数の候補領域から前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定する
    処理をコンピュータに実行させることを特徴とするプログラム。
JP2013102275A 2013-05-14 2013-05-14 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム Active JP6147080B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013102275A JP6147080B2 (ja) 2013-05-14 2013-05-14 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
US14/263,967 US9798129B2 (en) 2013-05-14 2014-04-28 Microscope system and method for deciding stitched area
EP14166348.4A EP2804039B1 (en) 2013-05-14 2014-04-29 Microscope system and method for deciding stitched area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013102275A JP6147080B2 (ja) 2013-05-14 2013-05-14 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2014222321A true JP2014222321A (ja) 2014-11-27
JP6147080B2 JP6147080B2 (ja) 2017-06-14

Family

ID=50549058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013102275A Active JP6147080B2 (ja) 2013-05-14 2013-05-14 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム

Country Status (3)

Country Link
US (1) US9798129B2 (ja)
EP (1) EP2804039B1 (ja)
JP (1) JP6147080B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097214A (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 顕微鏡装置、プログラム、観察方法
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーSensovation AG 顕微鏡によって試料をデジタルで撮影するための方法
WO2020066042A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6590513B2 (ja) * 2015-04-30 2019-10-16 キヤノン株式会社 情報処理装置、その作動方法、及びコンピュータプログラム
US10593074B1 (en) * 2016-03-16 2020-03-17 Liberty Mutual Insurance Company Interactive user interface for displaying geographic boundaries
US10445894B2 (en) * 2016-05-11 2019-10-15 Mitutoyo Corporation Non-contact 3D measuring system
US10812701B2 (en) * 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101871A (ja) * 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003038503A1 (fr) * 2001-11-02 2003-05-08 Olympus Corporation Microscope de balayage confocal
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
DE102007033793A1 (de) 2007-07-19 2009-01-22 Carl Zeiss Imaging Solutions Gmbh Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
WO2009137935A1 (en) 2008-05-16 2009-11-19 Biomedical Photometrics Inc. Imaging system with dynamic range maximization
JP2010112969A (ja) 2008-11-04 2010-05-20 Olympus Corp 共焦点顕微鏡
WO2013002719A1 (en) * 2011-06-30 2013-01-03 Ge Healthcare Bio-Sciences Corp Microscopy system and method for biological imaging
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
JP6147079B2 (ja) * 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101871A (ja) * 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーSensovation AG 顕微鏡によって試料をデジタルで撮影するための方法
JP2018097214A (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 顕微鏡装置、プログラム、観察方法
WO2020066042A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JPWO2020066042A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150868B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Also Published As

Publication number Publication date
US20140340426A1 (en) 2014-11-20
EP2804039A1 (en) 2014-11-19
EP2804039B1 (en) 2019-06-26
US9798129B2 (en) 2017-10-24
JP6147080B2 (ja) 2017-06-14

Similar Documents

Publication Publication Date Title
JP6147080B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JP6147079B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
US8711269B2 (en) Image sensing apparatus and method of controlling the image sensing apparatus
US20130016919A1 (en) Information processing apparatus, information processing method, and program
JP5047764B2 (ja) 顕微鏡用撮影装置
WO2012096153A1 (ja) 顕微鏡システム
JP2014215582A (ja) 共焦点顕微鏡装置
JP2010112969A (ja) 共焦点顕微鏡
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2017134115A (ja) 顕微鏡装置、及び画像表示プログラム
JP2013090241A (ja) 表示制御装置、撮像装置および表示制御プログラム
JP2010170025A (ja) 画像出力システム、画像出力方法及び画像出力プログラム
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5818828B2 (ja) 画像処理装置、撮像システム、画像処理システム
JP5119111B2 (ja) 顕微鏡装置
JP2009151163A (ja) シェーディング補正装置及びシェーディング補正方法
JP2019087923A (ja) 撮像装置、撮像方法およびプログラム
JP7197431B2 (ja) 光学機器の調整方法、光学システム
JP2006153636A (ja) 3次元計測方法および3次元計測方法をコンピュータに実行させるプログラム
WO2022004303A1 (ja) 情報処理装置、学習機器、撮像装置、情報処理装置の制御方法、及びプログラム
WO2023276446A1 (ja) 撮像装置、撮像方法、及びプログラム
JP2017044752A (ja) 顕微鏡システム、制御方法、プログラム、貼り合わせ画像生成方法
JP2017072784A (ja) 観察装置
JP6592330B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170516

R151 Written notification of patent or utility model registration

Ref document number: 6147080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250