JP2004265237A

JP2004265237A - 画像合成方法、画像合成装置、顕微鏡撮影システム、及び画像合成プログラム

Info

Publication number: JP2004265237A
Application number: JP2003056236A
Authority: JP
Inventors: Yasunari Matsukawa; 康成松川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-03-03
Filing date: 2003-03-03
Publication date: 2004-09-24

Abstract

【課題】光学的な観察によって別々に取得された観察像を、それらの寸法の比較が容易になるような形で観察者に提示する。
【解決手段】被写体の撮影を行う撮影手段１１によって被写体を撮影して得られた観察画像１２を取得し、この被写体と同一若しくは異なる被写体を撮影手段１１が撮影して得られた参照画像１３を取得し、観察画像１２が撮影されたときの撮影倍率と参照画像１１３が撮影されたときの撮影倍率との比に応じて該参照画像の拡大若しくは縮小を行い、この拡大若しくは縮小がされた参照画像１４と観察画像１２との合成を行って合成画像１５を生成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理技術に関し、特に、相異なる倍率で撮影された２つの画像を合成する技術に関する。
【０００２】
【従来の技術】
従来の顕微鏡による観察は、観察者が接眼レンズを直接覗いて行う方法が主流であったが、近年の電子カメラの性能向上に伴い、接眼レンズを覗く場合に劣らないほどの十分な解像度と色再現性とをもって観察像を画像データ化することが可能になってきており、その観察像が表されている画像をパソコン等のディスプレイ装置に表示して観察する手法も実用的になってきている。
【０００３】
顕微鏡の観察像をディスプレイ装置に表示して観察する手法は、接眼レンズで観察する場合には通常１ないし２名しか同時に観察できなかった観察像を、多人数で同時に観察できる利点があり、学校の理科教育などの場においては極めて有用な方法である。
【０００４】
また、顕微鏡の観察像を画像化して観察する手法は、観察倍率やそれに基づいて算出される寸法情報などといった顕微鏡の状態を表す諸々の情報を、観察像と同時にディスプレイ装置上に表示することが可能である。従って、この手法は、観察光学系に視野内表示のための光学素子を組み込んで同等の機能を実現するという例えば特許文献１に開示されているような従来の方法に比べて顕微鏡の光学系の構成を複雑化させる必要がないため、極めて低コストでの提供が可能であり、また、表示できる情報内容の自由度が高いという利点も備えている。
【０００５】
この利点を積極的に活用した技術としては、観察像とその実寸法を表す寸法線の像とを画像上に合成して表示する技術が特許文献２に開示されている。
その他、本発明に関係する従来技術として、特許文献３には、互いに関係する２つの画像中の特定の関心領域を相近接させて表示させることでこれらを作業性良く比較観察できるようにする技術が開示されている。
【０００６】
【特許文献１】
特開平５−１５７９７３号公報
【特許文献２】
特開平９−２７３９０７号公報
【特許文献３】
特開平８−２５１５７６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したような、直線的な目盛りや数値から構成される寸法線のみを表示する手法は、顕微鏡観察に十分に熱練した者などが正確な寸法を測定する場合には有効な方法であるとしても、例えば小学校の児童らのような、顕微鏡観察に不慣れな観察者が観察を行う場合には、数値で表された寸法と実際の（直感的・感覚的な）寸法との対応を把握することが容易ではなく、微小な世界におけるスケール感を理解・学習し難いものである。
【０００８】
また、たとえ熟練した観察者による観察であっても、例えば同種の被写体を複数回観察して、その寸法の大小の比較を、定量的な正確さまでは必要としなくても定性的に検討したい場合においても、数値で比較するためには、いちいち目盛りを読んで寸法を数値化し、その数値同士を比較して判断するという手間が必要であり、甚だ不便である。
【０００９】
本発明は上述した問題点を鑑みてなされたものであり、その解決しようとする課題は、光学的な観察によって別々に取得された観察像を、それらの寸法の比較が容易になるような形で観察者に提示することである。
【００１０】
【課題を解決するための手段】
図１から図５について説明する。
図１は本発明に係る画像合成方法の第一の態様の概要を示している。
同図に示されている画像合成方法は、被写体の撮影を行う撮影手段１１によって被写体を撮影して得られた観察画像１２を取得し、この被写体と同一若しくは異なる被写体を撮影手段１１が撮影して得られた参照画像１３を取得し、観察画像１２が撮影されたときの撮影倍率と参照画像１１３が撮影されたときの撮影倍率との比に応じて該参照画像の拡大若しくは縮小を行い、この拡大若しくは縮小がされた参照画像１４と観察画像１２との合成を行って合成画像１５を生成するというものであり、この方法によって前述した課題が解決される。
【００１１】
この方法によれば、参照画像１３を撮影したときの撮影倍率が観察中の観察画像１２の撮影倍率と異なっていたとしても、観察画像１２の撮影倍率と参照画像１３の撮影倍率との倍率比に応じて参照画像１３が変倍され、この両者の撮影倍率の違いが補償された状態の参照画像１４と観察画像１２とが合成されるので、この合成により得られた合成画像１５を参照することにより、観察画像１２と参照画像１３との寸法の比較検討が容易になる。
【００１２】
図２は本発明に係る画像合成方法の第二の態様の概要を示している。
同図に示されている画像合成方法は、図１に示した画像合成方法の第一の態様の特徴に加え、拡大若しくは縮小がされた参照画像１４と観察画像１２との合成画像１５における位置関係、及び、拡大若しくは縮小がされた参照画像１４若しくは観察画像１２における合成の対象とする画像領域、のうちの少なくとも一方の指示を指示取得手段１６が取得し、この指示に基づいた合成を行って合成画像１５を生成するというものであり、この方法によっても前述した課題が解決される。
【００１３】
この方法によれば、前述した画像合成方法の第一の態様によって得られる作用・効果に加え、拡大若しくは縮小がされた参照画像１４と観察画像１２との合成がされるときの両者の配置の関係、あるいは、拡大若しくは縮小がされた参照画像１４若しくは観察画像１２における合成の対象とする画像領域、の指定を行うことかできるので、例えば観察画像１２中における注目部分の領域の観察を妨げない位置に拡大若しくは縮小がされた参照画像１４の注目部分を近接させて合成するなどが可能となる結果、観察画像１２と参照画像１３との寸法の比較検討がさらに容易になる。
【００１４】
図３は本発明に係る画像合成装置の第一の態様の概要を示している。
同図に示されている画像合成装置は、被写体を撮影して得られた画像を取得する画像取得手段２１と、この画像が撮影されたときの撮影倍率を示す情報を取得する撮影倍率情報取得手段２２と、被写体を撮影して得られる第一の画像である観察画像が撮影されたときの撮影倍率と、この被写体と同一若しくは異なる被写体を撮影して得られる第二の画像である参照画像が撮影されたときの撮影倍率との比に応じて該参照画像の拡大若しくは縮小を行う画像変倍手段２３と、この画像変倍手段２３によって拡大若しくは縮小がされた参照画像と前述した観察画像との合成を行う画像合成手段２４と、を有するというものである。
【００１５】
この装置によれば、前述した本発明に係る画像合成方法の第一の態様によるものと同様の作用・効果が得られる結果、前述した課題が解決される。
図４は本発明に係る画像合成装置の第二の態様の概要を示している。
同図に示されている画像合成装置は、図３に示した画像合成方法の第二の態様の特徴に加え、画像合成手段２４による前述した合成によって得られる合成画像における参照画像と観察画像との位置関係、及び、該参照画像若しくは該観察画像における該合成の対象とする画像領域、のうちの少なくとも一方の指示を取得する指示取得手段２５を更に有し、画像合成手段２４は、この指示に基づいて前述した合成を行うというものである。
【００１６】
この装置によれば、前述した本発明に係る画像合成方法の第二の態様によるものと同様の作用・効果が得られる結果、前述した課題が解決される。
図５は本発明に係る顕微鏡撮影システムの一態様の概要を示している。
同図に示されている顕微鏡撮影システムは、倍率可変の光学系を備えている顕微鏡３１と、顕微鏡３１での観察像を撮影して画像化する撮影手段３２と、この観察像が撮影されたときにおける前述した光学系の倍率を示す情報を取得する倍率情報取得手段３３と、顕微鏡３１での観察像を撮影手段３２が撮影することによって得られた第一の画像である観察画像が撮影されたときの前述した光学系の倍率と、この観察像と同一若しくは異なる観察像を撮影手段３２が撮影することによって得られた第二の画像である参照画像が撮影されたときの前述した光学系の倍率との比に応じてこの参照画像の拡大若しくは縮小を行う画像変倍手段３４と、画像変倍手段３４によって拡大若しくは縮小がされた参照画像と前述した観察画像との合成を行う画像合成手段３５と、を有するというものであり、このシステムによっても前述した課題が解決される。
【００１７】
この顕微鏡撮影システムによれば、任意の倍率で顕微鏡観察した画像を撮影し、観察中の観察画像と、過去に撮影した参照画像とを合成して表示する場合において、各画像を撮影するときの顕微鏡３１の観察倍率が自動的に検出され、参照画像と観察画像との見かけの撮影倍率が一致するように、検出した倍率の違いを考慮しながら参照画像が変倍されて合成されるため、観察者は、この合成画像を参照することによって、参照画像を撮影した時の顕微鏡３１の倍率と観察中の顕微鏡３１の倍率との違いに煩わされることなく、両者の寸法の比較を容易に行うことができる。
【００１８】
なお、前述した本発明に係る画像合成方法をコンピュータに行なわせるプログラムであっても、このプログラムをコンピュータで実行させることにより、前述した課題を解決することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
［実施例１］
図６は、顕微鏡システム１０１で観察している被写体を撮影手段である電子カメラユニット１０２によって撮影し、撮影された画像を画像処理装置１０３で処理して表示手段であるディスプレイ１０５に表示する、画像合成装置を備えた顕微鏡撮影システムの全体構成を示している。
【００２０】
以下、この顕微鏡撮影システムの各構成要素の詳細を説明する。
図７は顕微鏡システム１０１の詳細構成を示している。
同図において、顕微鏡本体１１０はステージ１１２に載置された被写体である試料１１１と、それに対向する対物レンズ１１３と、試料１１１を照明するための照明ユニット１１４とを備えており、更に、対物レンズ１１３によって集光された観察光の路上には結像レンズ１１５が配置されている。
【００２１】
結像レンズ１１５は、対物レンズ１１３によって拡大された試料１１１の実像を電子カメラユニット１０２に備えられている撮像素子の表面に結像させるものであって、撮像素子の受光面にその面積に比して適切な大きさの像が結ばれるようにするため、１枚若しくは複数枚のレンズを組み合わせて構成されるものが一般的である。
【００２２】
なお、ここでは結像レンズ１１５は倍率Ｍ_Ｌを有しているものとする。従って、このとき、対物レンズ１１３と結像レンズ１１５からなる光学系の総合倍率は、対物レンズ１１３の倍率と結像レンズ１１５の倍率Ｍ_Ｌとの積となる。
レボルバ１１６は、拡大倍率の異なる複数の対物レンズを装着可能であり、回転させることによってその中から任意の１つを観察光路上に位置させる機構を備えたものである。
【００２３】
また、レボルバ１１６には、そこに装着されている対物レンズ群のうち、何れの対物レンズが光路内に位置しているかを検出する対物レンズ検出部１ｌ７が備えられており、対物レンズ検出部１ｌ７によって検出された情報は対物レンズ情報信号Ｌｌ（図６参照）として出力される。ここでは、この対物レンズ情報信号Ｌｌは、例えばレボルバ１１６が同時に６つの対物レンズを装着可能なものである場合には、レボルバ１１６の対物レンズ装着位置の各々に対応付けられている、１から６までの番号を示すような数値信号であるとする。
【００２４】
図８は電子カメラユニット１０２の詳細構成を示している。
電子カメラユニット１０２は、ＣＣＤ（電荷結合素子：ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）１２１、処理部１２２、及び制御部１２３を有して構成されており、ＣＣＤ１２１によって捉えられた被写体の像が表されている画像をデジタルデータで表現した画像データＤｌを出力するものである。
【００２５】
図９は、画像処理装置１０３の詳細構成を示している。
画像処理装置１０３は画像データＤｌを取り込むためのインターフェイス部１３１と、画像データやプログラムを記憶させるための内部メモリ１３２及び外部記憶装置１３３と、階調補正や色補正などの画像補正処理を行う画像補正処理部１３４と、画像の拡大・縮小処理を行う画像変倍処理部１３５と、画像の一部のトリミング処理を行う画像トリミング処理部１３６と、２つの画像を合成して１つの画像を生成する画像合成処理部１３７と、対物レンズ情報信号Ｌｌを取り込む撮影倍率取得部１３８と、各種の演算処理を実行する演算ユニット１３９と、図１の顕微鏡撮影システムを使用して試料１１１の観察を行う観察者が手動でデータを入力して画像処理装置１０３に指示を与えるための操作部１４０と、ディスプレイ１０５に表示させる画像データを一時的に保持するフレームメモリ１４２とから構成される。なお、図９に示した画像処理装置３の各構成要素は、共通のバス１４１を介して接続されており、各種のデータを相互に授受することができる。
【００２６】
画像処理装置１０３の外部記憶装置１３３には、対物レンズ検出部１１７からの対物レンズ情報信号Ｌｌと対物レンズの倍率との対応関係を表す対物倍率テーブルＴｌが予め記憶されている。なお、対物倍率テーブルＴｌは、外部記憶装置１３３の代わりに、内部メモリ１３２に予め記憶させておくようにしてもよい。
【００２７】
対物倍率テーブルＴｌは、例えば図１０に示すデータを有している。図１０の例では、レボルバ１１６の対物レンズ装着位置を示す１から６までのレボルバ穴番号に対応付けられて、各レボルバ穴に装着されている対物レンズ１１３の倍率を示す情報が記述されている。なお、対物倍率テーブルＴｌの内容は、操作部１４０として備えられている例えばキーボードなどの入力装置を観察者が操作することによって、レボルバ１１６への対物レンズ群の装着状況に応じて任意に変更可能なように構成されている。
【００２８】
なお、図９における、画像補正処理部１３４、画像変倍処理部１３５、画像トリミング処理部１３６、画像合成処理部１３７、及び撮影倍率取得部１３８は、各々の機能を有する独立したハードウェアを設けて構成するようにしてもよく、また画像処理装置１０３によって取り込まれる画像データＤ１に対して各々の適切な処理を情報処理装置に行わせる機能モジュールの集合体であるソフトウェアとこのソフトウェアを実行させることによって上述した各部の機能を実現する情報処理装置との組み合わせによって構成するようにしてもよい。
【００２９】
次に、図６から図９を利用してその構成を説明した顕微鏡撮影システムの動作を説明する。
まず、試料１１１から発せられた光は、対物レンズ１１３と結像レンズ１１４との作用によって電子カメラユニット１０２のＣＣＤ１２１上に観察像として結像する。ＣＣＤ１２１はこの観察像をアナログ信号である電気信号に光電変換する。
【００３０】
この電気信号は処理部１２２によって増幅処理とアナログ／デジタル変換とが施され、次いで、制御部１２３で発生させているタイミング信号に同期させたタイミングで画像データＤｌに変換される。この画像データＤ１は画像処理装置１０３のインターフェイス部１３１へ入力される。
【００３１】
次に、画像処理装置１０３によって行われる撮影処理の処理内容について図１１に示すフローチャートを参照しながら説明する。この撮影処理は、入力された画像データＤｌで表現されている観察像をディスプレイ１０５上に表示させると共に、この画像データＤｌを内部メモリ１３２もしくは外部記憶装置１３３に記憶させる処理である。
【００３２】
まず、Ｓ１においてインターフェイス部１３１により画像データＤｌを受信する処理が行われ、この処理に並行してＳ３において対物レンズ検出部１１７により対物レンズ情報信号Ｌｌを受信する処理が行われる。
対物レンズ情報信号Ｌｌが受信されると、Ｓ４において、対物倍率テーブルＴｌを参照してこの対物レンズ情報信号Ｌｌに対応する対物レンズの倍率を取得し、撮影倍率を求める処理が撮影倍率取得部１３８によって行われる。
【００３３】
ここで、撮影倍率Ｍは、対物レンズ１１３の倍率をＭ_ＯＢ、結像レンズ１１５の倍率をＭ_Ｌとすれば、次式で算出することができる。
Ｍ＝Ｍ_ＯＢ×Ｍ_Ｌ
一方、画像データＤ１が受信されると、その画像データＤ１で表現されている画像に対し、Ｓ２において画像補正処理部１３４によって色補正などの処理が施された後、その処理後の画像データＤ１がＳ５において内部メモリ１３２に撮影倍率の情報と共に一時的に記憶される。
【００３４】
続くＳ６においてはこの記憶された画像データＤ１がフレームメモリ１４２に転送されて観察画像としてディスプレイ１０５に表示される。
ここで、ディスプレイ１０５に表示されている観察画像を表現している画像データＤ１を保存するか否かの判定がＳ７において行われる。この処理は操作部１４０に備えられている入力装置に対する観察者による操作の内容に基づいて判定される。ここで、内部メモリ１３２に一時記憶された画像と撮影倍率情報を保存することが指示されていた（判定結果がＹＥＳ）場合にのみ、内部メモリ１３２若しくは外部記憶装置１３３の未記憶領域にこの画像データＤ１を記憶させる処理がＳ８において行われる。その後はこの撮影処理が終了する。
【００３５】
なお、ＣＣＤ１２１の光電変換動作とそれに伴って行われるこの撮影処理は、例えば毎秒１５回という頻度で行われるようにする。こうすることによって、人間が動画として感ずるに十分なフレームレートでディスプレイ１０５に表示させることができる。
【００３６】
次に、画像処理装置１０３によって行われる画像合成処理の処理内容について図１２に示すフローチャートを参照しながら説明する。この画像合成処理は、上述した撮影処理によって、撮影された画像についてのデータがその撮影時の倍率情報と共に内部メモリ１３２もしくは外部記憶装置１３３に既に記憶されているときに、この記憶されているデータで表現されている画像と電子カメラユニット２から入力される観察画像とを合成してディスプレイ１０５に表示させる処理である。
【００３７】
図１２において、Ｓ１１からＳ１５にかけての処理は図１１に示した撮影処理におけるＳ１からＳ５にかけての処理と同様のものであり、画像処理装置１０３ではこれらの処理が行われる。これらの処理によって得られた画像データＤ１で表現されている画像は観察画像となる。
【００３８】
その一方で、これらのＳ１１からＳ１５にかけての処理に並行して、Ｓ１６において内部メモリ１３２もしくは外部記憶装置１３３から、記憶されている画像データＤ１を、その画像データＤ１に付随する撮影倍率情報と共に読み出す処理が行われる。このとき読み出された画像データＤ１で表現されている画像が参照画像となる。
【００３９】
次いで、Ｓ１７において、画像変倍処理部１３５によって、読み出された参照画像に対して次式に示す変倍率Ｚで拡大もしくは縮小する処理が施される。
Ｚ＝Ｍ／Ｍ’
ここで、Ｍは撮影倍率取得部１３８によって取得された観察画像の倍率であり、Ｍ’は内部メモリ１３２もしくは外部記憶装置１３３から画像データＤ１と共に読み出された参照画像の撮影倍率である。なお、Ｚ＞１ならば参照画像を拡大する処理が施され、Ｚ＜１ならば、該画像を縮小する処理が行われる。
【００４０】
このＳ１７の画像変倍処理により、観察画像の撮影倍率Ｍと参照画像の撮影倍率倍率Ｍ’とが異なっていても、観察画像と参照画像の見かけの倍率が合致する。一例を挙げると、外部記憶装置１３３に撮影倍率１０倍で撮影した画像を倍率情報と共に予め記憶しておいたときに、その画像を参照画像として読み出して撮影倍率２０倍で撮影を行っている観察画像に合成して表示するならば、変倍率ＺはＺ＝２０／１０＝２となるので、参照画像を２倍に拡大することによってあたかも撮影倍率２０倍で撮影していたかのような参照画像が得られることになる。
【００４１】
続いて、Ｓ１８において、変倍処理した参照画像の一部をトリミングする処理が画像トリミング処理部１３６によって行われる。このトリミング（画像切り出し）処理は、変倍処理された参照画像から、（Ｘ１，Ｙｌ）及び（Ｘ２，Ｙ２）を対角座標とする矩形領域に含まれる画像を抽出する処理である。なお、この対角座標は、予め設定された初期値が用いられ、初期値としては例えば画像の中心部分の抽出に適した値が予め設定されている。
【００４２】
続いて、Ｓ１９では、トリミングされた参照画像を観察画像に重ねる合成処理が画像合成処理部１３７によって行われて合成画像が生成される。
その後のＳ２０からＳ２２にかけての処理は図１１に示した撮影処理におけるＳ６からＳ８にかけての処理と同様のものであり、これらの処理によって合成画像がディスプレイ１０５に表示されると共に、観察者の指示に従って内部メモリ１３２若しくは外部記憶装置１３３の未記憶領域にこの合成画像を表現している画像データが記憶される。その後はこの画像合成処理が終了する。
【００４３】
以上の画像合成処理が画像処理装置１０３によって行われることによって、予め撮影しておいた参照画像が、観察中の観察画像と等倍になるように変倍処理された後にこの観察画像と合成されてディスプレイ１０５に表示されるようになる。つまり、予め撮影しておいた参照画像の撮影倍率が観察中の撮影倍率と異なっていても、観察中の倍率に合わせて自動的に倍率が補正されてから参照画像が表示されるので、観察者は、過去に撮影した参照画像の倍率と観察中の画像の倍率との違いを意識したり、数値で表示される寸法線から大きさを数値として読み取ってからその数値を換算するような手間に煩わされたりすることなく、ディスプレイ１０５に表示された画像の大きさを頼って両者の寸法の比較が容易にできるようになる。
【００４４】
なお、以上までに説明した実施例１において、顕微鏡システム１０１の対物レンズ１１３の倍率の変更に関わる構成の一部を変更することよって、更なる効果が得られる実施例を、実施例１の変形例として以下に説明する。
なお、以下の説明並びに説明に係る図において、実施例１と同一の部分については実施例１と同一の番号を付すようにし、その詳細な説明は省略することとする。
【００４５】
図１３は、この実施例１の変形例に係る顕微鏡システム１０１の詳細構成を示している。
図１３と図７とを比較すると分かるように、図７における対物レンズ１１３、レボルバ１１６、及び対物レンズ検出部１１７に相当する位置に、それぞれズーム対物レンズ１６０、ズーム位置検出部１６１、及びズームハンドル１６２を有している点において、図１３と図７とは異なっている。
【００４６】
ズーム対物レンズ１６０は、ズームハンドル１６２を連続的に回転させることによって、ある倍率Ｍ_１と、Ｍ_２＞Ｍ_１なる関係にある倍率Ｍ_２との間で、倍率を連続的に変化させることができる対物レンズである。
また、ズーム位置検出部１６１はズームハンドル１６２の回転角を検出するものであり、例えばロータリエンコーダである。ズーム位置検出部１６１はズームハンドル１６２と機械的（ギア等）、光学的（フォトカブラ等）若しくはその他の図示しない手段によって結合しており、ズームハンドル１６２の回転角に関する情報をズーム位置信号Ｌ２として出力する。
【００４７】
図１４は、この実施例１の変形例に係る画像処理装置１０３の詳細構成を示している。
図１４と図９とを比較すると分かるように、対物レンズ情報信号Ｌｌに代えてズーム位置信号Ｌ２が入力されている点と、対物倍率テーブルＴｌに代えて対物倍率テーブルＴ２を有している点とにおいて図１４は図９と異なっている。
【００４８】
対物倍率テーブルＴ２はズーム位置信号Ｌ２として画像処理装置１０３に入力されるズームハンドル１６２の回転角情報とズーム対物レンズ１６０の倍率との対応関係を記述したテーブルである。
次に、この実施例１の変形例の動作を説明する。
【００４９】
本変形例の動作は、図１１及び図１２を用いて説明した実施例１において画像処理装置１０３によって行われる処理に対し、撮影倍率の取得に関する処理が異なるのみであるので、同一の処理が行われる処理ステップについての詳しい説明は省略する。
【００５０】
図１１のＳ３若しくは図１２のＳ１３の処理によってズーム位置信号Ｌ２が受信されると、図１１のステップＳ４及び図１２のステップＳ１４の各々において、対物倍率テーブルＴ２を参照してこのズーム位置信号Ｌ２で示されているズームハンドル１６２の回転角に対応する対物レンズ１１３の倍率を対物倍率テーブルＴ２から取得し、撮影倍率を求める処理が撮影倍率取得部１３８によって行われる。
【００５１】
なお、前述したように、対物倍率テーブルＴ２には回転角と対物レンズ倍率との情報が示されているが、この情報は離散的なものであるので、連続的に変化する値である回転角に完全に合致する情報が対物倍率テーブルＴ２に示されていない場合があり得る。このような場合には、ズーム位置信号Ｌ２で示されている回転角に近いものについての倍率値を対物倍率テーブルＴ２から取得し、取得された値に基づいて線形補間等の数学的補聞手段によって内挿若しくは外挿を行って撮影倍率を得るようにする。
【００５２】
こうすることにより、ズームハンドル１６２を連続的に回転させてズーム対物レンズ１６０の倍率が連続的に変化させると、参照画像の変倍処理における変倍率も連続的に変化するようになる。
以上のようにすることにより、ズーム対物レンズ１６０を備えた顕微鏡システム１０１を図６に示す顕微鏡撮影システムに用いた場合でも、予め撮影しておいた参照画像と観察中の観察画像とが等しい撮影倍率で合成されてディスプレイ１０５に表示させることができるようになる。
【００５３】
すなわち、倍率が連続時に可変であるズーム対物レンズを用いた顕微鏡観察では、ある倍率で撮影した後に倍率を変更してしまうと、後から撮影時の倍率を求めたり、顕微鏡の状態を正確に再現させたりすることは一般に困難であるため、倍率の異なる条件の下で撮影された画像を比較検討することは、撮影時にはズーム倍率をいちいち正確に把握しながら撮影して煩雑な倍率計算を行わなければならず、対物レンズ切り替え式の顕微鏡を用いた場合にも増して、極めて不便であった。これに対し、上述した本発明を実施する顕微鏡撮影システムでは、撮影時のズーム倍率を自動的に取得して画像データと共に記憶させておくようにし、２つの画像を比較する場合には両者の倍率を自動的に整合して表示させるようにしたため、寸法の比較を容易に行うことができるようになる。
【００５４】
なお、本変形例では顕微鏡システム１０１の対物レンズがズーム対物レンズ１６０のみで構成される例を示したが、実施例１で例示したようなレボルバ１１６による対物レンズ切り替えの方式とを組み合わせて構成されている場合であっても、本発明を実施することができる。
【００５５】
すなわち、レボルバ１１６によって選択される対物レンズに例えば倍率固定の対物レンズとズーム光学系を備えたズーム対物レンズとが混在している構成の顕微鏡システム１０１を使用する場合には、対物レンズ検出部１１７とズーム位置検出部１６１との双方を顕微鏡システム１０１に備えるようにし、対物レンズ検出部１１７によってズーム対物レンズが観察光路上に挿入されたことが検出された場合には、ズーム位置信号Ｌ２に基づいた倍率の演算を行うようにすればよい。
［実施例２］
次に、本発明の第二の実施例を説明する。
【００５６】
なお、以下の説明並びに説明に係る図において、実施例１と同一の部分については実施例１と同一の番号を付すこととし、その詳細な説明は省略する。
本実施例は、顕微鏡撮影システムで本発明を実施する点は実施例１と同様であり、その全体構成も図６に示したものと同様である。
【００５７】
図１５は本実施例において用いられる画像処理装置１０３の詳細構成を示している。
図１５に示す画像処理装置１０３は、ディスプレイ１０５に表示される画面上の座標を指示するための座標指示取得部１４３が備えられている点において図９に示されているものと異なっている。
【００５８】
座標指示取得部１４３は、例えば観察者の手の動きなどに応じて、直交する２軸方向への相対変位量を検出するマウスやトラックボールなどであり、あるいは、ディスプレイ１０５に表示される画面上の矩形領域と一意に対応付けられている矩形の操作領域内をペンなどで操作することによって画面上の絶対座標を検出する、デイジタイザなどである。この座標指示取得部１４３が操作されると、ディスプレイ１０５には、図１６に示すように、画面上の一点を指し示すポインタ１５１が表示され、座標指示取得部１４３よって取得された座標が画面上のどの部分に相当するものなのかが観察者が容易に認識できるように構成されている。
【００５９】
次に、図１５に示した構成を有する画像処理装置１０３によって行われる画像合成処理の処理内容について図１７に示すフローチャートを参照しながら説明する。この画像合成処理は、図１１に示した撮影処理がこの画像処理装置１０３で実行されたことによって、撮影された画像についてのデータがその撮影時の倍率情報と共に内部メモリ１３２もしくは外部記憶装置１３３に既に記憶されているときに、この記憶されているデータで表現されている画像と電子カメラユニット２から入力される観察画像とを合成してディスプレイ１０５に表示させる処理である。
【００６０】
図１２において、Ｓ３１からＳ３７にかけての処理は図１２に示した画像合成処理におけるＳ１１からＳ１７にかけての処理と同様のものであり、画像処理装置１０３ではこれらの処理が行われる。これらの処理によって、観察画像の倍率に合致させた倍率の参照画像が得られる。
【００６１】
Ｓ３７に続いて実行されるＳ３８からＳ４１にかけての処理は画像トリミング処理部１３６によって行われる、変倍処理後の参照画像の一部をトリミングする処理である。
まず、Ｓ３８において、参照画像から切り出されるトリミングの範囲を、観察者が明示的に指示するか否かが、この処理は操作部１４０に備えられている入力装置に対する観察者による操作の内容に基づいて判定される。
【００６２】
この判定処理の結果、明示的な指示を行うと判定された（Ｓ３８の判定結果がＹＥＳ）場合にのみ、Ｓ３９において変倍処理後の参照画像をディスプレイ１０５に表示させ、続くＳ４０において、座標指示取得部１４３であるマウス等に対する観察者による操作に応じて移動させたポインタ１５１の位置に基づき、矩形領域の左上座標（Ｘ１，Ｙｌ）と右下座標（Ｘ２，Ｙ２）との指定値を取得する。
【００６３】
一方、明示的な指示を行わないと判定された（Ｓ３８の判定結果がＮＯ）場合には、予め設定されている初期値を（Ｘｌ，Ｙ１）、（Ｘ２，Ｙ２）として用いることとしてＳ３９及びＳ４０の処理はスキップする。
【００６４】
以上の処理の後、画像トリミング処理部１３６は、Ｓ４１において、それまでの処理によって取得されたトリミングの範囲を指定する座標の値に基づいて、変倍後の参照画像から、指定された座標を対角とする矩形領域の内部に含まれる部分画像のみをトリミングする処理を行う。
【００６５】
Ｓ４１に続いて実行されるＳ４２からＳ４５にかけての処理は、画像合成処理部１３７によって行われる、トリミング処理により切り出された参照画像を観察画像に合成する処理である。
まず、Ｓ４２において、切り出された参照画像を合成する観察画像上の位置を、観察者が明示的に指示するか否かが、この処理は操作部１４０に備えられている入力装置に対する観察者による操作の内容に基づいて判定される。
【００６６】
この判定処理の結果、明示的な指示を行うと判定された（Ｓ４２の判定結果がＹＥＳ）場合には、Ｓ４３において、トリミングした参照画像の大きさに相当する矩形の枠を重ねた観察画像をディスプレイ１０５に表示させる。
この矩形の枠の表示は、例えば図１８のように、ポインタ１５１で指示される座標を矩形枠１５２の左上端の位置として表示させるようにしておき、ポインタ１５１を画面上で移動させると、その位置に追従してリアルタイムに矩形枠も移動するように表示するようにする。そして、座標指示取得部１４３による決定動作（例えばマウスのクリック動作など）が行われたときにＳ４４の処理が実行されるようにして、そのときの矩形枠１５２の位置が参照画像を合成する位置を示す情報として取得されるようにする。
【００６７】
あるいは、図１８に示した矩形枠１５２に代えて、トリミングした参照画像自体をポインタ１５１の位置に応じてリアルタイムに観察画像上に重ね合わせて表示するようにすれば、合成後の画像が把握できるので好適である。
一方、明示的な指示を行わないと判定された（Ｓ４２の判定結果がＮＯ）場合には、予め設定されている観察画像上の位置にトリミングした参照画像を配置する。
【００６８】
以上の処理の後、画像合成処理部１３７は、Ｓ４５において、それまでの処理によって取得された参照画像の配置を指定する情報に従い、トリミングされた参照画像を観察画像に重ね合わせて合成画像を生成する合成処理を行う。
その後のＳ４６からＳ４８にかけての処理は図１１に示した撮影処理におけるＳ６からＳ８にかけての処理と同様のものであり、これらの処理によって合成画像がディスプレイ１０５に表示されると共に、観察者の指示に従って内部メモリ１３２若しくは外部記憶装置１３３の未記憶領域にこの合成画像を表現している画像データが記憶される。その後はこの画像合成処理が終了する。
【００６９】
なお、電子カメラユニット２から、例えば毎秒１５回といった頻度で画像データＤ１を繰り返し取得して動画として観察画像を表示する場合には、トリミング範囲や合成位置を変更する必要がある場合のみ、図１７に示したフローチャート中のＳ３８あるいはＳ４２の判定結果が“ＹＥＳ”となり、それ以外は常に“ＮＯ”と判断されるように画像合成処理を制御することにより、Ｓ４０やＳ４４で観察者からの指示がなくても観察画像を動画として表示できるようになる。
【００７０】
以上のようにすることにより、予め撮影しておいた参照画像が、観察中の観察画像との見かけの撮影倍率が等しくなるように変倍処理され、観察者による座標指部１４３に対する操作によって指示された任意の矩形範囲内の参照画像と観察画像とが、観察者による座標指示取得部１４３に対する操作によって指示された任意の位置に合成されてディスプレイ１０５に表示されるようになる。
【００７１】
つまり、観察者は、参照画像の中から注目したい範囲を任意に選んでそれを観察画像の中で注目したい部分に接近させて合成表示させたり、あるいは、観察画像の中で観察を妨げない位置を選んで参照画像を合成表示させたりすることができるようになる。従って、実施例１でも得られる、撮影倍率が異なる画像の寸法の比較が容易になる効果に加え、画像の一部分同士の比較がさらに容易になり、更に、観察画像の表示を妨げることなく合成表示させることも可能になるので、作業性が著しく向上する。
【００７２】
なお、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、以上までに説明した実施例１及び実施例２においては、対物レンズ１１３の倍率を取得する方法として、レボルバ１１６の穴位置の情報に基づいて対物倍率テーブルＴｌを参照する方法を例示したが、この方法に限定されるものではなく、例えば図１９のように対物レンズ１１３本体に印刷もしくは彫刻されている倍率を表す数字を、光学的文字読取装置（ＯＣＲ）等によって読み取る方法など、幾多の方法が考えられる。なお、この場合には、画像処理装置１０３において行われる前述した処理から対物倍率テーブルＴｌを参照する手順を廃するなど、本発明の主旨を逸脱しない範囲において、実施例で説明した構成および作用の一部に変更が生じてもよい。
【００７３】
また、実施例１および実施例２においては、対物レンズ１１３の倍率を、対物レンズ検出部１１７と対物倍率テーブルＴｌとを用いて自動的に検出する方法を示したが、例えば、図２０に示すように、ディスプレイ１０５に表示される画像合成操作の指示を行う画面上に、対物レンズ１１３の倍率の入力を行うための入力欄１５３やその入力する数値の増減指示を行うボタン１５４を設け、操作部１４０のキーボードやマウス等を利用することによって、観察に使用している対物レンズ１１３の倍率を観察者が手動で入力するようにしてもよい。一般に、観察に使用される対物レンズ１１３の倍率の種類は、高々５ないし６種類程度であるから、倍率を手動入力する手間は僅かなものであり、本発明によって得られる利便性を減ずるものではない。
【００７４】
あるいはまた、実施例２においては、参照画像の一部をトリミングする大きさを、座標指示取得部１４３を用いて指示を取得する例を示したが、トリミングの大きさを指示する方法はこれに限られるものではなく、例えばキーボードなどの操作部１４０からマイクロメートル単位の実寸法を入力し、その寸法に相当する大きさがトリミングされるようにしてもよい。更に、トリミングする範囲の形状は矩形に限定されるものではなく、例えば中心の位置と半径とを指定する円形領域や、矩形領域に内接する楕円、あるいはポインタ１５１の軌跡によって描かれる閉曲線をそのまま領域とするなど、どのような形状であってもよい。
【００７５】
また、前述した実施例１の変形例においては、ズーム対物レンズ１６０の倍率を対物倍率テーブルＴ２から参照することによって求めたが、ズームハンドル１６２の回転角θと倍率Ｍとの関係を、Ｍ＝ｆ（θ）なる関係で一意に対応づけられる関数ｆを記述可能であるならば、対物倍率テーブルＴ２を参照する処理を、上記関数ｆの演算処理に置き換えてもよい。
【００７６】
更に、各実施例において、撮影倍率Ｍを対物レンズの倍率Ｍ_１と結像レンズの倍率Ｍ_２との積、すなわちＭ＝Ｍ_１×Ｍ_２を計算して取得する方法を示したが、これに例えば電子カメラユニット１０２に設けられているＣＣＤ１２１の画素ピッチ（撮像素子の１画素に相当する光電変換素子の寸法）Ｐ［μｍ］の逆数を乗じる、すなわちＭ＝Ｍ_１×Ｍ_２／Ｐなる計算によって得られる値Ｍが倍率を表す値とすれば、参照画像と観察画像とを画素ピッチの異なる電子カメラで撮影した場合においても、画像の倍率を整合させることができるようになるので有益である。
【００７７】
また、各実施例では、本発明に係る画像合成表示方法に従って、観察画像に参照画像の一部を合成する例のみを示したが、これに加えて、図２１のように、直線から構成される寸法線や数値を参照画像とともに合成して表示するようにすれば、２つの画像の相対的な大きさとともに、絶対的な寸法も同時に知ることができ、さらに便利である。
【００７８】
また、この場合、トリミングして合成する参照画像の大きさを、実施例２に示したような手順で指定する際に、座標指示取得部１４３で指示されたままの任意の寸法とするのではなく、撮影倍率を勘案して端数を切り捨て、例えばマイクロメートル（μｍ）単位で表して５０の倍数や１００の倍数など”切りの良い”寸法で扱うようにすれば、観察者はより一層直感的に寸法の把握ができるようになる。
【００７９】
また、各実施例で説明した図１１、図１２、図１７に示した各処理をコンピュータに行わせる制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、その制御プログラムを記録媒体からコンピュータに読み込ませて実行させてそのコンピュータを画像処理装置１０３として機能させることにより、本発明をコンピュータに実施させることもできる。記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、フレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体等が利用できる。
【００８０】
また、記録媒体は通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータシステムへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムを実行できるようになる。
【００８１】
【発明の効果】
以上詳細に説明したように、本発明によれば、観察中の観察画像との比較検討を行うための参照画像を観察画像と合成するときに、観察画像の撮影倍率と参照画像の撮影倍率との倍率比に応じて参照画像が変倍されて合成されるので、参照画像を撮影したときの撮影倍率が観察中の撮影倍率と異なっていてもその撮影倍率の違いを補償した大きさで両者が合成される。その結果、観察画像と参照画像との寸法の比較検討が容易になるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る画像合成方法の第一の態様の概要を示す図である。
【図２】本発明に係る画像合成方法の第二の態様の概要を示す図である。
【図３】本発明に係る画像合成装置の第一の態様の概要を示す図である。
【図４】本発明に係る画像合成装置の第二の態様の概要を示す図である。
【図５】本発明に係る顕微鏡撮影システムの一態様の概要を示す図である。
【図６】本発明を実施する顕微鏡撮影システムの全体構成を示す図である。
【図７】顕微鏡システムの詳細構成の第一の例を示す図である。
【図８】電子カメラユニットの詳細構成を示す図である。
【図９】画像処理装置の詳細構成の第一の例を示す図である。
【図１０】対物倍率テーブルのデータ例を示す図である。
【図１１】撮影処理の処理内容を示すフローチャートである。
【図１２】画像合成処理の第一の例の処理内容を示すフローチャートである。
【図１３】顕微鏡システムの詳細構成の第二の例を示す図である。
【図１４】画像処理装置の詳細構成の第二の例を示す図である。
【図１５】画像処理装置の詳細構成の第三の例を示す図である。
【図１６】観察画像上にポインタが表示されている様子を示す図である。
【図１７】画像合成処理の第二の例の処理内容を示すフローチャートである。
【図１８】観察画像に矩形枠が表示されている様子を示す図である。
【図１９】レボルバに装着されている対物レンズを示す図である。
【図２０】対物倍率の入力画面例を示す図である。
【図２１】寸法線を更に合成した合成画像の例を示す図である。
【符号の説明】
１１、３２撮影手段
１２観察画像
１３参照画像
１４倍率整合された参照画像
１５合成画像
１６、２５指示取得手段
２１画像取得手段
２２撮影倍率情報取得手段
２３、３４画像変倍手段
２４、３５画像合成手段
３１顕微鏡
３３倍率情報取得手段
１０１顕微鏡システム
１０２電子カメラユニット
１０３画像処理装置
１０５ディスプレイ
１１０顕微鏡本体
１１１試料
１１２ステージ
１１３対物レンズ
１１４照明ユニット
１１５結像レンズ
１１６レボルバ
１１７対物レンズ検出部
１２１ＣＣＤ
１２２処理部
１２３制御部
１３１インターフェイス部
１３２内部メモリ
１３３外部記憶装置
１３４画像補正処理部
１３５画像変倍処理部
１３６画像トリミング処理部
１３７画像合成処理部
１３８撮影倍率取得部
１３９演算ユニット
１４０操作部
１４１バス
１４２フレームメモリ
１４３座標指示取得部
１５１ポインタ
１５２矩形枠
１５３入力欄
１５４ボタン
１６０ズーム対物レンズ
１６１ズーム位置検出部
１６２ズームハンドル

Claims

被写体を撮影して得られた観察画像を取得し、
前記被写体と同一若しくは異なる被写体を撮影して得られた参照画像を取得し、
前記観察画像が撮影されたときの撮影倍率と前記参照画像が撮影されたときの撮影倍率との比に応じて該参照画像の拡大若しくは縮小を行い、
前記拡大若しくは前記縮小がされた前記参照画像と前記観察画像との合成を行う、
ことを特徴とする画像合成方法。
前記合成によって得られる合成画像における前記参照画像と前記観察画像との位置関係、及び、該参照画像若しくは該観察画像における該合成の対象とする画像領域、のうちの少なくとも一方の指示を取得し、
前記指示に基づいて前記合成を行う、
ことを特徴とする請求項１に記載の画像合成方法。
被写体を撮影して得られた画像を取得する画像取得手段と、
前記画像が撮影されたときの撮影倍率を示す情報を取得する撮影倍率情報取得手段と、
被写体を撮影して得られる第一の画像である観察画像が撮影されたときの撮影倍率と、該被写体と同一若しくは異なる被写体を撮影して得られる第二の画像である参照画像が撮影されたときの撮影倍率との比に応じて該参照画像の拡大若しくは縮小を行う画像変倍手段と、
前記画像変倍手段によって拡大若しくは縮小がされた前記参照画像と前記観察画像との合成を行う画像合成手段と、
を有することを特徴とする画像合成装置。
前記合成によって得られる合成画像における前記参照画像と前記観察画像との位置関係、及び、該参照画像若しくは該観察画像における該合成の対象とする画像領域、のうちの少なくとも一方の指示を取得する指示取得手段を更に有し、
前記画像合成手段は、前記指示に基づいて前記合成を行う、
ことを特徴とする請求項３に記載の画像合成装置。
倍率可変の光学系を備えている顕微鏡と、
前記顕微鏡での観察像を撮影して画像化する撮影手段と、
前記観察像が撮影されたときの前記光学系の倍率を示す情報を取得する倍率情報取得手段と、
前記顕微鏡での観察像を前記撮影手段が撮影することによって得られた第一の画像である観察画像が撮影されたときの前記光学系の倍率と、該観察像と同一若しくは異なる観察像を該撮影手段が撮影することによって得られた第二の画像である参照画像が撮影されたときの該光学系の倍率との比に応じて該参照画像の拡大若しくは縮小を行う画像変倍手段と、
前記画像変倍手段によって拡大若しくは縮小がされた前記参照画像と前記観察画像との合成を行う画像合成手段と、
を有することを特徴とする顕微鏡撮影システム。
被写体を撮影して得られた観察画像を取得する処理と、
前記被写体と同一若しくは異なる被写体を撮影して得られた参照画像を取得する処理と、
前記観察画像が撮影されたときの撮影倍率と前記参照画像が撮影されたときの撮影倍率との比に応じて該参照画像の拡大若しくは縮小を行う処理と、
前記拡大若しくは前記縮小がされた前記参照画像と前記観察画像との合成を行う処理と、
をコンピュータに行わせるためのプログラム。