JP2008028814A - 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法 - Google Patents

顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法 Download PDF

Info

Publication number
JP2008028814A
JP2008028814A JP2006200559A JP2006200559A JP2008028814A JP 2008028814 A JP2008028814 A JP 2008028814A JP 2006200559 A JP2006200559 A JP 2006200559A JP 2006200559 A JP2006200559 A JP 2006200559A JP 2008028814 A JP2008028814 A JP 2008028814A
Authority
JP
Japan
Prior art keywords
color
microscope
color correction
imaging
correction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006200559A
Other languages
English (en)
Other versions
JP4974599B2 (ja
Inventor
Shinichiro Aizaki
紳一郎 合▲崎▼
Shinya Sakamoto
伸也 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006200559A priority Critical patent/JP4974599B2/ja
Priority to US11/879,404 priority patent/US8238524B2/en
Publication of JP2008028814A publication Critical patent/JP2008028814A/ja
Application granted granted Critical
Publication of JP4974599B2 publication Critical patent/JP4974599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Microscoopes, Condenser (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】顕微鏡の照明光源の状態や、顕微鏡や顕微鏡用カラー撮像装置の光学素子の状態、またカメラの経時変化によらず、忠実な色再現を実現できる顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法を提供すること。
【解決手段】顕微鏡で観察するカラー画像を撮像する撮像手段と、顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段とを備える。
【選択図】図1

Description

本発明は、顕微鏡による標本の観察画像をCCDなどの撮像素子により撮像して記録するための顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法に関し、特に、忠実な色再現を実現することが可能な色補正処理技術を用いた顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法に関する。
従来、顕微鏡に付属する周辺装置の1つとして、顕微鏡の観察画像をCCDなどの撮像手段により撮像可能にしたデジタルカメラ等の顕微鏡用カラー撮像装置が用いられている。
図20は、従来の顕微鏡用カラー撮像装置の概略構成の例を示すブロック図である。
図20において、顕微鏡用カラー撮像装置100は、撮像素子101、撮像素子101を駆動する撮像素子駆動部102、前置処理部103、AD変換部104、信号処理部105、バス106、制御部107、I/F部108を備えている。そして、顕微鏡用カラー撮像装置100は、I/F部108を介してパソコン109に接続され、パソコン109により操作、表示、記録等が行われる。
撮像素子101は、例えばベイヤー配列などの単板三原色CCDなどが用いられる。信号処理部105では、色補正処理・輪郭強調処理・階調補正処理など様々な信号処理が行われる。顕微鏡200の光源201としては、主にハロゲンランプが用いられているが、ハロゲンランプは電圧により色温度が変化する。また、ハロゲンランプそのものの色温度は低いため、色温度変換フィルタを入れて、使用することも行われている。このように光源201の照明が変化する場合、どの光源201でも忠実な色再現を行おうとすれば、色温度に応じて色補正処理を切り替えることが望ましい。
顕微鏡用カラー撮像装置100は、撮像素子101により観察画像を電気信号として取得し、信号変換を行い画像データとして記録する。出来るだけ精度よくクリアな画像を取得するために、信号変換にはノイズ低減・除去などさまざまな対策がとられている。また、上述したように観察像を忠実に色表現するために補正を施すなどの工夫がなされている。しかしながら、観察像を照らす光源の種類には様々なものがあり、観察像の照明条件によっては色再現性が異なってしまう。そのため、特定の照明条件において色再現性を最適化したとしても、他の照明条件においては最適な色再現性が得られないことがあった。
これらを解決する従来技術として、例えば特許文献1に示すものがある。この特許文献1に示されている技術は、撮像素子で得た画像信号に基づいて光源の判定を行う方法である。すなわち、被写体の照明光源を認識する手段を有し、その認識結果に応じて適用する色パラメータを変えることにより色補正処理を切り替え、被写体の照明条件によらずに光源の種類に応じて最適な色再現性を得ることができる。
特開平11−113006号公報
しかしながら、上述のような技術においては、顕微鏡で標本の色を重要視する場合、光源として主にハロゲンランプが用いられてきたが、近年になってLED照明なども導入されるようになってきている。また今後、新たな光源が導入されることも予想される。特許文献1に記載の技術では、CCDの出力信号R,G,Bの比から、照明光源を認識し、あらかじめ用意した色補正パラメータを切り替える構成となっているが、新たな光源が導入される場合や、ハロゲンランプの使用時においても連続的に電圧を変化させる場合などは、適切な色補正パラメータを設定することが困難であるという問題点があった。
また、顕微鏡ではさまざまな観察が行われるため、顕微鏡の光路にフィルタ等の各種の光学素子を入れたり、顕微鏡用カラー撮像装置に取り付けられる赤外カットフィルタを外したりすることが行われることがある。また、顕微鏡用カラー撮像装置の分光感度特性は、経時変化することがあるが、これらのような場合については考慮されていないという問題点があった。
また、特に顕微鏡などの光学機器による観察を行う場合、光源の種類以外にも光学機器自身の分光特性に違いがあるほか、観察光路上に赤外カットフィルタや色温度変換フィルタを挿入することがあるが、これらは特定の波長域の入射光を減衰させるため、入射光の分光バランスを崩してしまい、結果として撮像素子で得られる信号値に多大な影響を及ぼすことになるという問題点があった。すなわち、光学機器による観察においては観察像の色表現に影響を及ぼす要素が多くあるため、光源の違いによる色調整だけでは十分な色再現性は得られないという問題点があった。
また、照明光源は供給電圧の大小によって、光量だけではなく色温度が変わる特性がある。具体的には、供給電圧が大きければ色温度は高く、供給電圧が小さければ色温度が低くなる傾向がある。よって、光学機器による観察において適正な色温度で観察していない場合、最適な色再現性が得られないことがあるという問題点があった。
本発明は、上記問題点に鑑みてなされたものであり、顕微鏡の照明光源の状態や、顕微鏡や顕微鏡用カラー撮像装置の光学素子の状態、またカメラの経時変化によらず、忠実な色再現を実現できる顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法を提供することを目的とする。
また、本発明は、観察時に使用されている顕微鏡・フィルタ・光源の組み合わせによらず最適な色再現性を確保する顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法を提供することを目的とする。
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の顕微鏡用カラー撮像装置は、顕微鏡に用いられる顕微鏡用カラー撮像装置であって、前記顕微鏡で観察するカラー画像を撮像する撮像手段と、前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段とを備えることを特徴とする。
また、本発明の顕微鏡用カラー撮像装置は、さらに、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記顕微鏡の照明光源の種類を推定する照明光源推定手段と、前記色補正パラメータ算出手段によって算出された複数の色補正パラメータを格納する色補正パラメータ格納手段とを備え、前記色補正処理手段が、前記照明光源推定手段によって推定された照明光源に対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、さらに、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記顕微鏡の照明光源から出射された照明光が前記撮像手段に入射されるまでの光路上に挿入されている光学素子を検出する光学素子検出手段と、前記色補正パラメータ算出手段によって算出された複数の色補正パラメータを格納する色補正パラメータ格納手段とを備え、前記色補正処理手段が、前記光学素子検出手段によって検出された光学素子に対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記色補正処理手段が、前記光学素子検出手段によって光学素子が検出されなかった場合、光学素子が検出されなかったことに対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記光学素子が、光学フィルタであることが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、さらに、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記カメラ特性情報の経時変化を検出する経時変化検出手段と、前記色補正パラメータ算出手段によって算出された複数の色補正パラメータを格納する色補正パラメータ格納手段とを備え、前記色補正処理手段が、前記経時変化検出手段によって検出された経時変化に対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記カメラ特性情報が、顕微鏡用カラー撮像装置の分光感度特性または前記分光感度特性の積分値を示す情報であることが望ましい。
また、本発明の一態様によれば、本発明の顕微鏡用カラー撮像プログラムは、顕微鏡に用いられる顕微鏡用カラー撮像装置のコンピュータを、前記顕微鏡で観察するカラー画像を撮像する撮像手段と、前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段として機能させるための顕微鏡用カラー撮像プログラムである。
また、本発明の一態様によれば、本発明の顕微鏡用カラー撮像方法は、顕微鏡に用いられる顕微鏡用カラー撮像装置において実行される顕微鏡用カラー撮像方法であって、撮像手段が、前記顕微鏡で観察するカラー画像を撮像し、色補正パラメータ算出手段が、前記撮像されたカラー画像とカメラ特性情報格納手段に格納された前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報カメラ特性情報とに基づいて、前記撮像されたカラー画像を色補正処理するための色補正パラメータを算出し、色補正処理手段が、前記算出された色補正パラメータに基づいて、前記撮像されたカラー画像を色補正処理することを特徴とする。
また、本発明の一態様によれば、本発明の顕微鏡用カラー撮像装置は、顕微鏡に用いられる顕微鏡用カラー撮像装置であって、前記顕微鏡で観察するカラー画像を撮像する撮像手段と、前記撮像手段によって撮像されたカラー画像に基づいて、前記顕微鏡の光学系の組み合わせを検出する光学系組合せ検出手段とを備えることを特徴とする。
また、本発明の顕微鏡用カラー撮像装置は、さらに、前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段とを備え、前記色補正処理手段が、前記光学系組合せ検出手段によって検出された組み合わせに対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記光学系組合せ検出手段が、前記顕微鏡の種類または前記顕微鏡に設置された照明光源の種類または前記照明光源から出謝された照明光の光路上に挿入された光学フィルタの種類を検出することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記光学系組合せ検出手段が、ホワイトバランス処理を行う以前の色信号を用いた二次元色空間分布に基づいて、前記組み合わせを検出することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、さらに、前記光学系組合せ検出手段によって検出された前記顕微鏡の光学系の組み合わせを表示させる表示制御手段を備えることが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、さらに、前記撮像手段によって撮像されたカラー画像に基づいて、前記照明光源の色温度を判定する色温度判定手段と、前記色温度判定手段によって判定された結果に基づいて、色温度の調整指示を表示する光源調整表示手段とを備えることが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記色温度判定手段が、前記カラー画像のホワイトバランス処理前の色信号を用いた二次元色空間分布に基づいて色温度を判定することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記光学系組合せ検出手段が、RGB形式で出力される前記色信号を、互いに直交するR/G軸およびB/G軸で規定される二次元空間内で評価することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記光学系組合せ検出手段が、前記二次元空間において予め記録された色度情報を参照することが望ましい。
また、本発明の顕微鏡用カラー撮像装置は、前記光学系組合せ検出手段が、さらに前記照明光源の輝度情報を推定することが望ましい。
また、本発明の一態様によれば、本発明の顕微鏡用カラー撮像プログラムは、顕微鏡に用いられる顕微鏡用カラー撮像装置のコンピュータを、前記顕微鏡で観察するカラー画像を撮像する撮像手段と、前記撮像手段によって撮像されたカラー画像に基づいて、前記顕微鏡の光学系の組み合わせを検出する光学系組合せ検出手段として機能させるための顕微鏡用カラー撮像プログラムである。
また、本発明の一態様によれば、本発明の顕微鏡用カラー撮像方法は、顕微鏡に用いられる顕微鏡用カラー撮像装置において実行される顕微鏡用カラー撮像方法であって、撮像手段が、前記顕微鏡で観察するカラー画像を撮像し、光学系組合せ検出手段が、前記撮像手段によって撮像されたカラー画像に基づいて、前記顕微鏡の光学系の組み合わせを検出することを特徴とする。
本発明によれば、顕微鏡の照明光源の状態に応じて、最適な色再現性を有する顕微鏡用カラー撮像装置を提供することができる。
また、本発明によれば、顕微鏡の照明光源を推定できることができる。
また、本発明によれば、顕微鏡および顕微鏡用カラー撮像装置に挿抜される光学素子の状態を検出できることができる。
また、本発明によれば、顕微鏡および顕微鏡用カラー撮像装置に挿抜される光学素子の状態に基づいて、最適な色再現性を有する顕微鏡用カラー撮像装置を提供することができる。
また、本発明によれば、顕微鏡用カラー撮像装置の経時変化を検出できることができる。
また、本発明によれば、顕微鏡用カラー撮像装置の経時変化を修正し、最適な色再現性を有する顕微鏡用カラー撮像装置を提供することができる。
また、本発明によれば、CCD等の撮像素子で得た信号値から観察時の光源の種類、顕微鏡の種類、各種フィルタの種類などの光学系の組み合わせを導出し、それに合わせて最適な色パラメータ(色補正マトリックス)に変更することができる。これにより、より細かな光学系の差異に対応した最適な色再現を実現し、観察者に良好な画像を提供することが出来る。
また、本発明によれば、特定のフィルタ構成で観察を行っていた際、そのフィルタ構成を観察者に自動的に検知、通知することができる。これにより、観察者が撮像に望ましくないフィルタ構成で観察していた際にそれを通知することができるため、観察者は不用意に撮像を行うことがなくなり、利便性が向上する。
また、本発明によれば、CCD等の撮像素子で得た信号値から光源の色温度を分析し、それに応じて適切な処理を観察者に行うことができる。これにより、観察者は不適切な色温度で観察を行うことがなくなり、観察者に良好な画像を提供することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明の第1の実施の形態に係る顕微鏡用カラー撮像装置13の概略構成を示すブロック図である。
図1において、顕微鏡本体1は、図示しない標本の観察画像を目視観察可能にするとともに、観察画像を観察光路a1に沿って顕微鏡本体1の外部に導出可能にしている。
顕微鏡本体1の外部の観察光路a1上には、顕微鏡本体1からの観察画像が投影される位置に、CCDなどの撮像素子2が配置されている。撮像素子2は、撮像素子駆動部3からの駆動信号に基づいた露出時間で駆動され、出力信号を前置処理部4へ出力する。前置処理部4は、撮像素子駆動部3から与えられる制御パルスにより、撮像素子2からの出力信号を映像信号化しA/D変換部5へ出力する。A/D変換部5は、撮像素子駆動部3からのクロック信号に基づいて、前置処理部4からのアナログ映像信号をデジタル化する。A/D変換部5でデジタル化された映像信号は、信号処理部6に入力される。
信号処理部6は、色補正処理部7を有し、この色補正処理部7によって入力した映像信号に対して色補正マトリックスを適用して色補正を行い、さらに図示しない階調補正処理部によって階調補正などの信号処理を行い、バス8を介して制御部9へ出力する。ここで、色補正処理部7による色補正マトリックスを適用した色補正処理は、下記の式1により表現できる。
ここで、式1中の
は、色補正処理部7に入力される映像信号であり、
は、色補正処理部7から出力される映像信号であり、Mは、色補正マトリックスであり、下記式2により表現できる。
そして、制御部9には、I/F(インタフェース)部10を介してパーソナルコンピュータ(以下PCと略称する。)11が接続されている。このPC11は、モニタ12を備えており、表示、記録、操作の各機能を有している。PC11は、図示しないマウスやキーボードからの入力指示により、顕微鏡用カラー撮像装置13を操作することができる。
また、バス8には、カメラ特性情報を記憶させたメモリ14が接続され、制御部9からの指示により、カメラ特性情報を読み出すことができる。メモリ14に記憶されるカメラ特性情報は、分光感度特性、すなわち顕微鏡用カラー撮像装置13のR成分、G成分、B成分それぞれの分光感度r(λ)、g(λ)、b(λ)であり、図2に示すような特性となっている。すなわち図2において、顕微鏡用カラー撮像装置13のR成分の分光感度r(λ)は波長620nm付近にピークがあり、G成分の分光感度g(λ)は波長540nm付近にピークがあり、B成分の分光感度b(λ)は波長460nm付近にピークがある。この分光感度特性は、撮像素子2自身の分光感度と赤外カットフィルタ15の分光透過率特性とをあわせたものである。
また、PC11には、3色以上の目標色情報が記憶されている。この目標色情報とは、顕微鏡用カラー撮像装置13で撮影した際に、ある分光透過率特性の色が、どのようなRGB信号として出力されるべきかというものである。その一例として、色1、色2および色3の3色の組み合わせを図3に示す。
図3において、(A)は、色1乃至色3のRGB成分を示し、(B)は、色1乃至色3の波長に対する分光透過率を示している。
これら色1乃至色3のRGB値は、顕微鏡用カラー撮像装置13の設計事項として、任意に設定することができる。また、色補正処理部7の色補正マトリックスは、PC11において標本の画像データとカメラ特性情報から最適な色補正マトリックスを算出し、制御部9を介して切り替えることができる。
次に最適な色補正マトリックスの算出方法について説明する。
顕微鏡本体1の照明光の分光特性をI(λ)と仮定すると、分光特性がf(λ)の色を撮影したときの撮像素子2から出力される各RGB成分の信号は、下記の式3乃至式5の関係になる。
したがって目標色3色については下記式6が成立する。
よって、色補正マトリックスMは下記式7のように求めることができる。
また、目標色が4色以上の場合は、下記の式8および式9のようになり、最小2乗推定などにより色補正マトリックスMを求める。
以上のように、照明光の分光特性I(λ)が分かれば、最適な色補正マトリックスMを演算により求めることができる。
次に、照明光の分光特性を推定する方法について説明する。
標本の画像データに含まれる背景部分は、通常の顕微鏡の場合、照明光によるものとみなすことができる。この部分の撮像素子2の出力信号Ri,Gi,Biを自動的に、もしくは顕微鏡用カラー撮像装置13の操作者が領域指定することにより抽出する。図2に示す各RGB成分のカメラ分光感度のピーク波長は、B成分が460nm、G成分が540nm、R成分が620nmであるので、照明光の分光特性は、それぞれ下記式10、式11、式12のようになる。
そして、この3点からスプライン補間などにより、補間することで、照明光の分光特性I(λ)を推定することができる。さらに顕微鏡に使われる光源では、380nmに特性がないこと、光源自体にIRカットフィルタを入れて700nm付近以上の光をカットしているなどの制限を加えることで、照明光の分光特性の推定制度を上げることができる。なおここでは、カメラ感度の中心波長は、B成分が460nm、G成分が540nm、R成分が620nmであるが、これは撮像素子2の特性によるので、撮像素子2により中心波長の値は異なる。
次に、以上説明した計算方法を利用した顕微鏡用カラー撮像装置13が実行するカラー撮像処理の作用を説明する。
図4は、顕微鏡用カラー撮像装置13が実行するカラー撮像処理の流れを示すフローチャートである。
顕微鏡本体1の操作者が撮影したい標本の位置あわせおよびピントあわせを行い、PC11を用いて顕微鏡用カラー撮像装置13への撮影指示を行うと、本カラー撮像処理の実行が開始される。
まず、ステップ401において、撮像素子2の露出動作が行なわれ、標本の光像が撮像されると、撮像素子2からの出力信号が信号処理部6へ送られ、色補正処理等の画像処理をバイパスして、バス8、制御部9、I/F部10を介して、PC11へ入力される。
次に、ステップ402において、PC11に入力された標本の画像から背景部分の画像データRiGiBiを抽出する。この背景部分の抽出は、画像上の彩度の低い部分を抽出するか、顕微鏡本体1の操作者がPC11の画面上で領域を指定してその部分のデータを抽出して行う。また別の方法としては、ステップ402の段階でRiGiBiを抽出するのではなく、標本を観察する前に、顕微鏡本体1から標本を取り除き、照明だけの状態として、画像を撮影し、その画像から求めることでも可能である。
次に、ステップ403において、前述の計算方法に従い、照明光の分光特性を推定する。そして、ステップ404において、PC11から制御部9を指示することにより、顕微鏡用カラー撮像装置13のメモリ14に記憶されたカメラ特性情報を読み出す。ステップ405では、前述の計算方法に従い、色補正マトリックスMを算出する。
そして、ステップ406において、ステップS405で算出した色補正マトリックスMを、制御部9を介して、信号処理部6の色補正マトリックス処理部7へ設定する。
最後に、ステップ407において、ステップS406で設定された色補正マトリックスMにより、信号処理部6が有する色補正処理部7での信号処理を行い、処理後の画像を、バス8、制御部9、I/F部10を介して、PC11へ転送および表示する。
以上のような構成および作用により、照明状態に応じた、最適な色補正マトリックスMで色補正処理を行うことができ、最適な色再現を実現できる。
なお、本第1の実施の形態では、信号処理等を顕微鏡用カラー撮像装置13の内部で行っているが、AD変換後の画像データを直接PC11へ取り込み、カメラ特性情報をPC11に記憶させるとともに、各種処理をPC11で行ってもよい。
次に、上述の第1の実施の形態の変形例を説明する。
図5は、本発明の第1の実施の形態の変形例に係る顕微鏡用カラー撮像装置13Aの概略構成を示すブロック図である。
本第1の実施の形態の変形例は、上述の第1の実施の形態を簡易化したものである。
図5において、顕微鏡本体1は、図示しない標本の観察画像を目視観察可能にするとともに、観察画像を観察光路a1に沿って顕微鏡本体1の外部に導出可能にしている。
顕微鏡本体1の外部の観察光路a1上には、顕微鏡本体1からの観察画像が投影される位置に、CCDなどの撮像素子2が配置されている。撮像素子2は、撮像素子駆動部3からの駆動信号に基づいた露出時間で駆動され、出力信号を前置処理部4へ出力する。前置処理部4は、撮像素子駆動部3から与えられる制御パルスにより、撮像素子2からの出力信号を映像信号化しA/D変換部5へ出力する。A/D変換部5は、撮像素子駆動部3からのクロック信号に基づいて、前置処理部4からのアナログ映像信号をデジタル化する。A/D変換部5でデジタル化された映像信号は、信号処理部6に入力される。
信号処理部6は、色補正処理部7を有し、この色補正処理部7によって入力した映像信号に対して色補正マトリックスを適用して色補正を行い、さらに図示しない階調補正処理部によって階調補正などの信号処理を行い、バス8を介して制御部9へ出力する。
信号処理部6からの処理済の信号は、D/A変換部18によりアナログ信号に変換され、動画像として表示部19に表示される。また、制御部9は、操作部16からの指示により、画像データを信号処理部6からバス8を介して記録手段としての記録部17に静止画像として記録する。バス8には、カメラ特性情報と複数の色補正マトリックスを記憶させたメモリ14Aが接続され、制御部9からの指示により、読み出しや、色補正マトリックスの色補正処理部7への設定を行うことができる。カメラ特性情報としては、顕微鏡用カラー撮像装置13Aの分光感度の積分値CamR、CamG、CamBが記憶されている。ここで、CamR、CamG、CamBは、それぞれ下記の式13、式14、式15のように表現できる。
次に、本変形例の顕微鏡用カラー撮像装置13Aの作用について説明する。
まず、顕微鏡本体1の操作者は、標本の撮影を行う前に、顕微鏡本体1から標本を取り除き、全面が照明光で満たされている状態にする。この状態で、操作部16から色補正マトリックスの変更の指示を行う。このときの撮像素子2からの出力信号Ri,Gi,Biは、照明光がハロゲンランプの場合、色温度によって、図6のようになっている。
そして、Ri,Gi,Biをそれぞれ上述のCamR,CamG,CamBで除算すると、図7のようになり、RGBのそれぞれがほぼ直線上になる。これはハロゲンランプの分光特性が直線的に変化することによる。したがってこれらの直線の傾きと照明光の色温度の間には相関関係があると言え、傾きに基づいて色温度を判別することができる。
操作部16からの色補正マトリックスの変更の指示があると、制御部9では、前述の色温度判別を行い、それに対応した色補正マトリックスを選択し、メモリ14から色補正マトリックスを読みだして、色補正処理部7へ設定する。
以上のように、上述の第1の実施の形態のようなPC11が接続されず、複雑な計算ができない場合においても、顕微鏡本体1の照明光に最適な色補正マトリックスを選択し、最適な色再現性を実現することができる。
次に、本発明の第2の実施の形態について説明する。
図8は、本発明の第2の実施の形態に係る顕微鏡用カラー撮像装置13Bの概略構成を示すブロック図である。
本第2の実施の形態は、上述の第1の実施の形態とほぼ同様の構成であるが、撮像素子2の前に置かれる赤外カットフィルタ15が挿抜可能になっている。
顕微鏡観察では、その観察方法により、赤外領域の画像を取得したい場合がある。本第2の実施の形態では、赤外カットフィルタ15の着脱状態を、撮影した画像から判別する。
本第2の実施の形態の顕微鏡用カラー撮像装置13Bの作用について説明する。
まず、顕微鏡本体1の操作者は、撮影したい標本の位置あわせおよびピントあわせを行い、PC11を用いた指示入力により、顕微鏡用カラー撮像装置13Bへの撮影指示を行う。そして、撮像素子2で露出動作を行い、標本の光像を撮像する。撮像素子2からの出力信号は、信号処理部6へ送られ、色補正処理等の画像処理をバイパスして、バス8、制御部9、I/F部10を介して、PC11へ入力される。次にPC11に入力された標本の画像から背景部分の画像データRiGiBiを抽出する。この背景部分の抽出は、画像上の彩度の低い部分を抽出するか、顕微鏡本体1の操作者がPC11の画面上で枠を指定してその部分のデータを抽出して行う。
また別の方法としては、標本を観察する前に、顕微鏡本体1から標本を取り除き、照明だけの状態として、画像を撮影し、その画像から求めることでも可能である。Ri,Gi,Biに対して下記の式16、式17、式18の演算を行う。
図9は、赤外カットフィルタ15が顕微鏡用カラー撮像装置13Bに装着されている場合と装着されていない場合におけるRGB各色成分の分光特性の信号レベルを示す図である。
照明光がハロゲンランプの場合であって、赤外カットフィルタ15が顕微鏡用カラー撮像装置13Bに装着されている場合と、装着されていない場合、分光特性は色温度によって図9に示すようになっている。すなわち、赤外カットフィルタ15が顕微鏡用カラー撮像装置13Bに装着されている場合は、I(460),I(540),I(620)がほぼ直線上にのっているが、赤外カットフィルタ15が顕微鏡用カラー撮像装置13Bに装着されていない場合は、I(460)およびI(540)に比べ、I(620)の信号レベルが大きくなる。したがってI(460)とI(540)で作られる直線とI(620)を比較することによって赤外カットフィルタ15の装着の有無を判別することができる。この判別結果に基づいて、対応する色補正マトリックスをメモリ14Bから読み出し、色補正処理部7に設定する。
なお、本第2の実施の形態では、顕微鏡用カラー撮像装置13B内の置かれた赤外カットフィルタ15の挿抜についての例を示したが、顕微鏡本体1の観察光路a1上にその他の用途の光学素子が挿抜される場合も、同様の考え方によって判別することができる。
以上のように、本第2の実施の形態によれば、顕微鏡本体1および顕微鏡用カラー撮像装置13Bに挿抜される赤外カットフィルタ15等の光学素子の状態を、顕微鏡用カラー撮像装置13Bが撮像する画像から検出することができ、さらにそれに対応した色補正マトリックスに切り替えることができる。
次に、本発明の第3の実施の形態について説明する。
本第3の実施の形態は、第1の実施の形態と同様の構成であるが、本第3の実施の形態では、顕微鏡用カラー撮像装置13の分光感度特性の経時変化の影響を補正し、最適な色再現性を得るものである。
本第3の実施の形態の顕微鏡用カラー撮像装置13の作用について説明する。
まず、顕微鏡本体1の操作者は、撮影したい標本の位置あわせおよびピントあわせを行い、PC11を用いた指示入力により、顕微鏡用カラー撮像装置13への撮影指示を行う。そして、撮像素子2で露出動作を行い、標本の光像を撮像する。撮像素子2からの出力信号は、信号処理部6へ送られ、色補正処理等の画像処理をバイパスして、バス8、制御部9、I/F部10を介して、PC11へ入力される。次にPC11に入力された標本の画像から背景部分の画像データRiGiBiを抽出する。この背景部分の抽出は、画像上の彩度の低い部分を抽出するか、顕微鏡本体1の操作者がPC11の画面上で領域を指定してその部分のデータを抽出して行う。
また別の方法としては、標本を観察する前に、顕微鏡本体1から標本を取り除き、照明だけの状態として、画像を撮影し、その画像から求めることでも可能である。Ri,Gi,Biに対して下記の式19、式20、式21の演算を行う。
ここで、顕微鏡用カラー撮像装置13の赤外カットフィルタ15に経時変化があると、顕微鏡用カラー撮像装置13の分光感度は、図10に示すように変化する。
そして、経時変化前後でのI(460),I(540),I(620)の関係は、図11に示すようになる。すなわち、経時変化前は、I(460),I(540),I(620)はほぼ直線上にのっているが、経時変化後では、I(460)およびI(540)に比べ、I(620)の信号レベルが大きくなる。したがってI(460)とI(540)で作られる直線とI(620)を比較し、I(620)の変化の度合いを見ることによって顕微鏡用カラー撮像装置13の分光感度を推定することができる。また、上述の各実施の形態で説明したように、I(460)とI(540)とから照明光の分光特性を推定することができる。そして、第1の実施の形態と同様、推定したカメラ分光感度と照明光から色補正マトリックスを算出し、色補正処理部7に設定する。
以上のように、本第3の実施の形態によれば、顕微鏡用カラー撮像装置13の分光感度特性に経時変化があった場合でも、その変化を補正して、最適な色再現性を実現することができる。
次に、本発明の第4の実施の形態について図12乃至図16を用いて説明する。
図12は、本発明の第4の実施の形態に用いるシステムの全体構成を示す図である。
図12において、本第4の実施の形態に用いるシステムは、顕微鏡等の観察装置に備え付けられた顕微鏡用カラー撮像装置1201と、モニタ1251を有するPC1250とを備える。
PC1250から顕微鏡用カラー撮像装置1201および撮像素子1202を制御し、これにより撮像素子1202にて取得した画像はPC1201に保存さら、モニタ1251に表示される。
また、観察装置としては、光源1205を内蔵したランプハウス1204、顕微鏡筐体1206、観察光の色温度を自然なものに合わせるための色温度変換フィルタ(以下、LBDフィルタ)1207、対物レンズ1209、鏡筒1210を有している。また、顕微鏡用カラー撮像装置1201には赤外線をカットするための赤外カットフィルタ(以下、IRカットフィルタ)1211が付属している。LBDフィルタ1207およびIRカットフィルタ1211は任意に着脱可能である。
光源1205から観察光1203が発せられると、観察光1203は、顕微鏡筐体1206およびLBDフィルタ1207を通過後、観察標本1208を照らす。その後、観察光1203は、対物レンズ1209、鏡筒1210、IRカットフィルタ1211を通って、撮像素子1202に入射する。
次に、顕微鏡用カラー撮像装置1201の内部の構成について図13を用いて説明する。
図13は、顕微鏡用カラー撮像装置1201の内部ブロック図である。
図13において、A/D変換機1301は、CCD1202で得たアナログ信号をデジタル化する。色分離回路1302は、A/D変換機1301でデジタル化された単色画像信号からRGB信号を分離する。WB(ホワイトバランス)設定部1303は、色分離回路1302で分離したRGB信号の白レベルを合わせるよう、取得した信号値を調整する。
色補正部1304は、色補正マトリックスを用いて色補正を行う。具体的な色補正は、色補正前の信号を
とし、色補正後の信号を
とすると、定められた色補正マトリックス
を用いて、
となるような色変換処理を行う。この色補正マトリックスは、書き換え可能である。
また、ガンマ補正部1305は、色補正部1304によって色補正された入力信号に対してガンマ補正を行う。
そして、顕微鏡用カラー撮像装置1201は、これらの一般的な装置構成に対し、さらに組み合わせ判定部1401、色度分布格納部1402、色補正マトリックス変更部1403、色補正マトリックス格納部1404を有する。
色度分布格納部1402は、観察装置の光学系の組み合わせを用いた際に得られる色度分布データを格納している。
図14は、観察装置の光学系の組み合わせパターンの例を示す図であり、図15は、色度分布格納部1402が格納する色度分布データを分布図として示した図である。
図14および図15中に示されたA乃至Hは、観察装置の光学系の組み合わせのパターンであり、例えばパターンAは、顕微鏡の種類がSで、光源1205にはPを用いており、LBDフィルタ1207を有し、IRカットフィルタ1211を有することを示している。そして、これらの各組み合わせの状態は、光源1205の供給電圧の違いによる色温度の変化によって、パターンAの例で示せばa(暗い状態)−c(明るい状態)のように所定の幅を持っている。なお、これらのデータは、メモリ上にあらかじめ格納されている。
組み合わせ判定部1401は、まず色分離回路1302で得られたRGB信号からR/GおよびB/Gを計算する。次に、図15の色度分布図に存在する組み合わせと対比し、パターンA乃至H中で最も近似する組み合わせのパターンを抽出する。このようにして、観察装置による標本の観察時に用いている光学系の組み合わせ(顕微鏡の種類、各種フィルタおよび光源1205等)を判定する。
色補正マトリックス格納部304は、色分布格納部1402で設定されている各光学系組み合わせにおける、代表的な色補正マトリックス群(
)をあらかじめ格納している。色補正マトリックス変更部1403は、組み合わせ判定部1401で判断された組み合わせに応じて色補正マトリックス格納部1404から所定の色補正マトリックスを選択し、実際に用いられる色補正部1304内の色補正マトリックスを書き換える。
次に、顕微鏡用カラー撮像装置1201で実行される色補正処理の流れを説明する。
図16は、顕微鏡用カラー撮像装置1201で実行される色補正処理の流れを示すフローチャートである。
まず、ステップS1601において、観察標本1208が顕微鏡にセットされている場合は、顕微鏡から標本1208を取り除き、無標本状態にして撮像する。ステップS1602において、取得した画像信号は色分離回路1302で分離した後、得られたRGB信号に基づいてR/GおよびB/Gを取得する。
ステップS1603において、ステップS1602で取得したR/GおよびB/Gに基づいてWBを取得しつつ、ステップS1604において、別途組み合わせ判定部1401により観察時の光学系組み合わせを判定および導出する。
そして、ステップS1605において、色補正マトリックス変更部1403にて組み合わせに応じた色補正マトリックスを色補正マトリックス格納部1404から抽出する。その後、ステップS1606において、ステップS1605で抽出した色補正マトリックスを色補正部1304内の色補正マトリックスに上書きする。
最後に、ステップS1607において、ステップS1606で上書きされた色補正マトリックスを用いて色補正処理を実行する。
以上の方法により、撮像素子1202で得た信号から観察時における顕微鏡の種類、各種フィルタおよび光源1205等の光学系の組み合わせを導出し、それに合わせて最適な色パラメータに変更することが出来る。
なお、ステップS1601において、観察標本1208がセットされていない状態において画像を撮像すると説明したが、観察標本1208がセットされている状態においても、観察標本1208中の白部分を観察者が指定することで同様の方法を適用できる。
また、LBDフィルタ1207およびIRカットフィルタ1211などがない組み合わせの場合、モニタ1251上にその旨を表示して観察者に知らせることもできる。
また、色度分布を示す座標系に、図15に示したようなR/GおよびB/Gを用いると説明をしたが、G/BおよびG/Rを用いる等、撮像素子1202で得られた信号を用いていれば、特定の座標系に限るものではない。
また、光学系の組み合わせとして顕微鏡の種類、各種フィルタおよび光源1205の検知をすべて行っているが、これらのうちの一部の検知のみを行うようにしてもよい。その場合、検知手法はより簡易的なものになる。
次に、本発明の第5の実施の形態について図17乃至図19を用いて説明する。なお、前述の第4の実施の形態と同様の構成、処理等については同一の符号、ステップ番号を付し、その説明を省略する。
本第5の実施の形態は、観察標本1208の観察時の色温度を判定することを特徴とする。
図17は、本発明の第5の実施の形態に用いるシステムの全体構成を示す図であり、図18は、本発明の第5の実施の形態における色度分布データを分布図として示した図である。
図17において、色度分布格納部1402Aは、図18に示したように各パターンの組み合わせ状態において、光源1205の供給電圧の違いにおける色温度変化による、a(暗い状態)−c(明るい状態)のような変化幅のほかに、目標値b(bx,by)を格納している。組み合わせ判定部1401Aは、色度分布格納部1402Aと撮像素子1202で得られた信号値の座標P(Px,Py)とから光学系の組み合わせを抽出する。
そして、色温度判定部1405は、撮像素子1202で得られた信号値の座標Pと光学系の組み合わせの目標値bとの相対位置関係に基づいて、目標値bからの明暗を判断し、その判断結果より色温度の過不足信号を送信する。これらの判断をする際、目標点bとのずれ量Lを、目標点bと座標P点間の距離Lとして、下記の式22で求める。
そして、光源調整表示部1406は、色温度判定部1405から得た信号値に応じてモニタ1251に光源1205の調整指示を表示する。
図19は、第5の実施の形態における色補正処理の流れを示すフローチャートである。
ステップS1601乃至S1604までは、図16に示した第4の実施の形態における色補正処理のステップS1601乃至S1604と同様であるのでその説明を省略する。
ステップS1604の組み合わせ判定の後、ステップS1901において、色温度判定部1405によってずれ量Lと所定値Dとの大小を判定する。ここで、ずれ量Lと所定値Dとを比較するのは、所定値D以下であるようなずれ量Lの場合には色温度の調整の必要がないからである。
ずれ量Lが所定値Dより大きい(L>D)場合(ステップS1901:Y)は目標色温度からずれていると判断し、ステップS1902において、K=bx−PxとしてKの正負を判断する。
Kが正(K>0)の場合(ステップS1902:Y)は色温度が低いと判断し、ステップS1903において、色温度が不足していることを示す不足信号を光源調整表示部1406に対して送信する。そして、この不足信号を受けた光源調整表示部306は、ステップS1904において、モニタ1251に例えば「光を強くしてください」と表示する。
他方、ステップS1902でK≦0の場合(ステップS1902:N)は色温度が高いと判断し、ステップS1905において、色温度が高過ぎることを示す過信号を光源調整表示部に送信する。そして、この過信号を受けた光源調整表示部1406は、ステップS1906において、モニタ1251に例えば「光を弱くしてください」と表示する。
また、ステップS1901でL≦Dの場合(ステップS1901:N)、ステップS1907において、不足信号も過信号も送信せずに処理を終了する。
以上の方法により、CCD1201で得た信号から観察時の光源1205の色温度を分析し、光源1205の調整指示を観察者に対して行うことが出来る。
以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される顕微鏡用カラー撮像装置は、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、LAN、WAN等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
また、バスに接続されたCPU、ROMやRAMのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトェアのプログラムコードを記録したROMやRAMのメモリ、外部記録装置、可搬記憶媒体を、顕微鏡用カラー撮像装置に供給し、その顕微鏡用カラー撮像装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。
プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、DVD−RAM、磁気テープ、不揮発性のメモリーカード、ROMカード、電子メールやパソコン通信等のネットワーク接続装置(言い換えれば、通信回線)を介して記録した種々の記憶媒体などを用いることができる。
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部または全部を行い、その処理によっても前述した各実施の形態の機能が実現される。
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム(データ)提供者から提供されたプログラム(データ)が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した各実施の形態の機能が実現され得る。
すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
本発明の第1の実施の形態に係る顕微鏡用カラー撮像装置13の概略構成を示すブロック図である。 顕微鏡用カラー撮像装置のカメラ特性情報を示す図である。 目標色情報を示す図である。 顕微鏡用カラー撮像装置13が実行するカラー撮像処理の流れを示すフローチャートである。 本発明の第1の実施の形態の変形例に係る顕微鏡用カラー撮像装置13Aの概略構成を示すブロック図である。 照明光がハロゲンランプの場合の撮像素子2からの出力信号Ri,Gi,Biの信号レベルを示す図である。 Ri,Gi,BiをCamR,CamG,CamBで除算した場合の信号レベルを示す図である。 本発明の第2の実施の形態に係る顕微鏡用カラー撮像装置13Bの概略構成を示すブロック図である。 赤外カットフィルタ15が顕微鏡用カラー撮像装置13Bに装着されている場合と装着されていない場合におけるRGB各色成分の分光特性の信号レベルを示す図である。 赤外カットフィルタ15に経時変化があった場合の顕微鏡用カラー撮像装置のカメラ特性情報を示す図である。 経時変化前後でのI(460),I(540),I(620)の関係を示す図である。 本発明の第4の実施の形態に用いるシステムの全体構成を示す図である。 顕微鏡用カラー撮像装置1201の内部ブロック図である。 観察装置の光学系の組み合わせパターンの例を示す図である。 色度分布格納部1402が格納する色度分布データを分布図として示した図である。 顕微鏡用カラー撮像装置1201で実行される色補正処理の流れを示すフローチャートである。 本発明の第5の実施の形態に用いるシステムの全体構成を示す図である。 本発明の第5の実施の形態における色度分布データを分布図として示した図である。 第5の実施の形態における色補正処理の流れを示すフローチャートである。 従来の顕微鏡用カラー撮像装置の概略構成の例を示すブロック図である。
符号の説明
1 顕微鏡本体
1a 観察光路
2 撮像素子
3 撮像素子駆動部
4 前置処理部
5 A/D変換部
6 信号処理部
7 色補正処理部
8 バス
9 制御部
10 I/F(インタフェース)部
11 パーソナルコンピュータ(PC)
12 モニタ
13、13A、13B 顕微鏡用カラー撮像装置
14、14A、14B メモリ
15 赤外カットフィルタ
16 操作部
17 記録部
18 D/A変換部
19 表示部
100 顕微鏡用カラー撮像装置
101 撮像素子
102 撮像素子駆動部
103 前置処理部
104 A/D変換部
105 信号処理部
106 バス
107 制御部
108 I/F(インタフェース)部
109 パーソナルコンピュータ(PC)
110 モニタ
200 顕微鏡本体
201 光源
1201 顕微鏡用カラー撮像装置
1202 撮像素子(CCD)
1203 観察光
1204 ランプハウス
1205 光源
1206 顕微鏡筐体
1207 LBDフィルタ
1208 標本
1209 対物レンズ
1210 鏡筒
1211 IRカットフィルタ
1250 PC
1251 モニタ
1301 A/D変換機
1302 色分離回路
1303 ホワイトバランス設定部
1304 色補正部
1305 ガンマ(γ)補正部
1401、1401A 組み合わせ判定部
1402、1402A 色度分布格納部
1403 色補正マトリックス変更部
1404 色補正マトリックス格納部
1405 色温度判定部
1406 光源調整表示部

Claims (21)

  1. 顕微鏡に用いられる顕微鏡用カラー撮像装置において、
    前記顕微鏡で観察するカラー画像を撮像する撮像手段と、
    前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、
    前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、
    前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段と、
    を備えることを特徴とする顕微鏡用カラー撮像装置。
  2. さらに、
    前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記顕微鏡の照明光源の種類を推定する照明光源推定手段と、
    前記色補正パラメータ算出手段によって算出された複数の色補正パラメータを格納する色補正パラメータ格納手段と、
    を備え、
    前記色補正処理手段は、前記照明光源推定手段によって推定された照明光源に対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理することを特徴とする請求項1に記載の顕微鏡用カラー撮像装置。
  3. さらに、
    前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記顕微鏡の照明光源から出射された照明光が前記撮像手段に入射されるまでの光路上に挿入されている光学素子を検出する光学素子検出手段と、
    前記色補正パラメータ算出手段によって算出された複数の色補正パラメータを格納する色補正パラメータ格納手段と、
    を備え、
    前記色補正処理手段は、前記光学素子検出手段によって検出された光学素子に対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することを特徴とする請求項1に記載の顕微鏡用カラー撮像装置。
  4. 前記色補正処理手段は、前記光学素子検出手段によって光学素子が検出されなかった場合、光学素子が検出されなかったことに対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することを特徴とする請求項3に記載の顕微鏡用カラー撮像装置。
  5. 前記光学素子は、光学フィルタであることを特徴とする請求項3または4の何れか1項に記載の顕微鏡用カラー撮像装置。
  6. さらに、
    前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記カメラ特性情報の経時変化を検出する経時変化検出手段と、
    前記色補正パラメータ算出手段によって算出された複数の色補正パラメータを格納する色補正パラメータ格納手段と、
    を備え、
    前記色補正処理手段は、前記経時変化検出手段によって検出された経時変化に対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することを特徴とする請求項1に記載の顕微鏡用カラー撮像装置。
  7. 前記カメラ特性情報は、顕微鏡用カラー撮像装置の分光感度特性または前記分光感度特性の積分値を示す情報であることを特徴とする請求項1乃至6の何れか1項に記載の顕微鏡用カラー撮像装置。
  8. 顕微鏡に用いられる顕微鏡用カラー撮像装置のコンピュータを、
    前記顕微鏡で観察するカラー画像を撮像する撮像手段と、
    前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、
    前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、
    前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段、
    として機能させるための顕微鏡用カラー撮像プログラム。
  9. 顕微鏡に用いられる顕微鏡用カラー撮像装置において実行される顕微鏡用カラー撮像方法であって、
    撮像手段が、前記顕微鏡で観察するカラー画像を撮像し、
    色補正パラメータ算出手段が、前記撮像されたカラー画像とカメラ特性情報格納手段に格納された前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報カメラ特性情報とに基づいて、前記撮像されたカラー画像を色補正処理するための色補正パラメータを算出し、
    色補正処理手段が、前記算出された色補正パラメータに基づいて、前記撮像されたカラー画像を色補正処理する、
    ことを特徴とする顕微鏡用カラー撮像方法。
  10. 顕微鏡に用いられる顕微鏡用カラー撮像装置において、
    前記顕微鏡で観察するカラー画像を撮像する撮像手段と、
    前記撮像手段によって撮像されたカラー画像に基づいて、前記顕微鏡の光学系の組み合わせを検出する光学系組合せ検出手段と、
    を備えることを特徴とする顕微鏡用カラー撮像装置。
  11. さらに、
    前記顕微鏡用カラー撮像装置の特性を示すカメラ特性情報を格納するカメラ特性情報格納手段と、
    前記撮像手段によって撮像されたカラー画像と前記カメラ特性情報格納手段に格納されたカメラ特性情報とに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理するための色補正パラメータを算出する色補正パラメータ算出手段と、
    前記色補正パラメータ算出手段によって算出された色補正パラメータに基づいて、前記撮像手段によって撮像されたカラー画像を色補正処理する色補正処理手段と、
    を備え、
    前記色補正処理手段は、前記光学系組合せ検出手段によって検出された組み合わせに対応する色補正パラメータを前記色補正パラメータ格納手段から取得し、前記取得した色補正パラメータを用いて、前記撮像手段によって撮像されたカラー画像を色補正処理することを特徴とする請求項10に記載の顕微鏡用カラー撮像装置。
  12. 前記光学系組合せ検出手段は、前記顕微鏡の種類または前記顕微鏡に設置された照明光源の種類または前記照明光源から出謝された照明光の光路上に挿入された光学フィルタの種類を検出することを特徴とする請求項10または11に記載の顕微鏡用カラー撮像装置。
  13. 前記光学系組合せ検出手段は、ホワイトバランス処理を行う以前の色信号を用いた二次元色空間分布に基づいて、前記組み合わせを検出することを特徴とする請求項10乃至12の何れか1項に記載の顕微鏡用カラー撮像装置。
  14. さらに、
    前記光学系組合せ検出手段によって検出された前記顕微鏡の光学系の組み合わせを表示させる表示制御手段、
    を備えることを特徴とする請求項10乃至13の何れか1項に記載の顕微鏡用カラー撮像装置。
  15. さらに、
    前記撮像手段によって撮像されたカラー画像に基づいて、前記照明光源の色温度を判定する色温度判定手段と、
    前記色温度判定手段によって判定された結果に基づいて、色温度の調整指示を表示する光源調整表示手段と、
    を備えることを特徴とする請求項10乃至14の何れか1項に記載の顕微鏡用カラー撮像装置。
  16. 前記色温度判定手段は、前記カラー画像のホワイトバランス処理前の色信号を用いた二次元色空間分布に基づいて色温度を判定することを特徴とする請求項15に記載の顕微鏡用カラー撮像装置。
  17. 前記光学系組合せ検出手段は、RGB形式で出力される前記色信号を、互いに直交するR/G軸およびB/G軸で規定される二次元空間内で評価することを特徴とする請求項10乃至16の何れか1項に記載の顕微鏡用カラー撮像装置。
  18. 前記光学系組合せ検出手段は、前記二次元空間において予め記録された色度情報を参照することを特徴とする請求項17記載の顕微鏡用カラー撮像装置。
  19. 前記光学系組合せ検出手段は、さらに前記照明光源の輝度情報を推定することを特徴とする請求項10乃至16の何れか1項に記載の顕微鏡用カラー撮像装置。
  20. 顕微鏡に用いられる顕微鏡用カラー撮像装置のコンピュータを、
    前記顕微鏡で観察するカラー画像を撮像する撮像手段と、
    前記撮像手段によって撮像されたカラー画像に基づいて、前記顕微鏡の光学系の組み合わせを検出する光学系組合せ検出手段、
    として機能させるための顕微鏡用カラー撮像プログラム。
  21. 顕微鏡に用いられる顕微鏡用カラー撮像装置において実行される顕微鏡用カラー撮像方法であって、
    撮像手段が、前記顕微鏡で観察するカラー画像を撮像し、
    光学系組合せ検出手段が、前記撮像手段によって撮像されたカラー画像に基づいて、前記顕微鏡の光学系の組み合わせを検出する、
    ことを特徴とする顕微鏡用カラー撮像方法。
JP2006200559A 2006-07-24 2006-07-24 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法 Active JP4974599B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006200559A JP4974599B2 (ja) 2006-07-24 2006-07-24 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法
US11/879,404 US8238524B2 (en) 2006-07-24 2007-07-16 Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006200559A JP4974599B2 (ja) 2006-07-24 2006-07-24 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法

Publications (2)

Publication Number Publication Date
JP2008028814A true JP2008028814A (ja) 2008-02-07
JP4974599B2 JP4974599B2 (ja) 2012-07-11

Family

ID=38971046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006200559A Active JP4974599B2 (ja) 2006-07-24 2006-07-24 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法

Country Status (2)

Country Link
US (1) US8238524B2 (ja)
JP (1) JP4974599B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017528762A (ja) * 2014-08-27 2017-09-28 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh デジタル顕微鏡の色再現を修正する方法、ならびにデジタル顕微鏡
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898578B2 (ja) * 2007-07-03 2012-03-14 オリンパス株式会社 画像処理システム、撮像システム、及び顕微鏡撮像システム
EP2204980B1 (en) 2009-01-02 2011-05-18 Olympus Corporation Image processing system, imaging system, and microscope imaging system
CN101860765B (zh) * 2009-04-13 2012-03-14 鸿富锦精密工业(深圳)有限公司 白平衡调整方法
JP2011124948A (ja) * 2009-12-14 2011-06-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
DE102010063959A1 (de) * 2010-12-22 2012-06-28 Carl Zeiss Microlmaging Gmbh Mikroskop mit einem Farbbildsensor sowie Mikroskopieverfahren mit einem Farbbildsensor
CN104570315B (zh) * 2014-12-30 2017-06-27 中国科学院西安光学精密机械研究所 一种基于结构照明的彩色三维层析显微成像系统及方法
EP4144085A4 (en) 2020-04-30 2023-10-25 Siemens Healthcare Diagnostics, Inc. APPARATUS, METHOD FOR CALIBRATING AN APPARATUS AND ASSOCIATED DEVICE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292369A (ja) * 2000-02-04 2001-10-19 Olympus Optical Co Ltd 顕微鏡システム
JP2001339734A (ja) * 2000-05-26 2001-12-07 Olympus Optical Co Ltd デジタルカメラシステム及びデジタルカメラの調整方法
JP2003230154A (ja) * 2002-01-31 2003-08-15 Olympus Optical Co Ltd 顕微鏡用デジタルカメラ
JP2004235851A (ja) * 2003-01-29 2004-08-19 Olympus Corp 電子的撮像装置及び顕微鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388694B1 (en) * 1996-12-19 2002-05-14 Minolta Co., Ltd. Method for calculating the output characteristic of an optical tip array and image forming apparatus
JPH11113006A (ja) 1997-09-30 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
JP2001045516A (ja) * 1999-08-03 2001-02-16 Olympus Optical Co Ltd 色再現システム
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
EP1231777A1 (en) * 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Correction of colors of photographic images
JP4128405B2 (ja) 2002-07-22 2008-07-30 オリンパス株式会社 顕微鏡用撮像装置
US20040119860A1 (en) * 2002-12-23 2004-06-24 Eastman Kodak Company Method of colorimetrically calibrating an image capturing device
US7688468B2 (en) * 2004-07-12 2010-03-30 Canon Kabushiki Kaisha Method of illuminant adaptation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292369A (ja) * 2000-02-04 2001-10-19 Olympus Optical Co Ltd 顕微鏡システム
JP2001339734A (ja) * 2000-05-26 2001-12-07 Olympus Optical Co Ltd デジタルカメラシステム及びデジタルカメラの調整方法
JP2003230154A (ja) * 2002-01-31 2003-08-15 Olympus Optical Co Ltd 顕微鏡用デジタルカメラ
JP2004235851A (ja) * 2003-01-29 2004-08-19 Olympus Corp 電子的撮像装置及び顕微鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017528762A (ja) * 2014-08-27 2017-09-28 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh デジタル顕微鏡の色再現を修正する方法、ならびにデジタル顕微鏡
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JPWO2017169014A1 (ja) * 2016-03-30 2019-02-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
US11147647B2 (en) 2016-03-30 2021-10-19 Sony Olympus Mrdical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program

Also Published As

Publication number Publication date
JP4974599B2 (ja) 2012-07-11
US20080018735A1 (en) 2008-01-24
US8238524B2 (en) 2012-08-07

Similar Documents

Publication Publication Date Title
JP4974599B2 (ja) 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法
JP2007208413A (ja) 色補正装置および色補正方法ならびに色補正プログラム
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP4078334B2 (ja) 画像処理装置および画像処理方法
US20190038111A1 (en) Endoscope system, image processing device, and method of operating image processing device
KR101319048B1 (ko) 카메라 플래시 완화
EP3263011A1 (en) Image processing device
KR20110102695A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP4818393B2 (ja) 画像処理方法および画像処理装置
JP2008042482A (ja) カラーフィルタ、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体
JP2008042617A (ja) デジタルカメラ
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
JP2010239610A (ja) 画像処理装置および画像処理方法
JP2009285084A (ja) 信号処理システム及び信号処理プログラム
JP5301889B2 (ja) 顕微鏡用撮像システム、露光調整プログラム、及び露光調整方法
JP2011004257A (ja) 撮像装置、信号処理方法、及びプログラム
CN112469324B (zh) 内窥镜系统
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP2016076851A (ja) 撮像装置、画像処理方法、及びプログラム
JP2010279526A (ja) 内視鏡画像処理装置および方法ならびにプログラム
CN109391770B (zh) 图像处理装置及图像处理方法
US7688367B2 (en) Image signal processing apparatus and image signal processing method
JP4714516B2 (ja) 撮像装置
KR20190001496A (ko) 정보 처리 장치, 프로그램, 방법 및 시스템
JP2004222233A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250