JP2011095073A - 撮像装置、及び、画像生成方法 - Google Patents

撮像装置、及び、画像生成方法 Download PDF

Info

Publication number
JP2011095073A
JP2011095073A JP2009248560A JP2009248560A JP2011095073A JP 2011095073 A JP2011095073 A JP 2011095073A JP 2009248560 A JP2009248560 A JP 2009248560A JP 2009248560 A JP2009248560 A JP 2009248560A JP 2011095073 A JP2011095073 A JP 2011095073A
Authority
JP
Japan
Prior art keywords
image
image data
histogram
gradation
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009248560A
Other languages
English (en)
Other versions
JP2011095073A5 (ja
JP5379647B2 (ja
Inventor
Masato Kaminaga
誉人 神長
Shinichiro Aizaki
紳一郎 合▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009248560A priority Critical patent/JP5379647B2/ja
Priority to US12/908,270 priority patent/US9100598B2/en
Publication of JP2011095073A publication Critical patent/JP2011095073A/ja
Publication of JP2011095073A5 publication Critical patent/JP2011095073A5/ja
Application granted granted Critical
Publication of JP5379647B2 publication Critical patent/JP5379647B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene

Landscapes

  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することを課題とする。
【解決手段】素子ずらし手段33を用いて、標本11の像に対する撮像素子21の相対位置を変化させて、撮像素子21で複数の相対位置の標本11の像を撮像し、複数の画像データを取得する。取得された複数の画像データの階調を、画像データのヒストグラムを用いて褪色補正処理部44で補正し、補正後の画像データを合成処理部45で合成する。
【選択図】図1

Description

本発明は、撮像装置及び画像生成方法の技術に関し、特に、蛍光標本を対象とする撮像装置及び画像生成方法の技術に関する。
標本からの光を電気信号に変換し、標本の画像を生成する撮像装置が知られている。
撮像装置は、光電変換を行う固体撮像素子からなる撮像手段を有しており、この撮像手段は、通常、それぞれ独立に光量を検出できる複数の画素部を有している。このような構成の撮像手段を用いて画像を生成する場合、標本と撮像手段の間の光学系の解像度(以降、光学解像度と記す。)に加えて、撮像手段に含まれる画素部の数(以降、画素数と記す。)によっても、画像の解像度が制限される。
従って、光学系の光学解像度が十分に大きな場合であっても、画素数が少なく撮像手段が実現できる解像度が小さい場合には、撮像手段が画像の解像度を制限してしまい、十分な解像度を有する画像が得られない。
例えば、図11には、標本と撮像手段の間に顕微鏡を有する撮像装置が例示されている。図11に例示される撮像装置400は、顕微鏡100のポート101に顕微鏡用デジタルカメラなどの撮像装置本体200が接続されていて、ポート101から出力される標本像を撮像装置本体200により撮像する。
より詳細には、顕微鏡100に設けられた光源102より発せられた光が、コレクタレンズ103を通して平行光に変換され、ミラー104で反射し、窓レンズ105、視野絞り(FS)106、開口絞り(AS)107、コンデンサレンズ108を介して標本109に照射される。標本109を透過した透過光は、対物レンズ110、結像レンズ111を介して標本像としてポート101より出力される。
撮像装置本体200には、顕微鏡100のポート101から出力される標本像を撮像する撮像手段として機能するCCDなどの撮像素子201が設けられている。この撮像素子201は、撮像素子駆動部202からの駆動信号に基づいた露出時間で駆動され、出力信号を前置処理部203に入力する。前置処理部203は、撮像素子駆動部202から与えられる制御パルスにより撮像素子201の出力信号を映像信号化し、A/D変換部204に入力する。A/D変換部204は、撮像素子駆動部202からのクロック信号に基づいて映像信号をデジタル画像データとして信号処理部205へ出力する。その後、画像データは、信号処理部205で色補正、階調補正などの信号処理が行われ、さらに、D/A変換部206でアナログ信号に変換されて、動画像として表示部207に表示される。
また、I/F部208と接続された操作部からの指示を受信した制御部209は、信号処理部205からの画像データを、バス210を介して記録部211に送出し、静止画像として記録する。
また、図12には、標本と撮像手段の間に、図11と同様の顕微鏡を有する撮像装置が例示されている。図12に例示される撮像装置401は、顕微鏡100と撮像装置本体200に加えて、パーソナルコンピュータ(PC)300を含んでいる。撮像装置401では、A/D変換部206、表示部207および記録部211が削除され、その代わりに、これらの機能をI/F部208に接続されたPC300が代替している。また、画像処理の一部についても、PC300により行われうる。
図11及び図12で例示した撮像装置400及び撮像装置401では、撮像素子201の画素数が少ない場合には、光学解像度が十分に大きな顕微鏡100を用いても、その光学性能が十分に発揮されず、十分な解像度を有する画像が得られない。
このような課題に対して、撮像素子201(撮像手段)の画素数を増やすことにより、解像度を向上させる方法もあるが、その場合、製造コストや光電変換効率など、撮像手段に関する新たな課題が生じてしまうことが指摘されている。
これに対して、撮像手段の画素数を増やすことなく、撮像装置で生成される画像の解像度を向上させる技術として、画素シフト技術が提案されている。画素シフト技術は、標本像に対する撮像手段の相対位置が異なる、複数の画像を画像処理により合成することで、画像の解像度を撮像手段の解像度以上に向上させる技術であり、例えば、特許文献1などで開示されている。
図13は、画素シフト技術を用いた撮像装置の構成を例示した図である。図13に例示される撮像装置402は、撮像素子201を移動させる素子ずらし手段213(画素シフト手段)を有する点が、図12に例示される撮像装置401と異なっている。撮像装置402は、この素子ずらし手段213を用いて、標本像に対する撮像素子201の相対位置を変化させることで、異なる相対位置の画像を取得する。そして、取得された画像を合成することにより、撮像素子201の解像度以上の解像度の画像を生成することができる。
特開2006−72280号公報
しかしながら、このような画素シフト技術を用いた撮像装置を蛍光観察に用いた場合、生成された画像にブロック状の模様が生じてしまい、画質が劣化してしまうことがある。
例えば、図14(a)に例示されるような、それぞれ蛍光色素で染色された領域602及び領域603からなる細胞領域601と、蛍光色素の存在しない背景領域604と、からなる蛍光標本500の像を、画素シフト技術を用いた撮像装置で撮像すると、図14(b)に例示されるような画像510が生成される。
以下、図15及び図16を参照しながら、画素シフト技術を用いた撮像装置で生成される蛍光画像に、図14(b)に例示されるようなブロック状の模様が生じる理由について説明する。
画素シフト技術を用いた撮像装置では、上述したように、標本像に対する撮像手段の相対位置が異なる複数の画像が取得される。
具体的には、例えば、図15(a)に例示される第1の相対位置Pos1に撮像手段がある状態で、図15(b)に例示されるように、赤(R)の画素部が初期画素位置701に、緑(G)の画素部が初期画素位置702及び初期画素位置703に、青(B)の画素部が初期画素位置704に配置されるように、撮像手段が構成される。その上で、画素シフト手段により、それぞれの相対位置が2/3画素ピッチだけ互いに異なるように、撮像手段の相対位置を、第1の相対位置Pos1から第9の相対位置Pos9まで順番に変化させて、それぞれの相対位置で標本500の画像を取得する。なお、これにより、図15(b)に例示されるベイヤーパターン700が生成されることになる。
図16(a)に例示される画像501から図16(i)に例示される画像509は、撮像手段が第1の相対位置Pos1から第9の相対位置Pos9のそれぞれに位置するときに取得された標本500の画像を例示している。
図16に例示されるように、標本500の画像では、画像の取得が進むにつれて、細胞領域601の明るさが低下し、画像が暗くなっている。これは、各画像の取得時刻の間には時間差が生じるため、画像の取得が進むにつれて時間が経過し、それによって、細胞領域601を染色している蛍光色素が褪色することで、蛍光色素から生じる蛍光が減少しているからである。このため、図15(c)に例示されるベイヤーパターン710のように、細胞領域601の同一部位を対象とする近接する各画素部に入射する光量も、褪色の影響で取得時刻に応じて異なることになる。なお、図15(c)では、各画素部に入射する光量は、各画素部の濃淡で表されている。
このように、蛍光観察に画素シフト技術を用いた撮像装置を用いる場合、蛍光色素の褪色により明るさの異なる複数の画像が取得される。そして、そのような明るさの異なる画像が合成されることにより画像が生成されるため、生成された画像にブロック状の模様が生じ、画質が劣化することになる。
なお、図14(b)に例示されるように、このようなブロック状の模様は、蛍光色素で染色された細胞領域601で生じる。従って、このようなブロック状の模様を排除するために、蛍光色素の褪色を考慮して相対位置の異なる画像毎に露光時間を調整する方法も考えられるが、このような方法は、実用的ではない。このような方法では、各画像で背景領域604の明るさが変化してしまい、図14(b)の場合とは異なり、背景領域604にブロック状の模様が生じてしまうからである。
以上のような実情を踏まえ、本発明では、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することを課題とする。
本発明の第1の態様は、蛍光標本の像を撮像する撮像手段と、像に対する撮像手段の相対位置を変化させる画素シフト手段と、異なる相対位置で、撮像手段により取得された複数の画像データのヒストグラムを用いて、画像データの階調を補正する画像補正手段と、画像補正手段により補正された複数の画像データを合成する画像合成手段と、を含む撮像装置を提供する。
本発明の第2の態様は、第1の態様に記載の撮像装置において、画像補正手段は、階調が補正された複数の画像データのヒストグラムを一致させる撮像装置を提供する。
本発明の第3の態様は、第1の態様に記載の撮像装置において、画像補正手段は、蛍光色素が褪色により劣化した、蛍光標本の一部分に対応する画像データを補正する撮像装置を提供する。
本発明の第4の態様は、第1の態様乃至第3の態様のいずれか1つに記載の撮像装置において、画像補正手段は、相対位置毎に画像データのヒストグラムを作成するヒストグラム作成手段と、ヒストグラムを比較して、ルックアップテーブルを作成するルックアップテーブル作成手段と、ルックアップテーブルを用いて、画像データの階調を補正する階調補正手段と、を含む撮像装置を提供する。
本発明の第5の態様は、第1の態様乃至第4の態様のいずれか1つに記載の撮像装置において、さらに、画像データから、蛍光標本に含まれる各被写体を識別する被写体識別手段を含み、画像補正手段は、画像データの被写体毎のヒストグラムを用いて、画像データのうち被写体に該当する部分の階調を補正する撮像装置を提供する。
本発明の第6の態様は、第1の態様乃至第5の態様のいずれか1つに記載の撮像装置において、さらに、画像データから、蛍光標本に含まれる蛍光色素毎の画像データを生成するアンミキシング手段を含み、画像補正手段は、蛍光色素毎に生成された画像データのヒストグラムを用いて、画像データの階調を補正する撮像装置を提供する。
本発明の第7の態様は、第6の態様に記載の撮像装置において、さらに、蛍光色素から射出される蛍光の波長データが記憶される蛍光情報記憶手段、を含み、アンミキシング手段は、蛍光情報記憶手段から、蛍光標本に含まれる蛍光色素から射出される蛍光の波長データを取得し、波長データを用いて、蛍光標本に含まれる蛍光色素毎の画像データを生成する撮像装置を提供する。
本発明の第8の態様は、第1の態様乃至第7の態様のいずれか1つに記載の撮像装置において、さらに、蛍光標本を観察する顕微鏡を含み、撮像手段は、顕微鏡を通過した蛍光標本の像を撮像する撮像装置を提供する。
本発明の第9の態様は、第8の態様に記載の撮像装置において、撮像装置は、顕微鏡用デジタルカメラである撮像装置を提供する。
本発明の第10の態様は、蛍光標本の像に対する撮像手段の相対位置を変化させて、複数の異なる相対位置で蛍光標本の像を撮像し、画像データを取得するステップと、相対位置毎に取得された画像データから、相対位置毎にヒストグラムを作成するステップと、ヒストグラムを用いて、画像データの階調を補正するステップと、階調が補正された画像データを合成するステップと、を含む画像生成方法を提供する。
本発明の第11の態様は、第10の態様に記載の画像生成方法において、ヒストグラムを用いて画像データを補正するステップは、ヒストグラムを比較して、ルックアップテーブルを作成するステップと、ルックアップテーブルを用いて、画像データの階調を補正するステップと、を含む画像生成方法を提供する。
本発明の第12の態様は、第11の態様に記載の画像生成方法において、複数の異なる相対位置は、1つの基準位置と、基準位置を除くシフト位置と、を含み、ルックアップテーブルは、基準位置の画像データのヒストグラムと、シフト位置の画像データのヒストグラムを比較して、シフト位置毎に、作成される画像生成方法を提供する。
本発明の第13の態様は、第12の態様に記載の画像生成方法において、ヒストグラムを用いて画像データを補正するステップは、シフト位置の画像データの階調を補正し、階調が補正されたシフト位置の画像データのヒストグラムを基準位置の画像データのヒストグラムと一致させる画像生成方法を提供する。
本発明によれば、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することができる。
実施例1に係る撮像装置の構成を例示した図である。 実施例1に係る撮像装置で用いられる静止画像を生成するプログラムのGUI画面を例示する図である。 実施例1に係る撮像装置で用いられる静止画像を生成するプログラムの他のGUI画面を例示する図である。 実施例1に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。 実施例1に係る撮像装置で取得される基準画像と補正対象画像のヒストグラムについて説明するための図である。 実施例1に係る撮像装置で取得される基準画像と補正対象画像からルックアップテーブルを作成する方法を説明するための図である。 実施例2に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。 実施例2に係る撮像装置で作成される被写体毎のルックアップテーブルが表現する階調補正曲線を例示する図である。 実施例3に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。 実施例4に係る撮像装置の構成を例示した図である。 従来技術に係る撮像装置の構成を例示した図である。 従来技術に係る撮像装置の他の構成を例示した図である。 従来技術に係る画素シフト技術を用いた撮像装置の構成を例示した図である。 従来技術に係る画素シフト技術を用いた撮像装置が生成する蛍光画像について説明するため図である。 従来技術に係る画素シフト技術を用いた撮像装置に含まれる撮像手段の相対位置とベイヤーパターンについて説明するための図である。 図15で例示される各相対位置で取得される蛍光画像を例示した図である。
以下、図面を参照しながら、各実施例について説明する。
図1は、本実施例に係る撮像装置の構成を例示した図である。図1に例示される撮像装置1は、標本11の像を形成する顕微鏡2と、顕微鏡2で形成された像を画像化する撮像装置本体20と、撮像装置本体20で生成された画像を表示するPC40と、を含んで構成されている。撮像装置1は、画素シフト技術を利用して、高い解像度の画像を生成することができる。
顕微鏡2は、蛍光観察を含む各種検鏡法を切替えて利用することのできる顕微鏡であり、検鏡法に応じて使用される、透過照明用の光源3、落射照明用の光源4、キューブユニット15等を含んでいる。
顕微鏡2の透過照明光3a上には、光源3から標本11に向かって順に、コレクタレンズ5、ミラー6、窓レンズ7、視野絞り(FS)8、開口絞り(AS)9、コンデンサレンズ10を有している。一方、落射照明光路4a上には、コレクタレンズや、図示しないAS及びFS、対物レンズ12に加え、交換可能なキューブユニット15などを有している。また、観察光路S上には、標本11側から順に、対物レンズ12、キューブユニット15、結像レンズ13、ポート14を有している。
照明光路や観察光路には、さらに、各種フィルタや偏光素子等の光学素子を含んでもよい。また、対物レンズ12やキューブユニット15は、観察倍率や検鏡法に応じて切り替え可能に配置されている。
撮像装置本体20は、標本11からの光を電気信号に光電変換する撮像素子21と、撮像素子21の駆動を制御する撮像素子駆動部22と、撮像素子21から出力される電気信号を映像信号に変換する前置処理部23と、映像信号をデジタル信号(画像データ)に変換するA/D変換部24と、信号処理部25と、バス30と、制御部31と、PC40と接続されたI/F部32と、撮像素子21を変位させる素子ずらし手段33と、を含んで構成されている。また、信号処理部25は、合成処理部26と、ベイヤー補間処理部27と、色補正処理部28と、階調補正処理部29と、を含んでいる。
撮像素子21は、それぞれ独立に光量を検出できる複数の画素部を有するCCDなどの固体撮像素子であり、標本11の像を撮像する撮像手段である。撮像素子21の各画素部は、例えば、図15(b)の初期画素位置701、初期画素位置702、初期画素位置703、初期画素位置704のような、ベイヤー配列に並べられている。また、素子ずらし手段33は、標本11の像に対する撮像素子21の相対位置を変化させる画素シフト手段である。
撮像装置本体20は、素子ずらし手段33を用いて標本11の像に対する撮像素子21の相対位置を変化させて、撮像素子21により複数の画像を取得する。そして、信号処理部25により、取得された複数の画像を合成することで高い解像度の画像を生成する。
PC40は、信号処理部40aと、操作部41と、記録部42と、表示部49と、を含んで構成されている。信号処理部40aは、LUT作成処理部43と、褪色補正処理部44と、合成処理部45と、ベイヤー補間処理46と、色補正処理部47と、階調補正処理部48と、を含み、PC40上で動作するソフトウェアとして構成されているものとする。ただし、PC40の代わりに専用装置が用いられても良く、その場合、信号処理部40aは、ハードウェアとして構成されてもよい。
信号処理部40aは、信号処理部25と同様に、取得された複数の画像を合成することで高い解像度の画像を生成する機能を有し、通常、信号処理部25とのいずれか一方が選択的に使用される。つまり、信号処理部25は、撮像装置1の第1の信号処理部であり、信号処理部40aは第2の信号処理部である。
なお、後述するように、信号処理部40aは、異なる相対位置で取得された複数の画像の累積ヒストグラムを用いて、それらの画像の階調を補正し、その後、補正された画像を合成する。このため、信号処理部40aは、標本11に含まれる蛍光色素の褪色が速い場合であっても、その影響を抑制して、生成された画像の画質を良好に維持する機能を有している点が、信号処理部25と異なっている。
次に、本実施例に係る撮像装置1の作用について詳細に説明する。
ここでは、光源4として、水銀ランプ等からなり紫外線(UV)を励起光として射出する光源を用い、標本11として、UV励起により450nm付近の波長をピークとする蛍光を生じさせる蛍光色素で染色された蛍光標本を用いた場合を例に説明する。従って、標本11の像はほとんど青色一色で構成される。また、キューブユニット15は、上記励起光及び蛍光の波長に合わせて構成された、ダイクロイックミラーや蛍光フィルタからなる蛍光キューブユニットである。
まず、落射照明用の光源4から射出された励起光は、コンデンサレンズを通過して、図示しないFS、ASを介してキューブユニット15へ入射する。キューブユニット15は、励起光に対して、標本11に応じた励起波長の光を選択的に反射する励起フィルタとして機能する。そして、キューブユニット15で反射された励起光は、対物レンズにより標本11に照射される。
励起光が照射された標本11では、標本11に含まれる蛍光色素が励起され、励起光よりも長波長の蛍光が生じる。蛍光は、標本11を反射した励起光とともに、対物レンズ12を介して、キューブユニット15へ入射する。この際、キューブユニット15は、蛍光を透過し励起光を遮断する吸収フィルタとして機能する。このため、蛍光は、キューブユニット15により励起光から分離され、結像レンズ13を介して、ポート14から撮像素子21に向けて射出される。
ポート14に接続された撮像装置本体20内には、結像レンズ13により標本11の像が投影される位置に、撮像素子21が配置されている。撮像素子21は、撮像素子駆動部22からの駆動信号に基づいた露光時間で駆動され、その間入力される蛍光(標本11の像)を光電変換し、前置処理部23へ電気信号を出力する。
電気信号が入力された前置処理部23は、撮像素子駆動部22からの制御パルスを受信し、電気信号を映像信号に変換してA/D変換部24へ出力する。A/D変換部24は、撮像素子駆動部22からのクロック信号に基づいて、映像信号をデジタル信号(画像データ)に変換して出力する。出力された画像データは、バス30、記録部31、I/F部32を介して、PC40へ出力され、動画像として表示部49に表示される。
撮像装置1では、操作部41から入力されたユーザの指示により、静止画像を生成するプログラムが起動されると、例えば、図2に例示されるGUI画面50が表示部49に表示される。
GUI画面50は、静止画像を表示する静止画像領域51と、静止画像の生成を開始させるボタン52と、生成される画像の条件を入力する選択パネル53から構成されている。選択パネル53には、生成する静止画像のサイズを指定するリストボックス54と、画像生成時に後述する褪色補正を行う否かを選択するラジオボタン55と、が含まれている。
なお、プログラムのGUI画面は、特にこれに限定されない。例えば、GUI画面は、図3に例示されるGUI画面56であっても良い。GUI画面56は、選択パネル53の代わりに選択パネル57を有し、リストボックス54及びラジオボタン55の機能をリストボックス58のみで実現している。
図2のリストボックス54に例示される“640×480”または“1380×1050”は、撮像素子21の画素数(解像度)以下のサイズを例示している。このため、“640×480”または“1380×1050”が選択された状態でボタン52が押下されると、画素シフト技術を用いずに静止画像が生成されて、静止画像領域51に表示される。
より具体的には、ユーザの指示は、操作部41、I/F部32を介して、制御部31に入力される。制御部31は、ユーザの指示に従って、A/D変換部24から出力される画像データを、そのままPC40の記録部42に記録し、静止画像として静止画像領域51に表示する。
一方、図2のリストボックス54に例示される“4140×3150”は、撮像素子21の画素数(解像度)を超えるサイズを例示している。なお、“4140×3150”を選択している時には、ラジオボタン55が有効な状態になり、“通常”または“褪色補正”のいずれか一方を選択することができる。
“4140×3150”及び“通常”が選択された状態でボタン52が押下されると、ユーザの指示は、操作部41、I/F部32を介して、制御部31に入力される。そして、制御部31は、画素シフト技術を用いて静止画像を生成し、静止画像領域51に表示するように、動作する。
具体的には、素子ずらし手段33は、図15(a)に例示される9つの相対位置に順番に、撮像素子21を変位させる。そして、撮像素子駆動部22は、各相対位置で所定の露光時間ずつ撮像素子21を駆動させ、前置処理部23を介して、A/D変換部24に各相対位置の9つの画像データを出力させる。出力された相対位置の異なる9つの画像データは、褪色補正を行う必要がないため、信号処理部25へ出力される。
信号処理部25では、9つの画像データは、合成処理部26により、図15(b)に例示されるようなベイヤーパターン700を有する画像データ(ベイヤーRAWデータ)に合成される。合成された画像データは、ベイヤー補間処理部27によりRGB形式の画像データに変換され、色補正処理部28により色変換マトリックスを用いて色調が補正される。そして、階調補正処理部29によりガンマ補正などの出力装置に合わせた階調補正が行われてから、信号処理部25から出力される。信号処理部25から出力された画像データは、記録部42に記録され、静止画像として静止画像領域51に表示される。
一方、“通常”の代わりに“褪色補正”が選択された状態でボタン52が押下されると、ユーザの指示は、同様に、操作部41、I/F部32を介して、制御部31に入力される。そして、制御部31は、画素シフト技術に加えて、後述する褪色補正処理を用いて、静止画像を生成し、静止画像領域51に表示するように、動作する。
図4は、画素シフト技術とともに褪色補正処理を用いた画像生成処理のフローチャートである。以降では、図4を参照しながら、褪色補正処理を用いた画像生成処理について説明する。
まず、処理が開始されると、図15(a)に例示される9つの相対位置で、標本11の画像データが取得される。
つまり、制御部31は、撮像素子駆動部22を制御して、第1の相対位置Pos1で所定の露光時間だけ撮像素子21を駆動させる。そして、出力された電気信号を前置処理部23により映像信号に、さらに、A/D変換部24により画像データに変換する(ステップS1)。画像データは、褪色補正を行う必要があるため、PC40へ出力される。具体的には、バス30、制御部31、I/F部32を介して、記録部42へ記録される。
制御部31は、すべての相対位置での撮像が終了しているかを判断する(ステップS2)。終了していなければ、制御部31は、素子ずらし手段33により撮像素子21を次の相対位置である第2の相対位置Pos2に変位させて(ステップS3)、標本11を撮像する(ステップS1)。これを第9の相対位置Pos9まですべての相対位置で繰り返す。
次に、このようにして記録部42に記録された画像データに対して、褪色補正処理が行われる。
本実施例に係る褪色補正処理は、画素シフト技術で用いられる複数の画像データについて階調に関するヒストグラムを作成し、そのヒストグラムを基づいて、各画像データの階調を補正する処理である。
この褪色補正処理では、褪色が生じない場合には取得される複数の画像データでヒストグラムの形状が同様となることを利用して、各画像データのヒストグラムの形状が一致するように、階調を補正する。つまり、褪色の影響をヒストグラムの変化として検出し、ヒストグラムの変化を補正することにより、褪色の影響を排除するものである。
なお、画素シフト技術で用いられる複数の画像データは、標本11の像に対して異なる相対位置で取得されているため、各画像データのヒストグラムは、褪色が生じない場合であっても、厳密には一致しない。しかしながら、(a)相対位置の変化量が2/3ピッチ程度と画像全体に対して非常に小さいこと、(b)ヒストグラムは画像全体の階調の傾向を示すものであること、などを考慮すると、褪色が生じない場合であれば、ヒストグラムの差異は、非常に小さく無視することができる。
褪色補正処理は、信号処理部40aで行われる。まず、9つの画像データから、第1の相対位置Pos1で取得された画像データを読み込み、基準画像として設定する(ステップS4)。なお、第1の相対位置Pos1は基準位置であり、それ以外の相対位置は基準位置から変位したシフト位置である。褪色補正処理は、後述するように、基準画像と同程度の褪色状態に各画像データを補正する。このため、基準画像は、最も褪色が少ない画像データであることが望ましい。従って、ここでは、最初に取得されているため、蛍光色素が最も褪色していないと考えられる第1の相対位置Pos1で取得された画像データを基準画像に設定する。ただし、基準画像は、必ずしも第1の相対位置Pos1で取得された画像には限られない。十分な褪色補正が行われる限り、任意の画像データを選択しても良い。
次に、基準画像の累積ヒストグラムを作成する(ステップS5)。累積ヒストグラムは、横軸を階調(濃度、光量)、縦軸を累積出現頻度とした、階調に関する累積ヒストグラムであり、基準画像のRGB成分別に作成する。
さらに、基準画像を除く8つの、階調を補正する画像データ(以降、補正対象画像と記す。)から、1つの補正対象画像を選択し(ステップS6)、階調(濃度)に関する累積ヒストグラムをRGB別に作成する(ステップS7)。
図5(a)は、基準画像のヒストグラムであり、図5(b)は、補正対象画像のヒストグラムである。それぞれ、ステップS5、ステップS7で作成される累積ヒストグラムをヒストグラムとして表現したものである。
図5(a)及び図5(b)に例示されるように、赤色(R)のヒストグラムR1及びヒストグラムR2と、緑色(G)のヒストグラムG1及びヒストグラムG2は、1つのピークしか持たない。これに対して、青色(B)のヒストグラムB1及びヒストグラムB2は、2つのピークを持っている。これは、標本11から生じる蛍光がほとんど青色で構成されているためである。つまり、ヒストグラムR1、ヒストグラムR2、ヒストグラムG1及びヒストグラムG2は、ほとんど背景光により構成されるため、背景光のピークしか有さず、ヒストグラムB1及びヒストグラムB2は、背景光及び蛍光により構成されるため、背景光のピークと蛍光のピークを有するからである。
また、図6(a)は、図5(a)のヒストグラムB1であり、図6(b)は、図5(b)ヒストグラムB2である。図6(c)は、図6(a)に例示されるヒストグラムB1の累積ヒストグラムBC1であり、図6(d)は、図6(b)に例示されるヒストグラムB2の累積ヒストグラムBC2である。
図6(a)及び図6(b)を比較すると、低階調領域に位置する背景光のピークは、ほとんど変化していないが、ヒストグラムB2の蛍光のピークは、褪色が進んだことにより、ヒストグラムB1の蛍光のピークに比べて低階調側に移動している。
そこで、このような褪色の影響により生じるヒストグラムの変化を補正するため、基準画像の累積ヒストグラムと補正対象画像の累積ヒストグラムに基づいて、補正対象画像の累積ヒストグラムを、基準画像の累積ヒストグラムに変換するルックアップテーブルを作成する(ステップS8)。つまり、そのルックアップテーブルを用いて階調補正された後の補正対象画像の累積ヒストグラムが、基準画像の累積ヒストグラムと一致するようなルックアップテーブルを作成する。ルックアップテーブルは、RGB別に作成する。
具体的には、基準画像の階調(濃度)をIOUTとし、基準画像の累積頻度をSOUT(IOUT)とし、補正対象画像の階調(濃度)をIINとし、基準画像の累積頻度をSIN(IIN)とし、ルックアップテーブルが有する入出力関係をLUTとするとき、ルックアップテーブルは、以下の関係式(1)を満たす基準画像の階調IOUTと補正対象画像の階調IINに対して、関係式(2)を満たす。
OUT(IOUT)=SIN(IIN) …(1)
OUT=LUT[IIN] …(2)
これにより、例えば、青色に関しては、基準画像の累積ヒストグラムBC1及び補正対象画像の累積ヒストグラムBC2から、図6(e)に例示されるような、階調補正曲線L1で表現される入出力関係を有するルックアップテーブルが作成される。
蛍光が含まれる色のヒストグラムは、階調補正曲線L1のように、低階調領域では入出力比がほぼ1の関係を示す直線状となり、中階調領域から高階調領域では傾きが増加する曲線状となる。これは、褪色の影響がほとんど生じない背景光は蛍光に比べて暗いため低階調側に位置し、蛍光は比較的高階調側に位置しているためである。蛍光が位置する高階調側で入出力比を1以上にすることで褪色による階調の低下を補正することが可能となる。
なお、上述した累積ヒストグラム作成処理、及び、ルックアップテーブル作成処理は、いずれもLUT作成処理部43で行われる。
褪色補正処理部44では、LUT作成処理部43でRGB別に作成されたルックアップテーブルを用いて、補正対象画像の階調がRGB別に補正される(ステップS9)。これにより、補正対象画像は、基準画像と同程度の褪色状態に補正される。
その後、基準画像を除く8つすべての補正対象画像の階調補正が終了しているかを判断する(ステップS10)。終了していなければ、別の補正対象画像を選択し(ステップS6)、同様の処理を繰り返す。すべての補正対象画像の階調補正が終了すると、基準画像と階調補正後の補正対象画像が合成処理部45へ出力される。
合成処理部45では、入力された9つの画像データ(基準画像及び8つの階調補正後の補正対象画像)が、図15(b)に例示されるようなベイヤーパターン700を有する画像データ(ベイヤーRAWデータ)に合成される(ステップS11)。
合成された画像データは、ベイヤー補間処理部46によりRGB形式の画像データに変換され(ステップS12)、色補正処理部47により色変換マトリックスを用いて色調が補正され(ステップS13)、階調補正処理部48によりガンマ補正などの出力装置に合わせた階調補正が行われる(ステップS14)。そして、すべての処理が終了した後、画像データは記録部42に記録され、表示部49を介して、静止画像として静止画像領域51に表示される。このようにして表示された画像では、蛍光標本を画素シフト技術で画像化したときに生じるブロック状の模様は抑制されるため、良好な画質と高解像度が実現される。
以上、本実施例に係る撮像装置1及び画像生成方法によれば、画素シフト技術で用いられる相対位置の異なる複数の画像間に生じる褪色状態の違い、つまり、画像の明るさの違いを、ヒストグラムを用いて補正することができる。これにより、明るさの異なる画像が合成されることにより生じるブロック状の模様が抑制されるため、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。
なお、上述した褪色補正処理では、累積ヒストグラムを使用してルックアップテーブルを作成したが、特にこれに限られない。累積ヒストグラムの代わりにヒストグラムを使用してルックアップテーブルを作成してもよい。
また、上述した褪色補正処理では、累積ヒストグラム及びルックアップテーブルをRGB別に作成する例を示したが、特にこれに限られない。RGB別に作成することなく、1画像毎に、1つの累積ヒストグラムと1つのルックアップテーブルを作成してもよい。
また、上述した褪色補正処理では、ルックアップテーブルが有する入出力関係によらず、褪色補正処理部44で階調補正が行われているが、必ずしも常に階調補正を行う必要はない。基準画像と補正対象画像の間で、階調分布の変化がほとんどない場合には、階調補正を省略してもよい。これにより、画像生成処理の高速化が図れる。
具体的には、例えば、撮像装置1に最適化された閾値をΔIとするとき、ルックアップテーブルが上述した関係式(1)を満たす基準画像の階調IOUTと補正対象画像の階調IINに対して、上述した関係式(2)を満たし、さらに、以下の関係式(3)を満たす場合には、褪色補正処理部44により階調補正を省略してもよい。
LUT[IIN]−IIN≦|ΔI| …(3)
また、上述した褪色補正処理では、LUT作成処理部43で、上述した関係式(1)及び関係式(2)を満たすルックアップテーブルを作成したが、特にこれに限られない。さらに、移動平均化処理などの階調補正曲線を補正する処理を行い、ルックアップテーブルが有する入出力関係を調整してもよい。
累積ヒストグラムを用いる場合、高階調になるほど誤差が累積される。このため、算出されるルックアップテーブルの値も、高階調になるほど計算誤差が大きくなり、補正精度が劣化する。しかしながら、移動平均化処理などを行うことでこのような計算誤差を減らすことができるため、より良好な階調補正を行うことができる。
なお、平均化処理により階調補正曲線を補正する代わり、ルックアップテーブルに含まれる複数の値から階調補正曲線を予測してもよい。その場合も、平均化処理と同様な効果が得られる。
図7は、画素シフト技術とともに褪色補正処理を用いた、本実施例に係る画像生成処理のフローチャートである。本実施例に係る画像生成処理は、被写体を識別する処理が追加され、被写体別に褪色補正処理が行われる点が、図4に例示される実施例1に係る画像生成処理と異なっている。
以降では、実施例1に係る画像生成処理との相違点を中心に、図7を参照しながら、本実施例に係る画像生成処理について説明する。なお、本実施例に係る撮像装置の構成は、実施例1に係る撮像装置1の構成と同様である。
本実施例に係る画像生成処理では、各相対位置で画像データが取得された後に、取得された各画像データに対して被写体識別処理が行われる(ステップS15)。被写体識別処理は、画像データ中の背景領域と各被写体(例えば、細胞領域)を識別する処理であり、例えば、入力された画像データに対して、二値化処理と特徴量算出処理を組み合わせて行う。以降では、背景領域も被写体の一つとみなす。
すべての相対位置での画像取得が終了後、識別された被写体から一つの被写体が選択される(ステップS16)。そして、実施例1に係る画像生成処理と同様の方法により、各補正対象画像の階調が補正される(ステップS4からステップS10)。
ただし、本実施例に係る画像生成処理では、補正対象画像の階調補正を選択された被写体部分に対してのみ実施する点が、実施例1に係る画像生成処理と異なっている。このため、基準画像の累積ヒストグラム作成処理(ステップS5)では、基準画像の選択された被写体部分の累積ヒストグラムが作成され、補正対象画像の累積ヒストグラム作成処理(ステップS7)では、補正対象画像の選択された被写体部分の累積ヒストグラムが作成される。そして、それらの累積ヒストグラムに基づいて、ルックアップテーブルが作成され(ステップS8)、補正対象画像の選択された被写体部分の階調が補正される(ステップS9)。
すべての補正対象画像に対して選択された被写体部分の階調補正が終了すると、すべての被写体部分の補正が終了しているかが判断される(ステップS17)。終了していなければ、別の被写体が選択されて(ステップS16)、同様の処理を繰り返す。
すべての補正対象画像に対して、すべての被写体部分の階調補正が終了すると、各被写体の階調が補正された9つの画像データは、実施例1に係る画像生成処理と同様の方法により合成され(ステップS11)、処理される(ステップS12、ステップS13、ステップS14)。
そして、すべての処理が終了した後、画像データは記録部42に記録され、表示部49に表示される。
図8は、被写体毎のルックアップテーブルが表現する階調補正曲線を例示している。階調補正曲線La、階調補正曲線Lb、階調補正曲線Lcは、同一の補正対象画像の異なる被写体に関する階調補正曲線である。
このように、本実施例では、被写体毎に累積ヒストグラム及びルックアップテーブルを作成する。このため、細胞の種類や部位の違いなどにより、被写体毎に異なる特性(つまり、累積ヒストグラムの形状及びその変化が異なる)を有する場合であっても、被写体毎に最適化されたルックアップテーブルを作成することができる。なお、画面上で注目している領域(関心領域)をGUIを用いて指定し、その内側のみに褪色補正を施しても良い。関心領域の内側だけで褪色の速度が一致するように指定することで、補正の精度を高くすることができる。
従って、本実施例では、異なる特性を有する被写体を含む標本11であっても、相対位置の異なる複数の画像間、及び、画像内の被写体間に生じる褪色状態の違い、つまり、画像の明るさの違いを補正することができる。その結果、明るさの異なる画像が合成されることにより生じるブロック状の模様を抑制することができる。
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例1と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、本実施例では、被写体毎の特性が異なる場合であっても正確に褪色を補正することができるため、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
図9は、画素シフト技術とともに褪色補正処理を用いた、本実施例に係る画像生成処理のフローチャートである。本実施例に係る画像生成処理は、1つの画像データから蛍光色素毎の画像データを生成するアンミキシング処理が追加され、蛍光色素別に画像データの褪色補正処理が行われる点が、図4に例示される実施例1に係る画像生成処理と異なっている。
以降では、実施例1に係る画像生成処理との相違点を中心に、図9を参照しながら、本実施例に係る画像生成処理について説明する。なお、本実施例に係る撮像装置の構成は、実施例1に係る撮像装置1の構成と同様である。
本実施例に係る画像生成処理では、まず、最初に、蛍光情報記憶手段である記録部42から、標本11に含まれる蛍光色素から射出される蛍光の波長データを取得する(ステップS18)。なお、記録部42には、予め蛍光色素から射出される蛍光の波長データが記憶されている。
そして、各相対位置で画像データが取得する(ステップS1)。その後、取得された画像データと波長データを用いてアンミキシング処理が行われる(ステップS19)。
アンミキシング処理は、蛍光色素毎に射出される蛍光の波長特性が異なることを利用して、蛍光色素毎に、その蛍光色素から射出された蛍光により画像データを生成する処理である。このため、蛍光色素毎に生成された複数の画像データが得られる。
すべての相対位置での画像取得及びアンミキシング処理が終了後、標本11に含まれる蛍光色素から一つの蛍光色素が選択される(ステップS20)。これにより、選択された蛍光色素に関する9つの各相対位置の画像データが選択される。
そして、この選択された蛍光色素に関する9つの画像データのうち、基準画像を除く8つの補正対象画像の階調が、実施例1に係る画像生成処理と同様の方法により、補正される(ステップS4からステップS10)。つまり、基準画像の累積ヒストグラム作成処理(ステップS5)では、選択された蛍光色素の基準画像の累積ヒストグラムが作成され、補正対象画像の累積ヒストグラム作成処理(ステップS7)では、選択された蛍光色素の補正対象画像の累積ヒストグラムが作成される。そして、それらの累積ヒストグラムに基づいて、ルックアップテーブルが作成され(ステップS8)、選択された蛍光色素の補正対象画像の階調が補正される(ステップS9)。
選択された蛍光色素のすべての補正対象画像の階調補正が終了すると、階調が補正された選択された蛍光色素の9つの画像データは、実施例1に係る画像生成処理と同様の方法により合成され(ステップS11)、処理される(ステップS12、ステップS13、ステップS14)。
次に、すべての蛍光色素の補正対象画像の補正が終了しているかが判断される(ステップS21)。終了していなければ、別の蛍光色素が選択されて(ステップS20)、新たに選択された蛍光色素に関する9つの各相対位置の画像データが選択される。以降、同様の処理を繰り返す。
そして、すべての蛍光色素の補正対象画像の補正が終了した後、蛍光色素毎に生成された画像データは記録部42に記録され、蛍光色素毎の画像データが互いに重ね合わされた状態で(ステップS22)、表示部49に表示される。
このように、本実施例では、蛍光色素毎に画像データが生成され、蛍光色素毎に累積ヒストグラム及びルックアップテーブルを作成する。このため、褪色の速さの異なる複数の蛍光色素を含む標本11であっても、相対位置の異なる複数の画像間、及び、蛍光色素間に生じる褪色状態の違い、つまり、画像の明るさの違いを補正することができる。その結果、明るさの異なる画像が合成されることにより生じるブロック状の模様を抑制することができる。
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例1と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、本実施例では、褪色の速さの異なる複数の蛍光色素が含まれる場合であっても正確に褪色を補正することができるため、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
図10は、本実施例に係る撮像装置の構成を例示した図である。本実施例に係る撮像装置59は、撮像装置1と、撮像装置本体と、PCと、を含んで構成される点については、実施例1に係る撮像装置1と同様である。ただし、撮像装置59では、褪色補正の有無に関わらず、画像生成に関するすべての処理が撮像装置本体60で行われる点が異なっている。このため、撮像装置59の撮像装置本体60には、褪色補正処理を行うために、LUT作成処理部61と、褪色補正処理部62が追加されている。一方、PC70は、図示しないが、操作部41と、記録部42と、表示部49と、を含み、信号処理部40aを含まない。
このように構成された撮像装置59でも、撮像装置1と同様に、図4に例示される画像生成処理を行うことができる。また、図7に例示される被写体識別処理や図9に例示されるアンミキシング処理を含む画像生成処理も実行可能である。
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例1と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、被写体識別処理やアンミキシング処理を行うことで、実施例2または実施例3と同様に、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
なお、実施例1から実施例4では、撮像装置は、顕微鏡と、撮像装置本体と、PCと、をから構成される例を示したが、特にこれに限られない。例えば、撮像装置本体とPCを、同様の機能を実現する顕微鏡用デジタルとして構成してもよい。また、顕微鏡と撮像装置本体とPCを、つまり、撮像装置全体を、同様の機能を実現するデジタルカメラとして構成してもよい。
1,59…撮像装置、2…顕微鏡、3,4…光源、3a…透過照明光路、4a…落射照明光路、5…コレクタレンズ、6…ミラー、7…窓レンズ、8…FS、9…AS、10…コンデンサレンズ、11…標本、12…対物レンズ、13…結像レンズ、14…ポート、15…キューブユニット、20,60…撮像装置本体、21…撮像素子、22…撮像素子駆動部、23…前置処理部、24…A/D変換部、25,40a…信号処理部、26,45…合成処理部、27,46…ベイヤー補間処理部、28,47…色補正処理部、29,48…階調補正処理部、30…バス、31…制御部、32…I/F部、33…素子ずらし手段、40,70…PC、41…操作部、42…記録部、43,61…LUT作成処理部、44,62…褪色補正処理部、49…表示部、50,56…GUI画面、51…静止画像領域、52…ボタン、53,57…選択パネル、54,58…リストボックス、55…ラジオボタン、R1,R2,G1,G2,B1,B2…ヒストグラム、BC1,BC2…累積ヒストグラム、L1,L2,La,Lb,Lc…階調補正曲線、S…観察光路

Claims (13)

  1. 蛍光標本の像を撮像する撮像手段と、
    前記像に対する前記撮像手段の相対位置を変化させる画素シフト手段と、
    異なる前記相対位置で前記撮像手段により取得された複数の画像データのヒストグラムを用いて、前記画像データの階調を補正する画像補正手段と、
    前記画像補正手段により補正された前記複数の前記画像データを合成する画像合成手段と、を含むことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記画像補正手段は、階調が補正された前記複数の前記画像データのヒストグラムを一致させることを特徴とする撮像装置。
  3. 請求項1に記載の撮像装置において、
    前記画像補正手段は、蛍光色素が褪色により劣化した、前記蛍光標本の一部分に対応する前記画像データを補正することを特徴とする撮像装置。
  4. 請求項1乃至請求項3のいずれか1項に記載の撮像装置において、
    前記画像補正手段は、
    前記相対位置毎に前記画像データのヒストグラムを作成するヒストグラム作成手段と、
    前記ヒストグラムを比較して、ルックアップテーブルを作成するルックアップテーブル作成手段と、
    前記ルックアップテーブルを用いて、前記画像データの階調を補正する階調補正手段と、を含むことを特徴とする撮像装置。
  5. 請求項1乃至請求項4のいずれか1項に記載の撮像装置において、さらに、
    前記画像データから、前記蛍光標本に含まれる各被写体を識別する被写体識別手段を含み、
    前記画像補正手段は、前記画像データの前記被写体毎のヒストグラムを用いて、前記画像データのうち前記被写体に該当する部分の階調を補正することを特徴とする撮像装置。
  6. 請求項1乃至請求項5のいずれか1項に記載の撮像装置において、さらに、
    前記画像データから、前記蛍光標本に含まれる蛍光色素毎の画像データを生成するアンミキシング手段を含み、
    前記画像補正手段は、前記蛍光色素毎に生成された前記画像データのヒストグラムを用いて、前記画像データの階調を補正することを特徴とする撮像装置。
  7. 請求項6に記載の撮像装置において、さらに、
    蛍光色素から射出される蛍光の波長データが記憶される蛍光情報記憶手段、を含み、
    前記アンミキシング手段は、
    前記蛍光情報記憶手段から、前記蛍光標本に含まれる蛍光色素から射出される蛍光の波長データを取得し、
    前記波長データを用いて、前記蛍光標本に含まれる蛍光色素毎の画像データを生成することを特徴とする撮像装置。
  8. 請求項1乃至請求項7のいずれか1項に記載の撮像装置において、さらに、
    前記蛍光標本を観察する顕微鏡を含み、
    前記撮像手段は、前記顕微鏡を通過した前記蛍光標本の像を撮像することを特徴とする撮像装置。
  9. 請求項8に記載の撮像装置において、
    前記撮像装置は、顕微鏡用デジタルカメラであることを特徴とする撮像装置。
  10. 蛍光標本の像に対する撮像手段の相対位置を変化させて、複数の異なる前記相対位置で前記蛍光標本の像を撮像し、画像データを取得するステップと、
    前記相対位置毎に取得された前記画像データから、前記相対位置毎にヒストグラムを作成するステップと、
    前記ヒストグラムを用いて、前記画像データの階調を補正するステップと、
    階調が補正された前記画像データを合成するステップと、を含むことを特徴とする画像生成方法。
  11. 請求項10に記載の画像生成方法において、
    前記ヒストグラムを用いて前記画像データを補正するステップは、
    前記ヒストグラムを比較して、ルックアップテーブルを作成するステップと、
    前記ルックアップテーブルを用いて、前記画像データの階調を補正するステップと、を含むことを特徴とする画像生成方法。
  12. 請求項11に記載の画像生成方法において、
    前記複数の異なる相対位置は、1つの基準位置と、基準位置を除くシフト位置と、を含み、
    前記ルックアップテーブルは、前記基準位置の前記画像データの前記ヒストグラムと、前記シフト位置の前記画像データの前記ヒストグラムを比較して、前記シフト位置毎に、作成されることを特徴とする画像生成方法。
  13. 請求項12に記載の画像生成方法において、
    前記ヒストグラムを用いて前記画像データを補正するステップは、前記シフト位置の前記画像データの階調を補正し、階調が補正された前記シフト位置の前記画像データのヒストグラムを前記基準位置の画像データのヒストグラムと一致させることを特徴とする画像生成方法。
JP2009248560A 2009-10-29 2009-10-29 撮像装置、及び、画像生成方法 Active JP5379647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009248560A JP5379647B2 (ja) 2009-10-29 2009-10-29 撮像装置、及び、画像生成方法
US12/908,270 US9100598B2 (en) 2009-10-29 2010-10-20 Imaging apparatus and image generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009248560A JP5379647B2 (ja) 2009-10-29 2009-10-29 撮像装置、及び、画像生成方法

Publications (3)

Publication Number Publication Date
JP2011095073A true JP2011095073A (ja) 2011-05-12
JP2011095073A5 JP2011095073A5 (ja) 2012-10-25
JP5379647B2 JP5379647B2 (ja) 2013-12-25

Family

ID=43925020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009248560A Active JP5379647B2 (ja) 2009-10-29 2009-10-29 撮像装置、及び、画像生成方法

Country Status (2)

Country Link
US (1) US9100598B2 (ja)
JP (1) JP5379647B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158886A (ja) * 2015-03-02 2016-09-05 パナソニックIpマネジメント株式会社 内視鏡及び内視鏡システム
US10722106B2 (en) 2015-10-30 2020-07-28 Sony Corporation Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
JP2021071955A (ja) * 2019-10-31 2021-05-06 株式会社デンソー 画像処理装置
KR20210157677A (ko) * 2020-06-22 2021-12-29 한양대학교 산학협력단 인공치아 제조정보 생성방법 및 인공치아 제조 시스템
JP2022524464A (ja) * 2019-03-13 2022-05-02 ミリアド マイクロ粒子およびナノ粒子を観察するための装置および方法
WO2023171463A1 (ja) * 2022-03-10 2023-09-14 ソニーグループ株式会社 情報処理装置及び情報処理システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5379647B2 (ja) * 2009-10-29 2013-12-25 オリンパス株式会社 撮像装置、及び、画像生成方法
US9813632B2 (en) * 2011-05-19 2017-11-07 Foveon, Inc. Method of adjusting digital camera image processing parameters
JP6428155B2 (ja) 2014-10-27 2018-11-28 株式会社リコー 画像投影装置及び画像生成装置
CN105825492B (zh) * 2015-01-05 2019-07-05 中国移动通信集团浙江有限公司 一种摄像设备的检测方法、装置及系统
US9952486B2 (en) 2015-03-18 2018-04-24 Ricoh Company, Ltd. High resolution image projection apparatus with horizontally actuated image generation unit
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
JP6557520B2 (ja) * 2015-06-17 2019-08-07 オリンパス株式会社 顕微鏡システム
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
US20220292801A1 (en) * 2021-03-15 2022-09-15 Plantronics, Inc. Formatting Views of Whiteboards in Conjunction with Presenters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283887A (ja) * 2002-03-22 2003-10-03 Olympus Optical Co Ltd 画像取得装置及び画像取得方法
JP2010268244A (ja) * 2009-05-14 2010-11-25 Olympus Corp 画像取得装置、画像取得装置の制御方法、及び顕微鏡システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251604A (ja) 1995-03-08 1996-09-27 Sony Corp 固体カラー撮像装置
AU5653599A (en) * 1998-09-18 2000-04-10 Mitsubishi Plastics Inc. Image processing device and method, and recording medium
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
JP4298253B2 (ja) * 2002-10-01 2009-07-15 キヤノン株式会社 画像処理方法及び装置、及び撮像装置
US7508550B2 (en) * 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US8078265B2 (en) * 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
JP4855237B2 (ja) * 2006-12-20 2012-01-18 オリンパス株式会社 顕微鏡画像処理装置および顕微鏡画像処理プログラム
JP4898578B2 (ja) * 2007-07-03 2012-03-14 オリンパス株式会社 画像処理システム、撮像システム、及び顕微鏡撮像システム
JP5379647B2 (ja) * 2009-10-29 2013-12-25 オリンパス株式会社 撮像装置、及び、画像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283887A (ja) * 2002-03-22 2003-10-03 Olympus Optical Co Ltd 画像取得装置及び画像取得方法
JP2010268244A (ja) * 2009-05-14 2010-11-25 Olympus Corp 画像取得装置、画像取得装置の制御方法、及び顕微鏡システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158886A (ja) * 2015-03-02 2016-09-05 パナソニックIpマネジメント株式会社 内視鏡及び内視鏡システム
US10722106B2 (en) 2015-10-30 2020-07-28 Sony Corporation Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
US11744440B2 (en) 2015-10-30 2023-09-05 Sony Corporation Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
JP2022524464A (ja) * 2019-03-13 2022-05-02 ミリアド マイクロ粒子およびナノ粒子を観察するための装置および方法
JP2021071955A (ja) * 2019-10-31 2021-05-06 株式会社デンソー 画像処理装置
JP7279613B2 (ja) 2019-10-31 2023-05-23 株式会社デンソー 画像処理装置
KR20210157677A (ko) * 2020-06-22 2021-12-29 한양대학교 산학협력단 인공치아 제조정보 생성방법 및 인공치아 제조 시스템
WO2021261724A1 (ko) * 2020-06-22 2021-12-30 한양대학교 산학협력단 인공치아 제조정보 생성방법 및 인공치아 제조 시스템
KR102434843B1 (ko) * 2020-06-22 2022-08-22 한양대학교 산학협력단 인공치아 제조정보 생성방법 및 인공치아 제조 시스템
WO2023171463A1 (ja) * 2022-03-10 2023-09-14 ソニーグループ株式会社 情報処理装置及び情報処理システム

Also Published As

Publication number Publication date
US9100598B2 (en) 2015-08-04
US20110102578A1 (en) 2011-05-05
JP5379647B2 (ja) 2013-12-25

Similar Documents

Publication Publication Date Title
JP5379647B2 (ja) 撮像装置、及び、画像生成方法
US8237783B2 (en) Image processing device for endoscope and endoscope apparatus
JP5064312B2 (ja) ホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路
WO2011155297A1 (ja) 撮像装置及び画像処理方法
US10823952B2 (en) MSIA scanning instrument with increased dynamic range
JP5808142B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009105576A (ja) 画像処理装置及び方法、及び撮像装置
JP4950544B2 (ja) マルチバンド撮像装置のカラーフィルタのパラメータを決定する方法
JP5199736B2 (ja) 画像撮像装置
JP5620196B2 (ja) 撮像装置
JP5464982B2 (ja) 撮像装置および画像処理方法
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
JP2010021791A (ja) 撮像装置、その画像処理方法及びプログラム
JP2009152779A (ja) 撮像装置及び画像効果付与プログラム
JP2006333113A (ja) 撮像装置
JP4128405B2 (ja) 顕微鏡用撮像装置
JP4335648B2 (ja) デジタルカメラ及びデジタルカメラの撮像方法
US10778948B2 (en) Imaging apparatus and endoscope apparatus
JP2011151454A (ja) 画像処理装置、撮像機器及び画像処理方法
JP4276817B2 (ja) 撮像装置
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2011041039A (ja) 撮像装置およびプログラム
JP2011041094A5 (ja)
JP2010010958A (ja) マルチバンド画像撮像方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130927

R151 Written notification of patent or utility model registration

Ref document number: 5379647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250