JP2016212412A - 被写体構造のコントラスト画像を生成する方法およびそれに関連する装置 - Google Patents

被写体構造のコントラスト画像を生成する方法およびそれに関連する装置 Download PDF

Info

Publication number
JP2016212412A
JP2016212412A JP2016091060A JP2016091060A JP2016212412A JP 2016212412 A JP2016212412 A JP 2016212412A JP 2016091060 A JP2016091060 A JP 2016091060A JP 2016091060 A JP2016091060 A JP 2016091060A JP 2016212412 A JP2016212412 A JP 2016212412A
Authority
JP
Japan
Prior art keywords
image
axis
contrast
color
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016091060A
Other languages
English (en)
Inventor
シュトッペ ラース
Stoppe Lars
シュトッペ ラース
フーゼマン クリストフ
Husemann Christoph
フーゼマン クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2016212412A publication Critical patent/JP2016212412A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】コントラスト画像を生成するためのコントラスト形成方法および関連ソフトウェアを提供する。
【解決手段】コントラスト形成方法は、多数の照明源111により被写体を照明する工程10、各照明12の被写体の照明画像21を生成する工程20、第1の軸に対して互いに隣接する2つの照明画像を重畳して第1の軸の第1の全体軸画像31を形成し、第2の軸に対して互いに隣接する2つの照明画像を重畳して第2の軸の第2の全体軸画像32を形成する工程30、第1の全体軸画像31に基づき第1の色勾配画像41を生成し、第2の全体軸画像32に基づき第2の色勾配画像42を生成する工程40、第1の色勾配画像と第2の色勾配画像とを色空間51に変換する工程50、第1の色勾配画像41と第2の色勾配画像42とに基づきコントラスト画像61を色空間51に生成する工程60を含む。
【選択図】図1

Description

本発明は、コントラスト画像を生成する方法に関し、特には被写体構造の高さプロファイルおよび/または位相プロファイル情報を読み取る方法およびそれに関連する装置に関する。
典型的明視野撮像に加えて、様々な形式のコントラスト法が古典的生物学的顕微鏡検査および材料顕微鏡検査における観察下の被写体に関する追加情報を取得するために使用される。この例は、位相差法(例えば、ゼルニケ、差分干渉コントラスト − DIC:differential interference contrast)または別の画像生成法(例えば、暗視野)である。今日、どのようにしてコントラスト画像が個々の像から計算され得るかに関する変形形態について説明されている。
今日までの出版物はDIC代替法について説明しており、これは通常、中間調画像(grey image)を生成し、計算されたコントラスト画像の品質は大いに方向依存性となる。すべての説明されたコントラストは通常、被写体の特別な特性を強調する一方で他の特性が無視または軽視されるという欠点を有する。一例として、DIC方法、または対向照明方向の画像間の差(DPC)を形成するデジタル式の類似方法は、方向依存性中間調画像のみを生成するという欠点を有する。
したがって、被写体構造(特には被写体構造の高さプロファイルおよび/または位相プロファイル情報)の方向依存カラーコーディングを可能にする能力を提供することが望ましいであろう。
本発明の目的は、従来技術において知られた欠点の少なくともいくつかを回避するまたは少なくとも低減するための方法を提案することである。
この目的は、主請求項に記載の方法によりおよび従属請求項に記載の装置により本発明に従って達成される。
ここでの主請求項の主題は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には被写体構造の高さプロファイルおよび/または位相プロファイル情報を読み取るためのコントラスト形成方法に関する。コントラスト形成方法は以下の工程を含む:1つまたは複数(2つ以上)の照明源に基づき照明系列により被写体を照明する工程、照明系列内の各照明の被写体の照明画像を生成する工程、第1の軸の第1の全体軸画像を形成するために第1の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳する工程、第2の軸の第2の全体軸画像を形成するために第2の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳する工程、第1の全体軸画像に基づき第1の色勾配画像を生成する工程、第2の全体軸画像に基づき第2の色勾配画像を生成する工程、第1の色勾配画像と第2の色勾配画像とを色空間に変換する工程、被写体の構造の位相または高さプロファイルの4つの方向情報がカラーコーディング式に表されるように、変換された第1の色勾配画像と第2の色勾配画像とに基づきコントラスト画像を色空間に生成する工程。
本方法の工程は本明細書では自動的な方法で行われる。
本発明の意味の範囲内の被写体構造の高さプロファイル情報は、本明細書では、3つの空間次元すべてにおける被写体構造に関係する手掛かりを提供する情報を含む。
本発明の意味の範囲内の照明系列は、本明細書では、明確な系列の照明である。この目的を達成するために、それぞれの場合に1つの照明源が活性化され、一方残りの照明源は不活性状態である。
本発明の意味の範囲内の照明源は、被写体を照明するための光源であり得る。複数のこのような照明源を被写体の周囲に配置することにより、被写体の角度選択照明を実現することが可能である。一例として、照明源は、リング照明手段、または被写体において配置される複数の個々の光源(例えば、LED)を有する個々のLED照明手段であり、これにより、様々な象限(北−北東−東−南東−南−南西−西−北西)からの被写体の照明が個々にまたは組み合わせて所定順に実施され得る。
本発明の意味の範囲内の照明画像は照明系列内の被写体の記録であり得る。
本発明の意味の範囲内の2つの隣接照明画像を重畳する工程は、それぞれの場合に2つの画像の同一画像比率が強化または弱化される処理であり得る。これは、例えば画素式に行われ得る。
本発明の意味の範囲内の全体軸画像は照明画像を重畳するかまたは組み合わせることにより生成される像であり得る。同じ軸に対して互いに隣接するこれらの照明画像がそのために使用される。
本発明の意味の範囲内の色勾配画像は、色勾配が全体軸画像にわたって設けられると生成される画像であり得る。デカルト座標系において、例えば、X軸に対して青−黄勾配などの第1の色勾配を、およびY軸に対して別の色勾配、例えば赤−緑勾配を設けることが可能である。このとき、X軸の全体軸画像の色勾配画像は青−黄勾配を有するであろう。この色勾配は、水平軸における被写体の高さプロファイルを示し、一方、Y軸の全体軸画像の色勾配画像の色勾配は、垂直軸における被写体の高さプロファイルを示し得る。特に、色勾配はまた、コントラストであり得る。色勾配がコントラストであれば、被写体の構造の高さプロファイルは、カラーコーディングとして輝度情報を使用することによりカラーコーディング式に表現可能になり、ここでは画像内の輝度または画素の輝度が高さ情報を表す。
本発明の意味の範囲内の色空間は、例えば、コンピュータスクリーンに、および/または印刷分野で使用されるようなデジタル定義色空間であり得る。本発明による教示は、材料構造に関する情報と被写体の高さ情報との両方が画像内に表され得るという利点を実現する。さらに、被写体は元の色で表され、輝度により空間的結合を実現することが可能である。したがって、被写体画像内の被写体に関するより多くの情報を表すために個々の画像内の個々のコントラストの組み合わせを実現することが単純かつ迅速な方法で可能である。
ここでの従属請求項の主題は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には光学顕微鏡検査に特に好ましい被写体構造の高さプロファイル情報を読み取るためのコントラスト形成用装置に関する。コントラスト形成用装置は画像記録装置とコントラスト形成装置とを有する。本明細書では、画像記録装置は、被写体の画像を既知の方法で記録またはデジタル的に捕捉し、画像記録の結果(すなわち画像)をコントラスト形成装置へ送信するように構成される。本明細書では、コントラスト形成用装置は本発明によるコントラスト形成方法を行うように構成される。本発明の意味の範囲内の画像記録装置は、被写体を光学的に捕捉して表すのに好適な装置であり得る。特に、画像記録装置は顕微鏡(特に好ましくは光学顕微鏡)であり得る。画像記録装置はさらに、被写体の角度選択照明のための複数の照明源を有し得る。
本発明の意味の範囲内のコントラスト形成装置は、被写体の照明による画像記録中に形成される画像からコントラストを生成するように構成された装置を有し得る。コントラスト形成装置はこの目的のためにCPUと関連アーキテクチャとを有し得る。コントラスト形成装置は特に、顕微鏡の画像処理ユニットに一体化されてもよく、またはそれに応じた据え付けコンピュータであってもよい。
本発明による教示は、被写体画像内の被写体に関するより多くの情報を表すため、個々の画像内の捕捉像の個々のコントラストの組み合わせを取得するために複数の画像が捕捉される一方で、被写体の角度選択照明を可能にする装置が費用効率の高い方法で提供され得るという利点を実現する。
ここでの別の従属請求項の主題は、本発明によるコントラスト形成用装置のためのコンピュータプログラム製品であって、本発明によるコントラスト形成方法に従って動作可能なコンピュータプログラム製品に関する。コンピュータプログラムは、本発明によるコントラスト形成方法の工程が画像処理により実施されるプログラムコーディング手段を含む。コンピュータプログラムはリアルタイム画像処理ユニット内のハードウェアコードとして実現され得るか、またはそうでなければ純粋に画像後処理手段として具現化され得る。
コントラスト形成方法のためのプログラムコードのハードウェア(光学顕微鏡のデジタル画像処理ユニット)内への有利な組み込みでは、個々の画像の記録およびその画像処理がライブ画像の再生周波数より速いため、非常に速い画像処理が発生し得、結果は準「ライブ」画像として観測され得る。
本発明による教示は、コントラスト形成方法が自動的な方法でこのように動作可能であり、本発明による対応する様々な装置のための簡単かつ費用効率の高い方法で提供され得るという利点を実現する。特定の利点により、コンピュータプログラム製品は顕微鏡の画像処理ユニット中に組み込まれるまたは組み込み可能である。コンピュータプログラム製品はまた、画像処理ハードウェア内にハードウェアコードとして組み込まれ得る。
ここでの別の従属請求項の主題は、本発明によるコンピュータプログラム製品を有するデータ記憶媒体に関する。
本発明による教示は、コントラスト形成方法が自動的な方法でこのように動作可能であり、本発明による対応する様々な装置のための簡単かつ費用効率の高い方法で提供され得、装置の場所において本方法を本発明による対応する装置へ直接ポーティングするように容易に搬送され得るという利点を実現する。
本発明の実施形態について以下にさらに詳細に説明する前に、本発明は、説明した部品または説明した方法の工程に限定されないことに注意すべきである。使用される用語はさらに限定を表さず、単に例示的特徴を有する。本明細書および特許請求の範囲が単数形を使用する限りにおいて、これはまた、文脈が単数形を明確に排除しない限り、それぞれの場合に複数を含む。いかなる方法の工程も、文脈がこれを明確に排除しない限り自動的な方法で行われ得る。
さらに、本発明による方法の例示的実施形態について以下に説明する。
第1の例示的実施形態によると、コントラスト形成方法において、第1の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳して第1の軸の第1の全体軸画像を形成する工程と、第2の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳して第2の軸の第2の全体軸画像を形成する工程とは、それぞれの場合に、同様に以下の工程を含む:対応する第1の軸または第2の軸に対して互いに隣接する2つのそれぞれの照明画像を計算して対応する第1の軸または第2の軸に対して対応する中間画像を形成する工程、対応する中間画像を計算して対応する第1の全体軸画像または第2の全体軸画像を形成する工程。それぞれの計算は、それぞれの場合に加算または減算を含む。しかし、スケーリングすることに加えて、画像フィルタ処理または様々なタイプの画像処理もまた、加算または減算の前および/または後に個々の像に対して行われ得る。この実施形態は、方法部分が全体軸画像を取得するために繰り返し使用され得るという利点を有する。これにより本方法を簡単にすることが可能である。
別の例示的実施形態によると、コントラスト形成方法において、対応する照明画像を重畳して第1の軸の第1の全体軸画像を形成するかまたは第2の軸の第2の全体軸画像を形成する工程は、それぞれの場合に、対応する中間調変換を含む。
この実施形態は、全体軸画像がしたがって、全体軸画像を異なる情報に対して簡単な方法で使用することができるために不要な色情報が省略されるように変換され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法では、第1の色勾配画像と第2の色勾配画像との色空間への変換は、第1の色勾配画像と色空間の第1の撮像チャネルとを関連付ける工程と、第2の色勾配画像と色空間の第2の撮像チャネルとを関連付ける工程とを含む。
本発明の意味の範囲内の色空間の撮像チャネルは、本明細書では、視覚的表示に使用される色空間のチャネルであり得る。RGB色空間は、例えば、異なる色がコード化される3つの撮像チャネル、すなわちRチャネル、Gチャネル、Bチャネルを有する。
この実施形態は、色空間の撮像チャネル自体が被写体構造に関する情報ガイダンスに使用され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法では、第1の色勾配画像と第2の色勾配画像との色空間への変換は、輝度情報と色空間の第3の撮像チャネルとを関連付ける工程を含む。
この実施形態は、輝度情報が画像を正規化するために使用され得る、または画像を使用して、色空間中の被写体構造に関する別の情報を表すために使用され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法では、第1の色勾配画像と第2の色勾配画像との色空間への変換は、中間調画像と色空間の第3の撮像チャネルとを関連付ける工程を含む。
本発明の意味の範囲内の中間調画像は画像の階調勾配情報であり得る。中間調画像はまた、コントラストを有し得る。
この実施形態は、中間調画像が画像を正規化するために使用され得る、または画像を使用して、色空間中の被写体構造に関する別の情報を表すために使用され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、4つの方向情報のうちの2つの方向情報がそれぞれの場合に第1の軸に沿った一方向を示すことを含む。さらに、コントラスト形成方法は、4つの方向情報のうちの別の2つの方向情報がそれぞれの場合に第2の軸に沿った一方向を示すことを含む。
この実施形態は、1つの被写体構造の高さプロファイル情報が、全体軸画像を生成するために使用されるとともに高さプロファイル情報にも使用される軸の方向を使用することにより、色空間中に簡単な方法で表され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、色空間がCIELAB色空間、加法色空間、減法色空間または色相飽和色空間であることを含む。
本発明の意味の範囲内のCIELAB色空間はすべての知覚可能色を記述し得る。CIELAB色モデルの最も重要な特性の中には、装置独立性および認知関係がある。このことは、色が標準的光条件下で正常な観察者により感知されるため、その生成または再生技術のタイプとは独立に定義されることを意味する。色モデルはEN ISO11664−4に定義されている。
本発明の意味の範囲内の加法色空間は、眼により感知される色感覚の変化がそれぞれに異なる色刺激の連続加算を介して発生することを意味し得る。原理的には、異なる方法で色に敏感な眼内のセンサを用いる色覚は加法混合である。加法色混合は、眼および脳内に発生するため、生理学的色混合とも呼ばれる。加法色空間は例えばRGB色空間であり得る。
本発明の意味の範囲内の減法色空間は、再放射により人体の表面から反射するときのまたは透過により媒体(色フィルタ)を通過する際の色刺激の変化を指し得る。下位概念では、減法色混合は色空間のダイバーシティが3つの色フィルタの直列接続により再生される極限原理を意味するものと理解される。一例として、CMY色空間またはCMYK色空間は減法色空間であり得る。
本発明の意味の範囲内の色相飽和色空間は、色が色相、飽和および輝度値(または暗レベル)を用いて定義される色空間であり得る。これはHSV色空間とも呼ばれる。同様な定義は、相対明度によるHSL色空間、絶対輝度によるHSB色空間、および光強度によるHSI色空間を与える。
この実施形態は、明確に定義され広く知られた色空間が使用され得、その結果、開発の複雑性が低減され得、経費削減をもたらし得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、コントラスト画像の生成が色空間に基づいて発生することを含む。この実施形態は、どの被写体情報が表され何の色でコード化されるかに関する判断が色空間に基づいてなされ得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、照明系列の終了後、各照明源が被写体を一回照明することを含む。
コントラスト形成方法はさらに、照明系列の終了後、各照明源が被写体を正確に一回照明することを含む。
この実施形態は、すべての利用可能照明方向から被写体情報を取得するために被写体がすべての利用可能方向から照明されるという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、照明系列内の各照明源が被写体を個々に照明することを含む。
この実施形態は、被写体が必要に応じて頻繁に照明される必要があることと、最小数の照明画像のみが所望被写体情報を表すために必要とされるという利点を有する。
したがって、本発明は方法および関連装置の提供を可能にし、その結果、角度選択照明により被写体の様々な特性を表すことが可能になる。これは、例えば以下のものにより行われ得る。
・DPC 対向照明方向の画像の差→位相勾配(BIO)または高さプロファイル勾配(MAT)。
・SEC 合計強調コントラスト:すべての個別画像の和+絶対値(DPCx − x方向の対向画像の差)+絶対値(DPCy − y方向の対向画像の差)→増分の絶対値と重畳されたPK画像との和→いかなる直接的な個々の情報も読み取られ得ないが、様々な効果を同時に可視化する。
・DEC 差強調コントラス:すべての個別画像の和−絶対値(DPCx)−絶対値(DPCy)→PK画像と増分の絶対値との差→いかなる直接的な個々の情報も読み取られ得ないが、様々な効果を同時に可視化する。
・MSC 平均値和コントラスト:平均値と個々の画像の絶対値とのすべての差の和→いかなる方向情報も無い。極値が強調される。
使用される略称SEC、DECおよびMSCは本出願において定義されたものであり、専門語としては知られていない。
次に、様々なコントラストと個々の像(PK)との和は、特別な色空間関連性により複数の情報を同時にコード化するために使用される。
・HSV色コントラスト:特に、DIC/DPCコントラストが材料色に関する情報を表さないことは問題である。このため、以下の組み合わせが可能である。
PK画像を撮る。
それをRGBからHSV色空間に変換する。
Vチャネル(値)を所望の個々のコントラスト(例えば、DICx)の中間調画像で置換する。
画像をRGBへ変換する。
必要に応じ、輝度適応化を行う。
今や結果は元のものと同じ色を有するが、輝度中には個々のコントラストの情報(例えば、x方向の増分)を含む。
・LAB色コントラスト:同様に厄介なのは、DIC/DPCにおける位相勾配の方向情報が一方向のみに視覚化され得ることである。以下の変換がこの問題を解決する。
PK画像を使用する。
それをLab色空間に変換する。
aおよびbチャネルを所望の個々のコントラスト(例えば、DPCx、DPCy)で置換する。
画像をRGB色空間に変換して戻す。
結果は原画像(PK)と同じ輝度値を有するが、2つの個々のコントラストの情報はaおよびb中に格納される。
一例として、DPCxとDPCyでは、すべての増加方向がこのように表され、同時にカラーコード化される。
・RGB色コントラスト:
3つの異なる個々のコントラスト(例えば、PK、DPCx、DPCy)をRGB色チャネル中に書き込む。
結果は3つのコントラスト情報すべてを色という意味でコード化する。
これは、個々の画像内の個々のコントラストの簡単かつ迅速な組み合わせが可能にされ得るという利点を生じる。さらに、本方法はHSVおよびLAB中に情報(色/輝度)を含む。
本発明について、図面を参照して以下にさらに詳細に説明する。
本発明の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案装置の概略図を示す。
図1は、本発明の例示的実施形態による提案方法の概略図を示す。
ここで、図1は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には被写体構造の高さプロファイル情報を読み取るためのコントラスト形成方法の概略図を示す。本明細書では、コントラスト形成方法は以下の工程を含む:多数の照明源111に基づき照明系列11により被写体を照明する工程(10)、照明系列11内の各照明12の被写体の照明画像21を生成する工程(20)、第1の軸35(図1に図示せず)に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第1の軸35の第1の全体軸画像31を形成する工程(30)、第2の軸36(図1に図示せず)に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第2の軸36の第2の全体軸画像32を形成する工程(30)、第1の全体軸画像31に基づき第1の色勾配画像41を生成する工程(40)、第2の全体軸画像32に基づき第2の色勾配画像42を生成する工程(40)、第1の色勾配画像41と第2の色勾配画像42とを色空間51に変換する工程(50)、被写体の構造の高さプロファイルの4つの方向情報351、352、361、362がカラーコーディング式に表されるように、変換された(50)第1の色勾配画像41と第2の色勾配画像42とに基づきコントラスト画像61を色空間51に生成する工程(60)。
図2および図3は、それぞれの場合に、本発明の別の例示的実施形態による全体軸画像を形成するために隣接照明画像を重畳する概略図を示す。
ここで、図2は、第1の軸35に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第1の軸35の第1の全体軸画像31を形成する工程(30)を示す。この処理では、対応する第1の軸35に対して互いに隣接する2つのそれぞれの照明画像21が、対応する第1の軸35に対する対応する中間画像(intermediate image)23を形成するために計算される(33)。さらに、対応する中間画像23は対応する第1の全体軸画像31を形成するために計算される(34)。
ここで、図3は、第2の軸36に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第2の軸36の第2の全体軸画像32を形成する工程(30)を示す。この処理では、対応する第2の軸36に対して互いに隣接する2つのそれぞれの照明画像21は、対応する第2の軸36に対する対応する中間画像23を形成するために計算される(33)。さらに、対応する中間画像23が対応する第2の全体軸画像32を形成するために計算される(34)。
それぞれの計算33、34はそれぞれの場合に加算または減算を含む。
図4は、本発明の別の例示的実施形態による提案方法の概略図を示す。
図4は、図1の方法に対して拡張された方法の概略図を示す。
図1〜図3に関して以前に述べたことは、それに応じて図4に当てはまる。明瞭性を継続するために、変換工程(50)に行く前の方法部分は図4に示されない。しかし、それらは図1に見ることができる。
図4に見られるように、コントラスト形成方法において、第1の色勾配画像41と第2の色勾配画像42とを色空間51へ変換する工程(50)はさらに、以下の工程を含む:第1の色勾配画像41と色空間51の第1の撮像チャネル511とを関連付ける工程(52)、さらに第2の色勾配画像42と色空間51の第2の撮像チャネル512とを関連付ける工程(52)。
図4の例では、色勾配画像41と第2の色勾配画像42とを色空間51に変換する工程(50)はさらに、輝度情報および/または中間調画像などの追加情報と色空間51の第3の撮像チャネル513とを関連付ける工程(53)を含む。
図4の例では、4つの方向情報351、352、361、362のうちの2つの方向情報351、352はそれぞれの場合に第1の軸35(図4に図示せず)に沿った一方向を示し、4つの方向情報351、352、361、362のうちの別の2つの方向情報361、362はそれぞれの場合に第2の軸36(図4に図示せず)に沿った一方向を示す。
図5は、本発明の別の例示的実施形態による提案装置の概略図を示す。
図5は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には光学顕微鏡検査に特に好ましい被写体構造の高さプロファイル情報を読み取るためのコントラスト形成用装置100の概略図を示す。ここでのコントラスト形成用装置100は画像記録装置110とコントラスト形成装置120とを含む。画像記録装置110は、被写体の画像を光学的に捕捉し、かつそれをコントラスト形成装置120に送信するように構成される。ここで、コントラスト形成用装置100は本発明によるコントラスト形成方法を行うように構成される。
10 被写体を照明する工程
11 照明系列
12 照明系列内の照明
20 照明画像を生成する工程
21 照明画像
23 第1の軸に対する中間画像
24 第2の軸に対する中間画像
30 2つの照明画像を重畳する工程
31 第1の全体軸画像
32 第2の全体軸画像
33 中間画像を形成するために2つの照明画像を計算する工程
34 全体軸画像を形成するために2つの中間画像を計算する工程
35 第1の軸
36 第2の軸
40 色勾配画像を生成する工程
41 第1の色勾配画像
42 第2の色勾配画像
50 色勾配画像を色空間に変換する工程
51 色空間
52 色勾配画像と色空間の撮像チャネルとを関連付ける工程
53 別の情報と色空間の第3の撮像チャネルとを関連付ける工程
60 コントラスト画像を生成する工程
61 コントラスト画像
100 コントラスト形成用装置
110 画像記録装置
111 照明源
120 コントラスト形成装置
351 高さプロファイルの第1の方向情報
352 高さプロファイルの第2の方向情報
361 高さプロファイルの第3の方向情報
362 高さプロファイルの第4の方向情報
511 色空間の第1の撮像チャネル
512 色空間の第2の撮像チャネル
513 色空間の第3の撮像チャネル
本発明は、コントラスト画像を生成する方法に関し、特には被写体構造の高さプロファイルおよび/または位相プロファイル情報を読み取る方法およびそれに関連する装置に関する。
典型的明視野撮像に加えて、様々な形式のコントラスト法が古典的生物学的顕微鏡検査および材料顕微鏡検査における観察下の被写体に関する追加情報を取得するために使用される。この例は、位相差法(例えば、ゼルニケ、差分干渉コントラスト − DIC:differential interference contrast)または別の画像生成法(例えば、暗視野)である。今日、どのようにしてコントラスト画像が個々の像から計算され得るかに関する変形形態について説明されている。
エイチ ス(Hu. Su), ゼット ユン(Z. Yin), エス ホ(S. Huh), ティ カナデ(T. Kanade)著、「位相差機能上のスペクトル解析を用いた細胞のセグメンテーション(Cell Segmentation via Spectral Analysis on Phase Retardation Features)」、IEEE第10回ナノからマクロまでの生物医学イメージングに関する国際シンポジウム(IEEE 10th International Symposium on Biomedical Imaging-From Nano to Macro)、2013年、S.1469-1475 エル ティアン(L. Tian), ジェイ ワング(J. Wang), エル ウォーラ(L. Waller)著、「LEDアレイを用いたコンピュータ照明による3D差動位相差顕微鏡(3D differential phase-contrast microscopy with computational illumination using an LED array)、オプティクス レター(Optics Letters)、2014年、Vol.39, No.5, S.1326-1329」
今日までの出版物はDIC代替法について説明しており、これは通常、中間調画像(grey image)を生成し、計算されたコントラスト画像の品質は大いに方向依存性となる。すべての説明されたコントラストは通常、被写体の特別な特性を強調する一方で他の特性が無視または軽視されるという欠点を有する。一例として、DIC方法、または対向照明方向の画像間の差(DPC)を形成するデジタル式の類似方法は、方向依存性中間調画像のみを生成するという欠点を有する。
したがって、被写体構造(特には被写体構造の高さプロファイルおよび/または位相プロファイル情報)の方向依存カラーコーディングを可能にする能力を提供することが望ましいであろう。
本発明の目的は、従来技術において知られた欠点の少なくともいくつかを回避するまたは少なくとも低減するための方法を提案することである。
この目的は、主請求項に記載の方法によりおよび従属請求項に記載の装置により本発明に従って達成される。
ここでの主請求項の主題は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には被写体構造の高さプロファイルおよび/または位相プロファイル情報を読み取るためのコントラスト形成方法に関する。コントラスト形成方法は以下の工程を含む:1つまたは複数(2つ以上)の照明源に基づき照明系列により被写体を照明する工程、照明系列内の各照明の被写体の照明画像を生成する工程、第1の軸の第1の全体軸画像を形成するために第1の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳する工程、第2の軸の第2の全体軸画像を形成するために第2の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳する工程、第1の全体軸画像に基づき第1の色勾配画像を生成する工程、第2の全体軸画像に基づき第2の色勾配画像を生成する工程、第1の色勾配画像と第2の色勾配画像とを色空間に変換する工程、被写体の構造の位相または高さプロファイルの4つの方向情報がカラーコーディング式に表されるように、変換された第1の色勾配画像と第2の色勾配画像とに基づきコントラスト画像を色空間に生成する工程。
本方法の工程は本明細書では自動的な方法で行われる。
本発明の意味の範囲内の被写体構造の高さプロファイル情報は、本明細書では、3つの空間次元すべてにおける被写体構造に関係する手掛かりを提供する情報を含む。
本発明の意味の範囲内の照明系列は、本明細書では、明確な系列の照明である。この目的を達成するために、それぞれの場合に1つの照明源が活性化され、一方残りの照明源は不活性状態である。
本発明の意味の範囲内の照明源は、被写体を照明するための光源であり得る。複数のこのような照明源を被写体の周囲に配置することにより、被写体の角度選択照明を実現することが可能である。一例として、照明源は、リング照明手段、または被写体において配置される複数の個々の光源(例えば、LED)を有する個々のLED照明手段であり、これにより、様々な象限(北−北東−東−南東−南−南西−西−北西)からの被写体の照明が個々にまたは組み合わせて所定順に実施され得る。
本発明の意味の範囲内の照明画像は照明系列内の被写体の記録であり得る。
本発明の意味の範囲内の2つの隣接照明画像を重畳する工程は、それぞれの場合に2つの画像の同一画像比率が強化または弱化される処理であり得る。これは、例えば画素式に行われ得る。
本発明の意味の範囲内の全体軸画像は照明画像を重畳するかまたは組み合わせることにより生成される像であり得る。同じ軸に対して互いに隣接するこれらの照明画像がそのために使用される。
本発明の意味の範囲内の色勾配画像は、色勾配が全体軸画像にわたって設けられると生成される画像であり得る。デカルト座標系において、例えば、X軸に対して青−黄勾配などの第1の色勾配を、およびY軸に対して別の色勾配、例えば赤−緑勾配を設けることが可能である。このとき、X軸の全体軸画像の色勾配画像は青−黄勾配を有するであろう。この色勾配は、水平軸における被写体の高さプロファイルを示し、一方、Y軸の全体軸画像の色勾配画像の色勾配は、垂直軸における被写体の高さプロファイルを示し得る。特に、色勾配はまた、コントラストであり得る。色勾配がコントラストであれば、被写体の構造の高さプロファイルは、カラーコーディングとして輝度情報を使用することによりカラーコーディング式に表現可能になり、ここでは画像内の輝度または画素の輝度が高さ情報を表す。
本発明の意味の範囲内の色空間は、例えば、コンピュータスクリーンに、および/または印刷分野で使用されるようなデジタル定義色空間であり得る。本発明による教示は、材料構造に関する情報と被写体の高さ情報との両方が画像内に表され得るという利点を実現する。さらに、被写体は元の色で表され、輝度により空間的結合を実現することが可能である。したがって、被写体画像内の被写体に関するより多くの情報を表すために個々の画像内の個々のコントラストの組み合わせを実現することが単純かつ迅速な方法で可能である。
ここでの従属請求項の主題は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には光学顕微鏡検査に特に好ましい被写体構造の高さプロファイル情報を読み取るためのコントラスト形成用装置に関する。コントラスト形成用装置は画像記録装置とコントラスト形成装置とを有する。本明細書では、画像記録装置は、被写体の画像を既知の方法で記録またはデジタル的に捕捉し、画像記録の結果(すなわち画像)をコントラスト形成装置へ送信するように構成される。本明細書では、コントラスト形成用装置は本発明によるコントラスト形成方法を行うように構成される。本発明の意味の範囲内の画像記録装置は、被写体を光学的に捕捉して表すのに好適な装置であり得る。特に、画像記録装置は顕微鏡(特に好ましくは光学顕微鏡)であり得る。画像記録装置はさらに、被写体の角度選択照明のための複数の照明源を有し得る。
本発明の意味の範囲内のコントラスト形成装置は、被写体の照明による画像記録中に形成される画像からコントラストを生成するように構成された装置を有し得る。コントラスト形成装置はこの目的のためにCPUと関連アーキテクチャとを有し得る。コントラスト形成装置は特に、顕微鏡の画像処理ユニットに一体化されてもよく、またはそれに応じた据え付けコンピュータであってもよい。
本発明による教示は、被写体画像内の被写体に関するより多くの情報を表すため、個々の画像内の捕捉像の個々のコントラストの組み合わせを取得するために複数の画像が捕捉される一方で、被写体の角度選択照明を可能にする装置が費用効率の高い方法で提供され得るという利点を実現する。
ここでの別の従属請求項の主題は、本発明によるコントラスト形成用装置のためのコンピュータプログラム製品であって、本発明によるコントラスト形成方法に従って動作可能なコンピュータプログラム製品に関する。コンピュータプログラムは、本発明によるコントラスト形成方法の工程が画像処理により実施されるプログラムコーディング手段を含む。コンピュータプログラムはリアルタイム画像処理ユニット内のハードウェアコードとして実現され得るか、またはそうでなければ純粋に画像後処理手段として具現化され得る。
コントラスト形成方法のためのプログラムコードのハードウェア(光学顕微鏡のデジタル画像処理ユニット)内への有利な組み込みでは、個々の画像の記録およびその画像処理がライブ画像の再生周波数より速いため、非常に速い画像処理が発生し得、結果は準「ライブ」画像として観測され得る。
本発明による教示は、コントラスト形成方法が自動的な方法でこのように動作可能であり、本発明による対応する様々な装置のための簡単かつ費用効率の高い方法で提供され得るという利点を実現する。特定の利点により、コンピュータプログラム製品は顕微鏡の画像処理ユニット中に組み込まれるまたは組み込み可能である。コンピュータプログラム製品はまた、画像処理ハードウェア内にハードウェアコードとして組み込まれ得る。
ここでの別の従属請求項の主題は、本発明によるコンピュータプログラム製品を有するデータ記憶媒体に関する。
本発明による教示は、コントラスト形成方法が自動的な方法でこのように動作可能であり、本発明による対応する様々な装置のための簡単かつ費用効率の高い方法で提供され得、装置の場所において本方法を本発明による対応する装置へ直接ポーティングするように容易に搬送され得るという利点を実現する。
本発明の実施形態について以下にさらに詳細に説明する前に、本発明は、説明した部品または説明した方法の工程に限定されないことに注意すべきである。使用される用語はさらに限定を表さず、単に例示的特徴を有する。本明細書および特許請求の範囲が単数形を使用する限りにおいて、これはまた、文脈が単数形を明確に排除しない限り、それぞれの場合に複数を含む。いかなる方法の工程も、文脈がこれを明確に排除しない限り自動的な方法で行われ得る。
さらに、本発明による方法の例示的実施形態について以下に説明する。
第1の例示的実施形態によると、コントラスト形成方法において、第1の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳して第1の軸の第1の全体軸画像を形成する工程と、第2の軸に対して互いに隣接する2つのそれぞれの照明画像を重畳して第2の軸の第2の全体軸画像を形成する工程とは、それぞれの場合に、同様に以下の工程を含む:対応する第1の軸または第2の軸に対して互いに隣接する2つのそれぞれの照明画像を計算して対応する第1の軸または第2の軸に対して対応する中間画像を形成する工程、対応する中間画像を計算して対応する第1の全体軸画像または第2の全体軸画像を形成する工程。それぞれの計算は、それぞれの場合に加算または減算を含む。しかし、スケーリングすることに加えて、画像フィルタ処理または様々なタイプの画像処理もまた、加算または減算の前および/または後に個々の像に対して行われ得る。この実施形態は、方法部分が全体軸画像を取得するために繰り返し使用され得るという利点を有する。これにより本方法を簡単にすることが可能である。
別の例示的実施形態によると、コントラスト形成方法において、対応する照明画像を重畳して第1の軸の第1の全体軸画像を形成するかまたは第2の軸の第2の全体軸画像を形成する工程は、それぞれの場合に、対応する中間調変換を含む。
この実施形態は、全体軸画像がしたがって、全体軸画像を異なる情報に対して簡単な方法で使用することができるために不要な色情報が省略されるように変換され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法では、第1の色勾配画像と第2の色勾配画像との色空間への変換は、第1の色勾配画像と色空間の第1の撮像チャネルとを関連付ける工程と、第2の色勾配画像と色空間の第2の撮像チャネルとを関連付ける工程とを含む。
本発明の意味の範囲内の色空間の撮像チャネルは、本明細書では、視覚的表示に使用される色空間のチャネルであり得る。RGB色空間は、例えば、異なる色がコード化される3つの撮像チャネル、すなわちRチャネル、Gチャネル、Bチャネルを有する。
この実施形態は、色空間の撮像チャネル自体が被写体構造に関する情報ガイダンスに使用され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法では、第1の色勾配画像と第2の色勾配画像との色空間への変換は、輝度情報と色空間の第3の撮像チャネルとを関連付ける工程を含む。
この実施形態は、輝度情報が画像を正規化するために使用され得る、または画像を使用して、色空間中の被写体構造に関する別の情報を表すために使用され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法では、第1の色勾配画像と第2の色勾配画像との色空間への変換は、中間調画像と色空間の第3の撮像チャネルとを関連付ける工程を含む。
本発明の意味の範囲内の中間調画像は画像の階調勾配情報であり得る。中間調画像はまた、コントラストを有し得る。
この実施形態は、中間調画像が画像を正規化するために使用され得る、または画像を使用して、色空間中の被写体構造に関する別の情報を表すために使用され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、4つの方向情報のうちの2つの方向情報がそれぞれの場合に第1の軸に沿った一方向を示すことを含む。さらに、コントラスト形成方法は、4つの方向情報のうちの別の2つの方向情報がそれぞれの場合に第2の軸に沿った一方向を示すことを含む。
この実施形態は、1つの被写体構造の高さプロファイル情報が、全体軸画像を生成するために使用されるとともに高さプロファイル情報にも使用される軸の方向を使用することにより、色空間中に簡単な方法で表され得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、色空間がCIELAB色空間、加法色空間、減法色空間または色相飽和色空間であることを含む。
本発明の意味の範囲内のCIELAB色空間はすべての知覚可能色を記述し得る。CIELAB色モデルの最も重要な特性の中には、装置独立性および認知関係がある。このことは、色が標準的光条件下で正常な観察者により感知されるため、その生成または再生技術のタイプとは独立に定義されることを意味する。色モデルはEN ISO11664−4に定義されている。
本発明の意味の範囲内の加法色空間は、眼により感知される色感覚の変化がそれぞれに異なる色刺激の連続加算を介して発生することを意味し得る。原理的には、異なる方法で色に敏感な眼内のセンサを用いる色覚は加法混合である。加法色混合は、眼および脳内に発生するため、生理学的色混合とも呼ばれる。加法色空間は例えばRGB色空間であり得る。
本発明の意味の範囲内の減法色空間は、再放射により人体の表面から反射するときのまたは透過により媒体(色フィルタ)を通過する際の色刺激の変化を指し得る。下位概念では、減法色混合は色空間のダイバーシティが3つの色フィルタの直列接続により再生される極限原理を意味するものと理解される。一例として、CMY色空間またはCMYK色空間は減法色空間であり得る。
本発明の意味の範囲内の色相飽和色空間は、色が色相、飽和および輝度値(または暗レベル)を用いて定義される色空間であり得る。これはHSV色空間とも呼ばれる。同様な定義は、相対明度によるHSL色空間、絶対輝度によるHSB色空間、および光強度によるHSI色空間を与える。
この実施形態は、明確に定義され広く知られた色空間が使用され得、その結果、開発の複雑性が低減され得、経費削減をもたらし得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、コントラスト画像の生成が色空間に基づいて発生することを含む。この実施形態は、どの被写体情報が表され何の色でコード化されるかに関する判断が色空間に基づいてなされ得るという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、照明系列の終了後、各照明源が被写体を一回照明することを含む。
コントラスト形成方法はさらに、照明系列の終了後、各照明源が被写体を正確に一回照明することを含む。
この実施形態は、すべての利用可能照明方向から被写体情報を取得するために被写体がすべての利用可能方向から照明されるという利点を有する。
別の例示的実施形態によると、コントラスト形成方法はさらに、照明系列内の各照明源が被写体を個々に照明することを含む。
この実施形態は、被写体が必要に応じて頻繁に照明される必要があることと、最小数の照明画像のみが所望被写体情報を表すために必要とされるという利点を有する。
したがって、本発明は方法および関連装置の提供を可能にし、その結果、角度選択照明により被写体の様々な特性を表すことが可能になる。これは、例えば以下のものにより行われ得る。
・DPC 対向照明方向の画像の差→位相勾配(BIO)または高さプロファイル勾配(MAT)。
・SEC 合計強調コントラスト:すべての個別画像の和+絶対値(DPCx − x方向の対向画像の差)+絶対値(DPCy − y方向の対向画像の差)→増分の絶対値と重畳されたPK画像との和→いかなる直接的な個々の情報も読み取られ得ないが、様々な効果を同時に可視化する。
・DEC 差強調コントラス:すべての個別画像の和−絶対値(DPCx)−絶対値(DPCy)→PK画像と増分の絶対値との差→いかなる直接的な個々の情報も読み取られ得ないが、様々な効果を同時に可視化する。
・MSC 平均値和コントラスト:平均値と個々の画像の絶対値とのすべての差の和→いかなる方向情報も無い。極値が強調される。
使用される略称SEC、DECおよびMSCは本出願において定義されたものであり、専門語としては知られていない。
次に、様々なコントラストと個々の像(PK)との和は、特別な色空間関連性により複数の情報を同時にコード化するために使用される。
・HSV色コントラスト:特に、DIC/DPCコントラストが材料色に関する情報を表さないことは問題である。このため、以下の組み合わせが可能である。
PK画像を撮る。
それをRGBからHSV色空間に変換する。
Vチャネル(値)を所望の個々のコントラスト(例えば、DICx)の中間調画像で置換する。
画像をRGBへ変換する。
必要に応じ、輝度適応化を行う。
今や結果は元のものと同じ色を有するが、輝度中には個々のコントラストの情報(例えば、x方向の増分)を含む。
・LAB色コントラスト:同様に厄介なのは、DIC/DPCにおける位相勾配の方向情報が一方向のみに視覚化され得ることである。以下の変換がこの問題を解決する。
PK画像を使用する。
それをLab色空間に変換する。
aおよびbチャネルを所望の個々のコントラスト(例えば、DPCx、DPCy)で置換する。
画像をRGB色空間に変換して戻す。
結果は原画像(PK)と同じ輝度値を有するが、2つの個々のコントラストの情報はaおよびb中に格納される。
一例として、DPCxとDPCyでは、すべての増加方向がこのように表され、同時にカラーコード化される。
・RGB色コントラスト:
3つの異なる個々のコントラスト(例えば、PK、DPCx、DPCy)をRGB色チャネル中に書き込む。
結果は3つのコントラスト情報すべてを色という意味でコード化する。
これは、個々の画像内の個々のコントラストの簡単かつ迅速な組み合わせが可能にされ得るという利点を生じる。さらに、本方法はHSVおよびLAB中に情報(色/輝度)を含む。
本発明について、図面を参照して以下にさらに詳細に説明する。
本発明の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案装置の概略図を示す。
図1は、本発明の例示的実施形態による提案方法の概略図を示す。
ここで、図1は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には被写体構造の高さプロファイル情報を読み取るためのコントラスト形成方法の概略図を示す。本明細書では、コントラスト形成方法は以下の工程を含む:多数の照明源111に基づき照明系列11により被写体を照明する工程(10)、照明系列11内の各照明12の被写体の照明画像21を生成する工程(20)、第1の軸35(図1に図示せず)に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第1の軸35の第1の全体軸画像31を形成する工程(30)、第2の軸36(図1に図示せず)に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第2の軸36の第2の全体軸画像32を形成する工程(30)、第1の全体軸画像31に基づき第1の色勾配画像41を生成する工程(40)、第2の全体軸画像32に基づき第2の色勾配画像42を生成する工程(40)、第1の色勾配画像41と第2の色勾配画像42とを色空間51に変換する工程(50)、被写体の構造の高さプロファイルの4つの方向情報351、352、361、362がカラーコーディング式に表されるように、変換された(50)第1の色勾配画像41と第2の色勾配画像42とに基づきコントラスト画像61を色空間51に生成する工程(60)。
図2および図3は、それぞれの場合に、本発明の別の例示的実施形態による全体軸画像を形成するために隣接照明画像を重畳する概略図を示す。
ここで、図2は、第1の軸35に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第1の軸35の第1の全体軸画像31を形成する工程(30)を示す。この処理では、対応する第1の軸35に対して互いに隣接する2つのそれぞれの照明画像21が、対応する第1の軸35に対する対応する中間画像(intermediate image)23を形成するために計算される(33)。さらに、対応する中間画像23は対応する第1の全体軸画像31を形成するために計算される(34)。
ここで、図3は、第2の軸36に対して互いに隣接する2つのそれぞれの照明画像21を重畳して第2の軸36の第2の全体軸画像32を形成する工程(30)を示す。この処理では、対応する第2の軸36に対して互いに隣接する2つのそれぞれの照明画像21は、対応する第2の軸36に対する対応する中間画像23を形成するために計算される(33)。さらに、対応する中間画像23が対応する第2の全体軸画像32を形成するために計算される(34)。
それぞれの計算33、34はそれぞれの場合に加算または減算を含む。
図4は、本発明の別の例示的実施形態による提案方法の概略図を示す。
図4は、図1の方法に対して拡張された方法の概略図を示す。
図1〜図3に関して以前に述べたことは、それに応じて図4に当てはまる。明瞭性を継続するために、変換工程(50)に行く前の方法部分は図4に示されない。しかし、それらは図1に見ることができる。
図4に見られるように、コントラスト形成方法において、第1の色勾配画像41と第2の色勾配画像42とを色空間51へ変換する工程(50)はさらに、以下の工程を含む:第1の色勾配画像41と色空間51の第1の撮像チャネル511とを関連付ける工程(52)、さらに第2の色勾配画像42と色空間51の第2の撮像チャネル512とを関連付ける工程(52)。
図4の例では、色勾配画像41と第2の色勾配画像42とを色空間51に変換する工程(50)はさらに、輝度情報および/または中間調画像などの追加情報と色空間51の第3の撮像チャネル513とを関連付ける工程(53)を含む。
図4の例では、4つの方向情報351、352、361、362のうちの2つの方向情報351、352はそれぞれの場合に第1の軸35(図4に図示せず)に沿った一方向を示し、4つの方向情報351、352、361、362のうちの別の2つの方向情報361、362はそれぞれの場合に第2の軸36(図4に図示せず)に沿った一方向を示す。
図5は、本発明の別の例示的実施形態による提案装置の概略図を示す。
図5は、好ましくは顕微鏡画像からコントラスト画像を生成するための、特には光学顕微鏡検査に特に好ましい被写体構造の高さプロファイル情報を読み取るためのコントラスト形成用装置100の概略図を示す。ここでのコントラスト形成用装置100は画像記録装置110とコントラスト形成装置120とを含む。画像記録装置110は、被写体の画像を光学的に捕捉し、かつそれをコントラスト形成装置120に送信するように構成される。ここで、コントラスト形成用装置100は本発明によるコントラスト形成方法を行うように構成される。
10 被写体を照明する工程
11 照明系列
12 照明系列内の照明
20 照明画像を生成する工程
21 照明画像
23 第1の軸に対する中間画像
24 第2の軸に対する中間画像
30 2つの照明画像を重畳する工程
31 第1の全体軸画像
32 第2の全体軸画像
33 中間画像を形成するために2つの照明画像を計算する工程
34 全体軸画像を形成するために2つの中間画像を計算する工程
35 第1の軸
36 第2の軸
40 色勾配画像を生成する工程
41 第1の色勾配画像
42 第2の色勾配画像
50 色勾配画像を色空間に変換する工程
51 色空間
52 色勾配画像と色空間の撮像チャネルとを関連付ける工程
53 別の情報と色空間の第3の撮像チャネルとを関連付ける工程
60 コントラスト画像を生成する工程
61 コントラスト画像
100 コントラスト形成用装置
110 画像記録装置
111 照明源
120 コントラスト形成装置
351 高さプロファイルの第1の方向情報
352 高さプロファイルの第2の方向情報
361 高さプロファイルの第3の方向情報
362 高さプロファイルの第4の方向情報
511 色空間の第1の撮像チャネル
512 色空間の第2の撮像チャネル
513 色空間の第3の撮像チャネル

Claims (14)

  1. 好ましくは顕微鏡画像からコントラスト画像を生成するための、特には前記コントラスト画像から被写体構造の高さプロファイル情報を読み取るためのコントラスト形成方法であって、
    1つまたは複数の照明源(111)に基づき照明系列(11)により被写体を照明する工程(10)と、
    前記照明系列(11)内の各照明(12)の前記被写体の照明画像(21)を生成する工程(20)と、
    第1の軸(35)に対して互いに隣接する2つのそれぞれの照明画像(21)を重畳して前記第1の軸(35)の第1の全体軸画像(31)を形成する工程(30)と、
    第2の軸(36)に対して互いに隣接する2つのそれぞれの照明画像(21)を重畳して前記第2の軸(36)の第2の全体軸画像(32)を形成する工程(30)と、
    前記第1の全体軸画像(31)に基づき第1の色勾配画像(41)を生成する工程(40)と、
    前記第2の全体軸画像(32)に基づき第2の色勾配画像(42)を生成する工程(40)と、
    前記第1の色勾配画像(41)と前記第2の色勾配画像(42)とを色空間(51)に変換する工程(50)と、
    前記被写体の構造の高さまたは位相プロファイルの4つの方向情報(351、352、361、362)がカラーコーディング式に表されるように、変換された(50)第1の色勾配画像(41)と前記第2の色勾配画像(42)とに基づきコントラスト画像(61)を前記色空間(51)に生成する工程(60)と、を備えるコントラスト形成方法。
  2. 前記第1の軸(35)に対して互いに隣接する2つのそれぞれの照明画像(21)を重畳して前記第1の軸(35)の第1の全体軸画像(31)を形成する工程(30)と、前記第2の軸(36)に対して互いに隣接する2つのそれぞれの照明画像(21)を重畳して前記第2の軸(36)の第2の全体軸画像(32)を形成する工程(30)とは、それぞれの場合に、同様に、
    対応する第1の軸(35)または第2の軸(36)に対して互いに隣接する2つのそれぞれの照明画像(21)を計算して前記対応する第1の軸(35)または第2の軸(36)に対して対応する中間画像(23、24)を形成する工程(33)と、
    前記対応する中間画像(23、24)を計算して前記対応する第1の全体軸画像(31)または前記第2の全体軸画像(32)を形成する工程(34)とを含み、
    それぞれの計算工程(33、34)は、加算または減算により行われる、請求項1に記載のコントラスト形成方法。
  3. 対応する照明画像(21)を重畳して前記第1の軸(35)の第1の全体軸画像(31)を形成するかまたは前記第2の軸(36)の第2の全体軸画像(32)を形成する工程(30)は、それぞれの場合に、対応する中間調変換を含む、請求項1または2に記載のコントラスト形成方法。
  4. 前記第1の色勾配画像(41)と前記第2の色勾配画像(42)とを前記色空間(51)に変換する工程(50)は、
    前記第1の色勾配画像(41)と前記色空間(51)の第1の撮像チャネル(511)とを関連付ける工程(52)と、
    前記第2の色勾配画像(42)と前記色空間(51)の第2の撮像チャネル(512)とを関連付ける工程(52)とを含む、請求項1〜3のいずれか一項に記載のコントラスト形成方法。
  5. 前記第1の色勾配画像(41)と前記第2の色勾配画像(42)とを前記色空間(51)に変換する工程(50)は、
    輝度情報と前記色空間(51)の第3の撮像チャネル(513)とを関連付ける工程(53)を含む、請求項1〜4のいずれか一項に記載のコントラスト形成方法。
  6. 前記第1の色勾配画像(41)と前記第2の色勾配画像(42)とを前記色空間(51)に変換する工程(50)は、
    中間調画像と前記色空間(51)の第3の撮像チャネル(513)とを関連付ける工程(53)を含む、請求項1〜4のいずれか一項に記載のコントラスト形成方法。
  7. 前記4つの方向情報(351、352、361、362)のうちの2つの方向情報(351、352)は、それぞれの場合に前記第1の軸(35)に沿った一方向を示し、および前記4つの方向情報(351、352、361、362)のうちの別の2つの方向情報(361、362)は、それぞれの場合に第2の軸(36)に沿った一方向を示す、請求項1〜6のいずれか一項に記載のコントラスト形成方法。
  8. 前記色空間(51)は、CIELAB色空間、加法色空間、減法色空間または色相飽和色空間である、請求項1〜7のいずれか一項に記載のコントラスト形成方法。
  9. 前記コントラスト画像(61)を生成する工程(60)は、前記色空間(51)に基づいて実行される、請求項1〜8のいずれか一項に記載のコントラスト形成方法。
  10. 前記照明系列(11)の終了後、各照明源(111)は前記被写体を一回照明する、請求項1〜9のいずれか一項に記載のコントラスト形成方法。
  11. 前記照明系列(11)内の各照明源(111)は、前記被写体を個々に照明する、請求項1〜10のいずれか一項に記載のコントラスト形成方法。
  12. 好ましくは顕微鏡画像からコントラスト画像を生成するための、特には光学顕微鏡検査に特に好ましい被写体構造の高さプロファイル情報を読み取るためのコントラスト形成用装置(100)であって、
    画像記録装置(110)と、
    コントラスト形成装置(120)と、を備え、
    前記画像記録装置(110)は、被写体の画像を捕捉し、かつ前記捕捉の結果をコントラスト形成装置(120)へ送信するように構成され、
    前記コントラスト形成用装置(100)は、請求項1〜11のいずれか一項に記載のコントラスト形成方法を行うように構成される、コントラスト形成用装置。
  13. 請求項12に記載のコントラスト形成用装置(100)のためのプログラムコード手段を有するコンピュータプログラム製品であって、前記プログラムコード手段は、請求項1〜11のいずれか一項に記載のコントラスト形成方法を備える、コンピュータプログラム製品。
  14. 請求項13に記載のコンピュータプログラム製品を含むデータ媒体。
JP2016091060A 2015-04-30 2016-04-28 被写体構造のコントラスト画像を生成する方法およびそれに関連する装置 Pending JP2016212412A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015208084.6A DE102015208084A1 (de) 2015-04-30 2015-04-30 Verfahren zum Generieren eines Kontrastbildes einer Objektbeschaffenheit und diesbezügliche Vorrichtungen
DE102015208084.6 2015-04-30

Publications (1)

Publication Number Publication Date
JP2016212412A true JP2016212412A (ja) 2016-12-15

Family

ID=56068636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016091060A Pending JP2016212412A (ja) 2015-04-30 2016-04-28 被写体構造のコントラスト画像を生成する方法およびそれに関連する装置

Country Status (5)

Country Link
US (1) US10175468B2 (ja)
EP (1) EP3089105A1 (ja)
JP (1) JP2016212412A (ja)
CN (1) CN106097288B (ja)
DE (1) DE102015208084A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365465B2 (en) * 2015-05-04 2019-07-30 Versitech Limited Apparatus and method for quantitative phase-gradient chirped-wavelength-encoded optical imaging
DE102018114005A1 (de) 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0606788D0 (en) * 2006-04-03 2006-05-10 Ind Co Ltd Confocal microscopy
US8794072B2 (en) * 2007-10-10 2014-08-05 Sonoscan, Inc. Scanning acoustic microscope with profilometer function
US8150125B2 (en) * 2007-10-29 2012-04-03 Siemens Medical Solutions Usa, Inc. System for visualizing regions of interest in medical images
JP5646906B2 (ja) * 2010-08-06 2014-12-24 キヤノン株式会社 X線装置およびx線測定方法
DE102011052721A1 (de) * 2011-08-16 2013-02-21 Hseb Dresden Gmbh Messverfahren für Höhenprofile von Oberflächen
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
DE102013003900A1 (de) * 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zur Bildaufnahme mit einem Lichtmikroskop
US9001399B2 (en) * 2013-03-13 2015-04-07 Xerox Corporation Automatically compensating for color differences from side 1 to side 2 of a document scanning device

Also Published As

Publication number Publication date
US20160320603A1 (en) 2016-11-03
US10175468B2 (en) 2019-01-08
CN106097288B (zh) 2020-12-04
EP3089105A1 (de) 2016-11-02
DE102015208084A1 (de) 2016-11-03
CN106097288A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
Tremeau et al. Color in image and video processing: most recent trends and future research directions
JP6783895B2 (ja) 反射を低減したコントラスト画像を生成するための方法およびこれに関連する装置
US10269103B2 (en) Image processing apparatus, image processing method, and image processing system
KR102335899B1 (ko) 3d 스캔이 수행 중인 물체에 관한 색상 정보를 수집하기 위한 시스템, 방법, 장치 및 컴퓨터 판독가능 저장 매체
US20130016885A1 (en) Image processing apparatus, imaging system, and image processing system
CN102663741B (zh) 对彩色数字图像进行视觉立体感知增强的方法及系统
US20120050309A1 (en) Display control apparatus and display control method
CN110463197A (zh) 增强立体相机成像系统中的空间分辨率
JP2010166363A (ja) 擬似濃淡画像生成装置及びプログラム
JP2016212412A (ja) 被写体構造のコントラスト画像を生成する方法およびそれに関連する装置
CN108648144B (zh) 一种基于深度学习算法的fpm高分辨率彩色图像重建方法
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
JP6004354B2 (ja) 画像データ処理装置及び画像データ処理方法
KR101958263B1 (ko) Vr 콘텐츠와 ui 템플릿의 제어방법
JP5218634B2 (ja) 擬似濃淡画像生成装置及びプログラム
JP3572304B2 (ja) 医療分野におけるフォトレタッチソフトウェアを用いた画像解析方法
JP2011151454A (ja) 画像処理装置、撮像機器及び画像処理方法
Gadia et al. Tuning Retinex for HDR images visualization
JP5598185B2 (ja) 目立ち画像生成装置及び目立ち画像生成プログラム
JP2011002336A (ja) 目立ち画像生成装置及び目立ち画像生成プログラム
US10911731B2 (en) Image-capturing device
Gaiani et al. Under the lens of ISLe: Leonardo da Vinci’s" Landscape" drawing analysed by colourimetry
JP5752011B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
KR100539940B1 (ko) 휴대용 단말기에서 촬영된 영상을 스케치효과로 표시하는방법
Robert-Inacio et al. Visual attention simulation in rgb and hsv color spaces

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170714

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180403