JP2015099104A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2015099104A JP2015099104A JP2013239374A JP2013239374A JP2015099104A JP 2015099104 A JP2015099104 A JP 2015099104A JP 2013239374 A JP2013239374 A JP 2013239374A JP 2013239374 A JP2013239374 A JP 2013239374A JP 2015099104 A JP2015099104 A JP 2015099104A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image processing
- processing apparatus
- image
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 230000005284 excitation Effects 0.000 claims abstract description 20
- 230000003595 spectral effect Effects 0.000 claims abstract description 15
- 239000007850 fluorescent dye Substances 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 16
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical group O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 description 12
- 229910017052 cobalt Inorganic materials 0.000 description 9
- 239000010941 cobalt Substances 0.000 description 9
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 150000001868 cobalt Chemical class 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
- G01J3/4406—Fluorescence spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/121—Correction signals
Abstract
【課題】ユーザが観察しやすい蛍光像を生成する。【解決手段】この画像処理装置は、蛍光色素により染色された試料に励起光をあてて蛍光をカラー撮像素子により撮像する撮像ユニットより像信号を入力するインタフェース部と、カラー撮像素子のカラーフィルター分光特性をもとに予め求められた、像信号における励起光の波長領域に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合の情報を保持し、入力された像信号から、第２の色の成分の割合相当分および第３の色の成分の割合相当分を各々削減する色補正回路とを具備する。【選択図】図８
Description
本技術は、撮像装置により撮影された蛍光像を処理する画像処理装置および画像処理方法に関する。
蛍光顕微鏡の観察像を撮像素子で捕え、電子的な画像データとして取得する画像処理装置は、例えば、医学、生物学の研究ならびに検査などの場で利用されている。
蛍光顕微鏡の観察像は微弱な蛍光による像であることから、蛍光染色された細胞部分の像と細胞が存在しない背景部分の像とのコントラスト（視覚的な差異）が得られにくい。
そこで、特許文献１では、観察画像から、ユーザによりマニュアルで指定された背景部分の輝度を差し引いて背景部分をさらに黒くすることによって、細胞部分の像と背景部分の像とのコントラストを上げるブラックバランス補正の技術について記載されている。
さらに、特許文献２には、ホワイトバランス補正やブラックバランス補正を、ユーザによる背景部分のマニュアル指定を受けることなく自動的に行うための技術が開示されている。
蛍光顕微鏡などの撮像装置によって得られる蛍光像を処理して観察用の画像を生成する画像処理装置の分野においては、ユーザにとって観察しやすい蛍光像を生成するための技術が今後益々重要となってきており、その対応が求められている。
以上のような事情に鑑み、本技術の目的は、ユーザが観察しやすい蛍光像を生成することのできる画像処理装置および画像処理方法を提供することにある。
上記の課題を解決するために、本技術に係る一の形態の画像処理装置は、
蛍光色素により染色された試料に励起光をあてて蛍光をカラー撮像素子により撮像する撮像装置より像信号を入力するインタフェース部と、
前記カラー撮像素子のカラーフィルター分光特性をもとに予め求められた、前記像信号における前記励起光の波長領域に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合の情報を保持し、前記入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する色補正回路と
を具備する。
蛍光色素により染色された試料に励起光をあてて蛍光をカラー撮像素子により撮像する撮像装置より像信号を入力するインタフェース部と、
前記カラー撮像素子のカラーフィルター分光特性をもとに予め求められた、前記像信号における前記励起光の波長領域に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合の情報を保持し、前記入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する色補正回路と
を具備する。
前記色補正回路は、前記入力された像信号から、さらに前記第１の色の成分を削減するように構成されたものであってよい。
前記色補正回路は、リニアマトリクス変換回路であってよい。
本技術に係る画像処理装置は、前記色補正回路の前段で、前記入力された像信号から、前記第２の色の成分および前記第３の色の成分のうちいずれか一方を低減するホワイトバランス調整回路をさらに具備するものであってよい。
前記蛍光色素は、フルオレセインとすることができる。
本技術に係る他の形態である画像処理方法は、蛍光色素により染色された試料に励起光をあてて蛍光を撮像するカラー撮像素子のカラーフィルター分光特性をもとに、前記カラー撮像素子の像信号における前記励起光の波長領域に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合を求め、前記カラー撮像素子より入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する、というものである。
以上のように、本技術によれば、ユーザが観察しやすい蛍光像を生成することができる。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本技術に係る第１の実施形態の蛍光観察システム１の構成を示す図である。
この蛍光観察システム１は、撮像ユニット１０と画像処理ユニット２０とを有する。撮像ユニット１０と画像処理ユニット２０とは画像伝送路３０を通じて接続される。
＜第１の実施形態＞
図１は、本技術に係る第１の実施形態の蛍光観察システム１の構成を示す図である。
この蛍光観察システム１は、撮像ユニット１０と画像処理ユニット２０とを有する。撮像ユニット１０と画像処理ユニット２０とは画像伝送路３０を通じて接続される。
［撮像ユニット１０］
撮像ユニット１０は、光源１１と、励起フィルター１２と、対物レンズ１３と、
ビームスプリッター１４と、接眼レンズ１５と、ＣＭＯＳイメージセンサー１６などで構成される。
撮像ユニット１０は、光源１１と、励起フィルター１２と、対物レンズ１３と、
ビームスプリッター１４と、接眼レンズ１５と、ＣＭＯＳイメージセンサー１６などで構成される。
光源１１は、ハロゲンランプ、キセノンランプなど、可視光の波長域を含む白色光を出射する。
励起フィルター１２は、試料１７の蛍光体を励起する波長の光を透過させる光学フィルターである。励起フィルター１２を透過した光（励起光）は試料１７に照射される。
試料１７は、蛍光色素によって染色された生体組織片または細胞群などである。ここでは、蛍光色素としてフルオレセインを用いた場合を想定する。フルオレセインは、図２に示すように、中心波長が490nmの青色波長の光を当てると、中心波長が520nmの緑色を発光する蛍光色素である。
図３は励起フィルター１２として主に青（Ｂ）の波長領域を透過するコバルトフィルターの分光特性と、このコバルトフィルターを透過して試料１７に照射される光の成分を示す図である。このようにコバルトフィルターは、約350nmから約510nmまでのＢの波長領域の光を透過させる光学フィルターである。ここで、Ｂは特許請求の範囲の「第１の色」に相当する。ＧとＲは特許請求の範囲の「第２の色」、「第３の色」に相当する。
対物レンズ１３は、試料１７から発する光を入射する。対物レンズ１３と接眼レンズ１５との間の光路にはビームスプリッター１４が配置されている。すなわち、対物レンズ１３からの光は接眼レンズ１５に向かう光とＣＭＯＳイメージセンサー１６に向かう光に分配される。これにより、接眼レンズ１５を通して観察者が見る観察像と同じ像がＣＭＯＳイメージセンサー１６で撮像することができる。
なお、図示は省略したが、ＣＭＯＳイメージセンサー１６の前段にはＩＲカットフィルターが配置されている。ＩＲカットフィルターは、赤（Ｒ）の波長領域である例えば680nm以上の波長成分を除去するための光学フィルターである。
ＣＭＯＳ（Complementary MOS）イメージセンサー１６は、ＩＲカットフィルターを透過した光を光学フィルターにより選択されるＲ、Ｇ、Ｂ毎に受けて電気信号を生成し、デジタル化してＲａｗデータを生成する。生成されたＲａｗデータは画像伝送路３０を通じて画像処理ユニット２０に伝送される。
［蛍光への混色と背景の色成分］
次に、撮像ユニット１０による蛍光像の撮影において生じる、蛍光への混色、および背景の色成分について説明する。
次に、撮像ユニット１０による蛍光像の撮影において生じる、蛍光への混色、および背景の色成分について説明する。
図４は、励起フィルター１２によって制限された約350nmから約510nmまでのＢの波長領域の光がフルオレセインによって染色されていない試料１７に照射されたとき、試料１７から発する光の成分を示す図である。このとき試料１７から発する光は主に反射光である。反射光の成分は試料１７に照射された光の成分（図３）と等しい。このとき撮影された像の色は濃い青色となる。
図５は、フルオレセインによって染色された試料１７に、約350nmから約510nmまでのＢの波長領域の光が照射されたとき試料１７から発する光の成分を示す図である。この場合、フルオレセインによって染色された試料１７にＢの波長領域の光が当たることによって蛍光が発生する。図５において、Ｇ´は、その蛍光によるＧの色成分を示す。
図６は、ＣＭＯＳイメージセンサー１６のカラーフィルター分光特性を示す図である。
このカラーフィルター分光特性から分かるように、ＣＭＯＳイメージセンサー１６のＧ、Ｒの各々の画素は、コバルトフィルターの透過領域である約350nmから約510nmまでのＢの波長領域の光にも反応する。このため、ＣＭＯＳイメージセンサー１６によって検出される信号は、蛍光の成分に、約350nmから約510nmまでのＢの波長領域の反射光に対してＲ、Ｇ、Ｂの各画素が反応した各成分（混色成分）が加わったものとなる。
このカラーフィルター分光特性から分かるように、ＣＭＯＳイメージセンサー１６のＧ、Ｒの各々の画素は、コバルトフィルターの透過領域である約350nmから約510nmまでのＢの波長領域の光にも反応する。このため、ＣＭＯＳイメージセンサー１６によって検出される信号は、蛍光の成分に、約350nmから約510nmまでのＢの波長領域の反射光に対してＲ、Ｇ、Ｂの各画素が反応した各成分（混色成分）が加わったものとなる。
このように、ＣＭＯＳイメージセンサー１６からは、蛍光に反応して生成されるＧの成と、350nmから約510nmまでのＢの波長領域の反射光に反応して生成されるＲ、Ｇ、Ｂの成分との和が出力される。したがって、真の蛍光像の色が得られないとともに、背景部分が濃い青色となり、背景部分と蛍光像との間で十分な色のコントラストが得られない。本技術は、少なくとも、このような点を改善するものである。
以下に、その詳細を説明する。
以下に、その詳細を説明する。
約350nmから約510nmまでのＧの波長領域の光に対してＣＭＯＳイメージセンサー１６により検出されるＲ、Ｇ、Ｂの各成分は次のように表される。
ここで、Ｅは光源１１のエネルギー（定数）、ＨＧ（ｘ）は光源１１のエネルギー分布状態を示す特性（分光分布）、ＣＢ（ｘ）はコバルトフィルターの分光特性、Ｄｂ（ｘ）、Ｄｇ（ｘ）、Ｄｒ（ｘ）は各々ＣＭＯＳイメージセンサー１６のＢ、Ｇ、Ｒのカラーフィルター分光特性、ａ、ｂはコバルトフィルターの透過領域（約350nmから約510nmまでのＧの波長領域）である。
Ｎｇ％は約350nmから約510nmまでのＧの波長領域において、ＣＭＯＳイメージセンサー１６のＧの画素によって検出される成分の、Ｂの画素によって検出される成分に対する割合である。つまり、Ｎｇ％＝Ｇ／Ｂで表される。
Ｎｒ％はコバルトフィルターにより制限された波長領域において、ＣＭＯＳイメージセンサー１６のＲの画素によって検出される成分の、Ｂの画素によって検出される成分に対する割合である。つまり、Ｎｒ％＝Ｒ／Ｂで表される。
前述したように、フルオレセインによって染色された試料１７に約350nmから約510nmまでのＧの波長領域の光が照射されたときにＣＭＯＳイメージセンサー１６によって検出される成分は、蛍光に反応して生成されるＧの成分と、350nmから約510nmまでのＢの波長領域の反射光に反応して生成されるＲ、Ｇ、Ｂの各成分との和である。
したがって、ＣＭＯＳイメージセンサー１６によって検出されたＲ、Ｇ、Ｂの全体の成分からＧ＝Ｂ＊Ｎｇ％、Ｒ＝Ｂ＊Ｎｒ％、およびＢの成分を削除すれば、図７に示すように、蛍光に反応して生成されたＧの色成分Ｇ´のみが残る。
以上のような色成分の調整を行うことで、真の蛍光像のＧの色が得られ、背景部分は色の成分が削除されることによって真の黒に近くなり、背景と蛍光部分との色のコントラストが改善される。
次に、ＣＭＯＳイメージセンサー１６の出力から上記の色成分の調整を行う回路について説明する。
［画像処理ユニット２０の構成］
図８は画像処理ユニット２０の構成を示す図である。
ＣＭＯＳイメージセンサー１６の出力であるＲａｗデータは、センサーＩ／Ｆ２１によって画像処理ユニット２０に取り込まれる。
図８は画像処理ユニット２０の構成を示す図である。
ＣＭＯＳイメージセンサー１６の出力であるＲａｗデータは、センサーＩ／Ｆ２１によって画像処理ユニット２０に取り込まれる。
インタフェース回路２１によって取り込まれたＲａｗデータは、ホワイトバランス調整回路２２に導入される。
ホワイトバランス調整回路２２では、画像のホワイトバランスが調整される。光インタフェース回路（ＯＰ Ｉ／Ｆ）２３は、ホワイトバランス調整回路２２の出力をＥＶ補正回路２４に供給するとともに、色補間と、Ｒ、Ｇ、Ｂの各色信号の生成、さらにはＧ信号からエッジ処理用の輝度信号（Ｙ）の生成などを行い、Ｒ、Ｇ、Ｂの各色信号と輝度信号（Ｙ）は分離回路２５に導入する。ＥＶ補正回路２４は、画像の明るさ調整を行うためにＣＭＯＳイメージセンサー１６の露出調整を行う回路である。
分離回路２５は、Ｒ、Ｇ、Ｂの各色信号を色補正回路２６に導入し、輝度信号（Ｙ）をエッジ処理回路２７に導入する。エッジ処理回路２７では、輝度信号（Ｙ）からのエッジ検出、検出されたエッジ成分の調整などが行われる。
色補正回路２６は、リニアマトリクス変換により上記のＲ、Ｇ、Ｂの色成分の調整を行う回路である。リニアマトリクス変換は、Ｒ、Ｇ、Ｂの各色信号に対して行列演算によって色成分の調整を行う。
色補正回路２６の出力はガンマ補正回路２８に導入され、ここでガンマ補正され、ＹＣ変換回路２９で輝度信号（Ｙ）と色差信号（Ｃ）に変換される。輝度信号（Ｙ）はエッジ処理回路２７より導入されたエッジ成分と加算され、エッジが強調された輝度信号（Ｙ）となる。このエッジが強調された輝度信号（Ｙ）はＹＣ処理回路３１によってノイズ除去などの処理が行われて出力される。一方、色差信号（Ｃ）もＹＣ処理回路３１によってノイズ除去などの処理が行われて出力される。
なお、画像処理ユニット２０は、具体的には、１つのＬＳＩ（Large Scale Integration）、あるいは複数のＬＳＩやＩＣなどで構成される。
［リニアマトリクス変換による色調整］
リニアマトリクス変換に用いられる行列演算式を示す。
リニアマトリクス変換に用いられる行列演算式を示す。
ここで、行列における９個の要素の係数ＲＲ、ＲＧ、ＲＢ、ＧＲ、ＧＧ、ＧＢ、ＢＲ、ＢＧ、ＢＢのうち、ＲＲ、ＧＧ、ＢＢは各々が属する行の３つの係数の値の和が各々"１"となるように自動計算される。したがって、実際に選定されるべき係数はＲＧ、ＲＢ、ＧＲ、ＧＢ、ＢＲ、ＢＧの６つである。
上記の６つの係数を選定するために、ＣＭＯＳイメージセンサー１６のカラーフィルター分光特性から導かれるＲ＝Ｂ＊Ｎｒ％、Ｇ＝Ｂ＊Ｎｇ％、およびＢの成分の値が入力として用いられる。このとき、Ｒ、Ｇ、Ｂの各々の出力が"０"に近くなるように上記各係数が選定される。すなわち、下記の式を満足するように、各係数が選定される。
実際の運用時には、以上のようにして係数が選定された色補正回路２６を用いて、入力されたＲ、Ｇ、Ｂの各々の成分に対して色調整が行われる。
［具体的な係数の設定例］
図９Ａ、図９Ｂ、図９Ｃに具体的な係数の設定例を示す。
図９Ａは、３つの設定例の中でＲ、Ｇ、Ｂの各々の出力が最も"０"に近い設定例であり、理論的には最適な設定例である。混色の低減、コントラストの改善の効果は期待通りであったが、低輝度環境の場合や、負の係数の値が大きい場合には、ノイズ量が増加する場合がある。
図９Ａ、図９Ｂ、図９Ｃに具体的な係数の設定例を示す。
図９Ａは、３つの設定例の中でＲ、Ｇ、Ｂの各々の出力が最も"０"に近い設定例であり、理論的には最適な設定例である。混色の低減、コントラストの改善の効果は期待通りであったが、低輝度環境の場合や、負の係数の値が大きい場合には、ノイズ量が増加する場合がある。
図９Ｂは、ノイズを抑えるためにＧＲ、ＧＧ、ＧＢ、ＢＲ、ＢＢの係数の値を変更した設定例である。この設定では、負の係数の値を小さくしたことで、混色の低減、コントラストの改善の効果は若干落ちたものの、ノイズ量の低減効果を確認することができた。
図９Ｃは、図９Ｂの設定例から、さらに、ＲＲ、ＲＢ、ＧＧ、ＧＢの係数を変更した設定例である。この設定では、負の係数の値をさらに小さくしたことで、混色の低減、コントラストの改善の効果はさらに落ちたものの、ノイズ量の十分な低減効果を確認することができた。
なお、ＲＲ＋ＲＧ＋ＲＢ＝１、ＧＲ＋ＧＧ＋ＧＢ＝１、ＢＲ＋ＢＧ＋ＢＢ＝１の関係から、行列の各行の１つの係数が決まれば、下記の式（６）（７）（８）によりもう一つの係数も決まる。
（１−ＲＧ−ＲＢ）＊Ｎｒ％＋ＲＧ＊Ｎｇ％＋ＲＢ＝０
Ｎｒ％＋（Ｎｇ％−Ｎｒ％）＊ＲＧ＋（１−Ｎｒ％）＊ＲＢ＝０
ＲＧ＝−（（１−Ｎｒ％）＊ＲＢ−Ｎｒ％）/（Ｎｇ％−Ｎｒ％）・・・（６）
Ｎｒ％＊ＧＲ＋Ｎｇ％−Ｎｇ％＊ＧＲ−Ｎｇ％＊ＧＢ＋ＧＢ＝０
（Ｎｒ％−Ｎｇ％）＊ＧＲ＋（１−Ｎｇ％）＊ＧＢ＋Ｎｇ％＝０
ＧＲ＝（（Ｎｇ％−１）＊ＧＢ−Ｎｇ％）/（Ｎｒ％−Ｎｇ％）・・・（７）
Ｎｒ％＊ＢＲ＋Ｎｇ％＊ＢＧ＋１−ＢＲ−ＢＧ）＝０
（Ｎｒ％−１）＊ＢＲ＋（Ｎｇ％−１）＊ＢＧ＋１＝０
ＢＲ＝（−１−（Ｎｇ％−１）＊ＢＧ）/（Ｎｒ％−１）・・・（８）
Ｎｒ％＋（Ｎｇ％−Ｎｒ％）＊ＲＧ＋（１−Ｎｒ％）＊ＲＢ＝０
ＲＧ＝−（（１−Ｎｒ％）＊ＲＢ−Ｎｒ％）/（Ｎｇ％−Ｎｒ％）・・・（６）
Ｎｒ％＊ＧＲ＋Ｎｇ％−Ｎｇ％＊ＧＲ−Ｎｇ％＊ＧＢ＋ＧＢ＝０
（Ｎｒ％−Ｎｇ％）＊ＧＲ＋（１−Ｎｇ％）＊ＧＢ＋Ｎｇ％＝０
ＧＲ＝（（Ｎｇ％−１）＊ＧＢ−Ｎｇ％）/（Ｎｒ％−Ｎｇ％）・・・（７）
Ｎｒ％＊ＢＲ＋Ｎｇ％＊ＢＧ＋１−ＢＲ−ＢＧ）＝０
（Ｎｒ％−１）＊ＢＲ＋（Ｎｇ％−１）＊ＢＧ＋１＝０
ＢＲ＝（−１−（Ｎｇ％−１）＊ＢＧ）/（Ｎｒ％−１）・・・（８）
なお、ここでは、ＲＲ＋ＲＧ＋ＲＢ＝１、ＧＲ＋ＧＧ＋ＧＢ＝１、ＢＲ＋ＢＧ＋ＢＢ＝１という制約がある場合を説明したが、本技術はこれに限らない。この制約がない場合には、より高い自由度で各係数の値を選定できる。
［ホワイトバランス調整回路でのＲ成分の低減］
上記の色補正は、そのすべてを色補正回路２６でのリニアマトリクス変換により行うこととしたが、その一部をホワイトバランス調整回路で行うようにしてもよい。
上記の色補正は、そのすべてを色補正回路２６でのリニアマトリクス変換により行うこととしたが、その一部をホワイトバランス調整回路で行うようにしてもよい。
例えば、ホワイトバランス調整回路２２でＲの成分を極力低減させるようにしてもよい。この場合、色補正回路２６に設定される係数にかかる負担を抑えられるので、ノイズの発生を抑制できる効果がある。すなわち、リニアマトリクス変換において係数が負の大きな値となる場合には計算上のノイズの発生量が大きくなる。ホワイトバランス調整回路２２でＲの成分を削除した信号をリニアマトリクス変換の対象とすることによって、係数が負の大きな値となることを抑え、ノイズの発生量を低減できる。
以上のように、本実施形態の画像処理ユニット２０では、色補正回路２６などが、Ｒ、Ｇ、Ｂの色成分の調整を行うことによって、励起光として用いられるＢの波長領域の反射光に対してＣＭＯＳイメージセンサー１６のＲ、Ｇ、Ｂの各画素が反応した各成分（混色成分）を削除する。これにより、真の蛍光像のＧの色が得られ、背景部分は色の成分が削除されることによって真の黒に近くなり、背景と蛍光部分との色のコントラストが改善される。
また、このように画像処理ユニット２０内の色補正回路２６などによる処理によって混色成分を削除できることによって、撮像ユニット１０内に、Ｂの波長領域の反射光をカットするための吸収フィルターを配置する必要がなくなる。撮像ユニット１０内の吸収フィルターが不要になることで撮像ユニット１０の小型、軽量、低コスト化を実現できる。さらには、現状の撮像装置（スリットランプ）をそのまま利用することができる、という効果もある。
＜変形例１＞
上記の実施形態では、蛍光色素としてフルオレセインを用いた場合を想定した。しかし、本技術は、その他の蛍光色素を採用した場合にも同様に適用できるものである。
上記の実施形態では、蛍光色素としてフルオレセインを用いた場合を想定した。しかし、本技術は、その他の蛍光色素を採用した場合にも同様に適用できるものである。
＜変形例２＞
上記の実施形態では、色補正回路２６でのリニアマトリクス変換によって、ＣＭＯＳイメージセンサー１６によって検出されたＲ、Ｇ、Ｂの全体の成分からＧ＝Ｂ＊Ｎｇ％、Ｒ＝Ｂ＊Ｎｒ％、およびＢの成分を削除することとした。
上記の実施形態では、色補正回路２６でのリニアマトリクス変換によって、ＣＭＯＳイメージセンサー１６によって検出されたＲ、Ｇ、Ｂの全体の成分からＧ＝Ｂ＊Ｎｇ％、Ｒ＝Ｂ＊Ｎｒ％、およびＢの成分を削除することとした。
その変形としては、色補正回路２６でのリニアマトリクス変換によって、ＣＭＯＳイメージセンサー１６によって検出されたＲ、Ｇ、Ｂの全体の成分からＧ＝Ｂ＊Ｎｇ％、Ｒ＝Ｂ＊Ｎｒ％だけを削除し、Ｂの成分については、色補正回路２６の後段に、Ｂ成分の削除するための回路を設けて、ここで削除するようにしてもよい。
なお、本技術は以下のような構成もとることができる。
（１）蛍光色素により染色された試料に励起光をあてて蛍光をカラー撮像素子により撮像する撮像装置より像信号を入力するインタフェース部と、
前記カラー撮像素子のカラーフィルター分光特性をもとに予め求められた、前記像信号における前記励起光の波長領域に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合の情報を保持し、前記入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する色補正回路と
を具備する画像処理装置。
（１）蛍光色素により染色された試料に励起光をあてて蛍光をカラー撮像素子により撮像する撮像装置より像信号を入力するインタフェース部と、
前記カラー撮像素子のカラーフィルター分光特性をもとに予め求められた、前記像信号における前記励起光の波長領域に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合の情報を保持し、前記入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する色補正回路と
を具備する画像処理装置。
（２）前記（１）に記載の画像処理装置であって、
前記色補正回路は、前記入力された像信号から、前記第１の色の成分を削減するように構成される
画像処理装置。
前記色補正回路は、前記入力された像信号から、前記第１の色の成分を削減するように構成される
画像処理装置。
（３）前記（１）または（２）のいずれか１つに記載の画像処理装置であって、
前記色補正回路は、リニアマトリクス変換回路である
画像処理装置。
前記色補正回路は、リニアマトリクス変換回路である
画像処理装置。
（４）前記（１）から（３）のいずれか１つに記載の画像処理装置であって、
前記色補正回路の前段で、前記入力された像信号から、前記第２の色の成分および前記第３の色の成分のうちいずれか一方を低減するホワイトバランス調整回路をさらに具備する
画像処理装置。
前記色補正回路の前段で、前記入力された像信号から、前記第２の色の成分および前記第３の色の成分のうちいずれか一方を低減するホワイトバランス調整回路をさらに具備する
画像処理装置。
（５）前記（１）から（４）のいずれか１つに記載の画像処理装置であって、
前記蛍光色素がフルオレセインである
画像処理装置。
前記蛍光色素がフルオレセインである
画像処理装置。
１…蛍光観察システム
１０…撮像ユニット
１１…光源
１２…励起フィルター
１３…対物レンズ
１４…ビームスプリッター
１５…接眼レンズ
１６…ＣＭＯＳイメージセンサー
１７…試料
２０…画像処理ユニット
２１…インタフェース回路
２２…ホワイトバランス調整回路
２６…色補正回路
１０…撮像ユニット
１１…光源
１２…励起フィルター
１３…対物レンズ
１４…ビームスプリッター
１５…接眼レンズ
１６…ＣＭＯＳイメージセンサー
１７…試料
２０…画像処理ユニット
２１…インタフェース回路
２２…ホワイトバランス調整回路
２６…色補正回路
Claims (6)
- 蛍光色素により染色された試料に励起光をあてて蛍光をカラー撮像素子により撮像する撮像装置より像信号を入力するインタフェース部と、
前記カラー撮像素子のカラーフィルター分光特性をもとに予め求められた、前記像信号における前記励起光に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合の情報を保持し、前記入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する色補正回路と
を具備する画像処理装置。 - 請求項１に記載の画像処理装置であって、
前記色補正回路は、前記入力された像信号から、前記第１の色の成分を削減するように構成される
画像処理装置。 - 請求項２に記載の画像処理装置であって、
前記色補正回路は、リニアマトリクス変換回路である
画像処理装置。 - 請求項３に記載の画像処理装置であって、
前記色補正回路の前段で、前記入力された像信号から、前記第２の色の成分および前記第３の色の成分のうちいずれか一方を低減するホワイトバランス調整回路をさらに具備する
画像処理装置。 - 請求項４に記載の画像処理装置であって、
前記蛍光色素がフルオレセインである
画像処理装置。 - 蛍光色素により染色された試料に励起光をあてて蛍光を撮像するカラー撮像素子のカラーフィルター分光特性をもとに、前記カラー撮像素子の像信号における前記励起光に対応する第１の色の成分に対する他の第２の色の成分および第３の色の成分の各々の割合を求め、
前記カラー撮像素子より入力された像信号から、前記第２の色の成分の割合相当分および前記第３の色の成分の割合相当分を各々削減する
画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013239374A JP2015099104A (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置および画像処理方法 |
| US14/522,814 US9294656B2 (en) | 2013-11-19 | 2014-10-24 | Image processing apparatus and image processing method |
| US15/049,395 US9826124B2 (en) | 2013-11-19 | 2016-02-22 | Image processing apparatus and method for correcting color components |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013239374A JP2015099104A (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置および画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015099104A true JP2015099104A (ja) | 2015-05-28 |
Family
ID=53173365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013239374A Pending JP2015099104A (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置および画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US9294656B2 (ja) |
| JP (1) | JP2015099104A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020513279A (ja) * | 2016-12-14 | 2020-05-14 | ハンドインスキャン ゼットアールティー． | 使用者の手の滅菌及び滅菌の品質管理の方法並びに方法を実施するための装置 |
| JP2020141917A (ja) * | 2019-03-07 | 2020-09-10 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3414553B1 (en) | 2016-02-12 | 2022-09-28 | Massachusetts Institute of Technology | Method and apparatus for imaging unsectioned tissue specimens |
| CN112469323B (zh) * | 2019-03-20 | 2023-08-18 | Hoya株式会社 | 内窥镜系统 |
| EP3907497B1 (en) * | 2020-05-08 | 2023-08-02 | Leica Microsystems CMS GmbH | Apparatus and method for displaying and/or printing images of a specimen including a fluorophore |
| JP2022080732A (ja) * | 2020-11-18 | 2022-05-30 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004086031A (ja) | 2002-08-28 | 2004-03-18 | Olympus Corp | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム |
| JP4311945B2 (ja) * | 2003-01-29 | 2009-08-12 | オリンパス株式会社 | 電子的撮像装置及び顕微鏡システム |
| JP4695552B2 (ja) * | 2006-06-28 | 2011-06-08 | 富士フイルム株式会社 | 画像処理装置及び方法 |
| JP5355259B2 (ja) | 2008-09-16 | 2013-11-27 | オリンパス株式会社 | 顕微鏡システム、観察画像補正プログラム、及び観察画像補正方法 |
-
2013
- 2013-11-19 JP JP2013239374A patent/JP2015099104A/ja active Pending
-
2014
- 2014-10-24 US US14/522,814 patent/US9294656B2/en active Active
-
2016
- 2016-02-22 US US15/049,395 patent/US9826124B2/en active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020513279A (ja) * | 2016-12-14 | 2020-05-14 | ハンドインスキャン ゼットアールティー． | 使用者の手の滅菌及び滅菌の品質管理の方法並びに方法を実施するための装置 |
| JP7187457B2 (ja) | 2016-12-14 | 2022-12-12 | ハンドインスキャン ゼットアールティー． | 使用者の手の滅菌及び滅菌の品質管理の方法並びに方法を実施するための装置 |
| JP2020141917A (ja) * | 2019-03-07 | 2020-09-10 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| JP7235540B2 (ja) | 2019-03-07 | 2023-03-08 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| US11909941B2 (en) | 2019-03-07 | 2024-02-20 | Sony Olympus Medical Solutions Inc. | Medical image processing apparatus and medical observation system |
Also Published As
| Publication number | Publication date |
|---|---|
| US9294656B2 (en) | 2016-03-22 |
| US20150139527A1 (en) | 2015-05-21 |
| US20160173734A1 (en) | 2016-06-16 |
| US9826124B2 (en) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015099104A (ja) | 画像処理装置および画像処理方法 | |
| JP6456416B2 (ja) | 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置 | |
| JP5064312B2 (ja) | ホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路 | |
| EP3284252B1 (en) | Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination | |
| US20170116715A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| CN107534727A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
| CN105354801B (zh) | 一种基于hsv色彩空间的图像增强方法 | |
| Zhang et al. | Estimation of saturated pixel values in digital color imaging | |
| JP2012237693A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| EP3518517A1 (en) | Video signal processing device, video signal processing method and video signal processing system | |
| JP6270388B2 (ja) | 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム | |
| CN102510502B (zh) | 用于生成高动态范围图像的方法及系统 | |
| US20220318969A1 (en) | Method for providing an image representation by means of a surgical microscope, and surgical microscope | |
| CN108289599A (zh) | 内窥镜系统和拍摄方法 | |
| JP2013229706A (ja) | 画像取得装置、画像取得方法、および画像取得プログラム | |
| Yuan et al. | Tunable-liquid-crystal-filter-based low-light-level color night vision system and its image processing method | |
| US20210164904A1 (en) | Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium | |
| Li et al. | A new image calibration system in digital colposcopy | |
| US8804025B2 (en) | Signal processing device and imaging device | |
| WO2015008383A1 (ja) | 撮像装置 | |
| EP3067688B1 (en) | Imaging device and method | |
| Cauwerts et al. | Calibration of high dynamic range images for applied color and lighting research | |
| CN112335233B (zh) | 图像生成装置以及摄像装置 | |
| Piper | Software-based stacking techniques to enhance depth of field and dynamic range in digital photomicrography | |
| JP2023119524A (ja) | 画像処理装置及び画像処理方法 |