JP2014022801A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP2014022801A
JP2014022801A JP2012157242A JP2012157242A JP2014022801A JP 2014022801 A JP2014022801 A JP 2014022801A JP 2012157242 A JP2012157242 A JP 2012157242A JP 2012157242 A JP2012157242 A JP 2012157242A JP 2014022801 A JP2014022801 A JP 2014022801A
Authority
JP
Japan
Prior art keywords
raw image
pixel
imaging
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012157242A
Other languages
English (en)
Inventor
Koichiro Kishima
公一朗 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012157242A priority Critical patent/JP2014022801A/ja
Priority to US13/910,533 priority patent/US20140016005A1/en
Priority to CN201310280834.8A priority patent/CN103546661A/zh
Publication of JP2014022801A publication Critical patent/JP2014022801A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】ＲＡＷ画像の欠陥画素値の補正を高速化できる情報処理装置、情報処理方法、および情報処理プログラムを提供する。
【解決手段】撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する。
【選択図】図２８

Description

本技術は、撮像素子の欠陥画素による異常な輝度値を含むＲＡＷ画像を高速に補正する情報処理装置、情報処理方法、および情報処理プログラムに関する。
欠陥画素を含んだ撮像素子により撮像して得たＲＡＷ画像に含まれる異常な輝度値を除外するためは、通常メディアンフィルタが用いられる（例えば、特許文献１参照。）。メディアンフィルタによる演算は、ループ処理内での条件分岐が多く用いられる演算であり、その処理速度は通常遅いものである。
また、近年では計算機に組み込まれているグラフィック・レンダリング用のＧＰＵ(Graphics Processing Unit)を、レンダリングのみならず、他の数値演算にも利用するＧＰＧＰＵ (General-purpose computing on graphics processing units; ＧＰＵによる汎目的計算)という技術分野が存在する。
ＧＰＵは安価なうえ、入手が容易であり、かつ高速な演算が実現できるため、画像の特殊効果（エフェクト）などの処理を行うＧＰＵを組み込んだ編集システムがローコストで開発できるようになった。
しかしながら、単純にＧＰＵ上で動作するプログラムを作成し、実行すれば、簡単に高速化が図れるというわけではない。サイズの大きな画像の処理や、演算量の多い画像処理を、リアルタイムに実現するには、そのプログラム開発において、画像処理アルゴリズムの工夫や、実装上の工夫が必要である。
最近では、ＧＰＵを使った演算の高速化の工夫に言及する発明が、いくつか公開されている。
例えば特許文献２は、ビデオ信号の復号に関して、ＧＰＵとＣＰＵで処理ステップを使い分け、ＧＰＵとＣＰＵの作業負担の釣り合いをとるものである。ＣＰＵとＧＰＵの間のデータ通信が最小限にされ、ＣＰＵおよびＧＰＵの作業負荷の釣合いがとられ、ＧＰＵにオフロードされるモジュールを、効率的に実現できるという技術が開示されている。
特開平９−２７０９６２号公報 特開２０１０−１３０６９６号公報
これまでは、メディアンフィルタにおいて用いられる演算処理の性格上、その処理をＧＰＧＰＵにおいて行うことができず、演算をＧＰＧＰＵを用いて行う事によるＲＡＷ画像の欠陥画素値の補正の高速化を行うことができなかった。
以上のような事情に鑑み、本技術の目的は、ＲＡＷ画像の欠陥画素値の補正を高速化できる情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
（１）上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する。
本技術では、通常メディアンフィルタを用いて一連の処理として行う欠陥画素値の補正処理を、欠陥画素を特定する処理までと、特定した後、実際に輝度値を補正するまでの処理とに分離している。また、画像の撮影も、予備撮影と本撮影に分離している。そのため、制御部での処理方法を、各処理に最適化でき、欠陥画素の輝度値の補正処理を高速化することができる。
（２）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第１の演算処理部と、前記本撮影によって取得した第２のＲＡＷ画像の輝度値を前記欠陥位置データを用いて補正する第２の演算処理部とを具備する。
本技術では、制御部が２つの演算処理部を持っているので、欠陥画素を特定する処理と、特定した後、実際に輝度値を補正する処理のそれぞれに合わせて、各演算処理部を最適化できるので、欠陥画素の輝度値の補正処理をさらに高速化することができる。
（３）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記第２の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する構成でもよい。
本技術では、メディアンフィルタのように、欠陥画素の輝度値を補正するために、メディアン（中央値）を求めるのではなく、欠陥位置の周辺画素の輝度値の平均値を用いている。そのため、補正する輝度値を得るために、メディアンフィルタのように、演算対象となる複数の画素の輝度値を並べ替えて中央値を求める演算を行う必要がない。それ故、欠陥画素の輝度値の補正処理をさらに高速化することができる。
（４）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記第１の演算処理部は、前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する構成でもよい。
本技術では、予備撮影時には、より多くの欠陥画素が出る、すなわち、明滅欠陥画素が必ず欠陥として特定される撮影条件を用いて撮影を行う。それ故、本撮影時に得られるＲＡＷ画像において、欠陥画素に対し確実に輝度値の補正をかけることができる。
（４）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記第２の演算処理部は、グラフィックス・プロセッシング・ユニットである構成でもよい。
本技術では、第２の演算部として、高速な並列演算処理を行うことができるグラフィックス・プロセッシング・ユニットを用いるので、欠陥画素の輝度値の補正処理をさらに高速化することができる。
（５）上記目的を達成するため、本技術の一形態に係る情報処理方法では、画像取得部が、撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得し、制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する。
（６）上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部、および前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部としてコンピュータを機能させる。
以上のように、本技術によれば、ＲＡＷ画像の欠陥画素値の補正を高速化できる。
メディアンフィルタの基本的な仕組みを表す図である。 閾値との比較により、注目画素の輝度値を置き換えるか否かの判断を行う例を示す図である。 常時欠陥となる画素と明滅欠陥となる画素を測定した例である。 撮影条件と欠陥の関係を表した図である。 単板ＲＧＢ配列の例を示す図である。 単板ＲＧＢ配列の場合の、赤色の画素に対してメディアンフィルタをかける対象（９個）を表した図である。 単板ＲＧＢ配列の場合の、赤色の画素に対してメディアンフィルタをかける対象（５個）を表した図である。 単板ＲＧＢ配列の場合の、緑色Ｇ１の注目画素に対してメディアンフィルタをかける対象（注目画素のＧ１および周辺のＧ２、合計５個）を表した図である。 単板ＲＧＢ配列の場合の、緑色Ｇ１の注目画素に対してメディアンフィルタをかける対象（注目画素のＧ１および周辺のＧ１、合計９個）を表した図である。 単板ＲＧＢ配列の場合の、緑色Ｇ１の注目画素に対してメディアンフィルタをかける対象（注目画素のＧ１および周辺のＧ１、合計５個）を表した図である。 単板ＲＧＢＷ配列の例を示す図である。 単板ＲＧＢＷ配列の場合の、赤色の画素に対してメディアンフィルタをかける対象（５個）を表した図である。 単板ＲＧＢＷ配列の場合の、緑色の注目画素に対してメディアンフィルタをかける対象（注目画素のＧおよび周辺のＧ、合計３個）を表した図である。 単板ＲＧＢＷ配列の場合の、白色の注目画素に対してメディアンフィルタをかける対象（注目画素のＷおよび周辺のＷ、合計５個）を表した図である。 ３板ＲＧＢ配列のうち、赤色の撮像素子の配列の例を示す図である。 ３板ＲＧＢ配列のうち、赤色の画素に対してメディアンフィルタをかける対象（９個）を表した図である。 ３板ＲＧＢ配列のうち、赤色の画素に対してメディアンフィルタをかける対象（５個）を表した図である。 単板ＲＧＢ配列の場合の、赤色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。 単板ＲＧＢ配列の場合の、赤色および青色の欠陥画素値の補正を行う演算方法の例を示す図である。 単板ＲＧＢ配列の場合の、緑色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。 単板ＲＧＢ配列の場合の、緑色の欠陥画素値の補正を行う演算方法の例を示す図である。 単板ＲＧＢＷ配列の場合の、赤色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。 単板ＲＧＢＷ配列の場合の、緑色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（２個）を示した図である。 単板ＲＧＢＷ配列の場合の、白色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。 ３板ＲＧＢ配列または単板白黒配列の場合の、単色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。 本実施形態に係る情報処理装置を含んで構成される、蛍光画像を取得する画像取得装置１００の構成を示す図である。 本技術に係る情報処理装置２０のハードウェアの構成を示すブロック図である。 本技術に係る情報処理装置２０の機能ブロック図である。 欠陥画素の検出と欠陥画素値の補正についての全体的な流れを示すフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
まずメディアンフィルタについて説明した後、従来技術の問題点と本技術のポイントについて説明し、本技術を使用する環境について説明する。
［メディアンフィルタ］
撮像素子の撮像面を構成する画素には欠陥画素が含まれており、撮像を行った際に、欠陥画素からは、周辺の画素とはかけ離れた異常な輝度値が出力される。メディアンフィルタは、その異常な輝度値を取り除くために用いられる。
図１は、メディアンフィルタの基本的な仕組みを表す図である。ある画素（マトリクスＭ１の中央斜線部）に注目し、その画素と周辺の８画素の輝度値を考える。まず、これらの輝度値をマトリクスＭ１の左上から順に書き出す。書き出したものが、数列Ｌ１である。値は左から順に１１、３３、２５、６７、８０、３５、５５、６６、９４である。
次に、数列Ｌ１内の輝度値を小さい値から順に並べなおす。並べなおしたものが数列Ｌ２である。
そして最後に、数列Ｌ３に示すように、数列の中央値（メディアン）である値５５を取り出し、注目画素の値を８０から５５に置き換える。置き換えたものがマトリックスＭ２である。
以上がメディアンフィルタの基本的な仕組みである。但し、このままメディアンフィルタを用いると、周辺の画素の輝度値とは明らかに異なる突出した異常値以外の輝度値も除かれてしまう可能性が高い。そこで実際には閾値を導入し、閾値を基準として輝度値の置き換えを行うか否かを判断する。
図２は、閾値との比較により、注目画素の輝度値を置き換えるか否かの判断を行う例を示す図である。図１と同じ例を使って説明する。まず、マトリクスＭ１の注目画素の元の輝度値は８０である。また、メディアンとなる輝度値は５５である。ここで、置き換える前の輝度値と置き換え候補である輝度値の差分をとり、この差分と予め定めた閾値（ｄｔｈ）との比較を行う。
もし、差分が閾値（例えばｄｔｈ＝２０）より大きければ（｜８０−５５｜＞ｄｔｈ）、この注目画素の輝度値は置き換え対象として、マトリクスＭ３に示すように、置き換え候補である値５５と置き換えられる。もし、差分が閾値（例えばｄｔｈ＝３０）より小さければ（｜８０−５５｜＜ｄｔｈ）、この注目画素の輝度値は置き換え対象とはならないので、マトリクスＭ４に示すように、輝度値は元の値のままとなる。
このように、閾値を適切に設定することにより、明らかな異常値のみをメディアンフィルタにより補正することができる。
［従来技術の問題点と本技術のポイント］
上記のとおり、撮像素子の欠陥画素から発生する異常な輝度値を取り除くためにメディアンフィルタが用いられる。しかし、メディアンフィルタの演算処理では、上述のとおり、輝度値の並べ替え処理や、差分と閾値との大きさを比較する条件分岐処理などがあり、演算処理の高速化が難しかった。
また、近年、画像処理では、並列演算により処理の高速化を図るために、ＧＰＧＰＵ（General-purpose computing on graphics processing units）というハードウェアが用いられるようになった。しかし、ＧＰＧＰＵは、単純な演算を並列化して高速に処理することはできるものの、値の並べ替えや値の大小比較など、ループ処理や条件分岐処理を行うことは難しかった。それ故、メディアンフィルタ処理をＧＰＧＰＵを用いて行うことは、ＧＰＧＰＵを用いても高速化のメリットを大きく受ける方法ではなかった。
そこで、本技術では、メディアンフィルタによる処理を、欠陥画素の検出と、欠陥画素値の補正の２つの処理に明確に分けた。そして、それぞれの処理を行うハードウェアの最適化と運用方法の最適化を行った。
まず、ハードウェアの最適化である。欠陥画素の検出では、輝度値の並べ替え、および注目画素の輝度値と中央値である輝度値との比較までを行う。これらの処理には多くの条件分岐処理が含まれているので、処理はＣＰＵにおいて行うほうが適している。
欠陥画素値の補正では、後述する単純な演算処理、例えば加算、乗算、配列内での要素の無条件な移動、およびビットシフトのみにより、欠陥画素の輝度値を補正するので、処理はＧＰＧＰＵにおいて行うほうが適している。
次に、運用面での最適化である。欠陥画素の検出は、画像の撮影ごとに行う必要はなく、一連の検体スライドの入れ替え時や、毎朝１回など行えばよい。それ故、欠陥画素の検出処理は、行う頻度が少ないので、多少時間がかかっても、検体の撮影処理に与える影響は少なくなる。
それに対し、欠陥画素値の補正は、画像の撮影ごとに行わなければならない。それ故、ＧＰＧＰＵを用いた高速化により、連続撮影の場合でも補正の処理時間を最小限にとどめることが望ましい。このように、長時間の処理を少ない頻度により行い、短時間の処理を多くの頻度により行うことで最適化を行っている。
以上が、従来技術の問題点と、本技術のポイントである。
［欠陥画素の検出処理について］
次に、欠陥画素の検出処理について説明する。欠陥画素の検出とは、撮像素子の撮像面を構成する画素のうち、欠陥がある画素の位置を、撮影されたＲＡＷ画像を用いて特定する処理である。この処理を行う際に、注意しなければいけない事は、明滅欠陥の存在である。明滅欠陥とは、ある撮影条件において、欠陥となり異常な輝度値を出力したり、欠陥ではなくなり正常な輝度値を出力したりする欠陥である。
図３は、常時欠陥となる画素と明滅欠陥となる画素を測定した例である。この例では、２４メガピクセルの撮像素子を用いて、ＩＳＯ４００の感度において１秒間露光したものである。欠陥を判断する為に、メディアンフィルタを閾値ｄｔｈ＝７００として用いた。表の各行は、撮影を行う明るさを１（照明なし）から５（もっとも明るい）まで５段階で変化させている。
また、各明るさでは、３回（ｓｈｏｔ＃０から２まで）撮影を行った。表の各列は、欠陥の位置を表すｘｙ座標である。注目画素の輝度値とメディアンの輝度値の差分の値が７００を超えるものを１として表し、それ以外を０として表している。
この図から、座標（５０，５８２）の画素は常に欠陥となっているのに対し、座標（４６１，１２５１）の画素や座標（５１８，７３１）の画素は、輝度値の値が正常であったり異常になったりして、欠陥と判断されたりされなかったりしていることがわかる。
欠陥画素の検出の為の撮影を予備撮影、検体サンプルの撮影を本撮影と呼ぶと、常時欠陥となる画素であれば、予備撮影の時にその欠陥画素が検出され、本撮影により取得された画像の補正が適切にできる。しかし、明滅欠陥があると、予備撮影の時には欠陥にならず、本撮影の時に欠陥となると、その補正を行うことができない。
そこで、本技術では、予備撮影を本撮影よりも欠陥が出やすい撮影条件を用いて行い、明滅欠陥に対処することを行う。
図４は、撮影条件と欠陥の関係を表した図である。この図では、各欠陥をその座標により特定した上で、その数を数えている。撮像素子は、２４メガピクセルの撮像素子を用いて、その温度を摂氏２５度に設定し測定している。
図の上側では、ＩＳＯ感度を４００とし、１秒間露光し、閾値を７００としてメディアンフィルタにより欠陥画素の特定を行った際の欠陥数が１２３個であることを示している。そして、その１２３個のうち１２２個はＩＳＯ感度を１００とし４秒間露光し、閾値を７００として欠陥画素の特定を行って得られた欠陥数１８５個に含まれるが、１２３個のうち１個は、外れていることがわかる。
すなわち、このことは、予備撮影および欠陥の検出をＩＳＯ感度１００、露光４秒、閾値７００として行った場合、本撮影では１個の欠陥が補正の対象外になってしまうことを表している。
図の下側では、上記と同じ１２３個が、ＩＳＯ感度１００、露光４秒、閾値５００において検出された欠陥３５６個に全て含まれていることを表している。
このように、予備撮影の撮影条件および欠陥検出のためのメディアンフィルタの閾値を適切に設定すれば、本撮影の際に発生する欠陥を全て含むように、欠陥画素の検出を行うことができる。
なお、上記の例では、本撮影において１２３個の欠陥が発生するのに対し、３５６個の補正を行うことになってしまい、本来正常である（３５６−１２３＝）２３３個の画素の値を補正してしまう。しかし、その数は全体の画素数２４メガピクセルに比べれば、有効画素率の観点から無視できる範囲である。
僅かな数の正常な画素の輝度値を補正してしまうことよりも、欠陥画素の輝度値の補正漏れを防ぐことのほうが補正結果に与える影響が大きいので、大事である。
以下では、撮像素子の画素配列の例として、単板ＲＧＢ配列、単板ＲＧＢＷ配列、３板ＲＧＢ配列、および単板白黒配列について、それぞれ欠陥画素の検出方法を説明する。
［欠陥画素の検出方法の例１（単板ＲＧＢ配列）］
ここでは、撮像素子の画素配列が単板ＲＧＢ配列の場合の、欠陥画素の検出方法を説明する。図５は、単板ＲＧＢ配列の例を示す図である。Ｒは赤色の光学フィルタが設けられた画素を表し、Ｂは同じく青色、Ｇは同じく緑色である。なお、説明の便宜上、緑色の画素をＧ１およびＧ２に分けて表している。
図６は、単板ＲＧＢ配列の場合の、赤色の画素に対してメディアンフィルタをかける対象（９個）を表した図である。欠陥画素の検出にメディアンフィルタを用いることは基本的に変わらない。しかし、必ずメディアンフィルタを用いなければいけないわけではなく、他のアルゴリズムを用いて欠陥画素を検出してもよい。
図６に示すように、図中丸印を用いて示した注目画素の欠陥判定を行うためには、図中斜線により示した８つの画素および注目画素の輝度値に対してメディアンフィルタをかける。ここで注意しなければならないことは、同じ色の画素を対象としてメディアンフィルタをかけることである。この点は、他の色やほかの撮像素子の画素配列でも同様である。
メディアンフィルタをかける際の詳細は、撮影機材により異なるので、ここでの説明は省略する。
なお、図６では、全部で９個の画素を対象としてメディアンフィルタをかけたが、このほかに、図７に示す位置の画素を対象としてメディアンフィルタをかけてもよい。図７は、単板ＲＧＢ配列の場合の、赤色の画素に対してメディアンフィルタをかける対象（５個）を表した図である。メディアンフィルタをかける対象の画素数を減らすことにより、輝度値の並べ替え処理に要する時間を短縮することができる。
以上が赤色を対象としたメディアンフィルタのかけ方の説明である。青色の画素は、単板ＲＧＢ配列の場合、赤色と同じ配列となるので、説明は省略する。
次に、緑色の画素に対してメディアンフィルタをかける例を３つ示す。図中の丸印は、注目画素の位置を表し、斜線は、メディアンフィルタの対象となる画素であることを表している。図８は、単板ＲＧＢ配列の場合の、緑色Ｇ１の注目画素に対してメディアンフィルタをかける対象（注目画素のＧ１および周辺のＧ２、合計５個）を表した図である。
図９は、単板ＲＧＢ配列の場合の、緑色Ｇ１の注目画素に対してメディアンフィルタをかける対象（注目画素のＧ１および周辺のＧ１、合計９個）を表した図である。図１０は、単板ＲＧＢ配列の場合の、緑色Ｇ１の注目画素に対してメディアンフィルタをかける対象（注目画素のＧ１および周辺のＧ１、合計５個）を表した図である。
以上、撮像素子の画素配列が単板ＲＧＢ配列の場合の各色に対するメディアンフィルタのかけ方について説明を行った。
［欠陥画素の検出方法の例２（単板ＲＧＢＷ配列）］
ここでは、撮像素子の画素配列が単板ＲＧＢＷ配列の場合の、欠陥画素の検出方法を説明する。図１１は、単板ＲＧＢＷ配列の例を示す図である。Ｒは赤色の光学フィルタが設けられた画素を表し、Ｂは同じく青色、Ｇは同じく緑色、Ｗは同じく白色である。
図１２は、単板ＲＧＢＷ配列の場合の、赤色の画素に対してメディアンフィルタをかける対象（５個）を表した図である。図１２に示すように、図中丸印を用いて示した注目画素の欠陥判定を行うためには、図中斜線により示した４つの画素および注目画素の輝度値に対してメディアンフィルタをかける。
以上が赤色を対象としたメディアンフィルタのかけ方の説明である。青色の画素は、単板ＲＧＢＷ配列の場合、赤色と同じ配列となるので、説明は省略する。
次に、緑色の画素に対してメディアンフィルタをかける例を示す。図中の丸印は、注目画素の位置を表し、斜線は、メディアンフィルタの対象となる画素であることを表している。図１３は、単板ＲＧＢＷ配列の場合の、緑色の注目画素に対してメディアンフィルタをかける対象（注目画素のＧおよび周辺のＧ、合計３個）を表した図である。
次に、白色の画素に対してメディアンフィルタをかける例を示す。図１４は、単板ＲＧＢＷ配列の場合の、白色の注目画素に対してメディアンフィルタをかける対象（注目画素のＷおよび周辺のＷ、合計５個）を表した図である。
以上、撮像素子の画素配列が単板ＲＧＢＷ配列の場合の各色に対するメディアンフィルタのかけ方について説明を行った。
［欠陥画素の検出方法の例３（３板ＲＧＢ配列）］
ここでは、撮像素子の画素配列が３板ＲＧＢ配列の場合の、欠陥画素の検出方法を説明する。図１５は、３板ＲＧＢ配列のうち、赤色の撮像素子の配列の例を示す図である。青色および緑色の撮像素子も同じ配列となり、同じ方法を用いてメディアンフィルタをかけるので、説明は省略する。
図１６は、３板ＲＧＢ配列のうち、赤色の画素に対してメディアンフィルタをかける対象（９個）を表した図である。
また、図１６では、全部で９個の画素を対象としてメディアンフィルタをかけたが、このほかに、図１７に示す位置の画素を対象としてメディアンフィルタをかけてもよい。図１７は、３板ＲＧＢ配列のうち、赤色の画素に対してメディアンフィルタをかける対象（５個）を表した図である。
以上、撮像素子の画素配列が３板ＲＧＢ配列の場合の各色に対するメディアンフィルタのかけ方について説明を行った。
［欠陥画素の検出方法の例４（単板白黒配列）］
撮像素子が単板白黒配列である場合は、３板ＲＧＢ配列の３色のうちいずれか１つの配列と同じ配列となるので、説明は省略する。
［欠陥位置データについて］
欠陥位置データは、例えば、撮像素子の画素の配置に対応させて、正常な画素の位置は１により表現し、欠陥である画素の位置は０により表現した、マトリックスとして表現することができる。要素の値が０または１のマトリックスとすることにより、ＧＰＧＰＵを用いて輝度値の補正処理を行う際の演算を単純化することができる。
マトリックスは、例えば撮像素子の画素配列が単板ＲＧＢ配列の場合、赤色および青色共通の欠陥位置マトリックスと、緑色専用の欠陥位置マトリックスを作成しておくのがよい。輝度値補正の段階では、輝度値の補正を赤色および青色に対する処理と、緑色に対する処理の２つに分けて行うが、その際に使用する欠陥位置マトリックスが異なるからである。
なお、ＧＰＧＰＵにおける欠陥画素値の補正処理の際に演算で用いるために、欠陥位置マトリックスの０と１を論理反転させた論理反転マトリックスも、欠陥位置データに含めて作成しておく。
［欠陥画素値の補正処理について］
欠陥画素値の補正処理は、高速化のため、ＧＰＧＰＵにおいて行う。メディアンフィルタを用いて補正まで行う場合は、その補正値はメディアンである値を用いる。しかし、ＧＰＧＰＵを用いて演算処理の高速化を行う場合には、メディアンではなく、欠陥画素に近接する周辺画素の平均値により、欠陥画素の輝度値の補正を行う。
なお、前者および後者による補正結果が実用上同じ結果になることは確認済みである。その理由は、欠陥画素は１個の独立した画素であることがほとんどであり、欠陥画素の突出した輝度値に比べ、欠陥画素の周辺画素の輝度値はほぼ同様の輝度値になるので、中央値であっても平均値であっても、目視した際に大きな違いは感じられないからである。
さらに言うと、欠陥画素値の補正処理では、ＧＰＧＰＵ用に最適化された演算方法として、なるべく、マトリックスの加算、乗算、要素位置の移動、ビットシフトを組み合わせて、近接する周辺画素の平均値を求めることが、高速化のポイントとなる。ループ処理や条件分岐処理を無くし、なるべく並列化の度合いを高めることも、高速化のポイントである。
以下では、上記において説明した、単板ＲＧＢ配列、単板ＲＧＢＷ配列、３板ＲＧＢ配列、単板白黒配列の例について、それぞれ補正の演算方法を説明する。
［欠陥画素値の補正方法の例１（単板ＲＧＢ配列）］
ここでは、撮像素子の画素配列が単板ＲＧＢ配列の場合の、欠陥画素値の補正方法を説明する。なお、単板ＲＧＢ配列の場合、赤色と青色の配列方法は同じであり、赤色と青色の補正方法は同じであり同時に行えるので、以下では赤色を例に説明を行う。
図１８は、単板ＲＧＢ配列の場合の、赤色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。図中、丸印により示した画素が欠陥画素であり、その周辺にある斜線を引いた画素が、欠陥画素の輝度値を補正するために、平均値をとる周辺画素である。
図中で注目すべき点は、欠陥画素と平均値をとる周辺画素の位置関係である。４個の周辺画素は、欠陥画素からみて、それぞれ上方向、下方向、右方向、左方向へ２画素分移動した位置にあるという点である。この点を念頭に置いて、ＧＰＧＰＵに適した演算を考えると、例えば、図１９に示す演算が考えられる。
図１９は、単板ＲＧＢ配列の場合の、赤色および青色の欠陥画素値の補正を行う演算方法の例を示す図である。図中、元のＲＡＷ画像Ｓ０のＲおよびＢにより示す個所に丸印が付いているが、これは欠陥画素の位置を示しており、欠陥位置マトリックスＤＭでは、それらの丸印に対応した位置に１が立っている。
まず、元のＲＡＷ画像Ｓ０に対し、それぞれ上方向、下方向、右方向、左方向へ２画素分、画素値を移動させたシフトＲＡＷ画像Ｓ１からＳ４までを作成する。そして、シフトＲＡＷ画像Ｓ１からＳ４までを画素ごとに加算する。加算した結果を、仮に加算ＲＡＷ画像と呼ぶ。ここまでの演算により、図１８の斜線により示した周辺画素の輝度値を合計する処理が、欠陥の有無にかかわらず全体的に行われたことになる。
ここまでの演算では、欠陥の有無を考慮していないので、ここからの演算では、欠陥位置マトリックスＤＭおよび論理反転マトリックスＮＭを用いて、欠陥の有無による値の選別の処理を行う。
まず、上記の演算で得られた加算ＲＡＷ画像に対して欠陥位置マトリックスＤＭを乗じて、欠陥位置の加算結果のみを取り出す。そして、元のＲＡＷ画像Ｓ０を４倍したものに倫理反転マトリックスＮＭを乗じて、欠陥位置以外の、４倍にされた輝度値を取り出す。最後に、欠陥位置の加算結果と、欠陥位置以外の、４倍にされた輝度値とを合計する。
以上が、単板ＲＧＢ配列の場合に、赤色および青色を補正する演算方法である。以上の演算は、ＧＰＧＰＵ用に最適化されているので、演算の中にループ処理や条件判断処理が入っていない点がポイントである。
なお、周辺画素の平均値を求める場合、最後に加算した画素の個数により合計値を除さなければならないが、その処理は、ＲＡＷ画像の現像処理の後に行われる８ｂｉｔ化処理の際に合わせて行われるので、ここでは除算は行わない。
また、上記の演算では、なるべく４という数字を用いている。これは、４倍にする場合は、２ビット桁を上げる方向にビットシフトすれば得られる値であり、４で除する場合は、逆方向に２ビットだけビットシフトすればよいので演算が簡略化されるからである。
次に、図８に示した緑色の補正について説明する。図２０は、単板ＲＧＢ配列の場合の、緑色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。図中、丸印により示した画素が欠陥画素であり、その周辺にある斜線を引いた画素が、欠陥画素の輝度値を補正するために、平均値をとる周辺画素である。また、図２１は、単板ＲＧＢ配列の場合の、緑色の欠陥画素値の補正を行う演算方法の例を示す図である。
図８に示した緑色の補正も、基本的な方法は、赤色および青色の場合と同様である。但し、補正する輝度値の位置に対し、平均値をとる周辺画素は、それぞれ右上方向、左上方向、右下方向、左下方向に、１画素分移動した位置にある。そこで、シフトＲＡＷ画像Ｓ１からＳ４までも、元のＲＡＷ画像Ｓ０を、それぞれ右上方向、左上方向、右下方向、左下方向に、１画素分移動させて作成することになる。この点以外は、赤色および青色の補正方法と同様なので、説明は省略する。なお、上記説明では、緑色の画素の補正に図８に示した場合の補正を用いた場合を示したが、図１０に示す緑色の補正方法を用いる場合には、赤色および青色と同様の補正方法であるので、図１９に示した方法により赤色青色緑色の補正を同時に行うことも可能となる。
［欠陥画素値の補正方法の例２（単板ＲＧＢＷ配列）］
ここでは、撮像素子の画素配列が単板ＲＧＢＷ配列の場合の、欠陥画素値の補正方法を説明する。なお、単板ＲＧＢＷ配列の場合、赤色と青色の配列方法は同じであり、赤色と青色の補正方法は同じであり同時に行えるので、以下では赤色を例に説明を行う。
図２２は、単板ＲＧＢＷ配列の場合の、赤色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。図中、丸印により示した画素が欠陥画素であり、その周辺にある斜線を引いた画素が、欠陥画素の輝度値を補正するために、平均値をとる周辺画素である。
この図から分かるように、単板ＲＧＢＷ配列の場合に、赤色および青色の補正を行う際は、上記の単板ＲＧＢ配列での補正の際の演算方法において、シフトＲＡＷ画像Ｓ１からＳ４を作成するために、元のＲＡＷ画像Ｓ０をそれぞれ右上方向、左上方向、右下方向、左下方向に、２画素分移動させればよいことがわかる。この点以外は、単板ＲＧＢ配列での補正と同じなので説明は省略する。
図２３は、単板ＲＧＢＷ配列の場合の、緑色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（２個）を示した図である。平均値をとる周辺画素が２個だけなので、上記の単板ＲＧＢ配列での補正の際の演算方法からの変更点は、シフトＲＡＷ画像が、元のＲＡＷ画像をそれぞれ右上方向および左下方向に１画素分移動させたＳ１およびＳ２の２枚だけとなる点である。また、元のＲＡＷ画像Ｓ０は、４倍するのではなく、２倍することになる。
図２４は、単板ＲＧＢＷ配列の場合の、白色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。シフトＲＡＷ画像Ｓ１からＳ４を作成するために、元のＲＡＷ画像Ｓ０をそれぞれ右上方向、左上方向、右下方向、左下方向に、１画素分移動させればよいことがわかる。
［欠陥画素値の補正方法の例３（３板ＲＧＢ配列および単板白黒配列）］
最後の例は、撮像素子の画素配列が３板ＲＧＢ配列または単板白黒配列の場合の、欠陥画素値の補正方法である。基本的な考え方は上記において説明した通りである。
図２５は、３板ＲＧＢ配列または単板白黒配列の場合の、単色の画素に対して欠陥画素値を補正するために平均をとる周辺画素（４個）を示した図である。図２５から分かるように、シフトＲＡＷ画像Ｓ１からＳ４を作成するために、元のＲＡＷ画像Ｓ０をそれぞれ上方向、下方向、右方向、左方向に、１画素分移動させればよいことがわかる。
［画像取得装置の構成］
次に、上記において説明した欠陥画素の検出処理および欠陥画素値の補正処理を実際に行う情報処理装置の構成に関する説明を行う。図２６は本実施形態に係る情報処理装置を含んで構成される、蛍光画像を取得する画像取得装置１００の構成を示す図である。なお、ここでは蛍光顕微鏡を例に挙げているが、顕微鏡はこれ以外に明視野顕微鏡であってもよい。
画像取得装置１００は蛍光顕微鏡１０と、情報処理装置２０とを有する。
蛍光顕微鏡１０は、ステージ１１、光学系１２、光源１３、撮像素子１４、光源駆動部１５、ステージ駆動部１６、およびカメラ制御部１７を有する。
ステージ１１は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルＳＰＬを配置可能な面を有する。ステージ１１は、その面に対して平行方向（ｘｙ軸）及び直交方向（ｚ軸方向）に移動自在に構成される。
ステージ１１の上方には光学系１２が配置される。光学系１２は、対物レンズ１２Ａ、結像レンズ１２Ｂ、ダイクロイックミラー１２Ｃ、エミッションフィルタ１２Ｄ及び励起フィルタ１２Ｅを有する。
励起フィルタ１２Ｅは、生体サンプルＳＰＬの蛍光像を得る場合に、光源１３から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１２Ａへ導く。対物レンズ１２Ａは、当該励起光を生体サンプルＳＰＬへ集光する。そして対物レンズ１２Ａ及び結像レンズ１２Ｂは、生体サンプルＳＰＬの像を所定の倍率に拡大し、当該拡大像を撮像素子１４の撮像面に結像させる。
光源１３は、例えば水銀ランプ等の電球やＬＥＤ（Light Emitting Diode）などであり、生体サンプルＳＰＬに付された蛍光標識に対する励起光を照射するものである。
生体サンプルＳＰＬに励起光が照射されると、生体サンプルＳＰＬの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１２Ａを介してダイクロイックミラー１２Ｃを透過し、エミッションフィルタ１２Ｄを介して結像レンズ１２Ｂへ到達する。
エミッションフィルタ１２Ｄは、上記対物レンズ１２Ａによって拡大された、励起フィルタ１２Ｅを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１２Ｂにより拡大され、撮像素子１４上に結像される。
撮像素子１４としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられる。
光源駆動部１５は、情報処理装置２０からの発光命令Ｓ１をもとに光源１３Ａに一定の駆動電流を供給して光源１３Ａを発光させるドライブ回路を少なくとも有する。
ステージ駆動部１６は、情報処理装置２０からのステージ制御信号Ｓ２をもとにステージ１１を駆動するためのｘｙｚの３軸方向それぞれのステージ駆動電流を供給してステージ１１を３軸方向に移動させる。
カメラ制御部１７は、情報処理装置２０からの露光制御信号Ｓ３をもとに撮像素子１４の制御を行う。カメラ制御部１７は、撮像素子１４から読み出された各画素に対応する信号（ＲＡＷデータ）をＡ／Ｄ（Analog to Digital）変換して情報処理装置２０に供給する。
情報処理装置２０は、顕微鏡１０のカメラ制御部１７より供給されるＲＡＷデータに画像処理（後述）を行い、保存する。また、情報処理装置２０は、所定のプログラムに基づいて光源駆動部１５、ステージ駆動部１６及びカメラ制御部１７をそれぞれ制御するための演算処理を実行する。
［情報処理装置２０の構成］
次に、情報処理装置２０の構成について説明する。
図２７は、本技術に係る情報処理装置２０のハードウェアの構成を示すブロック図である。
情報処理装置２０は、演算制御を行うＣＰＵ(Central Processing Unit)２１（制御部、第１の演算処理部）、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令を入力する操作入力部２４、インターフェイス部２５、表示部２６、記憶部２７、ネットワークインターフェイス部２８、ＧＰＧＰＵ（General-purpose computing on graphics processing units）３０（制御部、第２の演算処理部）、およびこれらを互いに接続するバス２９を備える。
ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、顕微鏡１０が接続される。ネットワークインターフェイス部２８には、ネットワークが接続される。
表示部２６には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。またＣＰＵ２１は、ＲＡＭ２３に展開されたプログラムに従って、インターフェイス部２５を介して顕微鏡１０の各部を適宜制御する。
ＧＰＧＰＵ３０は、ＲＡＷ画像補正処理、シェーディング処理、ＪＰＥＧ化処理などの画像処理を並列演算処理により実行することが可能である。
ＣＰＵ２１およびＧＰＧＰＵ３０は、後述する各機能ブロックを実現する。ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、情報処理装置２０は、種々の機能ブロックを実現することができ、上記各部材を、情報処理装置２０として動作させることができる。
［情報処理装置２０の機能ブロック］
図２８は、本技術に係る情報処理装置２０の機能ブロック図である。なお、図中に示されている実線の矢印は、情報処理装置２０における、撮影された画像データの流れを示している。また、太線の矢印は、撮像素子１４の欠陥画素の位置を示す位置欠陥データの流れを示している。
なお、予備撮影の際に機能するのは、順に、画像取得部４３、欠陥位置データ生成部４４、欠陥位置データ格納部４５である。本撮影の際に機能するのは、順に、画像取得部４３、欠陥位置データ格納部４５、画像補正部４６、現像処理部４７、シェーディング処理部４８、カラーバランス補正部４９、ガンマ補正部５０、８ｂｉｔ化処理部５１、ディストーション補正部５２と続く。さらに本撮影では、スティッチング処理部５３、タイル分割処理部５４、ＪＰＥＧ化処理部５５へと処理が続き、処理された画像が記憶部２７に一時保存された後、ネットワークインターフェイス部２８を通じてイメージ管理サーバへアップロードされる。
ＣＰＵ２１は、撮像素子１４の欠陥画素の位置を特定するプログラムおよび８ｂｉｔＪＰＥＧカラー画像の作成命令に対応するプログラムに従って、図４に示すように、ステージ制御部４１、光源制御部４２、画像取得部４３（画像取得部）、欠陥位置データ生成部４４、スティッチング処理部５３、タイル分割処理部５４として機能する。
また、ＧＰＧＰＵ３０は、欠陥画素の位置にある輝度値を補正するプログラムおよび８ｂｉｔＪＰＥＧカラー画像の作成命令に対応するプログラムに従って、画像補正部４６、現像処理部４７、シェーディング処理部４８、カラーバランス補正部４９、ガンマ補正部５０、８ｂｉｔ化処理部５１、ディストーション補正部５２、ＪＰＥＧ化処理部５５として機能する。
また、記憶部２７は、欠陥位置データ格納部４５として機能する。
ステージ制御部４１は、ステージ駆動部１６を制御信号Ｓ２により制御することにより、ステージ１１の移動を行う。
光源制御部４２は、光源駆動部１５を制御信号Ｓ１により制御することにより、光源１３Ａの制御を行う。
画像取得部４３は、カメラ制御部１７を信号Ｓ３により制御することにより、様々な撮影条件を設定して画像の撮影を行い、撮影された画像を、ＲＡＷ画像として、撮像素子１４からカメラ制御部１７を介して取得する。
欠陥位置データ生成部４４は、撮像素子１４を用いた予備撮影により撮像されたＲＡＷ画像を画像取得部４３から取得し、メディアンフィルタを用いて、撮像素子１４の欠陥位置を特定し、欠陥位置データを生成する。生成された欠陥位置データは、欠陥位置データ格納部４５に格納される。
欠陥位置データ格納部４５は、欠陥位置データ生成部４４により生成された欠陥位置データを格納し、必要に応じ画像補正部４６に供給する。
画像補正部４６は、画像取得部４３から渡されたＲＡＷ画像に含まれる画素の欠陥を、欠陥位置データ格納部４５から渡された欠陥位置データに基づいて補正する。補正は、欠陥画素の輝度値を周辺画素の輝度値平均により置き換えることにより行う。
現像処理部４７は、画像取得部４３が取得し、画像補正部４６が補正したＲＡＷ画像の現像（デモザイク）処理を行い、カラー画像化する。
シェーディング処理部４８は、現像処理部４７が現像した画像に対してシェーディング処理を行う。カラーバランス補正部４９は、シェーディング処理された画像に対して、カラーバランス（ホワイトバランス）補正を行い、本来無彩色の部分を無彩色に修正する。ガンマ補正部５０は、カラーバランス補正された画像に対してガンマ補正を行い、色のデータと、それが実際に出力される際の信号の相対関係を調節する。
８ｂｉｔ化処理部５１は、ガンマ補正された画像の階調値を１６ｂｉｔから８ｂｉｔにする。ディストーション補正部５２は、８ｂｉｔ化された画像に対しディストーション補正を行い、レンズの歪曲収差（ディストーション）を補正する。
スティッチング処理部５３は、ディストーション補正が済んだ複数の画像にスティッチングを行い、近接位置画像との相対位置情報の取得を行うことにより、隣り合う画像同士を貼り合わせる。
タイル分割処理部５４は、高速表示を行う為に貼り合わせられた画像をタイルに分割する。なお、タイル分割処理は画像データを高速に表示するために行うものであり、必須の処理ではない。ＪＰＥＧ化処理部５５は、タイル分割された画像のＪＰＥＧ化を行う。ＪＰＥＧ化された画像は、記憶部２７に格納された後、ネットワークインターフェイス部２８を経由して、イメージ管理サーバ（図示せず）にアップロードされ、閲覧に供される。
［欠陥画素の検出処理と欠陥画素値の補正処理の流れ］
次に、欠陥画素の検出と欠陥画素値の補正について、全体的な流れを説明する。図２９は、欠陥画素の検出と欠陥画素値の補正についての全体的な流れを示すフローチャートである。
まず、画像取得部４３が、光源駆動部１５およびカメラ制御部１７を介して、予備撮影のための撮影条件を用いて、撮像素子１４に予備撮影を行わせ、予備撮影により撮像されたＲＡＷ画像を取得する（ステップＳＴ１）。取得したＲＡＷ画像は、欠陥位置データ生成部４４に渡される。
次に、欠陥位置データ生成部４４が、画像取得部４３から渡されたＲＡＷ画像に対し、上述のとおり、メディアンフィルタをかけて、欠陥画素の検出を行う。検出した欠陥画素の位置を、欠陥位置マトリックスＤＭおよび論理反転マトリックスＮＭを含んだ欠陥位置データとして生成する（ステップＳＴ２）。欠陥位置データ生成部４４は、生成した欠陥位置データを、欠陥位置データ格納部４５に格納する。
次に、画像取得部４３が、光源駆動部１５およびカメラ制御部１７を介して、本撮影のための撮影条件を用いて、撮像素子１４に本撮影を行わせ、本撮影により撮像されたＲＡＷ画像を取得する（ステップＳＴ３）。取得したＲＡＷ画像は、画像補正部４６に渡される。
次に、画像補正部４６が、画像取得部４３から渡されたＲＡＷ画像と、欠陥位置データ格納部４５から引き出した欠陥位置データとに基づき、欠陥画素値の補正を行う（ステップＳＴ４）。補正方法は、上述のとおりである。画像補正部４６は、補正したＲＡＷ画像を、現像処理部４７に渡す。
次に、現像処理部４７が渡されたＲＡＷ画像の現像処理を行い、現像された画像は、シェーディング処理部４８、カラーバランス補正部４９、ガンマ補正部５０、８ｂｉｔ化処理部５１、ディストーション補正部５２、スティッチング処理部５３へと渡される。そしてさらに、処理された画像は、タイル分割処理部５４、ＪＰＥＧ化処理部５５へと渡され、記憶部２７に一時保存される（ステップＳＴ５）。
ステップＳＴ３の本撮影から、ステップＳＴ５の本撮影により得られた画像の記憶部２７への保存までの処理は、本撮影の撮影対象が無くなるまで繰り返される（ステップＳＴ６のＮ）。
以上が、欠陥画素の検出と欠陥画素値の補正についての全体的な流れである。
［本技術の別の構成］
なお、本技術は以下のような構成も採ることができる。
（１）撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、前記制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第１の演算処理部と、前記本撮影によって取得した第２のＲＡＷ画像の輝度値を前記欠陥位置データを用いて補正する第２の演算処理部とを具備する情報処理装置。
（３）前記（２）に記載の情報処理装置であって、前記第２の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する情報処理装置。
（４）前記（２）または（３）に記載の情報処理装置であって、前記第１の演算処理部は、前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する情報処理装置。
（５）前記（２）から（４）のうちいずれか１つに記載の情報処理装置であって、前記第２の演算処理部は、グラフィックス・プロセッシング・ユニットである情報処理装置。
（６）画像取得部が、撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得し、制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する情報処理方法。
（７）撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部、および前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部としてコンピュータを機能させる情報処理プログラム。
［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
１０…蛍光顕微鏡
１１…ステージ
１２…光学系
１３…光源
１４…撮像素子
１５…光源駆動部
１６…ステージ駆動部
１７…カメラ制御部
２０…情報処理装置
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２４…操作入力部
２５…インターフェイス部
２６…表示部
２７…記憶部
２８…ネットワークインターフェイス部
２９…バス
３０…ＧＰＧＰＵ
４３…画像取得部
４４…欠陥位置データ生成部
４５…欠陥位置データ格納部
４６…画像補正部
４７…現像処理部
４８…シェーディング処理部
４９…カラーバランス補正部
５０…ガンマ補正部
５１…８ｂｉｔ化処理部
５２…ディストーション補正部
５３…スティッチング処理部
５４…タイル分割処理部
５５…ＪＰＥＧ化処理部
１００…画像取得装置

Claims (7)

  1. 撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部と、
    前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部と
    を具備する情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記制御部が、
    前記撮像部に予備撮影対象を予備撮像させることによって取得した第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第１の演算処理部と、
    前記本撮影によって取得した第２のＲＡＷ画像の輝度値を前記欠陥位置データを用いて補正する第２の演算処理部と
    を具備する情報処理装置。
  3. 請求項２に記載の情報処理装置であって、
    前記第２の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する
    情報処理装置。
  4. 請求項３に記載の情報処理装置であって、
    前記第１の演算処理部は、
    前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する
    情報処理装置。
  5. 請求項４に記載の情報処理装置であって、
    前記第２の演算処理部は、グラフィックス・プロセッシング・ユニットである
    情報処理装置。
  6. 画像取得部が、撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得し、
    制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する
    情報処理方法。
  7. 撮像素子を有する撮像部により撮像されたＲＡＷ画像を取得する画像取得部、および
    前記撮像部に予備撮影対象を予備撮像させることによって取得した前記ＲＡＷ画像を第１のＲＡＷ画像として、この第１のＲＡＷ画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第１のＲＡＷ画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記ＲＡＷ画像を第２のＲＡＷ画像として、この第２のＲＡＷ画像の輝度値を、前記欠陥位置データを用いて補正する制御部
    としてコンピュータを機能させる情報処理プログラム。
JP2012157242A 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム Pending JP2014022801A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012157242A JP2014022801A (ja) 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム
US13/910,533 US20140016005A1 (en) 2012-07-13 2013-06-05 Information processing apparatus, information processing method, and information processing program
CN201310280834.8A CN103546661A (zh) 2012-07-13 2013-07-05 信息处理设备、信息处理方法以及信息处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012157242A JP2014022801A (ja) 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2014022801A true JP2014022801A (ja) 2014-02-03

Family

ID=49913692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012157242A Pending JP2014022801A (ja) 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (3)

Country Link
US (1) US20140016005A1 (ja)
JP (1) JP2014022801A (ja)
CN (1) CN103546661A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6395823B2 (ja) * 2014-05-30 2018-09-26 株式会社日立国際電気 監視システムおよびカメラ装置
CN105335298B (zh) * 2014-08-13 2018-10-09 Tcl集团股份有限公司 一种显示面板的亮度补偿数值的存储方法及装置
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
FR3038194B1 (fr) * 2015-06-26 2017-08-11 Ulis Correction de pixels parasites dans un capteur d'image infrarouge
FR3038195B1 (fr) 2015-06-26 2018-08-31 Ulis Detection de pixels parasites dans un capteur d'image infrarouge
TWI543616B (zh) * 2015-07-21 2016-07-21 原相科技股份有限公司 在數位域降低影像感測器之固定圖案雜訊的方法與裝置
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置
US10180745B2 (en) * 2015-12-25 2019-01-15 Shanghai Avic Optoelectronics Co., Ltd. Display panel and display device with narrow bezel
KR102555400B1 (ko) * 2016-09-06 2023-07-14 삼성디스플레이 주식회사 표시 장치 및 이의 영상 표시 방법
JP2018126389A (ja) * 2017-02-09 2018-08-16 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US10714018B2 (en) * 2017-05-17 2020-07-14 Ignis Innovation Inc. System and method for loading image correction data for displays
US11302439B2 (en) * 2017-06-27 2022-04-12 Sony Corporation Medical image processing apparatus, medical image processing method, and computing device
JP6955147B2 (ja) * 2017-07-13 2021-10-27 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
TWI753410B (zh) * 2020-04-24 2022-01-21 晶相光電股份有限公司 影像感測系統以及缺陷感光元件偵測以及修正方法
US11823417B2 (en) * 2020-07-16 2023-11-21 Samsung Electronics Co., Ltd. Camera module, image processing system and image compression method
US11509845B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. Multiple frame defect pixel detection and correction
US20230342897A1 (en) * 2022-04-26 2023-10-26 Communications Test Design, Inc. Method to detect camera blemishes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
JP2004023331A (ja) * 2002-06-14 2004-01-22 Sanyo Electric Co Ltd ディジタルカメラ
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
JP2005354278A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 撮像手段の撮像した画像の画像データを処理する画像データ処理
JP5655355B2 (ja) * 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
JP5656561B2 (ja) * 2010-10-28 2015-01-21 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP5868039B2 (ja) * 2011-06-30 2016-02-24 キヤノン株式会社 撮像装置、画像合成方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
US20140016005A1 (en) 2014-01-16
CN103546661A (zh) 2014-01-29

Similar Documents

Publication Publication Date Title
JP2014022801A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
TW201818716A (zh) 圖像傳感器及輸出方法、相位對焦方法、成像裝置和行動終端
US8854511B2 (en) Apparatus and method for image processing and storage medium, and image pickup apparatus
JP2013223043A (ja) 受光装置および伝送システム
JP2008227569A (ja) 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム
JP2012019397A (ja) 画像処理装置、画像処理方法および画像処理プログラム
TWI270740B (en) Image pick-up device, white balance control method
JP2009294170A (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体
JP5225137B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4143660B2 (ja) 画像解析方法、画像解析装置、検査装置、画像解析プログラムおよびコンピュータ読み取り可能な記録媒体
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
CN108063933B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
JP2007274504A (ja) デジタルカメラ
JP2003199119A (ja) ディジタルｃｆａ画像処理方法
CN105704363B (zh) 图像数据处理方法和装置
CN106817542B (zh) 微透镜阵列的成像方法与成像装置
JP4774857B2 (ja) 画像処理装置及びプログラム
JP2008071014A (ja) 画像処理プログラム、画像処理装置および電子カメラ
JP5792046B2 (ja) 画像処理装置
JP2005072694A (ja) 撮像装置
JP2005210164A (ja) 欠陥画素補正装置
JP2011041039A (ja) 撮像装置およびプログラム
JP2007102728A (ja) 画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法
WO2013168348A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム
JP4347181B2 (ja) 固体撮像装置