JP2016521022A - 総合的な固定パターンノイズ除去 - Google Patents

総合的な固定パターンノイズ除去 Download PDF

Info

Publication number
JP2016521022A
JP2016521022A JP2016503293A JP2016503293A JP2016521022A JP 2016521022 A JP2016521022 A JP 2016521022A JP 2016503293 A JP2016503293 A JP 2016503293A JP 2016503293 A JP2016503293 A JP 2016503293A JP 2016521022 A JP2016521022 A JP 2016521022A
Authority
JP
Japan
Prior art keywords
dark
emitter
frame
data
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016503293A
Other languages
English (en)
Other versions
JP6456912B2 (ja
Inventor
ブランカート・ローラン
リチャードソン・ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olive Medical Corp
Original Assignee
Olive Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olive Medical Corp filed Critical Olive Medical Corp
Publication of JP2016521022A publication Critical patent/JP2016521022A/ja
Application granted granted Critical
Publication of JP6456912B2 publication Critical patent/JP6456912B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本開示は、除去された固定パターンノイズを有する光不足環境において画像を生成するための方法、システム、及びコンピュータプログラム製品に及ぶ。

Description

技術の進歩は、医療用途のための撮像能力の進歩をもたらした。最も有益な進歩のうちのいくつかを享受した1つの領域は、内視鏡を構成する構成要素の進歩による、内視鏡外科手技の領域である。
本開示は、概して、画像品質を高める、弱光下でデータをより自然に見えるようにする、及び色精度を改善させるための、電磁センサーによって生成されたビデオストリームにおける固定パターンノイズの低減に関する。本開示の特性及び利点は、以下の説明において示され、一部はその説明から明らかになり、又は過度な実験を伴わない本開示の実践によって知ることができる。本開示の特性及び利点は、添付の[特許請求の範囲]で具体的に指摘される器具及び組み合わせによって、理解し、得ることができる。
本開示の非限定的及び非排他的な実装は、以下の図面を参照して記載され、同様の参照数値は、別途指示がない限り、種々の表示図を通して同様の部分を指す。本開示の利点は、以下の説明及び添付図面を考慮して、より良く理解されるだろう。
先行技術の画素配列を例示する。 本開示の原理及び教示に従って画素配列を例示する。 本開示の原理及び教示に従う、イメージセンサー読出動作のグラフィック表現の一例である。 本開示の原理及び教示に従う、イメージセンサー読出動作のグラフィック表現の一例である。 本開示の原理及び教示に従う、画像強調のグラフィック表現である。 本開示の原理及び教示に従う、画像強調のグラフィック表現である。 本開示の原理及び教示に従って、画像強調のフローチャートを例示する。 本開示の原理及び教示に従って、ハードウェアを支援及び有効にする概略図を例示する。 それぞれ、本開示の教示及び原理に従って3次元画像を生成するための複数の画素配列を有するモノリシックセンサーの実装の斜視図及び側面図を例示する。 それぞれ、本開示の教示及び原理に従って3次元画像を生成するための複数の画素配列を有するモノリシックセンサーの実装の斜視図及び側面図を例示する。 それぞれ、複数の基板上に組み込まれた撮像センサーの実装の斜視図及び側面図を例示し、画素配列を形成する複数の画素列は、第1の基板上に位置し、複数の回路列は、第2の基板上に位置し、画素の1列と回路網のその関連する又は対応する回路網の列との間の電気接続及び通信を示す。 それぞれ、複数の基板上に組み込まれた撮像センサーの実装の斜視図及び側面図を例示し、画素配列を形成する複数の画素列は、第1の基板上に位置し、複数の回路列は、第2の基板上に位置し、画素の1列と回路網のその関連する又は対応する回路網の列との間の電気接続及び通信を示す。 それぞれ、3次元画像を生成するための複数の画素配列を有する撮像センサーの実装の斜視図及び側面図を例示し、複数の画素配列及びそのイメージセンサーは、複数の基板上に組み込まれる。 それぞれ、3次元画像を生成するための複数の画素配列を有する撮像センサーの実装の斜視図及び側面図を例示し、複数の画素配列及びそのイメージセンサーは、複数の基板上に組み込まれる。
本開示は、主に医療用途に好適であり得るデジタル撮像のための方法、システム、及びコンピュータベースの製品に及ぶ。本開示の以下の説明では、本明細書の一部を形成し、その中で本開示が実践され得る特定の実装の実例として示される添付図面に言及がなされる。本開示の範囲を逸脱することなく、他の実装が利用されてもよく、構造変化が行われてもよいことが理解される。
除去された固定パターンノイズを有する光不足環境において画像を生成するための構造、システム、及び方法を開示及び記載する前に、本明細書で開示される特定の構造、構成、処理工程、及び材料がいくらか異なり得るように、本開示は、そのような構造、構成、処理工程、及び材料に限定されないことが理解されよう。また、本開示の範囲は添付の「特許請求の範囲」及びその均等物によってのみ制限されるため、本明細書で用いられる専門用語は特定の実施形態のみを記載する目的で使用され、制限であるとは意図されないことも理解されよう。
CMOSイメージセンサーは、複数の雑音源を有し、その大きさ及び出現は、物理的条件の範囲に左右される。コヒーレント成分(例えば、光子ショット雑音又はソースフォロア1/f読み出し雑音)を含まない純粋なポアソン又はガウス時間雑音は、ビデオストリーム内で見られ得る雑音と同じくらい自然に見える。他の全ての知覚可能な雑音形式は、同じ振幅に対してはるかに大きい程度まで画像品質を低下させるだろう。空間雑音(FPN)は、特に悪質であり、CMOSセンサーは、画素FPN及び列FPNという少なくとも2つの源を本質的に有する。画素FPNはほぼ、画素から画素へのフォトダイオード漏洩電流(ダーク信号)の変化(DSNU)によるものである。この源は、ジャンクション温度(T)に指数関数的に依存し、露光時間に直線的に依存する。列FPNは、読出アーキテクチャの結果であり、同じ列中からの画素を一般的なアナログ読出要素を通して交信する。
イメージセンサーは、通常、オフセット較正のための特殊目的用光学的ブラインド部分を組み込み、オプティカルブラック(OB)行110a(アレイの頂部及び/又は底部)並びに列120a(アレイの右部及び/又は左部)と称されることもある。画素配列130a中の透明な画素、ガードリング140a、頂部及び底部OB行110a並びに左部及び右部OB列120aを有する、先行技術のイメージセンサー100aの一例であるレイアウトが、図1Aに示される。OB行110aは通常、OBクランプアルゴリズムのために、アナログ画素ブラックレベルを監視するために使用されることが理解されるだろう。OB行110aは、列FPN(CFPN)を除去するためのデジタルアルゴリズムによっても使用され得る。一方、OB列120aは、通常、任意の回線雑音を打ち消すための手段として回線オフセットを評価する目的を有する。回線雑音は一時的であるため、オフセットは、フレーム毎の各回線に対して新たに計算され得る。
本開示の主題の記載及び特許請求において、以下の専門用語は、以下に示される定義に従って使用されるだろう。
本明細書及び添付の「特許請求の範囲」において使用される場合、文脈が別途明らかに指示しない限り、単数形「a」、「an」、及び「the」は複数の指示物を含むことに留意しなければならない。
本明細書で使用される場合、「含むこと(comprising)」、「含むこと(including)」、「含有すること」、「によって特徴付けられる」という用語及びそれらの文法的同等物は、追加の、列挙されない要素又は方法工程を除外しない包括的な、又は制約のない用語である。
本明細書で使用される場合、「からなる」という語句及びその文法的同等物は、「特許請求の範囲」で特定されない任意の要素又は工程を除外する。
本明細書で使用される場合、「から本質的になる」という語句及びそれらの文法的同等物は、特定される材料又は工程、及び特許請求される開示の基本の及び新しい特徴又は複数の特徴に物質的に影響しないものに特許請求の範囲を制限する。
本明細書で使用される場合、「近位」という用語は、原点に最も近い部分の概念を広範に指すものである。
本明細書で使用される場合、「遠位」という用語は、近位の反対、ゆえに、文脈により、原点からより遠い部分又は最も遠い部分の概念を一般的に指すものである。
本明細書で使用される場合、色センサー又はマルチスペクトルセンサーは、入ってくる電磁放射線をその別々の構成要素内にフィルターをかけるように、その上にカラーフィルターアレイ(CFA)を有することが知られているセンサーである。電磁スペクトルの視界では、そのようなCFAは、光の緑、赤、及び青スペクトル構成要素に分離するために、その上にBayerパターン又は修正を組み込まれ得る。
図1Bを参照して、空間を制約された環境においては、光感知要素の領域を最大化し、そのようにして画像品質を保つために、センサー100の非感受性部分を可能な限り低減させることが望まれ得る。CMOSセンサー内の非光感知要素の領域を低減させるために、センサーのレベルで、及びカメラシステム全体として、種々の尺度が用いられ得る。CMOSセンサー中の非光感知要素の領域を低減させる1つの実装は、本明細書に記載されるようにOB行の排除であってもよく、それはOBベースの列固定パターンノイズ(CFPN)除去方法を本質的に排除する。CFPN除去は、透明な画素130を読み出す前に列単位のランダムオフセットを補正するため、典型的に1列当たり10〜100画素のブラック画素データを必要とする。したがって、OB行が低減されるか、又は排除される場合、代替となるFPN補正アルゴリズムが必要とされる。
本開示は、ダークデータのフレームを取得することによって、CFPNを含む全てのFPN形式が除去され得、それにより、実質的に及び恐らく完全に、専用のCFPN補正及びそれに関連するOB行の必要性を無くすシステム及び方法を記載することが理解されるだろう。図1Bは、OB行が存在しない画素配列130の一例を例示する。メモリのオフセンサーフレームは、各画素の較正データの保存、及びその後の画素レベルでのFPNの全ての源の除去のために使用され得る。CFPNアルゴリズムに必要とされるものより多くのメモリがブラックフレーム較正に必要とされ得るが、FPNの全ての源(例えば、列FPN、画素FPN、及び行FPN)が、除去され得るか、又は大幅に軽減され得るという利点があり得る。
図2を参照すると、ローリング読出モードで、又はセンサー読出200の間に使用されるセンサーの動作可能なサイクルが例示される。フレーム読出は、垂直線210で開始され得、それによって表され得る。読出周期は、対角線又は斜線202で表される。センサーは行単位で読み出されてもよく、下向きの傾斜縁の頂部はセンサー先頭行212であり、下向きの傾斜縁の底部はセンサー底部の最下行214である。最後の行の読出と次の読出サイクルとの間の時間は、ブランキング時間又は周期216と称され得る。
センサー画素行のうちのいくつかは、遮光(例えば、金属コーティング又は任意の他の実質的に黒の別の種類の材料の層)で覆われ得ることに留意されたい。これらの覆われた画素行は、オプティカルブラック行218及び220と称され得る。オプティカルブラック列218及び220は、補正アルゴリズムのための入力として使用されてもよい。図1Bに例示されるものと同様に、これらのオプティカルブラック列218及び220は、画素配列の両側に位置し得る。図2はまた、電磁放射線、例えば、画素に露出され、それにより、画素によって統合されるか、又は蓄積される光の量を制御する処理も例示する。光子は、電磁放射線の素粒子であることが理解されるだろう。光子は、各画素によって統合、吸収、又は蓄積され、電荷又は電流に変換される。電子シャッター又は巻き上げシャッター(破線222で示される)は、画素を再設定することによって、積分時間を開始するために使用することができる。次いで、光は、次の読出段階まで統合するだろう。電子シャッター222の位置は、光の所与の量に対する画素飽和を制御するために、2つの読出サイクル202の間に移動されてもよい。この技法は、2つの異なる回線の間で一定の積分時間を可能にするが、先頭行から最下行に移動するときに遅延を生じるということに留意されたい。図2に例示されるように、センサーは、各パルス発生された色(例えば、赤、緑、青)に対するデータを受信するために、何度も循環されてもよい。各サイクルは、時間調整され得る。ある実施形態では、サイクルは、16.67msの間隔内で動作するように時間調整され得る。別の実施形態では、サイクルは、8.3msの間隔内で動作するように時間調整され得る。他の時間間隔が、本開示で企図され、且つ本開示の範囲内であると意図されることが理解されるだろう。
暗電流温度依存は、本明細書に記載される移動平均較正を使用して克服することができる。巻き上げシャッター動作では、画素積分時間は、光環境変化(自動露出アルゴリズムによって制御される)に適合するために、フレーム毎に変化し得る。図2は、フレーム内で調整され、それにより積分時間を制御する電子シャッターを例示する。較正は所与の積分時間で行われ得るため、ダークフレーム補正アルゴリズムは、有効性を失う可能性があり、異なる積分時間でフレームを補正しようとするときに不正確になる。各画素オフセットは、積分時間への線形従属性を有することが理解されるだろう。この課題を克服する本開示の1つの実装は、画素毎に、異なる積分時間で収集された第2の較正点を導入することである(メモリの第2のフレームを必要とし得る)。所与の積分時間での画素較正データは、次いで、線形補間を使用して計算され得る。しかしながら、この技法は、補間誤差を導入することがあり、バックエンドデータ処理を著しく複雑にし得る。
光不足環境における光パルス発生では、フレームからフレームの画素積分時間は、実質的に一定であり得る。このシナリオは図3に例示され、光の強度が調整され、光パルス幅又はレベルを変化させる。したがって、ただ1つの積分時間較正が必要とされ得、補間は必要とされなくてもよい。後述されるように、単純指数平滑法(SES)が使用されてもよい。そのような場合、較正ハードウェアは、メモリの1つのフレームだけを含み得、各メモリノードは1つの値だけを含有する。
ダークフレーム減算処理の目的は、各画素の平均オフセットを調整し、そのようにして、全てのFPN形式を抑制することである。画素オフセットは温度依存性を有するため、有利なシナリオは、例えば、定期的な間隔で単純ダークフレームをとり、保存された補正データを更新することによる、移動平均処理を有することであり得る。
結果として得られるこの補正の品質は、サンプリング統計に左右され得る。結果として得られる有効性を予測するために、標的性能基準も理解されなければならない。
画素オフセット推定の不確実性は、サンプルの数の平方根で除された画素の時間雑音と等しい。この不確実性は、補正後の画素FPNに直接置き換えられ、最初のFPNとは関係ない。画素FPN認知の研究において、1秒当たり60フレームで、画素FPNは、知覚できない画素時間雑音の1/4未満であるはずであることが確立されている。時間雑音が最も少なくなるため、暗闇である場合が最も困難である。認知基準及び性能の両方が画素時間雑音にのみ左右されるため、必要とされる統計の推定は、あらゆる物理的変数とは関係ない。
Figure 2016521022
式中、σは、画素時間雑音である。したがって、平均を計算するために使用されるダークフレームが少なくとも16個存在する限り、フレーム補正処理は有効であるはずである。
少なくとも16個のフレームバッファを必要とし得る直近のフレームの固定サンプルをただ平均化するのではなく、より便利で効率的な方法が、単純指数平滑法(SES)によって与えられる。この場合、単一のフレームバッファは、サンプルダークフレームが使用可能になる各時点で1つずつ調整され得る。暗闇で採取された各画素サンプルは、(2−1)/2で乗じられたバッファ内容に足される前に、適切な二進数(2)で除される。
wの高い値は、安定したシナリオにおいて経時的により優れた統計の精密さをもたらす。wの低い値は、精密さ/安定性を犠牲にして、補正を急速な変化に対してより反応性にするだろう。小さいw及び大きいwを有するSES画素オフセット推定を例示する図4を参照されたい。理想的には、wの値は、制御レジスタを介して調節可能であるだろう。それは、例えば、開始時、Tが最も変化するとき、又はある特定の実施形態では、露光時間の変化の後(該当する場合)、補正をより反応性するために、同じく自動的に調整されてもよい。例えば、ゲイン又は露光時間に大きな変化が生じる場合、それは減少してもよく、次いで、フレームからフレームへ1つずつそのベースラインに再保存される。増加自体は、ゲイン変化後のSES指数の変調を例示する図5に示されるような、直線的、例えば、又は大まかな指数関数的様式で変化し得る。
SES捕獲;ダークフレーム上のみ:
Figure 2016521022
式中、bi,jは、ダークフレーム番号jに続く画素iのダークフレーム補正バッファ内容であり、di,jは、ダークフレームjから採取された画素iの未処理のダークデータである。wは、調節可能な整数である。
適用;非ダークフレーム上のみ:
x’=x−b+B
式中、xは、任意の非ダークフレーム内の画素iに対する未処理のデータ入力であり、bは、現在のダークフレームバッファ内容である。x’は、出力であり、Bは、ブラッククランプ標的レベルである。
図6のフローチャートは、システム全体、処理、及び方法600を描写する。610において、システム及び方法600は、最初の画素をサンプリングすることを含み、フレームバッファを0にリセットすることができる。システム及び方法600は、620において、サンプルがダークフレームであるかどうかを決定することができる。620において、それがダークフレームであると決定される場合、630において、この画素に対するバッファが0であるかどうかが決定される。630において、バッファが0であると決定される場合、640において、画素値が、この画素に対するバッファ位置に直接書き込まれ、次の画素が650においてサンプリングされる。630において、バッファが0ではないと決定される場合、635において、この画素に対するバッファ位置を読み出し、(2−1)/2で乗算する。結果を新たな画素サンプルに加え、2で除算し、次いで、バッファに書き戻し、次の画素が650においてサンプリングされる。
反対に、620において、サンプルがダークフレームではないと決定される場合、625において、この画素に対するバッファを読み出し、データからの内容を減算する。625での方法はまた、必要に応じて、一定のブラックレベルを加えることを含んでもよく、次の画素が650においてサンプリングされる。
本開示の実装は、より詳細が以下に考察されるように、例えば、1つ又は2つ以上のプロセッサ及びシステムメモリ等のコンピュータハードウェアを含む、特殊目的用又は汎用コンピュータを含むか又はそれを利用してもよい。また、本開示の範囲内の実装は、コンピュータ実行可能命令及び/若しくはデータ構造を保有する又は保存するための物理的な及び他のコンピュータ可読媒体も含み得る。そのようなコンピュータ可読媒体は、汎用又は特殊目的用コンピュータシステムによってアクセスすることができる任意の利用可能な媒体であり得る。コンピュータ実行可能命令を保存するコンピュータ可読媒体は、コンピュータ記憶媒体(装置)である。コンピュータ実行可能命令を保有するコンピュータ可読媒体は、伝送媒体である。このため、例として、制限としてではなく、本開示の実装は、少なくとも2つのはっきりと異なる種類のコンピュータ可読媒体:コンピュータ記憶媒体(装置)及び伝送媒体を含み得る。
コンピュータ記憶媒体(装置)には、RAM、ROM、EEPROM、CD−ROM、ソリッドステートドライブ(「SSD」)(例えば、RAMベースの)、フラッシュメモリ、相変化メモリ(「PCM」)、他の型のメモリ、他の光学ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶装置、又はコンピュータ実行可能命令若しくはデータ構造の形態で所望のプログラムコード手段を保存するために使用され、汎用若しくは特殊目的用コンピュータによってアクセスされ得る任意の他の媒体が挙げられる。
「ネットワーク」は、コンピュータシステム及び/又はモジュール及び/又は他の電子装置の間の電子データの移送を可能にする1つ又は2つ以上のデータリンクと定義される。実装では、センサー及びカメラ制御ユニットは、互いに、及びそれらが接続されるネットワークを介して接続される他の構成要素と通信するために、ネットワーク接続され得る。情報がネットワーク又は別の通信接続(配線接続された、無線、又は配線接続された若しくは無線の組み合わせのいずれか)を介してコンピュータに伝送又は提供される場合、コンピュータは、伝送媒体として接続を適切に見る。伝送媒体は、コンピュータ実行可能命令又はデータ構造の形態で所望のプログラムコード手段を保有するために使用することができ、汎用又は特殊目的用コンピュータによってアクセスされ得るネットワーク及び/又はデータリンクを含み得る。上記の組み合わせは、コンピュータ可読媒体の範囲内に含まれるべきでもある。
図7に見ることができるように、種々のコンピュータシステム要素である、コンピュータ実行可能命令又はデータ構造の形態のプログラムコード手段は、伝送媒体からコンピュータ記憶媒体(装置)に(あるいはその逆)自動的に伝送され得る。例えば、ネットワーク又はデータリンクを介して受信されるコンピュータ実行可能命令又はデータ構造は、ネットワークインターフェイスモジュール(例えば、「NIC」)内のRAMにバッファされてもよく、次いで、最終的に、コンピュータシステムRAMに、及び/又はコンピュータシステムでより揮発性の低いコンピュータ記憶媒体(装置)に伝送され得る。RAMはまた、ソリッドステートドライブ(SSD又はFusionIO等のPCIxベースのリアルタイムメモリ階層型記憶装置)も含み得る。このため、コンピュータ記憶媒体(装置)は、同様に(又はむしろ主として)伝送媒体も利用するコンピュータシステム構成要素に含まれてもよいことが理解されるべきである。
コンピュータ実行可能命令は、例えば、プロセッサで実行されるとき、汎用コンピュータ、特殊目的用コンピュータ、又は特殊目的用処理装置に、ある特定の機能又は機能の集団を実行させる命令及びデータを含む。コンピュータ実行可能命令は、例えば、アセンブリ言語又はソースコード等のバイナリ、中間フォーマット命令であってもよい。本主題は、構造特性及び/又は方法論的行為に特有の言語で記載されたが、添付の「特許請求の範囲」において定義される主題が、上述の特性又は行為に必ずしも限定されるものではないことが理解されるべきである。むしろ、記載の特性及び行為は、「特許請求の範囲」を実装する例示的形態として開示される。
当業者であれば、本開示は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、ハンドヘルド装置、ハンドピース、マルチプロセッサシステム、マイクロプロセッサベースの若しくはプログラム可能な家庭用電化製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、携帯電話、PDA、タブレット、ポケットベル、ルータ、スイッチ、種々の記憶装置等を含む、多くの型のコンピュータシステム構成を有するネットワークコンピューティング環境で実践され得ることを理解するだろう。前述のコンピューティング装置のうちのいずれかは、ブリック・アンド・モルタル型ロケーションによって提供されるか、又はその中に位置し得ることに留意されたい。本開示はまた、(配線接続されたデータリンク、無線データリンク、又は配線接続及び無線データリンクの組み合わせのいずれかによって)ネットワークを通して連結されるローカル及び遠隔コンピュータシステムの両方がタスクを実行する分散型システム環境で実践され得る。分散型システム環境では、プログラムモジュールは、ローカル及び遠隔メモリ記憶装置の両方に位置してもよい。
更に、適切な場合、本明細書に記載される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの1つ又は2つ以上において実行され得る。例えば、1つ又は2つ以上の特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイは、本明細書に記載されるシステム及び手順のうちの1つ又は2つ以上を行うように、プログラムされ得る。ある特定の用語は、以下の説明及び「特許請求の範囲」全体を通して、特定のシステム構成要素を指すために使用される。当業者であれば理解するように、構成要素は、異なる名称で称され得る。本明細書は、名称が異なるが、機能が異ならない構成要素を区別することは意図しない。
図7は、例示的コンピューティング装置700を例示するブロック図である。コンピューティング装置700は、本明細書で考察されるもの等の種々の手順を実行するために使用することができる。コンピューティング装置700は、サーバー、クライアント、又は任意の他のコンピューティング実体として機能することができる。コンピューティング装置は、本明細書で考察される種々の監視機能を実行することができ、本明細書に記載されるアプリケーションプログラム等の1つ又は2つ以上のアプリケーションプログラムを実行することができる。コンピューティング装置700は、デスクトップコンピュータ、ノートブックコンピュータ、サーバーコンピュータ、ハンドヘルドコンピュータ、カメラ制御ユニット、タブレットコンピュータ等の多種多様のコンピューティング装置のうちのいずれかであり得る。
コンピューティング装置700は、1つ又は2つ以上のプロセッサ(複数可)702、1つ又は2つ以上のメモリ装置(複数可)704、1つ又は2つ以上のインターフェイス(複数可)706、1つ又は2つ以上の大容量記憶装置(複数可)708、1つ又は2つ以上の入力/出力(I/O)装置(複数可)710、及びディスプレイ装置730を含み、それら全ては、バス712に連結される。プロセッサ(複数可)702は、メモリ装置(複数可)704及び/又は大容量記憶装置(複数可)708に保存された命令を実行する1つ又は2つ以上のプロセッサ又はコントローラを含む。プロセッサ(複数可)702はまた、キャッシュメモリ等の種々の型のコンピュータ可読媒体も含み得る。
メモリ装置(複数可)704は、揮発性メモリ(例えば、ランダムアクセスメモリ(RAM)714)及び/又は不揮発性メモリ(例えば、読み取り専用メモリ(ROM)716)等の種々のコンピュータ可読媒体を含む。メモリ装置(複数可)704はまた、Flashメモリ等の書換可能ROMも含み得る。
大容量記憶装置(複数可)708は、磁気テープ、磁気ディスク、光学ディスク、ソリッドステートメモリ(例えば、Flashメモリ)等の種々のコンピュータ可読媒体を含む。図7に示されるように、特定の大容量記憶装置は、ハードディスクドライブ724である。種々のドライブは、種々のコンピュータ可読媒体からの読み出し及び/又はそこへの書き込みを可能にするように、大容量記憶装置(複数可)708に含まれてもよい。大容量記憶装置(複数可)708は、取り外し可能な媒体726及び/又は取り外し不可能な媒体を含む。
I/O装置(複数可)710は、データ及び/又は他の情報がコンピューティング装置700に入力される、又はそこから検索されることを可能にする種々の装置を含む。例示的I/O装置(複数可)710は、デジタル撮像装置、電磁センサー及びエミッター、カーソル制御装置、キーボード、キーパッド、マイク、モニター又は他のディスプレイ装置、スピーカー、プリンター、ネットワークインターフェイスカード、モデム、レンズ、CCD又は他の画像キャプチャー装置等を含む。
ディスプレイ装置730は、情報を1人又は2人以上のコンピューティング装置700のユーザに表示することができる任意の型の装置を含む。ディスプレイ装置730の例には、モニター、ディスプレイ端末、ビデオ投影装置等が挙げられる。
インターフェイス(複数可)706は、コンピューティング装置700が他のシステム、装置、又はコンピューティング環境と相互作用することを可能にする種々のインターフェイスを含む。例示的インターフェイス(複数可)706は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、無線ネットワーク、及びインターネットへのインターフェイス等の任意の数の異なるネットワークインターフェイス720を含んでもよい。他のインターフェイス(複数可)は、ユーザーインターフェイス718及び周辺装置インターフェイス722を含む。インターフェイス(複数可)706はまた、1つ又は2つ以上のユーザーインターフェイス要素718も含み得る。インターフェイス(複数可)706はまた、プリンター、ポインティング装置(マウス、トラックパッド等)、キーボード等に対するインターフェイス等の1つ又は2つ以上の周辺インターフェイスも含み得る。
バス712は、プロセッサ(複数可)702、メモリ装置(複数可)704、インターフェイス(複数可)706、大容量記憶装置(複数可)708、及びI/O装置(複数可)710が、互いに、並びにバス712に連結される他の装置又は構成要素と通信することを可能にする。バス712は、システムバス、PCIバス、IEEE 1394バス、USBバス等のいくつかの型のバス構造のうちの1つ又は2つ以上を表す。
プログラム及び他の実行可能プログラム構成要素が、コンピューティング装置700の異なる記憶構成要素において種々の時点で存在し得、プロセッサ(複数可)702によって実行されることが理解されるが、例示目的のため、そのようなプログラム及び構成要素は、離散ブロックとして本明細書に示される。あるいは、本明細書に記載されるシステム及び手順は、ハードウェア、又はハードウェア、ソフトウェア、及び/又はファームウェアの組み合わせにおいて実装され得る。例えば、1つ又は2つ以上の特定用途向け集積回路(ASIC)は、本明細書に記載されるシステム及び手順のうちの1つ又は2つ以上を行うようにプログラムされ得る。
本開示は、本開示の範囲から逸脱することなく、CMOSイメージセンサー又はCCDイメージセンサーのいずれであっても、任意のイメージセンサーと共に使用され得ることが理解されるだろう。更に、イメージセンサーは、本開示の範囲から逸脱することなく、内視鏡の先端、撮像装置若しくはカメラのハンドピース、制御ユニット、又はシステム内の任意の他の位置を含むが、これらに限定されない、システム全体内のあらゆる位置に位置し得る。
本開示によって利用され得るイメージセンサーの実装には、以下のものが含まれるが、これらに限定されず、これらは、本開示によって利用され得るセンサーの種々の型の単なる例である。
ここで、図8A及び8Bを参照すると、図は、それぞれ、本開示の教示及び原理に従って3次元画像を生成するための複数の画素配列を有するモノリシックセンサー800の実装の斜視図及び側面図を例示する。そのような実装は、3次元画像キャプチャーに対して望ましい場合があり、2つの画素配列802及び804は、使用中、相殺され得る。別の実装では、第1の画素配列802及び第2の画素配列804は、所定の範囲の電磁放射線の波長の受信に割り当てられてもよく、この場合、第1の画素配列802は、第2の画素配列804とは異なる範囲の電磁放射線の波長に割り当てられる。
図9A及び9Bは、それぞれ、複数の基板上に組み込まれた撮像センサー900の実装の斜視図及び側面図を例示する。例示されるように、画素配列を形成する複数の画素列904は、第1の基板902上に位置し、複数の回路列908は、第2の基板906上に位置する。画素の1列と、回路網のその関連する又は対応する列との間の電気接続及び通信も図に例示される。1つの実装では、別様では、単一のモノリシック基板/チップ上のその画素配列及び支援回路網を用いて製造され得るイメージセンサーは、その支援回路網の全て又は大半から分離した画素配列を有し得る。本開示は、3次元積層技術を使用して一緒に積層されるだろう少なくとも2つの基板/チップを使用することができる。2つのうちの第1の基板/チップ902は、画像CMOS処理を使用して処理され得る。第1の基板/チップ902は、画素配列のみ、又は制限回路によって囲まれた画素配列のいずれかで構成され得る。第2又は後続の基板/チップ906は、任意の処理を使用して処理され得、画像CMOS処理からのものでなくてもよい。第2の基板/チップ906は、これらに限定されないが、様々な及びいくつかの機能を基板/チップ上の極めて限られた空間若しくは領域に統合するための高密度デジタル処理、又は例えば、緻密なアナログ機能を統合するための混合モード若しくはアナログ処理、又は、無線能力を実装するためのRF処理、又はMEMS装置を統合するためのMEMS(Micro−Electro−Mechanical Systems)であり得る。画像CMOS基板/チップ902は、任意の3次元技法を使用して、第2又は後続の基板/チップ906と積層され得る。第2の基板/チップ906は、別様では、周辺回路として第1の画像CMOSチップ902(モノリシック基板/チップ上に実装される場合)に実装され得、ゆえに、画素配列の大きさを一定に保持したまま、全システム領域を上昇させ、最大限可能な範囲に最適化した、回路網のほとんど、又はその大半を支援し得る。2つの基板/チップ間の電気接続は、ワイヤボンド、バンプ、及び/又はTSV(Through Silicon Via)であり得る相互連結903及び905によって完了され得る。
図10A及び10Bは、それぞれ、3次元画像を生成するための複数の画素配列を有する撮像センサー1000の実装の斜視図及び側面図を例示する。3次元イメージセンサーは、複数の基板上に組み込まれてもよく、複数の画素配列及び他の関連回路網を含んでもよく、第1の画素配列を形成する複数の画素列1004a及び第2の画素配列を形成する複数の画素列1004bは、それぞれ、個別の基板1002a及び1002b上に位置し、複数の回路列1008a及び1008bは、個別の基板1006上に位置する。また、画素の列と、回路網の関連する又は対応する列との間の電気接続及び通信も例示される。
本開示の教示及び原理は、本開示の範囲から逸脱することなく、再利用可能な装置プラットフォーム、限定用途装置プラットフォーム、再使用(re-posable)用途装置プラットフォーム、又は単一用途/使い捨て装置プラットフォームにおいて使用され得ることが理解されるだろう。再使用可能な装置プラットフォームでは、エンドユーザーが、装置の洗浄及び滅菌の責任を負うことが理解されるだろう。限定用途装置プラットフォームでは、装置は、操作不能になる前に、いくつかの特定の回数使用され得る。典型的な新しい装置は、滅菌で届けられ、更なる使用は、更なる使用の前に、エンドユーザーが洗浄及び滅菌する必要がある。再使用(re-posable)用途装置プラットフォームでは、第三者が、新たなユニットよりも低い費用で更なる用途のために、装置、単一用途装置を再処理することができる(例えば、洗浄、梱包、及び滅菌)。単一用途/使い捨て装置プラットフォームでは、装置は、手術室に滅菌で提供され、処分される前に一度だけ使用される。
加えて、本開示の教示及び原理は、赤外線(IR)、紫外線(UV)、及びX線等の可視並びに非可視スペクトルを含む、電磁エネルギーの任意及び全ての波長を含み得る。
本明細書で開示される種々の特性は、当該技術分野に著しい利点及び発展を提供することが理解されるだろう。以下の実施形態は、それらの特性のうちのいくつかの例である。
前述の「発明を実施するための形態」では、本開示の種々の特性は、本開示の合理化の目的のために単一の実施形態に一緒にグループ化される。この開示の方法は、特許請求される開示が、各請求項で明白に列挙されている特性よりも多くの特性を必要とするという意図を反映するものとして解釈されるものではない。むしろ、発明の態様は、単一の前述の開示された実施形態の全ての特性よりも少なくある。
前述の配置は、本開示の原理の適用の例に過ぎないことを理解されたい。多数の修正及び代替の配置が、本開示の趣旨及び範囲から逸脱することなく、当業者によって考案されてもよく、添付の「特許請求の範囲」は、そのような修正及び配置を包含することが意図される。
このため、本開示は、図中に示され、入念及び詳細に上に記載されたが、大きさ、材料、形状、形態、動作の機能及び方法、アセンブリ、並びに用途の変更が挙げられるが、これらに限定されない多数の修正が、本明細書に示される原理及び概念から逸脱することなく行われてもよいことが、当業者には明らかであるだろう。
更に、適切な場合、本明細書に記載される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの1つ又は2つ以上において実行され得る。例えば、1つ又は2つ以上の特定用途向け集積回路(ASIC)は、本明細書に記載されるシステム及び手順のうちの1つ又は2つ以上を行うようにプログラムされ得る。ある特定の用語は、以下の説明及び「特許請求の範囲」全体を通して、特定のシステム構成要素を指すために使用される。当業者であれば理解するように、構成要素は、異なる名称で称され得る。本明細書は、名称が異なるが、機能が異ならない構成要素間を区別することは意図しない。
〔実施の態様〕
(1) 周辺光不足環境において内視鏡と共に使用するためのデジタル撮像方法であって、
電磁放射線の波長のパルスを発するようにエミッターを作動させ、前記光不足環境内に照明をもたらすことと、
所定の間隔で前記エミッターにパルスを発生させることと、
画像フレームを創出するために、画素配列で前記パルスからの反射電磁放射線を感知することであって、
前記画素配列が、前記エミッターの前記パルス間隔に対応する感知間隔で作動する、感知することと、
1回の反復の間、前記エミッターがパルスを発生するのを妨げることと、
前記エミッターがパルスを発生していない間に前記画素配列を感知することによって、ダークフレームを創出することと、
固定パターンノイズの排除で用いるために、前記ダークフレームを使用して、1つ又は2つ以上の参照フレームを創出することと、
保存された参照データを減算することによって、前記画像フレームから固定パターンノイズを排除することと、
複数の画像フレームを組み合わせることによって画像のストリームを創出し、ビデオストリームを形成することと、を含む、方法。
(2) 前記ダークフレームが、前記エミッターが電磁エネルギーのパルスを出していない間の前記画素配列の単一の感知から創出される、実施態様1に記載の方法。
(3) 複数のダークフレームが、複数のパルスが停止している間の前記画素配列の複数の感知から創出される、実施態様1に記載の方法。
(4) 画像フレーム内に散在させた前記複数のダークフレームが創出される、実施態様3に記載の方法。
(5) 前記1つ又は2つ以上の参照フレームが、レーザーエミッター及び画素配列を備えるシステムの起動時に創出され、前記システムに関連付けられたメモリ内に保存される、実施態様1に記載の方法。
(6) 複数の参照フレームが、異なる露光時間で確立され得る、実施態様5に記載の方法。
(7) 後続の単一ダークフレームの継続するサンプリングによって、前記1つ又は2つ以上の参照フレームの精密さを向上させることを更に含む、実施態様1に記載の方法。
(8) 指数平滑法を使用して後続のダークフレームデータを計算に入れることによって、既存の参照フレームの精密さを向上させることを更に含む、実施態様7に記載の方法。
(9) 各画像フレームが、前記ビデオストリームに統合される前に向上させられる、実施態様1に記載の方法。
(10) 前記方法が、単一のダーク参照バッファからのデータを画像フレームから減算することを更に含む、実施態様9に記載の方法。
(11) 前記方法が、異なる積分時間で確立された2つ又は3つ以上のダーク参照バッファの間を補間することによって、特定の積分時間に対する前記参照データを計算することを更に含む、実施態様9に記載の方法。
(12) 前記方法が、前記参照データを画像フレームから減算することを更に含む、実施態様11に記載の方法。
(13) 前記エミッターが、電磁放射線の波長のレーザーパルスを発し、前記光不足環境内に照明をもたらすレーザーである、実施態様1に記載の方法。
(14) 前記エミッターが、電磁放射線の波長のLEDパルスを発し、前記光不足環境内に照明をもたらすLEDエミッターである、実施態様1に記載の方法。
(15) 周辺光不足環境で使用するためのデジタル撮像システムのためのシステムであって、
1つ又は2つ以上のプロセッサと、
前記1つ又は2つ以上のプロセッサに動作可能に連結され、実行可能及び動作可能なデータを保存する1つ又は2つ以上のメモリ装置と、を備え、前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、
電磁放射線の波長のパルスを発するようにレーザーエミッターを作動させ、前記光不足環境内に照明をもたらすことと、
所定の間隔で前記レーザーエミッターにパルスを発生させることと、
画像フレームを創出するために、画素配列で前記パルスからの反射電磁放射線を感知することであって、
前記画素配列が、前記レーザーエミッターの前記パルス間隔に対応する感知間隔で作動する、感知することと、
1回の反復の間、前記エミッターがパルスを発生するのを妨げることと、
前記エミッターがパルスを発生していない間に前記画素配列を感知し、ダークフレームを創出することと、
固定パターンノイズの排除で用いるために、前記ダークフレームを使用して、1つ又は2つ以上の参照フレームを創出することと、
1つ又は2つ以上のダーク参照フレームから導かれる値を減算することによって、画像フレームから固定パターンノイズを排除することと、
複数の画像フレームを組み合わせることによって画像のストリームを創出し、ビデオストリームを形成することと、を行わせるのに有効である、システム。
(16) 前記ダークフレームが、前記エミッターが電磁エネルギーのパルスを出していない間の前記画素配列の単一の感知から創出される、実施態様15に記載のシステム。
(17) 複数のダークフレームが、複数のパルスが停止している間の前記画素配列の複数の感知から創出される、実施態様15に記載のシステム。
(18) 画像フレーム内に散在させた前記複数のダークフレームが創出される、実施態様17に記載のシステム。
(19) 前記1つ又は2つ以上の参照フレームが、前記レーザーエミッター及び画素配列を備えるシステムの起動時に創出され、前記システムに関連付けられたメモリ内に保存される、実施態様15に記載のシステム。
(20) 複数の参照フレームが、異なる露光時間で確立され得る、実施態様19に記載のシステム。
(21) 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、後続の単一ダークフレームの継続するサンプリングによって、前記1つ又は2つ以上の参照フレームの精密さを向上させることを行わせるのに有効である、実施態様15に記載のシステム。
(22) 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、指数平滑法を使用して後続のダークフレームデータを計算に入れることによって、既存の参照フレームの精密さを向上させることを行わせるのに有効である、実施態様21に記載のシステム。
(23) 各画像フレームが、前記ビデオストリームに統合される前に向上させられる、実施態様15に記載のシステム。
(24) 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、単一のダーク参照バッファからのデータを画像フレームから減算することを行わせるのに有効である、実施態様23に記載のシステム。
(25) 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、異なる積分時間で確立された2つ又は3つ以上のダーク参照バッファの間を補間することによって、特定の積分時間に対する前記参照データを計算することを行わせるのに有効である、実施態様23に記載のシステム。
(26) 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、前記参照データを画像フレームから減算することを行わせるのに有効である、実施態様25に記載のシステム。

Claims (26)

  1. 周辺光不足環境において内視鏡と共に使用するためのデジタル撮像方法であって、
    電磁放射線の波長のパルスを発するようにエミッターを作動させ、前記光不足環境内に照明をもたらすことと、
    所定の間隔で前記エミッターにパルスを発生させることと、
    画像フレームを創出するために、画素配列で前記パルスからの反射電磁放射線を感知することであって、
    前記画素配列が、前記エミッターの前記パルス間隔に対応する感知間隔で作動する、感知することと、
    1回の反復の間、前記エミッターがパルスを発生するのを妨げることと、
    前記エミッターがパルスを発生していない間に前記画素配列を感知することによって、ダークフレームを創出することと、
    固定パターンノイズの排除で用いるために、前記ダークフレームを使用して、1つ又は2つ以上の参照フレームを創出することと、
    保存された参照データを減算することによって、前記画像フレームから固定パターンノイズを排除することと、
    複数の画像フレームを組み合わせることによって画像のストリームを創出し、ビデオストリームを形成することと、を含む、方法。
  2. 前記ダークフレームが、前記エミッターが電磁エネルギーのパルスを出していない間の前記画素配列の単一の感知から創出される、請求項1に記載の方法。
  3. 複数のダークフレームが、複数のパルスが停止している間の前記画素配列の複数の感知から創出される、請求項1に記載の方法。
  4. 画像フレーム内に散在させた前記複数のダークフレームが創出される、請求項3に記載の方法。
  5. 前記1つ又は2つ以上の参照フレームが、レーザーエミッター及び画素配列を備えるシステムの起動時に創出され、前記システムに関連付けられたメモリ内に保存される、請求項1に記載の方法。
  6. 複数の参照フレームが、異なる露光時間で確立され得る、請求項5に記載の方法。
  7. 後続の単一ダークフレームの継続するサンプリングによって、前記1つ又は2つ以上の参照フレームの精密さを向上させることを更に含む、請求項1に記載の方法。
  8. 指数平滑法を使用して後続のダークフレームデータを計算に入れることによって、既存の参照フレームの精密さを向上させることを更に含む、請求項7に記載の方法。
  9. 各画像フレームが、前記ビデオストリームに統合される前に向上させられる、請求項1に記載の方法。
  10. 前記方法が、単一のダーク参照バッファからのデータを画像フレームから減算することを更に含む、請求項9に記載の方法。
  11. 前記方法が、異なる積分時間で確立された2つ又は3つ以上のダーク参照バッファの間を補間することによって、特定の積分時間に対する前記参照データを計算することを更に含む、請求項9に記載の方法。
  12. 前記方法が、前記参照データを画像フレームから減算することを更に含む、請求項11に記載の方法。
  13. 前記エミッターが、電磁放射線の波長のレーザーパルスを発し、前記光不足環境内に照明をもたらすレーザーである、請求項1に記載の方法。
  14. 前記エミッターが、電磁放射線の波長のLEDパルスを発し、前記光不足環境内に照明をもたらすLEDエミッターである、請求項1に記載の方法。
  15. 周辺光不足環境で使用するためのデジタル撮像システムのためのシステムであって、
    1つ又は2つ以上のプロセッサと、
    前記1つ又は2つ以上のプロセッサに動作可能に連結され、実行可能及び動作可能なデータを保存する1つ又は2つ以上のメモリ装置と、を備え、前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、
    電磁放射線の波長のパルスを発するようにレーザーエミッターを作動させ、前記光不足環境内に照明をもたらすことと、
    所定の間隔で前記レーザーエミッターにパルスを発生させることと、
    画像フレームを創出するために、画素配列で前記パルスからの反射電磁放射線を感知することであって、
    前記画素配列が、前記レーザーエミッターの前記パルス間隔に対応する感知間隔で作動する、感知することと、
    1回の反復の間、前記エミッターがパルスを発生するのを妨げることと、
    前記エミッターがパルスを発生していない間に前記画素配列を感知し、ダークフレームを創出することと、
    固定パターンノイズの排除で用いるために、前記ダークフレームを使用して、1つ又は2つ以上の参照フレームを創出することと、
    1つ又は2つ以上のダーク参照フレームから導かれる値を減算することによって、画像フレームから固定パターンノイズを排除することと、
    複数の画像フレームを組み合わせることによって画像のストリームを創出し、ビデオストリームを形成することと、を行わせるのに有効である、システム。
  16. 前記ダークフレームが、前記エミッターが電磁エネルギーのパルスを出していない間の前記画素配列の単一の感知から創出される、請求項15に記載のシステム。
  17. 複数のダークフレームが、複数のパルスが停止している間の前記画素配列の複数の感知から創出される、請求項15に記載のシステム。
  18. 画像フレーム内に散在させた前記複数のダークフレームが創出される、請求項17に記載のシステム。
  19. 前記1つ又は2つ以上の参照フレームが、前記レーザーエミッター及び画素配列を備えるシステムの起動時に創出され、前記システムに関連付けられたメモリ内に保存される、請求項15に記載のシステム。
  20. 複数の参照フレームが、異なる露光時間で確立され得る、請求項19に記載のシステム。
  21. 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、後続の単一ダークフレームの継続するサンプリングによって、前記1つ又は2つ以上の参照フレームの精密さを向上させることを行わせるのに有効である、請求項15に記載のシステム。
  22. 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、指数平滑法を使用して後続のダークフレームデータを計算に入れることによって、既存の参照フレームの精密さを向上させることを行わせるのに有効である、請求項21に記載のシステム。
  23. 各画像フレームが、前記ビデオストリームに統合される前に向上させられる、請求項15に記載のシステム。
  24. 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、単一のダーク参照バッファからのデータを画像フレームから減算することを行わせるのに有効である、請求項23に記載のシステム。
  25. 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、異なる積分時間で確立された2つ又は3つ以上のダーク参照バッファの間を補間することによって、特定の積分時間に対する前記参照データを計算することを行わせるのに有効である、請求項23に記載のシステム。
  26. 前記実行可能及び動作可能なデータが、前記1つ又は2つ以上のプロセッサに、前記参照データを画像フレームから減算することを行わせるのに有効である、請求項25に記載のシステム。
JP2016503293A 2013-03-15 2014-03-15 総合的な固定パターンノイズ除去 Active JP6456912B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361790983P 2013-03-15 2013-03-15
US201361790590P 2013-03-15 2013-03-15
US61/790,590 2013-03-15
US61/790,983 2013-03-15
PCT/US2014/029968 WO2014145244A1 (en) 2013-03-15 2014-03-15 Comprehensive fixed pattern noise cancellation

Publications (2)

Publication Number Publication Date
JP2016521022A true JP2016521022A (ja) 2016-07-14
JP6456912B2 JP6456912B2 (ja) 2019-01-23

Family

ID=51525616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016503293A Active JP6456912B2 (ja) 2013-03-15 2014-03-15 総合的な固定パターンノイズ除去

Country Status (9)

Country Link
US (4) US10341593B2 (ja)
EP (1) EP2967296B1 (ja)
JP (1) JP6456912B2 (ja)
CN (1) CN105246395B (ja)
AU (2) AU2014233188A1 (ja)
BR (1) BR112015022950A2 (ja)
CA (1) CA2906950A1 (ja)
HK (1) HK1219634A1 (ja)
WO (1) WO2014145244A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9509917B2 (en) * 2012-07-26 2016-11-29 DePuy Synthes Products, Inc. Wide dynamic range using monochromatic sensor
CN105246395B (zh) 2013-03-15 2019-01-22 德普伊新特斯产品公司 综合固定模式噪声消除
JP6418839B2 (ja) * 2014-08-04 2018-11-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2017013972A1 (ja) * 2015-07-22 2017-01-26 オリンパス株式会社 撮像装置
US10419698B2 (en) * 2015-11-12 2019-09-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN112040151A (zh) * 2019-06-04 2020-12-04 比亚迪股份有限公司 图像噪声处理方法、装置、图像传感器及存储介质
US11360028B2 (en) * 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11432706B2 (en) * 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11187658B2 (en) * 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11237270B2 (en) * 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11187657B2 (en) * 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US11233960B2 (en) * 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US20200397277A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Videostroboscopy of vocal cords with a hyperspectral, fluorescence, and laser mapping imaging system
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
CN112529828B (zh) * 2020-12-25 2023-01-31 西北大学 参考数据非敏感的遥感影像时空融合模型构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003000537A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 内視鏡用の撮像方法および装置
JP2005109772A (ja) * 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法
JP2008236661A (ja) * 2007-03-23 2008-10-02 Olympus Corp 撮像装置及び暗電流成分キャンセル処理方法
JP2009207762A (ja) * 2008-03-05 2009-09-17 Olympus Medical Systems Corp 生体内画像取得装置、生体内画像受信装置、生体内画像表示装置およびノイズ除去方法

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4011403A (en) 1976-03-30 1977-03-08 Northwestern University Fiber optic laser illuminators
JPS57164031A (en) 1981-04-01 1982-10-08 Olympus Optical Co Light source apparatus for endoscope
GB8506050D0 (en) * 1985-03-08 1985-04-11 Crosfield Electronics Ltd Operating ccd arrays
US5196938A (en) 1989-11-20 1993-03-23 Eastman Kodak Company Solid state fast frame recorder having independently selectable frame rate and exposure
JP3164609B2 (ja) 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
US5241170A (en) 1992-02-19 1993-08-31 Itt Corporation Fiber optic imaging device and methods
US5748234A (en) 1994-09-13 1998-05-05 Intel Corporation Video processing system and method
US5784099A (en) 1994-09-13 1998-07-21 Intel Corporation Video camera and method for generating time varying video images in response to a capture signal
JP3315859B2 (ja) * 1996-04-03 2002-08-19 旭光学工業株式会社 電子内視鏡
US7453490B2 (en) * 1997-01-31 2008-11-18 Gyrus Acmi, Inc. Correction of image signals characteristic of non-uniform images in an endoscopic imaging system
US6982740B2 (en) 1997-11-24 2006-01-03 Micro-Medical Devices, Inc. Reduced area imaging devices utilizing selected charge integration periods
US6452633B1 (en) * 1998-02-26 2002-09-17 Foveon, Inc. Exposure control in electronic cameras by detecting overflow from active pixels
US6707485B1 (en) * 1998-02-27 2004-03-16 Fuji Photo Optical Co., Ltd. Light control system for electronic endoscopes
US6485414B1 (en) 1998-07-13 2002-11-26 Ceramoptec Industries, Inc. Color video diagnostic system for mini-endoscopes
EP1099405B1 (en) 1999-05-18 2005-08-03 Olympus Corporation Endoscope
DE29910795U1 (de) 1999-06-21 1999-09-02 Wolf Gmbh Richard Elektronisches Endoskop
US6373568B1 (en) 1999-08-06 2002-04-16 Cambridge Research & Instrumentation, Inc. Spectral imaging system
US6772181B1 (en) 1999-10-29 2004-08-03 Pentomics, Inc. Apparatus and method for trigonometric interpolation
US6272269B1 (en) 1999-11-16 2001-08-07 Dn Labs Inc. Optical fiber/waveguide illumination system
US20010030744A1 (en) 1999-12-27 2001-10-18 Og Technologies, Inc. Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
US6961461B2 (en) 2000-05-17 2005-11-01 Tidal Photonics, Inc. Apparatus and method for measurement, encoding and displaying of object color for digital imaging
US6967725B2 (en) 2000-10-13 2005-11-22 Lucent Technologies Inc. System and method for optical scanning
JP4608766B2 (ja) 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
JP2002345733A (ja) * 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
JP4390096B2 (ja) 2001-07-06 2009-12-24 富士フイルム株式会社 内視鏡装置
AU2002317219A1 (en) 2001-07-12 2003-01-29 Do Labs Method and system for modifying a digital image taking into account its noise
CN100371950C (zh) 2001-07-12 2008-02-27 杜莱布斯公司 由数字图象计算转换图象的方法和系统
US6791739B2 (en) 2001-08-08 2004-09-14 Eastman Kodak Company Electro-optic despeckling modulator and method of use
US6921920B2 (en) 2001-08-31 2005-07-26 Smith & Nephew, Inc. Solid-state light source
US6692431B2 (en) 2001-09-07 2004-02-17 Smith & Nephew, Inc. Endoscopic system with a solid-state light source
US7167267B2 (en) * 2001-12-19 2007-01-23 Hewlett-Packard Development Company, L.P. Noise reduction in an image capturing device
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US7545434B2 (en) 2002-02-04 2009-06-09 Hewlett-Packard Development Company, L.P. Video camera with variable image capture rate and related methodology
US7196391B2 (en) * 2002-02-05 2007-03-27 E-Phocus, Inc. MOS or CMOS sensor with micro-lens array
US7794394B2 (en) 2002-05-22 2010-09-14 Beth Israel Deaconess Medical Center Device for wavelength-selective imaging
EP1593113A4 (en) * 2002-12-20 2011-03-30 Itac Systems Inc CURSOR CONTROL
JP2005006856A (ja) 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
ES2415509T3 (es) 2003-07-28 2013-07-25 Synergetics, Inc. Fuente de iluminación
EP1709474A4 (en) 2003-09-26 2010-01-06 Tidal Photonics Inc APPARATUS AND METHODS RELATING TO COLOR IMAGING ENDOSCOPE SYSTEMS
US7544163B2 (en) 2003-09-26 2009-06-09 Tidal Photonics, Inc. Apparatus and methods relating to expanded dynamic range imaging endoscope systems
WO2005073959A1 (en) 2004-01-28 2005-08-11 Koninklijke Philips Electronics N.V. Audio signal decoding using complex-valued data
US8827899B2 (en) * 2004-09-24 2014-09-09 Vivid Medical, Inc. Disposable endoscopic access device and portable display
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US8556806B2 (en) 2004-09-24 2013-10-15 Vivid Medical, Inc. Wavelength multiplexing endoscope
US7919827B2 (en) 2005-03-11 2011-04-05 Taiwan Semiconductor Manufacturing Co., Ltd. Method and structure for reducing noise in CMOS image sensors
US20070100205A1 (en) * 2005-10-27 2007-05-03 Pentax Corporation Image capturing system for electronic endoscope system
US7616237B2 (en) * 2005-12-16 2009-11-10 The Research Foundation Of State University Of New York Method and apparatus for identifying an imaging device
WO2007092108A2 (en) 2006-02-07 2007-08-16 Boston Scientific Limited Medical device light source
US7813586B2 (en) * 2006-08-07 2010-10-12 Mela Sciences, Inc. Reducing noise in digital images
US7813538B2 (en) 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US7799218B2 (en) * 2007-06-29 2010-09-21 Caterpillar Inc Paint reclamation clarifier system
US7791009B2 (en) 2007-11-27 2010-09-07 University Of Washington Eliminating illumination crosstalk while using multiple imaging devices with plural scanning devices, each coupled to an optical fiber
US8411922B2 (en) 2007-11-30 2013-04-02 University Of Washington Reducing noise in images acquired with a scanning beam device
JP2009136459A (ja) * 2007-12-05 2009-06-25 Hoya Corp ノイズ除去システム、内視鏡プロセッサ、および内視鏡システム
TW200930066A (en) 2007-12-21 2009-07-01 Altek Corp Digital photogrphic camera with brightness compensation and compensation method thereof
US8077240B2 (en) 2008-04-23 2011-12-13 Inernational Business Machines Corporation Methods for enhancing quality of pixel sensor image frames for global shutter imaging
JP5435916B2 (ja) * 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
US20100165087A1 (en) 2008-12-31 2010-07-01 Corso Jason J System and method for mosaicing endoscope images captured from within a cavity
GB2467118A (en) 2009-01-19 2010-07-28 Sony Espana Sa Video conferencing image compensation apparatus to compensate for the effect of illumination by the display of the scene in front of the display
US8803962B2 (en) * 2009-09-30 2014-08-12 Boston Scientific Scimed, Inc. System and method for imaging during a medical procedure
US8444272B2 (en) 2010-01-25 2013-05-21 Corning Incorporated Multi-projector system using multiplexed illumination
JP5393554B2 (ja) 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5438571B2 (ja) 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
US9456794B2 (en) * 2010-04-09 2016-10-04 The Board Of Trustees Of The Leland Stanford Junior University Molecular imaging using radioluminescent nanoparticles
US8988504B2 (en) * 2010-06-03 2015-03-24 Semiconductor Components Industries, Llc Imaging systems with integrated stereo imagers
US20120004508A1 (en) 2010-07-02 2012-01-05 Mcdowall Ian Surgical illuminator with dual spectrum fluorescence
JP5534997B2 (ja) * 2010-08-03 2014-07-02 富士フイルム株式会社 電子内視鏡システム
US9277855B2 (en) 2010-08-10 2016-03-08 Boston Scientific Scimed, Inc. Endoscopic system for enhanced visualization
US8878920B2 (en) * 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
US9195899B2 (en) * 2012-01-13 2015-11-24 Carestream Health, Inc. Self correcting portable digital radiography detector, methods and systems for same
US9007490B1 (en) * 2013-03-14 2015-04-14 Amazon Technologies, Inc. Approaches for creating high quality images
CN105246395B (zh) 2013-03-15 2019-01-22 德普伊新特斯产品公司 综合固定模式噪声消除

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003000537A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 内視鏡用の撮像方法および装置
JP2005109772A (ja) * 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法
JP2008236661A (ja) * 2007-03-23 2008-10-02 Olympus Corp 撮像装置及び暗電流成分キャンセル処理方法
JP2009207762A (ja) * 2008-03-05 2009-09-17 Olympus Medical Systems Corp 生体内画像取得装置、生体内画像受信装置、生体内画像表示装置およびノイズ除去方法

Also Published As

Publication number Publication date
EP2967296B1 (en) 2024-02-28
AU2014233188A1 (en) 2015-11-05
EP2967296A1 (en) 2016-01-20
EP2967296A4 (en) 2016-11-16
HK1219634A1 (zh) 2017-04-13
US11425322B2 (en) 2022-08-23
JP6456912B2 (ja) 2019-01-23
EP2967296C0 (en) 2024-02-28
BR112015022950A2 (pt) 2017-07-18
US10341593B2 (en) 2019-07-02
US20210235031A1 (en) 2021-07-29
CA2906950A1 (en) 2014-09-18
WO2014145244A1 (en) 2014-09-18
CN105246395A (zh) 2016-01-13
US10972690B2 (en) 2021-04-06
US20140267654A1 (en) 2014-09-18
US20220394199A1 (en) 2022-12-08
AU2019208156B2 (en) 2020-12-24
AU2019208156A1 (en) 2019-08-08
CN105246395B (zh) 2019-01-22
US20190281239A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6456912B2 (ja) 総合的な固定パターンノイズ除去
US11070779B2 (en) YCBCR pulsed illumination scheme in a light deficient environment
JP7066891B2 (ja) パルスカラー撮像システムにおける超解像度及び色運動アーチファクト補正
US20210368076A1 (en) Camera system with minimal area monolithic cmos image sensor
US11187657B2 (en) Hyperspectral imaging with fixed pattern noise cancellation
US11221414B2 (en) Laser mapping imaging with fixed pattern noise cancellation

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181219

R150 Certificate of patent or registration of utility model

Ref document number: 6456912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250