JP2021508543A

JP2021508543A - 光不足環境におけるハイパースペクトル撮像

Info

Publication number: JP2021508543A
Application number: JP2020536006A
Authority: JP
Inventors: タルバート・ジョシュア・ディー; ウィヘルン・ドナルド・エム
Original assignee: Ethicon LLC
Current assignee: Ethicon LLC
Priority date: 2017-12-27
Filing date: 2018-12-27
Publication date: 2021-03-11
Also published as: JP2021508560A; US11823403B2; IL275563A; BR112020012744A2; CN111526774A; EP3731728A1; EP3731724A4; WO2019133741A1; CN111601536A; US20190197712A1; WO2019133739A1; IL275579A; US20190191974A1; IL275563B1; KR20200104372A; US20190191976A1; BR112020012594A2; EP3731723A1; EP3731727A1; IL275574A

Abstract

光不足環境において使用するための内視鏡撮像システムは、チューブと、１つ又は２つ以上の画像センサと、１つ又は２つ以上の画像センサに対応する少なくとも１つの光学素子を含むレンズアセンブリと、を有する、撮像装置を含む。内視鏡システムは、ユーザがシーンを視覚化するためのディスプレイと、画像信号処理コントローラと、を含む。内視鏡システムは、電磁放射線の１つ又は２つ以上のパルスを生成する照明源と、内視鏡の遠位先端に電磁放射線の１つ又は２つ以上のパルスを伝達する管腔と、を有する、ライトエンジンを含む。

Description

技術の進歩によって、医療用撮像能力の進歩がもたらされている。内視鏡を使用して、身体の内部を見ること、及び身体の器官内部又は体腔を診察することができる。内視鏡は、患者の症状を調査する、診断を確認する、又は医療処置を提供するために使用することができる。医療用内視鏡は、例えば、小切開による、消化管、気道、尿路、腹腔、などの、様々な体組織及び身体部位を視認するために使用することができる。内視鏡は、更に、整形手術手技、関節又は骨に行われる手技、神経系に行われる手技、腹腔内に行われる手技などの、外科手技のために使用することができる。

内視鏡はまた、アクセスできない、又は見ることが困難であり得る空間を視認及び検査するための、非医療分野においても使用されている。例えば、内視鏡は、提案された建物又は都市のスケールモデルを視覚化するために、プランナ又は建築家によって使用されることができる。内視鏡は、コンピュータなどの複雑なシステムの内部空間を視覚化するために使用することができる。内視鏡は、狭い空間の監視を行うために、又は爆破装置を検査するために、法執行機関又は軍人によって使用されることさえできる。

内視鏡の様々な用途の中でも、カラーで空間を視認することが有益であり得る。デジタルカラー画像は、画像の画素ごとに、少なくとも３つの層又は「色チャネル」を含むことができる。色チャネルの各々は、スペクトル帯域の光の強度及びクロミナンスを測定する。一般的に、デジタルカラー画像は、光の赤色、緑色、及び青色のスペクトル帯域の色チャネルを含む（これは、ＲＧＢ画像と称される場合がある）。赤色、緑色、及び青色の色チャネルの各々は、光の赤色、緑色、又は青色スペクトル帯域の輝度情報を含む。別々の赤色、緑色、及び青色層の輝度情報を組み合わせて、デジタルカラー画像を作成することができる。カラー画像は、別々の層で構成されているので、デジタルカメラ画像センサは、一般的に、赤色、緑色、及び青色の可視光波長が、選択された画素センサに衝突することを可能にする、カラーフィルタアレイを含む。各個々の画素センサ素子は、赤色波長、緑色波長、又は青色波長に感応性があり、その波長の画像データのみを返す。画素センサのアレイ全体からの画像データを組み合わせて、ＲＧＢ画像を生成する。

医療的診断又は医療処置のための内視鏡撮像の場合、カラー画像によって体腔を視認することが有益であり得、必要でさえあり得る。例えば、内視鏡を使用して身体の腹腔を視認する場合、カラー画像は、腹部内の異なる器官若しくは組織の識別、又は空間内の特定の状態若しくは疾患の識別を補助するための有益な情報を提供することができる。上で考察されたように、カラー画像を捕捉することができるデジタルカメラは、カラー画像の赤色、緑色、及び青色の層を個々に捕捉するために、少なくとも３つの異なる種類の画素センサを有し得る。少なくとも３つの異なる種類の画素センサは、（色認識不能な画素アレイと比較したときに）比較的広い物理的空間を消費する場合があり、よって、画素アレイ全体を、体内に挿入される内視鏡の小さい遠位端に嵌合することができない。カラーデジタルカメラは、少なくとも３つの異なる種類の画素センサを含み得るので、画素アレイ全体（すなわち、画像センサ）は、一般的に、内視鏡オペレータによって保持されて体腔内に配置されない、内視鏡のハンドピースユニット内に位置する。かかる内視鏡の場合、光は、ハンドピースユニットから、体腔内に配置される内視鏡の遠位端まで、内視鏡の長さに沿って伝達される。この内視鏡構成は、重大な限界を有する。この構成を有する内視鏡は、繊細であり、また、通常の使用中にぶつけたとき又は衝撃を与えたときに、位置ずれし易い又は損傷を受け易い場合がある。これは、内視鏡によって生成された画像の質を大幅に劣化させる場合があり、また、内視鏡を頻繁に修理又は交換する必要があり得る。

いくつかの場合では、特に医療用撮像又は医療処置の場合では、カラー画像であることよりも見えることが有益であり得る。カラー画像は、ある環境において見たときに、ヒトの眼球が検出したものを反映する。しかしながら、ヒトの眼球は、可視光のみを視認することに限定され、他の波長の電磁スペクトルを検出することができない。「可視光」波長を超える他の波長の電磁スペクトルでは、環境に関する追加的な情報を得ることができる。ヒトの眼球が検出することができるものを超える、環境に関する追加的な情報を検出する１つの方法は、ハイパースペクトル撮像である。医療目的のための撮像の場合、ハイパースペクトル撮像は、ヒトの眼球又はデジタルカラーカメラが検出することができるものを超える追加的な情報を提供する、体腔の独特のビューを提供することができる。

ハイパースペクトル撮像を使用して、異なる材料又は物体を識別すること、及び異なるプロセスを識別することができる。ヒトの眼球は、赤色、緑色、及び青色の組み合わせとして感知される、主に３つの帯域の波長の可視光の色を見る。典型的なヒトの眼球は、約３５０ｎｍ〜約７５０ｎｍの電磁放射の波長に反応し、この帯域の波長は、「可視スペクトル」と称される場合がある。ハイパースペクトル撮像は、組織、物体、又は材料の反射に基づいて、光波長のスペクトルをはるかに多くの帯域に分けるという点で異なる。これは、ハイパースペクトル撮像が、ヒトの眼球で見ることができるものを超える情報を提供することを可能にする。ハイパースペクトル撮像は、ヒトの眼球又はコンピュータで特定の材料、物体、又はプロセスを識別することが困難又は不可能である様々な用途において有益な情報を提供することができる。いくつかの物体は、スペクトルシグネチャと称される場合がある、電磁スペクトル内の固有の「指紋」を残すので、ハイパースペクトル撮像は、特定の場合において特に効果的であり得る。これらのスペクトルシグネチャは、ヒトの眼球又はコンピュータによって見ることができない、特定の材料、物体、又はプロセスの識別を可能にする。

ハイパースペクトル撮像は、元々は、採掘及び地質学の用途のために開発されたものである。限られた情報をヒトの眼球に提供する通常のカメラ画像とは異なり、ハイパースペクトル撮像は、異なる鉱物のスペクトルシグネチャに基づいて、固有の鉱物を識別することができる。ハイパースペクトル撮像は、航空画像を撮るときでさえも有用であり得、また、例えばパイプライン又は天然井戸からの油又はガスの漏出、及び近隣の植物に対するそれらの影響に関する情報を提供することができる。この情報は、ハイパースペクトル撮像によって識別することができる特定の材料、物体、又はプロセスのスペクトルシグネチャに基づいて収集される。

しかしながら、ハイパースペクトル撮像は、極めて複雑であり、また、高速なコンピュータ処理能力、感度検出器、及び大きいデータ記憶容量を必要とする場合がある。加えて、ハイパースペクトル画像を白黒画像又はカラー画像に重ね合わせて、状況を開業医に提供する場合、重ね合わせる画像を生成することができるカメラ（又は複数のカメラ）は、固有の電磁放射範囲に感応性がある多数の異なる種類の画素センサを有し得る。これは、異なる波長の電磁スペクトルでハイパースペクトル画像データを生成するための追加的な画素センサと共に、従来の方法によってＲＧＢカラー画像を生成するための３つの別々の種類の画素センサを含み得る。これは、画像解像度が十分であることを確実にするために、比較的広い物理的空間を消費し、大きい画素アレイを必要とし得る。内視鏡撮像の場合、複数の波長感応性画素センサを体腔内の内視鏡の遠位端に配置するには、必要とする物理的空間が広過ぎ、また、必要とする画素アレイが大き過ぎるので、１台又は複数のカメラが、内視鏡ハンドユニット又はロボットユニット内に配置され得る。これは、上述したことと同じ不利な点をもたらし、また、内視鏡を非常に繊細なものにする場合があり、よって、内視鏡の使用中にぶつけたとき又は衝撃を与えたときに、画質が大幅に劣化する。

本開示は、概して、内視鏡撮像に適用することができる電磁気の感知及びセンサに関する。本開示はまた、低エネルギー電磁入力条件、並びに低エネルギー電磁スループット条件にも関する。本開示は、より具体的には、全体として必ずしもそうではないが、光不足環境において画像を生成するためのシステム、及び関連する構造、方法、及び特徴に関するものであり、本方法は、期間、強度、又は両方を通して光源を制御することと、画像センサのブランキング期間中に成分制御した光源をパルス化することと、ブランキング期間を最大にして最適な光を可能にすることと、色バランスを維持することと、を含むことができる。

本開示の特徴及び利点を以下の説明で述べるのである程度この説明から明らかとなるか、及び、かつ、又は、不相応な実験のない本開示の実践によって習得されるであろう。本開示の特徴及び利点は、添付の特許請求の範囲において具体的に指摘する器具及び組み合わせによって実現及び取得され得る。

本開示の非制限的及び非網羅的な実装を以下の図を参照して説明し、同様の参照番号は、特に指定がない限り様々な図を通して同様の部品を指す。本開示の利点は以下の説明及び添付の図面を参照してより理解されるであろう。
一実施形態による、光不足環境において画像を生成するために使用するための、動作中における一対のセンサ及び電磁エミッタのシステムの実施形態の概略図である。相補型システムハードウェアの概略図である。本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。本開示の実施形態による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの説明図である。一実施形態による、電磁エミッタの一実施形態の動作のグラフィカル表現である。一実施形態による、露光制御を提供するために、放出電磁パルスの持続時間及び振幅を変動させたグラフィカル表現である。一実施形態による、動作中の撮像システムを示す、図２Ａ〜図４のセンサ、電磁エミッタ、及び放出電磁パルスの動作サイクルを組み合わせた、本開示の実施形態のグラフィカル表現である。一実施形態による、全スペクトル光及び分割スペクトル光のビデオフレームを記録するための、ｔ（０）〜ｔ（１）の期間にわたる２つの異なるプロセスの概略図である。本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間間隔にわたるプロセスの概略図である。本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間間隔にわたるプロセスの概略図である。本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間間隔にわたるプロセスの概略図である。本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間間隔にわたるプロセスの概略図である。本開示の原理及び教示に従って全スペクトル光及び分割スペクトル光の両方のビデオフレームを記録するための、ある時間間隔にわたるプロセスの概略図である。電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、本開示の原理及び教示に従っていくつかの実施形態において同時に行うことができる。電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、本開示の原理及び教示に従っていくつかの実施形態において同時に行うことができる。電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、本開示の原理及び教示に従っていくつかの実施形態において同時に行うことができる。電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、本開示の原理及び教示に従っていくつかの実施形態において同時に行うことができる。電磁エミッタ及びセンサの両方の調整を例示する図であり、かかる調整は、本開示の原理及び教示に従っていくつかの実施形態において同時に行うことができる。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、分割光システムと共に使用するためのセンサ補正方法及びハードウェアの概略図である。本開示の実施形態による、閉鎖環境又は限定された光環境内でダイナミックレンジを増加させるための方法及びハードウェアの概略図である。本開示の実施形態による、閉鎖環境又は限定された光環境内でダイナミックレンジを増加させるための方法及びハードウェアの概略図である。色補正のないものと比較した典型的なベイヤーベースのセンサの色補正の信号対雑音比に対する影響を例示する図である。ｓＲＧＢ色域と比較した３つのモノクロレーザの色度を例示する図である。本開示の実施形態による、閉鎖環境又は限定された光環境内でダイナミックレンジを増加させるための方法及びハードウェアの概略図である。本開示の実施形態による、閉鎖環境又は限定された光環境内でダイナミックレンジを増加させるための方法及びハードウェアの概略図である。本開示の実施形態による、閉鎖環境又は限定された光環境内でダイナミックレンジを増加させるための方法及びハードウェアの概略図である。本開示の実施形態による、対応する色センサによってパルス化及び／又は同期される、白色発光の使用を例示する図である。本開示の実施形態による、対応する色センサによってパルス化及び／又は同期される、白色発光の使用を例示する図である。本開示の実施形態による、対応する色センサによってパルス化及び／又は同期される、白色発光の使用を例示する図である。本開示の実施形態による、三次元画像を生成するための複数の画素アレイを有する実装形態を例示する図である。本開示の実施形態による、三次元画像を生成するための複数の画素アレイを有する実装形態を例示する図である。それぞれ、複数の基板に構築された撮像センサの実装形態の斜視図及び側面図であり、画素アレイを形成する複数の画素列が第１の基板上に位置し、複数の回路列が第２の基板上に位置し、１つの画素列とその関連付けられた又は対応する回路列との間の電気接続及び通信を示す。それぞれ、複数の基板に構築された撮像センサの実装形態の斜視図及び側面図であり、画素アレイを形成する複数の画素列が第１の基板上に位置し、複数の回路列が第２の基板上に位置し、１つの画素列とその関連付けられた又は対応する回路列との間の電気接続及び通信を示す。それぞれ、三次元画像を生成するための複数の画素アレイを有する撮像センサの実装形態の斜視図及び側面図であり、複数の画素アレイ及び画像センサが、複数の基板上に構築されている。それぞれ、三次元画像を生成するための複数の画素アレイを有する撮像センサの実装形態の斜視図及び側面図であり、複数の画素アレイ及び画像センサが、複数の基板上に構築されている。本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。本開示の実施形態による、様々な機械的フィルタ及びシャッタ構成を備えるエミッタの実施形態を例示する図である。一実施形態による、照明を光不足環境に提供するためのシステムを例示する概略図である。一実施形態による、複数のエミッタを有する光源を例示する概略ブロック図である。別の実施形態による、複数のエミッタを有する光源を例示する概略ブロック図である。更に別の実施形態による、複数のエミッタを有する光源を例示する概略ブロック図である。一実施形態による、シーンを照明するために、出力において拡散器を介して出力する単一の光ファイバを例示する概略図である。一実施形態による、フィルタを使用してフィルタ処理した画像の生成を例示するブロック図である。一実施形態による、光源のエミッタによって放出させることができる、複数の異なるサブスペクトルに分けられた電磁スペクトルの一部分を例示する図である。一実施形態による、マルチスペクトル画像又はハイパースペクトル画像を生成するための、放出及び読み出しのタイミング図を例示する概略図である。一実施形態による、フィルタを使用してフィルタ処理した画像の生成を例示するブロック図である。一実施形態による、複数のフィルタを使用してフィルタ処理した画像の生成を例示するブロック図である。一実施形態による、物体及び／又は表面を追跡するためのグリッドアレイを例示する概略図である。一実施形態による、マルチスペクトル画像又はハイパースペクトル画像を生成するための、放出及び読み出しの方法を例示する概略フローチャート図である。一実施形態による、蛍光画像を生成するための、放出及び読み出しの方法を例示する概略フローチャート図である。

本開示は、主に医療用内視鏡撮像などの医療用途に適し得るデジタル撮像のための方法、システム、及びコンピュータベースの製品まで広がる。本明細書に開示されるかかる方法、システム、及びコンピュータベースの製品は、撮像手順、外科手技などを実行するためのロボット工学の使用などの、医療用ロボット工学用途で使用するための撮像能力又は診断能力を提供することができる。本開示の以下の説明では、本明細書の一部を成し、かつ、本発明の実施形態を実践し得る特定の実施形態が例示として示される添付図面を参照する。他の実装形態が利用され得ること、及び構造上の変更が本開示の範囲から逸脱することなく行われ得ることが理解される。

内視鏡は、多種多様な用途を有し、また、医療分野においてかなりの利益を提供し得る。内視鏡検査は、身体内部を見るために医学分野で使用され、また、いくつかの場合では、他の方法では見ることができないか、又は侵襲的外科手技を必要とする、撮像を提供することができる。内視鏡は、医学的診断、調査、又は研究のために使用することができ、更には、低侵襲様態で医療処置を実行するために使用することもできる。医療用内視鏡は、痛みを伴い、かつ侵襲的な矯正又は試験的な手術の必要性を打ち消すことによって、かなりの利益を患者及び医療従事者に提供することができる。

本明細書に開示されるように、体腔などの光不足環境において使用するための内視鏡システムは、撮像装置と、ライトエンジンと、を含むことができる。ライトエンジンは、電磁放射線のパルスを生成するための照明源を含むことができ、更に、電磁放射線のパルスを伝達するための管腔を内視鏡の遠位先端に含むことができる。管腔は、特定の波長又は波長の帯域の電磁スペクトルで、電磁放射線のパルスを伝達することができる。管腔は、時間調整された順序でかかるパルスを伝達することができ、撮像データは、各パルス中にセンサによって捕捉することができる。異なる波長のパルスと関連付けられた撮像データを使用して、赤色−緑色−青色（red green blue、ＲＧＢ）画像及び／又はマルチスペクトル画像若しくはハイパースペクトルイメージ画像を生成することができる。一実施形態では、マルチスペクトル撮像又はハイパースペクトル撮像は、白黒画像又はＲＧＢ画像に重ね合わせることができる。

本明細書で開示されるように、内視鏡画像システムのためのシステム、方法、及び装置は、光不足環境の特殊化した画像データを提供することができる。特殊化した画像データを使用して、マルチスペクトル撮像又はハイパースペクトル撮像を生成すること、及び／又は光不足環境内の特定の材料、組織、構成要素、若しくはプロセスを識別することができる。特定の実施形態では、マルチスペクトル撮像又はハイパースペクトル撮像は、開業医又はコンピュータ実装のプログラムに提供して、身体内の特定の構造又は組織の識別を可能にすることができる。かかるマルチスペクトル撮像又はハイパースペクトル撮像データは、白黒又はＲＧＢ画像に重ね合わせて、追加的な情報及び状況を提供することができる。

更に、内視鏡画像システムのかかるシステム、方法、及び装置は、特定の試薬又は染料と協調して使用することができる。医療用撮像の実装形態では、特定の試薬又は染料を患者に投与することができ、そうした試薬又は染料は、特定の波長の電磁放射線に対して蛍光を発光すること又は反応することができる。本明細書に開示される内視鏡画像システムは、指定した波長の電磁放射線を伝達して、試薬又は染料に蛍光を発光させることができる。試薬又は染料の蛍光は、撮像を生成するために画像センサによって捕捉して、組織若しくは構造の識別を支援すること、及び／又は診断若しくは調査を支援することができる。一実装形態では、患者には、異なる波長で蛍光を発光するように、及び／又は異なる構造、組織、化学反応、生物学的プロセス、などの指示を提供するように各々が構成された、複数の試薬又は染料を投与することができる。かかる実装形態では、本明細書に開示される内視鏡システムは、適用可能な波長の各々を放出させて、適用可能な試薬又は染料に蛍光を発光させることができる。これは、複数の試薬又は染料の各々について個々の撮像手技を行うといった過去の必要性を打ち消すことができる。

医療用内視鏡は、内視鏡の遠位端が挿入される身体の内部空間の連続デジタル画像ストリームを提供することができる。様々な実装形態では、医療従事者が身体内の組織と構造とをより良好に区別することができるように、デジタル画像ストリームがフルカラー撮像を提供することが有益であり得るか、必要でさえあり得る。更なる実装形態では、ハイパースペクトル撮像データを提供して、高められた精度で構造、組織、プロセス、及び状態を区別することが有益であり得る。加えて、ハイパースペクトル撮像は、医療従事者又はコンピュータプログラムが、ヒトの眼球で見ることができない、又はＲＧＢカラー画像において識別できない、人体の状態に関する情報を受信することを可能にすることができる。

内視鏡によってカラー画像データ及び／又はハイパースペクトル画像データを生成するためのシステム、方法、及び装置を本明細書で開示する。本開示のシステムは、チューブと、１つ又は２つ以上の画像センサと、レンズアセンブリと、を有する、撮像装置を含む。レンズアセンブリは、１つ又は２つ以上の画像センサのうちの少なくとも１つに対応する、少なくとも１つの光学素子を含むことができる。本システムは、シーンを視覚化するためのディスプレイと、画像信号処理コントローラと、を更に含む。本システムは、ライトエンジンを更に含むことができる。ライトエンジンは、電磁放射線の１つ又は２つ以上のパルスを生成するように構成された照明源と、電磁放射線の１つ又は２つ以上のパルスを内視鏡の遠位先端に伝達する管腔と、を含む。一実施形態では、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、５１３ｎｍ〜５４５ｎｍの電磁放射線を含む。一実施形態では、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、５６５ｎｍ〜５８５ｎｍの電磁放射線を含む。一実施形態では、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、９００ｎｍ〜１０００ｎｍの電磁放射線を含む。本開示の実装形態において、ライトエンジンによるパルス化は、非常に短い持続時間であり得、また、１マイクロ秒（μｓ）よりも短いオン／オフ時間であり得る。

本開示の実施形態では、内視鏡システムは、スペクトル撮像又はハイパースペクトル撮像のための照明源を照明し、電磁放射線をパルス化する。スペクトル撮像は、電磁スペクトルにわたって複数帯域を使用する。これは、ＲＧＢ画像を生成するための赤色波長、緑色波長、及び青色波長を含む、ヒトの眼球によって識別可能である可視スペクトルに基づく３つの波長にわたって光を捕捉するのみである、従来のカメラと異なる。スペクトル撮像は、赤外線波長、可視スペクトル、紫外スペクトル、Ｘ線波長、又は様々な波長帯域の任意の適切な組み合わせを含む、電磁スペクトル中の任意の波長帯域を使用することができる。スペクトル撮像は、可視帯域（例えば、標準的なＲＧＢ画像）に基づく撮像の上に、不可視帯域（例えば、赤外線）に基づいて生成される撮像を重ね合わせて、人又はコンピュータアルゴリズムによって容易に識別できる追加的な情報を提供することができる。

ハイパースペクトル撮像は、スペクトル撮像のサブカテゴリである。ハイパースペクトル撮像は、分光学及びデジタル写真を含む。ハイパースペクトル撮像の一実施形態では、完全なスペクトル又は何らかのスペクトル情報が、画像平面内のあらゆる画素において収集される。ハイパースペクトルカメラは、特殊なハードウェアを使用して、完全なスペクトルと解釈することができる、画素ごとの任意の好適な数の波長帯域を捕捉することができる。ハイパースペクトル撮像の目標は、異なる用途に対して変動させることができる。１つの用途では、ハイパースペクトル撮像の目標は、画像シーン内の各画素の電磁範囲全体を得ることである。これは、その他の方法であれば可視光波長帯域の下では識別不可能であり得る、特定の物体を見つけることを可能にすることができる。これは、特定の材料又は組織が可視光波長帯域の下で識別不可能であり得る場合に、そうした材料又は組織を正確に識別することを可能にすることができる。更に、これは、全ての波長の電磁スペクトルにわたって画像を補足することによって、特定のプロセスを検出することを可能にすることができる。

ハイパースペクトル撮像は、医療用途における従来の撮像に勝る、特定の利点を提供することができる。ハイパースペクトル撮像によって取得される情報は、医療従事者及び／又はコンピュータ実装のプログラムが、ＲＧＢ撮像などの従来の撮像を使用した場合に不可能であり得るか、又は精度が低くなり得る診断につながり得る特定の組織又は状態を、正確に識別することを可能にすることができる。加えて、ハイパースペクトル撮像は、医療処置中に使用して、画像誘導手術を提供することができ、これは、医療従事者が、例えば、特定の組織又は流体の背後に位置する組織を視認すること、典型的な健康な細胞と対照的に非定型癌細胞を確認すること、特定の組織又は状態を識別すること、重要な構造を識別すること、などを可能にすることができる。ハイパースペクトル撮像は、従来の撮像では生成することができない組織生理学、形態学、及び組成物に関する、特殊化した診断情報を提供することができる。

内視鏡ハイパースペクトル撮像は、本開示の様々な用途及び実装形態において、従来の撮像に勝る利点を提示することができる。医療用の実装形態では、内視鏡ハイパースペクトル撮像は、開業医又はコンピュータ実装のプログラムが、例えば、神経組織、筋組織、様々な脈管、血流の方向、などを識別することを可能にする。ハイパースペクトル撮像は、非定型癌組織を、典型的な健常組織と精密に区別することを可能にすることができ、したがって、開業医又はコンピュータ実装のプログラムが、動作中又は調査撮像中に、癌性腫瘍の境界を識別することを可能にすることができる。加えて、本明細書に開示される光不足環境におけるハイパースペクトル撮像は、試薬又は染料の使用と組み合わせて、特定の組織又は物質の更なる区別を可能にすることができる。かかる一実施形態では、試薬又は染料は、電磁スペクトル内の特定の波長帯域によって蛍光を発光させることができ、したがって、その試薬又は染料の目的に対して特定の情報を提供することができる。本明細書に開示されるシステム、方法、及び装置は、１つ又は２つ以上の試薬又は染料が異なる時間に蛍光を発光することができるように、任意の数の波長帯域をパルス化することを可能にすることができる。特定の実施形態では、これは、単一の撮像手技中に、いくつかの医学的状態の識別又は調査を可能にすることができる。

医療用内視鏡は、可視光スペクトルの外側の波長帯域で電磁放射線をパルス化して、ハイパースペクトル画像の生成を可能にすることができる。内視鏡ハイパースペクトル撮像は、他の撮像方法において一般的である有害な放射線露光を患者が受けることを必要としない、医療用撮像のための非接触かつ非侵襲性の手段である。

例えば関節鏡検査及び腹腔鏡検査などのロボット内視鏡手技において使用される従来の内視鏡は、画像センサが典型的には内視鏡オペレータによって保持されて空洞の中へ挿入されないハンドピースユニット内に配置されるように設計される。かかる構成では、内視鏡ユニットは、複雑な一組の精密に連結された光学構成要素を介して、損失及び歪みを最小限に抑えながら、入射光を内視鏡チューブの長さに沿ってセンサに向かって伝達する。光学構成要素は高価であり、光学構成要素の製造プロセスが大きな労力を要するので、内視鏡ユニットのコストは、光学構成要素がその多くを占める。更に、この種類の内視鏡は、機械的に繊細であり、比較的軽い衝撃が構成要素に容易に損傷を与えること、又はそれらの構成要素の相対的位置合わせを狂わせることがあり得る。内視鏡構成要素（精密に連結された光学構成要素など）に対する僅かな位置ずれによってさえ、画質の相当な低下を生じさせること、又は内視鏡を使用不可能にさせることがあり得る。構成要素の位置がずれた場合、内視鏡の長さに沿って進行する入射光が減少し、よって、内視鏡の遠位端には殆ど又は全く光が存在せず、内視鏡が使用不可能になる。従来の内視鏡は、かかる正確かつ複雑な光学構成要素を必要とするので、及びそうした構成要素は、容易に位置がずれ得るので、かかる従来の内視鏡は、画像品質を維持するために、高頻度かつ高価な修理サイクルを必要とする。

この課題に対する１つの解決策は、内視鏡自体内の遠位端に画像センサを配置することである。かかる解決策は、容易に位置がずれ得る及び／又は損傷を受け得る、連結された光学構成要素の複雑で正確な収集に対する必要性を排除することができる。この解決策は、潜在的に、例えば携帯電話のカメラ内に普遍的に実現される、光学的単純さ、ロバスト性、及び経済性に近づく。しかしながら、内視鏡によって提供される多くの利点は、内視鏡の遠位端のコンパクト化によって生じることが理解されるべきである。カラー撮像又はハイパースペクトル撮像に従来使用されている複数の異なる波長感応性画素センサを収容するために内視鏡の遠位端が拡大された場合に、画素アレイが大きくなり過ぎる場合があり、内視鏡がもはや狭い空間に合わなくなり得るか、又は医療の実装形態で使用するときに妨害的若しくは侵襲的であり得る。内視鏡の遠位端は、非常に小さい状態を維持しなければならないので、遠位端に１つ又は２つ以上の画像センサを配置することは困難である。この方法に対する許容可能な解決策は、決して些末なものではなく、それ自体の一組の工学的課題をもたらすが、とりわけ、カラー撮像及び／又はハイパースペクトル撮像のためのセンサを非常に制限されたエリア内に収めなければならないという事実である。これは、従来のカメラの画素アレイが、ハイパースペクトル撮像に使用される他の波長帯域の追加的な画素センサと共に、赤色、緑色、及び青色の可視光帯域の各々について別々の画素センサを含む場合に特に困難である。内視鏡の遠位先端のエリアは、特に、Ｘ次元及びＹ次元において左右に限定され得るが、Ｚ次元における内視鏡チューブの長さに沿ってより多くの空間が存在する。

内視鏡の利点の多くは、内視鏡の遠位端の小型化によって生じるので、画像センサが遠位端に位置するときに、侵襲的な制約を画像センサエリアに課さなければならない。センサエリアに課されるこうした侵襲的な制約は、必然的に、画素アレイにより少ない及び／又はより小さい画素をもたらす。画素数の低減は、空間解像度に直接影響を及ぼす場合があり、一方で、画素面積の低減は、利用可能な信号容量及びそれによる画素の感度、並びに、画像品質を最大にするような画素数の最適化、最大画素品質及びピッチを使用した最低画素解像度を低減させる場合があり、よって、解像度が問題にならなくなり、並びに、各画素の信号対ノイズ比（signal to noise ratio、ＳＮＲ）を小さくする。信号容量を低下させることは、ダイナミックレンジを、即ち、広範囲の光度を有するシーンから全ての有用な情報を同時に捕捉する撮像装置又はカメラの能力を低下させる。イメージングシステムのダイナミックレンジを、それ自体のピクセルのダイナミックレンジを超えて拡張する、様々な方法が存在する。しかしながら、それらは全て（例えば、解像度又はフレーム率における）ある種類の損失を有し、極端な例において問題となる、望ましくないアーチファクトを取り込む恐れがあり得る。感度を低減することは、シーンのより暗い領域を容認可能な信号レベルにするために、より高い光のパワーを要する結果となる。Ｆ値を低くする（絞りを大きくする）ことで、感度の損失を補償することができるが、空間歪みが犠牲になり、焦点深度が浅くなる。

センサ業界では、相補型金属酸化膜半導体（complementary metal-oxide-semiconductor、「ＣＭＯＳ」）画像センサは、現代のカメラ用途において、従来の電荷結合素子（charge-coupled device、「ＣＣＤ」）画像センサの大部分を置き換えた。ＣＭＯＳ画像センサは、ＣＣＤ画像センサと比較して、統合性及び動作性がより容易で、画像品質がより優れているか又は同等であり、多様性がより高く、並びにコストがより低い。典型的には、ＣＭＯＳ画像センサは、画像情報をデジタルデータに変換するのに必要な回路を含むことができ、その後に組み込まれる様々なレベルのデジタル処理を有することができる。これは、例えば増幅器挙動の変動から生じ得る、非理想性を補正するための基礎アルゴリズムから、標準的な赤色−緑色−青色（ＲＧＢ）色空間、例えばカメラオンチップで映像データを提供する完全画像信号処理（image signal processing、ＩＳＰ）チェーンに及び得る。

内視鏡又は画像センサの制御ユニットは、画像センサから遠隔に位置することができ、また、画像センサからかなり離れた物理的距離とすることができる。制御ユニットがセンサから遠隔にある場合は、アナログデータストリームを送信することと比較したときに、干渉ノイズ及び信号劣化の影響をあまり受けないので、デジタルドメイン内でデータを送信することが望ましくなり得る。様々な電気デジタルシグナリング規格（例えばＬＶＤＳ（low voltage differential signaling、低電圧差動シグナリング）、サブＬＶＤＳ、ＳＬＶＳ（scalable low voltage signaling、スケーラブル低電圧シグナリング）、又は他の電気デジタルシグナリング規格を使用することができることが理解されるであろう。

電気伝導体の数を最小にして、センサ上の空間を消費しているパッドの数を低減させること、並びにセンサ製造の複雑さ及びコストを低減させることに対する強い願望が存在し得る。アナログ−デジタル変換のセンサへの追加が有利であり得るが、デジタル信号への初期の変換により必要とされるアナログバッファリング電力の相当な低減のため、変換回路が占める追加的な面積が相殺される。

面積の消費に関して、ＣＭＯＳ画像センサ（CMOS image sensor、ＣＩＳ）技術において利用可能な典型的な特徴サイズを考慮すると、いくつかの実装形態では、一組の制御レジスタ及び単純なコマンドインターフェースを介して、画素アレイと同じチップ上で全ての内部論理信号を生成させることが好ましくなり得る。

本開示のいくつかの実装形態は、高度に制御された照明環境において画素数を低減させた高解像度の撮像を可能にする、組み合わせたセンサ及びシステム設計の態様を含むことができる。これは、単一色の波長をフレーム単位でパルス化することによって、及び高フレーム捕捉速度と併せて制御光源を使用する単一の異なる色波長と、特別に設計された対応するモノクロセンサとの間で各フレームを切り替える又は交互にすることによって達成することができる。加えて、可視光スペクトルの外側の電磁放射線をパルス化して、ハイパースペクトル画像の生成を可能にすることができる。画素は、色認識不能であり得、よって、各画素は、ハイパースペクトル撮像に使用することができる他の波長と共に赤色、緑色、及び青色の可視光波長のパルスを含む、電磁放射線の各パルスのデータを生成することができる。

本明細書で使用される場合、モノクロセンサは、フィルタリングされていない撮像センサを指す。画素は、色認識不能（color agnostic）であるので、有効空間解像度は、従来の単一センサカメラにおけるそれらの色（通常、ベイヤーパターンでフィルタリングされる）相対物よりもかなり高い。画素はまた、個々の画素間で無駄になる入射光がはるかに少ないので、より高い量子効率も有し得る。更に、ベイヤーベースの空間色変調は、ベイヤーパターンと関連付けられた色アーチファクトをぼやけさせるために、付随する光学部品の変調伝達関数（modulation transfer function、ＭＴＦ）を単色の場合と比較して低下させることを必要とする。これは、色センサを用いて実現することができる、実際の空間分解能に対して悪影響がある。

本開示はまた、画像センサが内視鏡の遠位端に存在する、内視鏡用途に対するシステムの解決策に関する。最小面積のセンサベースのシステムを追求する際に、画素数の低減以外に、開発することができる他の設計態様が存在する。チップのデジタル部分の面積を最小にすることができる。加えて、チップ（パッド）への接続数も最小にすることもできる。本開示は、かかるシステムを実現するためのこれらの目標を達成する、新規な方法を記載する。このことは、いくつかの新規な特徴を備えたフルカスタムのＣＭＯＳ画像センサの設計に関与する。

本開示による原理の理解を促進する目的で、図面に示される実施形態をここで参照し、かつ特定の言語を使用してその図面を説明する。にもかかわらず、それにより、本開示の範囲の限定は意図されないことが理解されるであろう。本明細書に例示される本発明の特徴の任意の改変及び更なる修正、並びに本明細書に例示される本開示の原理の任意の追加の適用は、通常当業者に生じ、また本開示の所有は特許請求される開示の範囲内であると見なされる。

光不足環境において画像を生成するための構造、システム、及び方法を開示及び記載する前に、本開示は、本明細書で開示される特定の構造、構成、処理工程、及び材料がいくらか異なってもよいように、そのような構造、構成、処理工程、及び材料に限定されないことが理解されよう。また、本開示の範囲は添付の「特許請求の範囲」及びその同等物によってのみ制限されるため、本明細書で用いられる専門用語は特定の実施形態のみを記載する目的で使用され、制限であるとは意図されないことも理解されよう。

本開示の主題の記載及び特許請求において、以下の専門用語は、以下に示される定義に従って使用されるであろう。

本明細書及び添付の特許請求の範囲で使用する場合、単数形「ａ」、「ａｎ」、及び、「ｔｈｅ」は、前後の文脈により明確な指定がない限り、複数の参照部分を含むことに注意しなければならない。

本明細書で使用する場合、用語「含む（comprising）」、「包含する（including）」、「含有する（containing）」、「によって特徴づけられる（characterized by）」及びその文法的同等物は、更なる、記載されていない要素又は方法の工程を除外しない包括的、つまり、幅広い解釈ができる用語である。

本明細書で使用される場合、「からなる」という語句及びその文法的同等物は、「特許請求の範囲」で特定されない任意の要素又は工程を除外する。

本明細書で使用する場合、語句「から本質的になる」及びそれらの文法的同等物は、特定される材料又は工程、及び特許請求される開示の基本の及び新しい特徴又は複数の特徴に物質的に影響しないものに、特許請求の範囲の範囲を制限する。

本明細書で使用される場合、「近位」という用語は、原点に最も近い部分の概念を広範に指すものである。

本明細書で使用される場合、「遠位」という用語は、近位の反対、故に、文脈により、原点からより遠い部分又は最も遠い部分の概念を一般的に指すものである。

本明細書で使用される場合、色センサ又はマルチスペクトルセンサは、入射電磁放射線をその別々の構成要素内にフィルタをかけるように、その上にカラーフィルタアレイ（color filter array、ＣＦＡ）を有することが知られているセンサである。電磁スペクトルの視界では、かかるＣＦＡは、光の緑、赤、及び青スペクトル成分に分離するために、ベイヤーパターン上に構築してもよく、又はその修正物であってもよい。

以下、図１〜図５を参照して、光不足環境において画像を生成するためのシステム及び方法を以下に記載する。図１は、光不足環境において画像を生成する際に使用するための、動作中における一対のセンサ及び電磁エミッタの概略図を例示する。かかる構成は、光が制御された環境又は環境照明不足環境における機能を高めることを可能にする。

本明細書で使用されるとき、用語「光」は、粒子と波長の両方であり、画素アレイによって検出可能な電磁放射線を意味するものとし、電磁放射線の可視スペクトル及び非可視スペクトルの波長を含む場合があることに留意されたい。用語「隔壁」は、全体のスペクトル未満である電磁スペクトルの所定の範囲の波長、換言すれば、電磁スペクトルの部分を構成する波長を意味するように、本明細書において使用される。本明細書で使用する場合、エミッタは、その構成要素の物理特性、放出の強度、若しくは放出の持続時間、若しくは上記の全てに関して放出される又は動作し得る電磁スペクトルの一部分に関して制御可能であり得る、光源である。エミッタは、任意のディザ処理された、拡散された、又はコリメート化された発光型で光を放出することができ、またデジタル方式で、又はアナログ方法若しくはアナログシステムを介して制御され得る。本明細書で使用する場合、電磁エミッタは、電磁エネルギーの供給源であり、かつレーザ、ＬＥＤ、白熱光などの光源、又はデジタル制御され得る任意の光源を含む。

画像センサの画素アレイは、エミッタと電気的に対にされてもよく、それにより、それらは、動作中、双方の放出を受け取ることと、システム内部でなされた調整とに対して同期される。図１で見ることができるように、エミッタ１００は、レーザの形態で電磁放射線を放出するように調整することができ、これは、物体１１０を照明するためにパルス化され得る。エミッタ１００は、画素アレイ１２２の動作及び機能に対応する間隔でパルスすることができる。エミッタ１００は、複数の電磁隔壁１０５において光をパルスすることができ、よって、画素アレイは、電磁エネルギーを受信して、各特定の電磁隔壁１０５に（時間的に）対応するデータセットを生成する。例えば、図１は、画素アレイ（白黒）１２２及び支持回路を有するモノクロセンサ１２０を有するシステムを示し、画素アレイ１２２は、任意の波長の電磁放射線に対して感応性を有する。図に例示される光エミッタ１００は、赤色の電磁隔壁１０５ａ、青色の電磁隔壁１０５ｂ、及び緑色の電気隔壁１０５ｃを任意の所望の順序で放出することができる、レーザエミッタであってもよい。ハイパースペクトル画像を生成することができる一実施形態では、光エミッタ１００は、ハイパースペクトル画像を生成することができるように、電磁スペクトル内の任意の波長で電磁放射線をパルス化することができる。デジタル又はアナログベースのエミッタなどの他の光エミッタ１００が、本開示の範囲から逸脱することなく、図１において使用され得ることが理解されるであろう。

動作中に、任意の個々のパルスについてモノクロセンサ１２０によって作成されたデータには、特定の色又は波長隔壁を割り当てることができ、この割り当ては、エミッタ１００からパルス化された色又は波長隔壁のタイミングに基づく。画素１２２が色専用でない場合であっても、そうした画素には、エミッタに関する事前情報に基づいて、任意の所与のデータセットの色を割り当てることができる。

本開示の例示的な一実施形態では、エミッタ１００は、特殊化した波長で電磁放射線をパルス化する。かかるパルスは、特定の医療用途又は診断用途に特に適している特殊化したハイパースペクトル画像の生成を可能にすることができる。例示的な実施形態では、エミッタ１００は、５１３ｎｍ〜５４５ｎｍ、及び５６５ｎｍ〜５８５ｎｍ、及び９００ｎｍ〜１０００ｎｍの電磁放射線をパルス化する。

一実施形態では、赤、緑、及び青の電磁パルスを表す３つのデータセットが組み合わせられて、単一の画像フレームを形成し得る。他の波長隔壁を表す１つ又は２つ以上の追加的なデータセットは、赤色、緑色、及び青色パルスに基づく、単一の画像フレームに重ね合わせることができる。１つ又は２つ以上の追加的なデータセットは、例えば５１３ｎｍ〜５４５ｎｍ、及び５６５ｎｍ〜５８５ｎｍ、及び９００ｎｍ〜１０００ｎｍのパルスを表すことができる。１つ又は２つ以上の追加的なデータセットは、赤色、緑色、及び青色パルスに基づく単一の画像フレームに重ね合わせることができる蛍光撮像及び／又はハイパースペクトルを表すことができる。

本開示は、任意の特定の色の組み合わせ又は任意の特定の電磁隔壁に限定されず、かつ任意の色の組み合わせ又は任意の電磁隔壁は、赤、緑及び青の代わりに、シアン、マゼンタ、及びイエロー、紫外線、赤外線、前述の任意の組み合わせ、又は本開示の範囲から逸脱することなく全ての可視波長及び非可視波長を含む、任意のその他の色の組み合わせを使用し得る、と理解されよう。図では、撮像される物体１１０は、赤色部分１１０ａと、緑色部分１１０ｂと、青色部分１１０ｃと、を含む。図に示すように、電磁パルスからの反射光は、パルス化された色隔壁に対応する特定の色を有する物体の一部に対する、データのみを含有する。次いで、１３０において、これらの別々の色（又は色間隔）データセットを使用して、データセットを組み合わせることによって、画像を再構築することができる。

一実施形態では、電磁スペクトルに沿った追加的な波長隔壁と共に、赤色、緑色、及び青色電磁パルスを表す複数のデータセットを組み合わせて、ＲＧＢ画像に重ね合わせたハイパースペクトル画像データを伴うＲＧＢ画像を有する単一の画像フレームを形成することができる。用途又は場合に応じて、波長データセットの異なる組み合わせが望ましくなり得る。例えば、いくつかの実装形態では、特定の波長隔壁を表すデータセットを使用して特定の医療状態の診断、特定の身体組織の調査、などを行うための、特殊化したハイパースペクトル画像を生成することができる。

図２に例示されるように、本開示の実施態様では、下で詳細に考察されるように、例えば、１つ又は２つ以上のプロセッサ及びシステムメモリなどのコンピュータハードウェアを含む、専用又は汎用コンピュータを備えること又は利用することができる。本開示の範囲内の実施態様はまた、コンピュータ実行可能な命令及び／又はデータ構造を支持つまり記憶する、物理的媒体及び他のコンピュータ可読媒体を含み得る。このようなコンピュータ可読媒体は、汎用又は専用コンピュータシステムによりアクセス可能な、任意の入手可能な媒体であってもよい。コンピュータ実行可能な命令を記憶するコンピュータ可読媒体は、コンピュータストレージ媒体（装置）である。コンピュータ実行可能な命令を支持するコンピュータ可読媒体は、伝送媒体である。したがって、限定されない例として、本開示の実施態様では、少なくとも２つの明確に異なる種類のコンピュータ読み取り可能媒体、即ちコンピュータストレージ媒体（装置）と伝送媒体とを含むことができる。

コンピュータストレージ媒体（装置）としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ソリッドステートドライブ（「solid state drive、ＳＳＤ」）（例えば、ＲＡＭ対応）、フラッシュメモリ、相変化メモリ（「phase-change memory、ＰＣＭ」）、その他の形式のメモリ、他の光ディスクストレージ、磁気ディスクストレージ、又は、他の磁気ストレージ装置、又は、コンピュータ実行可能な命令又はデータ構造の形である所望のプログラムコード手段を記憶するために使用することができ、かつ、汎用又は専用コンピュータによりアクセス可能な任意のその他の媒体が挙げられる。

「ネットワーク」は、コンピュータシステム及び／又はモジュール及び／又は他の電子機器間の電子データの転送を可能にする１つ以上のデータリンクとして定義される。一実装態様では、センサ及びカメラ制御ユニットは、互いに、及びそれらが接続されたネットワークを通じて接続された他の構成要素と通信するようにネットワーク化することができる。情報がコンピュータにネットワーク上で又は別の通信接続（配線接続、無線、又は、配線接続若しくは無線の組み合わせのいずれか）で転送、又は提供される場合、コンピュータは、接続を伝送媒体として適切にとらえる。伝送媒体は、コンピュータ実行可能命令又はデータ構造の形態の所望のプログラムコード手段を伝えるのに使用可能で、かつ汎用又は専用コンピュータによりアクセス可能なネットワーク及び／又はデータリンクを含むことができる。上記の組み合わせはまた、コンピュータ可読媒体の範囲内に含まれるべきである。

更に、様々なコンピュータシステムの構成要素に到達すると、伝送媒体からコンピュータストレージ媒体（装置）まで（逆もまた同様）自動的に転送することができる、コンピュータ実行可能命令又はデータ構造の形態のプログラムコード手段。例えば、ネットワーク又はデータリンク上で受信されたコンピュータ実行可能な命令又はデータ構造は、ネットワークインターフェースモジュール（例えば、「ＮＩＣ」）内でＲＡＭにおいてバッファリングされ、その後、最終的には、コンピュータシステムＲＡＭ及び／又はコンピュータシステムでの揮発性が小さいコンピュータストレージ媒体（装置）に転送することができる。また、ＲＡＭとしては、ソリッドステートドライブ（ＦｕｓｉｏｎＩＯなど、ＳＳＤ又はＰＣＩｘ対応実時間メモリ階層型ストレージ）を挙げることができる。したがって、コンピュータストレージ媒体（装置）は、伝送媒体をも利用する（又は主に利用する場合もある）コンピュータシステムの構成要素に含まれ得る、と理解するべきである。

コンピュータ実行可能な命令は、例えば、プロセッサにおいて実行された場合に、汎用コンピュータ、専用コンピュータ、又は専用処理装置に、特定の機能又は機能グループを実行させる命令及びデータを含む。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、又はソースコードであってもよい。主題を構造上の特徴及び／又は方法の行為に特有の言語で記載してきたが、添付の特許請求の範囲内で定義する主題が必ずしも記載した特徴、又は、先述した行為に限定されるというわけではないことを理解するべきである。むしろ、記載した特徴及び行為は、本開示を実行するという代表的な形態として開示される。

当業者であれは、本開示が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、携帯用装置、ハンドピース、マルチプロセッサシステム、マイクロプロセッサ対応又はプログラマブル大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ポケットベル、ルータ、スイッチ、様々なストレージ装置などを含め、多くの形式のコンピュータシステム構成を有するネットワークコンピューティング環境において実践され得ることを、理解するであろう。上述したコンピューティング装置のいずれかは、ブリックアンドモルタル（brick and mortar）位置により提供され得る、又はブリックアンドモルタル位置内に位置され得ることに留意されるべきである。本開示は、また、ネットワークを介して（配線接続データリンク、無線データリンク、又は、配線接続データリンク及び無線データリンクの組み合わせのいずれかにより）結び付けられるローカル及びリモートコンピュータシステムが、両方ともタスクを実行する分散システム環境において、実践され得る。分布システム環境では、プログラムモジュールは、ローカル及びリモートメモリストレージ装置の両方に位置してもよい。

更に、適切な場合、本明細書に記載される機能を、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの１つ以上で実行することができる。例えば、１つ以上の特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、又は、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）は、本明細書にて記載するシステム及び手順の１つ以上を実行するように、プログラムすることができる。特定の用語が、特定のシステム構成要素を指すために以下の記述及び特許請求の範囲を通して使用される。当業者には理解されるように、構成要素を異なる名称により称している場合がある。本明細書では、名称が異なるが機能は異ならない構成要素を区別することは、意図していない。

図２は、例示的なコンピューティング装置１５０を例示するブロック図である。コンピューティング装置１５０は、本明細書で考察される手順などの、様々な手順を実行するために使用することができる。コンピューティング装置１５０は、サーバ、クライアント、又は任意の他のコンピューティングエンティティとして機能することができる。コンピューティング装置１５０は、本明細書で考察されるような様々なモニタリング機能を行うことができ、本明細書に記載されるアプリケーションプログラムなどの１つ又は２つ以上のアプリケーションプログラムを実行することができる。コンピューティング装置１５０は、デスクトップコンピュータ、ノートブックコンピュータ、サーバコンピュータ、携帯用コンピュータ、カメラ制御ユニット、タブレットコンピュータなどの、多種多様な種類のコンピューティング装置のいずれかとすることができる。

コンピューティング装置１５０はと、１つ又は２つ以上のプロセッサ１５２と、１つ又は２つ以上の記憶装置１５４と、１つ又は２つ以上のインターフェース１５６と、１つ又は２つ以上の大容量ストレージ装置１５８と、１つ又は２つ以上の入力／出力（Ｉ／Ｏ）装置１６０と、表示装置１８０と、を含み、これらは全てバス１６２に連結される。プロセッサ（複数可）１５２は、記憶装置（複数可）１５４及び／又は大容量ストレージ装置（複数可）１５８に記憶された命令を実行する、１つ又は２つ以上のプロセッサ又はコントローラを含む。プロセッサ（複数可）１５２はまた、キャッシュメモリなどの様々な種類のコンピュータ可読媒体も含むことができる。

記憶装置（複数可）１５４としては、揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）１６４）及び／又は不揮発性メモリ（例えば、リードオンリーメモリ（read-only memory、ＲＯＭ）１６６）などの、様々なコンピュータ可読媒体が挙げられる。記憶装置（複数可）１５４としてはまた、フラッシュメモリなどのリライタブルＲＯＭも挙げることができる。

大容量ストレージ装置（複数可）１５８としては、磁気テープ、磁気ディスク、光ディスク、ソリッドステートメモリ（例えば、フラッシュメモリ）などの、様々なコンピュータ可読媒体が挙げられる。図２に示されるように、特定の大容量ストレージ装置は、ハードディスクドライブ１７４である。様々なドライブもまた、様々なコンピュータ可読媒体からの読み出し、及び／又はコンピュータ可読媒体への書き込みを可能にするために、大容量ストレージ装置（複数可）１５８に含まれ得る。大容量ストレージ装置（複数可）１５８は、取り外し可能な媒体１７６及び／又は取り外し不可能な媒体を含む。

Ｉ／Ｏ装置（複数可）１６０としては、コンピューティング装置１５０に対するデータ及び／又は他の情報の入力又は検索を可能にする、様々な装置が挙げられる。例示的なＩ／Ｏ装置（複数可）１６０としては、デジタル撮像装置、電磁センサ及びエミッタ、カーソル制御装置、キーボード、キーパッド、マイクロホン、モニタ若しくは他の表示装置、スピーカ、プリンタ、ネットワークインターフェースカード、モデム、レンズ、ＣＣＤ、又は他の画像捕捉装置、などが挙げられる。

表示装置１８０としては、情報をコンピューティング装置１５０の１人又は２人以上のユーザに表示することができる、任意の種類の装置が挙げられる。表示装置１８０の例としては、モニタ、ディスプレイ端子、ビデオ投影装置、などが挙げられる。

インターフェース（複数可）１０６としては、コンピューティング装置１５０が、他のシステム、装置、又はコンピューティング環境と相互作用することを可能にする、様々なインターフェースが挙げられる。例示的なインターフェース（複数可）１５６は、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、無線ネットワーク、及びインターネットに対するインターフェースなどの、任意の数の異なるネットワークインターフェース１７０を含むことができる。他のインターフェース（複数可）としては、ユーザインターフェース１６８及び周辺装置インターフェース１７２が挙げられる。インターフェース（複数可）１５６はまた、１つ又は２つ以上のユーザインターフェース要素１６８も含むことができる。インターフェース（複数可）１５６はまた、プリンタ、ポインティング装置（マウス、トラックパッド、など）、キーボード、などの１つ又は２つ以上の周辺機器インターフェースも含むことができる。

バス１６２は、プロセッサ（複数可）１５２、記憶装置（複数可）１５４、インターフェース（複数可）１５６、大容量ストレージ装置（複数可）１５８、及びＩ／Ｏ装置（複数可）１６０が、互いに、並びにバス１６２に連結された他の装置又は構成要素と通信することを可能にする。バス１６２は、システムバス、ＰＣＩバス、ＩＥＥＥ１３９４バス、ＵＳＢバス、などの、いくつかの種類のバス構造のうちの１つ又は２つ以上を表す。

例示を目的として、プログラム及び他の実行可能プログラム構成要素は、本明細書で個別的なブロックとして示されるが、かかるプログラム及び構成要素は、コンピューティング装置１５０の異なるストレージ構成要素内に様々な時間に常駐させることができること、及びプロセッサ（複数可）１５２によって実行されることが理解される。あるいは、本明細書で記載するシステム及び手順は、ハードウェア、又は、ハードウェア、ソフトウェア及び／又はファームウェアの組み合わせで実装され得る。例えば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、又は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）は、本明細書にて記載するシステム及び手順の１つ以上を実行するように、プログラムすることができる。

図２Ａは、ローリング読み出しモードで、又はセンサ読み出し２００中に使用されるセンサの動作サイクルを例示する。フレーム読み出しは、垂直線２１０によって表され得、そこで開始され得る。読み出し期間は、対角線又は斜線２０２によって表される。センサは、行単位で読み出すことができ、下向きの斜縁の最上部は、センサ最上行２１２であり、下向きの斜縁の最下部は、センサ最下行２１４である。最後の行の読み出しと次の読み出しとのサイクル間の時間は、ブランキング時間２１６と称され得る。センサ画素行のうちのいくつかは、遮光（例えば、金属コーティング又は任意の他の、別の種類の材料の実質的黒の層）で覆われ得ることに、留意されたい。これらの覆われた画素行は、光学的黒の行２１８及び２２０と称され得る。光学的黒の行２１８及び２２０は、補正アルゴリズムのための入力として使用することができる。図２Ａに示されるように、これらの光学的黒の行２１８及び２２０は、画素アレイの最上部、又は画素アレイの最下部、又は画素アレイの最上部及び最下部に位置することができる。図２Ｂは、画素に対して露光され、それにより、画素によって積分又は蓄積される電磁放射線、例えば光、の量を制御するプロセスを例示する。光子は、電磁放射線の素粒子であることが理解されよう。光子は、各画素により統合、吸収、又は蓄積され、電荷又は電流に変換される。電子シャッタ又はローリングシャッタ（破線２２２で示される）は、画素をリセットすることによって積分時間を開始するために使用することができる。次に、光は、次の読み出し段階まで統合し得る。電子シャッタ２２２の位置は、光の所与の量に対する画素飽和を制御するために、２つの読み出しサイクル２０２の間に移動し得る。この技法は、２つの異なるラインの間で一定の積分時間を可能にするが、最上行から最下行に移動する場合に遅延を生じることに留意されたい。図２Ｃは、電子シャッタ２２２が取り外れた場合を例示する。この構成では、入射光の積分を読み出し２０２中に開始することができ、次の積分の開始も定義する次の読み出しサイクル２０２で終了することができる。図２Ｄは、電子シャッタ２２２を有しないが、ブランキング時間２１６中に制御及びパルス化された光２３０を有する構成を示す。これは、全ての行が、同じ光パルス２３０から発せられた同じ光を見ることを確実にする。換言すれば、各行は、最大光パルス幅に対して読み出しフレーム（ｍ）の光学的黒の後行２２０にあり得る、暗い環境においてその積分を開始することができ、次いで、光ストロボを受光し、そして、最大光パルス幅に対して次に続く読み出しフレーム（ｍ＋１）の光学的黒の前行２１８にあり得る、暗い環境においてその積分を終了することができる。図２Ｄの実施例では、光パルスから生成された画像は、フレーム（ｍ）及び（ｍ＋２）とのいかなる干渉も伴うことなく、フレーム（ｍ＋１）の読み出し中にのみ利用可能である。１つのフレームにおいてのみ読み出され、かつ隣接するフレームと干渉しない光パルスを有する条件が、ブランキング時間２１６中に、所与の光パルスの発射を有することに留意されたい。光学的黒の列２１８、２２０は、光に対して非感応性であるので、フレーム（ｍ）の光学的黒の後行２２０及びフレーム（ｍ＋１）の光学的黒の前行２１８をブランキング時間２１６に追加して、光パルス２３０の発射時間の最大範囲を決定することができる。図２Ａに例示されるように、センサは、各パルス化された色又は波長（例えば、電磁スペクトル上の赤色、緑色、青色、又は他の波長）のデータを受信するために、何度もサイクルさせることができる。各サイクルは、時間調整され得る。ある実施形態では、サイクルは、１６．６７ｍｓの間隔内で動作するように時間調整され得る。別の実施形態では、サイクルは、８．３ｍｓの間隔内で動作するように時間調整され得る。その他の時間間隔が本開示で企図され、かつ本開示の範囲内であると意図されることが、理解されよう。

図３は、電磁エミッタの実施形態の動作をグラフ様式に例示する。エミッタは、センサのサイクルに対応するように時間を決めることができるので、電磁放射線はセンサ動作サイクル内及び／又はセンサ動作サイクルの一部の間で放出される。図３は、３０２におけるパルス１、３０４におけるパルス２、及び３０６におけるパルス３を例示する。一実施形態では、エミッタは、センサ動作サイクルの読み出し部分２０２中に、パルス化することができる。一実施形態では、エミッタは、センサ動作サイクルのブランキング部分２１６中に、パルス化することができる。一実施形態では、エミッタは、２つ以上のセンサ動作サイクルの部分中の持続時間に、パルスを発生させることができる。一実施形態では、エミッタは、ブランキング部分２１６中に、又は読み出し部分２０２の光学的黒の部分２２０中に、パルスを開始することができ、また、読み出し部分２０２中に、又は次に続くサイクルの読み出し部分２０２の光学的黒の部分２１８中に、パルスを終了させることができる。上記の任意の組み合わせは、エミッタのパルスとセンサのサイクルが一致する限り、本開示の範囲内に該当するように意図される、と理解されるであろう。

図４は、露光を制御するための、放出された電磁パルスの持続時間及び振幅の変動（例えば、４０２におけるパルス１、４０４におけるパルス２、及び４０６におけるパルス３）をグラフ様式に表す。一定の出力振幅を有するエミッタは、必要とされる電磁エネルギーを画素アレイに提供するための間隔で、図２Ｄ及び図３を参照して上述したサイクルのいずれかの間に、パルス化され得る。一定の出力振幅を有するエミッタは、より長い間隔でパルス化することにより、より大きな電磁エネルギーを画素に付与し得る、又は、本エミッタは、より短い間隔でパルス化することにより、より小さい電磁エネルギーを付与し得る。長い間隔か、又は短い間隔が必要かどうかは、動作条件に依存する。

エミッタが一定の出力振幅をパルス化する時間間隔を調整するのとは対照的に、放出自体の振幅は、より多くの電磁エネルギーを画素に提供するように増加させることができる。同様に、パルスの振幅を縮小させると、より小さい電磁エネルギーが画素に与えられる。システムの一実施形態は、所望であれば、振幅及び持続時間の両方を同時に調整する能力を有することができることに、留意されたい。また、センサは、最適な画像品質に対し所望の感度及び持続時間を増加させるように、調整され得る。図４は、パルスの振幅及び持続時間を変化させることを示す。図では、４０２におけるパルス１は、４０４におけるパルス２又は４０６におけるパルス３のいずれよりも大きい振幅又は強度を有する。加えて、４０２におけるパルス１は、４０４におけるパルス２又は４０６におけるパルス３よりも短い持続時間を有し、これにより、パルスによって提供される電磁エネルギーは、図に示されるパルスの下のエリアによって例示される。図では、４０４におけるパルス２は、４０２におけるパルス１又は４０６におけるパルス３のいずれかと比較した場合に、比較的小さい振幅又は強度及びより長い持続時間を有する。最後に、図では、４０６におけるパルス３は、４０２におけるパルス１及び４０４におけるパルス２と比較した場合に、中間的な振幅又は強度及び持続時間を有する。

図５は、本開示の原理及び教示に従って、図２〜図４の動作サイクル、電磁エミッタ、及び放出された電磁パルスを組み合わせて、動作中の撮像システムを実証する、本開示の実施形態のグラフィカル表現を示す。図に見られるように、電磁エミッタは、主にセンサのブランキング期間２１６中に放出をパルス化し、これにより、センササイクルの読み出し部分２０２中に画素が充電され、読み出し準備が整う。パルスにおける破線部分（図３から）は、電磁エネルギーをパルス化するために追加の時間が必要である、又は所望される場合に、読み取りサイクル（センササイクル）２００の光学的黒の部分２２０及び２１８中に電磁エネルギーを放出する潜在力又は能力を例示する。

以下、図６〜図９Ａを参照すると、図６は、全スペクトル光及び分割スペクトル光のビデオフレームを記録するための、ｔ（０）〜ｔ（１）の期間にわたる２つの異なるプロセスの概略図を示す。色センサは、全スペクトル光受信に一般的に使用される画素当たりの特定の波長の光をフィルタリングするための、カラーフィルタアレイ（ＣＦＡ）を有することに、留意されたい。ＣＦＡの例は、ベイヤーパターンである。色センサが全スペクトル内から単一の色に感応的に作られた配列内の画素を含み得る故に、画素アレイが、全スペクトル内の単一の光のみに専用の画素空間を有するため、低解像度の画像結果が得られる。通常、このような配設は、配列全体にわたって、チェッカーボード型パターンにて形成される。

対照的に、光の分割されたスペクトルが使用される場合、各サイクルにおける電磁エネルギーの全スペクトルの所定の隔壁から電磁エネルギーを感知するように画素アレイが指示される故に、全ての光エネルギーの振幅に感応性であり得る又は応答し得るセンサを、作製することができる。したがって、画像を形成するために、センサは、光の全スペクトル内から複数の異なる隔壁でのみで循環され、また次に、画像を再組み立てして、配列中の全ての画素に対する、色値の所定の混合を表示することが、必要となる。したがって、色パルスの各々について、同じ色感度の画素中心間のベイヤーセンサと比較して、距離が低減されているため、より高解像度の画像も提供される。その結果、形成された有色画像は、より高い変調伝達関数（ＭＴＦ）を有する。各色分割フレームサイクルからの画像がより高い解像度を有する故に、分割された光フレームがフルカラーフレームに統合された場合に生成される結果として生じる画像もまた、より高い解像度を有する。換言すれば、配列内の全ての画素（多くても、カラーフィルタを伴うセンサ内の全ての第２の画素の代わりである）は、所与のパルス及び所与の場面のためのエネルギーの振幅を感知する故に、ほんの少しの個別の時間だけ、導入される必要がある、より少なく得られた（正確性がより劣る）データを用いて各場面に対し高い解像度の画像が作製される。

例えば、白色光又は全スペクトル可視光は、赤色光、緑色光、及び青色光の組み合わせである。図６に示される実施形態では、分割スペクトルプロセス６２０及び全スペクトルプロセス６１０の両方において、画像を捕捉する時間が、ｔ（０）〜ｔ（１）であることを見ることができる。全スペクトルプロセス６１０では、６１２において、白色光又は全スペクトル電磁エネルギーが放出される。６１４において、白色又は全スペクトルの電磁エネルギーが感知される。６１６において、画像が処理され、かつ表示される。したがって、時間ｔ（０）とｔ（１）との間で、画像が処理され、かつ表示される。反対に、分割スペクトルプロセス６２０では、６２２において、第１の隔壁が放出され、６２４において、感知される。６２６において、第２の隔壁が放出され、次いで、６２８において、感知される。６３０において、第３の隔壁が放出され、次いで、６３２において、感知される。６３４において、画像が処理され、かつ表示される。白色光サイクルよりも少なくとも２倍速い画像センササイクルを使用する任意のシステムは、本開示の範囲内に含まれることが意図される、と理解されよう。

図６に示される実施形態では、時間ｔ（０）とｔ（１）との間でグラフ様式に見ることができるように、分割スペクトルシステム６２０のセンサは、全スペクトルシステムの１つごとに３回サイクルしている。分割スペクトルシステム６２０では、３つのセンササイクルの第１は、緑色スペクトル６２２及び６２４に関するものであり、３つのうちの第２は、赤色スペクトル６２６及び６２８に関するものであり、第３は、青色スペクトル６３０及び６３２に関するものである。したがって、表示装置（ＬＣＤパネル）が毎秒５０〜６０フレームで動作する一実施形態では、分割された光システムは、表示された映像の連続性及び平滑性を維持するために、毎秒１５０〜１８０フレームで動作するべきである。

他の実施形態では、異なる捕捉及びディスプレイフレーム速度が存在し得る。更に、平均捕捉速度は、ディスプレイ速度の任意の倍数であってもよい。

一実施形態では、全ての隔壁がシステムフレーム速度内で等しく表されないことが望ましい場合がある。換言すれば、ユーザが望むように記録された場面の態様を強調し、また強調しないようにするために、全ての光源が同じ規則性でパルス化されなければならない。また、電磁スペクトルの非可視隔壁及び可視隔壁は、システム内で一緒にパルス化されてもよく、それらのそれぞれのデータ値は、ユーザに表示するために所望される際に、映像出力へとステッチされていることも、理解されたい。

一実施形態は、以下のようなパルスサイクルパターンを含んでもよい。
ｉ．緑色パルス、
ｉｉ．赤色パルス、
ｉｉｉ．青色パルス、
ｉｖ．緑色パルス、
ｖ．赤色パルス、
ｖｉ．青色パルス、
ｖｉｉ．赤外線（infra-red、ＩＲ）パルス、
ｖｉｉｉ．（繰り返し）

実施例に見ることができるように、赤外線隔壁又は特殊な波長隔壁（例えば、５１３〜５４５ｎｍ、５６５〜５８５ｎｍ、及び／又は９００〜１００ｎｍ）は、他の隔壁パルスの速度と異なる速度でパルス化することができる。これは、場面の特定の態様を強調するために行われてもよく、ＩＲデータは、単に映像出力におけるその他のデータと重ねられて、所望の強調を行うことができる。赤色、緑色、及び青色隔壁の頂部への電磁隔壁の追加は、全ての隔壁をパルスパターン内に等しく表す必要がないので、シリアル化されたシステムが、全スペクトルの非シリアルシステムの速度の４倍で動作することを必ずしも必要としないことに留意されたい。本実施形態に見られるように、パルスパターン（上記の実施例では赤外線）がより少なく表される隔壁パルスの追加は、不規則な隔壁サンプリングに適応するために、センサのサイクル速度の２０％未満の増加をもたらし得る。

様々な実施形態では、パルスサイクルパターンは、任意の好適な順序で、以下の波長のいずれかを含むことができる。かかる波長は、マルチスペクトル画像データ若しくはハイパースペクトル画像データを決定するのに、又は蛍光試薬緩和放出に基づいて画像データを決定するのに特に適し得る。
ｉ．４６５±５ｎｍ、
ｉｉ．５３３±４ｎｍ、
ｉｉｉ．６３８±５ｎｍ、
ｉｖ．７８０±５ｎｍ、
ｖ．８０５±５ｎｍ、
ｖｉ．９７５±５ｎｍ、
ｖｉｉ．５７７±２ｎｍ、又は
ｖｉｉｉ．５２３±４ｎｍ。

一実施形態では、場面の態様を強調するために使用される染料又は材料に感応的な電磁隔壁が放出されてもよい。本実施形態では、高解像度を必要とせずに、染料又は材料の位置を強調するのに十分であり得る。かかる一実施形態では、染料感受性電磁隔壁は、強調されたデータを含むために、システム内の他の隔壁よりもはるかに少ない頻度でサイクルさせることができる。

隔壁サイクルは、様々な撮像及び映像基準に対応する、又は近似するように分割されてもよい。一実施形態では、下で図７Ａ〜図７Ｄにおいて最良に例示されるように、隔壁サイクルは、赤色、緑色、青色スペクトルの電磁エネルギーのパルスを含むことができる。図７Ａでは、灰色の垂直破線によって示される動作範囲内で光パルスの幅又は持続時間を調整することによって、異なる光強度が達成されている。図７Ｂでは、光電力又はレーザエミッタ又はＬＥＤエミッタであり得る電磁エミッタの電力は調整するが、パルス幅又は持続時間は一定に保つことによって、異なる光強度が達成されている。図７Ｃは、光電力及び光パルス幅がどちらも調整されている場合を示し、これは、より大きい柔軟性につながる。隔壁サイクルは、画像を生成するために、又は現在知られている、若しくは更に開発される所望のビデオ規格に近づけるために必要とされる、可視パルス源及び任意の他の色空間と混合された不可視パルス源を使用するＣＭＹ、ＩＲ、及び紫外線を使用することができる。また、システムは、色空間の間をオンザフライで切り替えて、所望の画像出力品質を提供することが可能であり得ることが理解されるべきである。

色空間、緑色−青色−赤色（図７Ｄに見られる）を使用する実施形態では、ユーザは、概して、光の色の違いよりも光の振幅の違いに対して感応性であるので、クロミナンス成分よりも頻繁に輝度成分をパルス化することを望み得る。この原理は、図７Ｄに例示されるように、モノクロセンサを使用して利用することができる。図７Ｄでは、最も多くの輝度情報を含む緑色は、輝度データを得るために、（Ｇ−Ｂ−Ｇ−Ｒ−Ｇ−Ｂ−Ｇ−Ｒ．．．）スキームにおいて、より頻繁に又はより大きい強度でパルス化され得る。かかる構成は、感知できないデータを作成及び送信することなく、感知可能なより多くの詳細を有するビデオストリームを作成する。

一実施形態では、より弱いパルスのために調整された出力を生成するために、より弱い隔壁のパルスを複製することが使用され得る。例えば、青色レーザ光は、シリコンベースの画素の感度と比較して弱いと考えられ、また、赤色光又は緑色光と比較して生成することが難しく、したがって、光の弱さを補償するために、フレームサイクル中により頻繁にパルス化され得る。これらの追加的なパルスは、連続して経時的に、又は所望の補償効果を生成するために同時にパルス化する複数のレーザを使用することによって行うことができる。ブランキング期間（センサが画素アレイを読み出していない時間）中にパルス化することによって、センサは、同じ種類のレーザの違い／ミスマッチに対して非感応性であり、単に、所望の出力のための光を蓄積することに留意されたい。別の実施形態では、最大光パルス範囲は、フレーム間で異なり得る。これを図７Ｅに示し、光パルスは、フレーム間で異なる。センサは、２つ、又は３つ、又は４つ、又はｎ個のフレームの繰り返しパターンによって、異なるブランキング時間をプログラムすることができるように構築することができる。図７Ｅでは、４つの異なる光パルスが例示され、パルス１は、例えばパルス４の後に繰り返すことができ、また、異なるブランキング時間を有する４つのフレームのパターンを有することができる。この技法を使用して、最も小さいブランキング時間に対して最も強力な隔壁を配置し、したがって、最も弱い隔壁が、読み出し速度を高める必要性を伴うことなく、次のフレームのうちの１つに、より広いパルスを有することを可能にすることができる。再構築されたフレームは、多くのパルス化されたフレームで構成されたときに、それでもフレーム間の規則的なパターンを有することができる。

図８に見ることができるように、各分割された範囲の光が異なるエネルギー値を有することができるので、センサ及び／又は光エミッタは、エネルギー値の違いを補償するように調整することができる。８１０において、前フレームからのヒストグラムから取得したデータを解析することができる。８２０において、下述するように、センサを調整することができる。加えて、８３０において、エミッタを調整することができる。８４０において、画像を、調整されたサンプリング時間にセンサから取得することができ、又は画像を、調整された（増加又は減少させたのいずれか）放出光によって、又は上記の組み合わせによって得ることができる。例えば、赤色光スペクトルは、システム内のセンサによって青色光スペクトルよりも容易に検出されるので、センサは、シリコンに関して青色隔壁が有する量子効率が低いので、赤色隔壁サイクル中には感応性が低くなるように、及び青色隔壁サイクル中には感応性がより高くなるように調整することができる（図９に最良に例示される）。同様に、エミッタは、調整された隔壁（例えば、より高い又はより低い強度及び持続時間）を提供するように調整することができる。更に、調整は、センサレベル及びエミッタレベルの両方において行うことができる。エミッタはまた、１つの特定の周波数で放出するように設計することもでき、又は特定の用途のために所望される場合に、特定の隔壁の複数周波数を放出して、放出されている光のスペクトルを広げるように変更することもできる。

図１０は、非共有４Ｔ画素の概略図を示す。ＴＸ信号は、フォトダイオード（photo diode、ＰＰＤ）からフローティングディフュージョン（floating diffusion、ＦＤ）に蓄積電荷を転送するために使用される。リセット信号は、ＦＤをリセットバスにリセットするために使用される。リセット信号及びＴＸ信号が同時に「オン」になった場合は、ＰＰＤが常にリセットされ（ＰＰＤにおいて生成される各光電荷が、リセットバスにおいて直接収集される）、ＰＰＤは常に空である。通常の画素アレイの実装形態は、１つの行内の全ての画素のリセット信号を添付する水平リセットラインと、１つの行内の全ての画素のＴＸ信号を添付する水平ＴＸラインと、を含む。

一実施形態では、センサ感度調整のタイミングが例示され、センサ感度の調整は、グローバルリセット機構（すなわち、同時に全ての画素アレイリセット信号を発射する手段）及びグローバルＴＸ機構（すなわち、同時に全ての画素アレイＴＸ信号を発射する手段）を使用して達成することができる。これを図１１に示す。この場合、光パルスは、持続時間及び振幅が一定であるが、全ての画素内で積分された光は、グローバルＴＸの「オン」から始まり、「オフ」に移行し、そして、光パルスによって終了する。したがって、変調は、グローバルＴＸパルスの立ち下がりエッジを移動させることによって達成される。

反対に、エミッタは、青色光よりも小さい強度で赤色光を放出して、適正に露光された画像（図１２に最良に例示される）を生成することができる。１２１０において、前フレームからのヒストグラムから取得したデータを解析することができる。１２２０において、エミッタを調整することができる。１２３０において、調整された放射光から画像を取得することができる。加えて、一実施形態では、エミッタ及びセンサは、同時に調整することができる。

いくつかの実施形態では、後の出力のために、分割スペクトルフレームを全スペクトルフレームに再構築することは、アレイ内の各画素について感知値をブレンドするのと同程度に単純であり得る。加えて、値のブレンド及び混合は、単純な平均とすることができ、又は所望の出力のために、値の所定のルックアップテーブル（lookup table、ＬＵＴ）に調整することができる。分割光スペクトルを使用したシステムの一実施形態では、感知値は、事前に処理するか、又は遠隔で、画像若しくは二次プロセッサによって、及びディスプレイに出力される直前に、センサから遠隔で更に精緻化することができる。

図１３は、モノクロＩＳＰの１３００における基本的な実施例、及びＩＳＰチェーンが、Ｇ−Ｒ−Ｇ−Ｂ光パルス化スキームで得られる生センサデータからｓＲＧＢ画像順序を生成する目的で、どのように組み立てることができるか、を例示する。

第１の段階は、補正を行って（図１３の１３０２、１３０４、及び１３０６を参照されたい）、生データドメイン（図２１を参照されたい）において機能するのに最も適切であるセンサ技術における任意の非理想性を補償することに関する。

次の段階において、各最終フレームが３つの生フレームからデータを導出してから、２つのフレーム（図１３の１３０８及び１３１０を参照されたい）をバッファリングする。１３１４において、現在のフレーム及び２つのバッファリングしたフレーム（１３０８及び／又は１３１０）からのサンプリングデータによって、フレームの再構成を始める。再構築プロセスは、線形ＲＧＢ色空間の全カラーフレームをもたらす。

この実施例では、１３２４でのその後のエッジ強調のために、１３２２においてＹＣｂＣｒ空間に変換する前に、１３１８でのホワイトバランス係数及び１３２０での色補正マトリックスが適用される。該当する場合は、１３２４でのエッジ強調の後に、１３２８においてスケーリングするために、１３２６において画像が線形ＲＧＢに逆に変換される。

最後に、１３３０において、ガンマ伝達関数が適用されて、１３３２において、データをｓＲＧＢドメインに翻訳する。

図１４は、色融合ハードウェアの一実施形態の実施例である。１４０２において、色融合ハードウェアが、ＲＧＢＧＲＧＢＧＲＧＢＧビデオデータストリームを取り、１４０５において、それを並列ＲＧＢビデオデータストリームに変換する。入力側のビット幅は、例えば、１色あたり１２ビットであり得る。本実施例の出力幅は、１画素あたり３６ビットである。他の実施形態は、異なる初期ビット幅、及び出力幅の３倍の数を有し得る。１４０２において、メモリライタブロックがその入力としてＲＧＢＧビデオストリームを取り、１４０４において、各フレームをその正しいフレームメモリバッファに書き込む（メモリライタは、レーザ光源を動作させる同じパルス発生器１４１０をトリガする）。１４０４に例示されるように、メモリへの書き込みは、赤色、緑色１、青色、緑色２、そして、赤色を再度開始するパターンに従う。１４０６において、メモリリーダが３つのフレームを同時に読み出して、ＲＧＢ画素を構築する。各画素は、個々の色成分のビット幅の３倍である。１４１０において、リーダがレーザパルス発生器もトリガする。リーダは、赤色、緑色１、及び青色フレームが書き込まれるまで待機し、次いで、それらの読み出しに進み、一方で、ライタは、緑色２の書き込みを続け、そして、赤色を再度開始する。赤色が完了すると、リーダは、青色、緑色２、及び赤色からの読み出しを開始する。このパターンは、無制限に続く。

以下、図１５及び図１６を参照すると、一実施形態では、図１６に例示されるＲＧ１ＢＧ２ＲＧ１ＢＧ２パターンの再構築は、１２０ｆｐｓの入力を有する６０ｆｐｓの出力を可能にする。各連続するフレームは、前のフレームからの赤色成分又は青色成分のいずれかを含む。図１６では、各色成分は、８．３ｍｓで利用することができ、結果として生じる再構築されたフレームは、１６．６７ｍｓの期間を有する。一般に、このパルス化スキームの場合、再構築されたフレームは、図１５に示されるように、入射有色フレームの期間の２倍の期間を有する。他の実施形態では、異なるパルス化方式を採用することができる。例えば、実施形態は、各色成分又はフレームのタイミング（Ｔ１）、及び入射カラーフレームの期間の２倍の期間（２×Ｔ１）を有する再構築されたフレームに基づくことができる。順序内の異なるフレームは、異なるフレーム期間を有することができ、平均捕捉速度は、最終フレーム速度の倍数になり得る。

図１７〜図２０は、分割光システムと共に使用するための色補正方法及びハードウェアの概略図を例示する。デジタル撮像では、画像データ内の値を操作して、ユーザの期待に応えるように、又は撮像物体の特定の態様を強調するように、出力を補正することが一般的である。最も一般的には、これは、一方のデータ型を他方よりも強調するように同調及び調整される衛星画像において行われる。多くの場合、衛星取得データには、光源が制御されない、すなわち、太陽が光源であるので、利用可能な電磁エネルギーの全スペクトルが存在する。対照的に、光が制御され、更にはユーザによって提供される撮像状態が存在する。かかる状況では、較正を伴わなければ不適当な強調が他のデータよりも特定のデータに与えられ得るので、依然として画像データの較正が望ましい。光がユーザによって制御されるシステムでは、ユーザに既知で、かつ電磁スペクトルの一部分のみ又は全電磁スペクトルの複数の部分であり得る光の放出を提供することが有利である。較正は、ユーザの期待に応えるために、及びシステム内の故障をチェックするために依然として重要である。較正の１つの方法は、センサからのデータと比較することができる、所与の撮像状態について予想した値の表であり得る。一実施形態は、撮像装置によって出力されるべき既知の値を有する色中立シーンを含むことができ、装置が色中立シーンをサンプリングするときに、そうした既知の値を満たすように装置を調整することができる。

使用中に、及び始動に応じて、システムは、１７０２において複数の電磁スペクトル隔壁の全サイクルを動作させることによって、（図１７に例示されるように）１７１０において色中立シーンをサンプリングすることができる。１７０４において、フレームのヒストグラムを生成するために値の表１７０８を形成することができる。１７０６において、フレームの値を、色中立シーンからの既知の又は予想した値と比較することができる。次いで、１７１２において、所望の出力を満たすように撮像装置を調整することができる。図１７に例示される一実施形態では、システムは、撮像装置を色補正するように調整することができる、画像信号プロセッサ（image signal processor、ＩＳＰ）を備えることができる。

光の各分割スペクトルが異なるエネルギー値を有し得るので、センサ及び／又は光エミッタは、エネルギー値の違いを補償するように調整され得ることに留意されたい。例えば、一実施形態では、シリコンベースの撮像装置に関して、青色光スペクトルが赤色光スペクトルよりも低い量子効率を有するので、センサの反応を、赤色サイクル中にはあまり応答しないように、及び青色サイクルにはより応答するように調整することができる。反対に、エミッタは、適切に露光した画像を生成するために赤色光よりも青色光の量子効率が低いので、より高い強度で青色光を放出することができる。

光源の放出が提供され、システムによって制御可能である、図１８に例示される一実施形態では、１８００において、そうした光の放出の調整を行って、画像の色補正を行うことができる。調整は、振幅、持続時間（すなわち、タイムオン）、又はスペクトル隔壁内の範囲などの、放出光の任意の態様に対して行うことができる。加えて、図１９に示されるようないくつかの実施形態では、エミッタ及びセンサは、同時に調整することができる。

図２０に見ることができるように、出力された画像ストリーム又はビデオのノイズ及びアーチファクトの量を低減させるために、細分化した調整をシステム内のセンサ又はエミッタに行うことができる。図２０には、エミッタ２００６及びセンサ２００８の両方を調整することができるシステム２０００が例示されているが、使用中に又は使用の一部分にわたってエミッタ若しくはセンサのいずれかが調整される撮像装置もまた想到され、本開示の範囲内である。使用の一方の部分の間にはエミッタのみを調整し、使用の別の部分の間にはセンサのみを調整し、一方で、更に使用の一部分の間に両方を同時に調整することが有利であり得る。上記の実施形態のいずれかでは、システムがフレームサイクルの間に行うことができる全体的な調整を制限することによって、向上した画質を得ることができる。換言すれば、一実施形態は、フレームの間の任意の時間にその動作範囲の一部のみを調整することができるように、エミッタを制限することができる。同様に、センサは、フレームの間の任意の時間にその動作範囲の一部のみを調整することができるように制限することができる。更に、一実施形態では、エミッタ及びセンサの両方を、フレームの間の任意の時間にそれらのそれぞれの動作範囲の一部のみを共に調整することができるように制限することができる。

例示的な一実施形態では、システム内の構成要素の一部の調整は、例えば、前のフレームの露光を補正するために、構成要素の動作範囲の約０．１ｄＢにおいて実行することができる。この０．１ｄＢは、単なる一例にすぎず、他の実施形態では、構成要素の可能な調整が、それらのそれぞれの動作範囲の任意の部分であり得ることに留意されたい。システムの構成要素は、概して構成要素によって出力されるビット数（解像度）によって管理される、強度又は持続時間の調整によって変更することができる。構成要素の解像度は、典型的には、約１０〜２４ビットの範囲とすることができるが、現在利用可能であるものに加えて更に開発される構成要素の解像度を含むことを意図するものとして、この範囲に限定されるべきでない。例えば、第１のフレームの後に、観察したときにシーンが青過ぎると判断された場合には、約０．１ｄＢなどの、上で考察されたような一部分の調整によって、システムの青色サイクル中に、青色光のパルスの振幅又は持続時間を減少させるようにエミッタを調整することができる。

この例示的な実施形態では、１０パーセントを超えることが必要であり得たが、システムは、それ自体を１システムサイクルあたりの動作範囲の０．１ｄＢの調整に制限していた。したがって、次いで、次のシステムサイクル中に、必要に応じて、青色光を再度調整することができる。サイクル間の細分化した調整は、出力画像のダンピング効果を有することができ、また、それらの動作極致でエミッタ及びセンサを動作させるときにノイズ及びアーチファクトを低減させる。任意の僅かな量の構成要素の動作の調整範囲を制限因子として使用することができると判断することができ、又はシステムの特定の実施形態が構成要素の動作範囲の全体にわたって調整することができる構成要素を備えることができると判断することができる。

加えて、任意の画像センサの光学的黒のエリアを使用して、画像補正及びノイズ除去を支援することができる。一実施形態では、光学的黒のエリアから読み出した値は、センサのアクティブ画素領域の値と比較して、画像データを処理する際に使用するための基準点を確立することができる。図２１は、カラーパルス化システムに採用され得る種類のセンサ補正プロセスを示す。ＣＭＯＳ画像センサは、典型的には、特に少ない光において画像品質に悪影響を及ぼす、複数の非理想性を有する。その主なものは、固定パターンノイズ及びラインノイズである。固定パターンノイズ（fixed pattern noise、ＦＰＮ）は、感知要素のオフセットのばらつきである。典型的には、大部分のＦＰＮは、他のソースの中でも、フォトダイオード間の暗電流のランダムな変変動によって生じる、画素間の変動である。これは、視聴者には非常に不自然に見える。更に甚だしいのは、特定の画素の列と関連付けられた読み出しチェーンのオフセットによってもたらされる列ＦＰＮである。これは、画像内の垂直ストライプの知覚をもたらす。

全体的な照明の制御は、暗データのフレーム全体を定期的に取得して、画素及び列のオフセットを補正するために使用することができるという利点を有する。例示される実施例では、単一のフレームバッファを使用して、例えば単純な指数スムージングを使用した光を伴うことなく、フレーム全体の動作平均を行うことができる。この暗平均フレームは、通常動作中に、あらゆる照明されたフレームから減算される。

ラインノイズは、各行内の画素のオフセットの確率時間変動である。これは一時的であるので、各ライン及び各フレームついて補正を新たに計算しなければならない。この目的のために、通常は、多数の光学的に見えない（optically blind、ＯＢ）画素がアレイ内の各行内に存在し、これは、光感応性画素をサンプリングする前に、最初にサンプリングして、ラインオフセットを評価しなければならない。次いで、ラインノイズ補正プロセ中に、単にラインオフセットを減算する。

図２１の実施例では、データを適切な順序で取得すること、アナログドメイン（黒のクランプ）における電圧を監視及び制御すること、並びに個々の不良画素を識別／補正すること、に関する他の補正が存在する。

図２２及び図２３は、閉じた又は制限された光環境内でダイナミックレンジを高めるための方法及びハードウェアの概略を例示する。一実施形態では、露光入力は、経時的に異なるレベルの入力であり得、また、組み合わせて、より大きいダイナミックレンジを生成することができる。図２２に見ることができるように、撮像システムは、より大きいダイナミックレンジを達成することができるように、２２０２において、第１のサイクルにわたって第１の強度でサイクルさせ、次いでその後に、２２０４において、第２のサイクルにわたって間の第２の強度でサイクルさせ、次いで、２２０６において、第１及び第２のサイクルを単一のフレームに組み合わせることによってサイクルさせることができる。撮像装置が使用される空間環境が制限されるため、より大きいダイナミックレンジが特に望ましくなり得る。光源によって提供される光を除いて、光不足又は暗所である制限された空間環境では、及び光源が光エミッタの近くにある場合、露光は、距離との指数関係を有する。例えば、光源の近くの物体及び撮像装置の光学的開口部は、過剰に露光される傾向があり、一方で、遠く離れた物体は、周囲光が殆ど（少しも）存在しないので、極めて少なく露光される傾向がある。

図２３に見ることができるように、２３００において、複数の隔壁における電磁エネルギーの放出を有するシステムのサイクルは、電磁スペクトルの隔壁に従って、連続的にサイクルさせることができる。例えば、エミッタが異なる赤色隔壁、異なる青色隔壁、及び異なる緑色隔壁のレーザを放出する実施形態では、組み合わせられる二組のサイクルデータは、以下の形態であり得る。
ｉ．２３０２で強度１の赤色、
ｉｉ．２３０４で強度２の赤色、
ｉｉｉ．２３０２で強度１の青色、
ｉｖ．２３０４で強度２の青色、
ｖ．２３０２で強度１の緑色、
ｖｉ．２３０４で強度２の緑色。

代替的に、システムは、以下の形態でサイクルさせることができる。
ｉ．２３０２で強度１の赤色、
ｉｉ．２３０２で強度１の青色、
ｉｉｉ．２３０２で強度１の緑色、
ｉｖ．２３０４で強度２の赤色、
ｖ．２３０４で強度２の青色、
ｖｉ．２３０４で強度２の緑色。

かかる一実施形態では、第１の画像は、１つの強度値から導出することができ、第２の画像は、２つの強度値から導出することができ、次いで、２３１０において、それらの構成部分ではなく、完全な画像データセットとして組み合わせる又は処理することができる。

任意の数の放出隔壁が任意の順序で使用され得ることが、本開示の範囲内であると想到される。図２３に見られるように、「ｎ」は、任意の数の電磁隔壁及び「ｍ」を表すための変数として使用され、「ｍ」は、「ｎ」個の隔壁の任意のレベルの強度を表すために使用される。かかるシステムは、以下のようにサイクルさせることができる。
ｉ．２３０６において強度ｍのｎ、
ｉｉ．強度ｍ＋１のｎ＋１、
ｉｉｉ．強度ｍ＋２のｎ＋２、
ｉｖ．２３０８において強度ｍ＋ｊのｎ＋ｉ。

したがって、シリアル化したサイクルの任意のパターンを使用して、所望の画像補正を生成することができ、「ｉ」及び「ｊ」は、撮像システムの動作範囲内の追加的な値である。

デジタルカラーカメラは、色再現の忠実度を最大にするための画像処理段階を組み込んでいる。これは、色補正マトリックス（Color Correction Matrix、ＣＣＭ）として知られている３×３マトリックスによって達成される。

ＣＣＭにおける項は、最良の全体的なマッチをｓＲＧＢの標準色空間に提供するために、（例えば、Ｍａｃｂｅｔｈチャートからの）一組の基準色を使用して調整される。対角項、ａ、ｅ、及びｉは、効果的ホワイトバランスゲインである。しかし、典型的に、ホワイトバランスは、別々に適用され、水平行の合計は、ネットゲインがＣＣＭ自体によって適用されないように、単一的であるように制約される。非対角項は、入力チャネル内のカラークロストークに効果的に対処する。したがって、カラーファイラ（filer）アレイがチャネル間に多くの応答の重なりを有するので、ベイヤーセンサは、３チップカメラがチャネルよりも高い非対角を有する。

非対角項の振幅に依存する、色補正に対する信号対雑音比ペナルティが存在する。ｓＲＧＢ成分に完全にマッチしたチャネルを有する仮想センサは、以下の単位行列ＣＣＭを備える。

緑色チャネルにおいて評価される信号対雑音比は、この場合の１０，０００ｅ／画素（読み出し雑音を無視する）の完全な白色光信号について、以下のようになる。

これからの任意の逸脱がＳＮＲを低下させる。例えば、ベイヤーＣＭＯＳセンサに対しては異常でない値を有するＣＣＭを考えると、以下のようになる。

この場合では、緑色のＳＮＲは、以下のようになる。

図２４は、単位行列対調整したＣＣＭを使用した場合の、典型的なベイヤーセンサのＣＣＭに対してＤ６５照明を使用した、全ＳＮＲシミュレーションの結果を示す。輝度成分について評価したＳＮＲは、色補正の結果として約６ｄＢ悪化している。

本開示に記載されるシステムは、複数の個別的な波長のモノクロ照明を使用するので、当然、いかなるカラークロストークも存在しない。図２５のＸ印は、三角形によって示されるｓＲＧＢの範囲と比較した、レーザダイオード源（４６５、５３２、及び６３９ｎｍ）を介して利用可能である３つの波長の位置を示す。

この場合では、ベイヤーセンサと比較して、ＣＣＭの非対角項が大幅に低減され、かなりのＳＮＲの利点を提供する。

図２６は、画像センサの画素アレイの画素構成によって提供される、ダイナミックレンジを増加させた撮像システムを例示する。図に見ることができるように、隣接するピクセル２６０２及び２６０４は、異なる感度に設定することができ、それにより、各サイクルは、互いに対してより多い及びより少ない感応性である画素によって生成されるデータを含む。複数の感度を、単一サイクルのアレイに記録することができるので、並列に記録した場合は、他の実施形態の時間に依存する連続的な性質とは対照的に、ダイナミックレンジを増加させることができる。

一実施形態では、アレイは、それらの感度に基づいて行内に配置することができる画素の行を備えることができる。一実施形態では、異なる感度の画素は、それらの感度に基づいてアレイの全体を通して、その最も近くの隣接する画素に対して行又は列内で交互させて、チェッカーボードパターンを形成することができる。上記は、任意の画素回路を共有した配設を通して、又は任意の独立した画素回路の配設で達成することができる。

広いダイナミックレンジは、複数のグローバルＴＸを有することによって達成することができ、各ＴＸは、異なる一組の画素に対してのみ発射する。例えば、グローバルモードで、グローバルＴＸ１信号は、第１組の画素を点灯させており、グローバルＴＸ２信号は、第２組の画素を点灯させており、．．．、グローバルＴＸｎ信号は、第ｎ組の画素を点灯させている。

図１１に基づいて、図２７Ａは、画素アレイ内の２つの異なる画素の感度（二重画素感度）のためのタイミングの実施例を示す。この場合、グローバルＴＸ１信号がアレイの画素の半分を点灯させ、グローバルＴＸ２がもう半分の画素を点灯させる。グローバルＴＸ１及びグローバルＴＸ２が「オン」から「オフ」への異なるエッジ位置を有するので、積分光は、ＴＸ１画素とＴＸ２画素との間で異なる。図２７Ｂは、二重画素感度のタイミングの異なる実施形態を示す。この場合、光パルスは、２回変調される（パルス持続時間及び／又は振幅）。ＴＸ１画素は、Ｐ１パルスを積分し、ＴＸ２画素は、Ｐ１＋Ｐ２パルスを積分する。グローバルＴＸ信号の分離は、数多くの方法で行うことができる。以下は、実施例である。
ｉ．ＴＸラインを各行と区別する、
ｉｉ．１行あたり複数のＴＸラインを送信し、各々が異なる一組の画素をアドレッシングする。

一実装形態では、本開示に記載されるカラーパルス化システムを利用する、広いダイナミックレンジのビデオを提供する手段が記載されている。この手段の基礎は、同じフレーム内の異なる持続時間にわたって入射光を積分することができる同じモノクロアレイ内で、複数のフレーバーの画素、又は異なって調整することができる画素を有することである。かかるセンサのアレイ内の画素配設の一例は、２つの独立した可変積分時間を有する、全体を通して均一なチェッカーボードパターンである。かかる場合、赤色情報及び青色情報の両方を同じフレーム内に提供することができる。実際には、２つの積分時間をフレーム単位で調整することができるので、最も必要である場合に、緑色フレームのダイナミックレンジを拡張するように、これを同時に行うことが可能である。その利点は、全てのデータが３つに対して２つのフレームから導出される場合に、カラーモーションアーチファクトがあまり問題にならないことである。当然ながら、赤色及び青色データの空間解像度のその後の損失が存在するが、緑色データが輝度成分を占めるので、緑色と比較して、画像品質にあまり影響を及ぼさない。

モノクロワイドダイナミックレンジ（wide-dynamic range、ＷＤＲ）アレイの固有の特性は、長い積分時間を有する画素が、短い積分時間の画素によって見られる光の上位集合を積分しなければならないことである。これは、緑色フレームにおける標準的なワイドダイナミックレンジ動作に望ましい。赤色及び青色フレームの場合、パルス化は、露光期間と連動して制御して、例えば、長い露光の開始から青色光を提供し、短い露光画素がオンにされた時点で赤色に切り替えなければならない（どちらの画素の種類も、同時に転送されるそれらの電荷を有する）。

色融合段階で、画素の２つのフレーバーを２つのバッファに分離する。次いで、例えば線形補間を使用して、空の画素を満たす。この時点で、一方のバッファが青色データを含み、他方が赤色＋青色の全画像を含む。青色バッファを第２のバッファから減算して、純粋な赤色データを提供することができる。

図２８Ａ〜図２８Ｃは、対応する色センサによってパルス化及び／又は同期される、又は一定の状態に保たれる、白色発光の使用を例示する。図２８Ａに見ることができるように、白色光エミッタは、対応するセンサのブランキング期間中に光のビームを放出して、制御された光源を制御された光環境内に提供するように構成することができる。光源は、図２８Ａに見られるように、一定の振幅でビームを放出し、かつパルスの持続時間を変動させることができ、又は図２８Ｂに例示されるように、振幅を変動させながらパルスを一定の状態に保って、正しい露光データを達成することができる。図２８Ｃには、センサによって制御され、かつそれと同期される電流を変動させながら調整することができる一定の光源のグラフィカル表現が例示されている。

一実施形態では、白色光又は多重スペクトル光は、所望に応じて、パルスとして放出して、システム内で使用するためのデータを提供することができる（図２８Ａ〜図２８Ｃに最良に例示される）。電磁スペクトルの隔壁と組み合わせた白色発光は、シーン内の特定の態様を強調する、及び強調を抑えるために有用であり得る。かかる実施形態は、以下のパルシングパターンを使用することができる。
ｉ．緑色パルス、
ｉｉ．赤色パルス、
ｉｉｉ．青色パルス、
ｉｖ．緑色パルス、
ｖ．赤色パルス、
ｖｉ．青色パルス、
ｖｉｉ．白色光（多重スペクトル）パルス、
ｖｉｉｉ．（繰り返し）

白色光サイクルよりも少なくとも２倍速い画像センササイクルを使用する任意のシステムは、本開示の範囲内に含まれることが意図される。全電磁スペクトルの可視スペクトルからのものであるか不可視スペクトルからのものであるかにかかわらず、電磁スペクトルの隔壁の任意の組み合わせが本明細書で想到されることが理解されよう。

図２９Ａ及び図２９Ｂは、それぞれ、本開示の教示及び原理に従う、三次元画像を生成するための複数の画素アレイを有するモノリシックセンサ２９００の実装形態の斜視図及び側面図を例示する。かかる実装形態は、三次元画像捕捉に望ましいものであり得、２つの画素アレイ２９０２及び２９０４は、使用中にオフセットされ得る。別の実装形態では、第１の画素アレイ２９０２及び第２の画素アレイ２９０４は、所定の範囲の波長の電磁放射線の受信専用とすることができ、第１の画素アレイは、第２の画素アレイと異なる範囲の波長の電磁放射線専用である。

図３０Ａ及び図３０Ｂは、それぞれ、複数の基板上に構築された撮像センサ３０００の実装形態の斜視図及び側面図を例示する。例示されるように、画素アレイを形成する複数の画素列３００４が、第１の基板３００２上に位置し、複数の回路列３００８が、第２の基板３００６上に位置する。また、１つの画素列とその関連の又は対応する回路列との間の電気的接続及び通信が、図で例示されている。１つの実装では、その他の方法であれば画素アレイ及び支援回路が単一のモノリシック基板／チップ上にある状態で製造されることがあり得る画像センサが、画素アレイが支持回路の全て又は大部分から分離され得る。本開示は、三次元スタッキング技術を使用して互いに積み重ねられる、少なくとも２つの基板／チップを使用してもよい。２つの基板／チップのうちの第１の３００２は、画像ＣＭＯＳプロセスを使用して処理することができる。第１の基板／チップ３００２は、もっぱら画素アレイ、又は限られた回路によって取り囲まれた画素アレイのいずれかで構成することができる。第２の又はその後の基板／チップ３００６は、任意のプロセスを使用して処理することができ、かつ画像ＣＭＯＳプロセスによるものである必要はない。第２の基板／チップ３００６は、様々な及びいくつかの機能を基板／チップ上の非常に限られた空間又はエリア内に一体化するために、高密度なデジタルプロセスであり得るか、又は例えば正確なアナログ機能を一体化するために、混合モード若しくはアナログプロセスであり得るか、又は無線能力を実装するために、ＲＦプロセスであり得るか、又はＭＥＭＳ（Micro-Electro-Mechanical Systems、微小電気機械システム）装置を一体化するために、ＭＥＭＳであり得るが、これらに限定されない。画像ＣＭＯＳ基板／チップ３００２は、任意の三次元技法を使用して第２又はその後の基板／チップ３００６とスタックすることができる。第２の基板／チップ３００６は、他の場合であれば（モノリシック基板／チップ上に実装された場合には）周辺回路として第１の画像ＣＭＯＳチップ３００２内に実装されていた回路の殆ど又は大部分を支持することができ、したがって、システムエリア全体が増大され、一方で、画素アレイサイズを一定に保ち、かつ、可能な限りの範囲まで最適化された状態に保ち得る。２つの基板／チップ間の電気的接続は、ワイヤボンド、バンプ及び／又はＴＳＶ（Through Silicon Via、シリコン貫通電極）であり得る相互接続３００３及び３００５を通して行うことができる。

図３１Ａ及び図３１Ｂは、それぞれ、三次元画像を生成するための複数の画素アレイを有する撮像センサ３１００の実装形態の斜視図及び側面図を例示する。三次元画像センサは、複数の基板上に構築することができ、また、複数の画素アレイ及び他の関連する回路を備えることができ、第１の画素アレイを形成する複数の画素列３１０４ａ及び第２の画素アレイを形成する複数の画素列３１０４ｂは、それぞれ、それぞれの基板３１０２ａ及び３１０２ｂ上に位置、複数の回路列３１０８ａ及び３１０８ｂは、別個の基板３１０６上に位置する。また、ピクセル列と関連又は対応する回路類の列との間の電気的接続及び連絡が示される。

本開示の教示及び原理は、本開示の範囲から逸脱することなく再使用可能装置プラットフォーム、限定的使用装置プラットフォーム、再配置可能使用装置プラットフォーム、又は、１回使い切り／使い捨て装置プラットフォームにおいて使用され得ることが認識されるであろう。再使用可能装置プラットフォームでは、エンドユーザが、装置の洗浄及び滅菌を担当することが認識されるであろう。限定された用途の装置プラットフォームでは、装置は、動作不可能になる前に、指定された回数にわたって使用することができる。典型的な新しい装置は、エンドユーザが洗浄及び殺菌することを必要する更なる使用で無菌で供給される。再配置可能な用途の装置プラットフォームでは、第三者が、新しいユニットよりも低コストでの更なる使用のために、装置を、単回使用の装置に再処理する（例えば、洗浄、包装、及び殺菌する）ことができる。単回使用／使い捨ての装置プラットフォームでは、装置は無菌で手術室に提供され、廃棄前に１回のみ使用される。

エミッタの一実施形態は、パルス化カラー光を作成するために、機械的シャッタ及びフィルタの使用を採用することができる。図３２に例示されるように、パルス化カラー光を生成するための代替の方法は、白色光源、機械的カラーフィルタ、及びシャッタのシステム３２００を使用する。ホイールは、シャッタリングのためのあるパターンの半透明のカラーフィルタウインドウ及び不透明セクションを含むことができる。不透明セクションは、光が通過することを可能にせず、また、センサの読み出しが生じる暗黒期間を作成する。白色光源は、任意の技術、レーザ、ＬＥＤ、キセノン、ハロゲン、ハロゲン化金属、又は他のものに基づくことができる。白色光は、所望のパターンの有色光パルスの一連のカラーフィルタ３２０７、３２０９、及び３２１１を通して投影することができる。一実施形態のパターンは、赤色フィルタ３２０７、緑色フィルタ３２０９、青色フィルタ３２１１、緑色フィルタ３２０９であり得る。フィルタ及びシャッタシステム３２００は、機械的カラーフィルタ３２０７、３２０９、及び３２１１、並びにシャッタ３２０５のシステムのアーチ長さ及び回転速度の知識が、対応するモノクロ画像センサの動作のためのタイミング情報を提供するように、センサと同期させるために必要な周波数で回転するホイール上に配設することができる。

図３３に例示される実施形態は、フィルタホイール３３００上に、半透明カラーフィルタ３３０７、３３０９、及び３３１１のみのパターンを含むことができる。本構成では、異なるシャッタを使用することができる。シャッタは、機械的とすることができ、また、サイズを変動させることによって「パルス」持続時間を動的に調整することができる。代替的に、シャッタは、電子的であり得、センサ設計に組み込むことができる。機械的カラーフィルタ３３０７、３３０９、及び３３１１のシステムのアーチ長さ及び回転速度の知識が、対応するモノクロ画像センサの動作のためのタイミング情報を提供するように、フィルタホイール３３００を回転させるモータは、センサと通信すること、又はセンサと連動して制御されることを必要とする。制御システムは、フルカラー画像をＩＳＰ内で適切に再構築することができるように、センサによって捕捉された各フレームの適切なカラーフィルタを知っていることが必要になる。ＲＧＢＧのカラーパターンが示されているが、有利である場合には、他の色及び／又はパターンを使用することができる。カラーセクションの相対的サイズは、等しいように示されているが、有利である場合は、調整することができる。フィルタの機械的構造は、回転可能に移動する円として示されているが、線形移動を伴う長方形とすること、又は異なる移動パターンを伴う異なる形状とすることができる。

図３４に例示されるように、カラー光をパルス化するための実施形態は、赤色、緑色、青色、又は白色のＬＥＤのための電子機器及びヒートシンクを保持する機械的ホイール又はバレルから成り得る。ＬＥＤは、本特許内の他の実施形態と一致する光パルス化の時間調整を可能にするためにバレル又はホイールの回転又はねじり速度に関連する距離に離間される。ホイール又はバレルは、電気モータ及びホイール又はバレルを電気モータに取り付ける機械的ブラケットを使用して回転させる。モータは、本特許に記載されているような適切なタイミングのための制御アルゴリズムを含む、マイクロコントローラ、ＦＰＧＡ、ＤＳＰ、他のプログラム可能な装置を使用して制御される。一方の側部には、本特許に記載されている方法によってファイバをスコープの端部まで輸送するために光ファイバに光学的に連結される機械的開口部が存在する。この連結はまた、光ファイバケーブルを下ることが可能にされる光の量を制御するために開く及び閉じることができる、機械的開口も有することができる。これは、機械的シャッタ装置であり、代替的に、ＣＭＯＳ型又はＣＣＤ型センサに設計された電子シャッタを使用することができる。この装置は、製造時の制御及び較正が困難であるが、パルス化光を本システムに通すことができる別の方法である。

図３５には、パルス化された電磁放射線を提供するために線形フィルタ３５０４及びシャッタ機構を備えるエミッタ３５０２の一実施形態が例示されている。線形フィルタ３５０４及びシャッタ機構は、必要な周波数で水平に移動して、適切な波長の光をフィルタリングする。

図３６には、パルス化された電磁放射線を提供するためにプリズムフィルタ３６０４及びシャッタ機構を備えるエミッタ３６０２の一実施形態が例示されている。プリズムフィルタ３６０４は、光をフィルタリングし、シャッタを含むことができる出力に送達する。プリズムフィルタ３６０４は、必要な周波数で移動して、正しい色出力パターンを提供する。

更に、本開示の教示及び原理は、赤外線（ＩＲ）、紫外線（ultraviolet、ＵＶ）、及びＸ線など、可視及び非可視スペクトルを含む電子エネルギーのありとあらゆる波長を含み得る。

図３７は、内視鏡撮像などのための、照明を光不足環境に提供するためのシステム３７００を例示する概略図である。システム３７００は、本明細書で開示されるシステム、方法、又は装置のうちのいずれかと組み合わせて使用することができる。システム３７００は、光源３７０２と、コントローラ３７０４と、ジャンパ導波管３７０６と、導波管コネクタ３７０８と、管腔導波管３７１０と、管腔３７１２と、付随する（レンズなどの）光学構成要素を有する画像センサ３７１４と、を含む。光源３７０２は、ジャンパ導波管３７０６及び管腔導波管３７１０を通って進行する光を生成して、管腔３７１２の遠位端においてシーンを照明する。光源３７００は、可視波長、赤外線、紫外線、他の波長を含む任意の波長の電磁エネルギーを放出するために使用することができる。管腔３７１２は、手技中又は検査中などに、撮像のために患者の身体に挿入され得る。光は、破線３７１６によって例示されるように出力される。光によって照明されたシーンは、画像センサ３７１４を使用して捕捉し、医師又は他の何らかの医療関係者に表示することができる。コントローラ３７０４は、照明がシーンに提供されるときを制御するために、制御信号を光源３７０２に提供することができる。一実施形態では、光源３７０２及びコントローラ３７０４は、内視鏡が接続されるカメラ制御ユニット（camera control unit、ＣＣＵ）又は外部コンソール内に位置する。画像センサ３７１４がＣＭＯＳセンサを含む場合、ブランキング期間として知られる間、画像センサ３７１４の読み出し期間の間に、一連の照明パルスで、光をシーンに定期的に提供することができる。したがって、光は、画像センサ３７１４の画素アレイ内の画像画素の読み出し期間への重ね合わせを回避するために、制御された様態でパルス化することができる。

一実施形態では、管腔導波管３７１０は、１つ又は複数の光ファイバを含む。光ファイバは、管腔導波管３７１０、及び／又は内視鏡の他の部分の廃棄を可能にするために、プラスチックなどの低コストの材料で作製することができる。一実施形態では、５００ミクロンの直径を有する単一のガラスファイバを使用することができる。ジャンパ導波管３７０６は、光源３７０２に恒久的に取り付けることができる。例えば、ジャンパ導波管３７０６は、光源３７０２内のエミッタから光を受光し、その光をコネクタ３７０８の位置で管腔導波管３７１０に提供することができる。一実施形態では、ジャンパ導波管１０６は、１つ又は２つ以上のガラスファイバを含むことができる。ジャンパ導波管は、光を管腔導波管３７１０に案内するための任意の他の種類の導波管を含むことができる。コネクタ３７０８は、ジャンパ導波管３７０６を管腔導波管３７１０に選択的に連結し、ジャンパ導波管３７０６内の光を管腔導波管３７１０に通過させることができる。一実施形態では、管腔導波管３７１０は、いかなる介在するジャンパ導波管３７０６も伴わずに、光源に直接連結することができる。

図３８〜図４０は、複数のエミッタを有する光源３８００を例示する概略ブロック図である。図３８に関して、エミッタは、第１のエミッタ３８０２と、第２のエミッタ３８０４と、第３のエミッタ３８０６と、を含む。下で更に考察されるように、更なるエミッタを含むことができる。エミッタ３８０２、３８０４、及び３８０６は、異なる波長を有する光を放出する１つ又は２つ以上のレーザエミッタを含むことができる。例えば、第１のエミッタ３８０２は、青色レーザと一致する波長を放出することができ、第２のエミッタ３８０４は、緑色レーザと一致する波長を放出することができ、第３のエミッタ３８０６は、赤色レーザと一致する波長を放出することができる。例えば、第１のエミッタ３８０２は、１つ又は２つ以上の青色レーザを含むことができ、第２のエミッタ３８０４は、１つ又は２つ以上の緑色レーザを含むことができ、第３のエミッタ３８０６は、１つ又は２つ以上の赤色レーザを含むことができる。エミッタ３８０２、３８０４、３８０６は、収集領域３８０８に向かってレーザビームを放出し、収集領域は、図３７のジャンパ導波管３７０６又は管腔導波管３７１０などの導波管に光を収集及び／又は提供するための導波管、レンズ、又は他の光学構成要素の位置にあり得る。

特定の組織、構造、化学反応、生物学的プロセス、などの識別を支援するために患者が試薬又は染料を投与されている一実装形態では、エミッタ３８０２、３８０４、及び３８０６は、試薬又は染料に蛍光を発光させるための波長（複数可）を放出することができる。かかる波長（複数可）は、患者に投与された試薬又は染料に基づいて決定することができる。かかる一実施形態では、エミッタは、所望の波長（複数可）を放出して特定の試薬又は染料に蛍光を発光させる、又はそれらを活性化するために、非常に正確であることが必要とされ得る。

図３８の実施形態では、エミッタ３８０２、３８０４、３８０６は、各々、異なる角度でレーザ光を収集領域３８０８に送達する。角度の変動は、電磁エネルギーが出力導波管内に位置する場合に変動をもたらし得る。例えば、光が、収集領域３８０８でファイバ束（ガラス又はプラスチック）に直ちに入る場合、角度の変動は、異なる量の光を異なるファイバに進入させることができる。例えば、この角度は、収集領域３８０８にわたって強度の変動をもたらし得る。更に、異なるエミッタからの光は、均一に混合することができないので、いくつかのファイバは、異なる色の異なる量の光を受光する場合がある。異なるファイバにおける光の色又は強度の変動は、シーンの最適でない照明につながり得る。例えば、送達される光又は光強度の変動は、シーン及び捕捉された画像において生じる可能性がある。

一実施形態では、介在光学素子をファイバ束とエミッタ３８０２、３８０４、３８０６との間に配置して、ファイバ又は他の導波管に進入する前に、異なる色の光（波長）を混合することができる。例示的な介在光学素子は、拡散器、混合ロッド、１つ若しくは２つ以上のレンズ、又は所与のファイバが同量の各色（波長）を受け取るように光を混合する他の光学構成要素を含む。例えば、ファイバ束中の各ファイバは同じ色を有することができる。この混合は、各ファイバに同じ色をもたらし得るが、いくつかの実施形態では、異なるファイバに送達される異なる総輝度が依然としてもたらされる可能性がある。一実施形態では、介在光学素子はまた、各ファイバが同じ総量の光を搬送するように、収集領域の上で光を散開させる、又は一様にすることもできる（例えば、光は、トップハットプロファイルで拡散させることができる）。拡散器又は混合ロッドは、光の損失につながり得る。

収集領域３８０８は、図３８では物理的構成要素として表されているが、収集領域３８０８は、単に、エミッタ３８０２、３８０４、及び３８０６からの光が送達される領域であってもよい。いくつかの場合では、収集領域３８０８は、拡散器、混合ロッド、レンズ、又はエミッタ３８０２、３８０４、３８０６と出力導波管との間の任意の他の介在光学構成要素などの、光学構成要素を含むことができる。

図３９は、同じ又は実質的に同じ角度で光を収集領域３８０８に提供するエミッタ３８０２、３８０４、３８０６を有する光源３８００の一実施形態を例示する。光は、収集領域３８０８に対して実質的に垂直な角度で提供される。光源３８００は、第１のダイクロイックミラー３９０２、第２のダイクロイックミラー３９０４、及び第３のダイクロイックミラー３９０６を含む、複数のダイクロイックミラーを含む。ダイクロイックミラー３９０２、３９０４、３９０６は、第１の波長の光は反射するが、第２の波長の光は透過する（又は透過性である）ミラーを含む。例えば、第３のダイクロイックミラー３９０６は、第３のエミッタによって提供される青色レーザ光を反射し、一方で、第１のエミッタ３８０２及び第２のエミッタ３８０４によってそれぞれ提供される赤色光及び緑色光を透過することができる。第２のダイクロイックミラー３９０４は、第１のエミッタ３８０２からの赤色光は透過するが、第２のエミッタ３８０４からの緑色光は反射することができる。他の色又は波長が含まれている場合、ダイクロイックミラーは、少なくとも１つのエミッタに対応する光を反射し、他のエミッタに対応する光を透過することができる。例えば、第３のダイクロイックミラー３９０６は、第３のエミッタ３８０６からの光は反射するが、その光を、第１のエミッタ３８０２及び第２のエミッタ３８０４などの「後方」のエミッタに反射する。数十又は数百のエミッタが存在する実施形態では、各ダイクロイックミラーは、前方にある対応する１つ又は複数のエミッタに反射させ、一方で、その背後のエミッタに透過させることができる。これは、数十又は数百のエミッタが、実質的に同じ角度で電磁エネルギーを収集領域３８０８に放出することを可能にする。

ダイクロイックミラーは、他の波長を透過又は通過させることを可能にするので、波長の各々は、同じ角度から、及び／又は同じ中心若しくは焦点で、収集領域３８０８に到達することができる。同じ角度及び／又は同じ焦点／中心点からの光を提供することは、収集領域３８０８における受光及び色の混合を著しく向上させることができる。例えば、特定のファイバは、エミッタ３８０２、３８０４、３８０６及びミラー３９０２、３９０４、３９０６による透過／反射と同じ比率で、異なる色を受光することができる。光の混合は、図３８の実施形態と比較して、収集領域において著しく向上させることができる。一実施形態では、本明細書で考察される任意の光学構成要素は、収集領域３８０８において使用して、光をファイバ又はファイバ束に提供する前に光を収集することができる。

図４０は、同様に、同じ又は実質的に同じ角度で光を収集領域３８０８に提供するエミッタ３８０２、３８０４、３８０６を有する、光源３８００の実施形態を例示する。しかしながら、収集領域３８０８に入射する光は、垂直からオフセットされている。角度４００２は、垂直からの角度オフセットを示す。一実施形態では、レーザエミッタ３８０２、３８０４、３８０６は、ガウス分布である断面強度プロファイルを有することができる。前で考察されたように、ファイバ間の光エネルギーの改善された分布は、より平坦な又はトップハット形状の強度プロファイルを生成することによって達成され得る。一実施形態では、角度４００２が増加すると、収集領域３８０８にわたる強度は、トップハットプロファイルに近づく。例えば、プロファイルが十分に平坦になるまで角度４００２を増加させることによって、平坦でない出力ビームでも、トップハットプロファイルに近似させることができる。

トップハットプロファイルはまた、１つ若しくは２つ以上のレンズ、拡散器、混合ロッド、又はエミッタ３８０２、３８０４、３８０６と出力導波管若しくは光ファイバ束との間の任意の他の介在光学構成要素を使用して達成することもできる。

図４１は、出力において拡散器４１０４を介して出力する単一の光ファイバ４１０２を例示する概略図である。一実施形態では、光ファイバ４１０２は、５００ミクロンの直径を有し、０．６５の開口数を有することができ、拡散器４１０４を伴わずに約７０度又は８０度の光円錐４１０６を放出する。拡散器４１０４によって、光円錐４１０６は、約１１０度又は１２０度の角度を有することができる。光円錐４１０６は、全ての光が進み、かつ均一に分布する場所の大部分であり得る。拡散器４１０４は、画像センサによって観察されるシーンの電磁エネルギーのより均一な分布を可能にすることができる。

一実施形態では、管腔導波管４１０２は、約５００ミクロンの単一のプラスチック又はガラス光ファイバを含むことができる。プラスチックファイバは低コストであり得るが、その幅は、連結器、拡散器、又は他の損失によって、ファイバがシーンに十分量の光を搬送することを可能にすることができる。例えば、より小さいファイバは、より大きいファイバと同程度の光又は電力を搬送することができない場合がある。管腔導波管３７１０は、単一又は複数の光ファイバを含むことができる。管腔導波管３７０２は、光源から直接又はジャンパ導波管（例えば、図３７のジャンパ導波管３７０６を参照されたい）を介して、光を受光することができる。拡散器を使用して、画像センサ３７１４又は他の光学構成要素の所望の視野のための光出力３７０６を広げることができる。

図３８〜図４０には３つのエミッタが示されているが、いくつかの実施形態では、１から数百以上の数になるエミッタを使用することができる。エミッタは、エミッタが放出する、異なる波長又はスペクトルの光を有することができ、この光を使用して、電磁スペクトル（例えば、可視スペクトル並びに赤外及び紫外スペクトル）の所望の部分を連続的にカバーすることができる。

一実施形態では、複数のエミッタを有する光源は、光不足環境におけるマルチスペクトル撮像又はハイパースペクトル撮像に使用することができる。例えば、異なる化学物質、材料、又は組織は、異なる色又は波長の電磁エネルギーに対して異なる応答を有し得る。いくつかの組織は、組織自体のスペクトルシグネチャ（組織が電磁放射線の反射波長においてどのように反応又は変動するか）を有する。一実施形態では、特定の種類の組織は、組織が特定の波長又は波長の特定の組み合わせにどのように反応するかに基づいて検出することができる。例えば、血管組織は、それを体内の筋肉、脂肪、骨、神経、尿管、又は他の組織若しくは材料と区別するための一意的な方法で、異なる波長又はスペクトルの電磁エネルギーを吸収及び反射することができる。更に、特定の種類の筋肉又は他の種類の組織は、それらのスペクトル応答に基づいて区別することができる。組織の疾病状態もまた、スペクトル情報に基づいて決定することができる。米国特許第８，２８９，５０３号を参照されたい。また、米国特許第８，１５８，９５７号も参照されたい。

一実施形態では、マルチスペクトル画像データ又はハイパースペクトル画像データは、所望の波長又はスペクトルにおけるものを除いて、１つ又は２つ以上のフィルタを使用して、全ての光又は電磁エネルギーをフィルタリングして取得することができる。図４２は、光４２０８（又は他の電磁放射線）が撮像センサ４２０４又は他の撮像媒体（例えば、フィルム）に遭遇する前に、不要な波長を除去するためのフィルタ４２０２を例示するブロック図である。一実施形態では、白色光４２０８は、フィルタ４２０２を通過して、フィルタリングした光４２１０は、画像の捕捉及び読み出しのために撮像センサ４２０４上へ集束させるレンズ４２０６を通過する。フィルタは、システム内の任意の場所に配置することができ、又はレンズ４２０６若しくは画像センサ４２０４の付属物とすることができる。

光不足環境において、光４２０８は、光不足環境においてエミッタによって放出される白色光を含むことができる。フィルタ４２０２は、所望の検査のために選択することができる。例えば、特定の組織を検出又は強調することが所望される場合、フィルタ４２０２は、特定の組織のスペクトル応答に対応する波長を通過させるように選択することができる。モノクロ画像センサを含むことができる画像センサ４２０４は、画像を生成することができる。次いで、閾値を超える、又は閾値未満の捕捉した画像の画素を、特定の組織に対応するとして特徴づけることができる。次いで、このデータを使用して、特定の組織の位置を示す画像を生成することができる。

別の実施形態では、蛍光を発光する染料を、身体内の特定の組織の種類、経路、などを撮像するために使用することができる。例えば、蛍光を発光する染料を患者に投与し、次いで、染料の画像を捕捉することができる。一実施形態では、染料に蛍光を発光させることは、特定の波長の電磁エネルギーを使用してトリガすることができる。例えば、染料は、電磁エネルギーが存在するときにのみ蛍光を発光することができる。

しかしながら、フィルタ及び蛍光を発光する染料はどちらも、検査を大幅に制限する。例えば、フィルタを使用する場合、検出され得る所望のスペクトル応答、したがって検出され得る材料又は組織は、利用できるフィルタによって制限される。更に、フィルタは、取り替えること又は交換することが必要であり得る。染料に関して、染料は、撮像する前に投与しなければならず、同じ検査中に異なる目的に対して異なる染料の投与間に競合が存在する場合がある。したがって、フィルタ及び染料を使用する検査は、所望の情報を得るために、長い時間がかかる場合があり、また、多くの異なる検査を必要する場合がある。

一実施形態では、光不足環境におけるマルチスペクトル撮像又はハイパースペクトル撮像は、複数の異なる波長又はスペクトルの電磁エネルギーを放出するモノクロ画像センサ及びエミッタを使用して達成することができる。一実施形態では、（図３８〜図４０のいずれかの光源３８００などの）光源又は他の電磁ソースは、所望のスペクトルをカバーするために、複数のエミッタを含むことができる。

図４３は、２０個の異なるサブスペクトルに分けた電磁スペクトル４３００の一部分を例示する。サブスペクトルの数は、例示的なものにすぎない。少なくとも１つの実施形態では、スペクトル４３００は、各々が小さい波長帯を有する数百のサブスペクトルに分けることができる。スペクトルは、赤外スペクトル４３０２から、可視スペクトル４３０４を通って、紫外スペクトル４３０６まで及び得る。サブスペクトルは、各々がスペクトル４３００の一部分をカバーする波長帯４３０８を有する。各波長帯は、上部波長及び下部波長によって画定することができる。

一実施形態では、スペクトル４３００全体の完全かつ連続したカバレージを提供するために、少なくとも１つの（レーザエミッタなどの）エミッタを、サブスペクトルごとに（図３７〜図４０の光源３７０２、３８００などの）光源内に含むことができる。例えば、例示されるサブスペクトルのカバレージを提供するための光源は、サブスペクトルごとに少なくとも１つの、少なくとも２０個の異なるエミッタを含むことができる。一実施形態では、各エミッタは、４０ナノメートルをカバーするスペクトルをカバーすることができる。例えば、あるエミッタは、５００ｎｍ〜５４０ｎｍの波長帯内の光を放出することができ、一方で、別のエミッタは、５４０ｎｍ〜５８０ｎｍの波長帯内の光を放出することができる。別の実施形態では、エミッタは、利用可能なエミッタの種類又は撮像の必要性に応じて、他のサイズの波長帯をカバーすることができる。例えば、複数のエミッタは、５００〜５４０ｎｍの波長帯をカバーする第１のエミッタと、５４０ｎｍ〜６４０ｎｍの波長帯をカバーする第２のエミッタと、６４０ｎｍ〜６５０ｎｍの波長帯をカバーする第３のエミッタと、を含むことができる。各エミッタは、遠赤外線、中赤外線、近赤外線、可視光線、近紫外線、及び／又は極紫外線にわたる異なるスライスの電磁スペクトルをカバーすることができる。いくつかの場合では、撮像のための十分な出力を提供するために、同じ種類又は波長の複数のエミッタを含むことができる。特定の波長帯に必要とされるエミッタの数は、その波長帯に対するモノクロセンサの感度及び／又はその波長帯におけるエミッタの電力出力能力に依存し得る。

エミッタによって提供される波長帯の幅及びカバレージは、スペクトルの任意の所望の組み合わせを提供するように選択することができる。例えば、非常に狭い波長帯幅（例えば、１０ｎｍ以下）を使用するスペクトルの連続カバレージは、高選択性のハイパースペクトル撮像を可能にすることができる。波長は、選択的に作動することができるエミッタに由来するので、検査中に材料のスペクトル応答を決定する際に、最高の柔軟性を達成することができる。したがって、複数の検査を必要とする、染料又は染色剤の投与により遅延する、などとなる、スペクトル応答に関する更なる情報をより少ない時間で、かつ単一の検査内で達成することができる。一実施形態では、システムは、ハイパースペクトル画像データを捕捉し、そのデータを処理して、各画素にどのような種類の組織が存在しているのかを識別することができる。

図４４は、一実施形態による、マルチスペクトル画像又はハイパースペクトル画像を生成するために放出及び読み出しを行うためのタイミング図４４００を例示する概略図である。実線は、一連のフレーム４４０４〜４４１４を捕捉するための読み出し（ピーク４４０２）及びブランキング期間（谷）を表す。一連のフレーム４４０４〜４４１４は、ビデオフィードのためのハイパースペクトルデータを生成するために使用することができる、繰り返す一連のフレームを含むことができる。一連のフレームは、第１のフレーム４０４と、第２のフレーム４４０６と、第３のフレーム４４０８と、第４のフレーム４４１０と、第５のフレーム４４１２と、第ｎのフレーム４４２６と、を含む。

一実施形態では、各フレームは、電磁エネルギーの少なくとも１つのパルスに基づいて生成される。電磁エネルギーのパルスは、反射されて、画像センサによって検出され、次いで、その後の読み出し（４４０２）において読み出される。したがって、各ブランキング期間及び読み出しは、特定の範囲の電磁エネルギーの画像フレームをもたらす。例えば、第１のフレーム４０４は、第１の１つ又は２つ以上のパルス４４１６のスペクトルに基づいて生成することができ、第２のフレーム４４０６は、第２の１つ又は２つ以上のパルス４４１８のスペクトルに基づいて生成することができ、第３のフレーム４４０８は、第３の１つ又は２つ以上のパルス４４２０のスペクトルに基づいて生成することができ、第４のフレーム４４１０は、第４の１つ又は２つ以上のパルス４４２２のスペクトルに基づいて生成することができ、第５のフレーム４４１２は、第５の１つ又は２つ以上のパルス４４２４のスペクトルに基づいて生成することができ、第ｎのフレーム４４２６は、第ｎの１つ又は２つ以上のパルス４４２６のスペクトルに基づいて生成することができる。

パルス４４１６〜４４２６は、単一のエミッタからの、又は２つ以上のエミッタの組み合わせからのエネルギーを含むことができる。例えば、単一の読み出し期間内又は複数のフレーム４４０４〜４４１４内に含まれるスペクトルは、特定の組織又は状態の所望の検査又は検出のために選択することができる。一実施形態によれば、１つ又は２つ以上のパルスは、カラー又は白黒の画像を生成するための可視スペクトル光を含むことができ、一方で、１つ又は２つ以上の追加的なパルスは、スペクトル応答を取得して組織の種類を分類するために使用される。例えば、パルス４４１６は、赤色光を含むことができ、パルス４４１８は、青色光を含むことがで、パルス４４２０は、緑色光を含むことができ、一方で、残りのパルス４４２２〜４４２６は、特定の組織の種類を検出するための波長及びスペクトルを含むことができる。更なる一例として、単一の読み出し期間のパルスは、特定の組織の種類を検出するために使用することができる複数の異なるエミッタから生成されるスペクトル（例えば、異なるスライスの電磁スペクトル）を含むことができる。例えば、波長の組み合わせが閾値を超える、又は閾値未満の値を有する画素をもたらす場合、その画素は、組織の特定の種類に対応するものとして分類することができる。各フレームは、その画素（例えば、画像内の各画素）に存在する組織の種類を更に絞って、スペクトル応答に基づいて、組織の非常に特定の分類及び／又は組織の状態（病的／健康）を提供するために使用することができる。

複数のフレーム４４０４〜４４１４は、長さの変動する読み出し期間、及び異なる長さ又は強度を有するパルスを有するように示されている。ブランキング期間、パルスの長さ又は強度、などは、特定の波長に対するモノクロセンサの感度、エミッタ（複数可）の電力出力能力、及び／又は導波管の搬送能力に基づいて選択することができる。

図４４に例示される様態で取得されるハイパースペクトル画像又はハイパースペクトル画像データは、各々が異なるスペクトル又はスペクトルの組み合わせに基づく複数のフレームをもたらすことができる。いくつかの場合では、数十又は数百の異なるフレームを取得することができる。他の場合では、ビデオストリームなどについて、幾つかのフレームは、視認可能なフレーム速度を提供するように制限され得る。異なるスペクトルの組み合わせを単一の読み出し期間内に提供することができるので、ビデオストリームであっても、依然として有用かつ動的なスペクトル情報を取得することができる。

一実施形態では、ビデオ又は他の画像は、各画素のスペクトル応答から導出された情報と重ね合わせられた白黒画像又はカラー画像を含むことができる。例えば、検査中に、特定の組織又は状態に対応する画素を明緑色又は他の色で示して、医師又は他の医療専門家を支援することができる。

一実施形態では、三次元画像又はビデオフィードを取得するために、二重画像センサを使用することができる。三次元検査は、診察される領域の三次元構造並びに領域内の異なる組織又は材料の種類のマッピングの向上した理解を可能にすることができる。

一実施形態では、材料又は物質を透かして見るために、マルチスペクトル撮像又はハイパースペクトル撮像を使用することができる。例えば、赤外線波長は、筋肉又は脂肪などのいくつかの組織を通過し、一方で、血管に反射することができる。一実施形態では、赤外線波は、５、８、又は１０ｍｍ以上組織の中へ入り込むことができる。少なくとも１つの赤外線フレームを含む一連のフレームを取得することで、検査が、表面の下側の血管の位置に関する情報を提供することを可能にすることができる。これは、血管を回避する切開を実行することが望ましくなり得る外科手技に極めて有用であり得る。一実施形態では、カラー画像又はグレースケール画像を、表面の下側の血管の位置を示す緑色と重ね合わせることができる。同様に、血液の既知のスペクトル応答を、検査時に対象の血液を透かして組織又は構造を見るために使用することができる。

モニタ又は他の表示装置に表示するための、サブフレームの単一のフレームへの組み立ては、一連のフレーム４４０４〜４４１４を捕捉した後に行うことができる。カラー画像又はグレースケール画像は、フレームの１つ又は２つ以上から生成することができ、画素のオーバーレイ情報は、全ての又は残りのフレームに基づいて決定することができる。カラー画像又はグレースケール画像は、オーバーレイ情報と組み合わせて、単一のフレームを生成することができる。単一のフレームは、単一の画像として、又はビデオストリーム内の画像として表示することができる。

一実施形態では、図４４に例示されるように取得されたハイパースペクトルデータは、第三者のアルゴリズムによる解析に提供して、画像内に捕捉された組織又は材料を分類することができる。一実施形態では、第三者のアルゴリズムは、所望のスペクトル応答解析を実行することができるように、撮像中に使用されるスペクトル又は波長帯を選択するために使用することができる。一実施形態では、スペクトル応答解析は、医療用撮像手技又は他の医療処置中にリアルタイムで実行することができる。スペクトルデータは、ユーザが特定の種類の組織、器官、化学プロセス、疾患、などを容易に区別することができるように、ＲＧＢ又は白黒の画像に重ね合わせることができる。一実施形態では、スペクトルデータは、医療用撮像又は医療処置を自動化するためのロボットシステムなどのコンピュータ動作のシステムに提供することができる。

図４５は、シングルカットフィルタを有する撮像システム４５００の概略図である。システム４５００は、光不足環境において使用するための光源４５０８を有する内視鏡４５０６又は他の好適な撮像装置を含む。内視鏡４５０６は、画像センサ４５０４と、画像センサ４５０４に到達する前の不要な波長の光又は他の電磁放射線をフィルタリングするためのフィルタ４５０２と、を含む。光源４５０８は、体腔などの光不足環境の表面４５１２を照明することができる光を伝達する。光４５１０は、表面４５１２に反射し、画像センサ４５０４に当たる前にフィルタ４５０２を通過する。

フィルタ４５０２は、蛍光試薬又は染料が投与された一実装形態で使用することができる。かかる一実施形態では、フィルタ４５０２は、１つ又は２つ以上の所望の波長又はスペクトル帯域の光以外の全ての光、又は他の電磁放射線をフィルタリングするように構成されている。一実施形態では、フィルタ４５０２は、蛍光を発光した試薬又は染料の予想緩和波長のみがフィルタ４５０２を通過して、画像センサ４５０４に到達することを可能にするように、試薬又は染料に蛍光を発光させる励起波長の電磁放射線をフィルタリングするように構成されている。一実施形態では、フィルタ４５０２は、少なくとも７７０ｎｍ〜７９０ｎｍの蛍光試薬励起波長をフィルタリングする。一実施形態では、フィルタ４５０２は、少なくとも７９５ｎｍ〜８１５ｎｍの蛍光試薬励起波長をフィルタリングする。一実施形態では、フィルタ４５０２は、少なくとも、７７０ｎｍ〜７９０ｎｍ及び７９５ｎｍ〜８１５ｎｍの蛍光試薬励起波長をフィルタリングする。これらの実施形態では、フィルタ４５０２は、試薬の励起波長をフィルタリングし、蛍光を発光した試薬の緩和波長のみが画像センサ４５０４によって読み出されることを可能にする。画像センサ４５０４は、波長認識不能画像センサとすることができ、フィルタ４５０２は、画像センサ４５０４が、蛍光を発光した試薬の緩和波長のみを受信し、試薬の放出励起波長は受信しないことを可能にするように構成することができる。次いで、画像センサ４５０４によって決定されたデータは、試薬又は染料の位置によって決定される重要な身体の構造、組織、生物学的プロセス、又は化学プロセスの存在を示すことができる。

フィルタ４５０２は、蛍光試薬又は染料が投与されていない一実装形態において更に使用されることができる。フィルタ４５０２は、所望のスペクトル応答に対応する波長が通過し、画像センサ４５０４によって読み出されることを可能にするように選択することができる。画像センサ４５０４は、閾値を超える、又は閾値未満の捕捉した画像の画素を、特定のスペクトル応答又は蛍光放出に対応するように特徴づけることができるように、モノクロ画像センサとすることができる。画像センサ４５０４によって捕捉された画素によって決定されるスペクトル応答又は蛍光放出は、特定の身体組織又は構造、特定の状態、特定の化学プロセス、などの存在を示すことができる。

一実施形態では、光源４５０８は、表面４５１２に接触する白色光を伝達し、白色光が画像センサ４５０４に当たる前に、白色光がフィルタ４５０２によってフィルタ処理された場所に戻り反射する。一実施形態では、光源４５０８は、フィルタ４５０２を通過する１つ又は２つ以上の所望の波長のみのフィルタリングされた光がフィルタ４５０２から現れて、表面４５１２に反射され、画像センサ４５０４によって読み出されるように、白色光を伝達する。例えば、一実施形態では、フィルタ４５０２によって、７９５ｎｍの波長を有する光のみが、フィルタ４５０２を通過し、画像センサ４５０４に接触することを可能にする。更なる一実施形態では、フィルタ４５０２は、特定の波長の光のみが、内視鏡４５０６又は他の撮像装置の画像センサ４５０４に戻り反射することを可能にする。フィルタ４５０２は、システム４５００内の任意の場所に位置することができ、又はレンズ若しくは画像センサ４５０４の付属物とすることができる。フィルタ４５０２は、画像センサ４５０４の前及び／又は後ろに位置することができる。一実施形態では、光源４５０８によって放出された光は、それが表面４５１２に到達する前に、フィルタ処理され、反射光は、それが画像センサ４５０４によって使用可能になる前に、追加的なフィルタによってフィルタ処理される。

光源４５０８は、１つ又は２つ以上の特定の波長の白色光又は電磁放射線を放出するように構成することができるエミッタとすることができる。光源４５０８は、指定した波長の光を放出又はパルス化するように構成された複数のレーザを含むことができる。一実施形態では、光源４５０８は、白色光を放出し、フィルタ４５０２は、１つ又は２つ以上の所望の波長の光以外の全ての不要な光、又は他の電磁放射線をフィルタリングするように構成される。フィルタ４５０２は、特定の検査又は目的のために、例えば、ある種類の身体組織又は構造を強調するために、又は特定の状態又は化学プロセスを強調するために選択することができる。

図４６は、複数のカットフィルタを有する４６００撮像システムの概略図である。システム４６００は、光不足環境において使用するための光源４６０８を有する内視鏡４６０６又は他の好適な撮像装置を含む。内視鏡４６０６は、画像センサ４６０４と、２つのフィルタは４６０２ａ、４６０２ｂと、を含む。代替の実施形態では、システム４６００が任意の数のフィルタを含むことができること、並びにフィルタの数及びフィルタの種類を、特定の目的のために、例えば、特定の身体組織、身体状態、化学プロセス、などの撮像情報を収集するために選択することができることが理解されるべきである。フィルタ４６０２ａ、４６０２ｂは、光又は他の電磁放射線の不要な波長をフィルタリングするように構成される。フィルタ４６０２ａ、４６０２ｂは、光源４６０８によって放出することができる白色光又は他の電磁放射線から不要な波長をフィルタリングするように構成することができる。フィルタリングされた光は、表面４６１２（例えば、身体組織）に当たって、画像センサ４６０４に戻り反射することができる。

図４５に関する本開示を続けると、フィルタ４６０２ａ、４６０２ｂは、蛍光試薬又は染料が投与された一実装形態で使用することができる。フィルタ４６０２ａ、４６０２ｂは、試薬又は染料の放出励起波長をブロックし、画像センサ４６０４が試薬又は染料の緩和波長のみを読み出すことを可能にするように構成することができる。更に、フィルタ４６０２ａ、４６０２ｂは、蛍光試薬又は染料が投与されていない一実装形態において使用されることができる。かかる実装形態では、フィルタ４６０２ａ、４６０２ｂは、所望のスペクトル応答に対応する波長が通過し、画像センサ４６０４によって読み出されることを可能にするように選択することができる。

複数のフィルタ４６０２ａ、４６０２ｂは、各々、電磁スペクトルの異なる波長範囲をフィルタリングするように構成することができる。例えば、１つのフィルタを、所望の波長範囲を超える波長をフィルタリングするように構成することができ、追加的なフィルタを、所望の波長範囲よりも短い波長をフィルタリングするように構成することができる。２つ以上のフィルタの組み合わせは、画像センサ４６０４によって読み出されている波長の特定の波長又は帯域のみをもたらすことができる。

一実施形態では、フィルタ４６０２ａ、４６０２ｂは、５１３ｎｍ〜５４５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、５６５ｎｍ〜５８５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、９００ｎｍ〜１０００ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、４２５ｎｍ〜４７５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、５２０ｎｍ〜５４５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、６２５ｎｍ〜６４５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、７６０ｎｍ〜７９５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、７９５ｎｍ〜８１５ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、３７０ｎｍ〜４２０ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、６００ｎｍ〜６７０ｎｍの電磁放射線が画像センサ４６０４に接触するようにカスタマイズすることができる。一実施形態では、フィルタ４６０２ａ、４６０２ｂは、特定の蛍光緩和放出のみが、フィルタ４６０２ａ、４６０２ｂを通過し、画像センサ４６０４に接触することを可能にするように構成される。

一実施形態では、システム４６００は、複数の画像センサ４６０４を含み、特に、三次元画像を生成する際に使用するための２つの画像センサを含むことができる。画像センサ（複数可）４６０４は、色／波長認識不能とすることができ、また、表面４６１２に反射される電磁放射線の任意の波長を読み出すように構成することができる。一実施形態では、画像センサ４６０４は、各々、色依存又は波長依存であり、また、表面４６１２に反射して、画像センサ４６０４に戻る特定の波長の電磁放射線を読み出すように構成されている。代替的に、画像センサ４６０４は、ベイヤーフィルタのカラーフィルタアレイなどの、光の異なる波長又は色を読み出すように構成された複数の異なる画素センサを有する、単一の画像センサを含むことができる。代替的に、画像センサ４６０４は、例えば図５〜図７Ｅ及び図１５〜図１６に例示されるものなどのパルス化スケジュールに従って電磁放射線の異なる波長を読み出すように構成することができる、１つ又は２つ以上の色認識不能画像センサを含むことができる。

図４７は、光不足環境において表面をマッピングするための及び／又は物体を追跡するためのシステム４７００を例示する概略図である。一実施形態では、光不足環境における内視鏡４７０２は、表面４７０４のグリッドアレイ４７０６（レーザマップパターンとも称され得る）をパルス化する。グリッドアレイ４７０６は、図４７に例示される一実施形態では、垂直ハッシング４７０８と、水平ハッシング４７１０と、を含むことができる。グリッドアレイ４７０６は、例えば個別的な位置のラスタグリッド、占有グリッドマップ、ドットアレイ、などを含む表面４７０４をマッピングするための、任意の好適なアレイを含むことができることが理解されるべきである。加えて、内視鏡４７０２は、複数のグリッドアレイ４７０６をパルス化することができ、また、例えば、光不足環境内の複数の物体又は構造の各々の１つ又は２つ以上の個々のグリッドアレイをパルス化することができる。

一実施形態では、システム４７００は、グリッドアレイ４７０６をパルス化することができ、これは、三次元表面を決定するために、及び／又は光不足環境内のツール又は別の装置などの物体の位置を追跡するために使用することができる。一実施形態では、システム４７００は、光検出及び測距（light detection and ranging、ＬＩＤＡＲ）マッピングによって表面の寸法及び構成を決定するためのデータを第三者のシステム又はコンピュータアルゴリズムに提供することができる。システム４７００は、例えば紫外光、可視光、及び／又は赤外光若しくは近赤外光を含む、任意の好適な光の波長又は電磁放射線をグリッドアレイ４７０６にパルス化することができる。環境内の表面４７０４及び／又は物体は、非常に高い解像度で、かつ非常に高い正確さ及び精密さでマッピング及び追跡することができる。

一実施形態では、システム４７００は、チューブと、１つ又は２つ以上の画像センサと、１つ又は２つ以上の画像センサに対応する光学素子を有するレンズアセンブリと、を有する、撮像装置を含む。システム４７００は、電磁放射線の１つ又は２つ以上のパルスを生成する照明源と、電磁放射線の１つ又は２つ以上のパルスを体腔などの光不足環境内の内視鏡の遠位先端に伝達する管腔と、を有する、ライトエンジンを含むことができる。一実施形態では、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、体組織の表面及び／又は体腔内のツール若しくは他の装置の表面などの、光不足環境内の表面に放出されるレーザマップパターンを含む。内視鏡４７０２は、光不足環境内の表面、寸法、及び構成をマッピング及び／又は追跡するための二次元、三次元、又はｎ次元のカメラを含むことができる。

一実施形態では、システム４７００は、表面４７０４などの物体から内視鏡又はツールまでの距離を決定するためのプロセッサを含む。プロセッサは、内視鏡又はツールと物体との間の角度を更に決定することができる。プロセッサは、例えば手術用具のサイズ、構造のサイズ、解剖学的構造のサイズ、位置情報、並びに他の位置データ及びメトリックを含む、物体に関する表面積情報を更に決定することができる。システム４７００は、内視鏡又はツールから表面４７０４などの物体までの距離を決定するための制御システムへの出力である画像データを提供する、１つ又は２つ以上の画像センサを含むことができる。画像センサは、内視鏡又はツールと物体との間の角度を決定するための情報を制御システムに出力することができる。加えて、画像センサは、物体に関する表面積情報、手術用具のサイズ、構造のサイズ、解剖学的構造のサイズ、位置情報、並びに他の位置データ及びメトリックを決定するための情報を制御システムに出力することができる。

一実施形態では、グリッドアレイ４７０６は、グリッドアレイ４７０６をユーザが見ることができないように、内視鏡４７０２の照明源によって十分な速度でパルス化される。様々な実装形態では、内視鏡撮像手技及び／又は内視鏡外科手技中に、ユーザがグリッドアレイ４７０６を見ることで気が散る場合がある。グリッドアレイ４７０６は、グリッドアレイ４７０６がヒトの眼球によって検出できないように、十分に短い期間にわたってパルス化することができる。代替的な実施形態では、内視鏡４７０２は、グリッドアレイ４７０６がユーザによって視認することができるように、十分な繰り返し頻度でグリッドアレイ４７０６をパルス化する。かかる一実施形態では、グリッドアレイ４７０６は、ディスプレイ上の表面４７０４の画像に重ね合わせることができる。グリッドアレイ４７０６は、システム４７００の使用中にグリッドアレイ４７０６をユーザが見ることができるように、表面４７０４の白黒画像又はＲＧＢ画像に重ね合わせることができる。システム４７００のユーザは、グリッドアレイ４７０６を表面４７０４の画像に重ね合わせるべきであるか、及び／又はグリッドアレイ４７０６をユーザが見ることができるべきであるか、を指示することができる。システム４７００は、光不足環境内で内視鏡４７０２から表面４７０４又は別の物体までの距離のリアルタイム測定値を提供するディスプレイを含むことができる。ディスプレイは、光不足環境内の表面４７０４及び／若しくは任意の物体、構造、又はツールに関するリアルタイムの表面積情報を更に提供することができる。測定値の精度は、１ミリメートル未満の精度とすることができる。

内視鏡４７０２は、例えば図５〜図７Ｅ及び図１５〜図１６に例示されるものなどのパルス化スケジュールに従って電磁放射線をパルス化することができ、これは、ＲＧＢ画像を生成するために赤色光、緑色光、及び青色光をパルス化することと共にグリッドアレイ４７０６をパルス化することと、ＲＧＢ画像に重ね合わせることができる及び／又は光不足環境内で表面４７０４及び物体をマッピング及び追跡するために使用することができるグリッドアレイ４７０６を更に生成することと、を更に含むことができる。

一実施形態では、内視鏡４７０２は、１つ又は２つ以上の色認識不能画像センサを含む。一実施形態では、内視鏡４７０２は、光不足環境の三次元画像又はマップを生成するための、２つの色認識不能画像センサを含む。画像センサは、本明細書に開示されるパルス化スケジュールに従って光不足環境のＲＧＢ画像を生成することができる。加えて、画像センサは、グリッドアレイ４７０６がパルス化されるときに決定されるデータに基づいて、光不足環境をマッピングし、光不足環境内の１つ又は２つ以上の物体を追跡するためのデータを決定することができる。加えて、画像センサは、撮像手技の特定の必要性を満たすためにユーザによって修正することができるパルス化スケジュールに従う蛍光撮像データと共に、スペクトルデータ又はハイパースペクトルデータを決定することができる。一実施形態では、パルス化スケジュールは、グリッドアレイ４７０６のパルス化、並びに／又はハイパースペクトル画像データ及び／若しくは蛍光画像データを生成するためのパルス化と共に、赤色パルス、緑色パルス、及び青色パルスを含む。様々な実装形態では、パルス化スケジュールは、ユーザの必要性に従って、電磁放射線のパルスの任意の適切な組み合わせを含むことができる。異なる波長の電磁放射線の繰り返し頻度は、例えば、特定のパルスのエネルギー、ユーザの必要性、特定のデータ（例えば、ハイパースペクトルデータ及び／又は蛍光撮像データ）を連続的に更新することが必要であるか、又はあまり頻繁に更新しなくてもよいか、などに基づいて決定することができる。

パルス化スケジュールは、任意の好適な様態で修正することができ、電磁放射線の特定のパルスは、ユーザの必要性又は特定の撮像手技のためのコンピュータ実装のプログラムに従って、任意の好適な頻度で繰り返すことができる。例えば、グリッドアレイ４７０６に基づいて生成される表面追跡データが、例えばロボット外科手技で使用するためのコンピュータ実装のプログラムに提供される一実施形態では、グリッドアレイ４７０６は、表面追跡データが撮像手技中にシーンを視覚化しているユーザに提供される場合よりも頻繁にパルス化することができる。表面追跡データがロボット外科手技に使用されるかかる一実施形態では、表面追跡データは、より頻繁に更新することが必要な場合があり、又はコンピュータ実装のプログラムが精密かつ正確にロボット外科手技を実行することができるように極めて正確であることが必要な場合がある。

一実施形態では、システム４７００は、グリッドに分けられたセルのアレイを備える占有グリッドマップを生成するように構成されている。システム４７００は、それぞれのグリッドセルの各々の高さ値を記憶して、光不足環境内の三次元環境の表面マッピングを決定するように構成されている。

図４８は、光不足環境におけるハイパースペクトル撮像のための方法４８００の概略的なフローチャート図である。方法４８００は、図３７に例示される内視鏡撮像システムなどの撮像システムによって実行することができる。

方法４８００は、４８０２において、モノクロ画像センサの読み出し期間中に複数の狭帯域パルスを放出することを含む。４８０２において、パルスは、狭周波数帯域内の電磁エネルギーを放出する複数のエミッタを含む光源を使用して放出することができる。例えば、光源は、所望のスペクトルをカバーする複数の周波数帯域のための少なくとも１つのエミッタを含むことができる。４８０４において、モノクロ画像センサは、モノクロ画像センサから画素データを読み出し、読み出し期間の後に複数のフレームを生成する。各フレームは、異なるスペクトル成分を含むことができる。これらのフレームは、デジタルビデオストリームを生成するために使用することができる複数の繰り返しフレームを含むことができる。各フレームは、光源の１つ又は２つ以上のエミッタによって放出されるエネルギーに基づくことができる。一実施形態では、フレームは、所望の組織又は物質の周波数応答にマッチするように周波数の組み合わせを生成するために、光源によって放出される光の組み合わせに基づくことができる。４８０６において、コントローラ、ＣＣＵ、又は他のシステムは、複数のフレームに基づいて、１つ又は２つ以上の画素について組織のスペクトル応答を決定する。例えば、複数のフレーム内の画素の値に基づいて、各フレームごとに放出される光の周波数に関する画素値及び知識を使用して、特定の画素の周波数応答を決定することができる。４８０８において、システムは、複数のフレームに基づく組み合わせ画像を生成することができ、この組み合わせ画像は、１つ又は２つ以上の画素のスペクトル応答を示すオーバーレイを備える。例えば、組み合わせ画像は、グレースケールとするか、又は特定の組織又は分類に対応する画素が明緑色で示されるカラー画像とすることができる。

図４９は、光不足環境における蛍光撮像のための方法４９００の概略的なフローチャート図である。方法４９００は、図３７に例示される内視鏡撮像システムなどの撮像システムによって実行することができる。

方法４９００は、４９０２において、モノクロ画像センサの読み出し期間中に複数の狭帯域パルスを放出することを含む。４９０２において、パルスは、狭周波数帯域内の電磁エネルギーを放出する複数のエミッタを含む光源を使用して放出することができる。例えば、光源は、所望のスペクトルをカバーする複数の周波数帯域のための少なくとも１つのエミッタを含むことができる。４９０４において、モノクロ画像センサは、モノクロ画像センサから画素データを読み出し、読み出し期間の後に複数のフレームを生成する。各フレームは、異なるスペクトル成分を含むことができる。これらのフレームは、デジタルビデオストリームを生成するために使用することができる複数の繰り返しフレームを含むことができる。各フレームは、光源の１つ又は２つ以上のエミッタによって放出されるエネルギーに基づくことができる。一実施形態では、フレームは、所望の組織又は物質の周波数応答にマッチするように周波数の組み合わせを生成するために、光源によって放出される光の組み合わせに基づくことができる。４９０６において、コントローラ、ＣＣＵ、又は他のシステムは、複数のフレームに基づいて、１つ又は２つ以上の画素について試薬の蛍光緩和放出を決定する。例えば、複数のフレーム内の画素の値に基づいて、各フレームごとに放出される光の周波数に関する画素値及び知識を使用して、特定の画素の周波数応答を決定することができる。４９０８において、システムは、複数のフレームに基づく組み合わせ画像を生成することができ、この組み合わせ画像は、１つ又は２つ以上の画素の蛍光緩和放出を示すオーバーレイを備える。例えば、組み合わせ画像は、グレースケールとするか、又は特定の組織又は分類に対応する画素が明緑色で示されるカラー画像とすることができる。

以下の実施例は、更なる実施形態に関する。

実施例１は、光不足環境において使用するための内視鏡システムである。システムは、チューブと、１つ又は２つ以上の画像センサと、１つ又は２つ以上の画像センサに対応する少なくとも１つの光学素子を備えるレンズアセンブリと、を含む。システムは、ユーザがシーンを視覚化するためのディスプレイを含む。システムは、電磁放射線の１つ又は２つ以上のパルスを生成する照明源を含むライトエンジンを含む。ライトエンジンは、電磁放射線の１つ又は２つ以上のパルスを内視鏡の遠位先端に伝達する管腔を更に含むことができ、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、５１３ｎｍ〜５４５ｎｍの電磁放射線を含み、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、５６５ｎｍ〜５８５ｎｍの電磁放射線を含み、電磁放射線の１つ又は２つ以上のパルスの少なくとも一部分は、９００ｎｍ〜１０００ｎｍの電磁放射線を含む。

実施例２は、電磁放射線の１つ又は２つ以上のパルスの持続時間が可変である、実施例１に記載のシステムである。

実施例３は、パルス持続時間が、パルス持続時間全体よりも短い持続時間を有する電磁放射線の複数のパルスを含む、実施例１〜２のいずれかに記載のシステムである。

実施例４は、パルス持続時間全体よりも短い持続時間を有する電磁放射線の複数のパルスが、単一のフレーム露光を提供する持続時間を有する、実施例１〜３のいずれかに記載のシステムである。

実施例５は、パルス持続時間中に、サブ持続時間を有する電磁放射線の複数のサブパルスが放出され、サブ持続時間が、パルス持続時間よりも短い、実施例１〜４のいずれかに記載のシステムである。

実施例６は、パルス持続時間内のパルスサブ持続時間が、電磁放射線のサブパルスごとに異なる、実施例１〜５のいずれかに記載のシステムである。

実施例７は、パルス持続時間内のパルスサブ持続時間が、電磁放射線のサブパルスごとに同じである、実施例１〜６のいずれかに記載のシステムである。

実施例８は、パルス持続時間内のパルスサブ持続時間が、等しい持続時間を有する電磁放射線の２つ以上のサブパルスを含む、実施例１〜７のいずれかに記載のシステムである。

実施例９は、複数のサブパルスの１つ又は２つ以上が、単一のパルス又は単一のサブパルスとして２つ以上の波長で同時に放出される電磁放射線を含むことができる、実施例１〜８のいずれかに記載のシステムである。

実施例１０は、複数のサブパルスのサブ持続時間が、放出される電磁放射線の波長及びパルス持続時間あたりに生じる放出数の両方において可変である、実施例１〜９のいずれかに記載のシステムである。

実施例１１は、複数のサブパルスのサブ持続時間が、単一のフレーム露光を提供する単一のパルス持続時間に等しい、実施例１〜１０のいずれかに記載のシステムである。

実施例１２は、電磁放射線の様々な波長の一連のパルスが、内視鏡ライトエンジンのユーザによって調整可能である、実施例１〜１１のいずれかに記載のシステムである。

実施例１３は、システムが、トグルボタンを含み、ユーザが、トグルボタンを操作することによってパルスの順序を変更又は調整する、実施例１〜１２のいずれかに記載のシステムである。

実施例１４は、システムが、シーンを適切に照明するための制御システムを備え、制御システムが、閾値に基づいてライトエンジンから放出される電磁放射線のパルスの順序を自動的に調整又は変更し、閾値が、シーンの適切な照明を演繹的に決定する、実施例１〜１３のいずれかに記載のシステムである。

実施例１５は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜１４のいずれかに記載のシステムである。

実施例１６は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜１５のいずれかに記載のシステムである。

実施例１７は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜１６のいずれかに記載のシステムである。

実施例１８は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜１７のいずれかに記載のシステムである。

実施例１９は、照明源が、１つ又は２つ以上のレーザエミッタを使用して電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜１８のいずれかに記載のシステムである。

実施例２０は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施例１〜１９のいずれかに記載のシステムである。

実施例２１は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜２０のいずれかに記載のシステムである。

実施例２２は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜２１のいずれかに記載のシステムである。

実施例２３は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜２２のいずれかに記載のシステムである。

実施例２４は、照明源が、４２５ｎｍ〜４７５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜２３のいずれかに記載のシステムである。

実施例２５は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜２４のいずれかに記載のシステムである。

実施例２６は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜２５のいずれかに記載のシステムである。

実施例２７は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜２６のいずれかに記載のシステムである。

実施例２８は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜２７のいずれかに記載のシステムである。

実施例２９は、照明源が、５２０ｎｍ〜５４５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜２８のいずれかに記載のシステムである。

実施例３０は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜２９のいずれかに記載のシステムである。

実施例３１は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜３０のいずれかに記載のシステムである。

実施例３２は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜３１のいずれかに記載のシステムである。

実施例３３は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜３２のいずれかに記載のシステムである。

実施例３４は、照明源が、６２５ｎｍ〜６４５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜３３のいずれかに記載のシステムである。

実施例３５は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜３４のいずれかに記載のシステムである。

実施例３６は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜３５のいずれかに記載のシステムである。

実施例３７は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜３６のいずれかに記載のシステムである。

実施例３８は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜３７のいずれかに記載のシステムである。

実施例３９は、照明源が、７６０ｎｍ〜７９５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜３８のいずれかに記載のシステムである。

実施例４０は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜３９のいずれに記載のシステムである。

実施例４１は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜４０のいずれかに記載のシステムである。

実施例４２は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜４１のいずれかに記載のシステムである。

実施例４３は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜４２のいずれかに記載のシステムである。

実施例４４は、照明源が、７９５ｎｍ〜８１５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜４３のいずれかに記載のシステムである。

実施例４５は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜４４のいずれかに記載のシステムである。

実施例４６は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜４５のいずれかに記載のシステムである。

実施例４７は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜４６のいずれかに記載のシステムである。

実施例４８は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜４７のいずれかに記載のシステムである。

実施例４９は、照明源が、３７０ｎｍ〜４２０ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜４８のいずれかに記載のシステムである。

実施例５０は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜４９のいずれかに記載のシステムである。

実施例５１は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜５０のいずれか４記載のシステムである。

実施例５２は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜５１のいずれかに記載のシステムである。

実施例５３は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜５２のいずれかに記載のシステムである。

実施例５４は、照明源が、６００ｎｍ〜６７０ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施例１〜５３のいずれかに記載のシステムである。

実施例５５は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上で単一画像としてユーザに表示される、実施例１〜５４のいずれかに記載のシステムである。

実施例５６は、単一画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜５５のいずれかに記載のシステムである。

実施例５７は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施例１〜５６のいずれかに記載のシステムである。

実施例５８は、オーバーレイ画像には、ディスプレイ上で使用するための可視色が割り当てられ、可視色が、８ビット又は１６ビット又はｎビットである、実施例１〜５７のいずれかに記載のシステムである。

実施例５９は、ライトエンジンが、偏光フィルタを備える、実施例１〜５８のいずれかに記載のシステムである。

実施例６０は、偏光フィルタが、電磁放射線の経路内に配置される、実施例１〜５９のいずれかに記載のシステムである。

実施例６１は、偏光フィルタが、管腔の近位端に配置される、実施例１〜６０のいずれかに記載のシステムである。

実施例６２は、偏光フィルタが、管腔の遠位端に配置される、実施例１〜６１のいずれかに記載のシステムである。

実施例６３は、レンズアセンブリが、電磁放射線フィルタを備える、実施例１〜６２のいずれかに記載のシステムである。

実施例６４は、レンズアセンブリが、偏光フィルタを備える、実施例１〜６３のいずれかに記載のシステムである。

実施例６５は、電磁放射線の各パルスが、画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、重要な組織構造の位置を提供する、対応するシステムに供給される、実施例１〜６４のいずれかに記載のシステムである。

実施例６６は、重要な構造の位置が、内視鏡システムによって受信され、ディスプレイ上で重ね合わせられ、重要な構造が、アルゴリズム又はユーザのいずれかによって選択された任意の色に符号化される、実施例１〜６５のいずれかに記載のシステムである。

本明細書に記載された様々な特徴は、当該技術分野において重要な利点及び進歩をもたらすことが理解されよう。以下の特許請求の範囲は、これらの特徴の一部を例示する。

前述の「発明を実施するための形態」では、本開示の様々な特性は、本開示の合理化の目的のために単一の実施形態に一緒にグループ化される。本開示の方法は、主張する主題には、各特許請求項において明示的に記載されるものより多い特徴部が必要であるという意図を反映するとは、解釈しないものとする。むしろ、発明の態様は前述の開示の単一の実施形態の全ての特徴より少ない特徴にある。

上述の構成は、本開示の原理の適用を例示し得るにすぎないことを、理解されたい。多数の変形形態及び代替構成が、本開示の趣旨及び範囲から逸脱することなく当業者により考案され得、添付の本開示は、そのような変形形態及び構成を包含することが意図されている。

したがって、本開示を、具体的かつ詳細に図面に示して上述してきたが、大きさ、材料、形状、形態、機能及び動作の様態、組み立て並びに用途の変形を含むが、これらに限定されない多数の変形形態を、本明細書で記載した原理及び概念を逸脱することなく行うことができることが、当業者に明らかであろう。

更に、適切な場合、本明細書に記載される機能を、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの１つ以上で実行することができる。例えば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、又は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）は、本明細書にて記載するシステム及び手順の１つ以上を実行するように、プログラムすることができる。特定の用語が、特定のシステム構成要素を指すために以下の記載及び本開示を通して使用される。当業者には理解されるように、構成要素を異なる名称により称している場合がある。本明細書では、名称が異なるが機能は異ならない構成要素を区別することは、意図していない。

前述の記載は、例示及び説明を目的として提示したものである。網羅的であること、及び、開示した正確な形態に本発明を制限することを目的とするものではない。上記の教示に照らして、多くの変形形態及び変形が可能である。更に、上述した代替実施態様のいずれか又は全ては、本開示の更なる混成の実施態様を形成するために望まれる任意の組み合わせで使用され得る、という点に留意すべきである。

更に、本開示の特定の実施態様を記載及び例示してきたが、本開示はそのように記載及び例示した部分の特定の形態並びに構成に限定されるべきではない。本開示の範囲は、本明細書に添付した特許請求の範囲、本明細書及び異なる出願、及びそれらの均等物で提起される任意の今後の特許請求の範囲によって定義されるべきである。

〔実施の態様〕
（１）光不足環境で使用するための内視鏡システムであって、
撮像装置であって、
チューブと、
１つ又は２つ以上の画像センサと、
前記１つ又は２つ以上の画像センサに対応する少なくとも１つの光学素子を含むレンズアセンブリと、を備える、撮像装置と、
ユーザがシーンを視覚化するためのディスプレイと、
画像信号処理コントローラと、
ライトエンジンであって、
電磁放射線の１つ又は２つ以上のパルスを生成する照明源と、
電磁放射線の１つ又は２つ以上のパルスを内視鏡の遠位先端に伝達する管腔と、を備える、ライトエンジンと、を備え、電磁放射線の前記１つ又は２つ以上のパルスの少なくとも一部分は、５１３ｎｍ〜５４５ｎｍの電磁放射線を含み、電磁放射線の前記１つ又は２つ以上のパルスの少なくとも一部分は、５６５ｎｍ〜５８５ｎｍの電磁放射線を含み、電磁放射線の前記１つ又は２つ以上のパルスの少なくとも一部分は、９００ｎｍ〜１０００ｎｍの電磁放射線を含む、内視鏡システム。
（２）電磁放射線の１つ又は２つ以上のパルスの持続時間が可変である、実施態様１に記載の内視鏡システム。
（３）パルス持続時間が、前記パルス持続時間全体よりも短い持続時間を有する電磁放射線の複数のパルスを含む、実施態様２に記載の内視鏡システム。
（４）前記パルス持続時間全体よりも短い持続時間を有する電磁放射線の前記複数のパルスが、単一のフレーム露光を提供する持続時間を有する、実施態様３に記載の内視鏡システム。
（５）パルス持続時間中に、サブ持続時間を有する電磁放射線の複数のサブパルスが放出され、前記サブ持続時間が、前記パルス持続時間よりも短い、実施態様１に記載の内視鏡システム。

（６）前記パルス持続時間内の前記パルスサブ持続時間が、電磁放射線のサブパルスごとに異なる、実施態様５に記載の内視鏡システム。
（７）前記パルス持続時間内の前記パルスサブ持続時間が、電磁放射線のサブパルスごとに同じである、実施態様５に記載の内視鏡システム。
（８）前記パルス持続時間内の前記パルスサブ持続時間が、等しい持続時間を有する電磁放射線の２つ以上のサブパルスを含む、実施態様５に記載の内視鏡システム。
（９）前記複数のサブパルスの１つ又は２つ以上が、単一のパルス又は単一のサブパルスとして２つ以上の波長で同時に放出される電磁放射線を含むことができる、実施態様５に記載の内視鏡システム。
（１０）前記複数のサブパルスの前記サブ持続時間が、放出される電磁放射線の波長及びパルス持続時間あたりに生じる放出数の両方において可変である、実施態様５に記載の内視鏡システム。

（１１）前記複数のサブパルスの前記サブ持続時間が、単一のフレーム露光を提供する単一のパルス持続時間に等しい、実施態様１０に記載の内視鏡システム。
（１２）電磁放射線の様々な波長のパルスの順序が、前記内視鏡ライトエンジンのユーザによって調整可能である、実施態様１に記載の内視鏡システム。
（１３）前記システムが、トグルボタンを含み、ユーザが、前記トグルボタンを操作することによってパルスの前記順序を変更又は調整する、実施態様１に記載の内視鏡システム。
（１４）前記システムが、前記シーンを適切に照明するための制御システムを備え、前記制御システムが、閾値に基づいて前記ライトエンジンから放出される電磁放射線のパルスの前記順序を自動的に調整又は変更し、前記閾値が、前記シーンの適切な照明を演繹的に決定する、実施態様１に記載の内視鏡システム。
（１５）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様１に記載の内視鏡システム。

（１６）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様１５に記載の内視鏡システム。
（１７）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様１に記載の内視鏡システム。
（１８）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様１７に記載の内視鏡システム。
（１９）前記照明源が、１つ又は２つ以上のレーザエミッタを使用して電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（２０）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様１９に記載の内視鏡システム。

（２１）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様２０に記載の内視鏡システム。
（２２）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様１９に記載の内視鏡システム。
（２３）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様２２に記載の内視鏡システム。
（２４）前記照明源が、４２５ｎｍ〜４７５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（２５）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様２４に記載の内視鏡システム。

（２６）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様２５に記載の内視鏡システム。
（２７）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様２４に記載の内視鏡システム。
（２８）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様２７に記載の内視鏡システム。
（２９）前記照明源が、５２０ｎｍ〜５４５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（３０）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様２９に記載の内視鏡システム。

（３１）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様３０に記載の内視鏡システム。
（３２）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様２９に記載の内視鏡システム。
（３３）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様３２に記載の内視鏡システム。
（３４）前記照明源が、６２５ｎｍ〜６４５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（３５）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様３４に記載の内視鏡システム。

（３６）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様３５に記載の内視鏡システム。
（３７）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様３４に記載の内視鏡システム。
（３８）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様３７に記載の内視鏡システム。
（３９）前記照明源が、７６０ｎｍ〜７９５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（４０）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様３９に記載の内視鏡システム。

（４１）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様４０に記載の内視鏡システム。
（４２）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様３９に記載の内視鏡システム。
（４３）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様４２に記載の内視鏡システム。
（４４）前記照明源が、７９５ｎｍ〜８１５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（４５）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様４４に記載の内視鏡システム。

（４６）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様４５に記載の内視鏡システム。
（４７）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様４４に記載の内視鏡システム。
（４８）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様４７に記載の内視鏡システム。
（４９）前記照明源が、３７０ｎｍ〜４２０ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（５０）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様４９に記載の内視鏡システム。

（５１）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様５０に記載の内視鏡システム。
（５２）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様４９に記載の内視鏡システム。
（５３）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様５２に記載の内視鏡システム。
（５４）前記照明源が、６００ｎｍ〜６７０ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、実施態様１に記載の内視鏡システム。
（５５）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、実施態様５４に記載の内視鏡システム。

（５６）前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様５５に記載の内視鏡システム。
（５７）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、実施態様５４に記載の内視鏡システム。
（５８）前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、実施態様５７に記載の内視鏡システム。
（５９）前記ライトエンジンが、偏光フィルタを備える、実施態様１に記載の内視鏡システム。
（６０）前記偏光フィルタが、前記電磁放射線の経路内に配置されている、実施態様５９に記載の内視鏡システム。

（６１）前記偏光フィルタが、前記管腔の近位端に配置されている、実施態様６０に記載の内視鏡システム。
（６２）前記偏光フィルタが、前記管腔の遠位端に配置されている、実施態様６０に記載の内視鏡システム。
（６３）前記レンズアセンブリが、電磁放射線フィルタを備える、実施態様１に記載の内視鏡システム。
（６４）前記レンズアセンブリが、偏光フィルタを備える、実施態様１に記載の内視鏡システム。
（６５）電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、重要な組織構造の位置を提供する、対応するシステムに供給される、実施態様１に記載の内視鏡システム。

（６６）前記重要な構造の位置が、前記内視鏡システムによって受信され、ディスプレイ上で重ね合わせられ、前記重要な構造が、アルゴリズム又はユーザのいずれかによって選択された任意の色に符号化される、実施態様６５に記載の内視鏡システム。

Claims

光不足環境で使用するための内視鏡システムであって、
撮像装置であって、
チューブと、
１つ又は２つ以上の画像センサと、
前記１つ又は２つ以上の画像センサに対応する少なくとも１つの光学素子を含むレンズアセンブリと、を備える、撮像装置と、
ユーザがシーンを視覚化するためのディスプレイと、
画像信号処理コントローラと、
ライトエンジンであって、
電磁放射線の１つ又は２つ以上のパルスを生成する照明源と、
電磁放射線の１つ又は２つ以上のパルスを内視鏡の遠位先端に伝達する管腔と、を備える、ライトエンジンと、を備え、電磁放射線の前記１つ又は２つ以上のパルスの少なくとも一部分は、５１３ｎｍ〜５４５ｎｍの電磁放射線を含み、電磁放射線の前記１つ又は２つ以上のパルスの少なくとも一部分は、５６５ｎｍ〜５８５ｎｍの電磁放射線を含み、電磁放射線の前記１つ又は２つ以上のパルスの少なくとも一部分は、９００ｎｍ〜１０００ｎｍの電磁放射線を含む、内視鏡システム。
電磁放射線の１つ又は２つ以上のパルスの持続時間が可変である、請求項１に記載の内視鏡システム。
パルス持続時間が、前記パルス持続時間全体よりも短い持続時間を有する電磁放射線の複数のパルスを含む、請求項２に記載の内視鏡システム。
前記パルス持続時間全体よりも短い持続時間を有する電磁放射線の前記複数のパルスが、単一のフレーム露光を提供する持続時間を有する、請求項３に記載の内視鏡システム。
パルス持続時間中に、サブ持続時間を有する電磁放射線の複数のサブパルスが放出され、前記サブ持続時間が、前記パルス持続時間よりも短い、請求項１に記載の内視鏡システム。
前記パルス持続時間内の前記パルスサブ持続時間が、電磁放射線のサブパルスごとに異なる、請求項５に記載の内視鏡システム。
前記パルス持続時間内の前記パルスサブ持続時間が、電磁放射線のサブパルスごとに同じである、請求項５に記載の内視鏡システム。
前記パルス持続時間内の前記パルスサブ持続時間が、等しい持続時間を有する電磁放射線の２つ以上のサブパルスを含む、請求項５に記載の内視鏡システム。
前記複数のサブパルスの１つ又は２つ以上が、単一のパルス又は単一のサブパルスとして２つ以上の波長で同時に放出される電磁放射線を含むことができる、請求項５に記載の内視鏡システム。
前記複数のサブパルスの前記サブ持続時間が、放出される電磁放射線の波長及びパルス持続時間あたりに生じる放出数の両方において可変である、請求項５に記載の内視鏡システム。
前記複数のサブパルスの前記サブ持続時間が、単一のフレーム露光を提供する単一のパルス持続時間に等しい、請求項１０に記載の内視鏡システム。
電磁放射線の様々な波長のパルスの順序が、前記内視鏡ライトエンジンのユーザによって調整可能である、請求項１に記載の内視鏡システム。
前記システムが、トグルボタンを含み、ユーザが、前記トグルボタンを操作することによってパルスの前記順序を変更又は調整する、請求項１に記載の内視鏡システム。
前記システムが、前記シーンを適切に照明するための制御システムを備え、前記制御システムが、閾値に基づいて前記ライトエンジンから放出される電磁放射線のパルスの前記順序を自動的に調整又は変更し、前記閾値が、前記シーンの適切な照明を演繹的に決定する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項１に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項１５に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項１に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項１７に記載の内視鏡システム。
前記照明源が、１つ又は２つ以上のレーザエミッタを使用して電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項１９に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項２０に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項１９に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項２２に記載の内視鏡システム。
前記照明源が、４２５ｎｍ〜４７５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項２４に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項２５に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項２４に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項２７に記載の内視鏡システム。
前記照明源が、５２０ｎｍ〜５４５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項２９に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項３０に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項２９に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項３２に記載の内視鏡システム。
前記照明源が、６２５ｎｍ〜６４５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項３４に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項３５に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項３４に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項３７に記載の内視鏡システム。
前記照明源が、７６０ｎｍ〜７９５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項３９に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項４０に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項３９に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項４２に記載の内視鏡システム。
前記照明源が、７９５ｎｍ〜８１５ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項４４に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項４５に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項４４に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項４７に記載の内視鏡システム。
前記照明源が、３７０ｎｍ〜４２０ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項４９に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項５０に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項４９に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項５２に記載の内視鏡システム。
前記照明源が、６００ｎｍ〜６７０ｎｍの波長で電磁放射線の１つ又は２つ以上のパルスを生成する、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上で単一画像としてユーザに表示される、請求項５４に記載の内視鏡システム。
前記単一画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項５５に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、前記ディスプレイ上でオーバーレイ画像としてユーザに表示される、請求項５４に記載の内視鏡システム。
前記オーバーレイ画像には、前記ディスプレイ上で使用するための可視色が割り当てられ、前記可視色が、８ビット又は１６ビット又はｎビットである、請求項５７に記載の内視鏡システム。
前記ライトエンジンが、偏光フィルタを備える、請求項１に記載の内視鏡システム。
前記偏光フィルタが、前記電磁放射線の経路内に配置されている、請求項５９に記載の内視鏡システム。
前記偏光フィルタが、前記管腔の近位端に配置されている、請求項６０に記載の内視鏡システム。
前記偏光フィルタが、前記管腔の遠位端に配置されている、請求項６０に記載の内視鏡システム。
前記レンズアセンブリが、電磁放射線フィルタを備える、請求項１に記載の内視鏡システム。
前記レンズアセンブリが、偏光フィルタを備える、請求項１に記載の内視鏡システム。
電磁放射線の各パルスが、前記１つ又は２つ以上の画像センサによって作成された露光フレームをもたらし、１つ又は２つ以上の露光フレームが、重要な組織構造の位置を提供する、対応するシステムに供給される、請求項１に記載の内視鏡システム。
前記重要な構造の位置が、前記内視鏡システムによって受信され、ディスプレイ上で重ね合わせられ、前記重要な構造が、アルゴリズム又はユーザのいずれかによって選択された任意の色に符号化される、請求項６５に記載の内視鏡システム。