JP2021007241A - 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ - Google Patents

構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ Download PDF

Info

Publication number
JP2021007241A
JP2021007241A JP2020162518A JP2020162518A JP2021007241A JP 2021007241 A JP2021007241 A JP 2021007241A JP 2020162518 A JP2020162518 A JP 2020162518A JP 2020162518 A JP2020162518 A JP 2020162518A JP 2021007241 A JP2021007241 A JP 2021007241A
Authority
JP
Japan
Prior art keywords
image
pixel array
regular
structured illumination
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020162518A
Other languages
English (en)
Other versions
JP7114667B2 (ja
Inventor
カン−フアイ・ワン
Kang-Huai Wang
イ・シュ
Yi Shu
ゴードン・ウィルソン
Wilson Gordon
チェンユ・ウ
Chenyu Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of JP2021007241A publication Critical patent/JP2021007241A/ja
Application granted granted Critical
Publication of JP7114667B2 publication Critical patent/JP7114667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】統合イメージセンサを用いてレギュラー画像およびレギュラー画像よりも短い撮像期間でキャプチャする混合された構造化照明画像およびレギュラー画像をキャプチャする方法および装置を提供する。【解決手段】構造化照明画像のフレーム期間の短縮を実現するために、構造化照明画像は、低減されたダイナミックレンジ、低減された空間解像度、またはそれらの組み合わせでキャプチャされた画像に対応できる。リセット信号を画素アレイに印加することにより前記画素アレイをリセットして、前記画像アレイの画素列からアナログ信号を読み取り、少なくとも１つ又は複数のアナログーデジタル変換器を用いて前記画素アレイの画素列からの前記アナログ信号を構造化照明画像のデジタル出力信号に変換することにより前記構造化照明画像がキャプチャされる。【選択図】図４Ｂ

Description

本発明は、２０１５年１０月２６日付で出願された米国特許出願第１４/８８４，７８８号に基づく優先権を主張する。ここでは上記米国特許出願の全体内容を参照として引用する。
本発明は、レギュラー画像および対応するレギュラー画像の深度や形状などの情報を導出するための構造化照明画像をキャプチャできる単一のイメージセンサに関する。
内視鏡、自律型カプセルカメラなどの生体の腔体、管道の撮像装置が知られている。内視鏡は、生体の開口や手術の切口から体内に、例えば口から食道に、直腸から結腸に進入するフレキシブルまたは剛性のチューブ状装置である。レンズを用いて画像が先端に形成されるとともに、中継システムまたは同期光ファイバを介して体外の末端に伝送される。また、ＣＣＤやＣＭＯＳアレイなどに概念上に類似している設備を用いて、先端にて画像を電気的に記録でき、ケーブルを介して前記画像データが電気信号の形式で末端に転送される。内視鏡は、医師が視野をコントロールすることを可能であり、一般的に使われている診断ツールである。
近年、生体内内視鏡の代わりに、カプセル内視鏡が開発された。カプセル内視鏡は、飲み込み型カプセルにカメラと、主にデジタルカメラにより記録された画像を含むデータを体外の基地局の受信機や記録装置へ伝送するための無線発信機と、を有する。該カプセルはさらに基地局からの命令信号を受信する無線受信機が収容されてもよい。高周波の電気信号の代わりに、低周波の電磁信号を用いてもよい。電力は、外部のインダクタからカプセル内の内部インダクタへの電磁誘起により供給されまたはカプセル内のバッテリーから供給される。
また、２０１１年７月１９日付け登録されたＵＳ７９８３４５８「内蔵式データ記憶装置または規制認可された帯域におけるデジタルワイヤレス伝送を用いる生体内自律型カメラ」により、内蔵式データ記憶装置を用いる自律型カメラが開示されている。カプセルカメラは内蔵式記憶装置は、キャプチャされた画像を不揮発性オンボードメモリに保存する。カプセルカメラは人体から排出されると回収される。カプセルカメラの出力手段を介して、カプセルカメラの不揮発性オンボードメモリ内に格納された画像へアクセスできる。
内視鏡によってキャプチャされた二次元画像は診断に有用であったが、診断の精度を向上させ、診断プロセスを簡易化するために、深度情報を含む胃腸（ＧＩ）の画像（すなわち、三次元（３Ｄ）画像）をキャプチャすることが望ましい。３Ｄ撮像の分野では、３Ｄ画像は、被写場面のテクスチャ情報をキャプチャするレギュラーのカメラと、視野内の深度情報をキャプチャする独立の深度カメラ（例えば、タイムオブフライトカメラ）とによって確立できる。３Ｄ画像は、平面に設置された複数のカメラを用いて、異なる視角で被写場面を撮影することによりキャプチャすることができる。そして、３Ｄ三角計測用のための多視野における点対応が確立される。しかし、スペースが限られている胃腸内では、マルチカメラシステムは容易に適用できない可能性がある。過去２０年間、構造化照明の技術は、単一のカメラでも被写場面の被写体の深度または形状を導出できるように進化してきた。構造化照明システムでは、通常、光源になる投射手段から被写場面の被写体に既知の幾何学パターンが投射される。投射されたパターンがあるかどうかにかかわらず、レギュラーのカメラを使用して画像をキャプチャすることができる。構造化照明でキャプチャされた画像を使用して、被写場面の被写体に関連する形状情報を導出できる。被写体の３Ｄ構造モデルを作るために、深度または形状情報、および非構造化照明でキャプチャしたレギュラー画像が使用される。構造化照明に係る技術はすでに知られており、例えば、「構造化照明による３Ｄ表面撮像技術」（Geng、Advances in Optics and Photonics、3巻、2号、128-160頁、2011年3月31日）において、様々な構造化照明のパターンを使用して説明し、対応する効果を比較した。他の例では、「構造化照明による３Ｄコンピュータビジョン：設計、校正および実施上の問題」（DePiero氏ら、コンピュータの進歩、43巻、1996年1月1日を、243-278頁）において、異なる設計、校正および実施上の問題が記載されている。したがって、構造化照明技術の詳細について、ここで省略する。
構造化照明の技術は、他の技術よりも胃腸の３Ｄ撮像に適しているが、胃腸への適用にはまた問題がある。たとえば、ほとんどの構造化照明は定置物体に応用される。したがって、キャプチャされた構造化照明画像とレギュラー画像との間では、被写体は動かない。しかし、胃腸を撮像するカプセルカメラの応用では、カプセルカメラおよび胃腸（ＧＩ）部分（例えば、小腸および結腸）の両方が動く。したがって、構造化照明画像およびレギュラー画像を連続的にキャプチャする期間中、それらの間に相対的な動きが生じる。また、カプセルカメラはエネルギーの消耗に対する要求に敏感な場面で応用されている。レギュラー画像のキャプチャに加えて、構造化照明の使用によりエネルギーが消費される。さらに、レギュラー画像がキャプチャされた後に構造化照明画像をキャプチャする場合、利用可能なフレームレートが半減される。レギュラー画像と同じフレームレートを維持しようとする場合、２倍のフレームレートで画像をキャプチャするとともに、画像のキャプチャに２倍の電力が消耗されてしまう。したがって、これらの問題が克服され胃腸で使用できる構造化照明の応用の開発が求められている。
本発明は、統合イメージセンサを用いて混合されたレギュラー画像およびレギュラー画像よりも短い撮像期間でキャプチャする構造化照明画像をキャプチャする方法および装置を提供する。構造化照明画像のフレーム期間の短縮を実現するために、構造化照明画像は、低減されたダイナミックレンジ、低減された空間解像度、またはそれらの組み合わせでキャプチャされた画像に対応できる。前記キャプチャ処理は、リセット信号を画素アレイに印加することによる前記画素アレイの画素列をリセットすること、前記画素アレイの画素列からアナログ信号を読み取ること、少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記アナログ信号を画像のデジタル出力に変換することを含む。
低減されたダイナミックレンジは、アナログ／デジタル変換器によって低減された解像度に対応する。また、低減されたダイナミックレンジは、ランプ参考電圧を生成するための低減されたランプ期間に対応し、前記少なくとも１つのアナログ／デジタル変換器は前記ランプ参考電圧と入力されたアナログ電圧を比較する。逐次近似アナログ／デジタル変換器を用いる場合、前記低減されたダイナミックレンジは、入力されたアナログ電圧と比較するために前記アナログ／デジタル変換器に入力される基準電圧を改善するための低減された逐次近似の回数に対応する。また、前記低減されたダイナミックレンジは、前記イメージセンサの低減された電荷の蓄積のための累積時間に対応する。この場合、構造化照明画像に対しイメージセンサの画素列からの第1アナログ信号のアナログゲインは増加する。
さらに、構造化照明画像のフレーム期間の累積時間において、第１強度を有する構造化照明が被写体に投射され、第１レギュラー画像のフレーム期間の累積時間において、第２強度を有する非構造化照明が被写体に投射される。前記構造化照明は、少なくとも２つの異なる色またはパターンを有する複数の光源によって生成される。１つの実施例によれば、複数の光源の少なくとも１つに関連するスペクトルは、環境光または非構造化照明に投射される想定被写体に関連する第２スペクトルとは実質的に異なる。前記イメージセンサは、モザイクパターンに配置された少なくとも第１カラーに対応する第１画素および第２カラーに対応する第２画素を含むカラーイメージセンサに対応し、前記第１スペクトルは実質的に前記第１画素に関連する第１カラーに集中する。
前記非構造化照明は、狭帯域または蛍光により発される。実質上、前記第１強度は前記第２強度よりも高い。また、前記第１強度の期間は人間の視覚残像の時間よりも実質的に短い期間である。
１つの実施例によれば、前記構造化照明画像に用いられる前記イメージセンサの前記画素列の最小リセット時間は、前記レギュラー画像のキャプチャに用いられる前記イメージセンサの前記画素列の最小リセット時間よりも実質的に短い。
さらに、前記構造化照明画像をキャプチャするための前記構造化照明をトリガして生成するように第１制御信号が生成される。前記構造化照明は前記構造化照明画像の累積期間に施される。前記構造化照明は、第１列の累積の終了前および最終列の加算の開始後に施されてよい。また、さらに、前記第２のレギュラー画像をキャプチャするための前記第２の光をトリガして生成するように第２制御信号が生成される。
さらに、構造化照明画像を提供することによりレギュラー画像の深度または形状の情報が導出される。画素アレイの選択された列のみに対し、第１リセット信号の印加、第1アナログ信号の読出し、および第1のアナログ信号の変換が施されて、構造化照明画像の持続時間を短縮する。したがって、レギュラー画像と比較して、構造化照明画像は、垂直解像度が低下する。前記構造化照明画像の画像期間は、構造化照明画像をキャプチャするための第１リセット時間、第１累積時間、および第１読出し時間の合計である。画素アレイの選択された列は、画素アレイのＮ列ごとのうちの一つに対応し、Ｎは１より大きい整数である。選択された列ごとにサブサンプリングを適用することにより、構造化照明画像の画像期間をさらに短縮することができる。１つの実施例では、第１構造化照明画像とレギュラー画像とを含む連結画像をキャプチャする過程を繰り返すことにより、表示される前記レギュラー画像に関するシーケンスと、深度または形状の情報を導出するために用いられる構造化照明画像に関するシーケンスとを生成してもよい。
他の実施例では、低いダイナミックレンジが使用されるか否かにかかわらず、構造化照明画像の空間解像度を低減することができる。言い換えれば、構造化照明画像は、レギュラーのダイナミックレンジでキャプチャすることはできるが、空間解像度は低い。例えば、イメージセンサは、選択された列のみを出力するように設定されてもよい。また、イメージセンサは、列ごとにサブサンプリングした画素を出力するように設定されてもよい。さらに、イメージセンサは、選択された列のサブサンプリングした画素のみを出力するように設定されてもよい。また、他の実施例では、第1構造化照明画像は、レギュラー画像と比較して、垂直方向、水平方向または両方向が縮小された画像エリアでキャプチャされてもよい。
１つの実施例によれば、人体の胃腸内の画像をキャプチャするために、統合イメージセンサがカプセル型ハウジング内に密封され、さらに、前記カプセル型ハウジング内で構造化照明画像をキャプチャするための第１の光をトリガして生成するように第１制御信号が生成され、前記カプセル型ハウジング内でレギュラー画像をキャプチャするための第２の光をトリガして生成するように第２制御信号が生成される。
また、他の実施例によれば、第1構造化照明画像は、シーケンス制御信号を生成して構造化照明のシーケンスを生成し、そして複数の構造化照明画像をキャプチャすることによって複数の構造化照明画像に対応できる。前記構造化照明は、被写場面の被写体に対して異なる位置にある光源から、同じ投射手段による異なるパターンから、または異なるパターンと位置両方の組み合わせからのものである。
１つの構造化照明画像と比較して、複数の構造化照明画像を使用することにより、より多くの３Ｄポイントを得ることができる。したがって、１つの実施例では、複数の構造化照明画像を連続してキャプチャすることができる。
また、他の実施例によれば、構造化照明画像が介在する第１レギュラー画像および第２レギュラー画像をキャプチャすることにより合成レギュラー画像を生成する。そして、第１および第２レギュラー画像を合成して、合成レギュラー画像が生成される。構造化照明画像のフレーム期間は、第１レギュラー画像のフレーム期間と第２レギュラー画像のフレーム期間との総合よりも短い。前記合成レギュラー画像において、第２レギュラー画像に対し、前記第１レギュラー画像の方の重み付けが高くまたは低くするために、第１レギュラー画像の第１累積時間は、第２レギュラー画像の第２累積時間よりも長くまたは短くしてもよい。例えば、第1累積時間は、第２累積時間の３倍であってもよい。合成画像は、第１レギュラー画像の３/４と第２レギュラー画像の１/４の重み付け効果を有する。また、合成レギュラー画像において同じ重みになるように、第１レギュラー画像と第２レギュラー画像は、同じ累積時間を有してもよい。
さらに別の実施形態では、構造化照明画像およびレギュラー画像をキャプチャする単一のイメージセンサに対する二重露出制御が開示される。システムは、イメージセンサに第１露出制御を発信することによって、１つ以上の構造化照明画像に用いられる構造化照明の光源、前記イメージセンサに関連する第１ゲインまたは第１累積時間、またはそれらの組み合わせを調節して、構造化照明の光源からの構造化照明におけるイメージセンサの視野内において、１つ以上の構造化照明画像をキャプチャする。また、前記システムは、イメージセンサに第２露出制御を発信することによって、１つ以上のレギュラー画像に用いられる構造化照明の光源、前記イメージセンサに関連する第２ゲインまたは第２累積時間、またはそれらの組み合わせを調節して、イメージセンサの視野内において、１つ以上のレギュラー画像をキャプチャする。レギュラー画像および構造化照明画像は交替的にキャプチャされる。第１露出制御は第２露出制御に基づいて決定されてもよいし、第２の露出制御は第１露出制御に基づいて決定されてもよい。また、第２露光制御は前記レギュラー画像に用いられる非構造化照明の光源を調整できる。
図１は、８ビットのダイナミックレンジを有するアナログ／デジタル変換器の例を示す図である。 図２Ａ、図２Ｂは、アナログ／デジタル変換器の参考信号に用いられるランプ電圧の波形であって、図２Ａは９ビットのダイナミック解像度の波形、図２Ｂは６ビットのダイナミック解像度の波形である。 図２Ａ、図２Ｂは、アナログ／デジタル変換器の参考信号に用いられるランプ電圧の波形であって、図２Ａは９ビットのダイナミック解像度の波形、図２Ｂは６ビットのダイナミック解像度の波形である。 図３は、本発明の実施例に係る連結された構造化照明画像とレギュラー画像をキャプチャするための画素アレイを示すブロック図である。 図４Ａは、本発明の実施例に係る２つのレギュラー画像をキャプチャするシーケンスを示す図である。 図４Ｂは、本発明の実施例に係る連結された構造化照明画像とレギュラー画像の例を示す図である。 図５は、図４Ｂに示すシーケンスに対応して、本発明の実施例に係る構造化照明画像をキャプチャするために構造化照明を実施する持続時間を示す図であり、明確に説明するために一部の過程を省略した。 図６は、本発明の実施例に係る構造化照明画像とレギュラー画像をキャプチャするために構造化照明を実施する図である。 図７Ａは、本発明の実施例に係る画像を２つの期間でキャプチャするシーケンスを示す図であり、第１期間に第１レギュラーサブ画像がキャプチャされ、第２期間に構造化照明画像と第２レギュラーサブ画像からなる混合画像がキャプチャされ、最終に合成されたレギュラー画像が出力され、第１期間の累積期間が第２期間の累積期間とほぼ同一のシーケンスを示す図である。 図７Ｂは、図７Ａに類似するシーケンスを示す図であり、第１期間の累積期間が第２期間の累積期間のほぼ３倍のシーケンスを示す図である。 図８は、本発明の実施例に係る連結された構造化照明画像と構造化照明画像よりも高いダイナミックレンジを有するレギュラー画像をキャプチャするフローチャートを示す図である。 図９は、本発明の他の実施例に係る連結された構造化照明画像と構造化照明画像よりも高いダイナミックレンジを有するレギュラー画像をキャプチャするフローチャートを示す図である。
理解されるように、本明細書および図面により、様々な形態で本発明の各部材を設置、デザインすることができる。図に示すように、下記の本発明に係るシステム及び方法の具体的実施の形態によりこの発明が限定されるものではなく、選択された具体的実施例を代表的に示すだけのものである。明細書全文に渡って、「１つの具体的実施例」や「一具体的実施例」などの用語の意味は、本発明において、具体的実施例に合わせた特定の特徴、構造、特性を、少なくとも１つの具体的実施例に含まれるとのことである。このように、明細書全文に渡って、記載されている「１つの具体的実施例」、「一具体的実施例」は同じ具体的実施例を指すのではない。
また、１つまたは多数の具体的実施例を適当に特徴的構造や特性を組み合わせることができる。当該技術分野の熟練者であれば、１つまたは多数の具体的なディーテルがなくても、他の方法や手段により、本発明を実施することができる。各実施例の説明に当たって、本発明と混同しないように、本明細書には周知技術の構造及び操作の詳細が明記されていない。本発明の実施例をより理解しやすくするために、図面には、全文に記載の部材と対応する部材に符号が付記され、同じ部材は常に同じ符号が付記される。下記の説明は、単に例示であって、本発明の特許請求の範囲により限定された装置または方法のいくつかの選択された実施例一致している。
内視鏡は、通常、口や肛門などの自然開口部を通して体内に挿入される。 したがって、内視鏡は、侵入感を最小限に抑えるために小型であることが好ましい。 また、内視鏡でキャプチャした胃腸内のライブ画像や映像から深度情報や形状情報を抽出するしようとする場合も、構成要素の小型を維持することが肝心である。 さらに、小型で画像や映像から深度情報などを抽出するというカメラは、ウェアラブルデバイスなどのコンパクトなサイズが求められる応用にも適用できる。
所定イメージセンサの前に所定幅の通過帯域を有するカラーフィルターを配置して、色情報および深度情報を同時に取得する深度情報抽出技術が知られている。フィルターの通過帯域を有する環境光源のスペクトルがセンサに投射するエネルギーを無視してもよい。ＲＧＢ画素を用いる場合、第４タイプの画素を併用して、これらの画素の先端に照射されてフィルタの帯域を通過したスペクトルの光をキャプチャすることができる。そして、実質的に帯域内のスペクトルを有する構造化照明をシーンに投射する。しかし、この方法によっては、このようなイメージセンサがキャプチャした画像や映像の空間解像度が低下する。
また、ＲＧＢセンサにおいて可視の構造化照明パータンを投射することによって３Ｄトポロジーの深度情報を取得する技術も知られている。しかし、リアルタイム画像や映像は、重ねられた構造化照明に乱れされる。本発明は、単一のカメラで構造化照明を用いて画像やリアルタイム映像をキャプチャし深度情報を抽出する。
前記のように、従来の単一のカメラによる構造化照明画像のキャプチャ方法はいくつかの欠点がある。例えば、フレームレートが３０フレーム／秒のカメラを採用できる。また、ライブ映像及び構造化照明の有無に対応する交互画像が採用されている従来の方法がある。１つの問題点として、見ようとする深度情報は１／３０秒で対応する画像から離れる。フィールドにおいて動きがある場合、深度情報が１／３０秒で離れる画像の３Ｄトポロジーを正確に表示できない恐れがある。また、この例において、見ようとする映像の有効フレームレートが１５フレーム／秒に低下してしまう。
映像の応用において、フレームレートは所定の応用にとって肝心である。例えば、移動の速い対象例えば飛行中の銃弾の映像をキャプチャする場合、フレームレートの高い例えば１００フレーム／秒またはそれ以上のカメラが必要とされる。このような場合、構造化照明を利用すると、フレームレートが半分に削減され、所定の応用が妨害される恐れがある。カプセルカメラにおいて、胃腸（ＧＩ）中の映像は通常数フレーム／秒であるが、カメラが２倍のフレームレートで作動することによって、構造化照明画像をキャプチャするために低下する有効フレームレートを補正できる。しかし、このようにすることにより、２倍の電力が消耗され、電力が限られているカプセルカメラにとって好ましくない。
フレームレートごとに対応するフレーム期間がある。フレーム期間において、センサはセンサに照射した入射光に応じて発した電荷を累積するフレーム期間のサブセットを消費する。いかなる動きによるキャプチャした画像のぼけを防止し実質上静止画像を取得するために、累積の期間を十分に小さくする必要がある。
図１は、イメージセンサに用いられるアナログ／デジタル変換器（ＡＤＣ）の例を示す図である。このＡＤＣは、入力されるアナログ信号１２０と基準信号１３０を比較する比較器１１０を備える。画素に接続されるアナログ回路からのアナログ信号１２０を比較器の一端に入力してランプ電圧と比較する。１つの実施例に従って、デジタルロジック回路のクロックを用いてクロックの周期ごとに上昇するランプ電圧を生成してもよい。図２Ａ、図２Ｂには、９ビット（５１２段階）および６ビット（６４段階）のランプ電圧の２つの例が示される。ランプ電圧を生成させるクロックもカウンタ１４０によってカウントされる。ランプ電圧レベルが画素に接続されるアナログ回路からののアナログ信号１２０の電圧値に達すると、比較器出力は切り換えられ（例えばハイからローまたはローからハイへ）てその旨を示す。同時に、比較器からの出力信号がレジスタ１５０を起動させ、ランプ電圧値がアナログ信号１２０を超えたことを示すクロック数をカウントするカウント値がラッチされる。また、画素の製造ミスによる一定パターンのノイズを除去するために、相関２重サンプリング（ＣＤＳ）技術を用いて画素からの出力に対し測定を２回行うことは知られている。アナログ回路（例えば相関２重サンプリング回路）やデジタル回路によってオフセット除去リセット信号を除去してもよい。デジタルの実施例の場合、累積期間の後、リセット後のデジタルカウンタの出力は、画素のデジタルカウンタの出力から消去してもよい。
画素に電荷の累積速度および画素から信号の読出し速度はいくつかの要因に依存する。また、図１の例に示すように、各画素に接続されたアナログ回路から出力されるアナログ信号１２０と基準信号（すなわちランプ電圧）が比較される。所望のデジタル画素解像度（例えば、９ビットｖｓ６ビット）に応じて、対応するランプ信号が生成される。 読出し速度は、カウンタ、比較器および他の関連回路の速度に依存する。より高いデジタル解像度（すなわちより高いダイナミックレンジ）に対応するランプ信号の生成には、より長い時間がかかる。図２Ｂのような６ビットのダイナミックレンジを実施する場合は、図２Ａのような９ビットのダイナミックレンジを実施する場合よりも８倍速くなる。
ＡＤＣの他の形態としては、逐次近似ＡＤＣが挙げられる。この逐次近似ＡＤＣは、基準電圧が粗いレベルから始まる。入力電圧が基準電圧を上回るか下回るかに応じて、基準電圧は、前の基準電圧の半分だけ前の基準電圧を増減することにより改善される。改善された基準電圧が目前の基準電圧として用いられるように順次に比較を行う。所望の解像度に達すると、プロセスは終了する。近似ごとに、入力電圧が基準電圧よりも高いか低いかを示すために１ビットが使用される。したがって、ＡＤＣの解像度は、逐次近似ＡＤＣの逐次近似の回数に関連する。一般的に、ダイナミックレンジが高いほど、読出し時間は長くなる。比較の回数が増えるだけでなく、ランプ電圧または基準電圧の精度がより要求されるため、電圧の安定に時間がかかる。センサアレイには固有の大きなＲＣ定数を有し、最低限の精度を満たすために一定の処理時間がかかる。高いダイナミックレンジの場合、基準電圧（すなわち、ランプ参考信号）を伝送する導線のインダクタンス、並びにＲ（抵抗）、Ｃ（容量）により、時間がかかる。センサアレイの導線は、通常長さが千μm程度であるので、周りのインダクタンスは数ｎＨ程度になる。インダクタンスは、抵抗と異なり、導体の断面に反比例して減少することはない。フィールド中の被写体の鮮明な色合いを提供する画像や映像のクオリティにとっては、高ダイナミックレンジは重要な要因である。一方、構造照明パターンの画像は、グリッドの幾何情報など既知の情報に基づいて、主に深度や形状情報を導出するために使用される。導出された重要な情報は、グリッドラインの位置に関連している。したがって、実質的に、人間の目で見られるレギュラー画像よりも低いダイナミックレンジが要求される。
構造化照明画像に要求されるダイナミックレンジがレギュラー画像よりもはるかに低いので、本発明は、ダイナミックレンジに対する異なる要求によるアドバンテージを利用して構造化照明画像のフレーム時間を短縮する。図３は、本発明の実施例に係る統合イメージセンサのブロック図である。統合イメージセンサは、画像アレイが受け付けた光エネルギーに反応して、受け付けた光エネルギーに依存する電圧レベルを有する信号データを生成する画素アレイ３１０と、前記画素アレイに接続されて画素アレイが生成した信号データをアクセスする出力回路３２０と、第１および第２ダイナミックレンジを有する少なくとも１つのアナログ／デジタル変換器３３０と、タイミング制御回路３４０ａ、３４０ｂとを備える。画素アレイはモノクロームのものでも、カラーのものでもよい。画素アレイＣＭＯＳセンサからなるものでも、ＣＣＤセンサからなるものでもよい。タイミング制御回路の制御で、出力回路が画素アレイに電気的に接続される。例えば、タイミング制御回路の制御によって、画素アレイの出力は、列ごとに出力回路に伝送される。出力回路は、さらに増幅器およびリセット後の画素のオフセットを処理するためのＣＤＳ回路を備えてもよい。タイミング制御回路３４０ａ、３４０ｂは、２つの独立したブロックでもよく、統合された１つのブロックでもよい。
ＡＤＣは、第１ダイナミックレンジおよび第１ダイナミックレンジよりも大きい第２ダイナミックレンジで作動される。例えば、第１ダイナミックレンジは６ビットで、第２ダイナミックレンジは９ビットであってもよい。 一つのＡＤＣに異なるダイナミックレンジを有してもよい。 並行的ではなく連続的に構造化照明画像とレギュラー画像がキャプチャされるため、ダイナミックレンジを変換可能な単一のＡＤＣ、例えば、Ｗｏｎｇ氏らによる２０１３年２月５日付けの米国特許第８３６９４５８号に開示されている自動的に変換可能なＡＤＣ。タイミング制御回路には、列走査回路及び行走査回路が含まれる。タイミング制御回路は、リセット信号などの様々な制御信号を生成する役割を担う。以下、構造化照明画像とレギュラー画像をキャプチャするイメージセンサの設定について、好ましい実施形態が提供される。
図４Ａは、レギュラー画像をキャプチャするイメージセンサのタイミングの例を示し、当該列タイミングには、水平方向において各フレーム、かつ垂直方向において、第１列（上）から最終列（下）が示される。典型的なイメージセンサでは、画素は列ごとに読取られる。各列の動作は、列リセット、累積、および読出しを含むいくつかのステップを有する。通常は図４Ａに示すように、列ごとにずらして行われる。ただし、現列の読出しステップは、前の列の読出しが完了するまで待機する必要がある。レギュラー画像をキャプチャするイメージセンサの場合、同じ撮像時間、同じシーケンスパターンがフレームごとに繰り返される。すべての画像は同じ期間時間を有する。図４Ａは、典型的なイメージセンサの典型的なタイミング図を示す。タイミングチャートはスケールに合わせて描かなくてもよい。
図４Ｂは本発明の実施例に係る混合された構造化照明画像とレギュラー画像をキャプチャするタイミングを示す図であり、構造化照明画像のキャプチャには小さいダイナミックレンジが使用される。構造化照明画像のフレーム持続時間は、図４Ｂに示すように、次のレギュラー画像のフレーム持続時間よりもはるかに短い。図４Ｂに示されたタイミングチャートは、特に構造化照明画像の部分は、スケールに合わせて描かれたものではない。構造化照明画像の部分について、詳しく説明するために拡大して描かれている。図４Ｂに示すように、構造化照明画像に関連するタイミング信号は斜体太字で示されている。小さいダイナミックレンジは、例えば、図２Ａ、図２Ｂに示される大きいステップを有する上昇ランプ電圧によって生成された基準電圧との比較を抑えることにより実現される。あるいは、基準電圧は、初期電圧と終期電圧との間の小さいランプ範囲で生成されてもよい。構造化照明画像は、レギュラー画像よりも読出しが速いので、構造化照明画像は、レギュラー画像のリセットタイミング期間に収めることが可能である。構造化照明画像は、レギュラー画像と同じ高いダイナミックレンジを必要としないので、構造化照明画像のリセットはレギュラー画像ほど徹底にする必要はない。したがって、構造化照明のリセット時間を短くすることができる。したがって、１つの実施形態では、構造化照明画像のイメージセンサの画素列間の最小リセット時間は、レギュラー画像のそれよりもはるかに短い。
図５は、図４Ｂと同様に、タイミングセットアップを示すために、便宜上、いくつかの記載が省略される。構造化照明の持続時間は、実質的に、第１列の累積ステップの終期に近接する。一方、構造化照明の持続時間は、構造化照明画像の最終列の累積段階内に収めなければならない。最適な構造化照明のパルス持続時間は最終列の累積の始めから第１列の読出しステップの始めまでである。構造化照明画像のキャプチャを加速させ、環境光のような他の光源のエネルギーによる影響を低減するために、シーンがカメラに入るときに構造化照明の持続時間が短く設定される。累積が予想より多くの時間を必要とする場合、強度または持続時間を増すことによって構造化照明のパルスエネルギーを増加することが可能である。好ましい実施形態では、構造化照明の強度は、通常光源または環境光の強度よりも強い。しかしながら、構造化照明は人間の視覚残像の時間よりも実質的に短い期間に用いることができ、相対的に弱い非構造化照明およびＳＮ比の高い構造化照明で画像を露出する。非構造化照明は、広帯域や狭帯域、蛍光に対応可能である。構造化照明のパルスのエネルギーは、システムパワーにより制限され、または人を邪魔せず、分散せず、または構造化照明に曝された人間の目が損傷しない前提で制限される。また、他のエネルギーの制限は、医療用撮像の応用時の構造化照明のエネルギーによるダメージの閾値である。イメージセンサのアナログゲインの向上により構造化照明によって生成された画素の輝度が背景ノイズや他の光源の輝度よりもはるかに高くなり、構造化照明のエネルギーが許容可能な低いレベルにある。ゲインの向上によりノイズの増幅やイメージセンサのダイナミックレンジの低下の可能性がある。
主に胃腸での使用が想定されている場合、短い持続時間および高い強度の構造化照明を使用すれば、非胃腸での使用に有利である。例えば、本発明は、自然のシーンの混合されたレギュラー画像と構造化照明画像をキャプチャする従来の撮像に適用して、および構造化照明画像得られた深度または形状情報を利用してシーンの３Ｄ画像に付与する。構造化照明画像からより信頼できる深度または形状情報を得るためには、基本シーンの環境光のカラースペクトルまたは１つ以上の非構造化照明とは非常に異なるスペクトルを有する構造化照明光源を選択することが望ましい。
累積期間中に、より高い（すなわち、最も重要な）ビットの読み取りを開始する読出計画があっても、大きいダイナミックレンジほど読出しに時間がかかる。これは、より多くの比較およびより長い基準電圧安定化時間が必要とされるためである。したがって、構造化照明画像のダイナミックレンジを小さくすれば、列処理期間を短縮できる。これは、グローバルシャッタモードで作動するイメージセンサにも適用できる。したがって、入力されるアナログ電圧と比較するためにＡＤＣに供給される基準電圧に関連する安定化時間は、第１構造化照明画像においてレギュラー画像よりも短い。必要な精度が小さいため、リセット信号は、画素および/または関連回路が所望のレベルにリセットされるまでに保持される必要はない。
図５に示すように、好ましい構造化照明は、持続時間を短くするように所定の時間に用いられるが、この短い持続時間はすべての画素列の累積時間の少なくとも一部を占める。フレーム信号とクロックからの制御信号によって、構造化照明がトリガされる信号が導出される。しかし、構造化照明の制御信号が統合センサの他のモジュールから発信される場合もある。また、他の実施例では、システムが最適化になるように、センサからの制御信号の所定のまたはプログラムブルな遅延によって、タイミングが調整される。
１つの実施形態では、構造化照明は、少なくとも２つの異なる色またはパターンを有する複数の光源によって生成される。複数の色を用いることにより、選択されたカラースペクトルが実質的に想定したシーンのレギュラー画像を照明する非構造化照明または環境光のスペクトルと異なるように、色または色の組み合わせを選択することができる。構造化照明に関連するスペクトルは、想定した被写体のレギュラー画像に関連するスペクトルとは実質的に異なる。イメージセンサは、モザイクパターンに配置された少なくとも第１および第２カラー画素を含むカラーイメージセンサに対応し、構造化照明に関連するスペクトルは、実質的に第１または第２カラー画素のスペクトルに集中される。第１または第２画素のスペクトルは、実質的に構造化照明のスペクトルに対応し、所定のデジタル出力信号を読出しによって、空間解像度が低下した条件でも構造化照明画像をキャプチャすることができる。
カプセルカメラの適用では、統合イメージセンサはカプセル形態のハウジング内に密封されて人間の胃腸を撮像する。胃腸には環境光がないため、カプセルカメラは、レギュラー画像のための構造化照明および通常照明を提供しなければならない。この場合、上記構造化照明画像の構造化照明光源およびレギュラー画像の照明光源両方がハウジング内に密封される。
図６は、図５のシーケンス図に対応する他の観点を示す図である。その中の構造化照明画像およびレギュラー画像の画像の出力には、異なる充填パターンでハイライトされている。図６には、構造化照明画像に関連するタイミング信号が示され、ここで、ｓｌｉリセットが構造化照明画像のリセットに対応し、ｓｌｉ累積期間が構造化照明画像の加算期間に対応し、ｓｌｉ出力が構造化照明画像の出力に対応する。図６にも構造化照明の持続時間が示され、ここでは、構造化照明がｓｌｉ累積中に施される。構造化照明画像をキャプチャする全期間は、レギュラー画像をリセットするリセット期間内に発生することができる。図６の例に示すように、構造化照明画像のリセット期間は、レギュラー画像のリセット期間に比べて、はるかに短い。図６のタイミングチャートに示すように、構造化照明画像とレギュラー画像との連結画像をキャプチャするサイクルが示され、レギュラー画像のタイミングが変更されたことが示される。特に、レギュラー画像をキャプチャするためのリセット期間は、構造化照明画像のキャプチャを収めるために、実質的に低減される。したがって、本発明の実施形態の図６に示すシーケンスの組み合わせは、２つの別の画像または構造化照明画像とタイミングの修正されたレギュラー画像の組み合わせによるものと考えられる。
さらに、上記実施例では、キャプチャされた構造化照明画像は、レギュラー画像に時間的に接近しているので、関連するレギュラー画像に対してより正確な深度、形状情報が提供される。他の実施例では、レギュラー画像を２つのサブ画像に分割しその間に構造化照明画像をキャプチャするツーセクションキャプチャが開示される。レギュラー画像のレギュラー累積時間は、２つのサブ画像の間に分割される。２つのサブ画像のデジタル出力が１つのレギュラー画像に合成されて出力される。この方法はいくつかの利点がある。まず、各サブ画像は、レギュラー画像用のＡＤＣを使用してデジタル出力に変換される。したがって、各サブ画像は、単一のセクションによるレギュラー画像のように、同じダイナミックレンジを有する。２つのサブ画像のデジタル出力を合成する場合、最終のレギュラー画像には依然フルダイナミックレンジが保持される。全累積時間を有する１つの画素は１２８にデジタル化されるアナログ信号が得られると仮定する。各セクションに対して半分の加算時間使用することにより、画素は半分のアナログ信号が得られることになるので、６４にデジタル化される。累積時間はトータル期間の重要な要素であるため、半分の累積時間は重要である。したがって、各セクションに累積時間の半分だけを使用するので、他の時間よりもトータル時間が短くなる。
図７Ａは、本発明の実施例に係るツーセクション方法の例を示す図である。第１セクションにおいて、レギュラー画像がレギュラータイミングでキャプチャされる。第２セクションには、構造化照明画像とタイミングの修正されたレギュラー画像からなる混合画像がキャプチャされる。構造化照明画像は、２つのセクション出力の間にキャプチャされる。第１セクションの出力はイメージセンサ内部または外部のメモリやバッファに一時的に格納することができる。第２セクションの出力が完了すると、２つのセクションからの２つの出力値が合成される。構造化照明画像が１つのレギュラー画像の２つ分のサブ画像の間にキャプチャされるので、この構造化照明画像は、レギュラーシーン画像のキャプチャされた時間に非常に近接している。したがって、構造化照明画像は、レギュラー画像と密接に関連している。２つのセクションに関連する２つのサブ画像からの出力は、１つのレギュラー画像に合成される。１つの実施形態では、交替的なサブレギュラー画像と構造化照明画像のグループが連続的にキャプチャされる。例えば、奇数番がレギュラー画像であり、偶数番が構造化照明画像である。１番の画像および３番の画像の２つのサブ画像は、構造化照明画像である２番の画像に対応するようにレギュラー画像に合成することができる。同様に、３番の画像および５番の画像の２つのサブ画像は、構造化照明画像である４番の画像に対応するようにレギュラー画像に合成することができる。５番の画像および７番の画像は、構造化照明画像である６番の画像に対応するようにレギュラー画像に合成することができる。このプロセスは、持続してすべてのレギュラー画像のサブ画像に使用でき、一般に２回使用される。この場合、画像番号１、３、５、７... の重み係数は、... ５０/５０/５０/５０であってもよく、または６０/４０/６０/４０/６０であってもよい。２つの組み合わせの重み付きの原則は、１００％の目標累積時間になることである。
図７Ａに示すように、２つのサブ画像の累積時間はほぼ同じである。しかし、これらの２つの累積時間が異なってもよい。例えば、図７Ｂに示すように、第１のサブ画像の累積時間を第２のサブ画像の累積時間の３倍（本発明では累積期間ともいう）にしてもよい。この場合、２つのサブ画像からのデジタル出力が合成されると、合成された画像は第１のサブ画像（すなわち３/４）と第２のサブ画像（１/４）の重み付け効果を有する。重み付けは各累積期間中の累積電荷に反映するので、異なる累積時間に対し重み付けを行う必要はない。累積が長ければ累積電荷が多くなり、アナログ信号が高くなる。したがって、２つのデジタル出力の合計は、２つのサブ画像の重み付けの合計を示し、重み係数は累積期間に対応する。
構造化照明画像の別の応用では、１つ以上のレギュラー画像に関連する１つの構造化照明画像と比較して、複数の構造化照明画像を使用してより多くの３Ｄポイントを得ることができる。例えば、人体の胃腸（ＧＩ）を渡る際に、カプセルカメラによって複数の構造化照明画像を連続的にキャプチャすることができる。複数の構造化照明画像の間、前または後にレギュラー画像がキャプチャされる。キャプチャされた構造化照明画像を使用して、胃腸の３Ｄモデルを導出できる。この３Ｄ胃腸モデルは、関連する胃腸のレギュラー画像の検査に有用である。
２つのセクションのレギュラー画像およびその間に構造化照明画像をキャプチャすることについては、上述のように構造化照明画像の撮像期間を短縮するためである。例えば、構造化照明画像は、第１のレギュラー画像および第２のレギュラー画像よりも低いダイナミックレンジでイメージセンサによってキャプチャされてもよい。また、構造化照明画像は、第１のレギュラー画像および第２のレギュラー画像よりも低い空間解像度でキャプチャされてもよい。さらに、構造化照明画像は、第１のレギュラー画像および第２のレギュラー画像よりも、垂直方向、水平方向または両方向が縮小された画像エリアでキャプチャされてもよい。
場合によっては、選択された画像エリアの深度または形状情報のみが必要される。これらの場合、選択された画像エリアのみに対して構造化照明画像をキャプチャしてもよい。よって、構造化照明画像のフレーム期間を短縮する他の方法が提供される。レギュラー画像と比較して、縮小された画像エリアは垂直方向、水平方向、または両方向が縮小された画像エリアに対応することができる。この方法は、ダイナミックレンジを減少させる、または空間解像度を低下させるなどの他の方法と組み合わせて、構造化照明画像のフレーム期間を短縮することもできる。
構造化照明画像のフレーム期間を短縮するために空間解像度を低減することも考えられる。例えば、イメージセンサの所定の画素列を残して、残りの画素列をスキップすることにより、より低い垂直解像度で構造化照明画像をキャプチャすることができる。
カプセル内視鏡を含む内視鏡への適用の場面では、環境光がなく、内視鏡の照明が唯一の光源である。したがって、各列の露光の持続時間が同じであれば、列毎の累積時間は同じである必要はない。内視鏡の環境では、構造化照明画像がレギュラー画像よりも低いダイナミックレンジを有し、また、構造化照明画像とレギュラー画像との間の時間的の近接の利点が得られる。したがって、本発明によれば、構造化照明画像は、レギュラー画像に関連するより正確な深度または形状情報を保持する。
エネルギーの消耗に対する要求に敏感なカプセル内視鏡やウェアラブルデバイスなどでは、小さいダイナミックレンジでエネルギーが節約され、少ない比較操作と短い累積時間により、構造化照明のエネルギーがより少なくて済む。一方、構造化照明画像は、ＳＮ比があまり重要ではないので、エネルギーをさらに節約するために、そのゲインを高く設定してもよい。
カメラシステムは、通常、キャプチャされた画像の全体の強度を所定の範囲内で見るための正しいレベルに調節ようにイメージセンサの動作パラメータを制御する露出制御機能を有する。画像の強度は画素強度によって決められる。詳細な制御は、通常、カメラシステムの設計者の好みによるものである。例えば、画像の強度は、画像の中央部の画素の強度の平均値によって決められる。また、他の実施例では、画素の中央部の強度の平均値が画像の強度として使用される。また、他の実施例では、中央部の代わりに画像の複数のエリアの強度が使用される。強度が高すぎる場合、ゲインまたは累積時間を短縮させてもよい。強度が低すぎる場合、ゲインまたは累積時間を延長させてもよい。また、１つの画像から後続の画像への調整の量は、強度が所定の基準または範囲からのズレによって決められる。
カメラシステムは、包囲光を増加するための照明を提供してもよい。通常の内視鏡またはカプセル内視鏡のようなカメラシステムには、唯一の照明光源のみを有してもよい。パイプラインの検査や深海探査に使用されるカメラにおいても、カメラの照明が唯一の照明光源である。このようなシステムでは、露出制御が、ゲイン、累積時間、照明強度、および/またはエネルギー、またはそれらの組み合わせを制御する。画像の強度が強すぎる場合、後続する１または１以上の画像に対して（ゲイン×累積時間×光エネルギー）の値を減少し、一方、画像の強度が弱すぎる場合、後続する１または１以上の画像に対して（ゲイン×加算時間×光エネルギー）の値を増加する。また、１つの画像から後続の画像への調整の量は、強度が所定の基準または範囲からのズレによって決められる。
本発明の１つの実施形態によれば、単一イメージセンサを使用して構造化照明画像およびレギュラー画像をキャプチャする二重露光制御提供される。実施形態によれば、単一イメージセンサは、構造化照明画像用とレギュラー画像用の２つの露光制御回路を有する。レギュラー画像の照明が実質的にカメラシステムによる光源の制御に依存する場合（例えば、環境光が無視できるまたは存在しない場合）、両ケースはにおいてはシーンとの距離は実質的に同じなので、露光条件は構造化照明と通常照明とは類似している。したがって、１つの露出制御回路を使用し、他の露出制御を第１の露出制御回路に従う。例えば、構造化照明による（ゲインx加算時間x光エネルギー）を、通常照明による（ゲインx加算時間x光エネルギー）に線形的に依存させてもよく、その逆も同じである。 別の実施形態では、他の対応関係が使用される。 例えば、ガンマ型依存関係(gamma-type dependence)または強度分布依存関係を使用してもよい。
環境光が存在する場合では、構造化照明画像の分析に用いられる構造化照明パターンを容易に識別するために、構造化照明は十分に強くなければならない。この場合、上記分析における光の強度は、環境光、またはカメラシステムの露出制御によって制御されるシーンに投射される１又は１以上の光が含まれる。この場合、環境光が十分であれば、レギュラー画像に対し、カメラで光の投射を制御する必要はない場合もある。しかし、構造化照明は、構造化照明画像におけるパターンおよび／または色を示すために、投射される構造化照明は十分な強度が必要という別の制限がある。構造化照明のスペクトルがイメージセンサの特定の色スペクトルに実質的に集中する場合、構造化照明画像の特定の色の強度および／または全体の強度を考慮しなければならない。１つの実施形態では、構造化照明光源が複数の色を生成できれば、レギュラー画像における各色成分の強度を考慮なければならない。レギュラー画像中の弱い色に対応する構造化照明光源の色を選択すれば、構造化照明の色が強調されるかまたは統計的に背景よりも高い信号比を有するので、分析がより簡単になる。
図８は、本発明の実施例に係る混合された構造化照明画像とレギュラー画像をキャプチャするフローチャートを示す図である。ステップ８１０では、第１フレーム周期において、イメージセンサで第１構造化照明画像をキャプチャする。ステップ８２０では、第１フレーム期間よりも長い第２フレーム期間において、イメージセンサでレギュラー画像をキャプチャし、第１構造化照明画像はレギュラー画像の前または後にキャプチャされる。
図９は、本発明の他の実施例に係る連結された構造化照明画像と構造化照明画像よりも高いダイナミックレンジを有するレギュラー画像をキャプチャするフローチャートを示す図である。ステップ９１０において、第１リセット信号を画像アレイに印加して画素アレイの画素列をリセットする。ステップ９２０において、イメージセンサの画素列を構造化照明に露出して画素列からの第１アナログ信号を形成する。ステップ９３０において、少なくとも１つのＡＤＣを用いて、イメージセンサの画素列からの第１アナログ信号を第１構造化照明画像の第１デジタル出力信号に変換する。ステップ９４０において、第２リセット信号を画像アレイに印加して前記画素アレイの画素列をリセットする。ステップ９５０において、イメージセンサの画素列を非構造化照明に露出して画素列から第２アナログ信号を発信させる。ステップ９６０において、少なくとも１つのＡＤＣを用いて、イメージセンサの画素列からの第２アナログ信号をレギュラー画像の第２デジタル出力信号に変換する。なお、ステップ９６０において、第１構造化照明画像はレギュラー画像の前または後にキャプチャされ、第１のダイナミックレンジは第２のダイナミックレンジより小さい。
本発明は、精神及び重要特性を離脱しない範囲で特定の形式で実施することができる。上記実施例は本発明を説明するためのものであり、本発明を制限するためのものではない。本発明は、上記説明ではなく特許請求の範囲によって制限される。請求の範囲に均等するものはすべて本発明に含まれる。
１１０：比較器
１４０：カウンタ
１５０：レジスタ
３１０：画素アレイ
３２０：出力回路
３３０：アナログ／デジタル変換器
３４０ａ、３４０ｂ：タイミング制御回路

Claims (14)

  1. イメージセンサを含むカメラを用いてシーンの画像をキャプチャする画像キャプチャ方法であって、
    構造化照明光源により、第１構造化照明をイメージセンサの視界におけるシーンに投射するステップと、
    イメージセンサにより、第１フレーム期間において、第１リセット信号を前記イメージセンサに印加することにより前記イメージセンサの画素列をリセットして、前記イメージセンサの前記画素列を構造化照明に露出して前記画素列からの第１アナログ信号を生成し、少なくとも１つのアナログ／デジタル変換器を用いて前記イメージセンサの前記画素列からの前記第１アナログ信号を構造化照明画像の第１デジタル出力信号に変換することにより前記イメージセンサを用いて前記構造化照明画像をキャプチャするステップと、
    イメージセンサにより、前記構造化照明画像よりも前の第２フレーム期間において、第２リセット信号を前記イメージセンサに印加することにより前記イメージセンサの前記画素列をリセットして、前記イメージセンサの前記画素列を非構造化照明に露出して前記画素列からの第２アナログ信号を生成して、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの第２アナログ信号を第１レギュラー画像の第２デジタル出力信号に変換することにより前記イメージセンサを用いて前記第１レギュラー画像をキャプチャするステップと、
    イメージセンサにより、前記構造化照明画像よりも後の第３フレーム期間において、第３リセット信号を前記イメージセンサに印加することにより前記イメージセンサの前記画素列をリセットして、前記イメージセンサの前記画素列を非構造化照明に露出して前記画素列からの第３アナログ信号を生成して、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの第３アナログ信号を第２レギュラー画像の第３デジタル出力信号に変換することにより前記イメージセンサを用いて前記第２レギュラー画像をキャプチャするステップと、
    前記第１レギュラー画像と前記第２レギュラー画像をレギュラー画像に合成するステップと、
    を備え、
    前記構造化照明画像は、前記第１レギュラー画像と前記第２レギュラー画像の間にキャプチャされ、前記第１フレーム期間は、前記第２フレーム期間と前記第３フレーム期間の総合よりも短く、
    前記構造化照明画像は、前記第１レギュラー画像および前記第２レギュラー画像よりも低減されたダイナミックレンジで前記イメージセンサによりキャプチャされる、
    画像キャプチャ方法。
  2. 前記第１レギュラー画像の第１累積時間と前記第２レギュラー画像の第２累積時間とが近似しており、合成された前記レギュラー画像において、前記第１レギュラー画像および前記第２レギュラー画像の重み係数が同じである請求項１に記載の画像キャプチャ方法。
  3. 前記第１レギュラー画像と前記第２レギュラー画像をレギュラー画像に合成するステップにおいて、前記第１レギュラー画像および前記第２レギュラー画像の重み付合計が考慮され、前記第１レギュラー画像と前記第２レギュラー画像の組み合わせの合計重みが１００％になる請求項１に記載の画像キャプチャ方法。
  4. 画像インデックスｉを有する前記第１レギュラー画像と画像インデックスｉ＋２を有する前記第２レギュラー画像とが、画像インデックスi＋１を有する構造化照明画像に対応する一つの合成レギュラー画像に合成され、画像インデックスi＋２を有する第１レギュラー画像と画像インデックスｉ＋４を有する第２レギュラー画像とが、画像インデックスｉ＋３を有する構造化照明画像に対応する一つの合成レギュラー画像に合成され、ただし、前記ｉは正の整数である請求項１に記載の画像キャプチャ方法。
  5. さらに、前記第１レギュラー画像および前記第２レギュラー画像を前記カメラに内蔵されたバッファに一時的に格納することにより、レギュラー画像に合成するステップとを含む請求項１に記載の画像キャプチャ方法。
  6. 前記構造化照明画像は、前記第１レギュラー画像および前記第２レギュラー画像よりも低い空間解像度でキャプチャされる請求項１に記載の画像キャプチャ方法。
  7. 前記構造化照明画像は、前記第１レギュラー画像および前記第２レギュラー画像よりも、垂直方向、水平方向または両方向が縮小された画像エリアでキャプチャされる請求項１に記載の画像キャプチャ方法。
  8. 受け付けた光エネルギーに反応して画素信号を生成し、受け付けた光のエネルギーによって前記画素信号の電圧レベルが決められる画素アレイと、
    構造化照明光源と、
    非構造化照明光源と、
    前記画素アレイに接続されて前記画素アレイが生成した前記画素信号をアクセスする少なくとも１つの出力回路と、
    第１および第２ダイナミックレンジを有する少なくとも１つのアナログ／デジタル変換器と、
    前記画素アレイ、前記少なくとも１つの出力回路、前記少なくとも１つのアナログ／デジタル変換器、またはそれらの組み合わせに接続される少なくとも１つのタイミング制御回路と、を備え、
    前記少なくとも１つのタイミング制御回路は、
    前記画素アレイにより、第１フレーム期間において、第１リセット信号を前記画素アレイに印加することにより前記画素アレイの画素列をリセットして、前記画素アレイの前記画素列を前記構造化照明光源からの第１の光に露出して前記画素列からの第１アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素アレイの前記画素列からの前記第１アナログ信号を構造化照明画像の第１デジタル出力信号に変換することにより前記構造化照明画像をキャプチャし、
    前記画素アレイにより、前記構造化照明画像よりも前の第２フレーム期間において、第２リセット信号を前記画素アレイに印加することにより前記画素アレイの前記画素列をリセットして、前記画素列を前記非構造化照明光源の第２の光に露出して前記画素列からの第２アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記第２アナログ信号を第１レギュラー画像の第２デジタル出力信号に変換することにより前記第１レギュラー画像をキャプチャし、
    前記画素アレイにより、前記構造化照明画像よりも後の第３フレーム期間において、第３リセット信号を前記画素アレイに印加することにより前記画素アレイの前記画素列をリセットして、前記画素列を前記非構造化照明光源の前記第２の光に露出して前記画素列からの第３アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記第３アナログ信号を第２レギュラー画像の第３デジタル出力信号に変換することにより前記第２レギュラー画像をキャプチャする、ように構成され、
    前記第２デジタル出力信号と前記第３デジタル出力信号を組み合わせることにより組み合わせたレギュラー画像が形成され、
    前記構造化照明画像は、前記第１レギュラー画像と第２レギュラー画像の間にキャプチャされ、前記レギュラー画像に関する深度または形状の情報の導出に用いられ、前記第１フレーム期間は、前記第２フレーム期間と第３フレーム期間の総和よりも短く、
    前記構造化照明画像は、前記第１レギュラー画像および第２レギュラー画像よりも低い空間解像度でキャプチャされる、
    カメラシステム。
  9. 前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジ両方を提供できる調整可能なアナログ／デジタル変換器である請求項８に記載のカメラシステム。
  10. 前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジのそれぞれを提供できる解像度の異なる２つのアナログ／デジタル変換器を有する請求項８に記載のカメラシステム。
  11. 受け付けた光エネルギーに反応して画素信号を形成し、受け付けた光のエネルギーによって前記画素信号の電圧レベルが決められる画素アレイと、
    構造化照明光源と、
    非構造化照明光源と、
    前記画素アレイに接続されて前記画素アレイが形成した前記画素信号をアクセスする少なくとも１つの出力回路と、
    第１および第２ダイナミックレンジを有する少なくとも１つのアナログ／デジタル変換器と、
    前記画素アレイ、前記少なくとも１つの出力回路、前記少なくとも１つのアナログ／デジタル変換器、またはそれらの組み合わせに接続される少なくとも１つのタイミング制御回路と、を備え、
    前記少なくとも１つのタイミング制御回路は、
    前記画素アレイにより、第１フレーム期間において、第１リセット信号を前記画素アレイに印加することにより前記画素アレイの画素列をリセットして、前記画素アレイの前記画素列を前記構造化照明光源からの第１の光に露出して前記画素列からの第１アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素アレイの前記画素列からの前記第１アナログ信号を構造化照明画像の第１デジタル出力信号に変換することにより前記構造化照明画像をキャプチャし、
    前記画素アレイにより、前記構造化照明画像よりも前の第２フレーム期間において、第２リセット信号を前記画素アレイに印加することにより前記画素アレイの前記画素列をリセットして、前記画素列を環境光または前記非構造化照明光源の第２の光に露出して前記画素列からの第２アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記第２アナログ信号を第１レギュラー画像の第２デジタル出力信号に変換することにより前記第１レギュラー画像をキャプチャし、
    前記画素アレイにより、前記構造化照明画像よりも後の第３フレーム期間において、第３リセット信号を前記画素アレイに印加することにより前記画素アレイの前記画素列をリセットして、前記画素列を環境光または前記非構造化照明光源の前記第２の光に露出して前記画素列からの第３アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記第３アナログ信号を第２レギュラー画像の第３デジタル出力信号に変換することにより前記第２レギュラー画像をキャプチャする、ように構成され、
    前記第２デジタル出力信号と前記第３デジタル出力信号を組み合わせることにより組み合わせたレギュラー画像が形成され、
    前記構造化照明画像は前記第１レギュラー画像と第２レギュラー画像の間にキャプチャされ、前記第１フレーム期間は、前記第２フレーム期間と第３フレーム期間の総和よりも短く、
    前記構造化照明画像は、前記第１レギュラー画像および第２レギュラー画像よりも低い空間解像度でキャプチャされる、
    内視鏡。
  12. 前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジ両方を提供できる調整可能なアナログ／デジタル変換器である請求項１１に記載の内視鏡。
  13. 前記少なくとも１つのアナログーデジタル変換器は、前記第１および第２ダイナミックレンジのそれぞれを提供できる解像度の異なる２つのアナログーデジタル変換器を有する請求項１１に記載の内視鏡。
  14. 前記画素アレイ、前記構造化照明光源、前記非構造化照明光源、前記少なくとも１つの出力回路、および前記少なくとも１つのタイミング制御回路がハウジングの内部に封入されて密封される請求項１１に記載の内視鏡。
JP2020162518A 2015-10-16 2020-09-28 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ Active JP7114667B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/884,788 US9936151B2 (en) 2015-10-16 2015-10-16 Single image sensor for capturing mixed structured-light images and regular images
US14/884,788 2015-10-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018519713A Division JP6803908B2 (ja) 2015-10-16 2016-09-22 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ

Publications (2)

Publication Number Publication Date
JP2021007241A true JP2021007241A (ja) 2021-01-21
JP7114667B2 JP7114667B2 (ja) 2022-08-08

Family

ID=58517756

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018519713A Active JP6803908B2 (ja) 2015-10-16 2016-09-22 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ
JP2020162518A Active JP7114667B2 (ja) 2015-10-16 2020-09-28 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ
JP2020162517A Active JP7114666B2 (ja) 2015-10-16 2020-09-28 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018519713A Active JP6803908B2 (ja) 2015-10-16 2016-09-22 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020162517A Active JP7114666B2 (ja) 2015-10-16 2020-09-28 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ

Country Status (6)

Country Link
US (3) US9936151B2 (ja)
EP (1) EP3362989B1 (ja)
JP (3) JP6803908B2 (ja)
CN (1) CN108139207B (ja)
TW (1) TWI596931B (ja)
WO (1) WO2017065949A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021058776A (ja) * 2021-01-20 2021-04-15 株式会社三洋物産 遊技機

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US10531074B2 (en) * 2015-10-16 2020-01-07 CapsoVision, Inc. Endoscope employing structured light providing physiological feature size measurement
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
JP7005175B2 (ja) * 2017-05-30 2022-01-21 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) * 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
EP3768144A4 (en) * 2018-03-21 2021-12-01 CapsoVision, Inc. ENDOSCOPE USING STRUCTURED LIGHT PROVIDING SIZE MEASUREMENT OF PHYSIOLOGICAL CHARACTERISTICS
US10553180B1 (en) 2018-03-21 2020-02-04 Facebook Technologies, Llc Dynamically structured protective film for maximum display resolution
US11054632B1 (en) 2018-03-21 2021-07-06 Facebook Technologies, Llc Liquid filled pixelated film
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
WO2019208155A1 (ja) * 2018-04-26 2019-10-31 富士フイルム株式会社 画像処理装置、方法、及びプログラム並びに撮像装置
US10685594B2 (en) 2018-05-08 2020-06-16 Facebook Technologies, Llc Calibrating brightness variation in a display
TWI734079B (zh) * 2018-05-29 2021-07-21 大陸商廣州印芯半導體技術有限公司 影像感測系統及其多功能影像感測器
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11019294B2 (en) * 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
CN109005370B (zh) * 2018-07-27 2020-07-03 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
WO2020019704A1 (zh) 2018-07-27 2020-01-30 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
US10991079B2 (en) * 2018-08-14 2021-04-27 Nvidia Corporation Using previously rendered scene frames to reduce pixel noise
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US10506921B1 (en) 2018-10-11 2019-12-17 Capso Vision Inc Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
JP7116925B2 (ja) * 2019-03-22 2022-08-12 株式会社エビデント 観察装置の作動方法、観察装置、およびプログラム
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
JP7199016B2 (ja) * 2019-03-27 2023-01-05 パナソニックＩｐマネジメント株式会社 固体撮像装置
US10735683B1 (en) 2019-04-09 2020-08-04 Obsidian Sensors, Inc. Systems and methods for low-power image digitization
US11943561B2 (en) * 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11531112B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system
JP7486080B2 (ja) 2019-08-01 2024-05-17 パナソニックＩｐマネジメント株式会社 撮像装置
US11095467B2 (en) 2019-08-16 2021-08-17 Logitech Europe S.A. Video conference system
US11088861B2 (en) 2019-08-16 2021-08-10 Logitech Europe S.A. Video conference system
US11038704B2 (en) * 2019-08-16 2021-06-15 Logitech Europe S.A. Video conference system
US11258982B2 (en) 2019-08-16 2022-02-22 Logitech Europe S.A. Video conference system
CN110677603B (zh) * 2019-09-16 2021-09-14 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器和数据采集方法
CN110708481B (zh) * 2019-09-16 2021-09-14 上海集成电路研发中心有限公司 一种基于差异复位的去除固定模式噪声方法
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11219358B2 (en) 2020-03-02 2022-01-11 Capso Vision Inc. Method and apparatus for detecting missed areas during endoscopy
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
CN113395496B (zh) * 2020-09-28 2024-03-29 腾讯科技（深圳）有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
CN115379626A (zh) * 2021-05-19 2022-11-22 英属开曼群岛商大峡谷智慧照明系统股份有限公司 可调整照光参数的人因照光方法
TWI762388B (zh) * 2021-07-16 2022-04-21 國立中正大學 以超頻譜檢測物件影像之方法
CN114219841B (zh) * 2022-02-23 2022-06-03 武汉欧耐德润滑油有限公司 基于图像处理的润滑油罐体参数自动识别方法
US20230410336A1 (en) 2022-06-15 2023-12-21 CapsoVision, Inc. Method and Apparatus for Identifying Capsule Camera Location inside Gastrointestinal Tract

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008517513A (ja) * 2004-10-16 2008-05-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アナログ−デジタル変換方法および装置
JP2010045789A (ja) * 2008-08-18 2010-02-25 St Microelectronics Sa アナログ／デジタル変換器
JP2012242364A (ja) * 2011-05-24 2012-12-10 Olympus Corp 内視鏡装置および計測方法
US20140240492A1 (en) * 2013-02-28 2014-08-28 Google Inc. Depth sensor using modulated light projector and image sensor with color and ir sensing

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5962844A (en) * 1997-09-03 1999-10-05 Foveon, Inc. Active pixel image cell with embedded memory and pixel level signal processing capability
US6665010B1 (en) * 1998-07-21 2003-12-16 Intel Corporation Controlling integration times of pixel sensors
EP1126698B1 (en) 1998-10-07 2003-12-10 Hamamatsu Photonics K.K. High-speed vision sensor
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US7605940B2 (en) * 1999-09-17 2009-10-20 Silverbrook Research Pty Ltd Sensing device for coded data
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US6469289B1 (en) * 2000-01-21 2002-10-22 Symagery Microsystems Inc. Ambient light detection technique for an imaging array
US20030117491A1 (en) 2001-07-26 2003-06-26 Dov Avni Apparatus and method for controlling illumination in an in-vivo imaging device
KR100411631B1 (ko) 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
WO2003105289A2 (en) * 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7447747B2 (en) * 2003-02-04 2008-11-04 Aol Llc Method for flexible, safe, robust, and efficient generation and serving of multi-source world-wide web content pages
JP4609947B2 (ja) * 2003-11-24 2011-01-12 インターテープ ポリマー コーポレーション 遊星押出機を用いた接着剤の調製方法
US7605852B2 (en) * 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
EP1659776A1 (en) * 2004-11-23 2006-05-24 Dialog Semiconductor GmbH An image sensor having resolution adjustment employing an analog column averaging/row averaging for high intensity light or row binning for low intensity light
US8044996B2 (en) * 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7983458B2 (en) 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
US7534988B2 (en) * 2005-11-08 2009-05-19 Microsoft Corporation Method and system for optical tracking of a pointing object
JP4767685B2 (ja) * 2005-12-28 2011-09-07 オリンパスメディカルシステムズ株式会社 被検体内観察システム
WO2008036092A1 (en) * 2006-09-21 2008-03-27 Thomson Licensing A method and system for three-dimensional model acquisition
US7616243B2 (en) 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US7995798B2 (en) 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
TWI357974B (en) * 2007-11-05 2012-02-11 Ind Tech Res Inst Visual navigation system and method based on struc
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US8285025B2 (en) * 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US8299472B2 (en) * 2009-12-08 2012-10-30 Young-June Yu Active pixel sensor with nanowire structured photodetectors
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP5371920B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
US8803979B2 (en) * 2011-09-29 2014-08-12 Aptina Imaging Corporation Self test of image signal chain while running in streaming mode
US9429417B2 (en) * 2012-05-17 2016-08-30 Hong Kong Applied Science and Technology Research Institute Company Limited Touch and motion detection using surface map, object shadow and a single camera
US9019488B2 (en) * 2012-06-25 2015-04-28 Recognition Robotics, Inc. Wheel toe and camber measurement system
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US9524059B2 (en) * 2013-03-15 2016-12-20 Texas Instruments Incorporated Interaction detection using structured light images
US8937745B2 (en) * 2013-03-25 2015-01-20 Eastman Kodak Company Method for correcting stitching errors in multi-color high-speed printing
CN103561267B (zh) * 2013-09-10 2016-08-31 罗天明 基于运动信息与深度信息的3d视频编码传输方法
JP2015084319A (ja) * 2013-09-17 2015-04-30 株式会社リコー 被処理物改質装置、印刷装置、印刷システムおよび印刷物の製造方法
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
EP2871843B1 (en) 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
US9357150B2 (en) 2013-12-03 2016-05-31 Capso Vision Inc. Image sensor with integrated power conservation control
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008517513A (ja) * 2004-10-16 2008-05-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アナログ−デジタル変換方法および装置
JP2010045789A (ja) * 2008-08-18 2010-02-25 St Microelectronics Sa アナログ／デジタル変換器
JP2012242364A (ja) * 2011-05-24 2012-12-10 Olympus Corp 内視鏡装置および計測方法
US20140240492A1 (en) * 2013-02-28 2014-08-28 Google Inc. Depth sensor using modulated light projector and image sensor with color and ir sensing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021058776A (ja) * 2021-01-20 2021-04-15 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
US10447950B2 (en) 2019-10-15
US20180160061A1 (en) 2018-06-07
US11102428B2 (en) 2021-08-24
US20170111600A1 (en) 2017-04-20
US9936151B2 (en) 2018-04-03
US20200007802A1 (en) 2020-01-02
EP3362989A4 (en) 2019-06-05
JP6803908B2 (ja) 2020-12-23
JP2018533870A (ja) 2018-11-15
EP3362989A1 (en) 2018-08-22
WO2017065949A1 (en) 2017-04-20
CN108139207A (zh) 2018-06-08
JP7114666B2 (ja) 2022-08-08
EP3362989B1 (en) 2022-09-21
CN108139207B (zh) 2020-09-18
TW201715881A (zh) 2017-05-01
TWI596931B (zh) 2017-08-21
JP2021010173A (ja) 2021-01-28
JP7114667B2 (ja) 2022-08-08

Similar Documents

Publication Publication Date Title
JP6803908B2 (ja) 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ
US11266305B2 (en) Videostroboscopy of vocal cords with CMOS sensors
JP4393866B2 (ja) インビボ画像化カプセル
US9137453B2 (en) Control apparatus and imaging system
JP5245022B1 (ja) 撮像装置
US10785428B2 (en) Single image sensor for capturing mixed structured-light images and regular images
JP6800871B2 (ja) 内視鏡装置、内視鏡装置の作動方法、および記録媒体
Sonoda et al. High-speed imaging using CMOS image sensor with quasi pixel-wise exposure
CN107205629B (zh) 图像处理装置和摄像系统
JP5775986B2 (ja) 内視鏡システム
WO2017065057A1 (ja) 内視鏡装置
JP2004112772A (ja) 撮像装置
JP2013048694A (ja) 内視鏡装置
WO2018025658A1 (ja) 撮像素子、駆動方法、および電子機器
US10735681B2 (en) Inspection device, image processing device, correction value calculating method, image processing method and computer readable recording medium
JP4555604B2 (ja) カプセル型内視鏡およびカプセル型内視鏡システム
JP6790111B2 (ja) 内視鏡装置
JP5538067B2 (ja) 内視鏡システム
Vatteroni et al. Smart optical CMOS sensor for endoluminal applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150