JP2007526453A - 単一チップの赤、緑、青、距離(rgb−z)センサー - Google Patents
単一チップの赤、緑、青、距離(rgb−z)センサー Download PDFInfo
- Publication number
- JP2007526453A JP2007526453A JP2006551432A JP2006551432A JP2007526453A JP 2007526453 A JP2007526453 A JP 2007526453A JP 2006551432 A JP2006551432 A JP 2006551432A JP 2006551432 A JP2006551432 A JP 2006551432A JP 2007526453 A JP2007526453 A JP 2007526453A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- image
- spectral band
- output
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003595 spectral effect Effects 0.000 claims abstract description 70
- 230000003287 optical effect Effects 0.000 claims abstract description 53
- 239000000758 substrate Substances 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 abstract description 5
- 239000000463 material Substances 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Color Television Image Signal Generators (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
RGB−Zセンサーは単一のICチップ上に実施可能である。ホットミラーなどのビームスプリッタが、対象物から入射する第一及び第二のスペクトルバンド光エネルギーを受信し、好ましくはRGBであるイメージ成分及び好ましくはNIRZである成分に分離する。RGBイメージとZ成分は、それぞれイメージデータとZデータを出力するRGBピクセル検出器及びNIRピクセル検出器のアレイ領域によってそれぞれ検出される。これらの領域のピクセルサイズ及びアレイ解像度は同一である必要はなく、またこれら両方のアレイ領域を共通のICチップ上に形成しても良い。対象物の認識を容易にするために、イメージデータを用いたディスプレイはZデータによって補助できる。その結果得られる構成は、ビームスプリットを行なうことによる光学的効率性と単一のICチップに実施することによる簡素性とを組み合わせたものとなる。この単一チップの赤、緑、青、距離(RGB−Z)センサーの使用方法も開示されている。
Description
[関連する特許出願の相互参照]
本出願は、「単一チップのRGBZセンサー」という名称で、2004年1月26日に出願された米国暫定特許出願60/540,523号に対し優先権を主張し、この暫定特許出願を参照することによりその全体を含むものである。
本出願は、「単一チップのRGBZセンサー」という名称で、2004年1月26日に出願された米国暫定特許出願60/540,523号に対し優先権を主張し、この暫定特許出願を参照することによりその全体を含むものである。
本発明は一般的には固体センサーに関するものであり、特に単一集積回路チップ上に実施可能で、赤緑青(RGB)イメージを入手するために赤、緑、青(黒及び白も含まれると理解される)の光波長などの第一のスペクトルバンド内の光度情報に反応し、Zデータを入手するために第二のスペクトルバンド内の波長、好ましくは近赤外(NIR)波長に反応するセンサーに関連するものである。
従来技術において光度ベースのセンサーは公知である。このようなセンサーは一般的にCMOS技術を用いて実施され、例えば赤、緑、青波長などの第一のスペクトルバンド内の波長(RGBセンサー)もしくは単にグレイスケールの波長(白黒もしくはBWセンサー)に反応するピクセル検出器のアレイを含む。アレイはアナログ‐デジタル変換回路及び信号処理回路をその上に作ることができる集積回路(IC)基板の上に作ることができる。このようなセンサーはカラー(RGB)イメージもしくはグレイスケール(BW)イメージを提供できるが、有益な立体情報は提供できない。
図1は従来のRGBセンサーもしくはBWセンサーの利用例を示す。視野内の物体をインテリジェントに認識するためにカメラシステムの使用が望ましいということを仮定する。いくつかの利用例においては、例えば歩行者などの自動車が危害を加える可能性のある対象物があるかどうか道路前方をスキャンするために、このカメラシステムを自動車の内部もしくは外部に設置することができる。カメラシステムの例は、カメラシステムからの距離Zにある対象物40から反射される可視光エネルギー30の赤、緑及び青の成分を受信するレンズ20を含む。このカメラシステムには、入射するRGB光成分に反応する信号を出力する、従来技術のRGBセンサー50が付随している。この特定の利用例においては、センサー回路60がセンサー50からの出力信号を受信し、潜在的危険性の面から対象物40を識別しようと試みる。望まれる場合には、例えばフラットなモニタースクリーン上などに電子的に生成された(または、いくつかの利用例においては紙などの媒体に印刷された)イメージ70をカメラシステムの出力に含めても良い。危険警告のための利用例においては、回避すべき差し迫った危険を示すためにイメージ70を赤い丸で囲って表示しても良く、またセンサー回路60は聴覚で認識される警告を発しても良い。
RGBセンサー50の解像度は対象物40を表示するのに十分である場合もあるが、通常IR波長から入手されるZデータも使用することができれば、対象の特徴及び大きさの迅速な識別が改善される。このような情報が提供されれば、対象物の実際の大きさの測定を行なう上でも使用できる。
距離測定センサーもしくは三次元センサーを組み立てることも従来技術で公知である。例えば、(2003年2月4日に発行された)鈴木らの米国特許6,515,470号は、センサーアレイの各ピクセル検出器での立体情報(センサーと対象物間の距離Z)を提供するセンサーシステムを開示している。‘470特許に記載の距離測定器は、好ましくは(800nm程度の)近赤外波長で作用する変調光源を使用している。本願で用いられているように、「RGB」という用語は「グレイスケール」もしくは「BW」波長も含み、また「IR」という用語は「近赤外」(NIR)波長も含むということを理解されたい。
多くの利用例においては、単一の視野もしくは照準から、通常(RGBイメージを提供するために使用される)RGBデータであるところの第一のスペクトルバンド内のデータと(通常IR波長であり、好ましくは第二のスペクトルバンドから入手される)Zデータとの両方を同時に入手することが重要になる場合がある。しかし、IR波長のZデータを捉えるために使用されるピクセル検出器の面積は、RGB波長に反応するピクセル検出器よりも通常かなり大きいため、この目標を実際に達成するのは困難である。例えば、一般的なRGBピクセル検出器の面積が約5μmx5μmであるのに対して、一般的なZデータのピクセル検出器の断面積は50μmx50μmとなる。RGBピクセル検出器とZピクセル検出器とを同時に使用するために単一のアレイが組み立てられた場合、Zピクセル検出器よりもかなり小さいサイズのRGBピクセル検出器の高密度アレイの中に、更に大きいサイズのZピクセル検出器が存在することにより、結果得られるRGBイメージの質を劣化させる大きなイメージ上のアーチファクトが発生する。また、Zデータに反応するピクセル検出器には(好ましくはIR波長の)高質な帯域通過フィルタリングが要求される場合がしばしばある。実際に現時点で、CMOS構造ではZピクセルのこのような帯域通過フィルタリングは実施されておらず、特に50nm以下の桁の望ましい狭さでのバンドのフィルタリングは行われない。
従って、RGB波長などの第一のスペクトルバンド内の波長に反応するピクセル検出器を含み、また第二のスペクトルバンド内の好ましくはZデータであるデータに対応し、好ましくはNIRである波長に反応するピクセル検出器も含むセンサーが必要とされている。好ましくは、このようなセンサーのアレイは単一のIC基盤上に実施可能であるべきである。
本発明はこのようなセンサーを提供する。
本発明は、好ましくはRGBイメージであるイメージを生成するために使用される(RGB波長などの)第一のスペクトルバンド内の波長に反応する、高解像度のピクセル検出器のアレイ領域を含み、また、Zデータを入手するために使用される(好ましくはNIRであるが、必ずしもNIRには限られない)第二のスペクトルバンド内の波長に反応する一般的に低解像度のピクセル検出器のアレイ領域も含むセンサーを提供する。望まれれば、(Zデータを入手するために使用される)第二のスペクトルバンドの波長は、(RGBイメージを入手するために使用される)第一のスペクトルバンドの波長と重複しても良い。距離Z分離れた場所にある対象物の解像度の高いRGBイメージを入手し、また対象物が何でありどこにあるのかを迅速に識別するためにZデータを使用することが望ましい。
ある実施例においては、センサーはそれぞれ個別の基板上にある二つの別々のアレイを含む。一つのアレイは、例えばRGBイメージを提供するためのRGBなどの第一のスペクトルバンド波長を感知し、もう一つのアレイは、例えばZデータを提供するためのNIR波長などの第二のスペクトルバンド波長を感知する。このような実施例において、二つのアレイ間のピクセルセンサーの解像度の差は、桁としてはピクセル検出器の断面積の差、例えば約10:1となる。RGBアレイにはRGBカラーフィルターが設置されても良く、BWアレイとして実施される場合にはIR遮蔽フィルターが設置されても良い。ディスクリートなZ感知アレイは単一の低性能フィルターを含んでも良く、またZ感知アレイに対する少なくともある程度の通過帯域フィルタリングは、センサー全体の光学経路において行われる。
別の実施例においては、単一の集積回路基板が、例えばRGB波長などの第一のスペクトルバンド波長に反応するピクセルセンサーのアレイを含み、また例えばNIR波長などの第二のスペクトルバンド波長に反応するピクセルセンサーのアレイも含む。一方のアレイがRGBイメージを提供し、もう一方のアレイがZデータを提供する。この実施例には単一のCMOSIC基板に実施できるという利点がある。
様々な実施例において、対象物から入射してくる光エネルギーには(重複する可能性のある)第一及び第二のスペクトルバンドの両方からの波長が含まれ、好ましくはこれらの波長はRGB成分と好ましくはNIRである成分の両方を含む。いくつかの実施例においては、このエネルギーは例えばホットミラーもしくはコールドミラーなどの波長選別ミラーとして実施できる少なくとも一つの光学スプリッタに送られる。もう一つの実施例においては、(例えば入射してくる光エネルギーの約40から約60%を反射するミラーなどの)ハーフミラーが光学スプリッタとして機能する。これらの実施例においては、光学スプリッタはRGBイメージ及び好ましくはNIRであるイメージを出力するために受動的に作動する。RGBイメージの焦点はRGBピクセル検出器のアレイに当てる一方、好ましくはNIRイメージであるイメージはZピクセル検出器のアレイに焦点を当てる。
好ましくはNIRである波長を使用してZデータを入手する、比較的低解像度のピクセル検出器アレイからの出力であっても、サイズ、対象物までの距離Z及び対象物の速度ΔZ/Δtを決定するために使用できる。Zデータは、好ましくはRGBであるアレイによってイメージされた対象物を迅速に識別するのに役立つ。
本発明の単一チップの赤、緑、青、距離センサーは、共に本発明の原理を説明し、本願に含まれ明細書の一部を成す付随の図と、以下の「発明の詳細な説明」の欄とにより明らかとなるその他の特徴及び利点、またはこれらに更に詳細に記載されているその他の特徴及び利点を有している。
本発明の好ましい実施例の詳細を以下に述べる。添付の図は本発明の例を図示する。本発明は好ましい実施例との関連で説明されるが、これは本発明をこれらの実施例に限ることを意図するものではないということは理解されるであろう。逆に本発明は、添付の請求項が定義する発明の精神と範囲に含まれ得る代替のもの、改良されたもの及び同等のものも含めることを意図している。
図2は、本発明により、好ましいRGB−Zセンサー110を含むカメラシステム100を示す。ここに説明されるように、RGB−Zセンサー110は好ましくはRGB波長である第一のスペクトルバンド内の波長に反応する高解像度ピクセル検出器のアレイ160と、第二のスペクトルバンド内の波長に反応する低解像度ピクセルZ検出器のアレイ130を含む。第二のスペクトルバンドは第一のスペクトルバンドと重複してもしなくても良く、人間の目に見えないようにNIR波長であることが望ましい。大まかに言うと、第一のスペクトルバンドの作動帯域は約400nmから約900nmの範囲内であり、約450nmから約650nmの範囲内にあることが望ましい。(実際には、これらの波長の制限はシリコン基板上に実施されるピクセルダイオード検出器の反応によって決まる。)これらの波長の全てが存在するかもしくは使用されなければならないわけではないということ、またRGBという用語は約450nmから約650nmの範囲内にある波長の一部を含むと理解される。例えば、あるセンサーが入射してくる単一の色の光エネルギーを基にイメージデータを検出し生成するようデザインされているかもしれない。第二のスペクトルバンドがIR波長もしくは近赤外波長を使用して実施されている場合、作動波長は約800nmで、帯域幅は約50nmとなる。これらの波長と帯域幅は一つの例であることは理解される。実用面から言えば、Z検出器のシリコン基板上への実施を容易にするために、NIRに近い波長が望ましい。
センサー110は好ましくは光学的に透明な構成物120及び140を含み、これらの構成物としては、空気、プラスチック、ガラスその他の素材があるがこれらに限られるものではない。説明を簡素化するため、構成物120と140は多少離れて示されているが、このように間隔を開けることは必要なく、間隔を開けた結果望ましくない反射が発生する場合がある。構成物120の出力表面に隣接しているのがピクセル検出器の第一のアレイ、ここでは距離センサーつまりZセンサー230である。このピクセル検出器130の第一のアレイは好ましくはNIRである波長の放射に反応し、第一のIC基板170’上に形成される。好ましくはNIRのためのアレイ130からの出力はZデータをもたらし、このデータは距離Z、サイズ、形状及び速度を含む対象物40に関する情報をもたらすが、これらに限られるものではない。
センサー110は波長選別ミラーとして示されているビームスプリッティング構成物140を更に含み、ここではホットミラー表面150として例示されている。構成物140の出力表面は、ここでは第二のIC基板170上に作られたピクセル検出器160のRGBアレイとなっている、ピクセル検出器の第二のアレイに接する。RGBピクセル検出器アレイ160からの出力は、電子ディスプレイへの表示、紙などの媒体への印刷その他のディスプレイ形態で表示されるRGB出力イメージ70の作成に使用される。
図2に示す実施例では、検出される第二のスペクトルバンドエネルギーのためのアクティブなソースが提供される。システム100は光学エミッター105を含み、このエミッターの光学出力25は光学レンズ115を通過し、一般的には対象物Zの方向に向かって焦点を合わせるる。一つの実施例においては、エミッター105はNIRダイオードであり、扱っているアプリケーションによって、約0.5Wから3Wのパワーで約800nmの波長を放つ。NIRダイオードのエミッターデバイスには比較的低価格であるという利点があるが、これ以外の波長及びパワーを放つその他のデバイスも勿論使用しても良い。エミッター105の出力は好ましくは変調装置ユニット125に反応するよう変調する。変調はパルスを含んでも良く、約10MHzから約100MHzの範囲内で、約50%のデューティーサイクルでも良い。その他の変調特性を有する変調装置ユニット125を代わりに用いても良く、上述の数値と波長は一例である。
ここに示される実施例においては、構成物140はここでホットミラー表面150を含むホットミラーとして示される波長選別ミラー構成物を含む。ホットミラーは従来技術で公知であり、NIR成分と言える「ホット」エネルギー成分を反射するが、ここではRGB成分となっている短い波長の光エネルギー成分は比較的減衰が少なく通過させるという特徴がある。一般的に約700nmの波長が、構成物140が入射してくる光エネルギーを通過させるか反射するかの境界となる。入射してくる波長が約700nmよりも長い場合、そのエネルギーはNIRであり、構成物140により構成物120へと反射され、NIRアレイ130で検出される。入射してくる波長が約700nmよりも短い場合、そのエネルギーはRGBであり、構成物140を通過しRGBアレイ160で検出される。構成物140のデザインによって、境界となる波長は先に例として示した700nmよりも多少長いもしくは短い場合もある。従って、(例えば、好ましくは約800nmの波長など)少なくともその一部が対象物40によって反射されるエミッター105が放つエネルギーは、表面150で、例えば第二のスペクトルバンドのスペクトルエネルギーに反応するアレイなどのNIR検出アレイ130へと反射される。
スプリッティング構成物140はホットミラーではなくコールドミラーで実施しても良い、ということを当業者は認識するであろう。このような実施例においては、コールドミラー表面150が入射してくるRGB波長を反射し、入射してくるNIR波長を通過させるため、アレイ130とアレイ160の位置は入れ替えられる。
上述したように、好ましくはNIRのためのZ検出器アレイ130の個別のピクセル検出器のサイズは、RGB検出器アレイ160の個別のピクセル検出器のサイズよりかなり大きい。サイズ差は断面ディメンションで約10程度となり、これは断面積で約100分の1となる。実際には、RGBアレイ160の解像度はZ検出器アレイ130のそれよりもかなり高くなり得る。一例を挙げれば、RGBアレイ160はピクセル行が640行、ピクセル列480列で実施できるが、好ましくはNIRのためのZ検出アレイ130は64行48列で実施できる。上記の解像度値は一つの例であり、別の解像度値を用いた実施例も本発明の精神から逸脱することなく勿論実施できる、ということは理解されるであろう。
図2において、第二スペクトルバンドピクセル検出器アレイ130が感知したZ情報を、対象物40の距離Z、(幅、高さなどの)サイズだけでなく、対象物の速度ΔZ/ΔtなどのZデータを出力するZプロセッサ135に送っても良い。Zタイプの情報を処理する方法とハードウェアは従来技術で公知である。(2003年2月4日に発行された)鈴木らの米国特許6,515,740号にはこれらのテクニックの例が説明されており、この特許の全体は参照することにより本願に含まれるものである。
第一のスペクトルバンドのピクセルダイオード検出器アレイ160からのRGB情報出力は、ここでRGBプロセッサユニット65となっているイメージプロセッサにつなげることができ、イメージプロセッサの出力は電子的に及び/もしくは(紙などの)媒体70に表示できる。Zデータの解像度は(ここではRGBである)イメージデータの解像度よりも低いが、Zデータはユニット70によってイメージされた対象物を迅速に識別する上でとても有益になり得る。例えば、対象物のイメージを中心として広がる赤い同心円であり得る警告の表示、及び/もしくは警告サインや警告の言葉など、ディスプレイ70を補助するためにZデータをRGBプロセッサユニット65につなげることができる。焦点レンズ20’がディスプレイ70の質を改善するのを助けるためにZデータをつなげても良い。聴覚で知覚される警告音及び/もしくは発話も、例えばトランスデューサ75から発信しても良い。図2の実施例はうまく機能するが、ピクセル検出器130と160の二つのセンサーアレイは二つの別々のIC基板170’及び170上に形成されていることに留意されたい。これとは逆に、以下に説明するように図3の実施例は単一の基板上に実施可能である。
図3は、本発明により、単一のIC基板170の上に実施された第一スペクトルバンド及び第二スペクトルバンドのRGB−Zセンサー110、180から成るRGB−Zセンサーシステムを含むカメラシステム100のもう一つの実施例を示す。特に記載がない限り、図3のエレメントで図2と同じ参照番号のものは、図3でも同じエレメントであると看做される。この実施例では、RBGイメージ及びZイメージの焦点は、共通レンズ20’によって単一のIC基板170上に形成された単一センサー165に当てられている。以下に説明するように、センサーアレイ165は、第一のスペクトルバンドのピクセルセンサーアレイ部分160’(好ましくはRGB検出器)と、第二のスペクトルバンドのピクセルセンサーアレイ部分130’(好ましくはNIR検出器)とを含む。上述のように、これら二つのピクセルセンサーアレイ部分の解像度は大きく異なっていても、有益なZ情報を提供できる。
図3では、光エネルギー30は、この実施例におていは照準軸と合致する光軸を定義する経路で共通レンズ20’を通過し光学構成物120を通過する。この実施例におていは、イメージ及びZ検出器160’、Z検出器130’を含む基板170が定義する焦点面に対して、光軸つまり照準軸が垂直であることに留意されたい。隣接する構成物120は好ましくは光学的に透明な構成物であるスプリッタ構成物140である。(図2の構成物120と同様に、「光学的に透明な構成物」は、空気、プラスチック、ガラスその他の素材でも良い構成物を含む、と理解される。)
ここに示される実施例においては、スプリッタ構成物140は、ここでホットミラー表面210として例示されている周波数選別ミラー表面を含む。その結果、入射してくる「ホット」な光エネルギーつまり好ましくはNIRである成分を含む光エネルギーは、表面210によってアセンブリ180内の反射システム200に反射する。好ましくはNIRである波長である、アセンブリ180に届いたZ成分は、ここでは通常ミラーと例示されている表面150によって反射する。望まれれば、IC基板170上の二つのセンサー領域を適切に入れ替えて、ホットミラー表面ではなくコールドミラー表面を使用しても良い。
図3が示すように、反射した成分は、共通IC基盤170上に形成されるアレイ165のZ検出ピクセルアレイ検出器部分130’で検出される前に、光学経路の長さイコライザエレメント220を通過するのが望ましい。エレメント200及びエレメント190の屈折率と厚さにより、また光学的側面や焦点に関して考慮した上で、経路の長さイコライザはどちらの光学経路の上にあっても良い。好ましくはNIRのためのピクセルアレイ検出器部分130’からの出力はZデータであり、このデータは対象物40に関するサイズ、距離及びその他のパラメータを提供するために使用できる。Zデータは対象物40の特徴を正確に識別するのを助けるために使用しても良い。いくつかの利用例においては、例えばレンズ20’の焦点を改良する、及び/もしくはZデータとイメージング処理テクニックを用いてイメージ70のぼやけを修正するなどして、イメージ70の質を向上させるためにZデータを使用しても良い。図3の実施例においては、アレイ部分130’とアレイ部分165の位置が入れ替えられれば、ホットミラーではなくコールドミラーをエレメント140として使用できるということが理解される。
まとめると、図3の実施例においては、レンズ20’を通過して入射する光エネルギーのRGB成分は比較的減衰が少なくエレメント120及びエレメント140を通過し、共通IC基板170のRGBピクセルアレイ検出器部分160’で検出される。しかし、好ましくはNIRである成分は、表面210及び表面150で反射され、共通IC基板170上のZピクセルアレイ検出器部分130’で検出される。このような基板170はアレイ部分130’及びアレイ部分160’を含む全体アレイ165を含むとも考えられる。
先に説明した実施例に示されるように、検出器部分160からのRBG出力もしくはディスプレイ出力は、対象物40を表す出力イメージ70を表示するために使用できる。出力イメージ70内の対象物40の識別特徴はZデータを用いて際立たせることができ、これにはイメージ70への警告色の表示、対象物40のディスプレイの少なくとも一部分のハイライトなどが含まれるがこれらに限られるものではない。Zデータは更に、聴覚で知覚される警告音の発信、フィードバック信号の生成、またシステム100を運転中の危険警告システムの一部として含む自動車の制動システム及び/もしくはヘッドライトシステムに使用しても良い。
一般的に、Z成分及びRGB成分の一方に関わる光学経路はもう一方の経路よりも長い。図3の構造には、二つの経路を光学的に等しくするために光学経路の長さイコライザエレメント220が含まれており、190及び200の屈折率と厚さによって、このエレメントは二つの経路のどちらに設置しても良い。イコライザエレメント220は、例えばガラスなどの実質的にフラットな高屈折率素材の一片で良く、イコライザエレメント220を含むことで長い光学経路内の対象が近くに見える。その結果、基板170上に形成された全体アレイ165上の検出器領域160’、検出器領域130’の上にそれぞれ形成されたRGBイメージとZイメージに、共通の焦点面が存在する。しかし、本発明で示されるホットミラー、コールドミラーもしくは通常ミラーの補助構成には事実上ガラスも含まれるため、いくつかの利用例においては、個別のディスクリートな光学経路の長さイコライザの必要性がなくなる可能性がある。
望まれれば、より長い方の光学経路の焦点を前方に移動させるために、例えば収束レンズ及び/もしくは発散レンズなどの光学系を利用してイコライザエレメント220を実施しても良い。エレメント220に類似したイコライザエレメントは二つの光学経路の様々な位置に配置できる。図3には、単一の平らなイコライザエレメント220が示されている。このエレメントを構成する素材が高屈折率nを有し、ビームスプリッタによって発生する二つの光学経路間の経路長さの差がDであると仮定する。この例では、エレメント220の前から後ろにかけての厚さがTであり、ここでT=D/(n−1)である。一例を挙げれば、(空気中で)D=5mmであり、n=1.65である場合、エレメント220の厚さTはT=5mm/(1.6−1)=8.3mmとなる。
実際には、厚さTはレンズ20’の開口数に比べるとむしろ厚く、従って球面収差が発生し得る。例えば、収差を生成する平らなエレメント220を、一般的にRGBアレイ160’よりも大きいサイズのピクセルを有するNIRピクセルセンサーアレイ130’の前に挿入することで、Zイメージの焦点を犠牲にし、RGBイメージの鮮明さを維持したまま球面収差の影響を緩和することができる。代替案として、光学経路内に修正レンズを含めても良い。RGB光学経路とZ光学経路のいづれかが(例えばn≧1.2程度の)高屈折率素材を通して実質的な経路を含む場合には、結果得られる球面収差は、いづれか一つの経路、好ましくは収差がある経路に修正レンズを含めることで減少できる。
220のような光学経路長さイコライザはある程度の光学収差を発生させ、この収差は、通常RGBアレイよりも低い解像度でデザインされているZアレイに発生する場合にはそれ程気にならない。従って、光学経路の一つを犠牲にするならば、Z経路が影響を受けた方が発生する劣化は少なくなる。Zセンサーの作動波長を中心とした周波数の狭い帯域を通過させる高性能帯域通過フィルターを使えば、性能を向上させるためにZ光学経路に沿って照射を含んでも良いということが認識される。例として挙げられる高性能帯域通過フィルターは、以下の特徴の少なくとも一つを有する。約40nm程度の狭い帯域、約5%以下の通過帯域での減衰、及び約95%以上の阻止帯域での減衰。
図4は、本発明により、スプリッタユニット110及び反射ユニット185に関連する、第一及び第二のスペクトルバンドのRGB−Zセンサー領域160’及び130’から成るRGB−Zセンサーシステムを含むカメラシステム100の更に別の実施例を示す。図3の構造と同様に、この実施例においては、RGBイメージとZイメージの焦点は、単一のIC基板170上に作られた単一のセンサーアレイ165の上に形成されたRGBピクセルアレイ検出器領域160’及びZピクセルアレイ検出器領域130’にそれぞれ共通レンズ20’によって合わせられる。部品105、115、125、135、65及び75の説明をここで繰り返す必要はない。以下に説明するように、センサーアレイ165は、好ましくはRGBであるイメージ検出器ピクセルセンサーアレイ部分160’及びZ検出器ピクセルセンサーアレイ部分130’を含む。
図3の構造とは対照的に、図4の実施例は照準軸と平行な焦点面を使用しており、例えば、基板170が定義する検出器面は、レンズ20’を通過する光エネルギーが定義する光軸と平行である。図4において、本願で先に説明したように、システム100はエレメント120、エレメント140及びホットミラー表面の例150から成るビームスプリッタ110を含む。ビームスプリッタ110はエレメント120、イコライザエレメント220を通して、IC基板170上に形成された検出器センサーアレイ165の上のZピクセルセンサーアレイ領域135’にZ成分を反射する。
図4において、Z成分は実質的にビームスプリッタ110を通り、前述のように空気、プラスチック、ガラス、その他の素材であり得るスペーサ120から成るエレメント185へと通過し、反射ミラー表面155を含むビーム反射器205へと通過する。従って、エレメント185に届く好ましくはNIRであるエネルギーは、空気、プラスチック、ガラスなどであり得るスペーサ素材190を通り、IC基板170上に形成された検出器センサーアレイ165のZピクセル検出器アレイ部分160’に反射する。
RGB成分はビームスプリッタ120からRGBアレイ135’に反射する。先に説明した実施例にあるように、検出器部分135’からの出力は、出力イメージ70を表示するために使用できる。出力イメージ70に表示される情報は、NIRセンサー領域160’から得られるZデータを用いて際立たせることができる。経路の長さイコライザエレメント220は、両方のイメージの焦点が確実に同一面に合うようにする。
Zデータ検出器アレイがNIR波長ではなくRGB帯域の波長で作動する場合、図2から図4の実施例において、ビームスプリッタの代わりにハーフミラーが使用できることは認識されるであろう。このような作動形態では、Zセンサーの作動スペクトル内の波長はRGBセンサーとZセンサーとの間で分割される。望まれれば、スプリッタとハーフミラーデバイスを組み合わせて使用することで、その他の波長も分割もしくはRGBセンサーに送ることができるが、実用面では、簡素化と経済性のためにも、ハーフミラーのみを用いれば十分である。従って、図2から図4において、表面150は波長スプリッタではなくハーフミラーとなる。ビームスプリッタに関して上述したように、Zアレイに関連する光学経路に高性能フィルターを加えても良い。Zデータを入手するためにNIR波長以外を使用することで、対象物自身が発生させる光学エネルギーの使用が可能となる。例えば近い将来、自動車のヘッドライトは高輝度LEDとなるであろう。このようなヘッドライトが変調光成分を含む場合、本発明は変調LED波長を送ることでZデータを入手できる。(ここでは、自動車製造業者がヘッドライト出力に変調LED光成分を含めるモーチベーションを与えられていると仮定する。)この場合、本発明を実施した自動車のLEDヘッドライトのみが照らす歩行者もしくはその他の対象物から、第二スペクトルバンドの追加照明ソースを設置することなくZデータを入手できる。
図5は、R、G、Bピクセル検出器から成る第一のスペクトルバンドの検出器領域160’と、ここではNIRピクセル検出器から成る第二のスペクトルバンドの検出器領域130’とが共通のIC基板170上に散りばめられている、センサーアレイ165の構造を図示した平面図である。図が分かりにくくなるのを避けるため、領域160’と領域130’は特に記載されていない。しかし、斜線の入った(NIR)領域が領域130’であり、R、G、B領域が領域160’である。前述のように、(ここではNIRである)Z検出領域のディメンションのサイズはRGB検出領域よりもかなり、約10倍ほど大きく、これは断面積で約100倍の大きさになる。実際には、かなりサイズの大きいNIRピクセル検出器が存在することで、アレイ165内で対称性が崩れる。
図6は、図5に図示したセンサーアレイ165を使用した、RGB−Zセンサー100の実施例を図示している。共通レンズ20’を通過して入射してくる光エネルギー30には、ここではRGB成分及びNIR成分であるところの、第一のスペクトルバンド成分及び第二のスペクトルバンド成分が含まれる。RGB光エネルギー及びNIR光エネルギーの焦点はアレイ165に合わせられている。RGBピクセルダイオードセンサーに当たるRGBエネルギーの一部は、アレイのその部分によって検出される。同様に、NIRピクセルダイオードセンサーに当たるNIRエネルギーの一部は、アレイのその部分によって検出される。RGBピクセルダイオードセンサーとNIRピクセルダイオードセンサーそれぞれからの出力は、先に本願で説明したように、それぞれRGBプロセッサ65及びZプロセッサ135につなげられる。部品105、125、65及び70の機能は他の実施例との関連で既に説明されており、更なる説明の必要はない。
本発明の様々な実施例は、スプリッタに付随する高い光学的効率性と、単一のIC基板上にRGB−Zセンサーを作ることの経済性とを有利に組み合わせている。従って、本発明によるRGB−Zセンサーは、例えばNIRなどの、光エネルギーの他の成分も感知することで更に有益な情報を提供しつつ、先行技術のRGBセンサーもしくはイメージセンサーに対し価格面で競争力がある。
図7は、乗り物の進行方向にいる歩行者の検出など、対象物識別のための自動車への利用という、本発明の利用例を図示している。このように、自動車300が本発明によるRGB−Zセンサーシステム100を搭載している様子が示されている。この実施例においては、システム100は(好ましくはNIRである)Zデータを入手するための光エネルギーを出力し、反射されたこの光エネルギーと、(図示されてはいないが、おそらく太陽光などの)自然光による対象物40から反射された好ましくはRGBである波長を検出する。
歩行者検出には、対象物が歩行者であるかどうかを判断するために、自動車の前にある対象の形状とサイズを識別することも含まれる。歩行者とは、約1.5mx40cmのサイズで、その下部に足のような形状を有する対象物であると看做される。高解像度のBWもしくはRGBが対象物の形状を判断するために使用される。対象物のサイズは検出器アレイ上の多くのRGBピクセル検出器にまたがっており、少なくとも一つのZピクセル検出器を含むため、対象物までの距離Zを判断するために、低解像度Zで十分である。対象物の形状と距離が本発明を用いて入手できる場合、そのサイズも判断することができる。この場合、対象物が歩行者であるかどうかを入手したデータから判断することは比較的容易となり、そうである場合は、本発明を実施した自動車の運転者に警告を発することも容易となる。
このように図7において、Zプロセッサ135は、RGBプロセッサ65に示されたRGBデータを補助することができ、対象物40が歩行者であるかどうかを判断するために使用する。Zプロセッサ135は、サイズ、形状、速度範囲などに関して、「歩行者」がどのように見えるかのパラメータを記憶したメモリを含んでも良い。対象物40が歩行者であると判断された場合、イメージ70を際立たせたり、及び/もしくは(乗り物300の運転者に聞こえ、また例えば、自動車のクラクション音のように恐らく対象物にも聞こえる)聴覚で認識される音信号を鳴らすために本発明を使用できる。更に本発明は、自動的に乗り物を停止させたるため、及び/もしくは歩行者に対し乗り物300による危険を警告するために、乗り物のヘッドライトを点灯または点滅させるために使用できるフィードバック信号を出力できる。図1に示すような通常の先行技術のカメラシステムが使用された場合に比べ、これらの機能が更に確実に実施できる。これらの機能は、超音波テクニックが採用された場合に比べかなり高い解像度で実行でき、またGHz範囲のレーダーシステムが採用された場合に比べかなり低コストでまた高い空間分解能で実行できる。実際には、本発明を用いた解像度範囲の例は約1mから約25mの範囲内で約3cmから約20cmであり得る。
前述した、本発明の特定の実施例の説明は、図解と説明の目的で示されたものである。これらの説明は全てを網羅するのもではなく、この発明を開示された正にそのままの形態に限定することを意図したものでもなく、上述の教示に照らし、明らかに多くの改良及びバリエーションが可能である。発明の原理及びその実際の利用例を最も上手く説明し、それにより、当業者がこの発明と、意図する特定の利用法に見合った様々な改良を含む様々な実施例とを最も上手く利用できるようにするために、これらの実施例を選択し説明したものである。本願に含む請求項とそれに相当するものによって、本発明の範囲を定義することが意図されている。
Claims (20)
- 距離Z分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Zの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するセンサーで、該センサーが
両方のスペクトルバンドから入力成分を受け取り、該スペクトルバンドの一つからの成分を実質的に通過させ、該スペクトルバンドのもう一方からの成分を実質的に反射するために設置された光学スプリッタと、
該光学スプリッタから出力された第一のスペクトルバンドの成分を検出し、該対象物の少なくとも一部を表示するために使用可能なディスプレイデータを出力するために設置されたイメージセンサーと、
該光学スプリッタによって出力された第二のスペクトルバンドの成分を検出し、少なくとも該Zの大きさを判断するために使用可能なZデータを出力するために設置されたZセンサーと、
から成る該センサー。 - 該光学スプリッタが(a)ホットミラーと、(b)コールドミラーと、(c)ハーフミラー、及び(d)完全反射ミラーとから成るグループから選択されること、を特徴とする請求項1に記載のセンサー。
- 該第二のスペクトルバンドの成分が近赤外線(NIR)であること、を特徴とする請求項1に記載のセンサー。
- 該イメージセンサーと該Zセンサーとが共通の集積回路(IC)基板上に形成されることと、
該IC基板の面が、該光学スプリッタに入力される両方のスペクトルバンドの成分によって定義される光軸に直角であることと、
を特徴とする請求項1に記載のセンサー。 - 該イメージセンサーと該Zセンサーとが共通の集積回路(IC)基板上に形成されることと、
該IC基板の面が、共通の照準を定義するために該光学スプリッタに入力された両方のスペクトルバンドの成分によって定義される光軸と平行であることと、
を特徴とする請求項1に記載のセンサー。 - 該イメージセンサーが、RGB検出解像度を設定するために該IC基板上に形成された、第一の複数のRGBピクセル検出器ダイオードを含むことと、
該Zセンサーが、該RGB検出解像度とは異なるZ検出解像度を設定するために該IC基板上形成された、第二の複数のZピクセル検出器ダイオードを含むこと、
を特徴とする請求項1に記載のセンサー。 - 該Zピクセル検出器ダイオードの一つによって定義される断面積が、該RGBピクセル検出器ダイオードの一つによって定義される断面積よりもかなり大きいこと、を特徴とする請求項6に記載のセンサー。
- 該第一のスペクトルバンドの成分によって定義される第一の光学経路と、該第二のスペクトルバンドの成分によって定義される第二の光学経路との間の、該センサー内での光学経路の長さのいかなる差も実質的に等しくするための手段を更に含む、請求項1に記載のセンサー。
- 実質的に等しくするための該手段が、n≧1.2の屈折率を有するエレメントで、該第一の光学経路及び該第二の光学経路の少なくとも一つに設置された該エレメントを含むこと、を特徴とする請求項8に記載のセンサー。
- 該イメージセンサーの出力からのイメージを表示するための手段を更に含む、請求項1に記載のセンサー。
- (a)該距離Zの大きさと、(b)該対象物のΔZ/Δtの大きさと、(c)該対象物の少なくとも一部のおおよその形状、及び(d)該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Zセンサーの出力から判断するための手段を更に含む、請求項1に記載のセンサー。
- 該イメージセンサーの出力からのイメージを表示するための手段と、
(a)該距離Zの大きさと、(b)該対象物のΔZ/Δtの大きさと、(c)該対象物の少なくとも一部のおおよその形状、及び(d)該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Zセンサーの出力から判断するための手段と、
該判断するための手段の出力につなげられた、該イメージに表示された情報を補助するための手段と、
を更に含む請求項1に記載のセンサー。 - 該補助するための手段が、(a)該イメージの一部を可視的にハイライトすることと、(b)該ディスプレイ上に警告イメージを表示することと、(c)聴覚で認知できる警告音を鳴らすことと、(d)該センサーを含む自動車の安全システムを作動させるために使用可能な信号を出力することとから成るグループから選択された少なくとも一つの補助を含むこと、を特徴とする請求項12に記載のセンサー。
- 距離Z分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Zの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するCMOSで実施可能なセンサーで、該センサーが
両方のスペクトルバンドから入力成分を受け取り、該スペクトルバンドの一つからの成分を実質的に通過させ、該スペクトルバンドのもう一方からの成分を実質的に反射するために設置された光学スプリッタと、
該光学スプリッタから出力された第一のスペクトルバンドの成分を検出し、該対象物の少なくとも一部を表示するために使用可能なディスプレイデータを出力するために、集積回路(IC)基板上に設置されたイメージセンサーと、
該光学スプリッタによって出力された第二のスペクトルバンドの成分を検出し、少なくとも該Zの大きさを判断するために使用可能なZデータを出力するために、該IC基板上に設置されたZセンサーと、
から成る該センサー。 - 該光学スプリッタが、ホットミラー、コールドミラー、ハーフミラー及び完全反射ミラーから成るグループから選択された少なくとも一つのスプリッタを含むこと、を特徴とする請求項14に記載のセンサー。
- 該第二のスペクトルバンドの成分が近赤外線(NIR)であること、を特徴とする請求項14に記載のセンサー。
- 該イメージセンサーの出力からのイメージを表示するための手段と、
(a)該距離Zの大きさと、(b)該対象物のΔZ/Δtの大きさと、(c)該対象物の少なくとも一部のおおよその形状、及び(d)該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Zセンサーの出力から判断するための手段と、
該判断するための手段の出力につなげられた、該イメージに表示された情報を補助するための手段と、
を更に含む請求項14に記載のセンサー。 - 距離Z分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Zの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するために使用可能なCMOSで実施可能なセンサーで、該センサーが、
該第一のスペクトルバンド内の光エネルギーを検出するために、その上にイメージピクセル検出器ダイオードを形成し、また該第二のスペクトルバンド内の光エネルギーを検出するために、その上に該イメージピクセル検出器ダイオードの間に散りばめられたZピクセル検出器ダイオードを形成した集積回路基板と、
該イメージピクセル検出器ダイオードの出力からイメージデータを出力するための手段で、該イメージデータが該対象物の少なくとも一部を表示するために使用可能である該手段と、
該Zピクセル検出器ダイオードの出力からZデータを出力するための手段で、該Zデータが該Zの少なくとも大きさを判断するために使用可能である該手段と、
から成る該センサー。 - 該第一のスペクトルバンドが、約400nmから約650nmの範囲内に当てはまる少なくとも一つの波長を含むことと、
該第二のスペクトルバンドが、約650nmより長い少なくとも一つの波長を含むことと、
を特徴とする請求項18に記載のセンサー。 - CMOSで実施可能なセンサーで、距離Z分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Zの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するために、該センサーを搭載した自動車内の対象認識装置として使用できる該センサーで、該センサーが
両方のスペクトルバンドから入力成分を受け取るために設置され、該スペクトルバンドの一つからの成分を実質的に通過させ、また該スペクトルバンドのもう一方からの成分を実質的に反射するための手段と、
該実質的に通過させまた実質的に反射するための手段から出力された第一のスペクトルバンド成分を検出し、該対象物の少なくとも一部を表示するために使用可能なイメージデータを出力するために、集積回路(IC)基板上に設置されたイメージセンサーと、
該光学スプリッタによって出力された第二のスペクトルバンドの成分を検出し、少なくとも該Zの大きさを判断するために使用可能なZデータを出力するために、該IC基板上に設置されたZセンサーと、
該イメージセンサーの出力からのイメージを表示するための手段と、
(a)該距離Zの大きさと、(b)該対象物のΔZ/Δtの大きさと、(c)該対象物の少なくとも一部のおおよその形状、及び(d)該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Zセンサーの出力から判断するための手段と、
該判断するための手段の出力につなげられた、(a)該イメージの一部を可視的にハイライトすることと、(b)該イメージ上に警告を表示することと、(c)聴覚で認知できる警告音を鳴らすことと、(d)該自動車のホーンを鳴らすために使用可能な信号を出力し、該自動車の制動装置を作動させるための信号を出力することと、のうち少なくとも一つを実行することで該イメージに表示された情報を補助するための手段と、
から成る該センサー。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US54052304P | 2004-01-28 | 2004-01-28 | |
PCT/US2005/002444 WO2005072358A2 (en) | 2004-01-28 | 2005-01-26 | Single chip red, green, blue, distance (rgb-z) sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007526453A true JP2007526453A (ja) | 2007-09-13 |
Family
ID=34826224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006551432A Pending JP2007526453A (ja) | 2004-01-28 | 2005-01-26 | 単一チップの赤、緑、青、距離(rgb−z)センサー |
Country Status (4)
Country | Link |
---|---|
US (1) | US8139141B2 (ja) |
EP (1) | EP1751495A2 (ja) |
JP (1) | JP2007526453A (ja) |
WO (1) | WO2005072358A2 (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011085936A (ja) * | 2009-10-14 | 2011-04-28 | Samsung Electronics Co Ltd | イメージセンサーのカラーフィルターアレイ及びイメージセンサーから出力された信号を補間する方法 |
JP2011530097A (ja) * | 2008-08-03 | 2011-12-15 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | ローリングカメラシステム |
JP2011254265A (ja) * | 2010-06-01 | 2011-12-15 | Sharp Corp | 多眼カメラ装置および電子情報機器 |
JP2012021968A (ja) * | 2010-07-15 | 2012-02-02 | Samsung Electro-Mechanics Co Ltd | 距離測定モジュール及びこれを含むディスプレイ装置、ディスプレイ装置の距離測定方法 |
US8339582B2 (en) | 2009-11-13 | 2012-12-25 | Samsung Electronics Co., Ltd. | Apparatus and method to correct image |
JP2014103657A (ja) * | 2012-11-20 | 2014-06-05 | Visera Technologies Company Ltd | イメージセンシング装置 |
WO2014122712A1 (ja) * | 2013-02-08 | 2014-08-14 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
JP2015081921A (ja) * | 2013-10-21 | 2015-04-27 | ジック アーゲー | 回転軸を中心に運動する走査ユニットを備えるセンサ |
WO2015075926A1 (ja) * | 2013-11-20 | 2015-05-28 | パナソニックIpマネジメント株式会社 | 測距撮像システム |
JP2017505734A (ja) * | 2014-01-31 | 2017-02-23 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー. カーゲー | センサシステムを備えた自動車用標章及びその操作方法 |
JP2017508986A (ja) * | 2014-01-31 | 2017-03-30 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー. カーゲー | 自動車用の組立体モジュール |
JP2017515111A (ja) * | 2014-04-22 | 2017-06-08 | ビーエーエスエフ ソシエタス・ヨーロピアBasf Se | 少なくとも1個の物体を光学的に検出する検出器 |
JP2018522235A (ja) * | 2015-06-23 | 2018-08-09 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 撮影デバイス及び奥行き情報を取得するための方法 |
JP2019060652A (ja) * | 2017-09-25 | 2019-04-18 | シャープ株式会社 | 測距センサ |
JP2019527501A (ja) * | 2016-07-05 | 2019-09-26 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置 |
JP2019184483A (ja) * | 2018-04-13 | 2019-10-24 | 京セラ株式会社 | 電磁波検出装置および情報取得システム |
JP2020027109A (ja) * | 2018-08-09 | 2020-02-20 | オムロン株式会社 | 距離測定装置 |
WO2020105092A1 (ja) * | 2018-11-19 | 2020-05-28 | 日本電気株式会社 | 画像処理方法および画像処理装置 |
KR20210028254A (ko) * | 2018-07-19 | 2021-03-11 | 비보 모바일 커뮤니케이션 컴퍼니 리미티드 | 그래픽 센서, 이동 단말 및 그래픽 촬영 방법 |
JP2021057919A (ja) * | 2020-12-28 | 2021-04-08 | 株式会社リコー | 撮像装置および撮像方法 |
JP2022515047A (ja) * | 2018-12-12 | 2022-02-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | LiDARシステムおよび自動車 |
Families Citing this family (95)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360685B2 (en) | 2007-05-24 | 2019-07-23 | Pillar Vision Corporation | Stereoscopic image capture with performance outcome prediction in sporting environments |
EP1686810A4 (en) * | 2003-11-11 | 2009-06-03 | Olympus Corp | DEVICE FOR ENTERING MULTISPECTRAL IMAGES |
US8294809B2 (en) | 2005-05-10 | 2012-10-23 | Advanced Scientific Concepts, Inc. | Dimensioning system |
EP1969395B1 (en) * | 2005-12-19 | 2017-08-09 | Leddartech Inc. | Object-detecting lighting system and method |
US8242476B2 (en) | 2005-12-19 | 2012-08-14 | Leddartech Inc. | LED object detection system and method combining complete reflection traces from individual narrow field-of-view channels |
JP4730082B2 (ja) * | 2005-12-22 | 2011-07-20 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
JP5112702B2 (ja) * | 2007-01-16 | 2013-01-09 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
JP4315991B2 (ja) * | 2007-04-20 | 2009-08-19 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム |
US8659698B2 (en) * | 2007-05-17 | 2014-02-25 | Ilya Blayvas | Compact 3D scanner with fixed pattern projector and dual band image sensor |
DE102008011793A1 (de) * | 2008-02-29 | 2009-09-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multispektralsensor |
KR20100054540A (ko) * | 2008-11-14 | 2010-05-25 | 삼성전자주식회사 | 픽셀 회로, 광전 변환장치, 및 이를 포함하는 이미지 센싱 시스템 |
US8717417B2 (en) * | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
KR20110007408A (ko) * | 2009-07-16 | 2011-01-24 | 삼성전자주식회사 | 3차원 컬러 입체 영상 센서용 광학 필터를 갖는 반도체 소자 및 제조 방법 |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US8723118B2 (en) * | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
KR101648201B1 (ko) * | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
US8542348B2 (en) | 2010-11-03 | 2013-09-24 | Rockwell Automation Technologies, Inc. | Color sensor insensitive to distance variations |
US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
FR2969819A1 (fr) * | 2010-12-22 | 2012-06-29 | St Microelectronics Grenoble 2 | Capteur d'image tridimensionnel |
FR2969822A1 (fr) | 2010-12-24 | 2012-06-29 | St Microelectronics Grenoble 2 | Capteur d'image tridimensionnel |
US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
US8840466B2 (en) | 2011-04-25 | 2014-09-23 | Aquifi, Inc. | Method and system to create three-dimensional mapping in a two-dimensional game |
KR101799522B1 (ko) * | 2011-06-07 | 2017-11-21 | 삼성전자 주식회사 | 교환렌즈 형태를 채용한 3차원 영상 획득 장치 |
US9378640B2 (en) | 2011-06-17 | 2016-06-28 | Leddartech Inc. | System and method for traffic side detection and characterization |
TWI455298B (zh) * | 2011-10-25 | 2014-10-01 | Pixart Imaging Inc | 感光元件及量測入射光的方法 |
EP2611169A1 (fr) * | 2011-12-27 | 2013-07-03 | Thomson Licensing | Dispositif d'acquisition d'images stereoscopiques |
IL217361A0 (en) * | 2012-01-04 | 2012-03-29 | Rafael Advanced Defense Sys | Device & method providing combined video camera and range finder functionality |
US9143704B2 (en) | 2012-01-20 | 2015-09-22 | Htc Corporation | Image capturing device and method thereof |
US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
CA3112113A1 (en) | 2012-03-02 | 2013-09-06 | Leddartech Inc. | System and method for multipurpose traffic detection and characterization |
US9098739B2 (en) | 2012-06-25 | 2015-08-04 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
JP6014440B2 (ja) * | 2012-09-26 | 2016-10-25 | 日立オートモティブシステムズ株式会社 | 移動物体認識装置 |
US20140110585A1 (en) * | 2012-10-19 | 2014-04-24 | James Justice | Multi-Spectral Sensor System Comprising a Plurality of Buttable Focal Plane Arrays |
US9402067B2 (en) | 2012-10-22 | 2016-07-26 | Samsung Electronics Co., Ltd. | Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system |
TW201419036A (zh) * | 2012-11-06 | 2014-05-16 | Pixart Imaging Inc | 感測元件陣列、控制感測裝置的方法以及相關電子裝置 |
US9523608B2 (en) * | 2012-12-14 | 2016-12-20 | Xerox Corporation | Material identification from a spectral filtered patterned image without demosaicing |
RU2012154657A (ru) * | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
DE102013103333A1 (de) * | 2013-04-03 | 2014-10-09 | Karl Storz Gmbh & Co. Kg | Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften |
EP2801958B1 (en) | 2013-05-08 | 2016-09-14 | Axis AB | Monitoring method and camera |
US9798388B1 (en) | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
KR102241706B1 (ko) | 2013-11-13 | 2021-04-19 | 엘지전자 주식회사 | 3차원 카메라 및 그 제어 방법 |
WO2015072742A1 (ko) * | 2013-11-13 | 2015-05-21 | 엘지전자(주) | 3차원 카메라 및 그 제어 방법 |
US9507417B2 (en) | 2014-01-07 | 2016-11-29 | Aquifi, Inc. | Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US9619105B1 (en) | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
WO2016038536A1 (en) | 2014-09-09 | 2016-03-17 | Leddartech Inc. | Discretization of detection zone |
US9959628B2 (en) | 2014-11-21 | 2018-05-01 | Christopher M. MUTTI | Imaging system for object recognition and assessment |
US20160182846A1 (en) | 2014-12-22 | 2016-06-23 | Google Inc. | Monolithically integrated rgb pixel array and z pixel array |
US9425233B2 (en) * | 2014-12-22 | 2016-08-23 | Google Inc. | RGBZ pixel cell unit for an RGBZ image sensor |
US9871065B2 (en) | 2014-12-22 | 2018-01-16 | Google Inc. | RGBZ pixel unit cell with first and second Z transfer gates |
US9508681B2 (en) | 2014-12-22 | 2016-11-29 | Google Inc. | Stacked semiconductor chip RGBZ sensor |
US20160254300A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Sensor for dual-aperture camera |
US10481696B2 (en) * | 2015-03-03 | 2019-11-19 | Nvidia Corporation | Radar based user interface |
US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
US10023118B2 (en) * | 2015-03-23 | 2018-07-17 | Magna Electronics Inc. | Vehicle vision system with thermal sensor |
US20160309135A1 (en) | 2015-04-20 | 2016-10-20 | Ilia Ovsiannikov | Concurrent rgbz sensor and system |
US10250833B2 (en) | 2015-04-20 | 2019-04-02 | Samsung Electronics Co., Ltd. | Timestamp calibration of the 3D camera with epipolar line laser point scanning |
US11002531B2 (en) | 2015-04-20 | 2021-05-11 | Samsung Electronics Co., Ltd. | CMOS image sensor for RGB imaging and depth measurement with laser sheet scan |
US11736832B2 (en) | 2015-04-20 | 2023-08-22 | Samsung Electronics Co., Ltd. | Timestamp calibration of the 3D camera with epipolar line laser point scanning |
US10145678B2 (en) | 2015-04-20 | 2018-12-04 | Samsung Electronics Co., Ltd. | CMOS image sensor for depth measurement using triangulation with point scan |
CN104866848B (zh) * | 2015-05-30 | 2018-06-26 | 宁波摩米创新工场电子科技有限公司 | 一种基于前置放大处理的红外成像图像识别系统 |
CN104866836B (zh) * | 2015-05-30 | 2018-08-07 | 宁波摩米创新工场电子科技有限公司 | 一种基于红外成像的图像识别系统 |
US9816804B2 (en) * | 2015-07-08 | 2017-11-14 | Google Inc. | Multi functional camera with multiple reflection beam splitter |
KR20170043212A (ko) * | 2015-10-13 | 2017-04-21 | 엘지전자 주식회사 | 차량용 어라운드 뷰 제공 장치 및 차량 |
US20170127000A1 (en) * | 2015-10-28 | 2017-05-04 | Delphi Technologies, Inc. | Automated vehicle imager device with improved infrared sensitivity |
CN105430358B (zh) * | 2015-11-26 | 2018-05-11 | 努比亚技术有限公司 | 一种图像处理方法及装置、终端 |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
US10228283B2 (en) * | 2016-08-12 | 2019-03-12 | Spectral Insights Private Limited | Spectral imaging system |
US10394237B2 (en) | 2016-09-08 | 2019-08-27 | Ford Global Technologies, Llc | Perceiving roadway conditions from fused sensor data |
NL2017995B1 (nl) | 2016-12-14 | 2018-06-26 | Lely Patent Nv | Melksysteem |
KR102672599B1 (ko) | 2016-12-30 | 2024-06-07 | 삼성전자주식회사 | Af 방법 및 이를 수행하는 전자 장치 |
DE112018006021T5 (de) | 2017-12-26 | 2020-09-17 | Robert Bosch Gmbh | Einzelchip-rgb-d-kamera |
EP3814803A4 (en) * | 2018-08-16 | 2022-03-02 | Sense Photonics, Inc. | INTEGRATED LIDAR IMAGE SENSING DEVICES AND SYSTEMS AND RELATED METHODS OF OPERATION |
US10699383B2 (en) | 2018-08-27 | 2020-06-30 | Nvidia Corp. | Computational blur for varifocal displays |
US10985203B2 (en) | 2018-10-10 | 2021-04-20 | Sensors Unlimited, Inc. | Sensors for simultaneous passive imaging and range finding |
WO2020088113A1 (en) * | 2018-11-02 | 2020-05-07 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Depth camera systems |
SE543227C2 (en) * | 2019-02-28 | 2020-10-27 | Omniklima Ab | Method and arrangement for determining a condition of a road surface by superposing images of NIR camera and RGB sensor |
US11330211B2 (en) * | 2019-12-02 | 2022-05-10 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions |
EP3848966A1 (en) * | 2020-01-13 | 2021-07-14 | ams Sensors Belgium BVBA | Pixel cell and method for manufacturing a pixel cell |
WO2021248427A1 (zh) * | 2020-06-12 | 2021-12-16 | 深圳市汇顶科技股份有限公司 | 深度传感装置以及相关电子装置及深度传感装置的操作方法 |
DE102020119942A1 (de) * | 2020-07-29 | 2022-02-03 | Valeo Schalter Und Sensoren Gmbh | Optische Detektionsvorrichtung zur Überwachung wenigstens eines Überwachungsbereichs auf Objekte hin und Verfahren zum Betreiben einer optischen Detektionsvorrichtung |
US20220102409A1 (en) * | 2020-09-25 | 2022-03-31 | Visera Technologies Company Limited | Semiconductor device |
US11523043B2 (en) * | 2020-10-12 | 2022-12-06 | Apple Inc. | Camera autofocus using time-of-flight assistance |
US11721031B2 (en) * | 2020-10-28 | 2023-08-08 | Stmicroelectronics (Research & Development) Limited | Scalable depth sensor |
DE102021201074A1 (de) | 2021-02-05 | 2022-08-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Detektorbaugruppe und optischer Sensor |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10210486A (ja) * | 1997-01-21 | 1998-08-07 | Sony Corp | 画像撮像装置および方法 |
JP2001189926A (ja) * | 1999-12-28 | 2001-07-10 | Mitsubishi Electric Corp | 路上監視用撮像装置 |
JP2001311612A (ja) * | 2000-04-28 | 2001-11-09 | Minolta Co Ltd | 形状入力装置 |
JP2003172612A (ja) * | 2001-12-10 | 2003-06-20 | Nippon Telegr & Teleph Corp <Ntt> | 光照射受光装置及び光照射受光方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0991029B1 (en) * | 1993-01-01 | 2003-09-17 | Canon Kabushiki Kaisha | Image reading device |
JP3240835B2 (ja) * | 1994-06-09 | 2001-12-25 | 株式会社日立製作所 | 車両用距離計測装置 |
US5621460A (en) * | 1994-10-11 | 1997-04-15 | Lockheed Martin Corporation | Optical differentiation between plants and background utilizing a single CCD camera |
JP3629068B2 (ja) * | 1995-07-04 | 2005-03-16 | ペンタックス株式会社 | 色分解光学装置 |
US6020994A (en) * | 1998-09-23 | 2000-02-01 | Raytheon Company | Integrated multifunctional multispectral sight assembly and method |
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US6323942B1 (en) * | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
US6522395B1 (en) * | 1999-04-30 | 2003-02-18 | Canesta, Inc. | Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS |
US6512838B1 (en) * | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
US6856355B1 (en) * | 1999-11-30 | 2005-02-15 | Eastman Kodak Company | Method and apparatus for a color scannerless range image system |
EP1126412B1 (en) * | 2000-02-16 | 2013-01-30 | FUJIFILM Corporation | Image capturing apparatus and distance measuring method |
JP3584845B2 (ja) * | 2000-03-16 | 2004-11-04 | 日立ハイテク電子エンジニアリング株式会社 | Icデバイスの試験装置及び試験方法 |
US6587186B2 (en) * | 2000-06-06 | 2003-07-01 | Canesta, Inc. | CMOS-compatible three-dimensional image sensing using reduced peak energy |
US6502053B1 (en) * | 2000-06-12 | 2002-12-31 | Larry Hardin | Combination passive and active speed detection system |
US6456793B1 (en) * | 2000-08-03 | 2002-09-24 | Eastman Kodak Company | Method and apparatus for a color scannerless range imaging system |
US6580496B2 (en) * | 2000-11-09 | 2003-06-17 | Canesta, Inc. | Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation |
US6515740B2 (en) * | 2000-11-09 | 2003-02-04 | Canesta, Inc. | Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation |
US6906793B2 (en) * | 2000-12-11 | 2005-06-14 | Canesta, Inc. | Methods and devices for charge management for three-dimensional sensing |
AU2002243265A1 (en) * | 2000-11-19 | 2002-06-24 | Canesta, Inc. | Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions |
AU2002339874A1 (en) * | 2001-05-23 | 2002-12-03 | Canesta, Inc. | Enhanced dynamic range conversion in 3-d imaging |
FR2832892B1 (fr) * | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | Camera video d'effets speciaux |
TW552803B (en) * | 2002-01-18 | 2003-09-11 | Nucam Corp | Image pickup apparatus and exposure control method therefor |
JP4331106B2 (ja) * | 2002-06-12 | 2009-09-16 | リットン・システムズ・インコーポレイテッド | イメージ増強カメラ |
US7110028B1 (en) * | 2002-08-13 | 2006-09-19 | Foveon, Inc. | Electronic shutter using buried layers and active pixel sensor and array employing same |
US7274393B2 (en) * | 2003-02-28 | 2007-09-25 | Intel Corporation | Four-color mosaic pattern for depth and image capture |
US7295720B2 (en) * | 2003-03-19 | 2007-11-13 | Mitsubishi Electric Research Laboratories | Non-photorealistic camera |
EP1614159B1 (en) * | 2003-04-11 | 2014-02-26 | Microsoft Corporation | Method and system to differentially enhance sensor dynamic range |
US6915196B2 (en) * | 2003-09-23 | 2005-07-05 | Ford Global Technologies, Llc | Method for operating a vehicle crash safety system in a vehicle having a pre-crash sensing system and countermeasure systems |
US7560679B1 (en) * | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
US20070201859A1 (en) * | 2006-02-24 | 2007-08-30 | Logitech Europe S.A. | Method and system for use of 3D sensors in an image capture device |
-
2005
- 2005-01-26 US US11/044,996 patent/US8139141B2/en not_active Expired - Fee Related
- 2005-01-26 JP JP2006551432A patent/JP2007526453A/ja active Pending
- 2005-01-26 EP EP05722549A patent/EP1751495A2/en not_active Withdrawn
- 2005-01-26 WO PCT/US2005/002444 patent/WO2005072358A2/en not_active Application Discontinuation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10210486A (ja) * | 1997-01-21 | 1998-08-07 | Sony Corp | 画像撮像装置および方法 |
JP2001189926A (ja) * | 1999-12-28 | 2001-07-10 | Mitsubishi Electric Corp | 路上監視用撮像装置 |
JP2001311612A (ja) * | 2000-04-28 | 2001-11-09 | Minolta Co Ltd | 形状入力装置 |
JP2003172612A (ja) * | 2001-12-10 | 2003-06-20 | Nippon Telegr & Teleph Corp <Ntt> | 光照射受光装置及び光照射受光方法 |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011530097A (ja) * | 2008-08-03 | 2011-12-15 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | ローリングカメラシステム |
JP2011085936A (ja) * | 2009-10-14 | 2011-04-28 | Samsung Electronics Co Ltd | イメージセンサーのカラーフィルターアレイ及びイメージセンサーから出力された信号を補間する方法 |
US8339582B2 (en) | 2009-11-13 | 2012-12-25 | Samsung Electronics Co., Ltd. | Apparatus and method to correct image |
US8743349B2 (en) | 2009-11-13 | 2014-06-03 | Samsung Electronics Co., Ltd. | Apparatus and method to correct image |
JP2011254265A (ja) * | 2010-06-01 | 2011-12-15 | Sharp Corp | 多眼カメラ装置および電子情報機器 |
JP2012021968A (ja) * | 2010-07-15 | 2012-02-02 | Samsung Electro-Mechanics Co Ltd | 距離測定モジュール及びこれを含むディスプレイ装置、ディスプレイ装置の距離測定方法 |
US9348019B2 (en) | 2012-11-20 | 2016-05-24 | Visera Technologies Company Limited | Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel |
JP2014103657A (ja) * | 2012-11-20 | 2014-06-05 | Visera Technologies Company Ltd | イメージセンシング装置 |
WO2014122712A1 (ja) * | 2013-02-08 | 2014-08-14 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
JP2015081921A (ja) * | 2013-10-21 | 2015-04-27 | ジック アーゲー | 回転軸を中心に運動する走査ユニットを備えるセンサ |
WO2015075926A1 (ja) * | 2013-11-20 | 2015-05-28 | パナソニックIpマネジメント株式会社 | 測距撮像システム |
CN105723239A (zh) * | 2013-11-20 | 2016-06-29 | 松下知识产权经营株式会社 | 测距摄像系统 |
US11175406B2 (en) | 2013-11-20 | 2021-11-16 | Nuvoton Technology Corporation Japan | Range imaging system and solid-state imaging device |
JPWO2015075926A1 (ja) * | 2013-11-20 | 2017-03-16 | パナソニックIpマネジメント株式会社 | 測距撮像システム |
CN105723239B (zh) * | 2013-11-20 | 2020-12-18 | 松下半导体解决方案株式会社 | 测距摄像系统以及固体摄像元件 |
JP2018185342A (ja) * | 2013-11-20 | 2018-11-22 | パナソニックIpマネジメント株式会社 | 測距撮像システム |
US10302766B2 (en) | 2013-11-20 | 2019-05-28 | Panasonic Intellectual Property Management Co., Ltd. | Range imaging system and solid-state imaging device |
US10336295B2 (en) | 2014-01-31 | 2019-07-02 | Huf Hülsbeck & Fürst Gmbh & Co. Kg | Emblem for a motor vehicle with a sensor system for monitoring a detection region and an actuation region and method thereto |
JP2021139285A (ja) * | 2014-01-31 | 2021-09-16 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー. カーゲー | センサシステムを備えた自動車用標章及びその操作方法 |
JP2017508986A (ja) * | 2014-01-31 | 2017-03-30 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー. カーゲー | 自動車用の組立体モジュール |
JP2017505734A (ja) * | 2014-01-31 | 2017-02-23 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー. カーゲー | センサシステムを備えた自動車用標章及びその操作方法 |
JP2017515111A (ja) * | 2014-04-22 | 2017-06-08 | ビーエーエスエフ ソシエタス・ヨーロピアBasf Se | 少なくとも1個の物体を光学的に検出する検出器 |
JP2018522235A (ja) * | 2015-06-23 | 2018-08-09 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 撮影デバイス及び奥行き情報を取得するための方法 |
US10560686B2 (en) | 2015-06-23 | 2020-02-11 | Huawei Technologies Co., Ltd. | Photographing device and method for obtaining depth information |
JP2019527501A (ja) * | 2016-07-05 | 2019-09-26 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置 |
US10764515B2 (en) | 2016-07-05 | 2020-09-01 | Futurewei Technologies, Inc. | Image sensor method and apparatus equipped with multiple contiguous infrared filter elements |
US11307293B2 (en) | 2017-09-25 | 2022-04-19 | Sharp Kabushiki Kaisha | Ranging sensor |
JP2019060652A (ja) * | 2017-09-25 | 2019-04-18 | シャープ株式会社 | 測距センサ |
JP2019184483A (ja) * | 2018-04-13 | 2019-10-24 | 京セラ株式会社 | 電磁波検出装置および情報取得システム |
JP7068904B2 (ja) | 2018-04-13 | 2022-05-17 | 京セラ株式会社 | 電磁波検出装置および情報取得システム |
KR20210028254A (ko) * | 2018-07-19 | 2021-03-11 | 비보 모바일 커뮤니케이션 컴퍼니 리미티드 | 그래픽 센서, 이동 단말 및 그래픽 촬영 방법 |
KR102374428B1 (ko) | 2018-07-19 | 2022-03-15 | 비보 모바일 커뮤니케이션 컴퍼니 리미티드 | 그래픽 센서, 이동 단말 및 그래픽 촬영 방법 |
JP2020027109A (ja) * | 2018-08-09 | 2020-02-20 | オムロン株式会社 | 距離測定装置 |
US11520047B2 (en) | 2018-08-09 | 2022-12-06 | Omron Corporation | Distance measuring device |
JPWO2020105092A1 (ja) * | 2018-11-19 | 2021-09-27 | 日本電気株式会社 | 画像処理方法および画像処理装置 |
JP7036227B2 (ja) | 2018-11-19 | 2022-03-15 | 日本電気株式会社 | 画像処理方法および画像処理装置 |
WO2020105092A1 (ja) * | 2018-11-19 | 2020-05-28 | 日本電気株式会社 | 画像処理方法および画像処理装置 |
JP2022515047A (ja) * | 2018-12-12 | 2022-02-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | LiDARシステムおよび自動車 |
JP7190576B2 (ja) | 2018-12-12 | 2022-12-15 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | LiDARシステムおよび自動車 |
JP2021057919A (ja) * | 2020-12-28 | 2021-04-08 | 株式会社リコー | 撮像装置および撮像方法 |
JP7215472B2 (ja) | 2020-12-28 | 2023-01-31 | 株式会社リコー | 撮像装置および撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
US8139141B2 (en) | 2012-03-20 |
WO2005072358A2 (en) | 2005-08-11 |
US20050285966A1 (en) | 2005-12-29 |
EP1751495A2 (en) | 2007-02-14 |
WO2005072358A3 (en) | 2007-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007526453A (ja) | 単一チップの赤、緑、青、距離(rgb−z)センサー | |
JP6957162B2 (ja) | 測距装置及び移動体 | |
CN102789114B (zh) | 一种可见-红外双通摄像机 | |
KR20100039170A (ko) | 가시광선 이미지와 원적외선 이미지를 광학적으로 융합하는장치 | |
JP2017106897A (ja) | 光検出測距(lidar)撮像システムおよび方法 | |
JP6246808B2 (ja) | カメラ及び照明を用いたガラス面の雨滴検出 | |
KR102483462B1 (ko) | ToF 모듈 | |
JP2011180541A (ja) | 表示装置 | |
CN101430796A (zh) | 图像产生方法和设备 | |
CN105450947B (zh) | 车辆光学传感器系统 | |
JP6805587B2 (ja) | 光源装置、画像表示装置及び物体装置 | |
JP2015527847A5 (ja) | ||
JP2021533633A (ja) | 車両支援システム | |
US11385461B2 (en) | Head-up display | |
CN104618665B (zh) | 多个成像器的车辆光学传感器系统 | |
US20220113535A1 (en) | Optical apparatus, onboard system having the same, and mobile device | |
JP7440429B2 (ja) | プロジェクタコントローラおよび関連方法 | |
JP4655751B2 (ja) | 照射装置及び暗視装置 | |
US11860309B2 (en) | 3D imaging system and method of 3D imaging | |
US10440249B2 (en) | Vehicle vision system camera with semi-reflective and semi-transmissive element | |
EP3428687A1 (en) | A vision system and vision method for a vehicle | |
JP2004348078A (ja) | 投射型映像表示装置 | |
JP2008281427A (ja) | 距離測定装置 | |
JP5590457B2 (ja) | 撮像装置並びにこれを備えた物体検出装置及び車載機器制御装置 | |
JPS62177684A (ja) | 情報検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101213 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110707 |