JP2017135597A - Imaging apparatus, camera and vehicle - Google Patents
Imaging apparatus, camera and vehicle Download PDFInfo
- Publication number
- JP2017135597A JP2017135597A JP2016014645A JP2016014645A JP2017135597A JP 2017135597 A JP2017135597 A JP 2017135597A JP 2016014645 A JP2016014645 A JP 2016014645A JP 2016014645 A JP2016014645 A JP 2016014645A JP 2017135597 A JP2017135597 A JP 2017135597A
- Authority
- JP
- Japan
- Prior art keywords
- wiring
- wirings
- selection circuit
- signal
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明の実施形態は、撮像装置、カメラ、および車に関する。 Embodiments described herein relate generally to an imaging device, a camera, and a car.
赤外線は、可視光よりも煙、霧に対して透過性が高いという特長を有するので、赤外線撮像は、昼夜にかかわらず可能である。また、赤外線撮像は、被写体の温度情報をも得ることができるので、防衛分野をはじめ監視カメラや火災検知カメラのように広い応用範囲を有する。 Since infrared rays have a feature of being more permeable to smoke and fog than visible light, infrared imaging is possible regardless of day or night. In addition, since infrared imaging can also obtain temperature information of a subject, it has a wide range of applications such as surveillance cameras and fire detection cameras in the defense field.
近年、冷却機構を必要としない「非冷却型赤外線撮像素子」の開発が盛んになってきている。非冷却型すなわち熱型の赤外線撮像装置は、波長10μ程度の入射赤外線を吸収構造により熱に変換し、この微弱な熱により生じる感熱部の温度変化を熱電変換素子により電気信号に変換する。非冷却型の赤外線撮像装置は、この電気信号を読み出すことで赤外線画像情報を得る。ここで、入射赤外線を熱に変換する際に、入射赤外線の吸収構造を基板から断熱する必要があり、通常、熱型の赤外線撮像素子は空中で支持されて動作させる。 In recent years, the development of “uncooled infrared imaging devices” that do not require a cooling mechanism has become active. An uncooled type or thermal type infrared imaging device converts incident infrared rays having a wavelength of about 10 μm into heat by an absorption structure, and converts a temperature change of the heat sensitive part caused by the weak heat into an electric signal by a thermoelectric conversion element. The uncooled infrared imaging apparatus obtains infrared image information by reading out the electrical signal. Here, when the incident infrared rays are converted into heat, it is necessary to insulate the absorption structure of the incident infrared rays from the substrate. Usually, the thermal infrared imaging element is supported and operated in the air.
赤外線センサの性能をあらわす指標のひとつは、赤外線センサの温度分解能を表現するNETD(Noise Equivalent Temperature Difference(等価雑音温度差))である。NETDを小さくすること、すなわち、雑音に相当する赤外線検出素子の温度差を小さくすることが重要である。また、熱型の赤外線検出素子は赤外線を温度に変える際に、一定の熱時定数をもち、高速に変化する被写体には追従できない。画素の感度と熱時定数は二律背反の関係にある。例えば、感度を向上させるために断熱性を上げると、熱が逃げにくくなり、熱時定数が悪化する。すなわち、熱時定数の悪化により、残像を含む赤外線画像しか得られないことになる。 One index representing the performance of the infrared sensor is NETD (Noise Equivalent Temperature Difference) that expresses the temperature resolution of the infrared sensor. It is important to reduce NETD, that is, to reduce the temperature difference of the infrared detection element corresponding to noise. Further, the thermal infrared detection element has a constant thermal time constant when changing infrared rays to temperature, and cannot follow a subject that changes at high speed. There is a trade-off between pixel sensitivity and thermal time constant. For example, if the heat insulation is increased in order to improve the sensitivity, it becomes difficult for heat to escape and the thermal time constant deteriorates. That is, only an infrared image including an afterimage can be obtained due to the deterioration of the thermal time constant.
全画面の残像量を一定とみなし、直前フレームの画像を一定割合で減算することにより残像を低減する技術が知られている。しかし、この技術では、フレームレートで決定される時間間隔よりも短い画像情報は取得することができない。 A technique is known in which the afterimage amount of the entire screen is regarded as constant, and the afterimage is reduced by subtracting the image of the immediately preceding frame at a constant rate. However, with this technique, image information shorter than the time interval determined by the frame rate cannot be acquired.
本実施形態は、残像が少なく、フレームレートで決定される時間間隔よりも短い画像情報を取得することのできる撮像装置、カメラ、および車を提供する。 The present embodiment provides an imaging apparatus, a camera, and a car that have few afterimages and can acquire image information that is shorter than a time interval determined by a frame rate.
本実施形態による撮像装置は、M(M≧2)本の第1配線と、前記M本の第1配線と交差するN(N≧1)本の第2配線と、前記第1配線と前記第2配線との交差領域に設けられ、それぞれが第1および第2端子を有し、前記第1端子が対応する第1配線に接続され、前記第2端子が対応する第2配線に接続された複数の画素と、前記複数の第1配線のうちの1つの第1配線からK(M>K≧1)本の第1配線を順次選択し、電圧を印加する第1選択回路と、前記K本の第1配線が前記第1選択回路によって順次選択された後、前記1つの第1配線から前記K本の第1配線を順次選択し、電圧を印加する第2選択回路と、を備えている。 The imaging apparatus according to the present embodiment includes M (M ≧ 2) first wirings, N (N ≧ 1) second wirings intersecting the M first wirings, the first wirings, and the first wirings. Provided in a region intersecting with the second wiring, each having a first and second terminal, the first terminal is connected to the corresponding first wiring, and the second terminal is connected to the corresponding second wiring. A first selection circuit for sequentially selecting a plurality of pixels and K (M> K ≧ 1) first wirings from one of the plurality of first wirings and applying a voltage; A second selection circuit for sequentially selecting the K first wirings from the one first wiring and applying a voltage after the K first wirings are sequentially selected by the first selection circuit; ing.
以下、図面を参照して実施形態について説明する。 Hereinafter, embodiments will be described with reference to the drawings.
(第1実施形態)
第1実施形態による撮像装置を図1に示す。この第1実施形態の撮像装置1は、赤外線検出素子部10と、デジタル信号処理部50と、を備えている。赤外線検出素子部10は、例えば3×3のマトリックス状に配置された複数の感熱画素1211〜1233を有する画素アレイ11と、行配線131〜133と、信号線141〜143と、信号線141〜143に対応して設けられた電流源161〜163と、第1行選択回路21および第2行選択回路22を有する選択回路20と、信号線141〜143に対応して設けられたADC(Analog to Digital Converter)301〜303と、水平選択回路40と、を備えている。なお、図1では、感熱画素は3×3のマトリクス状に配列されていたが、m、nを自然数とするとき、m×nのマトリクス状に配列されていてもよい。
(First embodiment)
An imaging apparatus according to the first embodiment is shown in FIG. The
各感熱画素12ij(i、j=1,2,3)は、例えばPN接合ダイオードを少なくとも1個有している。各感熱画素12ij(i、j=1,2,3)が複数のPN接合ダイオードを有する場合は、これらのPN接合ダイオードは直列に接続される。すなわち各感熱画素12ij(i、j=1,2,3)はアノード側の端子と、カソード側の端子とからなる2端子素子である。図1では各感熱画素12ij(i、j=1,2,3)は1個のPN接合ダイオードから構成されている。 Each thermal pixel 12 ij (i, j = 1, 2, 3) has at least one PN junction diode, for example. When each thermal pixel 12 ij (i, j = 1, 2, 3) has a plurality of PN junction diodes, these PN junction diodes are connected in series. That is, each thermal pixel 12 ij (i, j = 1, 2, 3) is a two-terminal element including an anode side terminal and a cathode side terminal. In FIG. 1, each thermal pixel 12 ij (i, j = 1, 2, 3) is composed of one PN junction diode.
同一の行に配置された感熱画素12i1、12i2、12i3(i=1,2,3)は、アノード側の端子が同一の行配線13iに接続され、この行配線13iは第1行選択回路21および第2行選択回路22に接続される。
Same thermal pixels arranged in rows 12 i1, 12 i2, 12 i3 (i = 1,2,3) is the anode-side terminal is connected to the same row line 13 i, the row wiring 13 i is first The first
同一の列に配置された感熱画素121j,122j,123j(j=1,2,3)は、アノード側の端子が同一の信号線14jに接続される。
The
各信号線14j(j=1,2,3)は、一端が対応する定電流源16iに接続され、他端が対応するADC30jに接続される。ADC301〜303は水平選択回路40に接続される。水平選択回路40はデジタル信号処理部50に接続される。
Each signal line 14 j (j = 1, 2, 3) has one end connected to the corresponding constant current source 16 i and the other end connected to the corresponding ADC 30 j . The ADCs 30 1 to 30 3 are connected to the
次に、図1に示す3×3のマトリックス状に配置された感熱画素の読出し動作について説明する。 Next, the reading operation of the thermal pixels arranged in the 3 × 3 matrix shown in FIG. 1 will be described.
第1行選択回路21および第2行選択回路22はそれぞれ、複数(図1では3つ)の行配線131、132、133のうちから順次1つの行配線を選択する。ただし、第1行選択回路21および第2行選択回路22はそれぞれ異なる行配線を選択する。
Each of the first
第1行選択回路21または第2行選択回路22のいずれかによって選択された行配線、例えば行配線131にはバイアス電圧Vdが印加される。行配線131にバイアス電圧Vdが印加されると、各定電流源16j(j=1,2,3)に定電流Ifが流れ、選択された行配線131に接続された感熱画素1211、1212、1213のPN接合の順方向電圧Vfが決定される。感熱画素1211、1212、1213のカソード側端子は、垂直信号線141、142、143にそれぞれ接続されており、その電位はVd−Vfとなる。
Selected row wirings by any of the first
ここで、ある時刻t1に、行配線131上の感熱画素1211、1212、1213にバイアス電圧Vdが印加される場合、感熱画素1211、1212、1213はそれぞれ被写体の信号に応じて温度Tp(t)が異なるため、それぞれの順方向電圧Vf、つまりVd−Vfもそれぞれ異なっている。そして、感熱画素121j、(j=1,2,3)の電圧Vd−Vfが垂直信号線14jを通してADC30jに入力され、デジタル信号へと変換される。これらのデジタル信号は、水平選択回路40によって列ごとに順次読み出され、シリアル信号となってデジタル信号処理部50へ送られる。
Here, when a bias voltage Vd is applied to the
続いて、その後の時刻には、行配線142上の感熱画素1221、1222、1223にバイアス電圧Vdが印加され、感熱画素1221、1222、1223の電圧Vd−Vfが対応する垂直信号線141、142、143を通して対応するADC301、302、303に送られてデジタル信号に変換され、これらのデジタル信号は水平選択回路40によって列ごとに順次読み出され、シリアル信号となってデジタル信号処理部50へ送られる。
Then, the subsequent time, the bias voltage Vd is applied to the
更に、その後に行配線133上の感熱画素1231、1232、1233にバイアス電圧Vdが印加され、感熱画素1231、1232、1233の電圧Vd−Vfが対応する垂直信号線141、142、143を通して、対応するADC301、302、303に送られてデジタル信号に変換され、これらのデジタル信号は水平選択回路40によって列ごとに順次読み出され、シリアル信号となってデジタル信号処理部50へ送られる。
Furthermore, after which the bias voltage Vd to the row thermal pixels 12 31 on the wiring 13 3, 12 32, 12 33 is applied, the heat-
上記実施形態では、ADC301〜303および水平選択回路40は、列並列読み出し回路を形成する。
In the above embodiment, the ADCs 30 1 to 30 3 and the
また、本実施形態では、選択回路20は、行を選択する機能として2系統有している。すなわち、第1行選択回路21が選択する行と、第2行選択回路22が選択する行は、別個に選ぶことができる。このことについて図2を参照して説明する。
In the present embodiment, the
例えば、第1行選択回路21が4行目を選択し(図2に示す(1)の破線)、続いて第2行選択回路22が2行目を選択する(図2に示す(1‘)の実線)。
For example, the first
次に、第1行選択回路21が5行目を選択し(図2に示す(2)の破線)、続いて第2行選択回路22が3行目を選択する(図2に示す(2‘)の実線)。
Next, the first
第1行選択回路21が6行目を選択し(図2に示す(3)の破線)、続いて第2行選択回路22が4行目を選択する(図2に示す(3‘)の実線)。
The first
このように、4行目は、5行選択分の時間間隔を経た後に、再び選択され、読み出しされることとなる。通常、フレーム間隔は、全行を選択し終わるまでの時間よりも長い。このように本実施形態では、フレーム間隔よりも短い時間間隔で、同一行を2回選択することができる。 As described above, the fourth row is selected again and read out after a time interval corresponding to the selection of the fifth row. Usually, the frame interval is longer than the time until all rows are selected. Thus, in this embodiment, the same row can be selected twice at a time interval shorter than the frame interval.
第1および第2行選択回路21、22を有する選択回路20の一具体例は、図3に示す構成を有している。図3においては、行配線はm(≧2)個である場合を示している。この一具体例の選択回路20は、第1行選択回路21と、第2行選択回路22と、ORゲート241〜24mと、を備えている。第1行選択回路21は、シフトレジスタ210と、ANDゲート2121〜212mと、を備えている。第2行選択回路22は、シフトレジスタ220と、ANDゲート2221〜222mと、を備えている。
A specific example of the
シフトレジスタ210は、行配線131〜13mに対応して設けられたn個のフリップフロップ(例えば、D型フリップフロップ)2101〜210mが直列に接続された構成を有している。フリップフロップ210i(i=2,・・・,m)の入力端子(D端子)にはフリップフロップ210i−1の出力端子(Q端子)が接続されている。フリップフロップ2101の入力端子には、第1行選択開始信号IN1が入力される。また、各フリップフロップ210i(i=1,・・・,m)のクロック入力端子(CK端子)にはクロック信号VCLKが入力される。ANDゲート212i(i=1,・・・,m)は、第1入力端子にフリップフロップ210iの出力信号OUTAiが入力され、第2入力端子に第1イネーブル信号ENAが入力される。
The
シフトレジスタ220は、行配線131〜13mに対応して設けられたn個のフリップフロップ(例えば、D型フリップフロップ)2201〜220mが直列に接続された構成を有している。フリップフロップ220i(i=2,・・・,m)の入力端子(D端子)にはフリップフロップ220i−1の出力端子(Q端子)が接続されている。フリップフロップ2201の入力端子には、第2行選択開始信号IN2が入力される。また、各フリップフロップ220i(i=1,・・・,m)のクロック入力端子(CK端子)にはクロック信号VCLKが入力される。ANDゲート222i(i=1,・・・,m)は、第1入力端子がフリップフロップ220iの出力信号OUTBiが入力され、第2入力端子に第2イネーブル信号ENBが入力される。
The
ORゲート24i(i=1,・・・,m)は、第1入力端子がANDゲート212iの出力端子に接続され、第2入力端子がANDゲート222iの出力端子が接続され、出力端子が行配線13iに接続される。ORゲート24i(i=1,・・・,m)の出力端子から出力信号OUTiが出力される。 The OR gate 24 i (i = 1,..., M) has a first input terminal connected to the output terminal of the AND gate 212 i, a second input terminal connected to the output terminal of the AND gate 222 i , and an output. The terminal is connected to the row wiring 13 i . An output signal OUT i is output from the output terminal of the OR gate 24 i (i = 1,..., M).
次に、図3に示す選択回路20の動作について図4を参照して説明する。
Next, the operation of the
信号IN1、IN2は、シフトレジスタ210、220の掃引開始時間を定義し、クロック信号VCLKが入力されるたびに下段のフリップフロップへと信号が伝搬する。シフトレジスタ210、220の各段のフリップフロップ210i、220i(i=1,・・・,m)の出力の組(OUTAi、OUTBi)は、それらの後段に設置されたAND回路212i、222iがオンしたタイミングで、OR回路24iに入力される。AND回路212i、222i(i=1,・・・,m)はイネーブル信号ENA、ENBがそれぞれハイ(H)レベルとなったときに信号を通過させる。図4に示すように、例えば、フリップフロップ2101の出力信号OUTA1がハイレベル、かつイネーブル信号ENAがハイレベルとなっているときに、ORゲート241の出力信号OUT1はハイレベルとなる。シフトレジスタ210、220は常にいずれかの行を選択しているため、各段のフリップフロップ210i、220i(i=1,・・・,m)の出力の組(OUTA1,OUTB1)、(OUTA2,OUTB2) … (OUTAm,OUTBm)のうち常に2個の信号がハイレベルとなっていることになる。しかしながら、画素アレイ11側は、2行が同時に選択されてしまった場合に、2行分の信号を同時に出力することができない。このため、選択回路20の出力信号OUT1〜OUTmのうち同時に2行以上の出力信号がハイレベルとならないように、イネーブル信号ENAとイネーブル信号ENBは相補的なパルスタイミングとなっている。
The signals IN1 and IN2 define the sweep start time of the shift registers 210 and 220, and the signal propagates to the lower flip-flop each time the clock signal VCLK is input. An output set (OUTA i , OUTB i ) of flip-
かかる構成により、2系統のシフトレジスタ210、220の出力をORゲートで合成して出力する選択回路20を実現することができる。
With this configuration, it is possible to realize the
次に、本実施形態による赤外線検出素子部10の各感熱画素12ij(i、j=1、2、3)の構造について図5および図6を参照して説明する。図5は本実施形態による赤外線検出素子部10の各感熱画素12ij(i、j=1、2、3)を感熱画素12として示し、この感熱画素12の構造を具体的に示す平面図である。図6は図5に示す切断線V−Vで切断したときの感熱画素12の断面図である。
Next, the structure of each thermal pixel 12 ij (i, j = 1, 2, 3) of the infrared
感熱画素12は、SOI基板上に形成される。このSOI基板は、支持基板110と、埋め込み絶縁層(BOX層)115と、シリコン単結晶からなるSOI(Silicon-On-Insulator)層114と、を有し、表面部分に凹部120が形成されている。そして、感熱画素12は、上記SOI層114に形成された熱電変換部161と、熱電変換部161を凹部120の上方に支持する支持構造162と、を備えている。熱電変換部161は、直列に接続された複数(図5および図6では2個)のpn接合ダイオード192と、これらのpn接合ダイオード192を接続する配線194と、これらのpn接合ダイオード192および配線194を覆うように形成された赤外線吸収膜191と、を備えている。
The
支持構造162は、一端が対応する行配線に接続され他端が直列に接続されたpn接合ダイオード192からなる直列回路の一端に接続される接続配線162bと、この接続配線162bを覆う絶縁膜162aと、を備えている。
The
赤外線吸収膜191は入射した赤外線によって発熱する。ダイオード192は、赤外線吸収膜191で発生した熱を電気信号に変換する。支持構造部162は、熱電変換部161の周囲を取り巻くように細長く形成されている。これにより、熱電変換部161は、SOI基板からほぼ断熱された状態でSOI基板110上に支持される。このような中空熱分離構造を有することにより、感熱画素12は、入射した赤外線に応じて発生した熱を蓄熱し、この熱に基づいた電圧を信号線に出力することができる。行配線からのバイアス電圧Vdは、配線162bを介してダイオード192へ伝達される。ダイオード192のカソード側電圧、すなわち信号電圧は、配線162bを介して図1に示す信号線141、142、143に伝達される。
The
このような構造を有することにより、感熱画素12は、入射赤外線に応じて発生した熱を蓄熱し、この熱に基づいた電圧を出力することができる。
By having such a structure, the
図7は、第1実施形態に係る熱電変換部161のpn接合ダイオード192における電圧と電流の関係を例示する図である。pn接合ダイオード192は、その電圧Vと電流Iの関係を順方向特性の領域、すなわち順方向に供給する電圧を増加させると電流が増加する特性を示す領域で使用される。そのようなpn接合ダイオード192に一定の電流を流し、電圧の変化を計測することにより、赤外線検出素子として機能する。例えば、図7に示すように、赤外線を受光していない場合、すなわちpn接合ダイオード192の温度がT1である場合に、一定電流を流した時のpn接合ダイオード192のアノードとカソードとの間の電圧がV1であったとする。このpn接合ダイオード192を覆う赤外線吸収膜191に赤外線が入射すると、入射赤外線によって赤外線吸収膜191は発熱し、これによりpn接合ダイオード192の温度が上昇し、T2となる。すると、図7に示すように、pn接合ダイオード192のI−V特性が変化する。一定電流Ibを流している条件下において、赤外線入射後におけるpn接合ダイオード192のアノードとカソードとの間の電圧は、例えば、図7に示すように、V1からV2(<V1)に、すなわち低電圧側にシフトする。このようにして、熱電変換部161におけるpn接合ダイオード192は、赤外線吸収膜191で発生した熱に伴うpn接合ダイオード192の温度変化を電圧変化に変換する。pn接合ダイオード192のバイアス電流を一定にしておき、その順方向電圧の変化を信号として取り出すことができる。
FIG. 7 is a diagram illustrating the relationship between voltage and current in the pn junction diode 192 of the
次に、熱電変換部161が熱源から赤外線を受けたときのこの熱電変換部161の温度上昇を定量的に考察する。図8は、熱電変換部161が熱源からの赤外線を受けたときのこの熱電変換部161の温度上昇を模式的に示す図である。図8に示すように、各感熱画素12は外部から時間的に変化する赤外線入力を受けている。1つの感熱画素は、ある瞬間の時刻sでパルスT(s)ΔsまたはT・δ(s−t)のの赤外線を受ける。ここで、Δsはパルス幅、T(s)は時刻sにおけるパルスの強さ、δ(s−t)は、デルタ関数を示す。
Next, the temperature rise of the
このようなパルス状の赤外線を受けた感熱画素12は、応答出力として、T(s)Δs・exp(s−t)の熱を発生する。1つの感熱画素12で発生した熱は、時間的には指数関数的に減衰するが、赤外線のパルス入力が次々と入ってくるので、同じ感熱画素で過去に発生して減衰した熱も蓄熱される。これを、撮像装置の撮像フレームとの関係で見ると、図9に示すようになる。
The
図9は、現測定時とその直前測定時において発生した熱が現在の時刻の画像情報に対してする寄与を模式的に表す図である。現測定時の情報には、直前の過去の測定時の情報が入っていることになる。図9では、本実施形態に合わせて、直前の過去の測定時(t1−tf)と現測定時(t1)の間の時間間隔tfを9個の感熱画素1211〜1233に合わせて、9等分している。現在の時刻t1での熱は、現測定時の信号が含有する熱信号のうち過去の時刻に生じた熱(図9では現フレーム内の情報A)と、過去の測定が含有する熱信号(図9では前フレーム内の情報(残像情報)B)とからなっている。図9に示すように、現測定時の情報には、前測定時の情報Bが残像として入っている。
FIG. 9 is a diagram schematically showing the contribution of the heat generated during the current measurement and the measurement immediately before that to the image information at the current time. The information at the time of the current measurement includes the information at the time of the previous past measurement. In FIG. 9, according to the present embodiment, the time interval tf between the previous past measurement time (t1−tf) and the current measurement time (t1) is adjusted to the nine
ここで、ある時刻tにおける被写体の温度変化をTt(t)、熱電変換部161の温度変化をTp(t)とすると、それらの関係は、次の式(1)
式(2)において、第1項は過去の全時間からの寄与分にexp(−tf/τ)を掛けたものであり、第2項が現測定時と過去測定時の間に相当する情報である。第1項は、過去の測定時よりも以前の残像情報である。すなわち、式(2)は、現測定時の情報から、前測定時の情報にexp(−tf/τ)を掛けたものを引くことにより、残像情報を取り除くことができることを表している。言い換えると、残像信号は正確に、
αth=exp(−tf/τ)
で表される割合だけ画素に含まれる。
In equation (2), the first term is the contribution from all past times multiplied by exp (−tf / τ), and the second term is information corresponding to the time between the current measurement and the past measurement. . The first term is afterimage information before the past measurement. That is, Equation (2) represents that afterimage information can be removed by subtracting information obtained by multiplying exp (−tf / τ) from information obtained during the previous measurement from information obtained during the current measurement. In other words, the afterimage signal is accurate,
α th = exp (−tf / τ)
The pixel is included in the ratio represented by.
過去の時刻からの信号(残像信号)の寄与分も含めて、図9における時間軸に沿って模式的に表すと、図10に示すようになる。図10は式(1)の積分への寄与、すなわち、図9における時刻t1軸上に描いた各黒丸および白丸を、それぞれに対応する過去の時刻へ展開して描いた模式図である。図10において、斜線を施した部分は、−∞の過去から現在の時刻t1までの被写体の発する赤外線情報であり、太線内が、本実施形態で得られる残像を含まない被写体情報である。残像を含まない被写体情報とは、ある画素に着目したときに、前フレームの時刻t1−tfにおける読み出しから、現測定の時刻t1(現在)における読み出しまでに積分された被写体情報ということになる。 FIG. 10 is a schematic representation along the time axis in FIG. 9 including the contribution of the signal (afterimage signal) from the past time. FIG. 10 is a schematic diagram in which the contribution of the equation (1) to the integration, that is, each black circle and white circle drawn on the time t1 axis in FIG. 9 is developed to a past time corresponding to each. In FIG. 10, the shaded portion is infrared information emitted by the subject from the past of −∞ to the current time t1, and the inside of the bold line is subject information that does not include an afterimage obtained in the present embodiment. The subject information not including an afterimage is subject information integrated from reading at time t1-tf of the previous frame to reading at time t1 (current) of the current measurement when attention is paid to a certain pixel.
太線で囲まれた部分以外の斜線を施した部分は、過去の測定が含む熱情報であり、現測定が保持している赤外線画像情報の一部を構成している。本実施形態では、この残像情報を、後述するデジタル信号処理部50によって取り除くことが可能となる。
The hatched part other than the part surrounded by the thick line is the thermal information included in the past measurement, and constitutes a part of the infrared image information held by the current measurement. In the present embodiment, this afterimage information can be removed by a digital
更に、図10の破線で表した部分は、式(1)で表される直前の赤外線画像情報を表している。言い換えると、測定のたびに、式(1)で表される画像情報が赤外線検出素子部から出力される。また、式(1)は、RCフィルタ回路に信号電圧Vin(t)を入力したときの出力電圧Vout(t)を表す式と同様であり、熱型赤外線センサが熱的にRCフィルタ回路とみなせることを意味する。Rthを感熱画素の熱抵抗とすると、このRthは支持構造部162が細く、長いほど大きな値となる。Cthを感熱画素の熱容量とすると、この熱容量は、熱電変換部161の体積が大きいほど大きな値となる。感熱画素の熱時定数τは
τ=Rth・Cth
と表される。
Furthermore, the part shown with the broken line of FIG. 10 represents the infrared image information immediately before represented by Formula (1). In other words, the image information represented by Expression (1) is output from the infrared detection element unit every time measurement is performed. Equation (1) is the same as the equation representing the output voltage Vout (t) when the signal voltage Vin (t) is input to the RC filter circuit, and the thermal infrared sensor can be regarded thermally as an RC filter circuit. Means that. Assuming that Rth is the thermal resistance of the thermal pixel, this Rth becomes larger as the
It is expressed.
次に、デジタル信号処理部50の機能について説明する。図11は、第1実施形態に係るデジタル信号処理部50の構成を示す図である。赤外線検出素子部10から出力されたシリアル信号は、AD変換器301〜303においてアナログ信号からデジタル信号に変換され、画像信号となる。以下、第1行選択回路21によって選択された行y、列xの画像値をM(x、y)、第2行選択回路22によって選択された行y、列xの画像値をS(x、y)と表すことにする。第1行選択回路21は、第2行選択回路22よりも、数行分煎じて動作するので、前者の画像値M(x、y)を表す信号は、後者の画像値S(x、y)を表す信号に比べて数行分先んじて選択されている。
Next, functions of the digital
画像値は、デジタル信号処理部50内に入力される。デジタル信号処理部50は、メモリ51と、定数乗算器52と、減算器53と、定数乗算器54と、出力部55と、を有している。
The image value is input into the digital
まず、第1行選択回路21によって選択された、座標(x、y)の画素値M(x、y)がメモリ51に順次記憶される。メモリ51は、第2行選択回路の動作に先立って第1行選択回路21が選択し、信号線に読み出された数行分の画素値を記憶する容量を備えていればよい。
First, the pixel value M (x, y) of the coordinates (x, y) selected by the first
定数乗算器42において、メモリ51に記憶された値M(x、y)に予め定められた定数αが乗算される。この乗数αは残像低減率を表し、1つの感熱画素がαth=30%の残像信号を生ずる場合、例えばα=20%(0.2)と設定すれば、残像を正確に0.3−0.2=0.1(10%)に低減することになる。
The constant multiplier 42 multiplies the value M (x, y) stored in the
続いて、現測定時の第2行選択回路22によって選択された画素の信号値S(x、y)から、第2行選択回路22によって選択された上記画素と同じ行でメモリ51に記憶され画素の画素値M(x、y)に定数αが乗算された値αM(x、y)が減算器43において減算される。その結果、減算部43からS(x、y)−αM(x、y)が出力される。ここで、例えばS(x、y)=100、M(x、y)=100、α=20%のとき、S(x、y)−αM(x、y)の計算結果は80となり、残像低減を行わない場合よりも低くなる。輝度を調整するために定数乗算器54において、定数1/(1−α)が乗算される。これはα=20%のとき1.25となり、前述の計算結果80は80×1.25=100に復元される。結果的に、
赤外線検出素子部10は、非常に強い赤外線により被写体を撮像しているときも、熱電変換部161の温度上昇は微小であるため、熱時定数τは常に一定である。すなわち残像信号は一定であり、予めαを全画素に対して一様に設定しておいても殆ど問題が発生しない。
Even when the infrared
以上説明したように、本実施形態によれば、残像が少なく、フレームレートで決定される時間間隔よりも短い画像情報を取得することが可能な撮像装置を提供することができる。 As described above, according to the present embodiment, it is possible to provide an imaging apparatus that can acquire image information with less afterimages and shorter than the time interval determined by the frame rate.
(第2実施形態)
第2実施形態による撮像装置について図12を参照して説明する。この第2実施形態の撮像装置は、第1実施形態の撮像装置1において、選択回路20を図12に示す選択回路20Aに置き換えた構成を有している。
(Second Embodiment)
An imaging apparatus according to the second embodiment will be described with reference to FIG. The imaging apparatus according to the second embodiment has a configuration in which the
この選択回路20Aは、図3に示す選択回路20において、シフトレジスタ210、220と、ANDゲート2121〜212mと、ANDゲート2221〜222mと、ORゲート241〜24mと、を削除し、代わりに、デコーダ251、252と、デマルチプレクサ261、262と、NORゲート271〜27mと、を新たに設けた構成を有している。
The
デコーダ251、252はそれぞれ、エンコードされた行番号信号IN1、IN2を受け、複数ビット、例えば8ビットのパラレル信号に変換し、デマルチプレクサ261、262に送る。例えば、信号IN1は15、信号IN2が156といった値が入力され、これが行番号を指定することとなる。デマルチプレクサ261は、m個の出力OUTA1〜OUTAmのうち入力された行番号値に相当する行にのみハイレベル(Hi)の信号値を出力する。デマルチプレクサ262は、m個の出力OUTB1〜OUTBmのうち入力された行番号値に相当する行にのみハイレベル(Hi)の信号値を出力する。NORゲート27i(i=1,・・・,m)は、デマルチプクレサ261の出力OUTAiと、デマルチプクレサ262の出力OUTBiとに基づいてNOR演算を行い、出力信号OUTiを出力する。出力信号OUTi(i=1,・・・,m)は、対応する行配線13iに送られる。 The decoders 25 1 and 25 2 receive the encoded row number signals IN 1 and IN 2 , respectively, convert them into parallel signals of a plurality of bits, for example, 8 bits, and send them to the demultiplexers 26 1 and 26 2 . For example, a value such as 15 for the signal IN1 and 156 for the signal IN2 is input, and this specifies the row number. The demultiplexer 26 1 outputs a signal value of only the high level (Hi) in the row corresponding to the line number value input of the m output OUTA 1 ~OUTA m. The demultiplexer 26 2 outputs a signal value of only the high level (Hi) in the row corresponding to the line number value input of the m output OUTB 1 ~OUTB m. NOR gate 27 i (i = 1, ··· , m) performs a NOR operation on the basis of an output OUTA i of Demaruchipukuresa 26 1, and the output OUTB i of Demaruchipukuresa 26 2, and outputs an output signal OUT i. The output signal OUT i (i = 1,..., M) is sent to the corresponding row wiring 13 i .
かかる構成により、図3に示すシフトレジスタから構成された選択回路20では不可能である行選択順番を順次ではなく、例えばランダムな選択が可能となる。
With this configuration, the row selection order that is impossible with the
信号IN1で選択された行が、一定時間遅れて再度、信号IN2で選択されるように信号IN1,IN2を構成することで、第1実施形態で説明した残像低減処理を行うことができる。 The afterimage reduction processing described in the first embodiment can be performed by configuring the signals IN1 and IN2 so that the row selected by the signal IN1 is selected again by the signal IN2 after a certain delay.
この第2実施形態も第1実施形態と同様に、残像が少なく、フレームレートで決定される時間間隔よりも短い画像情報を取得することが可能な撮像装置を提供することができる。 Similarly to the first embodiment, the second embodiment can provide an imaging apparatus that has few afterimages and can acquire image information that is shorter than the time interval determined by the frame rate.
第1および第2実施形態の撮像装置は、監視カメラ等のカメラに使用することができる。 The imaging devices of the first and second embodiments can be used for cameras such as surveillance cameras.
(第3実施形態)
図13は、第1または第2実施形態の撮像装置1を搭載したカメラ620を備える車600の一例を示す斜視図である。車600は、カメラ620と、ディスプレイ630と、を備える。カメラ620は、車600の前方端部に設けられ、車600の前方を撮影することができる。また、ディスプレイ630は、車600の運転席正面に設けられ、カメラ620で撮影した画像を表示することができる。カメラ620により撮影した画像をディスプレイ630で確認することにより、例えば駐車の際に、死角を確認することができる。
(Third embodiment)
FIG. 13 is a perspective view illustrating an example of a
(第8実施形態)
図14は、第1または第2実施形態の撮像装置を搭載したカメラ720を備える車700の他の例を示す斜視図である。車700は、カメラ720と、ディスプレイ730と、を備える。カメラ720は、車700の後方端部に設けられ、車700の後方を撮影することができる。また、ディスプレイ730は、車700の運転席正面に設けられ、カメラ720で撮影した画像を表示することができる。カメラ720により撮影した画像をディスプレイ730で確認することにより、後方を確認することができる。
(Eighth embodiment)
FIG. 14 is a perspective view showing another example of a
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the invention described in the claims and equivalents thereof as well as included in the scope and gist of the invention.
1 撮像装置
10 赤外線検出素子部
11 画素アレイ
12、1211〜1233 感熱画素
131〜133 行配線
141〜143 信号線
161〜163 電流源
20 選択回路
21 第1行選択回路
22 第2行選択回路
301〜303 ADC(AD変換器)
40 水平選択回路
50 デジタル信号処理部
51 ラインメモリ
52 定数乗算器
53 減算器
54 定数乗算器
55 出力部
1
40
Claims (10)
前記M本の第1配線と交差するN(N≧1)本の第2配線と、
前記第1配線と前記第2配線との交差領域に設けられ、それぞれが第1および第2端子を有し、前記第1端子が対応する第1配線に接続され、前記第2端子が対応する第2配線に接続された複数の画素と、
前記複数の第1配線のうちの1つの第1配線からK(M>K≧1)本の第1配線を順次選択し、電圧を印加する第1選択回路と、
前記K本の第1配線が前記第1選択回路によって順次選択された後、前記1つの第1配線から前記K本の第1配線を順次選択し、電圧を印加する第2選択回路と、
を備えた撮像装置。 M (M ≧ 2) first wirings;
N (N ≧ 1) second wirings intersecting the M first wirings;
Provided in the intersection region of the first wiring and the second wiring, each having first and second terminals, the first terminal is connected to the corresponding first wiring, and the second terminal corresponds A plurality of pixels connected to the second wiring;
A first selection circuit that sequentially selects K (M> K ≧ 1) first wirings from one first wiring among the plurality of first wirings and applies a voltage;
A second selection circuit for sequentially selecting the K first wirings from the one first wiring and applying a voltage after the K first wirings are sequentially selected by the first selection circuit;
An imaging apparatus comprising:
前記読み出し回路によって読み出された信号値を処理する信号処理部と、
を更に備えた請求項1記載の撮像装置。 A readout circuit that reads out the signal value of the corresponding pixel from each of the N second wirings;
A signal processing unit for processing a signal value read by the reading circuit;
The imaging apparatus according to claim 1, further comprising:
前記第1選択回路によって選択された前記K本の第1配線の、前記読み出し回路によって読み出された画素からの信号を第1取得画素値として記憶するメモリと、
前記メモリに記憶された第1取得画素値に定数α(0<α<1)を乗算する第1乗算器と、
前記第2選択回路によって選択された前記K本の第1配線の、前記読み出し回路によって読み出された画素からの信号値から、前記画素に対応する前記第1取得画素値に前記第1乗算器によって定数αが乗算された値を減算する減算器と、
前記減算器からの出力に1/(1−α)を乗算する第2乗算器と、
を備えている請求項2または3記載の撮像装置。 The signal processing unit
A memory for storing, as a first acquired pixel value, a signal from the pixel read by the readout circuit of the K first wirings selected by the first selection circuit;
A first multiplier for multiplying the first acquired pixel value stored in the memory by a constant α (0 <α <1);
From the signal value from the pixel read by the readout circuit of the K first wirings selected by the second selection circuit, to the first acquired pixel value corresponding to the pixel, the first multiplier A subtractor for subtracting the value multiplied by the constant α by
A second multiplier for multiplying the output from the subtractor by 1 / (1-α);
The imaging device according to claim 2, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016014645A JP2017135597A (en) | 2016-01-28 | 2016-01-28 | Imaging apparatus, camera and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016014645A JP2017135597A (en) | 2016-01-28 | 2016-01-28 | Imaging apparatus, camera and vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017135597A true JP2017135597A (en) | 2017-08-03 |
Family
ID=59502968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016014645A Pending JP2017135597A (en) | 2016-01-28 | 2016-01-28 | Imaging apparatus, camera and vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017135597A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199511A1 (en) * | 2020-03-31 | 2021-10-07 | パナソニックIpマネジメント株式会社 | Infrared sensor device |
CN116086621A (en) * | 2023-03-31 | 2023-05-09 | 杭州海康微影传感科技有限公司 | Infrared reading circuit and control method thereof |
-
2016
- 2016-01-28 JP JP2016014645A patent/JP2017135597A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199511A1 (en) * | 2020-03-31 | 2021-10-07 | パナソニックIpマネジメント株式会社 | Infrared sensor device |
CN116086621A (en) * | 2023-03-31 | 2023-05-09 | 杭州海康微影传感科技有限公司 | Infrared reading circuit and control method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5443793B2 (en) | Infrared solid-state image sensor | |
US8520106B2 (en) | Solid-state imaging device with improved dynamic range | |
JP7096658B2 (en) | Solid-state image sensor and image sensor | |
JP2005295442A (en) | Image pickup device and image pickup method | |
JP2018191176A (en) | Imaging apparatus, imaging system, and mobile body | |
JPWO2011013197A1 (en) | Infrared imaging device | |
JP7152912B2 (en) | Photoelectric conversion device and imaging system | |
JP2017135597A (en) | Imaging apparatus, camera and vehicle | |
JP2019140537A (en) | Solid state imaging element, imaging apparatus, and imaging method | |
EP2582130A2 (en) | Infrared solid state imaging device | |
JP2006121652A (en) | Infrared sensor | |
JP2004530893A (en) | Method and apparatus for reading composite microbolometer array | |
JP6735515B2 (en) | Solid-state imaging device | |
JP2020047780A (en) | Photodetector | |
WO2020196378A1 (en) | Distance image acquisition method and distance detection device | |
JP7163416B2 (en) | Rolling subframe pulse-biased microbolometer integration | |
JP2009074898A (en) | Bolometer-type non-cooled infrared sensor and its driving method | |
JP7132799B2 (en) | Imaging device, imaging device, and imaging method | |
JP4153861B2 (en) | Infrared sensor | |
JP4331160B2 (en) | Infrared sensor and driving method thereof | |
Lahav et al. | A global shutter sensor used in active gated imaging for automotive | |
JP2022158017A (en) | Signal processing device | |
JP4277619B2 (en) | Solid-state image sensor | |
US20080067388A1 (en) | Method And System For Increasing Signal-To-Noise Ratio In Microbolometer Arrays | |
JP2010223700A (en) | Infrared solid-state image sensor |