JP2000078480A - Device and method for picking up image - Google Patents

Device and method for picking up image

Info

Publication number
JP2000078480A
JP2000078480A JP10245480A JP24548098A JP2000078480A JP 2000078480 A JP2000078480 A JP 2000078480A JP 10245480 A JP10245480 A JP 10245480A JP 24548098 A JP24548098 A JP 24548098A JP 2000078480 A JP2000078480 A JP 2000078480A
Authority
JP
Japan
Prior art keywords
image signal
signal
time
image
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10245480A
Other languages
Japanese (ja)
Other versions
JP2000078480A5 (en
Inventor
Kiyoshi Nakagawa
潔 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP10245480A priority Critical patent/JP2000078480A/en
Publication of JP2000078480A publication Critical patent/JP2000078480A/en
Publication of JP2000078480A5 publication Critical patent/JP2000078480A5/ja
Pending legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image pickup device capable of achieving efficient production, improvement in picture quality and expansion of the dynamic range. SOLUTION: This device has a control pulse supply part 11b for alternately and continuously generating a first pulse signal and a second pulse signal shorter than the first pulse signal, a signal processing part 11c for generating an image signal S20 by processing a signal fetched by an imaging device 11a, a motion detecting part 12 for generating a motion vector S50 based on the image signal S20 and generating a predictive image signal S30 based on the motion vector S50, a storage part 13 for generating a delay image signal S40 delayed just for fixed time, and an adding part 19 for forming an image by compositing a predictive image signal S31 composed of a long-time image signal and a delay image signal S42 composed of a short-time image signal or compositing a predictive image signal S32 composed of the said short-time image signal and a delay image signal S41 composed of the said long-time image signal.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、撮像装置及び撮像
方法の改良、特に、撮像素子のダイナミックレンジを拡
大するとともに、生成される画質を向上させることがで
きる撮像装置及び撮像方法に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an improvement in an image pickup apparatus and an image pickup method, and more particularly to an image pickup apparatus and an image pickup method capable of expanding a dynamic range of an image pickup device and improving a generated image quality. .

【0002】[0002]

【従来の技術】CCD(Charge Coupled
Device)撮像素子を用いた撮像装置は、一般的
にカメラ一体型ビデオテープレコーダ(VTR)や車載
用カメラに用いられている。CCD撮像素子は、フォト
ダイオード等からなる各画素が照射された光を電荷信号
に変換することにより、その電荷信号に基づいて画像デ
ータを形成していく。この際、各画素は照射された光量
に基づいて電荷を蓄積し、その蓄積量の違いにより映像
のハイライトを表現する。
2. Description of the Related Art CCD (Charge Coupled)
An imaging device using a (device) imaging device is generally used for a camera-integrated video tape recorder (VTR) and a vehicle-mounted camera. The CCD image pickup device converts light illuminated by each pixel including a photodiode or the like into a charge signal, and forms image data based on the charge signal. At this time, each pixel accumulates electric charge based on the amount of light emitted, and expresses a highlight of an image by a difference in the amount of accumulation.

【0003】上述したように、各画素はフォトダイオー
ドからなっているため、信号電荷を蓄積できる容量は一
定の値に定められている。従って、信号電荷が一定量以
上になると出力される信号はが一定となってしまい、光
入力に対するダイナミックレンジが狭いものとなってい
る。ダイナミックレンジを拡大するためには、各画素の
大きさを大きくして、画素が蓄積できる飽和信号量を大
きくすればよいが、ダイナミックレンジの大幅な向上が
見込めないばかりか、撮像素子の大きさが大きくなって
しまう。そこで、撮像素子のダイナミックレンジを拡大
するために、様々な試みがなされている。その一例とし
て2つの異なる露光時間の映像信号を出力させて、この
2つの映像信号に基づいて、映像を生成する方法が知ら
れている。
As described above, since each pixel is made up of a photodiode, the capacity capable of storing signal charges is fixed. Therefore, when the signal charge exceeds a certain amount, the output signal becomes constant, and the dynamic range with respect to the optical input is narrow. To expand the dynamic range, the size of each pixel should be increased to increase the amount of saturation signal that can be accumulated by the pixel, but not only can the dynamic range be significantly improved but also the size of the image sensor Becomes large. Therefore, various attempts have been made to expand the dynamic range of the image sensor. As an example, a method of outputting video signals of two different exposure times and generating a video based on the two video signals is known.

【0004】図5は従来の撮像装置における撮像素子の
一例を示す構成図であり、図5を参照して撮像素子1に
ついて説明する。図5の撮像素子1は、複数の画素2、
垂直CCDレジスタ3、4、水平CCDレジスタ5、6
等からなっている。各画素2はマトリクス状に配置され
ていて、垂直CCDレジスタ5、6に電気的に接続され
ている。垂直CCDレジスタ3、4は各画素2に蓄積さ
れた信号のうち、長時間露光された際の電荷信号S1を
収容する領域と、短時間露光された際の電荷信号S2を
収容する領域とを有している。垂直CCDレジスタ3、
4は水平CCDレジスタ5、6と電気的に接続されてい
る。水平CCDレジスタ5は短時間露光された電荷信号
S2を出力するものであり、水平CCDレジスタ6は長
時間露光された電荷信号S1を出力するものである。
FIG. 5 is a block diagram showing an example of an image pickup device in a conventional image pickup apparatus. The image pickup device 1 will be described with reference to FIG. The image sensor 1 shown in FIG.
Vertical CCD registers 3, 4, Horizontal CCD registers 5, 6
And so on. Each pixel 2 is arranged in a matrix and is electrically connected to the vertical CCD registers 5 and 6. The vertical CCD registers 3 and 4 define, of the signals stored in each pixel 2, an area for storing the charge signal S <b> 1 when exposed for a long time and an area for storing the charge signal S <b> 2 when exposed for a short time. Have. Vertical CCD register 3,
4 is electrically connected to the horizontal CCD registers 5 and 6. The horizontal CCD register 5 outputs a short-time exposed charge signal S2, and the horizontal CCD register 6 outputs a long-time exposed charge signal S1.

【0005】次に図5を参照して、撮像素子1の動作例
について説明する。まず、画素2が照射された光を電気
信号に変換して垂直CCDレジスタ3、4に転送する。
ここで、画像2は、蓄積時間がたとえば1/60秒であ
る長時間露光された電荷信号S1と、蓄積時間がたとえ
ば1/1000秒である短時間露光された電荷信号S2
を垂直CCDレジスタ3、4に送る。垂直CCDレジス
タ3、4は長時間露光された電荷信号S1と短時間露光
された電荷信号S2とを別々の領域に収容し、長時間露
光された電荷信号S1を水平CCDレジスタ6に、短時
間露光された電荷信号S2を水平CCDレジスタ5にそ
れぞれ転送する。
Next, an operation example of the image pickup device 1 will be described with reference to FIG. First, the light emitted from the pixel 2 is converted into an electric signal and transferred to the vertical CCD registers 3 and 4.
Here, the image 2 has a long-time exposed charge signal S1 having an accumulation time of, for example, 1/60 second and a short-time exposed charge signal S2 having an accumulation time of, for example, 1/1000 second.
To the vertical CCD registers 3 and 4. The vertical CCD registers 3 and 4 store the long-exposure charge signal S1 and the short-time exposure charge signal S2 in separate areas, and store the long-exposure charge signal S1 in the horizontal CCD register 6 for a short time. The exposed charge signal S2 is transferred to the horizontal CCD register 5, respectively.

【0006】そして、水平CCDレジスタ5、6は同じ
画素2からの短時間蓄積された電荷信号S2と長時間露
光された電荷信号S1を出力する。その後、長時間露光
された電荷信号S1と短時間露光された電荷信号S2を
合成することによって画像を生成する。これにより、撮
像素子1のダイナミックレンジを広げることができる。
すなわち、画像を形成する際に、各画素2において長時
間露光された電荷信号S1と短時間露光された電荷信号
S2に分けて信号を転送することで、フォトダイオード
の飽和容量を見かけ上大きくして、ダイナミックレンジ
の拡大を図ることができる。
The horizontal CCD registers 5 and 6 output a short-time accumulated charge signal S2 and a long-time exposed charge signal S1 from the same pixel 2. Thereafter, an image is generated by combining the charge signal S1 exposed for a long time and the charge signal S2 exposed for a short time. Thereby, the dynamic range of the image sensor 1 can be expanded.
That is, when an image is formed, the charge capacity S1 exposed for a long time and the charge signal S2 exposed for a short time in each pixel 2 are separately transferred to increase the apparent capacitance of the photodiode. Thus, the dynamic range can be expanded.

【0007】[0007]

【発明が解決しようとする課題】しかし上述した撮像素
子1によると、図5に示すように、2つの水平CCDレ
ジスタ3、4が必要となり、また垂直CCDレジスタ
5、6には2つの領域を設ける必要がある。一方、水平
CCDレジスタ3、4及び垂直CCDレジスタ5、6の
製造は精度が要求されるため、この数が増えてしまう
と、製造作業の効率が落ちてしまうとともに、撮像素子
1のコストが高くなってしまうという問題がある。ま
た、図5に示す撮像素子1は、長時間露光された電荷信
号S1と短時間露光された電荷信号S2はその露光され
るタイミングがずれている。従って、長時間露光された
電荷信号S1と短時間露光された電荷信号S2とはフィ
ールドのずれが生じている。このフィールドの違う長時
間露光された電荷信号S1と短時間露光された電荷信号
S2を合成した画像はぼけしたものになってしまい、画
質の低下を引き起こしているという問題がある。
However, according to the image pickup device 1 described above, two horizontal CCD registers 3 and 4 are required as shown in FIG. 5, and two areas are provided in the vertical CCD registers 5 and 6. Must be provided. On the other hand, since the manufacturing of the horizontal CCD registers 3 and 4 and the vertical CCD registers 5 and 6 requires accuracy, if the number increases, the efficiency of the manufacturing operation decreases and the cost of the imaging device 1 increases. There is a problem that it becomes. In the image sensor 1 shown in FIG. 5, the charge signal S1 that has been exposed for a long time and the charge signal S2 that has been exposed for a short time have different exposure timings. Therefore, a field shift occurs between the charge signal S1 exposed for a long time and the charge signal S2 exposed for a short time. There is a problem that an image obtained by combining the charge signal S1 exposed for a long time and the charge signal S2 exposed for a short time in different fields becomes blurred, which causes a deterioration in image quality.

【0008】そこで本発明は上記課題を解消し、効率よ
く製造することができるとともに、画質を向上させ、ダ
イナミックレンジの拡大を図ることができる撮像装置を
提供することを目的としている。
Accordingly, an object of the present invention is to solve the above-mentioned problems and to provide an imaging apparatus which can be manufactured efficiently, can improve image quality, and can expand a dynamic range.

【0009】[0009]

【課題を解決するための手段】上記目的は、請求項1に
よれば、電荷結合素子からなっていて、画像を取り込む
ための撮像素子と、前記撮像素子を駆動させるための駆
動電圧を供給するものであって、第1パルス信号と第1
パルス信号よりも短い第2パルス信号を交互に連続して
生成する駆動電圧供給部と、前記撮像素子が取り込んだ
信号を処理し、前記第1パルス信号により撮像素子が駆
動した際の長時間画像信号と、前記第2パルス信号によ
り撮像素子が駆動した際の短時間画像信号とからなる画
像信号を生成する信号処理部と、前記信号処理部から送
られてくる前記画像信号に基づいて、動きベクトルを生
成し、その動きベクトルに基づいて予測画像信号を生成
する動き検出部と、前記信号処理部から送られてくる前
記画像信号を一定時間だけ遅延した遅延画像信号を生成
する記憶部と、前記長時間画像信号から生成される前記
予測画像信号と前記短時間画像信号から生成される前記
遅延画像信号と、もしくは前記短時間画像信号から生成
される前記予測画像信号と前記長時間画像信号から生成
される前記遅延画像信号とを合成して画像を形成する加
算部とを有する撮像装置により、達成される。
According to a first aspect of the present invention, there is provided a charge coupled device for supplying an image pickup device for capturing an image and a drive voltage for driving the image pickup device. A first pulse signal and a first pulse signal.
A drive voltage supply unit for alternately and continuously generating a second pulse signal shorter than a pulse signal, and a long-term image when the image sensor is driven by the first pulse signal by processing a signal captured by the image sensor. A signal processing unit that generates an image signal including a signal and a short-time image signal when the image sensor is driven by the second pulse signal; and a motion detection unit that performs motion based on the image signal sent from the signal processing unit. A motion detecting unit that generates a vector, and generates a predicted image signal based on the motion vector, and a storage unit that generates a delayed image signal obtained by delaying the image signal sent from the signal processing unit by a certain time, The predicted image signal generated from the long-time image signal, the delayed image signal generated from the short-time image signal, or the predicted image signal generated from the short-time image signal By combining with the delayed image signal generated from the signal and the long-time picture signal by an imaging device and an addition unit for forming an image is achieved.

【0010】請求項1によれば、画像を取り込む際に長
時間画像信号と短時間画像信号に分けて取り込む。そし
て、取り込んだ画像信号に基づいて予測画像信号を取り
込む。一方で、予測画像信号と同じタイミングで加算部
に画像信号を出力するため、取り込んだ画像信号は一定
時間記憶されて、遅延画像信号が生成される。そして、
予測画像信号と遅延画像信号が合成されて、画像を形成
する。画像を取り込む際、長時間画像信号と短時間画像
信号とにわけることで、撮像素子における各画素の飽和
容量を見かけ上大きくすることができ、画質の向上を図
ることができる。また、予測画像信号と遅延画像信号を
生成することで、長時間画像信号と短時間画像信号のフ
ィールドをあわせることができ、合成される際のぼけを
なくして、画質の向上を図ることができる。同時に、長
時間画像信号と短時間画像信号は撮像素子の1つの出力
端子から出力させることができるため、撮像素子の構造
を簡略化することができる。
According to the first aspect, when taking in an image, it takes in a long time image signal and a short time image signal separately. Then, a predicted image signal is fetched based on the fetched image signal. On the other hand, since the image signal is output to the adding unit at the same timing as the predicted image signal, the captured image signal is stored for a certain period of time, and a delayed image signal is generated. And
The predicted image signal and the delayed image signal are combined to form an image. When the image is captured, the saturation capacity of each pixel in the image sensor can be apparently increased by dividing the image signal into the long-time image signal and the short-time image signal, and the image quality can be improved. In addition, by generating the predicted image signal and the delayed image signal, the fields of the long-time image signal and the short-time image signal can be matched, and blurring at the time of synthesis can be eliminated, and the image quality can be improved. . At the same time, the long-time image signal and the short-time image signal can be output from one output terminal of the image sensor, so that the structure of the image sensor can be simplified.

【0011】上記目的は、請求項2によれば、請求項1
の構成において、前記長時間画像信号が前記加算部に転
送される際には、前記長時間画像信号における一定量以
上の輝度レベルを除去する撮像装置により、達成され
る。長時間画像信号は撮像素子により長時間露光されて
生成されたものであるため、撮像素子のある領域におい
て輝度レベルが高くなり、生成された画像が見づらくな
る場合がある。従って、一定量以上の輝度レベルを除去
することで、生成された画像の画質を向上させることが
できる。
[0011] The above object is achieved according to claim 2 by claim 1.
In the configuration described above, when the long-time image signal is transferred to the adding unit, this is achieved by an imaging device that removes a luminance level of a certain amount or more in the long-time image signal. Since the long-time image signal is generated by long-time exposure by the image sensor, the luminance level becomes high in a certain area of the image sensor, and the generated image may be difficult to see. Therefore, the image quality of the generated image can be improved by removing a certain level or more of the luminance level.

【0012】上記目的は、請求項3によれば、請求項1
の構成において、前記短時間画像信号が前記加算部に転
送される際には、前記短時間画像信号の輝度レベルをあ
げる撮像装置により、達成される。短時間画像信号は、
撮像素子により短時間露光されて生成されたものである
ため、全体的にコントラストが低くなってしまい、画質
が低下してしまう。従って、短時間画像信号のコントラ
ストをあげることで、画質の低下を防止することができ
る。
The above object is achieved according to claim 3 by claim 1.
In the configuration described above, the transfer of the short-time image signal to the adding unit is achieved by an imaging device that increases the luminance level of the short-time image signal. The short-time image signal is
Since the image is generated by short-time exposure by the image sensor, the contrast is lowered as a whole, and the image quality is reduced. Therefore, by increasing the contrast of the image signal for a short time, it is possible to prevent the image quality from lowering.

【0013】上記目的は、請求項4によれば、電荷結合
素子からなる撮像素子を用いて画像を取り込む撮像方法
において、前記撮像素子を長時間露光したときに生成さ
れる長時間画像信号と、前記撮像素子を短時間露光した
ときに生成される短時間画像信号とを交互に連続して有
する画像信号を生成させ、前記画像信号から動きベクト
ルを生成して、この動きベクトルに基づいて予測画像信
号を形成するとともに、一定時間時間だけ前記画像信号
を記憶し、前記長時間画像信号から生成される前記予測
画像信号と前記短時間画像信号から生成される前記遅延
信号と、もしくは前記短時間画像信号から生成される前
記予測画像信号と前記長時間画像信号から生成される前
記遅延画像信号とを合成して画像を形成する撮像方法に
より、達成される。
According to a fourth aspect of the present invention, there is provided an imaging method for capturing an image by using an imaging element including a charge-coupled device, wherein a long-time image signal generated when the imaging element is exposed for a long time; A short-time image signal generated when the image sensor is short-time exposed is generated alternately and continuously to generate an image signal, a motion vector is generated from the image signal, and a predicted image is generated based on the motion vector. Forming a signal, storing the image signal for a certain period of time, the predicted image signal generated from the long-time image signal and the delay signal generated from the short-time image signal, or the short-time image This is achieved by an imaging method for forming an image by combining the predicted image signal generated from a signal and the delayed image signal generated from the long-time image signal.

【0014】請求項4によれば、画像を取り込む際に長
時間画像信号と短時間画像信号に分けて取り込む。そし
て、取り込んだ画像信号に基づいて予測画像信号を取り
込む。一方で、予測画像信号と同じタイミングで加算部
に画像信号を出力するため、取り込んだ画像信号は一定
時間記憶されて、遅延画像信号が生成される。そして、
予測画像信号と遅延画像信号が合成されて、画像を形成
する。画像を取り込む際、長時間画像信号と短時間画像
信号とにわけることで、撮像素子における各画素の飽和
容量を見かけ上大きくすることができ、画質の向上を図
ることができる。また、予測画像信号と遅延画像信号を
生成することで、長時間画像信号と短時間画像信号のフ
ィールドをあわせることができ、合成される際のぼけを
なくして、画質の向上を図ることができる。同時に、長
時間画像信号と短時間画像信号は撮像素子の1つの出力
端子から出力させることができるため、撮像素子の構造
を簡略化することができる。
According to the fourth aspect, when taking in an image, it takes in a long-time image signal and a short-time image signal separately. Then, a predicted image signal is fetched based on the fetched image signal. On the other hand, since the image signal is output to the adding unit at the same timing as the predicted image signal, the captured image signal is stored for a certain period of time, and a delayed image signal is generated. And
The predicted image signal and the delayed image signal are combined to form an image. When the image is captured, the saturation capacity of each pixel in the image sensor can be apparently increased by dividing the image signal into the long-time image signal and the short-time image signal, and the image quality can be improved. In addition, by generating the predicted image signal and the delayed image signal, the fields of the long-time image signal and the short-time image signal can be matched, and blurring at the time of synthesis can be eliminated, and the image quality can be improved. . At the same time, the long-time image signal and the short-time image signal can be output from one output terminal of the image sensor, so that the structure of the image sensor can be simplified.

【0015】上記目的は、請求項5によれば、請求項4
の構成において、前記長時間画像信号は、前記長時間画
像信号における一定量以上の輝度レベル信号を除去した
後に前記短時間画像信号と合成される撮像方法により、
達成される。長時間画像信号は撮像素子により長時間露
光されて生成されたものであるため、撮像素子のある領
域において輝度レベルが高くなり、生成された画像が見
づらくなる場合がある。従って、一定量以上の輝度レベ
ルを除去することで、生成された画像の画質を向上させ
ることができる。
[0015] The above object is achieved according to claim 5 by claim 4.
In the configuration, the long-term image signal, by removing the luminance level signal of a certain amount or more in the long-time image signal, after the imaging method is synthesized with the short-time image signal,
Achieved. Since the long-time image signal is generated by long-time exposure by the image sensor, the luminance level becomes high in a certain area of the image sensor, and the generated image may be difficult to see. Therefore, the image quality of the generated image can be improved by removing a certain level or more of the luminance level.

【0016】上記目的は、請求項6によれば、請求項1
の構成において、前記短時間画像信号は、前記短時間画
像信号の輝度レベルを一定量にあげた後、前記長時間画
像信号と合成される撮像方法により、達成される。短時
間画像信号は、撮像素子により短時間露光されて生成さ
れたものであるため、全体的にコントラストが低くなっ
てしまい、画質が低下してしまう。従って、短時間画像
信号のコントラストをあげることで、画質の低下を防止
することができる。
The above object is achieved according to claim 6 by claim 1.
In the above configuration, the short-time image signal is achieved by an imaging method in which the luminance level of the short-time image signal is increased to a fixed amount, and then combined with the long-time image signal. Since the short-time image signal is generated by short-time exposure by the image sensor, the contrast is reduced as a whole, and the image quality is reduced. Therefore, by increasing the contrast of the image signal for a short time, it is possible to prevent the image quality from lowering.

【0017】[0017]

【発明の実施の形態】以下、本発明の好適な実施の形態
を添付図面に基づいて詳細に説明する。なお、以下に述
べる実施の形態は、本発明の好適な具体例であるから、
技術的に好ましい種々の限定が付されているが、本発明
の範囲は、以下の説明において特に本発明を限定する旨
の記載がない限り、これらの形態に限られるものではな
い。
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings. Note that the embodiments described below are preferred specific examples of the present invention,
Although various technically preferable limits are given, the scope of the present invention is not limited to these modes unless otherwise specified in the following description.

【0018】図1には本発明の撮像装置の好ましい実施
の形態を示すブロック図を示しており、図1を参照して
撮像装置10について詳しく説明する。図1の撮像装置
10はCCDカメラ11、動き検出部12、記憶部であ
るラインメモリ13、アラーム14、第1スイッチ部1
5、第2スイッチ部16、長時間露光処理部17、短時
間露光処理部18、加算部19等を有している。
FIG. 1 is a block diagram showing a preferred embodiment of an image pickup apparatus according to the present invention. The image pickup apparatus 10 will be described in detail with reference to FIG. 1 includes a CCD camera 11, a motion detection unit 12, a line memory 13 as a storage unit, an alarm 14, a first switch unit 1.
5, a second switch section 16, a long-time exposure processing section 17, a short-time exposure processing section 18, an addition section 19, and the like.

【0019】CCDカメラ11は撮像素子11a、駆動
制御パルス供給部であるタイミングジェネレータ11
b、信号処理部11c等を有していて、撮像素子11
a、タイミングジェネレータ11b、信号処理部11c
は互いに電気的に接続されている。撮像素子11aは照
射された光を光電変換して、その光電変換により発生し
た電荷信号を電圧信号に変換するものである。そして、
この検出された電圧信号は信号処理部11cに送られ
る。タイミングジェネレータ11bは撮像素子11aに
対して駆動パルス信号S10を供給するものであり、C
CDカメラ11はこの駆動パルス信号S10に従って動
作する。信号処理部11cは撮像素子11aから送られ
てきた電圧信号を信号処理して映像信号S2を生成する
ものである。そして、信号処理部11cは、生成した映
像信号S2を動き検出部12とラインメモリ13に転送
する。
The CCD camera 11 has an image pickup device 11a and a timing generator 11 as a drive control pulse supply unit.
b, a signal processing unit 11c, etc.
a, timing generator 11b, signal processing unit 11c
Are electrically connected to each other. The imaging element 11a photoelectrically converts the irradiated light, and converts a charge signal generated by the photoelectric conversion into a voltage signal. And
The detected voltage signal is sent to the signal processing unit 11c. The timing generator 11b supplies a drive pulse signal S10 to the image sensor 11a.
The CD camera 11 operates according to the drive pulse signal S10. The signal processing unit 11c performs signal processing on the voltage signal sent from the image sensor 11a to generate a video signal S2. Then, the signal processing unit 11c transfers the generated video signal S2 to the motion detection unit 12 and the line memory 13.

【0020】図2には撮像素子11aを示す構成図であ
り、図2を参照して撮像素子11aについて詳しく説明
する。図2の撮像素子11aは、いわゆるインタートラ
ンスファ方式と呼ばれる撮像素子であり、画素20、垂
直CCDレジスタ21、水平CCDレジスタ22等から
なっている。画素20はたとえばフォトダイオードから
なっており、照射された光を電荷に変換して、信号電荷
を生成するものである。各画素20には垂直CCDレジ
スタ21が電気的に接続されていて、垂直CCDレジス
タ21は水平CCDレジスタ22と接続されている。
FIG. 2 is a block diagram showing the image pickup device 11a. The image pickup device 11a will be described in detail with reference to FIG. The image pickup device 11a in FIG. 2 is an image pickup device called a so-called inter transfer system, and includes a pixel 20, a vertical CCD register 21, a horizontal CCD register 22, and the like. The pixel 20 is formed of, for example, a photodiode, and converts the irradiated light into electric charges to generate signal electric charges. A vertical CCD register 21 is electrically connected to each pixel 20, and the vertical CCD register 21 is connected to a horizontal CCD register 22.

【0021】垂直CCDレジスタ21は各画素20で発
生した信号電荷を水平CCDレジスタ22に転送するも
のである。水平CCDレジスタ22はフローティングゲ
ートアンプFDを介して信号処理部11cと接続されて
いる。水平CCDレジスタ22は信号電荷をフローティ
ングゲートアンプFDに転送し、フローティングゲート
アンプFDは転送された信号電荷を電圧信号に変換す
る。そして、変換された電圧信号が画像データとして信
号処理部11cに転送される。
The vertical CCD register 21 transfers signal charges generated in each pixel 20 to the horizontal CCD register 22. The horizontal CCD register 22 is connected to the signal processing unit 11c via a floating gate amplifier FD. The horizontal CCD register 22 transfers the signal charge to the floating gate amplifier FD, and the floating gate amplifier FD converts the transferred signal charge into a voltage signal. Then, the converted voltage signal is transferred to the signal processing unit 11c as image data.

【0022】次に、図1を参照して、動き検出部12に
ついて詳しく説明する。一般に映像は、少しずつ異なる
画像を次々と表示することにより、連続しているかのよ
うに見える。このため、前後の画像は非常に似かよって
いる。よって前の画像から現在の画像への、各部分の変
化分を割り出せば、それらを基に次の画像を予測するこ
とができる。すなわち、動き検出部12で、前の画像と
現在の画像とを比較して、各ブロック(たとえば1ブロ
ックを16*16画素として)毎の変化分を”動きベク
トル”として求めている。現在の画像をブロック毎に、
動きベクトルに従い変化させることにより、予測画像信
号S30が得られる。信号処理部12は生成した予測画
像信号S30を第1スイッチ部15及び第2スイッチ部
16に供給する。
Next, the motion detecting section 12 will be described in detail with reference to FIG. In general, a video looks as if it is continuous by displaying slightly different images one after another. For this reason, the images before and after are very similar. Therefore, if the amount of change in each part from the previous image to the current image is determined, the next image can be predicted based on these. That is, the motion detection unit 12 compares the previous image with the current image, and obtains a change amount for each block (for example, one block is 16 * 16 pixels) as a "motion vector". The current image in blocks
By changing according to the motion vector, a predicted image signal S30 is obtained. The signal processing unit 12 supplies the generated predicted image signal S30 to the first switch unit 15 and the second switch unit 16.

【0023】動き検出部12はアラーム発生器14に動
きベクトルS50を転送し、アラーム発生器14はこの
動きベクトルS50に基づいてアラームをならす。具体
的には、たとえば撮像装置10が自動車のフロント部に
備え付けられているとする。このとき、正面から自転車
が近づいてくると、動きベクトルS50の大きさが変化
する。具体的には、自転車が近づいてくるに従って動き
ベクトルS50が大きくなる。ここで動きベクトルS5
0の大きさが一定量以上大きくなったとき、アラームを
ならすように設定しておくと、人間が自転車を見落とし
ても、アラームの発生により、事前に危険を回避するこ
とができる。
The motion detector 12 transfers the motion vector S50 to the alarm generator 14, and the alarm generator 14 issues an alarm based on the motion vector S50. Specifically, for example, it is assumed that the imaging device 10 is provided in a front part of a car. At this time, when the bicycle approaches from the front, the magnitude of the motion vector S50 changes. Specifically, the motion vector S50 increases as the bicycle approaches. Here, the motion vector S5
If an alarm is set so that the value of “0” becomes larger than a certain amount, even if a person overlooks the bicycle, danger can be avoided in advance by generating an alarm.

【0024】ラインメモリ13は信号処理部11cから
転送される画像信号S20を一時的に記憶する。すなわ
ち、動き検出部12が画像信号S20から予測画像信号
S30を生成する間の遅延時間を調整するため、ライン
メモリ13は画像信号S20を時間Δtだけ記憶する。
ラインメモリ13は一時的に記憶されている遅延画像信
号S40を第1スイッチ部15及び第2スイッチ部16
に転送する。
The line memory 13 temporarily stores the image signal S20 transferred from the signal processing section 11c. That is, the line memory 13 stores the image signal S20 for the time Δt in order to adjust the delay time during which the motion detection unit 12 generates the predicted image signal S30 from the image signal S20.
The line memory 13 transfers the temporarily stored delayed image signal S40 to the first switch unit 15 and the second switch unit 16
Transfer to

【0025】次に、図1を参照して、第1スイッチ部1
5及び第スイッチ部16について説明する。第1スイッ
チ部15及び第2スイッチ部16はそれぞれ2つの端子
15a、15bと端子16a、16bを有している。第
1スイッチ部15及び第2スイッチ部16が端子15
a、16aに接続されているとき、第1スイッチ部15
及び第2スイッチ部16は予測長時間画像信号S31及
び遅延長時間画像信号S41を長時間露光処理部17に
転送する。一方、第1スイッチ部15及び第2スイッチ
部16が端子15b、16bに接続されているとき、第
1スイッチ部15及び第2スイッチ部16は予測短時間
画像信号S32及び遅延短時間画像信号S42を短時間
露光処理部18に転送する。
Next, referring to FIG.
The 5th and 16th switch part 16 are demonstrated. Each of the first switch unit 15 and the second switch unit 16 has two terminals 15a and 15b and terminals 16a and 16b. The first switch section 15 and the second switch section 16 are terminals 15
a, 16a, the first switch unit 15
The second switch unit 16 transfers the predicted long-time image signal S31 and the delayed long-time image signal S41 to the long-time exposure processing unit 17. On the other hand, when the first switch unit 15 and the second switch unit 16 are connected to the terminals 15b and 16b, the first switch unit 15 and the second switch unit 16 switch the predicted short-time image signal S32 and the delayed short-time image signal S42. Is transferred to the short-time exposure processing section 18.

【0026】第1スイッチ部15及び第2スイッチ部1
6のスイッチング動作はこの遅延パルス信号S100に
より制御されている。遅延パルス信号100はタイミン
グジェネレータ11bからパルス信号S10が遅延部2
0を介して第1スイッチ部15と第2スイッチ部16に
転送される。従って、遅延パルス信号S100は遅延長
時間パルス信号S101と遅延短時間パルス信号S10
2とからなっている。遅延部20はパルス信号S10を
時間Δtだけ遅延させて第1スイッチ部15及び第2ス
イッチ部16に転送する。この時間Δtは、ラインメモ
リ13が画像信号S20を一時的に記憶する時間Δtと
一致するものである。
First switch section 15 and second switch section 1
The switching operation of No. 6 is controlled by the delay pulse signal S100. The delayed pulse signal 100 is transmitted from the timing generator 11b to the
0 is transferred to the first switch unit 15 and the second switch unit 16. Therefore, the delayed pulse signal S100 is composed of the delayed long pulse signal S101 and the delayed short pulse signal S10.
It consists of two. The delay unit 20 transfers the pulse signal S10 to the first switch unit 15 and the second switch unit 16 with a delay of the time Δt. This time Δt coincides with the time Δt during which the line memory 13 temporarily stores the image signal S20.

【0027】次に図1の長時間露光信号処理部17と短
時間露光信号処理部18について説明する。長時間露光
信号処理部17は第1スイッチ部15及び第2スイッチ
部から送られてきた長時間露光された画像信号S31
(S41)の画像処理をするものである。この画像処理
は長時間画像信号S31(S41)の輝度レベルのう
ち、一定のしきい値以上の輝度レベル信号を検出する
と、その信号を除去(カット)する。これは以下の理由
によるものである。図2の各画素20に対して強い光が
長時間露光されると、生成された画像にいわゆる白飛び
が発生し、画像がみずらくなる。この白飛びをなくすた
め、長時間画像信号S31(S41)には一定量以上の
輝度レベルをカットする画像処理を施す。図1の長時間
露光処理部17は画像処理した長時間画像信号S33
(S43)を加算部19に転送する。
Next, the long-time exposure signal processing section 17 and the short-time exposure signal processing section 18 in FIG. 1 will be described. The long exposure signal processing section 17 is a long exposure image signal S31 sent from the first switch section 15 and the second switch section.
The image processing of (S41) is performed. In this image processing, when a luminance level signal having a certain threshold value or more is detected from among the luminance levels of the long-time image signal S31 (S41), the signal is removed (cut). This is for the following reason. When a strong light is exposed to each pixel 20 in FIG. 2 for a long time, a so-called overexposure occurs in the generated image, and the image becomes difficult to see. In order to eliminate the overexposure, the long-time image signal S31 (S41) is subjected to image processing for cutting a luminance level equal to or more than a predetermined amount. The long-time exposure processing section 17 of FIG.
(S43) is transferred to the adding unit 19.

【0028】短時間信号処理部18は、第1スイッチ部
15及び第2スイッチ部16から送られてきた短時間画
像信号S32(S42)に対して画像処理を施すもので
ある。具体的には、送られてきた短時間画像信号S32
(S42)全体の輝度をあげる画像処理を行う。これ
は、図2の各画素20において露光される時間が短時間
であるため、得られた短時間画像信号S32(S42)
は全体的にコントラストが小さい傾向がある。従って、
短時間画像信号S32(S42)のコントラストを全体
的にあげることにより、画像を鮮明にすることができ
る。短時間信号処理部18は画像処理した短時間画像信
号S32(S42)を加算部19に転送する。加算部1
9は、転送された長時間画像信号S34(S44)と短
時間画像信号S34(S44)とを合成して、1つの画
像信号S60を生成する。
The short-time signal processing section 18 performs image processing on the short-time image signal S32 (S42) sent from the first switch section 15 and the second switch section 16. Specifically, the transmitted short-time image signal S32
(S42) Image processing for increasing the overall luminance is performed. This is because the exposure time in each pixel 20 in FIG. 2 is short, and the obtained short-time image signal S32 (S42)
Tend to have low contrast as a whole. Therefore,
The image can be sharpened by increasing the contrast of the short-time image signal S32 (S42) as a whole. The short-time signal processing unit 18 transfers the short-time image signal S32 (S42) subjected to the image processing to the addition unit 19. Adder 1
No. 9 combines the transferred long-time image signal S34 (S44) and short-time image signal S34 (S44) to generate one image signal S60.

【0029】図3にはパルス信号S10、画像信号S2
0、予測画像信号S30、遅延画像信号S40、出力信
号S60の波形図を示しており、図1乃至図3を参照し
て撮像装置10の動作例ついて詳しく説明する。まず、
図1のタイミングジェネレータ11bがパルス信号S1
0を発生し、このパルス信号S10により撮像素子11
aが映像を取り込む。ここで図3(A)に示すように、
このパルス信号S10は、長時間パルス信号S11(第
1パルス信号)と短時間パルス信号S12(第2パルス
信号)が交互に連続して生成されている。長時間パルス
信号S11の時間t1はたとえば1/60秒に設定され
ており、短時間パルス信号S12の時間t2はたとえば
1/2000秒に設定されている。
FIG. 3 shows a pulse signal S10 and an image signal S2.
0, a predicted image signal S30, a delayed image signal S40, and a waveform diagram of the output signal S60. An example of the operation of the imaging apparatus 10 will be described in detail with reference to FIGS. First,
The timing generator 11b shown in FIG.
0, and the pulse signal S10 causes the image sensor 11
a captures an image. Here, as shown in FIG.
In the pulse signal S10, a long-time pulse signal S11 (first pulse signal) and a short-time pulse signal S12 (second pulse signal) are generated alternately and continuously. The time t1 of the long pulse signal S11 is set to, for example, 1/60 seconds, and the time t2 of the short pulse signal S12 is set to, for example, 1/2000 seconds.

【0030】撮像素子11aが取り込んだ電圧信号を信
号処理部11cが処理して、図3(B)に示す画像信号
S20が生成される。撮像素子11aはパルス信号S1
0に基づいて駆動しているので、画像信号S20には長
時間画像信号S21と短時間画像信号S22とを連続し
て交互に出力する。そして、この画像信号S20は動き
検出部12とラインメモリ13とに転送される。
The signal processing section 11c processes the voltage signal received by the image pickup device 11a to generate an image signal S20 shown in FIG. The image sensor 11a receives the pulse signal S1
Since the driving is performed based on 0, the long-time image signal S21 and the short-time image signal S22 are continuously and alternately output as the image signal S20. Then, the image signal S20 is transferred to the motion detection unit 12 and the line memory 13.

【0031】図1の動き検出部12は画像信号S20に
基づいて動きベクトルS50を生成した後、この動きベ
クトルS50に基づいて予測画像信号S30を生成し、
第1スイッチ部15及び第2スイッチ部16に送る。こ
こで予測画像信号S40は図3(D)のようになってい
る。予測画像信号S3は画像信号S20に基づいて生成
されているため、予測長時間画像信号S31と予測短時
間画像信号S32とを出力する。また、図3(D)に示
すように、動き検出部12が予測画像信号S30を生成
するには時間Δt+t1だけ必要とするため、動き検出
部12から出力される予測画像信号S30は画像信号S
20を受け取ってからΔt+t1だけ遅延したものにな
る。
The motion detector 12 shown in FIG. 1 generates a motion vector S50 based on the image signal S20, and then generates a predicted image signal S30 based on the motion vector S50.
It is sent to the first switch unit 15 and the second switch unit 16. Here, the predicted image signal S40 is as shown in FIG. Since the predicted image signal S3 is generated based on the image signal S20, it outputs a predicted long-time image signal S31 and a predicted short-time image signal S32. Further, as shown in FIG. 3D, since the motion detecting unit 12 needs the time Δt + t1 to generate the predicted image signal S30, the predicted image signal S30 output from the motion detecting unit 12 is the image signal S30.
20 is received and delayed by Δt + t1.

【0032】一方、画像信号S20を受け取ったライン
メモリ13は、送られてきた画像を一時的に記憶して、
送られてきた画像信号S20を時間Δtだけ遅延させて
から、遅延画像信号S40を第1スイッチ部15及び第
2スイッチ部16に送る。遅延画像信号S40は図3
(C)のようになっている。遅延画像信号S40は画像
信号S20に基づいて生成されているため、遅延長時間
画像信号S41と遅延短時間画像信号S42とを出力す
る。ここで遅延画像信号S40は画像信号S20を受け
取ってからΔtだけ遅延したものである。これにより、
予測画像信号S30と遅延画像信号S40とが加算部1
9に出力されるタイミングをあわせることができ、従来
のように取得したタイミングの違いによる画像のぼけを
改善し、画質を向上させることができる。
On the other hand, the line memory 13 receiving the image signal S20 temporarily stores the transmitted image,
After the transmitted image signal S20 is delayed by the time Δt, the delayed image signal S40 is transmitted to the first switch unit 15 and the second switch unit 16. The delayed image signal S40 is shown in FIG.
(C). Since the delayed image signal S40 is generated based on the image signal S20, it outputs a delayed long-time image signal S41 and a delayed short-time image signal S42. Here, the delayed image signal S40 is delayed by Δt after receiving the image signal S20. This allows
The predicted image signal S30 and the delayed image signal S40 are added by the adder 1
9, it is possible to match the output timing to the image No. 9 and improve the image blur due to the difference in the acquired timing as in the related art, thereby improving the image quality.

【0033】図1の第1スイッチ部15と第2スイッチ
部16は、送られてきた予測画像信号S30及び遅延画
像信号S40を長時間露光信号処理部17と短時間露光
処理部18に転送する。具体的には、第1スイッチ部1
5及び第2スイッチ部16は遅延パルス信号S100に
基づいて、スイッチング動作が行われれてる。すなわ
ち、第1スイッチ部15と第2スイッチ部16は遅延長
時間パルス信号S101が送られてきている間は端子1
5a、16aにそれぞれ接続され、遅延短時間パルス信
号S102か送られてきている間は端子15b、16b
にそれぞれに接続される。
The first switch section 15 and the second switch section 16 in FIG. 1 transfer the transmitted predicted image signal S30 and delayed image signal S40 to the long exposure signal processing section 17 and the short exposure processing section 18, respectively. . Specifically, the first switch unit 1
The switching operation of the fifth switch unit 16 and the second switch unit 16 is performed based on the delay pulse signal S100. That is, the first switch unit 15 and the second switch unit 16 are connected to the terminal 1 while the delayed long pulse signal S101 is being transmitted.
5a and 16a are connected to the terminals 15b and 16b while the delayed short-time pulse signal S102 is being sent.
Connected to each other.

【0034】これにより、予測長時間画像信号S31及
び遅延長時間画像信号S41が転送されている間、予測
長時間画像信号S31及び遅延長時間画像信号S41は
端子15a、16aに接続されて長時間露光処理部17
に転送される。一方、予測短時間露光信号S32及び遅
延短時間露光信号S42が転送されている間、予測短時
間露光信号S32及び遅延短時間露光信号S42は短時
間露光処理部18に転送される。
As a result, while the predicted long image signal S31 and the delayed long image signal S41 are being transferred, the predicted long image signal S31 and the delayed long image signal S41 are connected to the terminals 15a and 16a and Exposure processing unit 17
Is forwarded to On the other hand, while the predicted short exposure signal S32 and the delayed short exposure signal S42 are being transferred, the predicted short exposure signal S32 and the delayed short exposure signal S42 are transferred to the short exposure processing unit 18.

【0035】長時間露光処理部17は予測長時間画像信
号S31もしくは遅延長時間画像信号S41の輝度レベ
ルを調節して加算部19に転送する。一方、短時間露光
処理部18は予測短時間画像信号S32もしくは遅延短
時間画像信号S42のコントラストをあげて加算部19
に転送する。加算部19は送られてきた予測長時間画像
信号S33と遅延短時間画像信号S44、もしくは遅延
長時間画像信号S43と予測短時間画像信号S34を合
成して、図3(E)に示す出力画像S60を生成する。
The long-time exposure processing section 17 adjusts the luminance level of the predicted long-time image signal S31 or the delayed long-time image signal S41 and transfers the adjusted long-time image signal S31 to the adding section 19. On the other hand, the short-time exposure processing unit 18 increases the contrast of the predicted short-time image signal S32 or the delayed short-time image signal S42, and
Transfer to The adder 19 combines the received predicted long-time image signal S33 and the delayed short-time image signal S44, or the delayed long-time image signal S43 and the predicted short-time image signal S34, and outputs the output image shown in FIG. Generate S60.

【0036】図4は加算部19が画像を合成する様子を
示す模式図であり、図4を参照して画像の合成方法につ
いて詳しく説明する。なお、図4は撮像装置10が自動
車に取り付けられている場合を例示している。なおNフ
ィールド(Nは整数)の画像信号は長時間画像信号S2
1、N+1フィールド(Nは整数)の画像信号は短時間
画像信号S22であるとする。まず、CCDカメラ11
がNフィールドの画像が取り込むと、長時間予測画像信
号S21n が生成される。この予測長時間画像信号S2
n は、動き検出部12は時間Δt+t1で予測長時間
画像信号S31n+1 を生成する。
FIG. 4 is a schematic diagram showing how the adder 19 combines images. The method of combining images will be described in detail with reference to FIG. FIG. 4 illustrates a case where the imaging device 10 is attached to a car. The image signal of N fields (N is an integer) is a long-time image signal S2
It is assumed that an image signal of 1, N + 1 fields (N is an integer) is a short-time image signal S22. First, the CCD camera 11
When an image of N fields is captured, a long-term predicted image signal S21 n is generated. This predicted long-time image signal S2
For 1 n , the motion detection unit 12 generates the predicted long-time image signal S31 n + 1 at time Δt + t1.

【0037】動き検出部12が予測長時間画像信号S3
n+1 を生成している間、CCDカメラ11はN+1フ
ィールドの画像を取り込み、短時間画像信号S22n+1
が生成される。この短時間画像信号S22n+1 はライン
メモリ13に時間Δtだけ遅延される。そして、動き検
出部12から予測長時間画像信号S31n+1 が出力さ
れ、ラインメモリ13から遅延短時間画像信号S42
n+1 が出力される。その後、長時間露光処理部17及び
短時間露光処理部18により画像処理が施されて、加算
部19が予測長時間画像信号S31n と遅延短時間画像
信号S42n+1 を合成してN+1フィールドの画像出力
S60n+1 を生成する。
The motion detecting section 12 detects the predicted long-time image signal S3
While generating 1 n + 1 , the CCD camera 11 captures an image of N + 1 fields and outputs a short-time image signal S22 n + 1
Is generated. The short-time image signal S22 n + 1 is delayed by the line memory 13 by the time Δt. Then, the predicted long time image signal S31 n + 1 is output from the motion detection unit 12, and the delayed short time image signal S42 is output from the line memory 13.
n + 1 is output. Thereafter, image processing is performed by the long-time exposure processing unit 17 and the short-time exposure processing unit 18, and the adding unit 19 combines the predicted long-time image signal S31 n and the delayed short-time image signal S42 n + 1 to generate N + 1 fields. Is generated as the image output S60 n + 1 .

【0038】一方で、N+1フィールドの画像が読み込
まれた際に、動き検出部12では予測短時間画像信号S
32n+2 を時間Δt+t1で生成している。その間、C
CDカメラ11がN+2フィールドの長時間画像信号S
21n+2 を取り込んで、ラインメモリ13にて時間Δt
だけ遅延される。その後、予測短時間画像信号S32
n+1 と遅延長時間画像信号S41n+2 が合成されて、N
+2フィールドの出力画像S60n+2 を生成する。この
ように、長時間画像信号S21と短時間画像信号S22
とを組み合わせて1つの画像を生成していく。
On the other hand, when the image of the (N + 1) th field is read, the motion detecting section 12 predicts the short-time image signal S
32 n + 2 is generated at time Δt + t1. Meanwhile, C
The CD camera 11 receives the long-term image signal S of N + 2 fields
21 n + 2 and the time Δt
Only be delayed. Thereafter, the predicted short-time image signal S32
n + 1 and the delayed long-time image signal S41 n + 2 are synthesized, and N
A +2 field output image S60 n + 2 is generated. Thus, the long-time image signal S21 and the short-time image signal S22
Are combined to generate one image.

【0039】上記実施の形態によると、図2に示す本発
明の撮像素子11aは、図5に示す撮像素子1に比べて
構造の簡略化が図れている。すなわち、短時間画像信号
及び長時間画像信号を1つの出力端子から出力して、画
質の向上を図ることができる。このため、撮像装置10
を効率よく製造することができるとともにコストを削減
することができる。そして、長時間画像信号S21及び
短時間画像信号S22を用いて出力画像S60を生成す
ることで、ダイナミックレンジを拡大することができ
る。また、予測画像信号S30と遅延画像信号S40と
が加算部19に出力されるタイミングをあわせることに
より、従来のように取得したタイミングの違いによる画
像のぼけを改善し、画質を向上させることができる。さ
らに、長時間画像信号S21及び短時間画像信号S22
の輝度レベル及びコントラストをそれぞれ調整すること
により、ダイナミックレンジが拡大し、画質を向上させ
ることができる。
According to the above embodiment, the structure of the image pickup device 11a of the present invention shown in FIG. 2 is simplified as compared with the image pickup device 1 shown in FIG. That is, the short-time image signal and the long-time image signal are output from one output terminal, and the image quality can be improved. For this reason, the imaging device 10
Can be manufactured efficiently and the cost can be reduced. Then, by generating the output image S60 using the long-time image signal S21 and the short-time image signal S22, the dynamic range can be expanded. In addition, by adjusting the timing at which the predicted image signal S30 and the delayed image signal S40 are output to the adding unit 19, blurring of an image due to a difference in acquired timing as in the related art can be improved, and image quality can be improved. . Further, the long-time image signal S21 and the short-time image signal S22
By adjusting the brightness level and contrast of the image, respectively, the dynamic range can be expanded and the image quality can be improved.

【0040】すなわち、上記実施の形態により、撮像素
子11a及びタイミングジェネレータ11bの構造を簡
略化することができるとともに、高ダイナミックレンジ
の撮像装置を実現することができる。また、画質を向上
させるために設けた動き検出部12が生成する動きベク
トルS50を用いて、動きベクトルS50の変化を監視
して、ベクトルがある一定の大きさになるとアラームを
発生させることができる。よって、自動車を運転してい
る際、人間がたとえば自転車を見落としたとしても、ア
ラームの発生により、事前に危険を回避することができ
る。
That is, according to the above-described embodiment, the structures of the imaging element 11a and the timing generator 11b can be simplified, and an imaging apparatus having a high dynamic range can be realized. Further, the change of the motion vector S50 is monitored using the motion vector S50 generated by the motion detection unit 12 provided for improving the image quality, and an alarm can be generated when the vector becomes a certain size. . Therefore, even if a person overlooks a bicycle while driving a car, for example, danger can be avoided by generating an alarm.

【0041】本発明は上記実施の形態には限定されな
い。図2において、いわゆるインターライントランスフ
ァ(IT)方式が採用されているが、垂直CCDレジス
タが光電変換機能、電荷露光機能及び電荷転送機能を備
えている、いわゆるフレームトランスファ(FT)方式
や、画素と水平CCDレジスタの間に信号電荷を記憶す
る露光領域を備えている、いわゆるフレームインターラ
イントランスファ(FIT)方式を採用してももちろん
かまわない。
The present invention is not limited to the above embodiment. In FIG. 2, a so-called interline transfer (IT) system is employed. A vertical CCD register has a photoelectric conversion function, a charge exposure function, and a charge transfer function. Of course, a so-called frame interline transfer (FIT) system having an exposure area for storing signal charges between horizontal CCD registers may be employed.

【0042】[0042]

【発明の効果】以上説明したように、本発明によれば、
効率よく製造することができるとともに、画質を向上さ
せ、ダイナミックレンジの拡大を図ることができる撮像
装置を提供することができる。
As described above, according to the present invention,
It is possible to provide an imaging device that can be efficiently manufactured, can improve image quality, and can expand a dynamic range.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の撮像装置の好ましい実施の形態を示す
ブロック図。
FIG. 1 is a block diagram showing a preferred embodiment of an imaging apparatus according to the present invention.

【図2】本発明の撮像装置における撮像素子の周辺部位
を示す構成図。
FIG. 2 is a configuration diagram showing a peripheral portion of an imaging device in the imaging device of the present invention.

【図3】本発明の撮像装置におけて生成される種々の信
号を示すグラフ図。
FIG. 3 is a graph showing various signals generated in the imaging device of the present invention.

【図4】本発明の撮像装置における画像生成の様子を示
す模式図。
FIG. 4 is a schematic diagram showing a state of image generation in the imaging device of the present invention.

【図5】従来の撮像素子の一例を示す構成図。FIG. 5 is a configuration diagram showing an example of a conventional image sensor.

【符号の説明】[Explanation of symbols]

10・・・撮像装置、11・・・撮像素子、12・・・
動き検出部、13・・・ラインメモリ(記憶部)、14
・・・アラーム、15・・・第1スイッチ部、16・・
・第2スイッチ部、17・・・長時間露光信号処理部、
18・・・短時間露光信号処理部、19・・・加算部、
S10・・・パルス信号、S11・・・第1パルス信
号、S12・・・第2パルス信号、S20・・・画像信
号、S21・・・長時間画像信号、S22・・・短時間
画像信号、S30・・・予測画像信号、S40・・・遅
延画像信号、S50・・・動きベクトル。
10: imaging device, 11: imaging element, 12:
Motion detection unit, 13 ... line memory (storage unit), 14
... alarm, 15 ... first switch section, 16 ...
A second switch unit, 17 a long-time exposure signal processing unit,
18 ... short-time exposure signal processing unit, 19 ... addition unit,
S10: pulse signal, S11: first pulse signal, S12: second pulse signal, S20: image signal, S21: long-time image signal, S22: short-time image signal, S30: predicted image signal, S40: delayed image signal, S50: motion vector.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 電荷結合素子からなっていて、画像を取
り込むための撮像素子と、 前記撮像素子を駆動制御させるものであって、第1パル
ス信号と第1パルス信号よりも短い第2パルス信号を交
互に連続して生成する駆動制御パルス供給部と、 前記撮像素子が取り込んだ信号を処理し、前記第1パル
ス信号により撮像素子が駆動した際の長時間画像信号
と、前記第2パルス信号により撮像素子が駆動した際の
短時間画像信号とからなる画像信号を生成する信号処理
部と、 前記信号処理部から送られてくる前記画像信号に基づい
て、動きベクトルを生成し、その動きベクトルに基づい
て予測画像信号を生成する動き検出部と、 前記信号処理部から送られてくる前記画像信号を一定時
間だけ遅延した遅延画像信号を生成する記憶部と、 前記長時間画像信号から生成された前記予測画像信号と
前記短時間画像信号から生成された前記遅延画像信号
と、もしくは、前記短時間画像信号から生成された前記
予測画像信号と前記長時間画像信号から生成された前記
遅延画像信号とを合成して画像を形成する加算部とを有
することを特徴とする撮像装置。
1. An image pickup device comprising a charge-coupled device, for driving an image pickup device for taking in an image, and a first pulse signal and a second pulse signal shorter than the first pulse signal. A drive control pulse supply unit that continuously and alternately generates a signal, a long-time image signal when the image sensor is driven by the first pulse signal when the signal captured by the image sensor is processed, and the second pulse signal A signal processing unit that generates an image signal composed of a short-time image signal when the image sensor is driven, and a motion vector based on the image signal sent from the signal processing unit. A motion detection unit that generates a predicted image signal based on the image signal; a storage unit that generates a delayed image signal obtained by delaying the image signal sent from the signal processing unit by a predetermined time; The predicted image signal generated from the image signal and the delayed image signal generated from the short-time image signal, or the predicted image signal generated from the short-time image signal and the long-time image signal And an adder for combining the delayed image signal and the delayed image signal to form an image.
【請求項2】 前記長時間画像信号が前記加算部に転送
される際には、前記長時間画像信号における一定量以上
の輝度レベルを除去する請求項1に記載の撮像装置。
2. The imaging apparatus according to claim 1, wherein when the long-time image signal is transferred to the adding unit, a luminance level of a certain amount or more in the long-time image signal is removed.
【請求項3】 前記短時間画像信号が前記加算部に転送
される際には、前記短時間画像信号のコントラストをあ
げる請求項1に記載の撮像装置。
3. The imaging apparatus according to claim 1, wherein when the short-time image signal is transferred to the adding unit, the contrast of the short-time image signal is increased.
【請求項4】 電荷結合素子からなる撮像素子を用いて
画像を取り込む撮像方法において、 前記撮像素子を長時間露光したときに生成される長時間
画像信号と、前記撮像素子を短時間露光したときに生成
される短時間画像信号とを交互に連続して有する画像信
号を生成させ、 前記画像信号から動きベクトルを生成して、この動きベ
クトルに基づいて予測画像信号を形成するとともに、一
定時間だけ前記画像信号を記憶し、 前記長時間画像信号から生成された前記予測画像信号と
前記短時間画像信号から生成された前記遅延画像信号
と、もしくは、前記短時間画像信号から生成された前記
予測画像信号と前記長時間画像信号から生成された前記
遅延画像信号とを合成して画像を形成することを特徴と
する撮像方法。
4. An imaging method for capturing an image using an imaging device comprising a charge-coupled device, comprising: a long-time image signal generated when the imaging device is exposed for a long time; And generating a motion vector from the image signal, forming a predicted image signal based on the motion vector, and for a certain period of time. The image signal is stored, the predicted image signal generated from the long-time image signal, the delayed image signal generated from the short-time image signal, or the predicted image generated from the short-time image signal An imaging method comprising: synthesizing a signal and the delayed image signal generated from the long-time image signal to form an image.
【請求項5】 前記長時間画像信号は、前記長時間画像
信号における一定量以上の輝度レベルを除去した後に前
記短時間画像信号と合成される請求項4に記載の撮像方
法。
5. The imaging method according to claim 4, wherein the long-time image signal is combined with the short-time image signal after removing a luminance level of a certain amount or more from the long-time image signal.
【請求項6】 前記短時間画像信号は、前記短時間画像
信号のコントラストを一定量にあげた後、前記長時間画
像信号と合成される請求項4の撮像方法。
6. The imaging method according to claim 4, wherein the short-time image signal is combined with the long-time image signal after increasing the contrast of the short-time image signal to a certain amount.
JP10245480A 1998-08-31 1998-08-31 Device and method for picking up image Pending JP2000078480A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10245480A JP2000078480A (en) 1998-08-31 1998-08-31 Device and method for picking up image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10245480A JP2000078480A (en) 1998-08-31 1998-08-31 Device and method for picking up image

Publications (2)

Publication Number Publication Date
JP2000078480A true JP2000078480A (en) 2000-03-14
JP2000078480A5 JP2000078480A5 (en) 2005-09-08

Family

ID=17134295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10245480A Pending JP2000078480A (en) 1998-08-31 1998-08-31 Device and method for picking up image

Country Status (1)

Country Link
JP (1) JP2000078480A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046857A (en) * 2001-07-27 2003-02-14 Nippon Telegr & Teleph Corp <Ntt> Generating method of high dynamic range image and apparatus therefor, and storage medium for executing program of this method
CN105580358A (en) * 2013-09-27 2016-05-11 日产自动车株式会社 Information provision system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046857A (en) * 2001-07-27 2003-02-14 Nippon Telegr & Teleph Corp <Ntt> Generating method of high dynamic range image and apparatus therefor, and storage medium for executing program of this method
CN105580358A (en) * 2013-09-27 2016-05-11 日产自动车株式会社 Information provision system

Similar Documents

Publication Publication Date Title
JP4154157B2 (en) Imaging device
JP3630905B2 (en) Imaging method and imaging apparatus
KR100361945B1 (en) Solid-state imaging device
US7821547B2 (en) Image sensing apparatus that use sensors capable of carrying out XY addressing type scanning and driving control method
JP2002314873A (en) Circuit for imaging device and signal processing method for imaging
JP2006245784A (en) Solid-state imaging apparatus and driving method thereof, and imaging system
JP2014154982A (en) Image pickup device and control method therefor
JPWO2008023706A1 (en) Imaging device
JP6118118B2 (en) Imaging apparatus and control method thereof
JP2000350101A (en) Solid-state image pickup device and image information acquisition device
JP5037078B2 (en) Solid-state imaging device and driving method thereof
JPH01146476A (en) High-sensitive television camera
JP2006074693A (en) Imaging apparatus
JP2005176115A (en) Image pickup device
JP2007134806A (en) Solid-state imaging element
JPH06268898A (en) Image pickup device using solid-state image pickup element
JP2000078480A (en) Device and method for picking up image
JP3802596B2 (en) Electronic camera
JP4273580B2 (en) Method for driving solid-state imaging device and solid-state imaging device
JP4634953B2 (en) Solid-state imaging device and driving method
JP3989112B2 (en) White scratch signal level suppression device for solid-state imaging device
JP2010114654A (en) Imaging apparatus and charge transferring method of solid-state imaging element
JPH09233395A (en) Solid-state image pickup device
JP4824467B2 (en) Solid-state imaging device
JP2917407B2 (en) Solid-state imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080708