JP2011160133A - Wide dynamic range imaging apparatus - Google Patents
Wide dynamic range imaging apparatus Download PDFInfo
- Publication number
- JP2011160133A JP2011160133A JP2010019337A JP2010019337A JP2011160133A JP 2011160133 A JP2011160133 A JP 2011160133A JP 2010019337 A JP2010019337 A JP 2010019337A JP 2010019337 A JP2010019337 A JP 2010019337A JP 2011160133 A JP2011160133 A JP 2011160133A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- light
- dynamic range
- wide dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 175
- 238000005286 illumination Methods 0.000 claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 4
- 239000002131 composite material Substances 0.000 claims description 34
- 230000001678 irradiating effect Effects 0.000 claims description 9
- 238000005096 rolling process Methods 0.000 claims description 7
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005476 soldering Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、車載、監視、工業用等において、被写体を撮像する広ダイナミックレンジ撮像装置に係わり、特に、照明の制御により、光量の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を生成する広ダイナミックレンジ撮像装置に関する。 The present invention relates to a wide dynamic range imaging apparatus that captures a subject in in-vehicle, monitoring, industrial, or the like, and in particular, a wide dynamic range imaging image that generates a wide dynamic range captured image from a plurality of captured images with different light amounts by controlling illumination. The present invention relates to a dynamic range imaging apparatus.
特許文献１には、静止画撮影を行う際、照明としての光を照射する発光手段を有し、第１の露出値に応じた光量を第１の露光時間にて被写体に向けて発光手段から発光させ、第２の露出値に応じた光量を第２の露光時間にて被写体に向けて発光させることを特徴とする露出制御手段を備える撮像装置が記載されており＜請求項７＞、より具体的には、２つの露光時間において被写体に対して発光部を発光させて撮像を行う際に、第２の露光時間における発光時間を露光時間よりも短く設定し、第１および第２の各露光時間に応じた露出比に対応する発光光量を被写体に向けて照射することにより、光量の異なる複数の撮影画像を取得する撮像装置が記載されている＜００７６＞。 Patent Document 1 includes a light emitting unit that emits light as illumination when taking a still image, and a light amount corresponding to the first exposure value is directed toward the subject during the first exposure time from the light emitting unit. An image pickup apparatus including an exposure control unit is described that emits light and emits a light amount corresponding to a second exposure value toward a subject during a second exposure time. <Claim 7> Specifically, when imaging is performed by causing the light emitting unit to emit light with respect to the subject in two exposure times, the light emission time in the second exposure time is set shorter than the exposure time, and the first and second An imaging device is described that acquires a plurality of captured images with different light amounts by irradiating a subject with a light emission amount corresponding to an exposure ratio according to an exposure time <0076>.
特許文献２には、発光の形態を制御可能な閃光発光手段を有し、第１の露光時間および第２の露光時間でそれぞれ閃光発光手段を発光せしめるときに、第２の露光時間における総露光量が、第１の露光時間における総露光量を超えないように閃光発光手段の発光の形態を制御し、且つ、閃光発光手段の各発光について単位時間当たりの発光量を制御することにより当該発光による露光量を制御するための発光制御手段を備えていることを特徴とする撮像装置が記載されており＜請求項３＞、より具体的には、連続する２つの露光時間のうち、撮像素子の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールドの時には、この信号蓄積時間の間に光量の小さい発光を行い、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールドの時には、この信号蓄積時間の間に光量の大きい発光を行なうことにより、撮像素子の短時間の信号蓄積時間の時には小さい露光量の画像、長時間の信号蓄積時間の時には大きい露光量の画像というように、光量の異なる複数の撮影画像を取得する撮像装置が記載されている＜００２４、００２７＞。 Japanese Patent Application Laid-Open No. 2004-260688 has flash light emission means capable of controlling the form of light emission, and when the flash light emission means is caused to emit light during the first exposure time and the second exposure time, respectively, the total exposure during the second exposure time. By controlling the light emission form of the flash light emission means so that the amount does not exceed the total exposure amount in the first exposure time, and by controlling the light emission amount per unit time for each light emission of the flash light emission means An image pickup apparatus comprising a light emission control means for controlling the amount of exposure by the light source is described <Claim 3>, more specifically, of two consecutive exposure times, the image pickup device In the case of a relatively short signal accumulation time field in which the electronic shutter operation is performed, light emission with a small amount of light is performed during this signal accumulation time, and a relatively long signal accumulation time in which the electronic shutter operation is not performed In the field, by emitting a large amount of light during this signal accumulation time, an image with a small exposure amount during a short signal accumulation time of the image sensor and an image with a large exposure amount during a long signal accumulation time As described above, an imaging apparatus that acquires a plurality of captured images with different light amounts is described <0024, 0027>.
しかしながら、特許文献１記載の撮像装置においては、複数の露光期間において、撮像装置の撮像時間とその撮像時間との関係で定められる発光時間を変化させて撮像することにより、光量の異なる複数の画像を生成・合成している。この場合、低照度での環境において被写体を撮像する場合には、露光時間を長く設定して光量を得るため、撮像フレームレートが低下する問題がある。また、露光時間を長く設定することにより、長時間露光と短時間露光の撮像タイミングの時間差が大きくなるため、移動体を撮像する場合などでは、複数の画像の合成処理を行った際、合成画像毎のズレが顕著になり、安定した広ダイナミックレンジ画像が得られない問題がある。 However, in the imaging device described in Patent Document 1, in a plurality of exposure periods, a plurality of images having different light amounts are obtained by changing the light emission time determined by the relationship between the imaging time of the imaging device and the imaging time. Is generated and synthesized. In this case, when imaging a subject in an environment with low illuminance, there is a problem that the imaging frame rate is lowered because the exposure time is set to be long and the amount of light is obtained. In addition, when the exposure time is set longer, the time difference between the imaging timings of the long exposure and the short exposure is increased. Therefore, when a moving object is imaged, a composite image is obtained when combining multiple images. There is a problem that the shift becomes remarkable and a stable wide dynamic range image cannot be obtained.
また、特許文献２記載の撮像装置においては、複数の露光期間において、撮像装置の撮像時間と、その撮像時間との関係で定められる閃光の発光時間および単位時間当たりの発光光量とを変化させて撮像することにより、光量の異なる複数の画像を生成・合成している。この場合、撮像素子にＣＭＯＳ構造を採用する撮像装置においては、一画面内の場所によって明るさの差が生じる問題がある。すなわち、ＣＣＤの蓄積方式であるグローバルシャッター方式においては、同一時間内に画素内のＰＤ（フォトダイオード）へ入射した光を信号電荷として蓄積し、全ての画素を同時に垂直ＣＣＤへ読み出すことができるが、一般的なＣＭＯＳイメージセンサの蓄積方式であるローリングシャッター方式においては、信号を出力した画素はその時点から再び光電変換した信号の蓄積を開始するため、撮像面の走査方法、タイミングにより、蓄積時間にずれが生じ、フラッシュやストロボ等の発光期間の短い照明成分がある場合には、一画面内の場所によって明るさの差が生じる。
また、最近ＣＭＯＳイメージセンサにおいても、グローバルシャッター方式で撮像するものがあるが、信号電荷の基本的な蓄積・読み出し方法には変わりはないため、一度に読み出すことのできる画素数には限界があり、取得する画像が小さなものとなったり、一度に読み出す必要性から、開口面を小さくしなければならないので画面が暗くなるという問題がある。
In the imaging device described in Patent Document 2, the imaging time of the imaging device and the flash emission time and the amount of emitted light per unit time determined by the relationship between the imaging time are changed in a plurality of exposure periods. By imaging, a plurality of images with different light amounts are generated and combined. In this case, there is a problem that a difference in brightness occurs depending on the location in one screen in an imaging apparatus that employs a CMOS structure as an imaging element. That is, in the global shutter system, which is a CCD storage system, light incident on a PD (photodiode) in a pixel can be stored as a signal charge within the same time, and all pixels can be simultaneously read out to a vertical CCD. In a rolling shutter system, which is a general CMOS image sensor storage system, pixels that output signals start storing photoelectrically converted signals again from that point, so the storage time depends on the scanning method and timing of the imaging surface. When there is an illumination component with a short light emission period such as a flash or a strobe light, a difference in brightness occurs depending on the location in one screen.
Recently, there are some CMOS image sensors that use the global shutter method, but there is no change in the basic method for storing and reading signal charges, so there is a limit to the number of pixels that can be read at one time. There is a problem in that the image to be acquired becomes small or the screen becomes dark because the aperture surface must be made small because it is necessary to read out at a time.
本発明は、上記の事情に鑑みて成されたものであり、その目的とするところは、光量の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を生成する広ダイナミックレンジ撮像装置において、撮像面に入射する光を露光時間や絞りにより制御することに着目するのではなく、被写体に照射する照明を制御することに着目することにより、低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくし、また、ＣＭＯＳ構造の撮像素子を有する撮像装置においても画面の明るさを確保し、さらに、ローリングシャッター方式のＣＭＯＳ構造の撮像素子である場合でも、一画面内の場所によって明るさに差を生じることがない広ダイナミックレンジ撮像装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging surface in a wide dynamic range imaging device that generates a wide dynamic range captured image from a plurality of captured images having different light amounts. Focusing on controlling the illumination that illuminates the subject, rather than focusing on controlling the light incident on the subject by the exposure time and aperture, it can move without reducing the imaging frame rate even in low-light environments. Even when the body is imaged, the shift of each composite image when performing the composite processing of a plurality of images is reduced, and the brightness of the screen is ensured even in an imaging device having an image sensor with a CMOS structure. Even in the case of an image sensor with a rolling shutter CMOS structure, a wide dynamic level that does not cause a difference in brightness depending on the location within one screen. And to provide a di-imaging device.
本発明は、上記の課題を解決するために、次のような手段を採用した。
第１の手段は、撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
The present invention employs the following means in order to solve the above problems.
The first means includes: an imaging element that forms an optical image of a subject with an imaging optical system; and a plurality of imaging signals acquired from at least two different light levels based on the optical image formed on the imaging element. A plurality of image signal generating units for generating an image signal; a threshold setting unit for which a threshold is set; and a partial image signal extracting unit for extracting a partial image signal selected from each of the plurality of image signals based on the threshold. In a wide dynamic range imaging device including a composite image signal generation unit that generates a single composite image signal corresponding to the entire photographed image of the subject based on the extracted partial image signal, the subject to be imaged is irradiated with light A wide dynamic range imaging device comprising: an illumination unit that controls the amount of light of the illumination unit for each imaging when acquiring the imaging signal .
According to this configuration, it is possible to acquire a plurality of captured images having different light amounts by controlling the light amount of the illumination unit and acquiring the image pickup signal every time the image is picked up. It is possible to realize a wide dynamic range imaging apparatus that can minimize the shift in the moving body composite image.
第２の手段は、第１の手段において、複数画像信号生成部は、一連の前記撮像時ごとの露光時間を一定にして前記撮像信号を取得し、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、露光時間を変化させることなく、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
According to a second means, in the first means, the multiple image signal generation unit acquires the image pickup signal with a constant exposure time for each of the series of the image pickup times, and generates the plurality of image signals. And a wide dynamic range imaging device.
According to this configuration, the exposure time for each imaging is fixed, and the light quantity of the illumination unit is controlled and the imaging signal is acquired for each imaging, thereby obtaining a plurality of images with different light quantities without changing the exposure time. An image can be acquired, and a wide dynamic range imaging device that can increase the frame rate in a low illumination environment and minimize the shift in the moving object composite image can be realized.
第３の手段は、第２の手段において、前記照明部は、前記照明制御部の制御により、少なくとも２つの異なる光度または点灯時間で被写体に光を照射することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光度または点灯時間を制御し撮像信号を取得することにより、露光時間を変化させることなく、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
A third means is the second means, wherein the illumination unit irradiates the subject with light at at least two different luminosities or lighting times under the control of the illumination control unit. It is.
According to this configuration, the exposure time for each imaging is fixed, and the light intensity or lighting time of the illumination unit is controlled for each imaging to acquire an imaging signal, so that the amount of light varies without changing the exposure time. A plurality of captured images can be acquired, and a wide dynamic range imaging device that can achieve a high frame rate in a low illuminance environment and minimize a shift in a moving object composite image can be realized.
第４の手段は、第１の手段において、前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を変化させて前記撮像信号を取得する際、前記照明部は、前記照明制御部の制御により、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、撮像信号を取得することにより、最も長い露光となる露光時間を長くせずに、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
According to a fourth means, in the first means, when the multiple image signal generation unit obtains the imaging signal by changing an exposure time for each of a series of the imaging, the illumination unit is the illumination control unit. With this control, the plurality of image signals are generated by irradiating the subject with light with the greatest luminous intensity during imaging with the longest exposure time.
According to this configuration, the exposure time that is the longest exposure is obtained by changing the exposure time for each imaging and irradiating the subject with light with the greatest luminous intensity at the time of imaging with the longest exposure time, and acquiring the imaging signal. Wide dynamic range imaging that makes it possible to acquire multiple captured images with different amounts of light without lengthening the time, increase the frame rate in a low-light environment, and minimize the shift in the moving object composite image A device can be realized.
第５の手段は、第４の手段において、前記複数画像信号生成部は、前記最も長い露光時間となる撮像時以外の撮像時には前記最も大きい光度よりも小さい一定の光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、それ以外の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、最も長い露光となる露光時間を長くせずに、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
A fifth means is the fourth means, wherein the multiple image signal generating unit irradiates the subject with light at a constant light intensity smaller than the largest light intensity at the time of image capturing other than at the time of image capturing at the longest exposure time. Thus, the wide dynamic range imaging apparatus is characterized in that the plurality of image signals are generated.
According to this configuration, the exposure time is changed every time the image is taken, and the subject is irradiated with light at the highest light intensity during the image taking the longest exposure time, and the subject is taken at a constant light intensity smaller than that at other times. By irradiating light and controlling the amount of light of the illumination unit at every imaging and acquiring an imaging signal, it is possible to acquire a plurality of captured images with different amounts of light without increasing the exposure time for the longest exposure. Therefore, it is possible to realize a wide dynamic range imaging device that can increase the frame rate in a low illumination environment and minimize the shift in the moving body composite image.
第６の手段は、第１の手段において、前記撮像素子は、ＣＭＯＳ構造であってローリングシャッター方式により露光の制御を行うことを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、ローリングシャッター方式を採用するＣＭＯＳ構造の撮像素子を有する撮像装置においても、画像が小さくなったり、暗くなったりすることがなく、一画面内の場所により明るさに差を生ずることのない、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
A sixth means is the wide dynamic range image pickup apparatus according to the first means, wherein the image pickup device has a CMOS structure and performs exposure control by a rolling shutter method.
According to this configuration, an image is reduced or darkened even in an imaging apparatus having a CMOS-structured imaging element that adopts a rolling shutter system by controlling the amount of light of the illumination unit and acquiring an imaging signal at every imaging. Wide dynamic range that enables high frame rates in low-light environments and minimization of shifts in moving object composite images without any difference in brightness depending on the location within one screen. An imaging device can be realized.
本発明によれば、低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくし、また、ＣＭＯＳ構造の撮像素子を有する撮像装置においても画面の明るさを確保し、さらに、ローリングシャッター方式のＣＭＯＳ構造の撮像素子である場合でも、一画面内の場所によって明るさに差を生じることがない広ダイナミックレンジ撮像装置を提供することが可能となり、また、１２０ｄＢ以上の非常に高コントラスト画像においてもフレームレートの低下を抑えて撮影することが可能となり、従来実用化の困難だった分野の安全性、保安性、信頼性の向上に貢献する広ダイナミックレンジ撮像装置を提供できる。 According to the present invention, the imaging frame rate is not reduced even in a low-light environment, and even when a moving object is imaged, the shift for each composite image when performing a composite process of a plurality of images is reduced, and Even in an image pickup apparatus having an image sensor with a CMOS structure, the brightness of the screen is ensured. Further, even in the case of a CMOS image sensor with a rolling shutter system, a difference in brightness may occur depending on the location in one screen. A wide dynamic range imaging device, and even in very high-contrast images of 120 dB or more, it is possible to shoot with a reduced frame rate, which has been difficult to put into practical use in the past. A wide dynamic range imaging device that contributes to improvements in safety, security, and reliability can be provided.
本発明の実施形態を図１ないし図１１を用いて説明する。
図１は、本実施形態の発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。
図２は、本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図である。
同図において、１は撮像光学系、２は撮像光学系１を構成する筐体、３は撮像光学系１における結像光学系を構成するために配置された複数枚の反射ミラー、４は撮像素子、５は広ダイナミックレンジカメラシステム基板、６は撮像光学系１に入射された光が撮像素子４に入射されるまでの光路である。
An embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a perspective view showing an appearance of a wide dynamic range imaging apparatus according to the invention of this embodiment.
FIG. 2 is a cross-sectional view of the imaging optical system 1 viewed from a cut surface parallel to the optical path applied to the wide dynamic range imaging apparatus of the present invention.
In the figure, 1 is an imaging optical system, 2 is a housing constituting the imaging optical system 1, 3 is a plurality of reflecting mirrors arranged to constitute an imaging optical system in the imaging optical system 1, and 4 is imaging. Element 5 is a wide dynamic range camera system substrate, and 6 is an optical path until light incident on the imaging optical system 1 enters the imaging element 4.
図３は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、７は制御回路部、７１は撮像素子４に結像された光学像に基づいて、複数の異なる光量レベルを有する画像信号を生成する複数画像信号生成部、７２は部分画像信号抽出用の閾値が設定されている閾値設定部、７３は、閾値設定部７２に設定されている閾値に基づいて、複数画像信号生成部７１で生成された複数の各画像信号から選択されるべき部分画像信号を抽出する部分画像信号抽出部、７４は部分画像信号抽出部７３から出力された撮像画像の明るさが補正された部分画像信号を合成して合成画像信号を生成する合成画像信号生成部、７５は合成画像信号生成部７４で生成された合成画像信号を出力する合成画像信号出力部、７６は、撮像信号を取得する際、照明部１０を制御する照明制御部、７７は撮像素子４及び照明制御部７６に対して撮像の同期を制御する撮像駆動部、８は合成画像を表示する画像表示部、１０は照明制御部７６の制御により被写体に光を照射する照明部である。なお、その他の構成は図２に示した同符号の構成に対応する。
FIG. 3 is a block diagram showing a control system of the wide dynamic range imaging apparatus according to the present invention.
In the figure, 7 is a control circuit unit, 71 is a multiple image signal generation unit that generates image signals having a plurality of different light levels based on an optical image formed on the image sensor 4, and 72 is a partial image signal extraction. The threshold setting unit 73 in which a threshold for use is set is a portion to be selected from each of the plurality of image signals generated by the plurality of image signal generation units 71 based on the threshold set in the threshold setting unit 72 A partial image signal extraction unit 74 that extracts an image signal, and a composite image signal generation unit 74 that generates a composite image signal by combining the partial image signals whose brightness of the captured image output from the partial image signal extraction unit 73 is corrected , 75 is a composite image signal output unit that outputs the composite image signal generated by the composite image signal generation unit 74, 76 is an illumination control unit that controls the illumination unit 10 when acquiring an imaging signal, and 77 is the image sensor 4. And Imaging drive unit for controlling the synchronization of the image pickup to the control section 76, 8 image display unit that displays the composite image, 10 denotes an illumination unit for emitting light to an object under the control of the lighting control unit 76. Other configurations correspond to the configurations of the same reference numerals shown in FIG.
図４（ａ）は、撮像素子４から取得された光量の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係を示す図であり、図４（ｂ）は、閾値設定部７２における閾値の設定例を示す図であり、図４（ｃ）は、部分画像信号抽出部７３において、取得された画像信号（１）〜（４）から、閾値設定部７２において設定された閾値に基づいて、抽出された部分画像信号（１’）〜（４’）と撮影画像の明るさとの関係を示す図である。 4A is a diagram showing a relationship between a plurality of image signals (1) to (4) having different light amounts acquired from the image sensor 4 and the brightness of the shooting environment, and FIG. FIG. 4C is a diagram illustrating an example of threshold setting in the threshold setting unit 72. FIG. 4C illustrates a setting in the threshold setting unit 72 from the acquired image signals (1) to (4) in the partial image signal extraction unit 73. It is a figure which shows the relationship between the partial image signal (1 ')-(4') extracted based on the threshold value made, and the brightness of a picked-up image.
次に、図３に示したブロック図に基づいて、本発明に係る広ダイナミックレンジ撮像装置の動作について説明する。
照明制御部７６は、後述の設定値に基づき、撮像時ごとに照明部１０の光量（点灯時間又は光度）を制御する。照明部１０は、照明制御部７６により制御され、被写体に光を照射する。照射を受けた被写体は、撮像光学系１を通して、その光学像をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）構造であってローリングシャッター方式により露光される撮像素子４に結像する。その際、撮像駆動部７７は、撮像素子４及び照明制御部７６に対して撮像の同期を制御する。複数画像信号生成部７１は、撮像素子４で結像された光学像に基づいて、複数の異なる露光レベルの画像信号を生成する。部分画像信号抽出部７３は、複数画像信号生成部７１で生成された光量の異なる複数の画像信号を、閾値設定部７２において設定された閾値に基づいて、部分画像信号を抽出する。合成画像信号生成部７４は、部分画像信号抽出部７３において抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
Next, the operation of the wide dynamic range imaging apparatus according to the present invention will be described based on the block diagram shown in FIG.
The illumination control unit 76 controls the amount of light (lighting time or light intensity) of the illumination unit 10 for each imaging based on a setting value described later. The illumination unit 10 is controlled by the illumination control unit 76 and irradiates the subject with light. The irradiated subject passes through the imaging optical system 1 and forms an optical image on the imaging element 4 having a CMOS (Complementary Metal Oxide Semiconductor) structure and exposed by a rolling shutter system. At that time, the imaging drive unit 77 controls the synchronization of imaging with respect to the imaging device 4 and the illumination control unit 76. The multiple image signal generation unit 71 generates a plurality of image signals with different exposure levels based on the optical image formed by the imaging element 4. The partial image signal extraction unit 73 extracts a partial image signal from the plurality of image signals generated by the multiple image signal generation unit 71 and having different light amounts based on the threshold set by the threshold setting unit 72. The composite image signal generation unit 74 generates one composite image signal corresponding to the entire photographed image of the subject based on the partial image signal extracted by the partial image signal extraction unit 73.
図５は、本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その１）である。また、図６は、本発明に係るダイナミックレンジ拡大のフローチャート（その１）である。
図５及び図６を用いて、本実施形態における広ダイナミックレンジシステム全体の処理手順を説明する。本実施形態は、上記第５の手段に対応するものであり、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、それ以外の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、光量の異なる複数の撮影画像を取得する広ダイナミックレンジ撮像装置である。なお、複数画像取得枚数は４枚を例にして述べる。
FIG. 5 is a diagram (part 1) of a wide dynamic range system using illumination and multi-image synthesis according to the present invention. FIG. 6 is a flowchart (part 1) for expanding the dynamic range according to the present invention.
The processing procedure of the entire wide dynamic range system in this embodiment will be described with reference to FIGS. The present embodiment corresponds to the fifth means, and changes the exposure time for each imaging, irradiates the subject with light with the greatest luminous intensity at the time of imaging with the longest exposure time, and other than that This is a wide dynamic range imaging device that irradiates a subject with light at a constant light intensity smaller than that and captures a plurality of captured images with different light amounts. The number of acquired multiple images will be described by taking four as an example.
図５においては、露光時間と光量の関係を表しており、露光時間を１／１、１／３２、１／４８０、１／４０３０と変化させつつ４回撮像し、最初の撮像時に、即ち、最も長い露光時間となる撮像時には、最も大きい光度で被写体に光を照射し、２回目以降の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、撮像している。なお、この実施例では、２回目以降の光度を一定にしているが、各回の光度を変化させてもよいし、光を照射しなくてもよい。また、最初の撮像時最も長い露光時間となる撮像を行っているが、上記４回の撮像を１セットとして周期的に繰り返すので、「最も長い露光時間となる撮像時」とは、「４回の撮像の中で最も長い露光時間となる撮像時」のことである。 In FIG. 5, the relationship between the exposure time and the amount of light is shown, and the image is taken four times while changing the exposure time to 1/1, 1/32, 1/480, and 1/4030, and at the first imaging, At the time of imaging that takes the longest exposure time, the subject is irradiated with light at the largest luminous intensity, and at the second and subsequent imaging, the subject is irradiated with light at a constant luminous intensity that is smaller than that and is imaged. In this embodiment, the light intensity after the second time is made constant, but the light intensity at each time may be changed or light may not be irradiated. In addition, although the imaging with the longest exposure time is performed at the time of the first imaging, the above four imagings are periodically repeated as one set, and therefore “at the imaging with the longest exposure time” means “4 times. "When taking an image having the longest exposure time among the above-mentioned images".
図６は、広ダイナミックレンジシステムにおけるメイン関数をフローチャートで表したものである。
まず、ステップＳ１において、本広ダイナミックレンジ撮像装置の電源が投入される。電源の投入は人間が行ってもよいし、タイマーなどの装置が行ってもよい。
ステップＳ２において、制御部内のＣＭＯＳレジスタ（図示せず）の設定を含め、周辺回路の初期設定を行う。この設定は、電源投入後に人間が行ってもよいが、好ましくは、記憶部（図示せず）に設定値を保存しておき、電源投入後に本システムが該記憶部に保存された値を取り出し、該ＣＭＯＳレジスタなどに設定を行うとよい。ＣＭＯＳレジスタの種類には、露光時間の異なる画像取得枚数、各撮像時の露光時間、各撮像時の光量（点灯時間および光度）などがある。該画像取得枚数は、少なくとも２枚以上の露光時間の異なる画像を取り込むように設定する。本実施形態では、画像取得枚数は４枚とし、各撮像時の露光時間は、それぞれ１／１、１／３２、１／４８０、１／４０３０とする。また、各撮像時の光量は、例えば、最初の撮像時の照明の光量を、即ち、図５との関係で述べれば、最も長い露光時間となる撮像時の照明の光量は１００とし、２回目以降の撮像時の照明の光量は１０とするといった具合に設定する。
ステップＳ３において、本システム、好適には撮像駆動部７７が、該設定に基づいた画像取り込みとそのデータの転送を撮像素子４に要求する。
ステップＳ４において、さらに、本システム、好適には撮像駆動部７７は、撮像素子４の画像取り込みと同期するように照明制御部７６を制御し、照明制御部７６は、該設定に基づいた光量で光を照射するように照明部１０を制御する。照明部１０は、好適には、明るさの立ち上がり・立ち下り特性が良いＬＥＤランプやキセノンランプを用いると良い。
ステップＳ５において、ＣＭＯＳの撮像素子４から転送された画像データをメモリへ取り込む。
ステップＳ６において、上記ステップＳ４とＳ５を、該設定に基づいた枚数分繰り返し、ここの例では４枚になった場合は、次のステップＳ７を行う。
ステップＳ７において、複数枚、ここでは４枚の画像を合成する。図４に基づき具体的に説明すれば、取得された複数の異なる光量レベルを有する画像信号（１）〜（４）に基づき、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
ステップＳ８において、得られた合成画像を合成画像出力部７５に出力し、画像表示部８、具体的にはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）モニター等の外部表示機器に表示される。
ステップＳ９において、終了要求がある場合は終了処理を行い、終了要求ない場合はステップＳ４に戻る。
FIG. 6 is a flowchart showing the main function in the wide dynamic range system.
First, in step S1, the wide dynamic range imaging apparatus is turned on. The power may be turned on by a human or a device such as a timer.
In step S2, peripheral circuits are initialized, including setting of a CMOS register (not shown) in the control unit. This setting may be performed by a human after the power is turned on, but preferably, the setting value is stored in a storage unit (not shown), and the system stores the value stored in the storage unit after the power is turned on. The CMOS register or the like may be set. The types of CMOS registers include the number of images acquired with different exposure times, the exposure time at each imaging, the light quantity (lighting time and luminous intensity) at each imaging. The number of acquired images is set so as to capture at least two images having different exposure times. In the present embodiment, the number of acquired images is four, and the exposure time at each imaging is 1/1, 1/32, 1/480, and 1/4030, respectively. The light quantity at the time of each imaging is, for example, the light quantity of the illumination at the time of the first imaging, that is, the light quantity of the illumination at the time of imaging that takes the longest exposure time is 100 in the relationship with FIG. The light quantity of illumination at the time of subsequent imaging is set to 10 and so on.
In step S3, the present system, preferably the imaging drive unit 77, requests the imaging device 4 to capture an image and transfer the data based on the setting.
In step S4, the system, preferably the imaging drive unit 77, further controls the illumination control unit 76 so as to synchronize with the image capture of the imaging device 4, and the illumination control unit 76 uses a light amount based on the setting. The illumination unit 10 is controlled to emit light. The illumination unit 10 is preferably an LED lamp or a xenon lamp with good brightness rising / falling characteristics.
In step S5, the image data transferred from the CMOS image sensor 4 is taken into the memory.
In step S6, the above steps S4 and S5 are repeated for the number of sheets based on the setting. In this example, when the number is four, the next step S7 is performed.
In step S7, a plurality of images, here four images, are synthesized. If it demonstrates concretely based on FIG. 4, the threshold value set in the threshold value setting part 72 in the partial image signal extraction part 73 based on the acquired image signal (1)-(4) which has several different light quantity levels. The image signal portions to be selected from the image signals (1) to (4) are extracted as partial image signals (1 ′) to (4 ′), respectively. Next, the composite image generation unit 74 generates one composite image signal corresponding to the entire captured image of the subject based on the extracted partial image signals (1 ′) to (4 ′).
In step S8, the obtained composite image is output to the composite image output unit 75 and displayed on the image display unit 8, specifically, an external display device such as a PC (Personal Computer) monitor.
In step S9, if there is an end request, end processing is performed, and if there is no end request, the process returns to step S4.
このように、最も長い露光となる撮像時に最も大きな光量の光を被写体に照射することにより、該最も長い露光となる露光時間をあまり長くする必要がなくなり、その結果、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。 In this way, by irradiating the subject with the largest amount of light at the time of imaging with the longest exposure, it is not necessary to make the exposure time for the longest exposure too long, and as a result, a high frame in a low illumination environment. It is possible to realize a wide dynamic range imaging device that enables rate conversion and minimization of a shift in a moving body composite image.
図７は、本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その２）である。また、図８は、本発明に係るダイナミックレンジ拡大のフローチャート（その２）である。
図７及び図８を用いて、本実施形態における広ダイナミックレンジシステム全体の処理手順を説明する。本実施形態は、上記第３の手段に対応するものであり、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光度を変化させ被写体に光を照射し、光量の異なる複数の撮影画像を取得する広ダイナミックレンジ撮像装置である。なお、複数画像取得枚数は４枚を例にして述べる。
FIG. 7 is a diagram (part 2) of a wide dynamic range system using illumination and multi-image synthesis according to the present invention. FIG. 8 is a flowchart (part 2) of the dynamic range expansion according to the present invention.
A processing procedure of the entire wide dynamic range system in the present embodiment will be described with reference to FIGS. The present embodiment corresponds to the third means described above. The exposure time for each imaging is constant, the luminous intensity of the illumination unit is changed for each imaging, the subject is irradiated with light, and a plurality of different light quantities are obtained. It is a wide dynamic range imaging device which acquires the picked-up image. The number of acquired multiple images will be described by taking four as an example.
図７においては、露光時間と光量の関係を表しており、露光時間は、各撮像時を通して、１／１と一定である。最初の撮像時に、最も大きい光度で被写体に光を照射し、２回目の撮像時には１回目の撮像時の光度よりも小さい光度で被写体に光を照射し、３回目の撮像時には２回目の撮像時の光度よりも小さい光度で被写体に光を照射し、４回目の撮像時には３回目の撮像時の光度よりも小さい光度で被写体に光を照射し、撮像している。なお、この実施例では、全ての撮像時において光を照射しているが、例えば、最後の撮像時には光を照射しなくてもよい。また、最初の撮像時に最も大きな光度の光を照射し撮像を行っているが、上記４回の撮像を１セットとして周期的に繰り返すので、「最初の撮像時に最も大きな光度の光を照射」とは、「４回の撮像の中で最も大きな光度の光を照射」のことである。 FIG. 7 shows the relationship between the exposure time and the amount of light, and the exposure time is constant at 1/1 throughout each imaging. During the first imaging, the subject is irradiated with light at the highest luminous intensity, during the second imaging, the subject is irradiated with light with a smaller luminous intensity than during the first imaging, and during the third imaging, during the second imaging. The subject is irradiated with light at a light intensity smaller than the first light intensity, and the subject is irradiated with light at a light intensity smaller than the light intensity at the time of the third imaging at the time of the fourth imaging. In this embodiment, light is emitted at the time of all imaging, but for example, light may not be emitted at the time of the last imaging. In addition, the imaging is performed by irradiating the light with the largest luminous intensity at the time of the first imaging. However, since the above four imagings are periodically repeated as one set, “irradiate the light with the greatest luminous intensity at the time of the first imaging”. Is “irradiating light with the greatest luminous intensity among the four imaging operations”.
図８は、広ダイナミックレンジシステムにおけるメイン関数をフローチャートで表したものである。
まず、ステップＳ１１において、本広ダイナミックレンジ撮像装置の電源が投入される。電源の投入は人間が行ってもよいし、タイマーなどの装置が行ってもよい。
ステップＳ１２において、制御部内のＣＭＯＳレジスタ（図示せず）の設定を含め、周辺回路の初期設定を行う。この設定は、電源投入後に人間が行ってもよいが、好ましくは、記憶部（図示せず）に設定値を保存しておき、電源投入後に本システムが該記憶部に保存された値を取り出し、該ＣＭＯＳレジスタなどに設定を行うとよい。ＣＭＯＳレジスタの種類には、露光時間の異なる画像取得枚数、各撮像時の露光時間、各撮像時の光量（点灯時間および光度）などがある。該画像取得枚数は、少なくとも２枚以上の一定の露光時間で画像を取り込むように設定する。本実施形態では、画像取得枚数は４枚とし、各撮像時の露光時間は、すべて１／１とする。また、各撮像時の光量は、例えば、最初の撮像時の照明の光量を、即ち、図７との関係で述べれば、最初の撮像時の照明の光量は１００、２回目の撮像時の照明の光量は５０、３回目の撮像時の照明の光量は２５、４回目の撮像時の照明の光量は１０といった具合に設定する。
ステップＳ１３において、本システム、好適には撮像駆動部７７が、該設定に基づいた画像取り込みとそのデータの転送を撮像素子４に要求する。
ステップＳ１４において、さらに、本システム、好適には撮像駆動部７７は、撮像素子４の画像取り込みと同期するように照明制御部７６を制御し、照明制御部７６は、該設定に基づいた光量で光を照射するように照明部１０を制御する。照明部１０は、好適には、明るさの立ち上がり・立ち下り特性が良いＬＥＤランプやキセノンランプを用いると良い。
ステップＳ１５において、ＣＭＯＳの撮像素子４から転送された画像データをメモリへ取り込む。
ステップＳ１６において、上記ステップＳ１４とＳ１５を、該設定に基づいた枚数分繰り返し、ここの例では４枚になった場合は、次のステップＳ１７を行う。
ステップＳ１７において、複数枚、ここでは４枚の画像を合成する。図４に基づき具体的に説明すれば、取得された複数の異なる光量レベルを有する画像信号（１）〜（４）に基づき、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
ステップＳ１８において、得られた合成画像を合成画像出力部７５に出力し、画像表示部８、具体的にはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）モニター等の外部表示機器に表示される。
ステップＳ１９において、終了要求がある場合は終了処理を行い、終了要求ない場合はステップＳ１４に戻る。
FIG. 8 is a flowchart showing the main function in the wide dynamic range system.
First, in step S11, the power supply of the wide dynamic range imaging apparatus is turned on. The power may be turned on by a human or a device such as a timer.
In step S12, the peripheral circuit is initialized including the setting of a CMOS register (not shown) in the control unit. This setting may be performed by a human after the power is turned on, but preferably, the setting value is stored in a storage unit (not shown), and the system stores the value stored in the storage unit after the power is turned on. The CMOS register or the like may be set. The types of CMOS registers include the number of images acquired with different exposure times, the exposure time at each imaging, the light quantity (lighting time and luminous intensity) at each imaging. The number of acquired images is set so as to capture an image with a fixed exposure time of at least two. In the present embodiment, the number of acquired images is four, and the exposure time during each imaging is all 1/1. In addition, the amount of light at each imaging is, for example, the amount of illumination at the time of first imaging, that is, in relation to FIG. 7, the amount of illumination at the time of first imaging is 100, and the illumination at the time of second imaging. The amount of illumination light is set to 50, the amount of illumination light for the third imaging is 25, and the amount of illumination light for the fourth imaging is set to 10.
In step S <b> 13, the system, preferably the imaging drive unit 77 requests the image sensor 4 to capture an image and transfer the data based on the setting.
In step S14, the present system, preferably the imaging drive unit 77, controls the illumination control unit 76 so as to synchronize with the image capture of the imaging device 4, and the illumination control unit 76 uses the light amount based on the setting. The illumination unit 10 is controlled to emit light. The illumination unit 10 is preferably an LED lamp or a xenon lamp with good brightness rising / falling characteristics.
In step S15, the image data transferred from the CMOS image sensor 4 is taken into the memory.
In step S16, the above steps S14 and S15 are repeated for the number of sheets based on the setting. In this example, when the number is four, the next step S17 is performed.
In step S17, a plurality of images, here four images, are synthesized. If it demonstrates concretely based on FIG. 4, the threshold value set in the threshold value setting part 72 in the partial image signal extraction part 73 based on the acquired image signal (1)-(4) which has several different light quantity levels. The image signal portions to be selected from the image signals (1) to (4) are extracted as partial image signals (1 ′) to (4 ′), respectively. Next, the composite image generation unit 74 generates one composite image signal corresponding to the entire captured image of the subject based on the extracted partial image signals (1 ′) to (4 ′).
In step S18, the obtained composite image is output to the composite image output unit 75, and displayed on the image display unit 8, specifically, an external display device such as a PC (Personal Computer) monitor.
In step S19, if there is an end request, end processing is performed, and if there is no end request, the process returns to step S14.
このように、撮像時ごとの露光時間を一定にし、照明部の光度のみを変化させて、光量の異なる複数の撮影画像を取得することにより、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。尚、照明部の点灯時間のみを変化させてもよい。 As described above, the exposure time for each imaging is constant, only the luminous intensity of the illuminating unit is changed, and a plurality of captured images with different light amounts are acquired, thereby increasing the frame rate in a low illumination environment and moving body synthesis. It is possible to realize a wide dynamic range imaging device that can minimize the deviation in the image. In addition, you may change only the lighting time of an illumination part.
図９は、本発明に係る撮像装置を広ダイナミックレンジの車載用カメラに適用した場合の説明図である。
同図に示すように、高レスポンスが要求される車載用カメラ１１として適用された広ダイナミックレンジの撮像装置を、車両の左右のヘッドライト付近に装着し、ヘッドライト１２の光量を制御し、相対的に移動する道路の白線を認識することに用いると、ヘッドライトを点灯しなければならない低照度環境下においてもフレームレートを低下させないため、カメラから見ると白線は常に動いているが、その合成画像ごとのズレは小さく抑えることができ、極めて有効な車載用カメラを提供できる。
FIG. 9 is an explanatory diagram when the imaging apparatus according to the present invention is applied to a wide dynamic range vehicle-mounted camera.
As shown in the figure, a wide dynamic range imaging device applied as a vehicle-mounted camera 11 requiring high response is mounted near the left and right headlights of the vehicle, the light quantity of the headlight 12 is controlled, and the relative When used for recognizing the white line of a moving road, the white line always moves when viewed from the camera because the frame rate does not decrease even in a low-light environment where the headlights must be turned on. The shift for each image can be suppressed to a small value, and an extremely effective vehicle-mounted camera can be provided.
図１０は、本発明に係る撮像装置をＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：現金自動預け払い機）コーナーなどの広ダイナミックレンジの監視用カメラに適用した場合の説明図である。
同図に示すように、監視用カメラ１３として適用された広ダイナミックレンジの撮像装置を、ＡＴＭコーナーでの人の振る舞いを監視するためにＡＴＭ周辺を撮影できる場所などに照明１４と共に設置し、常時監視を行うことにより、低照度環境の場所であってもフレームレートが低下しないため、人の振る舞いの抜けが小さくなり、一部始終を捉えることができるので、保安上極めて有効な監視カメラを提供できる。
FIG. 10 is an explanatory diagram when the imaging apparatus according to the present invention is applied to a wide dynamic range monitoring camera such as an ATM (Automated Teller Machine) corner.
As shown in the figure, an imaging device with a wide dynamic range applied as a surveillance camera 13 is installed together with illumination 14 in a place where an ATM can be photographed in order to monitor a person's behavior at an ATM corner. By monitoring, the frame rate does not decrease even in low-light environments, so the loss of human behavior is reduced and the entire picture can be captured, providing an extremely effective surveillance camera for security. it can.
図１１は、本発明に係る撮像装置を工場内の広ダイナミックレンジのＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）用カメラに適用した場合の説明図である。
同図に示すように、ＦＡ用カメラ１５として適用された広ダイナミックレンジの撮像装置を、例えば、レーザー半田付け装置付近に装備し、電子部品とプリント基板の半田付けの様子を、照明１６の光量を制御しながら撮像し、その撮像画像をＴＶモニターなどに表示する。これによって、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、撮像素子が飽和せずに安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。
FIG. 11 is an explanatory diagram when the imaging apparatus according to the present invention is applied to a FA (Factor Automation) camera having a wide dynamic range in a factory.
As shown in the figure, an imaging device with a wide dynamic range applied as the FA camera 15 is installed, for example, in the vicinity of a laser soldering device, and the state of soldering an electronic component and a printed circuit board is shown. The image is captured while controlling the image, and the captured image is displayed on a TV monitor or the like. As a result, the operator can safely check the laser processing status without being exposed to the danger of the laser, and a stable image can be obtained without saturating the image sensor. It is possible to realize an assist function for performing automatic soldering by accurately observing the attaching state.
１ 撮像光学系
２ 筐体
３ 反射ミラー
４ 撮像素子
５ ダイナミックレンジカメラシステム基板
６ 光路
７ 制御回路部
７１ 複数画像信号生成部
７２ 閾値設定部
７３ 部分画像信号抽出部
７４ 合成画像生成部
７５ 合成画像出力部
７６ 照明制御部
７７ 撮像駆動部
８ 画像表示部
９ 透明板（カバーガラス）
１０ 照明部
１１ 車載用カメラ
１２ ヘッドライト
１３ 監視カメラ
１４ 監視用照明
１５ ＦＡカメラ
１６ ＦＡ用照明
DESCRIPTION OF SYMBOLS 1 Image pick-up optical system 2 Case 3 Reflection mirror 4 Image pick-up element 5 Dynamic range camera system board | substrate 6 Optical path 7 Control circuit part 71 Multiple image signal generation part 72 Threshold setting part 73 Partial image signal extraction part 74 Composite image generation part 75 Composite image output Unit 76 Illumination control unit 77 Imaging drive unit 8 Image display unit 9 Transparent plate (cover glass)
DESCRIPTION OF SYMBOLS 10 Illumination part 11 Car-mounted camera 12 Headlight 13 Surveillance camera 14 Surveillance illumination 15 FA camera 16 FA illumination
Claims (6)
撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする広ダイナミックレンジ撮像装置。 An image sensor that forms an optical image of a subject with an imaging optical system, and a plurality of image signals that are generated from image signals acquired at at least two different light levels based on the optical image formed on the image sensor An image signal generation unit; a threshold setting unit in which a threshold is set; a partial image signal extraction unit that extracts a partial image signal selected from each of the plurality of image signals based on the threshold; and an extracted partial image In a wide dynamic range imaging device including a composite image signal generation unit that generates a single composite image signal corresponding to the entire captured image of a subject based on a signal,
A wide dynamic range imaging apparatus comprising: an illuminating unit that irradiates light to a subject to be imaged; and an illumination control unit that controls a light amount of the illuminating unit at every imaging for acquiring the imaging signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010019337A JP2011160133A (en) | 2010-01-29 | 2010-01-29 | Wide dynamic range imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010019337A JP2011160133A (en) | 2010-01-29 | 2010-01-29 | Wide dynamic range imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011160133A true JP2011160133A (en) | 2011-08-18 |
Family
ID=44591734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010019337A Pending JP2011160133A (en) | 2010-01-29 | 2010-01-29 | Wide dynamic range imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011160133A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905731A (en) * | 2014-03-26 | 2014-07-02 | 武汉烽火众智数字技术有限责任公司 | Broadband dynamic image collection method and system |
| CN107786815A (en) * | 2016-08-30 | 2018-03-09 | 比亚迪股份有限公司 | Active night vision adpative exposure method, system and vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11168659A (en) * | 1997-12-05 | 1999-06-22 | Olympus Optical Co Ltd | Electronic camera |
| JP2001054009A (en) * | 1999-08-10 | 2001-02-23 | Fuji Photo Film Co Ltd | Image pickup device and image pickup control method |
| JP2002369075A (en) * | 2001-06-04 | 2002-12-20 | Olympus Optical Co Ltd | Image pickup unit, picture processor, image pickup program and picture processing program |
| JP2009284136A (en) * | 2008-05-21 | 2009-12-03 | Nikon Corp | Electronic camera |
-
2010
- 2010-01-29 JP JP2010019337A patent/JP2011160133A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11168659A (en) * | 1997-12-05 | 1999-06-22 | Olympus Optical Co Ltd | Electronic camera |
| JP2001054009A (en) * | 1999-08-10 | 2001-02-23 | Fuji Photo Film Co Ltd | Image pickup device and image pickup control method |
| JP2002369075A (en) * | 2001-06-04 | 2002-12-20 | Olympus Optical Co Ltd | Image pickup unit, picture processor, image pickup program and picture processing program |
| JP2009284136A (en) * | 2008-05-21 | 2009-12-03 | Nikon Corp | Electronic camera |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905731A (en) * | 2014-03-26 | 2014-07-02 | 武汉烽火众智数字技术有限责任公司 | Broadband dynamic image collection method and system |
| CN107786815A (en) * | 2016-08-30 | 2018-03-09 | 比亚迪股份有限公司 | Active night vision adpative exposure method, system and vehicle |
| CN107786815B (en) * | 2016-08-30 | 2020-02-21 | 比亚迪股份有限公司 | Active night vision self-adaptive exposure method and system and vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7129983B2 (en) | Control of a flash unit in a digital camera | |
| US20090147077A1 (en) | Light-source control system, shutter control system, endoscope processor, and endoscope system | |
| JP4574185B2 (en) | Image pickup apparatus and flash device control method | |
| JP2009077057A (en) | Imaging apparatus, and control method for imaging apparatus | |
| US20100171875A1 (en) | Imager capturing an image with a rolling shutter | |
| US20090149705A1 (en) | Imaging-device driving unit, electronic endoscope, and endoscope system | |
| KR20070054183A (en) | Imaging device, imaging method, and imaging control program | |
| JP2007135140A (en) | Imaging apparatus | |
| JP2007215088A (en) | Color camera system in frame sequential method | |
| US20090206235A1 (en) | Method and device for adjusting flash intensity | |
| JP2009124260A (en) | Imaging apparatus | |
| JP2008529430A (en) | LED flash control | |
| JP2007127768A (en) | Imaging apparatus | |
| JP7013730B2 (en) | Image generation control device, image generation control method, and image generation control program | |
| JP5246590B2 (en) | Imaging apparatus, image generation method, and program | |
| JP4934123B2 (en) | Imaging apparatus and method | |
| JP2011160133A (en) | Wide dynamic range imaging apparatus | |
| US8681263B2 (en) | Imager capturing an image with a rolling shutter using flicker detection | |
| JP2006074693A (en) | Imaging apparatus | |
| KR20090059043A (en) | Photographing apparatus and photographing method | |
| JP2010068241A (en) | Image sensor and image capturing apparatus | |
| JP2014050001A (en) | Imaging display device and imaging method | |
| KR20050004905A (en) | Digital camera adapted for taking images with a flashlight and corresponding method | |
| JP2004266362A (en) | Electronic camera | |
| JP2011064859A (en) | Projection type image display device and focus control circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140603 |