JP2009089158A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2009089158A
JP2009089158A JP2007257819A JP2007257819A JP2009089158A JP 2009089158 A JP2009089158 A JP 2009089158A JP 2007257819 A JP2007257819 A JP 2007257819A JP 2007257819 A JP2007257819 A JP 2007257819A JP 2009089158 A JP2009089158 A JP 2009089158A
Authority
JP
Japan
Prior art keywords
visible light
region
video signal
infrared light
light region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007257819A
Other languages
Japanese (ja)
Inventor
Kazufumi Mizusawa
和史 水澤
Yasuhiro Matsushima
廉浩 松島
Takashi Kikuchi
隆 菊地
Hideyuki Iguchi
秀之 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2007257819A priority Critical patent/JP2009089158A/en
Priority to PCT/JP2008/002757 priority patent/WO2009044544A1/en
Publication of JP2009089158A publication Critical patent/JP2009089158A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of making an object easy to be visually recognized in the situation at night. <P>SOLUTION: An imaging apparatus includes an imaging element 12 divided into a visible light area and an infrared light area and a video signal processing means 13 for processing a video signal output from the imaging element 12. In the imaging element 12, pixels for detecting visible light and infrared light are arrayed, and the video signal processing means 13 is configured to process a video signal of visible light for a video signal output from the pixel corresponding to the visible light area and to process a video signal of infrared light for a video signal output from the pixel corresponding to the infrared light area. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、可視光および赤外光の映像を処理する撮像装置に関する。   The present invention relates to an imaging device that processes an image of visible light and infrared light.

波長の異なる光を分けて物体を撮像する従来のカメラとしては、透過する光の波長が所定波長領域内において、一方向に連続的に変化する連続干渉フィルタと、センサの素子がライン毎にそれぞれ該所定波長領域を細分した定波長の透過光のみを受光するよう配置された二次元イメージセンサとを有するものが知られている（例えば、特許文献１参照）。   As a conventional camera that images an object by dividing light with different wavelengths, a continuous interference filter in which the wavelength of transmitted light continuously changes in one direction within a predetermined wavelength region, and a sensor element for each line. One having a two-dimensional image sensor arranged so as to receive only transmitted light having a constant wavelength obtained by subdividing the predetermined wavelength region is known (for example, see Patent Document 1).

また、この種の従来のカメラとしては、光源によって照明される領域を撮像する第１のカメラと、第１のカメラとは感度が異なる波長帯域で同一方を撮像する第２のカメラと、第１および第２の各カメラによってそれぞれ撮像された画像を合成するカメラが知られている（例えば、特許文献２参照）。   In addition, as a conventional camera of this type, a first camera that captures an area illuminated by a light source, a second camera that captures the same one in a wavelength band having a sensitivity different from that of the first camera, There is known a camera that synthesizes images captured by the first and second cameras (see, for example, Patent Document 2).

また、可視光及び近赤外光に感度を有するＣＭＯＳで形成される各画素に、シアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）の色フィルタ、並びに、可視光領域及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタ（Ｘ）を形成した色フィルタを有し、可視光カラー画像及び近赤外光画像を独立に得る撮像装置が知られている（例えば、特許文献３参照）。   In addition, each pixel formed of CMOS having sensitivity to visible light and near infrared light includes cyan (Cy), yellow (Ye), and magenta (Mg) color filters, and a visible light region and near infrared light. 2. Description of the Related Art An imaging device that has a color filter that forms a filter (X) having a substantially constant transmittance regardless of wavelength in a region and independently obtains a visible light color image and a near-infrared light image is known (for example, a patent) Reference 3).

また、可視光の他に赤外線を検知する画素が１つのカラーセンサに組み込まれており、昼間は、近赤外光の映像を処理せずに可視光の映像を処理し、夜間は、可視光の映像を処理せずに近赤外光の映像を処理するなど、状況によって対象となる映像を切り替える撮像装置が知られている（例えば、非特許文献１参照）。
特開平０６−０１８３２９号公報 特開平０９−０３７１４７号公報 特開２００２−１４２２２８号公報 "松下電器産業、薄型カメラユニットに最適な耐久性の高いイメージセンサー"、 [online] 、[平成１９年８月６日検索] 、インターネット(ＵＲＬ： http://it.nikkei.co.jp/pc/news/digitalcamera.aspx?n=MMITdg000014052007) In addition to visible light, pixels that detect infrared light are built into a single color sensor. During the day, visible light images are processed without processing near-infrared light images, and at night, visible light is processed. There is known an imaging device that switches a target video depending on a situation, for example, processing a near-infrared light video without processing the video (see, for example, Non-Patent Document 1).
Japanese Patent Application Laid-Open No. 06-018329 JP 09-037147 A JP 2002-142228 A "Matsushita Electric Industrial, highly durable image sensor ideal for thin camera units", [online], [searched August 6, 2007], Internet (URL: http://it.nikkei.co.jp/ pc / news / digitalcamera.aspx? n = MMITdg000014052007)

しかしながら、可視光及び近赤外光の映像を生成する従来の撮像装置は、自動車に搭載された場合、例えば、夜間は可視光の映像を処理せずに近赤外光の映像を処理することで、普段見えない障害物が見えるが、中央車線を示す白線などが見えなくなるなどの課題があった。すなわち、従来の撮像装置では、状況に応じて可視光及び近赤外光のいずれの映像が適しているかが異なるため、可視光の映像、近赤外光の映像に対応して２台のカメラが必要となってしまう場合がある。   However, when a conventional imaging device that generates visible light and near-infrared light images is mounted on an automobile, for example, it processes near-infrared light images without processing visible light images at night. However, obstacles that are normally invisible can be seen, but the white line indicating the central lane cannot be seen. That is, in the conventional imaging apparatus, which of the visible light and the near-infrared light is suitable for the situation depends on the situation, two cameras corresponding to the visible light image and the near-infrared light image. May be required.

本発明は、このような課題を解決するもので、夜間などの状況で物体を視認させやすくすることができる撮像装置を提供することを目的としている。   The present invention solves such a problem, and an object of the present invention is to provide an imaging apparatus capable of easily viewing an object in a nighttime situation.

本発明の撮像装置は、可視光領域および赤外光領域に分割された撮像素子と、前記撮像素子から出力された前記可視光領域に対応した可視光の映像信号および前記赤外光領域に対応した赤外光の映像信号を処理する映像信号処理手段とを備えた構成を有している。
この構成により、可視光領域に対応した可視光の映像信号を処理すると共に赤外光領域に対応した赤外光の映像信号を処理するため、例えば、夜間などの状況でも目に見えるものがある領域を可視光領域とし、可視光領域でない領域を赤外光領域とすれば、それぞれの領域に映る物体を視認させやすくすることができる。 The imaging apparatus according to the present invention corresponds to an imaging device divided into a visible light region and an infrared light region, a visible light image signal corresponding to the visible light region output from the imaging device, and the infrared light region. And a video signal processing means for processing the infrared video signal.
With this configuration, the visible light image signal corresponding to the visible light region is processed and the infrared light image signal corresponding to the infrared light region is processed. If the region is a visible light region and a region that is not a visible light region is an infrared light region, an object reflected in each region can be easily seen.

また、本発明の撮像装置は、前記撮像素子には、可視光および赤外光を検知する画素が配列されており、前記画素が前記可視光の映像信号および前記赤外光の映像信号を出力し、前記映像信号処理手段が、前記可視光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記可視光の映像信号を処理し、前記赤外光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記赤外光の映像信号を処理する構成を有している。
この構成により、可視光領域に対応する画素から出力される映像信号に対しては可視光の映像信号を処理し、赤外光領域に対応する画素から出力される映像信号に対しては赤外光の映像信号を処理するため、例えば、夜間などの状況でも目に見えるものがある領域を可視光領域とし、可視光領域でない領域を赤外光領域とすれば、それぞれの領域に映る物体を視認させやすくすることができる。 In the imaging device of the present invention, pixels that detect visible light and infrared light are arranged in the imaging element, and the pixels output the visible light video signal and the infrared light video signal. The video signal processing means processes the video signal of the visible light with respect to the video signal output from the pixel of the imaging device corresponding to the visible light region, and corresponds to the infrared light region. For the video signal output from the pixel of the image sensor, the infrared video signal is processed.
With this configuration, a visible light video signal is processed for a video signal output from a pixel corresponding to the visible light region, and an infrared signal is output for a video signal output from a pixel corresponding to the infrared light region. In order to process video signals of light, for example, if an area that is visible even at night or the like is a visible light area, and an area that is not a visible light area is an infrared light area, an object reflected in each area It can be made easy to visually recognize.

また、本発明の撮像装置は、前記撮像素子が車両の周囲を撮像するよう設置されており、前記撮像素子の撮像領域のうち、前記周囲にある路面が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とする構成を有している。
この構成により、周囲にある路面が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域とするため、夜間などの状況で、可視光領域では路面にある車線などを視認させやすくし、赤外光領域では障害物を視認させやすくすることができる。 The imaging device of the present invention is installed so that the imaging device captures an image of the surroundings of a vehicle, and among the imaging regions of the imaging device, an area assumed to reflect the surrounding road surface is represented by the visible light. A region that is not the visible light region is used as the infrared light region.
With this configuration, the area assumed to show the surrounding road surface is the visible light area, and the non-visible light area is the infrared light area. In nighttime conditions, lanes on the road surface, etc. Can be easily recognized, and obstacles can be easily recognized in the infrared light region.

また、本発明の撮像装置は、前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、前記撮像素子の撮像領域のうち、前記前方にある対向車が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とする構成を有している。
この構成により、前方にある対向車が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域とするため、夜間などの状況で、可視光領域では対向車などを視認させやすくし、赤外光領域では障害物を視認させやすくすることができる。 In the imaging device of the present invention, the imaging element is installed so as to capture the front in the traveling direction of the vehicle, and the area on which the oncoming vehicle in front of the imaging area of the imaging element is assumed to be reflected is shown. Is the visible light region, and a region other than the visible light region is the infrared light region.
With this configuration, the area that is expected to show the oncoming vehicle in front is the visible light area, and the non-visible light area is the infrared light area. It is possible to make it easy to visually recognize an obstacle in the infrared light region.

また、本発明の撮像装置は、光を集光して前記被写体を結像するためのレンズを有し、前記可視光領域に対応した赤外光カットフィルタおよび前記赤外光領域に対応した可視光カットフィルタを前記レンズと前記撮像素子との間に備えた構成を有している。
この構成により、可視光領域に対応する光を赤外光カットフィルタで除去することで可視光の映像信号だけを処理し、赤外光領域に対応する光を可視光カットフィルタで除去することで赤外光の映像信号だけを処理するため、例えば、夜間などの状況でも目に見えるものがある領域を可視光領域とし、可視光領域でない領域を赤外光領域とすれば、それぞれの領域に映る物体を視認させやすくすることができる。
また、本発明の撮像装置は、前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、前記撮像素子の撮像領域のうち、前記車両の可視光ヘッドライトの光の到達範囲を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とする構成を有している。
この構成により、車両の可視光ヘッドライトの光の到達範囲を可視光領域とし、可視光領域でない領域を前記赤外光領域とするため、夜間などの状況で、可視光領域では可視光ヘッドライトの光の到達範囲を視認させやすくし、赤外光領域では障害物を視認させやすくすることができる。 In addition, the imaging apparatus of the present invention includes a lens for condensing light to form an image of the subject, an infrared light cut filter corresponding to the visible light region, and a visible light corresponding to the infrared light region. An optical cut filter is provided between the lens and the image sensor.
With this configuration, only the image signal of visible light is processed by removing the light corresponding to the visible light region with the infrared light cut filter, and the light corresponding to the infrared light region is removed with the visible light cut filter. In order to process only the infrared video signal, for example, if an area that is visible even at night or the like is a visible light area and a non-visible light area is an infrared light area, It is possible to make it easy to visually recognize the reflected object.
Moreover, the imaging device of the present invention is installed so that the imaging element images the front in the traveling direction of the vehicle, and the range of light of the visible light headlight of the vehicle in the imaging area of the imaging element is determined. The visible light region is used, and a region other than the visible light region is used as the infrared light region.
With this configuration, the visible light headlight of the vehicle has a visible light range, and the non-visible light region is the infrared light region. It is possible to make it easy to visually recognize the reachable range of the light, and to make the obstacle easily visible in the infrared light region.

以上のように、本発明は、夜間などの状況で物体を視認させやすくすることができる撮像装置を提供するものである。   As described above, the present invention provides an imaging apparatus capable of easily viewing an object in a situation such as nighttime.

以下、本発明の実施の形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（本発明の第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。撮像装置１０は、光を集光して被写体を結像するためのレンズ１１、レンズ１１から集光された光を映像信号に変換する撮像素子１２、および、撮像素子１２によって変換された映像信号を処理する映像信号処理手段１３によって構成されている。撮像装置１０は、例えば、車両の進行方向の前方を撮像するように車両に設置されている。なお、撮像装置１０は、特に車両の進行方向の前方には限定せず、車両の周囲を撮像してもよい。 (First embodiment of the present invention)
FIG. 1 is a block diagram of an imaging apparatus according to the first embodiment of the present invention. The imaging apparatus 10 includes a lens 11 for condensing light to form an image of a subject, an imaging element 12 for converting light collected from the lens 11 into a video signal, and a video signal converted by the imaging element 12. Is constituted by a video signal processing means 13 for processing. The imaging device 10 is installed in the vehicle so as to image the front in the traveling direction of the vehicle, for example. Note that the imaging device 10 is not particularly limited to the front in the traveling direction of the vehicle, and may capture the periphery of the vehicle.

撮像素子１２が撮像できる範囲となる撮像領域は、可視光領域と赤外光領域とに分割されている。可視光領域と赤外光領域とに分割された撮像領域の詳細な構成を図２に示す。   An imaging region that is a range that can be imaged by the imaging element 12 is divided into a visible light region and an infrared light region. FIG. 2 shows a detailed configuration of the imaging region divided into the visible light region and the infrared light region.

図２に示したように、撮像素子１２の撮像領域には、可視光および赤外光を検知する画素がｍ行ｎ列に配列されている。ｍ行ｎ列に配列される画素群は、予め決まっている可視光領域と赤外光領域とに分割されている。例えば、１列目〜ｋ列目にある画素が可視光領域と設定され、ｋ列目〜ｎ列目にある画素を赤外光領域と設定される。なお、ｋは１〜ｎにある値である。   As shown in FIG. 2, pixels that detect visible light and infrared light are arranged in m rows and n columns in the imaging region of the imaging device 12. A pixel group arranged in m rows and n columns is divided into a predetermined visible light region and infrared light region. For example, the pixels in the first column to the kth column are set as the visible light region, and the pixels in the kth column to the nth column are set as the infrared light region. Note that k is a value from 1 to n.

各画素は、可視光におけるＲ（赤）、Ｂ（青）、およびＧ（緑）の成分を検知するように構成されていると共に、近赤外光ＩＲにおける成分を検知するように構成されている。なお、可視光においては、Ｒ、Ｂ、Ｇに替えて、Ｃｙ（シアン）、Ｙｅ（黄）、Ｍｇ（マゼンダ）にしてもよい。   Each pixel is configured to detect R (red), B (blue), and G (green) components in visible light and configured to detect components in near-infrared light IR. Yes. In visible light, instead of R, B, and G, Cy (cyan), Ye (yellow), and Mg (magenta) may be used.

映像信号処理手段１３は、情報処理回路などによって構成され、撮像素子１２から出力された映像信号を処理するようになっている。映像信号処理手段１３は、可視光領域にある画素によって出力される映像信号からＲ、Ｂ、Ｇの成分の映像信号を処理するようになっている。また、映像信号処理手段１３は、赤外光領域にある画素によって出力される映像信号からＩＲの成分の映像信号を処理するようになっている。   The video signal processing means 13 is constituted by an information processing circuit or the like, and processes the video signal output from the image sensor 12. The video signal processing means 13 processes R, B, and G component video signals from video signals output by pixels in the visible light region. The video signal processing means 13 processes an IR component video signal from a video signal output by a pixel in the infrared light region.

また、映像信号処理手段１３は、映像信号に対してノイズ除去やゲイン調整を行ったり、映像信号に対して補正処理を行う。映像信号処理手段１３が出力した映像信号は、撮像装置１０と同じ車両に搭載されるディスプレイなどに表示される。   The video signal processing means 13 performs noise removal and gain adjustment on the video signal, and performs correction processing on the video signal. The video signal output by the video signal processing means 13 is displayed on a display or the like mounted on the same vehicle as the imaging device 10.

図３は、車載のディスプレイが表示する映像を表した図である。図３に示すように、ディスプレイ３０には、地平線３３の上に人３１の映像が表示されており、さらに、地平線３３の下に片側１車線３２の映像が表示されている。   FIG. 3 is a diagram showing an image displayed on the in-vehicle display. As shown in FIG. 3, the display 30 displays an image of the person 31 on the horizon 33, and further displays an image of one lane 32 on one side below the horizon 33.

ここで、図３の映像の領域を、地平線３３を境界にして路面上にある領域である上領域３４と路面が映る領域である下領域３５とに分割するものとし、上領域３４に対応するように赤外光領域が設定され、下領域３５に対応するように可視光領域が設定されるものとする。このように設定すれば、車両が夜間走行している最中に、運転者が、上領域３４の人３１がいることを赤外光による映像で確認することができ、下領域３５にある車線３２の白線などを可視光による映像で確認することができる。   3 is divided into an upper area 34 that is an area on the road surface and a lower area 35 that is an area in which the road surface is reflected, with the horizon 33 as a boundary, and corresponds to the upper area 34. The infrared light region is set as described above, and the visible light region is set so as to correspond to the lower region 35. With this setting, while the vehicle is traveling at night, the driver can confirm that there is a person 31 in the upper region 34 with an infrared image, and the lane in the lower region 35 32 white lines and the like can be confirmed with an image by visible light.

以上のように構成された本発明の第１の実施の形態に係る撮像装置の動作について説明する。図４は、本発明の第１の実施の形態に係る撮像装置の映像信号処理手段の動作を示すフローチャートである。   The operation of the imaging apparatus according to the first embodiment of the present invention configured as described above will be described. FIG. 4 is a flowchart showing the operation of the video signal processing means of the imaging apparatus according to the first embodiment of the present invention.

まず、映像信号処理手段１３は、撮像素子１２のｍ行ｎ列に配列された各画素から映像信号を順に取り込み（ステップＳ１１）、次に、取り込んだ映像信号の画素が可視光領域にあるものか赤外光領域にあるものかを判定する（ステップＳ１２）。   First, the video signal processing means 13 sequentially captures video signals from the pixels arranged in m rows and n columns of the image sensor 12 (step S11), and then the captured video signal pixels are in the visible light region. Or in the infrared light region (step S12).

取り込んだ映像信号の画素が可視光領域にある場合、映像信号処理手段１３は、ＩＲの成分の映像信号の処理を行わず、Ｒ、Ｂ、Ｇの成分の映像信号だけを処理する（ステップＳ１３）。取り込んだ映像信号の画素が赤外光領域にある場合、映像信号処理手段１３は、Ｒ、Ｂ、Ｇの成分の映像信号の処理を行わず、ＩＲの成分の映像信号だけを処理する（ステップＳ１４）。   When the captured video signal pixel is in the visible light region, the video signal processing means 13 does not process the IR component video signal, but processes only the R, B, and G component video signals (step S13). ). When the captured video signal pixel is in the infrared light region, the video signal processing means 13 does not process the R, B, and G component video signals, but only processes the IR component video signals (steps). S14).

以上説明したように、本発明の第１の実施の形態に係る撮像装置は、撮像領域のうち可視光で見たい領域には可視光領域が設定され、赤外光で見たい領域には赤外光領域が設定され、可視光領域に対応する画素から出力される映像信号に対しては可視光の映像信号だけを処理し、赤外光領域に対応する画素から出力される映像信号に対しては赤外光の映像信号だけを処理するため、夜間などの状況で物体を視認させやすくすることができる。また、カメラを複数台使用することなく１台のカメラで実現できる。   As described above, in the imaging device according to the first embodiment of the present invention, a visible light region is set in a region desired to be seen with visible light in the imaging region, and red is designated in a region desired to be seen with infrared light. For the video signal output from the pixel corresponding to the visible light region with the outside light region set, only the visible light video signal is processed, and the video signal output from the pixel corresponding to the infrared light region is processed. Since only the infrared video signal is processed, the object can be easily seen in the nighttime situation. Further, it can be realized by one camera without using a plurality of cameras.

図３の映像領域では、地平線３３を境界にして上領域３４に対応する赤外光領域と、可視光領域に対応する下領域３５とに分割するものとしたが、映像領域のうち自車線の路面が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。また、自車両から一定距離（３０ｍもしくは８０ｍ）が離れた路面が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。
また、車両の可視光ヘッドライトの光の到達範囲を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。さらに、可視光ヘッドライトのハイビームまたはロービームの切替えに連動して可視光領域および赤外光領域の範囲がハイビームまたはロービームの光の到達範囲に対応するよう変更されてもよい。 In the video area of FIG. 3, it is divided into an infrared light area corresponding to the upper area 34 and a lower area 35 corresponding to the visible light area with the horizon 33 as a boundary. An area assumed to reflect the road surface may be a visible light area, and an area that is not a visible light area may be an infrared light area. In addition, a region that is assumed to show a road surface that is a certain distance (30 m or 80 m) from the host vehicle may be a visible light region, and a region that is not a visible light region may be an infrared light region.
Further, the reachable range of the visible light headlight of the vehicle may be the visible light region, and the region that is not the visible light region may be the infrared light region. Furthermore, the range of the visible light region and the infrared light region may be changed to correspond to the arrival range of the light of the high beam or the low beam in conjunction with the switching of the high beam or the low beam of the visible light headlight.

また、最近では、ハイビームと兼用の近赤外線投光器を車両に搭載し、赤外線投光器から近赤外線を車両の進行方向の前方に照射し、夜間走行している車両の進行方向の前方を赤外線カメラで撮影し、赤外線カメラで車両の進行方向の前方にある物体を検知することで、夜間でも歩行者などを検知するものがある。このように近赤外線投光器を搭載した車両が対向車として現れると、撮像装置１０は、赤外光領域で対向車を視認させることが困難となってしまう。このため、図５に示すように、近赤外線投光器５２を有する対向車５１が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。なお、図５に示すように、可視光領域と赤外光領域との間に破線で示している境界線を示している。   Recently, a near-infrared projector that is also used as a high beam is mounted on the vehicle, and the infrared projector emits near-infrared light in front of the traveling direction of the vehicle. However, there is an infrared camera that detects a pedestrian or the like even at night by detecting an object in front of the traveling direction of the vehicle. Thus, when a vehicle equipped with a near-infrared projector appears as an oncoming vehicle, it becomes difficult for the imaging device 10 to visually recognize the oncoming vehicle in the infrared light region. For this reason, as shown in FIG. 5, it is good also considering the area | region assumed that the oncoming vehicle 51 which has the near-infrared light projector 52 is reflected as a visible light area | region, and an area | region which is not a visible light area | region as an infrared light area | region. In addition, as shown in FIG. 5, the boundary line shown with the broken line is shown between the visible light region and the infrared light region.

撮像装置１０は、対向車の有無を判定できるセンサなどを設け、対向車が無い場合は撮像領域全てを赤外光領域とし、対向車があった場合だけ対向車が映ると想定される領域を可視光領域とするよう、可視光領域を切り替えてもよい。   The imaging device 10 is provided with a sensor or the like that can determine the presence or absence of an oncoming vehicle. When there is no oncoming vehicle, the entire imaging region is set as an infrared light region, and an area where an oncoming vehicle is assumed to be reflected only when there is an oncoming vehicle. The visible light region may be switched so as to be a visible light region.

（本発明の第２の実施の形態）
図６は、本発明の第２の実施の形態に係る撮像装置のブロック図である。撮像装置２０は、光を集光して被写体を結像するためのレンズ１１、レンズ１１から集光された光を映像信号に変換する撮像素子２２、撮像素子２２によって変換された映像信号を処理する映像信号処理手段２３、赤外光領域に対応した可視光カットフィルタ２４および可視光領域に対応した赤外光カットフィルタ２５によって構成されている。撮像装置２０は、例えば、車両の進行方向を撮像するように車両に設置されている。 (Second embodiment of the present invention)
FIG. 6 is a block diagram of an imaging apparatus according to the second embodiment of the present invention. The imaging apparatus 20 processes a video signal converted by the imaging element 22, a lens 11 that focuses light to form an object, an imaging element 22 that converts the light collected from the lens 11 into a video signal, and the like. And a visible light cut filter 24 corresponding to the infrared light region and an infrared light cut filter 25 corresponding to the visible light region. The imaging device 20 is installed in the vehicle so as to image the traveling direction of the vehicle, for example.

赤外光カットフィルタ２５は、撮像素子２２の撮像領域を分割した可視光領域に対応する位置に配置されている。可視光カットフィルタ２４は、撮像素子２２の撮像領域を分割した赤外光領域に対応する位置に配置されている。   The infrared light cut filter 25 is disposed at a position corresponding to the visible light region obtained by dividing the imaging region of the image sensor 22. The visible light cut filter 24 is disposed at a position corresponding to the infrared light region obtained by dividing the imaging region of the image sensor 22.

撮像素子２２が撮像できる範囲となる撮像領域は、可視光領域と赤外光領域とに分割されている。撮像素子２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなど構成されており、撮像素子１２のように同一画素内に同時に赤外光と可視光とを検知できるものではない。   An imaging region that is a range that can be imaged by the imaging element 22 is divided into a visible light region and an infrared light region. The image sensor 22 is configured by a CMOS (Complementary Metal Oxide Semiconductor) sensor or the like, and cannot detect infrared light and visible light in the same pixel at the same time as the image sensor 12.

映像信号処理手段２３は、情報処理回路などによって構成され、撮像素子２２から出力された映像信号を処理するようになっている。なお、映像信号処理手段２３は、映像信号処理手段１３に説明したように、可視光領域にある画素および赤外光領域にある画素を区別して映像信号を処理することはない。   The video signal processing means 23 is constituted by an information processing circuit or the like, and processes the video signal output from the image sensor 22. Note that, as described in the video signal processing unit 13, the video signal processing unit 23 does not distinguish between pixels in the visible light region and pixels in the infrared light region and process the video signal.

また、映像信号処理手段２３は、映像信号に対してノイズ除去やゲイン調整を行ったり、映像信号に対して補正処理を行う。映像信号処理手段２３が出力した映像信号は、撮像装置２０と同じ車両に搭載されるディスプレイなどに表示される。   The video signal processing means 23 performs noise removal and gain adjustment on the video signal, and performs correction processing on the video signal. The video signal output from the video signal processing means 23 is displayed on a display or the like mounted on the same vehicle as the imaging device 20.

図３は、車載のディスプレイが表示する映像を表した図である。赤外光カットフィルタ２５は、下領域３５の可視光領域に対応するような位置に配置され、可視光カットフィルタ２４は、上領域３４の赤外光領域に対応するような位置に配置される。   FIG. 3 is a diagram showing an image displayed on the in-vehicle display. The infrared light cut filter 25 is disposed at a position corresponding to the visible light region of the lower region 35, and the visible light cut filter 24 is disposed at a position corresponding to the infrared light region of the upper region 34. .

赤外光カットフィルタ２５は、映像領域のうち自車線の路面が映ると想定される可視光領域に対応するような位置に配置されてもよく、可視光カットフィルタ２４は、可視光領域でない赤外光領域に対応するような位置に配置されてもよい。また、赤外光カットフィルタ２５は、対向車が映ると想定される可視光領域に対応するような位置に配置されてもよい。   The infrared light cut filter 25 may be disposed at a position corresponding to a visible light region in which the road surface of the own lane is assumed to be reflected in the video region, and the visible light cut filter 24 is a red that is not in the visible light region. You may arrange | position in the position corresponding to an external light area | region. Further, the infrared light cut filter 25 may be disposed at a position corresponding to a visible light region where an oncoming vehicle is assumed to be reflected.

以上説明したように、本発明の第２の実施の形態に係る撮像装置は、可視光領域に対応した赤外光カットフィルタ２５および赤外光領域に対応した可視光カットフィルタ２４を備え、可視光領域に対応する光を赤外光カットフィルタ２５で除去することで可視光の映像信号だけを処理し、赤外光領域に対応する光を可視光カットフィルタ２４で除去することで赤外光の映像信号だけを処理するため、夜間などの状況で物体を視認させやすくすることができる。   As described above, the imaging apparatus according to the second embodiment of the present invention includes the infrared light cut filter 25 corresponding to the visible light region and the visible light cut filter 24 corresponding to the infrared light region, and is visible. Only the visible light image signal is processed by removing light corresponding to the light region by the infrared light cut filter 25, and infrared light is removed by removing light corresponding to the infrared light region by the visible light cut filter 24. Since only the video signal is processed, it is possible to make it easy to visually recognize an object in a nighttime situation.

以上のように、本発明は、夜間などの状況で物体を視認させやすくすることができるという効果を有し、車両などに設置される撮像装置等として有用である。   As described above, the present invention has an effect of making it easy to visually recognize an object in a situation such as nighttime, and is useful as an imaging device or the like installed in a vehicle or the like.

本発明の第１の実施の形態に係る撮像装置のブロック図1 is a block diagram of an imaging apparatus according to a first embodiment of the present invention. 本発明の第１の実施の形態に係る撮像素子の構成図1 is a configuration diagram of an image sensor according to a first embodiment of the present invention. 車載のディスプレイが表示する映像を表した図A diagram showing the video displayed on the in-vehicle display 本発明の第１の実施の形態に係る撮像装置の映像信号処理手段の動作を示すフローチャートThe flowchart which shows operation | movement of the video signal processing means of the imaging device which concerns on the 1st Embodiment of this invention. 車載のディスプレイが表示する映像を表した図A diagram showing the video displayed on the in-vehicle display 本発明の第２の実施の形態に係る撮像装置のブロック図The block diagram of the imaging device which concerns on the 2nd Embodiment of this invention

符号の説明Explanation of symbols

１０、２０ 撮像装置
１１ レンズ
１２、２２ 撮像素子
１３、２３ 映像信号処理手段
２４ 可視光カットフィルタ
２５ 赤外光カットフィルタ
３０ ディスプレイ
３１ 人
３２ 車線
３３ 地平線
３４ 上領域
３５ 下領域 DESCRIPTION OF SYMBOLS 10, 20 Image pick-up device 11 Lens 12, 22 Image pick-up element 13, 23 Image signal processing means 24 Visible light cut filter 25 Infrared light cut filter 30 Display 31 Person 32 Lane 33 Horizon 34 Upper area 35 Lower area

Claims (6)

可視光領域および赤外光領域に分割された撮像素子と、
前記撮像素子から出力された前記可視光領域に対応した可視光の映像信号および前記赤外光領域に対応した赤外光の映像信号を処理する映像信号処理手段と、
を備えたことを特徴とする撮像装置。 An imaging device divided into a visible light region and an infrared light region;
Video signal processing means for processing a visible light video signal corresponding to the visible light region and an infrared light video signal corresponding to the infrared light region output from the imaging device;
An imaging apparatus comprising: 前記撮像素子には、可視光および赤外光を検知する画素が配列されており、前記画素が前記可視光の映像信号および前記赤外光の映像信号を出力し、
前記映像信号処理手段が、前記可視光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記可視光の映像信号を処理し、前記赤外光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記赤外光の映像信号を処理することを特徴とする請求項１に記載の撮像装置。 In the imaging device, pixels that detect visible light and infrared light are arranged, the pixels output the video signal of the visible light and the video signal of the infrared light,
The video signal processing means processes the video signal of the visible light for a video signal output from a pixel of the image sensor corresponding to the visible light region, and the image sensor corresponding to the infrared light region. The imaging apparatus according to claim 1, wherein the image signal of the infrared light is processed for an image signal output from the pixel. 前記撮像素子が車両の周囲を撮像するよう設置されており、
前記撮像素子の撮像領域のうち、前記周囲にある路面が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とすることを特徴とする請求項２に記載の撮像装置。 The image sensor is installed to image the surroundings of the vehicle;
3. The imaging region of the imaging device, wherein a region where the surrounding road surface is assumed to be reflected is the visible light region, and a region that is not the visible light region is the infrared light region. The imaging device described in 1. 前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、
前記撮像素子の撮像領域のうち、前記前方にある対向車が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とすることを特徴とする請求項２に記載の撮像装置。 The image sensor is installed to image the front of the vehicle in the traveling direction;
The region that is assumed to show the oncoming vehicle in front of the imaging device is the visible light region, and the region that is not the visible light region is the infrared light region. 2. The imaging device according to 2. 光を集光して前記被写体を結像するためのレンズを有し、
前記可視光領域に対応した赤外光カットフィルタおよび前記赤外光領域に対応した可視光カットフィルタを前記レンズと前記撮像素子との間に備えたことを特徴とする請求項１に記載の撮像装置。 A lens for condensing light and imaging the subject;
The imaging according to claim 1, further comprising an infrared light cut filter corresponding to the visible light region and a visible light cut filter corresponding to the infrared light region between the lens and the imaging element. apparatus. 前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、
前記撮像素子の撮像領域のうち、前記車両の可視光ヘッドライトの光の到達範囲を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とすることを特徴とする請求項２に記載の撮像装置。 The image sensor is installed to image the front of the vehicle in the traveling direction;
3. The reachable range of the visible light headlight of the vehicle among the image pickup areas of the image pickup device is defined as the visible light area, and an area other than the visible light area is defined as the infrared light area. The imaging device described in 1.
JP2007257819A 2007-10-01 2007-10-01 Imaging apparatus Pending JP2009089158A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007257819A JP2009089158A (en) 2007-10-01 2007-10-01 Imaging apparatus
PCT/JP2008/002757 WO2009044544A1 (en) 2007-10-01 2008-10-01 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007257819A JP2009089158A (en) 2007-10-01 2007-10-01 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2009089158A true JP2009089158A (en) 2009-04-23

Family

ID=40525976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007257819A Pending JP2009089158A (en) 2007-10-01 2007-10-01 Imaging apparatus

Country Status (2)

Country Link
JP (1) JP2009089158A (en)
WO (1) WO2009044544A1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082856A (en) * 2009-10-08 2011-04-21 Hoya Corp Imaging apparatus
JP2011081657A (en) * 2009-10-08 2011-04-21 Hoya Corp Imaging system
JP2011082855A (en) * 2009-10-08 2011-04-21 Hoya Corp Imaging apparatus
JP2011222900A (en) * 2010-04-14 2011-11-04 Hamamatsu Photonics Kk Solid-state imaging apparatus
US8896744B2 (en) 2011-03-16 2014-11-25 Kabushiki Kaisha Toshiba Solid-state imaging device and camera module with IR filter having wavelength characteristics to block both IR and selected visible light band depending on detection target of pixel cells
WO2017217053A1 (en) * 2016-06-17 2017-12-21 シャープ株式会社 Imaging device and filter
KR20180037557A (en) * 2016-10-04 2018-04-12 삼성전기주식회사 Iris scan camera module and mobile device including the same
JP2019189384A (en) * 2018-04-23 2019-10-31 トーヨーカネツソリューションズ株式会社 Block mechanism of transport device
US10763295B2 (en) 2016-06-15 2020-09-01 Sony Corporation Imaging apparatus and electronic device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2464124A1 (en) * 2010-12-13 2012-06-13 Research In Motion Limited System and method of capturing low-light images on a mobile device
JP5904825B2 (en) * 2012-03-05 2016-04-20 本田技研工業株式会社 Image processing device
CN106856374A (en) 2017-03-08 2017-06-16 浙江驰力科技股份有限公司 Low-frequency alternating electric field generation device and system, Signal Regulation method
JP6747465B2 (en) * 2018-03-06 2020-08-26 株式会社ニコン Electronics

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132860A (en) * 1997-10-28 1999-05-21 Matsushita Electric Ind Co Ltd Solid imaging device
JP2001189926A (en) * 1999-12-28 2001-07-10 Mitsubishi Electric Corp Image pickup device for road monitor
JP3909691B2 (en) * 2002-09-12 2007-04-25 株式会社日立製作所 In-vehicle image processing device
JP4678172B2 (en) * 2004-11-22 2011-04-27 株式会社豊田中央研究所 Imaging device
JP4932293B2 (en) * 2006-03-23 2012-05-16 本田技研工業株式会社 Obstacle recognition device
JP2007124676A (en) * 2006-11-22 2007-05-17 Hitachi Ltd On-vehicle image processor

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082856A (en) * 2009-10-08 2011-04-21 Hoya Corp Imaging apparatus
JP2011081657A (en) * 2009-10-08 2011-04-21 Hoya Corp Imaging system
JP2011082855A (en) * 2009-10-08 2011-04-21 Hoya Corp Imaging apparatus
JP2011222900A (en) * 2010-04-14 2011-11-04 Hamamatsu Photonics Kk Solid-state imaging apparatus
US8896744B2 (en) 2011-03-16 2014-11-25 Kabushiki Kaisha Toshiba Solid-state imaging device and camera module with IR filter having wavelength characteristics to block both IR and selected visible light band depending on detection target of pixel cells
US10763295B2 (en) 2016-06-15 2020-09-01 Sony Corporation Imaging apparatus and electronic device
WO2017217053A1 (en) * 2016-06-17 2017-12-21 シャープ株式会社 Imaging device and filter
JPWO2017217053A1 (en) * 2016-06-17 2019-01-31 シャープ株式会社 Image pickup apparatus and filter
CN109313379A (en) * 2016-06-17 2019-02-05 夏普株式会社 Image pickup device and optical filter
KR20180037557A (en) * 2016-10-04 2018-04-12 삼성전기주식회사 Iris scan camera module and mobile device including the same
JP2019189384A (en) * 2018-04-23 2019-10-31 トーヨーカネツソリューションズ株式会社 Block mechanism of transport device

Also Published As

Publication number Publication date
WO2009044544A1 (en) 2009-04-09

Similar Documents

Publication Publication Date Title
JP2009089158A (en) Imaging apparatus
US8767074B2 (en) System and method of assisting visibility of driver
US11228700B2 (en) Vehicle vision system camera with adaptive field of view
JP5171723B2 (en) Obstacle detection device and vehicle equipped with the device
JP7370413B2 (en) Solid-state imaging devices and electronic equipment
TWI757419B (en) Camera device, camera module and camera control method
WO2013140873A1 (en) In-vehicle image processing device and method
JP5951785B2 (en) Image processing apparatus and vehicle forward monitoring apparatus
KR20230116082A (en) Imaging apparatus and electronic device
JP4798945B2 (en) Imaging device
JP2001174696A (en) Color image pickup unit
JP2006254318A (en) Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method
JP2014026396A (en) Movable surface boundary line recognition device, movable body having movable surface boundary line recognition device, movable surface boundary line recognition method, and movable surface boundary line recognition program
JP2006178652A (en) Vehicle environment recognition system and image processor
JP2001257923A (en) Image pickup device
JP2013250694A (en) Image processing apparatus
JP4795813B2 (en) Vehicle perimeter monitoring device
JP2007329749A (en) Imaging element, imaging apparatus, and image processor
JP4723934B2 (en) Object search device
US20200213486A1 (en) Vehicle camera system and method
JP2006024120A (en) Image processing system for vehicles and image processor
JPH09231379A (en) Device for recognizing traveling lane by picture processing
WO2023286297A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2023100640A1 (en) Semiconductor device, signal processing method, and program
TW202416721A (en) Solid-state imaging device and electronic device