JP2011233983A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2011233983A
JP2011233983A JP2010100291A JP2010100291A JP2011233983A JP 2011233983 A JP2011233983 A JP 2011233983A JP 2010100291 A JP2010100291 A JP 2010100291A JP 2010100291 A JP2010100291 A JP 2010100291A JP 2011233983 A JP2011233983 A JP 2011233983A
Authority
JP
Japan
Prior art keywords
light
unit
infrared
signal
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010100291A
Other languages
English (en)
Other versions
JP5485004B2 (ja
Inventor
Kazutoshi Onozawa
和利 小野澤
Takehisa Kato
剛久 加藤
Shinzo Kayama
信三 香山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010100291A priority Critical patent/JP5485004B2/ja
Priority to PCT/JP2010/005912 priority patent/WO2011132241A1/ja
Publication of JP2011233983A publication Critical patent/JP2011233983A/ja
Priority to US13/611,586 priority patent/US20130002882A1/en
Application granted granted Critical
Publication of JP5485004B2 publication Critical patent/JP5485004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Abstract

【課題】夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供する。
【解決手段】本発明に係る撮像装置は、固体撮像素子１０と、赤外光を発光する赤外ＬＥＤ７０と、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部６０と、赤外ＬＥＤ７０の非発光期間および発光期間に同期して、固体撮像素子１０から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部２０とを備え、固体撮像素子１０は、緑色の可視光と赤外光とを受光する画素と、赤色の可視光と赤外光とを受光する画素と、青色の可視光と赤外光とを受光する画素と、赤外光を受光する画素とを備えた単位配列が２次元配列された撮像領域を有する。
【選択図】図１

Description

本発明は、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力できる撮像装置に関する。
従来、監視カメラやネットワークカメラなど、昼夜を問わずに使用するカメラでは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子が用いられている。これらの固体撮像素子は４００ｎｍ〜１０００ｎｍ程度の波長領域に感度を有し、被写体からの光をそのまま入射させると、赤外線領域の波長成分（約７００ｎｍ〜１０００ｎｍ）に対する感度により、画像が赤みを帯びたようになる。そのため、レンズと固体撮像素子との間に赤外線カットフィルタを挿入して赤外線領域の波長成分の光を除去している。このようにして、赤外線をカットすることにより、上記カメラは、人間が目で見るのと同様の色再現性を実現している。
ところが、上述したように、赤外線領域の波長成分の光を除去すると、昼間のように明るいときは色再現が良好なカラー画像が得られるが、夜間のように可視光が少なく暗いときには昼間のような良好な画像が得られない。
特許文献１及び２では、夜間には固体撮像素子の受光部に入力される光の量をできるだけ多くするため赤外線カットフィルタは使用せず、赤外線領域を含んだ光を固体撮像素子の受光部に入力させて画像を得ることが開示されている。
さらに、セキュリティ用途には、人の目に全く感じない８５０ｎｍ付近の赤外線領域の光を照射する赤外線照明装置が使われ始めている。このような赤外線照明装置には、赤外光を発光する赤外ＬＥＤなどが用いられる。これにより、犯罪が行われた場合に犯人が撮影されていることを全く認識できないにも関わらず、カメラからはコントラストが鮮やかな映像が得られる。よって、赤外線照明装置を備えたカメラは、暗視状態での監視が可能となり、これが大きな利点となっている。
特開平１１―２３９３５６号公報 特開２００２―１３５７８８号公報
しかしながら、前述した従来技術では、赤外線カットフィルタの挿入及び離脱を実現するためのメカ機構が必要である。このようなメカ機構では、瞬時に赤外線カットフィルタを挿入または離脱することができないため、映像の切り替えにタイムラグが生じる。さらに上記切り替えの繰り返しにより機械的な故障を起こすなど、信頼性に課題を有する。
さらに、ＬＥＤ等を用いた赤外線照明装置を用いた場合、赤外線を照射した被写体を撮影するため、その画像はカラー画像とはならず、当該画像だけでは犯人の服装の色等、被写体の色を特定できないという課題を有する。
本発明は、上記課題に鑑みてなされたものであり、夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る撮像装置は、緑色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、赤色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とを備えた一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、赤外光を発光する発光素子と、前記発光素子に、フレーム時間を単位として発光または消光させることにより、赤外光をパルス発光させる発光制御部と、前記発光制御部により発光または消光する前記発光素子の非発光期間および発光期間に同期して、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部とを備えることを特徴とする。
これにより、撮像装置は、メカ機構を設けずに、１フレーム単位で、カラー可視光画像と赤外光画像とを電子的に高速に切り替えて、双方の画像を撮像することが可能となる。上記カラー可視光画像および上記赤外光画像を選択して、また両方を見ることにより、上記カラー可視光画像で影になって隠れた部分でもコントラスト良く認識でき、さらに、上記赤外光画像だけでは認識できない服装の色等の被写体の色を、カラー可視光画像で特定することが可能となる。
また、前記信号抽出部は、前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、前記赤外差分部により生成されたカラー信号および前記第１から４単位画素のいずれかの画素より生成された輝度信号から、前記可視光によるカラー画像信号または前記赤外光による画像信号を抽出することが好ましい。
つまり、赤外差分部により、（赤色＋赤外）信号、（緑色＋赤外）信号および（青色＋赤外）信号のそれぞれから、赤外信号を減算することによりカラー信号が生成できる。よって、輝度信号にカラー信号を合成することにより、カラー画像信号を容易に得ることができる。さらに、赤外ＬＥＤ光照射を加えた状態では、すべての画素が赤外光に感度を有するので輝度信号量を十分確保できるためコントラストの良い赤外光画像信号を合成することが可能となる。
また、前記単位配列は、前記第１単位画素と前記第４単位画素とが、行方向または列方向に隣り合い、前記第１単位画素と前記第２単位画素とが対角に配置されていることが好ましい。
これにより、画像の明るさとコントラストに関わる輝度信号Ｙ（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで表現される）の係数の高いＲとＧ画素が対角位置に配置されることにより、輝度信号Ｙの重心が単位配列の中心近くに来るため、画像の解像感が損なわれない。
また、前記発光制御部は、前記発光素子に、フレーム時間を単位として発光または消光させる赤外光を、擬似ランダムパルスとして発光させてもよい。
これにより、擬似ランダムパルスの変調に合わせて、画像信号を抽出することにより、他の光源からの光が固体撮像素子に入射したとしても分離することができるので、外乱光の影響を低減することができる。
また、前記疑似ランダムパルスは、前記発光制御部によるスペクトラム拡散方式により時間的に擬似ランダムに変調された発光パルスであってもよい。
これにより、赤外光は広帯域に拡散されているので、狭帯域の外乱光を容易に分離することができる。また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
また、前記信号抽出部は、前記固体撮像素子が撮像した画像信号を逆拡散することにより、前記可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出してもよい。
これにより、信号抽出部が、固体撮像素子からの信号を逆拡散して取り込むので、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。
また、さらに、前記第４単位画素の信号が所定の強度以上であるかを検出する検出手段と、前記検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部を備えてもよい。
これにより、固体撮像素子が撮像した信号が飽和した場合には、固体撮像素子に入射する光を減光することができる。
また、さらに、前記可視光によるカラー画像信号および前記赤外光による画像信号のうち少なくともいずれか一方を蓄積する蓄積部を備えてもよい。
これにより、カラー可視光画像および赤外光画像のいずれかを、画像出力部で見ながら、もう一方の画像または両方の画像を蓄積部に保存して、必要に応じて後から見ることができる。
また、前記固体撮像素子は、前記可視光によるカラー画像信号または前記赤外光による画像信号を１／６０秒以下で出力する信号出力部を備えることが好ましい。
これにより、撮像装置は、例えば、１フレームおきに、カラー可視光画像と、赤外光によってコントラストが鮮やかになった赤外光画像とを、それぞれ、３０ｆｐｓ以上で撮像することが可能となる。
本発明の撮像装置によれば、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力することができる。
本発明の実施の形態１に係る撮像装置の機能ブロック図である。 本発明の実施の形態１に係る固体撮像素子の撮像タイミングを説明するタイミングチャートである。 本発明の実施の形態１に係る赤外ＬＥＤの発光タイミングチャートである。 本発明の実施の形態１に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。 （ａ）は、本発明の実施の形態１に係る固体撮像素子を１フレーム１／６０秒で駆動させた場合のカラー画像図である。（ｂ）は、本発明の実施の形態１に係る固体撮像素子を１フレーム１／６０秒で駆動させた場合の赤外発光によるモノクロ画像図である。 本発明の実施の形態１に係る固体撮像素子の概略構成および画素配置を表す図である。 （ａ）〜（ｄ）は、本発明の実施の形態１に係る各単位画素の分光感度を表すグラフである。 本発明の実施の形態１に係る撮像装置の有する信号処理部の機能ブロック図である。 （ａ）は、図７（ａ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。（ｂ）は、図７（ｂ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。（ｃ）は、図７（ｃ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。 （ａ）は、ハロゲンランプ光を照射した状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。（ｂ）は、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。 本発明の実施の形態２に係る赤外ＬＥＤの発光タイミングチャートである。 本発明の実施の形態２に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。 本発明の実施の形態２に係る発光制御部６０の有するＭ系列信号発生器の回路構成の一例を示す図である。 Ｍ系列信号発生器により生成された、赤外ＬＥＤの発光タイミングを説明するタイミングチャートである。 本発明の実施の形態２に係る変形例を示す赤外ＬＥＤの発光タイミングチャートである。
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。
（実施の形態１）
本発明の実施の形態１に係る撮像装置（カメラシステム）１００の構成を説明する。
図１は、本発明の実施の形態１に係る撮像装置の機能ブロック図である。同図に記載された撮像装置１００は、レンズ光学系１と、固体撮像素子１０と、信号処理部２０と、信号切替部３０と、制御部４０と、信号蓄積部５０と、発光制御部６０と、赤外光を発光する発光素子の赤外ＬＥＤ７０と、画像出力部８０および８１とを備える。なお、固体撮像素子１０はＣＭＯＳイメージセンサを用いることが好ましいが、それに限定されるものではなく、例えばＣＣＤイメージセンサを用いることもできる。また、固体撮像素子１０とレンズ光学系１以外の構成は、そのすべてが、または、その一部が、同一の半導体基板に形成することも出来る。
撮像装置１００において、レンズ光学系１から入射した、被写体からの光信号は、固体撮像素子１０によって画素ごとの電気信号に変換され、当該電気信号が信号処理部２０で映像信号に変換される。そして、当該映像信号が信号切替部３０を介し、映像として画像出力部８０、８１または外部画像出力装置に映し出される。被写体を照らす明かりとしては、屋外では太陽光や月明かり、街灯、建物から漏れた明かりや広告のためのディスプレイの明かりなどがある。また、屋内では蛍光灯や白熱ランプ、最近ではＬＥＤ照明などがある。
蛍光灯やＬＥＤ照明などは可視光の波長領域の光を出射し、太陽光や白熱ランプは可視光および赤外光の両方の波長領域の光を出射する。
また、撮像装置１００は、赤外ＬＥＤ７０と発光制御部６０とを有し、赤外ＬＥＤ７０からフレーム時間を単位とする変調した赤外光を、赤外ＬＥＤ７０からパルス発光させることができる。これにより、撮像装置１００は、夜間や薄暗闇の時に、赤外ＬＥＤ７０からの赤外光によって照らされた被写体を撮像することで、コントラスト鮮やかな当該被写体の画像を画像出力部８０、８１または外部画像出力装置に出力することができる。
制御部４０は、赤外ＬＥＤ７０のパルス発光タイミングを決定し、当該タイミングを発光制御部６０に指示する。具体的には、制御部４０は、固体撮像素子１０の水平ブランキング期間および１フレームの映像期間のタイミングをもとに、赤外ＬＥＤ７０をパルス発光させる駆動タイミングを決定している。発光制御部６０は、制御部４０からの指示により、赤外ＬＥＤ７０のパルス発光のオンオフを制御する駆動パルス信号を生成するパルス回路である。つまり、発光制御部６０は、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる機能を有する。
図２は、本発明の実施の形態１に係る固体撮像素子１０の撮像タイミングを説明するタイミングチャートである。図２において、期間Ｔ１は、光信号の取り込みを行わない水平ブランキング期間であり、期間Ｔ２は、光信号の取り込みを行う撮像期間（1フレーム）である。図２に記載されたタイミングチャートでは、ブランキング期間Ｔ１は、それぞれ同じ長さの期間であり、撮像期間Ｔ２も、それぞれ同じ長さの期間である。
図３は、本発明の実施の形態１に係る赤外ＬＥＤ７０の発光タイミングチャートである。同図に示されるように、赤外ＬＥＤ７０は点灯と消灯とを繰り返している。赤外ＬＥＤ７０のパルス発光は、点灯時には水平ブランキング期間内に発光が立ち上がり、消灯時には水平ブランキング期間内に発光が立ち下がる。また、図３の発光タイミングチャートでは、赤外ＬＥＤ７０は、１フレームごとに点灯と消灯とを繰り返している。これにより、撮像装置１００は、１フレーム単位で、カラー画像と、赤外光照射によるモノクロ画像とを交互に撮像することができる。
図４は、本発明の実施の形態１に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。制御部４０は、赤外ＬＥＤ７０に対し、１フレームごとに点灯と消灯とを実行させ、固体撮像素子１０を１フレーム１／６０秒で駆動させる。固体撮像素子１０は、赤外ＬＥＤ７０の消灯時に受光して変換したカラー画像信号または赤外ＬＥＤ７０の点灯時に受光して変換した赤外光による画像信号を出力する信号出力部を備える。このとき、上記信号出力部は、１／６０秒以下で画像信号を出力する。
この場合、撮像装置１００は、薄暗闇において、１フレームおきに、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、３０ｆｐｓで撮像することができる。
図５（ａ）は、本発明の実施の形態１に係る固体撮像素子１０を１フレーム１／６０秒で駆動させた場合のカラー画像図であり、図５（ｂ）は、本発明の実施の形態１に係る固体撮像素子１０を１フレーム１／６０秒で駆動させた場合の赤外発光によるモノクロ画像図である。
制御部４０は、赤外ＬＥＤ７０のパルスタイミングと同期して、信号切替部３０から画像出力部８０と画像出力部８１への信号を切り替えることにより、図５（ａ）のカラー画像と、図５（ｂ）の赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、画像出力部８０および８１で、３０ｆｐｓで別個に見ることができる。また、上記カラー画像と上記モノクロ画像とのどちらかを、いずれかの画像出力部で見ながら、もう一方の画像または両方の画像を蓄積部である信号蓄積部５０に保存して、必要に応じて後から見ることができる。このとき、画像には撮像時刻が記録されていることが好ましい。
また、カラー画像とモノクロ画像とを合成して、認識性を向上させた画像を作り出すこともできる。
次に、撮像装置１００を構成する各部の詳細について説明する。
図６は、本発明の実施の形態１に係る固体撮像素子１０の概略構成および画素配置を表す図である。固体撮像素子１０は、撮像領域１１に単位画素（例えば、画素サイズ３．７５μｍ×３．７５μｍ）が２次元状に配置されている。撮像領域１１に配置される単位画素は、赤外光を透過するフィルタを有し赤外光の波長帯のみに感度を有する単位画素１２と、赤色光および赤外光を透過するフィルタを有し赤色光および赤外光の波長帯に感度を有する単位画素１４と、青色光および赤外光を透過するフィルタを有し青色光および赤外光の波長帯に感度を有する単位画素１５と、緑色光および赤外光を透過するフィルタを有し緑色光および赤外光の波長帯に感度を有する単位画素１６とを含む。また、撮像領域１１において、単位画素１２、１４、１５および１６の４画素は、一組の単位配列となって正方に配置される。このように単位画素１２、１４、１５および１６を配置することにより、カラーの可視光画像と赤外光画像との両方を撮像することができる。以下、上述した単位画素の配置により、カラーの可視光画像および赤外光画像の両方を撮像できる理由を説明する。
図７（ａ）〜（ｄ）は、本発明の実施の形態１に係る各単位画素の分光感度特性を表すグラフである。図７（ａ）のグラフは、青色光および赤外光の波長帯に感度を有する単位画素１５の分光感度特性を表す。図７（ｂ）のグラフは、緑色光および赤外光の波長帯に感度を有する単位画素１６の分光感度特性を表す。図７（ｃ）のグラフは、赤色光および赤外光の波長帯に感度を有する単位画素１４の分光感度特性を表す。図７（ｄ）のグラフは、赤外光の波長帯のみに感度を有する単位画素１２の分光感度特性を表す。
ここで、信号処理部２０について説明する。信号処理部２０は、発光制御部６０の駆動パルス信号により発光または消光する赤外ＬＥＤ７０の非発光期間および発光期間に同期して、固体撮像素子１０から、可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部である。
図８は、本発明の実施の形態１に係る撮像装置の有する信号処理部の機能ブロック図である。同図に記載された信号処理部２０は、キズ補正部２１と、ＯＢ処理部２２と、ローパスフィルタ（ＬＰＦ）２３と、ＩＲ減算部２４と、ホワイトバランス調整部２５と、カラー信号処理部２６と、カラーゲイン部２７と、輝度信号処理部２８と、合成部２９とを備える。
キズ補正部２１は、固体撮像素子１０が画素欠陥を有する場合に、その欠陥画素の信号を隣接の画素信号と置き換える処理を行う。
ＯＢ処理部２２は、固体撮像素子１０の撮像領域１１の端に設けられた、遮光された単位画素の信号を基に黒の信号レベルの調整を行う。
ＬＰＦ２３は、画像信号に含まれる高周波ノイズ成分を除去する。
ＩＲ減算部２４は、単位画素１４の電気信号である（Ｒ＋ＩＲ）信号、単位画素１５の電気信号である（Ｂ＋ＩＲ）信号および単位画素１６の電気信号である（Ｇ＋ＩＲ）信号のそれぞれから単位画素１２の電気信号であるＩＲ信号を減算してカラー信号を生成する赤外差分部である。ＩＲ減算部２４で生成されたカラー信号は、ホワイトバランス調整部２５でのホワイトバランス処理、カラー信号処理部２６での色相および彩度処理、カラーゲイン部２７でのカラーゲイン調整の処理がされた後、輝度信号処理部２８で生成された輝度信号と合成部２９で合成される。カラー信号と輝度信号が合成されたものがカラー画像信号である。
なお、輝度信号処理部２８で生成される輝度信号は、
Ｙ＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ＩＲ｝／４ （式１）
または、
Ｙ＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ＩＲ｝／４−αＩＲ （式２）
としている。このときαは０〜１までの係数である。
図９（ａ）〜図９（ｃ）は、それぞれ、図７（ａ）〜図７（ｃ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。このように（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号のそれぞれから、ＩＲ信号を減算することによりカラー信号が生成できることがわかる。
このように、カラー信号は単位画素１４、１５、１６の画素信号から単位画素１２の信号を減算して生成され、輝度信号は、単位画素１２、１４、１５、１６の画素信号から生成される。つまり、輝度信号にカラー信号を合成すればカラー画像信号になり、輝度信号のまま使えばモノクロ画像信号になる。
また、赤外ＬＥＤ点灯時の赤外光による画像信号は、輝度信号のみで生成されるモノクロ画像信号か、擬似カラー画像信号を選択することができる。赤外ＬＥＤ点灯時は、赤外光量に比べて可視光量が小さいので、十分なカラー信号を得ることができないので、擬似カラー画像信号となる。
上記単位配置により、例えば、ハロゲンランプ光のみを被写体に照射した時には、可視光に優先的に感度を有する単位画素１４、１５および１６の画素信号が支配的であるカラーの可視光画像を合成することが可能となる。一方、例えば、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態では、赤外光に感度を有する単位画素１２の画素信号が支配的である赤外光画像を合成することが可能となる。
次に、本実施の形態に係る撮像装置１００で薄暗闇を撮像した結果について説明する。
図１０（ａ）は、ハロゲンランプ光を照射した状態で、本発明の実施の形態１に係る撮像装置により撮像した画像であり、図１０（ｂ）は、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。
図１０（ａ）に表された画像は、色温度が２８５０Ｋで被写体の照度が１ルックスとなるようにハロゲンランプを照射した状態で撮影した画像である。また、図１０（ｂ）に表された画像は、色温度が２８５０Ｋで被写体の照度が１ルックスのハロゲンランプ光に、被写体への照射強度が５０μＷの赤外ＬＥＤ光を加えた状態で撮影した画像である。
図１０（ａ）中に示された領域Ａでは、被写体が影に隠れて見えにくくなっているが、図１０（ｂ）中に示された領域Ａでは、被写体がはっきり見えている。逆に、図１０（ｂ）中に示された領域Ｂでは、被写体が影に隠れて見えにくくなっているが、図１０（ｂ）中に示された領域Ｂでは、被写体がはっきり見えている。
このように、本発明の実施の形態１に係る撮像装置１００は、カラーの可視光画像と赤外光画像とを電子的に高速に切り替えて、双方の画像を撮像することにより、影に隠れた被写体を見ることができ、監視用途などに特段の効果を有する。
以上、図面を用いて説明したように、本発明の実施の形態１に係る撮像装置１００は、固体撮像素子１０と、赤外光を発光する赤外ＬＥＤ７０と、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部６０と、変調に合わせて固体撮像素子１０から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部２０とを備える。また、固体撮像素子１０は、緑色の可視光と赤外光とを透過させるフィルタを有する画素と、赤色の可視光と赤外光とを透過させるフィルタを有する画素と、青色の可視光と赤外光とを透過させるフィルタを有する画素と、赤外光を透過させるフィルタを有する画素とを備えた単位配列が２次元配列された撮像領域１１を有する。これにより、フレームごとに、可視光によるカラー画像と赤外線照射によりコントラストがはっきりしたモノクロ画像とを、両画像を切り替えるためのメカ機構を設けずに、ほぼ同時に得ることができる。さらに、ほぼ同時に上記カラー画像および上記モノクロ画像の両方を見ることにより、上記カラー画像で影になって隠れた部分でもコントラスト良く認識でき、さらに、上記モノクロ画像だけでは認識できない服装の色等の被写体の色を、カラー画像で特定することが出来る。
さらに、撮像装置１００の信号処理部２０は、緑色の可視光と赤外光とを透過させるフィルタを有する画素からの信号、赤色の可視光と赤外光とを透過させるフィルタを有する画素からの信号、青色の可視光と赤外光とを透過させるフィルタを有する画素からの信号のそれぞれから、赤外光を透過させるフィルタを有する画素からの信号を差分する赤外差分部を備える。これによって、可視光に感度を有する画素と、赤外光に感度を有する画素を備えることで、昼間の画像（可視光画像）と赤外光画像とを電子的に切り替えることができ、ほぼ同時に可視光画像と赤外光画像を撮影することができ、かつ、可視光画像の色再現を良くすることが出来る。
また、固体撮像素子１０の単位配列は、緑色の可視光と赤外光とを透過させるフィルタを有する画素と赤外光を透過させるフィルタを有する画素とが、行方向または列方向に隣り合い、緑色の可視光と赤外光とを透過させるフィルタを有する画素と赤色の可視光と赤外光とを透過させるフィルタを有する画素とが対角に配置されていることが好ましい。これにより、画像の明るさとコントラストに関わる輝度信号Ｙ（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで表現される）の係数の高いＲとＧ画素が対角位置に配置されることにより、輝度信号Ｙの重心が単位配列の中心近くに来るため、画像の解像感を損うことなく優れた画像を得ることが出来る。
（実施の形態２）
本発明の実施の形態２に係る撮像装置は、実施の形態１に対して赤外ＬＥＤ７０のパルス発光の駆動タイミングが異なる。以下、実施の形態１と同じ構成については説明を省略し、赤外ＬＥＤ７０のパルス発光の駆動タイミングを中心に説明する。
制御部４０は、固体撮像素子１０の水平ブランキング期間および１フレームの映像期間のタイミングをもとに、赤外ＬＥＤ７０をパルス発光させる駆動タイミングを決定している。また、赤外ＬＥＤ７０は、発光制御部６０が生成した駆動パルス信号によりパルス発光する。
図１１は、本発明の実施の形態２に係る赤外ＬＥＤの発光タイミングチャートである。赤外ＬＥＤ７０は、点灯と消灯とを擬似ランダムに繰り返している。赤外ＬＥＤ７０のパルス発光は、点灯時には水平ブランキング期間内に発光が立ち上がり、消灯時には水平ブランキング期間内に発光が立ち下がる。赤外ＬＥＤ７０は、擬似ランダムに、フレームごとに点灯と消灯を繰り返す。
図１２は、本発明の実施の形態２に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。制御部４０は、赤外ＬＥＤ７０を、擬似ランダムに、１フレームごとに点灯と消灯を実行させ、固体撮像素子１０を１フレーム１／６０秒で駆動させる。この場合、撮像装置は、薄暗闇において、赤外ＬＥＤ７０の点灯および消灯と同期して、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、ほぼ３０ｆｐｓで撮像することができる。
さらに、赤外ＬＥＤ７０のパルス発光の擬似ランダムな変調を、スペクトラム拡散方式としても良く、言い換えれば、フレーム時間を単位とする、変調した赤外光を、赤外ＬＥＤ７０から擬似ランダムパルスとして発光させることができる。
スペクトラム拡散方式に用いられる拡散符号系列は、データのビットレートを十分に上回る速度の符号で、帯域内で一様なスペクトルを持つことが望まれる。また復調の容易さから周期性を持つことが望まれる。こうした要求に応えるのが、疑似ランダム系列ＰＮ系列である。ＰＮ系列はシフトレジスタおよびフィードバックを用いた回路によって人工的にある規則に基づいて生成される。最も良く知られたＰＮ系列は、Ｍ系列(Ｍａｘｉｍａｌ−ｌｅｎｇｔｈ Ｓｅｑｕｅｎｃｅｓ)で、優れた相関特性を持つ。Ｍ系列は、ある長さのシフトレジスタおよびフィードバックによって生成される符号系列のうち、その周期が最長になる系列である。ｎをシフトレジスタの段数とすると、Ｌ＝２ｎ−１がＭ系列のビット長となる。
この場合、実施の形態２における撮像装置は、ヘッドライトモジュールに適用でき、図１の発光制御部６０がＭ系列信号発生器を備える。
図１３は、本発明の実施の形態２に係る発光制御部６０の有するＭ系列信号発生器の回路構成の一例を示す図である。同図に示されたM系列信号発生器は、３つのシフトレジスタＤ1〜Ｄ3と、排他的論理和回路（ＥＸＯＲ）６１とを備える。シフトレジスタＤ1〜Ｄ3は、それぞれ１ビット遅延素子である。シフトレジスタＤ1およびＤ2の初期値を「０」とし、シフトレジスタＤ3の初期値を「１」とすることにより、Ｌ＝２3−１＝７ビットの「１００１０１１」の信号列を生成することができる。
図１４は、Ｍ系列信号発生器により生成された、赤外ＬＥＤの発光タイミングを説明するタイミングチャートである。発光制御部６０は、スペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号のタイミングで、赤外ＬＥＤ７０を発光させる。すなわち、発光制御部６０は、赤外ＬＥＤ７０に対し、スペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させる。
図１５は、本発明の実施の形態２に係る変形例を示す赤外ＬＥＤの発光タイミングチャートである。固体撮像素子１０は、Ｍ系列信号発生器により生成された発光タイミングに従い赤外ＬＥＤ７０から被写体へ照射された赤外光により、当該被写体から反射した赤外光を撮像する。撮像装置は、固体撮像素子１０が撮像した信号を、スペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号のタイミングで取り込むことにより、自身が照射した赤外光のみを抽出することができる。このように擬似ランダムの変調に合わせてこの信号を取り出すことにより、他の光源からの光が固体撮像素子１０に入射したとしても分離することができる。さらに、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
また、固体撮像素子１０は、パルス信号のタイミングで、信号を取り込むとしたが、固体撮像素子１０が撮像した信号を逆拡散してもよい。この場合、信号を逆拡散して取り込んでいるため、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。
なお、ＰＮ系列は、Ｇｏｌｄ系列などを用いてもよい。さらに、符号訂正として、リードソロモン符号などを用いてもよい。
以上、図面を用いて説明したように、本発明の実施の形態に係る撮像装置は、発光制御部６０が、フレーム時間を単位とする変調した赤外光を、赤外ＬＥＤ７０から擬似ランダムパルスとして発光させることを特徴とする。これにより、照射された赤外光を時間的に擬似ランダムに変調し、変調に合せて信号を抽出することによって、外乱光の影響を低減することができる。
また、発光制御部６０は、赤外ＬＥＤ７０にスペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させることができる機能を有する。これにより、スペクトラム拡散した赤外光を照射し、被写体に反射した、スペクトラム拡散した赤外光を受光する。上記スペクトラム拡散により、赤外光は広帯域に拡散されているので、狭帯域の外乱光を容易に分離することができる。また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
なお、本発明に係る撮像装置は、実施の形態１および２に限定されるものではない。実施形態１および２における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態１および２に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る撮像装置を内蔵した各種機器も本発明に含まれる。
また、本発明の撮像装置は、赤外光を透過させるフィルタを有する画素の信号が所定の強度以上であるかを検出する検出手段と、検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部とを備えてもよい。これにより、固体撮像素子１０が撮像した信号が飽和した場合には、固体撮像素子１０に入射する光を減光することができる。
また、図１に記載されたように、可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ蓄積する信号蓄積部５０を備えてもよい。これにより、通常はカラー画像をモニタし、異常発生時のみ赤外光による画像信号を確認することができる。
また、固体撮像素子１０は、可視光によるカラー画像信号または赤外光による画像信号を１／６０秒以下で出力する信号出力部を備えることが好ましい。これにより、可視光によるカラー撮像信号と赤外光による撮像信号を、それぞれ、１／３０秒以下で見ることができるため、ちらつき等の無い撮像画像を見ることができる。
本発明の撮像装置は、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力できるカメラに適用でき、特に、車載カメラおよび監視カメラ等に有用である。
１ レンズ光学系
１０ 固体撮像素子
１１ 撮像領域
１２、１４、１５、１６ 単位画素
２０ 信号処理部
２１ キズ補正部
２２ ＯＢ処理部
２３ ＬＰＦ
２４ ＩＲ減算部
２５ ホワイトバランス調整部
２６ カラー信号処理部
２７ カラーゲイン部
２８ 輝度信号処理部
２９ 合成部
３０ 信号切替部
４０ 制御部
５０ 信号蓄積部
６０ 発光制御部
６１ 排他的論理和回路
７０ 赤外ＬＥＤ
８０、８１ 画像出力部
１００ 撮像装置

Claims (9)

  1. 緑色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、赤色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とを備えた一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、
    赤外光を発光する発光素子と、
    前記発光素子に、フレーム時間を単位として発光または消光させることにより、赤外光をパルス発光させる発光制御部と、
    前記発光制御部により発光または消光する前記発光素子の非発光期間および発光期間に同期して、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部とを備える
    撮像装置。
  2. 前記信号抽出部は、
    前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、
    前記赤外差分部により生成されたカラー信号および前記第１から４単位画素のいずれかの画素より生成された輝度信号から、前記可視光によるカラー画像信号または前記赤外光による画像信号を抽出する
    請求項１に記載の撮像装置。
  3. 前記単位配列は、前記第１単位画素と前記第４単位画素とが、行方向または列方向に隣り合い、
    前記第１単位画素と前記第２単位画素とが対角に配置されている
    請求項１または２に記載の撮像装置。
  4. 前記発光制御部は、前記発光素子に、フレーム時間を単位として発光または消光させる赤外光を、擬似ランダムパルスとして発光させる
    請求項１〜３のうちいずれか１項に記載の撮像装置。
  5. 前記疑似ランダムパルスは、前記発光制御部によるスペクトラム拡散方式により時間的に擬似ランダムに変調された発光パルスである
    請求項４に記載の撮像装置。
  6. 前記信号抽出部は、前記固体撮像素子が撮像した画像信号を逆拡散することにより、前記可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する
    請求項５に記載の撮像装置。
  7. さらに、
    前記第４単位画素の信号が所定の強度以上であるかを検出する検出手段と、
    前記検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部を備える
    請求項１〜６のうちいずれか１項に記載の撮像装置。
  8. さらに、
    前記可視光によるカラー画像信号および前記赤外光による画像信号のうち少なくともいずれか一方を蓄積する蓄積部を備える
    請求項１〜７のうちいずれか１項に記載の撮像装置。
  9. 前記固体撮像素子は、前記可視光によるカラー画像信号または前記赤外光による画像信号を１／６０秒以下で出力する信号出力部を備える
    請求項１〜８のうちいずれか１項に記載の撮像装置。
JP2010100291A 2010-04-23 2010-04-23 撮像装置 Active JP5485004B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010100291A JP5485004B2 (ja) 2010-04-23 2010-04-23 撮像装置
PCT/JP2010/005912 WO2011132241A1 (ja) 2010-04-23 2010-10-01 撮像装置
US13/611,586 US20130002882A1 (en) 2010-04-23 2012-09-12 Image-capturing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010100291A JP5485004B2 (ja) 2010-04-23 2010-04-23 撮像装置

Publications (2)

Publication Number Publication Date
JP2011233983A true JP2011233983A (ja) 2011-11-17
JP5485004B2 JP5485004B2 (ja) 2014-05-07

Family

ID=44833805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010100291A Active JP5485004B2 (ja) 2010-04-23 2010-04-23 撮像装置

Country Status (3)

Country Link
US (1) US20130002882A1 (ja)
JP (1) JP5485004B2 (ja)
WO (1) WO2011132241A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126165A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 撮像装置、撮像方法及びプログラム
JP2013211837A (ja) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd カメラ装置及び画像処理方法
JP2013211836A (ja) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd カメラ装置及び画像処理方法
JP2015111794A (ja) * 2013-12-06 2015-06-18 キヤノン株式会社 撮像装置およびその駆動方法
WO2015178012A1 (ja) * 2014-05-23 2015-11-26 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
EP2991340A2 (en) 2014-08-29 2016-03-02 Hitachi Industry & Control Solutions, Ltd. Image-capturing method and image-capturing device
WO2016075908A1 (ja) * 2014-11-13 2016-05-19 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2016111475A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
WO2016178379A1 (ja) * 2015-05-07 2016-11-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
WO2016199573A1 (ja) * 2015-06-08 2016-12-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置
WO2017110481A1 (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
US10462390B2 (en) 2014-12-10 2019-10-29 Sony Corporation Image pickup apparatus, image pickup method, program, and image processing apparatus
US10560638B2 (en) 2015-11-17 2020-02-11 Sony Semiconductor Solutions Corporation Imaging apparatus and imaging method
US10560670B2 (en) 2015-12-07 2020-02-11 Sony Semiconductor Solutions Corporation Imaging apparatus and imaging control method
US10931893B2 (en) 2015-12-14 2021-02-23 Sony Corporation Image sensor, image processing apparatus and method, and program
US11218679B2 (en) 2016-01-15 2022-01-04 Sony Corporation Image processing device, image processing method, and imaging device
US11284044B2 (en) 2018-07-20 2022-03-22 Nanolux Co. Ltd. Image generation device and imaging device
WO2022185780A1 (ja) 2021-03-03 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2022210175A1 (ja) 2021-03-29 2022-10-06 富士フイルム株式会社 黒色感光性組成物、黒色感光性組成物の製造方法、硬化膜、カラーフィルタ、遮光膜、光学素子、固体撮像素子、ヘッドライトユニット

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012085863A1 (en) * 2010-12-21 2012-06-28 Zamir Recognition Systems Ltd. A visible light and ir hybrid digital camera
US9218673B2 (en) 2012-10-11 2015-12-22 Nike, Inc. Method and system for manipulating camera light spectrum for sample article false color rendering
JP5783279B2 (ja) * 2013-02-08 2015-09-24 株式会社デンソー 画像処理装置
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
CN104660914B (zh) * 2013-11-18 2019-01-08 杭州海康威视数字技术股份有限公司 一种高清相机的实现方法以及一种高清相机
KR102089510B1 (ko) * 2013-12-19 2020-03-16 한국전자통신연구원 다-파장 분광장치를 이용한 객체인식 장치 및 그 방법
CN105917638B (zh) * 2014-02-06 2018-02-16 Jvc 建伍株式会社 摄像装置和摄像装置的控制方法、以及摄像系统和摄像系统的控制方法
JP6246911B2 (ja) 2014-05-02 2017-12-20 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
CN110830779B (zh) * 2015-08-28 2022-06-03 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
US10958841B2 (en) 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
CN110214262A (zh) * 2017-01-25 2019-09-06 国立研究开发法人产业技术综合研究所 图像处理方法
WO2018155486A1 (ja) * 2017-02-21 2018-08-30 株式会社ナノルクス 固体撮像素子及び撮像装置
CN107566747B (zh) 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
WO2019129083A1 (zh) * 2017-12-27 2019-07-04 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及四目可调节摄像机
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
CN109887944B (zh) * 2019-03-05 2022-04-05 西安工业大学 具有多功能窗口的全天时成像探测器及其制备方法
US11211433B2 (en) 2020-05-04 2021-12-28 Intel Corporation In-display sensors and viewing angle adjustment microassemblies
GB2611156A (en) * 2021-07-30 2023-03-29 Canon Kk Image capture apparatus, control method, and program
US20240073517A1 (en) * 2022-08-29 2024-02-29 Cisco Technology, Inc. Power reduction for leds based on infrared pulsing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100797A (ja) * 1988-10-07 1990-04-12 Canon Inc 監視カメラ
WO2007086155A1 (ja) * 2006-01-24 2007-08-02 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、信号処理方法及びカメラ
JP2008024252A (ja) * 2006-07-25 2008-02-07 Matsushita Electric Ind Co Ltd ヘッドライトモジュール
JP2008072423A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp イメージセンサ及びデジタルカメラ
JP2010041031A (ja) * 2008-07-11 2010-02-18 Panasonic Corp 固体撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
JP4685465B2 (ja) * 2005-02-01 2011-05-18 パナソニック株式会社 監視記録装置
KR100537441B1 (ko) * 2005-07-05 2005-12-19 (주)유텍엔지니어링 감시카메라
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP2009286234A (ja) * 2008-05-28 2009-12-10 Funai Electric Co Ltd 車載用サイドビューカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100797A (ja) * 1988-10-07 1990-04-12 Canon Inc 監視カメラ
WO2007086155A1 (ja) * 2006-01-24 2007-08-02 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、信号処理方法及びカメラ
JP2008024252A (ja) * 2006-07-25 2008-02-07 Matsushita Electric Ind Co Ltd ヘッドライトモジュール
JP2008072423A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp イメージセンサ及びデジタルカメラ
JP2010041031A (ja) * 2008-07-11 2010-02-18 Panasonic Corp 固体撮像装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126165A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 撮像装置、撮像方法及びプログラム
US9961276B2 (en) 2012-03-01 2018-05-01 Nissan Motor Co., Ltd. Camera apparatus and image processing method
JP2013211837A (ja) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd カメラ装置及び画像処理方法
JP2013211836A (ja) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd カメラ装置及び画像処理方法
JP2015111794A (ja) * 2013-12-06 2015-06-18 キヤノン株式会社 撮像装置およびその駆動方法
WO2015178012A1 (ja) * 2014-05-23 2015-11-26 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
JP2015222916A (ja) * 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
US10136076B2 (en) 2014-05-23 2018-11-20 Panasonic Intellectual Property Management Co., Ltd. Imaging device, imaging system, and imaging method
EP2991340A2 (en) 2014-08-29 2016-03-02 Hitachi Industry & Control Solutions, Ltd. Image-capturing method and image-capturing device
US10165242B2 (en) 2014-08-29 2018-12-25 Hitachi Industry & Control Solutions, Ltd. Image-capturing method and image-capturing device
WO2016075908A1 (ja) * 2014-11-13 2016-05-19 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2016111475A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
US10462390B2 (en) 2014-12-10 2019-10-29 Sony Corporation Image pickup apparatus, image pickup method, program, and image processing apparatus
CN107534761A (zh) * 2015-05-07 2018-01-02 索尼半导体解决方案公司 成像装置、成像方法、程序和图像处理装置
WO2016178379A1 (ja) * 2015-05-07 2016-11-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
US10484653B2 (en) 2015-05-07 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device, imaging method, and image processing device
CN107534761B (zh) * 2015-05-07 2020-06-16 索尼半导体解决方案公司 成像装置、成像方法、图像处理装置
US10560642B2 (en) 2015-06-08 2020-02-11 Sony Semiconductor Solutions Corporation Image processing device, image processing method and imaging device
WO2016199573A1 (ja) * 2015-06-08 2016-12-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置
US10560638B2 (en) 2015-11-17 2020-02-11 Sony Semiconductor Solutions Corporation Imaging apparatus and imaging method
US10560670B2 (en) 2015-12-07 2020-02-11 Sony Semiconductor Solutions Corporation Imaging apparatus and imaging control method
US10931893B2 (en) 2015-12-14 2021-02-23 Sony Corporation Image sensor, image processing apparatus and method, and program
WO2017110481A1 (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
US11006055B2 (en) 2015-12-21 2021-05-11 Sony Corporation Imaging device and method for driving the same, and imaging apparatus
US11218679B2 (en) 2016-01-15 2022-01-04 Sony Corporation Image processing device, image processing method, and imaging device
US11284044B2 (en) 2018-07-20 2022-03-22 Nanolux Co. Ltd. Image generation device and imaging device
WO2022185780A1 (ja) 2021-03-03 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20230152661A (ko) 2021-03-03 2023-11-03 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2022210175A1 (ja) 2021-03-29 2022-10-06 富士フイルム株式会社 黒色感光性組成物、黒色感光性組成物の製造方法、硬化膜、カラーフィルタ、遮光膜、光学素子、固体撮像素子、ヘッドライトユニット

Also Published As

Publication number Publication date
WO2011132241A1 (ja) 2011-10-27
JP5485004B2 (ja) 2014-05-07
US20130002882A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
JP5485004B2 (ja) 撮像装置
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
US8169496B2 (en) Image processing system and image acquisition method
US20100171875A1 (en) Imager capturing an image with a rolling shutter
US9025026B2 (en) Monitoring camera apparatus
JP2002330350A (ja) Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
GB2429793A (en) Imaging device and method for producing a flash of light with pulsing
CN110574368B (zh) 固态摄像装置、摄像系统以及物体识别系统
CN109561817B (zh) 电子内窥镜系统
JP3670952B2 (ja) カラー／白黒切換カメラ
KR102200540B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
TWI628501B (zh) 攝影裝置及影像管理系統
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
JP2012248992A (ja) デジタルカメラ
TWI629552B (zh) 攝影裝置及影像管理系統
TWI449415B (zh) 影像擷取系統以及方法
JP4962132B2 (ja) 撮像装置
KR102497020B1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
KR102473150B1 (ko) 사용자의 카메라 조명이 외부에 노출되지 않는 조명 비노출형 카메라 및 이를 이용한 카메라 조명 비노출 제어방법
JP2011160133A (ja) 広ダイナミックレンジ撮像装置
KR20140123864A (ko) 적외선 led 카메라 시스템
KR100809286B1 (ko) 감시카메라 영상 신호 처리장치
JP2011211343A (ja) 撮像装置
JP2018098540A (ja) 撮像装置および照明制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140219

R151 Written notification of patent or utility model registration

Ref document number: 5485004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151