JP2016096430A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP2016096430A
JP2016096430A JP2014230975A JP2014230975A JP2016096430A JP 2016096430 A JP2016096430 A JP 2016096430A JP 2014230975 A JP2014230975 A JP 2014230975A JP 2014230975 A JP2014230975 A JP 2014230975A JP 2016096430 A JP2016096430 A JP 2016096430A
Authority
JP
Japan
Prior art keywords
image
imaging
light
period
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014230975A
Other languages
English (en)
Inventor
章吾 田中
Shogo Tanaka
章吾 田中
田部井　憲治
Kenji Tabei
憲治 田部井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014230975A priority Critical patent/JP2016096430A/ja
Priority to PCT/JP2015/005549 priority patent/WO2016075908A1/ja
Priority to US15/518,806 priority patent/US10291859B2/en
Publication of JP2016096430A publication Critical patent/JP2016096430A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

【課題】ローリングシャッタ方式のイメージセンサを用いた場合でも、簡易な構成で出力画像の歪みを低減し、出力画像のフレームレートの低下を抑制する。【解決手段】撮像装置は、被写体の画像の撮像条件と非可視光である第１補助光の発光条件とを、少なくとも２フレームの周期で時分割に切り替えて指定する条件指定部と、ローリングシャッタ方式の撮像センサ部を含み、前記撮像条件に応じた前記被写体の画像を撮像する撮像部と、前記発光条件に応じて、前記被写体に対して前記第１補助光を発光する第１発光部と、前記第１補助光が発光される第１期間に、前記第１補助光を用いた撮像条件で撮像された前記被写体の非可視光画像と、前記第１期間に連続し前記第１補助光が発光されない第２期間に、可視光を用いた撮像条件で撮像された前記被写体の可視光画像と、を合成する画像合成部と、を備える。【選択図】図２

Description

本発明は、画像を撮像する撮像装置及び撮像方法に関する。
従来、カラー（RGB：Red Green Blue）画像を撮像するカラーカメラと、ＮＩＲ（NIR：Near InfraRed）画像を撮像するＮＩＲカメラと、ハーフミラーとを備える撮像システムが知られている（例えば、非特許文献１参照）。非特許文献１に示す撮像システムでは、カラー画像が撮像される場合には、被写体に近赤外（NIR）線を発光するフラッシュが使用されず、ＮＩＲ画像が撮像される場合には、上述したフラッシュが使用される。
非特許文献１に示す撮像システムでは、被写体からの光が、ハーフミラーにより２つの方向に分けられる。２つの方向に分けられた光は、カラーカメラ及びＮＩＲカメラにより撮像され、ＲＧＢ画像とＮＩＲ画像とが得られる。ＲＧＢ画像は、カラー画像となる。ＮＩＲ画像は、近赤外（ＮＩＲ）線を発光して撮像される画像の１つであり、白黒画像となる。
また、非特許文献１に示す撮像システムは、ＲＧＢ画像とＮＩＲ画像とを合成することで、白黒画像に色調が加えられた合成画像を得る。
Sosuke Matsui, Miho Shimano, Takahiro Okabe, and Yoichi Sato, "Image Enhancement of Low-Light Scenes with Near-Infrared Flash Images," in Proc. Asian Conference on Computer Vision (ACCV2009), p.213-223, September 2009
上述した非特許文献１に示す撮像システムは、合成画像を得るために大掛かりなシステムの構成が必要となり、商品としての撮像装置のコストアップの抑制が困難である。
また、画像を撮像するイメージセンサには、グローバルシャッタ方式のイメージセンサとローリングシャッタ方式のイメージセンサとがあることが知られている。ここで、ローリングシャッタ方式のイメージセンサを用いた場合には、ＲＧＢ画像とＩＲ画像との合成後の出力画像のフレームレートは、例えば合成せずにＲＧＢ画像だけ又はＩＲ画像だけを出力する場合に比べて１／４になる。これは、ローリングシャッタ方式のイメージセンサでは、イメージセンサ素子の最初のラインと最終のラインとの露光開始タイミングが異なるために、例えばフレーム間を跨いで２フレームに亘って撮像されてしまうこと、更に、ＲＧＢ画像とＩＲ画像とが合成されて出力画像が生成されることに起因する。
また、図１３に示すように、ローリングシャッタ方式のイメージセンサを用いると、出力画像の上下でイメージセンサ素子の露光開始タイミングが異なるために、被写体が移動物体である場合には動体歪み（フォーカルプレーン歪み）という現象が発生する。図１３は、ローリングシャッタ方式のイメージセンサを用いた場合の出力画像の一例を示す図である。
本発明は、上記事情に鑑みてなされたものであり、ローリングシャッタ方式のイメージセンサを用いた場合でも、簡易な構成で出力画像の歪みを低減し、出力画像のフレームレートの低下を抑制する撮像装置及び撮像方法を提供することを目的とする。
本発明は、被写体の画像の撮像条件と非可視光である第１補助光の発光条件とを、少なくとも２フレームの周期で時分割に切り替えて指定する条件指定部と、ローリングシャッタ方式の撮像センサ部を含み、前記撮像条件に応じた前記被写体の画像を撮像する撮像部と、前記発光条件に応じて、前記被写体に対して前記第１補助光を発光する第１発光部と、前記第１補助光が発光される第１期間に、前記第１補助光を用いた撮像条件で撮像された前記被写体の非可視光画像と、前記第１期間に続く前記第１補助光が発光されない第２期間に、可視光を用いた撮像条件で撮像された前記被写体の可視光画像と、を合成する画像合成部と、を備える、撮像装置である。
また、本発明は、撮像装置における撮像方法であって、被写体の画像の撮像条件と非可視光である第１補助光の発光条件とを、少なくとも２フレームの周期で時分割に切り替えて指定するステップと、前記撮像装置が有するローリングシャッタ方式の撮像センサ部を用いて、前記撮像条件に応じた前記被写体の画像を撮像するステップと、前記発光条件に応じて、前記被写体に対して前記第１補助光を発光するステップと、前記第１補助光が発光される第１期間に、前記第１補助光を用いた撮像条件で撮像された前記被写体の非可視光画像と、前記第１期間に続く前記第１補助光が発光されない第２期間に、可視光を用いた撮像条件で撮像された前記被写体の可視光画像と、を合成するステップと、を有する、撮像方法である。
本発明によれば、ローリングシャッタ方式のイメージセンサを用いた場合でも、出力画像の歪みを低減でき、出力画像のフレームレートの低下を抑制できる。
本実施形態の監視カメラの外観例を示す模式図 本実施形態の監視カメラの構成例を示すブロック図 本実施形態の監視カメラの２バンドパスフィルタの光学特性例を示すグラフ （Ａ），（Ｂ）本実施形態の監視カメラの撮像部の構成例を示す模式図 本実施形態の監視カメラにおける全体的な撮像動作の手順例を説明するフローチャート ローリングシャッタ方式に応じた撮像動作を行うイメージセンサを含む本実施形態の監視カメラの撮像動作例を模式的に説明するための説明図 ローリングシャッタ方式に応じた撮像動作を行うイメージセンサを含む本実施形態の監視カメラの撮像動作の具体例を示すタイミングチャート ＩＲ照明が発光される第１期間（ＩＲ照明オン期間）とイメージセンサの露光時間との関係の一例を示す説明図 ＩＲ照明が発光される第１期間（ＩＲ照明オン期間）とイメージセンサの露光時間とイメージセンサからの垂直同期信号との関係の一例を示す説明図 本実施形態の変形例の監視カメラの外観例を示す模式図 本実施形態の変形例の監視カメラの構成例を示すブロック図 ローリングシャッタ方式に応じた撮像動作を行うイメージセンサを含む本実施形態の変形例の監視カメラの撮像動作の具体例を示すタイミングチャート ローリングシャッタ方式のイメージセンサを用いた場合の出力画像の一例を示す図 ローリングシャッタ方式に応じた撮像動作を行うイメージセンサを含む比較例の監視カメラの撮像動作の具体例を示すタイミングチャート
以下、本発明に係る撮像装置及び撮像方法を具体的に開示した実施形態（以下、「本実施形態」という）を説明する前に、本実施形態の撮像装置の案出に至る経緯について説明する。
（本実施形態の撮像装置の案出に至る経緯）
先ず、非特許文献１に記載された撮像システムは、ＲＧＢ画像とＮＩＲ画像とを合成する画像合成技術を有するが、実験室レベルでの画像合成技術の研究に用いられ、２台のカメラとハーフミラーとが実験台の上に配置されて使用されていた。そのため、この撮像システムは大掛かりなシステムであり、１つの撮像装置として製品化することは困難であった。また、撮像システムを用意するためにコストを要し、撮像システムの調整及びメンテナンスが困難であった。
次に、本実施形態の撮像装置（例えば監視カメラ）と対比される比較例の撮像装置（例えば監視カメラ）において、ローリングシャッタ方式に対応したイメージセンサを用いた撮像動作の具体例について、図１４を参照して説明する。図１４は、ローリングシャッタ方式に応じた撮像動作を行うイメージセンサを含む比較例の監視カメラの撮像動作の具体例を示すタイミングチャートである。
図１４において、フレームｂ０の直前のフレームでは、ＩＲ画像に適した撮像パラメータ及び発光条件が設定される（センサレジスタ制御）。センサレジスタ制御は、不図示のメモリ（レジスタ）に保持された撮像パラメータが設定されることを示す。フレームｂ０では、ＩＲ画像の撮像がイメージセンサにおいて行われる。ローリングシャッタ方式のイメージセンサが使用されるので、ＩＲ画像の撮像はフレームｂ１に亘って行われる。
フレームｂ１では、ＲＧＢ画像に適した撮像パラメータ及び発光条件に切り替えられて設定される（センサレジスタ設定）。これにより、ＩＲ照明がオフからオンに切り替えられ、撮像されるＩＲ画像の輝度は、撮像途中で変化する。そのため、フレームｂ１で得られる画像は不鮮明な画像となるので、フレームｂ１において撮像されたＩＲ画像はＤｕｍｍｙ（ダミー画像）として破棄される。
フレームｂ２では、フレームｂ１からフレームｂ２に亘ってイメージセンサにおいて撮像されたＩＲ画像が取得される。
フレームｂ３では、フレームｂ２からフレームｂ３に亘ってイメージセンサにおいて撮像されたＲＧＢ画像が取得されるが、ＩＲ画像に適した撮像パラメータ及び発光条件を設定する。これにより、ＩＲ照明がオンからオフに切り替えられるので、撮像されるＲＧＢ画像の輝度は、撮像途中で変化する。そのため、フレームｂ３で得られるＲＧＢ画像は不鮮明な画像となるので、フレームｂ３において撮像されたＲＧＢ画像はＤｕｍｍｙ（ダミー画像）として破棄される。
フレームｂ４では、フレームｂ３からフレームｂ４に亘ってイメージセンサにおいて撮像されたＲＧＢ画像が取得され、フレームｂ２で取得されたＩＲ画像とフレームｂ４で取得されたＲＧＢ画像とが合成されて合成画像が得られる。以後、同様の動作が繰り返される。
図１４に示す比較例の撮像装置（例えば監視カメラ）では、ＩＲ画像及びＲＧＢ画像の露光時間が長くても１フレームであったため、フレームｂ１，ｂ３，ｂ５，ｂ７のように、撮像された画像がダミー画像として破棄されていた。このため、出力画像のフレームレートが低下したり、イメージセンサから得られたＩＲ画像及びＲＧＢ画像の感度が低下したり、ＩＲ画像のフレームとＲＧＢ画像のフレームとの間に残像が生じる等の影響が出ていた。例えばローリングシャッタ方式で６０ｆｐｓ（frame per second）のイメージセンサが使用された場合には、ＲＧＢ画像の露光時間は１フレーム（つまり、１／６０（秒））となり、出力画像のフレームレートは１５ｆｐｓとなって低下した。
そこで、以下の本実施形態では、ローリングシャッタ方式のイメージセンサを用いた場合でも、簡易な構成で出力画像の歪みを低減し、出力画像のフレームレートの低下を抑制する撮像装置の例について詳細に説明する。
以下の本実施形態の撮像装置は、例えば監視カメラに適用されるので、説明の分かり易さのために監視カメラを例示して説明する。
（本実施形態）
図１は、本実施形態の監視カメラ１０の外観例を示す模式図である。図１に示す監視カメラ１０は、筐体１０ａを有し、筐体１０ａに連結されたアーム部１０ｃ及び取付部１０ｂによって壁面１５に固定される。筐体１０ａの前方にある鏡胴１１には、撮像部２０が収容される。
撮像部２０は、前面にレンズ２１を有し、被写体を含む所定の領域を撮像するように向けられる。また、鏡胴１１には、撮像部２０と隣接して、ＩＲ照明（又は「ＩＲ光」ともいう）を発光するＩＲ＿ＬＥＤ部３６が設けられる。図１ではＩＲ＿ＬＥＤ部３６が８個設けられることを例示するが、ＩＲ＿ＬＥＤ部３６の数は８個に限定されない。
図２は、本実施形態の監視カメラ１０の構成例を示すブロック図である。
監視カメラ１０は、撮像部２０を有する。撮像部２０は、レンズ２１、絞り２２、２バンドパスフィルタ２３及びイメージセンサ２４を含む。レンズ２１、絞り２２、２バンドパスフィルタ２３及びイメージセンサ２４は、各々光軸方向に沿って順に配置される。撮像部２０の前方にはレンズ２１が位置し、撮像部２０の後方にはイメージセンサ２４が位置する。撮像部２０は、画像を撮像するための撮像条件に応じて、被写体を含む画像を撮像する。
レンズ２１は、撮像部２０に入射される光を集光する。絞り２２は、露光制御部３３からの指示に応じて、レンズ２１を通して入射される光の量を調整する。
２（デュアル）バンドパスフィルタ２３は、イメージセンサ２４の前方に配置され、可視光領域及び赤外領域の波長を有する光の透過率が高く、その他の波長を有する光の透過率が低くなるように設計されたフィルタである。
イメージセンサ２４は、ローリングシャッタ方式に応じた撮像動作を行い、前面にカラーフィルタ２５（図４（Ａ），（Ｂ））が組み込まれたカラーイメージセンサを含む。イメージセンサ２４は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサである。
イメージセンサ２４は、撮像センサ部の一例としてのイメージセンサ素子が直線方向に一列に並んだラインが複数設けられた構成であり、２バンドパスフィルタ２３及びカラーフィルタ２５を介して被写体からの光を各イメージセンサ素子のラインにおいて受光し、電気信号に変換して画像を得る。イメージセンサ２４は、例えば、ＩＲ成分が比較的多い画像（ＩＲ画像）と、ＩＲ成分が比較的少ない画像（ＲＧＢ画像）とを時分割（周期的）に得る。イメージセンサ２４は、露光制御部３３からの指示に応じて、公知の方法によりイメージセンサ２４自身で露光量や露光時間を変更して撮像してもよい。
また、監視カメラ１０は、ゲイン制御部３１、色調補正部３２、露光制御部３３及びカメラ信号処理部４０を有する。
ゲイン制御部３１は、ＲＧＢ画像制御部４７又はＩＲ画像制御部４８により指定されたゲインを用いて、イメージセンサ２４から出力される画像の信号レベルを増幅するように増幅器（不図示）の利得（ゲイン）を調整する。以下、増幅器のゲインを、単にゲインともいう。
色調補正部３２は、ＲＧＢ画像制御部４７又はＩＲ画像制御部４８により指定された補正量を用いて、イメージセンサ２４から出力される画像（例えばＩＲ画像、ＲＧＢ画像）の色調を補正する。色調は、例えばホワイトバランスを含む。
露光制御部３３は、ＲＧＢ画像処理部４２又はＩＲ画像処理部４３からの指定に応じて、絞り２２の絞り値、イメージセンサ２４の露光時間を調整する。
カメラ信号処理部４０は、画像信号に対して各種の信号処理を施す。カメラ信号処理部４０は、ＲＧＢ・ＩＲ分離部４１、ＲＧＢ画像処理部４２、ＩＲ画像処理部４３、ＲＧＢ・ＩＲ合成部４４、画像後処理部４５、フレームメモリ４６、ＲＧＢ画像制御部４７及びＩＲ画像制御部４８を有する。
ＲＧＢ・ＩＲ分離部４１は、例えば同じ信号ラインを介して、色調補正部３２から時分割にＲＧＢ画像及びＩＲ画像を得て、ＲＧＢ画像とＩＲ画像とを分離する。ＲＧＢ・ＩＲ分離部４１は、ＲＧＢ画像をＲＧＢ画像処理部４２に出力し、ＩＲ画像をＩＲ画像処理部４３に出力する。
ＲＧＢ画像処理部４２は、分離されたＲＧＢ画像に対して所定の画像処理を施し、ＲＧＢ・ＩＲ合成部４４に出力する。ＲＧＢ画像処理部４２による画像処理は、例えばＲＧＢ画像に対する階調補正、色調補正、ノイズ除去を含む。
条件指定部の一例としてのＲＧＢ画像処理部４２は、少なくとも２フレームの周期毎に、例えばＲＧＢ画像制御部４７に対し、ＲＧＢ画像の撮像に適した撮像条件（撮像パラメータ）を指示する。この撮像パラメータは、例えばゲイン、色調補正の補正量を含む。ＲＧＢ画像処理部４２は、同様に少なくとも２フレームの周期毎に、例えば露光制御部３３に対し、ＲＧＢ画像の撮像に適した撮像条件（例えば露光時間）を指示する。
撮像パラメータは、例えばゲイン、露光時間、露光量、色調補正量（例えばホワイトバランスの調整量）、階調補正量を含む。撮像パラメータの情報は、例えば監視カメラ１０内のメモリ（不図示）に保持される。撮像パラメータとして、ＲＧＢ画像撮像用の撮像パラメータとＩＲ画像撮像用の撮像パラメータとが独立して設けられてもよい。
ＲＧＢ画像処理部４２は、第１のＲＧＢ画像の成分と第２のＲＧＢ画像の成分との間に差異がある場合に、この差異に応じて、撮像パラメータを更新してもよい。第１のＲＧＢ画像の成分とは、露光制御部３３及びＲＧＢ画像制御部４７に対して指示された撮像パラメータにより得られると推測されるＲＧＢ画像の成分である。第２のＲＧＢ画像の成分とは、ＲＧＢ・ＩＲ分離部４１から実際に取得されたＲＧＢ画像の成分である。更新された撮像パラメータが、ＲＧＢ画像制御部４７及び露光制御部３３へ送られてもよい。ＲＧＢ画像処理部４２は、この差異に応じて、画像処理（例えば階調補正、色調補正、）してもよい。
また、ＲＧＢ画像処理部４２は、ユーザから特定の画像処理を行うための操作を操作部（不図示）が受け付けた場合、画像処理（例えば階調補正、色調補正）してもよい。
ＲＧＢ画像処理部４２は、撮像条件と発光条件とを時分割で指定する条件指定部の一例である。
ＲＧＢ画像制御部４７は、例えば指定された撮像パラメータに従い、ゲイン制御部３１に対してゲインを制御する（例えばゲインを上げる）指示を行い、色調補正部３２に対して色調を補正する指示を行う。
ＩＲ画像処理部４３は、分離されたＩＲ画像に対して所定の画像処理を施し、ＲＧＢ・ＩＲ合成部４４に出力する。ＩＲ画像処理部４３による画像処理は、例えばＩＲ画像に対する階調補正、色調補正、ノイズ除去を含む。
条件指定部の一例としてのＩＲ画像処理部４３は、少なくとも２フレームの周期毎に、例えばＩＲ画像制御部４８に対し、ＩＲ画像の撮像に適した撮像条件（撮像パラメータ）を指示する。この撮像パラメータは、例えばゲイン、色調補正の補正量を含む。ＩＲ画像処理部４３は、同様に少なくとも２フレームの周期毎に、例えば露光制御部３３に対し、ＩＲ画像の撮像に適した撮像条件（例えば露光時間）を指示する。
ＩＲ画像処理部４３は、例えばＩＲ照明制御部３４に対し、ＩＲ画像の撮像に適した発光条件を指示する。ＩＲ光は、赤外光であり、ＮＩＲ光（近赤外光）を含む。発光条件は、ＩＲ＿ＬＥＤ部３６によるＩＲ光の発光の有無、ＩＲ光の発光量の情報を含む。発光条件の情報は、例えば監視カメラ１０のカメラ信号処理部４０内のメモリ（不図示）に保持される。
ＩＲ画像処理部４３は、第１のＩＲ画像の成分と第２のＩＲ画像の成分との間に差異がある場合に、この差異に応じて、撮像パラメータ及び発光条件の少なくとも一方を更新してもよい。第１のＩＲ画像の成分とは、露光制御部３３及びＩＲ画像制御部４８に対して指示された撮像パラメータと、ＩＲ照明制御部３４に対して指示された発光条件と、により得られると推測されるＩＲ画像の成分である。第２のＩＲ画像の成分とは、ＲＧＢ・ＩＲ分離部４１から実際に取得されたＩＲ画像の成分である。更新された撮像パラメータが、ＩＲ画像制御部４８及び露光制御部３３へ送られてもよい。更新された発光条件が、ＩＲ照明制御部３４へ送られてもよい。ＩＲ画像処理部４３は、この差異に応じて、画像処理（例えば階調補正、色調補正）してもよい。
また、ＩＲ画像処理部４３は、ユーザから特定の画像処理を行うための操作を操作部（不図示）が受け付けた場合、画像処理（例えば階調補正、色調補正）してもよい。
ＩＲ画像処理部４３は、撮像条件と発光条件とを時分割で指定する条件指定部の一例である。
ＩＲ画像制御部４８は、例えば指示された撮像パラメータに従い、ゲイン制御部３１に対してゲインを制御する（例えばゲインを下げる）指示を行い、色調補正部３２に対して色調を補正する指示を行う。
画像合成部の一例としてのＲＧＢ・ＩＲ合成部４４は、所定のタイミング（後述参照）において、例えば非特許文献１に記載された公知の画像合成方法により、可視光を用いて撮像されたＲＧＢ画像と非可視光であるＩＲ光（ＩＲ照明）を用いて撮像されたＩＲ画像とを合成し、合成画像（つまり、監視カメラ１０の出力画像）を生成する。具体的には、ＲＧＢ・ＩＲ合成部４４は、例えばＲＧＢ画像から色調成分を抽出し、ＩＲ画像からエッジ成分及び階調成分を抽出し、抽出された各成分を用いて合成することで出力画像を生成する。ＲＧＢ・ＩＲ合成部４４は、ＲＧＢ画像及びＩＲ画像を合成して出力画像を生成することで、低照度の環境においても、輪郭が鮮明で色鮮やかなカラー画像を生成できる。
画像後処理部４５は、合成画像に対して、所定の後処理（例えば合成画像の画像認識処理、合成画像の信号レベルを増幅する増幅補正、合成画像の階調補正、合成画像の色調補正）を行う。
フレームメモリ４６は、画像データを記憶し、ＲＧＢ画像処理部４２及びＩＲ画像処理部４３との間で画像データを送受する。フレームメモリ４６に記憶される画像データは、例えばＲＧＢ・ＩＲ合成部４４による画像の合成対象であり、先に撮像されたＲＧＢ画像又はＩＲ画像の画像データを含む。
また、監視カメラ１０は、ＩＲ照明制御部３４、ドライブ回路部３５、ＩＲ＿ＬＥＤ部３６及びインタフェース部５０を有する。
第１発光部の一例としてのＩＲ照明制御部３４は、例えばＩＲ画像処理部４３からの発光条件に応じて、ＩＲ＿ＬＥＤ部３６の発光の有無を指示する制御信号をドライブ回路部３５へ送る。ＩＲ照明制御部３４は、非可視光画像（ＩＲ画像）の撮像期間中であって、かつ、可視光画像（ＲＧＢ画像）の撮像期間外の期間に、例えばＩＲ画像処理部４３からの発光条件に応じて、ＩＲ＿ＬＥＤ部３６をＰＷＭ（Pulse Width Modulation）制御するため、ドライブ回路部３５に対してＰＷＭ信号を送る。
ドライブ回路部３５は、例えばＩＲ照明制御部３４からの制御信号又はＰＷＭ信号を受け、ＩＲ＿ＬＥＤ部３６の発光の有無又は発光量を制御する。
第１発光部の一例としてのＩＲ＿ＬＥＤ部３６は、ドライブ回路部３５により制御された発光量を用いて、被写体に対して非可視光であるＩＲ光を発光する。つまり、ＩＲ＿ＬＥＤ部３６は、被写体に対してＩＲ光を発光する。
インタフェース部５０は、カメラ信号処理部４０から出力される合成画像（出力画像）を外部に出力する。インタフェース部５０は、例えば、外部の記憶媒体に合成画像を出力するためのＵＳＢ（Universal Serial Bus）を含む。インタフェース部５０は、例えば外部の通信装置（例えば通信機能を有するＰＣ（Personal Computer）等の情報処理装置）に合成画像を送信するための通信インタフェース（例えばＬＡＮ（Local Area Network）に接続するためのＬＡＮ端子）を含む。なお、インタフェース部５０は、合成画像が生成される前のＲＧＢ画像又はＩＲ画像を外部に出力してもよい。
次に、撮像部２０により撮像される画像について説明する。
撮像部２０により撮像される画像は、例えばＲＧＢ画像、ＩＲ画像、その他の画像を含む。ＲＧＢ画像は、例えばＩＲ＿ＬＥＤ部３６によりＩＲ光が発光されず、被写体に対してＩＲ光が発光されない非発光期間（第２期間）に、環境光（つまり自然界に存在する周囲の光）を基にイメージセンサ２４により撮像される画像である。一方、ＩＲ画像は、例えばＩＲ＿ＬＥＤ部３６によりＩＲ光が発光され、被写体に対してＩＲ光が発光される発光期間（第１期間）に、ＩＲ光を基にイメージセンサ２４により撮像される画像である。
ＲＧＢ画像の撮像では、撮像パラメータに応じて、ＲＧＢ画像の色調成分が大きくなるよう制御される。例えばＲＧＢ画像制御部４７又は露光制御部３３は、撮像パラメータに応じて、露光量、ゲイン、又は色調の補正量を制御する。例えば露光量が多い程又はゲインが大きい程、色調成分が大きくなるので、露光量が多くなるようにゲインが大きくなるように制御される。この場合、ゲインが大きくなることで、ＲＧＢ画像のノイズ成分が多くなってもよい。また、ＲＧＢ画像では、被写体のエッジ成分の大きさが十分でなく、エッジが不明確でもよい。
ＩＲ画像の撮像では、ＩＲ画像の階調成分及びエッジ成分が大きくなるよう制御される。例えばＩＲ画像制御部４８又は露光制御部３３は、撮像パラメータに応じて、露光量、ゲイン、又は色調の補正量を制御する。例えばＩＲ照明制御部３４は、発光条件に応じて、ＩＲ光の発光量を制御する。ＩＲ画像は、ＩＲ画像の色調成分が小さくてもよい。ＩＲ画像は、ＩＲ画像のノイズ成分が小さい方が好ましい。
なお、本実施形態では、主に被写体に対して非可視光の一例としてＩＲ光が発光され、ＩＲ画像が得られることを説明しているが、ＩＲ光以外の非可視光が発光されてもよい。例えば光発光されて得られた画像から、必要なエッジ成分、階調成分を取得できれば、ＩＲ光の代わりに、可視光でもよいし、紫外光でもよい。ＩＲ光を用いた場合、得られる画像の階調成分及びエッジ成分を容易に強調できるので、低照度の環境でも所望の階調成分及びエッジ成分を容易に得ることができる。
図３は、本実施形態の監視カメラ１０の２バンドパスフィルタ２３の光学特性例を示すグラフである。２バンドパスフィルタ２３は、例えば波長がおよそ４００ｎｍ〜７００ｎｍの範囲である可視光領域、及び、波長がおよそ８００ｎｍ〜９００ｎｍの範囲である赤外領域において高い透過率を有する。
被写体からの光のうち２バンドパスフィルタ２３を透過する可視光が、ＲＧＢ画像の生成に用いられる。被写体からの光のうち２バンドパスフィルタ２３を透過する赤外光が、ＩＲ画像の生成に用いられる。
図４（Ａ），（Ｂ）は、本実施形態の監視カメラ１０の撮像部２０の構成例を示す模式図である。図４（Ａ）は、撮像部２０における各部の配置関係の一例を示す模式図である。図４（Ａ）では、撮像部２０は、光軸ＡＸ上に配置されたレンズ２１、絞り２２、２バンドパスフィルタ２３及びイメージセンサ２４を有する。イメージセンサ２４の前面には、カラーフィルタ２５が含まれる。
図４（Ｂ）は、カラーフィルタ２５のベイヤ配列の一例を示す模式図である。カラーフィルタ２５は、Ｇ（緑）色の光を透過させる２つのＧフィルタ部２５ａ，２５ｃと、Ｒ（赤）色の光を透過させるＲフィルタ部２５ｂと、Ｂ（青）色の光を透過させるＢフィルタ部２５ｄとを含む構成である。なお、各フィルタ部２５ａ〜２５ｄは、各色の光の他に、ＩＲ光も透過する。
イメージセンサ２４は、例えば、露光制御部３３により撮像パラメータ及びＩＲ光の発光の有無が少なくとも２フレームの周期で切り替えられることで、ＲＧＢ画像及びＩＲ画像を時分割に生成する。
例えば低照度の環境においてＲＧＢ画像を得る場合、ＲＧＢ画像制御部４７は、撮像パラメータとしての露光時間を長くするように設定し、撮像パラメータとしてのゲインを大きくするように設定する。このように設定された状態では、イメージセンサ２４は、ＲＧＢ画像を取得する。
例えば低照度の環境においてＩＲ画像を得る場合、ＩＲ照明制御部３４は、ドライブ回路部３５に対し、ＩＲ＿ＬＥＤ部３６が被写体に向けてＩＲ光を発光するように制御する。また、ＩＲ画像制御部４８は、撮像パラメータとしての露光時間を短くするように設定し、撮像パラメータとしてのゲインを小さくするように設定する。このように設定された状態では、イメージセンサ２４は、ＩＲ画像を取得する。なお、低照度とは、例えば照度が０．１ルクス（ｌｕｘ）以下である場合を指す。
なお、図３及び図４（Ａ），（Ｂ）では、２バンドパスフィルタ２３を用いることを例示したが、イメージセンサ２４が受光する光には、ＩＲ成分以外の光が含まれてもよい。例えば、カラーフィルタ２５の代わりに、全帯域透過フィルタ、可視カットフィルタ、赤外バンドパスフィルタが用いられてもよい。２バンドパスフィルタ２３以外が用いられても、ＩＲ画像の代わりに得られた画像から、所定の階調成分及びエッジ成分が得られればよい。
次に、監視カメラ１０の動作例について、図５を参照して説明する。図５は、本実施形態の監視カメラ１０における全体的な撮像動作の手順例を説明するフローチャートである。
図５において、イメージセンサ２４は、露光制御部３３によって指定されたＲＧＢ画像又はＩＲ画像の露光時間（詳細は後述するが、ともに少なくともイメージセンサ２４のフレームレート（例えば１２０ｆｐｓ）の２フレーム以上の期間（例えば１／６０（秒）以上の期間））に亘って、被写体からの光を受光すると、ＲＧＢ画像又はＩＲ画像を得て、ゲイン制御部３１へ出力する（Ｓ１）。
ゲイン制御部３１は、ＲＧＢ画像制御部４７により指定されるゲインを用いて、イメージセンサ２４からの画像のうちＲＧＢ画像の信号を増幅する（Ｓ２）。ゲイン制御部３１は、ＩＲ画像制御部４８により指定されるゲインを用いて、イメージセンサ２４からの画像のうちＩＲ画像の信号を増幅する（Ｓ２）。
色調補正部３２は、ＲＧＢ画像制御部４７によって指定される色調の補正量を用いて、ＲＧＢ画像の色調を補正する（Ｓ３）。色調補正部３２は、ＩＲ画像制御部４８によって指定される色調の補正量を用いて、ＩＲ画像の色調を補正する（Ｓ３）。
ＲＧＢ・ＩＲ分離部４１は、色調補正部３２からのＲＧＢ画像とＩＲ画像とを分離する（Ｓ４）。ＲＧＢ・ＩＲ分離部４１は、ＲＧＢ画像をＲＧＢ画像処理部４２に送り、ＩＲ画像をＩＲ画像処理部４３に送る。つまり、ＲＧＢ・ＩＲ分離部４１は、画像の出力先を時分割（具体的には、少なくとも２フレームの周期毎）に切り替える。
ＲＧＢ画像処理部４２は、ＲＧＢ・ＩＲ分離部４１からのＲＧＢ画像に対して、所定の画像処理を行う（Ｓ５）。ＩＲ画像処理部４３は、ＲＧＢ・ＩＲ分離部４１からのＩＲ画像に対して、所定の画像処理を行う（Ｓ６）。
ＲＧＢ画像制御部４７及び露光制御部３３は、例えばＲＧＢ画像撮像用の撮像パラメータに応じて、例えば、露光量、露光時間、ゲイン、色調の補正量を指定する。
ＩＲ画像制御部４８、露光制御部３３及びＩＲ照明制御部３４は、例えばＩＲ画像撮像用の撮像パラメータ及び発光条件に応じて、例えば露光量、露光時間、ゲイン、色調の補正量、ＩＲ光の発光の有無、ＩＲ光の発光量を指定する。
ＲＧＢ・ＩＲ合成部４４は、所定のタイミング（後述参照）において、ＲＧＢ画像処理部４２により画像処理されたＲＧＢ画像と、ＩＲ画像処理部４３により画像処理されたＩＲ画像とを合成する（Ｓ７）。
画像後処理部４５は、合成された画像（出力画像）に対し、所定の後処理を行う（Ｓ８）。インタフェース部５０は、後処理された合成画像（出力画像）を外部に出力する（Ｓ９）。
このように、図５に示す監視カメラ１０による動作例によれば、監視カメラ１０は、ＲＧＢ画像の撮像用の撮像パラメータに沿ったＲＧＢ画像と、ＩＲ画像の撮像用の撮像パラメータに沿ったＩＲ画像とを取得して合成できる。監視カメラ１０は、画像の合成により、低照度の環境においても、輪郭が鮮明で色鮮やかな画像が得られ、撮像された画像の品質を容易に向上できる
図６は、ローリングシャッタ方式に応じた撮像動作を行うイメージセンサ２４を含む本実施形態の監視カメラ１０の撮像動作例を模式的に説明するための説明図である。
イメージセンサ２４がＣＭＯＳセンサを含んで構成される場合、例えばライン露光順次読み出し方式（ローリングシャッタ方式）によってＲＧＢ画像又はＩＲ画像が撮像される。ローリングシャッタ方式では、イメージセンサ２４におけるイメージセンサ素子のライン毎に画像の露光タイミング（言い換えると、撮像タイミング）が異なり、ＲＧＢ画像及びＩＲ画像の撮像の開始から終了までの期間が、１フレーム内に収まらず、連続する２つのフレームに亘る。
そのため、例えば図１４に示す比較例の監視カメラでは、ＲＧＢ画像とＩＲ画像との撮像（露光）タイミングが切り替わる時には、切替時の最初の１フレームのＲＧＢ画像、ＩＲ画像がともに破棄されるので、ローリングシャッタ方式では、グローバルシャッタ方式と比べてフレームレートが１／２になる。また、ＩＲ画像の撮像期間においてＩＲ光が発光されるように、ＩＲ光は、ＩＲ画像を撮像するための２フレームに亘って発光される。
図６に示す本実施形態では、例えばフレームレートが１２０ｆｐｓのローリングシャッタ方式のイメージセンサ２４が使用され、２フレームの露光期間（言い換えると、撮像期間）においてＩＲ画像が撮像される。実際には、イメージセンサ２４のイメージセンサ素子の最初ラインの露光開始タイミングと最終ラインの露光開始タイミングとが異なるので、フレームｃ１，ｃ２，ｃ３の３フレームに亘って、ＩＲ画像が撮像されることになる。また、同様にＲＧＢ画像も２フレームの露光期間（言い換えると、撮像期間）において撮像され、フレームｃ３，ｃ４，ｃ５の３フレームに亘って、ＲＧＢ画像が撮像される。なお、フレームｃ５以降においては、フレームｃ１〜フレームｃ５と同様にＩＲ画像の撮像、ＲＧＢ画像の撮像が繰り返される。
具体的には、最初のフレームｃ１の次のフレームｃ２においてＩＲ発光が開始され、所定の期間（後述参照）に亘ってＩＲ光が発光される。フレームｃ３では、イメージセンサ２４は、カラーフィルタ２５を透過した光を、ＩＲ画像として受光する。
また、フレームｃ３では、可視光である環境光を用いてＲＧＢ画像の撮像が開始され、フレームｃ５までＲＧＢ画像の撮像が行われる。また、フレームｃ５では、ＲＧＢ・ＩＲ合成部４４は、ＲＧＢ画像の撮像と並行して、フレームｃ３で得られたＩＲ画像と、フレームｃ５で得られたＲＧＢ画像との合成を開始し、合成画像（出力画像）を生成する。以後、同様の動作が繰り返される。
なお図６では、ＩＲ画像が先に撮像され、ＲＧＢ画像が後に撮像されることを例示したが、逆でもよい。ＩＲ画像が先に撮像され、ＲＧＢ画像が後に撮像されることで、逆の順序で撮像される場合と比べ、ＩＲ画像とＲＧＢ画像との撮像時刻の差を小さくできる。
例えば、ＲＧＢ画像の撮像において、低照度において色調成分をより多く取得する場合、露光時間を長くする。つまり、ＲＧＢ画像の撮像期間を長くする。一方、ＩＲ画像の撮像では、低照度においてエッジ成分及び階調成分をより多く取得する場合でも、ＩＲ発光がされることで、露光時間を長くしなくてもよい。従って、ＲＧＢ画像の撮像期間は、ＩＲ画像の撮像期間よりも長くなる。従って、ＩＲ画像をＲＧＢ画像よりも先に撮像することで、ＩＲ画像の撮像時刻とＲＧＢ画像の撮像時刻及び合成画像の生成時刻との差が小さくなり、合成画像の残像を少なくできる。
なお図６では、合成画像の生成に用いられるＲＧＢ画像が複数のフレームに亘って撮像されてもよい。これにより、色調性の高いＲＧＢ画像が得られる。
図７は、ローリングシャッタ方式に応じた撮像動作を行うイメージセンサ２４を含む本実施形態の監視カメラ１０の撮像動作の具体例を示すタイミングチャートである。
図７において、フレームｃ０では、ＩＲ画像処理部４３は、例えば露光制御部３３、ＩＲ照明制御部３４及びＩＲ画像制御部４８に対し、ＩＲ画像に適した撮像パラメータ及び発光条件をそれぞれ設定する（センサレジスタ制御）。センサレジスタ制御は、不図示のメモリ（レジスタ）に保持された撮像パラメータが各部（具体的には、露光制御部３３、ＩＲ照明制御部３４、ＩＲ画像制御部４８）に設定されることを示す。
フレームｃ１では、イメージセンサ２４のイメージセンサ素子の最初ラインの撮像（露光）が開始され、フレームｃ３までＩＲ画像の撮像がイメージセンサにおいて行われる。フレームｃ２では、ＩＲ照明制御部３４は、所定の期間（後述参照）に亘ってＩＲ＿ＬＥＤ部３６にＩＲ光を発光させる。フレームｃ３では、イメージセンサ２４は、ＩＲ＿ＬＥＤ部３６からＩＲ光が発光された期間に撮像したＩＲ画像を取得する。イメージセンサ２４におけるＩＲ画像の露光（撮像）期間は２フレームである（１／６０（秒））。イメージセンサ２４のフレームレートは１２０ｆｐｓとしているので、１フレームは１／１２０（秒）である。
また、フレームｃ２では、ＲＧＢ画像処理部４２は、例えば露光制御部３３、ＩＲ照明制御部３４及びＲＧＢ画像制御部４７に対し、ＲＧＢ画像に適した撮像パラメータ及び発光条件をそれぞれ設定する（センサレジスタ制御）。センサレジスタ制御は、不図示のメモリ（レジスタ）に保持された撮像パラメータが各部（具体的には、露光制御部３３、ＩＲ照明制御部３４、ＲＧＢ画像制御部４７）に設定されることを示す。
フレームｃ３では、イメージセンサ２４のイメージセンサ素子の最初ラインの撮像（露光）が開始され、フレームｃ５までＲＧＢ画像の撮像がイメージセンサにおいて行われる。フレームｃ３〜フレームｃ５では、ＩＲ照明制御部３４は、ＩＲ＿ＬＥＤ部３６にＩＲ光を発光させない。フレームｃ５では、イメージセンサ２４は、撮像したＲＧＢ画像を取得する。イメージセンサ２４におけるＲＧＢ画像の露光（撮像）期間は２フレームである（１／６０（秒））。
また、フレームｃ５では、フレームｃ３で取得されたＩＲ画像と、フレームｃ５で取得されたＲＧＢ画像とを合成して合成画像（出力画像）を生成して画像後処理部４５に出力する。フレームｃ５以後、フレームｃ０〜フレームｃ５までの動作と同様の動作が繰り返される。
これにより、本実施形態の監視カメラ１０は、ＩＲ画像の露光時間（撮像時間）及びＲＧＢ画像の露光時間（撮像時間）を２フレームとし、更に、ＩＲ照明の期間をＩＲ画像の露光時間中であってＲＧＢ画像の露光時間外とすることで、出力画像のフレームレートとして３０ｆｐｓを得ることができ、比較例のようにＤｕｍｍｙ（ダミー画像）を破棄することなく、出力画像の画質の劣化を抑制でき、ＩＲ画像やＲＧＢ画像の感度の低下、更にはフレーム間の残像の発生を抑制できる。
図８は、ＩＲ照明が発光される第１期間（ＩＲ照明オン期間）とイメージセンサ２４の露光時間との関係の一例を示す説明図である。
イメージセンサ２４によりＩＲ画像が取得されるＩＲ画像取得期間は、フレームｃ１〜フレームｃ３までの期間であり、ＩＲ照明がオンにされる時間よりも短い。イメージセンサ２４によりＲＧＢ画像が取得されるＲＧＢ画像取得期間は、フレームｃ３〜フレームｃ５までの期間であり、ＩＲ照明がオフにされる時間とほぼ同一である。ＩＲ画像はＩＲ照明の下で撮像され、ＲＧＢ画像は環境光の下で撮像される。
これにより、ＩＲ画像が撮像される期間にＩＲ光が発光され、ＩＲ成分が強調された被写体の画像を取得できる。また、ＲＧＢ画像が撮像される期間にはＩＲ光が発光されず、ＩＲ成分が強調されていない被写体の画像を取得できる。よって、例えばＩＲ画像からのエッジ成分等の抽出精度を向上でき、ＲＧＢ画像からの色調成分等の抽出精度を向上できる。よって、合成画像では、例えば抽出精度の高いエッジ成分に対して、抽出精度の高い色調成分を付加でき、合成画像の画質を向上できる。
図８では、ＩＲ照明制御部３４は、時刻Ｔ２から時刻Ｔ３の間にＩＲ照明をＩＲ＿ＬＥＤ部３６に発光させる。時刻Ｔ２は、ＩＲ照明が発光ＯＦＦの状態から発光ＯＮの状態に切り替えられるタイミングである。時刻Ｔ３は、ＩＲ照明が発光ＯＮの状態から発光ＯＦＦの状態に切り替えられるタイミングである。
ＩＲ照明の発光が開始される時刻Ｔ２は、ＩＲ画像のフレーム（ＩＲフレーム）の最終ラインの露光が開始されるタイミングを示す時刻Ｔ１より後となる。また、ＩＲ照明の発光が終了される時刻Ｔ３は、ＩＲ画像のフレーム（ＩＲフレーム）の最初ラインの露光が終了されるタイミングを示す時刻Ｔ４より前となる。
図９は、ＩＲ照明が発光される第１期間（ＩＲ照明オン期間）とイメージセンサ２４の露光時間とイメージセンサ２４からの垂直同期信号ＶＳＹＮＣとの関係の一例を示す説明図である。イメージセンサ２４が出力する垂直同期信号ＶＳＹＮＣのオンオフの一周期により、１フレームが形成される。
図９では、フレームｃ１に対応する垂直同期信号ＶＳＹＮＣがイメージセンサ２４から出力された時に、イメージセンサ２４の最初ラインの露光が開始され、フレームｃ３の終了時点まで露光が継続する。また、イメージセンサ２４の最初ラインの露光が開始したフレームｃ１の次のフレームｃ２に対応する垂直同期信号ＶＳＹＮＣがイメージセンサ２４から出力された時に、イメージセンサ２４の最終ラインの露光が時刻Ｔ１において開始される。
ＩＲ照明制御部３４は、フレームｃ２に対応する垂直同期信号ＶＳＹＮＣに応じて、多少の遅延時間（delay）の後に、一定期間（図９に示す発光時間参照）、ＩＲ＿ＬＥＤ部３６にＩＲ照明を発光させる（時刻Ｔ２〜時刻Ｔ３）。なお、一定期間に限定されず、ＩＲ照明制御部３４は、周囲の環境に応じて、ＰＷＭのデューティ比を変更することで、ＩＲ照明の発光期間を可変してもよい。上述したように、ＩＲ照明の発光が終了される時刻Ｔ３の後に、イメージセンサ２４の最初ラインの露光が終了する（時刻Ｔ４）。このように、露光制御部３３は、撮像パラメータにより指定される露光時間（図９ではフレームｃ１からフレームｃ３までの期間）が終了すると、イメージセンサ２４の露光を終了するように制御する。
イメージセンサ２４から出力される垂直同期信号ＶＳＹＮＣに応じて、各フレームが形成され、監視カメラ１０の各部（例えば、ＩＲ照明制御部３４、ＲＧＢ・ＩＲ合成部４４）が同期する。
また、ＩＲ照明がオンとされるタイミング、つまり発光条件が切り替わるタイミングと、撮像パラメータが切り替わるタイミングと、を同期させてもよい。これにより、監視カメラ１０は、各発光条件に適した撮像パラメータで、ＲＧＢ画像及びＩＲ画像を生成でき、合成画像を生成でき、合成画像の画質を向上できる。
以上により、本実施形態の監視カメラ１０は、イメージセンサ２４のフレームレートの少なくとも２フレームの周期で、ＩＲ照明が行われる発光期間（図９に示す時刻Ｔ２〜時刻Ｔ３参照）において、例えばＩＲ画像の撮像に適した短露光時間かつ低ゲインの撮像パラメータを用いて、ＩＲ画像を撮像する。
また、監視カメラ１０は、イメージセンサ２４のフレームレートの少なくとも２フレームの周期で、環境光が用いられＩＲ照明が発光されない非発光期間（図９に示す時刻Ｔ２〜時刻Ｔ３の期間以外の期間参照）において、例えばＲＧＢ画像の撮像に適した長露光時間かつ高ゲインの撮像パラメータを用いて、ＲＧＢ画像を撮像する。ＩＲ照明の非発光期間は、発光期間に連続する。撮像されたＩＲ画像とＲＧＢ画像とは、合成され、合成画像が得られる。画像の合成では、例えば、ＩＲ画像から被写体画像のエッジ領域が検出され、ＲＧＢ画像から得られる色信号を用いて、被写体画像に色調が付与される。
これにより、監視カメラ１０は、ローリングシャッタ方式のイメージセンサ２４を用いた場合でも、ＩＲ照明が発光される期間に撮像された被写体のＩＲ画像と、ＩＲ照明が発光されない期間に撮像された被写体のＲＧＢ画像とを合成するので、出力画像の歪みを低減でき、出力画像のフレームレートの低下を抑制できる。また、監視カメラ１０は、低照度の環境で被写体を撮像しても、色再現性の高い合成画像を得ることができる。また、ＩＲ画像を用いてエッジ領域を容易に取得でき、ＲＧＢ画像を用いて鮮やかな色調を容易に取得できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
また、監視カメラ１０は、大がかりな撮像システムを必要としないので、低照度の環境においてカラー画像を取得するための装置のコストを低減し、調整及びメンテナンスも容易化できる。
また、ＩＲ画像処理部４３は、露光時間が短くかつゲインが小さくなるように、ＩＲ画像撮像用の撮像パラメータを設定してもよい。ＲＧＢ画像処理部４２は、露光時間が長くかつゲインが大きくなるように、ＲＧＢ画像撮像用の撮像パラメータを設定してもよい。これにより、ＩＲ画像及びＲＧＢ画像に適した撮像が可能であり、例えば、ＩＲ画像の特徴（例えばエッジ成分、階調成分）を増大でき、ＲＧＢ画像の特徴（例えば色調成分）を増大できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
また、２バンドパスフィルタ２３を通して、被写体からの光を受光してもよい。２バンドパスフィルタ２３を用いる場合、例えばＲＧＢフィルタとＩＲカットフィルタとを用い、ＩＲカットフィルタを機械的にオンオフする場合と比較すると、ＩＲカットフィルタのオンオフ切替が不要となる。従って、ＩＲ画像の取得とＲＧＢ画像の取得とを高速に切り替えでき、合成画像のリアルタイム性を向上でき、例えば高速に動く被写体に対しても追従精度を向上できる。
また、監視カメラ１０は、ローリングシャッタ方式のイメージセンサ２４を用いるので、イメージセンサ２４としてＣＭＯＳセンサを採用でき、監視カメラ１０を低コスト化できる。
また、監視カメラ１０は、ＩＲ照明を時分割に発光する場合、時分割にせずに常に発光する場合と比較すると、２バンドパスフィルタ２３からの漏れ光による信号の干渉を抑制でき、ＲＧＢ画像からの特徴量の抽出精度の低下を抑制できる。従って、このＲＧＢ画像を用いた合成画像の画質を向上できる。
また、監視カメラ１０は、イメージセンサ２４によるＩＲ画像の撮像期間中であって、かつ、イメージセンサ２４によるＲＧＢ画像の撮像期間外の期間を、ＩＲ照明を発光する期間（発光期間）としてＩＲ照明を発光する。これにより、監視カメラ１０は、ＩＲ画像とＲＧＢ画像との間に比較例の監視カメラ１０のような無駄なダミー画像が得られることがないので、高画質な出力画像を得ることができる。
また、監視カメラ１０は、直前のＲＧＢ画像のフレームにおけるイメージセンサ２４の最終ラインの露光終了タイミングから、次のＲＧＢ画像のフレームにおけるイメージセンサ２４の最初ラインの露光開始タイミングまでの期間を、ＩＲ照明の発光期間としてＩＲ照明を発光させる（図９参照）。これにより、監視カメラ１０は、ＩＲ画像の撮像中にはＩＲ照明が発光され、環境光の影響を低減できるので、高画質なＩＲ画像が得られる。
また、監視カメラ１０は、ＩＲ画像のフレームにおけるイメージセンサ２４の最終ラインの露光開始タイミングから、同じＩＲ画像のフレームにおけるイメージセンサ２４の最初ラインの露光終了タイミングまでの期間を、ＩＲ照明の発光期間としてＩＲ照明を発光させる（図９参照）。これにより、監視カメラ１０は、ＩＲ画像の撮像中にはＩＲ照明が発光され、環境光の影響を低減できるので、高画質なＩＲ画像が得られる。
また、監視カメラ１０は、被写体の画像の撮像条件として、ＩＲ照明を用いた撮像条件における露光時間（つまり、ＩＲ画像の撮像時間）と環境光（可視光）を用いた露光時間（つまり、ＲＧＢ画像の撮像時間）とを少なくとも２フレームの周期となるように同一に指定するので、ＩＲ画像とＲＧＢ画像との各感度を同等にすることができ、高画質な出力画像が得られる。
また、監視カメラ１０の２バンドパスフィルタ２３は可視光の波長領域又は非可視光の波長領域に波長が含まれる光の透過率が他の波長領域に波長が含まれる光の透過率より高い。これにより、監視カメラ１０は、ＩＲカットフィルタを不要にでき、ＩＲカットフィルタを機械的なオンオフ動作が不要であり、ＩＲ画像及びＲＧＢ画像の撮像動作を高速化できる。従って、合成画像を生成するための遅延時間が減少し、高速に動く被写体への追従精度を向上できる。
また、監視カメラ１０は、少なくとも２フレームの周期のうちＩＲ照明が発光される期間に被写体のＩＲ画像を撮像し、その期間に続く期間にＲＧＢ画像を撮像し、ＲＧＢ画像の撮像期間の最終フレームにおいて、ＩＲ画像とＲＧＢ画像とを合成する。これにより、監視カメラ１０は、イメージセンサ２４にＣＭＯＳセンサを採用できるので、監視カメラ１０を低価格化できる。
（本実施形態の変形例）
次に、非可視光画像であるＩＲ画像を撮像する際にＩＲ照明を発光するだけでなく、可視光画像であるＲＧＢ画像を撮像する際に白色ＬＥＤ照明を発光する監視カメラ１０Ｐの例を、本実施形態の変形例として、図面を参照して説明する。
図１０は、本実施形態の変形例の監視カメラ１０Ｐの外観例を示す模式図である。図１０に示す監視カメラ１０Ｐの説明では、図１に示す監視カメラ１０の説明と同一の構成については同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。図１０では、監視カメラ１０Ｐの撮像部２０では、ＩＲ＿ＬＥＤ部３６とＩＲ＿ＬＥＤ部３６との間に合計４個の白色ＬＥＤ部３６Ｐが設けられる。
図１１は、本実施形態の変形例の監視カメラ１０Ｐの構成例を示すブロック図である。図１１に示す監視カメラ１０Ｐの構成の説明では、図２に示す監視カメラ１０の説明と同一の構成については同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。
図１１に示す監視カメラ１０Ｐは、図２に示す監視カメラ１０Ｐの構成に、白色ＬＥＤ照明制御部３４Ｐ、ドライブ回路部３５Ｐ及び白色ＬＥＤ部３６Ｐを更に含む構成である。
第２発光制御部の一例としての白色ＬＥＤ照明制御部３４Ｐは、例えばＲＧＢ画像処理部４２からの発光条件に応じて、白色ＬＥＤ部３６Ｐの発光の有無を指示する制御信号をドライブ回路部３５Ｐへ送る。白色ＬＥＤ照明制御部３４Ｐは、可視光画像（ＲＧＢ画像）の撮像期間中であって、かつ、非可視光画像（ＩＲ画像）の撮像期間外の期間に、例えばＲＧＢ画像処理部４２からの発光条件に応じて、白色ＬＥＤ部３６ＰをＰＷＭ制御するため、ドライブ回路部３５Ｐに対してＰＷＭ信号を送る。
ドライブ回路部３５Ｐは、例えば白色ＬＥＤ照明制御部３４Ｐからの制御信号又はＰＷＭ信号を受け、白色ＬＥＤ部３６Ｐの発光の有無又は発光量を制御する。
第２発光部の一例としての白色ＬＥＤ部３６Ｐは、ドライブ回路部３５Ｐにより制御された発光量を用いて、被写体に対して白色ＬＥＤ照明を発光する。つまり、白色ＬＥＤ部３６Ｐは、被写体に対して白色ＬＥＤ照明を発光する。
図１２は、ローリングシャッタ方式に応じた撮像動作を行うイメージセンサ２４を含む本実施形態の変形例の監視カメラ１０Ｐの撮像動作の具体例を示すタイミングチャートである。図１２に示す監視カメラ１０Ｐの撮像動作のタイミングチャートの説明では、図７に示す監視カメラ１０の撮像動作のタイミングチャートの説明と同一の内容については説明を簡略化又は省略し、異なる内容（具体的には、白色ＬＥＤ照明の発光に関する内容）について説明する。
図１２では、フレームｃ４では、白色ＬＥＤ照明制御部３４Ｐは、所定の期間（後述参照）に亘って白色ＬＥＤ部３６Ｐに白色ＬＥＤ照明を発光させる。フレームｃ５では、イメージセンサ２４は、白色ＬＥＤ部３６Ｐから白色ＬＥＤ照明が発光された期間に撮像したＲＧＢ画像を取得する。イメージセンサ２４におけるＲＧＢ画像、ＩＲ画像の露光（撮像）期間は、上述した本実施形態と同様に２フレームであるが（１／６０（秒））、２フレーム以上の期間でもよい。イメージセンサ２４のフレームレートは１２０ｆｐｓとしているので、１フレームは１／１２０（秒）である。
また、フレームｃ２では、ＲＧＢ画像処理部４２は、例えば露光制御部３３、ＩＲ照明制御部３４、白色ＬＥＤ照明制御部３４Ｐ及びＲＧＢ画像制御部４７に対し、ＲＧＢ画像に適した撮像パラメータ及び発光条件をそれぞれ設定する（センサレジスタ制御）。センサレジスタ制御は、不図示のメモリ（レジスタ）に保持された撮像パラメータが各部（具体的には、露光制御部３３、ＩＲ照明制御部３４、白色ＬＥＤ照明制御部３４Ｐ、ＲＧＢ画像制御部４７）に設定されることを示す。
フレームｃ３では、イメージセンサ２４のイメージセンサ素子の最初ラインの撮像（露光）が開始され、フレームｃ５までＲＧＢ画像の撮像がイメージセンサにおいて行われる。イメージセンサ２４は、ＩＲ光が発光されたフレームｃ２において撮像されたＩＲ画像ＩＭ１を取得する。
一方、フレームｃ３〜フレームｃ５では、ＩＲ照明制御部３４は、ＩＲ＿ＬＥＤ部３６にＩＲ光を発光させないが、白色ＬＥＤ照明制御部３４Ｐは、ＲＧＢ画像の露光（撮像）期間であるフレームｃ４において、白色ＬＥＤ部３６Ｐに白色ＬＥＤ照明を発光させる。フレームｃ５では、イメージセンサ２４は、白色ＬＥＤ照明が発光されたフレームｃ４において撮像されたＲＧＢ画像ＩＭ２を取得する。イメージセンサ２４におけるＲＧＢ画像の露光（撮像）期間は２フレームである（１／６０（秒））。
また、ＲＧＢ・ＩＲ合成部４４は、フレームｃ５では、フレームｃ３で取得されたＩＲ画像（つまり、フレームｃ２で撮像されたＩＲ画像ＩＭ１）と、フレームｃ５で取得されたＲＧＢ画像（つまり、フレームｃ４で撮像されたＲＧＢ画像ＩＭ２）とを合成して合成画像（出力画像）を生成して画像後処理部４５に出力する。フレームｃ５以後、フレームｃ０〜フレームｃ５までの動作と同様の動作が繰り返され、ＩＲ光が発光されたフレームに撮像されたＩＲ画像ＩＭ３と白色ＬＥＤ照明が発光されたフレームに撮像されたＲＧＢ画像ＩＭ４とが合成される。
以上により、本実施形態の変形例の監視カメラ１０Ｐは、白色光である白色ＬＥＤ照明の発光条件に応じて、イメージセンサ２４によるＲＧＢ画像の撮像期間中であって、かつ、イメージセンサ２４によるＩＲ画像の撮像期間外の期間に、被写体に対して白色ＬＥＤ照明を発光し、ＩＲ光が発光される期間に撮像されたＩＲ画像ＩＭ１と白色ＬＥＤ照明が発光される期間に撮像されたＲＧＢ画像ＩＭ２とを合成して出力画像を生成する。
これにより、監視カメラ１０Ｐは、上述した本実施形態の監視カメラ１０と同様の効果が得られ、更に、ＩＲ光が発光される期間に撮像されたＩＲ画像ＩＭ１と白色ＬＥＤ照明が発光される期間に撮像されたＲＧＢ画像ＩＭ２とでイメージセンサ２４の撮像期間に対応するスタートライン及びエンドラインを同一にできるので、同じ露光期間（言い換えると、撮像期間）分の画像がそれぞれ得られるので、高速に移動する物体（被写体）に対する出力画像に生じる歪みを一層低減できる。
また、監視カメラ１０Ｐは、直前のＩＲ画像のフレームにおけるイメージセンサ２４の最終ラインの露光終了タイミングから、次のＩＲ画像のフレームにおけるイメージセンサ２４の最初ラインの露光開始タイミングまでの期間を、白色ＬＥＤ照明の発光期間として白色ＬＥＤ照明を発光させる（図１２参照）。これにより、監視カメラ１０Ｐは、ＲＧＢ画像の撮像中には白色ＬＥＤ照明が発光され、環境光の影響を低減できるので、鮮明で高画質なＲＧＢ画像が得られる。
また、監視カメラ１０Ｐは、ＲＧＢ画像のフレームにおけるイメージセンサ２４の最終ラインの露光開始タイミングから、同じＲＧＢ画像のフレームにおけるイメージセンサ２４の最初ラインの露光終了タイミングまでの期間を、ＲＧＢ照明の発光期間として白色ＬＥＤ照明を発光させる（図１２参照）。これにより、監視カメラ１０Ｐは、ＲＧＢ画像の撮像中には白色ＬＥＤ照明が発光され、環境光の影響を低減できるので、鮮明で高画質なＲＧＢ画像が得られる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
また、本実施形態では、撮像装置の一例として監視カメラ１０を例示したが、他の撮像装置（例えば、車載カメラ、産業用カメラ、医療用カメラ、民生用カメラ）でもよい。
本発明は、ローリングシャッタ方式のイメージセンサを用いた場合でも、簡易な構成で出力画像の歪みを低減し、出力画像のフレームレートの低下を抑制する撮像装置及び撮像方法として有用である。
１０、１０Ｐ 監視カメラ
１０ａ 筐体
１０ｂ 取付部
１０ｃ アーム部
１１ 鏡胴
１５ 壁面
２０ 撮像部
２１ レンズ
２２ 絞り
２３ ２バンドパスフィルタ
２４ イメージセンサ
２５、５６ カラーフィルタ
２５ａ、２５ｂ、２５ｃ、２５ｄ、５６ａ、５６ｂ、５６ｃ、５６ｄ フィルタ部
３１ ゲイン制御部
３２ 色調補正部
３３ 露光制御部
３４ ＩＲ照明制御部
３４Ｐ 白色ＬＥＤ照明制御部
３５、３５Ｐ ドライブ回路部
３６ ＩＲ＿ＬＥＤ部
３６Ｐ 白色ＬＥＤ部
４０ カメラ信号処理部
４１ ＲＧＢ・ＩＲ分離部
４２ ＲＧＢ画像処理部
４３ ＩＲ画像処理部
４４ ＲＧＢ・ＩＲ合成部
４５ 画像後処理部
４６ フレームメモリ
４７ ＲＧＢ画像制御部
４８ ＩＲ画像制御部
５０ インタフェース部

Claims (11)

  1. 被写体の画像の撮像条件と非可視光である第１補助光の発光条件とを、少なくとも２フレームの周期で時分割に切り替えて指定する条件指定部と、
    ローリングシャッタ方式の撮像センサ部を含み、前記撮像条件に応じた前記被写体の画像を撮像する撮像部と、
    前記発光条件に応じて、前記被写体に対して前記第１補助光を発光する第１発光部と、
    前記第１補助光が発光される第１期間に、前記第１補助光を用いた撮像条件で撮像された前記被写体の非可視光画像と、前記第１期間に続く前記第１補助光が発光されない第２期間に、可視光を用いた撮像条件で撮像された前記被写体の可視光画像と、を合成する画像合成部と、を備える、
    撮像装置。
  2. 請求項１に記載の撮像装置であって、
    前記撮像部による前記非可視光画像の撮像期間中であって、かつ、前記撮像部による前記可視光画像の撮像期間外の期間を、前記第１期間として、前記第１補助光を前記第１発光部に発光させる第１発光制御部、を更に備える、
    撮像装置。
  3. 請求項２に記載の撮像装置であって、
    前記撮像センサ部は、複数の撮像センサ素子が一列に並んだラインが複数設けられて構成され、
    前記第１発光制御部は、直前の可視光画像のフレームにおける前記撮像センサ素子の最終ラインに対する露光終了タイミングから、次の可視光画像のフレームにおける前記撮像センサ素子の最初ラインに対する露光開始タイミングまでの期間を、前記第１期間として、前記第１補助光を前記第１発光部に発光させる、
    撮像装置。
  4. 請求項２に記載の撮像装置であって、
    前記撮像センサ部は、複数の撮像センサ素子が一列に並んだラインが複数設けられて構成され、
    前記第１発光制御部は、非可視光画像のフレームにおける前記撮像センサ素子の最終ラインに対する露光開始タイミングから、同一の前記非可視光画像のフレームにおける前記撮像センサ素子の最初ラインに対する露光終了タイミングまでの期間を、前記第１期間として、前記第１補助光を前記第１発光部に発光させる、
    撮像装置。
  5. 請求項１に記載の撮像装置であって、
    前記条件指定部は、前記被写体の画像の撮像条件として、前記第１補助光を用いた撮像条件における露光時間と前記可視光を用いた露光時間とが同一となるように指定する、
    撮像装置。
  6. 請求項１から５のうちいずれか一項に記載の撮像装置であって、
    前記撮像部は、フィルタ部と、前記フィルタ部を介して受光して画像を得る前記撮像センサ部とを含み、
    前記フィルタ部は、第１の波長領域又は第２の波長領域に波長が含まれる光の透過率が、他の波長領域に波長が含まれる光の透過率よりも高く、
    前記第１の波長領域は、可視光の波長領域を含み、
    前記第２の波長領域は、非可視光の波長領域を含む、
    撮像装置。
  7. 請求項１から６のうちいずれか一項に記載の撮像装置であって、
    前記撮像部は、前記少なくとも２フレームの周期のうち前記第１補助光が発光される第１期間に前記被写体の非可視光画像を撮像し、前記第１期間に続く前記第２期間に前記可視光画像を撮像し、
    前記画像合成部は、前記第２期間の最終フレームにおいて、前記非可視光画像と前記可視光画像とを合成する、
    撮像装置。
  8. 請求項１に記載の撮像装置であって、
    白色光である第２補助光の発光条件に応じて、前記被写体に対して前記第２補助光を発光する第２発光部と、
    前記撮像部による前記可視光画像の撮像期間中であって、かつ、前記撮像部による前記非可視光画像の撮像期間外の期間を、前記第２期間として、前記第２補助光を前記第２発光部に発光させる第２発光制御部と、を更に備え、
    前記画像合成部は、前記第１期間に前記第１補助光を用いた撮像条件で撮像された前記被写体の非可視光画像と、前記第２補助光が発光される前記第２期間に前記第２補助光を用いた撮像条件で撮像された前記被写体の可視光画像と、を合成する、
    撮像装置。
  9. 請求項８に記載の撮像装置であって、
    前記撮像センサ部は、複数の撮像センサ素子が一列に並んだラインが複数設けられて構成され、
    前記第２発光制御部は、直前の非可視光画像のフレームにおける前記撮像センサ素子の最終ラインに対する露光終了タイミングから、次の非可視光画像のフレームにおける前記撮像センサ素子の最初ラインに対する露光開始タイミングまでの期間を、前記第２期間として、前記第２補助光を前記第２発光部に発光させる、
    撮像装置。
  10. 請求項８に記載の撮像装置であって、
    前記撮像センサ部は、複数の撮像センサ素子が一列に並んだラインが複数設けられて構成され、
    前記第２発光制御部は、可視光画像のフレームにおける前記撮像センサ素子の最終ラインに対する露光開始タイミングから、同一の前記可視光画像のフレームにおける前記撮像センサ素子の最初ラインに対する露光終了タイミングまでの期間を、前記第２期間として、前記第２補助光を前記第２発光部に発光させる、
    撮像装置。
  11. 撮像装置における撮像方法であって、
    被写体の画像の撮像条件と非可視光である第１補助光の発光条件とを、少なくとも２フレームの周期で時分割に切り替えて指定するステップと、
    前記撮像装置が有するローリングシャッタ方式の撮像センサ部を用いて、前記撮像条件に応じた前記被写体の画像を撮像するステップと、
    前記発光条件に応じて、前記被写体に対して前記第１補助光を発光するステップと、
    前記第１補助光が発光される第１期間に、前記第１補助光を用いた撮像条件で撮像された前記被写体の非可視光画像と、前記第１期間に続く前記第１補助光が発光されない第２期間に、可視光を用いた撮像条件で撮像された前記被写体の可視光画像と、を合成するステップと、を有する、
    撮像方法。
JP2014230975A 2014-11-13 2014-11-13 撮像装置及び撮像方法 Pending JP2016096430A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014230975A JP2016096430A (ja) 2014-11-13 2014-11-13 撮像装置及び撮像方法
PCT/JP2015/005549 WO2016075908A1 (ja) 2014-11-13 2015-11-05 撮像装置及び撮像方法
US15/518,806 US10291859B2 (en) 2014-11-13 2015-11-05 Imaging device and imaging method for composing a non-visible light image and a visibile light image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014230975A JP2016096430A (ja) 2014-11-13 2014-11-13 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
JP2016096430A true JP2016096430A (ja) 2016-05-26

Family

ID=55954012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014230975A Pending JP2016096430A (ja) 2014-11-13 2014-11-13 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US10291859B2 (ja)
JP (1) JP2016096430A (ja)
WO (1) WO2016075908A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016178379A1 (ja) * 2015-05-07 2016-11-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
WO2018079372A1 (ja) * 2016-10-28 2018-05-03 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
WO2018154965A1 (ja) * 2017-02-24 2018-08-30 ソニー株式会社 画像処理装置及び撮像装置
CN110493535A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
WO2023166742A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、処置システムおよび画像処理方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425314B2 (ja) * 2014-09-26 2018-11-21 株式会社日立国際電気 撮像方法および撮像装置
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
CN110533709B (zh) * 2018-05-23 2023-02-07 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
US10958830B2 (en) * 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
CN109963086B (zh) 2018-07-30 2020-06-16 华为技术有限公司 时分复用补光成像装置和方法
US11212498B2 (en) * 2018-12-11 2021-12-28 Intel Corporation Infrared crosstalk correction for hybrid RGB-IR sensors
KR20200090347A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
CN111935368B (zh) * 2019-05-13 2022-05-03 杭州海康威视数字技术股份有限公司 内置红外灯和白光灯的摄像机
CN110493495B (zh) * 2019-05-31 2022-03-08 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110490042B (zh) * 2019-05-31 2022-02-11 杭州海康威视数字技术股份有限公司 人脸识别装置和门禁设备
CN110505377B (zh) * 2019-05-31 2021-06-01 杭州海康威视数字技术股份有限公司 图像融合设备和方法
CN110493533B (zh) * 2019-05-31 2021-09-07 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集方法
CN110493493B (zh) * 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110490187B (zh) * 2019-05-31 2022-04-15 杭州海康威视数字技术股份有限公司 车牌识别设备和方法
CN110493536B (zh) * 2019-05-31 2021-10-22 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110490811B (zh) * 2019-05-31 2022-09-09 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
CN110493496B (zh) * 2019-06-14 2021-11-09 杭州海康威视数字技术股份有限公司 图像采集装置及方法
CN110490044B (zh) * 2019-06-14 2022-03-15 杭州海康威视数字技术股份有限公司 人脸建模设备和人脸建模方法
CN110290331B (zh) * 2019-07-24 2021-09-03 维沃移动通信（杭州）有限公司 一种屏幕控制方法及终端
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法
EP3840395B1 (en) * 2019-12-18 2021-11-03 Axis AB Camera and method for introducing light pulses in an image stream
JP7477158B2 (ja) * 2020-07-31 2024-05-01 ｉ－ＰＲＯ株式会社 ３板式カメラ
CN114374776B (zh) * 2020-10-15 2023-06-23 华为技术有限公司 摄像机以及摄像机的控制方法
WO2023125087A1 (zh) * 2021-12-30 2023-07-06 华为技术有限公司 图像处理方法及相关装置
CN117835016B (zh) * 2024-03-06 2024-04-30 厦门瑞为信息技术有限公司 去除双通rgb镜头红外曝光帧的装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5846929A (ja) * 1981-09-17 1983-03-18 富士写真光機株式会社 内視鏡装置
JP2012048069A (ja) * 2010-08-27 2012-03-08 Canon Inc 撮像装置
JP2014183908A (ja) * 2013-03-22 2014-10-02 Olympus Medical Systems Corp 撮像システム
JP2014183909A (ja) * 2013-03-22 2014-10-02 Olympus Medical Systems Corp 撮像システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0004351D0 (en) * 2000-02-25 2000-04-12 Secr Defence Illumination and imaging devices and methods
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
US7307770B2 (en) * 2005-03-14 2007-12-11 Wilkinson Joseph N Hologram imaging device and method of using same
US7840360B1 (en) * 2006-10-26 2010-11-23 Micheels Ronald H Optical system and method for inspection and characterization of liquids in vessels
US7781979B2 (en) * 2006-11-10 2010-08-24 Philips Solid-State Lighting Solutions, Inc. Methods and apparatus for controlling series-connected LEDs
US7786877B2 (en) * 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
US20100201812A1 (en) * 2009-02-11 2010-08-12 Smart Technologies Ulc Active display feedback in interactive input systems
JP5874116B2 (ja) * 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
JP6077391B2 (ja) * 2013-06-06 2017-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5846929A (ja) * 1981-09-17 1983-03-18 富士写真光機株式会社 内視鏡装置
JP2012048069A (ja) * 2010-08-27 2012-03-08 Canon Inc 撮像装置
JP2014183908A (ja) * 2013-03-22 2014-10-02 Olympus Medical Systems Corp 撮像システム
JP2014183909A (ja) * 2013-03-22 2014-10-02 Olympus Medical Systems Corp 撮像システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016178379A1 (ja) * 2015-05-07 2016-11-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
US10484653B2 (en) 2015-05-07 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device, imaging method, and image processing device
WO2018079372A1 (ja) * 2016-10-28 2018-05-03 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
JPWO2018079372A1 (ja) * 2016-10-28 2019-09-12 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
EP3534603A4 (en) * 2016-10-28 2020-04-29 Kyocera Corporation IMAGE CAPTURE DEVICE, IMAGE CAPTURE SYSTEM, MOBILE BODY, AND IMAGE CAPTURE METHOD
US10742890B2 (en) 2016-10-28 2020-08-11 Kyocera Corporation Imaging apparatus, imaging system, moving body, and imaging method
WO2018154965A1 (ja) * 2017-02-24 2018-08-30 ソニー株式会社 画像処理装置及び撮像装置
JPWO2018154965A1 (ja) * 2017-02-24 2020-01-23 ソニー株式会社 画像処理装置及び撮像装置
US10827129B2 (en) 2017-02-24 2020-11-03 Sony Corporation Image processing apparatus and imaging apparatus
JP7020471B2 (ja) 2017-02-24 2022-02-16 ソニーグループ株式会社 画像処理装置及び撮像装置
CN110493535A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
WO2023166742A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、処置システムおよび画像処理方法

Also Published As

Publication number Publication date
WO2016075908A1 (ja) 2016-05-19
US20170237887A1 (en) 2017-08-17
US10291859B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
WO2016075908A1 (ja) 撮像装置及び撮像方法
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP6568719B2 (ja) 撮像方法及び撮像装置
EP2698985B1 (en) Imaging system and imaging method
JP4899149B2 (ja) 面順次方式カラーカメラシステム
US9204056B2 (en) Image pickup apparatus, image pickup apparatus control method, and program
WO2014018936A2 (en) Continuous video in a light deficient environment
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6484504B2 (ja) 撮像装置
US9961276B2 (en) Camera apparatus and image processing method
WO2017110481A1 (ja) 撮像素子及びその駆動方法、並びに撮像装置
WO2015146006A1 (ja) 撮像装置及び撮像制御方法
KR101753261B1 (ko) 촬영 시스템 및 그 영상품질 동기화 방법
JP2009284959A (ja) 内視鏡装置
WO2016035529A1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
WO2016035528A1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
JP2013088587A (ja) ステレオ撮像装置
JPWO2016056476A1 (ja) 撮像システム及び光源装置
JP2011239067A (ja) 画像処理装置
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
WO2015111471A1 (ja) 撮像装置、映像信号処理方法及び映像信号処理プログラム
CN111835949B (zh) 摄像装置、摄像系统、非暂时性存储介质和控制方法
JP6323472B2 (ja) 動画撮像装置
JP2009284931A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181218