JP2017157902A - 信号処理装置、撮像装置および信号処理方法 - Google Patents

信号処理装置、撮像装置および信号処理方法 Download PDF

Info

Publication number
JP2017157902A
JP2017157902A JP2016036925A JP2016036925A JP2017157902A JP 2017157902 A JP2017157902 A JP 2017157902A JP 2016036925 A JP2016036925 A JP 2016036925A JP 2016036925 A JP2016036925 A JP 2016036925A JP 2017157902 A JP2017157902 A JP 2017157902A
Authority
JP
Japan
Prior art keywords
light image
image signal
region
visible light
imaging condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016036925A
Other languages
English (en)
Inventor
康司 倉田
Yasushi Kurata
康司 倉田
直己 岡本
Naoki Okamoto
直己 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016036925A priority Critical patent/JP2017157902A/ja
Priority to US16/074,026 priority patent/US10694118B2/en
Priority to PCT/JP2016/084058 priority patent/WO2017149854A1/ja
Publication of JP2017157902A publication Critical patent/JP2017157902A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】霧を含む画像の画質を向上させる。【解決手段】混合領域検出部と撮像条件更新部とを備える信号処理装置において、混合領域検出部は、所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する。撮像条件更新部は、検出された領域における非可視光画像信号に基づいて非可視光画像信号における撮像条件を新たに生成して所定の撮像条件を更新する。これにより、霧等が含まれる領域が検出され、当該領域において可視光画像信号と非可視光画像信号とが混合されるとともに、当該領域における非可視光画像信号の撮像条件が更新される。【選択図】図３

Description

本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、可視光画像信号および非可視光画像信号の混合を行う信号処理装置、撮像装置および信号処理方法に関する。
従来、撮像を行う際、霧が発生しているか否かを検出して、画像のコントラストを拡大することにより、画質の向上を図る撮像装置が使用されている。例えば、第１および第２の２台のカメラを備え、第１のカメラにより霧を含む画像の撮像を行い、第２のカメラにより霧部分の撮像を行うシステムが提案されている（例えば、特許文献１参照。）。この従来技術では、まず第２のカメラにより撮像された画像から濃霧らしさが検知される。次に、検知された濃霧らしさに基づいて、第１のカメラにより撮像された画像のコントラストの拡大や輝度および色の補正等の補正処理を行う。これにより、霧を含む画像の画質を向上させる。
特開２０１４−１８００２４号公報
上述の従来技術は、可視光のみにより撮像された画像を使用している。この可視光は霧等により散乱され易く、霧の背後に存在する画像の撮像を十分に行うことができないという問題がある。このため、撮像後に濃霧らしさに基づいてコントラストの拡大等を行っても、霧の背後に存在する画像を再現することができず、霧を含む画像の画質を十分に向上させることができないという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、霧による散乱の影響を受け難い赤外光画像信号を可視光画像信号に混合して画像を生成するとともに赤外光画像信号の撮像条件を最適化して、霧を含む画像の画質を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、上記検出された領域における上記非可視光画像信号に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新する撮像条件更新部とを具備する信号処理装置および信号処理方法である。これにより、非可視光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における非可視光画像信号の撮像条件が更新されるという作用をもたらす。
また、この第１の側面において、上記撮像条件更新部は、上記検出された領域における上記非可視光画像信号および上記可視光画像信号が略等しくなる撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、上記検出された領域における上記非可視光画像信号および上記可視光画像信号が略等しくなる撮像条件が新たに生成されて更新されるという作用をもたらす。
また、この第１の側面において、上記撮像条件更新部は、上記検出された領域における上記非可視光画像信号と上記検出された領域以外の領域における上記可視光画像信号とが略等しくなる撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、上記検出された領域における上記非可視光画像信号と上記検出された領域以外の領域における上記可視光画像信号とが略等しくなる撮像条件が新たに生成されて更新されるという作用をもたらす。
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号に撮像された霧の透過率に基づいて上記領域を検出してもよい。これにより、可視光画像信号に撮像された霧の透過率に基づいて領域が検出されるという作用をもたらす。
また、この第１の側面において、上記混合領域検出部は、上記霧の透過率が所定の閾値より小さい領域を上記領域として検出してもよい。これにより、霧の透過率が所定の閾値より小さい領域が上記領域として検出されるという作用をもたらす。
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号に含まれる顔の領域を上記領域として検出してもよい。これにより、顔の領域が上記領域として検出されるという作用をもたらす。
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号が所定の閾値より大きい領域を上記領域として検出してもよい。これにより、可視光画像信号が所定の閾値より大きい領域が上記領域として検出されるという作用をもたらす。
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号が所定の閾値より小さい領域を上記領域として検出してもよい。これにより、可視光画像信号が所定の閾値より小さい領域が上記領域として検出されるという作用をもたらす。
また、この第１の側面において、上記混合における混合比率を上記検出された領域における上記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、上記撮像条件更新部は、上記生成された混合比率に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、検出された領域における非可視光画像信号に基づいて生成混合比率が生成され、この混合比率に基づいて非可視光画像信号における撮像条件が新たに生成されて更新されるという作用をもたらす。
また、この第１の側面において、上記撮像条件に基づいて上記非可視光画像信号のレベルを調整する増幅部をさらに具備してもよい。これにより、撮像条件に基づいて非可視光画像信号のレベルが調整されるという作用をもたらす。
また、この第１の側面において、上記非可視光画像信号は、赤外光に対応する赤外光画像信号であってもよい。これにより、赤外光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における赤外光画像信号の撮像条件が更新されるという作用をもたらす。
また、本技術の第２の側面は、所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、上記非可視光画像信号および上記可視光画像信号の混合を行う領域を検出する混合領域検出部と、上記検出された領域における上記非可視光画像信号に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新する撮像条件更新部とを具備する撮像装置である。これにより、非可視光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における非可視光画像信号の撮像条件が更新されるという作用をもたらす。
本技術によれば、霧による散乱の影響を受け難い赤外光画像信号を可視光画像信号に混合して画像を生成するとともに赤外光画像信号の撮像条件を最適化して、霧を含む画像の画質を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置１０の構成例を示す図である。 本技術の第１の実施の形態における信号処理部２００の構成例を示す図である。 本技術の第１の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第１の実施の形態における混合比率の生成の一例を示す図である。 本技術の第１の実施の形態における可視光画像撮像条件更新処理の処理手順の一例を示す図である。 本技術の第１の実施の形態における赤外光画像撮像条件更新処理の処理手順の一例を示す図である。 本技術の第１の実施の形態における赤外光測光重みの生成の一例を示す図である。 本技術の第１の実施の形態における信号処理の処理手順の一例を示す図である。 本技術の第２の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第３の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第４の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第５の実施の形態における撮像装置１０の構成例を示す図である。 本技術の第５の実施の形態における信号処理部２００の構成例を示す図である。 本技術の第６の実施の形態における信号処理部２００の構成例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（霧の透過率に基づいて可視光画像信号および赤外光画像信号を混合する領域を検出する場合の例）
２．第２の実施の形態（顔領域を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
３．第３の実施の形態（画像の暗部を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
４．第４の実施の形態（画像の飽和領域を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
５．第５の実施の形態（２つの撮像素子を備える場合の例）
６．第６の実施の形態（赤外光画像信号増幅部を備える場合の例）
７．変形例
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の第１の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、撮像素子１００と、信号処理部２００と、制御部３００とを備える。
撮像素子１００は、被写体の撮像を行うことにより可視光画像信号および赤外光画像信号を生成するものである。この撮像素子１００は、外光を受光する面に画像信号を生成する画素が２次元に配置されて構成される。この画素として、赤色光に対応する画像信号（Ｒ信号）を生成する画素（Ｒ画素）、緑色光に対応する画像信号（Ｇ信号）を生成する画素（Ｇ画素）および青色光に対応する画像信号（Ｂ信号）を生成する画素（Ｂ画素）が受光面に配置されている。また、赤外光に対応する画像信号（ＩＲ信号）を生成する画素（ＩＲ画素）がさらに配置される。これらの画素は、撮像素子１００の受光面に所定のパターンに基づいて配置される。例えば、ベイヤー配列における２つのＧ画素のうちの１つをＩＲ画素に置き換えた配列により受光面に繰返し配置される。
Ｒ画素、Ｇ画素およびＢ画素から可視光画像信号が生成される。すなわち、可視光画像信号は、Ｒ信号、Ｇ信号およびＢ信号により構成される。一方、ＩＲ画素からは、ＩＲ信号により構成された赤外光画像信号が生成される。これら可視光画像信号および赤外光画像信号の生成が交互に行われて、同一被写体に対する可視光画像および赤外光画像が生成される。後述する信号処理部２００において可視光画像信号および赤外光画像信号が混合されて１フレームの画像が生成される。ここで、フレームとは、１画面分の画像信号である。撮像素子１００による撮像が連続して行われることにより、フレームが連続して生成されて、動画が形成される。また、静止画を取得する場合においては、連写を行う際に撮像素子１００による撮像が連続して行われる。後述する信号処理部２００は、撮像が連続する際に撮像条件を更新し、撮像条件の最適化を図る。
また、撮像素子１００は、撮像条件に基づいて撮像を行う。ここで、撮像条件とは、撮像の際の条件であり、例えば、露光時間や画像信号の信号レベルを調整するための利得が該当する。この撮像条件は、信号処理部２００により生成され、制御部３００により撮像素子１００に対して設定される。
信号処理部２００は、撮像素子１００により生成された画像信号の処理を行うものである。この画像信号の処理として、例えば、撮像素子１００により生成された可視光画像信号および赤外光画像信号を混合する処理を行うことができる。信号処理部２００により処理された画像信号は、撮像装置１０の出力画像信号として撮像装置１０の外部に出力される。また、信号処理部２００は、可視光画像信号および赤外光画像信号に基づいて、撮像条件を生成し、制御部３００に対して出力する。この撮像条件は、可視光画像信号および赤外光画像信号毎に生成される。
制御部３００は、撮像素子１００における可視光画像信号および赤外光画像信号の生成の制御を行うものである。この制御は、信号処理部２００により生成された可視光画像信号および赤外光画像信号の撮像条件を撮像素子１００に対して交互に設定し、撮像素子１００を制御する。また、制御部３００は、撮像装置１０の全体の制御をさらに行う。
［信号処理部の構成］
図２は、本技術の第１の実施の形態における信号処理部２００の構成例を示す図である。この信号処理部２００は、デモザイク部２５０と、分離部２１０と、輝度色差信号生成部２２０と、混合部２３０と、処理条件生成部２４０とを備える。
デモザイク部２５０は、撮像素子１００により生成された画像信号にデモザイク処理を行い、分離部２１０に対して出力するものである。ここで、デモザイク処理とは、撮像素子１００により生成された単色の画像信号に対して不足する画像信号を補完する処理である。このデモザイク処理により、１画素当たりの画像信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号の４つに増加する。
分離部２１０は、撮像素子１００により生成された可視光画像信号および赤外光画像信号を分離するものである。分離された可視光画像信号は、輝度色差信号生成部２２０に対して出力される。一方、分離された赤外光画像信号は、混合部２３０に対して出力される。
輝度色差信号生成部２２０は、分離部２１０から出力された可視光画像信号であるＲ信号、Ｇ信号およびＢ信号を輝度信号（Ｙ信号）および色差信号（Ｃｒ信号およびＣｂ信号）に変換するものである。Ｃｒ信号はＲ信号とＹ信号との差分に基づく信号であり、Ｃｂ信号は、Ｂ信号とＹ信号との差分に基づく信号である。この変換には、公知の変換式を使用することができる。変換後のＹ信号、Ｃｂ信号およびＣｒ信号は、混合部２３０に対して出力される。
混合部２３０は、可視光画像信号と赤外光画像信号とを混合して１フレームの画像信号を生成するものである。この混合部２３０は、フレームを複数の領域に分割し、分割されたフレームのそれぞれの領域毎に混合を行う。その際、後述する処理条件生成部２４０により生成された領域毎の混合比率に基づいて混合が行われる。このフレームの分割は、例えば、縦方向に７分割し、横方向に９分割して６３の領域に分割する方式を採用することができる。同図の混合部２３０は、輝度色差信号生成部２２０により出力されたＹ信号と分離部２１０から出力されたＩＲ信号とを混合する。混合は、例えば、次式に基づいて行うことができる。
Ｙ'＝ＩＲ×α＋Ｙ×（１−α）
ここで、Ｙ'は、混合後のＹ信号を表す。また、αは、混合比率を表す。混合後のＹ'信号ならびにＣｒ信号およびＣｂ信号は、撮像装置１０の出力画像信号となる。混合部２３０における混合の詳細については後述する。
処理条件生成部２４０は、可視光画像信号および赤外光画像信号に基づいて処理条件を生成するものである。この処理条件生成部２４０は、輝度色差信号生成部２２０から出力されたＹ信号と分離部２１０から出力されたＩＲ信号とに基づいて処理条件を生成する。前述した撮像条件および混合比率αがこの処理条件として生成される。処理条件生成部２４０の構成の詳細については後述する。
［処理条件生成部の構成］
図３は、本技術の第１の実施の形態における処理条件生成部２４０の構成例を示す図である。この処理条件生成部２４０は、可視光画像信号平均生成部２４１と、霧透過率生成部２４２と、赤外光画像信号平均生成部２４３と、混合比率生成部２４４と可視光画像撮像条件保持部２４５と、可視光画像撮像条件更新部２４６とを備える。また、この処理条件生成部２４０は、赤外光画像撮像条件更新部２４７と、赤外光画像撮像条件保持部２４８をさらに備える。
可視光画像信号平均生成部２４１は、１画面分の可視光画像信号を複数の領域に分割するとともに分割された領域における可視光画像信号（Ｙ信号）の平均を領域毎に生成するものである。この領域の分割には、図２において説明した混合部２３０における分割方式を採用することができる。
可視光画像撮像条件保持部２４５は、可視光画像信号の撮像条件である可視光画像撮像条件を保持するものである。この可視光画像撮像条件保持部２４５には、所定の撮像条件が初期条件として保持される。
可視光画像撮像条件更新部２４６は、可視光画像撮像条件保持部２４５に保持された可視光画像の撮像条件を更新するものである。この可視光画像撮像条件更新部２４６は、可視光画像信号平均生成部２４１により生成されたＹ信号の平均に基づいて新たな撮像条件を生成し、制御部３００に対して出力する。この際、霧透過率生成部２４２により検出された領域における赤外光画像信号および可視光画像信号の明るさが略等しくなる赤外光画像撮像条件が生成される。また、可視光画像撮像条件更新部２４６は、生成した新たな撮像条件を可視光画像撮像条件保持部２４５に保持させることにより、更新を行う。この更新の処理の詳細については後述する。
霧透過率生成部２４２は、可視光画像信号に基づいて霧透過率を生成するものである。この霧透過率生成部２４２は、前述した混合部２３０により分割された領域毎に霧の透過率を生成し、混合比率生成部２４４に対して出力する。霧の透過率の検出には、公知の方法を使用することができる。例えば、画像信号の領域毎の霧の密度の推定を行い、この推定された霧の密度をソフトマッティング法等により透過率に変換する方法を使用することができる。
撮像素子１００により生成された画像のうち、霧等が撮像された領域では、可視光が散乱されるため、視認性が低下する。そこで、そのような領域においては、赤外光画像信号を可視光画像信号に混合する。赤外光は、霧等による散乱の影響を受けにくいため、この混合を行うことにより、視認性を向上させることができる。霧透過率生成部２４２は、霧の透過率に基づいて混合を行う領域の検出を行う。同図の霧透過率生成部２４２においては、領域毎の霧透過率を生成して混合比率生成部２４４に対して出力する。後述するように、混合比率生成部２４４は、霧の透過率が低い領域に対して混合する赤外光画像信号の比率を高くした混合比率を生成する。このように、霧透過率生成部２４２による混合を行う領域の検出が行われる。なお、霧の透過率が所定の閾値より低い領域を検出して混合比率生成部２４４に対して出力する方式にすることも可能である。なお、霧透過率生成部２４２は、特許請求の範囲に記載の混合領域検出部の一例である。
混合比率検出部２４４、霧透過率生成部２４２により検出された領域における赤外光画像信号に基づいて混合比率αを生成するものである。混合比率αの生成の詳細については後述する。
赤外光画像信号平均生成部２４３は、１画面分の赤外光画像信号を複数の領域に分割するとともに分割された領域における赤外光画像信号（ＩＲ信号）の平均を領域毎に生成するものである。この領域の分割には、可視光画像信号平均生成部２４１と同様に、混合部２３０における分割方式を採用することができる。
赤外光画像撮像条件保持部２４８は、赤外光画像信号の撮像条件である赤外光撮像条件を保持するものである。この赤外光画像撮像条件保持部２４８には、所定の撮像条件が初期条件として保持される。
赤外光画像撮像条件更新部２４７は、赤外光画像撮像条件保持部２４８に保持された赤外光の撮像条件を更新するものである。この赤外光画像撮像条件更新部２４７には、可視光画像信号平均生成部２４１により生成されたＹ信号の平均、赤外光画像信号平均生成部２４３により生成されたＩＲ信号の平均および混合比率生成部２４４により生成された混合比率αが入力される。赤外光画像撮像条件更新部２４７は、これらの信号に基づいて新たな撮像条件を生成し、制御部３００に対して出力する。また、赤外光画像撮像条件更新部２４７は、生成した新たな撮像条件を赤外光画像撮像条件保持部２４８に保持させることにより、更新を行う。この更新の処理の詳細については後述する。
［混合比率の生成］
図４は、本技術の第１の実施の形態における混合比率の生成の一例を示す図である。同図は、混合比率生成部２４４における混合比率αの生成を表したものである。同図に表したように、混合比率生成部２４４は、霧透過率生成部２４２から出力された透過率を混合比率αに変換する。同図において、α＿ＭＡＸおよびα＿ＭＩＮは、それぞれ混合比率αの最大値および最小値に該当する。例えば、α＿ＭＡＸおよびα＿ＭＩＮとして、それぞれ値「１」および「０」を採用することができる。透過率の値が０乃至閾値ＴＨ１の場合には、α＿ＭＡＸが混合比率αとして出力される。透過率の値が閾値ＴＨ１乃至ＴＨ２の場合には、混合比率αをα＿ＭＡＸからα＿ＭＩＮまで直線的に変化させる。透過率の値が閾値ＴＨ２を超える場合には、α＿ＭＩＮが混合比率αとして出力される。
なお、混合比率αの生成はこの例に限られず、例えば、閾値ＴＨ１を境にして、α＿ＭＡＸまたはα＿ＭＩＮの何れかを出力する方式にすることも可能である。
［可視光画像撮像条件更新処理］
図５は、本技術の第１の実施の形態における可視光画像撮像条件更新処理の処理手順の一例を示す図である。同図は、可視光画像撮像条件更新部２４６における可視光画像撮像条件の更新処理を表したものである。
まず、可視光測光重みが設定される（ステップＳ９１１）。ここで、可視光測光重みとは、領域毎に設定された重みである。この可視光測光重みは、後述する明るさ評価値の算出の際に使用される。優先して明るさを合わせる領域、例えば、画面の中心領域に対して、大きな重みが生成される。その後、明るさ評価値の算出の際に当該領域に対する重み付けが行われる。
次に、可視光測光ターゲットが設定される（ステップＳ９１２）。ここで、可視光測光ターゲットとは、可視光画像の明るさの目標値である。
次に、明るさ評価値の算出が行われる（ステップＳ９１３）。これは、次のように行うことができる。まず、可視光画像信号平均生成部２４１により出力された領域毎の可視光画像信号の平均に対してステップＳ９１１において設定された重み付きの平均が算出される。この算出された平均とステップＳ９１２において生成された可視光測光ターゲットとの差分を明るさ評価値とする。
次に、可視光画像撮像条件が更新される（ステップＳ９１４）。これは、次のように行うことができる。まず、ステップＳ９１３において生成された明るさ評価値に基づいて可視光画像撮像条件保持部２４５に保持された可視光画像撮像条件を調整することにより、新たな可視光画像撮像条件が生成される。次に、新たな可視光画像撮像条件が可視光画像撮像条件保持部２４５に保持される。
その後、可視光画像撮像条件更新処理は終了する。なお、新たに生成された可視光画像撮像条件は、次のフレームにおける撮像条件として制御部３００に対して出力される。
［赤外光画像撮像条件更新処理］
図６は、本技術の第１の実施の形態における赤外光画像撮像条件更新処理の処理手順の一例を示す図である。同図は、赤外光画像撮像条件更新部２４７における赤外光画像撮像条件の更新処理を表したものである。
まず、赤外光測光重みが設定される（ステップＳ９２１）。ここで、赤外光測光重みとは、領域毎に設定された重みである。上述の可視光測光重みと同様に、優先して明るさを合わせる領域に対して、大きな重みが生成される。この赤外光測光重みは、混合比率生成部２４４により生成された領域毎の混合比率に基づいて生成される。この赤外光測光重みの生成の詳細については後述する。
次に、赤外光測光ターゲットが設定される（ステップＳ９２２）。ここで、赤外光測光ターゲットとは、赤外光画像の明るさの目標値である。可視光画像信号平均生成部２４１により出力された領域毎の可視光画像信号の平均に対してステップＳ９２１により設定された赤外光測光重み付きの平均を算出することにより、赤外光測光ターゲットを設定することができる。これにより、高い混合比率が設定された領域における赤外光および可視光の明るさを近い値にすることができる。
次に、明るさ評価値の算出が行われる（ステップＳ９２３）。これは、次のように行うことができる。まず、赤外光画像信号平均生成部２４３により出力された領域毎の赤外光画像信号の平均に対してステップＳ９２１において設定された赤外光測光重み付きの平均が算出される。この算出された平均とステップＳ９２２において生成された赤外光測光ターゲットとの差分を明るさ評価値とする。
次に、赤外光画像撮像条件が更新される（ステップＳ９２４）。これは、次のように行うことができる。まず、ステップＳ９２３において生成された明るさ評価値に基づいて赤外光画像撮像条件保持部２４８に保持された赤外光画像撮像条件を調整することにより、新たな赤外光画像撮像条件が生成される。次に、新たな赤外光画像撮像条件が赤外光画像撮像条件保持部２４８に保持される。
その後、赤外光画像撮像条件更新処理は終了する。なお、新たに生成された赤外光画像撮像条件は、次のフレームにおける撮像条件として制御部３００に対して出力される。
［赤外光測光重みの生成］
図７は、本技術の第１の実施の形態における赤外光測光重みの生成の一例を示す図である。同図は、赤外光画像撮像条件更新部２４７における赤外光測光重みの生成を表したものであり、図６において説明したステップＳ９２１において行われる処理である。同図に表したように、赤外光画像撮像条件更新部２４７は、混合比率生成部２４４から出力された混合比率αを赤外光測光重みに変換する。同図において、ＭＡＸおよびＭＩＮは、それぞれ赤外光測光重みの最大値および最小値に該当する。混合比率αの値が０乃至閾値ＴＨ３の場合には、ＭＩＮが赤外光測光重みとして出力される。混合比率αの値が閾値ＴＨ３乃至ＴＨ４の場合には、赤外光測光重みをＭＩＮからＭＡＸまで直線的に変化させる。混合比率αの値が閾値ＴＨ４を超える場合には、ＭＡＸが赤外光測光重みとして出力される。
このように、霧透過率生成部２４２により霧の透過率が生成され、混合比率生成部２４４により霧の透過率が低い領域に対して高い混合比率αが生成される。これにより、霧の透過率が低い領域に多くの赤外光画像信号が混合され、視認性を向上させることができる。さらに、赤外光画像撮像条件更新部２４７により、混合比率αが大きい領域に対して大きな赤外光測光重みが設定されて赤外光測光ターゲットが生成される。これにより、霧の透過率が低い領域における赤外光と可視光の明るさを近い値にする赤外光画像撮像条件が生成される。この生成された赤外光画像撮像条件に基づいて、次のフレームの撮像を行うことにより、霧の透過率が低い領域における赤外光画像信号の信号レベルを当該領域における可視光画像信号と略同じにすることができる。これにより、混合された領域および他の領域の輝度が略等しくなり、画質を向上させることができる。
［処理条件設定］
図８は、本技術の第１の実施の形態における信号処理の処理手順の一例を示す図である。同図は、処理条件生成部２４０における信号処理を表したものである。同図の処理は、撮像素子１００により、可視光画像信号および赤外光画像信号が生成されて、処理条件生成部２４０にこれらが入力された場合に実行される。まず、混合領域検出が行われる（ステップＳ９０１）。これは、霧透過率生成部２４２が霧の透過率を生成することにより行われる。次に、混合比率生成部２４４により混合比率が生成される（ステップＳ９０２）。次に、図５において説明した可視光画像撮像条件更新が行われる（ステップＳ９１０）。最後に、図６において説明した赤外光画像撮像条件更新が行われ（ステップＳ９２０）、処理条件生成部２４０は、信号処理を終了する。
このように、本技術の第１の実施の形態では、霧の透過率が低い領域において、可視光画像信号および赤外光画像信号が混合された画像が生成される。この際、当該領域における赤外光画像信号および可視光画像信号の明るさを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。撮像が連続する場合、更新された撮像条件に基づいて次の撮像が行われる。これにより、霧の透過率が低い領域におけるこれらの画像信号の明るさを略等しくすることができ、霧を含む画像の画質を向上させることができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、霧の透過率を算出することにより、赤外光画像信号および可視光画像信号を混合する領域の検出を行っていた。これに対し、本技術の第２の実施の形態では、人物の顔領域の検出を行う。これにより、顔領域における画質を向上させることができる。
［処理条件生成部の構成］
図９は、本技術の第２の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、霧透過率生成部２４２の代わりに顔領域検出部２４９を備える点で、図３において説明した処理条件生成部２４０と異なる。
顔領域検出部２４９は、可視光画像信号に基づいて顔領域を検出するものである。この顔領域の検出には、公知の方法を使用することができる。顔領域検出部２４９は、例えば、顔が含まれている領域を検出結果として混合比率生成部２４４に対して出力することができる。また、顔領域検出部２４９は、例えば、分割された画像のそれぞれの領域毎の顔領域である確率を検出結果として出力することができる。なお、顔領域検出部２４９は、特許請求の範囲に記載の混合領域検出部の一例である。
同図の混合比率生成部２４４は、顔領域検出部２４９からの出力に基づいて、混合比率を生成する。例えば、顔領域検出部２４９から顔が含まれている領域が検出結果として出力される場合には、当該領域に対して高い混合比率を生成することができる。また、顔領域検出部２４９から顔である確率が領域毎に出力される場合には、例えば、この確率に比例した混合比率を生成することができる。赤外光と可視光とは人物の肌への浸透特性が異なっており、赤外光により撮像された画像は肌のシミ等が少ない画像になる。このため、顔領域に赤外光画像信号を混合することにより、シミ等の少ない顔の画像にすることができる。この際、赤外光画像撮像条件更新部２４７により、顔領域における赤外光画像信号および可視光画像信号の明るさをほぼ等しくする撮像条件が生成され、次のフレームの撮像に適用される。
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
このように、本技術の第２の実施の形態では、検出された顔領域において、赤外光画像信号および可視光画像信号が混合した画像が生成される。この際、当該領域における赤外光画像信号と可視光画像信号の明るさを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、顔領域の赤外光画像信号および可視光画像信号の明るさを略等しくすることができ、画質を向上させることができる。
［変形例］
上述の第２の実施の形態では、顔領域を検出していたが、ユーザが指定する領域を検出し、当該領域における混合画像信号を生成してもよい。例えば、顔領域検出部２４９において、顔領域の代わりにユーザが指定する領域を検出し、混合比率生成部２４４に対して出力する方式にすることができる。この場合、ユーザが顔領域として認識した領域が顔領域検出部２４９により検出された顔領域となる。これにより、ユーザが指定する領域の画質を向上させることができる。
これ以外の撮像装置１０の構成は本技術の第２の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
このように、本技術の第２の実施の形態の変形例によれば、ユーザが指定した領域の画質を向上させることができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、霧の透過率を算出することにより、赤外光画像信号および可視光画像信号を混合する領域の検出を行っていた。これに対し、本技術の第３の実施の形態では、赤外光画像信号および可視光画像信号を混合する領域として、黒潰れを生じた領域の検出を行う。これにより、黒潰れ領域における画質を向上させることができる。
［処理条件生成部の構成］
図１０は、本技術の第３の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、霧透過率生成部２４２の代わりに暗部検出部６０１を備える点で、図３において説明した処理条件生成部２４０と異なる。
暗部検出部６０１は、可視光画像信号に基づいて暗部を検出するものである。ここで、暗部とは、いわゆる黒潰れを生じた領域である。逆光状態において撮像を行う場合のように高いダイナミックレンジの画像を撮像する際に、暗部が発生する。暗部の検出には、例えば、可視光画像信号が所定の閾値より小さい領域を検出する方式を採ることができる。この暗部検出部６０１は、暗部に該当する領域を混合比率生成部２４４に対して出力する。なお、暗部検出部６０１は、特許請求の範囲に記載の混合領域検出部の一例である。
同図の混合比率生成部２４４は、暗部検出部６０１により検出された暗部の混合比率を生成する。例えば、暗部に対して所定の混合比率を生成することができる。また、これ以外の領域に対して混合比率を値「０」にすることができる。この混合比率に基づいて赤外光画像信号の混合が行われることにより、視認性を向上させることができる。
同図の赤外光画像撮像条件更新部２４７は、暗部検出部６０１により検出された領域における赤外光画像信号の明るさと暗部検出部６０１により検出された領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像撮像条件を生成する。すなわち、暗部における赤外光画像信号の明るさと暗部以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像撮像条件が生成される。
このため、図６において説明したステップＳ９２２において、領域毎の可視光画像信号の平均に対する平均を算出し、これを赤外光測光ターゲットにする。この赤外光測光ターゲットに基づいて赤外光画像撮像条件が生成され、次のフレームの撮像に適用される。これにより、暗部における赤外光画像信号と暗部以外の領域における可視光画像信号とを略等しい明るさにすることができる。これ以外の赤外光画像撮像条件更新処理の処理手順は図６において説明した処理手順と同様であるため、説明を省略する。
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
このように、本技術の第３の実施の形態では、検出された暗部において、赤外光画像信号および可視光画像信号が混合された画像が生成される。この際、暗部における赤外光画像信号と暗部以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、高いダイナミックレンジの画像における画質を向上させることができる。
＜４．第４の実施の形態＞
上述の第３の実施の形態では、黒潰れ領域の検出を行っていた。これに対し、本技術の第４の実施の形態では、白飛びを生じた領域の検出を行う。これにより、白飛び領域における画質を向上させることができる。
［処理条件生成部の構成］
図１１は、本技術の第４の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、暗部検出部６０１の代わりに飽和領域検出部６０２を備える点で、図１０において説明した処理条件生成部２４０と異なる。
飽和領域検出部６０２は、可視光画像信号に基づいて飽和領域を検出するものである。ここで、飽和領域とは、いわゆる白飛びを生じた領域である。黒潰れと同様に高いダイナミックレンジの画像を撮像する場合、例えば、室内から屋外を含む画像の撮像を行う場合に、この飽和領域が発生する。飽和領域の検出には、例えば、可視光画像信号が所定の閾値より大きい領域を検出する方式を採ることができる。この飽和領域検出部６０２は、飽和領域に該当する領域を混合比率生成部２４４に対して出力する。なお、飽和領域検出部６０２は、特許請求の範囲に記載の混合領域検出部の一例である。
同図の混合比率生成部２４４は、飽和領域検出部６０２により検出された飽和領域の混合比率を生成する。例えば、飽和領域に対して所定の混合比率を生成することができる。また、これ以外の領域に対して混合比率を値「０」にすることができる。この混合比率に基づいて赤外光画像信号の混合が行われることにより、視認性を向上させることができる。
同図の赤外光画像撮像条件更新部２４７は、飽和領域検出部６０２により検出された領域における赤外光画像信号の明るさと飽和領域検出部６０２により検出された領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光撮像条件を生成する。すなわち、飽和領域における赤外光画像信号の明るさと飽和領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光撮像条件を生成する。これにより、飽和領域における赤外光画像信号と飽和領域以外の領域における可視光画像信号とを略等しい明るさにすることができる。なお、赤外光画像撮像条件更新処理の処理手順は本技術の第３の実施の形態において説明した処理手順と同様であるため、説明を省略する。
これ以外の撮像装置１０の構成は本技術の第３の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
このように、本技術の第４の実施の形態では、検出された飽和領域において、赤外光画像信号および可視光画像信号が混合された画像が生成される。この際、飽和領域における赤外光画像信号と飽和領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、高いダイナミックレンジの画像における画質を向上させることができる。
＜５．第５の実施の形態＞
上述の第１の実施の形態では、１つの撮像素子により可視光画像信号および赤外光画像信号の生成を行っていた。これに対し、本技術の第５の実施の形態では、可視光画像信号を生成する撮像素子および赤外光画像信号を生成する撮像素子の２つを使用して撮像を行う。これにより、撮像に要する時間を短縮することができる。
［撮像装置の構成］
図１２は、本技術の第５の実施の形態における撮像装置１０の構成例を示す図である。同図の撮像装置１０は、撮像素子１００の代わりに撮像素子４００および５００を備える点で、図１において説明した撮像装置１０と異なる。
撮像素子４００および５００は、それぞれ可視光画像信号および赤外光画像信号を同時に生成し、信号処理部２００に対して出力する。
［信号処理部の構成］
図１３は、本技術の第５の実施の形態における信号処理部２００の構成例を示す図である。同図の信号処理部２００は、図２において説明した信号処理部２００と比較して、分離部２１０を備える必要はない。また、同図のデモザイク部は、撮像素子４００により出力された可視光画像信号のデモザイク処理を行う。そして、デモザイク処理後の可視光画像信号を輝度色差信号生成部２２０に対して出力する。また、撮像素子５００により生成された赤外光画像信号は、混合部２３０に対して出力される。また、制御部３００は、撮像素子４００および５００の制御を行い、可視光画像信号および赤外光画像信号を同時に生成させる。
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
このように、本技術の第５の実施の形態によれば、２つの撮像素子により、可視光画像信号および赤外光画像信号が同時に生成されるため、撮像に要する時間を短縮することができる。
＜６．第６の実施の形態＞
上述の第１の実施の形態では、撮像素子が画像信号のレベルの調整を行っていた。これに対し、本技術の第６の実施の形態では、信号処理装置が画像信号のレベルの調整を行う。これにより、撮像素子の構成を簡略化することができる。
［信号処理部の構成］
図１４は、本技術の第６の実施の形態における信号処理部２００の構成例を示す図である。同図の信号処理部２００は、可視光画像信号増幅部２６０と、赤外光画像信号増幅部２７０とをさらに備える点で、図２において説明した信号処理部２００と異なる。
可視光画像信号増幅部２６０は、分離部２１０から出力された可視光画像信号のレベルを調整するものである。この可視光画像信号増幅部２６０は、処理条件生成部２４０から出力された撮像条件のうちの利得に基づいて可視光画像信号のレベルを調整する。
赤外光画像信号増幅部２７０は、分離部２１０から出力された赤外光画像信号のレベルを調整するものである。この赤外光画像信号増幅部２７０は、処理条件生成部２４０から出力された撮像条件のうちの利得に基づいて赤外光画像信号のレベルを調整する。なお、赤外光画像信号増幅部２７０は、特許請求の範囲に記載の増幅部の一例である。
同図の処理条件生成部２４０は、生成した撮像条件のうち、利得を可視光画像信号増幅部２６０および赤外光画像信号増幅部２７０に対して出力し、露光時間を制御部３００に対して出力する。なお、撮像素子１００は、撮像条件として露光時間のみが入力される。画像信号のレベルを調整する必要がないため、撮像素子１００の構成を簡略化することができる。
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
このように、本技術の第６の実施の形態によれば、露光時間のみに基づいて撮像素子における撮像が制御されるため、撮像素子１００の構成を簡略化することができる。
＜変形例＞
上述の実施の形態では、可視光画像信号と赤外光画像信号とを混合していたが、赤外光画像信号以外の非可視光画像信号を混合してもよい。例えば、紫外光による画像信号を非可視光画像信号として混合することができる。
このように、本技術の実施の形態によれば、可視光画像信号および非可視光画像信号を混合して画像を生成するとともに非可視光画像信号の撮像条件を最適化することにより、霧を含む画像やダイナミックレンジが広い画像の画質を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する信号処理装置。
（２）前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号および前記可視光画像信号が略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する前記（１）に記載の信号処理装置。
（３）前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号と前記検出された領域以外の領域における前記可視光画像信号とが略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する前記（１）に記載の信号処理装置。
（４）前記混合領域検出部は、前記可視光画像信号に撮像された霧の透過率に基づいて前記領域を検出する前記（１）または（２）に記載の信号処理装置。
（５）前記混合領域検出部は、前記霧の透過率が所定の閾値より小さい領域を前記領域として検出する前記（４）に記載の信号処理装置。
（６）前記混合領域検出部は、前記可視光画像信号に含まれる顔の領域を前記領域として検出する前記（１）または（２）に記載の信号処理装置。
（７）前記混合領域検出部は、前記可視光画像信号が所定の閾値より大きい領域を前記領域として検出する前記（１）または（３）に記載の信号処理装置。
（８）前記混合領域検出部は、前記可視光画像信号が所定の閾値より小さい領域を前記領域として検出する前記（１）または（３）に記載の信号処理装置。
（９）前記混合における混合比率を前記検出された領域における前記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、
前記撮像条件更新部は、前記生成された混合比率に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する
前記（１）から（８）のいずれかに記載の信号処理装置。
（１０）前記撮像条件に基づいて前記非可視光画像信号のレベルを調整する増幅部をさらに具備する前記（１）から（９）のいずれかに記載の信号処理装置。
（１１）前記非可視光画像信号は、赤外光に対応する赤外光画像信号である前記（１）から（１０）のいずれかに記載の信号処理装置。
（１２）所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、
前記非可視光画像信号および前記可視光画像信号の混合を行う領域を検出する混合領域検出部と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する撮像装置。
（１３）所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出手順と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新手順と
を具備する信号処理方法。
１０ 撮像装置
１００、４００、５００ 撮像素子
２００ 信号処理部
２１０ 分離部
２２０ 輝度色差信号生成部
２３０ 混合部
２４０ 処理条件生成部
２４１ 可視光画像信号平均生成部
２４２ 霧透過率生成部
２４３ 赤外光画像信号平均生成部
２４４ 混合比率生成部
２４５ 可視光画像撮像条件保持部
２４６ 可視光画像撮像条件更新部
２４７ 赤外光画像撮像条件更新部
２４８ 赤外光画像撮像条件保持部
２４９ 顔領域検出部
２５０ デモザイク部
２６０ 可視光画像信号増幅部
２７０ 赤外光画像信号増幅部
３００ 制御部
６０１ 暗部検出部
６０２ 飽和領域検出部

Claims (13)

  1. 所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、
    前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
    を具備する信号処理装置。
  2. 前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号および前記可視光画像信号が略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する請求項１記載の信号処理装置。
  3. 前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号と前記検出された領域以外の領域における前記可視光画像信号とが略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する請求項１記載の信号処理装置。
  4. 前記混合領域検出部は、前記可視光画像信号に撮像された霧の透過率に基づいて前記領域を検出する請求項１記載の信号処理装置。
  5. 前記混合領域検出部は、前記霧の透過率が所定の閾値より小さい領域を前記領域として検出する請求項４記載の信号処理装置。
  6. 前記混合領域検出部は、前記可視光画像信号に含まれる顔の領域を前記領域として検出する請求項１記載の信号処理装置。
  7. 前記混合領域検出部は、前記可視光画像信号が所定の閾値より大きい領域を前記領域として検出する請求項１記載の信号処理装置。
  8. 前記混合領域検出部は、前記可視光画像信号が所定の閾値より小さい領域を前記領域として検出する請求項１記載の信号処理装置。
  9. 前記混合における混合比率を前記検出された領域における前記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、
    前記撮像条件更新部は、前記生成された混合比率に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する
    請求項１記載の信号処理装置。
  10. 前記撮像条件に基づいて前記非可視光画像信号のレベルを調整する増幅部をさらに具備する請求項１記載の信号処理装置。
  11. 前記非可視光画像信号は、赤外光に対応する赤外光画像信号である請求項１記載の信号処理装置。
  12. 所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、
    前記非可視光画像信号および前記可視光画像信号の混合を行う領域を検出する混合領域検出部と、
    前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
    を具備する撮像装置。
  13. 所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出手順と、
    前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新手順と
    を具備する信号処理方法。
JP2016036925A 2016-02-29 2016-02-29 信号処理装置、撮像装置および信号処理方法 Pending JP2017157902A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016036925A JP2017157902A (ja) 2016-02-29 2016-02-29 信号処理装置、撮像装置および信号処理方法
US16/074,026 US10694118B2 (en) 2016-02-29 2016-11-17 Signal processing apparatus, imaging apparatus, and signal processing method
PCT/JP2016/084058 WO2017149854A1 (ja) 2016-02-29 2016-11-17 信号処理装置、撮像装置および信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016036925A JP2017157902A (ja) 2016-02-29 2016-02-29 信号処理装置、撮像装置および信号処理方法

Publications (1)

Publication Number Publication Date
JP2017157902A true JP2017157902A (ja) 2017-09-07

Family

ID=59742787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016036925A Pending JP2017157902A (ja) 2016-02-29 2016-02-29 信号処理装置、撮像装置および信号処理方法

Country Status (3)

Country Link
US (1) US10694118B2 (ja)
JP (1) JP2017157902A (ja)
WO (1) WO2017149854A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677597A (zh) * 2018-07-03 2020-01-10 杭州海康威视数字技术股份有限公司 图像处理方法及装置
JP2020102839A (ja) * 2018-12-20 2020-07-02 キヤノン株式会社 画像処理装置およびその制御方法
US11343434B2 (en) 2018-12-20 2022-05-24 Canon Kabushiki Kaisha Image processing apparatus and control method for same
EP4199528A1 (en) 2021-12-17 2023-06-21 Canon Kabushiki Kaisha Image processing apparatus, image capture apparatus, and image processing method
US12412249B2 (en) 2021-12-17 2025-09-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capture apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299762B2 (ja) * 2019-06-06 2023-06-28 キヤノン株式会社 画像処理装置および方法、撮像装置、プログラム
JP2025120734A (ja) * 2024-02-05 2025-08-18 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
JP4757221B2 (ja) 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP2011066809A (ja) * 2009-09-18 2011-03-31 Hitachi Kokusai Electric Inc 撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
US9990730B2 (en) * 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
JP5747105B2 (ja) 2014-05-12 2015-07-08 株式会社 日立産業制御ソリューションズ 画像処理装置
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677597A (zh) * 2018-07-03 2020-01-10 杭州海康威视数字技术股份有限公司 图像处理方法及装置
JP2020102839A (ja) * 2018-12-20 2020-07-02 キヤノン株式会社 画像処理装置およびその制御方法
US11343434B2 (en) 2018-12-20 2022-05-24 Canon Kabushiki Kaisha Image processing apparatus and control method for same
JP7465076B2 (ja) 2018-12-20 2024-04-10 キヤノン株式会社 画像処理装置およびその制御方法
EP4199528A1 (en) 2021-12-17 2023-06-21 Canon Kabushiki Kaisha Image processing apparatus, image capture apparatus, and image processing method
JP2023090492A (ja) * 2021-12-17 2023-06-29 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置
US12412249B2 (en) 2021-12-17 2025-09-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capture apparatus

Also Published As

Publication number Publication date
US20190045139A1 (en) 2019-02-07
WO2017149854A1 (ja) 2017-09-08
US10694118B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
WO2017149854A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US9092659B2 (en) Subject determination apparatus that determines whether or not subject is specific subject
US20180309940A1 (en) Image processing apparatus, image processing method, and imaging system
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
JP6525543B2 (ja) 画像処装置および画像処理方法、並びにプログラム
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6027242B2 (ja) 撮像装置
JP2017112401A (ja) 撮像素子、画像処理装置および方法、並びにプログラム
JP2016001807A (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
JP2018041380A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018207497A (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
WO2016117137A1 (ja) 撮像装置、撮像方法、および画像表示装置
JP6230760B1 (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11032463B2 (en) Image capture apparatus and control method thereof
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
JP2015192338A (ja) 画像処理装置および画像処理プログラム
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5038190B2 (ja) 撮影装置及びその設定方法
JP2020005084A (ja) 画像処理装置、画像処理方法、及びプログラム