JP2019062286A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2019062286A JP2019062286A JP2017183586A JP2017183586A JP2019062286A JP 2019062286 A JP2019062286 A JP 2019062286A JP 2017183586 A JP2017183586 A JP 2017183586A JP 2017183586 A JP2017183586 A JP 2017183586A JP 2019062286 A JP2019062286 A JP 2019062286A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- near infrared
- visible
- demosaicing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 129
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 28
- 230000003321 amplification Effects 0.000 claims abstract description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 18
- 238000000926 separation method Methods 0.000 claims description 43
- 230000015654 memory Effects 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 description 31
- 238000000034 method Methods 0.000 description 27
- 230000035945 sensitivity Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000006866 deterioration Effects 0.000 description 8
- 238000006467 substitution reaction Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Landscapes
- Blocking Light For Cameras (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
特許文献1の公報の要約(JA)には、「可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることができる撮像装置を提供することを目的とする。可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備えることを特徴とする撮像装置である。」と撮像装置の技術が開示されている。
特許文献1の公報の発明を実施するための段落[0026]において、「I減算部121は、(R+I)信号デモザイキング部103から出力される(R+I)信号から、I信号デモザイキング部106から出力されるI信号に重みとなる係数(減算係数)をかけた値を減算して、R信号を生成する。また、I減算部121は、(G+I)信号デモザイキング部104から出力される(G+I)信号から、I信号デモザイキング部106から出力されるI信号に減算係数をかけた値を減算して、G信号を生成する。また、I減算部121は、(B+I)信号デモザイキング部105から出力される(B+I)信号から、I信号デモザイキング部106から出力されるI信号に減算係数をかけた値を減算して、B信号を生成する。このように減算によって、近赤外光領域の信号成分が除去された、可視光領域のみの信号成分を得ることができる。」と記載されている。
この特許文献1に開示された技術において、可視の成分と近赤外の成分とが混ざった画素と近赤外のみの画素で信号が飽和する光量を比べると、当然ながら可視の成分と近赤外混ざった画素の方が近赤外のみの画素より少ない光の量で飽和する。したがって、ある光量以上になると可視の成分と近赤外混ざった画素の信号レベルが飽和レベルで一定になっている状態でも近赤外のみの画素で信号が増加する現象が生じ、両者の画素が共に飽和レベルに達した際には、赤+近赤外、緑+近赤外、青+近赤外から近赤外に係数をかけ減算した結果の信号レベルがほぼゼロになる。このように被写体の明るさによっては、正しい再現性を得ることができなくなることがある点に関して、十分考慮されていない。
すなわち、本発明の撮像装置は、可視光成分と近赤外光成分とに分離可能な色分離フィルタを有して撮像する撮像手段と、前記撮像手段の映像を基に明るい第1の露光条件と暗い第2の露光条件とを設定して、前記撮像手段の露光条件を制御する露光制御手段と、前記露光制御手段の信号を基に、明るい映像の露光時間と暗い映像の露光時間との比を検出する信号比検出手段と、前記撮像手段から得た第1の露光条件の第1の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第1の可視/近赤外デモザイキング手段と、前記撮像手段から得た第2の露光条件の第2の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第2の可視/近赤外デモザイキング手段と、前記撮像手段から得た第1の露光条件の第1の映像信号を基に近赤外光成分を有する信号を生成する近赤外デモザイキング手段と、前記信号比検出手段の検出信号を基に定められる利得で前記第2の可視/近赤外デモザイキング手段の出力信号を増幅する増幅手段と、前記第1の可視/近赤外デモザイキング手段の出力信号の信号レベルが飽和する領域、あるいは飽和に近い領域である飽和領域近傍信号を検出する飽和領域検出手段と、前記飽和領域検出手段が前記飽和領域近傍信号を検出した場合は前記増幅手段の出力信号を選択し、前記飽和領域検出手段が前記飽和領域近傍信号を検出しない場合は前記第1の可視/近赤外デモザイキング手段の出力信号を選択する選択手段と、前記選択手段の出力信号から前記近赤外デモザイキング手段の出力信号を減算する減算手段と、を備えることを特徴とする。
本発明の第1実施形態に係る撮像装置を図1〜図8を参照して説明する。
図1は、本発明の第1実施形態に係る撮像装置の構成例を示すブロック図である。
図1において、撮像装置500は、レンズ200、撮像素子1、制御部2、可視/近赤外デモザイキング部3A,3B、近赤外デモザイキング部4、メモリ部5、増幅部8、置換部9、減算部10、白バランス部11、ガンマ補正部12、輝度/色差生成部17を備えて構成されている。
なお、制御部2は、信号比検出部102と露光制御部103とを備えている。また、置換部9は、飽和領域検出部100と選択部101とを備えている。
露光制御部103は、撮像素子1からの出力信号に基づいて生成した信号によって、撮像素子1の露光量制御を行う。また、露光制御部103によって、二種類(明るい映像と暗い映像)の露光制御を行い、フレーム毎に明るい映像と暗い映像の二種類の映像を撮影する。撮影した映像(画像)はフレーム順次(面順次)で出力される。なお、例えば、明るい映像は長い時間で露光し、暗い映像は短い時間で露光する。
また、前記のように二種類の映像を撮影するため、撮像素子1のセンサの駆動を、最終的に映像(画像)として出力する信号のフレームレートの2倍の周波数で駆動する。
また、信号比検出部102(信号比検出手段)は、露光制御部103の制御情報を基に光(画像)の明暗の信号比、すなわち(明るい映像の露光時間)/(暗い映像の露光時間)の比を検出して、後記する増幅部8(増幅手段)に、増幅部8の利得設定に用いる信号を送る。
可視/近赤外デモザイキング部3Aでは、色分離フィルタで市松状にサンプリングされた信号に対して、デモザイキング処理を施す。この処理によって入力毎に撮像素子1の画素数と同じ画素数の信号を生成する。後記する可視/近赤外デモザイキング部3Bについても同様である。
前記の(R+IR)信号、(G+IR)信号、(B+IR)信号は、置換部9に入力される。
また、近赤外デモザイキング部4は、撮像素子1から出力する電気信号から近赤外光に関連するIR信号を出力する。なお、近赤外デモザイキング部4では撮像素子1の画素数と同じ画素数のIR信号を生成するように動作している。
このIR信号は、減算部10とガンマ補正部12に送られる。
可視/近赤外デモザイキング部3Bは、図2に示す市松状の色分離フィルタにより得られた信号を基に、(R+IR)信号、(G+IR)信号、(B+IR)信号を出力する。これら(R+IR)信号、(G+IR)信号、(B+IR)信号は、増幅部8に入力される。
なお、前記したように、可視/近赤外デモザイキング部3Aは明るい映像(画像)の処理に用いられ、可視/近赤外デモザイキング部3Bは暗い映像(画像)の処理に用いられる。
前記した可視/近赤外デモザイキング部3Aの(R+IR)信号、(G+IR)信号、(B+IR)信号は、置換部9の選択部101と飽和領域検出部100(飽和領域検出手段)とに入力される。
飽和領域検出部100は、可視/近赤外デモザイキング部3Aの(R+IR)信号、(G+IR)信号、(B+IR)信号のいずれかが強すぎて素子特性によって信号レベルが飽和する領域、あるいは飽和に近い領域に入っているか否かを検出する。なお、信号レベルが飽和する領域、あるいは飽和に近い領域に入っているときには、飽和領域近傍信号を出力する。
選択部101は、飽和領域検出部100の信号に基づき、可視/近赤外デモザイキング部3Aが出力する(R+IR)信号、(G+IR)信号、(B+IR)信号か、増幅部8が出力する(R+IR)信号、(G+IR)信号、(B+IR)信号か、を画素単位で選択する。そして選択した信号を減算部10(減算手段)に出力する。
この減算部10で生成したR信号、G信号、B信号は、白バランス部11(白バランス手段)に入力される。
白バランス部11において、R信号、G信号、B信号は、白バランスがとれるように調整される。そして、白バランスが調整されたR信号、G信号、B信号が、ガンマ補正部12(ガンマ補正手段)に入力される。
ガンマ補正部12には、白バランス部11のR信号、G信号、B信号と、近赤外デモザイキング部4のIR信号が入力している。この4種類の信号に対して、それぞれガンマ処理が施され、最適な特性となるように画像の階調を補正する。そしてガンマ補正された4種類の信号は、輝度/色差生成部17(輝度/色差生成手段)に入力する。
輝度/色差生成部17において、R信号、G信号、B信号を基に、輝度信号と色差信号を生成する。そして、輝度信号と色差信号を出力する。
撮像素子1には、図2または図3に示すような市松状の色分離フィルタが設けられている。この色分離フィルタについて説明する。
図2において、4種の色分離フィルタ(r,g,b,ir)の組からなるブロックによって、1画素が形成されている。r,g,b,irは、それぞれ赤光と近赤外光を透過するフィルタ(rフィルタ)、緑光と近赤外光を透過するフィルタ(gフィルタ)、青光と近赤外光を透過するフィルタ(bフィルタ)、近赤外光を透過するフィルタ(irフィルタ)を表している。
この色分離フィルタ(r,g,b,ir)の構成において、市松状のサンプリングにより(R+IR)信号、(G+IR)信号、(B+IR)信号とIR信号を出力するように動作する。
図3において、4種の色分離フィルタ(r,g,b,w)の組からなるブロックによって、1画素が形成されている。r,g,b,wは、それぞれ赤と近赤外を透過するフィルタ(rフィルタ)、緑と近赤外を透過するフィルタ(gフィルタ)、青と近赤外を透過するフィルタ(bフィルタ)、赤緑青及び近赤外を透過するフィルタ(wフィルタ)を表している。
この色分離フィルタ(g,b,r,w)の構成において、市松上のサンプリングにより(R+IR)信号、(G+IR)信号、(B+IR)信号とW信号を出力するように動作する。
また、W信号は、成分で記載すると赤光、緑光、青光、近赤外光からなり(R+G+B+IR)の信号となっている。
なお、以下において、赤光、緑光、青光、近赤外光を、簡単に表記するため、それぞれ赤、緑、青、近赤外とも適宜、表記する。
次に、前記した市松状の色分離フィルタの分光特性について説明する。
図4は、本発明の第1実施形態に係る第1の構成の色分離フィルタの分光特性例を模式的に示す図であり、(a)は青(B)と近赤外(IR)の分光特性例、(b)は緑(G)と近赤外(IR)の分光特性例、(c)は赤(R)と近赤外(IR)の分光特性例、(d)は近赤外(IR)の分光特性例を示している。
なお、図4(a)、(b)、(c)、(d)において、横軸は光の波長を示し、縦軸は信号の感度を示している。
また、図4の(a)、(b)、(c)、(d)の分光特性は、図2のr,g,b,irのフィルタの特性に対応している。
例えば感度の高さは、概ね、青(B)>緑(G)、赤(R)>近赤外(IR)の順となるのが一般的である。このように近赤外(IR)の感度は最も低いが、近赤外のIR信号は、例えば、ガンマ補正部12(図1)や輝度/色差生成部17(図1)にも用いられる重要な信号であるので、所定の感度を確保することが望ましい。しかしながら、図2におけるirの画素による信号だけでは、十分に確保することが期待できない。
そのため、図2におけるr,g,bの画素においても近赤外(IR)の信号成分を取得できるように、色分離フィルタの分光特性を定めている。その結果、図4(a),(b)、(c)のそれぞれの青(B)、緑(G)、赤(R)において、近赤外(IR)の成分が含まれている。
このように、図2におけるr,g,bの画素においても近赤外(IR)の成分を透す色分離フィルタの分光特性を設定することによって、十分な強度(感度)のIR信号を確保している。
なお、図5(a),(b)、(c)、(d)において、横軸は光の波長を示し、縦軸は信号の感度を示している。
また、図5の(a)、(b)、(c)、(d)の分光特性は、図3のr,g,b,wのフィルタの特性に対応している。
また、図5において、Wは(R+G+B)を意味しており、近赤外(IR)はWの中には含まれていない。ただし、W信号として取り出すときは、図3の説明で前記したように、(R+G+B+IR)の信号として取り出す。
すなわち、W信号(W+IR)からIR信号を得ることが可能である。
図6は、本発明の後記する第3実施形態、及び第4実施形態に係る光学フィルタ201の特性例を示す図である。詳細は、本発明の第3実施形態、及び第4実施形態で説明する。
次に図7と図8を参照して、比較例と本発明の第1実施形態における撮像装置の飽和特性について説明する。
図7は、参考としての飽和領域検出機能が無い比較例の撮像装置における色分離フィルタの分光の信号レベル(R+IR,IR)の飽和特性例と算出される信号Rの特性例を示す図である。
図7において、特性線300に示すのは、例えば図4に示した色分離フィルタを用いた際の赤と近赤外の(R+IR)信号の分光特性である。また、特性線301に示すのは、図4に示した色分離フィルタを用いた際の近赤外のIR信号の分光特性である。また、特性線302に示すのは、前記の(R+IR)信号とIR信号から演算された赤のR信号である。なお、図7において、横軸は、光強度、すなわち撮像素子1(図1)に入社する光の強度であり、縦軸には、検出された信号レベルが示されている。なお、図4に示した色分離フィルタで検出される際の飽和レベルも示している。
すなわち、図7における特性線300や特性線301のように飽和レベルにおいて、所定のレベルで飽和してしまい、入力した光の強度に対応しなくなる。
そのため、赤と近赤外の(R+IR)信号(特性線300)、および、近赤外のIR信号(特性線301)から、[R=(R+IR)−IR]の演算によって算出される赤のR信号(特性線302)は、実際に入力した光の赤の強度を反映しなくなる。
また、図示はしていないが、同様に、緑信号(G)や青信号(B)についても、実際に入力した光の緑(G)や青(B)の強度を反映しなくなる。すなわち、適正な画像や映像が撮像できなくなる。
図8は、本発明の第1実施形態に係る撮像装置における色分離フィルタの分光の信号レベル(R+IR,IR)の飽和特性例と算出される信号Rの特性例を示す図である。
図8において、特性線303に示すのは、例えば図4に示した色分離フィルタを用い、かつ図1に示した撮像装置の回路で演算した際の赤と近赤外の(R+IR)信号の分光特性である。また、特性線304に示すのは、図4に示した色分離フィルタを用い、かつ図1に示した撮像装置の回路で演算した際の近赤外のIR信号の分光特性である。また、特性線305に示すのは、前記の(R+IR)信号とIR信号から演算された赤のR信号である。
なお、図8において、横軸は、光強度、すなわち撮像素子1(図1)に入社する光の強度であり、縦軸には、検出された信号レベルが示されている。なお、図4に示した色分離フィルタで検出される際の飽和レベルも示している。
また、飽和領域検出部100は、明るい映像(画像)の処理に用いられる可視/近赤外デモザイキング部3Aの可視/近赤外デモザイキング部3Aの(R+IR)信号、(G+IR)信号、(B+IR)信号のいずれかが強すぎて、素子特性の飽和領域に入っているか否かを検出している。
可視/近赤外デモザイキング部3Bの信号は、色分離フィルタにおいては、十分に光強度が弱いため、飽和レベル(領域領域)には達していないので、適正な映像(画像)を反映している。
そのため、図8においては、赤と近赤外の(R+IR)信号の分光特性である特性線303は、飽和しない。そのため、[R=(R+IR)−IR]の演算によって算出される赤のR信号(特性線305)は、飽和レベルを超えても、光の強度に比例した信号となり、適正な映像(画像)を反映する領域(ダイナミックレンジ)が広がる。
また、図示はしていないが、同様に、緑信号(G)や青信号(B)についても、同様に効果があり、適正な映像(画像)を反映する領域が広がる。
第1実施形態の撮像装置の動作の概要について、あらためて記載する。
図1における撮像素子1は、映像が明るすぎて飽和してしまうことを避けるために、露光を制御して、フレーム毎に明るい映像と暗い映像の二種類を交互に撮影する。撮像素子1は、映像の電気信号を明るい映像を処理する可視/近赤外デモザイキング部3Aと暗い映像を処理する可視/近赤外デモザイキング部3Bと近赤外を処理する近赤外デモザイキング部4に送る。可視/近赤外デモザイキング部3Aと可視/近赤外デモザイキング部3Bは、赤信号(R+IR)、緑信号(G+IR)、青信号(B+IR)を生成して出力する。近赤外デモザイキング部4は、近赤外信号IRを生成して出力する。
可視/近赤外デモザイキング部3Aの前記の信号が飽和領域に達していない場合には、置換部9の選択部101において、明るい映像を処理する可視/近赤外デモザイキング部3Aの信号が選択される。また、前記の信号が飽和領域に達している場合には、可視/近赤外デモザイキング部3Bの信号を増幅した信号が置換部9の選択部101において、画素単位で選択される。
このように、選択部101において、選択された信号から、近赤外信号IRを減算して、R,G,Bの信号を選択し、白バランス、ガンマ補正を行い、輝度/色差生成部で輝度と色差の信号を生成する。
以上によって、明暗のダイナミックレンジの広い映像が生成できる。
前記のように、第1実施形態においては、明るい映像と暗い映像の二種の映像を用い、明るい映像の画素の信号が飽和した場合に暗い映像の画素に由来する信号を用いることで、広いダイナミックレンジを確保しているが、これに関連事項を以下に補足説明する。
〈2〉また、本(第1)実施形態では、明るい側の映像に於いて画素が飽和したとしても暗い側の映像で飽和部分の信号を置換し飽和レベルを上げているため、飽和部分で近赤外の減算をしても誤った信号を最終の輝度または色差信号に出力することがない。
〈3〉また、信号飽和、あるいは飽和近傍の画素部分の信号置換を行う際に、同一被写体位置の(R+IR)信号、(G+IR)信号、(B+IR)信号の内どれかひとつでも飽和または飽和近傍の条件に一致した際に、同一被写体位置の(R+IR)信号、(G+IR)信号、(B+IR)信号全てを暗い側の映像から生成した信号に置換するので、過渡応答等により誤った色付き等を発生することはない。
〈5〉また、本(第1)実施形態では、可視光と近赤外光を同時に光電変換し、可視光と近赤外光が混合された信号から近赤外成分の除去を行っているが、誤って偽の信号を作り出す事が無く、被写体の明るさに依存せずに常に正しい色や輝度再現性を得ることができる。
〈6〉また、本(第1)実施形態は、図7、図8に示すように、明るい側の映像に於いて(R+IR)信号300が飽和したとしても、暗い側の映像で飽和部分の信号を置換して(R+IR)信号303を生成している。
図7の比較例では、(R+IR)信号300が飽和状態の場合にIR信号301を減算してR信号302を算出していたため、誤った信号を最終の輝度または色差信号に出力している。
これに対して、図8に示すように、(R+IR)信号303を生成することでIR信号304を減算して算出されたR信号305は、最終の輝度または色差信号に誤った信号を出力することがない。
以上の構成と機能と動作により、被写体の明るさに依存せずに常に正しい色や輝度再現性を有した、明暗のダイナミックレンジの広い映像が生成できる効果がある。
すなわち、本発明によれば、撮像素子の信号レベルが飽和する明るさにおいても良好な再現性を得る撮像装置を提供できる。
本発明の第2実施形態に係る撮像装置を図9を参照して説明する。
図9は、本発明の第2実施形態に係る撮像装置の構成例を示すブロック図である。
図9において、撮像装置500Aは、レンズ200、撮像素子1、制御部2、可視/近赤外デモザイキング部3A,3B、近赤外デモザイキング部4、メモリ部5A,5B、相関選択部6、シーンチェンジ判定部7、増幅部8、置換部9、減算部10、白バランス部11、ガンマ補正部12、輝度/色差生成部17を備えて構成されている。
なお、制御部2は、信号比検出部102と露光制御部103とを備えている。また、置換部9は、飽和領域検出部100と選択部101とを備えている。
以上の図9に示す第2実施形態の撮像装置が図1に示す第1実施形態の撮像装置と構成において異なるのは、相関選択部6(相関選択手段)、シーンチェンジ判定部7(シーンチェンジ判定手段)が更に備えられたことである。また、図1におけるメモリ部5の代わりにメモリ部5A、メモリ部5B(メモリ手段)が備えられたことである。
メモリ部5Aに入力した信号は、メモリ部5Aで記憶され、メモリ部5Bと可視/近赤外デモザイキング部3Aと近赤外デモザイキング部4とに入力されている。
メモリ部5Bに入力した信号は、メモリ部5Bで記憶され、相関選択部6の第1の入力端子に入力されている。
シーンチェンジ判定部7の出力信号は、相関選択部6の第3の入力端子に入力している。
相関選択部6の出力信号は、可視/近赤外デモザイキング部3Bに入力している。
図9に示す回路において、以上の構成以外は、図1に示す回路と同一であるので、重複する説明は省略する。
図9において、メモリ部5Aには、可視/近赤外デモザイキング部3Aに供給される明るい映像が記憶される。また、メモリ部5Bには、前記の明るい映像に対する前後のフレームの暗い映像を、一旦、記憶、保持するようにタイミングを採りながら動作する。
また、撮像素子1の出力(電気信号)をシーンチェンジ判定部7で、明るい映像と前後フレームの暗い映像とを比較、判定する。
前記のシーンチェンジ判定部7での比較、判定結果により、相関選択部6でメモリ部5Aからの明るい映像と相関性が高い暗い映像を、前フレーム(メモリ部5Bの出力)と後フレーム(撮像素子1の出力)のいずれかから選択を行い可視/近赤外デモザイキング部3Bに供給するように動作する。
第2実施形態の撮像装置500Aは、第1実施形態の撮像装置500と本質的に等しく同等の効果を得られる。
さらに、第2実施形態の撮像装置500Aは、被写体の急な移動や光源の変化に対しても誤った信号置換を抑圧できて、良好な再現性を得るという効果がある。
本発明の第3実施形態に係る撮像装置を図10〜図15を参照して説明する。
図10は、本発明の第3実施形態に係る撮像装置の構成例を示すブロック図である。
図10において、撮像装置500Bは、光学フィルタ201、レンズ200、撮像素子1、乗算部13、制御部2、可視/近赤外デモザイキング部3A,3B、近赤外デモザイキング部4A,4B、メモリ部5、増幅部8、置換部9、減算部10A,10B、白バランス部11A,11B、ガンマ補正部12A,12B、合成部16、輝度/色差生成部17、可視加減算部18A,18B、可視近赤外信号量検出部20を備えて構成されている。
なお、制御部2は、信号比検出部102と露光制御部103とを備えている。また、置換部9は、飽和領域検出部100と選択部101とを備えている。
また、図1における近赤外デモザイキング部4の代わりに近赤外デモザイキング部4A,4Bが備えられたことである。また、減算部10の代わりに減算部10Aと減算部10B(第2の減算手段)が備えられたことである。また、白バランス部11の代わりに白バランス部11Aと白バランス部11B(第2の白バランス手段)が備えられたことである。また、ガンマ補正部12の代わりにガンマ補正部12Aとガンマ補正部12B(第2のガンマ補正手段)が備えられたことである。
図6は、本発明の第3実施形態(及び第4実施形態)に係る光学フィルタ201の特性例を示す図であり、(a)は赤光(R)と近赤外光(IR)の分光特性であり、(b)は光学フィルタ201の光学フィルタ特性を示している。
図6(a),(b)において、横軸は光の波長を示し、縦軸は感度を示している。
図6(b)において、光学フィルタ特性は、図6(a)の赤光(R)と近赤外光(IR)との境界の谷間に対応する領域において、感度を0もしくは低減するよう特性を持たせている。なお、光学フィルタ201は、赤外照明の照明光の波長と可視光の波長を透過する。
すなわち、図10において、レンズ200の前に図6に示す特性の光学フィルタ201(図10)を追加することで、赤(R)の長波長側から近赤外(IR)として検出する短波長側の間の光成分を減衰させている。
この光学フィルタ201によって、r、g、b各フィルタにおいて感度ばらつきがある670nm近傍から800nm近傍の信号が抑圧され、r、g、bの各フィルタで近赤外感度が等しくなり近赤外の減算を正確に行うことができて、色や輝度で正しい信号再現性を得る効果がある。
近赤外デモザイキング部4Aは、その出力信号IR0を可視加減算部18Aに入力している。可視加減算部18Aは、出力信号IR0とともに、可視/近赤外デモザイキング部3Aの出力信号(R+IR,G+IR,B+IR)を入力して演算し、その演算結果を出力信号として、減算部10A、可視近赤外信号量検出部20、ガンマ補正部12Aに供給している。
白バランス部11Aは、信号(R,G,B)の白バランスを適正化して、信号(R0,G0,B0)を出力して、その出力信号をガンマ補正部12Aと可視近赤外信号量検出部20に供給する。
可視近赤外信号量検出部20は、白バランス部11Aの出力信号と、可視加減算部18Aの出力信号の信号IRとによって、可視近赤外信号量を検出する。
可視近赤外信号量検出部20の出力信号は、前記したように乗算部13に入力している。
ガンマ補正部12Aは、入力信号(R0,G0,B0)と可視加減算部18Aからの信号IRをガンマ補正して、その補正した信号(R1,G1,B1)と信号(IR1)を合成部16に供給する。
近赤外デモザイキング部4Bの出力信号IR0は、可視加減算部18Bに供給されている。
可視加減算部18Bは、近赤外デモザイキング部4Bの出力信号IR0と可視/近赤外デモザイキング部3Bの出力信号(R+IR,G+IR,B+IR)とによって、演算して、出力信号IRを減算部10Bとガンマ補正部12Bに出力する。
減算部10Bは、可視/近赤外デモザイキング部3Bの出力信号(R+IR,G+IR,B+IR)と可視加減算部18Bの出力信号IRとによって演算し、出力信号(R,G,B)を白バランス部11Bに供給する。
ガンマ補正部12Bは、入力信号(R2,G2,B2)と可視加減算部18Bからの信号IRをガンマ補正して、その補正した信号(R3,G3,B3)と信号(IR3)を合成部16に供給する。
合成部16は、ガンマ補正部12Aの出力信号(R1,G1,B1,IR1)と、ガンマ補正部12Bの出力信号(R3,G3,B3,IR3)とを合成して、その合成した信号を輝度/色差生成部17に供給する。
輝度/色差生成部17は、合成部16から供給された信号によって、輝度信号、および色差信号を生成して、出力する。
なお、図10における可視加減算部18A,18B、ガンマ補正部12A、合成部16の詳細な構成については、後記する。
次に、第3実施形態の撮像装置500Bに備える可視加減算部18A,18Bの回路構成の詳細について説明する。
図11は、本発明の第3実施形態に係る撮像装置500Bにおける可視加減算部18A,18Bの構成例を示すブロック図である。
図11において、可視加減算部18Aは、3個の加算器181R,181G,181Bと3個の乗算器180R,180G,180Bを備えて構成されている。そして、可視/近赤外デモザイキング部3Aの出力信号(R+IR,G+IR,B+IR)と、近赤外デモザイキング部4Aの出力信号IR0が入力している。
また、乗算器180Gには、(G+IR)信号が入力して、係数Gが乗算され、その出力信号が加算器181Gに入力している。
また、乗算器180Bには、(B+IR)信号が入力して、係数Bが乗算され、その出力信号が加算器181Bに入力している。
加算器181Rには、IR0信号が入力して、前記した乗算器180Rの出力信号と加算され、その出力信号が加算器181Gに入力している。
加算器181Gには、前記した加算器181Rの出力信号が入力して、乗算器180Gの出力信号と加算され、その出力信号が加算器181Bに入力している。
加算器181Bには、前記した加算器181Gの出力信号が入力して、乗算器180Bの出力信号と加算され、その出力信号が加算器181Bから、可視加減算部18Aの出力信号として、信号IRが出力している。
また、可視加減算部18Bについても、可視加減算部18Aと同一の構成と機能である。重複する説明は省略する。
図12は、本発明の第3実施形態に係る可視加減算部18A,18Bにおける補正前のIR0信号と、補正後のIR信号の特性例を示す図であり、(a)は補正前のIR0信号の特性例を示し、(b)は補正後のIR信号の特性例を示している。
図12(a),(b)において、横軸は光の波長を示し、縦軸は信号の感度を示している。
図12(a)においては、近赤外光のIR成分の他に、波長の低い領域に信号成分が含まれている。図12(b)においては、可視加減算部18A,18Bで処理したことにより、波長の低い領域の信号成分が除去され、近赤外光のIR成分のみとなっている。
次に、第3実施形態の撮像装置500Bに備えるガンマ補正部12A,12Bの回路構成の詳細について説明する。
図13は、本発明の第3実施形態に係る撮像装置500Bにおけるガンマ補正部12Aの回路構成例を示すブロック図である。
図13において、ガンマ補正部12Aは、4個のガンマ補正器120R,120G,120B,120IRを備えて構成されている。また、ガンマ補正部12Aには、信号R0、信号G0、信号B0、信号IRが入力している。また、制御信号DTも入力している。
ガンマ補正器120R、ガンマ補正器120G、ガンマ補正器120B、ガンマ補正器120IRには、それぞれ白バランス後の赤、青、緑と可視成分が除去された近赤外の4種類の信号R0、信号G0、信号B0、信号IRが入力している。そして、ガンマ補正器120R,120G,120B,120IRで、それぞれの信号についてガンマ補正処理を施す構成になっている。
ガンマ補正部12Aの説明と重複する説明は省略する。
次に、第3実施形態の撮像装置500Bに備えるガンマ補正部12A,12Bに用いられるガンマ補正器120Rの回路構成の詳細について説明する。
図14は、本発明の第3実施形態に係る撮像装置500Bにおけるガンマ補正部12Aに用いられるガンマ補正器120Rの回路構成例を示すブロック図である。
ガンマ補正器120Rは、2個のRAM(Random Access Memory)であるRAM121A、RAM121Bと、マイコン122と、選択器123を備えて構成されている。
RAM121A、RAM121Bには、それぞれ異なるガンマ補正の特性値がマイコン122から書き込まれる。
図14においては、赤に関する信号R0がRAM121A、RAM121Bにそれぞれ取り込まれる。RAM121A、RAM121Bにおいて、それぞれガンマ補正をされた信号が共に選択器123に入力する。選択器123において、マイコン122の指令の基に適正にガンマ補正された信号が、R1信号として出力する。
なお、ガンマ補正の特性値を変更する必要がない場合には、RAM121A、RAM121Bの一方を使用する方法もある。
ガンマ補正器120Rの説明と重複する説明は省略する。
次に、第3実施形態の撮像装置500Bに備える合成部16の回路構成の詳細について説明する。
図15は、本発明の第3実施形態に係る撮像装置500Bにおける合成部16の回路構成例を示すブロック図である。
図15において、合成部16は、4個の混合器160R,160G,160B,160IRと、混合比生成器161と、照明光成分生成器162とを備えて構成されている。また、合成部16には、信号R1、信号R3、信号G1、信号G3、信号B1、信号B3、信号IR1、信号IR3が入力されている。
なお、信号R1、信号G1、信号B1、信号IR1は、明るい映像から生成したガンマ処理後のそれぞれ、赤、青、緑、近赤外の信号である。
また、信号R3、信号G3、信号B3、信号IR3は、暗い映像から生成したガンマ処理後のそれぞれ、赤、青、緑、近赤外の信号である。
混合比生成器161は、前記の混合器160R,160G,160B,160IRの混合比を決め、この混合比の信号MRを混合器160R,160G,160B,160IRにそれぞれ入力している。
混合器160Rは、信号R1と信号R3、及び信号MRから赤の混合信号を出力する。
混合器160Gは、信号G1と信号G3、及び信号MRから緑の混合信号を出力する。
混合器160Bは、信号B1と信号B3、及び信号MRから青の混合信号を出力する。
混合器160IRは、信号IR1と信号IR3、及び信号MRから近赤外の混合信号を出力する。
第3実施形態の撮像装置500Bの動作の概要について、あらためて記載する。
第3実施形態においては、明るい映像を処理する可視/近赤外デモザイキング部3Aで生成した3種類の出力(R+IR)信号、(G+IR)信号、(B+IR)信号に対して、第1実施形態と同様に減算部10A、白バランス部11A、ガンマ補正部12Aで処理している。
第3実施形態においては、それのみならず、暗い映像を処理する可視/近赤外デモザイキング部3Bで生成した3種類の出力(R+IR)信号、(G+IR)信号、(B+IR)信号に対して、減算部10B、白バランス部11B、ガンマ補正部12Bで処理している。
そして、明るい映像側と暗い映像側とで生成したガンマ補正後の信号を照明光成分に応じて混合することでダイナミックレンジの広い映像を得るように動作する。
また、二つの可視加減算部18A,18Bで減算する近赤外信号から可視成分の除去を行うように動作する。そのため、近赤外の減算により赤青緑の比率変化のよる色や輝度の信号再現性劣化を抑圧する。
更に、可視近赤外信号量検出部20により撮影環境における可視光量と近赤外量を検出し、可視光の量に応じて撮像素子1の出力から二つのガンマ補正部12までの利得を変えるように動作している。これにより、照明の可視光の量に応じた最適なガンマ特性にすることができ、光源の条件による色や輝度の信号再現性劣化を抑圧できる。
第3実施形態においては、前記したように、以下の効果がある。
明るい映像のみならず暗い映像に対しても、近赤外の減算により生じる誤った信号の発生を抑圧し、かつ、近赤外成分を色信号から取り除くことで輝度や色信号の再現性の劣化を抑圧できる効果がある。
また、明るい映像のみならず暗い映像に対しても、白バランスとガンマ処理を施し、それぞれの信号を照明光成分に応じて混合することでダイナミックレンジの広い映像を得る効果がある。
また、可視近赤外信号量検出部20により撮影環境における可視光量と近赤外量を検出し、可視光の量に応じて撮像素子1の出力から二つのガンマ補正部12までの利得を変えるように動作しているので、照明の可視光の量に応じた最適なガンマ特性にすることができる。すなわち、光源の条件による色や輝度の信号再現性劣化を抑圧できる効果がある。
以上により、本(第3)実施形態は、近赤外により再現性の劣化を抑圧しつつ、ダイナミックレンジの広い映像撮影できる効果がある。
本発明の第4実施形態に係る撮像装置を図16を参照して説明する。
図16は、本発明の第4実施形態に係る撮像装置の回路構成例を示すブロック図である。
図16において、撮像装置500Cは、レンズ200、光学フィルタ201、撮像素子1、制御部2、可視/近赤外デモザイキング部3A,3B、近赤外デモザイキング部4A,4B、メモリ部5、増幅部8、置換部9、減算部10A,10B、白バランス部11A,11B、ガンマ補正部12A,12B、合成部16、輝度/色差生成部17、可視加減算部18A,18B、可視近赤外信号量検出部20を備えて構成されている。
なお、制御部2は、信号比検出部102と露光制御部103とを備えている。また、置換部9は、飽和領域検出部100と選択部101とを備えている。
図16に示す回路において、以上の構成以外は、図10に示す回路と同一であるので、重複する説明は省略する。
また、前記したように、可視近赤外信号量検出部20の検出結果の信号を図10に示した乗算部13に用いるのではなく、図16においてはガンマ補正部12A,12Bに用いている。
すなわち、可視近赤外信号量検出部20の結果で、撮像素子1からガンマ補正部12A,12Bまでの入力の利得を変えるのではなく、図16、図13、図14に示すようにガンマ補正器(120R,120G,120B,120IR)を用いることで、可視近赤外信号量検出部20の結果に応じて、ガンマ補正特性そのものを変える方式を採用している。具体的には、図13のガンマ補正部12A、あるいは図14のガンマ補正器120Rにおける制御信号DTに、図16の可視近赤外信号量検出部20の出力信号を用いる。
この方式においても、第3実施形態で説明した効果と同等の効果が得られる。
以上、第4実施形態は、第3実施形態と同様に、近赤外により再現性の劣化を抑圧しつつ、ダイナミックレンジの広い映像撮影できる効果がある。
また、第4実施形態は、第3実施形態に比較して、レンズ200と光学フィルタ201と撮像素子との関係における配置がよりコンパクトな構成となる効果がある。
また、第4実施形態は、第3実施形態に比較して、図10における乗算部13を削減できる。
以上、本発明は、前記した実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々、変更可能である。
以下に、その他の実施形態や変形例について、さらに説明する。
第1実施形態においては、図1で示した撮像装置の撮像素子1の色分離フィルタを図2の構成と図4の分光特性で説明したが、前記したように、色分離フィルタを図3の構成と図5の分光特性を有するものを用いてもよい。
前記したように、図5(d)に示す(W+IR)信号を取り出す方法においても、この(W+IR)信号と(R+IR)信号,(G+IR)信号,(B+IR)信号とを用いて、近赤外デモザイキング部4からIR信号を生成できる。
したがって、図1で示した撮像装置の撮像素子1において、図2の構成と図4の分光特性を有する第2の構成例の色分離フィルタを用いる方法もある。
また、第1実施形態を示す図1における飽和領域検出部100は、(R+IR)、(G+IR)、(B+IR)信号によって、飽和しているか否かを検出していた。しかし、図5(d)に示した前記の(W+IR)信号を用いる場合には、(W+IR)信号ももしくはW信号を飽和しているか否かの検出に用いてもよい。
第1実施形態において、図1は、フレーム順次(面順次)の図面として説明したが、ライン順次の方式でも可能である。
ライン順次の方式において、明るい画像と暗い画像を得た際に、奇数ラインで作成した映像と偶数ラインで作成した映像を用いることで、フレーム順次の方式で説明した同等の効果を得ることができる。
すなわち、偶数ラインのみの映像と奇数ラインの映像に分け、明るい映像を可視/近赤外デモザイキング部3A、近赤外デモザイキング部4、及び露光制御部103に供給し、暗い映像を可視/近赤外デモザイキング部3Bに信号を供給するように動作する。
つまり、ライン順次の方式で実施する場合には、図1におけるメモリ部5における信号の記録の配列を変更すればよい。
第1実施形態〜第4実施形態の撮像装置においては、露光条件を変えて明るい映像と暗い映像の二種を撮影し、明るい映像が飽和領域に達しているか否かによって使い分けることによって、ダイナミックレンジの広い映像を実現している。
この方法を第1実施形態〜第4実施形態においては、撮像素子1の色分離フィルタ(図2、図4)で近赤外光成分を含むものに適用する場合について説明した。そして、飽和領域検出部100が可視/近赤外デモザイキング部3Aの出力する(R+IR)信号、(G+IR)信号、(B+IR)信号によって飽和領域に達しているか否かを検出していた。
しかし、飽和領域に達しているか否かの検出方法は、この方法に限定されない。
例えば、図3と図5に示す色分離フィルタから抽出した(W+IR)信号を飽和領域検出部100に入力し、(W+IR)信号によって飽和領域に達しているか否かを検出する方法もある。
図1に示す第1実施形態におけるメモリ部5、あるいは図9に示す第2実施形態におけるメモリ部5A、メモリ部5Bは、撮像素子1において交互に撮影される明るい映像と暗い映像を一時的に記憶、保持するためのものである。したがって、図1のメモリ部5の構成や図9のメモリ部5A,5Bの構成に限定されない。映像を記憶、保持する同様の機能を果たす様々なメモリ部を構成できる。
図10、図16においては、可視加減算部18A,18Bを設けて、その出力信号をIR信号として、減算部10A,10Bと、ガンマ補正部12A,12Bに入力しているが、図10、図16においても、図1と同じように、近赤外デモザイキング部4A,4Bの出力信号であるIR信号(IR0信号)を減算部10A,10Bとガンマ補正部12A,12Bに供給する方法もある。
この可視加減算部18A,18Bを用いない方法は、精度は低下するが、回路構成の規模が軽減し、コンパクト、かつ低コストになる。
図10、図16においては、ガンマ補正部12A,12Bにおいて、可視光成分である(R0,G0,B0)、(R2,G2,B2)のみならず、近赤外光成分であるIR信号をガンマ補正(IR1,IR3)している例を示した。
しかし、近赤外光成分については、ガンマ補正をしない方法もある。この場合には、精度は低下するが、回路構成の規模が軽減し、コンパクト、かつ低コストになる。
2 制御部
3A 可視/近赤外デモザイキング部(第1の可視/近赤外デモザイキング手段)
3B 可視/近赤外デモザイキング部(第2の可視/近赤外デモザイキング手段)
4,4A 近赤外デモザイキング部(近赤外デモザイキング手段)
4B 近赤外デモザイキング部(第2の近赤外デモザイキング手段)
5,5A,5B メモリ部(メモリ手段)
6 相関選択部(相関選択手段)
7 シーンチェンジ判定部(シーンチェンジ判定手段)
8 増幅部(増幅手段)
9 置換部
10,10A 減算部(減算手段)
10B 減算部(第2の減算手段)
11 白バランス部(白バランス手段)
11A 白バランス部(第1の白バランス手段、白バランス手段)
11B 白バランス部(第2の白バランス手段、白バランス手段)
12 ガンマ補正部(ガンマ補正手段)
12A ガンマ補正部(第1のガンマ補正手段)
12B ガンマ補正部(第2のガンマ補正手段)
13 乗算部(乗算手段)
16 合成部(合成手段)
17 輝度/色差生成部(輝度/色差生成手段)
18A,18B 可視加減算部(可視加減算手段)
20 可視近赤外信号量検出部(可視近赤外信号量検出手段)
100 飽和領域検出部(飽和領域検出手段)
101 選択部(選択手段)
102 信号比検出部(信号比検出手段)
103 露光制御部(露光制御手段)
120B,120G,120R,120IR ガンマ補正器
121A,121B RAM
122 マイコン
123 選択器
160B,160G,120R,120IR 混合器
161 混合比生成器
162 照明光成分生成器
180B,180G,180R 乗算器
181B,181G,181R 加算器
200 レンズ
201 光学フィルタ
300,303 R+IR信号
301,304 IR信号
302,305 R信号
500,500A,500B,500C 撮像装置
Claims (12)
- 可視光成分と近赤外光成分とに分離可能な色分離フィルタを有して撮像する撮像手段と、
前記撮像手段の映像を基に明るい第1の露光条件と暗い第2の露光条件とを設定して、前記撮像手段の露光条件を制御する露光制御手段と、
前記露光制御手段の信号を基に、明るい映像の露光時間と暗い映像の露光時間との比を検出する信号比検出手段と、
前記撮像手段から得た第1の露光条件の第1の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第1の可視/近赤外デモザイキング手段と、
前記撮像手段から得た第2の露光条件の第2の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第2の可視/近赤外デモザイキング手段と、
前記撮像手段から得た第1の露光条件の第1の映像信号を基に近赤外光成分を有する信号を生成する近赤外デモザイキング手段と、
前記信号比検出手段の検出信号を基に定められる利得で前記第2の可視/近赤外デモザイキング手段の出力信号を増幅する増幅手段と、
前記第1の可視/近赤外デモザイキング手段の出力信号の信号レベルが飽和する領域、あるいは飽和に近い領域である飽和領域近傍信号を検出する飽和領域検出手段と、
前記飽和領域検出手段が前記飽和領域近傍信号を検出した場合は前記増幅手段の出力信号を選択し、前記飽和領域検出手段が前記飽和領域近傍信号を検出しない場合は前記第1の可視/近赤外デモザイキング手段の出力信号を選択する選択手段と、
前記選択手段の出力信号から前記近赤外デモザイキング手段の出力信号を減算する減算手段と、
を備える、
ことを特徴とする撮像装置。 - 請求項1において、
前記減算手段の出力信号の白バランスをとる白バランス手段と、
前記白バランス手段の出力信号と、前記近赤外デモザイキング手段の出力信号のガンマ補正をするガンマ補正手段と、
前記ガンマ補正手段の出力信号から輝度信号と色差信号を生成する輝度/色差生成手段と、
を備える、
ことを特徴とする撮像装置。 - 請求項1において、
前記色分離フィルタは、赤光成分と近赤外光成分を透過するrフィルタと、緑光成分と近赤外光成分を透過するgフィルタと、青光成分と近赤外光成分を透過するbフィルタ、および近赤外光成分を透過するirフィルタとを有し、
前記第1の可視/近赤外デモザイキング手段と前記第2の可視/近赤外デモザイキング手段のそれぞれ3本の出力信号は、前記rフィルタ、前記gフィルタ、前記bフィルタをそれぞれ透過して生成された、それぞれ赤光成分と近赤外光成分、緑光成分と近赤外光成分、青光成分と近赤外光成分、とからなり、
前記近赤外デモザイキング手段の出力信号は、前記irフィルタを透過して生成された近赤外光成分からなる、
ことを特徴とする撮像装置。 - 請求項1において、
前記色分離フィルタは、赤光成分と近赤外光成分を透過するrフィルタと、緑光成分と近赤外光成分を透過するgフィルタと、青光成分と近赤外光成分を透過するbフィルタ、および赤光成分、緑光成分、青光成分と近赤外光成分を透過するwフィルタとを有し、
前記第1の可視/近赤外デモザイキング手段と前記第2の可視/近赤外デモザイキング手段のそれぞれ3本の出力信号は、前記rフィルタ、前記gフィルタ、前記bフィルタをそれぞれ透過して生成された、それぞれ赤光成分と近赤外光成分、緑光成分と近赤外光成分、青光成分と近赤外光成分、とからなり、
前記近赤外デモザイキング手段の出力信号は、前記wフィルタ、前記rフィルタ、前記gフィルタ、前記bフィルタをそれぞれ透過した信号を基に生成された近赤外光成分からなり、
前記飽和領域検出手段は、前記wフィルタを透過して生成された赤光成分、緑光成分、青光成分、近赤外光成分を含む信号を基に、前記飽和領域近傍信号を検出する、
ことを特徴とする撮像装置。 - 請求項1において、
前記撮像手段から得た映像信号を保持するメモリ手段と、
前記撮像手段から得た映像信号のフレーム間の映像のシーンの変化を判定するシーンチェンジ判定手段と、
前記撮像手段の映像信号と、前記メモリ手段の映像信号とを選択する相関選択手段と、
を備え、
前記露光制御手段によって、前記撮像手段の露光制御を前記第1の露光条件と前記第2の露光条件を面順次で行い、得られた映像を前記メモリ手段で一旦保持し、
前記シーンチェンジ判定手段の判定結果に基づき、前記相関選択手段は、前記第2の露光条件の映像の前後のフレームのいずれかを選択し、選択した信号を前記第2の可視/近赤外デモザイキング手段に供給する、
ことを特徴とする撮像装置。 - 請求項1乃至請求項5のいずれか一項において、
前記撮像手段のレンズの前、または後に、赤外照明の照明光の波長と可視光の波長を透過する光学フィルタを備える、
ことを特徴とする撮像装置。 - 請求項1において、
前記近赤外デモザイキング手段の出力信号に対して、前記第1の可視/近赤外デモザイキング手段の出力信号を加算もしくは減算する可視加減算手段を備え、
前記減算手段において、前記近赤外デモザイキング手段の出力信号の代わりに前記可視加減算手段の出力信号を減算する、
ことを特徴とする撮像装置。 - 請求項7において、
前記撮像手段の出力信号を乗算して、その乗算した信号を前記第1の可視/近赤外デモザイキング手段と前記近赤外デモザイキング手段とに供給する乗算手段と、
前記減算手段の出力信号の白バランスをとる白バランス手段と、
前記白バランス手段の出力信号と、前記可視加減算手段の出力信号とによって、可視近赤外信号の信号量を検出する可視近赤外信号量検出手段と、
を備え、
前記可視近赤外信号量検出手段の検出した信号によって前記乗算手段の利得を制御する、
ことを特徴とする撮像装置。 - 請求項7において、
前記減算手段の出力信号の白バランスをとる白バランス手段と、
前記白バランス手段の出力信号を入力してガンマ補正を行うガンマ補正手段と、
前記白バランス手段の出力信号と、前記可視加減算手段の出力信号とによって、可視近赤外信号の信号量を検出する可視近赤外信号量検出手段と、
を備え、
前記可視近赤外信号量検出手段の検出した信号によって、前記ガンマ補正手段のガンマ補正を施す入出力特性を変える、
ことを特徴とする撮像装置。 - 請求項1において、
前記撮像手段から得た第2の露光条件の第2の映像信号を基に、近赤外光成分を有する信号を生成する第2の近赤外デモザイキング手段と、
前記第2の可視/近赤外デモザイキング手段の出力信号から前記第2の近赤外デモザイキング手段の出力信号を減算する第2の減算手段と、
を備え、
前記減算手段の出力信号を白バランスとガンマ補正をした第1の信号と、前記第2の減算手段の出力信号を白バランスとガンマ補正をした第2の信号を混合させて、ダイナミックレンジの広い映像を得る、
ことを特徴とする撮像装置。 - 請求項10において、
前記近赤外デモザイキング手段の出力信号をガンマ補正したガンマ補正した第3の信号と、前記第2の近赤外デモザイキング手段の出力信号をガンマ補正したガンマ補正した第4の信号を混合させて、ダイナミックレンジの広い映像を得る、
ことを特徴とする撮像装置。 - 請求項10において、
前記減算手段の出力信号の白バランスをとる第1の白バランス手段と、
前記第2の減算手段の出力信号の白バランスをとる第2の白バランス手段と、
前記第1の白バランス手段のガンマ補正をする第1のガンマ補正手段と、
前記第2の白バランス手段のガンマ補正をする第2のガンマ補正手段と、
前記第1のガンマ補正手段の出力信号と前記第2のガンマ補正手段の出力信号を合成する合成手段と、
備える、
ことを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183586A JP6767331B2 (ja) | 2017-09-25 | 2017-09-25 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183586A JP6767331B2 (ja) | 2017-09-25 | 2017-09-25 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062286A true JP2019062286A (ja) | 2019-04-18 |
JP6767331B2 JP6767331B2 (ja) | 2020-10-14 |
Family
ID=66178245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017183586A Active JP6767331B2 (ja) | 2017-09-25 | 2017-09-25 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6767331B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021145167A (ja) * | 2020-03-10 | 2021-09-24 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
US11159754B2 (en) | 2019-09-02 | 2021-10-26 | Canon Kabushiki Kaisha | Imaging device and signal processing device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002223355A (ja) * | 2001-01-25 | 2002-08-09 | Olympus Optical Co Ltd | 画像処理装置および画像処理プログラムを記録した記録媒体 |
JP2008099039A (ja) * | 2006-10-12 | 2008-04-24 | Sanyo Electric Co Ltd | 撮像装置および撮像方法 |
JP2008205691A (ja) * | 2007-02-19 | 2008-09-04 | Sony Corp | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2008219140A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 撮像装置 |
JP2008289000A (ja) * | 2007-05-18 | 2008-11-27 | Sony Corp | 画像入力処理装置、および、その方法 |
JP2015053578A (ja) * | 2013-09-06 | 2015-03-19 | パナソニック株式会社 | カラー撮像装置及びカラー撮像方法 |
JP2017046204A (ja) * | 2015-08-27 | 2017-03-02 | クラリオン株式会社 | 撮像装置 |
-
2017
- 2017-09-25 JP JP2017183586A patent/JP6767331B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002223355A (ja) * | 2001-01-25 | 2002-08-09 | Olympus Optical Co Ltd | 画像処理装置および画像処理プログラムを記録した記録媒体 |
JP2008099039A (ja) * | 2006-10-12 | 2008-04-24 | Sanyo Electric Co Ltd | 撮像装置および撮像方法 |
JP2008205691A (ja) * | 2007-02-19 | 2008-09-04 | Sony Corp | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2008219140A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 撮像装置 |
JP2008289000A (ja) * | 2007-05-18 | 2008-11-27 | Sony Corp | 画像入力処理装置、および、その方法 |
JP2015053578A (ja) * | 2013-09-06 | 2015-03-19 | パナソニック株式会社 | カラー撮像装置及びカラー撮像方法 |
JP2017046204A (ja) * | 2015-08-27 | 2017-03-02 | クラリオン株式会社 | 撮像装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11159754B2 (en) | 2019-09-02 | 2021-10-26 | Canon Kabushiki Kaisha | Imaging device and signal processing device |
JP2021145167A (ja) * | 2020-03-10 | 2021-09-24 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
JP7039639B2 (ja) | 2020-03-10 | 2022-03-22 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6767331B2 (ja) | 2020-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9055181B2 (en) | Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information | |
US8014626B2 (en) | Image processing device, image processing method, and program | |
US8175378B2 (en) | Method and system for noise management for spatial processing in digital image/video capture systems | |
US10560670B2 (en) | Imaging apparatus and imaging control method | |
CN101272453B (zh) | 拖尾校正信号发生电路、方法、拖尾校正电路和成像器件 | |
JP4904440B2 (ja) | 画像処理方法および装置,ならびに画像処理プログラムおよびこのプログラムを記録した媒体 | |
KR101252275B1 (ko) | 고체촬상소자의 신호처리장치 및 방법과 촬상장치 | |
US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
JP4142360B2 (ja) | 電子カラー画像の色を補正する画像処理方法 | |
JP5112238B2 (ja) | 撮像装置、設定値変更方法およびプログラム | |
JP2011151739A (ja) | 画像処理装置 | |
JP2019062286A (ja) | 撮像装置 | |
JP2001157109A (ja) | 電子カメラおよび画像データ処理用記録媒体 | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP4880375B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP5282306B2 (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
JP2006303774A (ja) | 撮像装置 | |
JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
JP6704611B2 (ja) | 撮影装置及び撮影方法 | |
JP2002209224A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
JP4954658B2 (ja) | 画像処理装置 | |
JP2006109046A (ja) | 撮像装置 | |
JP2006324789A (ja) | 映像信号処理方法および映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6767331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |