JP2010147878A

JP2010147878A - 撮像装置

Info

Publication number: JP2010147878A
Application number: JP2008323868A
Authority: JP
Inventors: Mutsuhiro Yamanaka; 睦裕山中
Original assignee: Panasonic Electric Works Co Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2008-12-19
Filing date: 2008-12-19
Publication date: 2010-07-01
Anticipated expiration: 2028-12-19
Also published as: JP5161752B2

Abstract

【課題】周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制する。
【解決手段】差分画像生成手段３は、多数の受光部１０のうちの一部の受光部１０Ａで変換される電荷によって形成される第１の画像と、多数の受光部１０のうちで前記一部の受光部を除く残りの受光部１０Ｂで変換される電荷によって形成される第２の画像との差分画像を生成する。故に、撮像素子１には従来例のように特殊な構造の撮像素子ではなく一般の撮像素子を用いることができるから、周囲光の影響を低減し且つ小型化と高解像度化を両立できる。しかも、第１の画像と第２の画像の撮像間隔が撮像素子のフレームレートよりも短くなるから被写体像のぶれを抑制できる。
【選択図】図１

Description

本発明は、撮像装置に関し、特に周囲光の影響を低減した画像を撮像するための撮像装置に関するものである。

本出願人は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの反射光成分を画素値とする画像（光変調画像）を生成する撮像装置を既に提案している（特許文献１参照）。かかる撮像装置を用いれば、周囲光の影響を低減した画像を撮像することができる。
特開２００６−１２１６１７号公報

ところで、特許文献１の従来例で用いられる撮像素子はデジタルカメラなどに用いられている一般の固体撮像素子（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）と若干構造が異なっている。具体的には、一つの受光部に対して複数個の制御電極が設けられ、制御電圧を印加する制御電極の個数を変化させることで受光部の感度を調整可能な構造を有している。従って、特許文献１における撮像素子は、同じ寸法で比較したときに一般の撮像素子に比べて画素数が少ないために相対的に解像度が低くなってしまう。

一方、一般の撮像素子を用いて変調光が照射されているときの画像と変調光が照射されていないときの画像を交互に撮像して両画像の画素値の差分から光変調画像を生成した場合、撮像素子のフレームレートに制限されて２種類の画像を撮像するタイムラグが大きくなり、動きの速い被写体を撮像したときに被写体像がぶれてしまう虞がある。

本発明は上記事情に鑑みて為されたものであり、その目的は、周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制できる撮像装置を提供することにある。

請求項１の発明は、上記目的を達成するために、光電変換を行う多数の受光部を有した撮像素子と、対象空間に光を照射する光照射手段と、光照射手段が対象空間に光を照射しているときに撮像素子で撮像される第１の画像と光照射手段が対象空間に光を照射していないときに撮像素子で撮像される第２の画像との差分画像を生成する差分画像生成手段とを備え、差分画像生成手段は、多数の受光部のうちの一部の受光部で変換される電荷によって形成される第１の画像と、多数の受光部のうちで前記一部の受光部を除く残りの受光部で変換される電荷によって形成される第２の画像との差分画像を生成することを特徴とする。

請求項１の発明によれば、撮像素子には従来例のように特殊な構造の撮像素子ではなく一般の撮像素子を用いることができるから、周囲光の影響を低減するとともに小型化と高解像度化を両立することができ、しかも、一部の受光部で光電変換を行って第１の画像を撮像し且つ残りの受光部で光電変換を行って第２の画像を撮像するため、第１の画像と第２の画像の撮像間隔が撮像素子のフレームレートよりも短くなるから被写体像のぶれを抑制できる。

請求項２の発明は、請求項１の発明において、差分画像生成手段は、縦横に並設された多数の受光部のうちで縦方向及び横方向に沿って一つ飛びに並ぶ前記一部の受光部で変換される電荷によって形成される第１の画像と、一つ飛びに隣り合う前記一部の受光部に挟まれた前記残りの受光部で変換される電荷によって形成される第２の画像との差分画像を生成することを特徴とする。

請求項２の発明によれば、第１の画像と第２の画像を同程度の画質で撮像することができる。

請求項３の発明は、請求項１又は２の発明において、光照射手段は、前記一部の受光部が光電変換を行う時間に同期して対象空間に光を照射するとともに前記残りの受光部が光電変換を行う期間には光を照射しないことを特徴とする。

本発明によれば、周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制できる。

本実施形態の撮像装置は、図１に示すように対象空間を撮像する撮像素子１と、対象空間に光を照射する光照射部２と、光照射部２が対象空間に光を照射しているときに撮像素子１で撮像される第１の画像と光照射部２が対象空間に光を照射していないときに撮像素子１で撮像される第２の画像との差分画像を生成する差分画像生成手段３と、撮像素子１並びに光照射部２を制御する制御部４とを備えている。

光照射部２は、赤外光を発する発光ダイオードと、当該発光ダイオードに直流電力を供給して発光させるＬＥＤ駆動回路とを具備し（但し、何れも図示せず）、制御部４によってＬＥＤ駆動回路の動作が制御される。

撮像素子１は、例えばグローバルシャッタ機能を有する汎用の２次元ＣＭＯＳイメージセンサからなる。図２（ａ）は撮像素子１の１画素の等価回路を示しており、光電変換を行う受光部（フォトダイオード）１０、受光部１０の蓄積電荷を放電（リセット）するためのリセットスイッチ１１、受光部１０で光電変換された電荷（電子）を増幅するアンプ１２、アンプ１２の後段に設けられたグローバルシャッタ部１３、アンプ１２で増幅された電荷を垂直列の信号線１５に転送するための水平転送スイッチ１４が設けられている。尚、垂直列の信号線１５に転送された電荷は垂直転送スイッチ１６を介して読み出される。

またグローバルシャッタ部１３は、受光部１０の電荷を蓄積するための蓄積素子（キャパシタ）１３ａと、受光部１０から蓄積素子１３ａへの電荷転送経路を開閉するシャッタスイッチ１３ｂと、蓄積素子１３ａに蓄積されている電荷に応じた画素情報（画素値）を信号線１５に出力するアンプ１３ｃとを具備している。つまり、リセットスイッチ１１並びに水平転送スイッチ１４を開いた（オフした）状態でシャッタスイッチ１３ｂを開閉すると、シャッタスイッチ１３ｂが閉じている（オンしている）期間に受光部１０で光電変換された電荷がアンプ１２及びシャッタスイッチ１３ｂを介して蓄積素子１３ａに蓄積され、シャッタスイッチ１３ｂを開いた（オフした）後に水平転送スイッチ１４を閉じる（オンする）と、シャッタスイッチ１３ｂのオン期間（露光時間）に応じた電荷量の画素情報が信号線１５に転送されることになる。但し、このようなグローバルシャッタ機能を有した２次元ＣＭＯＳイメージセンサについては従来周知であるから詳細な構成に付いての図示並びに説明は省略する。

制御部４はマイクロコンピュータを主構成要素とし、光照射部２を制御して対象空間に周期的に光（赤外光）を照射するとともに、後述するように光照射部２が光を照射している期間（光照射期間）と光照射部２が光を照射していない期間（光非照射期間）とでそれぞれ撮像素子１に画像（第１の画像並びに第２の画像）を撮像させる。

差分画像生成手段３は、撮像素子１で撮像された第１の画像を記憶する第１画像記憶部３０と、撮像素子１で撮像された第２の画像を記憶する第２画像記憶部３１と、第１の画像に対して補間処理（後述する）を実行する第１補間処理部３２と、同じく第２の画像に対して補間処理を実行する第２補間処理部３３と、第１補間処理部３２で補間された第１の画像と第２補間処理部３３で補間された第２の画像における各画素の画素値の差分を演算して差分画像を生成する差分処理部３４とを具備している。尚、差分画像生成手段３の各部３０〜３４は、マイクロコンピュータに専用のプログラムを実行させたり、あるいは汎用の画像処理ＬＳＩによって実現可能である。

次に、本実施形態の撮像装置の動作を説明する。ここで、撮像素子１は多数の受光部１０と各受光部１０に対応するリセットスイッチ１１、アンプ１２、グローバルシャッタ部１３、アンプ１４が縦横に並べて設けられており、以下の説明では、図２（ｂ）に示すように縦方向及び横方向に沿って一つ飛びに並ぶ複数の受光部１０Ａのグループを第１の受光部群とし、第１の受光部群に属する受光部１０Ａに挟まれた複数の受光部１０Ｂのグループを第２の受光部群とする。つまり、第１の受光部群に属する受光部１０Ａと第２の受光部群に属する受光部１０Ｂとが市松模様に配置されている。

まず制御部４は、リセットスイッチ１１を閉じて第１の受光部群に属する受光部１０Ａをリセットした後、シャッタスイッチ１３を所定の露光時間だけ閉じることで第１の受光部群に属する受光部１０Ａで光電変換された電荷をグローバルシャッタ部１３の蓄積素子１３ａに蓄積させる。さらに制御部４では、光照射部２を制御することにより受光部１０Ａの露光時間に同期して対象空間に光（赤外光）を照射する（図３（ａ），（ｃ）参照）。

続いて、制御部４はリセットスイッチ１１を閉じて第２の受光部群に属する受光部Ｂをリセットした後、シャッタスイッチ１３を所定の露光時間だけ閉じることで第２の受光部群に属する受光部１０Ｂで光電変換された電荷をグローバルシャッタ部１３の蓄積素子１３ａに蓄積させる。このとき制御部４は、光照射部２を制御することにより受光部１０Ｂの露光時間には対象空間に光（赤外光）を照射しない（図３（ｂ），（ｃ）参照）。

そして、制御部４は水平転送スイッチ１４と垂直列の信号線１５に挿入されている垂直転送スイッチ１６をスイッチング制御することにより、第１の受光部群の受光部１０Ａから読み出した画素情報で形成される画像（第１の画像）を差分画像生成手段３の第１画像記憶部３０に記憶させるとともに、第２の受光部群の受光部１０Ｂから読み出した画素情報で形成される画像（第２の画像）を差分画像生成手段３の第２画像記憶部３１に記憶させる。

第１補間処理部３２は、第１画像記憶部３０に記憶されている第１の画像のうちで、第２の受光部群に属する受光部１０Ｂと対応する画素の画素値を、例えば、当該画素と縦方向並びに横方向に隣り合う合計４つの画素（受光部１０Ａと対応する画素）の画素値の平均値で補間する。そして、第１補間処理部３２は、第２の受光部群に属する全ての受光部１０Ｂに対応する画素に対して上記補間を行うことによって得られた第１の画像を差分処理部３４に出力する。

同じく第２補間処理部３３は、第２画像記憶部３１に記憶されている第２の画像のうちで、第１の受光部群に属する受光部１０Ａと対応する画素の画素値を、例えば、当該画素と縦方向並びに横方向に隣り合う合計４つの画素（受光部１０Ｂと対応する画素）の画素値の平均値で補間する。そして、第２補間処理部３３は、第１の受光部群に属する全ての受光部１０Ａに対応する画素に対して上記補間を行うことによって得られた第２の画像を差分処理部３４に出力する。

差分処理部３４は、第１補間処理部３２から出力される第１の画像の各画素の画素値と、第２補間処理部３３から出力される第２の画像の各画素の画素値との差分を求め、当該差分をその画素の画素値とする差分画像を生成する。ここで、第１の画像は光照射部２から照射される赤外光の反射光成分と周囲光の反射光成分を両方とも含む画像であり、第２の画像は周囲光の反射光成分のみを含む画像であるから、両画像の差分画像は光照射部２から照射される赤外光の反射光成分のみを含み、周囲光の影響が低減された画像となる。

ここで、上述のように受光部１０をグループ分けせずに、全ての受光部１０で第１の画像と第２の画像を撮像した場合、図４に示すように第１の画像を撮像する撮像時間Ｔ１と第２の画像を撮像する撮像時間Ｔ２との間にはフレームレートに応じたタイムラグＴｘ’が生じてしまうので、動きの速い被写体（例えば、走行中の自動車など）を撮像したときに差分画像にぶれが生じてしまう虞がある。

しかしながら本実施形態の撮像装置では、複数の受光部１０を２つのグループに分けて一方のグループ（第１の受光部群）で第１の画像を撮像し、他方のグループ（第２の受光部群）で第２の画像を撮像するため、第１の画像と第２の画像のタイムラグＴｘ（≪Ｔｘ’）が非常に短くなり（図３（ａ），（ｂ）参照）、動きの速い被写体を撮像したときに差分画像にぶれが生じ難いという利点がある。

尚、本実施形態の撮像装置は、例えば、顔認証装置における顔画像の入力装置や監視カメラ、特に被写体を屋外の太陽光下で撮像する用途に用いるのに好適である。

本発明の実施形態を示すブロック図である。（ａ）は同上における撮像素子の要部構成図であり、（ｂ）は受光部の配置を説明する説明図である。同上の動作説明用のタイミングチャートである。同上の動作説明図である。

符号の説明

１撮像素子
２光照射部（光照射手段）
３差分画像生成手段

Claims

光電変換を行う多数の受光部を有した撮像素子と、対象空間に光を照射する光照射手段と、光照射手段が対象空間に光を照射しているときに撮像素子で撮像される第１の画像と光照射手段が対象空間に光を照射していないときに撮像素子で撮像される第２の画像との差分画像を生成する差分画像生成手段とを備え、
差分画像生成手段は、多数の受光部のうちの一部の受光部で変換される電荷によって形成される第１の画像と、多数の受光部のうちで前記一部の受光部を除く残りの受光部で変換される電荷によって形成される第２の画像との差分画像を生成することを特徴とする撮像装置。
差分画像生成手段は、縦横に並設された多数の受光部のうちで縦方向及び横方向に沿って一つ飛びに並ぶ前記一部の受光部で変換される電荷によって形成される第１の画像と、一つ飛びに隣り合う前記一部の受光部に挟まれた前記残りの受光部で変換される電荷によって形成される第２の画像との差分画像を生成することを特徴とする請求項１記載の撮像装置。
光照射手段は、前記一部の受光部が光電変換を行う時間に同期して対象空間に光を照射するとともに前記残りの受光部が光電変換を行う期間には光を照射しないことを特徴とする請求項１又は２記載の撮像装置。