JP2006259829A - 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP2006259829A
JP2006259829A JP2005072797A JP2005072797A JP2006259829A JP 2006259829 A JP2006259829 A JP 2006259829A JP 2005072797 A JP2005072797 A JP 2005072797A JP 2005072797 A JP2005072797 A JP 2005072797A JP 2006259829 A JP2006259829 A JP 2006259829A
Authority
JP
Japan
Prior art keywords
image
value
difference
subject
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005072797A
Other languages
English (en)
Other versions
JP4678487B2 (ja
Inventor
Hirotaka Ishii
啓喬 石井
Tanichi Ando
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2005072797A priority Critical patent/JP4678487B2/ja
Publication of JP2006259829A publication Critical patent/JP2006259829A/ja
Application granted granted Critical
Publication of JP4678487B2 publication Critical patent/JP4678487B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

【課題】特定の被写体の画像を簡単かつ確実に抽出する。
【解決手段】 入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置１１１は、照明装置１１２により所定の被写体に照明が照射された画像と照射されていない画像を撮像する。閾値決定部１２５は、照明が照射された画像データと照射されていない画像データの差分をとった差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する閾値を決定する。画像抽出部１２６は、閾値に基づいて、被写体の画像を抽出する。本発明は、顔の画像を用いて個人を認証する顔認証装置に適用することができる。
【選択図】図２

Description

本発明は、画像処理システム、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、特定の被写体の画像を抽出する画像処理装置および方法、記録媒体、並びにプログラムに関する。
従来、特定の被写体に２種類の照明を切り替えて照射し、各照明を照射した画像の画像データの差分をとることにより、特定の被写体の画像を抽出することが提案されている（例えば、特許文献１参照）。
特開平５−９１４０６号公報
図１は、従来の撮像装置に使用されるCCD（Charge Coupled Device）撮像素子の感度特性を示すグラフである。図１の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１はCCD撮像素子の感度特性を示し、線２は人の目の感度特性を示している。なお、従来のCMOS（Complementary Metal Oxide Semiconductor）撮像素子の感度特性は、線１に示されるCCD撮像素子の感度特性とほぼ類似したものとなる。
図１に示されるように、CCD撮像素子は、人の目よりダイナミックレンジが狭い。従って、CCD撮像素子を用いた撮像装置では、入射光の照度がCCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタースピードなどを調整する必要がある。
しかしながら、被写体の光の照度の範囲がCCD撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値がCCD撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値がCCD撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生する。また、入射光量を調整した場合、例えば、被写体の輝度が変動しない領域に対応する入射光量が変動し、その領域の画素値が変動するなど、入射光量の調整に伴う画素値の変動が発生する。すなわち、従来のCCD撮像素子を用いた撮像装置では、被写体の輝度の変動および被写体の動き以外の要因により画素値が変動する。
従って、特定の被写体の画像を抽出するためには、被写体の輝度の変動および被写体の動きによる画素値の変動と、それ以外の要因による画素値の変動を区分する必要がある。そのため、例えば、その被写体の画像の輪郭を強調する輪郭強調処理などを行う必要があり、処理が複雑になってしまう。また、周囲の明るさが大きく変化したり、被写体の輝度の範囲が広い場合には、被写体の輝度の変動および被写体の動きによる画素値の変動と、それ以外の要因による画素値の変動を区分することが困難であり、特定の被写体の画像を正確に抽出できない場合がある。
本発明は、このような状況に鑑みてなされたものであり、特定の被写体の画像を簡単かつ確実に抽出するようにするものである。
本発明の画像処理システムは、入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置と、撮像装置から出力された画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する閾値を決定する閾値決定手段と、閾値に基づいて、画像データから、被写体の画像を抽出する抽出手段とを含むことを特徴とする。
撮像装置は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型撮像素子を用い、人の目より広いダイナミックレンジで被写体を撮像できる撮像装置により構成される。
差分データ生成手段、閾値決定手段、および、抽出手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
被写体に照射される照明は、例えば、可視光、近赤外光、紫外光とされる。
差分データは、例えば、所定の被写体に照明が照射されているとき撮像された画像データと、被写体に照明が照射されていないとき撮像された画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。
差分値の分布は、例えば、差分データにおける差分値の絶対値の度数分布とされる。
閾値決定手段は、例えば、差分値の分布において、差分値の絶対値が同じ画素の数が第１の閾値以下となる差分値の絶対値の第１の最小値と、第１の最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が第１の閾値以上となる差分値の最小値との中間値に閾値を決定する。
また、閾値決定手段は、例えば、差分値の絶対値の範囲を所定の数の階級に区分して差分値の分布が検出された場合、例えば、画素数が第２の閾値以下となる階級のうち、差分値の絶対値の範囲が最小となる第１の階級と、第１の階級より差分値の絶対値の範囲が大きい階級のうち、画素数が第１の閾値以上であり、かつ、差分値の絶対値の範囲が最小となる第２の階級までの範囲に含まれる差分値の絶対値の中から閾値を決定する。この場合、例えば、閾値は、第１の階級の範囲に含まれる差分値の絶対値の最小値と第２の階級の範囲に含まれる差分値の絶対値の最大値の中間値とされる。
抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値未満である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を抽出する。また、抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値以上である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を消去することも可能である。
本発明の画像処理システムにおいては、入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置から出力された画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データが生成され、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する閾値が決定され、閾値に基づいて、画像データから、被写体の画像が抽出される。
従って、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、簡単に、特定の被写体の画像を抽出した画像データを生成することができる。
本発明の画像処理システムにおいては、被写体に照明を照射するとともに、撮像装置のフレーム周期に同期して、照明を点滅する照明装置をさらに含むようにすることができる。
本発明の画像処理装置は、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定手段と、第１の閾値に基づいて、画像データから、被写体の画像の画像データを抽出する抽出手段とを含むことを特徴とする。
差分データ生成手段、閾値決定手段、および、抽出手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
被写体に照射される照明は、例えば、可視光、近赤外光、紫外光とされる。
差分データは、例えば、所定の被写体に照明が照射されているとき撮像された画像データと、被写体に照明が照射されていないとき撮像された画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。
差分値の分布は、例えば、差分データにおける差分値の絶対値の度数分布とされる。
抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値未満である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を抽出する。また、抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値以上である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を消去することも可能である。
本発明の画像処理装置においては、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データが生成され、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する第１の閾値が決定され、第１の閾値に基づいて、画像データから、被写体の画像の画像データが抽出される。
従って、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、簡単に、特定の被写体の画像を抽出した画像データを生成することができる。
本発明の画像処理装置においては、閾値決定手段は、差分データにおいて、差分値の絶対値が同じ画素の数が所定の第２の閾値以下となる差分値の絶対値の最小値と、最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が第２の閾値以上となる差分値の絶対値の最小値の間の差分値の絶対値を第１の閾値に決定するようにすることができる。
また、閾値決定手段は、例えば、差分値の絶対値の範囲を所定の数の階級に区分して差分値の分布が検出された場合、例えば、画素数が第２の閾値以下となる階級のうち、差分値の絶対値の範囲が最小となる第１の階級と、第１の階級より差分値の絶対値の範囲が大きい階級のうち、画素数が第１の閾値以上であり、かつ、差分値の絶対値の範囲が最小となる第２の階級までの範囲に含まれる差分値の絶対値の中から閾値を決定するようにしてもよい。この場合、例えば、閾値は、第１の階級の範囲に含まれる差分値の絶対値の最小値と第２の階級の範囲に含まれる差分値の絶対値の最大値の中間値とされる。
従って、閾値を少ない計算量で簡単に決定することができる。
本発明の画像処理装置においては、画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力されるようにすることができる。
従って、周囲の明るさが大きく変動する環境下においても、所定の被写体の画像を確実に抽出することができる。また、被写体の輝度などに応じて、入射光量を調整する必要がないため、画像抽出処理に要する時間を短縮することができる。
本発明の画像処理装置においては、撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるようにすることができる。
従って、周囲の明るさが大きく変動する環境下においても、所定の被写体の画像を確実に抽出することができる。また、被写体の輝度などに応じて、入射光量を調整する必要がないため、画像抽出処理に要する時間を短縮することができる。
本発明の画像処理装置においては、照明は近赤外光による照明であるようにすることができる。
従って、例えば、本発明の画像処理装置を用いて、人の画像を抽出する場合、人に気づかれたり、違和感を与えたりすることなく、人を撮像することができる。
本発明の画像処理方法およびプログラムは、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定ステップと、第１の閾値に基づいて、画像データから、被写体の画像の画像データを抽出する抽出ステップとを含むことを特徴とする。
画像データは、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型撮像素子を用い、人の目より広いダイナミックレンジで被写体を撮像できる撮像装置により撮像される。
被写体に照射される照明は、例えば、可視光、近赤外光、紫外光とされる。
差分データは、例えば、所定の被写体に照明が照射されているとき撮像された画像データと、被写体に照明が照射されていないとき撮像された画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。
差分値の分布は、例えば、差分データにおける差分値の絶対値の度数分布とされる。
閾値は、例えば、差分値の分布において、差分値の絶対値が同じ画素の数が第１の閾値以下となる差分値の絶対値の第１の最小値と、第１の最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が第１の閾値以上となる差分値の最小値との中間値に決定される。
また、閾値は、例えば、差分値の絶対値の範囲を所定の数の階級に区分して差分値の分布が検出された場合、例えば、画素数が第２の閾値以下となる階級のうち、差分値の絶対値の範囲が最小となる第１の階級と、第１の階級より差分値の絶対値の範囲が大きい階級のうち、画素数が第１の閾値以上であり、かつ、差分値の絶対値の範囲が最小となる第２の階級までの範囲に含まれる差分値の絶対値の中から決定される。この場合、例えば、閾値は、第１の階級の範囲に含まれる差分値の絶対値の最小値と第２の階級の範囲に含まれる差分値の絶対値の最大値の中間値とされる。
画像データの抽出は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値未満である画素と同じ位置の画素の画素値を０にすることにより行われる。また、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値以上である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を消去することも可能である。
本発明の画像処理方法およびプログラムにおいては、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データが生成され、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する閾値が決定され、閾値に基づいて、画像データから、被写体の画像が抽出される。
従って、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、簡単に、特定の被写体の画像を抽出した画像データを生成することができる。
本発明によれば、特定の被写体の画像を抽出することができる。また、本発明によれば、より簡単かつ確実に特定の被写体の画像を抽出することができる。
図２は、本発明を適用した画像処理システム１０１の一実施の形態を示す図である。画像処理システム１０１は、撮像装置１１１、照明装置１１２、および画像処理装置１１３を含むように構成される。
撮像装置１１１は、図７を参照して後述するように、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで被写体を撮像し、撮像した被写体の画像の画像データを画像処理装置１１３に供給する。
照明装置１１２は、撮像装置１１１により撮像された画像データから、画像を抽出する被写体（以下、抽出対象被写体とも称する）に照明を照射する。また、照明装置１１２は、画像処理装置１１３の制御の基に、撮像装置１１１のフレーム周期に同期して、照明を点滅する。
ここで、図３乃至図６を参照して、画像処理システム１０１により撮像される画像データの例を説明する。図３は、抽出対象被写体である人の顔１４２に、照明装置１１２により照明１４１が照射された状態を横から見た図であり、図４は、人の顔１４２に照明が照射されていない状態を横から見た図である。図５は、図３に示される状態を、撮像装置１１１の後方かつ上方向から見た図である。図５において、撮像装置１１１の画角および撮像範囲が、画角１４３および撮像範囲１４４として模式的に示されている。
照明装置１１２は、画像処理装置１１３の制御の基に、撮像装置１１１のフレーム周期に同期して、図３に示される照明１４１を点灯した状態と、図４に示される照明を消灯した状態を交互に繰り返す。これにより、図６に示されるように、照明１４１により照射された顔１４２の画像１５２−１，１５２−３，・・・が、フレーム１５１−１，１５１−３，・・・において撮像され、照明が照射されない顔１４２の画像１５２−２，１５２−４，・・・が、フレーム１５１−２，１５１−４，・・・において撮像される。すなわち、照明１４１が照射された顔１４２と照明１４１が照射されない顔１４２が、１フレームごとに交互に撮像される。
なお、図３乃至図５では、撮像装置１１１と照明装置１１２が一体化されている例を示したが、撮像装置１１１と照明装置１１２が分離される構成にしてもよい。
また、照明装置１１２は、抽出する被写体の影が出ないようにするために、照明装置１１２の照明の光軸が撮像装置１１１の光軸と同軸となる位置であって、抽出対象被写体にできる限り近い位置に設置されることが望ましい。
図２の説明に戻り、画像処理装置１１３は、画像入力制御部１２１、画像記憶部１２２、差分処理部１２３、差分値分布検出部１２４、閾値決定部１２５、画像抽出部１２６、画像出力制御部１２７、タイミング制御部１２８、および、照明制御部１２９を含むように構成される。
画像入力制御部１２１は、撮像装置１１１から入力される画像データを画像記憶部１２２に記憶させる。
画像記憶部１２２は、RAM（Random Access Memory）などの揮発性のメモリ、または、EEPROM（Electrically Erasable and Programmable Read Only Memory）などの不揮発性のメモリにより構成され、画像入力制御部１２１を介して、撮像装置１１１から入力される画像データを記憶する。
差分処理部１２３は、照明装置１１２により照明が照射されているとき撮像された画像データ（以下、照明あり画像データとも称する）、および、照明装置１１２による照明が照射されていないとき撮像された画像データ（以下、照明なし画像データとも称する）を画像記憶部１２２から読み出す。差分処理部１２３は、照明あり画像データと照明なし画像データについて、同じ位置にある画素間の画素値の差分をとることにより差分データを生成する。差分処理部１２３は、生成した差分データを、差分値分布検出部１２４、画像抽出部１２６、および、画像出力制御部１２７に供給する。なお、以下、差分データの各画素の画素値を、差分値とも称する。
差分値分布検出部１２４は、図９を参照して後述するように、差分データの差分値の分布を検出する。差分値分布検出部１２４は、差分データの差分値の分布を示すデータを閾値決定部１２５に供給する。
閾値決定部１２５は、図９を参照して後述するように、差分データの差分値の分布に基づいて、照明装置１１２により照明が照射された被写体の画像の画素の差分値と、それ以外の画素値の差分値とを区分する閾値（以下、変動閾値と称する）を決定する。換言すれば、変動閾値は、照明装置１１２により照明が照射された被写体の画像の画素とそれ以外の画素とを区分する閾値である。閾値決定部１２５は、変動閾値示すデータを画像抽出部１２６に供給する。
画像抽出部１２６は、図９を参照して後述するように、照明なし画像データから抽出対象被写体の画像を抽出した画像データ（以下、選択画像データと称する）、および、照明なし画像データから抽出対象被写体の画像を消去した画像データ（以下、非選択画像データと称する）を生成する。画像抽出部１２６は、照明なし画像データ、選択画像データおよび非選択画像データを画像出力制御部１２７に供給する。
画像出力制御部１２７は、必要に応じて、照明あり画像データ、照明なし画像データ、差分データ、選択画像データ、または、非選択画像データを外部に出力する。
タイミング制御部１２８は、撮像装置１１１のフレーム周期と照明装置１１２の照明の点滅を同期させるための制御信号を、撮像装置１１１および照明制御部１２９に供給する。
照明制御部１２９は、タイミング制御部１２８から供給される制御信号に基づいて、撮像装置１１１のフレーム周期に同期するように照明装置１１２の照明の点滅間隔を制御する。
図７は、図２の撮像装置１１１の一実施の形態を示すブロック図である。撮像装置１１１は、レンズ１６１、および対数変換型撮像素子１６２を含むように構成される。対数変換型撮像素子１６２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１７１、対数変換部１７２、A/D変換部１７３、および撮像タイミング制御部１７４を含むように構成される。
撮像装置１１１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１６１に入射し、対数変換型撮像素子１６２の光検出部１７１の図示せぬ光検出面に結像する。
光検出部１７１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部１７１は、レンズ１６１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１７１は、撮像タイミング制御部１７４から供給される制御信号に同期して、蓄積した電荷を対数変換部１７２に供給する。
対数変換部１７２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１７２は、MOSFETのサブスレッショルド特性を利用して、光検出部１７１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１７２は、生成したアナログの電気信号をA/D変換部１７３に供給する。
A/D変換部１７３は、撮像タイミング制御部１７４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、24bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２24−１の範囲の値をとる。A/D変換部１７３は、変換したデジタルの画像データを画像処理装置１１３に供給する。
撮像タイミング制御部１７４は、画像処理装置１１３のタイミング制御部１２８から供給される制御信号に基づいて、光検出部１７１およびA/D変換部１７３の動作を制御する制御信号を供給する。
このように、撮像装置１１１は、光検出部１７１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。
図８は、対数変換型撮像素子１６２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線２０１は対数変換型撮像素子１６２の感度特性を示し、線２０２はCCD撮像素子の感度特性を示し、線２０３は銀塩フィルムの感度特性を示し、線２０４は人の目の感度特性を示している。なお、CCD撮像素子の感度特性を示す線２０２は図１の線１に対応し、人の目の感度特性を示す線２０４は図１の線２に対応する。
対数変換型撮像素子１６２は、上述したように、入射光量の対数にほぼ比例した画素値からなる画像データを出力することにより、対数変換型撮像素子１６２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。
従って、対数変換型撮像素子１６２を用いた撮像装置１１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１１１は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に撮像することができる。
例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、太陽と前方の道路の輝度の分布を忠実に再現した画像となる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像となる。
また、CCD撮像素子および銀塩フィルムでは、線２０２および線２０３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１６２では、感度特性が入射光の照度の対数にほぼ比例する。
このように、対数変換型撮像素子１６２を用いた撮像装置１１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１１１により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。
また、撮像装置１１１から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像データと２回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像データの画素値が入射光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。
また、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。
次に、図９のフローチャートを参照して、画像処理システム１０１の画像抽出処理を説明する。なお、この処理は、例えば、ユーザにより画像抽出処理の開始の指令が、画像処理装置１１３に入力されたとき開始される。
なお、以下、適宜、図１０および図１１に示される被写体を撮像した画像の画像データを処理する場合の例を挙げて説明する。図１０は、被写体をほぼ正面から見た様子を模式的に表した図であり、図１１は、図１０に示される被写体の位置関係を模式的に表した図である。
図１０および図１１に示される例において、人２２１は、撮像装置１１１と窓２２３の間であって、撮像装置１１１のほぼ正面に位置する。また、置物２２２は、人２２１と窓２２３の間であって、人２２１の右側に位置する。さらに、窓２２３の外には、山、空、および月が見えている。また、撮像装置１１１の画角は、領域２３１で示される範囲とする。領域２３１には、人２２１の首から上、置物２２２のほぼ上半分、および、窓２２３の一部が含まれる。
また、領域２３１内の被写体のうち、人２２１が抽出対象被写体とされ、照明装置１１２は、照明１４１を人２２１に照射するものとする。さらに、照明１４１は、人２２１以外の置物２２２および窓２２３にはほとんど届かないものとする。従って、照明１４１の点滅により、人２２１の輝度は大きく変動し、それ以外の被写体の輝度はほとんど変動しない。
ステップＳ１において、撮像装置１１１は、被写体の撮像を開始する。具体的には、撮像装置１１１は、タイミング制御部１２８から供給される制御信号に基づいて、被写体の撮像を開始し、撮像した画像の画像データを画像入力制御部１２１に出力する。画像入力制御部１２１は、取得した画像データを画像記憶部１２２に記憶させる。
ステップＳ２において、照明制御部１２９は、照明装置１１２の照明１４１の点滅を開始する。具体的には、照明制御部１２９は、タイミング制御部１２８から供給される制御信号に基づいて、撮像装置１１１のフレーム周期に同期して、照明１４１を点滅させるように照明装置１１２を制御する。これにより、撮像装置１１１から、照明あり画像データと照明なし画像データが交互に出力されるようになる。
なお、ステップＳ１の処理とステップＳ２の処理は、同時に開始するようにしてもよいし、順番を逆にするようにしてもよい。
ステップＳ３において、差分処理部１２３は、差分データを生成する。具体的には、差分処理部１２３は、連続する２フレーム分の画像データ、すなわち、連続する照明あり画像データと照明なし画像データを画像記憶部１２２から読み出す。差分処理部１２３は、読み出した画像データの同じ位置にある画素間の画素値の差分をとることにより差分データを生成する。差分処理部１２３は、生成した差分データを差分値分布検出部１２４および画像抽出部１２６に供給する。また、差分処理部１２３は、差分データの生成に用いた照明なし画像データを画像抽出部１２６に供給する。
図１２乃至図１５は、撮像装置１１１により領域２３１内の被写体を撮像した画像データの画素値の分布の例を示すヒストグラムである。図１２乃至図１５の横軸は、画素値を示しており、原点から遠ざかるほど（右方向に行くほど）、画素値が大きくなる（画素が明るくなる）。図１２乃至図１５の縦軸は、同じ画素値を持つ画素の数を示している。
図１２および図１４は、照明なし画像データの画素値の分布を示すヒストグラムであり、図１３および図１５は、照明あり画像データの画素値の分布を示すヒストグラムである。また、図１２および図１３は、周囲の明るさがほぼ同じ環境下で撮像された画像データの画素値の分布を示すヒストグラムであり、図１４および図１５は、周囲の明るさがほぼ同じ環境下、かつ、図１２および図１３の画像データよりも周囲が暗い環境下で撮像された画像データの画素値の分布を示すヒストグラムである。なお、以下、図１２および図１３に示される画像データが撮像された環境と、図１４および図１５に示される画像データが撮像された環境を区別するために、前者を周囲が明るい環境と表現し、後者を周囲が暗い環境と表現する。
図１２と図１３のヒストグラムを比較した場合、照明１４１が照射された人２２１の輝度が高くなり、人２２１の画像の画素の画素値が大きくなる（画素が明るくなる）分だけ、図１３のヒストグラムの方が、画素値が大きい（明るい）画素の数が増加する。
図１２と図１４のヒストグラムを比較した場合、周囲の明るさが明るい分、図１２のヒストグラムの方が、全体的に画素値が大きい（明るい）画素の数が多くなり、図１４のヒストグラムの方が、全体的に画素値が小さい（暗い）画素の数が多くなる。
図１３と図１５のヒストグラムを比較した場合、周囲の明るさが明るい分、図１３のヒストグラムの方が、全体的に画素値が大きい（明るい）画素の数が多くなり、図１５のヒストグラムの方が、全体的に画素値が小さい（暗い）画素の数が多くなる。
図１４と図１５のヒストグラムを比較した場合、照明１４１が照射された人２２１の輝度が高くなり、人２２１の画像の画素の画素値が大きくなる（画素が明るくなる）分だけ、図１５のヒストグラムの方が、画素値が大きい（明るい）画素の数が増加する。
図１６は、画素値の分布が図１３に示されるヒストグラムとなる画像データと、画素値の分布が図１２に示されるヒストグラムとなる画像データとの差分をとった差分データに基づく差分画像の例を模式的に示す図である。すなわち、図１６に示される差分画像は、周囲が明るい環境下で撮像された照明あり画像データと照明なし画像データとの差分をとった差分データに基づく差分画像である。
上述したように、撮像装置１１１から出力される画像データの画素値は、被写体の輝度の変動をほぼ忠実に反映するよう変動する。従って、図１６に示される差分画像では、照明あり画像データにおいて照明１４１が照射された被写体（人２２１）の画像の画素の差分値が絶対値は大きくなり、それ以外の被写体の画像の画素の差分値の絶対値は０かまたはそれに近い値となる。従って、差分画像において、照明１４１が照射された被写体（人２２１）と照射されなかった被写体の差が明確に現れる。
ステップＳ４において、差分値分布検出部１２４は、差分データの差分値の分布を検出する。具体的には、差分値分布検出部１２４は、差分値の絶対値の範囲を所定の数（例えば、１００）の階級に区分して、差分データ内の各画素の差分値の絶対値がどの階級に属するかを検出する。そして、各階級に属する画素の数（度数）を集計することにより、差分データの差分値の分布を検出する。すなわち、差分値の絶対値の度数分布を検出する。なお、例えば、階級の数が１００の場合、各階級には、含まれる差分値の絶対値が小さい階級から順に０から９９までの値（以下、階級識別値と称する）が割り当てられる。
図１７乃至図２０は、差分データの差分値の分布を示すグラフである。図１７乃至図２０の横軸は階級識別値を示し、縦軸は各階級に属する画素の数を示している。また、図１７乃至図２０において、縦軸方向の画素数が２５００を超える領域の表示を省略している。
図１７は、図１６に示される差分画像の差分データ、すなわち、画素値の分布が図１３に示されるヒストグラムとなる画像データと、画素値の分布が図１２に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が明るい環境で撮像された照明あり画像データと、周囲が明るい環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
図１８は、画素値の分布が図１３に示されるヒストグラムとなる画像データと、画素値の分布が図１４に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が明るい環境で撮像された照明あり画像データと、周囲が暗い環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
図１９は、画素値の分布が図１５に示されるヒストグラムとなる画像データと、画素値の分布が図１４に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が暗い環境で撮像された照明あり画像データと、周囲が暗い環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
図２０は、画素値の分布が図１５に示されるヒストグラムとなる画像データと、画素値の分布が図１２に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が暗い環境で撮像された照明あり画像データと、周囲が明るい環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
図１７乃至図２０において、階級識別値が０または０に近い階級に属する画素数、すなわち、差分値が０または０に近い値の画素の数が突出している。この画素数の突出したピークは、照明あり画像データにおいて照明１４１が照射されていない被写体の画像の画素数が反映されたものである。
そして、図１７乃至図２０を原点から階級識別値（差分値の絶対値）が大きくなる方向（右方向）に見た場合、画素数は急激に減少し、０に近い値でほぼ横ばいに推移した後、再び増加に転じ、領域３０１−１乃至３０１−４内に示されるように、１つのピークを生じる。この領域３０１−１乃至３０１−４内に示されるピークは、照明１４１が照射されることにより輝度が変動した被写体（人２２１）の画像の画素数が反映されたものである。
差分値分布検出部１２４は、差分データの差分値の分布を示すデータを閾値決定部１２５に供給する。
なお、差分データの差分値の分布を、差分値の絶対値の範囲を階級に区分せずに、差分値ごとに検出するようにしてもよい。
ステップＳ５において、閾値決定部１２５は、変動閾値を決定する。具体的には、まず、閾値決定部１２５は、差分データの差分値の分布に基づいて、画素数が所定の閾値（以下、画素数閾値と称する）以下となる階級のうち、階級識別値が最小値となる階級（以下、左境界階級と称する）を求める。なお、図１７乃至図２０のグラフにおいて、画素数閾値は、線３０５−１乃至３０５−４により示される。また、図１７乃至図２０のグラフにおいて、原点から右方向（差分値が大きくなる方向）に見て、差分値の分布の波形が線３０５−１乃至３０５−４と最初に交わる点３０２−１乃至３０２−４に対応する階級が、図１７乃至図２０に示される差分値の分布における左境界階級である。
次に、閾値決定部１２５は、階級識別値が左境界階級より大きい階級のうち、画素数が画素数閾値以上であり、かつ、階級識別値が最小となる階級（以下、右境界階級と称する）を求める。すなわち、図１７乃至図２０のグラフにおいて、原点から右方向（差分値が大きくなる方向）に見て、差分値の分布の波形が線３０５−１乃至３０５−４と２番目に交わる点３０３−１乃至３０３−４に対応する階級が、図１７乃至図２０に示される差分値の分布における右境界階級である。
そして、閾値決定部１２５は、左境界階級から右境界階級までの範囲に含まれる差分値の絶対値の中から変動閾値を決定する。例えば、閾値決定部１２５は、左境界階級の範囲に含まれる差分値の絶対値の最小値と右境界階級の範囲に含まれる差分値の絶対値の最大値の中間値を変動閾値とする。すなわち、図１７において、点３０２−１と点３０３−１の間の中点３０４−１に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされ、図１８において、点３０２−２と点３０３−２の間の中点３０４−２に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされ、図１９において、点３０２−３と点３０３−３の間の中点３０４−３に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされ、図２０において、点３０２−４と点３０３−４の間の中点３０４−４に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされる。
例えば、照明なし画像データを撮像したとき、照明あり画像データを撮像したときよりも周囲が明るい場合、照明１４１が照射された被写体の画像の画素値の変動値が小さくなり、照明１４１が照射されなかった被写体の画像の画素値の変動値が大きくなる。従って、図２０に示されるように、左境界階級（点３０２−４）と右境界階級（点３０３−４）との差が小さくなる。しかし、通常のフレーム速度（例えば、30fps（Frame per second））において、フレーム間の周囲の明るさの変動は小さいため、左境界階級と右境界階級との差を十分に保つことができ、変動閾値を確実に決定することができる。
このように、差分データの差分値の分布において、周囲の明るさの変動に関わらず、照明１４１が照射された被写体の画像の画素の差分値と、照明１４１が照射されていない被写体の画像の画素の差分値との差が明確に現れるため、変動閾値を簡単かつ確実に決定することができる。
なお、差分データの差分値の分布を、差分値の絶対値の範囲を所定の範囲の階級に区分せずに検出した場合、変動閾値は、差分値の分布において、差分値の絶対値が同じ画素の数が画素値閾値以下となる差分値の絶対値の最小値（以下、第１の最小値と称する）と、第１の最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が画素値閾値以上となる差分値の最小値との中間値となる。
また、差分値の分布の画素数の細かな変動（振動）による変動閾値の誤検出を防止するために、右境界階級を検出する差分値閾値を、左境界階級を検出する差分値閾値より所定の値だけ大きくするようにしてもよい。さらに、差分値の分布に基づいて（例えば、ヒストグラムの平均値などに基づいて）、差分値閾値を変動するようにしてもよい。
さらに、図１７乃至図２０のグラフを、原点から右方向ではなく、階級識別値の最大値から階級識別値（差分値の絶対値）が小さくなる方向（左方向）に見て、領域３０１−１乃至３０１−４内に示される画素数（度数）の分布の山（ピーク）を検出するようにしてもよい。そして、画素数の分布の山が線３０５−１乃至３０５−４と左側で交わる点３０３−１乃至３０３−４を検出し、次に差分値の分布の波形が線３０５−１乃至３０５−４と交わる点３０２−１乃至３０２−４を検出し、そして、中点３０４−１乃至３０４−４を検出するようにしてもよい。
閾値決定部１２５は、変動閾値を示すデータを画像抽出部１２６に供給する。
ステップＳ６において、画像抽出部１２６は、画像データを加工する。具体的には、画像抽出部１２６は、差分処理部１２３から供給された照明なし画像データについて、差分データにおいて差分値の絶対値が変動閾値未満である画素と同じ位置の画素の画素値を０にすることにより、図２２に示される選択画像データを生成する。これにより、照明１４１が照射されていない被写体の画像の画素値がほとんど０とされ、照明１４１が照射された被写体の画像、すなわち、人２２１の画像が、照明なし画像データから抽出される。
また、画像抽出部１２６は、差分処理部１２３から供給された照明なし画像データについて、差分データにおいて差分値の絶対値が変動閾値以上の画素と同じ位置の画素の画素値を０にすることにより、図２３に示される非選択画像データを生成する。これにより、照明１４１が照射された被写体の画像の画素値がほとんど０とされ、照明１４１が照射された被写体の画像、すなわち、人２２１の画像が、照明なし画像データから消去される。
画像抽出部１２６は、生成した選択画像データおよび非選択画像データと、選択画像データおよび非選択画像データの生成元である照明なし画像データを画像出力制御部１２７に供給する。
ステップＳ７において、画像出力制御部１２７は、画像データを出力し、画像抽出処理は終了する。具体的には、画像出力制御部１２７は、差分処理部１２３から供給された差分データ、または、画像抽出部１２６から供給された照明なし画像データ、選択画像データ、あるいは、非選択画像データを、必要に応じて外部に出力する。
以上のようにして、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、周囲の明るさが大きく変動する環境下においても、特定の被写体の画像を確実に抽出することができる。
また、簡単に、特定の被写体の画像を抽出した選択画像データ、および、特定の被写体の画像を消去した非選択画像データを生成することができ、生成した選択画像データおよび非選択画像データを画像処理システム１０１の後段に設けられる画像処理装置に供給することができる。選択画像データおよび非選択画像データは、例えば、ビットマップ形式、PNG（Portable Network Graphics）形式、JPEG（Joint Photographic Experts Group）形式、GIF（Graphic Interchange Format）形式などの形式の画像データとするようにすれば、画像処理システム１０１の後段に設けられる画像処理装置の構成を大きく変更する必要がない。
さらに、例えば、抽出したい被写体の背景をブルーバックにするなどの仕掛けをしなくても、特定の被写体の画像を抽出することができる。
また、入射光量を調整する必要がないため、画像抽出処理に要する時間を短縮することができる。
なお、照明装置１１２の照明の照度は、フレーム間における周囲の環境光の照度の変動値よりも十分大きくすることが望ましい。また、照明装置１１２の照明は、抽出対象被写体にほぼ一定の照度で照射されることが望ましい。さらに、照明装置１１２の照明の照度を、照明装置１１２と抽出対象被写体との間の距離、撮像装置１１１のフレーム周期、環境光の照度などに応じて、所望する照度の照明が抽出対象被写体に照射されるように変化させるようにしてもよい。
また、照明装置１１２の照明には、可視光以外にも、近赤外光または紫外光などを用いるようにしてもよい。例えば、抽出対象被写体が人である場合、近赤外光または紫外光などを用いることにより、抽出対象被写体である人に気づかれたり、違和感を与えたりすることなく、抽出対象被写体を撮像することができる。これは、例えば、画像処理システム１０１を監視装置に用いる場合などに有効である。
さらに、変動閾値を、照射する照明の照度に応じて変化させるようにしてもよい。また、照明を照射しないときの環境光の照度の変動値を検出して、検出した変動値に応じて、変動閾値を設定するようにしてもよい。これらにより、左境界階級と右境界階級の差を適切な大きさに調整することができ、画像の抽出精度が向上する。
また、例えば、変動閾値を変化させて画像抽出処理を行い、各変動閾値において生成された選択画像データまたは非選択画像データを見て、所望する結果が得られる変動閾値に設定できるようにしてもよい。これにより、使用する環境や条件、抽出する被写体などに合わせて、適切な変動閾値をユーザが設定することができる。
なお、本発明は、例えば、顔の画像を用いて個人を認証する顔認証装置に適用することができる。顔認証装置に適用する場合、確実に被写体の顔の画像を抽出することができるようになるので、認証精度が向上する。例えば、限られた人のみがエンジンをかけることができる車載用の顔認証装置に適用する場合、周囲の環境光の明るさが大きく変動する車内においても、確実に被写体の顔の画像を抽出することができ、認証精度が向上する。また、この場合、例えば、車のシートの位置により、被写体と照明装置の距離を検出することができ、その距離に応じて、変動閾値を変化させるようにすることも可能である。
また、本発明は、例えば、車の前方を監視する前方監視装置に適用することができる。この場合、例えば、車に装備されているLED（Light Emitting Diode）式のヘッドライトで照射された前方の被写体の画像を抽出するようにした場合、新たに照明装置を装備する必要がなく、また、ヘッドライトが照射された近距離の被写体の画像のみを抽出することができる。
さらに、本発明は、例えば、不審者の侵入を監視する監視装置に適用することができる。この場合、例えば、照明装置の照明を近赤外光とすることにより、不審者に気づかれずに、確実に不審者の顔を抽出した画像を取得することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
図２３は、汎用のパーソナルコンピュータ９００の内部の構成例を示す図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記録部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。
入出力インタフェース９０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部９０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部９０７、ハードディスクなどで構成される記録部９０８、およびモデムやターミナルアダプタなどで構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介して通信処理を行う。
入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア９２１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部９０８にインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM９０３または記録部９０８に含まれるハードディスクなどで構成される。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
CCD撮像素子などの感度特性を示すグラフである。 本発明の画像処理システムの一実施の形態を示すブロック図である。 図２の照明装置により照射される照明の例を説明する図である。 図２の照明装置により照射される照明の例を説明する図である。 図２の照明装置により照射される照明の例を説明する図である。 図２の撮像装置により撮像されるフレームの例を示す図である。 図２の撮像装置の一実施の形態を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 図２の画像処理システムにより実行される画像抽出処理を説明するフローチャートである。 被写体の例を示す模式図である。 図１０の被写体の位置関係を示す模式図である。 画像データの画素値の分布の例を示すヒストグラムである。 画像データの画素値の分布の例を示すヒストグラムである。 画像データの画素値の分布の例を示すヒストグラムである。 画像データの画素値の分布の例を示すヒストグラムである。 差分画像の例を模式的に示す図である。 差分データの差分値の分布の例を示すグラフである。 差分データの差分値の分布の例を示すグラフである。 差分データの差分値の分布の例を示すグラフである。 差分データの差分値の分布の例を示すグラフである。 差分データの差分値の分布の例を示すグラフである。 選択画像データの例を示す図である。 非選択画像データの例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０１ 画像処理システム
１１１ 撮像装置
１１２ 照明装置
１１３ 画像処理装置
１２１ 画像入力制御部
１２２ 画像記憶部
１２３ 差分処理部
１２４ 差分値分布検出部
１２５ 閾値決定部
１２６ 画像抽出部
１２７ 画像出力制御部
１２８ タイミング制御部
１２９ 照明制御部
１６２ 対数変換型撮像素子
１７１ 光検出部
１７２ 対数変換部
９０１ CPU
９０２ ROM
９０３ RAM
９０８ 記録部
９１０ ドライブ
９２１ リムーバブルメディア

Claims (10)

  1. 入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置と、
    前記撮像装置から出力された前記画像データであって、所定の被写体に照明が照射されているとき撮像された前記画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された前記画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、
    前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する閾値を決定する閾値決定手段と、
    前記閾値に基づいて、前記画像データから、前記被写体の画像を抽出する抽出手段と
    を含むことを特徴とする画像処理システム。
  2. 前記被写体に前記照明を照射するとともに、前記撮像装置のフレーム周期に同期して、前記照明を点滅する照明装置を
    さらに含むことを特徴とする請求項１に記載の画像処理システム。
  3. 入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、
    前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定手段と、
    前記第１の閾値に基づいて、前記画像データから、前記被写体の画像の画像データを抽出する抽出手段と
    を含むことを特徴とする画像処理装置。
  4. 前記閾値決定手段は、前記差分データにおいて、差分値の絶対値が同じ画素の数が所定の第２の閾値以下となる差分値の絶対値の最小値と、前記最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が前記第２の閾値以上となる差分値の絶対値の最小値の間の差分値の絶対値を前記第１の閾値に決定する
    ことを特徴とする請求項３に記載の画像処理装置。
  5. 前記画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力される
    ことを特徴とする請求項３または４に記載の画像処理装置。
  6. 前記撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））である
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 前記照明は近赤外光による照明である
    ことを特徴とする請求項３乃至６に記載の画像処理装置。
  8. 入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、
    前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定ステップと、
    前記第１の閾値に基づいて、前記画像データから、前記被写体の画像の画像データを抽出する抽出ステップと
    を含むことを特徴とする画像処理方法。
  9. 入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、
    前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定ステップと、
    前記第１の閾値に基づいて、前記画像データから、前記被写体の画像を抽出する抽出ステップと
    を含むことを特徴とするプログラム。
  10. 請求項９に記載のプログラムを記録した記録媒体。
JP2005072797A 2005-03-15 2005-03-15 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4678487B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005072797A JP4678487B2 (ja) 2005-03-15 2005-03-15 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005072797A JP4678487B2 (ja) 2005-03-15 2005-03-15 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006259829A true JP2006259829A (ja) 2006-09-28
JP4678487B2 JP4678487B2 (ja) 2011-04-27

Family

ID=37099058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005072797A Expired - Fee Related JP4678487B2 (ja) 2005-03-15 2005-03-15 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4678487B2 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008062544A1 (fr) * 2006-11-21 2008-05-29 Hitachi, Ltd. Dispositif d'authentification biométrique et terminal portable
JP2008199303A (ja) * 2007-02-13 2008-08-28 Matsushita Electric Works Ltd 画像処理装置
JP2010050757A (ja) * 2008-08-21 2010-03-04 Kwansei Gakuin 情報提供方法及び情報提供システム
US8076633B2 (en) 2007-05-07 2011-12-13 Fujitsu Limited Night vision apparatus
JP2015510169A (ja) * 2012-01-17 2015-04-02 リープ モーション, インコーポレーテッドLeap Motion, Inc. 物体検出のためのコントラストの改善及び光学画像化による特徴評価
WO2015068404A1 (ja) * 2013-11-11 2015-05-14 日本電気株式会社 Ｐｏｓ端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9436998B2 (en) 2012-01-17 2016-09-06 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9495613B2 (en) 2012-01-17 2016-11-15 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging using formed difference images
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10585193B2 (en) 2013-03-15 2020-03-10 Ultrahaptics IP Two Limited Determining positional information of an object in space
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11099653B2 (en) 2013-04-26 2021-08-24 Ultrahaptics IP Two Limited Machine responsiveness to dynamic user movements and gestures
US11353962B2 (en) 2013-01-15 2022-06-07 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US11740705B2 (en) 2013-01-15 2023-08-29 Ultrahaptics IP Two Limited Method and system for controlling a machine according to a characteristic of a control object
US11775033B2 (en) 2013-10-03 2023-10-03 Ultrahaptics IP Two Limited Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11994377B2 (en) 2012-01-17 2024-05-28 Ultrahaptics IP Two Limited Systems and methods of locating a control object appendage in three dimensional (3D) space

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320035A (ja) * 1994-05-30 1995-12-08 Oki Electric Ind Co Ltd 動体像抽出方法
JP2001174689A (ja) * 1999-12-16 2001-06-29 Olympus Optical Co Ltd 測距装置
JP2002133400A (ja) * 2000-10-24 2002-05-10 Oki Electric Ind Co Ltd 対象物体抽出画像処理装置
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320035A (ja) * 1994-05-30 1995-12-08 Oki Electric Ind Co Ltd 動体像抽出方法
JP2001174689A (ja) * 1999-12-16 2001-06-29 Olympus Optical Co Ltd 測距装置
JP2002133400A (ja) * 2000-10-24 2002-05-10 Oki Electric Ind Co Ltd 対象物体抽出画像処理装置
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008062544A1 (fr) * 2006-11-21 2008-05-29 Hitachi, Ltd. Dispositif d'authentification biométrique et terminal portable
JPWO2008062544A1 (ja) * 2006-11-21 2010-03-04 株式会社日立製作所 生体認証装置及び携帯端末装置
JP4700109B2 (ja) * 2006-11-21 2011-06-15 株式会社日立製作所 生体認証装置及び携帯端末装置
US8280118B2 (en) 2006-11-21 2012-10-02 Hitachi, Ltd. Biometrics authentication device and portable terminal
JP2008199303A (ja) * 2007-02-13 2008-08-28 Matsushita Electric Works Ltd 画像処理装置
US8076633B2 (en) 2007-05-07 2011-12-13 Fujitsu Limited Night vision apparatus
JP2010050757A (ja) * 2008-08-21 2010-03-04 Kwansei Gakuin 情報提供方法及び情報提供システム
US9778752B2 (en) 2012-01-17 2017-10-03 Leap Motion, Inc. Systems and methods for machine control
US10410411B2 (en) 2012-01-17 2019-09-10 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US11994377B2 (en) 2012-01-17 2024-05-28 Ultrahaptics IP Two Limited Systems and methods of locating a control object appendage in three dimensional (3D) space
US9436998B2 (en) 2012-01-17 2016-09-06 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
US11782516B2 (en) 2012-01-17 2023-10-10 Ultrahaptics IP Two Limited Differentiating a detected object from a background using a gaussian brightness falloff pattern
JP2016186793A (ja) * 2012-01-17 2016-10-27 リープ モーション, インコーポレーテッドLeap Motion, Inc. 物体検出のためのコントラストの改善及び光学画像化による特徴評価
US9495613B2 (en) 2012-01-17 2016-11-15 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging using formed difference images
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US11308711B2 (en) 2012-01-17 2022-04-19 Ultrahaptics IP Two Limited Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US10699155B2 (en) 2012-01-17 2020-06-30 Ultrahaptics IP Two Limited Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9626591B2 (en) 2012-01-17 2017-04-18 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9652668B2 (en) 2012-01-17 2017-05-16 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9672441B2 (en) 2012-01-17 2017-06-06 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9697643B2 (en) 2012-01-17 2017-07-04 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US9741136B2 (en) 2012-01-17 2017-08-22 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US9767345B2 (en) 2012-01-17 2017-09-19 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
JP2015510169A (ja) * 2012-01-17 2015-04-02 リープ モーション, インコーポレーテッドLeap Motion, Inc. 物体検出のためのコントラストの改善及び光学画像化による特徴評価
US9934580B2 (en) 2012-01-17 2018-04-03 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US10366308B2 (en) 2012-01-17 2019-07-30 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US10565784B2 (en) 2012-01-17 2020-02-18 Ultrahaptics IP Two Limited Systems and methods for authenticating a user according to a hand of the user moving in a three-dimensional (3D) space
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US10097754B2 (en) 2013-01-08 2018-10-09 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US11353962B2 (en) 2013-01-15 2022-06-07 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US11740705B2 (en) 2013-01-15 2023-08-29 Ultrahaptics IP Two Limited Method and system for controlling a machine according to a characteristic of a control object
US11874970B2 (en) 2013-01-15 2024-01-16 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US10585193B2 (en) 2013-03-15 2020-03-10 Ultrahaptics IP Two Limited Determining positional information of an object in space
US11693115B2 (en) 2013-03-15 2023-07-04 Ultrahaptics IP Two Limited Determining positional information of an object in space
US11099653B2 (en) 2013-04-26 2021-08-24 Ultrahaptics IP Two Limited Machine responsiveness to dynamic user movements and gestures
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11461966B1 (en) 2013-08-29 2022-10-04 Ultrahaptics IP Two Limited Determining spans and span lengths of a control object in a free space gesture control environment
US11282273B2 (en) 2013-08-29 2022-03-22 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11776208B2 (en) 2013-08-29 2023-10-03 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11775033B2 (en) 2013-10-03 2023-10-03 Ultrahaptics IP Two Limited Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JPWO2015068404A1 (ja) * 2013-11-11 2017-03-09 日本電気株式会社 Ｐｏｓ端末装置、商品認識方法及びプログラム
US10423946B2 (en) 2013-11-11 2019-09-24 Nec Corporation POS terminal device, commodity recognition method, and non-transitory computer readable medium storing program
WO2015068404A1 (ja) * 2013-11-11 2015-05-14 日本電気株式会社 Ｐｏｓ端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing

Also Published As

Publication number Publication date
JP4678487B2 (ja) 2011-04-27

Similar Documents

Publication Publication Date Title
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
CN110062160B (zh) 图像处理方法和装置
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US20090051794A1 (en) Image processing apparatus, image processing method, image processing system, program and recording medium
CN109068067B (zh) 曝光控制方法、装置和电子设备
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
CN110290289B (zh) 图像降噪方法、装置、电子设备以及存储介质
JP2006259900A (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JPWO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US8576331B2 (en) Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
US8755600B2 (en) Method and apparatus for determining the light direction
US20150093032A1 (en) Image processing apparatus and method, and program
WO2015199969A2 (en) Exposure metering based on background pixels
JP6045896B2 (ja) 評価値算出装置および評価値算出方法
JP4635663B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2020071809A (ja) 画像処理装置および画像処理方法
JP2007251558A (ja) 画像処理装置および画像処理方法、並びにプログラム
KR102188163B1 (ko) 저조도 영상의 전처리 시스템 및 그 방법
JP4636314B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN101142811A (zh) 图像处理装置和图像处理方法、程序以及记录介质
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP2012074963A (ja) 画像処理装置、撮像装置、画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110119

R150 Certificate of patent or registration of utility model

Ref document number: 4678487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees