JP2008090412A - 画像生成装置、画像生成方法および画像生成プログラム - Google Patents

画像生成装置、画像生成方法および画像生成プログラム Download PDF

Info

Publication number
JP2008090412A
JP2008090412A JP2006268009A JP2006268009A JP2008090412A JP 2008090412 A JP2008090412 A JP 2008090412A JP 2006268009 A JP2006268009 A JP 2006268009A JP 2006268009 A JP2006268009 A JP 2006268009A JP 2008090412 A JP2008090412 A JP 2008090412A
Authority
JP
Japan
Prior art keywords
illumination
image
unit
external light
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006268009A
Other languages
English (en)
Other versions
JP4747065B2 (ja
Inventor
Takahiro Aoki
隆浩 青木
Soichi Hama
壮一 浜
Mitsuaki Fukuda
充昭 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006268009A priority Critical patent/JP4747065B2/ja
Priority to US11/699,412 priority patent/US7852379B2/en
Publication of JP2008090412A publication Critical patent/JP2008090412A/ja
Application granted granted Critical
Publication of JP4747065B2 publication Critical patent/JP4747065B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

【課題】外光が強い場合であっても、照明光のみの正しい輝度値を持つ画像を簡易に生成することを課題とする。
【解決手段】所定の露光時間を例えば三等分した露光時間を用いて照明部および撮像部によって照明点灯画像３ａ〜３ｃおよび照明消灯画像４ａ〜４ｃを取得し、照明点灯画像３ａ〜３ｃ内の各画素における輝度値から照明消灯画像４ａ〜４ｃ内の各画素における輝度値を差し引くことで、照明画像５ａ〜５ｃを生成し、照明画像５ａ〜５ｃを積算することで積算画像６ａを生成する。こうすることで、積算画像６ａ内の輝度値は、輝度値６ｂのように照明部の照明のみを用いて所定の露光時間で撮像した場合に取得される画像の輝度値と同じ値になる。
【選択図】 図２

Description

この発明は、画像生成装置、画像生成方法および画像生成プログラムに関する。
従来、外光がある環境において被写体を照明して撮像するような場合であっても、外光を除去した画像を生成する研究がなされている。例えば特許文献１や特許文献２では、外光がある環境において、照明を消灯して被写体を撮像した照明Ｏｆｆ画像と、照明を点灯して被写体を撮像した照明Ｏｎ画像とを取得し、照明Ｏｎ画像の各点ごとの輝度値から、照明Ｏｆｆ画像の各点ごとの輝度値を減算することによって外光を除去した画像を生成する手法が開示されている。
図１９を用いて上記した手法を具体的に説明すると、画像処理装置は、照明Ｏｎ画像１ａの点１ｂの輝度値１ｃから照明Ｏｆｆ画像２ａの点２ｂの輝度値２ｃを減算し、輝度値３ｂを持つ画像３ａを生成する。画像処理装置は、この処理を各点ごとに行うことによって外光を除去した画像を生成する。なお、この手法を撮像装置内においてハードレベルで実施する光変調方式も従来の技術として知られている。
特開２００２−１００３０号公報 特開２００３−１８７２３０号公報
ところで、上記した従来の技術は、外光が強い場合には、照明光のみの正しい輝度値を持つ画像を生成することができないという問題点があった。つまり、画像が持つ輝度値には上限があり、外光が強くその上限を超えた点は全て一定の上限値になってしまい、画像処理装置は、本来の輝度値からではなく、上限値から外光の輝度値を差し引くので、ある点によっては照明光の輝度値が削られ照明光のみの正しい輝度値を持つ画像を生成することができないという問題点があった。
図２０を用いて上記した現象を具体的に説明すると、外光が強い場合には、画像処理装置は、例えば、照明Ｏｎ画像１ａの点１ｂの本来の輝度値１ｄからではなく、上限値１ｅから照明Ｏｆｆ画像２ａの点２ｂの輝度値２ｄを減算するので、正しい輝度値ではない輝度値４ｂを持つ画像４ａを生成する。なお、もう一つの従来技術である光変調方式については、撮像装置の構造が複雑になり高いコストがかかるという問題点もあった。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、外光が強い場合であっても照明光のみの正しい輝度値を持つ画像を簡易に生成することが可能な画像生成装置、画像生成方法および画像生成プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、外光と照明部の照明光とに照射された被写体の照明点灯画像、並びに、前記外光のみに照射された前記被写体の照明消灯画像を撮像部によって取得し、前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ照明画像を生成する画像生成装置であって、所定の露光時間を複数の分割露光時間に分割し、前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して前記照明点灯画像および前記照明消灯画像を取得するように前記照明部と前記撮像部とを制御する撮像制御手段と、前記撮像制御手段による制御によって前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して取得された前記照明点灯画像の輝度値から前記照明消灯画像の輝度値を差し引くことで当該分割露光時間ごとに前記照明画像を生成する照明画像生成手段と、前記照明画像生成手段によって生成された複数の前記照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成する積算画像生成手段と、を備えたことを特徴とする。
また、請求項２に係る発明は、上記の発明において、前記撮像制御手段は、前記外光の強度である外光強度に基づいて前記所定の露光時間の分割数を決定することを特徴とする。
また、請求項３に係る発明は、上記の発明において、前記所定の露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された前記被写体の外光画像を取得するように前記照明部と前記撮像部とを制御し、取得した前記外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と前記所定の分割数とを乗算した値を外光強度として算出する外光強度算出手段をさらに備え、前記撮像制御手段は、前記外光強度算出手段によって算出された前記外光強度と、前記照明部の照明光のみで前記被写体を照射して前記所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする。
また、請求項４に係る発明は、上記の発明において、前記撮像制御手段は、前記最小の分割数が前記所定の分割数と同じであった場合には、前記外光強度算出手段が取得した前記外光画像を前記照明消灯画像に転用しつつ、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする。
また、請求項５に係る発明は、上記の発明において、前記外光を受光することで前記外光強度を測定する外光強度測定手段をさらに備え、前記撮像制御手段は、前記外光強度測定手段によって測定された外光強度に基づいて前記所定の露光時間の分割数を決定することを特徴とする。
また、請求項６に係る発明は、上記の発明において、前記外光強度に対応付けて、前記露光時間の分割数を記憶する分割数記憶手段をさらに備え、前記撮像制御手段は、前記外光強度測定手段によって測定された外光強度に対応付けられた露光時間の分割数を前記分割数記憶手段から読み出し、当該分割数に等分割した露光時間で、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする。
また、請求項７に係る発明は、上記の発明において、前記積算画像生成手段は、前記照明画像生成手段によって生成された複数の前記照明画像を積算し、所定の輝度値の前記積算画像を生成することを特徴とする。
また、請求項８に係る発明は、上記の発明において、前記照明部は、異なる複数の波長の照明光を照射するものであって、前記外光強度算出手段は、前記波長のうち撮像の際に必要とする最適な露光時間である最適露光時間が最長である波長の前記最適露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された前記被写体の外光画像を取得するように前記照明部と前記撮像部とを制御し、取得した前記外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と前記所定の分割数とを乗算した値を外光強度として算出し、前記撮像制御手段は、前記外光強度算出手段によって算出された前記外光強度と、前記最適露光時間が最長である波長の照明光で前記被写体を照射して前記所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、前記異なる複数の波長の照明光ごとに前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御し、前記照明画像生成手段は、前記撮像制御手段による制御によって取得された各波長の照明光による前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで前記異なる複数の波長ごとに前記照明画像を生成し、前記積算画像生成手段は、前記照明画像生成手段によって生成された各波長の前記照明画像をそれぞれ積算し、照明光のみの輝度値が積算された積算画像を波長ごとに生成することを特徴とする。
請求項１の発明によれば、所定の露光時間を複数の分割露光時間に分割し、前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して照明点灯画像および照明消灯画像を取得するように照明部と撮像部とを制御し、分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して取得された照明点灯画像の輝度値から照明消灯画像の輝度値を差し引くことで分割露光時間ごとに照明画像を生成し、生成された複数の照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成するので、外光が強い場合であっても、照明光のみの正しい輝度値を持つ画像を簡易に生成することが可能となる。
また、請求項２の発明によれば、外光強度に基づいて所定の露光時間の分割数を決定するので、外光の変化に柔軟に適応して、例えば、外光が著しく強い時には、外光が少々強い時よりも露光時間の分割数を多くするなどして、照明光のみの正しい輝度値を持つ画像を簡易に生成することが可能となる。
また、請求項３の発明によれば、所定の露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された被写体の外光画像を取得するように照明部と撮像部とを制御し、取得した外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出し、算出された外光強度と、照明部の照明光のみで被写体を照射して所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御するので、外光の強度を外光から直接測定する手法に比較して、外光の強度を測定する機器を新たに加えることがない分、照明光のみの正しい輝度値を持つ画像の生成を簡易に実現することが可能となる。また、所定の露光時間を異なる複数の露光時間に分割する手法に比較して、所定の露光時間を等分割するという簡易な処理により、処理速度を速くすることが可能となる。さらに、最小の分割数で画像を取得するので、撮影に伴うノイズが入り込む可能性を低減することが可能となると共に、処理速度を速くすることが可能となる。
また、請求項４の発明によれば、最小の分割数が所定の分割数と同じであった場合には、取得した外光画像を照明消灯画像に転用しつつ、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御するので、外光画像を照明消灯画像に転用した分だけ撮像時間を短縮することが可能となる。
また、請求項５の発明によれば、外光を受光することで外光強度を測定し、測定された外光強度に基づいて所定の露光時間の分割数を決定するので、照明消灯画像を取得して外光強度を算出する手法に比較して、外光強度を算出する計算過程がない分、処理速度を速くすることが可能となる。
また、請求項６の発明によれば、外光強度に対応付けて、露光時間の分割数を記憶し、測定された外光強度に対応付けられた露光時間の分割数に等分割した露光時間で、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御するので、条件式で分割数を決定する手法に比較して、分割数を算出する計算過程がない分、処理速度を速くすることが可能となる。
また、請求項７の発明によれば、生成される複数の照明画像を積算していき所定の輝度値の積算画像を生成するので、積算画像が設定した輝度値に達した時点で画像の生成や積算を終了することができ処理速度を速くすることが可能となる。
また、請求項８の発明によれば、照明部は、異なる複数の波長の照明光を照射するものであって、波長のうち撮像の際に必要とする最適な露光時間である最適露光時間が最長である波長の最適露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された被写体の外光画像を取得するように照明部と撮像部とを制御し、取得した外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出し、算出された外光強度と、最適露光時間が最長である波長の照明光で被写体を照射して所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、異なる複数の波長の照明光ごとに照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御し、取得された各波長の照明光による照明点灯画像から照明消灯画像の輝度値を差し引くことで異なる複数の波長ごとに照明画像を生成し、生成された各波長の照明画像をそれぞれ積算し、照明光のみの輝度値が積算された積算画像を波長ごとに生成するので、外光が強い場合であっても、照明光の波長の長さにかかわらず照明光のみの正しい輝度値を持つ波長ごとの画像を簡易に生成することが可能となる。
以下に添付図面を参照して、この発明に係る画像生成装置、画像生成方法および画像生成プログラムの実施例を詳細に説明する。なお、以下では、実施例で用いる主要な用語、実施例１に係る画像生成装置の概要および特徴、画像生成装置の構成および処理の流れを順に説明し、次に他の実施例について説明する。
［用語の説明］
最初に、以下の実施例で用いる主要な用語を説明する。実施例で用いる「輝度値」とは、撮像部によって取得された画像において各画素が持つ階調値のことであり、具体的には、撮像部内の撮像素子が受光することによって得られる電圧値の下限値から上限値までを所定の階調数で分割した際に定める段階のことである。例えば、電圧値の下限値をゼロ、上限値を適当な電圧値にとり、階調数「２５６」（階調値「０」である黒から階調値「２５５」である白への２５６段階のグラデーション）に設定した場合には、電圧が上限値以上の画素では全て階調値「２５５」である白に置き換えられる（白トビ）。
また、「所定の露光時間」とは、ある目的に対する処理に画像を用いるとして、撮像部によって、外光の影響がない環境で照明光による反射光のみでその画像を取得するときに、撮像部が持つ撮像素子に光が当たった瞬間から画像に対して上記の処理に必要な輝度値が十分に蓄積されるまでの標準的な時間である。例えば、生体認証の一つである顔認証における照合処理に顔画像を用いるとして、照明部で人物を照明し、撮像部によって外光の影響がない環境で照明部の照明光による反射光のみでその人物の顔画像を取得するときに、撮像装置が持つ撮像素子に光が当たった瞬間から顔画像に対して照合処理に必要な輝度値が蓄積されるまでの標準的な時間である。
［画像生成装置の概要および特徴］
次に、図１や図２を用いて、実施例１に係る画像生成装置の概要および特徴を説明する。図１は、画像生成装置の概観を説明するための図であり、図２は、画像生成装置の概要と特徴を説明するための図である。
図１に示すように、実施例１に係る画像生成装置４０は、所定の位置に設置され、センサ１０と、照明部２０と、撮像部３０とに接続される。センサ１０、照明部２０および撮像部３０は、入り口上端に固定され、センサ１０は、被写体７が領域８内へ進入したことを検知し、照明部２０および撮像部３０は、領域８内へ進入した被写体７の顔を適切な距離および角度から照明あるいは撮像する。
画像生成装置４０の概要は、外光と照明部２０の照明光とに照射された被写体７の照明点灯画像、並びに、外光のみに照射された被写体７の照明消灯画像を撮像部３０によって取得し、照明点灯画像から照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ画像を生成するというものであり、外光が強い場合であっても、照明光のみの正しい輝度値を持つ画像を簡易に生成することができるという点に主たる特徴がある。
この主たる特徴について説明すると、画像生成装置４０は、所定の露光時間を複数の分割露光時間に分割し、分割露光時間ごとに照明点灯画像および照明消灯画像を取得するように照明部２０と撮像部３０とを制御する。
例えば、画像生成装置４０は、図２のＡに示すように、所定の露光時間を三等分した露光時間を用いて、三枚（露光時間の分割数）ずつ照明点灯画像３ａ〜３ｃおよび照明消灯画像４ａ〜４ｃを取得するように照明部２０および撮像部３０を制御する。ここで、照明点灯画像３ａ〜３ｃ内のある画素における輝度値は、それぞれ輝度値３ｄ〜３ｆのように照明光と外光を合わせたものとなっており、照明消灯画像４ａ〜４ｃ内の上記したある画素と同位置の画素における輝度値は、それぞれ輝度値４ｄ〜４ｆのように外光のみのものとなる。
次に、画像生成装置４０は、上記のようにして分割露光時間ごとに取得した照明点灯画像の輝度値から照明消灯画像の輝度値を差し引くことで照明画像を生成する。
例えば、画像生成装置４０は、図２のＢに示すように、照明点灯画像３ａ〜３ｃ内の各画素における輝度値から照明消灯画像４ａ〜４ｃ内の各画素における輝度値を差し引くことで、照明画像５ａ〜５ｃを生成する。ここで、照明画像５ａ〜５ｃ内の上記したある画素と同位置の画素における輝度値は、それぞれ輝度値５ｄ〜５ｆのように外光成分が除去されたものとなる。
最後に、画像生成装置４０は、生成した複数の照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成する。
例えば、画像生成装置４０は、図２のＣに示すように、照明画像５ａ〜５ｃを全て積算することで積算画像６ａを生成する。こうすることで、積算画像６ａ内の上記したある画素と同位置の画素における輝度値は、輝度値６ｂのように照明部２０の照明のみを用いて所定の露光時間で撮像した場合に取得される画像の輝度値と同じ値になる。
このようにして、実施例１に係る画像生成装置４０は、上記した主たる特徴のとおり、外光が強い場合であっても、照明光のみの正しい輝度値を持つ画像を簡易に生成することが可能となる。
［画像生成装置の構成］
次に、図３を用いて、図１に示した画像生成装置４０の構成を説明する。図３は、画像生成装置４０の構成を示すブロック図である。同図に示すように、この画像生成装置４０は、センサ１０と、照明部２０と、撮像部３０とに接続され、制御部５０と、記憶部６０とから構成される。
センサ１０は、被写体７の進入を検知することで画像生成装置４０の処理の開始の要因を生む。具体的には、センサ１０は、赤外線などを一定方向に常時照射し、被写体によって反射された赤外線の反射光を受け取ると、撮像の開始を指示する信号を画像生成装置４０に出力する。
照明部２０は、撮像制御部５１に制御されつつ被写体に対して照明光を照射する。具体的には、照明部２０は、現場において被写体を一様に照明できる位置に固定され、後述する撮像制御部５１に制御されることで照明の点灯、消灯を行う。
撮像部３０は、撮像制御部５１に制御されつつ被写体を撮像し、被写体の顔画像を取得する。具体的には、撮像部３０は、現場において被写体の顔がフレーム内の中心に位置するように撮像できる位置に固定され、照明部２０と同様、後述する撮像制御部５１に制御されつつ被写体を撮像して照明点灯画像および照明消灯画像を取得し、取得した画像のうち照明点灯画像については後述する照明点灯画像記憶部６１に出力し、照明消灯画像については後述する照明消灯画像記憶部６２に出力する。
記憶部６０は、制御部５０による各種処理に必要なデータおよびプログラムを記憶し、特に本発明に密接に関連するものとしては、図３に示すように、照明点灯画像記憶部６１と、照明消灯画像記憶部６２と、照明画像記憶部６３と、積算画像記憶部６４とを備え、照明点灯画像記憶部６１および照明消灯画像記憶部６２は、撮像部３０に接続される。
制御部５０は、照明部２０および撮像部３０を制御することによって取得した画像に基づいて各処理を実行し、特に本発明に密接に関連するものとしては、図３に示すように、撮像制御部５１と、照明画像生成部５２と、照明画像積算部５３とを備える。なお、撮像制御部５１は、特許請求の範囲に記載の「撮像制御手段」に対応し、照明画像生成部５２は、同じく「照明画像生成手段」に対応し、照明画像積算部５３は、同じく「積算画像生成手段」に対応する。
撮像制御部５１は、所定の露光時間を複数の分割露光時間に分割し、分割露光時間ごとに照明点灯画像および照明消灯画像を取得するように照明部２０と撮像部３０とを制御する。具体的には、撮像制御部５１は、センサ１０から撮像の開始を指示する信号を受け取ると、所定の露光時間をデフォルトで設定された分割数で等分割した露光時間を用いて分割数と同じ枚数分ずつ照明点灯画像および照明消灯画像を取得するように照明部２０と撮像部３０とを制御する。
例えば、撮像制御部５１は、デフォルトで設定された分割数が「３」である場合には、図２のＡに示すように、所定の露光時間を三等分した露光時間で三枚ずつ照明点灯画像３ａ〜３ｃおよび照明消灯画像４ａ〜４ｃを取得するように照明部２０と撮像部３０とを制御する。なお、撮像部３０によって取得された照明点灯画像３ａ〜３ｃについては後述する照明点灯画像記憶部６１に格納され、照明消灯画像４ａ〜４ｃについては後述する照明消灯画像記憶部６２に格納される。
照明点灯画像記憶部６１は、上述した撮像部３０によって取得された照明点灯画像を記憶する。具体的には、照明点灯画像記憶部６１は、撮像部３０から照明点灯画像を逐次受け取り、時系列でそれらを管理する。
照明消灯画像記憶部６２は、上述した撮像部３０によって取得された照明消灯画像を記憶する。具体的には、照明消灯画像記憶部６２は、照明点灯画像記憶部６１と同様、撮像部３０から照明消灯画像を逐次受け取り、時系列でそれらを管理する。
照明画像生成部５２は、撮像制御部５１による制御によって分割露光時間ごとに取得された照明点灯画像の輝度値から照明消灯画像の輝度値を差し引くことで照明画像を生成する。具体的には、照明画像生成部５２は、照明点灯画像記憶部６１および照明消灯画像記憶部６２に画像が分割数だけ格納されると、照明点灯画像記憶部６１から照明点灯画像を、照明消灯画像記憶部６２から照明消灯画像を一枚ずつ読み出し、照明点灯画像の輝度値から照明消灯画像の輝度値を差し引くことで照明画像を生成し、生成した照明画像を後述する照明画像記憶部６３に出力する。
例えば、照明画像生成部５２は、図２のＢに示すように、照明点灯画像記憶部６１に照明点灯画像３ａ〜３ｃが逐次格納され、照明消灯画像記憶部６２に照明消灯画像４ａ〜４ｃが逐次格納される場合には、照明点灯画像記憶部６１から照明点灯画像３ａを、照明消灯画像記憶部６２から照明消灯画像４ａを読み出し、照明点灯画像３ａの輝度値から照明消灯画像４ａの輝度値を差し引いて照明画像５ａを生成し、生成した照明画像５ａを照明画像記憶部６３に出力する。なお、照明点灯画像３ｂ〜３ｃおよび照明消灯画像４ｂ〜４ｃについても同様の処理がなされる。
照明画像記憶部６３は、上述した照明画像生成部５２によって生成された照明画像を記憶する。具体的には、照明画像記憶部６３は、照明画像生成部５２から照明画像を逐次受け取り、時系列でそれらを管理する。
照明画像積算部５３は、照明画像生成部５２によって生成された複数の照明画像を積算し、照明光のみの輝度値を持つ積算画像を生成する。具体的には、照明画像積算部５３は、照明画像記憶部６３に照明画像が分割数だけ格納されると、照明画像記憶部６３から照明画像を逐次読み出し、デフォルトで設定されている分割数と同じ枚数分だけ積算して一つの積算画像を生成し、生成した積算画像を後述する積算画像記憶部６４に出力する。
例えば、照明画像積算部５３は、図２のＣに示すように、照明画像記憶部６３に照明画像５ａ〜５ｃが格納される場合には、デフォルトで設定されている分割数「３」によって照明画像５ａ〜５ｃの三枚を積算して積算画像６ａを生成し、生成した積算画像６ａを積算画像記憶部６４に出力する。
積算画像記憶部６４は、上述した照明画像積算部５３によって生成された積算画像を記憶する。具体的には、積算画像記憶部６４は、照明画像積算部５３から照明画像を逐次受け取り、時系列でそれらを管理する。
［画像生成処理］
次に、図４を用いて、実施例１における画像生成装置による処理を説明する。図４は、実施例１における画像生成処理の流れを示すフローチャートである。
まず、画像生成装置４０において、撮像制御部５１は、センサ１０から撮像の開始を指示する信号を受け取ると（ステップＳ４０１肯定）、照明部２０および撮像部３０を制御し、所定の露光時間をデフォルトで設定された分割数で等分割した露光時間を用いて照明点灯画像および照明消灯画像をそれぞれ分割数と同じ枚数分だけ撮像部３０によって取得する（ステップＳ４０２）。
そして、撮像部３０は、照明点灯画像および照明消灯画像をそれぞれ照明点灯画像記憶部６１および照明消灯画像記憶部６２に格納し（ステップＳ４０３）、照明画像生成部５２は、照明点灯画像記憶部６１および照明消灯画像記憶部６２からそれぞれ照明点灯画像および照明消灯画像を読み出すと、照明点灯画像の輝度値から照明消灯画像の輝度値を差し引き照明画像を生成して照明画像記憶部６３に格納し（ステップＳ４０４）、照明画像積算部５３は、照明画像記憶部６３から照明画像を読み出すと、生成した複数の照明画像を積算し積算画像を生成して積算画像記憶部６４に格納し（ステップＳ４０５）、処理を終了する。
［実施例１の効果］
上記したように、実施例１によれば、所定の露光時間を複数の分割露光時間に分割し、分割露光時間ごとに照明点灯画像および照明消灯画像を取得するように照明部と撮像部とを制御し、分割露光時間ごとに取得された照明点灯画像の輝度値から照明消灯画像の輝度値を差し引くことで分割露光時間ごとに照明画像を生成し、生成された複数の照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成するので、外光が強い場合であっても、照明光のみの正しい輝度値を持つ画像を簡易に生成することが可能となる。
また、実施例１によれば、生成された複数の照明画像を全て積算し、積算画像を生成するので、被写体を照明部の照明光で照射し所定の露光時間で撮像して取得した画像と同等の輝度値を持つ画像を生成することが可能となる。
実施例１では、デフォルトで設定された分割数を用いて照明点灯画像および照明消灯画像を取得する手法を説明したが、実施例２では、外光強度によって分割数を算出し、算出された分割数を用いて照明点灯画像および照明消灯画像を取得する手法を説明する。
［実施例２に係る画像生成装置の構成］
図５を用いて、実施例２に係る画像生成装置の構成を説明する。図５は、実施例２に係る画像生成装置の構成を示すブロック図である。同図に示すように、この画像生成装置７０は、実施例１と同様、センサ１０と、照明部２０と、撮像部３０とに接続され、制御部５０と、記憶部６０とから構成される。ここで、実施例１と同じ動作をするものについては同じ番号を付して説明を省略し、以下では、外光強度算出部５４と、撮像制御部５５と、平均輝度値記憶部６５と、外光強度算出画像記憶部６６のみ説明を行う。なお、外光強度算出部５４は、特許請求の範囲の「外光強度算出手段」に対応し、撮像制御部５４ａと、外光強度算出部５４ｂとから構成される。
平均輝度値記憶部６５は、分割数を算出するために必要とされる平均輝度値を記憶する。具体的には、平均輝度値記憶部６５は、照明部２０の照明光のみを用いて所定の露光時間で予め任意の被写体を撮像して取得した顔画像について、その顔画像における所定の領域内の平均輝度値を記憶する。なお、事前に取得した複数の被写体の顔画像のなかで、ワーストケース（最大の平均輝度値）を選択して記憶することが、白トビ防止の観点からは望ましい。
例えば、平均輝度値記憶部６５は、図６に示すように、顔画像８０における領域８１内の各画素が持つ輝度値の平均である平均輝度値Ｊ（１）を記憶する。なお、この平均輝度値Ｊ（１）については、照明部２０および撮像部３０によって事前に顔画像８０を取得することで予め算出し、平均輝度値記憶部６５に記憶させておく。
外光強度算出部５４は、所定の露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された被写体の外光画像を取得するように照明部２０と撮像部３０とを制御し、取得した外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出する。
具体的には、外光強度算出部５４は、センサ１０から撮像の開始を指示する信号を受け取ると、デフォルトで設定された分割数で所定の露光時間を等分割した露光時間を用いて、照明消灯画像を取得するように照明部２０と撮像部３０とを撮像制御部５４ａによって制御する（撮像部３０が取得した照明消灯画像については、外光強度算出画像として後述する外光強度算出画像記憶部６６に格納される）。そして、外光強度算出部５４は、外光強度算出部５４ｂによって外光強度算出画像記憶部６６から外光強度算出画像を読み出し、その外光強度算出画像における所定の領域内の平均輝度値と上記した分割数とを乗算した値を外光強度として算出し、後述する撮像制御部５５に出力する。
例えば、外光強度算出部５４は、図７に示すように、撮像制御部５４ａによる制御によって撮像部３０が取得した外光強度算出画像９０において、領域９１内の画素が持つ輝度値の平均である平均輝度値Ｉ（Ｎ0）と分割数Ｎ0とを乗算した値を外光強度９２として外光強度算出部５４ｂによって算出し、後述する撮像制御部５５に出力する。
外光強度算出画像記憶部６６は、上述した撮像制御部５４ａによる制御によって撮像部３０が取得した外光強度算出画像を記憶する。具体的には、外光強度算出画像記憶部６６は、撮像部３０から外光強度算出画像を受け取り記憶する。
撮像制御部５５は、外光強度算出部５４によって算出された外光強度と、照明部の照明光のみで被写体を照射して所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部２０と撮像部３０とを制御する。なお、輝度値閾値とは輝度値の上限値より少し低い任意の値として予め設定するものである。
具体的には、撮像制御部５５は、外光強度算出部５４から外光強度（Ｉ（Ｎ0）×Ｎ0）を受け取ると、平均輝度値記憶部６５から平均輝度値Ｊ（１）を読み出し、外光強度（Ｉ（Ｎ0）×Ｎ0）、平均輝度値Ｊ（１）および輝度値閾値Ｔｈより、最小の分割数Ｎを求める条件式（｛Ｉ（Ｎ0）×Ｎ0＋Ｊ（１）｝／Ｔｈ≦Ｎ）を用いて、最小の分割数Ｎを決定する。例えば、上記式で左辺の値が「３．５」である場合には、Ｎは「４」として決定される。そして、撮像制御部５５は、所定の露光時間を最小の分割数Ｎで等分割した露光時間で、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部２０と撮像部３０とを制御する。
［画像生成処理］
次に、図８を用いて、実施例２における画像生成装置による処理を説明する。図８は、実施例２における画像生成処理の流れを示すフローチャートである。
まず、画像生成装置７０において、外光強度算出部５４は、センサ１０から撮像の開始を指示する信号を受け取ると（ステップＳ８０１肯定）、照明部２０および撮像部３０を制御し、撮像部３０によって外光強度算出画像を取得する（ステップＳ８０２）。
そして、撮像部３０は、外光強度算出画像を外光強度算出画像記憶部６６に格納し（ステップＳ８０３）、外光強度算出部５４は、外光強度算出画像記憶部６６から外光強度算出画像を読み出し、外光強度算出画像に基づいて外光強度を算出する（ステップＳ８０４）。
そして、撮像制御部５５は、外光強度算出部５４から外光強度を受け取ると、平均輝度値記憶部６５が記憶する平均輝度値や、輝度値閾値に基づいて最小の分割数を算出する（ステップＳ８０５）。
そして、画像生成装置７０は、最小の分割数が算出されたので、以後については実施例１と同様、所定の露光時間を算出した最小の分割数で等分割した露光時間を用いて照明点灯画像および照明消灯画像をそれぞれ分割数と同じ枚数分だけ撮像部３０によって取得し（ステップＳ８０６）、これら照明点灯画像および照明消灯画像に基づいて積算画像を生成して積算画像記憶部６４に格納し（ステップＳ８０７〜ステップＳ８０９）、処理を終了する。
［実施例２の効果］
上記したように、実施例２によれば、外光強度に基づいて所定の露光時間の分割数を決定するので、外光の変化に柔軟に適応して、例えば、外光が著しく強い時には、外光が少々強い時よりも露光時間の分割数を多くするなどして、照明光のみの正しい輝度値を持つ画像を簡易に生成することが可能となる。
また、実施例２によれば、所定の露光時間を所定の分割数に等分割した露光時間を用いて外光強度算出画像を取得するように照明部と撮像部とを制御し、取得した外光強度算出画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出し、算出された外光強度と、照明部の照明光のみで被写体を照射して所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御するので、外光の強度を外光から直接測定する手法に比較して、外光の強度を測定する機器を新たに加えることがない分、照明光のみの正しい輝度値を持つ画像の生成を簡易に実現することが可能となる。また、所定の露光時間を異なる複数の露光時間に分割する手法に比較して、所定の露光時間を等分割するという簡易な処理により、処理速度を速くすることが可能となる。さらに、最小の分割数で画像を取得するので、撮影に伴うノイズが入り込む可能性を低減することが可能となると共に、処理速度を速くすることが可能となる。
実施例２では、外光強度算出画像の所定の領域内の平均輝度値を外光強度とみなし、計算によって分割数を決定する手法を説明したが、実施例３では、外光強度を外光から直接測定し、さらに、計算ではなく外光強度と分割数とを対応付けたテーブルを参照して分割数を決定する手法を説明する。
まず、図９を用いて実施例３に係るジェスチャー認証装置の概観を説明する。図９は、ジェスチャー認証装置の概観を説明するための図である。
図９に示すように、実施例３に係るジェスチャー認証装置１２０は、一室の所定の位置に設置され、センサ１０と、照明部２０と、撮像部３０と、外光強度測定部１００と、テレビ１１０とに接続される。センサ１０は、腕を適度に前方へ伸ばしてジェスチャーを行う被写体７の手の位置から真上に固定され、照明部２０および撮像部３０は、被写体７の手を適切な距離および角度から照明できる位置あるいは撮影できる位置に固定される。また、外光強度測定部１００は、この室内に照明部２０とは異なる照明や窓があると仮定した場合に、上記した手の位置において、照明の光や窓から差し込む外光からの影響と同等の影響を受ける位置に設置されることが望ましく、ここでは図９に示すような位置に設置される。
［ジェスチャー認証装置の構成］
次に、図１０を用いて、図９に示したジェスチャー認証装置１２０の構成を説明する。図１０は、ジェスチャー認証装置１２０の構成を示すブロック図である。同図に示すように、このジェスチャー認証装置１２０は、センサ１０と、照明部２０と、撮像部３０と、外光強度測定部１００と、テレビ１１０とに接続され、制御部５０と、記憶部６０とから構成される。ここで、実施例１または実施例２と同じ動作をするものについては同じ番号を付して説明を省略し、以下では、分割数決定部５６と、ジェスチャー認証部５７と、テーブル記憶部６７と、ジェスチャー画像記憶部６８のみ説明を行う。なお、外光強度測定部１００は、特許請求の範囲の「外光強度測定手段」に対応し、テーブル記憶部６７は、同じく「分割数記憶手段」に対応する。
テーブル記憶部６７は、外光強度に対応付けて、露光時間の分割数を記憶する。具体的には、テーブル記憶部６７は、想定される外光強度をいくつかの範囲に分け、範囲ごとに適切な露光時間の分割数を対応付けたテーブルを記憶する。例えば、テーブル記憶部６７は、図１１に示すように、範囲の一つである外光強度「０〜３００（Ｌｘ）」と、分割数「０」とを対応付けたテーブルを記憶する。
外光強度測定部１００は、外光を受光することで外光強度を測定するものである。具体的には、外光強度測定部１００は、受光した光の量に応じた電荷や電位を発生させる半導体素子（例えば、フォトダイオードが挙げられる）であり、後述する分割数決定部５６にその出力値を所定の間隔で出力する。
分割数決定部５６は、外光強度測定部１００によって測定された外光強度に対応付けられた露光時間の分割数をテーブル記憶部６７から読み出す。具体的には、分割数決定部５６は、外光強度測定部１００から外光強度を受け取ると、テーブル記憶部６７からその外光強度を含む範囲に対応付けられた分割数を読み出し、撮像制御部５１に出力する。なお、分割数決定部５６は、外光強度を外光強度測定部１００から所定の間隔で受け取るので、分割数についても同様に所定の間隔で撮像制御部５１に出力する。
ジェスチャー画像記憶部６８は、特定のジェスチャーの画像を記憶する。具体的には、ジェスチャー画像記憶部６８は、特定のジェスチャーに係る複数の画像をテレビ１１０のチャンネル数と同じ種類だけ記憶する。例えば、ジェスチャー画像記憶部６８は、図１２に示すように、一般的に数字の「１」を表現するジェスチャーである画像１３０などを記憶する。
ジェスチャー認証部５７は、生成された積算画像に基づいて被写体７のジェスチャーが特定のジェスチャーであることを認証する。具体的には、ジェスチャー認証部５７は、積算画像記憶部６４に積算画像が格納されると、積算画像記憶部６４から積算画像を読み出すとともに、読み出した積算画像をジェスチャー画像記憶部６８が記憶する画像の全てと照合し、積算画像に写った被写体７のジェスチャーが特定のジェスチャーであることを認証すると、そのジェスチャーに対応するチャンネルへの変更を指示する信号をテレビ１１０に出力する。なお、テレビ１１０は、ジェスチャー認証部５７から信号を受け取ると、指示通りのチャンネルに変更する。
［ジェスチャー認証処理］
次に、図１３を用いて、実施例３におけるジェスチャー認証装置による処理を説明する。図１３は、実施例３におけるジェスチャー認証処理の流れを示すフローチャートである。
同図に示すように、外光強度測定部１００は、外光を受光することで外光強度をジェスチャー認証装置１２０の分割数決定部５６へ出力すると（ステップＳ１３０１）、分割数決定部５６は、受け取った外光強度をもとにテーブル記憶部６７が記憶するテーブルを参照して分割数を読み出し、読み出した分割数を撮像制御部５１に出力する（ステップＳ１３０２）。なお、外光強度測定部１００は、初回に外光強度を出力した後も、所定の時間が経過するまで待機し（ステップＳ１３０３）、所定の時間が経過した場合には（ステップＳ１３０３肯定）、再度外光強度を出力し（ステップＳ１３０１）、所定の時間が経過していない場合には（ステップＳ１３０３否定）、電源がＯＦＦにならない限り（ステップＳ１３０４否定）、所定の時間が経過するまで待機する（ステップＳ１３０３）。
撮像制御部５１は、センサ１０から撮像の開始を指示する信号を受け取ると（ステップＳ１３０５肯定）、照明部２０および撮像部３０を制御し、所定の露光時間を分割数決定部５６から受け取った分割数で等分割した露光時間を用いて照明点灯画像および照明消灯画像をそれぞれ分割数と同じ枚数分だけ撮像部３０によって取得する（ステップＳ１３０６）。
そして、撮像部３０は、照明点灯画像および照明消灯画像をそれぞれ照明点灯画像記憶部６１および照明消灯画像記憶部６２に格納し（ステップＳ１３０７）、照明画像生成部５２は、照明点灯画像記憶部６１および照明消灯画像記憶部６２からそれぞれ照明点灯画像および照明消灯画像を読み出すと、照明画像を生成して照明画像記憶部６３に格納し（ステップＳ１３０８）、照明画像積算部５３は、照明画像記憶部６３から照明画像を読み出すと、積算画像を生成して積算画像記憶部６４に格納する（ステップＳ１３０９）。
そして、ジェスチャー認証部５７は、積算画像記憶部６４から読み出した積算画像が特定のジェスチャーであることを認証すると（ステップＳ１３１０肯定）、そのジェスチャーに対応するチャンネルへの変更を指示する信号をテレビ１１０に出力し（ステップＳ１３１１）、処理を終了する。なお、特定のジェスチャーであることが認証されない場合には（ステップＳ１３１０否定）、そのまま処理を終了する。
［実施例３の効果］
上記したように、実施例３によれば、外光を受光することで外光強度を測定し、測定された外光強度に基づいて所定の露光時間の分割数を決定するので、照明消灯画像を取得して外光強度を算出する手法に比較して、外光強度を算出する計算過程がない分、処理速度を速くすることが可能となる。
また、実施例３によれば、外光強度に対応付けて、露光時間の分割数を記憶し、測定された外光強度に対応付けられた露光時間の分割数に等分割した露光時間で、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御するので、条件式で分割数を決定する手法に比較して、分割数を算出する計算過程がない分、処理速度を速くすることが可能となる。
実施例３では、生成された積算画像を用いる目的が認証である場合を説明したが、実施例４では、生成された積算画像を用いる目的を材質判定とする場合を説明する。
まず、図１４を用いて実施例４に係る材質判定装置の概観を説明する。図１４は、材質判定装置の概観を説明するための図である。
図１４に示すように、実施例４に係る材質判定装置１６０は、一室の所定の位置に設置され、撮像部３０と、甲波長照明部１４０と、乙波長照明部１５０とに接続される。甲波長照明部１４０、乙波長照明部１５０および撮像部３０は、被写体７を適切な距離および角度から照明できる位置あるいは撮影できる位置に固定される。
ここで、被写体７について説明すると、被写体７の材質は、物質αか物質βのいずれかであり、甲波長照明部１４０が照射する照明光の波長λAと、乙波長照明部１５０が照射する照明光の波長λBとに対して両物質が持つ吸収スペクトルは、波長λAでは、ほぼ同レベルの吸収度であるが、波長λBでは、吸収度に差が生じる（物質αの吸収度＜物質βの吸収度）という性質を持つ。
［材質判定装置の構成］
次に、図１５を用いて、図１４に示した材質判定装置１６０の構成を説明する。図１５は、材質判定装置１６０の構成を示すブロック図である。同図に示すように、この材質判定装置１６０は、甲波長照明部１４０と、乙波長照明部１５０と、撮像部３０とに接続され、制御部５０と、記憶部６０とから構成される。なお、ここでは、甲波長照明部１４０と、乙波長照明部１５０と、材質判定部５８の説明を行うほか、実施例１または実施例２と同じ動作をするものについては同じ番号を付し、そのうち外光強度算出部５４、撮像制御部５５および平均輝度値記憶部６５については簡単に説明を行い、その他については説明を省略する。
甲波長照明部１４０は、単一波長（波長λA）の光を照明光として照射する。具体的には、甲波長照明部１４０は、外光強度算出部５４や、撮像制御部５５に制御されつつ後述する乙波長照明部１５０とは異なる波長λAの光を照明光として照射する。
乙波長照明部１５０は、甲波長照明部１４０と同様、単一波長（波長λB）の光を照明光として照射する。具体的には、乙波長照明部１５０は、外光強度算出部５４や、撮像制御部５５に制御されつつ上述した甲波長照明部１４０とは異なる波長λBの光を照明光として照射する。なお、最適な所定の露光時間の長さという観点で波長λAと、波長λBとを比較した場合には、波長λBの方が長い露光時間を必要とする。
平均輝度値記憶部６５は、実施例２と同様、分割数を算出するために必要とされる平均輝度値を記憶する。具体的には、平均輝度値記憶部６５は、乙波長照明部１５０の波長λBの照明光のみを用いて所定の露光時間で、予め物体（例えば、上記した物質αでできた物体や、物質βでできた物体）を撮像して取得した画像について、その画像における所定の領域内の平均輝度値を記憶する。
外光強度算出部５４は、実施例２と同様、所定の露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された被写体の外光画像を取得するように照明部２０と撮像部３０とを制御し、取得した外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出する。
具体的には、外光強度算出部５４は、波長のうち撮像の際に必要とする最適な露光時間である最適露光時間が最長である波長λBの最適露光時間を所定の分割数に等分割した露光時間を用いて被写体７の照明消灯画像（外光強度算出画像）を取得するように甲波長照明部１４０、乙波長照明部１５０および撮像部３０を制御し、取得した外光強度算出画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出する。つまり、所定の分割数に等分割する対象となる露光時間は、実施例２では、照明部２０が一つなので、照明部２０の照明光における所定の露光時間であり、実施例４では、甲波長照明部１４０および乙波長照明部１５０の二つの照明光のうち乙波長照明部１５０の波長λBの照明光における所定の露光時間となる。
撮像制御部５５は、外光強度算出部５４によって算出された外光強度と、最適露光時間が最長である波長λBの照明光で物体を照射して所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を、実施例２と同様、所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、異なる複数の波長の照明光ごとに照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように甲波長照明部１４０、乙波長照明部１５０および撮像部３０を制御する。
材質判定部５８は、生成された積算画像に基づいて被写体７の材質判定を行う。具体的には、材質判定部５８は、積算画像記憶部６４から甲波長照明部１４０による照明によって生成された積算画像および乙波長照明部１５０による照明光によって生成された積算画像を読み出し、物質αおよび物質βの吸収スペクトルの違いを利用して被写体７の材質判定を行う。
例えば、材質判定部５８は、図１６に示すように、積算画像記憶部６４から読み出した甲波長照明部１４０による照明光のみの輝度値を持つ画像１７０および乙波長照明部１５０による照明光のみの輝度値を持つ画像１８０において、領域１７１内に存在する画素の輝度値Ａと、領域１８１内に存在する上記の画素と同位置の画素の輝度値Ｂとの比（Ａ／Ｂ）を画素ごとに算出し、比（Ａ／Ｂ）が所定の閾値（Ｔｈλ）より大きい画素（条件式｛Ａ／Ｂ＞Ｔｈλ｝を満たす画素）をカウントし、画素数が少ない場合には、物質αと判定し、画素数が多い場合には、物質βと判定する。
［材質判定処理］
次に、図１７を用いて、実施例４における材質判定装置による処理を説明する。図１７は、実施例４における材質判定処理の流れを示すフローチャートである。
まず、材質判定装置１６０は、操作開始の信号を受け取ると（ステップＳ１７０１肯定）、外光強度算出部５４によって甲波長照明部１４０、乙波長照明部１５０および撮像部３０を制御し、撮像部３０が外光強度算出画像を取得する（ステップＳ１７０２）。
そして、撮像部３０は、外光強度算出画像を外光強度算出画像記憶部６６に格納し（ステップＳ１７０３）、外光強度算出部５４は、外光強度算出画像記憶部６６から外光強度算出画像を読み出し、外光強度算出画像に基づいて外光強度を算出する（ステップＳ１７０４）。
そして、撮像制御部５５は、外光強度算出部５４から外光強度を受け取ると、平均輝度値記憶部６５が記憶する平均輝度値や、輝度値閾値に基づいて最小の分割数を算出し（ステップＳ１７０５）、所定の露光時間を最小の分割数で等分割した露光時間を用いて照明点灯画像および照明消灯画像をそれぞれ分割数と同じ枚数分だけ、初めに甲波長照明部１４０と撮像部３０とを制御することによって取得し（ステップＳ１７０６）、撮像部３０は、甲波長照明部１４０の照明光による照明点灯画像および照明消灯画像をそれぞれ照明点灯画像記憶部６１および照明消灯画像記憶部６２に格納する（ステップＳ１７０７）。
次に、撮像制御部５５は、同様に、所定の露光時間を最小の分割数で等分割した露光時間を用いて照明点灯画像および照明消灯画像をそれぞれ分割数と同じ枚数分だけ、次に乙波長照明部１５０と撮像部３０とを制御することによって取得し（ステップＳ１７０８）、撮像部３０は、乙波長照明部１５０の照明光による照明点灯画像および照明消灯画像をそれぞれ照明点灯画像記憶部６１および照明消灯画像記憶部６２に格納する（ステップＳ１７０９）。
そして、照明画像生成部５２は、照明点灯画像記憶部６１および照明消灯画像記憶部６２からそれぞれ照明点灯画像および照明消灯画像を読み出すと、照明画像を生成して照明画像記憶部６３に格納し（ステップＳ１７１０）、照明画像積算部５３は、照明画像記憶部６３から照明画像を読み出すと、積算画像を生成して積算画像記憶部６４に格納する（ステップＳ１７１１）。
そして、材質判定部５８は、積算画像記憶部６４から各波長の積算画像を読み出して被写体７の材質を判定し（ステップＳ１７１２）、処理を終了する。
［実施例４の効果］
上記したように、実施例４によれば、照明部は、異なる複数の波長の照明光を照射するものであって、波長のうち撮像の際に必要とする最適な露光時間である最適露光時間が最長である波長の最適露光時間を所定の分割数に等分割した露光時間を用いて外光強度算出画像を取得するように照明部と撮像部とを制御し、取得した外光強度算出画像について所定の領域の平均輝度値を算出し、当該平均輝度値と所定の分割数とを乗算した値を外光強度として算出し、算出された外光強度と、最適露光時間が最長である波長の照明光で被写体を照射して所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、異なる複数の波長の照明光ごとに照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御し、取得された各波長の照明光による照明点灯画像から照明消灯画像の輝度値を差し引くことで異なる複数の波長ごとに照明画像を生成し、生成された各波長の照明画像をそれぞれ積算し、照明光のみの輝度値が積算された積算画像を波長ごとに生成するので、外光が強い場合であっても、照明光の波長の長さにかかわらず照明光のみの正しい輝度値を持つ波長ごとの画像を簡易に生成することが可能となる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）〜（５）にそれぞれ区分けして異なる実施例を説明する。
（１）所定の露光時間の分割
上記の実施例では、所定の露光時間の分割については分割数に等分する場合を説明したが、本発明はこれに限定されるものではなく、必ずしも等分する必要はなく、所定の露光時間が分割数の数だけ分割されるものであればよい。
（２）照明画像の積算回数
また、上記の実施例では、照明点灯画像および照明消灯画像を分割数だけ取得し、それらを格納した後に照明画像が生成され、さらに、照明画像を分割数だけ格納した後に積算画像が生成される場合を説明したが、本発明はこれに限定されるものではなく、まず一組の照明点灯画像および照明消灯画像を取得して格納した後、直ちに記憶部から読み出し、照明画像を生成し、さらに、その照明画像を格納した後、直ちに記憶部から読み出し、積算画像の生成を開始し、引き続き一組の照明点灯画像および照明消灯画像の取得から積算画像の生成までの一連の処理を、積算画像の輝度値に所定の閾値を設けてそれを超えるまで続けるようにしてもよい。
具体的には、撮像制御部５１は、まず一組の照明点灯画像および照明消灯画像を取得するように照明部２０および撮像部３０を制御する。
そして、照明画像生成部５２は、照明点灯画像記憶部６１に一枚の照明点灯画像が格納され、照明消灯画像記憶部６２に一枚の照明点灯画像が格納されると、直ちにそれらを読み出して照明画像を生成し、照明画像記憶部６３に格納する。
そして、照明画像積算部５３は、照明画像記憶部６３に一枚の照明画像が格納されると、直ちにそれを読み出して積算し、積算画像として積算画像記憶部６２に格納する。なお、照明画像積算部５３は、初回に照明画像記憶部６３から照明画像を読み出した際には、積算する照明画像がないので、そのまま積算画像記憶部６２に格納し、二回目以降では、照明画像を読み出すとともに、積算画像記憶部６２から未完成の積算画像を読み出して両者を積算し、積算画像記憶部６２に格納する。ここで、照明画像積算部５３は、積算画像の輝度値が所定の閾値を越えるまで、撮像制御部５１に対しもう一組の照明点灯画像および照明消灯画像の取得を指示する信号を出力する。
こうすることによって、記憶部の使用領域を軽減することが可能となり、さらに、積算画像が設定した輝度値に達した時点で積算を終了することができ処理速度を速くすることが可能となる。
（３）照明点灯画像および照明消灯画像の取得枚数
また、上記の実施例では、照明点灯画像と照明消灯画像を共に分割数に等しい枚数だけ取得して積算すると説明していたが、本発明はこれに限定されるものではなく、各分割露光時間の全てまたは一部で照明点灯画像および／または照明消灯画像を取得するようにしてもよい。例えば、照明点灯画像の枚数を分割数と等しいＮ枚とする一方、照明消灯画像の枚数をＮよりも小さいＭ枚とするようにしてもよい。
これは、照明消灯画像の輝度値が照明点灯画像の輝度値よりも低いため、照明消灯画像に含まれるノイズが積算画像に与える影響が、照明点灯画像に含まれるノイズよりも小さい為である。例えば、極端な例として、外光が非常に弱く、照明消灯画像がほとんど真っ暗で輝度が０に近いような場合、照明消灯画像に含まれるノイズの大きさは非常に小さく、最終的な積算画像への寄与は非常に小さい。そのため、照明消灯画像の取得枚数を省略しても積算画像への影響は大きくなく、実用上ほとんど影響が無い場合がある。
Ｎ枚の照明点灯画像とＭ枚の照明消灯画像を使って、以下のように積算画像を生成する。まず、ここでは所定の露光時間の分割については分割数に等分する場合を説明する。上記実施例では、照明点灯画像から照明消灯画像を引き算することで照明画像を生成していたが、ここでは、照明消灯画像の輝度値を「Ｎ／Ｍ倍」してから差分を計算し、照明画像を生成する。Ｎ／Ｍ倍することによって、照明消灯画像の枚数が少なく、輝度値が小さい分を補正していることになる。
また、所定の露光時間の分割を等分でない分割露光時間にする場合も同様に、露出時間に応じた補正を行なう。例えば、所定の露出時間がＴ，最終的に取得した照明消灯画像の分割露光時間を積算した値をtとした時、照明消灯画像の輝度値を「T/t倍」してから差分を計算し、照明画像を生成する。
このように照明消灯画像の枚数を減らすことにより、撮影時間および演算時間を短くすることができるため、処理速度を速くすることが可能となる。
（４）外光強度算出画像
また、上記の実施例では、外光強度算出画像を外光強度の算出のためだけに用いる場合を説明したが、本発明はこれに限定されるものではなく、取得した外光強度算出画像を照明画像の生成に用いる照明消灯画像として転用するようにしてもよい。
具体的には、撮像制御部５５によって算出された最小の分割数が所定の分割数と同じであった場合には、外光強度算出部５４が取得した外光強度算出画像を照明消灯画像に転用しつつ、照明点灯画像および照明消灯画像をそれぞれ分割数だけ取得するように照明部と撮像部とを制御するようにしてもよい。こうすることによって、外光強度算出画像を転用した分だけ撮像時間を短縮することが可能となる。この際、外光強度算出部５４が、外光強度算出画像を取得するために用いる所定の分割数として、前回の撮影時に決定した分割数を用いる構成とすることもできる。外光の強度は緩やかに変化する場合が多い為、前回撮影時に決定した分割数を用いることによって、外光強度算出画像を照明消灯画像として転用できる可能性が高くなり、結果として処理速度を速める効果が得られる。
（５）適用対象
また、上記の実施例では、照明光のみの正しい輝度値を持つ画像を生成する対象として顔画像や、手の画像や、物体の画像を例として説明したが、本発明はこれに限定されるものではなく、画像を取得するものであれば同様に適用することができる。
（６）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、撮像制御部５１と分割数決定部５６を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。例えば、実施例１では、被写体７の進入をセンサ１０によって検知して自動的に撮像が開始される場合を説明したが、オペレータがそれを監視することによって手動で撮像を開始するようにしてもよい。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、材質判定処理の照明点灯画像および照明消灯画像の取得において、甲波長照明部１４０を制御して撮像する処理と、乙波長照明部１５０を制御して撮像する処理との順序はどちらが先であってもよい。
（７）画像生成プログラム
ところで、上記の実施例１では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図１８を用いて、上記の実施例１に示した画像生成装置４０と同様の機能を有する画像生成プログラムを実行するコンピュータの一例を説明する。図１８は、画像生成プログラムを実行するコンピュータを示す図である。
同図に示すように、コンピュータ１９０は、センサ１９１、照明部１９２、撮像部１９３、ＣＰＵ１９４、ＲＯＭ１９５、ＨＤＤ１９６およびＲＡＭ１９７をバス１９８などで接続して構成される。
ＲＯＭ１９５には、上記の実施例１に示した画像生成装置４０と同様の機能を発揮する画像生成プログラム、つまり、図１８に示すように、撮像制御プログラム１９５ａと、照明画像生成プログラム１９５ｂと、照明画像積算プログラム１９５ｃとが予め記憶されている。なお、これらのプログラム１９５ａ〜１９５ｃについては、図３に示した画像生成装置４０の各構成要素と同様、適宜統合または分散してもよい。
そして、ＣＰＵ１９４が、これらのプログラム１９５ａ〜１９５ｃをＲＯＭ１９５から読み出して実行することで、図１８に示すように、各プログラム１９５ａ〜１９５ｃは、撮像制御プロセス１９４ａ、照明画像生成プロセス１９４ｂ、照明画像積算プロセス１９４ｃとして機能するようになる。なお、各プロセス１９４ａ〜１９４ｃは、図３に示した撮像制御部５１と、照明画像生成部５２と、照明画像積算部５３とにそれぞれ対応する。
そして、ＣＰＵ１９４は、ＲＡＭ１９７に格納された照明点灯画像データ１９７ａと、照明消灯画像データ１９７ｂと、照明画像データ１９７ｃと、積算画像データ１９７ｄとに基づいて画像生成処理を実行する。
なお、上記した各プログラム１９５ａ〜１９５ｃについては、必ずしも最初からＲＯＭ１９５に記憶させておく必要はなく、例えば、コンピュータ１９０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ１９０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１９０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１９０がこれらから各プログラムを読み出して実行するようにしてもよい。
（付記１）外光と照明部の照明光とに照射された被写体の照明点灯画像、並びに、前記外光のみに照射された前記被写体の照明消灯画像を撮像部によって取得し、前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ照明画像を生成する画像生成装置であって、
所定の露光時間を複数の分割露光時間に分割し、前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して前記照明点灯画像および前記照明消灯画像を取得するように前記照明部と前記撮像部とを制御する撮像制御手段と、
前記撮像制御手段による制御によって前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して取得された前記照明点灯画像の輝度値から前記照明消灯画像の輝度値を差し引くことで当該分割露光時間ごとに前記照明画像を生成する照明画像生成手段と、
前記照明画像生成手段によって生成された複数の前記照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成する積算画像生成手段と、
を備えたことを特徴とする画像生成装置。
（付記２）前記撮像制御手段は、前記外光の強度である外光強度に基づいて前記所定の露光時間の分割数を決定することを特徴とする付記１に記載の画像生成装置。
（付記３）前記所定の露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された前記被写体の外光画像を取得するように前記照明部と前記撮像部とを制御し、取得した前記外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と前記所定の分割数とを乗算した値を外光強度として算出する外光強度算出手段をさらに備え、
前記撮像制御手段は、前記外光強度算出手段によって算出された前記外光強度と、前記照明部の照明光のみで前記被写体を照射して前記所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする付記２に記載の画像生成装置。
（付記４）前記撮像制御手段は、前記最小の分割数が前記所定の分割数と同じであった場合には、前記外光強度算出手段が取得した前記外光画像を前記照明消灯画像に転用しつつ、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする付記３に記載の画像生成装置。
（付記５）前記外光を受光することで前記外光強度を測定する外光強度測定手段をさらに備え、
前記撮像制御手段は、前記外光強度測定手段によって測定された外光強度に基づいて前記所定の露光時間の分割数を決定することを特徴とする付記２に記載の画像生成装置。
（付記６）前記外光強度に対応付けて、前記露光時間の分割数を記憶する分割数記憶手段をさらに備え、
前記撮像制御手段は、前記外光強度測定手段によって測定された外光強度に対応付けられた露光時間の分割数を前記分割数記憶手段から読み出し、当該分割数に等分割した露光時間で、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする付記５に記載の画像生成装置。
（付記７）前記積算画像生成手段は、前記照明画像生成手段によって生成される複数の前記照明画像を積算していき、所定の輝度値の前記積算画像を生成することを特徴とする付記１〜６のいずれか一つに記載の画像生成装置。
（付記８）前記照明部は、異なる複数の波長の照明光を照射するものであって、
前記外光強度算出手段は、前記波長のうち撮像の際に必要とする最適な露光時間である最適露光時間が最長である波長の前記最適露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された前記被写体の外光画像を取得するように前記照明部と前記撮像部とを制御し、取得した前記外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と前記所定の分割数とを乗算した値を外光強度として算出し、
前記撮像制御手段は、前記外光強度算出手段によって算出された前記外光強度と、前記最適露光時間が最長である波長の照明光で前記被写体を照射して前記所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、前記異なる複数の波長の照明光ごとに前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御し、
前記照明画像生成手段は、前記撮像制御手段による制御によって取得された各波長の照明光による前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで前記異なる複数の波長ごとに前記照明画像を生成し、
前記積算画像生成手段は、前記照明画像生成手段によって生成された各波長の前記照明画像をそれぞれ積算し、照明光のみの輝度値が積算された積算画像を波長ごとに生成することを特徴とする付記３に記載の画像生成装置。
（付記９）外光と照明部の照明光とに照射された被写体の照明点灯画像、並びに、前記外光のみに照射された前記被写体の照明消灯画像を撮像部によって取得し、前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ照明画像を生成する画像生成方法であって、
所定の露光時間を複数の分割露光時間に分割し、前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して前記照明点灯画像および前記照明消灯画像を取得するように前記照明部と前記撮像部とを制御する撮像制御工程と、
前記撮像制御工程による制御によって前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して取得された前記照明点灯画像の輝度値から前記照明消灯画像の輝度値を差し引くことで当該分割露光時間ごとに前記照明画像を生成する照明画像生成工程と、
前記照明画像生成工程によって生成された複数の前記照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成する積算画像生成工程と、
を含んだことを特徴とする画像生成方法。
（付記１０）外光と照明部の照明光とに照射された被写体の照明点灯画像、並びに、前記外光のみに照射された前記被写体の照明消灯画像を撮像部によって取得し、前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ照明画像を生成する方法をコンピュータに実行させる画像生成プログラムであって、
所定の露光時間を複数の分割露光時間に分割し、前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して前記照明点灯画像および前記照明消灯画像を取得するように前記照明部と前記撮像部とを制御する撮像制御手順と、
前記撮像制御手順による制御によって前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して取得された前記照明点灯画像の輝度値から前記照明消灯画像の輝度値を差し引くことで当該分割露光時間ごとに前記照明画像を生成する照明画像生成手順と、
前記照明画像生成手順によって生成された複数の前記照明画像を積算し、照明光のみの輝度値が積算された積算画像を生成する積算画像生成手順と、
をコンピュータに実行させることを特徴とする画像生成プログラム。
以上のように、本発明に係る画像生成装置、画像生成方法および画像生成プログラムは、外光と照明部の照明光とに照射された被写体の照明点灯画像、並びに、外光のみに照射された被写体の照明消灯画像を撮像部によって取得し、照明点灯画像から照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ照明画像を生成する場合に有用であり、特に、外光が強い場合であっても、照明光のみの正しい輝度値を持つ画像を簡易に生成することに適する。
画像生成装置の概観を説明するための図である。 画像生成装置の概要と特徴を説明するための図である。 画像生成装置の構成を示すブロック図である。 画像生成処理の流れを示すフローチャートである。 実施例２に係る画像生成装置の構成を示すブロック図である。 平均輝度値記憶部が記憶する情報を説明するための図である。 外光強度算出部が外光強度を算出する手法を説明するための図である。 実施例２に係る画像生成処理の流れを示すフローチャートである。 ジェスチャー認証装置の概観を説明するための図である。 ジェスチャー認証装置の構成を示すブロック図である。 テーブル記憶部が記憶する情報の例を示す図である。 ジェスチャー画像記憶部が記憶する画像の例を示す図である。 ジェスチャー認証処理の流れを示すフローチャートである。 材質判定装置の概観を説明するための図である。 材質判定装置の構成を示すブロック図である。 材質判定方法の例を説明するための図である。 材質判定処理の流れを示すフローチャートである。 画像生成プログラムを実行するコンピュータを示す図である。 従来技術を説明するための図である。 従来技術を説明するための図である。
符号の説明
１０ センサ
２０ 照明部
３０ 撮像部
４０ 画像生成装置
５０ 制御部
５１ 撮像制御部
５２ 照明画像生成部
５３ 照明画像積算部
６０ 記憶部
６１ 照明点灯画像記憶部
６２ 照明消灯画像記憶部
６３ 照明画像記憶部
６４ 積算画像記憶部

Claims (8)

  1. 外光と照明部の照明光とに照射された被写体の照明点灯画像、並びに、前記外光のみに照射された前記被写体の照明消灯画像を撮像部によって取得し、前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで照明光のみの輝度値を持つ照明画像を生成する画像生成装置であって、
    所定の露光時間を複数の分割露光時間に分割し、前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して前記照明点灯画像および前記照明消灯画像を取得するように前記照明部と前記撮像部とを制御する撮像制御手段と、
    前記撮像制御手段による制御によって前記分割露光時間ごとに、あるいは所望の前記分割露光時間の一部を選択して取得された前記照明点灯画像の輝度値から前記照明消灯画像の輝度値を差し引くことで当該分割露光時間ごとに前記照明画像を生成する照明画像生成手段と、
    前記照明画像生成手段によって生成された複数の前記照明画像を積算した積算画像を生成する積算画像生成手段と、
    を備えたことを特徴とする画像生成装置。
  2. 前記撮像制御手段は、前記外光の強度である外光強度に基づいて前記所定の露光時間の分割数を決定することを特徴とする請求項１に記載の画像生成装置。
  3. 前記所定の露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された前記被写体の外光画像を取得するように前記照明部と前記撮像部とを制御し、取得した前記外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と前記所定の分割数とを乗算した値を外光強度として算出する外光強度算出手段をさらに備え、
    前記撮像制御手段は、前記外光強度算出手段によって算出された前記外光強度と、前記照明部の照明光のみで前記被写体を照射して前記所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする請求項２に記載の画像生成装置。
  4. 前記撮像制御手段は、前記最小の分割数が前記所定の分割数と同じであった場合には、前記外光強度算出手段が取得した前記外光画像を前記照明消灯画像に転用しつつ、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする請求項３に記載の画像生成装置。
  5. 前記外光を受光することで前記外光強度を測定する外光強度測定手段をさらに備え、
    前記撮像制御手段は、前記外光強度測定手段によって測定された外光強度に基づいて前記所定の露光時間の分割数を決定することを特徴とする請求項２に記載の画像生成装置。
  6. 前記外光強度に対応付けて、前記露光時間の分割数を記憶する分割数記憶手段をさらに備え、
    前記撮像制御手段は、前記外光強度測定手段によって測定された外光強度に対応付けられた露光時間の分割数を前記分割数記憶手段から読み出し、当該分割数に等分割した露光時間で、前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御することを特徴とする請求項５に記載の画像生成装置。
  7. 前記積算画像生成手段は、前記照明画像生成手段によって生成される複数の前記照明画像を積算していき、所定の輝度値の前記積算画像を生成することを特徴とする請求項１〜６のいずれか一つに記載の画像生成装置。
  8. 前記照明部は、異なる複数の波長の照明光を照射するものであって、
    前記外光強度算出手段は、前記波長のうち撮像の際に必要とする最適な露光時間である最適露光時間が最長である波長の前記最適露光時間を所定の分割数に等分割した露光時間を用いて外光のみに照射された前記被写体の外光画像を取得するように前記照明部と前記撮像部とを制御し、取得した前記外光画像について所定の領域の平均輝度値を算出し、当該平均輝度値と前記所定の分割数とを乗算した値を外光強度として算出し、
    前記撮像制御手段は、前記外光強度算出手段によって算出された前記外光強度と、前記最適露光時間が最長である波長の照明光で前記被写体を照射して前記所定の露光時間を用いて取得した画像における所定の領域の平均輝度値との和を所定の輝度値閾値で除算した値以上で最小となる整数を最小の分割数として決定し、当該最小の分割数に等分割した露光時間で、前記異なる複数の波長の照明光ごとに前記照明点灯画像および前記照明消灯画像をそれぞれ前記分割数だけ取得するように前記照明部と前記撮像部とを制御し、
    前記照明画像生成手段は、前記撮像制御手段による制御によって取得された各波長の照明光による前記照明点灯画像から前記照明消灯画像の輝度値を差し引くことで前記異なる複数の波長ごとに前記照明画像を生成し、
    前記積算画像生成手段は、前記照明画像生成手段によって生成された各波長の前記照明画像をそれぞれ積算し、照明光のみの輝度値が積算された積算画像を波長ごとに生成することを特徴とする請求項３に記載の画像生成装置。
JP2006268009A 2006-09-29 2006-09-29 画像生成装置、画像生成方法および画像生成プログラム Expired - Fee Related JP4747065B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006268009A JP4747065B2 (ja) 2006-09-29 2006-09-29 画像生成装置、画像生成方法および画像生成プログラム
US11/699,412 US7852379B2 (en) 2006-09-29 2007-01-30 Image forming apparatus, image forming method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006268009A JP4747065B2 (ja) 2006-09-29 2006-09-29 画像生成装置、画像生成方法および画像生成プログラム

Publications (2)

Publication Number Publication Date
JP2008090412A true JP2008090412A (ja) 2008-04-17
JP4747065B2 JP4747065B2 (ja) 2011-08-10

Family

ID=39260729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006268009A Expired - Fee Related JP4747065B2 (ja) 2006-09-29 2006-09-29 画像生成装置、画像生成方法および画像生成プログラム

Country Status (2)

Country Link
US (1) US7852379B2 (ja)
JP (1) JP4747065B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073381A1 (ja) 2010-12-03 2012-06-07 富士通株式会社 生体認証装置及び生体認証方法
JP2012205217A (ja) * 2011-03-28 2012-10-22 Nec Corp 撮像装置、撮像方法
JP2013164310A (ja) * 2012-02-10 2013-08-22 Nec Corp 撮像システムおよび撮像方法
JP2014506048A (ja) * 2010-12-23 2014-03-06 アルカテル−ルーセント カメラ計画および位置決めのための統合された方法
WO2014050535A1 (ja) * 2012-09-25 2014-04-03 日産自動車株式会社 撮像装置及び撮像方法
CN103813105A (zh) * 2012-11-08 2014-05-21 索尼公司 图像处理设备、方法和程序
EP2760192A2 (en) 2013-01-25 2014-07-30 Fujitsu Limited Image capturing method and image capturing apparatus
EP3217317A1 (en) 2016-03-10 2017-09-13 Fujitsu Limited Biometric authentication device, biometric authentication method, and biometric authentication program
EP3330888A1 (en) 2016-11-30 2018-06-06 Fujitsu Limited Biometric authentication apparatus, biometric authentication method, and biometric authentication program
JP2018113498A (ja) * 2017-01-06 2018-07-19 日本放送協会 画像処理装置及びそのプログラム
JP2019160676A (ja) * 2018-03-15 2019-09-19 株式会社日本総合研究所 照明制御システム、照明システム、作業機械、及びプログラム
JP2020515100A (ja) * 2016-12-23 2020-05-21 ルミレッズ リミテッド ライアビリティ カンパニー ビネッティングの補償

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150829A (ja) * 2007-12-21 2009-07-09 Olympus Corp 生体試料の観察方法
CN102479321B (zh) * 2010-11-26 2016-10-26 罗普特（厦门）科技集团有限公司 差异影像自动识别系统及方法
JP2015109502A (ja) * 2013-12-03 2015-06-11 ソニー株式会社 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
JP7137746B2 (ja) * 2019-01-30 2022-09-15 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法および映像処理プログラム
US10742892B1 (en) * 2019-02-18 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
US20220279095A1 (en) * 2019-12-24 2022-09-01 Nec Corporation Gate apparatus, control method of same, and program
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229620A (ja) * 1996-02-20 1997-09-05 Canon Inc 測距装置
JP2002334326A (ja) * 2001-05-09 2002-11-22 Fanuc Ltd 視覚センサ
JP2006191290A (ja) * 2005-01-05 2006-07-20 Canon Inc 画像処理装置
JP2007043637A (ja) * 2005-06-28 2007-02-15 Canon Inc 撮像装置、撮像プログラムおよび画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0837418A3 (en) 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
JP3321053B2 (ja) 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
JP2002010030A (ja) 2000-04-21 2002-01-11 Sumitomo Osaka Cement Co Ltd 撮像装置
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US6546203B2 (en) * 2001-06-21 2003-04-08 Hewlett-Packard Company Camera with adjustable strobe energy
JP2003187230A (ja) 2001-12-14 2003-07-04 Kao Corp 撮影画像処理装置および化粧シミュレーション装置
US7315324B2 (en) * 2002-08-15 2008-01-01 Dixon Cleveland Motion clutter suppression for image-subtracting cameras
US7295186B2 (en) 2003-01-14 2007-11-13 Avago Technologies Ecbuip (Singapore) Pte Ltd Apparatus for controlling a screen pointer that distinguishes between ambient light and light from its light source
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7652717B2 (en) * 2005-01-11 2010-01-26 Eastman Kodak Company White balance correction in digital camera images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229620A (ja) * 1996-02-20 1997-09-05 Canon Inc 測距装置
JP2002334326A (ja) * 2001-05-09 2002-11-22 Fanuc Ltd 視覚センサ
JP2006191290A (ja) * 2005-01-05 2006-07-20 Canon Inc 画像処理装置
JP2007043637A (ja) * 2005-06-28 2007-02-15 Canon Inc 撮像装置、撮像プログラムおよび画像処理プログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298965B2 (en) 2010-12-03 2016-03-29 Fujitsu Limited Biometric authentication device and biometric authentication method
JP5713023B2 (ja) * 2010-12-03 2015-05-07 富士通株式会社 生体認証装置及び生体認証方法
WO2012073381A1 (ja) 2010-12-03 2012-06-07 富士通株式会社 生体認証装置及び生体認証方法
JP2014506048A (ja) * 2010-12-23 2014-03-06 アルカテル−ルーセント カメラ計画および位置決めのための統合された方法
US9164030B2 (en) 2011-03-28 2015-10-20 Nec Corporation Image capturing device and image capturing method
JP2012205217A (ja) * 2011-03-28 2012-10-22 Nec Corp 撮像装置、撮像方法
JP2013164310A (ja) * 2012-02-10 2013-08-22 Nec Corp 撮像システムおよび撮像方法
WO2014050535A1 (ja) * 2012-09-25 2014-04-03 日産自動車株式会社 撮像装置及び撮像方法
JPWO2014050535A1 (ja) * 2012-09-25 2016-08-22 日産自動車株式会社 撮像装置及び撮像方法
CN103813105A (zh) * 2012-11-08 2014-05-21 索尼公司 图像处理设备、方法和程序
JP2014096000A (ja) * 2012-11-08 2014-05-22 Sony Corp 画像処理装置および方法、並びに、プログラム
US9100582B2 (en) 2013-01-25 2015-08-04 Fujitsu Limited Image capturing method and image capturing apparatus for illuminating subject
KR101559630B1 (ko) 2013-01-25 2015-10-12 후지쯔 가부시끼가이샤 촬상 방법 및 촬상 장치
JP2014146862A (ja) * 2013-01-25 2014-08-14 Fujitsu Ltd 撮像方法、撮像装置及び撮像プログラム
EP2760192A2 (en) 2013-01-25 2014-07-30 Fujitsu Limited Image capturing method and image capturing apparatus
EP3217317A1 (en) 2016-03-10 2017-09-13 Fujitsu Limited Biometric authentication device, biometric authentication method, and biometric authentication program
US10346673B2 (en) 2016-03-10 2019-07-09 Fujitsu Limited Biometric authentication device, biometric authentication method, and computer-readable non-transitory medium
EP3330888A1 (en) 2016-11-30 2018-06-06 Fujitsu Limited Biometric authentication apparatus, biometric authentication method, and biometric authentication program
US10528805B2 (en) 2016-11-30 2020-01-07 Fujitsu Limited Biometric authentication apparatus, biometric authentication method, and computer-readable storage medium
JP2020515100A (ja) * 2016-12-23 2020-05-21 ルミレッズ リミテッド ライアビリティ カンパニー ビネッティングの補償
JP2018113498A (ja) * 2017-01-06 2018-07-19 日本放送協会 画像処理装置及びそのプログラム
JP2019160676A (ja) * 2018-03-15 2019-09-19 株式会社日本総合研究所 照明制御システム、照明システム、作業機械、及びプログラム

Also Published As

Publication number Publication date
JP4747065B2 (ja) 2011-08-10
US20080079842A1 (en) 2008-04-03
US7852379B2 (en) 2010-12-14

Similar Documents

Publication Publication Date Title
JP4747065B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP4548542B1 (ja) 情報処理装置、情報処理方法及びプログラム
US9152850B2 (en) Authentication apparatus, authentication method, and program
US7817206B2 (en) Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit
US20090051794A1 (en) Image processing apparatus, image processing method, image processing system, program and recording medium
US20050265626A1 (en) Image processor and face detector using the same
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
JP4483067B2 (ja) 対象物体抽出画像処理装置
US10474894B2 (en) Image processing method and system for iris recognition
JP2014027597A (ja) 画像処理装置、物体識別装置、及びプログラム
JP2020202489A5 (ja)
US9117114B2 (en) Image processing device, image processing method, program, and electronic device for detecting a skin region of a subject
JP2020113844A (ja) 照合システム、照合方法およびカメラ装置
JP2010026858A (ja) 認証用画像撮像装置
US20190147280A1 (en) Image processing method and electronic apparatus for foreground image extraction
US20120327251A1 (en) Systems and methods for calibrating an imager
JP3385475B2 (ja) 画像監視装置
JP3862558B2 (ja) 画像センサ及び監視カメラ装置
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
JP2005130268A (ja) 画像抽出装置
EP3430472B1 (en) Method of producing video images that are independent of the background lighting
JP2011014128A (ja) 情報処理装置、情報処理方法及びプログラム
JP7262412B2 (ja) 画像処理装置及び画像処理プログラム
JP6995092B2 (ja) 熱画像データをフィルタリングするための方法およびシステム
JP2009300811A (ja) 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4747065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees