JP2017121041A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2017121041A
JP2017121041A JP2016223449A JP2016223449A JP2017121041A JP 2017121041 A JP2017121041 A JP 2017121041A JP 2016223449 A JP2016223449 A JP 2016223449A JP 2016223449 A JP2016223449 A JP 2016223449A JP 2017121041 A JP2017121041 A JP 2017121041A
Authority
JP
Japan
Prior art keywords
light emission
light source
light
image
emission amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016223449A
Other languages
English (en)
Inventor
英次郎 渋沢
Eijiro Shibusawa
英次郎 渋沢
エドワード 村上
Edward Murakami
エドワード 村上
利浩 北島
Toshihiro Kitajima
利浩 北島
好章 奥野
Yoshiaki Okuno
好章 奥野
相彦 崔
Sang-On Choi
相彦 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to KR1020187011306A priority Critical patent/KR102642925B1/ko
Priority to PCT/KR2016/014436 priority patent/WO2017099517A1/ko
Priority to CN201680072566.2A priority patent/CN108370413B/zh
Priority to EP16873382.2A priority patent/EP3367663B1/en
Priority to US15/778,483 priority patent/US11044403B2/en
Publication of JP2017121041A publication Critical patent/JP2017121041A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Image Input (AREA)

Abstract

【課題】被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行う。【解決手段】複数の光源は、被写界へ向けて発光する。撮像部は、被写界を撮像して撮像画像を取得する。制御部は、複数の光源のうち発光させる光源を切り換える発光制御を行いながら撮像部に被写界を撮像させる。判定部は、撮像部によって取得された撮像画像のうち撮像画像の一部であり且つ撮像画像を取得するための撮像のときに発光している光源に対応する画像領域において予め定められた検出対象の有無を判定する。【選択図】図１

Description

この開示は、撮像装置に関する。
従来、被写界を撮像して被写界を監視する撮像装置が知られている。例えば、特許文献１には、撮像手段にて撮影された画像情報を処理して人間の存在の有無を判定する画像センサが開示されている。
特開２００１−２４３４７５号公報
上記のような撮像装置では、被写界の全領域を照明した状態で被写界を撮像して検出対象（例えば動きや人間）の有無を判定している。また、上記のような撮像装置において、被写界の照明に要する消費電力を低減するために、被写界の照明を中断することが考えられる。しかしながら、被写界の照明を中断すると被写界の監視（検出対象の有無の判定）を継続的に行うことができなくなってしまう。
そこで、この開示は、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことが可能な撮像装置を提供することを目的とする。
この開示の一つの態様による撮像装置は、それぞれが被写界へ向けて発光する複数の光源と、上記被写界を撮像して撮像画像を取得する撮像部と、上記複数の光源のうち発光させる光源を切り換える発光制御を行いながら上記撮像部に上記被写界を撮像させる制御部と、上記撮像部によって取得された撮像画像のうち該撮像画像の一部であり且つ該撮像画像を取得するための撮像のときに発光している光源に対応する画像領域において予め定められた検出対象の有無を判定する判定部とを備えている。
上記撮像装置では、複数の光源のうち発光させる光源を切り換えることにより、複数の光源の全部を継続的に発光させる場合（すなわち、被写界の全領域を継続的に照明する場合）よりも、被写界の照明に要する消費電力を低減することができる。
なお、上記撮像装置では、撮像画像のうちその撮像画像を取得するための撮像のときに発光している光源に対応する画像領域は、被写界において光源によって照明された領域に対応している。したがって、撮像画像のうち上記の画像領域（すなわち、被写界において光源によって照明された領域に対応する画像領域）に対して検出対象の有無の判定を行うことにより、検出対象の有無の判定を正確に行うことができる。
また、上記撮像装置では、複数の光源のうち発光させる光源を切り換えながら被写界の撮像を継続することにより、撮像画像のうち判定部による判定の対象となる画像領域（すなわち、被写界のうち判定の対象となる領域）を切り換えることができる。これにより、被写界の監視（検出対象の有無の判定）を継続的に行うことができる。
以上のように、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
実施形態１による撮像装置の構成例を示したブロック図である。 実施形態１による撮像装置の配置例を示した概略図である。 実施形態１における光源と画像領域との対応関係について説明するための概念図である。 実施形態１による撮像装置の動作について説明するためのフローチャートである。 実施形態１による撮像装置における光源の発光パターンの一例を示したタイミングチャートである。 実施形態２による撮像装置の動作について説明するためのフローチャートである。 実施形態２による撮像装置の動作について説明するためのフローチャートである。 実施形態２による撮像装置の動作について説明するためのフローチャートである。 実施形態２による撮像装置における光源の発光パターンの一例を示したタイミングチャートである。 実施形態２の変形例１による撮像装置の動作について説明するためのフローチャートである。 実施形態２の変形例１による撮像装置における光源の発光パターンの一例を示したタイミングチャートである。 実施形態２の変形例２による撮像装置の動作について説明するためのフローチャートである。 実施形態２の変形例２による撮像装置における光源の発光パターンの一例を示したタイミングチャートである。 実施形態３による撮像装置の動作について説明するためのフローチャートである。 注目領域と隣接領域とを含む候補領域について説明するための概念図である。 実施形態４による撮像装置の構成例を示したブロック図である。 対象物領域について説明するための概念図である。 実施形態４の変形例による撮像装置の動作について説明するためのフローチャートである。 注目領域と隣接領域とに跨がる対象物領域について説明するための概念図である。 実施形態５による撮像装置の構成例を示したブロック図である。 実施形態５における制御器による光源の制御について説明するための図である。 実施形態５における制御器による光源の制御（動き探索モードにおける制御）について説明するための図である。 実施形態５における制御器による光源の制御（動き探索モードにおける制御）の他の例について説明するための図である。 実施形態５における制御器による光源の制御（動き探索モードにおける制御）の他の例について説明するための図である。 実施形態５の動き探索モードにおけるフレーム間差分について説明するための図である。 実施形態５における動き探索モードから顔認識モードへの遷移について説明するための図である。 実施形態５における制御器による光源の制御（顔認識モードにおける制御）について説明するための図である。 実施形態５における制御器による光源の制御（顔認識モードにおける制御）の他の例について説明するための図である。 実施形態５における制御器による光源の制御（顔認識モードにおける制御）の他の例について説明するための図である。 実施形態６による撮像装置の構成例を示したブロック図である。 実施形態６による撮像装置の動作について説明するための図である。 実施形態６における光源の発光動作を示す図である。 照明なしの画像および照明ありの画像の例を示す図である。 実施形態６における制御器の動作について説明するための図である。 実施形態６における光源の動作について説明するための図である。 実施形態６における光源の動作について説明するための図である。 実施形態６における制御器の動作の他の例について説明するための図である。 実施形態７による撮像装置の構成例を示したブロック図である。 実施形態７による撮像装置の動作について説明するためのフローチャートである。 実施形態７による撮像装置の動作について説明するためのフローチャートである。 実施形態７による撮像装置の動作について説明するためのフローチャートである。 実施形態７による撮像装置の動作について説明するためのフローチャートである。 実施形態８による撮像装置の動作について説明するためのフローチャートである。 実施形態８による撮像装置の動作について説明するためのフローチャートである。 実施形態９による撮像装置の構成例を示したブロック図である。 実施形態９による撮像装置の動作について説明するためのフローチャートである。 実施形態１０による撮像装置の構成例を示したブロック図である。 実施形態１０における光源と撮像部と撮像画像との対応関係について説明するための概念図である。 実施形態１０による撮像装置の動作について説明するためのフローチャートである。 実施形態１０による撮像装置における光源の発光パターンの一例を示したタイミングチャートである。 実施形態１０の変形例による撮像装置の動作について説明するためのフローチャートである。 実施形態１０の変形例による撮像装置の動作について説明するためのフローチャートである。 実施形態１０の変形例による撮像装置の動作について説明するためのフローチャートである。 実施形態１０の変形例による撮像装置における光源の発光パターンの一例を示したタイミングチャートである。 実施形態１１による撮像装置の構成例を示したブロック図である。 実施形態１１による撮像装置の動作について説明するためのフローチャートである。 実施形態１２による撮像装置の構成例を示したブロック図である。 実施形態１２による撮像装置の動作について説明するためのフローチャートである。 実施形態１２による撮像装置の動作について説明するためのフローチャートである。 実施形態１３による撮像装置の動作について説明するためのフローチャートである。
以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
〔実施形態１〕
図１は、実施形態１による撮像装置１０の構成例を示している。撮像装置１０は、被写界を撮像して被写界を監視するように構成されている。例えば、図２に示すように、撮像装置１０は、室内に設置される電化製品（図２の例では、フラットパネルディスプレイ）に設けられる。この例では、撮像装置１０は、複数（この例では４つ）の光源１１ａ〜１１ｄと、撮像部１２と、処理回路１３とを備えている。なお、以下の説明では、光源１１ａ〜１１ｄの総称を「光源１１」と記載する。
〈光源〉
光源１１は、被写界へ向けて発光するように構成されている。例えば、光源１１は、発光ダイオード（ＬＥＤ）によって構成されていてもよいし、レーザーダイオードによって構成されていてもよい。なお、光源１１から発せられる光は、赤外光であっても良いし、可視光であってもよい。
また、図２に示すように、複数の光源１１ａ〜１１ｄは、撮像部１２の周辺に設けられている。そして、複数の光源１１ａ〜１１ｄは、被写界の照明を分担して行うように構成されている。具体的には、複数の光源１１ａ〜１１ｄの各々は、被写界のうちその光源１１に対応する一部の領域を照明するように構成され、複数の光源１１ａ〜１１ｄの全部を発光させた場合に被写界の全領域が照明されるように配置されている。この例では、複数の光源１１ａ〜１１ｄは、水平方向に並設されている。
〈撮像部〉
撮像部１２は、被写界を撮像して撮像画像を取得するように構成されている。例えば、撮像部１２は、相補型金属酸化膜半導体（ＣＭＯＳ）によって構成されていてもよいし、電荷結合素子（ＣＣＤ）によって構成されていてもよい。
〈光源と画像領域との対応関係〉
図３に示すように、撮像画像２０には、複数（この例では４つ）の光源１１ａ〜１１ｄにそれぞれ対応する複数（この例では４つ）の画像領域２１ａ〜２１ｄが含まれている。なお、以下の説明では、画像領域２１ａ〜２１ｄの総称を「画像領域２１」と記載する。
画像領域２１は、その画像領域２１に対応する光源１１によって照明される被写界の一部の領域を含んでいる。この例では、画像領域２１ａは、光源１１ａによって照明される被写界の一部の領域を含み、画像領域２１ｂは、光源１１ｂによって照明される被写界の一部の領域を含み、画像領域２１ｃは、光源１１ｃによって照明される被写界の一部の領域を含み、画像領域２１ｄは、光源１１ｄによって照明される被写界の一部の領域を含んでいる。なお、この例では、複数の画像領域２１ａ〜２１ｄは、それぞれの縁部が隣接する画像領域２１の縁部と重複しないように配置されている。
〈処理回路〉
処理回路１３は、光源１１および撮像部１２などの撮像装置１０の各部を制御するように構成されている。例えば、処理回路１３は、ＣＰＵやメモリなどによって構成されている。また、この例では、処理回路１３は、制御部１４と判定部１５と検出部１６とを備えている。
《制御部》
制御部１４は、複数の光源１１ａ〜１１ｄのうち発光させる光源１１を切り換える発光制御を行いながら撮像部１２に被写界（発光させた光源１１により照明された被写界）を撮像させるように構成されている。すなわち、発光制御では、制御部１４は、複数の光源１１ａ〜１１ｄの中から発光させる光源１１を選択し、その選択された光源１１を発光させて撮像部１２に被写界を撮像させる。
《判定部》
判定部１５は、撮像部１２によって取得された撮像画像２０のうち、撮像画像２０の一部であり且つ撮像画像２０を取得するための撮像のときに発光している光源１１に対応する画像領域２１において、予め定められた検出対象（この例では動き）の有無を判定するように構成されている。
《検出部》
検出部１６は、判定部１５によって検出対象ありと判定された画像領域を含む撮像画像から予め定められた対象物（この例では人間）を検出するように構成されている。また、検出部１６は、検出結果を外部へ出力するように構成されている。
〈動作〉
次に、図４を参照して、実施形態１による撮像装置１０の動作について説明する。この例では、光源１１ａ〜１１ｄの発光順序（発光させる光源１１を選択する順序）が予め定められ、画像領域２１ａ〜２１ｄの判定順序（判定対象となる画像領域２１を選択する順序）が予め定められている。すなわち、光源１１および画像領域２１の選択順序が予め定められている。具体的には、光源１１ａと画像領域２１ａが第１番目に選択され、光源１１ｂと画像領域２１ｂが第２番目に選択され、光源１１ｃと画像領域２１ｃが第３番目に選択され、光源１１ｄと画像領域２１ｄが第４番目に選択されるように、光源１１および画像領域２１の選択順序が予め定められている。また、光源１１および画像領域２１の選択順序に基づいて光源１１ａ〜１１ｄと画像領域２１ａ〜２１ｄに番号（選択順を示した番号）が割り当てられている。具体的には、光源１１ａと画像領域２１ａに「１」が割り当てられ、光源１１ｂと画像領域２１ｂに「２」が割り当てられ、光源１１ｃと画像領域２１ｃに「３」が割り当てられ、光源１１ｄと画像領域２１ｄに「４」が割り当てられている。また、以下の説明において、変数Ｋは、１以上であり且つ上限値Ｋｍａｘ以下の整数であり、処理の対象となる光源１１および画像領域２１の番号を示している。上限値Ｋｍａｘは、２以上の整数であり、光源１１の個数（この例では４）に相当する。
《ステップＳＴ１０１》
まず、制御部１４は、変数Ｋを１に設定する。すなわち、制御部１４は、予め定められた選択順序において第１番目に選択される光源１１および画像領域２１（この例では、光源１１ａおよび画像領域２１ａ）を、今回の処理の対象となる光源１１および画像領域２１として選択する。
《ステップＳＴ１０２，ＳＴ１０３》
次に、制御部１４は、複数の光源１１ａ〜１１ｄのうち第Ｋ番目の画像領域２１（今回の処理の対象となる画像領域２１）に対応する光源１１を発光させ、撮像部１２に被写界を撮像させる。例えば、制御部１４は、複数の光源１１ａ〜１１ｄのうち第Ｋ番目の画像領域２１に対応する光源１１が発光している期間中に、時系列に連続するＮ枚（Ｎは２以上の整数）の撮像画像２０からなる撮像画像列が取得されるように、撮像部１２に被写界の撮像をＮ回連続して行わせる。
《ステップＳＴ１０４》
次に、判定部１５は、ステップＳＴ１０３において取得された撮像画像２０から第Ｋ番目の画像領域２１を抽出する。例えば、判定部１５は、ステップＳＴ１０３において取得された撮像画像列を構成するＮ枚の撮像画像２０の各々から第Ｋ番目の画像領域２１を抽出し、それらの抽出されたＮ個の画像領域２１（第Ｋ番目の画像領域２１）からなる部分画像列を取得する。
《ステップＳＴ１０５》
次に、判定部１５は、ステップＳＴ１０４において抽出された第Ｋ番目の画像領域２１において検出対象（この例では動き）の有無を判定する。第Ｋ番目の画像領域２１において検出対象があると判定された場合には、ステップＳＴ１０６へ進み、そうでない場合には、ステップＳＴ１０７へ進む。
例えば、判定部１５は、ステップＳＴ１０４において取得された部分画像列を構成するＮ個の画像領域（第Ｋ番目の画像領域）からＮ−１個の部分差分画像を算出する。なお、第Ｘ番目（Ｘは１以上であり且つＮ−１以下の整数）の部分差分画像は、部分画像列を構成するＮ個の画像領域のうち時系列において第Ｘ番目に位置する撮像画像に含まれる第Ｋ番目の画像領域と時系列において第Ｘ＋１番目に位置する撮像画像に含まれる第Ｋ番目の画像領域との差分画像に相当する。次に、判定部１５は、Ｎ−１個の部分差分画像の画素値を画素毎に平均して差分平均画像（それぞれの画素値がＮ−１個の画素値の平均値を示した画像）を算出する。そして、判定部１５は、差分平均画像に含まれる複数の画素値のうち予め定められた差分閾値を上回る画素値の個数の占有割合（差分平均画像に含まれる全画素数に対する割合）が予め定められた占有割合閾値を上回る場合に、第Ｋ番目の画像領域に動き（検出対象）があると判定し、そうでない場合に、第Ｋ番目の画像領域に動き（検出対象）がないと判定する。なお、差分閾値および占有割合閾値は、例えば、動きがあるとみなせるときの画素値および占有割合にそれぞれ設定されている。
《ステップＳＴ１０６》
次に、検出部１６は、ステップＳＴ１０５において検出対象ありと判定された第Ｋ番目の画像領域２１を含む撮像画像２０から対象物１００（この例では人間）を検出する。例えば、検出部１６は、非特許文献１「Navneet Dalal and Bill Triggs,"Histograms of OrientedGradients for HumanDetection,"Proc. of CVPR2005, vol.1, pp. 886-893,2005.」に示された検出手法（輝度勾配ヒストグラム特徴の機械学習に基づく検出手法）を用いて対象物検出処理（この例では、人検出処理）を行うように構成されていてもよい。
《ステップＳＴ１０７，ＳＴ１０８，ＳＴ１０９》
次に、制御部１４は、予め定められた選択順序に基づいて、次回の処理の対象となる光源１１および画像領域２１を選択する。具体的には、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定し、変数Ｋが上限値Ｋｍａｘに到達していない場合に変数Ｋに１を加算し、変数Ｋが上限値Ｋｍａｘに到達している場合に変数Ｋを１に設定する。次に、ステップＳＴ１１０へ進む。
すなわち、制御部１４は、今回の処理の対象となっている光源１１および画像領域２１が予め定められた選択順序において最後に選択される光源１１および画像領域２１（この例では、光源１１ｄおよび画像領域２１ｄ）であるか否かを判定する（ステップＳＴ１０７）。今回の処理の対象となっている光源１１および画像領域２１が予め定められた選択順序において最後に選択される光源１１および画像領域２１ではない場合、制御部１４は、予め定められた選択順序において今回の処理の対象となっている光源１１および画像領域２１の次に選択される画像領域２１を、次回の処理の対象となる光源１１および画像領域２１として選択する（ステップＳＴ１０８）。一方、今回の処理の対象となっている光源１１および画像領域２１が予め定められた選択順序において最後に選択される光源１１および画像領域２１である場合、制御部１４は、予め定められた選択順序において第１番目に選択される光源１１および画像領域２１（この例では、光源１１ａおよび画像領域２１ａ）を、次回の処理の対象となる光源１１および画像領域２１として選択する（ステップＳＴ１０９）。
《ステップＳＴ１１０》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップＳＴ１０２へ進む。
〈光源の発光パターン〉
図５は、実施形態１における光源１１の発光パターンの一例を示している。図５に示すように、実施形態１では、予め定められた発光順序（この例では、光源１１ａ，１１ｂ，１１ｃ，１１ｄの順）で複数の光源１１ａ〜１１ｄが順次に発光するように、発光制御（発光させる光源１１を切り換えるための制御）が行われる。
〈実施形態１による効果〉
以上のように、複数の光源１１ａ〜１１ｄのうち発光させる光源１１を切り換えることにより、複数の光源１１ａ〜１１ｄの全部を継続的に発光させる場合（すなわち、被写界の全領域を継続的に照明する場合）よりも、被写界の照明に要する消費電力を低減することができる。
なお、撮像画像２０のうちその撮像画像２０を取得するための撮像のときに発光している光源１１に対応する画像領域２１は、被写界においてその光源１１によって照明された領域（被写界の一部）に対応している。したがって、撮像画像２０のうち上記の画像領域２１（すなわち、被写界において光源１１によって照明された領域に対応する画像領域２１）に対して検出対象（この例では動き）の有無の判定を行うことにより、検出対象の有無の判定を正確に行うことができる。
また、複数の光源１１ａ〜１１ｄのうち発光させる光源１１を切り換えながら被写界の撮像を継続することにより、撮像画像２０のうち判定部１５による判定の対象となる画像領域２１（すなわち、被写界のうち判定の対象となる領域）を切り換えることができる。これにより、被写界の監視（検出対象の有無の判定）を継続的に行うことができる。
また、判定部１５によって検出対象（この例では動き）ありと判定された画像領域２１を含む撮像画像２０を対象物検出処理（この例では人検出処理）の対象とすることにより、対象物の検出を効率よく行うことができる。
なお、制御部１４が発光制御において複数の光源１１ａ〜１１ｄの中から１つの光源を選択して発光させる場合を例に挙げたが、制御部１４は、発光制御において複数の光源１１ａ〜１１ｄの中から２以上の光源１１（ただし全ての光源１１ではない）を選択して同時に発光させるように構成されていてもよい。
〔実施形態２〕
実施形態２による撮像装置１０は、その動作が実施形態１による撮像装置１０の動作と異なっている。実施形態２では、制御部１４は、判定部１５によって検出対象ありと判定された画像領域２１が存在していない場合に、複数の光源１１ａ〜１１ｄが予め定められた発光順序で発光するように、発光制御（発光させる光源１１を切り換えるための制御）を行い、判定部１５によって検出対象ありと判定された画像領域２１が存在している場合に、複数の光源１１ａ〜１１ｄのうち判定部１５によって検出対象ありと判定された画像領域２１に対応する光源１１の発光頻度が高くなるように、発光制御を行う。
具体的には、実施形態２では、制御部１４は、判定部１５によって検出対象ありと判定された画像領域２１が存在している場合に、判定部１５によって検出対象ありと判定された画像領域２１に対応する光源１１が発光する第１発光動作と予め定められた発光順序に基づいて判定部１５によって検出対象ありと判定されていない画像領域２１に対応する光源１１のうち１つの光源１１が発光する第２発光動作とが交互に行われるように発光制御を行う。なお、実施形態２のその他の構成は、実施形態１と同様となっている。
〈動作〉
次に、図６，図７，図８を参照して、実施形態２による撮像装置１０の動作について説明する。この例では、実施形態１と同様に、光源１１ａ〜１１ｄの発光順序（発光させる光源１１を選択する順序）が予め定められ、画像領域２１ａ〜２１ｄの判定順序（判定対象となる画像領域２１を選択する順序）が予め定められている。具体的には、光源１１ａと画像領域２１ａが第１番目に選択され、光源１１ｂと画像領域２１ｂが第２番目に選択され、光源１１ｃと画像領域２１ｃが第３番目に選択され、光源１１ｄと画像領域２１ｄが第４番目に選択されるように、光源１１および画像領域２１の選択順序が予め定められている。また、光源１１および画像領域２１の選択順序に基づいて光源１１ａ〜１１ｄと画像領域２１ａ〜２１ｄに番号（選択順を示した番号）が割り当てられている。
《ステップＳＴ２０１》
まず、ステップＳＴ１０１と同様に、制御部１４は、変数Ｋを１に設定する。
《ステップＳＴ２０２》
次に、制御部１４は、注目領域が存在しているか否かを判定する。注目領域は、判定部１５によって検出対象（この例では動き）ありと判定された画像領域２１に相当する。注目領域が存在していないと判定された場合には、ステップＳＴ２０３へ進み。注目領域が存在している場合には、ステップＳＴ２１３へ進む。
《ステップＳＴ２０３〜ＳＴ２０６》
次に、ステップＳＴ１０２，ＳＴ１０３と同様に、制御部１４は、複数の光源１１ａ〜１１ｄのうち第Ｋ番目の画像領域２１（今回の処理の対象となる画像領域２１）に対応する光源１１を発光させ、撮像部１２に被写界を撮像させる。次に、ステップＳＴ１０４，ＳＴ１０５と同様に、判定部１５は、ステップＳＴ２０４において取得された撮像画像２０から第Ｋ番目の画像領域２１を抽出し、その第Ｋ番目の画像領域２１において検出対象（この例では動き）の有無を判定する。第Ｋ番目の画像領域２１において検出対象があると判定された場合には、ステップＳＴ２０７へ進み、そうでない場合には、ステップＳＴ２０９へ進む。
《ステップＳＴ２０７》
次に、制御部１４は、ステップＳＴ２０６において検出対象ありと判定された第Ｋ番目の画像領域２１を注目対象（すなわち、注目領域）に設定する。次に、ステップＳＴ２０８へ進む。
《ステップＳＴ２０８》
次に、ステップＳＴ１０６と同様に、検出部１６は、ステップＳＴ２０６において検出対象ありと判定された第Ｋ番目の画像領域２１を含む撮像画像２０から対象物１００（この例では人間）を検出する。
《ステップＳＴ２０９，ＳＴ２１０，ＳＴ２１１》
次に、ステップＳＴ１０７，ＳＴ１０８，ＳＴ１０９と同様に、制御部１４は、予め定められた選択順序に基づいて、次回の処理の対象となる光源１１および画像領域２１を選択する。具体的には、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定し、変数Ｋが上限値Ｋｍａｘに到達していない場合に変数Ｋに１を加算し、変数Ｋが上限値Ｋｍａｘに到達している場合に変数Ｋを１に設定する。次に、ステップＳＴ２１２へ進む。
《ステップＳＴ２１２》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップＳＴ２０２へ進む。
《ステップＳＴ２１３，ＳＴ２１４》
一方、ステップＳＴ２０２において注目領域が存在していると判定した場合、制御部１４は、複数の光源１１ａ〜１１ｄのうち注目領域である画像領域２１に対応する光源を発光させ、撮像部１２に被写界を撮像させる。具体的には、ステップＳＴ１０３と同様に、制御部１４は、複数の光源１１ａ〜１１ｄのうち注目領域である画像領域２１に対応する光源１１が発光している期間中に、時系列に連続するＮ枚の撮像画像２０からなる撮像画像列が取得されるように、撮像部１２に被写界の撮像をＮ回連続して行わせる。
《ステップＳＴ２１５》
次に、判定部１５は、ステップＳＴ２１４において取得された撮像画像２０から注目領域である画像領域２１を抽出する。具体的には、ステップＳＴ１０４と同様に、判定部１５は、ステップＳＴ２１４において取得された撮像画像列を構成するＮ枚の撮像画像２０の各々から注目領域である画像領域２１を抽出して、それらの抽出されたＮ個の画像領域２１（注目領域である画像領域２１）からなる部分画像列を取得する。
《ステップＳＴ２１６》
次に、判定部１５は、ステップＳＴ２１５において抽出された注目領域である画像領域２１において検出対象（この例では動き）の有無を判定する。なお、検出対象の有無の判定手法は、ステップＳＴ１０５の判定手法と同様であってもよい。注目領域である画像領域２１において検出対象があると判定された場合には、ステップＳＴ２１７へ進み、そうでない場合には、ステップＳＴ２１８へ進む。
《ステップＳＴ２１７》
次に、検出部１６は、ステップＳＴ２１６において検出対象ありと判定された注目領域である画像領域２１を含む撮像画像２０から対象物１００（この例では人間）を検出する。なお、対象物の検出手法は、ステップＳＴ１０６の検出手法と同様であってもよい。次に、ステップＳＴ２１９へ進む。
《ステップＳＴ２１８》
一方、ステップＳＴ２１６において検出対象なしと判定された場合、制御部１４は、検出対象なしと判定された注目領域である画像領域２１を注目対象（すなわち、注目領域）から除外する。次に、ステップＳＴ２１９へ進む。
《ステップＳＴ２１９》
次に、制御部１４は、第Ｋ番目の画像領域２１が注目領域に設定されているか否かを判定する。第Ｋ番目の画像領域２１が注目領域に設定されている場合には、ステップＳＴ２２０へ進み、そうでない場合には、ステップＳＴ２２３へ進む。
《ステップＳＴ２２０，ＳＴ２２１，ＳＴ２２２》
ステップＳＴ２１９において第Ｋ番目の画像領域２１が注目領域に設定されていると判定された場合、制御部１４は、予め定められた選択順序に基づいて、次回の処理の対象となる光源１１および画像領域２１を選択する。具体的には、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定し、変数Ｋが上限値Ｋｍａｘに到達していない場合に変数Ｋに１を加算し、変数Ｋが上限値Ｋｍａｘに到達している場合に変数Ｋを１に設定する。次に、ステップＳＴ２１９へ進む。
《ステップＳＴ２２３〜ＳＴ２２６》
一方、ステップＳＴ２１９において第Ｋ番目の画像領域２１が注目領域に設定されていないと判定された場合、ステップＳＴ２０３，ＳＴ２０４と同様に、制御部１４は、複数の光源１１ａ〜１１ｄのうち第Ｋ番目の画像領域２１に対応する光源１１を発光させ、撮像部１２に被写界を撮像させる。次に、ステップＳＴ２０５，ＳＴ２０６と同様に、判定部１５は、ステップＳＴ２２４において取得された撮像画像２０から第Ｋ番目の画像領域２１を抽出し、その第Ｋ番目の画像領域２１において検出対象（この例では動き）の有無を判定する。第Ｋ番目の画像領域２１において検出対象があると判定された場合には、ステップＳＴ２２７へ進み、そうでない場合には、ステップＳＴ２２９へ進む。
《ステップＳＴ２２７》
次に、ステップＳＴ２０７と同様に、制御部１４は、ステップＳＴ２２６において検出対象ありと判定された第Ｋ番目の画像領域２１を注目対象（すなわち、注目領域）に設定する。次に、ステップＳＴ２２８へ進む。
《ステップＳＴ２２８》
次に、ステップＳＴ２０８と同様に、検出部１６は、ステップＳＴ２２６において検出対象ありと判定された第Ｋ番目の画像領域２１を含む撮像画像２０から対象物１００（この例では人間）を検出する。
《ステップＳＴ２２９，ＳＴ２３０，ＳＴ２３１》
次に、ステップＳＴ２０９，ＳＴ２１０，ＳＴ２１１と同様に、制御部１４は、予め定められた選択順序に基づいて、次回の処理の対象となる光源１１および画像領域２１を選択する。具体的には、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定し、変数Ｋが上限値Ｋｍａｘに到達していない場合に変数Ｋに１を加算し、変数Ｋが上限値Ｋｍａｘに到達している場合に変数Ｋを１に設定する。次に、ステップＳＴ２１２へ進む。
〈光源の発光パターン〉
図９は、実施形態２において注目領域が存在している場合の光源１１の発光パターンの一例を示している。図９では、光源１１ａが注目領域である画像領域２１に対応し、３つの光源１１ｂ，１１ｃ，１１ｄが注目領域ではない３つの画像領域２１にそれぞれ対応している。図９に示すように、実施形態２では、注目領域が存在している場合に、注目領域に対応する光源１１（図９では、光源１１ａ）が発光する第１発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域２１に対応する光源１１（図９では、光源１１ｂ，１１ｃ，１１ｄ）のうち１つの光源１１が発光する第２発光動作とが交互に行われるように、発光制御が行われる。すなわち、実施形態２では、注目領域が存在している場合に、複数の光源１１ａ〜１１ｄのうち注目領域に対応する光源１１の発光頻度が高くなるように、発光制御が行われる。
なお、実施形態２において注目領域が存在していない場合の光源１１の発光パターンの一例は、図５に示した発光パターンとなる。図５に示すように、実施形態２では、注目領域が存在していない場合に、予め定められた発光順序（この例では、光源１１ａ，１１ｂ，１１ｃ，１１ｄの順）で複数の光源１１ａ〜１１ｄが順次に発光するように、発光制御が行われる。
〈実施形態２による効果〉
以上のように、注目領域（判定部１５によって検出対象ありと判定された画像領域２１）が存在している場合に、複数の光源１１ａ〜１１ｄのうち注目領域に対応する光源１１の発光頻度が高くなるように、複数の光源１１ａ〜１１ｄのうち発光させる光源１１を切り換える発光制御を行いながら撮像部１２に被写界を撮像させることにより、注目領域（検出対象ありと判定された画像領域２１）に対して検出対象の有無の判定を重点的に行うことができる。これにより、被写界のうち検出対象があると見込まれる領域を重点的に監視することができるので、被写界の監視（検出対象の有無の判定）を効果的に行うことができる。
〔実施形態２の変形例１〕
なお、実施形態２による撮像装置１０において、複数の画像領域２１が注目対象（すなわち、注目領域）に設定されていてもよい。そして、制御部１４は、複数の注目領域（判定部１５によって検出対象ありと判定された複数の画像領域２１）にそれぞれ対応する複数の光源１１が第１発光動作において同時に発光するように発光制御を行うように構成されていてもよい。
〈動作〉
次に、図１０を参照して、実施形態２の変形例１による撮像装置１０の動作について説明する。実施形態２の変形例１による撮像装置１０では、図７に示した動作に代えて、図１０に示した動作が行われる。なお、この例では、注目領域の判定順序（判定対象となる注目領域を選択する順序）が予め定められている。そして、注目領域の選択順序に基づいて複数の注目領域に番号（選択順を示した番号）が割り当てられている。また、以下の説明において、変数Ｌは、１以上であり且つ上限値Ｌｍａｘ以下の整数であり、処理の対象となる注目領域の番号を示している。上限値Ｌｍａｘは、２以上であり且つ上限値Ｋｍａｘ以下の整数であり、注目領域の個数に相当する。
《ステップＳＴ３０１，ＳＴ３０２》
ステップＳＴ２０２において注目領域が存在していると判定した場合、制御部１４は、複数の光源１１ａ〜１１ｄのうち全ての注目領域に対応する全ての光源１１を同時に発光させ、撮像部１２に被写界を撮像させる。具体的には、制御部１４は、複数の光源１１ａ〜１１ｄのうち全ての注目領域に対応する全ての光源１１が同時に発光している期間中に、時系列に連続するＮ枚の撮像画像２０からなる撮像画像列が取得されるように、撮像部１２に被写界の撮像をＮ回連続して行わせる。
《ステップＳＴ３０３》
次に、制御部１４は、変数Ｌを１に設定する。すなわち、制御部１４は、予め定められた選択順序（注目領域についての判定順序）において第１番目に選択される注目領域を、今回の処理の対象となる注目領域として選択する。
《ステップＳＴ３０４》
次に、判定部１５は、ステップＳＴ３０２において取得された撮像画像２０から第Ｌ番目の注目領域である画像領域２１を抽出する。具体的には、判定部１５は、ステップＳＴ３０２において取得された撮像画像列を構成するＮ枚の撮像画像２０の各々から第Ｌ番目の注目領域である画像領域２１を抽出し、それらの抽出されたＮ個の画像領域２１（第Ｌ番目の注目領域となる画像領域２１）からなる部分画像列を取得する。
《ステップＳＴ３０５》
次に、判定部１５は、ステップＳＴ３０４において抽出された第Ｌ番目の注目領域である画像領域２１において検出対象（この例では動き）の有無を判定する。なお、検出対象の有無の判定手法は、ステップＳＴ２１６の判定手法と同様であってもよい。第Ｌ番目の注目領域である画像領域２１において検出対象があると判定された場合には、ステップＳＴ３０６へ進み、そうでない場合には、ステップＳＴ３０７へ進む。
《ステップＳＴ３０６》
次に、検出部１６は、ステップＳＴ３０５において検出対象ありと判定された注目領域である画像領域２１を含む撮像画像２０から対象物１００（この例では人間）を検出する。なお、対象物１００の検出手法は、ステップＳＴ２１７の検出手法と同様であってもよい。次に、ステップＳＴ３０８へ進む。
《ステップＳＴ３０７》
一方、ステップＳＴ３０５において検出対象なしと判定された場合、制御部１４は、検出対象なしと判定された注目領域である画像領域２１を注目対象（すなわち、注目領域）から除外する。次に、ステップＳＴ３０８へ進む。
《ステップＳＴ３０８》
次に、制御部１４は、変数Ｌが上限値Ｌｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、複数の注目領域のうち処理の対象として選択されていない注目領域が残っているか否かを判定する。変数Ｌが上限値Ｌｍａｘに到達していない場合には、ステップＳＴ３０９へ進み、変数Ｌが上限値Ｌｍａｘに到達している場合には、ステップＳＴ２１９へ進む。
《ステップＳＴ３０９》
ステップＳＴ３０８において変数Ｌが上限値Ｌｍａｘに到達していないと判定された場合、制御部１４は、変数Ｌに１を加算する。すなわち、予め定められた選択順序（注目領域についての判定順序）において今回の処理の対象となっている注目領域の次に選択される注目領域を、次回の処理の対象となる注目領域として選択する。次に、ステップＳＴ３０４へ進む。
〈光源の発光パターン〉
図１１は、実施形態２の変形例１において複数の注目領域が存在している場合の光源１１の発光パターンの一例を示している。図１１では、２つの光源１１ａ，１１ｃが２つの注目領域である２つの画像領域２１にそれぞれ対応し、２つの光源１１ｂ，１１ｄが注目領域ではない２つの画像領域２１にそれぞれ対応している。図１１に示すように、実施形態２の変形例１では、複数の注目領域が存在している場合に、複数の注目領域にそれぞれ対応する複数の光源１１（図１１では、光源１１ａ，１１ｃ）が同時に発光する第１発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域２１に対応する光源１１（図１１では、光源１１ｂ，１１ｄ）のうち１つの光源１１が発光する第２発光動作とが交互に行われるように、発光制御が行われる。
〈実施形態２の変形例１による効果〉
以上のように、複数の注目領域（判定部１５によって検出対象ありと判定された複数の画像領域２１）にそれぞれ対応する複数の光源１１を第１発光動作において同時に発光させることにより、これらの複数の光源１１を第１発光動作において異なるタイミングで発光させる場合よりも、第１発光動作に要する時間を短縮することができる。これにより、撮像時間を短縮することができる。
〔実施形態２の変形例２〕
または、実施形態２による撮像装置１０において、制御部１４は、複数の注目領域（判定部１５によって検出対象ありと判定された複数の画像領域２１）にそれぞれ対応する複数の光源１１が第１発光動作において順に発光するように発光制御を行うように構成されていてもよい。
〈動作〉
次に、図１２を参照して、実施形態２の変形例２による撮像装置１０の動作について説明する。実施形態２の変形例２による撮像装置１０では、図７に示した動作に代えて、図１２に示した動作が行われる。なお、この例では、注目領域の判定順序（判定対象となる注目領域を選択する順序）が予め定められている。そして、注目領域の選択順序に基づいて複数の注目領域に番号（選択順を示した番号）が割り当てられている。また、以下の説明において、変数Ｌは、１以上であり且つ上限値Ｌｍａｘ以下の整数であり、処理の対象となる注目領域の番号を示している。上限値Ｌｍａｘは、２以上であり且つ上限値Ｋｍａｘ以下の整数であり、注目領域の個数に相当する。
《ステップＳＴ４０１》
ステップＳＴ２０２において注目領域が存在していると判定した場合、制御部１４は、変数Ｌを１に設定する。すなわち、制御部１４は、予め定められた選択順序（注目領域についての判定順序）において第１番目に選択される注目領域を、今回の処理の対象となる注目領域として選択する。
《ステップＳＴ４０２，ＳＴ４０３》
次に、制御部１４は、複数の光源１１ａ〜１１ｄのうち第Ｌ番目の注目領域に対応する光源１１を発光させ、撮像部１２に被写界を撮像させる。具体的には、制御部１４は、複数の光源１１ａ〜１１ｄのうち第Ｌ番目の注目領域に対応する光源１１が発光している期間中に、時系列に連続するＮ枚の撮像画像２０からなる撮像画像列が取得されるように、撮像部１２に被写界の撮像をＮ回連続して行わせる。
《ステップＳＴ４０４》
次に、制御部１４は、ステップＳＴ４０３において取得された撮像画像２０から第Ｌ番目の注目領域である画像領域２１を抽出する。具体的には、判定部１５は、ステップＳＴ４０３において取得された撮像画像列を構成するＮ枚の撮像画像２０の各々から第Ｌ番目の注目領域である画像領域２１を抽出し、それらの抽出されたＮ個の画像領域２１（第Ｌ番目の注目領域となる画像領域２１）からなる部分画像列を取得する。
《ステップＳＴ４０５》
次に、判定部１５は、ステップＳＴ４０４において抽出された第Ｌ番目の注目領域である画像領域２１において検出対象（この例では動き）の有無を判定する。なお、検出対象の有無の判定手法は、ステップＳＴ２１６の判定手法と同様であってもよい。第Ｌ番目の注目領域である画像領域２１において検出対象があると判定された場合には、ステップＳＴ４０６へ進み、そうでない場合には、ステップＳＴ４０７へ進む。
《ステップＳＴ４０６》
次に、検出部１６は、ステップＳＴ４０５において検出対象ありと判定された注目領域である画像領域２１を含む撮像画像２０から対象物１００（この例では人間）を検出する。なお、対象物の検出手法は、ステップＳＴ２１７の検出手法と同様であってもよい。次に、ステップＳＴ４０８へ進む。
《ステップＳＴ４０７》
一方、ステップＳＴ４０５において検出対象なしと判定された場合、制御部１４は、検出対象なしと判定された注目領域である画像領域２１を注目対象（すなわち、注目領域）から除外する。次に、ステップＳＴ４０８へ進む。
《ステップＳＴ４０８》
次に、制御部１４は、変数Ｌが上限値Ｌｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、複数の注目領域のうち処理の対象として選択されていない注目領域が残っているか否かを判定する。変数Ｋが上限値Ｌｍａｘに到達していない場合には、ステップＳＴ４０９へ進み、変数Ｋが上限値Ｌｍａｘに到達している場合には、ステップＳＴ２１９へ進む。
《ステップＳＴ４０９》
ステップＳＴ４０８において変数Ｌが上限値Ｌｍａｘに到達していないと判定された場合、制御部１４は、変数Ｌに１を加算する。すなわち、予め定められた選択順序（注目領域についての判定順序）において今回の処理の対象となっている注目領域の次に選択される注目領域を、次回の処理の対象となる注目領域として選択する。次に、ステップＳＴ４０２へ進む。
〈光源の発光パターン〉
図１３は、実施形態２の変形例２において複数の注目領域が存在している場合の光源１１の発光パターンの一例を示している。図１３では、２つの光源１１ａ，１１ｃが注目領域である２つの画像領域２１にそれぞれ対応し、２つの光源１１ｂ，１１ｄが注目領域ではない２つの画像領域２１にそれぞれ対応している。図１３に示すように、実施形態２の変形例２では、複数の注目領域が存在している場合に、複数の注目領域にそれぞれ対応する複数の光源１１（図１３では、光源１１ａ，１１ｃ）が順次に発光する第１発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域２１に対応する光源１１（図１３では、光源１１ｂ，１１ｄ）のうち１つの光源１１が発光する第２発光動作とが交互に行われるように、発光制御が行われる。
〈実施形態２の変形例２による効果〉
以上のように、複数の注目領域（判定部１５によって検出対象ありと判定された複数の画像領域２１）にそれぞれ対応する複数の光源１１を第１発光動作において順次に発光させることにより、互いに隣接する２つの画像領域２１に対応する２つの光源１１から同時に発せられた光が被写界において重複してしまうことを回避することができる。これにより、このような光の重複に起因する被写界の照度の変動を防止することができ、被写界の監視（検出対象の有無の判定）を正確に行うことができる。
〔実施形態３〕
実施形態３による撮像装置１０は、その動作が実施形態１による撮像装置１０の動作と異なっている。実施形態３では、検出部１６は、注目領域（判定部１５によって検出対象ありと判定された画像領域２１）のうち判定部１５によって検出対象ありと判定された部位が注目領域の縁部である場合に、注目領域と隣接領域（注目領域の縁部に隣接する画像領域２１）とを含む候補領域３０から対象物１００を検出するように構成されている。なお、実施形態３のその他の構成は、実施形態１と同様となっている。
〈動作〉
次に、図１４を参照して、実施形態３による撮像装置１０の動作について説明する。実施形態３による撮像装置１０では、検出部１６は、図４に示したステップＳＴ１０６の処理（対象物検出処理）に代えて、図１４に示した処理を行うように構成されている。
《ステップＳＴ５０１》
ステップＳＴ１０５において第Ｋ番目の画像領域２１において検出対象（この例では動き）があると判定された場合、検出部１６は、注目領域（すなわち、判定部１５によって検出対象ありと判定された第Ｋ番目の画像領域２１）において検出対象ありと判定された部位が注目領域の縁部であるか否かを判定する。検出対象ありと判定された部位が注目領域の縁部である場合には、ステップＳＴ５０２へ進み、そうでない場合には、ステップＳＴ５０４へ進む。
《ステップＳＴ５０２》
次に、検出部１６は、第Ｋ番目の画像領域２１である注目領域の縁部（検出対象ありと判定された部位を含む縁部）に隣接する画像領域２１である隣接領域が存在しているか否かを判定する。隣接領域が存在している場合には、ステップＳＴ５０３へ進み、そうでない場合には、ステップＳＴ５０４へ進む。
《ステップＳＴ５０３》
次に、検出部１６は、第Ｋ番目の画像領域２１である注目領域と注目領域の縁部に隣接する画像領域２１である隣接領域とを含む候補領域３０に対して対象物検出処理（この例では、人検出処理）を行う。例えば、図１５に示すように、注目領域である画像領域２１ａの右側の縁部において検出対象（この例では動き）があると判定部１５によって判定されると、検出部１６は、画像領域２１ａの右端の縁部に隣接する画像領域２１ｂを隣接領域となる画像領域２１に設定し、注目領域である画像領域２１ａと隣接領域である画像領域２１ｂとを含む候補領域３０に対して対象物検出処理を行う。なお、対象物１００の検出手法は、ステップＳＴ１０６の検出手法と同様であってもよい。
《ステップＳＴ５０４》
一方、ステップＳＴ５０１において検出対象ありと判定された部位が注目領域の縁部ではないと判定された場合、または、ステップＳＴ５０２において注目領域の縁部に隣接する画像領域２１である隣接領域が存在していないと判定された場合、検出部１６は、注目領域である第Ｋ番目の画像領域２１に対して対象物検出処理（この例では、人検出処理）を行う。なお、対象物１００の検出手法は、ステップＳＴ１０６の検出手法と同様であってもよい。
〈実施形態３による効果〉
以上のように、注目領域（判定部１５によって検出対象ありと判定された画像領域２１）のうち判定部１５によって検出対象ありと判定された部位が注目領域の縁部である場合に、注目領域と隣接領域（注目領域の縁部に隣接する画像領域）とを含む候補領域３０から対象物１００を検出することにより、対象物検出処理において注目領域に隣接する隣接領域を補助的に利用することができる。これにより、注目領域のみを対象物検出処理の対象とする場合よりも、対象物１００の検出精度を向上させることができる。
〔実施形態４〕
図１６は、実施形態４による撮像装置１０の構成例を示している。実施形態４では、処理回路１３は、図１に示した制御部１４と判定部１５と検出部１６に加えて、識別部１７を備えている。実施形態４のその他の構成は、実施形態１と同様となっている。
〈識別部〉
識別部１７は、撮像画像２０から対象物領域４０を抽出し、対象物領域４０と予め登録された照合画像とを照合して対象物１００を識別するように構成されている。図１７に示すように、対象物領域４０は、撮像画像２０の一部であり且つ検出部１６によって検出された対象物１００を含む領域（画像領域）に相当する。この例では、対象物１００は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部１７は、対象物領域４０に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別を行う。また、識別部１７は、識別結果を外部に出力するように構成されている。
なお、識別部１７は、非特許文献２「Paul Violaand Michael Jones,"Rapid Object Detection using a BoostedCascade of SimpleFeatures,"Proc. of CVPR2001, vol.1, pp. 511-518,2001.」に示された手法（輝度分布の比較に基づく手法）などを用いて対象物領域４０を抽出するように構成されていてもよい。また、識別部１７は、サポートベクトルマシンや相互部分空間法などを用いて照合処理（対象物領域４０と照合画像との照合）を行うように構成されていてもよい。
〈実施形態４による効果〉
以上のように、撮像画像２０から対象物領域４０（撮像画像２０の一部であり且つ検出部１６によって検出された対象物１００を含む領域）を抽出し、対象物領域４０と予め登録された照合画像とを照合して対象物１００を識別することにより、対象物１００の識別を効率よく行うことができる。
〔実施形態４の変形例〕
なお、実施形態４による撮像装置１０において、制御部１４は、識別部１７によって抽出される対象物領域４０が注目領域（判定部１５によって検出対象ありと判定された画像領域２１）と隣接領域（注目領域の縁部に隣接する画像領域２１）とに跨がっている場合に、複数の光源１１ａ〜１１ｄのうち注目領域および隣接領域に対応する光源１１を発光させて撮像部１２に被写界を撮像させるように構成されていてもよい。また、識別部１７は、注目領域に対応する光源１１が発光しているときに撮像部１２によって取得された撮像画像２０から対象物領域４０を抽出して対象物領域４０と照合画像（第１照合画像）とを照合し、注目領域および隣接領域に対応する光源１１が発光しているときに撮像部１２によって取得された撮像画像２０から対象物領域４０を抽出して対象物領域４０と照合画像（第２照合画像）とを照合し、これらの照合結果に基づいて対象物１００を識別するように構成されていてもよい。
〈動作〉
次に、図１８を参照して、実施形態４の変形例による撮像装置１０の動作について説明する。実施形態４の変形例による撮像装置１０は、図４に示した動作（監視動作）と並行して図１８に示した動作を行うように構成されている。
《ステップＳＴ６０１》
制御部１４は、識別部１７によって抽出される対象物領域４０が注目領域（判定部１５によって検出対象ありと判定された画像領域２１）と隣接領域（注目領域の縁部に隣接する画像領域２１）とに跨がっているか否かを判定する。対象物領域４０が注目領域と隣接領域とに跨がっている場合には、ステップＳＴ６０２へ進み、そうでない場合には、ステップＳＴ６１２へ進む。
《ステップＳＴ６０２，ＳＴ６０３，ＳＴ６０４》
次に、制御部１４は、図４に示した動作（監視動作）を中断する。そして、制御部１４は、複数の光源１１ａ〜１１ｄのうち注目領域に対応する光源を発光させ、撮像部１２に被写界を撮像させる。次に、識別部１７は、ステップＳＴ６０３において取得された撮像画像２０から対象物領域４０を抽出し、対象物領域４０と予め登録された第１照合画像とを照合する。なお、第１照合画像は、注目領域に対応する半分が光に照らされているが隣接領域に対応する残りの半分が光に照らされていない状態の対象物１００（この例では人間の顔）を示した画像である。
例えば、図１９に示すように、注目領域である画像領域２１ａの縁部において対象物１００が検出された場合、制御部１４は、画像領域２１ａに対応する光源１１ａを発光させて撮像部１２に被写界を撮像させる。なお、注目領域である画像領域２１ａの縁部に対象物１００が位置しているので、光源１１ａを発光させて撮像部１２に被写界を撮像させることにより、対象物１００のうち画像領域２１ａに対応する部分が比較的に明るくなっているが画像領域２１ｂに対応する部分が比較的に暗くなっている状態で撮像画像２０が取得される。そして、識別部１７は、撮像画像２０から抽出した対象物領域４０と、画像領域２１ａに対応する半分（図１９では左半部）が光に照らされているが画像領域２１ｂに対応する残りの半分（図１９では右半部）が光に照らされていない状態の人間の顔を示した第１照合画像とを照合する。
《ステップＳＴ６０５，ＳＴ６０６，ＳＴ６０７》
次に、制御部１４は、複数の光源１１ａ〜１１ｄのうち注目領域および隣接領域に対応する複数の光源を発光させ、撮像部１２に被写界を撮像させる。次に、識別部１７は、ステップＳＴ６０５において取得された撮像画像２０から対象物領域４０を抽出し、対象物領域４０と予め登録された第２照合画像とを照合する。なお、第２照合画像は、全体的に光に照らされている状態の対象物１００（この例では人間の顔）を示した画像である。
《ステップＳＴ６０８，ＳＴ６０９，ＳＴ６１０》
次に、制御部１４は、複数の光源１１ａ〜１１ｄのうち隣接領域に対応する複数の光源を発光させ、撮像部１２に被写界を撮像させる。次に、識別部１７は、ステップＳＴ６０５において取得された撮像画像２０から対象物領域４０を抽出し、対象物領域４０と予め登録された第３照合画像とを照合する。なお、第３照合画像は、注目領域に対応する半分（図１９では左半部）が光に照らされていないが隣接領域に対応する残りの半分（図１９では右半部）が光に照らされている状態の対象物１００（この例では人間の顔）を示した画像である。
例えば、図１９に示すように、注目領域である画像領域２１ａの縁部において対象物１００が検出された場合、制御部１４は、隣接領域である画像領域２１ｂに対応する光源１１ｂを発光させて撮像部１２に被写界を撮像させる。なお、注目領域である画像領域２１ａの縁部に対象物１００が位置しているので、光源１１ｂを発光させて撮像部１２に被写界を撮像させることにより、対象物１００のうち画像領域２１ａに対応する部分が比較的に暗くなっているが画像領域２１ｂに対応する部分が比較的に明るくなっている状態で撮像画像２０が取得される。そして、識別部１７は、撮像画像２０から抽出した対象物領域４０と、画像領域２１ａに対応する半分（図１９では左半部）が光に照らされていないが画像領域２１ｂに対応する残りの半分（図１９では右半分）が光に照らされている状態の人間の顔を示した第３照合画像とを照合する。
《ステップＳＴ６１１》
次に、識別部１７は、ステップＳＴ６０４における照合結果と、ステップＳＴ６０７における照合結果と、ステップＳＴ６１０における照合結果とに基づいて、対象物１００を識別する。また、制御部１４は、識別部１７による識別処理が完了すると、図４に示した動作（監視動作）を再開する。
《ステップＳＴ６１２》
一方、ステップＳＴ６０１において対象物領域４０が注目領域と隣接領域とに跨がっていないと判断された場合、識別部１７は、注目領域から対象物領域４０を抽出し、対象物領域４０と第１照合画像とを照合する。なお、識別部１７は、対象物領域４０と第１照合画像とを照合する代わりに、対象物領域４０と第２照合画像とを照合するように構成されていてもよい。
《ステップＳＴ６１３》
次に、識別部１７は、ステップＳＴ６１２における照合結果に基づいて、対象物１００を識別する。
〈実施形態４の変形例による効果〉
以上のように、注目領域に対応する光源１１が発光しているときに撮像部１２によって取得された撮像画像２０から抽出された対象物領域４０に関する照合結果（第１照合結果）と、注目領域および隣接領域に対応する光源１１が発光しているときに撮像部１２によって取得された撮像画像２０から抽出された対象物領域４０に関する照合結果（第２照合結果）とに基づいて対象物１００を識別することにより、第１照合結果のみに基づいて対象物１００を識別する場合よりも、対象物１００の識別精度を向上させることができる。
また、第１および第２照合結果に加えて、隣接領域に対応する光源１１が発光しているときに撮像部１２によって取得された撮像画像２０から抽出された対象物領域４０に関する照合結果（第３照合結果）を対象物１００を識別に利用することにより、対象物１００の識別精度をさらに向上させることができる。
〔実施形態１〜４の総括〕
以上の説明において、それぞれの縁部が隣接する画像領域２１の縁部と重複しないように複数の画像領域２１ａ〜２１ｄが配置されている場合を例に挙げたが、複数の画像領域２１ａ〜２１ｄは、それぞれの縁部が隣接する画像領域２１の縁部と重複するように配置されていてもよい。
また、以上の説明では、複数の光源１１ａ〜１１ｄが水平方向に並設されている場合を例に挙げたが、複数の光源１１ａ〜１１ｄの配置は、これに限定されない。例えば、複数の光源１１ａ〜１１ｄは、鉛直方向に並設されていてもよいし、撮像部１２の周囲を囲う円形状に併設されていてもよい。
また、以上の説明では、制御部１４と判定部１５と検出部１６と識別部１７とが１つの処理回路１３に含まれている場合を例に挙げたが、制御部１４と判定部１５と検出部１６と識別部１７は、２つ以上の処理回路に分散して含まれていてもよい。
〔実施形態５〕
従来の撮像装置には、特開２０１０−０９３７２９号公報，特開２０１０−２６２２２４号公報，特開２０１２−０９５２１４号公報に記載されるグローバルシャッターまたはローリングシャッタを用いるものがある。これらの特許文献は、いずれも、ストロボ（光源）を点灯して撮像された画面内の表示ムラを低減することにしか言及していない。
従来技術は、画面の全体にわたって明暗のバラツキが生じないようにストロボ光（光源の光）を照射することに主眼を置く。本願発明者らは、従来のストロボ照射（光源の発光）による人物検出は、ストロボ（光源）によって消費される電力が無視できないという問題を見出した。本願発明者らは、ストロボ点灯（光源の点灯）による表示ムラが存在しても、撮像された画面内の一部を利用して人物を検出することによって、ストロボ点灯（光源の点灯）に必要な電力を低減できることを見出した。
〈撮像装置の構造〉
図２０は、実施形態５による撮像装置１０の概略図である。撮像装置１０は、光源１１（ストロボ）と、撮像部１２（撮像素子）と、制御器１３ａと、検出器１３ｂとを備えている。撮像装置１０は、例えば、後述する動き検出によって、撮像された画面内に人物がいるかを判定する装置である。撮像装置１０は、例えば、テレビのような家庭電化製品の一部として実現され得る。この場合、撮像装置１０は、その前にいるユーザの検出と、ユーザの認識とを行うことによって、パーソナライズしたサービスを提供し得る。なお、撮像装置１０は、ユーザの検出のみを行い、ユーザの認識までは行わないように構成されていてもよい。また、撮像装置１０は、建物または敷地の監視領域内に部外者が立ち入ることを発見する等、監視カメラとしても使用され得る。
〈光源〉
光源１１は、瞬間的に被写界（被写体）に光を照射する発光素子である。光源１１は、フラッシュとも呼ばれる。ここで、被写界（被写体）には、監視領域内に存在する、検出対象の一例である人物（例えば部外者）と、人物以外の物体（例えば建物の壁）とが含まれる。光源１１は、例えば、キセノン管、発光ダイオード等によって実現され得る。光源１１は、撮像部１２からタイミング信号ＴＥを受け取り、その点灯タイミングを撮像タイミングと同期させる。このように、光源１１は、被写界へ向けて発光するように構成されている。
〈撮像部〉
撮像部１２は、所定の監視領域を撮像する、二次元平面上にマトリクス状に配置された光センサ群を含む素子である。撮像部１２は、例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）素子である。撮像部１２は、例えば、ローリングシャッタを用いる素子である。撮像部１２のフレームレートは、例えば、６０ｉ（インターレース）／秒である。撮像部１２の前には、被写界（被写体）からの光を受け取るためのレンズが設けられる。
このように、撮像部１２は、被写界を撮像して撮像画像を取得するように構成されている。また、この例では、撮像部１２は、ローリングシャッタ方式により駆動されるように構成されている。具体的には、撮像部１２は、複数の光センサがマトリクス状に配列された受光面（図示を省略）を有し、先頭ラインである第１行目のライン（行方向に配列された２以上の光センサにより構成されたライン）から最終ラインである第ｎ行目（ｎは２以上の整数）のラインへ向けてｎ本のラインが順次露光されるように構成されている。
〈制御器〉
制御器１３ａは、撮像部１２の露光タイミングと、光源１１の点灯タイミングとが後で詳述する関係を持つように制御する。制御器１３ａは、撮像部１２から露光タイミングを表す信号を受け取り、適切なタイミングで光源１１を点灯するためのトリガ信号ａを光源１１に出力する。制御器１３ａは、このような機能を実現する集積回路（ＩＣ）（例えば特定用途向け集積回路）として実現され得る。制御器１３ａは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア（プログラム、インストラクション等）とで実現され得る。
このように、制御器１３ａは、光源１１および撮像部１２などの撮像装置１０の各部を制御するように構成されている。また、この例では、制御器１３ａは、制御部１４を備えている。制御部１４は、光源１１を発光させて撮像部１２に被写界（発光させた光源１１により照明された被写界）を撮像させるように構成されている。制御部１４による動作については、後で詳しく説明する。
〈検出器〉
検出器１３ｂは、撮像部１２から出力された画像を表す信号Ｐを受け取り、撮像された画面内に人物（対象物の一例）が存在するかを判定する。また、この例では、検出器１３ｂは、撮像された画面内に、監視領域に立ち入ることを許可されていない部外者が存在するかを判定する。そして、検出器１３ｂは、判定の結果を表す信号Ｕを出力する。なお、検出器１３ｂは、撮像装置１０の外部に設けられてもよい。検出器１３ｂは、このような機能を実現する集積回路（ＩＣ）（例えば特定用途向け集積回路）として実現され得る。検出器１３ｂは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア（プログラム、インストラクション等）とで実現され得る。
このように、検出器１３ｂは、撮像部１２によって取得された撮像画像（信号Ｐに表された画像）を処理するように構成されている。また、この例では、検出器１３ｂは、判定部１５と、検出部１６と、識別部１７とを備えている。
判定部１５は、撮像部１２によって取得された撮像画像（信号Ｐに表された画像）において、予め定められた検出対象（この例では動き）の有無を判定するように構成されている。検出部１６は、判定部１５によって検出対象ありと判定された撮像画像（信号Ｐに表された画像）から予め定められた対象物（この例では人間の顔）を検出するように構成されている。識別部１７は、撮像画像（信号Ｐに表された画像）から対象物領域（検出部１６によって検出された対象物を含む画像領域）を抽出し、対象物領域と予め登録された照合画像とを照合して対象物を識別するように構成されている。この例では、対象物は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部１７は、対象物領域に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別（顔認識）を行う。また、識別部１７は、識別結果（結果を表す信号Ｕ）を外部に出力するように構成されている。なお、判定部１５，検出部１６，識別部１７による動作については、後で詳しく説明する。
〈撮像装置の動作〉
図２１は、実施形態５における制御器１３ａによる光源１１の制御を示す。チャート２１０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。チャート２１０１において、縦軸は、撮像部１２の画面（光センサがマトリクス状に配列された受光面）内のそれぞれのラインＬ１〜Ｌｎ（合計ｎ本）を示し、横軸は、時間ｔを示す。画面の最初のラインＬ１は、時刻ｔ０〜ｔ２の間に露光される。画面の最後のラインＬｎは、時刻ｔ１〜ｔ５の間に露光される。ここで、時刻ｔ１〜ｔ２の間（すなわち全ライン露光期間ｔＡＥ）では、撮像部１２は、画面中の全てのラインを露光する。光源１１は、時刻ｔ３〜ｔ４の間（すなわち点灯期間ｔＬ）で点灯する。換言すれば、光源１１は、時刻ｔ０〜ｔ３の間（すなわち消灯期間ｔＡ）および時刻ｔ４〜ｔ５の間（すなわち消灯期間ｔＢ）においては消灯している。
略図２１０２は、撮像部１２の画面内の光源１１の照射光の強度分布を示す。略図２１０２において、縦軸は、チャート２１０１のラインＬ１〜Ｌｎに対応し、横軸は画面（撮像画像２０）の水平位置を示す。ラインＬ１〜Ｌａは、露光中に光源１１が点灯していないので照射光の強度はゼロである。ラインＬａ〜Ｌｂは、露光中に光源１１が点灯している期間が下のラインに行くほど増えるので、照射光の強度がゼロから最大に増加する。ラインＬｂ〜Ｌｎは、露光中に光源１１が点灯している期間が点灯期間ｔＬの全期間（最大）なので、照射光の強度も最大で一定である。
制御器１３ａは、ローリングシャッタの全てのラインが同時に露光されている全ライン露光期間ｔＡＥを除く期間内において、光源１１が点灯している点灯期間ｔＬと、光源１１が消灯している消灯期間ｔＡ，ｔＢとが存在するように、光源１１を点灯する。これにより、例えば、図２１の略図２１０２に示すように、画面下部（撮像画像２０の下部）における光源１１の照射光の強度を最大にし、画面上部（撮像画像２０の上部）における光源１１の照射光の強度をゼロにすることができる。その結果、同じ電力量で光源１１が駆動されるとすると、画面全体を均一に照射する場合と比較して、画面の一部により強い照射光を当てることができる。換言すれば、均一な照射よりも効率的に、すなわち少ない電力で、画面の一部に光を照射でき、光源１１によって消費される電力を低減し得る。
〈動き探索モードおよび顔認識モード〉
実施形態５において、撮像装置１０は、画面の一部にだけ光を照射する（すなわち、全ライン露光期間を除く期間内において点灯期間と消灯期間とが存在するように光源１１を点灯する）ことによって、光源１１による消費電力を節約しつつ、監視領域内の人物の検出を行う。この動作モードを動き探索モードと呼ぶ。動き探索モードにおいて、検出器１３ｂは、光源１１が点灯している点灯期間ｔＬに対応するフレーム内の領域（撮像画像２０の一部であり且つ光源１１の点灯期間ｔＬに対応する画像領域）について、例えばフレーム間差分を行うことにより動き検出（検出対象の有無の判定）を行う。
動き探索モードにおいて、もし動きが検出されたなら、撮像装置１０は、顔認識モードに移行する。顔認識モードでは、制御器１３ａは、動きが検出された領域に対応する期間に、より強い光が照射されるよう、光源１１を制御し、かつ、検出器１３ｂは、動きが検出された領域について顔認識（対象物の識別）を行う。
動き探索モードでは比較的、弱い照射光で人物の検出を主として行い、いったん人物が検出されれば、顔認識モードで、より強い照射光で顔認識を行い、部外者か許可された者かを判定する。このように２つのモードを切り替えることにより、電力を節約しつつ人物検出および顔認識の２つの動作を行うことができる。
図２２は、実施形態５における制御器１３ａによる光源１１の制御（動き探索モードにおける制御）を示す。チャート２２０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。チャート２２０２は、フレーム期間ｔＦおよび露光期間ｔＥの開始時刻に対応する同期信号ＶＳｙｎｃと、光源１１の点灯期間ｔＬに対応するストロボ信号Ｓｔｒとを示す。チャート２２０１，２２０２は、連続する３つのフレームＦ１〜Ｆ３だけを示すが、実際の撮像装置１０の動作時には動き探索モードが続く限り、連続的にフレーム（撮像画像）が繰り返される。
図２２に示されるように、それぞれのフレームにおいて、露光期間ｔＥに対する光源１１の点灯期間ｔＬのタイミングは、同じである。これにより、撮像された画面内で同じ部分（この場合は画面の上端部および下端部）だけが光源１１の点灯によって光を照射される。
図２３は、実施形態５における制御器１３ａによる光源１１の制御（動き探索モードにおける制御）の他の例を示す。チャート２３０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。フレームＦ１〜Ｆ３において、露光期間ｔＥに対する光源１１の点灯期間ｔＬのタイミングは、同じである。
略図２３０２は、撮像部１２の画面内の光源１１の照射光の強度分布を示す。略図２３０２において、縦軸は、チャート２３０１のラインＬ１〜Ｌｎに対応し、横軸は、画面の水平位置を示す。チャート２３０１に示すように、光源１１を点灯すると、画面内には、光源１１の光の照射領域３０１，３０２と、非照射領域４０１とが生じる。したがって、動き探索モードにおいては、照射領域３０１，３０２において動き検出を行い、人物の存在を検出する。
図２４は、実施形態５における制御器１３ａによる光源１１の制御（動き探索モードにおける制御）の他の例を示す。チャート２４０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。フレームＦ１〜Ｆ３において、露光期間ｔＥに対する光源１１の点灯期間ｔＬのタイミングは、同じである。
略図２４０２は、撮像部１２の画面内の光源１１の照射光の強度分布を示す。略図２４０２において、縦軸は、チャート２４０１のラインＬ１〜Ｌｎに対応し、横軸は、画面の水平位置を示す。チャート２４０１に示すように、光源１１を点灯すると、画面内には、光源１１の光の照射領域３０１と、非照射領域４０１，４０２とが生じる。したがって、動き探索モードにおいては、照射領域３０１において動き検出を行い、人物の存在を検出する。
図２５は、動き探索モードにおけるフレーム間差分の例を示す。検出器１３ｂは、光源１１が点灯している点灯期間ｔＬに対応するフレームＦ１，Ｆ２内の領域（撮像画像２０の一部であり且つ光源１１の点灯期間ｔＬに対応する画像領域）について、フレーム間差分を行うことにより動き検出を行う。フレームＦ１，Ｆ２は、連続する２つのフレーム（撮像画像２０）である。図２５に示すように、光源１１を点灯することによって、フレームＦ１には、照射領域３０１，３０２と、非照射領域４０１とが生じる。同様に、フレームＦ２にも、照射領域３０１，３０２と、非照射領域４０１とが生じる。
検出器１３ｂは、フレームＦ１の照射領域３０１とフレームＦ２の照射領域３０１との差分に基づいて、動き検出を行う。ここでは、時間の経過に従って人物（対象物１００の一例）は、画面の左端から画面中央へ向けて移動している。したがって、フレームＦ１の照射領域３０１とフレームＦ２の照射領域３０１との差分に基づけば、動きがあると判定される。同様に、検出器１３ｂは、フレームＦ１の照射領域３０２とフレームＦ２の照射領域３０２との差分に基づいて、動き検出を行う。フレームＦ１の照射領域３０２とフレームＦ２の照射領域３０２との差分に基づけば、動きがあると判定される。
図２６は、動き探索モードから顔認識モードへの遷移を示す。フレームＦ１までの期間において、照射領域３０１，３０２に対して動き探索が行われている。フレームＦ１において動きが検出されると、フレームＦ２からは顔認識モードに遷移する。顔認識モードにおいては、フレームＦ２内で人物の顔（対象物１００の一例）が存在する可能性が高い領域に対して光源１１の光を照射する。これは、光源１１を例えば図２０の点灯タイミングで制御することによって可能である。顔認識モードにおいては、照射領域３０２における光源１１の光の強度が動き探索モードのそれよりもより強くなるようにしてもよい。それにより、動き探索モードの光源１１による電力消費を低減させつつ、顔認識モードではより強い光源１１の光の照射を利用できる。顔認識モードでは、人物の顔部（対象物領域４０に含まれる人物の顔）が、登録された人物の顔と一致するかに基づいて、部外者か許可された者かを判定する。
図２７は、実施形態５における制御器１３ａによる光源１１の制御（顔認識モードにおける制御）を示す。チャート２７０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。チャート２７０２は、フレーム期間ｔＦおよび露光期間ｔＥの開始時刻に対応する同期信号ＶＳｙｎｃと、光源１１の点灯期間ｔＬに対応するストロボ信号Ｓｔｒとを示す。チャート２７０１，２７０２は、連続する３つのフレームＦ１〜Ｆ３だけを示すが、実際の撮像装置１０の動作時には顔認識モードが続く限り、連続的にフレーム（撮像画像）が繰り返される。
図２７に示されるように、それぞれのフレームにおいて、露光期間ｔＥに対する光源１１の点灯期間ｔＬのタイミングは、同じである。これにより、撮像された画面内で同じ部分（この場合は画面の上部）だけが光源１１の点灯によって光を照射される。
図２８は、実施形態５における制御器１３ａによる光源１１の制御（顔認識モードにおける制御）の他の例を示す。チャート２８０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。フレームＦ１〜Ｆ３において、露光期間ｔＥに対する光源１１の点灯期間ｔＬのタイミングは、同じである。
略図２８０２は、撮像部１２の画面内の光源１１の照射光の強度分布を示す。略図２８０２において、縦軸は、チャート２８０１のラインＬ１〜Ｌｎに対応し、横軸は、画面の水平位置を示す。チャート２８０１に示すように、光源１１を点灯すると、画面内には、光源１１の光の照射領域３０１，３０２と、非照射領域４０１とが生じる。この例では、照射領域３０１において人物の顔部（対象物１００の一例）が存在する可能性が高い。したがって、照射領域３０１において検出された顔部（対象物領域４０に含まれる人物の顔）について、登録された人物の顔と一致するかを判定し、それによって部外者か許可された者かを判定する。
図２９は、実施形態５における制御器１３ａによる光源１１の制御（顔認識モードにおける制御）の他の例を示す。チャート２９０１は、撮像部１２の露光と、光源１１の点灯とのタイミングを示す。フレームＦ１〜Ｆ３において、露光期間ｔＥに対する光源１１の点灯期間ｔＬのタイミングは、同じである。
略図２９０２は、撮像部１２の画面内の光源１１の照射光の強度分布を示す。略図２９０２において、縦軸は、チャート２９０１のラインＬ１〜Ｌｎに対応し、横軸は、画面の水平位置を示す。チャート２９０１に示すように光源１１を点灯すると、画面内には、光源１１の光の照射領域３０１，３０２と、非照射領域４０１とが生じる。この例では、照射領域３０２において人物の顔部（対象物１００の一例）が存在する可能性が高い。したがって、照射領域３０１において検出された顔部（対象物領域４０に含まれる人物の顔）について、登録された人物の顔と一致するかを判定し、それによって部外者か許可された者かを判定する。
なお、実施形態５において、露光期間（例えば図３の露光期間ｔＥ）が光源１１の点灯期間（例えば図３の点灯期間ｔＬ）の整数倍になるように光源１１を点灯すれば、照射領域の照射光の強度ムラ（縞模様として画面上で見られる）をなくすことができる。
以上のように、実施形態５による撮像装置１０では、制御部１４は、撮像部１２の全てのラインが同時に露光されている期間（全ライン露光期間ｔＡＥ）を除く期間において光源１１が点灯している期間（点灯期間ｔＬ）と光源１１が消灯している期間（消灯期間ｔＡ，ＴＢ）とが存在するように光源１１を発光させて、撮像部１２に被写界を撮像させる。
また、実施形態５による撮像装置１０では、判定部１５は、撮像部１２によって取得された撮像画像２０のうち光源１１が点灯している期間（点灯期間ｔＬ）に対応する画像領域において、フレーム間差分を行うことにより、検出対象（この例では動き）の有無を判定する。
なお、光源１１が点灯している期間（点灯期間ｔＬ）に対応する画像領域（照射領域３０１など）は、撮像部１２の全ライン（ｎ本のライン）のうち光源１１が点灯しているときに露光されているラインにおいて撮像された被写界の一部の領域を含んでいる。すなわち、点灯期間ｔＬに対応する画像領域に含まれる被写界の一部の領域は、点灯期間ｔＬにおいて点灯している光源１１によって照らされている。
また、実施形態５による撮像装置１０では、制御部１４は、判定部１５によって検出対象あり（この例では動きあり）と判定された場合に、検出対象ありと判定された画像領域に対応する期間（点灯期間ＴＬ）において、より強い光が照射されるように、光源１１を制御する。具体的には、制御部１４は、判定部１５によって検出対象ありと判定された画像領域に対応する期間（点灯期間ＴＬ）における光源１１の発光量が判定部１５によって検出対象ありと判定されていない画像領域に対応する期間（点灯期間ＴＬ）における光源１１の発光量よりも強くなるように、光源１１を制御する。ここで、発光量は、所定周期（例えば、１枚の撮像画像を取得するために必要となるフレーム周期）において光源１１から発せられる光の総量のことであり、光源１１の発光強度を時間で積算して得られる量に相当する。
また、実施形態５による撮像装置１０では、識別部１７は、判定部１５によって検出対象あり（この例では動きあり）と判定された場合に、検出対象ありと判定された画像領域において対象物の識別（この例では顔認識）を行う。具体的には、検出部１６は、判定部１５によって検出対象ありと判定された撮像画像から予め定められた対象物（この例では人間の顔）を検出し、識別部１７は、識別部１７は、判定部１５によって検出対象ありと判定された撮像画像から対象物領域（検出部１６によって検出された対象物を含む画像領域）を抽出し、対象物領域と予め登録された照合画像（この例では人間の顔を含む画像）とを照合して対象物を識別する。
〔実施形態５の総括〕
本開示による実施形態で用いられるいかなる機能も、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得る。そのような機能は、単一のプロセッサによって実現されてもよく、または複数のプロセッサによって実現されてもよい。
例えば図２１および図２２に示される撮像部１２の露光に対する光源１１の点灯タイミングは、システム大規模集積回路（ＬＳＩ）によって実現される。代替として、このような点灯タイミングは、プロセッサと、プロセッサに結合されたメモリと、メモリに格納された、さまざまな機能を実現するインストラクションとによって実現される。
〔実施形態６〕
従来の撮像装置には、ローリングシャッタ方式のカメラと点滅光源を用いたものがある（例えば、特開２０１０−０９３７２９号公報，特開２０１０−２６２２２４号公報，特開２０１２−９５２１４号公報を参照）。
しかし、上記の特許文献のいずれも、点滅光源を用いて撮像する際に生じる画面内の横縞状の明暗差を解消するための方式を述べるに過ぎない。すなわち、ストロボ（光源）が発光していない時に撮像した画像の明るさに基づいて、ストロボ発光量（光源の発光量）を求めることについては教示も示唆もしない。
上記課題を鑑みて、本願発明者らは、ストロボ（光源）が発光していない時に撮像した画像の明るさに基づいて、ストロボ発光量（光源の発光量）を求めることによって、適正露出を実現する装置および方法を考案した。
なお、以下の説明において、露出とは、被写界（被写体）の明るさに応じて、撮像部（撮像素子）に当たる光量を調節し露光することを意味する。撮像部によってキャプチャされた被写界（被写体）の明るさが適切である露出のことを「適正露出」という。露出が不足しているために、キャプチャされた被写界（被写体）の明るさが暗すぎる場合を「露出アンダー」という。露出が過度であるために、キャプチャされた被写界（被写体）の明るさが明るすぎる場合を「露出オーバー」という。
〈撮像装置の構造〉
図３０は、実施形態６による撮像装置１０の概略図である。撮像装置１０は、光源１１（ストロボ）と、撮像部１２（撮像素子）と、制御器１３ａと、検出器１３ｂとを備えている。撮像装置１０は、例えばテレビのような家電製品に含まれ、例えば動き検出によって、撮像された画面内にユーザがいるかを判定する。撮像装置１０を含む家電製品は、その近傍にユーザがいるかに応じて、その動作の少なくとも一部を変化させることができる。それにより家電製品は、例えばよりユーザフレンドリーな動作を実現できる。
〈光源〉
光源１１は、瞬間的に被写界（被写体）に光を照射する発光素子である。光源１１は、フラッシュとも呼ばれる。ここで、被写界（被写体）には、監視領域内に存在する、検出対象の一例である人物（例えば家電製品のユーザ）と、人物以外の物体（例えばユーザに対しての前景または背景）とが含まれる。
光源１１は、任意の適切な点滅光源であればよく、例えば、発光ダイオード（ＬＥＤ）である。代替として、光源１１は、レーザーダイオードである。光源１１は、例えば赤外光を照射するが、可視光を照射してもよい。すなわち、光源１１は、赤外光を照射するように構成されていてもよいし、可視光を照射するように構成されていてもよい。光源１１は、撮像部１２から露光タイミングを表すタイミング信号ＴＥを受け取り、その発光タイミングを撮像タイミングと同期させる。
このように、光源１１は、被写界へ向けて発光するように構成されている。また、光源１１は、その発光量を変更可能に構成されている。ここで、発光量は、所定周期（例えばフレーム周期）内において光源１１から発せられる光の総量のことであり、光源１１の発光強度を時間で積算して得られる量に相当する。この例では、光源１１は、その発光デューティ比を変更可能に構成され、光源１１の発光デューティ比を変更することにより光源１１の発光量を変更することができる。なお、発光デューティ比は、所定周期内における点灯期間（光源１１が点灯している期間）の割合のことである。
〈撮像部〉
撮像部１２は、二次元平面上にマトリクス状に配置された光センサ群を含む素子である。撮像部１２は、例えば、ローリングシャッタを用いる素子である。撮像部１２は、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）素子であるが、これには限定されず、電荷結合素子（ＣＣＤ）であってもよい。撮像部１２は、撮像装置１０を含む家電製品の近傍の、所定の監視領域を撮像する。撮像部１２のフレームレートは、例えば、３０／秒である。撮像部１２の前には、被写体からの光を受け取るためのレンズが設けられる。このように、撮像部１２は、被写界を撮像して撮像画像を取得するように構成されている。
〈制御器〉
制御器１３ａは、撮像部１２の露光タイミングと、光源１１の発光タイミングとが後で詳述する関係を持つように制御する。制御器１３ａは、撮像部１２から信号Ｐを受け取り、デューティ比を表す信号ＤＲを光源１１に出力する。制御器１３ａは、このような機能を実現する集積回路（ＩＣ）（例えば特定用途向け集積回路）として実現され得る。制御器１３ａは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア（プログラム、インストラクション等）とで実現され得る。
このように、制御器１３ａは、光源１１および撮像部１２などの撮像装置１０の各部を制御するように構成されている。また、この例では、制御器１３ａは、制御部１４を備えている。制御部１４は、光源１１を発光させて撮像部１２に被写界（発光させた光源１１により照明された被写界）を撮像させるように構成されている。制御部１４による動作については、後で詳しく説明する。
〈検出器〉
検出器１３ｂは、撮像部１２から出力された画像を表す信号Ｐを受け取り、撮像された画面内にユーザ（対象物の一例）が存在するかを判定する。検出器１３ｂは、判定の結果を表す検出信号Ｕを出力する。なお、検出器１３ｂは、撮像装置１０の外部に設けられてもよい。撮像装置１０が検出器１３ｂを含む場合は、撮像装置１０はユーザ検出装置と呼ばれ得る。検出器１３ｂは、このような機能を実現する集積回路（ＩＣ）（例えば特定用途向け集積回路）として実現され得る。検出器１３ｂは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア（プログラム、インストラクション等）とで実現され得る。
このように、検出器１３ｂは、撮像部１２によって取得された撮像画像（信号Ｐに表された画像）を処理するように構成されている。また、この例では、検出器１３ｂは、判定部１５と、検出部１６と、識別部１７とを備えている。
判定部１５は、撮像部１２によって取得された撮像画像（信号Ｐに表された画像）において、予め定められた検出対象（この例では動き）の有無を判定するように構成されている。検出部１６は、判定部１５によって検出対象ありと判定された撮像画像（信号Ｐに表された画像）から予め定められた対象物（この例では人間の顔）を検出するように構成されている。識別部１７は、撮像画像（信号Ｐに表された画像）から対象物領域（検出部１６によって検出された対象物を含む画像領域）を抽出し、対象物領域と予め登録された照合画像とを照合して対象物を識別するように構成されている。この例では、対象物は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部１７は、対象物領域に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別（顔認識）を行う。また、識別部１７は、識別結果（結果を表す信号Ｕ）を外部に出力するように構成されている。
〈撮像装置の概要〉
光源１１が非発光の状態で、撮像部１２は撮像し、画像Ｐ（撮像画像）を制御器１３ａに入力する。制御器１３ａは、画像Ｐ内の画素の平均輝度ＡＰＬを算出し、平均輝度ＡＰＬに基づいてデューティ比ＤＲを求め、デューティ比ＤＲを光源１１に出力する。撮像部１２は、露光タイミングを表すタイミング信号ＴＥを光源１１に出力する。
光源１１は、点灯状態と消灯状態とを周期的に繰り返す。制御器１３ａは、光源１１の発光量を、デューティ比ＤＲに基づいてパルス幅変調（ＰＷＭ）によって制御する。ここで、デューティ比ＤＲは、点灯状態および消灯状態の周期（すなわち、ＰＷＭ周期ＴＰ）に対する点灯期間の割合である。換言すれば、光源１１の発光量（ＰＷＭ周期ＴＰ内において光源１１から発せられる光の総量）は、制御器１３ａによって出力されるデューティ比ＤＲによって制御される。このように、制御器１３ａ（制御部１４）は、パルス幅変調によって光源１１の発光量を変化させる。
光源１１は、ＰＷＭ周期ＴＰの整数倍が露光期間ｔＥと等しくなるようにＰＷＭ周期ＴＰを設定し、入力されたデューティ比ＤＲに基づいて、ＰＷＭ制御により発光する。
撮像部１２は、光源１１が発光している期間に画像の取得を行い、画像Ｐ（撮像画像）を出力する。画像Ｐは後段に配置される検出器１３ｂに入力される。検出器１３ｂは、画像Ｐの連続するフレーム間の差分に基づいて人物検出を行う。例えば、検出器１３ｂは、画像Ｐの人の形状や顔の形状を検出して人検知を行ってもよい。人検知に加えて、個人認識等を行ってもよい。検出器１３ｂは、検出信号Ｕを出力する。検出信号Ｕを受け取る家電製品（例えばテレビ）は、検出信号Ｕに基づいてその動作の少なくとも一部を変化させることができる。よって、そのような家電製品は、家電製品の近傍にユーザがいるかに依存して、動作を変化させることができる。例えば、ユーザが近くにいない場合には、家電製品は、自動的に電源をオフにする等の動作を行うことができる。
実施形態６では、後で詳述されるように、撮影領域の明るさに適応して光源１１の発光量を制御できる。その結果、撮像装置１０は、適切な明るさの画像Ｐ（撮像画像２０）を取得することができる。
〈撮像装置の動作〉
図３１は、実施形態６による撮像装置１０の動作を示す図である。図３１の縦軸は、上から順に、フレーム番号、光源１１における発光パルス、撮像部１２における露光期間を示し、図３１の横軸は時間ｔを示す。撮像部１２は、典型的にはＣＭＯＳ撮像素子のような、ローリングシャッタを用いた素子である。図３１の画像Ｐ１〜Ｐ５で参照される平行四辺形は、それぞれフレーム１〜５における露光期間に対応する。撮像部１２がローリングシャッタであることに起因して、先頭ラインから最終ラインに至る各ラインの露光期間の開始時刻は、先頭ラインの露光期間の開始時刻に対して、徐々に遅れている。その結果、画像Ｐ１〜Ｐ５の露光期間は、図３１においては平行四辺形として表される。当業者にはわかるように、撮像部１２によって得られる画像は、典型的には長方形（正方形を含む）である。撮像部１２は、ローリングシャッタを用いたものには限定されず、グローバルシャッタを用いたものであってもよい。すなわち、撮像部１２は、ローリングシャッタ方式により駆動されるように構成されていてもよいし、グローバルシャッタ方式により駆動されるように構成されていてもよい。
フレーム１（すなわち時刻ｔ１〜ｔ２の期間）では、光源１１を発光させることなく、撮像部１２は画像を取得する。換言すれば、照明なしの画像（撮像画像２０）を取得することによって、いわゆる環境光の明るさを測定できる。次にフレーム２（すなわち時刻ｔ３〜ｔ４の期間）以降では、光源１１を発光させて撮像部１２は画像を取得する。これにより照明ありの画像（撮像画像２０）を取得できる。一例として、時刻ｔ１〜ｔ３の期間の長さは、３３ｍｓであり、時刻ｔ１〜ｔ２の期間の長さは、１０ｍｓである。
図３１の例では、最初のフレーム１で照明なしの画像を取得して、光源１１のデューティ比ＤＲを算出し、そのデューティ比ＤＲをフレーム２〜５で利用する。なお、これには限定されず、定期的または不定期的に照明なしの画像を取得して、光源１１のデューティ比ＤＲを更新してもよい。これによって、環境の明るさの変化に応じて適切な明るさの照明をすることができるため、適切な明るさの画像を取得できる。
図３２は、実施形態６における光源１１の発光動作を示す図であり、図３１のフレーム２に対応する部分（すなわち時刻ｔ３〜ｔ４の期間）を拡大して示す。画像Ｐ２の先頭ラインの露光期間ｔＥは、時刻ｔ３〜ｔ３２の期間である。画像Ｐ２の最終ラインの露光期間ｔＥは、時刻ｔ３１〜ｔ３２の期間である。
撮像部１２のライン露光期間（露光期間ｔＥ）が光源１１のＰＷＭ周期ＴＰの４倍となるよう、ＰＷＭ周期ＴＰが設定される。この設定によれば、先頭ラインから最終ラインのいずれのラインも、ＰＷＭ周期ＴＰの４倍の期間、露光される。そのため、フレーム２の全てのラインで明るさを均一にできる。図３２は、露光期間ｔＥがＰＷＭ周期ＴＰの４倍である例を示すが、これには限定されず、露光期間ｔＥがＰＷＭ周期ＴＰのＮ倍（Ｎは１以上の整数）であればよい。これにより横縞状の輝度むらの発生を防止でき、その結果、均一な撮影画像を取得可能である。なお全ラインで明るさを均一にするためには、図３２のフレーム２の開始時刻と、露光期間ｔＥの開始時刻とが一致しなくてもよい。すなわち、図３２では光源１１の発光期間と、撮像部１２のライン露光とが同期しているが、これには限定されず、光源１１の発光期間と、撮像部１２のライン露光とが同期していなくてもよい。
図３３は、図３１を参照して説明した照明なしの画像および照明ありの画像の例を示す図である。画像Ｐ１０（撮像画像２０）は、照明なしの画像の例であり、明るい環境での画像を示す。例えば、昼間の外光が入る部屋の中を撮影した場合を示す。画像Ｐ２０（撮像画像２０）も、照明なしの画像を示す例であり、暗い環境での画像を示す。例えば、室内照明をつけていない夜間の部屋の中を撮影した場合を示す。画像Ｐ３０（撮像画像２０）は、照明ありの画像を示す例であり、最終的に取得したい明るさの画像を示す。
これらの例では、最終的に取得したい画像Ｐ３０に比較すると、画像Ｐ１０は少し明るさが不足しており、画像Ｐ２０は大きく明るさが不足している。
〈光源の発光量の制御〉
図３４は、実施形態６における制御器１３ａの動作例を説明する図である。グラフの横軸は、照明なし画像の平均輝度ＡＰＬを示し、縦軸は、光源１１のＰＷＭ制御のデューティ比ＤＲを示す。図３４のグラフは平均輝度ＡＰＬが小さいほどデューティ比を大きく、平均輝度ＡＰＬが大きいほどデューティ比を小さく制御する。つまり、暗い環境では照明を明るく、明るい環境では照明を暗くするように制御する。換言すれば、実施形態６では、光源が発光していない時に撮像した画像の明るさに基づいて、光源１１の発光量（この例では、デューティ比）を求め、その発光量で撮像する。その結果、実施形態６によれば適正露出を実現でき、検出器１３ｂによる人物の検出の精度がより高くなり得る。
例えば、図３３に示した画像Ｐ１０（明るい環境の画像）の平均輝度ＡＰＬを０．６とすると、そのときのデューティ比ＤＲは０．４となる。一方、図３３に示した画像Ｐ２０（暗い環境の画像）の平均輝度ＡＰＬを０．２とすると、そのときのデューティ比ＤＲは０．８となる。このように制御器１３ａは、照明なし画像Ｐの平均輝度ＡＰＬに基づいてデューティ比ＤＲを出力する。図３４の平均輝度ＡＰＬとデューティ比ＤＲとの関係は、直線としてプロットされる。
図３５および図３６は、実施形態６における光源１１の動作を説明する図である。光源１１は、制御器１３ａから入力されたデューティ比ＤＲに基づいて、ＰＷＭ制御によって発光する。
図３５は、図３３に示した画像Ｐ１０（明るい環境での照明なし画像）に基づいて算出したデューティ比ＤＲ＝０．４に基づいて、光源１１が発光する様子を示す。ＰＷＭ周期ＴＰに対して、点灯期間は０．４ＴＰであり、消灯期間は０．６ＴＰである。
図３６は、図３３に示した画像Ｐ２０（暗い環境での照明なし画像）に基づいて算出したデューティ比ＤＲ＝０．８に基づいて、光源１１が発光する様子を示す。ＰＷＭ周期ＴＰに対して、点灯期間は０．８ＴＰであり、消灯期間は０．２ＴＰである。
図３５および図３６に示されるように、暗い環境では照明を明るく、明るい環境では照明を暗くするように制御する。このようにして、図３３に示した画像Ｐ３０（最終的に取得したい所望の明るさの画像）を取得することができる。
図３７は、実施形態６における制御器１３ａの動作の他の例を説明する図である。図３４では、直線的な変換特性の例を示したが、照明と撮像部の感度の特性に応じて、図３７のグラフ３７０１，３７０２，３７０３のような非線形な変換特性を用いてもよい。
以上のように、実施形態６による撮像装置１０では、制御部１４は、光源１１の非発光時に撮像部１２によって取得された撮像画像２０の明るさ（この例では、撮像画像２０内の全画素の明るさの平均値）に基づいて、光源１１の発光量を設定する。具体的には、制御部１４は、光源１１の非発光時に撮像部１２によって取得された撮像画像２０の明るさが明るくなるに連れて光源１１の発光量が少なくなるように、光源１１が発光していないときに撮像部１２によって取得された撮像画像２０の明るさに基づいて光源１１の発光量を設定する。
〔実施形態６の総括〕
本開示による実施形態で用いられるいかなる機能も、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得る。そのような機能は、単一のプロセッサによって実現されてもよく、または複数のプロセッサによって実現されてもよい。例えば図３０および図３１に示される撮像装置１０の機能は、大規模集積回路（ＬＳＩ）によって実現される。代替として、撮像装置１０の機能は、プロセッサと、プロセッサに結合されたメモリと、メモリに格納された、さまざまな機能を実現するインストラクションとによって実現される。
〔実施形態７，８の説明〕
従来、被写界を撮像して被写界を監視する撮像装置が知られている。例えば、特開２００７−３１８６７３号公報には、インターホン装置等に付加するセンサ付きのセンサカメラが開示されている。このセンサカメラは、所定の領域を撮像する撮像手段と、撮像手段の撮像画像から移動物体を検知する画像処理手段と、撮像画像信号を出力する手段と、周辺の明るさを判断する明るさ判断手段と、明るさ判断手段が判断する明るさが一定以下の場合に照明手段を点灯させるとともに照明手段の光量を制御する明るさ制御手段とを備えている。
しかしながら、上記のような撮像装置では、対象までの距離が短い場合に光源の発光量が多すぎる（例えば発光強度が強すぎる）と、撮像により取得される撮像画像の輝度値が飽和して検出対象の有無の判定を正確に行うことができなくなってしまう。また、対象までの距離が長い場合に光源の発光量が少なすぎる（例えば発光強度が弱すぎる）と、撮像により取得される撮像画像の輝度値が低すぎて検出対象の有無の判定を正確に行うことができなくなってしまう。このように、検出対象の有無を判定に適した発光強度で被写界を撮像することが困難である。なお、光源の発光量は、所定周期内において光源から発せられる光の総量のことであり、光源の発光強度を時間で積算して得られる量に相当する。
そこで、この開示は、検出対象の有無の判定に適した発光量（例えば発光強度）で被写界を撮像することが可能な撮像装置を提供することを目的とする。
〔実施形態７〕
図３８は、実施形態７による撮像装置１０の構成例を示している。撮像装置１０は、被写界を撮像して被写界を監視するように構成され、例えば、室内に設置される電化製品（具体例としては、フラットパネルディスプレイ）に設けられる。この例では、撮像装置１０は、光源１１と、撮像部１２と、処理回路１３とを備えている。
〈光源〉
光源１１は、被写界を照らすように構成され、その発光強度を複数の発光強度に切り換え可能に構成されている。この例では、光源１１は、その発光強度を互いに異なる２つの発光強度（すなわち「強」と「弱」）に切り換え可能に構成されている。例えば、光源１１は、発光ダイオード（ＬＥＤ）によって構成されていてもよいし、レーザーダイオードによって構成されていてもよい。なお、光源１１から発せられる光は、赤外光であっても良いし、可視光であってもよい。
なお、光源１１の発光強度を複数の発光強度に切り換えることにより、光源１１の発光量を複数の発光量に切り換えることができる。ここで、光源１１の発光量は、所定周期（例えば１枚の撮像画像を取得するために必要となるフレーム周期）内において光源１１から発せられる光の総量のことであり、光源１１の発光強度を時間で積算して得られる量に相当する。すなわち、光源１１は、その発光量を切り換え可能に構成されている。
また、光源１１の互いに異なる２つの発光強度（すなわち「強」と「弱」）は、光源１１の互いに異なる２つの発光量（すなわち「多」と「少」）にそれぞれ対応している。すなわち、この例では、光源１１は、その発光量を互いに異なる２つの発光量（すなわち「多」と「少」）に切り換え可能に構成されている。
以下では、光源１１が発光強度を複数の発光強度に切り換え可能に構成されている場合（すなわち、光源１１の発光強度を切り換えることによって光源１１の発光量を切り換える場合）を例に挙げて説明する。
〈撮像部〉
撮像部１２は、被写界を撮像して撮像画像を取得するように構成されている。例えば、撮像部１２は、相補型金属酸化膜半導体（ＣＭＯＳ）によって構成されていてもよいし、電荷結合素子（ＣＣＤ）によって構成されていてもよい。
〈処理回路〉
処理回路１３は、光源１１および撮像部１２などの撮像装置１０の各部を制御するように構成されている。例えば、処理回路１３は、ＣＰＵやメモリなどによって構成されている。また、この例では、制御部１４と、判定部１５と、設定部１８とを含んでいる。
《制御部》
制御部１４は、光源１１について設定すべき発光強度（発光量）が決定されていない場合に第１動作を行い、光源１１について設定すべき発光強度が決定されている場合に第２動作を行うように構成されている。具体的には、制御部１４は、複数の発光強度のうち設定すべき発光強度として設定部１８（記憶領域）に登録された発光強度があるか否かを判定し、設定すべき発光強度として設定部１８に登録された発光強度がない場合に第１動作を行い、設定すべき発光強度として設定部１８に登録された発光強度がある場合に第２動作を行うように構成されていてもよい。
第１動作では、制御部１４は、光源１１の発光強度を複数の発光強度に順次切り換えながら、その切り換えられた発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。すなわち、第１動作では、制御部１４は、光源１１の発光強度を予め定められた順序で複数の発光光度の中から選択された発光強度に設定し、その選択された発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。第２動作では、制御部１４は、光源１１の発光強度を設定すべき発光強度に設定し、その設定すべき発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。
この例では、制御部１４は、第１動作において、次のような処理を行う。すなわち、制御部１４は、光源１１の発光強度を第１発光強度（例えば「強」）に設定して第１発光強度で発光させた光源１１により照らされた被写界を撮像部１２にさせた後に、光源１１の発光強度を第２発光強度（例えば「弱」）に設定して第２発光強度で発光させた光源１１により照らされた被写界を撮像部１２にさせる。
また、この例では、制御部１４は、第２動作において、次のような処理を行う。すなわち、第１発光強度（例えば「強」）が設定すべき発光強度に決定されている場合、制御部１４は、光源１１の発光強度を第１発光強度に設定して第１発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。第２発光強度（例えば「弱」）が設定すべき発光強度に決定されている場合、制御部１４は、光源１１の発光強度を第２発光強度に設定して第２発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。第１および第２発光強度の両方が設定すべき発光強度に決定されている場合、制御部１４は、光源１１の発光強度を第１および第２発光強度に交互に切り換えながら、切り換えられた発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。
なお、第１発光強度（例えば「強」）および第２発光強度（例えば「弱」）は、第１発光量（例えば「多」）および第２発光量（例えば「少」）にそれぞれ対応している。
《判定部》
判定部１５は、撮像部１２によって取得された撮像画像において検出対象（例えば人間）の有無を判定するように構成されている。例えば、判定部１５は、非特許文献１「Navneet Dalal and Bill Triggs,"Histograms of OrientedGradients for HumanDetection,"Proc. of CVPR2005, vol.1, pp. 886-893,2005.」に示された検出手法（輝度勾配ヒストグラム特徴の機械学習に基づく検出手法）を用いて検出対象の有無の判定を行うように構成されていてもよい。また、判定部１５は、検出結果を外部へ出力するように構成されている。
《設定部》
設定部１８は、判定部１５によって検出対象ありと判定された撮像画像を取得するための撮像のときの光源１１の発光強度（発光量）を、設定すべき発光強度に決定するように構成されている。具体的には、設定部１８は、判定部１５によって検出対象ありと判定された撮像画像を取得するための撮像のときの光源１１の発光強度を設定すべき発光強度に決定して設定部１８（記憶領域）に登録するように構成されていてもよい。
また、設定部１８は、制御部１４の第２動作により取得された撮像画像が判定部１５によって検出対象なしと判定された場合に、撮像画像を取得するための撮像のときの光源１１の発光強度（発光量）を設定すべき発光強度とする決定を解除する。具体的には、設定部１８は、制御部１４の第２動作により取得された撮像画像であり且つ判定部１５により検出対象なしと判定された撮像画像を取得するための撮像のときの光源１１の発光強度について、設定部１８（記憶領域）における発光強度の登録（設定すべき発光強度としての登録）を削除するように構成されていてもよい。
〈動作〉
次に、図３９，図４０，図４１，図４２を参照して、実施形態７による撮像装置１０の動作について説明する。なお、図３９に示した動作は、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない場合に行われる動作（第１動作）に対応する。図４０に示した動作は、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されている場合に行われる動作（第２動作）に対応する。図４１に示した動作は、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている場合に行われる動作（第２動作）に対応する。図４２に示した動作は、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている場合に行われる動作（第２動作）に対応する。
《ステップＳＴ７１１，ＳＴ７１２》
発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない場合、制御部１４は、光源１１の発光強度を「強」に設定する。そして、制御部１４は、発光強度を「強」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。具体的には、制御部１４は、発光強度を「強」に設定された光源１１により被写界が照らされている期間中に、少なくとも１枚の撮像画像が取得されるように、少なくとも１回の撮像（被写界の撮像）を撮像部１２に行わせる。
《ステップＳＴ７１３》
次に、判定部１５は、ステップＳＴ７１２において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「強」を設定すべき発光強度に決定する。具体的には、設定部１８は、発光強度「強」を設定すべき発光強度として設定部１８（記憶領域）に登録する。次に、ステップＳＴ７１４へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「強」を設定すべき発光強度に決定しない。具体的には、設定部１８は、発光強度「強」を設定すべき発光強度として設定部１８（記憶領域）に登録しない。次に、ステップＳＴ７１７へ進む。
《ステップＳＴ７１４，ＳＴ７１５》
ステップＳＴ７１３において検出対象があると判定された場合、制御部１４は、光源１１の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７１６》
次に、判定部１５は、ステップＳＴ７１５において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度に決定する。具体的には、設定部１８は、発光強度「弱」を設定すべき発光強度として設定部１８（記憶領域）に登録する。これにより、発光強度「強」および「弱」の両方が設定すべき発光強度に決定される。具体的には、発光強度「強」および「弱」の両方が設定すべき発光強度として設定部１８（記憶領域）に登録される。次に、ステップＳＴ７２１（図４０）へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度に決定しない。具体的には、設定部１８は、発光強度「弱」を設定すべき発光強度として設定部１８（記憶領域）に登録しない。これにより、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定される。具体的には、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度として設定部１８（記憶領域）に登録される。次に、ステップＳＴ７３１（図４１）へ進む。
《ステップＳＴ７１７，ＳＴ７１８》
ステップＳＴ７１３において検出対象がないと判定された場合、制御部１４は、光源１１の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。具体的には、制御部１４は、発光強度を「弱」に設定された光源１１により被写界が照らされている期間中に、少なくとも１枚の撮像画像が取得されるように、少なくとも１回の撮像（被写界の撮像）を撮像部１２に行わせる。
《ステップＳＴ７１９》
次に、判定部１５は、ステップＳＴ７１８において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度に決定する。これにより、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定される。具体的には、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度として設定部１８（記憶領域）に登録される。次に、ステップＳＴ７４１（図４２）へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度に決定しない。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されない。具体的には、発光強度「強」および「弱」のいずれもが設定すべき発光強度として設定部１８（記憶領域）に登録されない。次に、ステップＳＴ７１１へ進む。
《ステップＳＴ７２１，ＳＴ７２２》
発光強度「強」および「弱」の両方が設定すべき発光強度に決定されている場合、制御部１４は、光源１１の発光強度を「強」に設定し、発光強度を「強」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７２３》
次に、判定部１５は、ステップＳＴ７２２において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「強」を設定すべき発光強度とする決定を維持する。具体的には、設定部１８は、設定部１８（記憶領域）における発光強度「強」の登録（設定すべき発光強度としての登録）を維持する。次に、ステップＳＴ７２４へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「強」を設定すべき発光強度とする決定を解除する。具体的には、設定部１８は、設定部１８（記憶領域）における発光強度「強」の登録（設定すべき発光強度としての登録）を削除する。次に、ステップＳＴ７２７へ進む。
《ステップＳＴ７２４，ＳＴ７２５》
ステップＳＴ７２３において検出対象があると判定された場合、制御部１４は、光源１１の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７２６》
次に、判定部１５は、ステップＳＴ７２５において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度とする決定を維持する。具体的には、設定部１８は、設定部１８（記憶領域）における発光強度「弱」の登録（設定すべき発光強度としての登録）を維持する。これにより、発光強度「強」および「弱」の両方が設定すべき発光強度に決定されている状態が維持される。具体的には、発光強度「強」および「弱」の両方が設定すべき発光強度として設定部１８（記憶領域）に登録されている状態が維持される。次に、ステップＳＴ７２１へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度とする決定を解除する。具体的には、設定部１８は、設定部１８（記憶領域）における発光強度「弱」の登録（設定すべき発光強度としての登録）を削除する。これにより、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている状態となる。具体的には、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度として設定部１８（記憶領域）に登録されている状態となる。次に、ステップＳＴ７３１（図４１）へ進む。
《ステップＳＴ７２７，ＳＴ７２８》
ステップＳＴ７２３において検出対象がないと判定された場合、制御部１４は、光源１１の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７２９》
次に、判定部１５は、ステップＳＴ７２８において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度とする決定を維持する。これにより、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている状態となる。具体的には、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度として設定部１８（記憶領域）に登録されている状態となる。次に、ステップＳＴ７４１（図４２）へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度とする決定を解除する。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない状態となる。具体的には、発光強度「強」および「弱」のいずれもが設定すべき発光強度として設定部１８（記憶領域）に登録されていない状態となる。ステップＳＴ７１１（図３９）へ進む。
《ステップＳＴ７３１，ＳＴ７３２》
発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている場合、制御部１４は、光源１１の発光強度を「強」に設定し、発光強度を「強」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７３３》
次に、判定部１５は、ステップＳＴ７３２において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「強」を設定すべき発光強度とする決定を維持する。これにより、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている状態が維持される。次に、ステップＳＴ７３１へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「強」を設定すべき発光強度とする決定を解除する。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない状態となる。次に、ステップＳＴ７１１（図３９）へ進む。
《ステップＳＴ７４１，ＳＴ７４２》
発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている場合、制御部１４は、光源１１の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７４３》
次に、判定部１５は、ステップＳＴ７４２において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度とする決定を維持する。これにより、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている状態が維持される。次に、ステップＳＴ７４１へ進む。
一方、撮像画像において検出対象がないと判定された場合、設定部１８は、発光強度「弱」を設定すべき発光強度とする決定を解除する。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない状態となる。次に、ステップＳＴ７１１（図３９）へ進む。
〈実施形態７による効果〉
以上のように、光源１１について設定すべき発光強度（発光量）が決定されていない場合に、複数の発光強度に順次切り換えながら切り換えられた発光強度で発光させた光源１１により照らされた被写界を撮像して撮像画像を取得する第１動作（すなわち、光源１１の発光強度を予め定められた順序で複数の発光光度の中から選択された発光強度に設定して選択された発光強度で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる第１動作）を行い、その取得された撮像画像において検出対象の有無を判定し、検出対象ありと判定された撮像画像を取得するための撮像のときの光源１１の発光強度を設定すべき発光強度に決定することにより、検出対象の有無の判定に適した発光強度（発光量）を決定することができる。
そして、光源１１について設定すべき発光強度（発光量）が決定されている場合に、光源１１の発光強度を設定すべき発光強度に設定して設定すべき発光強度で発光させた光源１１により照らされた被写界を撮像して撮像画像を取得する第２動作を行うことにより、検出対象の有無の判定に適した発光強度（発光量）で被写界を撮像することができる。
また、制御部１４の第２動作により取得された撮像画像が判定部１５によって検出対象なしと判定された場合に、その撮像画像を取得するための撮像のときの光源１１の発光強度（発光量）を設定すべき発光強度とする決定を解除することにより、検出対象の有無の判定に適さなくなった発光強度（発光量）での撮像を停止することができる。
〔実施形態８〕
実施形態８による撮像装置１０は、その動作が実施形態１による撮像装置１０と異なっている。また、光源１１は、その発光強度を２以上の発光強度に切り換え可能に構成されている。すなわち、光源１１は、その発光量を２以上の発光量に切り換え可能に構成されている。実施形態８のその他の構成は、実施形態７と同様となっている。
〈動作〉
次に、図４３および図４４を参照して、実施形態８による撮像装置１０の動作について説明する。なお、図４３に示した動作は、光源１１について設定すべき発光強度に決定されていない場合に行われる動作（第１動作）に対応する。図４４に示した動作は、光源１１について設定すべき発光強度が決定されている場合に行われる動作（第２動作）に対応する。また、以下の説明において、変数Ｊは、１以上であり且つ上限値Ｊｍａｘ以下の整数であり、処理の対象となる発光強度の番号（例えば、発光強度の強さの段階を示した番号）を示している。上限値Ｊｍａｘは、２以上の整数であり、光源１１の設定可能な発光強度の数（例えば、発光強度の切り換え段階数）に相当する。
《ステップＳＴ７５１》
光源１１について設定すべき発光強度が決定されていない場合、制御部１４は、変数Ｊを１に設定する。すなわち、制御部１４は、第１番目の発光強度を今回の処理の対象として選択する。
《ステップＳＴ７５２，ＳＴ７５３》
次に、制御部１４は、光源１１の発光強度を第Ｊ番目の発光強度に設定する。そして、制御部１４は、第Ｊ番目の発光強度に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。具体的には、制御部１４は、第Ｊ番目の発光強度に設定された光源１１により被写界が照らされている期間中に、少なくとも１枚の撮像画像が取得されるように、少なくとも１回の撮像（被写界の撮像）を撮像部１２に行わせる。
《ステップＳＴ７５４》
次に、判定部１５は、ステップＳＴ７５３において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合には、ステップＳＴ７５５へ進み、そうでない場合には、ステップＳＴ７５６へ進む。
《ステップＳＴ７５５》
次に、設定部１８は、ステップＳＴ７５４において検出対象ありと判定された撮像画像を取得するための撮像のときの光源１１の発光強度（すなわち、ステップＳＴ７５２において光源１１の今回の発光強度に設定された第Ｊ番目の発光強度）を設定すべき発光強度に決定する。具体的には、設定部１８は、第Ｊ番目の発光強度を設定すべき発光強度として設定部１８（記憶領域）に登録する。次に、ステップ７５６へ進む。
《ステップＳＴ７５６》
次に、制御部１４は、変数Ｊが上限値Ｊｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、複数の発光強度の中に処理の対象として選択されていない発光強度が残っているか否かを判定する。変数Ｊが上限値Ｊｍａｘに到達していない場合には、ステップＳＴ７５７へ進み、変数Ｊが上限値Ｊｍａｘに到達している場合には、ステップＳＴ７５８へ進む。
《ステップＳＴ７５７》
ステップＳＴ７５７において変数Ｊが上限値Ｊｍａｘに到達していないと判定された場合、制御部１４は、変数Ｊに１を加算する。すなわち、制御部１４は、複数の発光強度の中から未だ選択されていない発光強度を次回の処理の対象として選択する。次に、ステップＳＴ７５２へ進む。
《ステップＳＴ７５８》
ステップＳＴ７５７において変数Ｊが上限値Ｊｍａｘに到達していると判定された場合、制御部１４は、光源１１について設定すべき発光強度が決定されているか否かを判定する。具体的には、制御部１４は、複数の発光強度のうち設定すべき発光強度として設定部１８（記憶領域）に登録された発光強度があるか否かを判定する。設定すべき発光強度が決定されている場合には、ステップＳＴ７６１へ進み、そうでない場合には、ステップＳＴ７５１へ進む。
《ステップＳＴ７６１》
光源１１について設定すべき発光強度が決定されている場合、制御部１４は、変数Ｊを１に設定する。すなわち、制御部１４は、第１番目の発光強度を今回の処理の対象として選択する。
《ステップＳＴ７６２》
次に、制御部１４は、第Ｊ番目の発光強度（すなわち、今回の処理の対象となっている発光強度）が設定すべき発光強度に決定されているか否かを判定する。第Ｊ番目の発光強度が設定すべき発光強度に決定されてない場合には、ステップＳＴ７６３へ進み、第Ｊ番目の発光強度が設定すべき発光強度に決定されている場合には、ステップＳＴ７６５へ進む。
《ステップＳＴ７６３》
次に、制御部１４は、変数Ｊが上限値Ｊｍａｘに到達しているか否かを判定する。変数Ｊが上限値Ｊｍａｘに到達していない場合には、ステップＳＴ７６４へ進み、変数Ｊが上限値Ｊｍａｘに到達している場合には、ステップＳＴ７６１へ進む。
《ステップＳＴ７６４》
ステップＳＴ７６３において変数Ｊが上限値Ｊｍａｘに到達していないと判定された場合、制御部１４は、変数Ｊに１を加算する。次に、ステップＳＴ７６２へ進む。
《ステップＳＴ７６５，ＳＴ７６６》
ステップＳＴ７６２において第Ｊ番目の発光強度が設定すべき発光強度に決定されていると判定された場合、制御部１４は、光源１１の発光強度を第Ｊ番目の発光強度に設定する。そして、制御部１４は、第Ｊ番目の発光強度に設定された光源１１により照らされた被写界を撮像部１２に撮像させる。
《ステップＳＴ７６７》
次に、判定部１５は、ステップＳＴ７６６において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象がないと判定された場合には、ステップＳＴ７６８へ進み、撮像画像において検出対象があると判定された場合には、ステップＳＴ７７０へ進む。
《ステップＳＴ７６８》
次に、設定部１８は、ステップＳＴ７６７において検出対象なしと判定された撮像画像を取得するための撮像のときの光源１１の発光強度（すなわち、ステップＳＴ７６５において光源の今回の発光強度として設定された第Ｊ番目の発光強度）を設定すべき発光光度とする決定を解除する。具体的には、設定部１８は、設定部１８（記憶領域）における第Ｊ番目の発光強度の登録（設定すべき発光強度としての登録）を削除する。次に、ステップＳＴ７６９へ進む。
《ステップＳＴ７６９》
次に、制御部１４は、光源１１について設定すべき発光強度が決定されているか否かを判定する。設定すべき発光強度が決定されている場合には、ステップＳＴ７７０へ進み、そうでない場合には、ステップＳＴ７５１へ進む。
《ステップＳＴ７７０，ＳＴ７７１》
ステップＳＴ７６９において光源１１について設定すべき発光強度が決定されていると判定された場合、制御部１４は、変数Ｊが上限値Ｊｍａｘに到達しているか否かを判定する。変数Ｊが上限値Ｊｍａｘに到達していない場合、制御部１４は、変数Ｊに１を加算する。次に、ステップＳＴ７６２へ進む。一方、変数Ｊが上限値Ｊｍａｘに到達している場合には、ステップＳＴ７６１へ進む。
〈実施形態８による効果〉
以上のように構成した場合も、実施形態７と同様に、光源１１について設定すべき発光強度（発光量）が決定されていない場合に、検出対象の有無の判定に適した発光強度（発光量）を決定することができ、光源１１について設定すべき発光強度（発光量）が決定されている場合に、検出対象の有無の判定に適した発光強度（発光量）で被写界を撮像することができる。
また、実施形態７と同様に、制御部１４の第２動作により取得された撮像画像が判定部１５によって検出対象なしと判定された場合に、その撮像画像を取得するための撮像のときの光源１１の発光強度（発光量）を設定すべき発光強度とする決定を解除することにより、検出対象の有無の判定に適さなくなった発光強度（発光量）での撮像を停止することができる。
〔実施形態７，８の総括〕
なお、以上の説明において、判定部１５は、時系列において連続的（または離散的）に並ぶ複数の撮像画像に基づいて検出処理（検出対象の有無の判定）を行うように構成されていてもよい。この場合、判定部１５は、撮像部１２によって取得された複数の撮像画像を、撮像画像を取得するための撮像のときの光源１１の発光強度（発光量）で分類し、発光強度の分類毎にその分類に属する複数の撮像画像に基づいて検出対象の有無を判定するように構成されていることが好ましい。このように構成することにより、発光強度（発光量）の分類毎に複数の撮像画像に基づいて検出対象の有無を判定し、その判定結果に基づいて検出対象の有無の判定に適した発光強度（発光量）を適切に決定することができる。
また、以上の説明において、判定部１５における検出対象は、人間に限定されず、例えば、動体の動きであってもよい。
また、以上の説明では、制御部１４と判定部１５と設定部１８が１つの処理回路１３に含まれている場合を例に挙げたが、制御部１４と判定部１５と設定部１８は、２つ以上の処理回路に分散して含まれていてもよい。
また、以上の説明では、光源１１が発光強度を切り換え可能に構成されている場合（すなわち、光源１１の発光強度を切り換えることによって光源１１の発光量を切り換える場合）を例に挙げたが、光源１１は、その発光デューティ比を複数の発光デューティ比に切り換え可能に構成されていてもよい。ここで、発光デューティ比は、所定周期（例えば、１枚の撮像画像を取得するために必要となるフレーム周期）内における点灯期間（光源１１が点灯している期間）の割合のことである。このように構成した場合も、光源１１の発光デューティ比を切り換えることにより、光源１１の発光量を切り換えることができる。
〔実施形態９〕
図４５は、実施形態９による撮像装置１０の構成例を示している。撮像装置１０は、被写界を撮像して被写界を監視するように構成され、例えば、室内に設置される電化製品（具体例としては、フラットパネルディスプレイ）に設けられる。この例では、撮像装置１０は、光源１１と、撮像部１２と、処理回路１３とを備えている。
〈光源〉
光源１１は、被写界を照らすように構成されている。また、光源１１は、その発光量を変更可能に構成されている。具体的には、光源１１は、その発光強度および発光デューティ比の少なくとも一方を変更可能に構成されている。ここで、発光量は、所定周期（例えば１枚の撮像画像を取得するために必要となるフレーム周期）において光源１１から発せられる光の総量のことであり、光源１１の発光強度を時間で積算して得られる量に相当する。発光デューティ比は、所定周期内における点灯期間（光源１１が点灯している期間）の割合のことである。例えば、光源１１は、発光ダイオード（ＬＥＤ）によって構成されていてもよいし、レーザーダイオードによって構成されていてもよい。なお、光源１１から発せられる光は、赤外光であっても良いし、可視光であってもよい。
この例では、光源１１は、その発光量を互いに異なる２つの発光量（第１発光量と第１発光量よりも少ない第２発光量）に切り換え可能に構成されている。具体的には、光源１１は、その発光強度を互いに異なる２つの発光強度（第１発光強度と第１発光強度よりも弱い第２発光強度）に切り換え可能に構成されていてもよい。または、光源１１は、その発光デューティ比を互いに異なる２つの発光デューティ比（第１発光デューティ比と第１発光デューティ比よりも小さい第２発光デューティ比）に切り換え可能に構成されていてもよい。
〈撮像部〉
撮像部１２は、被写界を撮像して撮像画像を取得するように構成されている。また、撮像部１２は、その露光時間を変更可能に構成されている。具体的には、撮像部１２は、その露光時間を互いに異なる２つの露光時間（第１露光時間と第１露光時間よりも長い第２露光時間）に切り換え可能に構成されている。例えば、撮像部１２は、相補型金属酸化膜半導体（ＣＭＯＳ）によって構成されていてもよいし、電荷結合素子（ＣＣＤ）によって構成されていてもよい。また、撮像部１２は、ローリングシャッタ方式により駆動されるように構成されていてもよいし、グローバルシャッタ方式により駆動されるように構成されていてもよい。
〈処理回路〉
処理回路１３は、光源１１および撮像部１２などの撮像装置１０の各部を制御するように構成されている。例えば、処理回路１３は、ＣＰＵやメモリなどによって構成されている。また、この例では、制御部１４と、判定部１５と、検出部１６と、識別部１７とを備えている。
《制御部》
制御部１４は、光源１１を発光させて撮像部１２に被写界（光源１１によって照明された被写界）を撮像させるように構成されている。また、制御部１４は、判定部１５による判定結果に応じて光源１１の発光量および撮像部１２の露光時間を切り換えるように構成されている。
《判定部》
判定部１５は、撮像部１２によって取得された撮像画像において検出対象（例えば動き）の有無を判定するように構成されている。
《検出部》
検出部１６は、判定部１５によって検出対象ありと判定された撮像画像から予め定められた対象物（例えば人間の顔）を検出するように構成されている。例えば、検出部１６は、非特許文献１「Navneet Dalal and Bill Triggs,"Histograms of OrientedGradients for HumanDetection,"Proc. of CVPR2005, vol.1, pp. 886-893,2005.」に示された検出手法（輝度勾配ヒストグラム特徴の機械学習に基づく検出手法）を用いて対象物検出処理（この例では、人検出処理）を行うように構成されていてもよい。
《識別部》
識別部１７は、撮像部１２によって取得された撮像画像から対象物領域を抽出し、対象物領域と予め登録された照合画像とを照合して対象物を識別するように構成されている。なお、対象物領域は、撮像画像の一部であり且つ検出部１６によって検出された対象物を含む領域（画像領域）に相当する。例えば、対象物は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部１７は、対象物領域に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別を行う。また、識別部１７は、識別結果を外部に出力するように構成されている。
例えば、識別部１７は、非特許文献２「Paul Violaand Michael Jones,"Rapid Object Detection using a BoostedCascade of SimpleFeatures,"Proc. of CVPR2001, vol.1, pp. 511-518,2001.」に示された手法（輝度分布の比較に基づく手法）などを用いて対象物領域を抽出するように構成されていてもよい。また、識別部１７は、サポートベクトルマシンや相互部分空間法などを用いて照合処理（対象物領域と照合画像との照合）を行うように構成されていてもよい。
〈動作〉
次に、図４６を参照して、実施形態９による撮像装置１０の動作について説明する。
《ステップＳＴ８０１》
まず、制御部１４は、光源１１の発光量を第１発光量（すなわち「多」）に設定するとともに、撮像部１２の露光時間を第１露光時間（すなわち「短」）に設定する。
《ステップＳＴ８０２》
次に、制御部１４は、予め設定された発光量（具体的には、ステップＳＴ８０１，ＳＴ８０４，ＳＴ８０５において設定された発光量）で光源１１を発光させる。また、制御部１４は、予め設定された露光時間（具体的には、ステップＳＴ８０１，ステップＳＴ８０４，ＳＴ８０５において設定された露光時間）で撮像部１２を露光させて撮像部１２に被写界（光源１１によって照らされた被写界）を撮像させる。
例えば、制御部１４は、光源１１が予め設定された発光量で発光している期間中に、時系列に連続するＮ枚（Ｎは２以上の整数）の撮像画像からなる撮像画像列が取得されるように、撮像部１２（予め設定された露光時間で露光させた撮像部１２）に被写界の撮像をＮ回連続して行わせる。
《ステップＳＴ８０３》
次に、判定部１５は、ステップＳＴ８０３において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合には、ステップＳＴ８０４へ進み、そうでない場合には、ステップＳＴ８０５へ進む。
例えば、判定部１５は、ステップＳＴ８０３において取得された撮像画像列を構成するＮ個の撮像画像からＮ−１個の差分画像を算出する。なお、第Ｘ番目（Ｘは１以上であり且つＮ−１以下の整数）の差分画像は、撮像画像列を構成するＮ個の撮像画像のうち時系列において第Ｘ番目に位置する撮像画像と時系列において第Ｘ＋１番目に位置する撮像画像との差分画像に相当する。次に、判定部１５は、Ｎ−１個の差分画像の画素値を画素毎に平均して差分平均画像（それぞれの画素値がＮ−１個の画素値の平均値を示した画像）を算出する。そして、判定部１５は、差分平均画像に含まれる複数の画素値のうち予め定められた差分閾値を上回る画素値の個数の占有割合（差分平均画像に含まれる全画素数に対する割合）が予め定められた占有割合閾値を上回る場合に、撮像画像に動き（検出対象）があると判定し、そうでない場合に、撮像画像に動き（検出対象）がないと判定する。なお、差分閾値および占有割合閾値は、例えば、動きがあるとみなせるときの画素値および占有割合にそれぞれ設定されている。
《ステップＳＴ８０４》
ステップＳＴ１０５において検出対象ありと判定された場合、制御部１４は、光源１１の発光量を第１発光量（すなわち「多」）に設定するとともに、撮像部１２の露光時間を第１露光時間（すなわち「短」）に設定する。次に、ステップＳＴ８０６へ進む。
《ステップＳＴ８０５》
一方、ステップＳＴ１０５において検出対象なしと判定された場合、制御部１４は、光源１１の発光量を第２発光量（すなわち「少」）に設定するとともに、撮像部１２の露光時間を第２露光時間（すなわち「長」）に設定する。次に、ステップＳＴ８０６へ進む。
《ステップＳＴ８０６》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップＳＴ８０２へ進む。
このように、制御部１４は、判定部１５によって検出対象ありと判定された場合に光源１１の発光量を第１発光量に設定するとともに撮像部１２の露光時間を第１露光時間に設定し、判定部１５によって検出対象ありと判定された場合に光源１１の発光量を第２発光強度（第１発光量よりも少ない発光量）に設定するとともに撮像部１２の露光時間を第２露光時間（第１露光時間よりも長い露光時間）に設定するように構成されている。
〈撮像画像の明るさと光源の発光量と撮像部の露光時間との関係〉
撮像画像の明るさ（輝度値）は、光源１１の発光量と撮像部１２の露光時間とに依存している。具体的には、光源１１の発光量が多くなるほど撮像画像の明るさが高くなり、光源１１の発光量が少なくなるほど撮像画像の明るさが低くなる傾向にある。また、撮像部１２の露光時間が長くなるほど撮像画像の明るさが高くなり、撮像部１２の露光時間が短くなるほど撮像画像の明るさが低くなる傾向にある。
〈実施形態９による効果〉
以上のように、判定部１５によって検出対象ありと判定された場合に光源１１の発光量を第１発光量に設定するとともに撮像部１２の露光時間を第１露光時間に設定することにより、光源１１の発光量が常に第２発光量（第１発光量よりも少ない発光量）に設定されて撮像部１２の露光時間が常に第２露光時間（第１露光時間よりも長い露光時間）に設定されている場合よりも、撮像部１２による被写界の撮像を迅速に行うことができる。
また、判定部１５によって検出対象なしと判定された場合に光源１１の発光量を第２発光量（第１発光量よりも少ない発光量）に設定するとともに撮像部１２の露光時間を第２露光時間（第１露光時間よりも長い露光時間）に設定することにより、判定部１５によって検出対象ありと判定された場合（すなわち、光源１１の発光量が第１発光量に設定されて撮像部１２の露光時間が第１露光時間に設定されている場合）よりも、光源１１の発光量を低くすることができるとともに撮像部１２の露光時間を長くすることができる。これにより、光源１１の消費電力を低減することができる。また、光源１１の発光量を低下させる一方で撮像部１２の露光時間を長くすることにより、光源１１の発光量の低下に起因する撮像画像の明るさの低下を補償することができる。
〔実施形態９の総括〕
以上の説明では、ステップＳＴ８０１において光源１１の発光量を第１発光量（すなわち「多」）に設定するとともに撮像部１２の露光時間を第１露光時間（すなわち「短」）に設定する場合を例に挙げたが、制御部１４は、ステップＳＴ８０１において光源１１の発光量を第２発光量（すなわち「少」）に設定するとともに撮像部１２の露光時間を第２露光時間（すなわち「長」）に設定するように構成されていてもよい。
また、以上の説明では、制御部１４と判定部１５と検出部１６と識別部１７が１つの処理回路１３に含まれている場合を例に挙げたが、制御部１４と判定部１５と検出部１６と識別部１７は、２つ以上の処理回路に分散して含まれていてもよい。
〔実施形態１０〕
図４７は、実施形態１０による撮像装置１０の構成例を示している。実施形態１０による撮像装置１０は、図１６に示した実施形態４による撮像装置１０と同様の構成を有している。また、実施形態１０による撮像装置１０は、実施形態１〜４による撮像装置１０の動作と同様の動作を行うことが可能である。なお、実施形態１０では、撮像部１２と制御部１４と判定部１５と検出部１６と識別部１７は、次のように構成されている。
撮像部１２は、ローリングシャッタ方式により駆動されるように構成されている。具体的には、撮像部１２は、複数の光センサがマトリクス状に配列された受光面（図示を省略）を有し、先頭ラインである第１行目のライン（行方向に配列された２以上の光センサにより構成されたライン）から最終ラインである第ｎ行目（ｎは２以上の整数）のラインへ向けてｎ本のラインが順次露光されるように構成されている。
制御部１４は、発光制御において、撮像部１２の全てのラインが同時に露光されている期間を除く期間内において複数の光源１１ａ〜１１ｄのうち発光させる光源１１が点灯している期間と光源１１（発光させる光源１１）が消灯している期間とが存在するように光源１１を発光させる。
判定部１５は、撮像部１２によって取得された撮像画像２０のうち撮像画像２０を取得するための撮像のときに発光している光源１１に対応する画像領域であり且つ光源１１が点灯している期間に対応する画像領域において検出対象の有無を判定するように構成されている。
検出部１６は、判定部１５によって検出対象ありと判定された画像領域を含む撮像画像から予め定められた対象物１００（この例では人間）を検出するように構成されている。
識別部１７は、撮像画像２０から対象物領域４０（撮像画像２０の一部であり且つ検出部１６によって検出された対象物１００を含む領域）を抽出し、対象物領域４０と予め登録された照合画像とを照合して対象物１００を識別するように構成されている。
〈光源と撮像部と撮像画像２０との対応関係〉
次に、図４８を参照して、光源１１と撮像部１２と撮像画像２０との関係について説明する。
撮像部１２は、その受光面においてマトリクス状に配列された光センサの行方向が第１方向（例えば水平方向）となり光センサの列方向が第１方向と直交する第２方向（例えば上下方向）となるように設置される。複数の光源１１（この例では４つの光源１１ａ〜１１ｄ）は、第１方向（例えば水平方向）に並設され、撮像部１２の受光面と対向する被写界の照明を分担して行うように構成されている。また、複数の光源１１は、それぞれ点灯期間を複数の点灯期間ｔＬ（この例では２つの点灯期間ｔ２５，ｔ２６）に切り換え可能に構成されている。
また、撮像画像２０には、マトリクス状に配列された複数の画像領域（この例では２行４列に配列された８つの画像領域２５ａ〜２５ｄ，２６ａ〜２６ｄ）が含まれている。以下の説明では、画像領域２５ａ〜２５ｄ，２６ａ〜２６ｄの総称を「画像領域２００」と記載する。そして、複数の光源１１は、複数の画像領域列（列方向に配列された２以上の画像領域２００）にそれぞれ対応し、複数の点灯期間ｔＬは、複数の画像領域行（行方向に配列された２以上の画像領域２００）にそれぞれ対応している。
また、複数の画像領域行は、撮像部１２の複数のライン群（連続する２以上のラインにより構成されたライン群）にそれぞれ対応している。すなわち、画像領域行は、その画像領域行に対応する撮像部１２のライン群により撮像された被写界の一部を含んでいる。なお、複数の点灯期間ｔＬは、複数の画像領域行にそれぞれ対応している。したがって、複数の点灯期間ｔＬは、撮像部１２の複数のライン群にそれぞれ対応している。そして、点灯期間ｔＬは、その点灯期間ｔＬに対応する撮像部１２のライン群の露光期間ｔＥと重複するように設定されている。すなわち、点灯期間ｔＬにおいて光源１１を点灯させることにより、その点灯期間ｔＬに対応する撮像部１２のライン群の露光中に光源１１を点灯させて被写界を照らすことができ、光源１１によって照らされた被写界の一部を撮像部１２のライン群（その点灯期間ｔＬに対応するライン群）において撮像することができる。
この例では、点灯期間ｔ２５は、撮像部１２の先頭ラインである第１行目のラインＬ１から中央に位置する第ｍ行目（ｍは１よりも大きくｎよりも小さい整数、この例ではｎ／２に近い数）のラインまでのｍ本のライン群（すなわち、前半ライン群）に対応し、点灯期間ｔ２６は、第ｍ＋１行目のラインから最終ラインである第ｎ行目のラインＬｎまでのｎ−ｍ本のライン群（すなわち、後半ライン群）に対応している。
なお、所定期間（例えばフレーム期間）の開始タイミングに対する点灯期間の遅延時間（開始遅延時間）や点灯期間の長さを変更することにより、点灯期間に対応する撮像部１２のライン群を変更することが可能である。この例では、点灯期間ｔ２６の遅延時間ｔＤ２は、点灯期間ｔ２６の遅延時間ｔＤ１よりも長くなっている。なお、点灯期間ｔ２６の長さは、点灯期間ｔ２５の長さと同一となっている。
〈動作〉
次に、図４９を参照して、実施形態１０による撮像装置１０の動作について説明する。この例では、光源１１ａ〜１１ｄの発光順序（発光させる光源１１を選択する順序）が予め定められ、４つの画像領域列の選択順序が予め定められている。具体的には、光源１１ａと画像領域列（画像領域２５ａ，２６ａ）が第１番目に選択され、光源１１ｂと画像領域列（画像領域２５ｂ，２６ｂ）が第２番目に選択され、光源１１ｃと画像領域列（画像領域２５ｃ，２６ｃ）が第３番目に選択され、光源１１ｄと画像領域列（画像領域２５ｄ，２６ｄ）が第４番目に選択されるように、光源１１および画像領域列の選択順序が予め定められている。また、光源１１および画像領域列の選択順序に基づいて光源１１ａ〜１１ｄと４つの画像領域列に番号（選択順を示した番号）が割り当てられている。具体的には、光源１１ａと画像領域列（画像領域２５ａ，２６ａ）に「１」が割り当てられ、光源１１ｂと画像領域列（画像領域２５ｂ，２６ｂ）に「２」が割り当てられ、光源１１ｃと画像領域（画像領域２５ｃ，２６ｃ）に「３」が割り当てられ、光源１１ｄと画像領域列（画像領域２５ｄ，２６ｄ）に「４」が割り当てられている。また、以下の説明において、変数Ｋは、１以上であり且つ上限値Ｋｍａｘ以下の整数であり、処理の対象となる光源１１および画像領域列の番号を示している。上限値Ｋｍａｘは、２以上の整数であり、光源１１の個数に相当する。
また、この例では、点灯期間ｔ２５，ｔ２６の選択順序が予め定められ、２つの画像領域行の選択順序が予め定められている。具体的には、点灯期間ｔ２５と画像領域行（２５ａ，２５ｂ，２５ｃ，２５ｄ）が第１番目に選択され、点灯期間ｔ２６と画像領域行（２６ａ，２６ｂ，２６ｃ，２６ｄ）が第２番目に選択されるように、点灯期間および画像領域行の選択順序が予め定められている。また、点灯期間および画像領域行の選択順序に基づいて点灯期間ｔ２５，ｔ２６と２つの画像領域行に番号（選択順を示した番号）が割り当てられている。具体的には、点灯期間ｔ２５と画像領域行（２５ａ，２５ｂ，２５ｃ，２５ｄ）に「１」が割り当てられ、点灯期間ｔ２６と画像領域行（２６ａ，２６ｂ，２６ｃ，２６ｄ）に「２」が割り当てられている。また、以下の説明において、変数Ｍは、１以上であり且つ上限値Ｍｍａｘ以下の整数であり、処理の対象となる点灯期間および画像領域行の番号を示している。上限値Ｍｍａｘは、２以上の整数であり、点灯期間の個数に相当する。
《ステップＳＴ１００１》
まず、制御部１４は、変数Ｍを１に設定する。すなわち、制御部１４は、予め定められた選択順序において第１番目に選択される点灯期間と画像領域行（この例では点灯期間ｔ２５と画像領域行（２５ａ，２５ｂ，２５ｃ，２５ｄ））を、今回の処理の対象となる点灯期間と画像領域行として選択する。
《ステップＳＴ１００２》
次に、制御部１４は、変数Ｋを１に設定する。すなわち、制御部１４は、予め定められた選択順序において第１番目に選択される光源１１と画像領域列（この例では光源１１ａと画像領域列（２５ａ，２６ａ））を、今回の処理の対象となる光源１１と画像領域列として選択する。
《ステップＳＴ１００３》
次に、制御部１４は、第Ｋ番目の光源１１を第Ｍ番目の点灯期間において点灯させて撮像部１２に被写界を撮像させる。
《ステップＳＴ１００４》
次に、判定部１５は、ステップＳＴ１００３において取得された撮像画像２０から第Ｍ行目で第Ｋ列目の画像領域２００を抽出する。
《ステップＳＴ１００５》
次に、判定部１５は、ステップＳＴ１００４において抽出された第Ｍ行目で第Ｋ列目の画像領域２００において検出対象（この例では動き）の有無を判定する。第Ｍ行目で第Ｋ列目の画像領域２００において検出対象があると判定された場合には、ステップＳＴ１０００６へ進み、そうでない場合には、ステップＳＴ１００７へ進む。
《ステップＳＴ１００６》
次に、検出部１６は、ステップＳＴ１０５において検出対象ありと判定された第Ｍ行目で第Ｋ列目の画像領域２００を含む撮像画像２０から対象物１００（この例では人間）を検出する。
《ステップＳＴ１００７》
次に、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、今回の処理の対象となっている光源１１および画像領域列が予め定められた選択順序において最後に選択される光源１１および画像領域列であるか否かを判定する。変数Ｋが上限値Ｋｍａｘに到達していない場合には、ステップＳＴ１００８へ進み、変数Ｋが上限値Ｋｍａｘに到達している場合には、ステップＳＴ１００９へ進む。
《ステップＳＴ１００８》
ステップＳＴ１００８において変数Ｋが上限値Ｋｍａｘに到達していない場合、制御部１４は、変数Ｋに１を加算する。すなわち、制御部１４は、予め定められた選択順序において今回の処理の対象となっている光源１１および画像領域列の次に選択される光源１１および画像領域列を、次回の処理の対象となる光源１１および画像領域列として選択する。次に、ステップＳＴ１００３へ進む。
《ステップＳＴ１００９》
一方、ステップＳＴ１００８において変数Ｍが上限値Ｍｍａｘに到達していない場合、制御部１４は、変数Ｍが上限値Ｍｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、今回の処理の対象となっている点灯期間および画像領域行が予め定められた選択順序において最後に選択される点灯期間および画像領域行であるか否かを判定する。変数Ｍが上限値Ｍｍａｘに到達していない場合には、ステップＳＴ１０１０へ進み、変数Ｍが上限値Ｍｍａｘに到達している場合には、ステップＳＴ１０１１へ進む。
《ステップＳＴ１０１０》
ステップＳＴ１００９において変数Ｍが上限値Ｍｍａｘに到達していない場合、制御部１４は、変数Ｍに１を加算する。すなわち、制御部１４は、予め定められた選択順序において今回の処理の対象となっている点灯期間および画像領域行の次に選択される点灯期間および画像領域行を、次回の処理の対象となる点灯期間および画像領域行として選択する。次に、ステップＳＴ１００２へ進む。
《ステップＳＴ１０１１》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップＳＴ１００１へ進む。
〈光源の発光パターン〉
図５０は、実施形態１０における光源１１の発光パターンの一例を示している。図５０に示すように、実施形態１０では、予め定められた発光順序（この例では、光源１１ａ，１１ｂ，１１ｃ，１１ｄの順）で発光させる光源１１が選択される。そして、予め定められた選択順序（この例では、点灯期間ｔ２５，ｔ２６の順）で光源１１の点灯期間が選択される。なお、図５０では、撮像画像２０に含まれる８つの画像領域２００のうち処理の対象となる画像領域２００にハッチングが付されている。
〈実施形態１０による効果〉
以上のように構成した場合も、実施形態１〜４による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
また、撮像部１２の全てのラインが同時に露光されている期間を除く期間内において複数の光源１１ａ〜１１ｄのうち発光させる光源１１が点灯している期間と光源１１（発光させる光源１１）が消灯している期間とが存在するように発光制御において光源１１を発光させることにより、光源１１における消費電力を低減することができる。
〔実施形態１０の変形例〕
なお、実施形態１０による撮像装置１０において、制御部１４は、判定部１５によって検出対象ありと判定された画像領域２００が存在していない場合に、複数の光源１１ａ〜１１ｄが予め定められた発光順序および点灯順序で発光するように、発光制御（発光させる光源１１を切り換えるための制御）を行い、判定部１５によって検出対象ありと判定された画像領域２００が存在している場合に、複数の光源１１ａ〜１１ｄのうち判定部１５によって検出対象ありと判定された画像領域２００に対応する光源１１が判定部１５によって検出対象ありと判定された画像領域２００に対応する点灯期間において点灯する頻度が高くなるように、発光制御を行うように構成されていてもよい。
例えば、制御部１４は、判定部１５によって検出対象ありと判定された画像領域２００が存在している場合に、第１発光動作と第２発光動作とが交互に行われるように、発光制御を行うように構成されていてもよい。第１発光動作では、判定部１５によって検出対象ありと判定された画像領域２００に対応する光源１１が判定部１５によって検出対象ありと判定された画像領域２００に対応する点灯期間において点灯する。第２発光動作では、予め定められた発光順序および点灯順序に基づいて判定部１５によって検出対象ありと判定されていない画像領域２００に対応する光源１１のうち１つの光源１１が発光する。
〈動作〉
次に、図５１，図５２，図５３を参照して、実施形態１０の変形例による撮像装置１０の動作について説明する。この例においても、光源１１ａ〜１１ｄの発光順序（発光させる光源１１を選択する順序）が予め定められ、４つの画像領域列の選択順序が予め定められている。また、点灯期間ｔ２５，ｔ２６の選択順序が予め定められ、２つの画像領域行の選択順序が予め定められている。以下の説明において、変数Ｋは、１以上であり且つ上限値Ｋｍａｘ以下の整数であり、処理の対象となる光源１１および画像領域列の番号を示している。上限値Ｋｍａｘは、２以上の整数であり、光源１１の個数に相当する。変数Ｍは、１以上であり且つ上限値Ｍｍａｘ以下の整数であり、処理の対象となる点灯期間および画像領域行の番号を示している。上限値Ｍｍａｘは、２以上の整数であり、点灯期間の個数に相当する。
《ステップＳＴ１１０１》
まず、制御部１４は、変数Ｍを１に設定して変数Ｋを１に設定する。すなわち、制御部１４は、予め定められた選択順序において第１番目に選択される点灯期間と画像領域行を、今回の処理の対象となる点灯期間と画像領域行として選択し、予め定められた選択順序において第１番目に選択される光源１１と画像領域列を、今回の処理の対象となる光源１１と画像領域列として選択する。
《ステップＳＴ１１０２》
次に、制御部１４は、注目領域が存在しているか否かを判定する。注目領域は、判定部１５によって検出対象（この例では動き）ありと判定された画像領域２００に相当する。注目領域が存在していないと判定された場合には、ステップＳＴ１１０３へ進み。注目領域が存在している場合には、ステップＳＴ１２０１（図５２）へ進む。
《ステップＳＴ１１０３》
ステップＳＴ１１０２において注目領域が存在していないと判定された場合、制御部１４は、全ての光源１１ａ〜１１ｄを第Ｍ番目の点灯期間に点灯させて撮像部１２に被写界を撮像させる。
《ステップＳＴ１１０４》
次に、制御部１４は、変数Ｋを１に設定する。
《ステップＳＴ１１０５，ＳＴ１１０６》
次に、ステップＳＴ１００３，ＳＴ１００４と同様に、判定部１５は、ステップＳＴ１１０３において取得された撮像画像２０から第Ｍ行目で第Ｋ列目の画像領域２００を抽出し、その抽出された第Ｍ行目で第Ｋ列目の画像領域２００において検出対象（この例では動き）の有無を判定する。第Ｍ行目で第Ｋ列目の画像領域２００において検出対象がないと判定された場合には、ステップＳＴ１１０７へ進み、第Ｍ行目で第Ｋ列目の画像領域２００において検出対象があると判定された場合には、ステップＳＴ１１１２へ進む。
《ステップＳＴ１１０７》
次に、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、今回の処理の対象となっている光源１１および画像領域列が予め定められた選択順序において最後に選択される光源１１および画像領域列であるか否かを判定する。変数Ｋが上限値Ｋｍａｘに到達していない場合には、ステップＳＴ１１０８へ進み、変数Ｋが上限値Ｋｍａｘに到達している場合には、ステップＳＴ１１０９へ進む。
《ステップＳＴ１１０８》
ステップＳＴ１００８において変数Ｋが上限値Ｋｍａｘに到達していない場合、制御部１４は、変数Ｋに１を加算する。すなわち、制御部１４は、予め定められた選択順序において今回の処理の対象となっている光源１１および画像領域列の次に選択される光源１１および画像領域列を、次回の処理の対象となる光源１１および画像領域列として選択する。次に、ステップＳＴ１１０５へ進む。
《ステップＳＴ１１０９，ＳＴ１１１０，ＳＴ１１１１》
次に、制御部１４は、予め定められた選択順序に基づいて、次回の処理の対象となる点灯期間および画像領域行を選択する。具体的には、制御部１４は、変数Ｍが上限値Ｍｍａｘに到達しているか否かを判定し、変数Ｍが上限値Ｍｍａｘに到達していない場合に変数Ｍに１を加算し、変数Ｍが上限値Ｍｍａｘに到達している場合に変数Ｍを１に設定する。次に、ステップＳＴ１１０３へ進む。
《ステップＳＴ１１１２》
ステップＳＴ１１０６において第Ｍ行目で第Ｋ列目の画像領域２００において検出対象があると判定された場合、制御部１４は、ステップＳＴ１１０６において検出対象ありと判定された第Ｍ行目で第Ｋ列目の画像領域２００を注目対象（すなわち、注目領域）に設定する。
《ステップＳＴ１１１３》
次に、ステップＳＴ１００６と同様に、検出部１６は、ステップＳＴ１１１２において検出対象ありと判定された第Ｍ行目で第Ｋ列目の画像領域２００を含む撮像画像２０から対象物１００（この例では人間）を検出する。次に、ステップＳＴ１１１４へ進む。
《ステップＳＴ１１１４》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップＳＴ１１０２へ進む。
《ステップＳＴ１２０１》
一方、ステップＳＴ１１０２において注目領域が存在していると判定した場合、制御部１４は、複数の光源１１ａ〜１１ｄのうち注目領域である画像領域２００に対応する光源１１を、複数の点灯期間ｔ２５，ｔ２６のうち注目領域である画像領域２００に対応する点灯期間において発光させて、撮像部１２に被写界を撮像させる。
《ステップＳＴ１２０２》
次に、判定部１５は、ステップＳＴ１２０１において取得された撮像画像２０から注目領域である画像領域２００を抽出する。
《ステップＳＴ１２０３》
次に、判定部１５は、ステップＳＴ１２０２において抽出された注目領域である画像領域２００において検出対象（この例では動き）の有無を判定する。注目領域である画像領域２００において検出対象があると判定された場合には、ステップＳＴ１２０４へ進み、そうでない場合には、ステップＳＴ１２０５へ進む。
《ステップＳＴ１２０４》
次に、検出部１６は、ステップＳＴ１２０３において検出対象ありと判定された注目領域である画像領域２００を含む撮像画像２０から対象物１００（この例では人間）を検出する。次に、ステップＳＴ１２０６へ進む。
《ステップＳＴ１２０５》
一方、ステップＳＴ１２０３において検出対象なしと判定された場合、制御部１４は、検出対象なしと判定された注目領域である画像領域２００を注目対象（すなわち、注目領域）から除外する。次に、ステップＳＴ１２０６へ進む。
《ステップＳＴ１２０６》
次に、制御部１４は、第Ｍ行目で第Ｋ列目の画像領域２００が注目領域に設定されているか否かを判定する。第Ｍ行目で第Ｋ列目の画像領域２００が注目領域に設定されている場合には、ステップＳＴ１２０７へ進み、そうでない場合には、ステップＳＴ１２１３（図５３）へ進む。
《ステップＳＴ１２０７〜ＳＴ１２１２》
ステップＳＴ１２０６において第Ｍ行目で第Ｋ列目の画像領域２００が注目領域に設定されていると判定された場合、制御部１４は、予め定められた選択順序に基づいて、次回の処理対象となる画像領域２００を選択する。具体的には、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定し、変数Ｋが上限値Ｋｍａｘに到達していない場合に変数Ｋに１を加算し、変数Ｍが上限値Ｋｍａｘに到達している場合に変数Ｋを１に設定する。また、変数Ｋを１に設定した場合、制御部１４は、変数Ｍが上限値Ｍｍａｘに到達しているか否かを判定し、変数Ｍが上限値Ｍｍａｘに到達していない場合に変数Ｍに１を加算し、変数Ｍが上限値Ｍｍａｘに到達している場合に変数Ｍを１に設定する。次に、ステップＳＴ１２０６へ進む。
《ステップＳＴ１２１３，ＳＴ１２１４，ＳＴ１２１５》
一方、ステップＳＴ１２０６において第Ｍ行目で第Ｋ列目の画像領域２００が注目領域に設定されていないと判定された場合、制御部１４は、複数の光源１１ａ〜１１ｄのうち注目領域である画像領域２００に対応する光源１１を、複数の点灯期間ｔ２５，ｔ２６のうち注目領域である画像領域２００に対応する点灯期間において発光させて、撮像部１２に被写界を撮像させる。次に、判定部１５は、ステップＳＴ１２１３において取得された撮像画像２０から第Ｍ行目で第Ｋ列目の画像領域２００を抽出し、その抽出された第Ｍ行目で第Ｋ列目の画像領域２００において検出対象（この例では動き）の有無を判定する。第Ｍ行目で第Ｋ列目の画像領域２００において検出対象があると判定された場合には、ステップＳＴ１２１６へ進み、そうでない場合には、ステップＳＴ１２１８へ進む。
《ステップＳＴ１２１６》
次に、制御部１４は、ステップＳＴ１２１５において検出対象ありと判定された第Ｍ行目で第Ｋ列目の画像領域２００を注目対象（すなわち、注目領域）に設定する。
《ステップＳＴ１２１７》
次に、検出部１６は、ステップＳＴ１２１５において検出対象ありと判定された第Ｍ行目で第Ｋ列目の画像領域２００を含む撮像画像２０から対象物１００（この例では人間）を検出する。次に、ステップＳＴ１２１８へ進む。
《ステップＳＴ１２１８〜ＳＴ１２２３》
次に、制御部１４は、予め定められた選択順序に基づいて、次回の処理対象となる画像領域２００を選択する。具体的には、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定し、変数Ｋが上限値Ｋｍａｘに到達していない場合に変数Ｋに１を加算し、変数Ｍが上限値Ｋｍａｘに到達している場合に変数Ｋを１に設定する。また、変数Ｋを１に設定した場合、制御部１４は、変数Ｍが上限値Ｍｍａｘに到達しているか否かを判定し、変数Ｍが上限値Ｍｍａｘに到達していない場合に変数Ｍに１を加算し、変数Ｍが上限値Ｍｍａｘに到達している場合に変数Ｍを１に設定する。次に、ステップＳＴ１１１４（図５１）へ進む。
〈光源の発光パターン〉
図５４は、実施形態１０の変形例において注目領域が存在している場合の光源１１の発光パターンの一例を示している。図５４では、撮像画像２０に含まれる８つの画像領域２００のうち第１行目で第１列目の画像領域２５ａが注目領域に設定され、その他の７つの画像領域２００が注目領域に設定されていない。図５４に示すように、実施形態１０の変形例では、注目領域に対応する光源１１ａが注目領域に対応する点灯期間ｔ２５において点灯する第１発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域２００に対応する光源１１のうち１つの光源１１が発光する第２発光動作とが交互に行われるように、発光制御が行われる。なお、図５４では、撮像画像２０に含まれる８つの画像領域２００のうち処理の対象となる画像領域２００にハッチングが付されている。
〈実施形態１０の変形例による効果〉
以上のように、注目領域（検出対象ありと判定された画像領域２００）に対して検出対象の有無の判定を重点的に行うことができる。これにより、被写界のうち検出対象があると見込まれる領域を重点的に監視することができるので、被写界の監視（検出対象の有無の判定）を効果的に行うことができる。
なお、実施形態１０の変形例による撮像装置１０において、複数の画像領域２００が注目対象（すなわち、注目領域）に設定されていてもよい。
そして、制御部１４は、複数の注目領域（詳しくは判定部１５によって検出対象ありと判定された複数の画像領域２００であり同一の点灯期間ｔＬに対応する複数の画像領域２００）にそれぞれ対応する複数の光源１１が第１発光動作において同時に発光（点灯）するように発光制御を行うように構成されていてもよい。例えば、制御部１４は、実施形態２の変形例１における制御部１４の動作と同様の動作を行うように構成されていてもよい。
または、制御部１４は、複数の注目領域（詳しくは判定部１５によって検出対象ありと判定された複数の画像領域２００であり同一の点灯期間ｔＬに対応する複数の画像領域２００）にそれぞれ対応する複数の光源１１が第１発光動作において順に発光（点灯）するように発光制御を行うように構成されていてもよい。例えば、制御部１４は、実施形態２の変形例２における制御部１４の動作と同様の動作を行うように構成されていてもよい。
〔実施形態１０のその他の変形例〕
また、実施形態１０による撮像装置１０において、検出部１６は、注目領域（判定部１５によって検出対象ありと判定された画像領域２００）のうち判定部１５によって検出対象ありと判定された部位が注目領域の縁部である場合に、注目領域と隣接領域（注目領域の縁部に隣接する画像領域２００）とを含む候補領域３０から対象物１００を検出するように構成されていてもよい。例えば、検出部１６は、実施形態３における検出部１６の動作と同様の動作を行うように構成されていてもよい。
また、実施形態１０による撮像装置１０において、制御部１４は、識別部１７によって抽出される対象物領域４０が注目領域（判定部１５によって検出対象ありと判定された画像領域２００）と隣接領域（注目領域の縁部に隣接する画像領域２００）とに跨がっている場合に、複数の光源１１ａ〜１１ｄのうち注目領域および隣接領域に対応する光源１１を発光（点灯）させて撮像部１２に被写界を撮像させるように構成されていてもよい。そして、識別部１７は、注目領域に対応する光源１１が発光（点灯）しているときに撮像部１２によって取得された撮像画像２０から対象物領域４０を抽出して対象物領域４０と照合画像（第１照合画像）とを照合し、注目領域および隣接領域に対応する光源１１が発光（点灯）しているときに撮像部１２によって取得された撮像画像２０から対象物領域４０を抽出して対象物領域４０と照合画像（第２照合画像）とを照合し、これらの照合結果に基づいて対象物１００を識別するように構成されていてもよい。例えば、制御部１４および識別部１７は、実施形態４の変形例における制御部１４および識別部１７の動作と同様の動作を行うように構成されていてもよい。
〔実施形態１１〕
図５５は、実施形態１１による撮像装置１０の構成例を示している。実施形態１１による撮像装置１０は、図１６に示した実施形態４による撮像装置１０と同様の構成を有している。また、実施形態１１による撮像装置１０は、実施形態１〜４による撮像装置１０の動作と同様の動作を行うことが可能である。
なお、実施形態１１では、複数の光源１１ａ〜１１ｄは、それぞれが発光量を変更可能に構成されている。また、制御部１４は、撮像部１２によって取得された撮像画像２０のうち撮像画像２０を取得するための撮像のときに発光していない光源１１に対応する画像領域２１の明るさ（例えば平均輝度）に基づいて、その光源１１の発光量を設定するように構成されている。
また、実施形態１１による撮像装置１０では、実施形態１〜４による撮像装置１０の動作に加えて、図５６に示した動作が行われる。
〈動作〉
次に、図５６を参照して、実施形態１１による撮像装置１０の動作について説明する。この例では、光源１１ａ〜１１ｄおよび画像領域２１ａ〜２１ｄについて設定処理の対象となる順序が予め定められている。なお、以下の説明において、変数Ｋは、１以上であり且つ上限値Ｋｍａｘ以下の整数であり、処理の対象となる光源１１および画像領域２１の番号を示している。上限値Ｋｍａｘは、２以上の整数であり、光源１１の個数（この例では４）に相当する。
《ステップＳＴ２００１》
まず、制御部１４は、全ての光源１１ａ〜１１ｄを発光させずに撮像部１２に被写界（光源１１によって照明されていない被写界）を撮像させる。
《ステップＳＴ２００２》
次に、制御部１４は、変数Ｋを１に設定する。すなわち、制御部１４は、予め定められた選択順序において第１番目に選択される光源１１および画像領域２１（例えば、光源１１ａおよび画像領域２１ａ）を、今回の処理の対象となる光源１１および画像領域２１として選択する。
《ステップＳＴ２００３》
次に、制御部１４は、ステップＳＴ２００１において取得された撮像画像から第Ｋ番目の画像領域２１を抽出する。そして、制御部１４は、第Ｋ番目の画像領域２１の明るさに基づいて、第Ｋ番目の画像領域２１に対応する光源１１（第Ｋ番目の光源１１）の発光量を設定する。具体的には、制御部１４は、第Ｋ番目の画像領域２１の明るさが高くなるに連れて第Ｋ番目の光源１１の発光量が少なくなるように、第Ｋ番目の画像領域２１の明るさに基づいて第Ｋ番目の光源１１の発光量を設定する。
《ステップＳＴ２００４》
次に、制御部１４は、変数Ｋが上限値Ｋｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、複数の光源１１のうち処理の対象となっていない光源１１（発光量が設定されていない光源１１）が残っているか否かを判定する。変数Ｋが上限値Ｋｍａｘに到達していない場合には、ステップＳＴ２００５へ進み、変数Ｋが上限値Ｋｍａｘに到達している場合には、処理を終了する。
《ステップＳＴ２００５》
ステップＳＴ２００４において変数Ｋが上限値Ｋｍａｘに到達していないと判定された場合、制御部１４は、変数Ｋに１を加算する。すなわち、予め定められた選択順序において今回の処理の対象となっている光源１１および画像領域２１の次に選択される光源１１および画像領域２１を、次回の処理の対象となる光源１１および画像領域２１として選択する。次に、ステップＳＴ２００３へ進む。
〈実施形態１１による効果〉
以上のように構成した場合も、実施形態１〜４による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
また、撮像部１２によって取得された撮像画像２０のうち撮像画像２０を取得するための撮像のときに発光していない光源１１に対応する画像領域２１の明るさに基づいて、その光源１１の発光量を設定することができる。これにより、画像領域２１の明るさが適切な明るさになるように光源１１の発光量を設定することができる。
〔実施形態１２〕
図５７は、実施形態１２による撮像装置１０の構成例を示している。実施形態１２による撮像装置１０は、図１６に示した実施形態４による撮像装置１０と同様の構成を有している。また、実施形態１２による撮像装置１０は、実施形態１〜４による撮像装置１０の動作を同様の動作を行うことが可能である。なお、実施形態１２では、処理回路１３は、制御部１４と判定部１５と検出部１６と識別部１７に加えて、設定部１８を備えている。また、実施形態１２では、複数の光源１１ａ〜１１ｄと制御部１４と設定部１８は、次のように構成されている。
複数の光源１１ａ〜１１ｄは、それぞれが発光量を複数の発光量に切り換え可能に構成されている。
制御部１４は、複数の光源１１ａ〜１１ｄのうち発光させる光源１１について設定すべき発光量が決定されていない場合に第１動作を行うように構成されている。第１動作では、制御部１４は、光源１１（複数の光源１１ａ〜１１ｄのうち発光させる光源１１）の発光量を予め定められた順序で複数の発光量の中から選択された発光量に設定し、その選択された発光量で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。
また、制御部１４は、複数の光源１１ａ〜１１ｄのうち発光させる光源１１について設定すべき発光量が決定されている場合に第２動作を行うように構成されている。第２動作では、制御部１４は、光源（複数の光源１１ａ〜１１ｄのうち発光させる光源１１）の発光量を設定すべき発光量に設定し、その設定すべき発光量で発光させた光源１１により照らされた被写界を撮像部１２に撮像させる。
設定部１８は、判定部１５によって検出対象ありと判定された画像領域２１を含む撮像画像２０を取得するための撮像のときに発光している光源１１の発光量を、その光源１１について設定すべき発光量に決定する。
〈動作〉
次に、図５８，図５９を参照して、実施形態１２による撮像装置１０の動作について説明する。実施形態１２による撮像装置１０では、複数の光源１１ａ〜１１ｄの各々に対して以下の処理が行われる。なお、図５８に示した動作は、光源１１について設定すべき発光量に決定されていない場合に行われる動作（第１動作）に対応する。図５９に示した動作は、光源１１について設定すべき発光量が決定されている場合に行われる動作（第２動作）に対応する。また、以下の説明において、変数Ｊは、１以上であり且つ上限値Ｊｍａｘ以下の整数であり、処理の対象となる発光量の番号（例えば、発光量の段階を示した番号）を示している。上限値Ｊｍａｘは、２以上の整数であり、光源１１の設定可能な発光量の数（例えば、発光量の切り換え段階数）に相当する。
《ステップＳＴ３００１》
光源１１（この処理の対象としている光源１１、以下同様）について設定すべき発光量が決定されていない場合、制御部１４は、変数Ｊを１に設定する。すなわち、制御部１４は、第１番目の発光量を今回の処理の対象として選択する。
《ステップＳＴ３００２》
次に、制御部１４は、光源１１の発光量を第Ｊ番目の発光量に設定する。
《ステップＳＴ３００３》
次に、制御部１４は、第Ｊ番目の発光量に設定された光源１１により照らされた被写界が撮像部１２に撮像されたか否かを判定する。例えば、制御部１４は、第Ｊ番目の発光量に設定された光源１１により被写界が照らされている期間中に、少なくとも１回の撮像（被写界の撮像）が撮像部１２によって行われて少なくとも１枚の撮像画像が取得されたか否かを判定する。第Ｊ番目の発光量に設定された光源１１により照らされた被写界が撮像部１２に撮像された場合には、ステップＳＴ３００４へ進み、そうでない場合には、ステップＳＴ３００３を繰り返す。
《ステップＳＴ３００４》
次に、判定部１５は、ステップＳＴ３００３において取得された撮像画像から光源１１に対応する画像領域２１を抽出し、その抽出された画像領域２１において検出対象の有無を判定する。画像領域２１において検出対象があると判定された場合には、ステップＳＴ３００５へ進み、そうでない場合には、ステップＳＴ３００６へ進む。
《ステップＳＴ３００５》
次に、設定部１８は、ステップＳＴ３００４において検出対象ありと判定された画像領域２１を含む撮像画像を取得するための撮像のときの光源１１の発光量を、この光源１１について設定すべき発光量に決定する。すなわち、設定部１８は、ステップＳＴ３００２において光源１１の今回の発光量に設定された第Ｊ番目の発光量を、この光源１１について設定すべき発光量に決定する。具体的には、設定部１８は、第Ｊ番目の発光量を光源１１について設定すべき発光量として設定部１８（記憶領域）に登録する。次に、ステップＳＴ３００６へ進む。
《ステップＳＴ３００６》
次に、制御部１４は、変数Ｊが上限値Ｊｍａｘに到達しているか否かを判定する。すなわち、制御部１４は、複数の発光量の中に処理の対象として選択されていない発光量が残っているか否かを判定する。変数Ｊが上限値Ｊｍａｘに到達していない場合には、ステップＳＴ３００７へ進み、変数Ｊが上限値Ｊｍａｘに到達している場合には、ステップＳＴ３００８へ進む。
《ステップＳＴ３００７》
ステップＳＴ３００６において変数Ｊが上限値Ｊｍａｘに到達していないと判定された場合、制御部１４は、変数Ｊに１を加算する。すなわち、制御部１４は、複数の発光量の中から未だ選択されていない発光量を次回の処理の対象として選択する。次に、ステップＳＴ３００２へ進む。
《ステップＳＴ３００８》
一方、ステップＳＴ３００６において変数Ｊが上限値Ｊｍａｘに到達していると判定された場合、制御部１４は、光源１１について設定すべき発光量が決定されているか否かを判定する。具体的には、制御部１４は、光源１１について複数の発光量のうち設定すべき発光量として設定部１８（記憶領域）に登録された発光量があるか否かを判定する。光源１１について設定すべき発光量が決定されている場合には、ステップＳＴ３１０１（図５９）へ進み、そうでない場合には、ステップＳＴ３００１へ進む。
《ステップＳＴ３１０１》
光源１１について設定すべき発光量が決定されている場合、制御部１４は、変数Ｊを１に設定する。すなわち、制御部１４は、第１番目の発光量を今回の処理の対象として選択する。
《ステップＳＴ３１０２》
次に、制御部１４は、光源１１について第Ｊ番目の発光量（すなわち、今回の処理の対象となっている発光量）が設定すべき発光量に決定されているか否かを判定する。第Ｊ番目の発光量が設定すべき発光量に決定されてない場合には、ステップＳＴ３１０３へ進み、第Ｊ番目の発光量が設定すべき発光量に決定されている場合には、ステップＳＴ３１０５へ進む。
《ステップＳＴ３１０３》
次に、制御部１４は、変数Ｊが上限値Ｊｍａｘに到達しているか否かを判定する。変数Ｊが上限値Ｊｍａｘに到達していない場合には、ステップＳＴ３１０４へ進み、変数Ｊが上限値Ｊｍａｘに到達している場合には、ステップＳＴ３１０１へ進む。
《ステップＳＴ３１０４》
ステップＳＴ３１０３において変数Ｊが上限値Ｊｍａｘに到達していないと判定された場合、制御部１４は、変数Ｊに１を加算する。次に、ステップＳＴ３１０２へ進む。
《ステップＳＴ３１０５》
一方、ステップＳＴ３１０２において、光源１１について第Ｊ番目の発光量が設定すべき発光量に決定されていると判定された場合、制御部１４は、光源１１の発光量を第Ｊ番目の発光量に設定する。
《ステップＳＴ３１０６》
次に、制御部１４は、第Ｊ番目の発光量に設定された光源１１により照らされた被写界が撮像部１２に撮像されたか否かを判定する。第Ｊ番目の発光量に設定された光源１１により照らされた被写界が撮像部１２に撮像された場合には、ステップＳＴ３１０７へ進み、そうでない場合には、ステップＳＴ３１０６を繰り返す。
《ステップＳＴ３１０７》
次に、判定部１５は、ステップＳＴ３１０６において取得された撮像画像２０から光源１１に対応する画像領域２１を抽出し、その抽出された画像領域２１において検出対象の有無を判定する。画像領域２１において検出対象がないと判定された場合には、ステップＳＴ３１０８へ進み、画像領域２１において検出対象があると判定された場合には、ステップＳＴ３１１０へ進む。
《ステップＳＴ３１０８》
次に、設定部１８は、ステップＳＴ３１０７において検出対象なしと判定された画像領域２１を含む撮像画像２０を取得するための撮像のときの光源１１の発光量（すなわち、ステップＳＴ３１０５において光源１１の今回の発光量として設定された第Ｊ番目の発光量）を設定すべき発光量とする決定を解除する。具体的には、設定部１８は、光源１１について設定部１８（記憶領域）における第Ｊ番目の発光量の登録（設定すべき発光量としての登録）を削除する。次に、ステップＳＴ３１０９へ進む。
《ステップＳＴ３１０９》
次に、制御部１４は、光源１１について設定すべき発光量が決定されているか否かを判定する。設定すべき発光量が決定されている場合には、ステップＳＴ３１１０へ進み、そうでない場合には、ステップＳＴ３００１（図５８）へ進む。
《ステップＳＴ３１１０，ＳＴ３１１１》
ステップＳＴ３１０９において光源１１について設定すべき発光強度が決定されていると判定された場合、制御部１４は、変数Ｊが上限値Ｊｍａｘに到達しているか否かを判定する。変数Ｊが上限値Ｊｍａｘに到達していない場合、制御部１４は、変数Ｊに１を加算する。次に、ステップＳＴ３１０２へ進む。一方、変数Ｊが上限値Ｊｍａｘに到達している場合には、ステップＳＴ３１０１へ進む。
〈実施形態１２による効果〉
以上のように構成した場合も、実施形態１〜４による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
また、光源１１について設定すべき発光量が決定されていない場合に、検出対象の有無の判定に適した発光量を決定することができ、光源１１について設定すべき発光量が決定されている場合に、検出対象の有無の判定に適した発光量で被写界を撮像することができる。
〔実施形態１３〕
実施形態１３による撮像装置１０は、図１６に示した実施形態４による撮像装置１０と同様の構成を有している。また、実施形態１３による撮像装置１０は、実施形態１〜４による撮像装置１０の動作と同様の動作を行うことが可能である。なお、実施形態１３では、複数の光源１１ａ〜１１ｄと撮像部１２と制御部１４は、次のように構成されている。
複数の光源１１ａ〜１１ｄは、それぞれが発光量を互いに異なる２つの発光量（第１発光量と第１発光量よりも少ない第２発光量）に切り換え可能に構成されている。
撮像部１２は、その露光時間を互いに異なる２つの露光時間（第１露光時間と第１露光時間よりも長い第２露光時間）に切り換え可能に構成されている。
制御部１４は、判定部１５によって検出対象ありと判定された画像領域２１に対応する光源１１の発光量を第１発光量に設定するとともに、その光源１１により照らされた被写界を撮像するときの撮像部１２の露光時間を第１露光時間に設定するように構成されている。また、制御部１４は、判定部１５によって検出対象なしと判定された画像領域２１に対応する光源１１の発光量を第２発光量に設定するとともに、その光源１１により照らされた被写界を撮像するときの撮像部１２の露光時間を第２露光時間に設定するように構成されている。
〈動作〉
次に、図６０を参照して、実施形態１３による撮像装置１０の動作について説明する。実施形態１２による撮像装置１０では、複数の光源１１ａ〜１１ｄの各々に対して以下の処理が行われる。
《ステップＳＴ４００１》
まず、制御部１４は、光源１１（この処理の対象としている光源１１、以下同様）の発光量を第１発光量（すなわち「多」）に設定するとともに、撮像部１２の露光時間を第１露光時間（すなわち「短」）に設定する。
《ステップＳＴ４００２》
次に、制御部１４は、予め設定された発光量（具体的には、ステップＳＴ４００１，ＳＴ４００４，ＳＴ４００５において設定された発光量）で発光している光源１１により照らされた被写界が予め設定された露光時間（具体的には、ステップＳＴ４００１，ＳＴ４００４，ＳＴ４００５において設定された露光時間）で露光している撮像部１２に撮像されたか否かを判定する。例えば、制御部１４は、光源１１が予め設定された発光量で発光している期間中に、予め設定された露光時間で露光させた撮像部１２によって被写界の撮像がＮ回連続して行われて時系列に連続するＮ枚（Ｎは２以上の整数）の撮像画像２０からなる撮像画像列が取得されたか否かを判定する。予め設定された発光量で発光している光源１１により照らされた被写界が予め設定された露光時間で露光している撮像部１２に撮像された場合には、ステップＳＴ４００３へ進み、そうでない場合には、ステップＳＴ４００２を繰り返す。
《ステップＳＴ４００３》
次に、判定部１５は、ステップＳＴ４００２において取得された撮像画像２０から光源１１に対応する画像領域２１を抽出し、その抽出された画像領域２１において検出対象の有無を判定する。画像領域２１に検出対象があると判定された場合には、ステップＳＴ４００４へ進み、そうでない場合には、ステップＳＴ４００５へ進む。
《ステップＳＴ４００４》
ステップＳＴ４００３において検出対象ありと判定された場合、制御部１４は、光源１１の発光量を第１発光量（すなわち「多」）に設定するとともに、撮像部１２の露光時間を第１露光時間（すなわち「短」）に設定する。次に、ステップＳＴ４００６へ進む。
《ステップＳＴ４００５》
一方、ステップＳＴ４００３において検出対象なしと判定された場合、制御部１４は、光源１１の発光量を第２発光量（すなわち「少」）に設定するとともに、撮像部１２の露光時間を第２露光時間（すなわち「長」）に設定する。次に、ステップＳＴ４００６へ進む。
《ステップＳＴ４００６》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップＳＴ４００２へ進む。
〈実施形態１３による効果〉
以上のように構成した場合も、実施形態１〜４による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
また、判定部１５によって検出対象ありと判定された場合に光源１１の発光量を第１発光量に設定するとともに撮像部１２の露光時間を第１露光時間に設定することにより、光源１１の発光量が常に第２発光量（第１発光量よりも少ない発光量）に設定されて撮像部１２の露光時間が常に第２露光時間（第１露光時間よりも長い露光時間）に設定されている場合よりも、撮像部１２による被写界の撮像を迅速に行うことができる。
また、判定部１５によって検出対象なしと判定された場合に光源１１の発光量を第２発光量（第１発光量よりも少ない発光量）に設定するとともに撮像部１２の露光時間を第２露光時間（第１露光時間よりも長い露光時間）に設定することにより、判定部１５によって検出対象ありと判定された場合（すなわち、光源１１の発光量が第１発光量に設定されて撮像部１２の露光時間が第１露光時間に設定されている場合）よりも、光源１１の発光量を低くすることができるとともに撮像部１２の露光時間を長くすることができる。これにより、光源１１の消費電力を低減することができる。また、光源１１の発光量を低下させる一方で撮像部１２の露光時間を長くすることにより、光源１１の発光量の低下に起因する撮像画像の明るさの低下を補償することができる。
なお、以上の説明では、ステップＳＴ４００１において光源１１の発光量を第１発光量（すなわち「多」）に設定するとともに撮像部１２の露光時間を第１露光時間（すなわち「短」）に設定する場合を例に挙げたが、制御部１４は、ステップＳＴ４００１において光源１１の発光量を第２発光量（すなわち「少」）に設定するとともに撮像部１２の露光時間を第２露光時間（すなわち「長」）に設定するように構成されていてもよい。
〔その他の実施形態〕
なお、以上の実施形態および変形例を適宜組み合わせて実施してもよい。以上の実施形態および変形例は、本質的に好ましい例示であって、この開示、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
例えば、実施形態１０による撮像装置１０に対して実施形態６における制御を適用してもよい。すなわち、実施形態１０による撮像装置１０において、複数の光源１１ａ〜１１ｄは、それぞれが発光量を変更可能に構成されていてもよい。そして、制御部１４は、撮像部１２によって取得された撮像画像２０のうち撮像画像２０を取得するための撮像のときに発光していない光源１１に対応する画像領域２００の明るさに基づいて光源１１の発光量を設定するように構成されていてもよい。例えば、制御部１４は、実施形態６における制御部１４の動作と同様の動作を行うように構成されていてもよい。
また、実施形態１０による撮像装置１０に対して実施形態７，８における制御を適用してもよい。すなわち、実施形態１０による撮像装置１０は、設定部１８をさらに備えていてもよい。また、複数の光源１１ａ〜１１ｄは、それぞれが発光量を複数の発光量に切り換え可能に構成されていてもよい。また、制御部１４は、複数の光源１１ａ〜１１ｄのうち発光させる光源１１について設定すべき発光量が決定されていない場合に、その光源１１の発光量を予め定められた順序で複数の発光量の中から選択された発光量に設定して選択された発光量で発光（点灯）させた光源１１により照らされた被写界を撮像部１２に撮像させる第１動作を行い、複数の光源１１ａ〜１１ｄのうち発光させる光源１１について設定すべき発光量が決定されている場合に、その光源１１の発光量を設定すべき発光量に設定して設定すべき発光量で発光（点灯）させた光源１１により照らされた被写界を撮像部１２に撮像させる第２動作を行うように構成されていてもよい。そして、設定部１８は、判定部１５によって検出対象ありと判定された画像領域２００を含む撮像画像２０を取得するための撮像のときに発光（点灯）している光源１１の発光量を、その光源１１について設定すべき発光量に決定するように構成されていてもよい。例えば、制御部１４および設定部１８は、実施形態７，８における制御部１４および設定部１８の動作と同様の動作を行うように構成されていてもよい。
また、実施形態１０による撮像装置１０に対して実施形態９における制御を適用してもよい。すなわち、実施形態１０による撮像装置１０において、複数の光源１１ａ〜１１ｄは、それぞれが発光量を第１発光量と第２発光量（第１発光量よりも少ない発光量）とに切り換え可能に構成されていてもよい。また、撮像部１２は、その露光時間を第１露光時間と第２露光時間（第１露光時間よりも長い露光時間）とに切り換え可能に構成されていてもよい。そして、制御部１４は、判定部１５によって検出対象ありと判定された画像領域２００に対応する光源１１の発光量を第１発光量に設定するとともにその光源１１により照らされた被写界を撮像するときの撮像部１２の露光時間を第１露光時間に設定し、判定部１５によって検出対象なしと判定された画像領域２００に対応する光源１１の発光量を第２発光量に設定するとともにその光源１１により照らされた被写界を撮像するときの撮像部１２の露光時間を第２露光時間に設定するように構成されていてもよい。例えば、制御部１４は、実施形態９における制御部１４の動作と同様の動作を行うように構成されていてもよい。
上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。
以上説明したように、上述の撮像装置は、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができるので、被写界を撮像して被写界を監視する撮像装置などとして有用である。
１０ 撮像装置
１１ａ〜１１ｄ 光源
１２ 撮像部
１３ 処理回路
１４ 判定部
１５ 検出部
１６ 識別部
２０ 撮像画像
２１ａ〜２１ｄ 画像領域
３０ 候補領域
４０ 対象物領域
２５ａ〜２５ｄ 画像領域
２６ａ〜２６ｄ 画像領域

Claims (48)

  1. それぞれが被写界へ向けて発光する複数の光源と、
    上記被写界を撮像して撮像画像を取得する撮像部と、
    上記複数の光源のうち発光させる光源を切り換える発光制御を行いながら上記撮像部に上記被写界を撮像させる制御部と、
    上記撮像部によって取得された撮像画像のうち該撮像画像の一部であり且つ該撮像画像を取得するための撮像のときに発光している光源に対応する画像領域において予め定められた検出対象の有無を判定する判定部とを備えている
    ことを特徴とする撮像装置。
  2. 請求項１において、
    上記制御部は、
    上記判定部によって検出対象ありと判定された画像領域が存在していない場合に、上記複数の光源が予め定められた発光順序で発光するように上記発光制御を行い、
    上記判定部によって検出対象ありと判定された画像領域が存在している場合に、上記複数の光源のうち該判定部によって検出対象ありと判定された画像領域に対応する光源の発光頻度が高くなるように上記発光制御を行う
    ことを特徴とする撮像装置。
  3. 請求項２において、
    上記制御部は、上記判定部によって検出対象ありと判定された画像領域が存在している場合に、該判定部によって検出対象ありと判定された画像領域に対応する光源が発光する第１発光動作と予め定められた発光順序に基づいて該判定部によって検出対象ありと判定されていない画像領域に対応する光源のうち１つの光源が発光する第２発光動作とが交互に行われるように上記発光制御を行う
    ことを特徴とする撮像装置。
  4. 請求項３において、
    上記第１発光動作では、上記判定部によって検出対象ありと判定された複数の画像領域にそれぞれ対応する複数の光源が同時に発光する
    ことを特徴とする撮像装置。
  5. 請求項３において、
    上記第１発光動作では、上記判定部によって検出対象ありと判定された複数の画像領域にそれぞれ対応する複数の光源が順に発光する
    ことを特徴とする撮像装置。
  6. 請求項１〜５のいずれか１項において、
    上記判定部によって検出対象ありと判定された画像領域を含む撮像画像から予め定められた対象物を検出する検出部をさらに備えている
    ことを特徴とする撮像装置。
  7. 請求項６において、
    上記検出部は、上記判定部によって検出対象ありと判定された画像領域である注目領域のうち上記判定部によって検出対象ありと判定された部位が該注目領域の縁部である場合に、該注目領域と該注目領域の縁部に隣接する画像領域である隣接領域とを含む候補領域から対象物を検出する
    ことを特徴とする撮像装置。
  8. 請求項６または７において、
    上記撮像画像から該撮像画像の一部であり且つ上記検出部によって検出された対象物を含む対象物領域を抽出し、該対象物領域と予め登録された照合画像とを照合して該対象物を識別する識別部をさらに備えている
    ことを特徴とする撮像装置。
  9. 請求項８において、
    上記制御部は、上記識別部によって抽出される対象物領域が上記判定部によって検出対象ありと判定された画像領域である注目領域と該注目領域の縁部に隣接する画像領域である隣接領域とに跨がっている場合に、上記複数の光源のうち該注目領域および該隣接領域に対応する光源を発光させて上記撮像部に上記被写界を撮像させ、
    上記識別部は、上記注目領域に対応する光源が発光しているときに上記撮像部によって取得された撮像画像から上記対象物領域を抽出して該対象物領域と上記照合画像とを照合し、上記注目領域および上記隣接領域に対応する光源が発光しているときに上記撮像部によって取得された撮像画像から上記対象物領域を抽出して該対象物領域と上記照合画像とを照合し、これらの照合結果に基づいて上記対象物を識別する
    ことを特徴とする撮像装置。
  10. 請求項１において、
    上記撮像部は、ローリングシャッタ方式により駆動されるように構成され、
    上記制御部は、上記発光制御において、上記撮像部の全てのラインが同時に露光されている期間を除く期間内において上記複数の光源のうち発光させる光源が点灯している期間と該光源が消灯している期間とが存在するように該光源を発光させ、
    上記判定部は、上記撮像部によって取得された撮像画像のうち該撮像画像を取得するための撮像のときに発光している光源に対応する画像領域であり且つ該光源が点灯している期間に対応する画像領域において上記検出対象の有無を判定する
    ことを特徴とする撮像装置。
  11. 請求項１０において、
    上記制御部は、
    上記判定部によって検出対象ありと判定された画像領域が存在していない場合に、上記複数の光源が予め定められた発光順序および点灯順序で発光するように上記発光制御を行い、
    上記判定部によって検出対象ありと判定された画像領域が存在している場合に、上記複数の光源のうち該判定部によって検出対象ありと判定された画像領域に対応する光源が該判定部によって検出対象ありと判定された画像領域に対応する点灯期間において点灯する頻度が高くなるように上記発光制御を行う
    ことを特徴とする撮像装置。
  12. 請求項１１において、
    上記制御部は、上記判定部によって検出対象ありと判定された画像領域が存在している場合に、該判定部によって検出対象ありと判定された画像領域に対応する光源が該判定部によって検出対象ありと判定された画像領域に対応する点灯期間において点灯する第１発光動作と予め定められた発光順序および点灯順序に基づいて該判定部によって検出対象ありと判定されていない画像領域に対応する光源のうち１つの光源が発光する第２発光動作とが交互に行われるように上記発光制御を行う
    ことを特徴とする撮像装置。
  13. 請求項１２において、
    上記第１発光動作では、上記判定部によって検出対象ありと判定された複数の画像領域にそれぞれ対応する複数の光源が同時に点灯する
    ことを特徴とする撮像装置。
  14. 請求項１２において、
    上記第１発光動作では、上記判定部によって検出対象ありと判定された複数の画像領域にそれぞれ対応する複数の光源が順に点灯する
    ことを特徴とする撮像装置。
  15. 請求項１０〜１４のいずれか１項において、
    上記判定部によって検出対象ありと判定された画像領域を含む撮像画像から予め定められた対象物を検出する検出部をさらに備えている
    ことを特徴とする撮像装置。
  16. 請求項１５において、
    上記検出部は、上記判定部によって検出対象ありと判定された画像領域である注目領域のうち上記判定部によって検出対象ありと判定された部位が該注目領域の縁部である場合に、該注目領域と該注目領域の縁部に隣接する画像領域である隣接領域とを含む候補領域から対象物を検出する
    ことを特徴とする撮像装置。
  17. 請求項１５または１６において、
    上記撮像画像から該撮像画像の一部であり且つ上記検出部によって検出された対象物を含む対象物領域を抽出し、該対象物領域と予め登録された照合画像とを照合して該対象物を識別する識別部をさらに備えている
    ことを特徴とする撮像装置。
  18. 請求項１７において、
    上記制御部は、上記識別部によって抽出される対象物領域が上記判定部によって検出対象ありと判定された画像領域である注目領域と該注目領域の縁部に隣接する画像領域である隣接領域とに跨がっている場合に、上記複数の光源のうち該注目領域および該隣接領域に対応する光源を発光させて上記撮像部に上記被写界を撮像させ、
    上記識別部は、上記注目領域に対応する光源が発光しているときに上記撮像部によって取得された撮像画像から上記対象物領域を抽出して該対象物領域と上記照合画像とを照合し、上記注目領域および上記隣接領域に対応する光源が発光しているときに上記撮像部によって取得された撮像画像から上記対象物領域を抽出して該対象物領域と上記照合画像とを照合し、これらの照合結果に基づいて上記対象物を識別する
    ことを特徴とする撮像装置。
  19. 請求項１または１０において、
    上記複数の光源は、それぞれが発光量を変更可能に構成され、
    上記制御部は、上記撮像部によって取得された撮像画像のうち該撮像画像を取得するための撮像のときに発光していない光源に対応する画像領域の明るさに基づいて該光源の発光量を設定する
    ことを特徴とする撮像装置。
  20. 請求項１または１０において、
    設定部をさらに備え、
    上記複数の光源は、それぞれが発光量を複数の発光量に切り換え可能に構成され、
    上記制御部は、上記複数の光源のうち発光させる光源について設定すべき発光量が決定されていない場合に、該光源の発光量を予め定められた順序で上記複数の発光量の中から選択された発光量に設定して該選択された発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させる第１動作を行い、該光源について該設定すべき発光量が決定されている場合に、該光源の発光量を該設定すべき発光量に設定して該設定すべき発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させる第２動作を行い、
    上記設定部は、上記判定部によって検出対象ありと判定された画像領域を含む撮像画像を取得するための撮像のときに発光している光源の発光量を該光源について設定すべき発光量に決定する
    ことを特徴とする撮像装置。
  21. 請求項１または１０において、
    上記複数の光源は、それぞれが発光量を第１発光量と該第１発光量よりも少ない第２発光量とに切り換え可能に構成され、
    上記撮像部は、その露光時間を第１露光時間と該第１露光時間よりも長い第２露光時間とに切り換え可能に構成され、
    上記制御部は、上記判定部によって検出対象ありと判定された画像領域に対応する光源の発光量を上記第１発光量に設定するとともに該光源により照らされた被写界を撮像するときの上記撮像部の露光時間を上記第１露光時間に設定し、該判定部によって検出対象なしと判定された画像領域に対応する光源の発光量を上記第２発光量に設定するとともに該光源により照らされた被写界を撮像するときの該撮像部の露光時間を上記第２露光時間に設定する
    ことを特徴とする撮像装置。
  22. 被写界へ向けて発光する光源と、
    ローリングシャッタ方式により駆動されるように構成され、上記被写界を撮像して撮像画像を取得する撮像部と、
    上記撮像部の全てのラインが同時に露光されている期間を除く期間内において上記光源が点灯している期間と上記光源が消灯している期間とが存在するように上記光源を発光させる制御部とを備えている
    ことを特徴とする撮像装置。
  23. 請求項２２において、
    上記撮像部によって取得された撮像画像のうち上記光源が点灯している期間に対応する画像領域においてフレーム間差分を行うことにより動きの有無を判定する判定部をさらに備えている
    ことを特徴とする撮像装置。
  24. 請求項２３において、
    識別部をさらに備え、
    上記制御部は、上記判定部によって動きありと判定された場合に、動きありと判定された画像領域に対応する期間においてより強い光が照射されるように、上記光源を制御し、
    上記識別部は、上記判定部によって動きありと判定された場合に、動きありと判定された画像領域において顔認識を行う
    ことを特徴とする撮像装置。
  25. 被写界へ向けて発光する光源と、
    上記被写界を撮像して撮像画像を取得する撮像部と、
    上記光源の非発光時に上記撮像部によって取得された撮像画像の明るさに基づいて、上記光源の発光量を設定する制御部とを備えている
    ことを特徴とする撮像装置。
  26. 請求項２５において、
    上記撮像部は、ローリングシャッタ方式により駆動されるように構成されている
    ことを特徴とする撮像装置。
  27. 請求項２６において、
    上記制御部は、パルス幅変調によって上記光源の発光量を変化させる
    ことを特徴とする撮像装置。
  28. 請求項２７において、
    上記光源は、赤外光を照射するように構成されている
    ことを特徴とする撮像装置。
  29. 請求項２８において、
    上記撮像画像の明るさは、上記撮像部によって取得された撮像画像内の全画素の明るさの平均値である
    ことを特徴とする撮像装置。
  30. その発光量を複数の発光量に切り換え可能に構成された光源と、
    被写界を撮像して撮像画像を取得するように構成された撮像部と、
    上記光源について設定すべき発光量が決定されていない場合に、該光源の発光量を予め定められた順序で上記複数の発光量の中から選択された発光量に設定して該選択された発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させる第１動作を行い、該光源について該設定すべき発光量が決定されている場合に、該光源の発光量を該設定すべき発光量に設定して該設定すべき発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させる第２動作を行う制御部と、
    上記撮像部によって取得された撮像画像において検出対象の有無を判定する判定部と、
    上記判定部によって検出対象ありと判定された撮像画像を取得するための撮像のときの上記光源の発光量を上記設定すべき発光量に決定する設定部とを備えている
    ことを特徴とする撮像装置。
  31. 請求項３０において、
    上記判定部は、上記撮像部によって取得された複数の撮像画像を、該撮像画像を取得するための撮像のときの上記光源の発光量で分類し、該発光量の分類毎に撮像画像における上記検出対象の有無を判定する
    ことを特徴とする撮像装置。
  32. 請求項３０または３１において、
    上記設定部は、上記制御部の第２動作により取得された撮像画像が上記判定部によって検出対象なしと判定された場合に、該撮像画像を取得するための撮像のときの上記光源の発光量を上記設定すべき発光量とする決定を解除する
    ことを特徴とする撮像装置。
  33. 請求項３０〜３２のいずれか１項において、
    上記光源は、その発光量を第１および第２発光量に切り換え可能に構成され、
    上記制御部は、
    上記第１動作において、上記光源の発光量を上記第１発光量に設定して該第１発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させた後に、該光源の発光量を上記第２発光量に設定して該第２発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させ、
    上記第２動作において、上記第１発光量が上記設定すべき発光量に決定されている場合に、上記光源の発光量を該第１発光量に設定して該第１発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させ、上記第２発光量が該設定すべき発光量に決定されている場合に、該光源の発光量を該第２発光量に設定して該第２発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させ、該第１および第２発光量の両方が該設定すべき発光量に決定されている場合に、該光源の発光量を該第１および第２発光量に交互に切り換えながら該切り換えられた発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させる
    ことを特徴とする撮像装置。
  34. その発光量を第１発光量と該第１発光量よりも少ない第２発光量とに切り換え可能に構成され、被写界へ向けて発光する光源と、
    その露光時間を第１露光時間と該第１露光時間よりも短い第２露光時間とに切り換え可能に構成され、上記被写界を撮像して撮像画像を取得するように構成された撮像部と、
    上記撮像部によって取得された撮像画像において検出対象の有無を判定する判定部と、
    上記判定部によって検出対象ありと判定された場合に上記光源の発光量を上記第１発光量に設定するとともに上記撮像部の露光時間を上記第１露光時間に設定し、該判定部によって検出対象なしと判定された場合に該光源の発光量を上記第２発光量に設定するとともに該撮像部の露光時間を上記第２露光時間に設定する制御部とを備えている
    ことを特徴とする撮像装置。
  35. それぞれが被写界へ向けて発光する複数の光源と、上記被写界を撮像して撮像画像を取得する撮像部とを用いる撮像方法であって、
    上記複数の光源のうち発光させる光源を切り換える発光制御を行いながら上記撮像部に上記被写界を撮像させる第１工程と、
    上記撮像部によって取得された撮像画像のうち該撮像画像の一部であり且つ該撮像画像を取得するための撮像のときに発光している光源に対応する画像領域において予め定められた検出対象の有無を判定する第２工程とを備えている
    ことを特徴とする撮像方法。
  36. ローリングシャッタを用いた撮像方法であって、
    光源によって被写界に光を照射する第１工程と、
    上記ローリングシャッタの全てのラインが同時に露光されている期間を除く期間内において上記光源が点灯している期間と上記光源が消灯している期間とが存在するように、上記光源を発光させる第２工程とを備えている
    ことを特徴とする撮像方法。
  37. 請求項３６において、
    上記光源が点灯している期間に対応する撮像画像内の画像領域においてフレーム間差分を行うことにより動きの有無を判定する第３工程をさらに備えている
    ことを特徴とする撮像方法。
  38. 請求項３７において、
    動きありと判定された場合に、動きありと判定された画像領域に対応する期間においてより強い光が照射されるように、上記光源を制御する第４工程と、
    動きありと判定された場合に、動きありと判定された画像領域において顔認識を行う第５工程とをさらに備えている
    ことを特徴とする記載の撮像方法。
  39. 光源によって被写界に光を照射する第１工程と、
    撮像部によって上記被写界を撮像して撮像画像を取得する第２工程と、
    上記光源の非発光時に上記撮像部によって取得された撮像画像の明るさに基づいて、上記光源の発光量を設定する第３工程とを備えている
    ことを特徴とする撮像方法。
  40. 請求項３９において、
    上記撮像部は、ローリングシャッタ方式により駆動されるように構成されている
    ことを特徴とする撮像方法。
  41. 請求項４０において、
    上記光源の発光量は、パルス幅変調によって変化させられる
    ことを特徴とする撮像方法。
  42. 請求項４１において、
    上記光源は、赤外光を照射するように構成されている
    ことを特徴とする撮像方法。
  43. 請求項４２において、
    上記撮像画像の明るさは、上記撮像部によって取得された撮像画像内の全画素の明るさの平均値である
    ことを特徴とする撮像方法。
  44. その発光量を複数の発光量に切り換え可能に構成された光源と、被写界を撮像して撮像画像を取得するように構成された撮像部とを用いる撮像方法であって、
    上記光源について設定すべき発光量が決定されているか否かを判定する第１工程と、
    上記第１工程において上記光源について設定すべき発光量が決定されていないと判定された場合に、上記光源の発光量を予め定められた順序で上記複数の発光量の中から選択された発光量に設定して該選択された発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させ、該撮像部によって取得された撮像画像において検出対象の有無を判定し、検出対象ありと判定された撮像画像を取得するための撮像のときの上記光源の発光量を上記設定すべき発光量に決定する第２工程と、
    上記第１工程において上記複数の発光量について設定すべき発光量が決定されていると判定された場合に、上記光源の発光量を該設定すべき発光量に設定して該設定すべき発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させる第３工程とを備えている
    ことを特徴とする撮像方法。
  45. 請求項４４において、
    上記第２工程では、上記撮像部によって取得された複数の撮像画像を、該撮像画像を取得するための撮像のときの上記光源の発光量で分類し、該発光量の分類毎に撮像画像における上記検出対象の有無を判定する
    ことを特徴とする撮像方法。
  46. 請求項４４または４５において、
    上記第３工程では、上記撮像部によって取得された撮像画像において検出対象の有無を判定し、検出対象なしと判定された撮像画像を取得するための撮像のときの上記光源の発光量を上記設定すべき発光量とする決定を解除する
    ことを特徴とする撮像方法。
  47. 請求項４４〜４６のいずれか１項において、
    上記光源は、その発光量を第１および第２発光量に切り換え可能に構成され、
    上記第２工程では、上記光源の発光量を上記第１発光量に設定して該第１発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させた後に、該光源の発光量を上記第２発光量に設定して該第２発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させ、
    上記第３工程では、上記第１発光量が上記設定すべき発光量に決定されている場合に、上記光源の発光量を該第１発光量に設定して該第１発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させ、上記第２発光量が該設定すべき発光量に決定されている場合に、該光源の発光量を該第２発光量に設定して該第２発光量で発光させた該光源により照らされた被写界を該撮像部に撮像させ、該第１および第２発光量の両方が該設定すべき発光量に決定されている場合に、該光源の発光量を該第１および第２発光量に交互に切り換えながら該切り換えられた発光量で発光させた該光源により照らされた被写界を上記撮像部に撮像させる
    ことを特徴とする撮像方法。
  48. その発光量を第１発光量と該第１発光量よりも少ない第２発光量とに切り換え可能に構成され、被写界へ向けて発光する光源と、その露光時間を第１露光時間と該第１露光時間よりも長い第２露光時間とに切り換え可能に構成され、上記被写界を撮像して撮像画像を取得するように構成された撮像部とを用いた撮像方法であって、
    上記撮像部によって取得された撮像画像において検出対象の有無を判定する第１工程と、
    上記第１工程において検出対象ありと判定された場合に上記光源の発光量を上記第１発光量に設定するとともに上記撮像部の露光時間を上記第１露光時間に設定し、該第１工程において検出対象なしと判定された場合に該光源の発光量を上記第２発光量に設定するとともに該撮像部の露光時間を上記第２露光時間に設定する第２工程とを備えている
    ことを特徴とする撮像方法。
JP2016223449A 2015-12-11 2016-11-16 撮像装置 Pending JP2017121041A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020187011306A KR102642925B1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법
PCT/KR2016/014436 WO2017099517A1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법
CN201680072566.2A CN108370413B (zh) 2015-12-11 2016-12-09 成像设备及用于成像设备的操作方法
EP16873382.2A EP3367663B1 (en) 2015-12-11 2016-12-09 Imaging device and operation method for imaging device
US15/778,483 US11044403B2 (en) 2015-12-11 2016-12-09 Imaging device that continuously monitor a subject while reducing power consumption needed to illuminate the subject

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2015241748 2015-12-11
JP2015241748 2015-12-11
JP2015243739 2015-12-15
JP2015243739 2015-12-15
JP2015253407 2015-12-25
JP2015253407 2015-12-25
JP2015257027 2015-12-28
JP2015257027 2015-12-28

Publications (1)

Publication Number Publication Date
JP2017121041A true JP2017121041A (ja) 2017-07-06

Family

ID=59272550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016223449A Pending JP2017121041A (ja) 2015-12-11 2016-11-16 撮像装置

Country Status (5)

Country Link
US (1) US11044403B2 (ja)
EP (1) EP3367663B1 (ja)
JP (1) JP2017121041A (ja)
KR (1) KR102642925B1 (ja)
CN (1) CN108370413B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582169B2 (en) * 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
KR102050632B1 (ko) * 2017-08-02 2019-12-03 주식회사 에스오에스랩 다채널 라이다 센서 모듈
US11232688B1 (en) * 2017-11-29 2022-01-25 Amazon Technologies, Inc. Auto-configuration for a motion detector of a security device
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
CN111182287A (zh) * 2018-11-13 2020-05-19 南昌欧菲生物识别技术有限公司 发射模组、成像装置和电子装置
US20220141372A1 (en) * 2019-02-18 2022-05-05 Nec Corporation Illumination control apparatus, method, system, and computer readable medium
KR20200125215A (ko) * 2019-04-26 2020-11-04 엘지이노텍 주식회사 카메라 모듈
KR20220033924A (ko) 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
US20220353412A1 (en) * 2021-04-30 2022-11-03 Zebra Technologies Corporation Power Manager to Support Less-than-Nominal Conditions in a Machine Vision System

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206050A1 (en) * 2002-07-12 2012-08-16 Yechezkal Evan Spero Detector Controlled Illuminating System
JP2013004490A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 照明システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350171A (ja) 2000-06-08 2001-12-21 Canon Inc カメラ
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
JP2004240799A (ja) 2003-02-07 2004-08-26 Optex Co Ltd ダミー発光機能を有する監視カメラシステム
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
US9215781B2 (en) * 2008-04-16 2015-12-15 Avo Usa Holding 2 Corporation Energy savings and improved security through intelligent lighting systems
JP5486242B2 (ja) 2009-08-26 2014-05-07 パナソニック株式会社 撮像装置
JP2011125404A (ja) * 2009-12-15 2011-06-30 Olympus Corp 光制御装置、制御装置、光学スコープ及び光走査型光学装置
KR20110131772A (ko) 2010-05-31 2011-12-07 주식회사 케이씨씨 자외선 경화성 점착수지 조성물 및 이를 포함하는 다이싱용 또는 표면보호용 점착 테이프
KR101052803B1 (ko) 2011-01-05 2011-07-29 김도연 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템
JP2012174421A (ja) 2011-02-18 2012-09-10 Panasonic Corp 照明装置
JP6006147B2 (ja) 2012-03-28 2016-10-12 富士フイルム株式会社 撮像装置、及びこれを備える内視鏡装置
CN104135908B (zh) * 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
JP5658772B2 (ja) 2013-01-25 2015-01-28 株式会社ソフイア 遊技機
KR101297759B1 (ko) * 2013-04-09 2013-08-20 한국씨텍(주) 감시 카메라 시스템의 적외선 ｌｅｄ 제어장치 및 그 제어방법
JP6162466B2 (ja) * 2013-04-24 2017-07-12 株式会社日立情報通信エンジニアリング 照明制御システム及び照明制御方法
TWI532413B (zh) * 2013-09-11 2016-05-01 晶睿通訊股份有限公司 照明補光系統及方法
JP6104198B2 (ja) 2014-03-11 2017-03-29 三菱電機株式会社 物体認識装置
US9838612B2 (en) * 2015-07-13 2017-12-05 Test Research, Inc. Inspecting device and method for inspecting inspection target
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206050A1 (en) * 2002-07-12 2012-08-16 Yechezkal Evan Spero Detector Controlled Illuminating System
JP2013004490A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 照明システム

Also Published As

Publication number Publication date
CN108370413B (zh) 2020-11-06
US11044403B2 (en) 2021-06-22
CN108370413A (zh) 2018-08-03
US20180359424A1 (en) 2018-12-13
KR20180083314A (ko) 2018-07-20
EP3367663A1 (en) 2018-08-29
EP3367663A4 (en) 2018-10-10
EP3367663B1 (en) 2020-07-29
KR102642925B1 (ko) 2024-03-05

Similar Documents

Publication Publication Date Title
JP2017121041A (ja) 撮像装置
US8710746B2 (en) Lighting control device and lighting control method
JP5698823B1 (ja) 照明装置、撮像システム及び照明制御方法
US20120319596A1 (en) Illumination control system
WO2007135735A1 (ja) 顔認証装置、顔認証方法および顔認証プログラム
JP5841587B2 (ja) 撮像システム
US8462229B2 (en) Detection of flicker within captured imaged frames
RU2012107718A (ru) Система и способы обнаружения ленты на документе
JP5467797B2 (ja) カメラおよびｌｅｄ点灯制御方法
KR101453806B1 (ko) 영상데이터를 이용한 조명장치의 디밍제어시스템
JP2016154285A5 (ja)
JP2013096947A (ja) 人センサ及び負荷制御システム
JP2010123373A (ja) 照明システム
JP2005174280A5 (ja)
KR100973588B1 (ko) 얼굴검출기의 부윈도우 설정방법
US20170290130A1 (en) Illuminating control system and method for controlling illuminating device
JP2018050113A (ja) 撮像装置
CN104954662A (zh) 传感器装置及使用传感器装置的控制系统
JP7151867B2 (ja) 撮影装置、撮影方法、プログラム
JP2017011625A (ja) 撮像装置
JP2012155971A (ja) センサ装置、センサ装置を用いた照明器具および照明システム
US9320113B2 (en) Method of self-calibrating a lighting device and a lighting device performing the method
JP2022018906A5 (ja)
JP5769518B2 (ja) 撮像装置
TWI427508B (zh) 調整光學感應模組的曝光條件的方法與其光學感應模組

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629