CN108370413A - 成像设备及用于成像设备的操作方法 - Google Patents

成像设备及用于成像设备的操作方法 Download PDF

Info

Publication number
CN108370413A
CN108370413A CN201680072566.2A CN201680072566A CN108370413A CN 108370413 A CN108370413 A CN 108370413A CN 201680072566 A CN201680072566 A CN 201680072566A CN 108370413 A CN108370413 A CN 108370413A
Authority
CN
China
Prior art keywords
image
light
region
light source
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680072566.2A
Other languages
English (en)
Other versions
CN108370413B (zh
Inventor
涩泽英次郎
E.A.Y.穆拉卡米
奥野好章
北岛利浩
崔相彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2016/014436 external-priority patent/WO2017099517A1/ko
Publication of CN108370413A publication Critical patent/CN108370413A/zh
Application granted granted Critical
Publication of CN108370413B publication Critical patent/CN108370413B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Input (AREA)

Abstract

减少照明主题所需的电力消耗并且连续地监视主题。多个光源中的每一个向主题发射光。成像电路通过对主题成像来获得捕获的图像。控制器执行光发射控制以改变来自多个光源当中的发射光的光源并使成像电路对主题成像。确定器确定预先确定的检测目标是否存在于作为由成像电路获得的捕获的图像的一部分并且与在用于获得捕获的图像的成像期间发射光的光源对应的图像区域中。

Description

成像设备及用于成像设备的操作方法
技术领域
本公开涉及成像设备及用于成像设备的操作方法。
背景技术
已知用于对主题成像和进行监视的成像设备。例如，在日本专利申请公开No.2001-243475中公开了用于通过处理由图像摄取元件获得的图像信息来判断人的存在的图像传感器。
实施例的描述
技术问题
上述成像设备通过在整个主题被照明的状态下对主题成像来确定检测目标(例如，运动或人)的存在。另外，在上述成像设备中，可以停止对主题的照明以减少对主题系统照明所需的电力消耗。然而，一旦停止对主题的照明，就不能连续地执行主题(不能连续地确定检测目标是否存在)。
问题的解决方案
因此，本公开的目的是提供可以连续地监视主题同时减少对主题系统照明所需的电力消耗的成像设备以及操作该成像设备的方法。
本公开的有利效果
如上所述，可以减少对主题照明所需的电力消耗并且可以连续地监视主题。
附图说明
图1a是用于说明本公开的概念的参考图。
图1b是用于说明其中通过从多个光源当中选择至少一个光源来控制图像区域的列区域的示例的参考图。
图1c是用于说明其中通过调节发射光的光源的打开时间和关闭时间来控制图像区域的行区域的示例的参考图。
图1d是用于说明其中图像区域的行区域和列区域被控制的示例的参考图。
图1e是用于说明其中图像区域的行区域和列区域被控制的详细示例的参考图。
图1f是示意本公开的效果的参考图。
图2是示意根据实施例1的成像设备的配置的框图。
图3a是示意根据实施例1的成像设备的布置的简图。
图3b是用于说明实施例1中光源和图像区域之间的对应关系的概念图。
图4是用于说明根据实施例1的成像设备的操作的流程图。
图5是示意根据实施例1的成像设备中光源的光发射模式的定时图。
图6是用于说明根据实施例2的成像设备的操作的流程图。
图7是用于说明根据实施例2的成像设备的操作的流程图。
图8是用于说明根据实施例2的成像设备的操作的流程图。
图9是示意根据实施例2的成像设备中光源的光发射模式的定时图。
图10是用于说明根据实施例2的修改1的成像设备的操作的流程图。
图11是示意根据实施例2的修改1的成像设备中光源的光发射模式的定时图。
图12是用于说明根据实施例2的修改2的成像设备的操作的流程图。
图13是示意根据实施例2的修改2的成像设备中光源的光发射模式的定时图。
图14是用于说明根据实施例3的成像设备的操作的流程图。
图15是用于说明包括注意区域和相邻区域的候选区域的概念图。
图16是示意根据实施例4的成像设备的配置的框图。
图17是用于说明对象区域的概念图。
图18是用于说明根据实施例4的修改的成像设备的操作的流程图。
图19是用于说明包括注意区域和相邻区域的对象区域的概念图。
图20是示意根据实施例5的成像设备的配置的框图。
图21是用于说明实施例5中由控制单元对光源控制的图。
图22是用于说明实施例5中由控制单元对光源控制(在运动估计模式中进行控制)的图。
图23是用于说明实施例5中由控制单元对光源控制(在运动估计模式中进行控制)的另一示例的图。
图24是用于说明实施例5中由控制单元对光源控制(在运动估计模式中进行控制)的另一示例的图。
图25是用于说明实施例5中运动估计模式中帧间差分方法的图。
图26是用于说明实施例5中从运动估计模式改变到面部识别模式的图。
图27是用于说明实施例5中由控制单元对光源控制(在面部识别模式中进行控制)的图。
图28是用于说明实施例5中由控制单元对光源控制(在面部识别模式中进行控制)的另一示例的图。
图29是用于说明实施例5中由控制单元对光源控制(在面部识别模式中进行控制)的另一示例的图。
图30是示意根据实施例6的成像设备的配置的框图。
图31是用于说明根据实施例6的成像设备的操作的图。
图32是示意实施例6中光源的光发射操作的图。
图33是示意无照明的图像和有照明的图像的图。
图34是用于说明实施例6中控制单元的操作的图表。
图35是用于说明实施例6中光源的操作的图。
图36是用于说明实施例6中光源的操作的图。
图37是用于说明实施例6中控制单元的操作的另一示例的图。
图38是示意根据实施例7的成像设备的配置的框图。
图39是用于说明根据实施例7的成像设备的操作的流程图。
图40是用于说明根据实施例7的成像设备的操作的流程图。
图41是用于说明根据实施例7的成像设备的操作的流程图。
图42是用于说明根据实施例7的成像设备的操作的流程图。
图43是用于说明根据实施例8的成像设备的操作的流程图。
图44是用于说明根据实施例8的成像设备的操作的流程图。
图45是示意根据实施例9的成像设备的配置的框图。
图46是用于说明根据实施例9的成像设备的操作的流程图。
图47是示意根据实施例10的成像设备的配置的框图。
图48是用于说明实施例10中光源、成像电路和捕获的图像之间的对应关系的概念图。
图49是用于说明根据实施例10的成像设备的操作的流程图。
图50是示意根据实施例10的成像设备中光源的光发射模式的定时图。
图51是用于说明根据实施例10的修改的成像设备的操作的流程图。
图52是用于说明根据实施例10的修改的成像设备的操作的流程图。
图53是用于说明根据实施例10的修改的成像设备的操作的流程图。
图54是示意根据实施例10的修改的成像设备中光源的光发射模式的定时图。
图55是示意根据实施例11的成像设备的配置的框图。
图56是用于说明根据实施例11的成像设备的操作的流程图。
图57是示意根据实施例12的成像设备的配置的框图。
图58是用于说明根据实施例12的成像设备的操作的流程图。
图59是用于说明根据实施例12的成像设备的操作的流程图。
图60是用于说明根据实施例13的成像设备的操作的流程图。
发明内容
根据本公开的实施例的成像设备包括：多个光源，每个光源被配置为向主题发射光；成像电路，被配置为通过对主题成像来获得捕获的图像；控制器，被配置为执行多个光源的光发射控制，以改变来自多个光源当中发射光的光源，并控制成像电路以对主题成像；以及确定器，被配置为确定预先确定的检测目标是否存在于作为由成像电路获得的捕获的图像的一部分并且与在用于获得捕获的图像的成像期间发射光的光源对应的图像区域中。
在所述成像设备中，由于改变来自多个光源当中的发射光的光源，所以照明主题所需的电力消耗可以减小到小于当所有多个光源连续发射光时(即，当整个主题被连续照明时)所需的电力消耗。
另外，在所述成像设备中，作为捕获的图像的一部分并且与用于获得捕获的图像的成像期间发射光的光源对应的图像区域与主题的被光源照明的一部分对应。因此，通过确定检测目标是否存在于捕获的图像的图像区域(即，与主题的被光源照明的一部分对应的图像区域)中，可以准确地确定检测目标是否存在。
另外，在所述成像设备中，由于通过改变来自多个光源当中的发射光的光源来连续地对主题成像，所以可以改变作为捕获的图像的一部分并且要被确定器确定的图像区域(即，主题的要被确定的部分)。因此，可以连续地监视主题(可以连续地确定检测目标是否存在)。
根据实施例，所述控制器可以进一步被配置为当被确定器确定为包括检测目标的图像区域不存在时，执行光发射控制，使得多个光源以预先确定的光发射顺序发射光，并且当被确定器确定为包括检测目标的图像区域存在时，执行光发射控制，使得来自多个光源当中的与被确定器确定为包括检测目标的图像区域对应的光源的光发射频率增加。
根据实施例，所述控制器可以进一步配置为当被所述确定器确定为包括所述检测目标的图像区域存在时，执行光发射控制以使得第一发光操作和第二发光操作被交替执行，在所述第一发光操作中，与被所述确定器确定为包括所述检测目标的图像区域对应的光源发射光，在所述第二发光操作中，基于预先确定的光发射顺序，来自光源当中的与没有被所述确定器确定为包括所述检测目标的图像区域对应的一个或多个光源发射光。
根据实施例，在第一发光操作中，分别与被确定器确定为包括检测目标的多个图像区域对应的多个光源可以同时发射光。
根据实施例，在第一发光操作中，分别与被确定器确定为包括检测目标的多个图像区域对应的多个光源可以顺序地发射光。
根据实施例，所述成像设备可以进一步包括检测器，所述检测器被配置为从包括被确定器确定为包括检测目标的图像区域的捕获的图像中检测预先确定的对象。
根据实施例，当作为注意区域的一部分并且被确定器确定为包括检测目标的部分是注意区域的边缘部分时，检测器可以进一步被配置为从包括注意区域和相邻区域的候选区域检测预先确定的对象，该注意区域是被确定器确定为包括检测目标的图像区域，该相邻区域是与注意区域的边缘部分相邻的图像区域。
根据实施例，所述成像设备可以进一步包括识别器，其被配置为提取作为捕获的图像的一部分并且包括被检测器从捕获的图像检测出的预先确定的对象的对象区域，并且通过将对象区域与预先登记的组合图像组合来识别预先确定的对象。
根据实施例，当被识别器提取的对象区域在作为被确定器确定为包括检测目标的图像区域的注意区域和作为与注意区域的边缘部分相邻的图像区域的相邻区域上延伸时，控制器可以进一步被配置为通过使来自多个光源当中的与注意区域和相邻区域对应的光源发射光来使成像电路对主题成像，并且所述识别器可以进一步被配置为通过从由成像电路在与注意区域对应的光源发射光时获得的捕获的图像中提取对象区域来将对象区域与组合图像组合，通过从由成像电路在与注意区域和相邻区域对应的光源发射光时获得的捕获的图像中提取对象区域来将对象区域与组合图像组合，并且基于组合结果识别预先确定的对象。
根据实施例，所述成像电路可以进一步被配置为通过滚动快门方法被驱动，所述控制器可以进一步被配置为在光发射控制中使光源发射光，以使得来自多个光源当中的至少一个光源被打开的打开时段和至少一个光源被关闭的关闭时段存在于不是成像电路的所有线被同时曝光的时段的时段中，并且所述确定器可以进一步被配置为确定检测目标是否存在于作为由成像电路获得的捕获的图像的一部分、与在用于获得捕获的图像的成像期间发射光的光源对应并且与至少一个光源被打开的时段对应的图像区域中。
所述控制器可以进一步被配置为当被确定器确定为包括检测目标的图像区域不存在时，执行光发射控制，使得多个光源以预先确定的光发射顺序和打开顺序发射光，并且当被确定器确定为包括检测目标的图像区域存在时，执行光发射控制，使得来自多个光源当中的与被确定器确定为包括检测目标的图像区域对应的光源在与被确定器确定为包括检测目标的图像区域对应的打开时段中被打开的频率增加。
所述控制器可以进一步被配置为当被确定器确定为包括检测目标的图像区域存在时，执行光发射控制以使得第一发光操作和第二发光操作被交替执行，在所述第一发光操作中，与被确定器确定为包括检测目标的图像区域对应的光源在与被确定器确定为包括检测目标的图像区域对应的打开时段中被打开，在所述第二发光操作中，基于预先确定的光发射顺序和打开顺序，与没有被确定器确定为包括检测目标的图像区域对应的光源中的一个光源发射光。
根据实施例，在第一发光操作中，分别与被确定器确定为包括检测目标的多个图像区域对应的多个光源可以同时打开。
根据实施例，在第一发光操作中，分别与被确定器确定为包括检测目标的多个图像区域对应的多个光源可以顺序地打开。
根据实施例，多个光源中的每一个可以进一步被配置为能够改变光发射量，并且控制器可以进一步被配置为基于作为由成像电路获得的捕获的图像的一部分并且与在用于获得捕获的图像的成像期间不发射光的光源对应的图像区域的亮度来设置光源的光发射量。
根据实施例，所述成像设备可以进一步包括设置器，其中多个光源中的每一个进一步被配置为能够将光发射量改变为多个光发射量，并且所述控制器进一步被配置为当没有确定来自多个光源当中的发射光的光源的要被设置的光发射量时，执行第一操作，在第一操作中，光源的光发射量被设置为以预先确定的顺序从多个光发射量当中选择的光发射量并且通过成像电路对被以所选择的光发射量发射光的光源照明的主题成像，并且当确定了光源要被设置的光发射量时，执行第二操作，在第二操作中，光源的光发射量被设置为要被设置的光发射量并且通过成像电路对被以要被设置的光发射量发射光的光源照明的主题成像，并且设置器进一步被配置为将在用于获得包括被确定器确定为包括检测目标的图像区域的捕获的图像的成像期间发射光的光源的光发射量设置为对于光源要被设置的光发射量。
根据实施例，多个光源中的每一个可以进一步被配置为能够将光发射量改变为第一光发射量和小于第一光发射量的第二光发射量，成像电路可以进一步被配置为能够将曝光时间改变为第一曝光时间和长于第一曝光时间的第二曝光时间，并且所述控制器可以进一步被配置为将与被确定器确定为包括检测目标的图像区域对应的光源的光发射量设置为第一光发射量并将在对被光源照明的主题成像期间成像电路的曝光时间设置为第一曝光时间，并且将与被确定器确定为不包括检测目标的图像区域对应的光源的光发射量设置为第二光发射量并将在对被光源照明的主题成像期间成像电路的曝光时间设置为第二曝光时间。
根据实施例，所述成像电路可以进一步被配置为通过滚动快门方法被驱动，并且所述控制器可以进一步被配置为在光发射控制中使光源发射光，以使得来自多个光源当中的至少一个光源被打开的时段和至少一个光源被关闭的时段存在于不是成像电路的所有线被同时曝光的时段的时段中，并且基于来自多个光源当中的发射光的光源和发射光的光源被打开的时段来确定作为由成像电路获得的捕获的图像的一部分并且要在其中确定检测目标的存在的图像区域。
根据实施例，由成像电路获得的捕获的图像可以分成多个行区域和多个列区域，其中根据在用于获得捕获的图像的成像期间发射光的光源来确定来自多个列区域当中的一个列区域，并且根据发射光的光源被打开的时段来确定来自多个行区域当中的一个行区域。
根据另一实施例的成像设备可以包括：光源，被配置为向对象发射光；成像电路，被配置为通过滚动快门方法被驱动并且通过对主题成像来获得捕获的图像；以及控制器，被配置为使得光源发射光，以使得光源被打开的时段和光源被关闭的时段存在于不是成像电路的所有线被同时曝光的时段的时段中。
根据实施例，所述成像设备可以进一步包括确定器，所述确定器被配置为通过对作为由成像电路获得的捕获的图像的一部分并且与光源被打开的时段对应的图像区域执行帧间差分方法来确定运动是否存在。
根据实施例，所述成像设备可以进一步包括识别器，其中当所述确定器确定运动存在时，所述控制器进一步被配置为控制光源在与被确定为包括运动的图像区域对应的时段中发射更强的光，并且所述识别器进一步被配置为对被确定为包括运动的图像区域执行面部识别。
根据另一实施例的成像设备可以包括：光源，被配置为向主题系统发射光；成像电路，被配置为通过对主题系统成像来获得捕获的图像；以及控制器，被配置为基于由成像电路在光源不发射光时获得的捕获的图像的亮度来设置光源的光发射量。
根据实施例，所述成像电路可以进一步被配置为通过滚动快门方法被驱动。
根据实施例，所述控制器可以进一步被配置为通过脉宽调制来改变光源的光发射量。
根据实施例，光源可以进一步被配置为发射红外光。
根据实施例，捕获的亮度可以是可以包括由成像电路获得的捕获的图像中的所有像素的亮度的平均值。
根据另一实施例的成像设备可以包括：光源，被配置为能够将光发射量改变为多个光发射量；成像电路，被配置为通过对主题系统成像获得捕获的图像；控制器，被配置为在没有确定对于光源要被设置的光发射量时，执行第一操作，在第一操作中，光源的光发射量被设置为以预先确定的顺序从多个光发射量当中选择的光发射量并且通过成像电路对被以所选择的光发射量发射光的光源照明的主题成像，并且当确定了对于光源要被设置的光发射量时，执行第二操作，在第二操作中，光源的光发射量被设置为要被设置的光发射量并且通过成像电路对被以要被设置的光发射量发射光的光源照明的主题成像；确定器，被配置为确定检测目标是否存在于由成像电路获得的捕获的图像中；以及设置器，被配置为将在用于获得被确定器确定为包括检测目标的捕获的图像的成像期间光源的光发射量确定为要被设置的光发射量。
根据实施例，所述确定器可以进一步被配置为在用于获得捕获的图像的成像期间将由成像电路获得的多个捕获的图像分类成光源的光发射量，并且对于每个光发射量确定检测目标是否存在于捕获的图像中。
根据实施例，设置器可以进一步被配置为当通过控制器的第二操作而获得的捕获的图像被确定器确定为不包括检测目标时，取消将在用于获得捕获的图像的成像期间光源的光发射量确定为要被设置的光发射量。
根据实施例，光源可以进一步被配置为能够将光发射量改变为第一和第二光发射量，所述控制器可以进一步被配置为在第一操作中将光源的光发射量设置为第一光发射量并且使被以第一光发射量发射光的光源照明的主题被成像电路成像，然后将光源的光发射量设置为第二光发射量并且使被以第二光发射量发射光的光源照明的主题被成像电路成像；并且在第二操作中，当第一光发射量被确定为要被设置的光发射量时，将光源的光发射量设置为第一光发射量并且使被以第一光发射量发射光的光源照明的主题被成像电路成像，当第二光发射量被确定为要被设置的光发射量时，将光源的光发射量设置为第二光发射量并且使被以第二光发射量发射光的光源照明的主题被成像电路成像，并且当第一和第二光发射量均被确定为要被设置的光发射量时，交替地将光源的光发射量改变成第一和第二光发射量中的任一个并且使被以改变的光发射量发射光的光源照明的主题被成像电路成像。
根据另一实施例的成像设备可以包括：光源，被配置为能够将光发射量改变为第一光发射量和小于第一光发射量的第二光发射量并且向主题系统发射光；成像电路，被配置为能够将曝光时间改变为第一曝光时间和短于第一曝光时间的第二曝光时间并且通过对主题系统成像来获得捕获的图像；确定器，被配置为确定检测目标是否存在于由成像电路获得的捕获的图像中；以及控制器，被配置为当确定器确定检测目标存在时，将光源的光发射量设置为第一光发射量并且将成像电路的曝光时间设置为第一曝光时间，而当确定器确定检测目标不存在时，将光源的光发射量设置为第二光发射量并且将成像电路的曝光时间设置为第二曝光时间。
根据另一实施例，使用均向主题发射光的多个光源和通过对主题成像来获得捕获的图像的成像电路的成像方法可以包括：执行光发射控制以改变来自多个光源当中的发射光的光源并使成像电路对主题成像的第一过程；以及确定预先确定的检测目标是否存在于作为由成像电路获得的捕获的图像的一部分并且与在用于获得捕获的图像的成像期间发射光的光源对应的图像区域中。
根据另一实施例的使用滚动快门的成像方法可以包括：通过使用光源向主题发射光的第一过程；以及使光源发射光以使得光源被打开的时段和光源被关闭的时段存在于不是滚动快门的所有线被同时曝光的时段的时段内。
根据实施例，所述成像方法可以进一步包括通过对捕获的图像内与光源被打开的时段对应的图像区域执行帧间差分方法来确定运动是否存在的第三过程。
根据实施例，所述成像方法可以进一步包括：当确定运动存在时控制光源在与被确定为包括运动的图像区域对应的时段中发射更强的光的第四过程；以及当确定运动存在时对被确定为包括运动的图像区域执行面部识别的第五过程。
根据另一实施例的成像方法可以包括：通过使用光源向主题发射光的第一过程；通过使用成像电路对主题成像来获得捕获的图像的第二过程；以及基于由成像电路获得的捕获的图像的亮度来设置光源的光发射量的第三过程。
根据实施例，所述成像电路可以进一步被配置为通过滚动快门方法被驱动。
根据实施例，可以通过使用脉宽调制来改变光源的光发射量。
根据实施例，光源可以进一步被配置为发射红外光。
根据实施例，捕获的图像的亮度可以包括由成像电路获得的捕获的图像中的所有像素的亮度的平均值。
根据另一实施例，使用被配置为能够将光发射量改变为多个光发射量的光源和被配置为通过对主题成像来获得捕获的图像的成像电路的成像方法可以包括：在其中确定是否为光源确定要被设置的光发射量的第一过程；第二过程，在第二过程中，当确定没有为光源确定要被设置的光发射量时，光源的光发射量被设置为以预先确定的顺序从多个光发射量当中选择的光发射量，被以所选择的光发射量发射光的光源照明的主题被成像电路成像，确定检测目标是否存在于由成像电路获得的捕获的图像中，并且在用于获得被确定为包括检测目标的捕获的图像的成像期间光源的光发射量被确定为要被设置的光发射量；以及第三过程，在第三过程中，当在第一过程中确定对于多个光发射量的要被设置的光发射量被确定时，将光源的光发射量设置为要被设置的光发射量并且被以要被设置的光发射量发射光的光源照明的主题被成像电路成像。
根据实施例，在第二过程中，由成像电路获得的多个捕获的图像可以被分类为光源的在用于获得捕获的图像的成像期间的光发射量，并且可以确定检测目标是否存在于对于每个光发射量的捕获的图像中。
根据实施例，在第三过程中，可以确定检测目标是否存在于由成像电路获得的捕获的图像中，并且可以取消将在用于获得被确定为不包括检测目标的捕获的图像的成像期间光源的光发射量确定为要被设置的光发射量。
根据实施例，光源可以进一步被配置为能够将光发射量改变为第一和第二光发射量，其中在第二过程中，光源的光发射量可以被设置为第一光发射量并且被以第一光发射量发射光的光源照明的主题可以被成像电路成像，然后光源的光发射量可以被设置为第二光发射量并且被以第二光发射量发射光的光源照明的主题可以被成像电路成像；并且在第三过程中，当第一光发射量被确定为要被设置的光发射量时，光源的光发射量可以设置为第一光发射量并且被以第一光发射量发射光的光源照明的主题可以被成像电路成像，当第二光发射量被确定为要被设置的光发射量时，光源的光发射量可以被设置为第二光发射量并且被以第二光发射量发射光的光源照明的主题可以被成像电路成像，并且当第一和第二光发射量均被确定为要被设置的光发射量时，可以交替地将光源的光发射量改变成第一和第二光发射量中的任一个并且被以改变的光发射量发射光的光源照明的主题可以被成像电路成像。
根据另一实施例，使用被配置为能够将光发射量改变为第一光发射量和小于第一光发射量的第二光发射量并且向主题系统发射光的光源和被配置为能够将曝光时间改变为第一曝光时间和长于第一曝光时间的第二曝光时间并且通过对主题成像来获得捕获的图像的成像电路的成像方法可以包括：第一过程，在第一过程中，确定检测目标是否存在于由成像电路获得的捕获的图像中；以及第二过程，在第二过程中，当在第一过程中确定检测目标存在时，光源的光发射量被设置为第一光发射量并且成像电路的曝光时间被设置为第一曝光时间，而当在第一过程中确定检测目标不存在时，光源的光发射量被设置为第二光发射量并且成像电路的曝光时间被设置为第二曝光时间。
具体实施方式
下文中，将参考附图详细描述实施例。另外，通过相同参考标号指示相同或对应部分，并且不再重复对其的说明。
〔总体概念〕
在对主题监视和成像的设备中，提供了配备有照明设备的图像传感器来检测或识别在明亮地方和黑暗地方的人。已经公开了对这样的照明设备的定时或光分布特性进行控制以防止图像中的亮度不均匀性。然而，考虑到照明设备的电力消耗，均匀地照明整个主题以检测人是不合适的。特别地，电力消耗的增加可能使得难以微型化诸如散热机构的设备。
因此，本公开提出通过仅照明主题的一部分而不是全部和/或仅在打开时间的时间期间而不是全部时间期间照明主题来控制与要被成像的主题对应的图像区域的一部分。
图1a是用于说明本公开的概念的参考图。
参考图1a，可以通过在成像设备中提供多个光源来照明与主题对应的图像区域的列区域的一部分。另外，可以通过控制在其期间光源被打开的时间来照明图像区域的行区域的一部分。参考图1a，成像设备可以包括i个光源L1,L2,…和Li(i是等于或大于2的整数)，并且主题的对应部分可以通过每个光源的光发射照明。图像区域可以包括与i个光源对应的i个列区域。也就是说，可以从多个光源当中选择至少一个光源来发射光，并且可以对与所选择的光源对应的至少一个列区域成像。另外，成像设备可以在一个帧的时段的一部分期间而不是帧的时段的全部期间打开光源，并且可以对与时段的该部分对应的主题的一部分照明。例如，可以将用于对一个帧成像的光源的全打开时间(也就是说，从帧的第一线到最后一线)划分成时间T1,T2,…和Tj(j是等于或大于2的整数)，可以从时间T1,T2,…和Tj当中选择至少一个时间来打开光源，并且可以对与所选择的时间对应的行区域成像。另外，可以通过控制发射光的光源的数量和光源的打开时间两者来选择图像区域的被成像的行区域和列区域。
图1b是用于说明其中通过从多个光源当中选择至少一个光源来控制图像区域的列区域的示例的参考图。
参考图1b，例如，设置包括11a,11b,11c和11d的光源。示意了图像区域的与光源11a,11b,11c和11d的位置对应的列区域1、列区域2、列区域3和列区域4。可以通过使光源11a发射光并且成像电路12执行成像来获得图像区域的列区域1。可以通过使光源11b、光源11c和光源11d发射光来分别获得图像区域的列区域2、图像区域的列区域3和图像区域的列区域4。
这样，由于光源被平行布置并且仅特定光源发射光，所以通过垂直划分主题而获得的一部分可以被照明，并且可以获得该部分的图像。也就是说，由于仅用于获得一部分的特定光源发射光，所以可以减少用于照明所需的电力消耗。
图1c是用于说明其中通过调节发光的光源的打开时间和关闭时间来控制图像区域的行区域的示例的参考图。
参考图1c，例如，设置有光源11a,11b,11c和11d。为了方便说明行区域控制，假定所有光源11a,11b,11c和11d都发射光。示意了分别与时间T1,T2和T3对应的、图像区域的行区域1、行区域2和行区域3，其中光源11a,11b,11c和11d在时间期间T1,T2和T3发射光以对一个帧成像。可以通过在时间T1期间打开光源11a,11b,11c和11d并且在时间T2和T3期间关闭光源11a,11b,11c和11d来获得图像区域的行区域1。另外，可以通过在时间T2期间打开光源11a,11b,11c和11d并且在时间T1和T3期间关闭光源11a,11b,11c和11d来获得图像区域的行区域2。另外，可以通过在时间T3期间打开光源11a,11b,11c和11d并且在时间T1和T2期间关闭光源11a,11b,11c和11d来获得图像区域的行区域3。
这样，由于通过使用滚动快门根据曝光时间抑制光发射定时，所以通过水平划分主题而获得的一部分可以被照明。由于光源11a,11b,11c和11d仅在用于获得通过水平划分主题系统而获得的一部分的时间期间发射光，所以可以将电力消耗减少到小于当图像的所有线被点亮时的电力消耗。
图1d是用于说明其中行区域和列区域都被控制的示例的参考图。
成像设备可以通过使用图1d的列区域控制和图1c的行区域控制来控制图像区域的行区域和列区域两者。
也就是说，可以通过从作为发光光源而平行设置的多个光源当中选择至少一个来选择要被成像的图像的列区域，并且可以通过选择所选择的发光光源的光发射时间来选择要被成像的图像的行区域。例如，参考图1d，当存在四个光源并且每个光源的光发射时间被划分成三个时间时，图像区域可以被划分成包括四个列区域和三个行区域的12个小区域。因此，成像设备可以通过从四个光源当中选择一个光源并且从三个时间当中选择一个时间来获得与12个小区域当中的一个小区域对应的主题的图像。
图1e是用于说明其中图像的行区域和列区域被控制的详细示例的参考图。
参考图1e的1000a，可以通过选择所有四个光源作为发光光源并且使所述光源在时间T2期间发射光来获得与图像区域的行图像2对应的图像。因此，例如，可以获得站立的人的面部部分的图像。
参考图1e的1000b，可以通过选择光源11b和11c作为发光光源并且使光源11b和11c在所有时间T1、T2和T3期间发射光来获得与图像区域的列区域2和列区域3对应的图像。因此，例如，可以获得站立的人的整个身体的图像。
参考图1e的1000c，可以通过选择光源11b和11c作为发光光源并且使光源11b和11c在时间T2期间发射光来获得与图像区域的(行区域2，列区域2)和(行区域2，列区域3)对应的图像。因此，例如，可以获得站立的人的面部部分的图像。
这样，根据本公开，可以照明主题的一部分。由于与主题的该部分对应的光源被选择并且根据对应的图像线的曝光时段来执行照明，所以可以减少每次检测处理的照明时间，从而降低电力消耗。
图1f是示意本公开的效果的参考图。
图1f示出将当主题被垂直划分成四个区域时用于照明所需的电力与用于在全时段期间照明所需的电力比较之后获得的结果。
照明通过垂直划分主题而获得的四个区域当中的某个区域所需的电力约为照明整个主题系统所需电力的25％。
当例如在一个帧的曝光时段的约10％至约15％期间执行定时打开时，同时主题划分打开，所需的电力为约2.5％至约4％。因此，通过使用多个光源划分主题并且执行定时打开，可以极大地降低需要的电力。
当存在大运动时，例如当用户进入或退出并且因此用户的整个身体运动时，不需要大量电力用于照明。另外，如将会在下面详细描述的，可以通过使用利用差分的运动检测来监视进入/退出而指定个人识别处理定时和需要被照明的区域。另外，在用红外光照明黑暗室内的情况下通过对人图像执行机器学习可以实现与在室内照明期间实现的个人识别性能相同的个人识别性能。
现在将通过使用实施例详细描述上述概念。
〔实施例1〕
图2示意了根据实施例1的成像设备10的配置。成像设备10被配置为对主题系统成像和监视。例如，如图3a所示，成像设备10设置在安装在室内的电子产品(图3a中的平板显示器)中。在本实施例中，成像设备10包括多个(本实施例中为4个)光源11a至11d、成像电路12和处理电路13。另外，在下面的描述中，光源11a至11d统称为“光源11”。
〈光源〉
光源11中的每一个被配置为向主题发射光。例如，光源11可以包括发光二极管(LED)或激光二极管。另外，从光源11发射的光可以是红外光或可见光。
另外，如图3a所示，多个光源11a至11d设置在成像电路12周围。多个光源11a至11d被配置为单独地照明主题。具体说来，多个光源11a至11d中的每一个被配置为照明主题的与光源11对应的一部分，并且多个光源11a至11d被布置成使得多个光源11a至11d全部都发射光时，整个主题被照明。在本实施例中，多个光源11a至11d平行地水平布置。
〈成像电路〉
成像电路12被配置为对主题成像并获得捕获的图像。例如，成像电路12可以包括互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。
〈光源和图像区域之间的对应关系〉
如图3b所示，捕获的图像20包括分别与多个(在本实施例中为4个)光源11a至11d对应的多个(在本实施例中为4个)图像区域21a至21d。另外，在下面的描述中，图像区域21a至21d统称为“图像区域21”。
图像区域21中的每一个包括由光源11中与图像区域21对应的每一个光源照明的主题的一部分。在本实施例中，图像区域21a包括主题的由光源11a照明的一部分，图像区域21b包括主题的由光源11b照明的一部分，图像区域21c包括主题的由光源11c照明的一部分并且图像区域21d包括主题的由光源11d照明的一部分。另外，在本实施例中，多个图像区域21a至21d被布置成使得多个图像区域21a至21d中的每一个的边缘部分不重叠相邻图像区域21的边缘部分。
〈处理电路〉
处理电路13被配置为控制成像设备10的每个组件，诸如光源11和成像电路12。例如，处理电路13包括中央处理单元(CPU)或存储器。另外，在本实施例中，处理电路13包括控制器14、确定器15和检测器16。
《控制器》
控制器14被配置为执行光发射控制以改变来自多个光源11a至11d当中的发射光的光源(发光光源)，并使成像电路12对主题成像(被发光光源11照明的主题)。也就是说，在光发射控制中，控制器14从多个光源11a至11d当中选择发光光源11，并且使所选择的光源11发射光和使成像电路12对主题系统成像。
《确定器》
确定器15被配置为确定预先确定的检测目标(在本实施例中的运动)是否存在于图像区域21中，所述图像区域21是由成像电路12获得的捕获的图像20的一部分并且与在用于获得捕获的图像20的成像期间发射光的光源11对应。确定器15可以包括适当的逻辑、电路、接口和/或用于确定预先确定的检测目标是否存在的代码。
《检测器》
检测器16被配置为从包括图像区域21的捕获的图像20检测预先确定的对象(在本实施例中的人)，所述图像区域21由确定器15确定为包括检测目标。另外，检测器16被配置为向外部输出检测结果。检测器16可以包括适当的逻辑、电路、接口和/或用于从捕获的图像20检测预先确定的对象的代码。
〈操作〉
接下来，将参考图4描述根据实施例1的成像设备10的操作。在本实施例中，预先确定光源11a至11d的光发射顺序(选择发光光源11的顺序)，并且预先确定图像区域21a至21d的确定顺序(选择要被确定的图像区域21的顺序)。也就是说，预先确定光源11和图像区域21的选择顺序。具体说来，预先确定光源11和图像区域21的选择顺序，使得首先选择光源11a和图像区域21a，其次选择光源11b和图像区域21b，再次选择光源11c和图像区域21c，最后选择选择光源11d和图像区域21d。另外，基于光源11和图像区域21的选择顺序将编号(指示选择编号的编号)分配给光源11a至11d以及图像区域21a至21d。具体说来，将“1”分配给光源11a和图像区域21a，将“2”分配给光源11b和图像区域21b，将“3”分配给光源11c和图像区域21c并且将“4”分配给光源11d和图像区域21d。另外，在下面的描述中，变量K是等于或大于1并且等于或小于上限Kmax的整数，并且指示要被处理的光源11和图像区域21的编号。上限Kmax是等于或大于2的整数，并且与光源11的数量(在本实施例中为4)对应。
《步骤ST101》
首先，控制器14将变量K设置为1。也就是说，控制器14选择以预先确定的选择顺序首先被选择的光源11和图像区域21(在本实施例为光源11a和图像区域21a)作为这次要处理的光源11和图像区域21。
《步骤ST102和ST103》
接下来，控制器14使来自多个光源11a至11d当中的与第K个图像区域21(这次要处理的图像区域21)对应的光源11发射光，并且使成像电路12对主题成像。例如，控制器14使成像电路12连续对主题成像N次，使得在来自多个光源11a至11d当中的与第K个图像区域21对应的光源11发射光的时段中，获得包括在时间序列上连续的N(N是等于或大于2的整数)个捕获的图像20的捕获的图像序列。
《步骤ST104》
接下来，确定器15从在步骤ST103中获得的捕获的图像20的每一个中提取第K个图像区域21。例如，确定器15从组成在步骤ST103中获得的捕获的图像序列的N个捕获的图像20中的每一个提取第K个图像区域21，并且获得包括提取的N个图像区域21(第K个图像区域21)的部分图像序列。
《步骤ST105》
接下来，确定器15确定检测目标(在本实施例中为运动)是否存在于在步骤ST104中提取的第K个图像区域21中。当确定检测目标存在于第K个图像区域21中时，操作继续到步骤ST106，否则，操作继续到步骤ST107。
例如，确定器15根据组成在步骤ST104中获得的部分图像序列的N个图像区域(第K个图像区域)计算N-1个部分差分图像。另外，第X(X是等于或大于1并且等于或小于N-1的整数)个部分差分图像与组成该部分图像序列的N个图像区域当中的在时间序列上处于第X个位置的捕获的图像中包括的第K个图像区域和在时间序列上处于第(X+1)个位置的捕获的图像中包括的第K个图像区域之间的差分图像对应。接下来，确定器15通过针对每个像素平均N-1个部分差分图像的像素值来计算差分平均图像(该图像的像素值为N-1个像素值的平均值)。当包括在差分平均图像中的多个像素值当中，超过预先确定的差分阈值的像素值数量的百分比(与包括在差分平均图像中的像素总数的比例)超过预先确定的百分比阈值时，确定器15确定运动(检测目标)存在于第K个图像区域中，否则，确定器15确定运动(检测目标)不存在于第K个图像区域中。另外，差分阈值和百分比阈值分别被设置为例如当假定运动存在时的像素值和百分比。
《步骤ST106》
接下来，检测器16从在步骤ST105中被确定为包括检测目标的第K个图像区域21的捕获的图像20中检测对象100(在本实施例中为人)。例如，检测器16可以被配置为使用在非专利文献1(“Navneetdalal和Bill Triggs,“Histograms of Oriented Gradients forHuman Detection,”CVPR学报2005,第1卷,第886-893页,2005”)中公开的检测方法(基于亮度梯度直方图特征的机器学习的检测方法)来执行对象检测处理(在本实施例中为人检测处理)。
《步骤ST107,ST108和ST109》
接下来，控制器14基于预先确定的选择顺序选择下次要处理的光源11和图像区域21。具体说来，控制器14确定变量K是否达到上限Kmax，并且在变量K未达到上限Kmax时对变量K加1，而在变量K达到上限Kmax时将变量K设置为1。接下来，操作继续到步骤ST110。
也就是说，控制器14确定这次要处理的光源11和图像区域21是否是以预先确定的选择顺序被最后选择的光源11和图像区域21(在本实施例中为光源11d和图像区域21d)(步骤ST107)。当这次要处理的光源11和图像区域21不是以预先确定的选择顺序被最后选择的光源11和图像区域21时，控制器14选择以预先确定的选择顺序在这次要处理的光源11和图像区域21之后要被选择的图像区域21作为下次要处理的光源11和图像区域21(步骤ST108)。当这次要处理的光源11和图像区域21是以预先确定的选择顺序被最后选择的光源11和图像区域21时，控制器14选择以预先确定的选择顺序首先被选择的光源11和图像区域21(在本实施例中为光源11a和图像区域21a)作为下次要处理的光源11和图像区域21(步骤ST109)。
《步骤ST110》
接下来，当要结束处理时，处理结束，而当要继续处理时，操作继续到步骤ST102。
〈光源的光发射模式〉
图5示意了实施例1中的光源11的光发射模式。如图5所示，在实施例1中，执行光发射控制(用于改变发光光源11的控制)，使得多个光源11a至11d以预先确定的光发射顺序(光源11a,11b,11c和11d的顺序)顺序地发射光。
<实施例1的效果>
如上所述，由于发光光源11从在多个光源11a至11d当中改变，所以照明主题所需的电力消耗可以被减少到小于当所有多个光源11a至11d连续地发射光时(即，当整个主题被连续照明时)所需的电力消耗。
另外，作为捕获的图像20的一部分并且与用于获得捕获的图像20的成像期间发射光的光源11对应的图像区域21与被光源11照明的主题的一部分(局部)对应。因此，由于确定了检测目标(在本实施例中为运动)是否存在于捕获的图像20的图像区域21(与主题的被光源11照明的部分对应的图像区域21)中，所以可以准确地确定检测目标是否存在。
另外，由于在多个光源11a至11d当中改变发光光源11时主题被连续地成像，所以可以改变要由确定器15确定的、捕获的图像的图像区域21(要被确定的主题的一部分)。因此，可以连续地监视主题(可以连续地确定检测目标是否存在)。
另外，由于对包括被确定器15确定为包括检测目标(在本实施例中为运动)的图像区域21的捕获的图像20执行对象检测处理(在本实施例中为人检测处理)，所以可以有效地执行对象检测。
另外，在控制器14的光发射控制中，尽管选择来自多个光源11a至11d当中的一个光源发射光，但是在光发射控制中，控制器14可以被配置为从多个光源11a至11d当中选择两个或更多个光源11(非所有光源11)并且使所选择的光源11同时发射光。
〈实施例2〉
根据实施例2的成像设备10的操作不同于根据实施例1的成像设备10的操作。在实施例2中，当被确定器15确定为包括检测目标的图像区域21不存在时，控制器14执行光发射控制(用于改变发光光源11的控制)，使得多个光源11a至11d以预先确定的光发射顺序发射光；而当被确定器15确定为包括检测目标的图像区域21存在时，控制器14执行光发射控制，使得来自多个光源11a至11d当中的与被确定器15确定为包括检测目标的图像区域21对应的光源11的光发射频率增加。
具体说来，在实施例2中，当被确定器15确定为包括检测目标的图像区域21存在时，控制器14执行光发射控制使得第一发光操作和第二发光操作被交替执行，在第一发光操作中，与被确定器15确定为包括检测目标的图像区域21对应的光源11发射光，在第二发光操作中，基于预先确定的光发射顺序，来自光源11当中的与没有被确定器15确定为包括检测目标的图像区域21对应的一个光源11发射光。另外，实施例2的其他要素与实施例1的要素相同。
〈操作〉
接下来，将参考图6、图7和图8描述根据实施例2的成像设备10的操作。在本实施例中，与在实施例1中一样，预先确定光源11a至11d的光发射顺序(选择发光光源11的顺序)，并且预先确定图像区域21a至21d的确定顺序(选择要被确定的图像区域21的顺序)。具体说来，预先确定光源11和图像区域21的选择顺序，使得首先选择光源11a和图像区域21a，其次选择光源11b和图像区域21b，再次选择光源11c和图像区域21c，最后选择选择光源11d和图像区域21d。另外，基于光源11和图像区域21的选择顺序将编号(指示选择顺序的编号)分配给光源11a至11d以及图像区域21a至21d。
《步骤ST201》
首先，与步骤ST101中一样，控制器14将变量K设置为1。
《步骤ST202》
接下来，控制器14确定是否存在注意区域。注意区域与被确定器15确定为包括检测目标(在本实施例中为运动)的图像区域21对应。当确定注意区域不存在时，操作继续到步骤ST203。当注意区域存在时，操作继续到步骤ST213。
《步骤ST203至ST206》
接下来，与在步骤ST102和ST103中一样，控制器14使来自多个光源11a至11d当中的与第K个图像区域21(这次要处理的图像区域21)对应的光源11发射光，并且使成像电路12对主题系统成像。接下来，与在步骤ST104和ST105中一样，确定器15从在步骤ST204中获得的捕获的图像20中提取第K个图像区域21，并且确定检测目标(在本实施例中为运动)是否存在于第K个图像区域21中。当确定检测目标存在于第K个图像区域21中时，操作继续到步骤ST207，否则，操作继续到步骤ST209。
《步骤ST207》
接下来，控制器14将在步骤ST206中被确定为包括检测目标的第K个图像区域21设置为注意目标(即，注意区域)。接下来，操作继续到步骤ST208。
《步骤ST208》
接下来，与在步骤ST106中一样，检测器16从在步骤ST206中被确定为包括检测目标的第K个图像区域21的捕获的图像20中检测对象100(在本实施例中为人)。
《步骤ST209,ST210和ST211》
接下来，与在步骤ST107,ST108和ST109中一样，控制器14基于预先确定的选择顺序选择下次要处理的光源11和图像区域21。具体说来，控制器14确定变量K是否达到上限KMAX，并且在变量K未达到上限Kmax时对变量K加1，而在变量K达到上限Kmax时将变量K设置为1。接下来，操作继续到步骤ST212。
《步骤ST212》
接下来，当要结束处理时，处理结束，而当要继续处理时，操作继续到步骤ST202。
《步骤ST213和ST214》
当在步骤ST202中确定注意区域存在时，控制器14使来自多个光源11a至11d当中的与作为注意区域的图像区域21对应的光源发射光，并且使成像电路12对主题系统成像。具体说来，与在步骤ST103中一样，控制器14使成像电路12连续对主题成像N次，使得在来自多个光源11a至11d当中的与作为注意区域的图像区域21对应的光源11发射光的时段中，获得包括在时间序列上连续的N个捕获的图像20的捕获的图像序列。
《步骤ST215》
接下来，确定器15从在步骤ST214中获得的捕获的图像20提取作为注意区域的图像区域21。具体说来，与在步骤ST104中一样，确定器15从组成在步骤ST214中获得的捕获的图像序列的N个捕获的图像20中的每一个提取作为注意区域的图像区域21，并且获得包括提取的N个图像区域21(作为注意区域的图像区域21)的部分图像序列。
《步骤ST216》
接下来，确定器15确定检测目标(在本实施例中为运动)是否存在于在步骤ST215中提取的作为注意区域的图像区域21中。另外，确定检测目标是否存在的方法可以与步骤ST105的确定方法相同。当确定检测目标存在于作为注意区域的图像区域21中时，操作继续到步骤ST217，否则，操作继续到步骤ST218。
《步骤ST217》
接下来，检测器16从包括在步骤ST216中被确定为包括检测目标的作为注意区域的图像区域21的捕获的图像20中检测对象100(在本实施例中为人)。另外，检测对象100的方法可以与步骤ST106的检测方法相同。接下来，操作继续到步骤ST219。
《步骤ST218》
当在步骤ST216中确定检测目标不存在时，控制器14从注意目标(即，注意区域)中排除作为被确定为不包括检测目标的注意区域的图像区域21。接下来，操作继续到步骤ST219。
《步骤ST219》
接下来，控制器14确定是否将第K个图像区域21设置为注意区域。当第K个图像区域21被设置为注意区域时，操作继续到步骤ST220，否则，操作继续到步骤ST223。
《步骤ST220,ST221和ST222》
当在步骤ST219中确定第K个图像区域21被设置为注意区域时，控制器14基于预先确定的选择顺序选择下次要处理的光源11和图像区域21。具体说来，控制器14确定变量K是否达到上限Kmax，并且在变量K未达到上限Kmax时对变量k加1，而在变量K达到上限Kmax时将变量K设置为1。接下来，操作继续到步骤ST219。
《步骤ST223至ST226》
当在步骤ST219中确定第K个图像区域21不被设置为注意区域时，与在步骤ST203和ST204中一样，控制器14使来自多个光源11a至11d当中的与第K个图像区域21对应的光源11发射光，并使成像电路12对主题系统成像。接下来，与在步骤ST205和ST206中一样，确定器15从在步骤ST224中获得的捕获的图像20中提取第K个图像区域21，并且确定检测目标(在本实施例中为运动)是否存在于第K个图像区域21中。当确定检测目标存在于第K个图像区域21中时，操作继续到步骤ST227，否则，操作继续到步骤ST229。
《步骤ST227》
接下来，与在步骤ST207中一样，控制器14将在步骤ST226中被确定为包括检测目标的第K个图像区域21设置为注意目标(即，注意区域)。接下来，操作继续到步骤ST228。
《步骤ST228》
接下来，与在步骤ST208中一样，检测器16从在步骤ST226中被确定为包括检测对象的第K个图像区域21的捕获的图像20中检测对象100(在本实施例中为人)。
《步骤ST229,ST230和ST231》
接下来，与在步骤ST209,ST210和ST211中一样，控制器14基于预先确定的选择顺序选择下次要处理的光源11和图像区域21。具体说来，控制器14确定变量K是否达到上限Kmax，并且在变量K未达到上限Kmax时对变量K加1，而在变量K达到上限Kmax时将变量K设置为1。接下来，操作继续到步骤ST212。
〈光源的光发射模式〉
图9示意了实施例2中当注意区域存在时光源11的光发射模式。在图9中，光源11a与作为注意区域的图像区域21对应，并且三个光源11b,11c和11d分别与不作为注意区域的三个图像区域21对应。如图9所示，在实施例2中，当注意区域存在时，执行光发射控制，以便交替地执行第一发光操作和第二发光操作，在第一发光操作中，与注意区域对应的光源11(在图9中为光源11a)发射光，在第二发光操作中，基于预先确定的光发射顺序，来自光源11(在图9中为光源11b,11c和11d)当中的与除了注意区域之外的图像区域21对应的一个光源11发射光。参考图9，通过在时间间隔T1,T3,T5,T7,T9和T11期间发射光，与注意区域对应的光源11a以每两个时间间隔一个时间间隔的周期发射光，并且通过在时间间隔T2,T4,T6,T8和T10期间顺序地发射光，不与注意区域对应的光源11b,11c和11d均以每六个时间间隔一个时间间隔的周期发射光。也就是说，在实施例2中，当注意区域存在时，执行光发射控制，以使得来自多个光源11a至11d当中的与注意区域对应的光源11的光发射频率增加。
另外，实施例2中当注意区域不存在时光源11的光发射模式与图5的光发射模式相同。如图5所示，在实施例2中，当注意区域不存在时，执行光发射控制，以使得多个光源11a至11d以预先确定的光发射顺序(在本实施例中为光源11a,11b,11c和11d的顺序)顺序地发射光。
<实施例2的效果>
如上所述，当注意区域(被确定器15确定为包括检测目标的图像区域21)存在时，由于执行用于改变在多个光源11a至11d当中的发光光源11的光发射控制以使得来自多个光源11a至11d当中的与注意区域对应的光源11的光发射频率增加并且控制成像电路12对主题成像，所以可以主要对注意区域(被确定为包括检测目标的图像区域21)执行确定检测目标是否存在。因此，由于可以主要监视主题的预期包括检测目标的一部分，所以可以有效地监视主题(可以有效地确定检测目标是否存在)。
[实施例2的修改1]
另外，在根据实施例2的成像设备10中，可以将多个图像区域21设置为注意目标(即，注意区域)。控制器14可以被配置为执行光发射控制，以使得分别与多个注意区域(被确定器15确定为包括检测目标的多个图像区域21)对应的多个光源11在第一发光操作中同时发射光。
〈操作〉
接下来，将参考图10描述根据实施例2的修改1的成像设备10的操作。在根据实施例2的修改1的成像设备10中，执行图10的操作而不是图7的操作。另外，在本实施例中，预先确定注意区域的确定顺序(选择要被确定的注意区域的顺序)。基于注意区域的选择顺序将编号(指示选择顺序的编号)分配给多个注意区域。另外，在下面的描述中，变量L是等于或大于1并且等于或小于上限Lmax的整数，并且指示要被处理的注意区域的编号。上限Lmax是等于或大于2且等于或小于上限Kmax的整数，并且与注意区域的数量对应。
《步骤ST301和ST302》
当在步骤ST202中确定注意区域存在时，控制器14使来自多个光源11a至11d当中的与所有注意区域对应的所有光源11同时发射光，并且使成像电路12对主题成像。具体说来，控制器14使成像电路12连续对主题成像N次，使得在来自多个光源11a至11d当中的与所有注意区域对应的所有光源11同时发射光的时段中，获得包括在时间序列上连续的N个捕获的图像20的捕获的图像序列。
《步骤ST303》
接下来，控制器14将变量L设置为1。也就是说，控制器14选择以预先确定的选择顺序(注意区域的确定顺序)被首先选择的注意区域作为这次要处理的注意区域。
《步骤ST304》
接下来，确定器15从在步骤ST302中获得的捕获的图像20提取作为第L个注意区域的图像区域21。具体说来，确定器15从组成在步骤ST302中获得的捕获的图像序列的N个捕获的图像20中的每一个提取作为第L个注意区域的图像区域21，并且获得包括所提取的N个图像区域(作为第L个注意区域的图像区域21)的部分图像序列。
《步骤ST305》
接下来，确定器15确定检测目标(在本实施例中为运动)是否存在于在步骤ST304中提取的作为第L个注意区域的图像区域21中。另外，确定检测目标是否存在的方法可以与步骤ST216的确定方法相同。当确定检测目标存在于作为第L个注意区域的图像区域21中时，操作继续到步骤ST306，否则，操作继续到步骤ST307。
《步骤ST306》
接下来，检测器16从包括在步骤ST305中被确定为包括检测目标的作为注意区域的图像区域21的捕获的图像20中检测对象100(在本实施例中为人)。另外，检测对象100的方法可以与步骤ST217的检测方法相同。接下来，操作继续到步骤ST308。
《步骤ST307》
当在步骤ST305中确定检测目标不存在时，控制器14从注意目标(即，注意区域)中排除作为被确定为不包括检测目标的注意区域的图像区域21。接下来，操作继续到步骤ST308。
《步骤ST308》
接下来，控制器14确定变量L是否达到上限Lmax。也就是说，控制器14确定来自多个注意区域当中是否还有未被选择为要被处理的对象的注意区域。当变量L未达到上限Lmax时，操作继续到步骤ST309，而当变量L达到上限Lmax时，操作继续到步骤ST219。
《步骤ST309》
当在步骤ST308中确定变量L未达到上限Lmax时，控制器14将变量L加1。也就是说，控制器14选择以预先确定的选择顺序(注意区域的确定顺序)在这次要被处理的注意区域之后被选择的注意区域作为下次要处理的注意区域。接下来，操作继续到步骤ST304。
〈光源的光发射模式〉
图11示意了实施例2的修改1中当多个注意区域存在时光源11的光发射模式。在图11中，两个光源(11a和11c)分别与作为注意区域的两个图像区域21对应，并且两个光源(11b和11d)分别与不作为注意区域的两个图像区域21对应。如图11所示，在实施例2的修改1中，当多个注意区域存在时，执行光发射控制，以便交替地执行第一发光操作和第二发光操作，在第一发光操作中，分别与多个注意区域对应的多个光源11(在图11中为光源11a和11c)同时发射光，在第二发光操作中，基于预先确定的光发射顺序，来自光源11(在图11中为光源11b和11d)当中的与除了注意区域之外的图像区域21对应的一个光源11发射光。参考图11，通过在时间间隔T1,T3,T5,T7,T9和T11期间同时发射光，与注意区域对应的光源11a和11c以每两个时间间隔一个时间间隔的周期发射光，并且通过在时间间隔T2,T4,T6,T8和T10期间顺序地发射光，不与注意区域对应的光源11b和11d均以每四个时间间隔一个时间间隔的周期发射光。
[实施例2的修改1的效果]
如上所述，由于在第一发光操作中分别与多个注意区域(被确定器15确定为包括检测目标的多个图像区域21)对应的多个光源11同时发射光，所以第一发光操作所需要的时间可以减少到小于在第一发光操作中当多个光源11在不同定时发射光时所需的时间。因此，可以减少成像时间。
[实施例2的修改2]
替代地，在根据实施例2的成像设备10中，控制器14可以被配置为执行光发射控制，以使得分别与多个注意区域(被确定器15确定为包括检测目标的多个图像区域21)对应的多个光源11在第一发光操作中顺序地发射光。
〈操作〉
接下来，将参考图12描述根据实施例2的修改2的成像设备100的操作。在根据实施例2的修改2的成像设备10中，执行图12的操作而不是图7的操作。另外，在本实施例中，预先确定注意区域的确定顺序(选择要被确定的注意区域的顺序)。基于注意区域的选择顺序将编号(指示选择顺序的编号)分配给多个注意区域。另外，在下面的描述中，变量L是等于或大于1并且等于或小于上限Lmax的整数，并且指示要被处理的注意区域的编号。上限Lmax是等于或大于2且等于或小于上限Kmax的整数，并且与注意区域的数量对应。
《步骤ST401》
当在步骤ST202中确定注意区域存在时，控制器14将变量L设置为1。也就是说，控制器14选择以预先确定的选择顺序(注意区域的确定顺序)被首先选择的注意区域作为这次要处理的注意区域。
《步骤ST402和ST403》
接下来，控制器14使来自多个光源11a至11d当中的与第L个注意区域对应的光源11发射光，并且使成像电路12对主题成像。具体说来，控制器14使成像电路12连续对主题成像N次，使得在来自多个光源11a至11d当中的与第L个注意区域对应的光源11发射光的时段中，获得包括在时间序列上连续的N个捕获的图像20的捕获的图像序列。
《步骤ST404》
接下来，控制器14从在步骤ST403中获得的捕获的图像20提取作为第L个注意区域的图像区域21。具体说来，确定器15从组成在步骤ST403中获得的捕获的图像序列的N个捕获的图像20中的每一个提取作为第L个注意区域的图像区域21，并且获得包括所提取的N个图像区域21(作为第L个注意区域的图像区域21)的部分图像序列。
《步骤ST405》
接下来，确定器15确定检测目标(在本实施例中为运动)是否存在于在步骤ST404中提取的作为第L个注意区域的图像区域21中。另外，确定检测目标是否存在的方法可以与步骤ST216的确定方法相同。当确定检测目标存在于作为第L个注意区域的图像区域21中时，操作继续到步骤ST406，否则，操作继续到步骤ST407。
《步骤ST406》
接下来，检测器16从包括在步骤ST405中被确定为包括检测目标的作为注意区域的图像区域21的捕获的图像20中检测对象100(在本实施例中为人)。另外，检测对象100的方法可以与步骤ST217的检测方法相同。接下来，操作继续到步骤ST408。
《步骤ST407》
当在步骤ST405中确定检测目标不存在时，控制器14从注意目标(即，注意区域)中排除作为被确定为不包括检测目标的注意区域的图像区域21。操作继续到步骤ST408。
《步骤ST408》
接下来，控制器14确定变量L是否达到上限Lmax。也就是说，控制器14确定来自多个注意区域当中是否还有未被选择为要被处理的对象的注意区域。当变量L未达到上限Lmax时，操作继续到步骤ST409，而当变量L达到上限Lmax时，操作继续到步骤ST219。
《步骤ST409》
当在步骤ST408中确定变量L未达到上限Lmax时，控制器14对变量L加1。也就是说，控制器14选择以预先确定的选择顺序(注意区域的确定顺序)在这次要被处理的注意区域之后被选择的注意区域作为下次要处理的注意区域。接下来，操作继续到步骤ST402。
〈光源的光发射模式〉
图13示意了实施例2的修改2中当多个注意区域存在时光源11的光发射模式。在图13中，两个光源(11a和11c)分别与作为注意区域的两个图像区域21对应，并且两个光源(11b和11d)分别与不作为注意区域的两个图像区域21对应。如图13所示，在实施例2的修改2中，当多个注意区域存在时，执行光发射控制，以便交替地执行第一发光操作和第二发光操作，在第一发光操作中，分别与多个注意区域对应的多个光源11(在图13中为光源11a和11c)顺序地发射光，在第二发光操作中，基于预先确定的光发射顺序，来自光源11(在图13中为光源11b和11d)当中的与除了注意区域之外的图像区域21对应的一个光源11发射光。参考图13，通过在时间间隔T1,T2,T4,T5,T7,T8,T10和T11期间顺序地发射光，与注意区域对应的光源11a和11c均以每三个时间间隔一个时间间隔的周期发射光，并且通过在时间间隔T3,T6,T9和T12期间顺序地发射光，不与注意区域对应的光源11b和11d均以每六个时间间隔一个时间间隔的周期发射光。
[实施例2的修改2的效果]
如上所述，由于在第一发光操作中分别与多个注意区域(被确定器15确定为包括检测目标的多个图像区域21)对应的多个光源11顺序地发射光，所以可以防止从与两个相邻图像区域21对应的两个光源11同时发射的光的光片(piece)重叠在主题上。因此，可以避免由光的光片的重叠而导致的主题的亮度的改变，并且可以准确地监视主题(可以准确地确定检测目标是否存在)。
〔实施例3〕
根据实施例3的成像设备10的操作不同于根据实施例1的成像设备10的操作。在实施例3中，检测器16被配置为在被确定器15确定为包括检测目标的注意区域(被确定器15确定为包括检测目标的图像区域21)的一部分是注意区域的边缘部分时，从包括注意区域和相邻区域(与注意区域的边缘部分相邻的图像区域21)的候选区域30检测对象100。另外，实施例3的其他要素与实施例1的要素相同。
〈操作〉
接下来，将参考图14描述根据实施例3的成像设备10的操作。在根据实施例3的成像设备10中，检测器16被配置为执行图14的处理而不是图4的步骤ST106的处理。
《步骤ST501》
当在步骤ST105确定检测目标(在本实施例中为运动)存在于第K个图像区域21中时，检测器16确定被确定为包括检测目标的注意区域(即，被确定器15确定为包括检测目标的第K个图像区域21)的一部分是否是注意区域的边缘部分。当被确定为包括检测目标的部分是注意区域的边缘部分时，操作继续到步骤ST502，否则，操作继续到步骤ST504。
《步骤ST502》
接下来，检测器16确定相邻区域是否存在，所述相邻区域是与作为第K个图像区域21的注意区域的边缘部分(包括被确定为包括检测目标的部分的边缘部分)相邻的图像区域21。当相邻区域存在时，操作继续到步骤ST503，否则，操作继续到步骤ST504。
《步骤ST503》
接下来，检测器16对包括作为第K个图像区域321的注意区域和作为与注意区域的边缘部分相邻的图像区域21的相邻区域的候选区域30执行对象检测处理(在本实施例中为人检测)。例如，如图15所示，当确定器15确定检测目标(在本实施例中为运动)存在于作为注意区域的图像区域21a的右边缘部分中时，检测器16将与右边缘部分相邻的图像区域21b设置为作为相邻区域的图像区域21，并对包括作为注意区域的图像区域21a和作为相邻区域的图像区域21b的候选区域30执行对象检测处理。另外，检测对象100的方法可以与步骤ST106的检测方法相同。
《步骤ST504》
当在步骤ST501中确定被确定为包括检测目标的部分不是注意区域的边缘部分时，或当在步骤ST502中确定作为与注意区域的边缘部分相邻的图像区域21的相邻区域不存在时，检测器16对作为注意区域的第K个图像区域21执行对象检测处理(在本实施例中为人检测处理)。另外，检测对象100的方法可以与步骤ST106的检测方法相同。
<实施例3的效果>
如上所述，在被确定器15确定为包括检测目标的注意区域(被确定器15确定为包括检测目标的图像区域21)的一部分是注意区域的边缘部分时，由于从包括注意区域和相邻区域(与注意区域的边缘部分相邻的图像区域)的候选区域30检测对象100，所以与注意区域相邻的相邻区域可以辅助地用于对象检测处理。因此，对象100的检测精度可以被提高到高于当仅对注意区域执行对象检测处理时的对象100的检测精度。
〔实施例4〕
图16示意了根据实施例4的成像设备10的配置。在实施例4中，除了图2的控制器14、确定器15和检测器16之外，处理电路13还包括识别器17。实施例4的其他要素与实施例1的要素相同。
〈识别器〉
识别器17被配置为从捕获的图像20提取对象区域40并且通过将对象区域40与预先登记的组合图像组合来识别对象100。识别器17可以包括用于这样的操作的适当逻辑、电路、接口和/或代码。
如图17所示，对象区域40是捕获的图像20的一部分，并且与包括由检测器16检测的对象100的区域(图像区域)对应。在本实施例中，对象100是人的面部，组合图像是包括人的面部的面部图像，并且识别器17通过将对象区域40中包括的人的面部与预先登记的人的面部组合来执行个人识别。另外，识别器17被配置为向外部输出识别结果。
另外，识别器17可以被配置为通过使用在非专利文献2(Paul Viola和MichaelJones,“Rapid Object Detection using a Boosted Cascade of Simple Features,”CVPR2001学报,第1卷,第511-518页,2001”)中公开的方法(根据亮度分布的比较的方法)来提取对象区域40。另外，识别器17可以被配置为通过使用支持向量机或互子空间方法来执行组合处理(对象区域40与组合图像的组合)。
<实施例4的效果>
如上所述，由于从捕获的图像20提取对象区域40(作为捕获的图像20的一部分并且包括被检测器16检测的对象100的区域)并且通过将对象区域40与预先登记的组合图像组合而识别对象100，所以可以高效地识别对象100。
[实施例4的修改]
另外，在根据实施例4的成像设备10中，控制器14可以被配置为在被识别器17提取的对象区域40在注意区域(被确定器15确定为包括检测目标的图像区域21)和相邻区域(与注意区域的边缘部分相邻的图像区域21)上延伸时，使来自多个光源11a至11d当中的与注意区域和相邻区域对应的光源11发射光，并使成像电路12对主题系统成像。另外，识别器17可以被配置为在与注意区域对应的光源11发射光时，从由成像电路12获得的捕获的图像20提取对象区域40并将对象区域40与组合图像(第一组合图像)组合；并且在与注意区域和相邻区域对应的光源11发射光时，从由成像电路12获得的捕获的图像20提取对象区域40并将对象区域40与组合图像(第二组合图像)组合，并且基于组合结果识别对象100。
〈操作〉
接下来，将参考图18描述根据实施例4的修改的成像设备10的操作。根据实施例4的修改的成像设备10被配置为执行图18的操作连同图4的操作(监视操作)。
《步骤ST601》
控制器14确定被识别器17提取的对象区域40是否在注意区域(被确定器15确定为包括检测目标的图像区域21)和相邻区域(与注意区域的边缘部分相邻的图像区域21)上延伸。当对象区域40在注意区域和相邻区域上延伸时，操作继续到步骤ST602，否则，操作继续到步骤ST612。
《步骤ST602,ST603和ST604》
接下来，控制器14停止图4的操作(监视操作)。控制器14使来自多个光源11a至11d当中的与注意区域对应的光源发射光，并且使成像电路12对主题成像。接下来，识别器17从在步骤ST603中获得的捕获的图像20提取对象区域40并且将对象区域40与预先登记的第一组合图像组合。另外，第一组合图像是与对象100(在本实施例中为人的面部)对应的图像，其与注意区域对应的一半被光照明而与相邻区域对应的其余的一半不被光照明。
例如，如图19所示，当在作为注意区域的图像区域21a的边缘部分处检测到对象100时，控制器14使与图像区域21a对应的光源11a发射光并且使成像电路12对主题系统成像。另外，由于对象100位于作为注意区域的图像区域21a的边缘部分处，并且因此光源11发射光并且成像电路12对主题成像，所以在对象100的与图像区域21a对应的一部分相对明亮而对象100的与图像区域21b对应的一部分相对黑暗的状态下获得捕获的图像20。识别器17将从捕获的图像20提取的对象区域40与第一组合图像组合，所述第一组合图像指示人的面部，其与图像区域21a对应的一半(图19中左边一半)被光照明而与图像区域21b对应的其余一半(图19中右边一半)不被光照明。
《步骤ST605,ST606和ST607》
接下来，控制器14使来自多个光源11a至11d当中的与注意区域和相邻区域对应的多个光源发射光，并且使成像电路12对主题成像。接下来，识别器17从在步骤ST605中获得的捕获的图像20提取对象区域40并且将对象区域40与预先登记的第二组合图像组合。另外，第二组合图像是指示对象100(在本实施例中为人的面部)整个地被与注意区域和相邻区域对应的多个光源发射的光照明的图像。
《步骤ST608,ST609和ST610》
接下来，控制器14使来自多个光源11a至11d当中的与相邻区域对应的多个光源发射光，并且使成像电路12对主题系统成像。接下来，识别器17从在步骤ST605中获得的捕获的图像20提取对象区域40并且将对象区域40与预先登记的第三组合图像组合。另外，第三组合图像是指示对象100(在本实施例中为人的面部)的图像，其与注意区域对应的一半(图19中的左边一半)不被光照明而与相邻区域对应的其余的一半(图19中的右边一半)被光照明。
例如，如图19所示，当在作为注意区域的图像区域21a的边缘部分处检测到对象100时，控制器14使与作为相邻区域的图像区域21b对应的光源11b发射光并且使成像电路12对主题系统成像。另外，由于对象100位于作为注意区域的图像区域21a的边缘部分处，并且因此光源11b发射光并且成像电路12对主题成像，所以在对象100的与图像区域21a对应的一部分相对黑暗而对象100的与图像区域21b对应的一部分相对明亮的状态下获得捕获的图像20。识别器17将从捕获的图像20提取的对象区域40与第三组合图像组合，所述第三组合图像指示人的面部，其与图像区域21a对应的一半(图19中左边一半)不被光照明而与图像区域21b对应的其余一半(图19中右边一半)被光照明。
《步骤ST611》
接下来，识别器17基于步骤ST604的组合结果、步骤ST607的组合结果和步骤ST610的组合结果识别对象100。另外，当识别器17进行的识别处理完成时，控制器14恢复图4的操作(监视操作)。
《步骤ST612》
当在步骤ST601中确定对象区域40不在注意区域和相邻区域上延伸时，识别器17从注意区域提取对象区域40并且将对象区域40与第一组合图像组合。另外，识别器17可以被配置为将对象区域40与第二组合图像组合而不是将对象区域40与第一组合图像组合。
《步骤ST613》
接下来，识别器17基于步骤ST612的组合结果识别对象100。
〈实施例4的修改的效果〉
如上所述，由于基于从当与注意区域对应的光源11发射光时由成像电路12获得的捕获的图像20提取的对象区域40的组合结果(第一组合结果)和从当与注意区域和相邻区域对应的光源11发射光时由成像电路12获得的捕获的图像20提取的对象区域40的组合结果(第二组合结果)来识别对象100，所以可以将对象100的识别精度提高到高于仅基于第一组合结果来识别对象100时的对象100的识别精度。
另外，由于除了第一和第二组合结果之外，从当与相邻区域对应的光源11发射光时由成像电路12获得的捕获的图像20提取的对象区域40的组合结果(第三组合结果)被用于识别对象100，所以可以进一步提高对象100的识别精度。
〔实施例1至4的综述〕
在上面的描述中，尽管多个图像区域21a至24d被布置成使得每个边缘部分不重叠相邻图像区域21的边缘部分，但是多个图像区域21a至21d可以被布置成使得每个边缘部分重叠相邻图像区域21的边缘部分。
另外，在上面的描述中，尽管多个光源11a至11d平行地水平布置，但是多个光源11a至11d的布置不限于此。例如，多个光源11a至11d可以平行地垂直布置，或者可以被平行地布置成具有围绕成像电路12的圆形形状。
另外，在上面的描述中，尽管控制器14、确定器15、检测器16和识别器17被包括在一个处理电路13中，但是控制器14、确定器15、检测器16和识别器17可以分布在两个或更多个处理电路中。
〔实施例5〕
一些常规成像设备使用在日本专利申请公开No.2010-093729、日本专利申请公开No.2010-262224和日本专利申请公开No.2012-095214中所公开的全局快门或滚动快门。这些专利文献描述了通过打开频闪器(strobe)(光源)来减少捕获的图像表面中的显示不均匀性。
在先技术关注于频闪器(光源)的光发射来防止整个图像表面上的明暗度差异。本公开的发明人已经发现在通过频闪器(光源)的光发射的人检测中，可能不能忽视频闪器(光源)的电力消耗。本公开的发明人已经发现通过使用捕获的图像表面中的一部分来检测人可以减少打开频闪器(光源)所需要的电力，但是存在归因于频闪器(光源)的打开而导致的显示不均匀性。
〈成像设备的结构〉
图20是根据实施例5的成像设备10的简图。成像设备10包括光源11(例如，频闪器)、成像电路12(例如，成像元件)、控制单元13a和检测单元13b。成像设备10是用于通过使用运动检测确定人是否存在于捕获的图像表面中的设备。成像设备10可以是诸如电视(TV)的家电的一部分。在这种情况下，成像设备10可以通过检测和识别成像设备10前面的用户来提供个人化服务。另外，成像设备10可以被配置为仅执行用户检测而不执行执行用户识别。另外，成像设备10可以被用作监视相机，其检测进入建筑物或地点的监视区域的外人。
〈光源〉
光源11是即刻地向主题(主题)发射光的发光元件。光源11也可以被称为闪光灯(flash)。主题(主题)包括存在于监视区域中并且要被检测的人(例如，外人)和人之外的其他物体(例如，建筑物的墙)。光源11可以例如是氙灯管或发光二极管(LED)。光源11从成像电路12接收定时信号TE并且使打开定时与成像定时同步。这样，光源11被配置为向主题系统发射光。
〈成像电路〉
成像电路12是包括对预先确定的监视区域成像的在二维(2D)平面上以矩阵布置的光传感器组的元件。成像电路12例如为CCD或CMOS设备。成像电路12例如为使用滚动快门的元件。成像电路12的帧率例如为60i(隔行)/秒。在成像电路12的前方设置用于接收来自主题的光的透镜。
这样，成像电路12被配置为对主题成像并获得捕获的图像。另外，在本实施例中，成像电路12被配置为通过滚动快门方法驱动。具体说来，成像电路12具有光接收表面(未示出)，该光接收表面上以矩阵布置多个光传感器并且被配置成使得n条线从作为前导线的第一行的线(包括在行方向上布置的两个或更多个光传感器的线)开始到作为最终线的第n行(N是等于或大于2的整数)的线而顺序地曝光。
<控制单元>
控制单元13a执行控制，以使得成像电路12的曝光定时和光源11的打开定时具有下述关系。控制单元13a从成像电路12接收指示曝光定时的信号，并且输出用于在适当定时打开光源11的触发信号“a”。控制单元13a可以是用于执行这样的功能的集成电路(IC)(例如，专用IC)。替代地，控制单元13a可以包括处理器、耦合到处理器的存储器和存储在存储器中的软件(程序或指令)。
这样，控制单元13a被配置为控制成像设备10的每个组件，诸如光源11和成像电路12。另外，在本实施例中，控制单元13a包括控制器14。控制器14被配置为使光源11发射光并使成像电路12对主题(被发光光源11照明的主题)成像。将在下面描述控制器14的操作。
〈检测单元〉
检测单元13b接收指示从成像电路12输出的图像的信号P，并且确定人(对象的示例)是否存在于捕获的图像表面中。另外，在本实施例中，检测单元13b确定不被允许进入监视区域的外人是否存在于捕获的图像表面中。检测单元13b输出指示确定结果的信号U。另外，检测单元13b可以设置在成像设备10外部。检测单元13b可以是用于执行这样的功能的IC(例如，专用IC)。替代地，检测单元13b可以包括处理器、耦合到处理器的存储器和存储在存储器中的软件(程序或指令)。
这样，检测单元13b被配置为处理由成像电路12获得的捕获的图像(由信号P指示的图像)。另外，在本实施例中，检测单元13b包括确定器15、检测器16和识别器17。
确定器15被配置为确定预先确定的检测目标(在本实施例中为运动)是否存在于由成像电路12获得的捕获的图像(由信号P指示的图像)中。检测器16被配置为从被确定器15确定为包括检测目标的捕获的图像(由信号P指示的图像)检测预先确定的对象(在本实施例中为人的面部)。识别器17被配置为从捕获的图像(由信号P指示的图像)提取对象区域(包括由检测器16检测的对象的图像区域)，并通过将对象区域与预先登记的组合图像组合来识别对象。在本实施例中，对象是人的面部，组合图像是包括人的面部的面部图像，并且识别器17通过将对象区域中包括的人的面部与预先登记的人的面部组合来执行个人识别(面部识别)。另外，识别器17被配置为向外部输出识别结果(指示结果的信号U)。另外，将在下面描述确定器15、检测器16和识别器17的操作。
〈成像设备的操作〉
图21示意了实施例5中由控制单元13a对光源11的控制。图表2101示出成像电路12的曝光和光源11的打开之间的定时。在图表2101中，垂直轴表示成像电路12的图像表面(光源以矩阵布置在其上面的光接收表面)中的线L1至Ln(n是总数)，并且水平轴表示时间t。图像表面的第一线L1在时间t0至t2之间被曝光。图像表面的最后的线Ln在时间t1至t5之间被曝光。成像电路12在时间t1至t2之间(即，全线曝光时段tAE)使图像表面中的所有线曝光。光源11在时间t3至t4之间(即，打开时段tL)被打开。换言之，光源11在时间t0至t3之间(即，关闭时段tA)以及时间t4至t5之间(即，关闭时段tB)被关闭。
示意图2101示出成像电路12的图像表面中光源11的发射的光的强度分布。在示意图2102中，垂直轴与图表2101的线L1至Ln对应，并且水平轴表示图像表面(捕获的图像20)的水平位置。在线L1至线La中，由于在曝光期间光源11未被打开，所以发射的光的强度为零。在线La至Lb中，由于在曝光期间光源11被打开的时段朝向更低的线增加，所以发射的光的强度从零增加到最大水平。在线Lb至Ln中，由于在曝光期间光源11被打开的时段是整个打开时段tL(最大)，所以发射的光的强度恒定为最大水平。
控制单元13a打开光源11以使得光源11被打开的打开时段tL和光源11被关闭的关闭时段tA和tB存在于不是滚动快门的所有线被同时曝光的全线曝光时段tAE的时段中。因此，例如，如在图21的示意图2102中所示，光源11的发射的光的强度可以在图像表面的下部分(捕获的图像20的下部分)处为最大，而在图像表面的上部分(捕获的图像20的上部分)处可以为零。结果，假定用相同的电力量来驱动光源11，与光被均匀地发射到整个图像表面的情况相比，强光可以被发射到图像表面的一部分。换言之，与光被均匀地发射的情况相比，可以将光更高效地发射到图像表面的一部分，也就是说，用更少的电力发射光，并且可以减少光源11消耗的电力。
〈运动估计模式和面部识别模式〉
在实施例5中，通过使光源11仅向图像表面的一部分发射光(即，通过打开光源11以使得打开时段和关闭时段存在于不是全线曝光时段的时段中)，成像设备10检测监视区域中的人同时减少电力消耗。这种操作模式被称为运动估计模式。在运动估计模式中，检测单元13b通过对与光源11被打开的打开时段tL对应的帧中的区域(作为捕获的图像20的一部分并且与光源11的打开时段tL对应的图像区域)执行例如帧间差分方法来执行运动检测(确定检测目标是否存在)。
在运动估计模式中，当检测到运动时，成像设备10继续到面部识别模式。在面部识别模式中，控制单元13a控制光源11在与检测到运动的区域对应的时段中发射更强的光，并且检测单元13b对检测到运动的区域执行面部识别(对象的识别)。
在运动估计模式中，主要用相对弱的光来执行人检测，并且一旦检测到人，运动估计模式就可以改变到面部识别模式。在面部识别模式中，用相对强的光执行面部识别以确定人是外人还是允许的人。由于进行两种模式的改变，因此可以执行两种操作(也就是说，人检测和面部识别)同时减少电力。
图22示意了实施例5中由控制单元13a对光源11的控制(运动估计模式中的控制)。图表2201示出成像电路12的曝光和光源11的打开之间的定时。图表2202示出了与帧时段tF和曝光时段tE中的每一个的开始时间对应的同步信号VSync以及与光源11的打开时段tL对应的频闪信号Str。尽管图表2201和2202仅示出了三个相继的帧F1至F3，但在成像设备10的实际操作期间，只要运动估计模式继续，帧(捕获的图像)就会继续重复。
如图22所示，在每个帧中，光源11对于曝光时段tE的打开时段tL的定时是相同的。因此，当光源11被打开时，光仅被发射到捕获的图像表面中的相同部分(在这种情况下，是图像表面的上端部分和下端部分)。
图23示意了实施例5中由控制单元13a对光源11的控制(运动估计模式中的控制)的另一示例。图表2301示出成像电路12的曝光和光源11的打开之间的定时。在帧F1至F3中，光源11对于曝光时段tE的打开时段tL的定时是相同的。
示意图2302示出成像电路12的图像表面中发射的光的强度分布。在示意图2302中，垂直轴与图表2301的线L1至Ln对应，并且水平轴表示图像表面的水平位置。如在图表2301中所示，当光源11被打开时，在图像表面中形成光源11的发射区域301和302以及非发射区域401。因此，在运动估计模式中，在发射区域301和302中执行运动检测和对人进行检测。
图24示意了实施例5中由控制单元13a对光源11的控制(运动估计模式中的控制)的另一示例。图表2401示出成像电路12的曝光和光源11的打开之间的定时。在帧F1至F3中，光源11对于曝光时段tE的打开时段tL的定时是相同的。
示意图2402示出图像表面中光源11的发射的光的强度分布。在示意图2402中，垂直轴与图表2401的线L1至Ln对应，并且水平轴表示图像表面的水平位置。如在图表2401中所示，当光源11被打开时，在图像表面中形成光源11的发射区域301以及非发射区域401和402。因此，在运动估计模式中，在发射区域301中执行运动检测和对人进行检测。
图25是用于说明运动估计模式中帧间差分方法的图。检测单元13b通过对帧F1和F2中的与光源11被打开的打开时段tL对应的区域(作为捕获的图像20的一部分并且与光源11的打开时段tL对应的图像区域)执行帧间差分方法来执行运动检测。帧F1和F2是两个相继帧(捕获的图像20)。如图25所示，通过打开光源11在帧F1中形成发射区域301和302以及非发射区域401。同样，在帧F2中形成发射区域301和302以及非发射区域401。
检测单元13b基于帧F1的发射区域301和帧F2的发射区域301之间的差分来执行运动检测。随着时间经过，人(对象100的示例)从图像表面的左端朝向图像表面的中央运动。因此，基于帧F1的发射区域301和帧F2的发射区域301之间的差分，确定运动存在。同样，检测单元13b基于帧F1的发射区域302和帧F2的发射区域302之间的差分来执行运动检测。基于帧F1的发射区域302和帧F2的发射区域302之间的差分，确定运动存在。
图26是用于说明从运动估计模式改变到面部识别模式的图。在帧F1的时段中，对发射区域301和302执行运动估计。当在帧F1中检测到运动时，在帧F2中模式被改变到面部识别模式。在面部识别模式中，光源11的光被发射到在帧F2内具有人的面部(对象100)存在的高概率的区域。通过例如以图20的打开定时控制光源11这是可能的。在面部识别模式中，发射区域302中光源11的光的强度可以比在运动估计模式中光的强度大。因此，可以在面部识别模式中使用光源11的更强的光发射，同时减少在运动估计模式中光源11的电力消耗。在面部识别模式中，根据人的面部部分(对象区域40中包括的人的面部)是否与登记的人的面部相同来确定人是外人还是被允许的人。
图27示意了实施例5中由控制单元13a对光源11的控制(面部识别模式中的控制)。图表2701示出成像电路12的曝光和光源11的打开之间的定时。图表2702示出了与帧时段tF和曝光时段tE中的每一个的开始时间对应的同步信号VSync以及与光源11的打开时段tL对应的频闪信号Str。尽管图表2701和2702仅示出了三个相继的帧F1至F3，但是在成像设备10的实际操作期间，只要面部识别模式继续，帧(捕获的图像)就会继续重复。
如图27所示，在每个帧中，光源11对于曝光时段tE的打开时段tL的定时是相同的。因此，当光源11被打开时，光仅被发射到捕获的图像表面中的相同部分(在这种情况下，是图像表面的上部分)。
图28示意了实施例5中由控制单元13a对光源11的控制(面部识别模式中的控制)的另一示例。图表2801示出成像电路12的曝光和光源11的打开之间的定时。在帧F1至F3中，光源11对于曝光时段tE的打开时段tL的定时是相同的。
示意图2802示出成像电路12的图像表面中光源11的发射的光的强度分布。在示意图2802中，垂直轴与图表2801的线L1至Ln对应，并且水平轴表示图像表面的水平位置。如在图表2801中所示，当光源11被打开时，在图像表面中形成光源11的发射区域301和302以及非发射区域401。在本实施例中，人的面部部分(对象100)存在于发射区域301中的概率高。因此，确定在发射区域301中检测到的面部部分(对象区域40中包括的人的面部)是否与登记的人的面部相同，并且因此确定人是外人还是被允许的人。
图29示意了实施例5中由控制单元13a对光源11的控制(面部识别模式中的控制)的另一示例。图表2901示出成像电路12的曝光和光源11的打开之间的定时。在帧F1至F3中，光源11对于曝光时段tE的打开时段tL的定时是相同的。
示意图2902示出成像电路12的图像表面中光源11的发射的光的强度分布。在示意图2902中，垂直轴与图表2901的线L1至Ln对应，并且水平轴表示图像表面的水平位置。如在图表2901中所示，当光源11被打开时，在图像表面中形成光源11的发射区域301和302以及非发射区域401。在本实施例中，人的面部部分(对象100)存在于发射区域302中的概率高。因此，确定在发射区域301中检测到的面部部分(对象区域40中包括的人的面部)是否与登记的人的面部相同，并且因此确定人是外人还是被允许的人。
另外，在实施例5中，当打开光源11以使得曝光时间(例如，图3B的曝光时段tE)是光源11的打开时段(图3B的打开时段tL)的多倍时，可以消除发射区域中发射的光的强度不均匀性(在图像表面上示为条纹)。
如上所述，在根据实施例5的成像设备10中，控制器14使光源11发射光并且使成像电路12对主题成像，以使得光源11被打开的时段(打开时段tL)和光源11被关闭的时段(关闭时段tA和tB)存在于不是成像电路12的所有线被同时曝光的时段(全线曝光时段tAE)中。
另外，在根据实施例5的成像设备10中，确定器15通过对作为由成像电路12获得的捕获的图像20的一部分并且与光源11被打开的时段(打开时段tL)对应的图像执行帧间差分方法来确定检测目标(在本实施例中为运动)是否存在。
另外，与光源1被打开的时段(打开时段tL)对应的图像区域(发射区域301)包括通过当来自成像电路12的所有线(n条线)的光源11被打开时而被曝光的线所成像的主题的一部分。也就是说，包括在与打开时段tL对应的图像区域中的主题的一部分被在打开时段tL中打开的光源11照明。
另外，在根据实施例5的成像设备10中，当确定器15确定检测目标存在(在本实施例中指运动存在)时，控制器14控制光源11以使得在与被确定为包括检测目标的图像区域对应的时段(打开时段tL)中发射更强的光。具体说来，控制器14控制光源11以使得在与被确定器15确定为包括检测目标的图像区域对应的时段(打开时段tL)中光源11的光发射量大于在与不被确定器15确定为包括检测目标的图像区域对应的时段(打开时段tL)中光源11的光发射量。光发射量指在预先确定的周期(例如，获得一个捕获的图像的帧周期)中从光源11发射的光的总量，并且与在时间上对光源11的光发射强度进行积分而获得的量对应。
另外，在根据实施例5的成像设备10中，当确定器15确定检测目标(在本实施例中为运动)存在时，识别器17在被确定为包括检测目标的图像区域中执行对象的识别(在本实施例中为面部识别)。具体说来，检测器16从被确定器15确定为包括检测目标的捕获的图像检测预先确定的对象(在本实施例中为人的面部)，并且识别器17从被确定器15确定为包括检测目标的捕获的图像提取对象区域(包括检测器16检测出的对象的图像区域)并通过将对象区域与预先登记的组合图像(在本实施例中为包括人的面部的图像)组合来识别对象。
〔实施例5的概述〕
可以通过使用硬件、软件或其组合来执行本公开实施例中使用的任何功能。可以通过单个处理器或多个处理器来执行该功能。
例如，通过大规模集成电路(LSI)实现图21和22的光源11对于成像电路12的曝光的打开定时。替代地，通过处理器、耦合到处理器的存储器和存储在存储器中的执行各种功能的指令来实现打开定时。
〔实施例6〕
一些常规成像设备使用利用滚动快门方法和闪光光源的相机(参见日本专利申请公开No.2010-093729、日本专利申请公开No.2010-262224和日本专利申请公开No.2012-95214)。
然而，上述专利文献仅描述一种用于在成像期间通过使用闪光光源消除明暗度差异(在图像表面中被示出为水平条纹)的方法。也就是说，上述专利文献没有描述基于在频闪器(光源)不发射光时捕获的图像的亮度来获得频闪器(光源)的光发射量。
考虑到上述问题，本公开的发明人已经提出用于通过基于在频闪器(光源)不发射光时捕获的图像的亮度来获得频闪器(光源)的光发射量从而实现正确曝光的装置和方法。
另外，在下面的描述中，曝光指通过根据主题(主题)的亮度调节与成像电路(成像元件)对应的光的量而被曝光的光的量。在被成像电路成像的主题(主题)的亮度适当的情况下的曝光称为“正确曝光”。在被曝光的光的量小并且主题(主题)太暗的情况下的曝光称为“欠曝光”。在被曝光的光的量大并且主题(主题)太亮的情况下的曝光称为“过曝光”。
〈成像设备的结构〉
图30是根据实施例6的成像设备10的简图。成像设备10包括光源11(例如，频闪器)、成像电路12(例如，成像元件)、控制单元13a和检测单元13b。成像设备10被包括在家电(例如，TV)中并且通过使用例如运动检测确定用户是否存在于捕获的图像表面中。根据用户是否存在于家电周围可以改变包括成像设备10的家电的操作的至少一部分。因此，家电可以执行更加用户友好的操作。
〈光源〉
光源11是即刻地向主题(主题)发射光的发光元件。光源11也可以被称为闪光灯(flash)。主题(主题)包括存在于监视区域中并且要被检测的人(例如，家电的用户)和人之外的物体(例如，前景和背景)。
光源11可以是任意适当的闪光光源(例如，LED)。替代地，光源11是激光二极管。光源11发射例如红外光或可见光。也就是说，光源11可以被配置为发射红外光，或可以被配置为发射可见光。光源11从成像电路12接收指示曝光定时的定时信号TE并且使光发射定时与成像定时同步。
这样，光源11被配置为向主题系统发射光。另外，光源11被配置为能够改变光发射量。光发射量是预先确定的周期(例如，帧周期)中从光源11发射的光的总量，并且与在时间上对光源11的光发射强度进行积分而获得的量对应。在本实施例中，光源11被配置为能够改变光发射占空比，并且可以通过改变光源11的光发射占空比来改变光源11的光发射量。另外，光发射占空比是打开时段(光源11被打开的时段)在预先确定的周期中所占的比率。
〈成像电路〉
成像电路12是包括在2D平面上以矩阵布置的光传感器组的元件。成像电路12例如为使用滚动快门的元件。成像电路12例如为CMOS设备。然而，本公开不限于此，并且成像电路12可以是CCD。成像电路12对包括成像设备10的家电附近的预先确定的监视区域成像。成像电路12的帧率为例如30/秒。在成像电路12的前方设置用于接收来自主题的光的透镜。这样，成像电路12被配置为对主题成像并获得捕获的图像。
<控制单元>
控制单元13a执行控制，以使得成像电路12的曝光定时和光源11的光发射定时具有下述关系。控制单元13a从成像电路12接收信号P，并且向光源11输出指示占空比的信号DR。控制单元13a可以是用于执行这样的功能的IC(例如，专用IC)。替代地，控制单元13a可以包括处理器、耦合到处理器的存储器和存储在存储器中的软件(程序或指令)。
这样，控制单元13a被配置为控制成像设备10的每个组件，例如光源11和成像电路12。另外，在本实施例中，控制单元13a包括控制器14。控制器14被配置为使光源11发射光并使成像电路12对主题(被发光光源11照明的主题)成像。将在下面描述控制器14的操作。
〈检测器〉
检测单元13b接收指示从成像电路12输出的图像的信号P，并且确定用户(对象的示例)是否存在于捕获的图像表面中。检测单元13b输出指示确定结果的检测信号U。另外，检测单元13b可以设置在成像设备10外部。当成像设备10包括检测单元13b时，成像设备10可以称为用户检测设备。检测单元13b可以是用于执行这样的功能的IC(例如，专用IC)。替代地，检测单元13b可以包括处理器、耦合到处理器的存储器和存储在存储器中的软件(程序和指令)。
这样，检测单元13b被配置为处理由成像电路12获得的捕获的图像(由信号P指示的图像)。另外，在本实施例中，检测单元13b包括确定器15、检测器16和识别器17。
确定器15被配置为确定预先确定的检测目标(在本实施例中为运动)是否存在于由成像电路12获得的捕获的图像(由信号P指示的图像)中。检测器16被配置为从被确定器15确定为包括检测目标的捕获的图像(由信号P指示的图像)检测预先确定的对象(在本实施例中为人的面部)。识别器17被配置为从捕获的图像(由信号P指示的图像)提取对象区域(包括由检测器16检测出的对象的图像区域)，并通过将对象区域与预先登记的组合图像组合来识别对象。在本实施例中，对象是人的面部，组合图像是包括人的面部的面部图像，并且识别器17通过将对象区域中包括的人的面部与预先登记的人的面部组合来执行个人识别(面部识别)。另外，识别器17被配置为向外部输出识别结果(指示结果的信号U)。
〈成像设备的总结〉
在光源11不发射光的状态下，成像电路12执行成像并向控制单元13a输入图像P(捕获的图像)。控制单元13a计算图像P中像素的平均亮度
APL，基于平均亮度APL获得占空比DR并且向光源11输出占空比DR。成像电路12向光源11输出指示曝光定时的定时信号TE。
光源11的打开状态和关闭状态周期性重复。控制单元13a通过使用基于占空比DR的脉宽调制(PWM)来控制光源11的光发射量。占空比是打开时段在打开状态和关闭状态的周期(即，PWM周期TP)中所占的比率。换言之，通过由控制单元13a输出的占空比DR来控制光源11的光发射量(在PWM周期TP中从光源11发射的光的总量)。这样，控制单元13a通过使用PWM来改变光源11的光发射量。
光源11设置PWM周期TP以使得PWM周期TP的多倍与曝光时段tE相同，并且基于输入的占空比DR在PWM控制下发射光。
成像电路12在光源11发射光的时段中获得图像，并且输出图像P(捕获的图像)。图像P被输入到位于后端的检测单元13b。检测单元13b基于图像P的相继帧之间的差分来执行人检测。例如，检测单元13b可以通过检测图像P的面部的形状或人的形状来执行人检测。除了人检测之外，检测单元13b可以执行个人识别。检测单元13b输出检测信号U。接收检测信号U的家电(例如，TV)可以基于检测信号U改变操作的至少一部分。因此，家电可以根据家电周围是否存在用户来改变操作。例如，当在家电周围不存在用户时，家电可以自动执行关机操作等。
在实施例6中，如下所述，可以根据捕获的区域的亮度来控制光源11的光发射量。结果，成像设备10可以获得具有适当亮度的图像P(捕获的图像20)。
〈成像设备的操作〉
图31是用于说明根据实施例6的成像设备10的操作的图。图31的垂直轴顺序地表示帧编号、光源11的光发射脉冲以及成像电路12的曝光时段，并且图31的水平轴表示时间t。成像电路12一般是使用滚动快门的元件，诸如CMOS成像元件。图31中的图像P1至P5的每一个中的平行四边形与帧1至5的一每个中的曝光时段对应。由于成像电路12是滚动快门，所以从前导线到最终线的线的曝光时段的开始时间变得逐渐晚于前导线的曝光时段的开始时间。结果，图像P1至P5的曝光时段在图31中被示为平行四边形。如本领域普通技术人员所理解，由成像电路12获得的图像一般具有矩形形状(包括正方形形状)。尽管成像电路12使用滚动快门，但是本公开不限于此并且成像电路12可以使用全局快门。也就是说，成像电路12可以被配置为通过滚动快门方法来驱动，或者可以被配置为通过全局快门方法来驱动。
在帧1(即，时间t1至t2之间的时段)中，光源11不发射光并且成像电路12获得图像。换言之，可以通过获得没有照明的图像(捕获的图像20)来测量环境光的亮度。接下来，在帧2(即，时间t3至t4之间的时段)中，光源11发射光并且成像电路12获得图像。因此，可以获得具有照明的图像(捕获的图像20)。例如，时间t1至t3之间的时段的长度为33ms，而时间t1至t2之间的时段的长度为10ms。
在图31中，在第一帧1中，获得没有照明的图像，计算光源11的占空比DR，并且在帧2至5中使用占空比DR。另外，本公开不限于此，并且可以定期或不定期获得没有照明的图像，并且可以更新光源11的占空比DR。因此，由于可以根据环境亮度的改变来执行适当亮度的照明，所以可以获得具有适当亮度的图像。
图32是示意实施例6中光源11的发光操作的图，并且是示意与图31的帧2对应的一部分(即，时间t3和t4之间的时段)的放大图。图像P2的前导线的曝光时段tE是时间t3和t32之间的时段。图像P2的最终线的曝光时段tE是时间t31和t32之间的时段。
PWM周期TP被设置成使得成像电路12的线曝光时段(曝光时段tE)是光源11的PWM周期TP的4倍。在这种情况下，从前导线到最终线的所有线在为PWM周期TP的4倍的时段期间被曝光。因此，帧2的所有线的亮度可以均匀。尽管在图32中曝光时段tE是PWM周期TP的4倍，但是本公开不限于此，并且曝光时段tE可以是PWM周期TP的N(N是等于或大于1的整数)倍。因此，可以避免被示出为水平条纹的明暗度差异，并且因此可以获得均匀的捕获的图像。另外，为了实现所有线的均匀亮度，图32的帧2的开始时间可以与曝光时段tE的开始时间不相同。也就是说，尽管在图32中光源11的光发射时段和成像电路12的线曝光被同步，但是本公开不限于此，并且光源11的光发射时段和成像电路12的线曝光可以相互同步。
图33是示意参考图31进行描述的无照明的图像和有照明的图像的图。图像P10(捕获的图像20)是在明亮环境中无照明的图像。例如，图像P10与对在白天外部光进入其中的房间成像的情况对应。图像P20(捕获的图像20)是在黑暗环境中无照明的图像。例如，图像P20与对在夜间在其中未打开室内灯的房间成像的情况对应。图像P30(捕获的图像20)是具有照明和最终要获得的期望亮度的图像。
在这种情况下，与要最终获得的图像P30相比，图像P10的亮度稍微不足而图像P20的亮度极大不足。
〈对光源的光发射量的控制〉
图34是用于说明实施例6中控制单元13a的操作的图表。
该图表的水平轴表示没有照明的图像的平均亮度APL，并且垂直轴表示光源11的PWM控制的占空比DR。在图34的图表中，执行控制以使得随着平均亮度APL减少占空比DR增加，而随着平均亮度APL增加占空比DR减少。也就是说，执行控制以使得照明在黑暗环境中增加而在明亮环境中减少。换言之，在实施例6中，基于在光源11不发射光时捕获的图像的亮度来获得光源11的光发射量(在本实施例中为占空比)，并且通过使用光发射量来执行成像。结果，根据实施例6，可以实现正确曝光，并且可以进一步提高检测单元13b的人检测精度。
例如，当图33的图像P10(明亮环境中的图像)的平均亮度APL为0.6时，在这种情况下的占空比为0.4。当图33的图像P20(黑暗环境中的图像)的平均亮度APL为0.2时，在这种情况下的占空比为0.8。这样，控制单元13a基于没有照明的图像P的平均亮度APL来输出占空比DR。图34的平均亮度APL和占空比DR之间的关系被绘图为直线。
图35和36是用于说明根据实施例6的光源11的操作的图。光源11基于从控制单元13a输入的占空比DR在PWM控制下发射光。
图35示意了光源11基于0.4的占空比DR发射光的状态，所述占空比DR基于图33的图像10(在明亮环境中没有照明的图像)而计算出。在PWM周期TP中，打开时段是0.4TP，并且关闭时段是0.6TP。
图36示意了光源11基于0.8的占空比DR发射光的状态，所述占空比DR基于图33的图像20(在黑暗环境中没有照明的图像)而计算出。在PWM周期TP中，打开时段是0.8TP，并且关闭时段是0.2TP。
如图35和图36所示，进行控制以使得照明在黑暗环境中增加而在明亮环境中减少。可以获得图33的图像P30(最终要获得的具有期望亮度的图像)。
图37是用于说明实施例6中控制单元13a的操作的另一示例的图。尽管在图34中示意了线性转换特性，但是根据成像电路的灵敏度特性和照明，可以使用如图37的图表3701,3702和3703中示出的非线性转换特性。
如上所述，在根据实施例6的成像设备10中，控制器14基于由成像电路12在光源11不发射光时获得的捕获的图像20的亮度(在本实施例中为捕获的图像20中所有像素的亮度的平均值)来设置光源11的光发射量。具体说来，控制器14基于由成像电路12在光源11不发射光时获得的捕获的图像20的亮度来设置光源11的光发射量，以使得随着由成像电路12在光源11不发射光时获得的捕获的图像20的亮度增加光源11的光发射量减少。
〔实施例6的概述〕
可以通过使用硬件、软件或其组合来执行本公开实施例中使用的任何功能。可以通过单个处理器或多个处理器来执行功能。例如，由LSI执行图30和31的成像设备10的功能。替代地，通过处理器、耦合到处理器的存储器和存储在存储器中的执行各种功能的指令来执行成像设备10的功能。
〔实施例7和8的描述〕
已知用于对主题成像和进行监视的常规成像设备。例如，在日本专利申请公开No.2007-318673中公开了具有添加到内部通话机(interphone device)等的传感器的传感器相机。所述传感器相机设置有对预先确定的区域成像的成像装置、从成像装置的捕获的图像检测可活动物体的图像处理装置、输出摄取图像信号的装置、判断周围亮度的亮度确定装置、和亮度控制装置，所述亮度控制装置控制照明装置的光量同时在亮度确定装置判断的亮度小于固定水平时打开照明装置。
然而，在上述成像设备中，当到对象的距离短并且光源的光发射量太大(例如，当光发射强度太高时)时，通过成像而获得的捕获的图像的亮度值饱和并且会不能准确地确定检测目标是否存在。另外，当到对象的距离长并且光源的光发射量太小(例如，当光发射强度太低时)时，通过成像而获得的捕获的图像的亮度值太低并且会不能准确地确定检测目标是否存在。这样，难以以适合于确定检测目标是否存在的光发射强度来对主题成像。另外，光源的光发射量是在预先确定的周期中从光源发射的光的总量，并且与在时间上对光源的光发射强度进行积分而获得的量对应。
因此，本公开的目的是提供一种用于以适合于确定检测目标是否存在的光发射量(例如，光发射强度)来对主题成像的成像设备。
〔实施例7〕
图38示意了根据实施例7的成像设备10的配置。成像设备10被配置为对主题成像和监视主题，并且例如被设置在安装在室内的电子产品(例如，平板显示器)中。在本实施例中，成像设备10包括光源11、成像电路12和处理电路13。
〈光源〉
光源11被配置成照明主题并且能够将光发射强度改变为多种光发射强度。在本实施例中，光源11被配置为能够将光发射强度改变为两种不同的光发射强度(即，“强”和“弱”)。例如，光源11可以包括LED，或可以包括激光二极管。另外，从光源11发射的光可以是红外光或可见光。
另外，通过将光源11的光发射强度改变为多种光发射强度，光源11的光发射量可以被改变为多种光发射量。光源11的光发射量是在预先确定的周期(例如，获得一个捕获的图像所需的帧周期)中从光源11发射的光的总量，并且与在时间上对光源11的光发射强度进行积分而获得的量对应。也就是说，光源11被配置为能够改变光发射量。
另外，光源11的两种不同的光发射强度(即，“强”和“弱”)分别与光源11的两种不同的光发射量(即，“大”和“小”)对应。也就是说，在本实施例中，光源11被配置为能够将光发射量改变为两种不同的光发射量(即，“大”和“小”)。
下面的描述将基于这样的假定：光源11被配置为能够将光发射强度改变为多种光发射强度(即，通过改变光源11的光发射强度来改变光源11的光发射量)。
〈成像电路〉
成像电路12被配置为对主题成像并获得捕获的图像。例如，成像电路12可以包括CMOS或CCD。
〈处理电路〉
处理电路13被配置为控制成像设备10的每个组件，诸如光源11和成像电路12。例如，处理电路13包括CPU或存储器。另外，在本实施例中，处理电路13包括控制器14、确定器15和设置器18。
《控制器》
控制器14被配置为在没有确定对于光源11要设置的光发射强度(光发射量)时执行第一操作而在确定了对于光源11要设置的光发射强度时执行第二操作。具体说来，控制器14可以被配置为确定在设置器18(存储器区域)中登记的光发射强度是否作为来自多个光发射强度当中的要被设置的光发射强度而存在，并且在作为要被设置的光发射强度的登记在设置器18中的光发射强度不存在时执行第一操作而在作为要被设置的光发射强度的登记在设置器18中的光发射强度存在时执行第二操作。
在第一操作中，控制器14顺序地将光源11的光发射强度改变为多种光发射强度，并使成像电路12对被以改变的光发射强度发射光的光源11照明的主题成像。也就是说，在第一操作中，控制器14以预先确定的顺序将光源11的光发射强度设置为多从多种光发射强度当中选择的光发射强度，并使成像电路12对被以选择的光发射强度发射光的光源11照明的主题成像。在第二操作中，控制器14将光源的光发射强度设置为要被设置的光发射强度，并使成像电路12对被以要被设置的光发射强度发射光的光源11照明的主题照明。
在本实施例中，控制器14在第一操作中执行下述处理。也就是说，控制器14将光源11的光发射强度设置为第一光发射强度(例如，“强”)并使成像电路12对被以第一光发射强度发射光的光源11照明的主题成像，然后将光源11的光发射强度设置为第二光发射强度(例如，“较小”)并使成像电路12对被以第二光发射强度发射光的光源11照明的主题成像。
另外，在本实施例中，控制器14在第二操作中执行下述处理。也就是说，当第一光发射强度(例如，“强”)被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为第一光发射强度，并使成像电路12对被以第一光发射强度发射光的光源11照明的主题成像。当第二光发射强度(例如，“较小”)被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为第二光发射强度，并使成像电路12对被以第二光发射强度发射光的光源11照明的主题成像。当第一和第二光发射强度都被确定为要被设置的光发射强度时，控制器14交替地将光源11的光发射强度改变为第一和第二光发射强度，并使成像电路12对被以改变的发射强度发射光的光源11照明的主题成像。
另外，第一光发射强度(例如，“强”)和第二光发射强度(例如，“弱”)分别与第一光发射量(例如，“大”)和第二光发射量(例如，“小”)对应。
《确定器》
确定器15被配置为确定检测目标是否存在于通过成像电路12而获得的捕获的图像中。例如，确定器15可以被配置为使用在非专利文献1(“Navneetdalal和Bill Triggs,“Histograms of Oriented Gradients for Human Detection,”CVPR学报2005,第1卷,第886-893页,2005”)中公开的检测方法(基于亮度梯度直方图特征的机器学习的检测方法)来执行检测目标是否存在。另外，确定器15被配置为向外部输出检测结果。
《设置器》
设置器18被配置为在用于获得被确定器15确定为包括检测目标的捕获的图像的成像期间将光源11的光发射强度(光发射量)设置为要被设置的光发射强度。具体说来，设置器18可以被配置为在用于获得被确定器15确定为包括检测目标的捕获的图像的成像期间确定光源11的光发射强度作为要被设置的光发射强度，并将该光发射强度作为要被设置的光发射强度登记到设置器18(存储器区域)中。
另外，当确定器15确定通过控制器14的第二操作而获得的捕获的图像不包括检测目标时，设置器18在用于获得捕获的图像的成像期间会取消将光源11的光发射强度(光发射量)确定为要被设置的光发射强度。具体说来，设置器18可以被配置为取消将在用于获得通过控制器14的第二操作而获得并且被确定器15确定为不包括检测目标的捕获的图像的成像期间光源11的光发射强度(作为要被设置的光发射强度)登记到设置器18(存储器区域)中。设置器18可以包括用于上述操作的适当逻辑、电路、接口和/或代码。
〈操作〉
接下来，将参考图39、图40、图41和图42描述根据实施例7的成像设备10的操作。另外，图39的操作与当两种光发射强度“强”和“弱”都不被确定为要被设置的光发射强度时执行的操作(第一操作)对应。图40的操作与当两种光发射强度“强”和“弱”都被确定为要被设置的光发射强度时执行的操作(第二操作)对应。图41的操作与当来自光发射强度“强”和“弱”当中的仅光发射强度“强”被确定为要被设置的光发射强度时执行的操作(第二操作)对应。图42的操作与当来自光发射强度“强”和“弱”当中的仅光发射强度“弱”被确定为要被设置的光发射强度时执行的操作(第二操作)对应。
《步骤ST711和ST712》
当两种光发射强度“强”和“弱”都不被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为“强”。控制器14使成像电路12对被其光发射强度被设置为“强”的光源11照明的主题成像。具体说来，控制器14使成像电路12对主题成像至少一次，以使得在主题被其光发射强度被设置为“强”的光源11照明的时段中获得至少一个捕获的图像。
《步骤ST713》
接下来，确定器15确定检测目标是否存在于在步骤ST712中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18将光发射强度“强”确定为要被设置的光发射强度。具体说来，设置器18将作为要被设置的光发射强度的光发射强度“强”登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST714。
当确定检测目标不存在于捕获的图像中时，设置器18不将光发射强度“强”设置为要被设置的光发射强度。具体说来，设置器18不将作为要被设置的光发射强度的光发射强度“强”登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST717。
《步骤ST714和ST715》
当在步骤ST713中确定检测目标存在时，控制器14将光源11的光发射强度设置为“弱”，并使成像电路12对被其光发射强度被设置为“弱”的光源11照明的主题成像。
《步骤ST716》
接下来，确定器15确定检测目标是否存在于在步骤ST715中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18将光发射强度“弱”确定为要被设置的光发射强度。具体说来，设置器18将作为要被设置的光发射强度的光发射强度“弱”登记到设置器18(存储器区域)中。因此，两种光发射强度“强”和“弱”都被确定为要被设置的光发射强度。具体说来，两种光发射强度“强”和“弱”都作为要被设置的光发射强度被登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST721(见图40)。
当确定检测目标不存在于捕获的图像中时，设置器18不将光发射强度“弱”设置为要被设置的光发射强度。具体说来，设置器18不将作为要被设置的光发射强度的光发射强度“弱”登记到设置器18(存储器区域)中。因此，来自光发射强度“强”和“弱”当中的仅光发射强度“强”被确定为要被设置的光发射强度。具体说来，来自光发射强度“强”和“弱”当中的仅光发射强度“强”作为光发射强度被登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST731(见图41)。
《步骤ST717和ST718》
当在步骤ST713中确定检测目标不存在时，控制器14将光源11的光发射强度设置为“弱”，并使成像电路12对被其光发射强度被设置为“弱”的光源11照明的主题成像。具体说来，控制器14使成像电路12对主题成像至少一次，以使得在主题被其光发射强度被设置为“弱”的光源11照明的时段中获得至少一个捕获的图像。
《步骤ST719》
接下来，确定器15确定检测目标是否存在于在步骤ST718中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18将光发射强度“弱”确定为要被设置的光发射强度。因此，来自光发射强度“强”和“弱”当中的仅光发射强度“弱”被确定为要被设置的光发射强度。具体说来，来自光发射强度“强”和“弱”当中的仅光发射强度“弱”作为要被设置的光发射强度被登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST741(见图42)。
当确定检测目标不存在于捕获的图像中时，设置器18不将光发射强度“弱”确定为要被设置的光发射强度。因此，两种光发射强度“强”和“弱”都不被确定为要被设置的光发射强度。具体说来，两种光发射强度“强”和“弱”都不被登记到设置器18(存储器区域)中作为要被设置的光发射强度。接下来，操作继续到步骤ST711。
《步骤ST721和ST722》
当两种光发射强度“强”和“弱”被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为“强”，并使成像电路12对被其光发射强度被设置为“强”的光源11照明的主题成像。
《步骤ST723》
接下来，确定器15确定检测目标是否存在于在步骤ST722中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18保持将光发射强度“强”确定为要被设置的光发射强度。具体说来，设置器18保持将光发射强度“强”(作为要被设置的光发射强度)登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST724。
当确定检测目标不存在于捕获的图像中时，设置器18取消将光发射强度“强”确定为要被设置的光发射强度。具体说来，设置器18取消将光发射强度“强”(作为要被设置的光发射强度)登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST727。
《步骤ST724和ST725》
当在步骤ST723中确定检测目标存在时，控制器14将光源11的光发射强度设置为“弱”，并使成像电路12对被其光发射强度被设置为“弱”的光源11照明的主题成像。
《步骤ST726》
接下来，确定器15确定检测目标是否存在于在步骤ST725中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18保持将光发射强度“弱”确定为要被设置的光发射强度。具体说来，设置器18保持将光发射强度“弱”(作为要被设置的光发射强度)登记到设置器18(存储器区域)中。因此，保持两种光发射强度“强”和“弱”都被确定为要被设置的光发射强度的状态。具体说来，保持两种光发射强度“强”和“弱”都作为要被设置的光发射强度被登记到设置器18(存储器区域)中的状态。接下来，操作继续到步骤ST721。
当确定检测目标不存在于捕获的图像中时，设置器18取消将光发射强度“弱”确定为要被设置的光发射强度。具体说来，设置器18取消将光发射强度“弱”(作为要被设置的光发射强度)登记到设置器18(存储器区域)中。因此，来自光发射强度“强”和“弱”当中的仅光发射强度“强”被确定为要被设置的光发射强度。具体说来，来自光发射强度“强”和“弱”当中的仅光发射强度“强”作为要被设置的光发射强度被登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST731(见图41)。
《步骤ST727和ST728》
当在步骤ST723中确定检测目标不存在时，控制器14将光源11的光发射强度设置为“弱”，并使成像电路12对被其光发射强度被设置为“弱”的光源11照明的主题成像。
《步骤ST729》
接下来，确定器15确定检测目标是否存在于在步骤ST728中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18保持将光发射强度“弱”确定为要被设置的光发射强度。因此，来自光发射强度“强”和“弱”当中的仅光发射强度“弱”被确定为要被设置的光发射强度。具体说来，来自光发射强度“强”和“弱”当中的仅光发射强度“弱”作为要被设置的光发射强度被登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST741(见图42)。
当确定检测目标不存在于捕获的图像中时，设置器18取消将光发射强度“弱”确定为要被设置的光发射强度。因此，两种光发射强度“强”和“弱”都不被确定为要被设置的光发射强度。具体说来，两种光发射强度“强”和“弱”都不被登记到设置器18(存储器区域)中作为要被设置的光发射强度。操作继续到步骤ST711(见图39)。
《步骤ST731和ST732》
当确定来自光发射强度“强”和“弱”当中的仅光发射强度“强”被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为“强”，并使成像电路12对被其光发射强度被设置为“强”的光源11照明的主题成像。
《步骤ST733》
接下来，确定器15确定检测目标是否存在于在步骤ST732中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18保持将光发射强度“强”确定为要被设置的光发射强度。因此，保持来自光发射强度“强”和“弱”当中的仅光发射强度“强”被确定为要被设置的光发射强度的状态。接下来，操作继续到步骤ST731。
当确定检测目标不存在于捕获的图像中时，设置器18取消将光发射强度“强”确定为要被设置的光发射强度。因此，两种光发射强度“强”和“弱”都不被确定为要被设置的光发射强度。接下来，操作继续到步骤ST711(见图39)。
《步骤ST741和ST742》
当来自光发射强度“强”和“弱”当中的仅光发射强度“弱”被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为“弱”，并使成像电路12对被其光发射强度被设置为“弱”的光源11照明的主题成像。
《步骤ST743》
接下来，确定器15确定检测目标是否存在于在步骤ST742中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，设置器18保持将光发射强度“弱”确定为要被设置的光发射强度。因此，保持来自光发射强度“强”和“弱”当中的仅光发射强度“弱”被确定为要被设置的光发射强度的状态。接下来，操作继续到步骤ST741。
当确定检测目标不存在于捕获的图像中时，设置器18取消将光发射强度“弱”确定为要被设置的光发射强度。因此，两种光发射强度“强”和“弱”都不被确定为要被设置的光发射强度。接下来，操作继续到步骤ST711(见图39)。
<实施例7的效果>
如上所述，当对于光源11的要被设置的光发射强度(光发射量)没有被确定时，由于在其中光发射强度被顺序地改变为多种光发射强度并且通过对被以改变的光发射强度发射光的光源11照明的主题成像的第一操作(即，在其中光源11的光发射强度被设置为以预先确定的顺序从多种光发射强度当中选择的光发射强度并且成像电路12对被以所选择的光发射强度发光的光源11照明的主题成像的第一操作)被执行，确定检测目标是否存在于获得的捕获的图像中，并且在用于获得被确定为包括检测目标的捕获的图像的成像期间光源11的光发射强度被确定为要被设置的光发射强度，所以可以确定适合于确定检测目标是否存在的光发射强度(光发射量)。
当对于光源11的要被设置的光发射强度(光发射量)被确定时，由于执行在其中光源11的光发射强度被设置为要被设置的光发射强度并且通过对被以要被设置的光发射强度发射光的光源11照明的主题成像而获得捕获的图像的第二操作，所以可以以适合于确定检测目标是否存在的光发射强度(光发射量)对主题成像。
另外，当确定器15确定通过控制器14的第二操作而获得的捕获的图像不包括检测目标时，由于取消将在用于获得捕获的图像的成像期间光源11的光发射强度(光发射量)确定为要被设置的光发射强度，所以可以停止以不适合于确定检测目标是否存在的光发射强度(光发射量)的成像。
〔实施例8〕
根据实施例8的成像设备10的操作不同于根据实施例1的成像设备10的操作。另外，光源11被配置成能够将光发射强度改变为两种或更多种光发射强度。也就是说，光源11被配置成能够将光发射量改变为两种或更多种光发射量。实施例8的其他要素与实施例7的要素相同。
〈操作〉
接下来，将参考图43和44描述根据实施例8的成像设备10的操作。另外，图43的操作与当没有确定对于光源11的要被设置的光发射强度时执行的操作(第一操作)对应。图44的操作与当确定对于光源11的要被设置的光发射强度时执行的操作(第二操作)对应。另外，在下面的描述中，变量J是等于或大于1并且等于或小于上限Jmax的整数，并且指示要被处理的光发射强度编号(指示光发射强度的水平的编号)。上限Jmax是等于或大于2的整数，并且与光源11的可设置光发射强度的数量(例如，光发射强度可改变水平的数量)对应。
《步骤ST751》
当没有确定对于光源11的要被设置的光发射强度时，控制器14将变量J设置为1。也就是说，控制器14选择第一光发射强度作为这次要处理的对象。
《步骤ST752和ST753》
接下来，控制器14将光源11的光发射强度设置为第J个光发射强度。控制器14使成像电路12对被其光发射强度被设置为第J个光发射强度的光源11照明的主题成像。具体说来，控制器14使成像电路12对主题成像至少一次，以使得在主题被其光发射强度被设置为第J个光发射强度的光源11照明的时段中获得至少一个捕获的图像。
《步骤ST754》
接下来，确定器15确定检测目标是否存在于在步骤ST753中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，操作继续到步骤ST755，否则，操作继续到步骤ST756。
《步骤ST755》
接下来，设置器18将在用于获得在步骤ST754中被确定为包括检测目标的捕获的图像的成像期间光源11的光发射强度(即，在步骤ST752中被设置为光源11的光发射强度的第J个光发射强度)确定为要被设置的光发射强度。具体说来，设置器18将作为要被设置的光发射强度的第J个光发射强度登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST756。
《步骤ST756》
接下来，控制器14确定变量J是否达到上限Jmax。也就是说，控制器14确定来自多个光发射强度当中是否还有未被选择为要被处理的对象的光发射强度。当变量J未达到上限Jmax时，操作继续到步骤ST757，而当变量J达到上限Jmax时，操作继续到步骤ST758。
《步骤ST757》
当在步骤ST756中确定变量J未达到上限Jmax时，操作继续到步骤ST757。在步骤ST757中，控制器14对变量J加1。也就是说，控制器14从多个光发射强度当中选择尚未被选择的光发射强度作为下次要处理的对象。接下来，操作继续到步骤ST752。
《步骤ST758》
当在步骤ST756中确定变量J达到上限Jmax时，控制器14确定对于光源11要被设置的光发射强度是否被确定。具体说来，控制器14确定登记在设置器18(存储器区域)中的光发射强度是否作为来自多个光发射强度当中的作为要被设置的光发射强度而存在。当要被设置的光发射强度被确定时，操作继续到步骤ST761，否则，操作继续到步骤ST751。
《步骤ST761》
当对于光源11的要被设置的光发射强度被确定时，控制器14将变量J设置为1。也就是说，控制器14选择第一光发射强度作为这次要处理的对象。
《步骤ST762》
接下来，控制器14确定第J个光发射强度(即，这次要处理的光发射强度)是否被确定为要被设置的光发射强度。当第J个光发射强度没有被确定为要被设置的光发射强度时，操作继续到步骤ST763，而当第J个光发射强度被确定为要被设置的光发射强度时，操作继续到步骤ST765。
《步骤ST763》
接下来，控制器14确定变量J是否达到上限Jmax。当变量J未达到上限Jmax时，操作继续到步骤ST764，而当变量J达到上限Jmax时，操作继续到步骤ST761。
《步骤ST764》
当在步骤ST763中确定变量J未达到上限Jmax时，控制器14对变量J加1。接下来，操作继续到步骤ST762。
《步骤ST765和ST766》
当在步骤ST762中确定第J个光发射强度被确定为要被设置的光发射强度时，控制器14将光源11的光发射强度设置为第J个光发射强度。控制器14使成像电路12对被其光发射强度被设置为第J个光发射强度的光源11照明的主题成像。
《步骤ST767》
接下来，确定器15确定检测目标是否存在于在步骤ST766中获得的捕获的图像中。当确定检测目标不存在于捕获的图像中时，操作继续到步骤ST768，而当确定检测目标存在于捕获的图像中时，操作继续到步骤ST770。
《步骤ST768》
接下来，设置器18取消将在用于获得在步骤ST767中被确定为包括检测目标的捕获的图像的成像期间光源11的光发射强度(在步骤ST765中被设置为光源的光发射强度的第J个光发射强度)确定为要被设置的光发射强度。具体说来，设置器18取消将第J个光发射强度(作为要被设置的光发射强度)登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST769。
《步骤ST769》
接下来，控制器14确定对于光源11要被设置的光发射强度是否被确定。当要被设置的光发射强度被确定时，操作继续到步骤ST770，否则，操作继续到步骤ST751。
《步骤ST770和ST771》
当在步骤ST769中对于光源11的要被设置的光发射强度被确定时，控制器14确定变量J是否达到上限Jmax。当变量J未达到上限Jmax时，控制器14对变量J加1。接下来，操作继续到步骤ST762。当变量J达到上限Jmax时，操作继续到步骤ST761。
<实施例8的效果>
即便在上面的配置中，与在实施例7中一样，当对于光源11的要被设置的光发射强度(光发射量)没有被确定时，可以确定适合于确定检测目标是否存在的光发射强度(光发射量)，而当对于光源11的要被设置的光发射强度(光发射量)被确定时，可以以适合于确定检测目标是否存在的光发射强度(光发射量)对主题成像。
另外，与在实施例7中一样，当确定器15确定通过控制器14的第二操作而获得的捕获的图像不包括检测目标时，由于取消将在用于获得捕获的图像的成像期间光源11的光发射强度(光发射量)确定为要被设置的光发射强度，所以可以停止以不适合于确定检测目标是否存在的光发射强度(光发射量)的成像。
〔实施例7和8的综述〕
另外，在上面的描述中，确定器15可以被配置为基于在时间序列上连续的(或离散的)多个捕获的图像执行检测处理(确定检测目标是否存在)。在这种情况下，优选的是确定器15被配置为在用于获得捕获的图像的成像期间将通过成像电路12获得的多个捕获的图像分类成光源11的光发射强度(光发射量)，并且基于属于光发射强度中的每一个的多个捕获的图像确定检测目标是否存在。在这种配置中，可以基于每个光发射强度(光发射量)的多个捕获的图像来确定检测目标是否存在，并且可以基于确定结果确定适合于确定检测目标是否存在的光发射强度(光发射量)。
另外，在上面的描述中，确定器15的检测目标不限于人，例如，可以是运动或运动的身体。
另外，在上面的描述中，尽管控制器14、确定器15和设置器18被包括在一个处理电路13中，但是控制器14、确定器15和设置器18可以分布在两个或更多个处理电路中。
另外，在上面的描述中，尽管光源11被配置为能够改变光发射强度(即，通过改变光源11的光发射强度来改变光源11的光发射量)，但是光源11可以被配置为能够将光发射占空比改变为多个光发射占空比。光发射占空比是打开时段(光源11被打开的时段)在预先确定的周期(例如，获得一个捕获的图像所需要的帧周期)中所占的比率。即便在这种配置中，也可以通过改变光源11的光发射占空比来改变光源11的光发射量。
〔实施例9〕
图45示意了根据实施例9的成像设备10的配置。成像设备10被配置为对主题成像和监视主题，并且例如被设置在安装在室内的电子产品(例如，平板显示器)中。在本实施例中，成像设备10包括光源11、成像电路12和处理电路13。
〈光源〉
光源11中被配置为照明主题。另外，光源11被配置为能够改变光发射量。具体说来，光源11被配置为能够改变光发射强度和光发射占空比中的至少一个。光发射量是预先确定的周期(例如，获得一个捕获的图像的帧周期)中从光源11发射的光的总量，并且与在时间上对光源11的光发射强度进行积分而获得的量对应。光发射占空比是打开时段(光源11被打开的时段)在预先确定的周期中所占的比率。例如，光源11可以包括LED或激光二极管。另外，从光源11发射的光可以是红外光或可见光。
在本实施例中，光源11被配置为能够将光发射量改变成两种不同的光发射量(第一光发射量和小于第一光发射量的第二光发射量)。具体说来，光源11可以被配置为能够将光发射强度改变成两种不同的光发射强度(第一光发射强度和弱于第一光发射强度的第二光发射强度)。替代地，光源11可以被配置为能够将光发射占空比改变成两种不同的光发射占空比(第一光发射占空比和小于第一光发射占空比的第二光发射占空比)。
〈成像电路〉
成像电路12被配置为对主题成像并获得捕获的图像。另外，成像电路12被配置为能够改变曝光时间。具体说来，成像电路12被配置为能够将曝光时间改变为两种不同的曝光时间(第一曝光时间和比第一曝光时间更长的第二曝光时间)。例如，成像电路12可以包括CMOS或CCD。另外，成像电路12可以被配置为通过滚动快门方法来驱动，或者可以被配置为通过全局快门方法来驱动。
〈处理电路〉
处理电路13被配置为控制成像设备10的每个组件，诸如光源11和成像电路12。例如，处理电路13包括CPU或存储器。另外，在本实施例中，处理电路13包括控制器14、确定器15、检测器16和识别器17。
《控制器》
控制器14被配置为使光源11发射光并使成像电路12对主题(被光源11照明的主题)成像。另外，控制器14被配置为根据确定器15的确定结果改变光源11的光发射量和成像电路12的曝光时间。
《确定器》
确定器15被配置为确定检测对象(例如，运动)是否存在于通过成像电路12而获得的捕获的图像中。
《检测器》
检测器16被配置为从被确定器15确定为包括检测目标的捕获的图像检测预先确定的对象(例如，人的面部)。例如，检测器16可以被配置为使用在非专利文献1(“Navneetdalal和Bill Triggs,“Histograms of Oriented Gradients for HumanDetection,”CVPR学报2005,第1卷,第886-893页,2005”)中公开的检测方法(基于亮度梯度直方图特征的机器学习的检测方法)来执行对象检测处理(在本实施例中为人检测处理)。
《识别器》
识别器17被配置为从通过成像电路12而获得的捕获的图像提取对象区域，并且通过将对象区域与预先登记的组合图像组合来识别对象。另外，对象区域是作为捕获的图像的一部分并且包括由检测器16检测到的对象的区域(图像区域)。例如，对象是人的面部，组合图像是包括人的面部的面部图像，并且识别器17通过将对象区域中包括的人的面部与预先登记的人的面部组合来执行个人识别。另外，识别器17被配置为向外部输出识别结果。
例如，识别器17可以被配置为通过使用在非专利文献2(Paul Viola和MichaelJones,“Rapid Object Detection using a Boosted Cascade of Simple Features,”CVPR2001学报,第1卷,第511-518页,2001”)中公开的方法(根据亮度分布的比较的方法)来提取对象区域。另外，识别器17可以被配置为通过使用支持向量机或互子空间方法来执行组合处理(组合对象区域与组合图像)。
〈操作〉
接下来，将参考图46描述根据实施例9的成像设备10的操作。
《步骤ST801》
首先，控制器14将光源11的光发射量设置为第一光发射量(即，“大”)，并且将成像电路12的曝光时间设置为第一曝光时间(即，“短”)。
《步骤ST802》
接下来，控制器14使光源11以预设光发射量(具体说来，在步骤ST801,ST804和ST805中设置的光发射量)发射光。另外，控制器14通过以预设的曝光时间(具体说来，在步骤ST801,ST804和ST805中设置的曝光时间)使成像电路12曝光来使成像电路12对主题(被光源11照明的主题)成像。
例如，控制器14使成像电路12连续对主题成像N次，使得在光源11以预设的光发射量发射光的时段中，获得包括在时间序列上连续的N(N是等于或大于2的整数)个捕获的图像20的捕获的图像序列。
《步骤ST803》
接下来，确定器15确定检测目标是否存在于在步骤ST803中获得的捕获的图像中。当确定检测目标存在于捕获的图像中时，操作继续到步骤ST804，否则，操作继续到步骤ST805。
例如，确定器15根据组成在步骤ST803中获得的捕获的图像序列的N个捕获的图像计算N-1个差分图像。另外，第X(X是等于或大于1并且等于或小于N-1的整数)个差分图像与来自组成捕获的图像序列的N个捕获的图像当中的在时间序列上处于第X个位置的捕获的图像与在时间序列上处于第(X+1)个位置的捕获的图像之间的差分图像对应。接下来，确定器15通过针对每个像素平均N-1个差分图像的像素值来计算差分平均图像(指示N-1个像素值的平均值的图像)。当来自包括在差分平均图像中的多个像素值当中像素值大于预先确定的差分阈值的数量所占的百分比(与包括在差分平均图像中的像素总数的比例)大于预先确定的百分比阈值时，确定运动(检测目标)存在于捕获的图像中。否则，确定运动(检测目标)不存在于捕获的图像中。另外，差分阈值和百分比阈值分别被设置为当假定运动存在时的像素值和百分比。
《步骤ST804》
当在步骤ST105中确定检测目标存在时，控制器14将光源11的光发射量设置为第一光发射量(即，“大”)，并且将成像电路12的曝光时间设置为第一曝光时间(即，“短”)。接下来，操作继续到步骤ST806。
《步骤ST805》
当在步骤ST105中确定检测目标不存在时，控制器14将光源的光发射量设置为第二光发射量(即，“小”)，并且将成像电路12的曝光时间设置为第二曝光时间(即，“长”)。接下来，操作继续到步骤ST806。
《步骤ST806》
接下来，当要结束处理时，处理结束，而当要继续处理时，操作继续到步骤ST805。
这样，控制器14被配置为在确定器15确定检测目标存在时，将光源11的光发射量设置为第一光发射量并将成像电路12的曝光时间设置为第一曝光时间，而在确定器15确定检测目标存在时，将光源11的光发射量设置为第二光发射量(小于第一光发射量的光发射量)并将成像电路12的曝光时间设置为第二曝光时间(长于第一曝光时间的曝光时间)。
〈捕获的图像的亮度、光源的光发射量和成像电路的曝光时间之间的关系〉
捕获的图像的亮度(亮度值)取决于光源11的光发射量和成像电路12的曝光时间。具体说来，随着光源11的光发射量增加，捕获的图像的亮度趋于增加。随着光源11的光发射量减少，捕获的图像的亮度趋于减少。另外，随着成像电路12的曝光时间增加，捕获的图像的亮度趋于增加。随着成像电路12的曝光时间减少，捕获的图像的亮度趋于减少。
<实施例9的效果>
如上所述，当确定器15确定检测目标存在时，由于将光源11的光发射量设置为第一光发射量并将成像电路12的曝光时间设置为第一曝光时间，所以与光源11的光发射量始终被设置为第二光发射量(小于第一光发射量的光发射量)并且成像电路12的曝光时间始终被设置为第二曝光时间(长于第一曝光时间的曝光时间)时相比，可以更快地执行成像电路12对主题的成像。
另外，当确定器确定检测目标不存在时，由于将光源11的光发射量设置为第二光发射量(小于第一光发射量的光发射量)并将成像电路12的曝光时间设置为第二曝光时间(长于第一曝光时间的曝光时间)，所以与当确定器15确定检测目标存在时(即，当光源11的光发射量被设置为第一光发射量并且成像电路12的曝光时间被设置为第一曝光时间)相比，可以更多地减少光源11的光发射量并且可以更多地增加成像电路12的曝光时间。因此，可以减少光源11的电力消耗。另外，由于通过减少光源11的光发射量来增加成像电路12的曝光时间，所以可以补偿归因于光源11的光发射量的减少而导致的捕获的图像的亮度的减少。
〔实施例9的概述〕
在上面的描述中，尽管在步骤ST801中光源11的光发射量被设置为第一光发射量(即，“大”)并且成像电路12的曝光时间被设置为第一曝光时间(即，“短”)，但是控制器14可以被配置为在步骤ST801中将光源11的光发射量设置为第二光发射量(即，“小”)并且将成像电路12的曝光时间设置为第二曝光时间(即，“长”)。
另外，在上面的描述中，尽管控制器14、确定器15、检测器16和识别器17被包括在一个处理电路13中，但是控制器14、确定器15、检测器16和识别器17可以分布在两个或更多个处理电路中。
〔实施例10〕
图47示意了根据实施例10的成像设备10的配置。根据实施例10的成像设备10具有与根据实施例4的成像设备10的配置相同的配置。另外，根据实施例10的成像设备10可以执行与根据实施例1至4中的任何一个实施例的成像设备10相同的操作。另外，在实施例10中，按下述方式配置成像电路12、控制器14、确定器15、检测器16和识别器17。
成像电路12被配置为通过滚动快门方法驱动。具体说来，成像电路12具有光接收表面(未示出)，该光接收表面上以矩阵布置多个光源并且被配置成使得n条线从作为前导线的第一行的线(包括在行方向上布置的两个或更多个光传感器的线)到作为最终线的第n行(N是等于或大于2的整数)的线而顺序地曝光。
在光发射控制中，控制器14使光源11发射光以使得来自多个光源11a至11d当中的发光光源11被打开的时段和发光光源11被关闭的时段存在于不是成像电路12的所有线被同时曝光的时段的时段中。
确定器15被配置为确定检测目标是否存在于作为通过成像电路12获得的捕获的图像20的一部分并且与在用于获得捕获的图像20的成像期间发射光的光源11对应并且与光源11被打开的时段对应的图像区域中。
检测器16被配置为从包括被确定器15确定为包括检测目标的图像区域的捕获的图像检测预先确定的对象100(在本实施例中的人)。
识别器17被配置为从捕获的图像20提取对象区域40(作为捕获的图像20的一部分并且包括被检测器16检测的对象100的区域)并且通过将对象区域40与预先登记的组合图像组合而识别对象100。
〈光源、成像电路、捕获的图像20之间的对应关系〉
将参考图48描述光源11、成像电路12和捕获的图像20之间的关系。
成像电路12被设置成使得在光接收平面上以矩阵布置的光传感器的行方向为第一方向(例如，水平方向)而光传感器的列方向为垂直于第一方向的第二方向(例如，垂直方向)。多个光源(在本实施例中为四个光源11a至11d)平行地设置在第一方向(例如，水平方向)上，并且被配置为分别照明面对成像电路12的光接收表面的主题。另外，多个光源11中的每一个被配置为能够将打开时段改变为多个打开时段(在本实施例中为两个打开时段t25和t26)。
捕获的图像20中包括以矩阵布置的多个图像区域(在本实施例中为以两行和四列布置的八个图像区域25a至25d以及26a至26d)。在下面的描述中，图像区域25a至25d以及26a至26d统称为“图像区域200”。多个光源11分别与多个图像区域列(在列方向上布置的两个或更多个图像区域200)对应，并且多个打开时段tL分别与多个图像区域行(在行方向上布置的两个或更多个图像区域200)对应。
另外，多个图像区域行分别与成像电路12的多个线组(每个线组均包括两条或更多条连续的线的线组)对应。也就是说，每个图像区域行包括主题的被成像电路12的与图像区域行对应的线组成像的一部分。另外，多个打开时段tL分别与多个图像区域行对应。因此，多个打开时段tL分别与成像电路12的多个线组对应。每个打开时段tL被设置为重叠与打开时段tL对应的成像电路12的线组的曝光时段tE。也就是说，当光源11在打开时段tL中打开时，光源11在与打开时段tL对应的成像电路12的线组的曝光期间被打开以照明主题，并且主题的被光源11照明的一部分可以被成像电路12的线组(与打开时段tL对应的线组)成像。
在本实施例中，打开时段t25与从作为成像电路12的前导线的第一行的线L1至位于中央的第m行(m是等于或大于1并且小于n的整数，并且在本实施例中接近n/2)的线的m个线组(即，第一半线组)对应，并且打开时段t26与从第(m+1)行的线至作为最终线的第n行的线Ln的n-m个线组(即，第二半线组)对应。
另外，通过改变打开时段的长度或打开时段对于预定时段(例如，帧时段)的开始定时的延迟时间(开始延迟时间)可以改变与打开时段对应的成像电路12的线组。在本实施例中，打开时段t26的延迟时间tD2比打开时段t26的延迟时间tD1长。另外，打开时段t26的长度与打开时段t25的长度相同。
〈操作〉
接下来，将参考图49描述根据实施例10的成像设备10的操作。在本实施例中，预先确定光源11a至11d的光发射顺序(选择发光光源11的顺序)，并且预先确定四个图像区域列的选择顺序。具体说来，预先确定光源11和图像区域列的选择顺序，使得首先选择光源11a和图像区域列(包括图像区域25a和26a)，其次选择光源11b和图像区域列(包括图像区域25b和26b)，再次选择光源11c和图像区域列(包括图像区域25c和26c)，最后选择光源11d和图像区域列(包括图像区域25d和26d)。另外，基于光源11和图像区域列的选择顺序将编号(指示选择顺序的编号)分配给光源11a至11d以及四个图像区域列。具体说来，将“1”分配给光源11a和图像区域列(包括图像区域25a和26a)，将“2”分配给光源11b和图像区域列(包括图像区域25b和26b)，将“3”分配给光源11c和图像区域列(包括图像区域25c和26c)并且将“4”分配给光源11d和图像区域列(包括图像区域25d和26d)。另外，在下面的描述中，变量K是等于或大于1并且等于或小于上限Kmax的整数，并且指示要被处理的光源11和图像区域列的编号。上限Kmax是等于或大于2的整数，并且与光源11的数量对应。
另外，在本实施例中，预先确定打开时段t25和t26的选择顺序，并且预先确定两个图像区域行的选择顺序。具体说来，预先确定打开时段和图像区域行的选择顺序，以使得首先选择打开时段t25和包括图像区域25a,25b,25c和25d的图像区域行，其次选择打开时段t26和包括图像区域26a,26b,26c和26d的图像区域行。另外，基于打开时段和图像区域行的选择顺序将编号(指示选择顺序的编号)分配给打开时段t25和t26以及两个图像区域行。具体说来，将“1”分配给打开时段t25和包括图像区域25a,25b,25c和25d的图像区域行，并且将2分配给打开时段t26和包括图像区域26a,26b,26c和26d的图像区域行。另外，在下面的描述中，变量M是等于或大于1并且等于或小于上限Mmax的整数，并且指示要被处理的打开时段和图像区域行的编号。上限Max是等于或大于2的整数，并且与打开时段的数量对应。
《步骤ST1001》
首先，控制器14将变量M设置为1。也就是说，控制器14选择以预先确定的选择顺序被首先选择的打开时段和图像区域行(在本实施例中为打开时段t25和包括图像区域25a,25b,25c和25d的图像区域行)作为这次要被处理的打开时段和图像区域行。
《步骤ST1002》
接下来，控制器14将变量K设置为1。也就是说，控制器14选择以预先确定的选择顺序首先被选择的光源11和图像区域列(在本实施例中为光源11a和包括图像区域25a和26a的图像区域列)作为这次要处理的光源11和图像区域列。
《步骤ST1003》
接下来，控制器14通过在第m个打开时段中打开第K个光源来使成像电路12对主题成像。
《步骤ST1004》
接下来，确定器15从在步骤ST1003中获得的捕获的图像20提取在第m行的第K个图像区域200。
《步骤ST1005》
接下来，确定器15确定检测目标(在本实施例中为运动)是否存在于在步骤ST1004中提取的在第m行的第K个图像区域200中。当确定检测目标存在于在第m行的第K个图像区域200中时，操作继续到步骤ST1006，否则，操作继续到步骤ST1007。
《步骤ST1006》
接下来，检测器16从包括在步骤ST105中被确定为包括检测目标的在第m行的第K个图像区域200的捕获的图像20中检测对象100(在本实施例中为人)。
《步骤ST1007》
接下来，控制器14确定变量K是否达到上限Kmax。也就是说，控制器14确定这次要处理的光源11和图像区域列是否是以预先确定的选择顺序被最后选择的光源11和图像区域列。当变量K未达到上限Kmax时，操作继续到步骤ST1008，而当变量K达到上限Kmax时，操作继续到步骤ST1009。
《步骤ST1008》
当在步骤ST1007中变量K未达到上限Kmax时，操作继续到步骤ST1008。在步骤ST1008中，控制器14对变量K加1。也就是说，控制器14选择以预先确定的选择顺序在这次要处理的光源11和图像区域列之后被选择的光源11和图像区域列作为下次要处理的光源11和图像区域列。接下来，操作继续到步骤ST1003。
《步骤ST1009》
当在步骤ST1007中变量M为达到上限Mmax时，控制器14确定变量M是否达到上限Mmax。也就是说，控制器14确定这次要处理的打开时段和图像区域行是否是以预先确定的选择顺序被最后选择的打开时段和图像区域行。当变量M未达到上限Mmax时，操作继续到步骤ST1010，而当变量M达到上限Mmax时，操作继续到步骤ST1011。
《步骤ST1010》
在步骤ST1009中当变量M未到达上限Mmax时，控制器14对变量M加1。也就是说，控制器14选择以预先确定的选择顺序在这次要处理的打开时段和图像区域行之后被选择的打开时段和图像区域行作为下次要处理的打开时段和图像区域行。接下来，操作继续到步骤ST1002。
《步骤ST1011》
接下来，当要结束处理时，处理结束，而当要继续处理时，操作继续到步骤ST1001。
〈光源的光发射模式〉
图50示意了根据实施例10的光源11的光发射模式。如图50所示，在实施例10中，以预先确定的光发射顺序选择发光光源11(在本实施例中为光源11a,11b,11c和11d的顺序)。以预先确定的选择顺序选择光源11的打开时段(在本实施例中为打开时段t25和t26的顺序)。另外，在图50中，来自包括在捕获的图像20中的八个图像区域200当中的要被处理的区域200被画阴影线。
<实施例10的效果>
即便在上面的配置中，可以实现与实施例1至4的效果相同的效果。也就是说，可以减少对主题照明所需的电力消耗并且可以连续地监视主题。
另外，由于光源11在光发射控制下发射光，以使得来自多个光源11a至11d当中的发光光源11被打开的时段和光源11(发光光源11)被关闭的时段存在于不是成像电路12的所有线被同时曝光的时段的时段中，所以可以减少光源11的电力消耗。
[实施例10的修改]
另外，在根据实施例10的成像设备10中，控制器14可以被配置为在被确定器154确定为包括检测目标的图像区域200不存在时执行使得多个光源11a至11d以预先确定的光发射顺序和打开顺序发射光的光发射控制，而在被确定器15确定为包括检测目标的图像区域200存在时执行使得来自多个光源11a至11d当中的与被确定器15确定为包括检测目标的图像区域200对应的光源11的打开频率在与被确定器15确定为包括检测目标的图像区域200对应的打开时段中增加的光发射控制。
例如，当被确定器15确定为包括检测目标的图像区域200存在时，控制器14可以被配置为执行光发射控制以使得交替地执行第一发光操作和第二发光操作。在第一发光操作中，与被确定器15确定为包括检测目标的图像区域200对应的光源11在与被确定器15确定为包括检测目标的图像区域200对应的打开时段中被打开。在第二发光操作中，来自光源11当中的与没有被确定器15确定为包括检测目标的图像区域200对应的一个光源11基于预先确定的光发射顺序和打开顺序发射光。
〈操作〉
接下来，将参考图51、图52和图53描述根据实施例10的修改的成像设备10的操作。在本实施例中，预先确定光源11a至11d的光发射顺序(选择发光光源11的顺序)，并且预先确定四个图像区域列的选择顺序。另外，预先确定打开时段t25和t265的选择顺序，并且预先确定两个图像区域行的选择顺序。在下面的描述中，变量K是等于或大于1并且等于或小于上限Kmax的整数，并且指示要被处理的光源11和图像区域列的编号。上限Kmax是等于或大于2的整数，并且与光源11的编号对应。变量M是等于或大于1并且等于或小于上限Mmax的整数，并且指示要被处理的打开时段和图像区域行的编号。上限Max是等于或大于2的整数，并且与打开时段的数量对应。
《步骤ST1101》
首先，控制器14将变量M设置为1，并且将变量K设置为1。也就是说，控制器14选择以预先确定的选择顺序首先被选择的打开时段和图像区域行作为这次要处理的打开时段和图像区域行，并且选择以预先确定的选择顺序首先被选择的光源11和图像区域列作为这次要处理的光源11和图像区域列。
《步骤ST1102》
接下来，控制器14确定是否存在注意区域。注意区域与被确定器15确定为包括检测目标(在本实施例中为运动)的图像区域200对应。当确定注意区域不存在时，操作继续到步骤ST1103。当注意区域存在时，操作继续到步骤ST1201(见图52)。
《步骤ST1103》
当在步骤ST1102中确定注意区域不存在时，控制器14通过在第m个打开时段中打开所有光源11a至11d来使成像电路12对主题成像。
《步骤ST1104》
接下来，控制器14将变量K设置为1。
《步骤ST1105和ST1106》
接下来，与在步骤ST1003和ST1004中一样，确定器15从在步骤ST1103中获得的捕获的图像20中提取在第m行的第K个图像区域200，并且确定检测目标(在本实施例中为运动)是否存在于在第m行的提取的第K个图像区域200中。当确定检测目标不存在于在第m行的第K个图像区域200中时，操作继续到步骤ST1107，而当确定检测目标存在于在第m行的第K个图像区域200中时，操作继续到步骤ST1112。
《步骤ST1107》
接下来，控制器14确定变量K是否达到上限Kmax。也就是说，控制器14确定这次要处理的光源11和图像区域列是否是以预先确定的选择顺序被最后选择的光源11和图像区域列。当变量K未达到上限Kmax时，操作继续到步骤ST1108，而当变量K达到上限Kmax时，操作继续到步骤ST1109。
《步骤ST1108》
当在步骤ST1107中确定变量K未达到上限Kmax时，操作继续到步骤ST1108。在步骤ST1108中，控制器14对变量K加1。也就是说，控制器14选择以预先确定的选择顺序在这次要处理的光源11和图像区域列之后被选择的光源11和图像区域列作为下次要处理的光源11和图像区域列。接下来，操作继续到步骤ST1105。
《步骤ST1109,ST1110和ST1111》
接下来，控制器14基于预先确定的选择顺序选择下次要处理的打开时段和图像区域行。具体说来，控制器14确定变量M是否达到上限Mmax，并且在变量M未达到上限Mmax时对变量M加1，而在变量M达到上限Mmax时将变量M设置为1。接下来，操作继续到步骤ST1103。
《步骤ST1112》
当在步骤ST1106中确定检测目标存在于在第m行的第K个图像区域200中时，控制器14将在步骤ST1106中被确定为包括检测目标的第m行的第K个图像区域200设置为注意目标(即，注意区域)。
《步骤ST1113》
接下来，与在步骤ST1006中一样，检测器16从包括在步骤ST1112中被确定为包括检测目标的在第m行的第K个图像区域200的捕获的图像20中检测对象100(在本实施例中为人)。接下来，操作继续到步骤ST1114。
《步骤ST1114》
接下来，当要结束处理时，处理结束，而当要继续处理时，操作继续到步骤ST1102。
《步骤ST1102》
当在步骤ST1102中确定注意区域存在时，控制器14通过使来自多个光源11a至11d当中的与作为注意区域的图像区域200对应的光源11在来自多个打开时段t25和t26当中的与作为注意区域的图像区域200对应的打开时段中发射光来使成像电路12对主题成像。
《步骤ST1202》
接下来，确定器15从在步骤ST1201中获得的捕获的图像20提取作为注意区域的图像区域200。
《步骤ST1203》
接下来，确定器15确定检测目标(在本实施例中为运动)是否存在于在步骤ST1202中提取的作为注意区域的图像区域200中。当确定检测目标存在于作为注意区域的图像区域200中时，操作继续到步骤ST1204，否则，操作继续到步骤ST1205。
《步骤ST1204》
接下来，检测器16从包括在步骤ST1203中被确定为包括检测目标的作为注意区域的图像区域200的捕获的图像20中检测对象100(在本实施例中为人)。接下来，操作继续到步骤ST1206。
《步骤ST1205》
当在步骤ST1203中确定检测目标不存在时，控制器14从注意目标(即，注意区域)中排除作为被确定为不包括检测目标的注意区域的图像区域200。接下来，操作继续到步骤ST1206。
《步骤ST1206》
接下来，控制器14确定是否将在第m行的第K个图像区域200设置为注意区域。当在第m行的第K个图像区域200被设置为注意区域时，操作继续到步骤ST1207，否则，操作继续到步骤ST1213(见图53)。
《步骤ST1207至ST1212》
当在步骤ST1206中确定在第m行的第K个图像区域200被设置为注意区域时，控制器14基于预先确定的选择顺序选择下次要处理的图像区域200。具体说来，控制器14确定变量K是否达到上限Kmax，并且在变量K未达到上限Kmax时对变量K加1，而在变量M达到上限Kmax时将变量K设置为1。另外，当变量K被设置为1时，控制器14确定变量M是否达到上限Mmax，并且在变量M未达到上限Mmax时对变量M加1，而在变量M达到上限Mmax时将变量M设置为1。接下来，操作继续到步骤ST1206。
《步骤ST1213,ST1214和ST1215》
当在步骤ST1206中确定在第m行的第K个图像区域200不被设置为注意区域时，控制器14通过使来自多个光源11a至11d当中的与作为注意区域的图像区域200对应的光源11在来自多个打开时段t25和t26当中的与作为注意区域的图像区域200对应的打开时段中发射光来使成像电路12对主题成像。接下来，确定器15从在步骤ST1213中获得的捕获的图像20中提取在第m行的第K个图像区域200，并且确定检测目标(在本实施例中为运动)是否存在于在第m行的提取的第K个图像区域200中。当确定检测目标存在于在第m行的第K个图像区域200中时，操作继续到步骤ST1216，否则，操作继续到步骤ST1218。
《步骤ST1216》
接下来，控制器14将在步骤ST1215中被确定为包括检测目标的在第m行的第K个图像区域200设置为注意目标(即，注意区域)。
《步骤ST1217》
接下来，检测器16从包括在步骤ST1215中被确定为包括检测目标的在第m行的第K个图像区域200的捕获的图像20中检测对象100(在本实施例中为人)。接下来，操作继续到步骤ST1218。
《步骤ST1218至ST1223》
接下来，控制器14基于预先确定的选择顺序选择下次要处理的图像区域200。具体说来，控制器14确定变量K是否达到上限Kmax，并且在变量K未达到上限Kmax时对变量K加1，而在变量M达到上限Kmax时将变量K设置为1。另外，当变量K被设置为1时，控制器14确定变量M是否达到上限Mmax，并且在变量M未达到上限Mmax时对变量M加1，而在变量M达到上限Mmax时将变量M设置为1。接下来，操作继续到步骤ST1114(见图51)。
〈光源的光发射模式〉
图54示意了实施例10的修改中当注意区域存在时光源11的光发射模式。在图54中，在来自包括在捕获的图像20中的八个图像区域200的第一行的第一图像区域25a被设置为注意区域，并且其他的七个图像区域200中的每一个都不设置为注意区域。如图54所示，在实施例10的修改中，执行光发射控制，以便交替地执行第一发光操作和第二发光操作，在第一发光操作中，与注意区域对应的光源11a在与注意区域对应的打开时段t25中被打开，在第二发光操作中，基于预先确定的光发射顺序，来自光源11当中的与均不是注意区域的图像区域对应的一个光源11发射光。另外，在图54中，来自包括在捕获的图像20中的八个图像区域200当中的要被处理的区域200被画阴影线。
〈实施例10的修改的效果〉
如上所述，可以主要对注意区域(被确定为包括检测目标图像区域200)执行确定检测目标是否存在。因此，由于可以主要监视主题的预期包括检测目标的一部分，所以可以有效地监视主题(可以有效地确定检测目标是否存在)。
另外，在根据实施例10的修改的成像设备10中，可以将多个图像区域200分别设置为注意目标(即，注意区域)。
控制器14可以被配置为执行光发射控制，以使得分别与多个注意区域(具体说来，被确定器15确定为包括检测目标并且与相同的打开时段tL对应的多个图像区域200)对应的多个光源11在第一发光操作中同时发射光(被打开)。例如，控制器14可以被配置为执行与根据实施例2的修改1的控制器14的操作相同的操作。
替代地，控制器14可以被配置为执行光发射控制，以使得分别与多个注意区域(具体说来，被确定器15确定为包括检测目标并且与相同的打开时段tL对应的多个图像区域200)对应的光源11在第一发光操作中顺序地发射光(被打开)。例如，控制器14可以被配置为执行与根据实施例2的修改2的控制器14的操作相同的操作。
[实施例10的其他修改]
另外，在根据实施例10的成像设备10中，检测器16可以被配置为在被确定器15确定为包括检测目标的注意区域(被确定器15确定为包括检测目标的图像区域200)的一部分是注意区域的边缘部分时，从包括注意区域和相邻区域(与注意区域的边缘部分相邻的图像区域200)的候选区域30检测对象100。例如，检测器16可以被配置为执行与根据实施例3的检测器16的操作相同的操作。
另外，在根据实施例10的成像设备10中，控制器14可以被配置为在被识别器17提取的对象区域40在注意区域(被确定器15确定为包括检测目标的图像区域200)和相邻区域(与注意区域的边缘部分相邻的图像区域200)上延伸时，使光源11发射光(被打开)并且使成像电路12对主题成像。识别器17可以被配置为在与注意区域对应的光源11发射光(被打开)时，从由成像电路12获得的捕获的图像20提取对象区域40并将对象区域40与组合图像(第一组合图像)组合；并且在与注意区域和相邻区域对应的光源11发射光(被打开)时，从由成像电路12获得的捕获的图像20提取对象区域40并将对象区域40与组合图像(第二组合图像)组合；并且基于组合结果识别对象100。例如，控制器14和识别器17可以被配置为执行与实施例4的修改的控制器14和识别器17的操作相同的操作。
〔实施例11〕
图55示意了根据实施例11的成像设备10的配置。根据实施例11的成像设备10具有与根据图16的实施例4的成像设备10的配置相同的配置。另外，根据实施例11的成像设备10可以执行与根据实施例1至4中的任何一个实施例的成像设备10相同的操作。
另外，在实施例11中，多个光源11a至11d中的每一个被配置为能够改变光发射量。另外，控制器14被配置为基于作为由成像电路12获得的捕获的图像20的一部分并且与在用于获得捕获的图像20的成像期间不发射光的光源11对应的图像区域21的亮度(例如，平均亮度)来设置光源11的光发射量。
另外，在根据实施例11的成像设备10中，除了根据实施例1至4中的任何一个实施例的成像设备10的操作之外，还执行图56的操作。
〈操作〉
接下来，将参考图56描述根据实施例11的成像设备10的操作。在本实施例中，预先确定确定来自光源11a至11d和图像区域21a至21d当中的要被处理的对象的顺序。另外，在下面的描述中，变量K是等于或大于1并且等于或小于上限Kmax的整数，并且指示要被处理的光源11和图像区域21的编号。上限Kmax是等于或大于2的整数，并且与光源11的数量(在本实施例中为4)对应。
《步骤ST2001》
首先，控制器14使所有光源11a至11d不发射光，并且使成像电路12对主题成像(不被光源11照明的主题)。
《步骤ST2002》
接下来，控制器14将变量K设置为1。也就是说，控制器14选择以预先确定的选择顺序首先被选择的光源11和图像区域21(例如，光源11a和图像区域21a)作为这次要处理的光源11和图像区域21。
《步骤ST2003》
接下来，控制器14从在步骤ST2001中获得的捕获的图像中提取第K个图像区域21。控制器14基于第K个图像区域21的亮度来设置与第K个图像区域21对应的光源11(第K个光源11)的光发射量。具体说来，控制器14基于第K个图像区域21的亮度设置第K个光源11的光发射量，以使得随着第K个图像区域21的亮度增加第K个光源11的光发射量减少。
《步骤ST2004》
接下来，控制器14确定变量K是否达到上限Kmax。也就是说，控制器14确定多个光源11当中是否还有未被选择为要被处理的对象的光源11(其光发射量没有被设置的光源11)。当变量K未达到上限Kmax时，操作继续到步骤ST2005，而当变量K达到上限Kmax时，操作结束。
《步骤ST2005》
当在步骤ST2004中确定变量K未达到上限Kmax时，控制器14对变量K加1。也就是说，控制器14选择以预先确定的选择顺序在这次要处理的光源11和图像区域21之后被选择的光源11和图像区域21作为下次要处理的光源11和图像区域21。接下来，操作继续到步骤ST2003。
<实施例11的效果>
即便在上面的配置中，可以实现与实施例1至4的效果相同的效果。也就是说，可以减少对主题照明所需的电力消耗并且可以连续地监视主题。
另外，可以基于作为由成像电路12获得的捕获的图像20的一部分并且与在用于获得捕获的图像20的成像期间不发射光的光源11对应的图像区域21的亮度来设置光源11的光发射量。因此，可以设置光源11的光发射量以使得图像区域21的亮度是适当的亮度。
〔实施例12〕
图57示意了根据实施例12的成像设备10的配置。根据实施例12的成像设备10具有与根据图16的实施例4中的任一个的成像设备10的配置相同的配置。另外，根据实施例12的成像设备10可以执行与根据实施例1至4中的任一个实施例的成像设备10的操作相同的操作。另外，在实施例12中，处理电路13除了控制器14、确定器15、检测器16和识别器17之外还包括设置器18。另外，在实施例12中，按下述方式配置多个光源11a至11d、控制器14和设置器18。
多个光源11a至11d中的每一个被配置成能够将光发射量改变为多个光发射量。
控制器14被配置为当对于来自多个光源11a至11d当中的发光光源11要被设置的光发射量没有被确定时执行第一操作。在第一操作中，控制器14将光源11(来自多个光源11a至11d当中的发光光源11)的光发射量设置为以预先确定的顺序从多个光发射量当中选择的光发射量，并使成像电路12对被以所选择的光发射量发射光的光源11照明的主题成像。
另外，控制器14被配置为当对于来自多个光源11a至11d当中的发光光源11要被设置的光发射量被确定时执行第二操作。在第二操作中，控制器14将光源(来自多个光源11a至11d当中的发光光源11)的光发射量设置为要被设置的光发射量，并使成像电路12对被以要被设置的光发射量发射光的光源11照明的主题成像。
设置器18将在用于获得包括被确定器15确定为包括检测目标的图像区域21的捕获的图像20的成像期间发射光的光源11的光发射量确定为对于光源11要被设置的光发射量。
〈操作〉
接下来，将参考图58和图59描述根据实施例12的成像设备10的操作。在根据实施例12的成像设备10中，对多个光源11a至11d中的每一个执行下述处理。另外，图58的操作与当没有确定对于光源11的要被设置的光发射量时执行的操作(第一操作)对应。图59的操作与当确定了对于光源11的要被设置的光发射量时执行的操作(第二操作)对应。另外，在下面的描述中，变量J是等于或大于1并且等于或小于上限Jmax的整数，并且指示要被处理的光发射量的编号(指示光发射强度的水平的编号)。上限Jmax是等于或大于2的整数，并且与光源11的可设置光发射量的数量(例如，光发射量可改变水平的数量)对应。
《步骤ST3001》
当没有确定对于光源11(称为这次要处理的光源11)的要被设置的光发射量时，控制器14将变量J设置为1。也就是说，控制器14选择第一光发射量作为这次要处理的对象。
《步骤ST3002》
接下来，控制器14将光源11的光发射量设置为第J个光发射量。
《步骤ST3003》
接下来，控制器14确定被其光发射量被设置为第J个光发射量的光源11照明的主题是否被成像电路12成像。例如，控制器14确定成像电路12是否执行至少一次成像(对主题的成像)以及在主题被其光发射量被设置为第J个光发射量的光源11照明的时段中是否获得至少一个捕获的图像。当被其光发射量被设置为第J个光发射量的光源11照明的主题被成像电路12成像时，操作继续到步骤ST3004，否则，方法重复步骤ST3003。
《步骤ST3004》
接下来，确定器15从在步骤ST3003中获得的捕获的图像中提取与光源11对应的图像区域21，并确定检测目标是否存在于提取的图像区域21中。当确定检测目标存在于图像区域21中时，操作继续到步骤ST3005，否则，操作继续到步骤ST3006。
《步骤ST3005》
接下来，设置器18将在用于获得包括在步骤ST3004中被确定为包括检测目标的图像区域21的捕获的图像的成像期间光源11的光发射量确定为对于光源11要被设置的光发射量。也就是说，设置器18确定在步骤ST3002中被设置为光源11的光发射量的第J个光发射量作为对于光源11的要被设置的光发射量。具体说来，设置器18将作为对于光源11要被设置的光发射量的第J个光发射量登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST3006。
《步骤ST3006》
接下来，控制器14确定变量J是否达到上限Jmax。也就是说，控制器14确定来自多个光发射量当中是否还有未被选择为要被处理的对象的光发射量。当变量J未达到上限Jmax时，操作继续到步骤ST3007，而当变量J达到上限Jmax时，操作继续到步骤ST3008。
《步骤ST3007》
当在步骤ST3006中确定变量J未达到上限Jmax时，控制器14对变量J加1。也就是说，控制器14从多个光发射量当中选择尚未被选择的光发射量作为这次要处理的对象。接下来，操作继续到步骤ST3002。
《步骤ST3008》
当在步骤ST3006中确定变量J达到上限Jmax时，控制器14确定对于光源11要被设置的光发射量是否被确定。具体说来，控制器14确定登记在设置器18(存储器区域)中的光发射量是否作为来自多个光发射量当中的要被设置的光发射量而存在。当对于光源11要被设置的光发射量被确定时，操作继续到步骤ST3101(见图59)，否则，操作继续到步骤ST3001。
《步骤ST3101》
当对于光源11的要被设置的光发射量被确定时，控制器14将变量J设置为1。也就是说，控制器14选择第一光发射量作为这次要处理的对象。
《步骤ST3102》
接下来，控制器14确定第J个光发射量(即，这次要处理的光发射量)是否被确定为对于光源11要被设置的光发射量。当第J个光发射量没有被确定为要被设置的光发射量时，操作继续到步骤ST3103，而当第J个光发射量被确定为要被设置的光发射量时，操作继续到步骤ST3105。
《步骤ST3103》
接下来，控制器14确定变量J是否达到上限Jmax。当变量J未达到上限Jmax时，操作继续到步骤ST3104，而当变量J达到上限Jmax时，操作继续到步骤ST3101。
《步骤ST3104》
当在步骤ST3103中确定变量J未达到上限Jmax时，控制器14对变量J加1。接下来，操作继续到步骤ST3102。
《步骤ST3105》
当在步骤ST3102中确定对于光源11的第J个光发射量被确定为要被设置的光发射量时，控制器14将光源11的光发射量设置为第J个光发射量。
《步骤ST3106》
接下来，控制器14确定被其光发射量被设置为第J个光发射量的光源11照明的主题是否被成像电路12成像。当被其光发射量被设置为第J个光发射量的光源11照明的主题被成像电路12成像时，操作继续到步骤ST3107，否则，操作继续到步骤ST3106。
《步骤ST3107》
接下来，确定器15从在步骤ST3106中获得的捕获的图像20中提取与光源11对应的图像区域21，并确定检测目标是否存在于提取的图像区域21中。当确定检测目标不存在于图像区域21中时，操作继续到步骤ST3108，而当确定检测目标存在于图像区域21中时，操作继续到步骤ST3110。
《步骤ST3108》
接下来，设置器18取消将在用于获得包括在步骤ST3107中被确定为不包括检测目标的图像区域21的捕获的图像20的成像期间光源11的光发射量(即，在步骤ST3105中被设置为光源的光发射量的第J个光发射量)确定为要被设置的光发射量。具体说来，设置器18对于光源11取消将第J个光发射量(作为要被设置的光发射量)登记到设置器18(存储器区域)中。接下来，操作继续到步骤ST3109。
《步骤ST3109》
接下来，控制器14确定对于光源11要被设置的光发射量是否被确定。当要被设置的光发射量被确定时，操作继续到步骤ST3110，否则，操作继续到步骤ST3001(见图58)。
《步骤ST3110和ST3111》
当在步骤ST3109中确定对于光源11要被设置的光发射强度被确定时，控制器14确定变量J是否达到上限Jmax。当变量J未达到上限Jmax时，控制器14对变量J加1。接下来，操作继续到步骤ST3102。当变量J达到上限Jmax时，操作继续到步骤ST3101。
<实施例12的效果>
即便在上面的配置中，可以实现与实施例1至4的效果相同的效果。也就是说，可以减少对主题照明所需的电力消耗并且可以连续地监视主题。
另外，当对于光源要被设置的光发射量没有被确定时，可以确定适合于确定检测目标是否存在的光发射量，而当对于光源11要被设置的光发射量被确定时，可以以适合于确定检测目标是否存在的光发射量对主题成像。
〔实施例13〕
根据实施例13的成像设备10可以具有与根据图16的实施例4的成像设备10的配置相同的配置。另外，根据实施例13的成像设备10可以执行与根据实施例1至4中的任一个实施例的成像设备10的操作相同的操作。另外，在实施例13中，按下述方式配置多个光源11a至11d、成像电路12和控制器14。
多个光源11a至11d中的每一个被配置为能够将光发射量改变成两个不同的光发射量(第一光发射量和小于第一光发射量的第二光发射量)。
成像电路12被配置为能够将曝光时间改变为两个不同的曝光时间(第一曝光时间和比第一曝光时间更长的第二曝光时间)。
控制器14被配置为将与被确定器15确定为包括检测目标的图像区域21对应的光源11的光发射量设置为第一光发射量，并且将在对被光源11照明的主题成像期间成像电路12的曝光时间设置为第一曝光时间。另外，控制器14被配置为将与被确定器15确定为不包括检测目标的图像区域21对应的光源11的光发射量设置为第二光发射量，并且将在对被光源11照明的主题成像期间成像电路12的曝光时间设置为第二曝光时间。
〈操作〉
接下来，将参考图60描述根据实施例13的成像设备10的操作。在根据实施例13的成像设备10中，对多个光源11a至11d中的每一个执行下述处理。
《步骤ST4001》
首先，控制器14将光源11(称为这次要处理的光源11)的光发射量设置为第一光发射量(即，“大”)，并且将成像电路12的曝光时间设置为第一曝光时间(即，“短”)。
《步骤ST4002》
接下来，控制器14确定被以预设的光发射量(具体说来，在步骤ST4001,ST4004和ST4005中设置的光发射量)发射光的光源11照明的主题是否被以预设曝光时间(具体说来，在步骤ST4001,ST4004和ST4005中设置的曝光时间)曝光的成像电路12成像。例如，控制器14使以预设的曝光时间曝光的成像电路12对主题成像N次，并且确定在光源11以预设的光发射量发射光的时段期间，是否获得包括在时间序列上连续的N(N是等于或大于2的整数)个捕获的图像20的捕获的图像序列。当被以预设的光发射量发射光的光源11照明的主题被以预设曝光时间曝光的成像电路12成像时，操作继续到步骤ST4003，否则，操作继续到步骤ST4002。
《步骤ST4003》
接下来，确定器15从在步骤ST4002中获得的捕获的图像20中提取与光源11对应的图像区域21，并确定检测目标是否存在于所提取的图像区域21中。当确定检测目标存在于图像区域21中时，操作继续到步骤ST4004，否则，操作继续到步骤ST4005。
《步骤ST4004》
当在步骤ST4003中确定检测目标存在时，控制器14将光源11的光发射量设置为第一光发射量(即，“大”)，并且将成像电路12的曝光时间设置为第一曝光时间(即，“短”)。接下来，操作继续到步骤ST4006。
《步骤ST4005》
当在步骤ST4003中确定检测目标不存在时，控制器14将光源11的光发射量设置为第二光发射量(即，“小”)，并且将成像电路12的曝光时间设置为第二曝光时间(即，“长”)。接下来，操作继续到步骤ST4006。
《步骤ST4006》
接下来，当要结束处理时，处理结束，而当要继续处理时，操作继续到步骤ST4002。
<实施例13的效果>
即便在上面的配置中，可以实现与实施例1至4的效果相同的效果。也就是说，可以减少对主题照明所需的电力消耗并且可以连续地监视主题。
另外，当确定器15确定检测目标存在时，由于将光源11的光发射量设置为第一光发射量并将成像电路12的曝光时间设置为第一曝光时间，所以与光源11的光发射量被设置为第二光发射量(小于第一光发射量的光发射量)并且成像电路12的曝光时间被设置为第二曝光时间(长于第一曝光时间的曝光时间)时相比，可以更快地执行成像电路12对主题的成像。
另外，当确定器15确定检测目标不存在时，由于将光源11的光发射量设置为第二光发射量(小于第一光发射量的光发射量)并将成像电路12的曝光时间设置为第二曝光时间(长于第一曝光时间的曝光时间)，所以与当确定器15确定检测目标存在时(即，当光源11的光发射量被设置为第一光发射量并且成像电路12的曝光时间被设置为第一曝光时间)相比，可以更多地减少光源11的光发射量并且可以更多地增加成像电路12的曝光时间。因此，可以减少光源11的电力消耗。另外，由于光源11的光发射量减少并且成像电路12的曝光时间增加，所以可以补偿归因于光源11的光发射量的减少而导致的捕获的图像的亮度的减少。
另外，在上面的描述中，尽管在步骤ST4001中光源11的光发射量被设置为第一光发射量(即，“大”)并且成像电路12的曝光时间被设置为第一曝光时间(即，“短”)，但是控制器14可以被配置为在步骤ST4001中将光源11的光发射量设置为第二光发射量(即，“小”)并且将成像电路12的曝光时间设置为第二曝光时间(即，“长”)。
〔其他实施例〕
另外，可以以任何适当方式组合上述实施例和修改。上述实施例和修改实质上是优选示例，而不意图限制本公开的范围、应用或使用。
例如，实施例6的控制可以应用于根据实施例10的成像设备10。另外，在根据实施例10的成像设备10中，多个光源11a至11d中的每一个可以被配置为能够改变光发射量。控制器14可以被配置为基于作为由成像电路12获得的捕获的图像20的一部分并且与在用于获得捕获的图像20的成像期间不发射光的光源11对应的图像区域200的亮度来设置光源11的光发射量。例如，控制器14可以被配置为执行与实施例6的控制器14的操作相同的操作。
另外，实施例7和8的控制可以应用于根据实施例10的成像设备10。也就是说，根据实施例10的成像设备10可以进一步包括设置器18。另外，多个光源11a至11d中的每一个可以被配置成能够将光发射量改变为多个光发射量。另外，控制器14可以被配置为在当没有确定对于来自多个光源11a至11d当中的发光光源11要被设置的光发射量时，将光源11的光发射量设置为以预先确定的顺序从多个光发射量当中选择的光发射量并且执行在其中被以所选择的光发射量发射光(被打开)的光源11照明的主题被成像电路12成像的第一操作，并且当确定了对于来自多个光源11a至11d当中的发光光源11要被设置的光发射量时，将光源11的光发射量设置为要被设置的光发射量并且执行在其中被以所设置的光发射量发射光(被打开)的光源11照明的主题被成像电路12成像的第二操作。设置器18可以被配置为将在用于获得包括被确定器15确定为包括检测目标的图像区域200的捕获的图像20的成像期间发射光(被打开)的光源11的光发射量确定为对于光源11要被设置的光发射量。例如，控制器14和设置器18可以被配置为执行与实施例7和8的控制器14和设置器18的操作相同的操作。
另外，实施例9的控制可以应用于根据实施例10的成像设备10。也就是说，在根据实施例10的成像设备10中，多个光源11a至11d中的每一个可以被配置为能够将光发射量改变成第一光发射量和第二光发射量(小于第一光发射量的光发射量)。另外，成像电路12可以被配置为能够将曝光时间改变为第一曝光时间和第二曝光时间(比第一曝光时间更长的曝光时间)。控制器14可以被配置为将与被确定器15确定为包括检测目标的图像区域200对应的光源11的光发射量设置为第一光发射量并且将在对被光源11照明的主题成像期间成像电路12的曝光时间设置为第一曝光时间，并且将与被确定器15确定为不包括检测目标的图像区域200对应的光源11的光发射量设置为第二光发射量并且将在对被光源11照明的主题成像期间成像电路12的曝光时间设置为第二曝光时间。例如，控制器14可以被配置为执行与实施例9的操作相同的操作。
上述内容包括一个或多个实施例的示例。当然，出于描述前述实施例的目的，无法描述组件或方法的每一种能够设想的组合，但是本领域普通技术人员将会意识到，各种实施例的许多进一步的组合和排列是可能的。因此，所描述的实施例旨在涵盖落入随附权利要求的精神和范围内的所有这样的变化、修改和变型。
工业适用性
如上所述，由于上述成像设备可以减少照明主题并连续监视主题所需的电力消耗，所以所述成像设备可以被用作用于对主题成像和监视主题的成像设备。

Claims (20)

1.一种成像设备，包括：
多个光源，每个光源被配置为向主题发射光；
成像电路，被配置为通过对主题成像来获得捕获的图像；
控制器，被配置为执行所述多个光源的光发射控制以改变来自所述多个光源当中的发射光的光源，并控制所述成像电路以对主题成像；以及
确定器，被配置为确定预先确定的检测目标是否存在于作为由所述成像电路获得的捕获的图像的一部分并且与在用于获得捕获的图像的成像期间发射光的光源对应的图像区域中。
2.根据权利要求1所述的成像设备，其中，所述控制器被进一步配置为，
当被所述确定器确定为包括所述检测目标的图像区域不存在时，执行光发射控制，以使得所述多个光源以预先确定的光发射顺序发射光，并且
当被所述确定器确定为包括所述检测目标的图像区域存在时，执行光发射控制，以使得来自所述多个光源当中的与被所述确定器确定为包括所述检测目标的图像区域对应的光源的光发射频率增加。
3.根据权利要求2所述的成像设备，其中，所述控制器被进一步配置为，
当被所述确定器确定为包括所述检测目标的图像区域存在时，执行光发射控制以使得第一发光操作和第二发光操作被交替执行，在所述第一发光操作中，与被所述确定器确定为包括所述检测目标的图像区域对应的光源发射光，在所述第二发光操作中，基于预先确定的光发射顺序，来自光源当中的与没有被所述确定器确定为包括所述检测目标的图像区域对应的一个或多个光源发射光。
4.根据权利要求3所述的成像设备，其中，在所述第一发光操作中，分别与被所述确定器确定为包括所述检测目标的多个图像区域对应的多个光源同时发射光。
5.根据权利要求3所述的成像设备，其中，在所述第一发光操作中，分别与被所述确定器确定为包括所述检测目标的多个图像区域对应的多个光源顺序地发射光。
6.根据权利要求1所述的成像设备，还包括检测器，所述检测器被配置为从包括被所述确定器确定为包括所述检测目标的图像区域的捕获的图像中检测预先确定的对象。
7.根据权利要求6所述的成像设备，其中，当作为注意区域的一部分并且被确定器确定为包括所述检测目标的部分是所述注意区域的边缘部分时，所述检测器可以进一步被配置为从包括所述注意区域和相邻区域的候选区域中检测预先确定的对象，所述注意区域是被所述确定器确定为包括所述检测目标的图像区域，所述相邻区域是与所述注意区域的所述边缘部分相邻的图像区域。
8.根据权利要求6所述的成像设备，还包括识别器，所述识别器被配置为提取作为所述捕获的图像的一部分并且包括被检测器从所述捕获的图像检测出的预先确定的对象的对象区域，并且通过将所述对象区域与预先登记的组合图像组合来识别所述预先确定的对象。
9.根据权利要求8所述的成像设备，其中，当被所述识别器提取的所述对象区域在注意区域和相邻区域上延伸时，所述控制器进一步被配置为通过使来自所述多个光源当中的与所述注意区域和所述相邻区域对应的光源发射光来使所述成像电路对所述主题成像，所述注意区域是被所述确定器确定为包括所述检测目标的图像区域，所述相邻区域是与所述注意区域的边缘部分相邻的图像区域，并且
所述识别器进一步被配置为通过从由所述成像电路在与所述注意区域对应的光源发射光时获得的捕获的图像中提取所述对象区域来将所述对象区域与所述组合图像组合，通过从由所述成像电路在与所述注意区域和所述相邻区域对应的光源发射光时获得的捕获的图像中提取所述对象区域来将所述对象区域与所述组合图像组合，并且基于组合结果识别预先确定的对象。
10.根据权利要求1所述的成像设备，其中，所述成像电路进一步被配置为通过滚动快门方法被驱动，
所述控制器进一步被配置为在光发射控制器中使光源发射光，以使得来自多个光源当中的至少一个光源被打开的打开时段和所述至少一个光源被关闭的关闭时段存在于不是所述成像电路的所有线被同时曝光的时段的时段中，并且
所述确定器进一步被配置为确定检测目标是否存在于作为由所述成像电路获得的捕获的图像的一部分、与在用于获得捕获的图像的成像期间发射光的光源对应并且与所述至少一个光源被打开的时段对应的图像区域中。
11.根据权利要求10所述的成像设备，其中，所述控制器被进一步配置为，
当被所述确定器确定为包括所述检测目标的图像区域不存在时，执行光发射控制，以使得所述多个光源以预先确定的光发射顺序和打开顺序发射光，并且
当被所述确定器确定为包括所述检测目标的图像区域存在时，执行光发射控制，以使得来自所述多个光源当中的与被所述确定器确定为包括检测目标的图像区域对应的光源在与被所述确定器确定为包括检测目标的图像区域对应的打开时段中被打开的频率增加。
12.根据权利要求11所述的成像设备，其中，所述控制器进一步被配置为，
当被确定器确定为包括检测目标的图像区域存在时，执行光发射控制以使得第一发光操作和第二发光操作被交替执行，在所述第一发光操作中，与被确定器确定为包括检测目标的图像区域对应的光源在与被确定器确定为包括检测目标的图像区域对应的打开时段中被打开，在所述第二发光操作中，基于预先确定的光发射顺序和打开顺序，与没有被确定器确定为包括检测目标的图像区域对应的光源中的一个光源发射光。
13.根据权利要求12所述的成像设备，其中，在所述第一发光操作中，分别与被所述确定器确定为包括所述检测目标的多个图像区域对应的多个光源同时被打开。
14.根据权利要求12所述的成像设备，其中，在所述第一发光操作中，分别与被所述确定器确定为包括所述检测目标的多个图像区域对应的多个光源顺序地被打开。
15.根据权利要求1所述的成像设备，其中，所述多个光源中的每一个光源还被配置为能够改变光发射量，并且
所述控制器还被配置为基于作为由所述成像电路获得的所述捕获的图像的一部分并且与在用于获得所述捕获的图像的成像期间不发射光的光源对应的图像区域的亮度来设置所述光源的光发射量。
16.根据权利要求1所述的成像设备，还包括设置器，
其中，所述多个光源中的每一个光源还被配置为能够将光发射量改变为多个光发射量，并且，
所述控制器还被配置为，
当没有确定对于来自所述多个光源中的发射光的光源要被设置的光发射量时，执行第一操作，在所述第一操作中，将光源的光发射量设置为以预先确定的顺序从多个光发射量当中选择的光发射量并且被以所选择的光发射量发射光的光源照明的主题被成像电路成像，并且
当确定了对于光源要被设置的光发射量时，执行第二操作，在所述第二操作中，将光源的光发射量设置为要被设置的光发射量，并且被以该要被设置的光发射量发射光的光源照明的对象被成像电路成像，并且
所述设置器还被配置为将在用于获得包括被所述确定器确定为包括检测目标的图像区域的捕获的图像的成像期间发射光的光源的光发射量确定为对于光源要被设置的光发射量。
17.根据权利要求1所述的成像设备，其中所述多个光源中的每一个光源进一步被配置为能够将光发射量改变为第一光发射量和小于第一光发射量的第二光发射量，
所述成像电路还被配置为能够将曝光时间改变为第一曝光时间和比第一曝光时间更长的第二曝光时间，并且
所述控制器进一步被配置为将与被所述确定器确定为包括检测目标的图像区域对应的光源的光发射量设置为第一光发射量并且将在对被该光源照明的主题成像期间成像电路的曝光时间设置为第一曝光时间，并且将与被所述确定器确定为不包括检测目标的图像区域对应的光源的光发射量设置为第二光发射量并且将在对被该光源照明的主题成像期间成像电路的曝光时间设置为第二曝光时间。
18.根据权利要求1所述的成像设备，其中所述成像电路进一步被配置成通过滚动快门方法被驱动，并且
所述控制器进一步被配置为，
在光发射控制中，使所述光源发射光，以使得来自所述多个光源当中的至少一个光源被打开的时段和所述至少一个光源被关闭的时段存在于不是所述成像电路的所有线被同时曝光的时段的时段中，以及
基于来自所述多个光源当中的发射光的光源以及在所述发射光的光源被打开的时段，确定作为由所述成像电路获得的所述捕获的图像的一部分并且要在其中确定检测目标的存在的图像区域。
19.根据权利要求18所述的成像设备，其中由所述成像电路获得的所述捕获的图像被分成多个行区域和多个列区域，
其中来自所述多个列区域当中的一个列区域根据在用于获得所述捕获的图像的成像期间发射光的光源来确定，以及
来自所述多个行区域当中的一个行区域根据发射光的光源被打开的时段来确定。
20.一种使用多个光源和成像电路的成像方法，所述多个光源均向主题发射光，所述成像电路通过对所述主题成像来获得捕获的图像，所述成像方法包括：
第一过程，其执行光发射控制以改变来自所述多个光源当中的发射光的光源并且使所述成像电路对所述主题成像；以及
第二过程，其确定预先确定的检测目标是否存在于作为由所述成像电路获得的捕获的图像的一部分并且与在用于获得捕获的图像的成像期间发射光的光源对应的图像区域中。
CN201680072566.2A 2015-12-11 2016-12-09 成像设备及用于成像设备的操作方法 Expired - Fee Related CN108370413B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2015241748 2015-12-11
JP2015-241748 2015-12-11
JP2015243739 2015-12-15
JP2015-243739 2015-12-15
JP2015-253407 2015-12-25
JP2015253407 2015-12-25
JP2015257027 2015-12-28
JP2015-257027 2015-12-28
JP2016-223449 2016-11-16
JP2016223449A JP2017121041A (ja) 2015-12-11 2016-11-16 撮像装置
PCT/KR2016/014436 WO2017099517A1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법

Publications (2)

Publication Number Publication Date
CN108370413A true CN108370413A (zh) 2018-08-03
CN108370413B CN108370413B (zh) 2020-11-06

Family

ID=59272550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072566.2A Expired - Fee Related CN108370413B (zh) 2015-12-11 2016-12-09 成像设备及用于成像设备的操作方法

Country Status (5)

Country Link
US (1) US11044403B2 (zh)
EP (1) EP3367663B1 (zh)
JP (1) JP2017121041A (zh)
KR (1) KR102642925B1 (zh)
CN (1) CN108370413B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182287A (zh) * 2018-11-13 2020-05-19 南昌欧菲生物识别技术有限公司 发射模组、成像装置和电子装置
CN113614772A (zh) * 2019-02-18 2021-11-05 日本电气株式会社 照明控制装置、方法、系统和计算机可读介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582169B2 (en) * 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
KR102050632B1 (ko) * 2017-08-02 2019-12-03 주식회사 에스오에스랩 다채널 라이다 센서 모듈
US11232688B1 (en) * 2017-11-29 2022-01-25 Amazon Technologies, Inc. Auto-configuration for a motion detector of a security device
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
KR20200125215A (ko) * 2019-04-26 2020-11-04 엘지이노텍 주식회사 카메라 모듈
KR20220033924A (ko) 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
US20220353412A1 (en) * 2021-04-30 2022-11-03 Zebra Technologies Corporation Power Manager to Support Less-than-Nominal Conditions in a Machine Vision System

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350171A (ja) * 2000-06-08 2001-12-21 Canon Inc カメラ
JP2004240799A (ja) * 2003-02-07 2004-08-26 Optex Co Ltd ダミー発光機能を有する監視カメラシステム
JP2011049788A (ja) * 2009-08-26 2011-03-10 Panasonic Electric Works Co Ltd 撮像装置
JP2012174421A (ja) * 2011-02-18 2012-09-10 Panasonic Corp 照明装置
JP2013004490A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 照明システム
JP2014216138A (ja) * 2013-04-24 2014-11-17 株式会社日立情報通信エンジニアリング 照明制御システム及び照明制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
US9215781B2 (en) * 2008-04-16 2015-12-15 Avo Usa Holding 2 Corporation Energy savings and improved security through intelligent lighting systems
JP2011125404A (ja) * 2009-12-15 2011-06-30 Olympus Corp 光制御装置、制御装置、光学スコープ及び光走査型光学装置
KR20110131772A (ko) 2010-05-31 2011-12-07 주식회사 케이씨씨 자외선 경화성 점착수지 조성물 및 이를 포함하는 다이싱용 또는 표면보호용 점착 테이프
KR101052803B1 (ko) 2011-01-05 2011-07-29 김도연 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템
JP6006147B2 (ja) 2012-03-28 2016-10-12 富士フイルム株式会社 撮像装置、及びこれを備える内視鏡装置
CN104135908B (zh) * 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
JP5658772B2 (ja) 2013-01-25 2015-01-28 株式会社ソフイア 遊技機
KR101297759B1 (ko) * 2013-04-09 2013-08-20 한국씨텍(주) 감시 카메라 시스템의 적외선 ｌｅｄ 제어장치 및 그 제어방법
TWI532413B (zh) * 2013-09-11 2016-05-01 晶睿通訊股份有限公司 照明補光系統及方法
JP6104198B2 (ja) 2014-03-11 2017-03-29 三菱電機株式会社 物体認識装置
US9838612B2 (en) * 2015-07-13 2017-12-05 Test Research, Inc. Inspecting device and method for inspecting inspection target
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350171A (ja) * 2000-06-08 2001-12-21 Canon Inc カメラ
JP2004240799A (ja) * 2003-02-07 2004-08-26 Optex Co Ltd ダミー発光機能を有する監視カメラシステム
JP2011049788A (ja) * 2009-08-26 2011-03-10 Panasonic Electric Works Co Ltd 撮像装置
JP2012174421A (ja) * 2011-02-18 2012-09-10 Panasonic Corp 照明装置
JP2013004490A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 照明システム
JP2014216138A (ja) * 2013-04-24 2014-11-17 株式会社日立情報通信エンジニアリング 照明制御システム及び照明制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182287A (zh) * 2018-11-13 2020-05-19 南昌欧菲生物识别技术有限公司 发射模组、成像装置和电子装置
CN113614772A (zh) * 2019-02-18 2021-11-05 日本电气株式会社 照明控制装置、方法、系统和计算机可读介质

Also Published As

Publication number Publication date
US20180359424A1 (en) 2018-12-13
EP3367663A1 (en) 2018-08-29
EP3367663A4 (en) 2018-10-10
KR102642925B1 (ko) 2024-03-05
JP2017121041A (ja) 2017-07-06
KR20180083314A (ko) 2018-07-20
US11044403B2 (en) 2021-06-22
CN108370413B (zh) 2020-11-06
EP3367663B1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
CN108370413A (zh) 成像设备及用于成像设备的操作方法
CN100338945C (zh) 闪烁检测装置和摄像装置
CN103250418B (zh) 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
US8169496B2 (en) Image processing system and image acquisition method
US20040012692A1 (en) Flicker detection apparatus, a flicker correction apparatus, an image-pickup apparatus, a flicker detection program and a flicker correction program
WO2020009550A1 (en) Method and apparatus for capturing dynamic images
CN102196184A (zh) 摄像装置
TW201429245A (zh) 多功能控制照明裝置
CN110995992A (zh) 补光装置、补光装置的控制方法及计算机存储介质
US11328136B2 (en) Optical communication device and method for transmitting and receiving information
JP2023510800A (ja) カメラ用マルチラインタイムシェアリング露光処理方法及びシステム
CN105243726B (zh) 数字图像数据的获取方法及装置
EP3818692A1 (en) Method and apparatus for capturing dynamic images
JP2012120132A (ja) 撮像装置およびプログラム
CN107851382B (zh) 灯具检测装置及灯具检测方法
KR101037908B1 (ko) 폐쇄회로텔레비젼 카메라 연동형 조명 제어시스템
JP2010026858A (ja) 認証用画像撮像装置
US10045423B2 (en) Illuminating control system and method for controlling illuminating device
KR101101779B1 (ko) 폐쇄회로텔레비젼 카메라 연동형 조명 제어시스템
CN1659859B (zh) 适用于使用闪光灯拍摄图像的数码照相机及其相应方法
JP7151867B2 (ja) 撮影装置、撮影方法、プログラム
CN114554104A (zh) 成像设备、控制成像设备的方法及非暂时性记录介质
TW201703510A (zh) 攝像裝置
JP2004336406A (ja) 制御装置および方法、記録媒体、並びにプログラム
CN109147666A (zh) 图像采集器件的控制方法和控制装置、图像采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201106

Termination date: 20211209

CF01 Termination of patent right due to non-payment of annual fee