CN115209059A - 照明控制装置、摄像装置、控制方法和存储介质 - Google Patents

照明控制装置、摄像装置、控制方法和存储介质 Download PDF

Info

Publication number
CN115209059A
CN115209059A CN202210350295.XA CN202210350295A CN115209059A CN 115209059 A CN115209059 A CN 115209059A CN 202210350295 A CN202210350295 A CN 202210350295A CN 115209059 A CN115209059 A CN 115209059A
Authority
CN
China
Prior art keywords
unit
visible light
image
image pickup
infrared illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210350295.XA
Other languages
English (en)
Inventor
小暮宪太朗
千野俊介
太田盛也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022009795A external-priority patent/JP2022159983A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN115209059A publication Critical patent/CN115209059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供照明控制装置、摄像装置、控制方法和存储介质。为了实现可以在红外照明时使得图像的颜色再现性与S/N比兼容的照明控制装置等，所述照明控制装置包括：可见光测量单元，其被配置为测量可见光分量的量；红外照明单元，其被配置为进行红外照明；以及控制单元，其被配置为使所述红外照明单元进行的所述红外照明的强度随着所述可见光测量单元所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。

Description

照明控制装置、摄像装置、控制方法和存储介质
技术领域
本发明涉及用于红外照明的照明控制装置、摄像装置和存储介质。
背景技术
现有技术中存在具有夜晚模式的监视照相机等的型号，在夜晚模式中，在从低照度摄像中的摄像光路移除红外截止滤波器(将称为IRCF)的情况下进行摄像。可替代地，在几乎没有外部光或照明的黑暗环境中，在使用红外照明的同时也进行摄像的监视照相机和监视系统等的操作已经变得普遍。尽管出于类似原因可见光照明也可以与其一起使用，但是取决于监视目标或其安装环境，这样的可见光照明可能不能使用，因此在这种情况下使用了红外照明。
在一般监视照相机等的夜晚模式中，因为由于从摄像光路移除IRCF而去除了红外分量，所以出现与被摄体的原颜色不同的颜色，因此，主要输出通过从拍摄图像移除颜色分量而生成的黑白图像。另一方面，用户期望即使在几乎没有可见光的黑暗环境中也识别被摄体的颜色。
例如，日本专利申请2017-63362公开了将图像分割为多个区域，并且针对具有预定或更小量的不可见光(红外光)的区域控制光源单元的技术。另外，日本特开2017-5484公开了根据可见光与不可见光的比率来调整图像质量的技术。
然而，根据日本专利申请2017-63362的技术细节，在利用不可见光照射被摄体时，没有考虑拍摄图像的颜色分量，这导致被摄体的颜色再现方面的劣化问题。此外，根据日本特开2017-5484的细节，在利用不可见光照射被摄体时，不能够再现被摄体的颜色。
因此，本发明旨在获得可以在红外照明时使得图像的颜色再现性能够与S/N比兼容的照明控制装置等。
发明内容
本发明的一方面是一种照明控制装置，包括：至少一个处理器或电路，其被配置为用作如下单元：可见光测量单元，其被配置为测量可见光分量的量；红外照明单元，其被配置为进行红外照明；以及控制单元，其被配置为使所述红外照明单元进行的所述红外照明的强度随着所述可见光测量单元所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。
本发明的另一方面是一种摄像装置，具有摄像镜头和摄像单元，所述摄像装置包括：可见光测量单元，其被配置为测量可见光分量的量；红外照明单元，其被配置为进行红外照明；以及控制单元，其被配置为使所述红外照明单元进行的红外照明的强度随着所述可见光测量单元所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变，其中，所述可见光测量单元基于从所述摄像单元获取的信息来测量所述可见光分量的量。
本发明的又一方面是一种控制方法，包括：测量可见光分量的量；使红外照明单元所进行的红外照明的强度随着所述测量中所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。
本发明的又一方面是一种非暂时性计算机可读存储介质，存储有用于执行控制方法的程序，所述控制方法包括：测量可见光分量的量；使红外照明单元所进行的红外照明的强度随着所述测量中所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。
从如下参考附图的实施例的描述，本发明的其他特征将变得明显。
附图说明
图1是示出根据第一实施例的照明控制装置的结构的框图。
图2是示出根据第一实施例的照明控制装置的处理的流程图。
图3是示出根据第一实施例的可见光的阈值与红外照明的强度之间的关系的图。
图4是示出根据第二实施例的摄像装置的结构的框图。
图5是示出根据第二实施例的摄像单元的结构的框图。
图6是示出根据第二实施例的摄像装置的处理的流程图。
图7是第二实施例中在可见光的量足够时预定被摄体的图像中的色度分量的分布图。
图8是第二实施例中在红外照明的强度比可见光的强度占优势的条件下预定被摄体的图像中的色度分量的分布图。
图9是示出根据第二实施例的一般彩色图像传感器的光谱灵敏度的图。
图10是示出根据第二实施例的可见光的阈值与红外照明的强度之间的关系的图。
图11是示出在图10的图中的范围A至范围D中的各个范围中的IRCF 501、红外照明单元100和输出单元405的状态的表。
图12是示出根据第三实施例的摄像系统的结构的框图。
图13是示出根据第三实施例的摄像系统的处理的流程图。
图14是示出根据第三实施例的摄像系统的其他部分处理的流程图。
图15是示出根据第三实施例的可以由客户装置1200的操作单元1203设置的各个模式的示例的图。
图16是示出图15的各个模式中IRCF、红外照明和图像输出的组合状态的示例的表。
图17是示出根据第三实施例在自动插入或移除IRCF时设置照度的GUI的示例的图。
图18是示出根据第三实施例在红外照明的自动调整中校正照明强度时设置优先级的GUI的示例的图。
图19是示出根据第三实施例设置白平衡控制范围的优先级的GUI的示例的图。
图20是示出根据第三实施例在图19中设置的白平衡控制范围的示例的图。
具体实施方式
下文，将参考附图使用实施例来描述本发明的优选模式。在各个图中，将相同附图标记应用至相同构件或元件，并且将省略或简化重复描述。
另外，将在示例中描述网络照相机用作摄像装置的示例。然而，摄像装置包括具有摄像功能的电子设备，诸如数字静态照相机、数字摄像机、具有照相机的智能电话、具有照相机的平板计算机或车载照相机等。
[第一实施例]
首先，将参考图1至图3来描述根据第一实施例的照明控制装置的结构和处理。
图1是示出根据第一实施例的照明控制装置的结构的框图。本实施例的照明控制装置通过与用作摄像装置的示例的网络照相机组合来使用，并且包括红外照明单元100、照明控制单元101、可见光测量单元102、判断单元103和存储单元104等。
红外照明单元100发射红外光(例如，具有约800nm至1000nm的红外光谱特性的光)以进行红外照明。照明控制单元101控制红外照明单元100的照明强度。照明控制单元101除了控制红外照明单元100的照明强度之外，还控制诸如照明强度改变的定时、照明强度改变的速率和照明分辨率等的各种可控参数。
可见光测量单元102测量拍摄环境，特别是被摄体的可见光分量的量(可见光强度)。判断单元103判断由可见光测量单元102测量的可见光强度等，并且基于判断结果经由照明控制单元101来控制红外照明单元100的发射光强度等。
另外，判断单元103等具有用作计算机的CPU，以用作基于存储单元104中所存储的计算机程序来控制整个装置的各个单元的操作的控制部(控制单元)。此外，判断单元103将控制信号发送至摄像装置。存储单元104除了存储计算机程序之外，还存储为了照明控制单元101控制红外照明单元100的强度而预先提供的多个照明控制方式(pattern)和用于判断的预定阈值等。
接下来，图2是示出根据第一实施例的照明控制装置的处理的流程图，并且将使用图2的流程图来描述照明控制装置的处理的流程。此外，判断单元103等的计算机执行存储单元104中所存储的计算机程序以使得进行图2的各个步骤的操作。另外，假设在图2所示的流程图的操作期间进行摄像装置的摄像操作。
首先，在步骤S201中，可见光测量单元102测量可见光分量的量。可见光测量单元使用例如对可见光的波长范围具有灵敏度的照度传感器来测量环境的照度(lux)。此外，可见光测量单元102进行测量的方向和范围被设置为与红外照明单元100的辐射方向的方向或范围大致相同的方向或大致相同的范围，并且方向和范围包括摄像镜头和图像传感器的摄像方向和摄像范围。
在步骤S202中，判断单元103判断步骤S201中所测量的可见光分量的量是否等于或小于第一阈值。
这里，第一阈值被设置为与可见光分量的预定量(亮度)等效的值，如果值等于或小于第一阈值，则值例如与在监视用摄像装置用于拍摄彩色图片的情况下图像的S/N比劣化时的亮度相对应。另外，如果值被设置为等于或小于第一阈值，则摄像镜头的摄像光路上安装的红外截止滤波器(IRCF)在摄像装置中被取出(移除)，并且控制信号被发送至摄像装置以生成彩色图像。此外，第一阈值可以由用户任意设置。
如果可见光分量的量大于第一阈值，则照明控制单元101使红外照明单元100关闭照明(步骤S203)。
如果在步骤S202中可见光分量的量被判断为小于或等于第一阈值，则在步骤S204中，判断单元103判断可见光分量的量是否等于或大于第二阈值。如果在步骤S204中由可见光测量单元102测量的可见光分量的量小于第二阈值，则在步骤S205中，将红外照明的强度提升至输出界限(上限)，并且将控制信号发送至摄像装置以生成黑白图像。这里，第二阈值被设置为预定亮度，例如，在预定亮度下，在用于监视的摄像装置拍摄彩色图像时在图像中不能识别被摄体，或者不能识别图像的颜色信息。可替代地，阈值可以由用户任意设置。
如果步骤S204中的回答是肯定的，则处理进入步骤S206。在步骤S206中，照明控制单元101进行控制，使得红外照明单元100进行的红外照明的强度相对于由可见光测量单元102测量的可见光分量的量具有预定比率。此时，可以改变诸如照明强度改变的定时和速率以及照明分辨率等的可以由照明控制单元101控制的各种参数。将使用图3来描述详细的控制示例。
这里，图3是示出根据第一实施例的可见光的阈值与红外照明的强度之间的关系的图。即，图3示出在图2的流程图中分别由判断单元103在步骤S202和S204中判断的第一阈值和第二阈值以及步骤S206中所控制的红外照明的强度的示例。另外，在图3中，在步骤S205中照明控制单元101进行控制时的输出界限由水平虚线表示。第一阈值大于第二阈值。即，所述阈值具有这样的关系，即前者具有更大量的可见光分量(前者意味着更亮)。此外，红外照明的照明强度的上限可以是可变的。
另外，在步骤S206中，照明控制单元101控制红外照明单元100进行的红外照明的强度，使得强度随着可见光分量的量在第一阈值与第二阈值之间变小(亮度减小)而逐渐减小。这里，在步骤S206中，照明控制单元101用作控制单元，其使红外照明单元进行的红外照明的强度随着由可见光测量单元测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变(减小)。
即，在步骤S206中进行控制，使得红外光分量和可见光分量处于大致恒定的比率。在该情况下，期望红外光分量的量大于可见光分量的量的关系。因此，可以获得具有平衡的S/N比与颜色再现性的图像。此外，期望进行控制，使得在可见光分量的量在第一阈值与第二阈值之间的情况下强调由摄像装置生成的彩色图像的饱和度。
此外，距离测量单元可以测量到红外照明单元100的辐射方向中所存在的被摄体的距离，并且可以根据所测量的到被摄体的距离来控制红外照明的强度的偏移量。即，例如如图3中的虚线所指示，在维持从第一阈值到第二阈值的部分中的红外照明的强度的斜率的同时，可以偏移红外照明的强度使其随着到被摄体的距离增加而增加。另外，在维持从第一阈值到第二阈值的部分的红外照明强度的斜率特性的同时，偏移的量可以由用户调整。
此外，可以根据被摄体上所反射的红外的特性来校正由照明控制单元101控制的红外照明单元的输出。例如，可以控制由照明控制单元101控制的红外照明单元的输出以随着被摄体相对于红外的反射率增大而相对减小。另外，针对照明控制单元101的多个照明控制方式(红外照明的强度在从第一阈值到第二阈值的部分中改变的方式)可以预先提供并存储在存储单元104中。
在本实施例中，如上所述，在从第一阈值到第二阈值的亮度范围中根据可见光分量的量的减小来改变红外光的强度的同时，进行摄像。因此，与使用红外照明以仅打开或关闭红外光的传统摄像装置相比，在从第一阈值到第二阈值的亮度范围中，获取到的可见光信息(颜色信息)的量可以增加。
此外，通过以低于第一阈值的水平辐射红外光，可以在较暗水平通过图像传感器的红外灵敏度来提高S/N比。因此，拍摄图像的颜色再现性可以与S/N比兼容。此外，通过在从第一阈值到第二阈值的亮度范围中根据可见光分量的减小量来降低红外光的强度的同时进行摄像，可以适当地维持S/N比与颜色再现性之间的平衡。
[第二实施例]
下面将使用图4和图5来描述第二实施例。图4是示出根据第二实施例的摄像装置的结构的框图，并且图5是示出根据第二实施例的摄像单元400的结构的框图。
将省略图4中的具有附图标记100至104的构成组件的描述，因为这些组件与第一实施例所述的图1中具有相同附图标记的组件进行相同的处理。
摄像装置40的摄像单元400从外部接收光以进行摄像。摄像单元400包括摄像镜头500(由包括变焦透镜和聚焦透镜等多个透镜的组构成)、可以插入在摄像镜头500的摄像光路上/从摄像镜头500的摄像光路移除的IRCF 501、以及诸如CCD或CMOS等的图像传感器502。
例如，R、G和B滤色器之一布置在图像传感器502的各个像素之前。另外，R、G和B滤色器以所谓的拜耳(Bayer)阵列排列，其中，R、G和B滤色器以预定周期交替布置。因此，通过顺次读取图像传感器的各个像素的信号以预定顺序来周期性读取R、G和B颜色信号。另外，摄像单元400包括进行用于降噪的相关双采样(CDS)的CDS电路503。
此外，摄像单元400包括对从照相机获得的信号自动进行增益控制的自动增益控制(AGC)放大器504。另外，摄像单元400包括将模拟信号转换为数字信号的A/D转换电路505。
图像传感器502将经由用作摄像光学系统的摄像镜头500形成的被摄体图像转换为电信号，并且CDS电路503对从图像传感器502输出的电信号进行相关双采样。AGC放大器504对从CDS电路503输出的电信号进行自动增益控制，并且A/D转换电路505将已经经过AGC放大器504进行的自动增益控制的模拟信号转换为数字信号。
IRCF驱动单元401相对于摄像镜头500的摄像光路在垂直方向移动摄像单元400中所包括的IRCF 501，以使得从摄像光路取出(移除)或在摄像光路上插入IRCF。为了使得在IRCF 501从光路取出(移除)的情况下的光路长度与插入IRCF 501时的光路长度相同，可以在光路上插入能够透射从可见光分量到红外光的分光的光的玻璃板等。曝光控制单元402使用诸如摄像单元400的图像传感器502的曝光时间(累积时间)、增益或光圈值等的曝光参数来控制曝光。
判断单元103使用曝光控制单元402，使用曝光量(曝光控制之后的光圈值和曝光时间)、增益和图像的辉度信息等来估计被摄体的亮度(照度)(测量可见光分量的量)，以判断已经插入IRCF 501还是已经移除IRCF 501。即，在该情况下，曝光控制单元402和判断单元103用作基于从摄像单元获取的信息来测量可见光分量的量的可见光测量单元。然后，根据判断结果将控制信号发送至IRCF驱动单元401以控制IRCF 501的插入或移除。图像处理单元403对由曝光控制单元402控制的拍摄图像进行图像处理，例如，伽马校正、白平衡处理、边缘增强、饱和度调整、对比度调整和降噪处理等。
这里，判断单元103可以根据使用IRCF驱动单元401对IRCF 501的插入和/或取出(移除)的控制以及亮度阈值，使用图像处理单元403来将图像切换至彩色图像或黑白图像。即，图像可以在IRCF 501插入在摄像光路上的情况下切换至彩色图像，并且在IRCF 501从摄像光路取出且亮度(照度)低于第二阈值的情况下切换至黑白图像。
计算单元404计算由图像处理单元403处理的图像的辉度和颜色分量的值。该值包括例如整个图像的平均辉度值、和图像的各个预定分割区域的色度值等。输出单元405输出已经由计算单元404计算了辉度和颜色分量的值的图像。
具有红外照明单元100和照明控制单元101的照明控制装置可以设置在摄像装置40的壳体内部，或者可以设置为与摄像装置的壳体分离的主体。另外，要辐射的红外光的波长分量可以在图像传感器502具有灵敏度的从约800nm到1000nm的范围中。
图6是示出根据第二实施例的摄像装置的处理的流程图，并且将参考图4至图11使用图6的流程图来描述图4的摄像装置的处理的流程。此外，判断单元103等的计算机执行存储单元104中所存储的计算机程序以使得进行图6的各个步骤的操作。
首先，在步骤S601中，使用摄像单元400、曝光控制单元402和图像处理单元403来生成彩色图像。在步骤S602中，估计(测量)拍摄环境中的被摄体的亮度(照度)。此时，可以基于由曝光控制单元402控制的光圈值、曝光时间和增益中的至少一个或者由计算单元404计算的图像的平均辉度值等来估计(测量)照度。可替代地，可以使用诸如第一实施例中所述的可见光传感器等的照度传感器来测量(估计)照度。
判断单元103判断步骤S602中所估计(测量)的照度是否具有预定值或更低值(步骤S603)。如果在步骤S603中判断单元103判断为照度具有大于预定第一阈值的值，则在摄像单元400的IRCF 501插入在光路上的情况下进行摄像(步骤S604)。尽管在该情况下通常输出彩色图像，但是图像可以为其他输出格式(步骤S605)。另一方面，如果在步骤S603中判断单元103判断为照度具有低于或等于预定值的值(第一阈值)，则在IRCF 501插入在光路上的情况下测量图像的色度分量(第一色度分量)(步骤S606)。
这里，图7是第二实施例中在可见光的量足够时预定被摄体的图像中的色度分量的分布图。即，图7是表示在具有足够可见光的量的明亮拍摄环境中在IRCF 501插入在光路上的情况下、针对通过将拍摄预定被摄体的摄像单元400的图像分割为垂直N个区域和水平M个区域来获得的各个区域的色度(R-Y和B-Y)分量的分布的图的示例。垂直轴是R-Y轴，并且水平轴是B-Y轴。
此外，图8是第二实施例中的在红外光的照明强度相对于可见光占优势的条件下预定被摄体的图像中的色度分量的分布图。即，图8是表示在红外照明的强度比可见光的强度占优势的条件下从摄像光路取出(移除)IRCF501的情况下，拍摄与图7中相同的被摄体的摄像单元400的图像的色度分量的分布的图。
尽管在图7中色度分量均匀分布，但是在图8中它们会聚在中心周围的局部区域。这是因为，就图9所示的一般图像传感器的光谱灵敏度特性而言，在比约800nm更长的波长的情况下，不论颜色，图像传感器具有大致相同的灵敏度。此外，图9是示出根据第二实施例的一般彩色图像传感器的光谱灵敏度的图。
即，由于红外具有比可见光更大的强度，所以色度分量的分布更可能集中在中心周围，因此色度分量的量趋于减小(生成了非彩色图像)。基于图像的色度分量相对于红外分量的强度对可见光分量的强度的比例(比率)的改变的改变特性，在从光路移除摄像单元400的IRCF 501的情况下，可以估计红外照明相对于可见光分量的相对强度。
此外，存在从图像的色度分量估计红外分量相对于可见光分量的比例的各种已知技术，并且可以使用其他已知技术。
在步骤S606中插入IRCF 501的情况下测量第一色度分量之后，在步骤S607中，使用IRCF驱动单元401来从光路取出(移除)IRCF 501。此外，步骤S606中所测量的色度分量(第一色度分量)可以是例如从图片的多个分割区域获得的R-Y和B-Y的平均值等。
然后，在步骤S608中，判断单元103判断步骤S606中所测量的第一色度分量是否具有等于或大于第四阈值的值。这里，第四阈值是与预定亮度(第一实施例中的第二阈值)相对应的色度值，例如在该预定亮度下，在从摄像装置40的彩色拍摄获得的图像中不能识别被摄体，或者从图像不能识别颜色信息。此外，第四阈值可以由用户任意设置。可替代地，在下面将描述的步骤S612中强调饱和度时，第四阈值可以是与颜色识别器或人眼的颜色识别界限有关的色度分量值。
如果在步骤S608中第一色度分量被判断为具有小于第四阈值的值，则红外照明的上限提升至输出上限(步骤S613)。此时，照明控制单元101不需要将红外照明单元100的强度强制控制至输出上限。另外，照明的强度的上限可以是能够根据诸如到被摄体的距离、被摄体的反射特性和遮蔽物的影响等的被摄体条件改变的。
另外，基于在插入IRCF 501时图像中的色度分量的量小(图像是大致非彩色)的事实，可以估计被摄体本身几乎是非彩色的，因此通过优先考虑S/N比来输出黑白图像(步骤S614)。另一方面，如果在步骤S608中第一色度分量具有等于或大于第四阈值的值，则在步骤S609中，在从光路取出(移除)了IRCF 501的情况下，计算单元404计算(测量)色度分量(第二色度分量)。
此外，步骤S609中所测量的色度分量(第二色度分量)可以是例如从图片的多个分割区域获得的R-Y和B-Y的平均值等。然后，在步骤S610中，判断单元103判断步骤S609中所计算出的第二色度分量是否具有小于或等于第三阈值并且等于或大于第四阈值的值。
这里，第三阈值是与亮度(第一实施例中的第一阈值)相对应的色度值，例如，如果第二色度分量具有小于或等于第三阈值的值，则在该亮度(第一实施例中的第一阈值)下，在监视用摄像装置用于拍摄彩色图片时图像的S/N比劣化。另外，如果第二色度分量具有小于或等于第三阈值的值，则尽管从摄像光路取出(移除)IRCF 501，彩色图像的生成也继续。此外，第三阈值可以由用户任意设置。此外，可以根据插入了IRCF 501的情况下第一色度分量的量来分别校正第三阈值和第四阈值。例如，随着第一色度分量的量增加，第四阈值可以减小。这是因为，在这种情况下，认为被摄体的饱和度原本高。
如果在步骤S610中第二色度分量被判断为具有大于第三阈值且小于第四阈值的值，则通过优先考虑灵敏度来将红外照明的上限提升至输出上限(步骤S613)。然后，通过优先考虑S/N比来输出黑白图像(步骤S614)。
另一方面，如果步骤S610的回答被判断为是肯定的，则根据第二色度分量控制红外照明单元100的照明的强度，使得强度由图10的第三阈值与第四阈值之间的实线所指示(步骤S611)。
这里，图10是示出根据第二实施例的可见光的阈值与红外照明的强度之间的关系的图。另外，图11是示出在图10的图中的范围A至范围D中的各个范围中IRCF 501、红外照明单元100和输出单元405的状态的表。
此外，此时，如图10中的虚线所示，在维持部分实线部的斜率的同时、红外照明单元100开始辐射的定时沿色度分量的量减小的方向偏移的控制方式可以预先存储在存储单元104中，并且可以使用该控制方式。这里，与由实线所示的控制方式相比，由虚线所示的控制方式是颜色再现性比S/N比更重要的控制方式的示例。
此外，作为其他控制方式，可以控制红外照明的强度，使其在图10的范围B中向上向右移动。在该情况下，颜色再现性提高。这些控制方式以及S/N比比颜色再现性更重要的控制方式(由图10的实线所示的方式)预先存储在存储单元104中。可以由用户选择将要使用哪个控制方式。另外，图10的第三阈值和第四阈值可以各自由用户调整。此外，在维持范围B和范围C中红外照明强度的斜率特性的同时，偏移的量可以由用户调整。
此外，在本实施例中，因为图像的色调由于利用红外照明照射而趋于弱，所以由图像处理单元403来强调图像的颜色饱和度(步骤S612)。然后，在步骤S611和S612中，照明控制单元101在图10的第三阈值与第四阈值之间的部分以预定斜率进行对红外照明单元100的照明强度的控制的同时，强调图像的颜色饱和度，并且在步骤S605中将图像输出为彩色图像。
如上所述，在第二实施例中同样地，在利用可以插入或移除IRCF并且可以控制红外照明的强度的摄像装置来拍摄被摄体时，与现有技术相比，所获取的可见光信息(颜色信息)的量可以更多地增加，特别是在从第三阈值到第四阈值的色度范围中。
此外，如果在色度具有低于第三阈值的值的水平上辐射红外光，则可以在相对暗的水平通过图像传感器对红外的灵敏度来提高S/N比。因此，可以维持拍摄图像的颜色再现性和S/N比。
[第三实施例]
图12是示出根据第三实施例的摄像系统的结构的框图。因为图12中的摄像装置40和红外照明单元100的结构分别进行与图4所述的处理类似的处理，所以将省略其描述。图12中的附图标记1200表示具有至少通信控制单元1201、输入图像获取单元1202和操作单元1203的客户装置。另外，客户装置1200可以包括未示出的一般通用个人计算机的结构。
在客户装置1200直接或经由网络连接至摄像装置40时，图12中的通信控制单元1201控制各种类型的通信。另外，摄像装置40具有未示出的作为通信部的通信单元，使得能够与通信控制单元1201通信。此外，通信控制单元1201可以与红外照明单元100直接通信，或者可以经由摄像装置40与红外照明单元100通信。例如，通信控制单元1201可以将用于导致关于摄像装置40的各个处理操作的指令被执行的命令发送至摄像装置40，并且摄像装置40的通信单元经由网络从外部接收命令并将其应用至各个处理操作，细节如下。
图12中的输入图像获取单元1202获取从摄像装置40输出的图像，并且例如使未示出的显示单元显示图像。图12中的操作单元1203在未示出的显示单元上所显示的图形用户界面(GUI)上生成并改变要发送至摄像装置40的各个命令。
图13是示出根据第三实施例的摄像系统的处理的流程图，并且图14是示出根据第三实施例的摄像系统的其他部分处理的流程图。将参考图4至图20使用图13和图14的流程图来描述图4的摄像装置的处理的流程。此外，诸如判断单元103等的计算机执行存储单元104中所存储的计算机程序和用于控制客户装置1200的各个单元的程序等，以使得进行图13和图14的各个步骤的操作。
另外，因为图13和图14的流程图的步骤S601至S614中的各个步骤表示与第二实施例所述的图6中的流程图的相同步骤的处理类似的处理，所以将省略其描述。
在步骤S1301中，判断当前模式是否是“自动切换模式(链接至照明)”。这里，图15是示出根据第三实施例的客户装置1200的操作单元1203可以设置的各个模式的示例的图。
在图15的示例中，用户可以从“自动切换模式”、“红外彩色模式”、“彩色模式”和“黑白模式”中选择任一个模式。另外，在选择“自动切换模式”时，可以通过点击用于选择是否要将模式链接至红外照明的“链接至照明”的复选框来将模式切换至“链接至照明”。此外，图16是示出图15的各个模式中IRCF、红外照明和图像输出的组合状态的示例的表。在本实施例中，如图中那样存储具有红外照明的控制状态、红外截止滤波器相对于摄像镜头的摄像光路的插入/移除状态、以及图像输出状态的不同组合的多个模式，并且模式是可选择的。
如果在步骤S1301中没有选择“自动切换模式(链接至照明)”，则判断是否已经选择“自动切换模式”(步骤S1302)。
如果在步骤S1302中没有判断为已经选择“自动切换模式”，则已经选择“红外彩色模式”、“彩色模式”和“黑白模式”中的任一个。因此，以根据图16的各个模式而组合IRCF、红外照明和图像输出的方式来进行输出(步骤S1303)。
另一方面，如果在步骤S1302中判断为已经选择“自动切换模式”，则根据照度来进行到IRCF的插入/移除和图像输出的自动切换(步骤S1304)。根据拍摄环境的照度来进行IRCF的自动插入和移除，使得在照度比预定阈值的照度更亮时，在插入IRCF的情况下输出彩色图像，并且在照度比预定阈值的照度更暗时，可以通过移除IRCF来吸收红外分量。此外，在移除IRCF的情况下输出的图像可以是黑白或彩色图像。在执行步骤S1303和S1304的处理之后，图13和图14的流程结束。
如果在步骤S1301中已经选择了“自动切换模式(链接至照明)”，则在步骤S602中估计照度，然后获取针对用户在如图17所示GUI上指定的IRCF切换的照度(步骤S1305)。图17是示出根据第三实施例设置照度以自动插入或移除IRCF的GUI的示例的图，并且针对IRCF插入/移除的亮度可以被设置为向左变低且向右变高。即，在本实施例中，插入或取出(移除)红外截止滤波器时的亮度可以由用户选择。
接下来，在经过步骤S603到步骤S610之后，获取用户在图18所示的GUI上指定的用于校正红外照明的强度的优先级(步骤S1306)。图18是示出根据第三实施例在红外照明的自动调整中设置校正照明强度时的优先级的GUI的示例的图。在图18中，红外照明被设置为向左变弱以优先考虑颜色再现性，并且红外照明被设置为向右变强以优先考虑灵敏度。
具体地，在根据第二实施例的图10的图中的范围B和范围C中的红外照明的强度下在图18的GUI上优先考虑颜色再现性的情况下，范围B和范围C中的红外照明的强度被校正为变弱(例如，由虚线所示的曲线)。另外，在优先考虑灵敏度的情况下，范围B和范围C中的红外照明的强度可以被校正为变强(例如，由实线所示的曲线)。即，在本实施例中，根据由用户设置的优先级，红外照明的强度是可校正的。
接下来，在经过步骤S611之后，获取由用户在图19所示的GUI上指定的白平衡控制范围(步骤S1307)。图19是示出根据第三实施例设置白平衡控制范围的优先级的GUI的示例的图。在图19中，白平衡控制范围可以被设置为随着GUI向左滑动以认为彩色更重要而变窄，并且随着GUI向右滑动以认为白色更重要而变宽。
具体地，在进行一般自动白平衡控制时，如图20的图所示，图像处理单元403的白平衡处理控制范围改变。图20是示出根据第三实施例在图19中设置白平衡控制范围的示例的图。在图20中，例如在白平衡控制范围被设置为较宽的情况下，利用1901的范围来控制白平衡增益(R增益和B增益)。另外，例如在白平衡控制范围被设置为较窄的情况下，在1902的范围中控制白平衡增益。
此外，根据以上描述，图像处理单元403用作白平衡控制部，并且用户可以使用白平衡控制部在图19的GUI上选择白平衡控制范围。即，摄像装置40可以经由网络从外部接收命令，并且控制红外照明的强度、相对于摄像镜头的摄像光路插入/移除红外截止滤波器、以及白平衡中的至少一个。
如上所述，在第三实施例中，特别是在从第三阈值到第四阈值的色度范围中，所获取的可见光信息(颜色信息)的量增加，并且可以在进一步反映其中用户所优选的图像质量的同时输出图像。
尽管已经参考示例性实施例描述了本发明，但是应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围将被给予最广泛的解释，以涵盖所有这些修改和等效的结构与功能。另外，作为根据本实施例的控制的部分或全部，可以通过网络或各种存储介质将实现上述实施例的功能的计算机程序供给至照明控制装置。然后，照明控制装置的计算机(或者CPU或MPU等)可以被配置为读取并执行程序。在这种情况下，程序和存储程序的存储介质构成本发明。
本申请要求2021年4月5日提交的日本专利申请2021-064246和2022年1月26日提交的日本专利申请2022-009795的权益，这二者在此通过引用整体并入本文。

Claims (17)

1.一种照明控制装置，包括
可见光测量单元，其被配置为测量可见光分量的量；
至少一个处理器或电路，其被配置为用作如下单元：
红外照明单元，其被配置为进行红外照明；以及
控制单元，其被配置为使所述红外照明单元进行的所述红外照明的强度随着所述可见光测量单元所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。
2.根据权利要求1所述的照明控制装置，
其中，所述控制单元使所述红外照明单元进行的红外照明的强度随着所述可见光分量的量从所述第一阈值减小至所述第二阈值而逐渐减小。
3.根据权利要求1所述的照明控制装置，
其中，所述红外照明单元进行的照明的强度的上限是能够改变的。
4.根据权利要求3所述的照明控制装置，
其中，在所述可见光测量单元所测量的可见光分量的量小于所述第二阈值的情况下，所述红外照明单元进行的照明的强度提升至所述上限。
5.根据权利要求1所述的照明控制装置，
其中，所述控制单元预先设置有多个控制方式，所述多个控制方式用于随着所述可见光分量的量从所述第一阈值减小至所述第二阈值来控制所述红外照明单元进行的照明的强度。
6.根据权利要求1所述的照明控制装置，
其中，在从所述第一阈值到所述第二阈值的所述可见光分量的量的范围内，针对所述红外照明的强度的偏移量是能够调整的。
7.一种摄像装置，具有摄像镜头和摄像单元，所述摄像装置包括：
可见光测量单元，其被配置为测量可见光分量的量；
红外照明单元，其被配置为进行红外照明；以及
控制单元，其被配置为使所述红外照明单元进行的红外照明的强度随着所述可见光测量单元所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变，
其中，所述可见光测量单元基于从所述摄像单元获取的信息来测量所述可见光分量的量。
8.根据权利要求7所述的摄像装置，
其中，所述可见光测量单元根据所述摄像单元的曝光量、从所述摄像单元获取的图像的辉度信息以及所述摄像单元的增益中的至少一个来测量所述可见光分量的量。
9.根据权利要求7所述的摄像装置，包括：
红外截止滤波器，其被配置为插入在所述摄像镜头的摄像光路上或者从所述摄像镜头的摄像光路移除，
其中，在所述可见光分量的量小于或等于所述第一阈值的情况下，从所述摄像光路移除所述红外截止滤波器。
10.根据权利要求9所述的摄像装置，包括：
计算单元，其被配置为根据从所述摄像单元获取的图像来计算色度分量，
其中，所述计算单元在所述红外截止滤波器插入所述摄像光路上的情况下从所述图像计算第一色度分量，并且在所述红外截止滤波器从所述摄像光路移除的情况下从所述图像计算第二色度分量。
11.根据权利要求10所述的摄像装置，其中，在所述红外截止滤波器插入所述摄像光路上的情况下生成彩色图像，并且在所述红外截止滤波器从所述摄像光路移除的情况下根据所述第一色度分量、所述第二色度分量、以及所述红外照明单元所辐射的红外照明的强度来生成所述彩色图像或黑白图像。
12.根据权利要求11所述的摄像装置，
其中，在所述第一色度分量或所述第二色度分量小于第四阈值的情况下，所述红外照明单元的强度提升至输出上限。
13.根据权利要求7所述的摄像装置，还包括：
白平衡控制单元，
其中，所述白平衡控制单元中的白平衡控制范围是能够选择的。
14.根据权利要求13所述的摄像装置，还包括：
通信单元，
其中，所述通信单元经由网络从外部接收命令，并且控制所述红外照明的强度、红外截止滤波器相对于所述摄像镜头的摄像光路的插入/移除、以及所述白平衡中的至少一个。
15.根据权利要求7所述的摄像装置，
其中，存储具有所述红外照明的控制状态、红外截止滤波器相对于所述摄像镜头的摄像光路的插入/移除状态、以及图像输出状态的不同组合的多个模式，并且所述模式是能够选择的。
16.一种控制方法，包括：
测量可见光分量的量；
使红外照明单元所进行的红外照明的强度随着所述测量中所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。
17.一种非暂时性计算机可读存储介质，存储有用于执行控制方法的程序，所述控制方法包括：
测量可见光分量的量；
使红外照明单元所进行的红外照明的强度随着所述测量中所测量的可见光分量的量从第一阈值减小至第二阈值而逐渐改变。
CN202210350295.XA 2021-04-05 2022-04-02 照明控制装置、摄像装置、控制方法和存储介质 Pending CN115209059A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-064246 2021-04-05
JP2021064246 2021-04-05
JP2022009795A JP2022159983A (ja) 2021-04-05 2022-01-26 照明制御装置、撮像装置及びコンピュータプログラム
JP2022-009795 2022-01-26

Publications (1)

Publication Number Publication Date
CN115209059A true CN115209059A (zh) 2022-10-18

Family

ID=81384596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210350295.XA Pending CN115209059A (zh) 2021-04-05 2022-04-02 照明控制装置、摄像装置、控制方法和存储介质

Country Status (3)

Country Link
US (1) US20220321764A1 (zh)
EP (1) EP4072119A1 (zh)
CN (1) CN115209059A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374202A (zh) * 2007-08-23 2009-02-25 欧姆龙株式会社 摄像装置以及摄像控制方法
KR20110015161A (ko) * 2009-08-07 2011-02-15 삼성테크윈 주식회사 영상 포화 방지 장치
CN105934941A (zh) * 2014-01-24 2016-09-07 Jvc建伍株式会社 摄像装置、视频信号处理方法以及视频信号处理程序
CN110536051A (zh) * 2018-05-24 2019-12-03 佳能株式会社 摄像设备及其控制方法和存储介质
JP2020170966A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 撮像装置、撮像装置の制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015058166A2 (en) * 2013-10-18 2015-04-23 Flir Systems, Inc. Measurement device for lighting installations and related methods
JP6484504B2 (ja) 2015-06-10 2019-03-13 株式会社 日立産業制御ソリューションズ 撮像装置
JP6466809B2 (ja) 2015-09-25 2019-02-06 株式会社 日立産業制御ソリューションズ 撮像装置および撮像方法
CN107773225B (zh) * 2016-08-26 2021-07-30 松下知识产权经营株式会社 脉搏波计测装置、脉搏波计测方法以及记录介质
JP7206354B2 (ja) 2019-06-25 2023-01-17 東芝テック株式会社 商品販売データ処理装置及びプログラム
JP2021064246A (ja) 2019-10-16 2021-04-22 琉球インタラクティブ株式会社 プログラム、方法及び情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374202A (zh) * 2007-08-23 2009-02-25 欧姆龙株式会社 摄像装置以及摄像控制方法
KR20110015161A (ko) * 2009-08-07 2011-02-15 삼성테크윈 주식회사 영상 포화 방지 장치
CN105934941A (zh) * 2014-01-24 2016-09-07 Jvc建伍株式会社 摄像装置、视频信号处理方法以及视频信号处理程序
CN110536051A (zh) * 2018-05-24 2019-12-03 佳能株式会社 摄像设备及其控制方法和存储介质
JP2020170966A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 撮像装置、撮像装置の制御方法

Also Published As

Publication number Publication date
EP4072119A1 (en) 2022-10-12
US20220321764A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
US10339638B2 (en) Image processing device, imaging device, image processing method, and image processing program
US8842194B2 (en) Imaging element and imaging apparatus
US8786764B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium which perform backlight correction
US8629919B2 (en) Image capture with identification of illuminant
US9749546B2 (en) Image processing apparatus and image processing method
US8773551B2 (en) Signal processing apparatus, solid-state image capturing apparatus, electronic information device, signal processing method, control program and storage medium
US7880783B2 (en) Image pickup apparatus and method
US9036045B2 (en) Image processing apparatus and image processing method
US20110205392A1 (en) Image capture device
US7646406B2 (en) Image taking apparatus
KR101754425B1 (ko) 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
US9113117B2 (en) Image-taking apparatus and method for controlling the same
US9769391B2 (en) Imaging device including light modulation element that varies between high and low transmittance for each segment
US8559809B2 (en) Image shooting device
US10999523B2 (en) Image pickup apparatus, method for controlling image pickup apparatus, and storage medium for controlling flash photography when a still image is imaged
US9113095B2 (en) Imaging device with the autofocus
JP2019029833A (ja) 撮像装置
JPH11113018A (ja) 撮像装置
JP5970871B2 (ja) 電子カメラ
JP4106774B2 (ja) デジタルカメラ
JP2008305122A (ja) 画像処理装置、画像処理方法、およびプログラム
CN115209059A (zh) 照明控制装置、摄像装置、控制方法和存储介质
CN112055154A (zh) 一种摄像装置的控制方法、摄像装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination