CN111698434A - 图像处理设备及其控制方法和计算机可读存储介质 - Google Patents

图像处理设备及其控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN111698434A
CN111698434A CN202010164950.3A CN202010164950A CN111698434A CN 111698434 A CN111698434 A CN 111698434A CN 202010164950 A CN202010164950 A CN 202010164950A CN 111698434 A CN111698434 A CN 111698434A
Authority
CN
China
Prior art keywords
image
light image
visible light
region
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010164950.3A
Other languages
English (en)
Other versions
CN111698434B (zh
Inventor
沼田爱彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111698434A publication Critical patent/CN111698434A/zh
Application granted granted Critical
Publication of CN111698434B publication Critical patent/CN111698434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理设备及其控制方法和计算机可读存储介质。该图像处理设备包括：获取单元，其被配置为获取可见光图像和不可见光图像；确定单元，其被配置为基于所述获取单元所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及合成单元，其被配置为生成复合图像，使得在所述确定单元所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率，其中，所述获取单元获取调整了曝光的可见光图像，使得所述可见光图像的与所述确定单元所确定的区域相对应的区域具有适当曝光。

Description

图像处理设备及其控制方法和计算机可读存储介质
技术领域
本发明涉及图像处理设备、用于控制图像处理设备的方法和计算机可读存储介质。
背景技术
监视应用等所用的摄像设备需要在各种环境中获取清晰的被摄体图像。作为即使在仅使用可见光不能获取到被摄体图像的环境下也能够获取清晰的被摄体图像的摄像设备，提出了如下的摄像设备，该摄像设备包括对可见光敏感的固态图像传感器和对红外光敏感的固态图像传感器，并且被配置为显示通过将这两个固态图像传感器所获取到的图像合成而获得的图像(日本特开2006-180270和日本特开2007-208346)。
日本特开2006-180270提出了如下的方法：在可见光图像传感器所获取到的图像(以下称为可见光图像)的部分区域过度曝光的情况下，用红外光图像传感器所获取到的图像(以下称为红外光图像)替换该过度曝光区域。此外，日本特开2007-208346提出了如下的方法：在可见光图像的部分区域曝光不足的情况下，用红外光图像替换该曝光不足区域。即使在可见光图像的部分区域出现高光溢出和暗部缺失的情况下，使用这样的方法也使得可以获取清晰的被摄体图像。
然而，出现如下的问题：利用上述方法，在用红外光图像替换的区域中，与被摄体的颜色有关的信息将丢失。特别地，当假定摄像设备用于识别被摄体、以及监视应用等时，在颜色信息对被摄体的识别重要的情况下，颜色信息的不足将是大问题。
发明内容
本发明提供用于在不会丢失与被摄体有关的颜色信息的情况下、生成通过将可见光图像和红外光图像合成所获得的图像的技术。
典型实施例的一方面涉及一种图像处理设备，包括：获取单元，其被配置为获取可见光图像和不可见光图像；确定单元，其被配置为基于所述获取单元所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及合成单元，其被配置为生成复合图像，使得在所述确定单元所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率，其中，所述获取单元获取调整了曝光的可见光图像，使得所述可见光图像的与所述确定单元所确定的区域相对应的区域具有适当曝光。
典型实施例的另一方面涉及一种图像处理设备的控制方法，所述控制方法包括：获取可见光图像和不可见光图像；基于在所述获取中所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及生成复合图像，使得在所述确定中所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率；其中，在所述获取中，获取调整了曝光的可见光图像，使得所述可见光图像的与在所述确定中所确定的区域相对应的区域具有适当曝光。
典型实施例的又一方面涉及一种存储有一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由被配置为将可见光图像和不可见光图像合成以生成复合图像的图像处理设备的处理器执行时，使所述图像处理设备进行以下操作：获取可见光图像和不可见光图像；基于在所述获取中所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及生成复合图像，使得在所述确定中所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率；其中，在所述获取中，获取调整了曝光的可见光图像，使得所述可见光图像的与在所述确定中所确定的区域相对应的区域具有适当曝光。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出与典型实施例相对应的系统的结构示例的图。
图2A是示出与典型实施例相对应的波长选择棱镜的分光透射谱和分光反射谱的示例的图。
图2B是示出与典型实施例相对应的设备的硬件结构的一个示例的图。
图3是示出与典型实施例相对应的处理的一个示例的流程图。
图4是示出与典型实施例相对应的用于选择模式的方法的图。
图5是示出与典型实施例相对相应的用于设置第一阈值的方法的图。
图6A是示出与典型实施例相对应的用户设置第一阈值所用的方法的图。
图6B是示出与典型实施例相对应的用户设置第一阈值所用的另一方法的图。
图7是示出与典型实施例相对应的用户设置第一阈值所用的又一方法的图。
图8A-8D是示出与典型实施例相对应的用于分割区域的方法的一个示例的图。
具体实施方式
以下将参考附图来详细说明实施例。注意，以下实施例并不意图限制要求保护的发明的范围。在实施例中说明了多个特征，但并未限制成需要所有这样的特征的发明，并且可以适当组合多个这样的特征。此外，在附图中，将相同的附图标记赋予至相同或相似的结构，并且省略了对这些结构的重复说明。
实施例1
将参考图1来说明与典型实施例相对应的系统的结构。图1是示出根据本实施例的系统10的结构示例的图。与本实施例相对应的系统10由摄像设备100和信息处理设备120经由网络110彼此连接构成。
以下说明与实施例相对应的摄像设备100和信息处理设备120的结构。摄像设备100被构成为图像处理设备，该图像处理设备包括由成像光学系统101和光分离单元102构成的一个光学系统、以及共用该光学系统的两个图像传感器103和104。作为一个示例，图像传感器被构成为：可见光图像传感器103，用于接收穿过了光学系统的可见光，并且生成图像信号(可见光图像)；以及红外光图像传感器(不可见光图像传感器)104，用于接收穿过了光学系统且作为不可见光的红外光，并且生成图像信号(红外光图像或不可见光图像)。图像传感器103和104各自由CMOS传感器或CCD传感器等构成，并且将在摄像面上形成的被摄体图像转换成电气信号并输出该电气信号。从图像传感器103等输出的作为电气信号的摄像信号被输入至图像处理单元106。
光学系统中的成像光学系统101包括单个透镜或一组多个透镜。此外，成像光学系统101可以包括诸如变焦、调焦、光圈和照相机抖动补偿等的控制机构中的任一个或多个。光分离单元102由波长选择棱镜构成，并且被配置成使得：波长比特定波长短的光(可见光)穿过波长选择棱镜，并且波长比特定波长长的光(红外光)被波长选择棱镜反射。注意，透射/反射在这里是指透射/反射80％以上的光。穿过的可见光的分量由布置在后方的可见光图像传感器103进行光电转换，并且形成图像。另一方面，反射的红外光的分量由被布置成与光轴对齐的红外光图像传感器103进行光电转换，并且形成图像。这里，例如，可以将特定波长设置为600nm-750nm(包含端点)的范围内的波长。在这种情况下，可见光和红外光之间的边界是600nm-750nm(包含端点)的范围内的波长。另外，例如，红外光对应于具有从特定波长到2500nm的波长的光。
可见光图像传感器103中的像素包括按RGB拜尔阵列布置的片上滤色器，并且从可见光图像传感器103输出的RGB格式的可见光图像除包括亮度信息外还包括颜色信息。另一方面，从红外光图像传感器104输出的红外光图像仅包括亮度信息。注意，可见光图像传感器103仅需具有主要包括可见光的范围内的感光度分布，并且可以具有除可见光以外的范围内的感光度分布。此外，红外光图像传感器104仅需具有主要包括红外光的范围内的感光度分布，并且可以具有除红外光以外的范围内的感光度分布。控制器105控制可见光图像传感器103和红外光图像传感器104的驱动，并由此控制图像信号的读取。
图2A示出波长选择棱镜的分光透射谱和分光反射谱的示例。实线表示透射，并且虚线表示反射。以这种方式，以特定波长作为边界来切换透射和反射。
可见光图像传感器103和红外光图像传感器104各自连接至控制器105和图像处理单元106并由控制器105和图像处理单元106控制，并且利用共用的光学系统彼此同步地进行摄像。通过这样的同步摄像所获得的摄像信号通过下游的合成处理构成一帧的复合图像。有鉴于此，在下文，“针对各帧”是指通过同步摄像所获得的摄像信号、或者从摄像信号获得的图像(包括复合图像)。在图像处理单元106中对从图像传感器103等输出的摄像信号进行各种类型的图像处理。
图像处理单元106对摄像信号进行诸如像素插值处理或颜色转换处理等的图像处理，并且生成由图像传感器分别拍摄到的图像的数据(还称为“拍摄图像”或作为要进行合成处理的图像的“复合前图像”)。例如，该图像处理可以包括诸如像素缺陷校正或透镜校正等的各种类型的校正处理、用于调整黑电平、焦点和曝光等的检测处理、去马赛克处理、白平衡处理、伽马校正处理、边缘增强处理和噪声抑制处理。
此外，图像处理单元106根据用户所选择的摄像模式，通过用于将由共用的光学系统彼此同步地拍摄到的可见光图像和红外光图像合成的合成处理来生成复合图像。例如，合成处理是指以下所述的处理。首先，对以RGB格式读出的可见光图像进行去马赛克处理，进行显像，并转换成YUV格式的图像。将此时从可见光图像获得的YUV信号分别表示为Y1、U1和V1。同样，还对红外光图像进行显像并转换成YUV格式。将此时的红外光图像的Y信号表示为Y2。注意，红外光图像不具有颜色信息，并且U值和V值为零。
然后，将Y1信号和Y2信号合成以生成复合图像。具体地，在将复合图像的YUV信号分别表示为Y3、U3和V3时，使用以下的等式来生成复合图像。
Y3＝α×Y1+(1-α)×Y2···(等式1)
U3＝U1···(等式2)
V3＝V1···(等式3)
这里，α表示用于确定可见光图像和红外光图像的合成比率的系数，并且是0-1(包括端点)的实数。复合图像随着α的增大而更接近可见光图像，因而具有颜色再现性更好的图像信号。利用本实施例中的摄像设备100，α在各区域中变化。具体地，α可以在可见光图像的亮度(Y1)为预定值以上(第一阈值以上)的区域(第一区域)和除第一区域以外的可见光图像的亮度Y1小于预定值(小于第一阈值)的区域(第二区域)之间改变。后面将说明其详情。此外，控制器105可以根据用户所选择的摄像模式来确定可见光图像传感器103的曝光条件和红外光图像传感器104的曝光目标(所谓的EV值)。
将拍摄图像存储在存储器107中。另外，在低照度环境下，由图像传感器分别拍摄并存储在存储器107中的图像由图像处理单元106的图像合成单元连续合成，以生成各帧的图像，并且将该合成后的图像作为可见光图像和红外光图像的复合图像存储在存储器中。
控制器105例如可以由CPU、MPU或其它专用运算电路等构成，并且进行摄像设备100的整体控制。存储器107由非易失性存储器或RAM等构成。非易失性存储器存储控制器105的处理过程(控制程序)、以及各种参数。RAM用作控制器105的工作区域，并且还用作用于进行图像处理的存储区域。此外，控制器105可以包括图像处理单元106、图像合成单元(未示出)和压缩/解压缩单元，并且这些块的处理功能可以通过CPU执行存储器107中所存储的相应程序来实现。可选地，这些处理功能可以由构成控制器105的专用运算电路来实现。
控制器105还可以使用压缩/解压缩单元(未示出)来压缩复合图像以生成压缩图像。压缩/解压缩单元可以执行静止图像压缩和运动图像压缩，并且图像压缩方法例如可以基于诸如H.264、H.265、MPEG或JPEG等的标准。此外，可以生成以包括mp4或avi格式等的任何格式的图像。压缩/解压缩单元所生成的压缩图像可被记录在摄像设备100上所安装的记录介质(未示出)或存储器107等中，并且从通信单元108经由网络110被发送至外部信息处理设备120。通信单元108是网络处理电路，将压缩后的复合图像转换成符合通信协议的通信信号，然后通过网络110分发该通信信号。例如，网络110可被构成为诸如LAN或因特网等的用于启用基于IP的通信的通信线路。可选地，摄像设备100和信息处理设备120之间的连接可以使用用于传送信息的线缆(诸如USB、DVI和HDMI线缆等的各种连接线缆)通过有线连接来实现，或者可以根据诸如蓝牙(Bluetooth)或WLAN等的无线通信协议通过无线连接来实现。
信息处理设备120通常被构成为个人计算机，并且经由网络110连接至摄像设备100。信息处理设备120的控制器121可以由CPU、MPU或其它专用运算电路等构成，并且进行信息处理设备120的整体控制。此外，控制器121从摄像设备100接收复合图像并对该复合图像进行解压缩处理，并且通过发送用于控制摄像设备100的控制信息或命令来进行各种控制。显示单元122向信息处理设备120的用户(操作员)显示用户界面(UI)或从摄像设备100接收到的图像。操作单元123是用于接受用户所进行的操作输入的用户物理接口。可以通过基于显示单元122上所显示的诸如图标等的用户界面(UI)操作鼠标或键盘等来进行期望的控制输入。通信单元124是网络处理电路，可以经由网络110与摄像设备100进行通信，接收摄像设备100所分发的复合图像，并且控制摄像设备100的操作。
在图2B中示出上述的摄像设备100和信息处理设备120的硬件结构的一个示例。图2B是示出主要与摄像设备100和信息处理设备120的控制器和处理单元有关的硬件结构的一个示例的框图。这里，未示出摄像设备100的图像传感器和光学机构。
在图2B中，CPU 201通过执行硬盘装置(以下称为“HD”)206中所存储的操作系统(OS)、控制程序或处理程序等来实现与本实施例相对应的处理。此外，CPU 201控制经由接口(I/F)209相对于外部设备的数据的发送和接收。CPU 201可以用作图1所示的控制器105或图像处理单元106。
ROM 202在内部除了存储基本I/O程序之外，还存储诸如用于执行预定处理的应用程序等的各种数据。RAM 203暂时存储各种数据，并且用作CPU 201的主存储器或工作区域等。外部存储驱动器204是用于实现对记录介质的访问的外部存储驱动器，并且可以将介质(记录介质)205中所存储的程序等加载在该计算机系统上。此外，在外部存储驱动器204内可以累积通过摄像设备100的摄像所获得的图像。在本实施例中，使用用作大容量存储器的HD(硬盘)作为外部存储装置206。在HD 206中存储有应用程序、OS、控制程序和相关程序等。注意，代替硬盘，可以使用诸如闪速存储器(flash memory，注册商标)等的非易失性存储装置。图1所示的存储器107由ROM 202、RAM 203或HD 206构成。
触摸面板、各种按钮和各种键等对应于指示输入设备207。系统总线210管理装置中的数据流。
输出设备208输出通过指示输入设备207所输入的命令、以及对该命令的装置响应等。输出设备208可以包括显示器、扬声器和耳机插孔等。系统总线210管理设备中的数据流。
接口(称为“I/F”)209扮演传达与外部设备的数据交换的角色。具体地，I/F 209可以包括无线通信模块，并且该模块可以包括外围电路机构，诸如天线系统、R/F发送器/接收器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户识别模块卡和存储器等。
此外，该模块可以包括有线连接所用的有线通信模块。有线通信模块能够经由一个或多个外部端口与其它装置进行通信。此外，可以包括用于处理数据的各种软件组件。外部端口经由以太网(Ethernet)、USB或IEEE1394等直接地或者经由网络间接地连接至其它装置。注意，代替硬件装置，这些也可以由用于实现与上述设备的功能等同的功能的软件构成。
接着，将参考图3来说明摄像设备100所执行的处理的流程。例如，可以通过用作控制器105和图像处理单元106的一个或多个处理器(CPU 201等)执行(ROM 202和HD 206等中所存储的)相应程序来实现与图3相对应的处理。
首先，在步骤S301中，控制器105判断摄像模式。用户可以预先指定摄像模式。这里，将说明用于指定摄像模式的方法。图4是示出用于选择摄像模式的方法的图。控制器105将诸如图4所示的画面等的画面显示在输出设备208的显示器上。画面400包括用于显示复合图像的区域401和用于显示用于选择模式的选择界面的区域402。在区域402中所显示的选择界面上，显示“明部颜色强调模式”作为第一摄像模式，并且显示“暗部颜色强调模式”作为第二摄像模式。图4示出选择“明部颜色强调模式”的状态。用户可以通过操作指示输入设备207的按钮或触摸面板来切换要选择的模式。
在本实施例中，尽管将说明在摄像设备100上显示图4所示的显示画面并进行操作输入的情况，但本实施例不限于此。可以采用如下的结构：摄像设备经由网络110连接至外部的信息处理设备120，在信息处理设备120上显示图4所示的画面，并且用户进行选择操作。在这种情况下，将与所选择的模式有关的信息经由网络110发送至摄像设备100，并存储在摄像设备100的存储器107中。
如果在步骤S301中控制器105判断为选择了“明部颜色强调模式”、即“第一摄像模式”，则处理进入步骤S302A。在这种情况下，与摄像场景中位于明部的被摄体有关的颜色信息同与位于暗部的被摄体有关的颜色信息相比对于用户而言更加重要，并且用户需要优先明部中被摄体的颜色再现性。有鉴于此，在第一摄像模式中，确定曝光目标以生成强调与明部有关的颜色信息的复合图像，并且进行合成处理。
另一方面，如果控制器105判断为选择了“暗部颜色强调模式”、即“第二摄像模式”，则处理进入步骤S302B。在这种情况下，用户决定为与摄像场景中位于暗部的被摄体有关的颜色信息同与位于明部的被摄体有关的颜色信息相比更加重要。有鉴于此，在第二摄像模式中，确定曝光目标以生成强调与暗部有关的颜色信息的复合图像，并且进行合成处理。
在用户以这种方式选择摄像模式的情况下，需要判断与明部和暗部有关的颜色信息的重要度，因而优选画面400的区域401中所显示的复合图像是强调颜色再现性优先于SN比的图像。有鉴于此，在用户选择模式的情况下显示的复合图像优选接近可见光图像(α接近1)，并且更优选与可见光图像一致(α＝1)。
返回到图3，并且将说明判断为选择了第一摄像模式的情况。如果判断为选择了第一摄像模式，则在步骤S302A中，图像处理单元106将可见光图像分割成两个区域。这些区域对应于可见光图像中的“明部”和“暗部”。在本实施例中，将与明部相对应的区域称为“第一区域”，并且将与暗部相对应的区域称为“第二区域”。在第一摄像模式中，将第一区域指定为优先颜色再现性的优先区域，并且在第二摄像模式中，将第二区域指定为优先颜色再现性的优先区域。使用亮度值的阈值(第一阈值：Th1)来分割区域。具体地，将可见光图像分割成亮度值Y1为预定值以上(第一阈值以上)的第一区域和亮度值Y1小于预定值(小于第一阈值)的第二区域。
这里，将参考图5来说明用于设置第一阈值的方法。图5是示出与实施例相对应的用于设置第一阈值(TH1)的方法的图。在图5中，横轴表示可见光图像的亮度值(Y1)，并且纵轴表示频率，因此示出可见光图像的亮度值的直方图。通常，在明度差大的场景中，存在直方图具有该直方图被分割成两个块(block)的形状的许多情况。在图5中，在右侧表示为第一区域的范围对应于明部，并且在左侧表示为第二区域的范围对应于暗部。有鉴于此，将第一阈值设置为位于直方图的两个块之间的部分的值。具体地，可以使用在处理灰度图像的二值化问题的情况下使用的判别分析法等来确定第一阈值，使得亮度分布的分离度最大。注意，这里的“最大”可能包括误差，并且例如，可以确定第一阈值，使得分离度是分布的分离度的最大值的一半以上。
再次地，返回到图3，并且在步骤S303A中，控制器105确定可见光图像传感器103和红外光图像传感器104的曝光目标。根据第一区域中的可见光图像的亮度值Y1的平均值(或中间值)Y11av来确定可见光图像传感器103的曝光目标。具体地，在适当曝光水平(通常为图像信号的饱和水平的约0.1倍-0.2倍)为Y0、并且曝光目标的初始值是EV0的情况下，使用以下等式来确定下一帧中的可见光图像传感器103的曝光目标EV11。
EV11＝EV0+log2(Y11av/Y0)···(等式4)
另一方面，根据第二区域中的红外光图像的亮度值Y2的平均值(或中间值)Y22av来确定红外光图像传感器104的曝光目标。具体地，使用以下等式来确定下一帧中的红外光图像传感器104的曝光目标EV12。
EV12＝EV0+log2(Y22av/Y0)···(等式5)
也就是说，在步骤S303A中，确定曝光目标，使得在下一帧中，第一区域中的可见光图像的亮度和第二区域中的红外光图像的亮度分别达到适当曝光水平。以这种方式，在第一摄像模式中，可见光图像传感器103的曝光目标高于红外光图像传感器104的曝光目标。具体地，为了具有不同的曝光目标，可见光图像传感器103和红外光图像传感器104具有不同的曝光时间(所谓的TV值)或不同的模拟增益(所谓的SV值)，这就足够了。
在随后的步骤S304A中，控制器105使用在步骤S303A中确定的曝光目标来控制可见光图像传感器103和红外光图像传感器104以拍摄图像，然后图像处理单元106使用所生成的可见光图像和红外光图像来进行合成处理。特别地，在第一区域的系数α是α1并且第二区域的系数α是α2的情况下生成复合图像。此时，α1和α2满足以下的关系表达式。
α1>α2···(等式6)
关于第一区域，即在Y1≥TH1的情况下，等式1如下变换。
Y3＝α1×Y1+(1-α1)×Y2···(等式1’)
此外，关于第二区域，即Y1<TH1的情况下，等式1如下变换。
Y3＝α2×Y1+(1-α2)×Y2···(等式1”)
以这种方式，在本实施例的第一摄像模式中，设置曝光目标，并且进行合成处理，使得与明部相对应的第一区域同与暗部相对应的第二区域相比更接近可见光图像。结果，作为优先区域的第一区域的图像信号的颜色再现性比第二区域的图像信号的颜色再现性好。
在等式6中，优选α1更接近1且α2更接近0，并且例如，可以采用α1＝1且α2＝0的结构。可选地，可以采用如下的结构：在第一摄像模式中，复合图像的第一区域与可见光图像一致，并且复合图像的第二区域与红外光图像一致。
以下将说明其原因。步骤S304A中所获取到的可见光图像是以第一区域具有适当曝光水平的方式拍摄的，由此可见光图像的第二区域是在相对于适当条件的曝光不足的条件下拍摄的，因而有可能出现暗部缺失。因而，α2越接近于1，在第二区域中越有可能出现暗部缺失。同样，在步骤S304A中所获取到的红外光图像是以第二区域具有适当曝光水平的方式拍摄的，由此红外光图像的第一区域是在相对于适当条件的过度曝光的条件下拍摄的，因而有可能出现高光溢出。因而，α1越接近于0，在第一区域中越有可能出现高光溢出。
注意，在合成处理时，在第一区域和第二区域之间的边界处，可以逐级地改变合成系数α。具体地，在上述说明中，尽管Y1≥TH1的区域是第一区域并且TH1>Y1的区域是第二区域，但还可以设置第二阈值TH2(TH1>TH2)。此时，例如，可以采用如下的结构：将TH2>Y1的区域设置为第二区域，并且在TH1>Y1≥TH2的范围内，从Y1大的侧(更靠近第一区域的侧)向着Y1小的侧(更靠近第二区域的侧)，改变合成系数α以从α1向着α2逐渐减小。由于通过以这种方式在第一区域和第二区域之间的边界处逐级地改变α使得形成平滑的边界，因此可以获得自然的复合图像。
返回到图3，并且在步骤S304A的处理完成时，针对各帧重复从步骤S302A到步骤S304A的处理。这里，根据可见光图像的直方图来更新第一阈值，根据第一区域中的可见光图像的亮度和第二区域中的红外光图像的亮度来更新曝光目标，针对下一帧拍摄图像，并且进行合成处理。
此时，无需针对各帧更新第一阈值。可以通过降低第一阈值的更新频率来降低处理负荷，并且可以减少电力消耗。另一方面，在第一阈值的更新频率增加的情况下，可以更快速地处理明度的随时间经过的变化。此外，可以采用如下的结构：在更新第一阈值的情况下，进行控制以使变化量保持于特定值以下。通过以这种方式抑制第一阈值在短时间内的快速增大或减小，可以抑制所谓的隆起(hunching)现象的发生。
接着，将说明在步骤S301中判断为选择了第二摄像模式的情况。如果判断为选择了第二摄像模式，则与步骤S302A相同，在步骤S302B中，图像处理单元106将可见光图像分割成两个区域。具体地，将可见光图像分割成亮度值Y1为第一阈值以上的第一区域和亮度值Y1小于第一阈值的第二区域。与步骤S302A中所述的情况相同，可以基于可见光图像的直方图来确定第一阈值。
然后，在步骤S303B中，控制器105确定可见光图像传感器103和红外光图像传感器104的曝光目标。根据第二区域中的可见光图像的亮度值Y2的平均值(或中间值)Y12av来确定可见光图像传感器103的曝光目标。此外，根据第一区域中的红外光图像的亮度值Y2的平均值(或中间值)Y21av来确定红外光图像传感器104的曝光目标。与步骤S303A相同，使用以下的等式来确定下一帧中的可见光图像传感器103的曝光目标EV11和红外光图像传感器104的曝光目标EV12。
EV11＝EV0+log2(Y12av/Y0)···(等式7)
EV12＝EV0+log2(Y21av/Y0)···(等式8)
也就是说，在步骤S303B中，确定曝光目标，使得在下一帧中，第一区域中的红外光图像的亮度和第二区域中的可见光图像的亮度分别达到适当曝光水平。以这种方式，在第二摄像模式中，可见光图像传感器103的曝光目标低于红外光图像传感器104的曝光目标。具体地，为了具有不同的曝光目标，可见光图像传感器103和红外光图像传感器104具有不同的曝光时间(所谓的TV值)或不同的模拟增益(所谓的SV值)，这就足够了。
在随后的步骤S304B中，控制器105使用步骤S303B中所确定的曝光目标来控制可见光图像传感器103和红外光图像传感器104以拍摄图像，然后图像处理单元106使用所生成的可见光图像和红外光图像来进行合成处理。具体地，在第一区域的合成系数是α1并且第二区域的合成系数是α2的情况下生成复合图像。此时，α1和α2满足以下的关系表达式。此外，与选择第一摄像模式的情况相同，等式1针对第一区域变换为等式1'并且针对第二区域变换为等式1”。
α1<α2···(等式9)
以这种方式，在本实施例的第二摄像模式中，设置曝光目标，并且进行合成处理，使得与暗部相对应的第二区域同第一区域相比更接近可见光图像。结果，作为优先区域的第二区域的图像信号的颜色再现性比第一区域的图像信号的颜色再现性好。
根据等式9，优选α1更接近0且α2更接近1，并且可以采用α1＝0并且α2＝1的结构。可选地，可以采用如下的结构：在第二摄像模式中，复合图像的第二区域与可见光图像一致，并且复合图像的第一区域与红外光图像一致。
以下将说明其原因。步骤S304B中所获取到的可见光图像是以第二区域具有适当曝光水平的方式拍摄的，由此可见光图像的第一区域是在相对于适当条件的过度曝光的条件下拍摄的，因而有可能出现高光溢出。因而，α1越接近1，在第一区域中越有可能出现高光溢出。同样，步骤S304B中所获取到的红外光图像是以第一区域具有适当曝光水平的方式拍摄的，由此红外光图像的第二区域是在相对于适当条件的曝光不足的条件下拍摄的，因而有可能出现暗部缺失。因而，α2越接近0，在第二区域中越有可能出现暗部缺失。
与步骤S304A相同，同样在步骤S304B中，在第一区域和第二区域之间的边界处，可以逐级地改变合成系数α。具体地，从更靠近第一区域的侧向着更靠近第二区域的侧，可以改变合成系数α以从α1向着α2逐渐增大。
返回到图3，并且在步骤S304B中的处理完成的情况下，针对各帧重复从步骤S302B到步骤S304B的处理。这里，根据可见光图像的直方图来更新第一阈值，根据第一区域中的红外光图像的亮度和第二区域中的可见光图像的亮度来更新曝光目标，针对下一帧进行摄像，并且进行合成处理。
如上所述，本实施例中的摄像设备100将图像分割成明部(第一区域)和暗部(第二区域)，并且在第一区域和第二区域中的一个区域仅包括可见光图像并且另一区域仅包括不可见光图像的情况下生成复合图像。此外，作为可见光图像传感器103和红外光图像传感器104在适当曝光条件下对区域进行摄像并进行合成处理的结果，可以抑制高光溢出和暗部缺失的出现。采用如下的结构：此时，根据与明部有关的颜色信息和与暗部有关的颜色信息中的哪个颜色信息重要、或者优先哪个部分的颜色再现性，来切换对明部和暗部进行摄像的图像传感器。在第一摄像模式中，优先明部的颜色再现性，并且针对明部使用可见光图像且针对暗部使用红外光图像来生成复合图像。此外，在第二摄像模式中，针对暗部使用可见光图像且针对明部使用红外光图像来生成复合图像。因此，可以在不会丢失与具有重要颜色信息的被摄体有关的颜色信息的情况下抑制高光溢出和暗部缺失的出现。
尽管在图1中示出光分离单元102由透射可见光并反射红外光的波长选择棱镜构成的示例，但可以使用透射红外光并反射可见光的波长选择棱镜。在这种情况下，交换图1中的可见光图像传感器103的位置和红外光图像传感器104的位置就足够了。
另外，尽管在图1中使用光分离单元102将具有不同的谱特性的光引导到可见光图像传感器103和红外光图像传感器104，但可以使用可见光图像传感器103和红外光图像传感器104具有不同的独立光学系统的所谓的双透镜类型。同样在这种情况下，彼此同步地拍摄图像。在这种情况下，基于合成参数来进行合成处理，使得在各个复合前图像中同一被摄体的位置彼此一致。例如，合成参数的示例包括用于进行拍摄图像的诸如放大、缩小和失真校正等的变形处理的参数、以及用于从经过了校正处理的拍摄图像中剪切图像的参数。可以基于光学系统与图像传感器103和104之间的布置关系来预先计算合成参数，并将这些合成参数保持在存储器107中。此外，摄像设备100可以通过将光学系统和图像传感器对准来构成，使得不需要进行对准。
由于可以向图像传感器的光学系统设置独立的光圈，因此可以将光圈的控制(所谓的AV值)添加到曝光目标的控制。此外，可见光图像传感器103和红外光图像传感器104可以各自具有ND滤波器、以及用于插入和移除ND滤波器的机构。在这种情况下，可以将ND滤波器的插入和移除添加到曝光目标的控制。
此外，摄像设备100可以包括选择性地发射可见光的白色照明元件和选择性地发射红外光的红外照明元件中的任一个或这两者。改变白色照明元件的输出水平使得可以在不改变入射到红外光图像传感器104上的光量的情况下，控制入射到可见光图像传感器103上的光量。同样，改变红外照明元件的输出水平使得可以在不改变入射到可见光图像传感器103上的光量的情况下，控制入射到红外光图像传感器104上的光量。因而，还可以将白色照明元件和红外照明元件的输出水平的控制添加到曝光目标的控制。
在摄像设备100中，尽管在与图3所示的流程图相对应的处理中在步骤S302A和步骤S302B的处理中确定第一阈值，但可以采用用户能够确定第一阈值的结构。具体地，可以采用如下的结构：将诸如图6A所示的画面等的画面显示在输出设备208的显示器上，并且接受用户所进行的设置输入。
图6A是示出用户根据可见光图像的直方图直接确定第一阈值的示例的图。在图6A中，画面600包括用于显示复合图像的区域601、用于显示直方图的区域602、以及用于参考直方图来设置第一阈值(TH1)的设置界面603。在设置界面603上，可以通过操作左右方向按钮使第一阈值TH1沿亮度方向(横轴方向)移动。在改变第一阈值时，根据改变后的第一阈值来在区域601中所显示的复合图像上利用框线604显示第一区域601A和第二区域601B。
可以采用如下的结构：根据用户此时调整的第一阈值来在区域601中显示合成系数α改变的复合图像。在用户按照期望设置第一区域601A和第二区域601B时，用户可以通过操作设置界面603的阈值确定按钮来确定第一阈值TH1。例如，将所确定的第一阈值保持在存储器107中。
接着，图6B是示出设置界面603的替代示例的图。在图6B中，可以通过利用滚动条来设置阈值。根据滚动条的位置来设置第一阈值。此外，可以采用如下的结构：可以根据用户调整后的第一阈值来在区域601中显示合成系数改变的复合图像。
以上在图4中说明了用户选择明部颜色强调模式(第一摄像模式)或暗部颜色强调模式(第二摄像模式)作为操作模式的情况。本实施例不限于此，并且代替操作模式，用户可以直接指定要强调颜色信息的区域。图7示出在这种情况下显示的用户界面的一个示例。在图7中，在画面700上显示用于显示复合图像的区域701，并且在所显示的图像上叠加表示要强调颜色信息的区域的显示702。可以使用界面703来设置该显示702。例如，可以通过触摸面板或光标键来实现界面703。
在用户所指定的区域702的平均亮度(中间值)大于或等于除区域702以外的区域的平均亮度(中间值)的情况下，摄像设备100可以判断为用户正强调与明部有关的颜色信息。在这种情况下，摄像设备100以第一摄像模式工作。另一方面，在区域702的平均亮度(中间值)小于或等于除区域702以外的区域的平均亮度(中间值)的情况下，摄像设备100可以判断为用户强调了与暗部有关的颜色信息。在这种情况下，摄像设备100以第二摄像模式工作。
用户不仅可以直接地而且还可以间接地指定要强调颜色信息的区域702。可以采用如下的结构：例如，在用户指定追踪模式作为摄像设备100的操作模式的情况下，决定为用户想要强调与作为要追踪的被摄体的人物或车辆有关的颜色信息，并且通过要追踪的被摄体的亮度的平均值和除被摄体部分以外的背景的亮度的平均值之间的比较来确定摄像模式。
例如，在与作为被摄体的人物相对应的区域的平均亮度(中间值)大于或等于其它区域的平均亮度(中间值)的情况下，摄像设备100判断为用户正强调与明部有关的颜色信息，并且以第一摄像模式工作。另一方面，在与人物相对应的区域的平均亮度小于或等于其它区域的平均亮度的情况下，摄像设备100判断为用户正强调与暗部有关的颜色信息，并且以第二摄像模式工作。注意，在存在可以追踪的多个被摄体的情况下，可以从用户接受要追踪的被摄体的指定。
此外，存在根据直方图的形状、针对第一区域和第二区域的合成系数无需彼此不同的情况。例如，在诸如图5所示的场景等的场景中明度差小于预定值的情况下，即使使用可见光图像或红外光图像，也不会出现高光溢出或暗部缺失。有鉴于此，在这种情况下，可以利用相同的合成系数(α1＝α2)对第一区域和第二区域进行合成处理。
这里，可以使用直方图的亮度值中的最大值和最小值之间的比来定义场景中的明度差。此时，优选将明显不频繁的信号作为噪声去除，然后定义最大值和最小值之间的比。可以基于可见光图像传感器103的动态范围(最大信号水平相对于最小信号水平的比)来确定用于确定明度差的预定值。具体地，优选将预定值确定为可见光图像传感器103的动态范围的0.1倍以上且1倍以下的值。
另外，可以使用可见光图像的亮度(从可见光图像的亮度获得的被摄体的照度)来确定在场景的明度差小的情况下的合成系数。在可见光图像的亮度足够高(高于预定亮度值)的情况下，优选强调颜色再现性并使合成系数α更接近1。另一方面，在可见光图像的亮度足够低(小于或等于预定亮度值)的情况下，优选使合成系数α更接近0。这是因为，在诸如夜间等的低照度时，红外光分量更有可能比可见光分量强，并且使α更接近0使得可以获取与可见光图像相比具有更好的SN比且具有亮度信息和颜色信息这两者的复合图像。
注意，在模式从对第一区域和第二区域使用不同的合成系数的状态切换到对所有区域使用同一合成系数的模式时，可以以弹出方式显示该切换的表示。此外，可以采用如下的结构：在图4所示的区域402中，除了可以选择明部颜色强调模式(第一摄像模式)和暗部颜色强调模式(第二摄像模式)之外，还可以选择强调明部颜色和暗部颜色这两者的模式(第三摄像模式)。在第三摄像模式的情况下，对所有区域使用根据可见光图像的亮度所确定的同一合成系数。
注意，在上述实施例中说明了用于将可见光图像和红外光图像合成的处理主要由摄像设备100的图像处理单元106执行的情况。然而，实施例不限于此。可以采用如下的结构：将摄像设备100所生成的可见光图像和红外光图像经由网络110发送至信息处理设备120侧，并且信息处理设备120用作执行合成处理的图像处理设备。同样在这种情况下，处理的内容与上述相同。
如上所述，在场景的明度差大的情况下，与本实施例相对应的摄像设备100在不会丢失与具有重要颜色信息的被摄体有关的颜色信息的情况下，抑制高光溢出和暗部缺失的出现。另外，在场景的明度差小的情况下，通过根据整个场景的明度来控制合成系数，在低照度时，也可以获取具有良好的SN比并且具有亮度信息和颜色信息这两者的图像。
实施例2
利用实施例1所述的摄像设备100，用户选择是期望强调与明部有关的颜色信息还是期望强调与暗部有关的颜色信息。相比之下，在本实施例中，作为摄像设备100分析图像的结果，判断是与明部有关的颜色信息重要还是与暗部有关的颜色信息重要。与本实施例相对应的摄像设备的结构与参考图1和图2B所述的摄像设备相同。
例如，代替图3所示的流程图的步骤S301中的模式判断处理，可以通过执行图像分析处理步骤和区域分割处理步骤来实现根据本实施例的处理。
更具体地，首先，在图像分析处理中，基于使用预先确定的曝光目标的初始值拍摄到的可见光图像，来从整个场景中检测并识别与被摄体(或者物体或移动物体等)相对应的区域(被摄体区域)。要检测并识别的被摄体的示例包括在监视应用等中特别重要的人物和车辆，并且可以预先通过机器学习来学习要识别的被摄体。
在随后的区域分割处理中，可以根据与各被摄体区域有关的颜色信息的重要度来判断与明部有关的颜色信息和与暗部有关的颜色信息中的哪个颜色信息重要，并且确定摄像模式。可以使用在对红外光图像(仅亮度信息)进行被摄体识别的情况下获得的F值(通过查准率和查全率的调和平均值计算所获得的计算值)和在对可见光图像(亮度信息和颜色信息这两者)进行被摄体识别的情况下获得的F值，使用以下的等式来获得颜色信息的重要度。
颜色信息的重要度＝可见光图像的F值/红外光图像的F值…(等式10)
根据上述等式，定义了针对如下的被摄体而言颜色信息重要，其中对于该被摄体，在对可见光图像进行被摄体识别的情况下获得的F值相对于在对红外光图像进行被摄体识别的情况下获得的F值的比大。颜色信息的重要度更高的被摄体的示例包括道路标志，并且颜色信息的重要度更低的被摄体的示例包括字符信息。注意，可以预先使用可见光图像和红外光图像通过机器学习来获得可见光图像的F值和红外光图像的F值。
接着，根据与各被摄体有关的颜色信息的重要度，来判断与明部有关的颜色信息和与暗部有关的颜色信息中的哪个颜色信息重要。以下将通过根据所检测到的被摄体的数量对情况进行分类来给出说明。
在所检测到的被摄体的数量为1的情况下，与该被摄体有关的颜色信息重要，因而将所检测到的被摄体的平均亮度(中间值)与除所检测到的被摄体以外的背景的亮度平均(中间值)进行比较。然后，如果所检测到的被摄体的平均亮度大于或等于背景的平均亮度，则摄像设备100以第一摄像模式工作，而如果所检测到的被摄体的平均亮度低于背景的平均亮度，则摄像设备100以第二摄像模式工作。
在所检测到的被摄体的数量为2的情况下，将与两个被摄体有关的颜色信息的重要度彼此比较，并且将这两个被摄体的平均亮度(中间值)彼此比较。然后，在颜色信息重要度相对较高的第一被摄体的平均亮度高于颜色信息重要度相对较低的第二被摄体的平均亮度的情况下，摄像设备100以第一摄像模式工作。另一方面，在颜色信息重要度相对较高的被摄体的平均亮度低于颜色信息重要度相对较低的被摄体的平均亮度的情况下，摄像设备100以第二摄像模式工作。
如果所检测到的被摄体的数量为3以上，则出现将多个被摄体指派到明部或暗部的需求。在这种情况下，如下的模式是优选的：在明部或暗部中收集颜色信息重要度更高的被摄体，并且强调与收集到这些被摄体的部分有关的颜色信息。具体地，使用所检测到的被摄体的数量为3的情况作为示例，将参考图8A-8D来说明用于确定在所检测到的被摄体的数量为3以上的情况下的摄像模式的方法。
图8A示出包括三个被摄体的可见光图像800的一个示例。这里，在可见光图像800中包括被摄体1、被摄体2和被摄体3。图8B示出可见光图像的直方图。根据图8B，该直方图具有示出可见光图像中所包括的三个被摄体1-3的三个块。存在用于将多个被摄体指派到明部和暗部的两个方法，其中一个方法涉及如图8C所示仅将亮度最小的被摄体设置到暗部，以及另一方法涉及如图8D所示仅将亮度最大的被摄体设置到明部。
这可被视为用于将被摄体1-3分类成两组的分组问题。在这两组中，第一组对应于第一区域、即明部，并且第二组对应于第二区域、即暗部。在至少一个被摄体包括在一个组中的条件下，三个被摄体的分组具有两个分类模式。具体的分类模式包括第一组包括被摄体2和被摄体3且第二组包括被摄体1的情况、以及第一组包括被摄体3且第二组包括被摄体1和被摄体2的情况。这些类型的分组分别对应于图8C和图8D所示的直方图。
在本实施例中，关于两个分类模式，计算各组的颜色信息重要度的调和平均值，并且从针对各个分类模式的组调和平均值的比中选择了较大的比。具体地，假定指派至第一组(明部)的被摄体的颜色信息重要度的调和平均值为CB，则在图8C和8D所示的两个组合中获得调和平均值CBc和CBd。此外，假定指派至第二组(暗部)的被摄体的颜色信息重要度的调和平均值为CD，则在图8C和8D所示的两个组合中获得调和平均值CDc和CDd。然后，通过在各个模式的组合中比较这些调和平均值来计算比。用于计算比的方法根据CB和CD之间的大小关系而改变，并且较大的值为分子。
例如，在CBc>CDc的情况下，使用CBc/CDc来计算比，以及在CDc>CBc的情况下，使用CDc/CBc来计算比。这同样适用于CBd和CDd的情况。比较以这种方式获得的比，并且在CBc/CDc>CDd/CBd的情况下，选择图8C所示的分类模式。
在关于以这种方式选择的比、CB>CD的情况下，明部的颜色信息重要度高于暗部的颜色信息重要度，因而摄像设备100以第一摄像模式工作。另一方面，在CD>CB的情况下，暗部的颜色信息重要度高于明部的颜色信息重要度，因而摄像设备100以第二摄像模式工作。
注意，在获得多个被摄体的颜色信息重要度时，代替简单地计算调和平均值，可以获得加权调和平均值。例如，可以向诸如小被摄体等的可能难以识别的被摄体赋予更大的权重，使得其颜色信息重要度提高。可选地，可以采用如下的结构：在通过多个帧之间的矢量匹配检测到被摄体移动的情况下，决定为识别移动被摄体的重要度高，并且赋予权重，使得被摄体的移动越大，颜色信息的重要度越高。另外，可以乘以校正系数，使得随着被摄体的数量的增加，颜色信息的重要度提高。可选地，可以乘以校正系数，使得随着被摄体的彩度的增大，颜色信息的重要度提高。
以这种方式，根据本实施例，利用摄像设备100，可以通过图像分析来判断与明部有关的颜色信息重要还是与暗部有关的颜色信息重要，并且确定摄像模式。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种图像处理设备，包括：
获取单元，其被配置为获取可见光图像和不可见光图像；
确定单元，其被配置为基于所述获取单元所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及
合成单元，其被配置为生成复合图像，使得在所述确定单元所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率，
其中，所述获取单元获取调整了曝光的可见光图像，使得所述可见光图像的与所述确定单元所确定的区域相对应的区域具有适当曝光。
2.根据权利要求1所述的图像处理设备，
其中，所述获取单元获取调整了曝光的不可见光图像，使得除所述确定单元所确定的区域以外的区域具有适当曝光，以及
所述合成单元生成复合图像，使得在除所述确定单元所确定的区域以外的区域中，所述可见光图像的合成比率小于所述不可见光图像的合成比率。
3.根据权利要求1或2所述的图像处理设备，
其中，所述确定单元基于所述可见光图像的亮度的直方图，将亮度为预定值以上的区域或者亮度小于所述预定值的区域确定为所述区域。
4.根据权利要求1或2所述的图像处理设备，
其中，所述确定单元基于所述可见光图像或所述不可见光图像中所包括的被摄体来确定区域。
5.根据权利要求4所述的图像处理设备，
其中，所述确定单元计算在对所述可见光图像进行被摄体识别的情况下获得的计算值相对于在对所述不可见光图像进行被摄体识别的情况下获得的计算值的比，并且基于多个被摄体中的比最大的被摄体来确定区域，以及
所述计算值是通过基于在进行被摄体识别的情况下获得的查准率和查全率的计算而获得的。
6.根据权利要求4所述的图像处理设备，
其中，在所述可见光图像包括三个或更多个被摄体的情况下，所述确定单元基于在对所述可见光图像和所述不可见光图像进行被摄体识别的情况下获得的计算值的比的调和平均值，来确定所述可见光图像的合成比率大于所述不可见光图像的合成比率的区域，以及
所述计算值是通过基于在进行被摄体识别的情况下获得的查准率和查全率的计算而获得的。
7.根据权利要求6所述的图像处理设备，
其中，所述确定单元利用根据被摄体的大小而赋予的权重来计算所述调和平均值。
8.根据权利要求1或2所述的图像处理设备，
其中，在所述可见光图像中的像素的明度差小于阈值的情况下，关于所述确定单元所确定的区域和除该区域以外的区域，所述合成单元将相同的合成比率用于所述可见光图像和所述不可见光图像。
9.根据权利要求5所述的图像处理设备，还包括：
切换单元，其被配置为能够切换第一模式和第二模式，在所述第一模式中，所述确定单元将亮度为预定值以上的区域确定为所述区域，以及在所述第二模式中，所述确定单元将亮度小于所述预定值的区域确定为所述区域。
10.一种图像处理设备的控制方法，所述控制方法包括：
获取可见光图像和不可见光图像；
基于在所述获取中所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及
生成复合图像，使得在所述确定中所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率；
其中，在所述获取中，获取调整了曝光的可见光图像，使得所述可见光图像的与在所述确定中所确定的区域相对应的区域具有适当曝光。
11.根据权利要求10所述的图像处理设备的控制方法，
其中，在所述获取中，获取调整了曝光的不可见光图像，使得除在所述确定中所确定的区域以外的区域具有适当曝光，以及
在所述合成中，生成复合图像，使得在除所述确定中所确定的区域以外的区域中，所述可见光图像的合成比率小于所述不可见光图像的合成比率。
12.根据权利要求10或11所述的图像处理设备的控制方法，
其中，在所述确定中，基于所述可见光图像的亮度的直方图，将亮度为预定值以上的区域或者亮度小于所述预定值的区域确定为所述区域。
13.根据权利要求10或11所述的图像处理设备的控制方法，
其中，在所述确定中，基于所述可见光图像或所述不可见光图像中所包括的被摄体来确定区域。
14.根据权利要求13所述的图像处理设备的控制方法，
其中，在所述确定中，计算在对所述可见光图像进行被摄体识别的情况下获得的计算值相对于在对所述不可见光图像进行被摄体识别的情况下获得的计算值的比，并且基于多个被摄体中的比最大的被摄体来确定所述区域，以及
所述计算值是通过基于在进行被摄体识别的情况下获得的查准率和查全率的计算而获得的。
15.一种存储有一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由被配置为将可见光图像和不可见光图像合成以生成复合图像的图像处理设备的处理器执行时，使所述图像处理设备进行以下操作：
获取可见光图像和不可见光图像；
基于在所述获取中所获取到的所述可见光图像或所述不可见光图像来确定图像上的区域；以及
生成复合图像，使得在所述确定中所确定的区域中，所述可见光图像的合成比率大于所述不可见光图像的合成比率；
其中，在所述获取中，获取调整了曝光的可见光图像，使得所述可见光图像的与在所述确定中所确定的区域相对应的区域具有适当曝光。
CN202010164950.3A 2019-03-11 2020-03-11 图像处理设备及其控制方法和计算机可读存储介质 Active CN111698434B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019044191A JP7316809B2 (ja) 2019-03-11 2019-03-11 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP2019-044191 2019-03-11

Publications (2)

Publication Number Publication Date
CN111698434A true CN111698434A (zh) 2020-09-22
CN111698434B CN111698434B (zh) 2022-05-03

Family

ID=69804415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010164950.3A Active CN111698434B (zh) 2019-03-11 2020-03-11 图像处理设备及其控制方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11423524B2 (zh)
EP (1) EP3709260A1 (zh)
JP (1) JP7316809B2 (zh)
KR (1) KR102557794B1 (zh)
CN (1) CN111698434B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188349A (ja) 2019-05-14 2020-11-19 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体
JP7286412B2 (ja) 2019-05-22 2023-06-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
JP2020202503A (ja) 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP2021019228A (ja) 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496660B2 (en) * 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
US11568526B2 (en) * 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
JP7132643B2 (ja) * 2020-11-17 2022-09-07 株式会社タナカ技研 撮影装置、画像の生産方法、およびプログラム
JP2023090492A (ja) * 2021-12-17 2023-06-29 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置
JP7324329B1 (ja) 2022-03-18 2023-08-09 維沃移動通信有限公司 画像処理方法、装置、電子機器及び読み取り可能な記憶媒体
JP7450668B2 (ja) 2022-06-30 2024-03-15 維沃移動通信有限公司 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
US20140192202A1 (en) * 2013-01-10 2014-07-10 Hitachi, Ltd. Imaging device
CN104995910A (zh) * 2012-12-21 2015-10-21 菲力尔系统公司 利用融合的红外图像增强
CN108429887A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
US20180336664A1 (en) * 2017-05-17 2018-11-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0420944A (ja) * 1990-05-16 1992-01-24 Fuji Photo Film Co Ltd 露光補正量決定方法
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
JP2006180270A (ja) 2004-12-22 2006-07-06 Sony Corp 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
JP2007208346A (ja) 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
JP2010161459A (ja) 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
EP2579574A4 (en) * 2010-06-07 2013-12-25 Konica Minolta Advanced Layers IMAGING DEVICE
JP5888117B2 (ja) * 2012-05-25 2016-03-16 コニカミノルタ株式会社 物体検出装置
JP2016025439A (ja) 2014-07-18 2016-02-08 ソニー株式会社 信号処理装置
JP6568719B2 (ja) 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP2017156464A (ja) * 2016-02-29 2017-09-07 キヤノン株式会社 撮像装置
JP2017168925A (ja) 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
US10827129B2 (en) * 2017-02-24 2020-11-03 Sony Corporation Image processing apparatus and imaging apparatus
JP7182935B2 (ja) 2018-07-30 2022-12-05 キヤノン株式会社 撮像装置、制御方法およびプログラム
JP7210199B2 (ja) 2018-09-20 2023-01-23 キヤノン株式会社 撮像装置、制御方法、コンピュータプログラム、及び記憶媒体
JP7271132B2 (ja) 2018-10-26 2023-05-11 キヤノン株式会社 撮像装置および監視システム
JP7250483B2 (ja) 2018-11-12 2023-04-03 キヤノン株式会社 撮像装置、コンピュータプログラム、及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
CN104995910A (zh) * 2012-12-21 2015-10-21 菲力尔系统公司 利用融合的红外图像增强
US20140192202A1 (en) * 2013-01-10 2014-07-10 Hitachi, Ltd. Imaging device
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置
CN108429887A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
US20180336664A1 (en) * 2017-05-17 2018-11-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置

Also Published As

Publication number Publication date
US20200294214A1 (en) 2020-09-17
CN111698434B (zh) 2022-05-03
KR102557794B1 (ko) 2023-07-21
US11423524B2 (en) 2022-08-23
JP2020150331A (ja) 2020-09-17
KR20200108790A (ko) 2020-09-21
EP3709260A1 (en) 2020-09-16
JP7316809B2 (ja) 2023-07-28

Similar Documents

Publication Publication Date Title
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
JP5898466B2 (ja) 撮像装置、その制御方法、及びプログラム
JP5791336B2 (ja) 画像処理装置及びその制御方法
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
WO2020038072A1 (zh) 曝光控制方法、装置和电子设备
JP2006352795A (ja) 撮像装置及び画像処理方法
US11178371B2 (en) Image processing apparatus, imaging system, recording medium, and control method
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP7403242B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US11336834B2 (en) Device, control method, and storage medium, with setting exposure condition for each area based on exposure value map
US9294685B2 (en) Image processing apparatus, electronic camera, and medium storing image processing program
CN115802183A (zh) 图像处理方法及其相关设备
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP5097018B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、撮像装置の制御方法、プログラム及び記録媒体
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP5269234B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
EP3528202B1 (en) Image processing apparatus, image processing method, and program
JP7286328B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN115428435A (zh) 信息处理装置、摄像装置、信息处理方法及程序
JP2021027490A (ja) 画像処理装置、撮像装置、撮像システム、画像処理装置の制御方法、及び、プログラム
JP2023160153A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2023075857A (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP2018195989A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant