CN116266877A - 图像处理设备和方法、摄像设备和计算机可读介质 - Google Patents

图像处理设备和方法、摄像设备和计算机可读介质 Download PDF

Info

Publication number
CN116266877A
CN116266877A CN202211617359.4A CN202211617359A CN116266877A CN 116266877 A CN116266877 A CN 116266877A CN 202211617359 A CN202211617359 A CN 202211617359A CN 116266877 A CN116266877 A CN 116266877A
Authority
CN
China
Prior art keywords
image
light image
visible light
target value
capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211617359.4A
Other languages
English (en)
Inventor
山口彰太
久保裕纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116266877A publication Critical patent/CN116266877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

本公开涉及图像处理设备和方法、摄像设备和计算机可读介质。公开了一种图像处理设备，其确定用于拍摄要与可见光图像合成的不可见光图像的设置。图像处理设备确定(i)与用于调整可见光图像的亮度的不可见光图像的信号水平有关的第一目标值，(ii)与用于调整可见光图像的对比度的不可见光图像的信号水平有关的第二目标值，使用第一目标值和第二目标值来确定(iii)最终目标值，以及基于最终目标值来确定(iv)用于拍摄不可见光图像的设置。

Description

图像处理设备和方法、摄像设备和计算机可读介质
技术领域
本发明涉及图像处理设备、摄像设备、图像处理方法和计算机可读介质。
背景技术
已经提出了一种方法，该方法将在由于雾而具有降低的可视性的场景中拍摄的可见光图像与在同一场景中拍摄的红外图像合成，以提高可见光图像的可视性(参见日本特开2017-157902)。
更详细地，通过在可见光图像的可视性差的区域中增加合成不可见光图像的比率，在逐区域的基础上改善可见光图像的可视性。另外，设置用于拍摄不可见光图像的设置(即，曝光条件)，使得不可见光图像和可见光图像在以高比率合成不可见光图像的区域中具有相似的亮度。
然而，利用日本特开2017-157902中公开的方法，如果以高比率合成不可见光图像的区域非常暗，则设置用于拍摄图像的设置，使得不可见光图像也非常暗，从而不能充分地获得改善可视性的效果。当以高比率合成不可见光图像的区域非常亮时，也会发生同样的情况。
发明内容
考虑到上述相关技术的问题而构思了本发明，并且根据一个方面，本发明提供了一种图像处理设备，其能够进行用于拍摄不可见光图像的设置，当与可见光图像合成时，该设置有效地改善了可见光图像的图像质量。
根据本发明的一方面，提供了一种图像处理设备，其确定用于拍摄要与可见光图像合成的不可见光图像的设置，所述图像处理设备包括：第一确定部件，其用于确定与用于调整所述可见光图像的亮度的不可见光图像的信号水平相关的第一目标值；第二确定部件，其用于确定与用于调整所述可见光图像的对比度的不可见光图像的信号水平相关的第二目标值；第三确定部件，其用于使用所述第一目标值和所述第二目标值来确定最终目标值；以及第四确定部件，其用于基于所述最终目标值来确定用于拍摄所述不可见光图像的设置。
根据本发明的另一方面，提供了一种摄像设备，包括：图像传感器，其能够拍摄可见光图像和不可见光图像；以及根据本发明的图像处理设备。
根据本发明的另一方面，提供了一种图像处理方法，所述图像处理方法由图像处理设备执行并且确定用于拍摄要与可见光图像合成的不可见光图像的设置，所述图像处理方法包括：确定与用于调整所述可见光图像的亮度的不可见光图像的信号水平相关的第一目标值；确定与用于调整所述可见光图像的对比度的不可见光图像的信号水平相关的第二目标值；使用所述第一目标值和所述第二目标值来确定最终目标值；以及基于所述最终目标值来确定用于拍摄所述不可见光图像的设置。
根据本发明的另一方面，提供了一种存储用于使得计算机用作根据本发明的图像处理设备的程序的计算机可读介质。
通过以下参考附图对示例性实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是描绘根据实施例的作为图像处理设备的摄像设备的示例功能配置的框图。
图2是与根据第一实施例的摄像设备的操作有关的流程图。
图3是与根据第一实施例的摄像设备的操作有关的流程图。
图4是示意性地描绘可见光图像和红外图像的示例的图。
图5是描绘根据第一实施例的分割为块的示例的图。
图6描绘根据第一实施例的确定第一目标值的方法。
图7A和7B描绘根据第一实施例的确定第二目标值的方法。
图8是与根据第一实施例的用于确定第三目标值的权重有关的图。
图9是与根据第二实施例的摄像设备的操作有关的流程图。
图10是与根据第二实施例的摄像设备的操作有关的流程图。
图11A至11C是与根据第二实施例的确定增益的方法有关的图。
图12是与根据第二实施例的确定增益的方法有关的图。
图13是与根据第三实施例的摄像设备的操作有关的流程图。
图14是与根据第三实施例的确定用于拍摄图像的设置以及增益的方法有关的图。
具体实施方式
在下文中，参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不限制成需要所有这些特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，对相同或相似的配置赋予相同的附图标记，并且省略对其的冗余说明。
在以下实施例中，描述了在诸如数字照相机等的摄像设备中实现本发明的情况。然而，本发明也可以在具有摄像功能的电子器具和能够控制这样的电子器具的控制设备中实现。这样的电子器具和控制设备包括摄像机、计算机装置(诸如个人计算机、平板计算机、媒体播放器或PDA等)、移动电话、智能电话、游戏机、机器人、无人机和行车记录仪。这些装置仅仅是示例，并且本发明也可以在其他电子器具和控制设备中实现。
注意，在附图中示出为块的配置可以通过诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)等的IC(集成电路)、通过离散电路、以及/或者通过存储器和执行存储在存储器中的程序的处理器的组合来实现。个体块可以通过多个集成电路封装来实现，以及/或者多个块可以通过一个集成电路封装来实现。可以根据操作环境和所需性能等通过不同的配置来实现相同的块。
图1是描述作为根据本发明的图像处理设备的一个示例的摄像设备100的功能配置的示例的框图。控制电路101是能够执行程序的处理器，诸如中央处理单元(CPU)等。作为一个示例，控制电路101通过将存储在只读存储器(ROM)102中的程序加载到随机存取存储器(RAM)103中并执行该程序来控制摄像设备100的各个功能块的操作，从而实现摄像设备100的功能。注意，当光学系统104是可更换镜头单元时，控制电路101通过与包括在光学系统104中的控制器的通信来控制光学系统104的操作。
ROM 102是可重写的非易失性存储器。ROM 102存储通过控制电路101执行的程序、摄像设备100的各种设置值和图形用户接口(GUI)数据等。RAM103是控制电路101的主存储器。RAM 103加载要通过控制电路101执行的程序，保持执行程序所需的参数，并且用作图像处理电路107的工作存储器。RAM 103的一部分用作存储要在显示设备109上显示的图像数据的视频存储器。
光学系统104具有摄像光学系统，其由包括可移动透镜(例如变焦透镜和调焦透镜等)的透镜组和用于可移动透镜的驱动电路构成。光学系统104还可以具有光圈和用于光圈的驱动电路。
作为示例，摄像电路105可以是具有原色的拜耳滤色器阵列的已知电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)彩色图像传感器。该图像传感器具有二维排列有多个像素的像素阵列和用于从像素读取信号的外围电路。各个像素具有诸如光电二极管等的光电转换元件，并且根据在曝光时段期间的入射光量累积电荷。摄像光学系统通过从各个像素读取具有与在曝光时段期间累积的电荷量相对应的电压的信号来获得表示在摄像表面上形成的被摄体图像的像素信号集(或“模拟图像信号”)。
注意，在本实施例中，假设摄像电路105具有能够拍摄可见光图像和不可见光图像的图像传感器。作为一个示例，该图像传感器可以使用在像素阵列中包括的一些像素作为用于拍摄不可见光图像的像素。拍摄不可见光图像的像素可以是具有光学滤波器的像素，该光学滤波器具有透射不可见光的波长带并阻挡可见光的波长范围的特性。
作为一个示例，在设置有原色的拜耳滤色器阵列的图像传感器中，设置有滤色器的重复图案中所包括的绿色(G)滤色器的两个像素(G像素)中的一个可以替换为用于拍摄不可见光图像的像素。在这种情况下，可以通过与对缺陷像素的值进行插值时相同的方式使用其他像素的值来对G像素的值进行插值来生成可见光图像，该G像素原本将存在于拍摄不可见光图像的像素的位置处。通过对基于拍摄不可见光图像的像素的信号所获得的图像进行放大处理，不可见光图像可以具有与可见光图像相同的分辨率(像素数)。
注意，对获取可见光图像和不可见光图像的方法没有特别限制，并且可以通过其他方法获取图像。作为一个示例，可以单独提供用于拍摄可见光图像的图像传感器和用于拍摄不可见光图像的图像传感器。此外，尽管在本实施例中假设不可见光图像是红外图像，但是不可见光图像可以是不同的不可见波长带的图像。
模数(A/D)转换电路106将从摄像电路105读取的模拟图像信号转换为数字图像信号。A/D转换电路106将数字图像信号写入RAM 103。
图像处理电路107使存储在RAM 103中的数字图像信号经受预定的图像处理，以生成适合于应用的信号和/或图像数据，以及/或者图像处理电路107可以获取和/或生成各种类型的信息。作为示例，图像处理电路107可以是诸如被设计为实现特定功能的ASIC等的专用硬件电路，或者可以被配置为使得可编程处理器(诸如数字信号处理器(DSP))执行软件以实现特定功能。
图像处理电路107所应用的图像处理包括预处理、颜色插值处理、校正处理、检测处理、数据操纵处理、评价值计算处理和特殊效果处理等。
预处理包括信号放大、参考水平调整和缺陷像素校正等。
颜色插值处理是对在摄像时不能获得的颜色分量的值进行插值的处理，并且也被称为“去马赛克”。
校正处理包括诸如白平衡调整、色调校正、由摄像光学系统中的光学像差引起的图像缺陷的校正(或“图像恢复”)、摄像光学系统中渐晕的影响的校正和颜色校正等的处理。校正处理还包括后面描述的为了改善可见光图像的可视性而合成红外图像的合成处理。
检测处理包括特征区域(例如，面部区域和人体区域)及其运动的检测和人类识别处理等。
数据操纵处理包括诸如合成、缩放、编码和解码以及头部信息生成(数据文件生成)等的处理。
评价值计算处理包括诸如用于AF(自动聚焦检测)的信号和评价值的生成以及用于AE(自动曝光控制)的评价值的生成等的处理。该处理还包括后面描述的用于确定用于拍摄红外图像的设置的评价值的生成。
特殊效果处理包括诸如添加模糊效果、改变颜色色调和重新照亮等的处理。
注意，以上仅是图像处理电路107可以应用的处理的示例，并且图像处理电路107所应用的处理不限于以上示例。
记录电路108将数据记录到诸如存储卡等的记录介质上，并读取记录在记录介质上的数据。记录介质不必须是可移除的。可替代地，记录介质可以是能够通信的外部存储设备。
显示设备109例如是液晶显示器，并且显示拍摄的图像、通过记录电路108读出的图像、关于摄像设备100的信息和诸如菜单画面的GUI等。通过连续拍摄视频并在显示设备109上显示所拍摄的视频，可以使显示设备109用作EVF(电子取景器)。注意，显示设备109可以是触摸屏显示器。
操作单元110是为用户向摄像设备100输入指令而提供的输入装置(诸如按钮、开关和拨盘)用的一般术语。构成操作单元110的输入装置具有与所指派的功能相对应的名称。作为示例，操作单元110包括释放开关、视频记录开关、用于选择摄像模式的摄像模式选择拨盘、菜单按钮、方向键和输入键等。释放开关是用于记录静止图像的开关。控制电路101将释放开关的半按下状态识别为摄像准备指令，并且将全按下状态识别为摄像开始指令。控制电路101将在摄像待机状态期间对视频记录开关的按下识别为用于视频的记录开始指令，并且将在视频记录期间的按下识别为记录停止指令。注意，指派给同一输入装置的功能可以是可变的。输入装置还可以是使用触摸屏显示器实现的软件按钮或键。
图2是与由摄像设备100执行以通过合成红外图像来改善可见光图像的图像质量的处理(或“增强处理”)有关的流程图。这里，假设在摄像待机状态下进行图2所示的增强处理。通常，摄像待机状态是使显示设备109用作EVF并且等待用于静止图像或视频的摄像指令的输入的状态。
在步骤S203中，控制电路101控制摄像电路105以顺次拍摄可见光图像和红外图像。假设要最初使用的用于拍摄图像的设置是预先确定的。摄像电路105顺次拍摄可见光图像和红外图像。通过摄像获得的可见光图像和红外图像的模拟图像信号经由A/D转换电路106转换为数字图像信号，并且存储在RAM 103中。
必要时，为了补偿不充分的像素数据，图像处理电路107使数字图像信号经受插值和/或放大处理。此后，具有相同分辨率的可见光图像的数字信号(以下称为“可见光图像数据”)和红外图像的数字信号(以下称为“红外图像数据”)存储在RAM 103中。
注意，步骤S203中的摄像还可以用作针对在摄像待机状态下进行的实时取景显示而拍摄的视频的摄像。作为一个示例，可以以每秒60帧拍摄视频，其中交替地读取可见光图像和红外图像。在这种情况下，可见光图像数据还用于生成用于实时取景显示的图像数据。用于拍摄图像的设置可以在用于获取可见光图像的帧和用于获取红外图像的帧之间不同。注意，当获取可见光图像和红外图像作为视频帧时，在执行步骤S203时一次获取一帧就足够了，并且不一定必须在与视频的摄像帧速率保持一致的情况下执行步骤S203。
在步骤S205中，控制电路101基于可见光图像数据和红外图像数据来更新要用于拍摄红外图像的设置，以用于改善可见光图像的图像质量或可视性。稍后详细描述步骤S205中的处理。用于拍摄图像的设置是与在摄像期间使用的曝光量相关的参数，诸如快门速度(曝光周期)、光圈值和国际标准化组织(ISO)感光度等。
例如，控制电路101还基于已知的AE(自动曝光控制)方法更新用于拍摄可见光图像的设置。
在步骤S207中，控制电路101判断是否已经经由操作单元110输入了摄像开始指令。这里假设该判断与用于静止图像的摄像开始指令有关。如果判断为已经输入了摄像开始指令，则控制电路101执行步骤S209。如果未判断为已输入摄像开始指令，则控制电路101重复执行步骤S203和S205。
在步骤S209中，控制电路101控制摄像电路105以根据在步骤S205的最近执行中更新的用于拍摄图像的设置来拍摄用于记录目的的可见光图像和红外图像。用于记录目的的图像通常具有比用于实时取景显示的图像更高的分辨率。
在步骤S211中，控制电路101控制图像处理电路107以使步骤S209中所获得的可见光图像数据经受将可见光图像数据与红外图像的数据合成的增强处理。增强处理是改善可见光图像的图像质量或可视性的处理。例如，可以在步骤S205中确定要经受增强处理的(一个或多于一个)区域和合成红外图像的方法。
注意，可以将红外图像的全部或一些频率分量与可见光图像合成。作为一个示例，在被摄体的可视性由于雾或霾而降低的区域中，可以通过仅合成红外图像的高频交流(AC)分量增强边缘来改善被摄体的可视性。注意，当仅合成AC分量时，尽管可以简单地添加AC分量，但是也可以在添加之前调整AC分量的水平(增益)，使得由合成引起的亮度变化不明显。
另一方面，在被摄体由于太暗或太亮而具有降低的可视性的区域中，边缘增强在改善这些区域中的被摄体的可视性方面几乎没有效果。因此，通过合成红外图像的包括低频直流分量(DC)的所有频率分量，可以进一步改善这些区域中的被摄体的可视性。以这种方式，通过根据可见光图像中的要合成红外图像的区域的状态来合成红外图像，可以更适当地改善被摄体的可视性。
在控制电路101的控制下，图像处理电路107将红外图像数据与可见光图像数据合成以生成合成的图像数据。
在步骤S213中，图像处理电路107使合成的图像数据经受图像处理，以生成用于记录目的的图像数据。这里进行的图像处理可以根据记录格式而不同。例如，当以联合图像专家组格式(JPEG)或高效图像文件格式(HEIF)记录时，图像处理包括颜色插值处理和编码处理。
记录电路108将用于记录目的的图像数据作为图像数据文件记录在记录介质上。
接下来，使用图3所示的流程图进一步描述在步骤S205中的用于拍摄图像的设置的更新处理。
在步骤S302中，控制电路101使图像处理电路107生成与可见光图像数据和红外图像数据有关的色调信息。在该阶段的可见光图像数据处于这样的状态：构成可见光图像数据的各个像素数据各自具有与设置在各个像素处的滤色器的颜色相对应的一个颜色分量值。在本说明书中，将这样的图像数据称为“RAW数据”。
现在将描述生成色调信息的方法的一个示例。这里，假设生成边缘强度的评价值作为色调信息。如图5所示，图像处理电路107将图像501在水平方向上分割为M个部分并且在垂直方向上分割为N个部分，以生成M乘N个块502(其中M和N是2或更高的预定整数)。然后，图像处理电路107生成针对各个块的评价值。
更详细地，图像处理电路107使用诸如将空间滤波器应用于RGB分量之一(这里假设为G分量)等的已知方法提取各个块的边缘分量。对于没有获得G分量的像素，可以在通过插值获得G分量之后提取边缘分量。然后，图像处理电路107生成所提取的边缘分量的积分值作为块的评价值。大的评价值指示块中的图像包括许多边缘分量。
作为一个实例，假设在某一块中坐标(i,j)处的边缘强度是e(i,j)(其中i和j是整数，并且0≤i，j≤根据块大小确定的最大值)。在这种情况下，块的评价值E可以通过以下等式(1)生成。
E ＝ Σi Σj e (i, j) ··· (1)
注意，边缘强度的评价值E可以通过其他方法获得。
在步骤S303中，基于通过图像处理电路107生成的评价值，控制电路101(或“区域确定部件”)以上述块为单位确定在可见光图像中要改善可视性的区域(或“用于增强处理的目标区域”)。
作为一个示例，在图4的401中示意性地描绘的可见光图像中，远距离的被摄体由于雾或霾而具有降低的对比度。在图4中的402中示意性地描绘了同一场景的红外图像。由于红外图像不易由于雾或霾而导致对比度下降，因此通过将红外图像的远距离的视图部分与可见光图像合成，可以改善远距离的被摄体的可视性。因此，在步骤S303中，控制电路101将诸如图4中的可见光图像401中的远距离的视图部分等的区域确定为用于增强处理的目标区域。
由于具有低图像对比度的块具有很少的边缘分量，所以边缘强度的评价值将是小的。另外，由于对比度在图4中的411和412中示意性地描绘的暗部缺失(blocked-upshadow)区域中以及在未示出的过度曝光区域中是低的，因此边缘强度的评价值将是小的。
控制电路101比较针对各个相应块的可见光图像数据和红外图像数据生成的评价值。然后，控制电路101将可见光图像数据的边缘评价值小(作为一个示例，第一阈值或更低)并且与红外图像数据的边缘评价值的差大(作为一个示例，第二阈值或更高)的块确定为用于增强处理的目标区域。注意，例如，可以通过实验预先确定第一阈值和第二阈值。
注意，用于增强处理的目标区域可以通过其他方法来确定。作为一个示例，由于雾或霾而导致的被摄体的可视性的劣化倾向于在远处发生。因此，可以将被摄体距离等于或大于距离阈值的区域确定为用于增强处理的目标区域。
可替代地，可以向用户呈现可见光图像，并且促使用户选择用于增强处理的目标区域。这里作为示例描述的多个方法中的两个或多于两个可以组合以确定增强处理的目标区域。
控制电路101在RAM 103中存储指定所确定的增强处理的目标区域的信息，以使得在合成处理期间能够使用该信息。注意，当在记录可见光图像数据之后进行增强处理时，记录电路108可以将用于增强处理的红外图像数据和指定用于增强处理的目标区域的信息与可见光图像数据相关联地记录。
在步骤S304中，控制电路101确定信号水平目标值，其用于确定拍摄要在增强处理中使用的红外图像所用的设置。在本实施例中，从基于可见光图像的亮度的目标值L(或“第一目标值”)和基于红外图像的对比度的目标值C(或“第二目标值”)确定最终目标值T。作为一个示例，红外图像的信号水平可以是在增强处理中要使用的区域中所包括的像素的平均值。
图6是描绘基于可见光图像的亮度确定目标值L的方法的示例的图。目标值L(或“第一目标值”)是用于获得适合于调整在用于增强处理的目标区域中的亮度(或“信号水平”)的红外图像的目标值。横轴指示可见光图像中用于增强处理的目标区域中的亮度的评价值，并且作为一个示例是用于增强处理的目标区域的平均亮度值。作为一个示例，平均亮度值可以作为用于增强处理的目标区域中的R、B和G像素的相应平均值已被转换为YCbCr格式时的Y分量的值而获得。
如图6所示，当亮度评价值在不小于第一阈值且不大于第二阈值的范围内时，控制电路101(或“第一确定部件”)根据可见光图像的亮度评价值的增加，线性地增加红外图像中用于增强处理的区域中的信号水平的目标值L。在图6中描绘了如下示例，其中在亮度评价值等于或高于第一阈值Th1且不大于第二阈值Th2的范围内，将要在增强处理中使用的红外图像的区域的信号水平目标值L确定为等于可见光图像的亮度评价值。这里，要在增强处理中使用的红外图像中的区域的信号水平可以是该区域中的像素的平均值，并且对应于可见光图像的亮度评价值。
另一方面，在亮度评价值低于第一阈值Th1(即，小于上述“第一阈值”)的范围内，控制电路101将红外图像中用于增强处理的区域的信号水平目标值L固定在针对亮度评价值等于第一阈值Th1时的信号水平目标值L1。以这种方式，通过防止红外图像的信号水平目标值L下降到特定值以下，可以设置能够获取如下的红外图像的用于拍摄图像的设置，该红外图像改善了在可见光图像中出现暗部缺失的区域中的被摄体的可视性。
以相同的方式，在亮度评价值高于第二阈值Th2的范围内，控制电路101将红外图像中用于增强处理的区域的信号水平目标值L固定在针对亮度评价值等于第二阈值Th2时的信号水平目标值L2。以这种方式，通过防止红外图像的信号水平目标值L上升超过特定值，可以设置能够获取如下红外图像的用于拍摄图像的设置，该红外图像提高了在可见光图像中出现高光溢出(blowing out)的区域中的被摄体的可视性。亮度评价值的第一阈值Th1和第二阈值Th2是用于确定暗部缺失区域和高光溢出区域的阈值，并且可以例如通过实验预先确定。
接下来，描述用于基于红外图像的对比度确定目标值C(或“第二目标值”)的方法。在图7A中，701是在红外图像中的要用于增强处理的区域中包括的像素值(信号水平)的直方图的示例。在图7B中，711描绘了在增强处理之后相同区域的直方图的示例。
如前所述，在用于增强处理的目标区域中，红外图像中的边缘强度的评价值大于可见光图像中的边缘强度的评价值。这对应于具有比可见光图像更高对比度的红外图像。这意味着不一定必须进一步增加红外图像的对比度。然而，由于评价值的差是相对对比度的差，因此从改善可见光图像的图像质量或可见光图像中的被摄体的可视性的观点来看，红外图像将不一定必须具有足够的对比度。还可以考虑到红外图像的对比度过高。
因此，在本实施例中，从改善可见光图像的图像质量或可见光图像中的被摄体的可视性的观点来看，预先通过实验确定适当的对比度作为对比度目标值grad。然后，控制电路101(或“第二确定部件”)获得红外图像的信号水平目标值C，使得红外图像的对比度变为目标值grad。信号水平目标值C(或“第二目标值”)是用于获得适于在增强处理用目标区域中调整对比度的红外图像的目标值。
控制电路101首先使用以下等式(2)获得校正量k
k＝grad/(Hmax-Hmin)···(2)
其中grad：对比度目标值，
Hmax：根据用于拍摄图像的当前设置获得的红外图像中用于增强处理的区域中的最大信号水平，以及
Hmin：根据用于拍摄图像的当前设置获得的红外图像中用于增强处理的区域中的最小信号水平。
校正量k对应于用于将当前对比度设置为目标值的乘数。
接下来，控制电路101使用校正量k利用以下等式(3)获得基于红外图像的对比度的信号水平目标值C
C＝k*Have···(3)
其中Have：根据用于拍摄图像的当前设置所获得的红外图像中用于增强处理的区域中的平均信号水平或中值信号水平。
控制电路101(或“第三确定部件”)根据以下等式(4)进行基于可见光图像的亮度评价值的第一目标值L和基于红外图像的对比度的第二目标值C的加权相加，以获得用于红外图像的最终信号水平目标值T，
T＝α×L+(1-α)×C···(4)
其中α：目标值L的权重(0≤α≤1)。
图8是描绘在等式(4)中使用的目标值L的权重α与可见光图像中用于增强处理的目标区域的亮度评价值之间的示例关系的图。当对可见光图像的亮度评价值低于第一阈值Th1或高于第二阈值Th2的块进行增强处理时，亮度的改善优先于可见光图像的对比度。因此，信号水平目标值L的权重被设置为大于0.5。
另一方面，当对可见光图像的亮度评价值不小于第一阈值Th1且不大于第二阈值Th2的块进行增强处理时，对比度的改善优先于可见光图像的亮度。因此，信号水平目标值L的权重α被设置为小于(α<0.5)信号水平目标值C的权重(1-α)。注意，对比度改善优先的块的信号水平目标值L的权重α小于信号水平改善优先的块的信号水平目标值L的权重α就足够了并且不需要低于0.5。
最后，在步骤S305中，控制电路101(或“第四确定部件”)基于在步骤S304中确定的信号水平目标值T来确定(即，更新)用于拍摄红外图像的设置。当信号水平目标值T是曝光量Ev值时，可以通过参考预定的程序图将用于拍摄实现信号水平目标值T的图像的设置确定为快门速度Tv和光圈值Av的组合。注意，由于期望红外图像和可见光图像具有一致的景深，因此控制电路101可以优先使用与用于拍摄可见光图像的设置相同的光圈值来确定用于拍摄红外图像的设置。
图像传感器可以对可见光和红外光具有不同的灵敏度。因此，在使用程序图来确定用于拍摄红外图像的设置的情况下，通过使用专用于红外图像的程序图，可以高精度地控制红外图像的信号水平。
可替代地，可以在不使用程序图的情况下获得用于拍摄图像的当前设置的校正量(或“曝光调整量”)。例如，控制电路101可以使用以下等式(5)来获得用于实现信号水平目标值T的曝光调整量EV。
EV＝log2(T/Have)···(5)
如前所述，Have是根据用于拍摄图像的当前设置所获得的红外图像中用于增强处理的区域中的平均信号水平或信号水平的中值。
曝光调整量EV是指示实现信号水平目标值T的曝光量与在用于拍摄图像的当前设置下的曝光量之间的级差的值。作为一个示例，当EV＝1时，这指示需要调整曝光以变得比用于拍摄图像的当前设置亮一级。因此，控制电路101可以通过使快门速度减半(即，使曝光时间加倍)、使光圈值减半以及使ISO感光度加倍中的任意一个来更新用于拍摄红外图像的当前设置。注意，在这种情况下，控制电路101也可以通过优先使用与用于拍摄可见光图像的设置相同的光圈值来更新用于拍摄红外图像的设置。还要注意，如果光量不足，则可以使用诸如红外闪光灯等的辅助光源。
这里，为了便于解释和理解，已经描述了存在用于增强处理的一个目标区域(其可以包括多个相邻块)的情况。然而，还可以考虑存在用于增强处理的多个目标区域。在这种情况下，可以基于各个目标区域的目标值T来确定用于拍摄图像的多个设置集，并且可以针对用于拍摄图像的各个设置集拍摄一个红外图像(即，一帧)。在这种情况下，可以从各个帧中提取要在增强处理中使用的区域的像素数据，并且在合成处理中使用所提取的数据。可替代地，可以基于多个目标值T的代表值或平均值来确定用于拍摄图像的一个设置集，并且可以拍摄红外图像的单个帧。的
根据本实施例，从信号水平改善的观点以及对比度改善的观点来确定用于拍摄要与可见光图像合成的不可见光图像的设置。这意味着可以拍摄适合于可见光图像中的要合成不可见光图像的区域的不可见光图像，并且可以有效地改善可见光图像中的被摄体的可视性和可见光图像的图像质量。
第二实施例
接下来，描述本发明的第二实施例。在第一实施例中，针对可以在用于拍摄图像的单独设置下拍摄可见光图像和红外图像的情况，描述了用于确定用于拍摄红外图像的设置的方法。在本实施例中，针对在用于拍摄图像的相同设置下拍摄可见光图像和红外图像的情况描述了操作。
注意，由于本实施例也可以通过摄像设备100而实现，所以本实施例也使用摄像设备100的组件来描述。
图9是与由根据第二实施例的摄像设备100执行以通过合成红外图像来改善可见光图像的图像质量的处理有关的流程图。进行与第一实施例中相同的操作的步骤已经被指派与图2中相同的附图标记。
在步骤S903中，控制电路101控制摄像电路105以拍摄可见光图像和红外图像。假设预先确定最初使用的用于拍摄图像的设置。摄像电路105使用用于拍摄可见光图像的适当设置进行一次摄像，并且从图像传感器读取可见光图像的模拟图像信号和红外图像的模拟图像信号。
此后，以与第一实施例中相同的方式，将相同分辨率的可见光图像的数字信号(下文中称为“可见光图像数据”)和红外图像的数字信号(下文中称为“红外图像数据”)存储在RAM 103中。
在步骤S905中，控制电路101确定红外图像数据的信号水平目标值。稍后详细描述步骤S905中的处理。例如，控制电路101还基于已知的自动曝光控制(AE)方法来更新用于拍摄可见光图像的设置。
在步骤S207中，控制电路101判断是否已经经由操作单元110输入了摄像开始指令。这里假设该判断与用于静止图像的摄像开始指令有关。如果判断为已经输入了摄像开始指令，则控制电路101执行步骤S909。如果未判断为已经输入摄像开始指令，则控制电路101重复执行步骤S903和S905。
在步骤S909中，控制电路101控制摄像电路105根据在步骤S905的最近执行中更新的用于拍摄可见光图像的设置来拍摄用于记录目的的可见光图像和红外图像。以与步骤S903相同的方式，将相同分辨率的可见光图像数据和红外图像数据存储在RAM 103中。
在步骤S911中，控制电路101基于在S905中确定的目标值来调整在步骤S909中获得的红外图像数据的信号水平。稍后详细描述步骤S911中的处理。由于从步骤S211开始的步骤与第一实施例中的步骤相同，因此省略其说明。
图10是描述在步骤S905中确定信号水平目标值的操作的细节的流程图。进行与第一实施例中描述的图3中相同的操作的步骤已经被指派与图3中相同的附图标记。以这种方式，在本实施例中，获得用于红外图像的信号水平目标值T的操作与第一实施例中的操作相同。与第一实施例不同，在本实施例中不能够单独设置用于拍摄红外图像的设置，并且因此不更新用于拍摄红外图像的设置。
接下来，描述在步骤S911中用于红外图像数据的信号水平调整操作。
控制电路101根据以下等式(6)获得用于将红外图像数据的信号水平设置为在步骤S905中确定的目标值T的增益。
增益＝T/Have···(6)
Have是在用于拍摄图像的当前设置下获得的红外图像中用于增强处理的区域中的平均信号水平或信号水平的中值。
接下来，控制电路101控制图像处理电路107以通过将所获得的增益施加到红外图像数据中要用于增强处理的区域中所包括的各个像素数据来调整红外图像数据的信号水平。
这里，如果要施加增益的像素数据是“input(x,y)”，并且已施加增益后的像素数据是“output(x,y)”，则信号水平调整可以表示为：
output(x,y)＝增益×input(x,y)···(7)
注意，(x,y)是图像坐标系中的像素坐标。
当存在用于增强处理的多个目标区域并且具有不同目标值T的目标区域相邻时，目标值T的差引起在区域之间的边界处的信号水平的级差。因此，调整增益以便针对在具有不同目标值T的目标区域之间的边界处的块平滑地改变。
图11A是红外图像1101的一个示例。图11B示意性地描绘了针对红外图像1101确定的六个目标区域和针对各个目标区域确定的目标值T1至T6。各个目标区域包含一个或两个以上相邻块1102。
图11C描绘了包括呈现在具有不同目标值的目标区域的边界部分处的两个块的区域1111。包括在区域1111中的上部块的目标值是T2，并且下部块的目标值是T1。
在这种情况下，为了防止增益在块边界处以非连续方式改变，控制电路101可以根据下面的等式(8)在块的相邻点1112处获得目标值Tα。
Tα＝L2/(L1+L2)×α×T1+L1/(L1+L2)×T2···(8)
这里，如图11C所示，L1和L2是从相邻块的中心到相邻点1112的距离。由于相邻点1112是连接相邻块的中心的直线上的中点，因此L1＝L2并且Tα＝T1/2+T2/2。
对于呈现于上块的中心和下块的中心之间的区域1113中所包括的像素，根据等式(8)与像素的y坐标一致地确定目标值。结果，在y方向上的目标值从T1到T2连续地变化，并且基于目标值的增益也连续变化。
以这种方式，在具有不同目标值的目标区域相邻的区域中，通过根据相对于相邻块中心的距离使目标值成为目标值的加权和，可以避免增益的非连续变化。
注意，当具有不同目标值的目标区域彼此相邻时，可以增加目标区域之一的目标值的权重。作为一个示例，可以增加具有大面积(即，大量块)和/或大的色调信息差的目标区域的目标值的权重。图12示出了关于与图11C所示的区域1111相关的目标区域的信息。
在这种情况下，与具有目标值T2的目标区域相比，具有目标值T1的目标区域具有更大的面积(块数)和更大的色调信息差。在这种情况下，在等式(8)中，与目标值T2的权重相比，目标值T1的权重增加，以便获得目标值Tα。
根据本实施例，根据考虑到改善信号水平的观点以及改善对比度的观点而确定的目标值，调整在与可见光图像相同的用于拍摄图像的设置下拍摄的不可见光图像的信号水平。这意味着可以获得适合于可见光图像的要合成不可见光图像的区域的不可见光图像，并且可以有效地改善可见光图像中的被摄体的可视性和可见光图像的图像质量。
第三实施例
接下来，描述本发明的第三实施例。本实施例与限制用于拍摄用于合成目的的红外图像的设置时的操作有关。由于本实施例也可以通过摄像设备100而实现，因此使用摄像设备100的组件来描述本实施例。
图13是与由根据第三实施例的摄像设备100执行以通过合成红外图像来改善可见光图像的图像质量的处理有关的流程图。进行与第一实施例和第二实施例中相同的操作的步骤已经被指派与图2或图9中相同的附图标记。
这里，假设针对快门速度设置了下限值作为对响应于摄像开始指令进行的、用于拍摄用于合成目的的红外图像的设置的限制。作为一个示例，这可以是旨在防止由于照相机抖动引起的模糊的限制。注意，在设置最小光圈值和/或最大ISO感光度的情况下，可以进行与为快门速度设置下限值时相同的操作。
以与第二实施例中相同的方式，在本实施例中，在步骤S207中判断是否已经输入静止摄像指令之前，确定用于红外图像的信号水平目标值T，但是不确定用于拍摄图像的设置本身。
在步骤S207中，控制电路101判断是否已经经由操作单元110输入了摄像开始指令。这里假设判断与静止图像的摄像开始指令有关。如果判断为已经输入了摄像开始指令，则控制电路101执行步骤S1309。如果未判断为已输入摄像开始指令，则控制电路101执行步骤S1313。
在步骤S1309中，控制电路101考虑到该限制来确定用于拍摄用于合成目的的红外图像的设置。如果需要，控制电路101还确定用于调整红外图像的信号水平的增益。下面详细描述步骤S1309中的操作。
图14示意性地描绘了在步骤S1309中确定用于拍摄图像的设置的操作的一个示例。这里，假设在用于拍摄图像的设置中的参数中，快门速度的下限(即，最慢快门速度)被限制为1/30秒。还假设在步骤S203的最近执行中在图像的预拍摄期间用于拍摄图像的设置中的快门速度已经是1/125秒。
首先，控制电路101基于在步骤S905的最近执行中确定的信号水平目标值T，获得如第一实施例中所述的曝光调整量EV。这里，假设EV＝3。为了通过仅调整快门速度来实现EV＝3，需要将快门速度设置为1/15秒。然而，快门速度的下限限于1/30秒。
因此，控制电路101在用于拍摄图像的设置中将快门速度设置为1/30秒。然后，控制电路101确定增益(×2)以在摄像后补偿曝光不足的一级。如果不能通过单独调整快门速度来实现用于拍摄与目标值匹配的图像的设置，则可以改变在用于拍摄图像的设置中的一个或多于一个其他参数(光圈值和ISO感光度)以及/或者可以使用发射红外光的辅助光源。这里也优先将光圈值设置为尽可能接近用于拍摄可见光图像的设置。
另一方面，在步骤S1313中，控制电路101以与第一实施例中参照图3描述的步骤S305中相同的方式确定(更新)用于拍摄红外图像的设置。因为这里确定的用于拍摄图像的设置不用于拍摄用于合成目的的红外图像，所以该设置没有特别限制。作为一个示例，在图14中描绘的示例中，控制电路101将快门速度改变为1/15秒。此后，控制电路101重复从步骤S203开始的处理。
在步骤S209中，控制电路101控制摄像电路105根据在步骤S905的最近执行中确定的用于拍摄可见光图像的设置以及在步骤S1309中确定的用于拍摄图像的设置，来拍摄用于记录目的的可见光图像和红外图像。
如果在步骤S1309中确定了增益，则在步骤S1311中控制电路101指示图像处理电路107将增益施加到红外图像数据。图像处理电路107将增益施加到存储在RAM 103中的红外图像数据。注意，如果在步骤S1309中尚未确定增益，则不必执行步骤S1311。除了使用已经施加了增益的红外图像数据之外，从步骤S211开始的操作与第一实施例中的操作相同，并且因此省略了其说明。
这里，已经描述了对用于拍摄红外图像的设置有限制的情况。然而，从防止由于照相机抖动引起的模糊的观点来看，也可以限制用于拍摄可见光图像的设置。在这种情况下，当确定用于拍摄可见光图像的设置时，除了用于拍摄图像的设置之外，还可以确定增益，并且在步骤S1311中将该增益施加到可见光图像数据。
在本实施例中，当对用于拍摄用于合成目的的不可见光图像的设置有限制并且不能够在该限制内确定达到信号水平目标值的用于拍摄图像的设置时，在摄像之后将补偿曝光不足的增益施加到不可见光图像数据。这意味着除了与第一实施例相同的效果之外，还可以例如抑制由于照相机抖动引起的不可见光图像的模糊。
其他实施方案
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考示例性实施例说明了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应符合最广泛的解释，以涵盖所有这样的修改、等同结构和功能。

Claims (23)

1.一种图像处理设备，其确定用于拍摄要与可见光图像合成的不可见光图像的设置，所述图像处理设备包括：
第一确定部件，其用于确定与用于调整所述可见光图像的亮度的不可见光图像的信号水平相关的第一目标值；
第二确定部件，其用于确定与用于调整所述可见光图像的对比度的不可见光图像的信号水平相关的第二目标值；
第三确定部件，其用于使用所述第一目标值和所述第二目标值来确定最终目标值；以及
第四确定部件，其用于基于所述最终目标值来确定用于拍摄所述不可见光图像的设置。
2.根据权利要求1所述的图像处理设备，还包括：
合成部件，其用于将根据通过所述第四确定部件确定的所述设置而拍摄的不可见光图像与所述可见光图像合成。
3.根据权利要求1所述的图像处理设备，还包括：
区域确定部件，其用于在所述可见光图像中确定要合成根据所述设置而拍摄的不可见光图像的目标区域。
4.根据权利要求3所述的图像处理设备，其中
所述区域确定部件基于与所述可见光图像有关的色调信息以及与已经同所述可见光图像一起拍摄的不可见光图像有关的色调信息来确定所述目标区域。
5.根据权利要求4所述的图像处理设备，其中
所述区域确定部件以通过分割所述可见光图像而产生的块为单位来确定所述目标区域，以及
所述色调信息是各个块中的边缘强度的评价值。
6.根据权利要求5所述的图像处理设备，其中
所述区域确定部件将通过分割所述可见光图像而产生的多个块中的、评价值不大于第一阈值并且与所述不可见光图像中的相应块的评价值的差不小于第二阈值的块确定为所述目标区域。
7.根据权利要求5所述的图像处理设备，其中
所述区域确定部件将通过分割所述可见光图像而产生的多个块中的、被摄体距离不小于距离阈值的块确定为所述目标区域。
8.根据权利要求5至7中任一项所述的图像处理设备，其中
所述区域确定部件将通过分割所述可见光图像而产生的多个块中的由用户选择的块确定为所述目标区域。
9.根据权利要求1至6中任一项所述的图像处理设备，其中
所述第一确定部件根据所述可见光图像的亮度来确定所述第一目标值。
10.根据权利要求9所述的图像处理设备，其中
在所述可见光图像的亮度小于第三阈值的情况下，将所述第一目标值固定在第一值；以及
在所述可见光图像的亮度大于第四阈值的情况下，将第一目标值固定在大于所述第一值的第二值。
11.根据权利要求10所述的图像处理设备，其中
在所述可见光图像的亮度不小于所述第三阈值且不大于所述第四阈值的情况下，所述第一目标值具有与所述可见光图像的亮度相对应的值。
12.根据权利要求1至6中任一项所述的图像处理设备，其中
所述第二确定部件基于与所述可见光图像一起拍摄的不可见光图像的对比度来确定所述第二目标值。
13.根据权利要求12所述的图像处理设备，其中
所述第二确定部件将用于获得具有预定对比度的不可见光图像的信号水平的目标值确定为所述第二目标值。
14.根据权利要求1至6中任一项所述的图像处理设备，其中
所述第三确定部件基于所述第一目标值和所述第二目标值的加权相加的结果来确定所述最终目标值。
15.根据权利要求14所述的图像处理设备，其中
所述第三确定部件基于所述可见光图像中的要合成根据所述设置而拍摄的不可见光图像的区域的亮度来确定所述第一目标值的权重和所述第二目标值的权重。
16.根据权利要求1所述的图像处理设备，其中
在要在合成中使用的所述不可见光图像是利用用于拍摄所述可见光图像的设置而拍摄的情况下，代替确定用于拍摄所述不可见光图像的设置，第四确定部件基于所述最终目标值来确定要施加到根据用于拍摄所述可见光图像的设置而拍摄的不可见光图像的增益。
17.根据权利要求16所述的图像处理设备，其中
所述第四确定部件确定所述增益，使得在通过分割所述可见光图像而产生的块中的相邻块之间的边界处所述增益不会不连续地改变。
18.根据权利要求1所述的图像处理设备，其中
在对用于拍摄所述不可见光图像的设置施加有限制并且不能够在所述限制下根据所述最终目标值确定用于拍摄所述不可见光图像的设置的情况下，第四确定部件确定在所述限制下的用于拍摄所述不可见光图像的设置，并且还确定用于补偿不足的曝光的增益。
19.根据权利要求18所述的图像处理设备，还包括：
施加部件，其用于将所述增益施加到根据所述限制下的设置所拍摄的不可见光图像，
其中，已经施加了所述增益的不可见光图像用于合成。
20.一种摄像设备，包括：
图像传感器，其能够拍摄可见光图像和不可见光图像；以及
根据权利要求1至19中任一项所述的图像处理设备。
21.根据权利要求20所述的摄像设备，其中，所述图像处理设备还包括：
记录部件，其用于与所述可见光图像相关联地记录：
要与所述可见光图像合成的不可见光图像；以及
与所述可见光图像的要与所述不可见光图像进行合成的区域有关的信息。
22.一种图像处理方法，所述图像处理方法由图像处理设备执行并且确定用于拍摄要与可见光图像合成的不可见光图像的设置，所述图像处理方法包括：
确定与用于调整所述可见光图像的亮度的不可见光图像的信号水平相关的第一目标值；
确定与用于调整所述可见光图像的对比度的不可见光图像的信号水平相关的第二目标值；
使用所述第一目标值和所述第二目标值来确定最终目标值；以及
基于所述最终目标值来确定用于拍摄所述不可见光图像的设置。
23.一种计算机可读介质，其存储有用于使计算机用作根据权利要求1至19中任一项所述的图像处理设备的程序。
CN202211617359.4A 2021-12-17 2022-12-15 图像处理设备和方法、摄像设备和计算机可读介质 Pending CN116266877A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021205462A JP2023090492A (ja) 2021-12-17 2021-12-17 画像処理装置および画像処理方法、撮像装置
JP2021-205462 2021-12-17

Publications (1)

Publication Number Publication Date
CN116266877A true CN116266877A (zh) 2023-06-20

Family

ID=84369532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211617359.4A Pending CN116266877A (zh) 2021-12-17 2022-12-15 图像处理设备和方法、摄像设备和计算机可读介质

Country Status (4)

Country Link
US (1) US20230196529A1 (zh)
EP (1) EP4199528A1 (zh)
JP (1) JP2023090492A (zh)
CN (1) CN116266877A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101226A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 촬영된 이미지를 처리하기 위한 방법 및 그 전자 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157902A (ja) 2016-02-29 2017-09-07 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP7412920B2 (ja) * 2019-08-08 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
EP4199528A1 (en) 2023-06-21
US20230196529A1 (en) 2023-06-22
JP2023090492A (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
JP6343200B2 (ja) 撮像装置およびその制御方法ならびにプログラム
KR101427660B1 (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
KR20110052507A (ko) 촬상장치 및 촬상방법
KR101294735B1 (ko) 이미지 처리 방법 및 이를 이용한 촬영 장치
JP4999871B2 (ja) 撮像装置およびその制御方法
JP5822508B2 (ja) 撮像装置及びその制御方法
JP2017112462A (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2019129446A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6192416B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN116266877A (zh) 图像处理设备和方法、摄像设备和计算机可读介质
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
CN106412391B (zh) 图像处理设备、图像处理方法和摄像设备
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP5335964B2 (ja) 撮像装置およびその制御方法
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2017126920A (ja) 撮像装置
JP6900577B2 (ja) 画像処理装置及びプログラム
JP2015119436A (ja) 撮像装置
JP2014179919A (ja) 撮像装置及び撮像方法
JP5943682B2 (ja) 撮像装置、その制御方法及びプログラム
JP2017153154A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2023090628A (ja) 画像処理装置および画像処理方法、撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination