CN112514376A - 图像处理装置、图像处理方法、程序和成像装置 - Google Patents

Abstract

根据本发明，图像捕获单元23生成捕获图像的图像信号。光学传感器单元25具有等于或大于图像捕获单元23的视角，并且在获取捕获图像时根据光谱特性生成传感器信号。控制单元50通过使用基于由光学传感器单元25生成的传感器信号的光源估计结果来确定基于从图像捕获单元23生成的图像信号的光源估计结果的可靠性。控制单元50将例如基于图像信号的光源估计结果分类为可以基于传感器信号估计的光源的分类，并且将分类后的分类与基于传感器信号估计的光源进行比较。当分类后的类别改变但是基于传感器信号估计的光源不变时，确定基于图像信号的光源估计结果不可靠，并且不进行白平衡调整的调整值的改变。因此，可以精确且稳定地进行白平衡调整。

Description

图像处理装置、图像处理方法、程序和成像装置

技术领域

本技术涉及图像处理装置、图像处理方法、程序和成像装置，并且使得能够稳定地执行更精确的白平衡调整。

背景技术

以往，在摄像装置中，使用与诸如太阳、荧光灯的成像时的光源对应的控制值来进行白平衡调整。例如，在PTL 1中，将捕获图像划分为多个块区域，以根据基于在各块区域中检测到的红外线量所估计的色温来进行白平衡调整。此外，在PTL 2中，使用成像范围等于成像元件的成像范围的光学传感器，并且使用基于第一光电转换信号和第二光电转换信号计算的用于颜色校正的控制值，执行第一光电转换信号的白平衡调整，其中第一光电转换信号是通过具有第一光谱灵敏度特性的成像元件对被摄体光进行光电转换而获得的，第二光电转换信号是通过具有第二光谱灵敏度特性的光学传感器对被摄体光进行光电转换而获得的。

引用列表

专利文献

PTL 1

日本专利公开号2015-228546

PTL 2

日本专利公开号2017-123502

发明内容

技术问题

顺便提及，在基于捕获图像的被摄体光或成像范围进行白平衡调整的情况下，捕获图像中捕获的背景的范围根据视角的差异而大幅改变。在以窄视角对移动物体进行成像的情况下，在捕获图像中捕获的背景被极大地改变。因此，存在白平衡调整由于所捕获的背景的变化而变化的风险。

因此，该技术的目的是提供能够稳定地执行更精确的白平衡调整的图像处理装置、图像处理方法、程序和成像装置。

问题的解决方案

本技术的第一方面是一种图像处理装置，包括：白平衡设置单元，其使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果、以及基于具有比所述捕获图像的视角更宽的视角并且具有与所述成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

在该技术中，白平衡设置单元将基于通过由成像元件对来自被摄体的光进行光电转换而生成的图像信号的光源估计结果分类为能够基于由检测成像环境的光谱特性的光学传感器单元生成的传感器信号估计的光源的分类。光学传感器单元具有比捕获图像的视角更宽的视角，并且具有与成像元件的区域不同的区域中的光谱灵敏度。例如，光学传感器单元具有包括捕获图像的视角的视角，具有比捕获图像的视角更宽的视角，并且具有至少红外区域中的灵敏度。白平衡设置单元根据分类的分类与基于传感器信号估计的光源之间的比较结果，确定基于图像信号的光源估计结果的可靠性。在成像元件连续生成每个图像的多个图像信号的情况下，基于图像信号的光源估计结果的可靠性的判定针对基于所述多个图像信号中的第二图像信号或随后的图像信号的光源估计结果来执行。此外，基于图像信号的光源估计结果的可靠性的判定可以在成像光学系统的视角与光学传感器单元的视角之间的差等于或大于预定值的情况下执行。在基于图像信号的光源估计结果的可靠性的判定中，白平衡设置单元在例如分类之后的分类变化时，基于传感器信号估计的光源不被改变为与改变后的分类相等的光源的情况下，判定基于图像信号的光源估计结果不可靠，而不更新白平衡调整值。此外，白平衡设置单元根据在分类之后的分类等于基于传感器信号估计的光源的情况下，判定基于图像信号的光源估计结果可靠，而根据基于图像信号的光源估计结果来设置白平衡调整的调整值。此外，在未判定基于图像信号的光源估计结果的可靠性的情况下，白平衡设置单元根据基于图像信号的光源估计结果来设置白平衡调整的调整值。还可以设置白平衡调整单元，其基于白平衡调整值对图像信号执行白平衡调整。在由于光学变焦而使得捕获图像的视角比传感器信号的视角宽预定值或以上的情况下，白平衡设置单元可以使用基于图像信号的光源估计结果和基于传感器信号的光源估计结果来设置白平衡调整值。

本技术的第二方面是一种图像处理方法，包括：通过白平衡设置单元，使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果，以及基于具有比所述捕获图像的视角更宽的视角并且具有与成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

本技术的第三方面是一种使计算机执行白平衡调整的程序，所述程序使所述计算机执行：获得基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果的过程；获得基于具有比所述捕获图像的视角更宽的视角并且具有与成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得捕获图像时生成的传感器信号的光源估计结果的过程；以及使用基于图像信号的光源估计结果和基于传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值的过程。

注意，根据本技术的程序是可以被提供给例如通用计算机的程序，该通用计算机能够通过以计算机可读格式提供的记录介质(诸如光盘、磁盘或半导体存储器)或通信介质(诸如网络)来执行各种程序代码。以计算机可读格式提供这种程序，从而在计算机上实现根据该程序的处理。

本技术的第四方面是一种成像装置，包括：成像单元，其通过对来自被摄体的光进行光电转换来生成捕获图像的图像信号；光学传感器单元，其具有比所述捕获图像的视角更宽的视角，并且具有与成像元件的区域不同的区域中的光谱灵敏度；白平衡调整单元，其对由所述成像单元生成的图像信号执行白平衡调整；以及白平衡设置单元，其使用基于所述捕获图像的图像信号的光源估计结果和基于由所述光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

发明的有益效果

根据该技术，使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果、以及基于具有比所述捕获图像的视角更宽的视角并且具有与所述成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。因此，与仅基于图像信号的光源估计结果来设置白平衡调整值的情况相比，能够更准确且更稳定地进行白平衡调整。注意，本说明书中描述的效果仅是说明性的而非限制性的。可以提供附加的效果。。

附图说明

图1是示出成像装置的配置的图。

图2描绘示出光谱特性和光谱灵敏度的曲线图。

图3是示出白平衡控制操作的流程图。

图4是示出能够被检测的光源的图。

图5是示出分类处理的图。

图6是示出白平衡调整的控制操作的具体示例的图。

图7是示出特定示例的光源估计结果的图。

图8是示出另一具体示例的图。

图9是示出白平衡调整的控制操作的又一具体示例的图。

图10是示出又一具体示例的光源估计结果的图。。

具体实施方式

以下，将描述根据本技术的实施例。注意，将按照以下顺序进行描述。

1.成像装置的配置

2.成像装置的操作

3.修改

<1.成像装置的配置>

图1示出根据本技术的成像装置的配置。成像装置10包括成像光学系统21、成像光学系统驱动器22、成像单元23、发光单元24、光学传感器单元25、图像处理器30、记录单元41、通信单元42、取景器(VF)43、显示器44、用户接口45和控制器50。

成像光学系统21例如使用聚焦透镜和变焦透镜来配置。成像光学系统21基于来自成像光学系统驱动器22的驱动信号驱动例如聚焦透镜和变焦透镜，以在成像单元23的成像面上形成被摄体的光学图像。或者，成像光学系统21可以设置有例如光圈(光阑)机构和快门机构，以基于来自成像光学系统驱动器22的驱动信号驱动各个机构。或者，成像光学系统21可以将指示透镜位置和光圈位置的设置信息输出到成像光学系统驱动器22或控制器50。或者，成像光学系统21可以是可拆卸的，以允许使用具有不同光学特性的成像光学系统21。

成像单元23使用诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)的成像元件来配置。成像单元23利用具有与可见光区域对应的光谱特性(即，在来自被摄体的光中的可见光区域中的光谱灵敏度)的成像元件执行光电转换，以生成作为RAW数据的捕获图像的图像信号。成像单元23将生成的图像信号输出到图像处理器30，并且发光单元24基于来自控制器50的控制信号发射照明光。

光学传感器单元25使用具有与包括非可见光区域的成像环境相对应的光谱特性(即，来自被摄体的光中的非可见光区域中的光谱灵敏度)的传感器来生成传感器信号，该传感器具有与成像单元23中的成像元件的光谱灵敏度不同的光谱灵敏度。光学传感器单元25具有用作包括由成像单元23获得的捕获图像的视角的感测范围的视角，并且是比捕获图像的视角更宽的视角。光学传感器单元25将根据成像时的视角中的光谱特性生成的传感器信号输出到控制器50。

图2示出了光谱特性和光谱灵敏度。注意，图2的部分(a)示出光源的光谱特性，图2的部分(b)示出在成像单元23中使用的成像元件的光谱灵敏度，并且图2的部分(c)示出在光学传感器单元25中使用的传感器的光谱灵敏度。

如图2的部分(a)所示，例如，自然光(太阳光)和非自然光(例如，白色光源或电灯泡色光源)在红外区域中的功率不同。成像单元23例如具有红色区域、蓝色区域和绿色区域中的灵敏度，并且生成包括红色、绿色和蓝色的三原色的图像信号。如图2的部分(c)所示，光学传感器单元25具有至少红外区域中的灵敏度，以允许基于传感器信号来区分图2的部分(a)所示的自然光和非自然光。此外，当光学传感器单元25除了红外区域之外还在可见区域中具有灵敏度时，例如还可以执行白色光源和电灯泡色光源之间的区分。

成像单元23在例如红色区域、蓝色区域和绿色区域中具有灵敏度，因此可以基于图像信号对光源进行精细分类。然而，当视角较窄并且例如在捕获图像中捕获的背景变化较大时，在一些情况下，即使如稍后所述不改变光源，光源估计结果也会改变。此外，由于光学传感器单元25在视角上比成像单元23宽，因此与基于图像信号的光源估计结果相比，光学传感器单元25可以更容易地获得与光源相对应的光源估计结果。然而，与基于图像信号的光源估计相比，基于由光学传感器单元25生成的传感器信号的光源估计不能对光源进行精细分类。然后，图像处理器30使用基于图像信号的光源估计结果和基于传感器信号的光源估计结果来稳定地执行更精确的白平衡调整。

图像处理器30包括预处理器31、去马赛克处理器32、线性矩阵转换器33、白平衡(WB)调整单元34、孔径校正单元35、信号加法器36、γ校正单元37和信号转换器38。

预处理器31对由成像单元23生成的图像信号执行例如噪声去除处理、增益调整处理、模数转换处理和缺陷像素校正。预处理器31将处理后的图像信号输出到去马赛克处理器32。

去马赛克处理器32使用作为RAW数据的图像信号执行去马赛克处理，该图像信号由预处理器31处理，以从一个像素表示一个颜色分量的图像信号生成一个像素表示颜色分量的图像信号，例如三原色的图像信号。去马赛克处理器32将所生成的图像信号输出至线性矩阵转换器33和孔径校正单元35。注意，去马赛克处理是颜色分离处理的示例，并且在使用包括例如除马赛克颜色滤波器之外的条形颜色滤波器的成像元件的情况下，执行不同系统的颜色分离处理。

线性矩阵转换器33对从去马赛克处理器32输出的图像信号执行矩阵运算，生成具有目标色调的图像信号，并且将该图像信号输出到白平衡调整单元34。

白平衡调整单元34校正由于例如光源的差异而导致的颜色之间的不平衡。白平衡调整单元34基于从控制器50提供的调整值对从线性矩阵转换器33输出的包括例如红色、绿色和蓝色的三原色的图像信号执行增益调整，从而使得能够将被摄体的中性色部分的色平衡再现为中性色。白平衡调整单元34将处理后的图像信号输出到信号加法器36。

孔径校正单元35执行例如从由去马赛克处理器32提供的图像信号中提取高频分量以及所提取的信号的电平调整，生成轮廓校正信号，并且将所生成的信号输出到信号加法器36。

信号加法器36将从孔径校正单元35提供的轮廓校正信号与从白平衡调整单元34提供的图像信号相加，生成已经对其执行了轮廓校正处理的图像信号，并且将图像信号输出到γ校正单元37。

γ校正单元37对从信号加法器36提供的图像信号执行γ校正，并将校正后的图像信号输出到信号转换器38。

信号转换器38将γ校正后的图像信号转换为与图像记录相对应的信号。例如，信号转换器38将三原色的γ校正后的图像信号转换为亮度信号和色差信号，然后执行编码处理，以将得到的数据输出到记录单元41。此外，信号转换器38对从记录单元41提供的信号执行解码处理，并且将由此获得的亮度信号和色差信号转换为三原色的图像信号。此外，在图像信号被输出到外部装置的情况下，信号转换器38将三原色的γ校正后的图像信号转换成适合于通信的信号。例如，信号转换器38将三原色的γ校正后的图像信号转换成亮度信号和色差信号，对转换后的信号进行编码，并将编码数据输出到通信单元42。此外，信号转换器38将γ校正后的图像信号或通过对从记录单元41提供的信号执行例如解码而获得的图像信号转换成与取景器43或显示器44的显示分辨率相对应的图像信号。信号转换器38将分辨率转换后的图像信号输出到取景器43或显示器44。

记录介质410固定地或可拆卸地设置在记录单元41上。记录单元41将从信号转换器38提供的编码信号存储到记录介质410中。此外，记录单元41读取记录在记录介质410中的信号，并将该信号输出到信号转换器38。

通信单元42与外部装置通信，并将从例如信号转换器38提供的信号输出到外部装置。此外，通信单元42将从外部装置提供的通信信号输出到控制器50。

取景器43和显示器44例如使用液晶显示元件或有机EL显示元件构成。取景器43和显示器44基于从信号转换器38提供的图像信号显示由成像单元23获得的捕获图像或记录在记录介质410中的捕获图像。此外，取景器43和显示器44例如基于从控制器50提供的显示信号显示诸如成像装置10的功能和操作的各种设置画面和各种信息。

用户接口45包括例如操作开关、操作按钮、操作转盘和遥控信号接收器，产生与用户操作相对应的操作信号，并将操作信号输出到控制器50。

控制器50包括例如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)。ROM(只读存储器)存储要由CPU(中央处理单元)执行的各种程序。RAM(随机存取存储器)存储诸如各种参数的信息。CPU执行存储在ROM中的各种程序，并控制每个单元，使得成像装置10基于例如来自用户接口45的操作信号或由通信单元42接收的来自外部装置的通信信号来执行与用户操作或来自外部装置的请求相对应的操作。

此外，控制器50基于白平衡处理之前的图像信号来执行光源估计。对于基于图像信号的光源估计，可以使用各种现有技术。例如，如日本专利公开号2004-165932中所述，控制器50对传感器响应值执行操作，该操作允许从已知的成像单元的光谱灵敏度特性和假定的测试光源的光谱特性进行比色近似，在成像时将传感器响应值投影到独立于光源的评估空间中，并且基于投影场景的采样值的分布状态来评估多个测试光源的正确性，从而估计光源。或者，控制器50可以检测信号分量以基于检测结果估计光源，或者可以从颜色信号的分布估计光源。

另外，控制器50基于从光学传感器单元25提供的传感器信号执行光源估计。例如，从图2所示的光源的光谱特性明显看出，自然光(太阳光)和非自然光(例如，白色光源或电灯泡色光源)在红外区域中的功率彼此不同。因此，当使用具有红外区域中的灵敏度的光学传感器单元时，可以根据传感器信号的信号电平来判别光源是自然光还是非自然光。此外，作为光学传感器单元，当在可见区域中提供多个敏感区域时，基于例如来自光学传感器单元的传感器信号中的各个敏感区域之间的功率的差异(例如蓝色分量与绿色分量的比率和红色分量与绿色分量的比率之间的差异)，也可以判别白色光源和电灯泡色光源。

此外，控制器50使用基于捕获图像的图像信号的光源估计结果和基于在获得捕获图像时的传感器信号的光源估计结果，进行图像信号的白平衡调整的控制，以进行精确的白平衡调整。例如，在成像单元23连续生成每个图像的多个图像信号的情况下，控制器50使用基于传感器信号的光源估计结果来判定基于多个图像信号中的第二图像信号或随后的图像信号的光源估计结果是否是可靠的光源估计结果。此外，控制器50基于可靠的光源估计结果来判定白平衡调整的调整值，并将所判定的调整值输出到白平衡调整单元34，从而允许稳定执行精确的白平衡调整。或者，在捕获图像的视角与光学传感器单元25的视角之间的差等于或大于预定值，即光学传感器单元25的视角比捕获图像的视角宽预定值或更多的情况下，控制器50可以判定基于图像信号的光源估计结果是否可靠。在此，预定值可以被认为是光学传感器单元25的视角至少比捕获图像的视角宽，或者光学传感器单元25的视角比捕获图像的视角宽预设的比率或更多。注意，可以由白平衡调整单元34而不是控制器50来执行基于图像信号的光源估计结果、基于传感器信号的光源估计结果和基于图像信号的光源估计结果的使用判定结果的白平衡调整的调整值的设置。

成像装置10不限于图1中示出的配置，可以包括图1中未示出的配置，或者可以是其中排除了图1中示出的配置的一部分的配置。例如，成像单元23可以设置有用于三原色的每种颜色分量的成像元件。在这种情况下，不需要设置去马赛克处理器32。此外，成像装置10可以具有用于将例如RAW数据或光源检测结果记录到记录介质410中的功能，以及用于将RAW数据或光源检测结果发送到外部装置的功能。

<2.成像装置的操作>

图3是示出成像装置的白平衡控制操作的流程图。在步骤ST1中，控制器判定是否设置了自动白平衡(AWB)模式。在成像装置10的操作设置被设置为自动白平衡模式的情况下，控制器50进行到步骤ST2，并且在成像装置10的操作设置没有被设置为自动白平衡模式的情况下，控制器50不执行白平衡控制操作，并且结束。注意，在白平衡调整的每个更新周期单位，例如每帧或每多帧，执行从步骤ST1到步骤ST10的处理循环。

在步骤ST2中，控制器执行基于图像信号的光源估计。控制器50基于白平衡处理之前的图像信号估计光源，并且进行到步骤ST3。

在步骤ST3中，控制器执行基于传感器信号的光源估计。控制器50基于从光学传感器单元25提供的传感器信号估计光源，并且进行到步骤ST4。注意，基于传感器信号估计的光源也被称为传感器估计光源。

在步骤ST4中，控制器判定是否要执行稳定处理。在设置用于获得多个成像图像的操作模式，例如运动图像模式或连续成像模式，并且要执行从拍摄开始的第二成像或随后的成像的情况下，控制器50判定要执行稳定处理。换句话说，对在第一捕获图像(帧)之后要成像的捕获图像(帧)执行稳定处理。可以总是执行稳定处理，但是可以不总是执行。例如，在没有记录图像的情况下，可以省略稳定处理。期望在成像装置本身或有线或无线地连接到成像装置并从成像装置本身接收图像以记录图像的外部装置中的至少一个记录图像的情况下执行稳定处理。因此，在仅显示直通图像而不记录捕获图像的情况下，可以省略稳定处理。此外，当在捕获图像的视角与光学传感器单元25的视角之间的差等于或大于预定值的情况下进行稳定处理时，在通过光学变焦使捕获图像的视角更宽并且可能不会发生依赖于要捕获的背景的变化的白平衡调整的变化的情况下，允许控制器50不进行稳定处理。在判定执行稳定处理的情况下，控制器50进行到步骤ST5，并且在判定不执行稳定处理的情况下，例如，在运动图像模式或连续成像模式中的第一次成像或者设置单次成像模式的情况下，控制器50进行到步骤ST10。

在步骤ST5中，控制器执行分类处理。控制器50将在步骤ST2中基于图像信号估计的光源分类为能够由步骤ST3中的光源估计来估计的光源的分类之一，并且进行到步骤ST6。

在步骤ST6中，控制器判定是否发生分类变化。在步骤ST5中分类的分类等于稍后描述的步骤ST9中先前存储的分类的情况下，控制器50判定没有发生分类变化，并且进行到步骤ST7。在步骤ST5中分类的分类与稍后描述的步骤ST9中先前存储的分类不同的情况下，控制器50判定已经发生分类变化，并且进行到步骤ST8。

在步骤ST7中，控制器判定传感器估计光源是否发生变化。在步骤ST3中基于传感器信号估计的传感器估计光源相对于稍后描述的步骤ST9中先前存储的传感器估计光源改变的情况下，控制器50进行到步骤ST8。在步骤ST3中基于传感器信号估计的传感器估计光源与稍后描述的步骤ST9中先前存储的传感器估计光源相比没有改变的情况下，控制器50进行到步骤ST9。

在步骤ST8中，控制器判定传感器估计光源和分类是否彼此一致。控制器50判定在本次处理循环的步骤ST7中基于传感器信号估计的传感器估计光源是否等于在本次处理循环的步骤ST5中通过分类处理分类的基于图像信号的光源的分类。在判定传感器估计光源等于分类的情况下，控制器50判定基于图像信号的光源估计结果是可靠的，并且进行到步骤ST9。在判定传感器估计光源与分类不相等的情况下，控制器50判定基于图像信号的光源估计结果不可靠，并返回步骤ST1。在此，通过从步骤ST8返回到步骤ST1，在本次处理循环中不执行步骤ST10中的处理。这稳定了白平衡估计和白平衡调整。

在步骤ST9中，控制器存储传感器估计光源和分类。控制器50在此后重复步骤ST6和ST7中的处理时存储(重写)指示传感器估计光源和分类的信息，使得当过去最后一次设置白平衡调整的调整值时，可以使用指示传感器估计光源和分类的信息来判定步骤ST6中的分类改变和步骤ST7中的传感器估计光源的改变，并且进行到步骤ST10。

在步骤ST10中，控制器通过设置白平衡调整的调整值来更新白平衡调整的调整值。例如，在基于例如来自用户的指令不执行稳定处理的情况下，在因为设置单一成像模式，即，仅拍摄一个静止图像的静止图像拍摄模式而不执行稳定处理的情况下，或者在基于图像信号的光源估计结果的分类没有改变的情况下，控制器50在本次处理循环中，即，在紧接之前执行的ST2中的处理中，根据基于图像信号的光源估计结果设置白平衡调整的调整值。此外，在基于图像信号的光源估计结果的分类改变并且判定基于图像信号的光源估计结果可靠的情况下，即，在基于图像信号的光源估计结果的分类等于基于传感器信号的光源估计结果的情况下，控制器50在紧接之前执行的ST2中的处理中，根据基于图像信号的光源估计结果来设置白平衡调整的调整值。注意，在执行稳定处理之后，基于图像信号的光源估计结果的分类改变，但是判定基于图像信号的光源估计结果不可靠的情况下，控制器50从上述步骤ST8中的处理进行到步骤ST1中的处理，并且不执行步骤ST9中的处理，由此保持分类改变之前的值作为白平衡调整的调整值。利用该配置，可以实现白平衡估计和白平衡调整的稳定。控制器50将所产生的调整值输出到白平衡调整单元34，并返回到步骤ST1。利用该配置，白平衡调整单元34基于从控制器50输出的调整值对图像信号执行白平衡调整。

简而言之，在执行稳定处理的情况下，仅在传感器估计光源和分类两者都改变并且改变的结果彼此一致的情况下，控制器50才在本次处理循环中的步骤ST2中基于图像信号的光源估计结果来重新设置白平衡调整的调整值。在其他情况下，控制器50使用之前已经设置的白平衡调整的调整值。这稳定了白平衡估计和白平衡调整的调整值。

此外，成像装置的白平衡控制操作不限于图3中所示的处理顺序，例如，在步骤ST2或步骤ST3中估计的光源改变的情况下，可以执行从步骤ST5到步骤ST9的处理。换句话说，可以消除步骤ST4中的处理。

接下来，将描述白平衡调整的控制操作的具体示例。图4示出了可检测的光源。图4的部分(a)示出了基于图像信号可检测的光源，并且图4的部分(b)示出了基于传感器信号可检测的光源。例如，控制器50可以基于图像信号判别太阳光下的日光、阴影和阴暗，以及电灯泡色光源、白色光源、中性白色光源、日光色光源和水银灯。此外，控制器50可以基于传感器信号来判别自然光和非自然光。注意，如图4的部分(a)和图4的部分(b)所示，通常，基于图像信号可检测的光源的种类在数量上大于基于传感器信号可检测的光源的种类。

图5示出了由控制器50执行的分类处理，并且图4的部分(a)所示的光源被分类为图4的部分(b)所示的光源。例如，作为基于图像信号可检测的光源的“太阳光下的日光、阴影和阴暗”被分类为自然光的分类，而“电灯泡色光源、白色光源、中性白色光源、日光色光源和水银灯”被分类为非自然光的分类。执行该分类处理以吸收能够基于图像信号估计的光源和能够基于传感器信号估计的光源之间的差异。

图6示出白平衡调整的控制操作的具体例，并且例如是对竞赛跑道内的摩托车进行成像的情况。摩托车OB在赛道上行驶，并根据该摩托车OB的移动来移动成像装置10的成像方向，从而例如通过对由位置PS1至PS6处的虚线表示的各区域进行成像来获得多个图像。此外，光学传感器单元25的视角例如是由位置PS1处的交替长短虚线指示的范围PR1，并且是由位置PS4处的交替长短虚线指示的范围PR4。光学传感器单元25的视角是包括由成像单元23获得的捕获图像的视角并且比捕获图像的视角更宽的视角。如图2的部分(c)所示，光学传感器单元25具有至少红外区域中的灵敏度。光学传感器单元25的视角包括由成像单元23获得的捕获图像的视角，并且比捕获图像的视角更宽。即使当光学传感器单元25的视角是例如范围PR1和范围PR4中的任一个时，基于传感器信号检测的光源L2被判别为“自然光”。

图7示出了图6中所示的具体示例的光源估计结果。注意，在图7中，定义了基于图像信号检测的光源是光源L1，基于传感器信号检测的光源是光源L2，以及通过执行光源L1的分类处理检测的光源L1的分类是分类LC1。此外，假设天气良好，路线由例如沥青铺设，并且除了赛道之外的部分是草地。此外，当草地是绿色的并且主要包括在成像范围中时，在光源估计中，即使阳光下的日光也可能被错误地估计为白色光源。

在位置PS1至PS3，摩托车OB、赛道和草地包含在由虚线指示的成像范围内，并且赛道的比率大。在这种情况下，辨别基于图像信号检测的光源L1是“日光”，并且基于传感器信号检测的光源L2是“自然光”。此外，由于光源L1是“日光”，因此分类LC1被判定为“自然光”。在位置PS1至PS3，光源L2和分类LC1彼此一致。因此，控制器50判定光源L1的估计结果可靠，在将光源L1，即光源的估计结果定义为“日光”的同时设置白平衡调整的调整值，并将设置的调整值输出到白平衡调整单元34，以执行白平衡调整。

此后，例如，假设在位置PS4处，草地的比率在成像范围内增加，并且基于图像信号检测的光源L1从“日光”变为“白色照明”。由于光源L1是“白色照明”，因此分类LC1被判定为“非自然光”。在光源L1的分类LC1以这种方式改变的情况下，以及在光源L2也没有改变为与分类LC1相同的光源的情况下，判定光源L1的光源估计结果不可靠，并且不修改白平衡调整的调整值。同样在位置PS5和PS6，类似于在位置PS4，当光源L1被估计为“白色光源”时，光源L1和光源L2的分类LC1仍然彼此不同。因此，判定光源L1的估计结果不可靠，并且不修改白平衡调整的调整值。因此，根据本技术，即使当在位置PS4至PS6处估计的光源L1从在位置PS1至PS3处估计的光源L1改变时，也使用分类改变之前的调整值来执行白平衡调整，而不管光源L1的估计结果如何。因此，成像装置10可以稳定地执行白平衡调整。此外，在判定基于图像信号的光源估计结果可靠的情况下，根据基于图像信号的光源估计结果执行白平衡调整，由此可以执行比使用基于传感器信号的光源估计结果的情况更精确的白平衡调整。

图8示出了另一具体示例。例如，在成像装置10的方向根据白色鸟BR的移动而移动，并且通过对虚线所示的区域内部成像而连续获得多个图像的情况下，背景在位置PS11至PS13之间是不同的。例如，在位置PS11处的背景是“海洋”，在位置PS12处的背景是“山脉”，并且在位置PS13处的背景是“天空”。在这种情况下，当基于图像信号设置调整值时，例如，根据背景的不同，可能错误地将鸟BR的颜色改变为红白色或蓝白色。然而，根据本技术，在判定为基于图像信号的光源估计结果不可靠的情况下，可以将调整值保持在光源估计结果改变之前的状态，由此可以防止鸟BR的颜色由于背景的差异而改变。

图9示出了白平衡调整的控制操作的又一具体例，并且例如是隧道内行驶的车辆MO对前方进行成像的情况。安装有视角相对于车辆MO的视角固定的成像装置10的车辆MO从进行电灯泡色照明的隧道内向天气良好的隧道外行驶。根据车辆MO的移动，由光学传感器单元25的交替长短虚线指示的视角区域被移动，并且例如通过在位置PS21至PS26处成像来获得多个图像。注意，尽管在图9中未示出成像单元23的视角，但是成像单元23的视角被设置为比光学传感器单元25的视角窄的范围。

图10示出了图9中示出的又一特定示例的光源估计结果。注意，在图10中，定义了基于图像信号检测的光源是光源L1，基于传感器信号检测的光源是光源L2，并且通过执行光源L1的分类处理检测的光源L1的分类是分类LC1。

在位置PS21和PS22处，隧道内部的区域主要包括在由长短交替长短虚线表示的光学传感器单元25的视角范围内，并且基于传感器信号检测的光源L2被辨别为“非自然光”。另外，隧道内的区域主要包括在成像单元23的视角内，并且基于图像信号检测出的光源L1被判别为“电灯泡色照明”。由于光源L1是“电灯泡色照明”，因此分类LC1被判定为“非自然光”。如上所述，在位置PS21和PS22处，由于光源L2和分类LC1彼此一致，因此判定光源L1的光源估计结果是可靠的，并且控制器50在将作为光源L1的估计结果的“电灯泡色照明”定义为光源的同时设置白平衡调整的调整值，并将所设置的调整值输出到白平衡调整单元34，以执行白平衡调整。

在位置PS23，隧道内的区域主要包括在由交替长短虚线表示的光学传感器单元25的视角范围内，并且基于传感器信号检测的光源L2被辨别为“非自然光”。另外，隧道外部的区域变得主要包括在成像单元23的视角中，并且基于图像信号检测的光源L1从“电灯泡色照明”改变为“日光”。由于光源L1是“日光”，因此分类LC1被判定为“自然光”。如上所述，在位置PS23，由于光源L2和分类LC1彼此不同，因此判定光源L1的光源估计结果不可靠，并且控制器50在光源L1的估计结果的分类发生变化之前，将“电灯泡色照明”定义为光源的同时，设置白平衡调整的调整值，并将所设置的调整值输出到白平衡调整单元34，以执行白平衡调整。

在位置PS24，隧道外部的区域变得主要包括在由交替长短虚线表示的光学传感器单元25的视角范围内，并且基于传感器信号检测的光源L2被改变为“自然光”。此外，由于隧道外部的区域主要包括在成像单元23的视角内，因此判定基于图像信号检测的光源L1为“日光”。由于光源L1是“日光”，因此分类LC1被判定为“自然光”。如上所述，在位置PS24，由于光源L2和分类LC1彼此一致，因此判定光源L1的估计结果是可靠的，并且控制器50在将作为光源L1的估计结果的“日光”定义为光源的同时设置白平衡调整的调整值，并将所设置的调整值输出到白平衡调整单元34，以执行白平衡调整。

在位置PS25和PS26处，隧道外部的区域主要包括在由交替长短虚线表示的光学传感器单元25的视角范围内，并且基于传感器信号检测的光源L2被辨别为“自然光”。此外，隧道外部的区域主要包括在成像单元23的视角中，并且基于图像信号检测的光源L1被判别为“日光”。由于光源L1是“日光”，因此分类LC1被判定为“自然光”。如上所述，在位置PS25和PS26处，由于光源L2和分类LC1彼此一致，因此判定光源L1的估计结果是可靠的，并且控制器50在将作为光源L1的估计结果的“日光”定义为光源的同时设置白平衡调整的调整值，并将所设置的调整值输出到白平衡调整单元34，以执行白平衡调整。因此，根据本技术，即使当在位置PS23处仅改变光源L1时，也使用在发生分类改变之前的调整值来执行白平衡调整，而不管光源L1的估计结果如何。此外，当在位置PS24处改变光源L2，并且光源L2和分类LC1彼此一致时，判定光源L1的估计结果是可靠的，并且根据基于图像信号的光源估计结果来执行图像信号的平衡调整。因此，成像装置10可以在也考虑成像时使用的光源的切换的同时稳定地执行更精确的白平衡调整。

<3.修改>

根据本公开的技术可以应用于各种领域。例如，根据本公开的技术可以实现为安装在任何移动体(诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船或机器人)上的装置。此外，根据本公开的技术可以实现为安装在诸如智能电话的便携式电子装置上的装置，或者可以应用于例如监视相机。如上所述，当根据本公开的技术被应用于具有在光源改变的环境下可用的成像功能的装置时，由于稳定地执行白平衡调整，所以可以防止位于移动体周围的被摄体、要拍摄的被摄体或要监视的被摄体的颜色由于例如背景的影响而不稳定地改变。

当RAW数据或白平衡调整之前的图像信号与传感器信号彼此相关联，即，被记录在同一记录介质中，或者两者通过通信单元彼此相关联以被输出时，使用记录在记录介质中的信号或经由通信单元输出的信号，可以在离线处理中，即，在成像之后的成像装置、另一成像装置和不具有成像功能的图像处理装置中，执行上述基于图像信号和传感器信号的光源估计结果的白平衡控制。

另外，当RAW数据或白平衡之前的图像信号、基于图像信号的光源估计结果和基于传感器信号的光源估计结果彼此关联时，可以在离线处理中执行白平衡调整。

此外，假设光学传感器单元25具有用作感测范围的视角，其包括由成像单元23获得的捕获图像的视角并且比捕获图像的视角更宽。然而，本公开不限于此，并且可以应用于光学传感器单元25的视角不总是比成像元件的视角宽的情况。在这种情况下，在通过在驱动变焦透镜的同时进行光学变焦放大而使捕获图像的视角变得比用作光学传感器的感测范围的视角窄(预定值或以上)的情况下，可以进行根据本技术设置白平衡调整的调整值的操作。

在说明书中描述的一系列过程可以由硬件、软件或两者的组合配置来执行。在执行通过软件的处理的情况下，记录处理序列的程序被安装在并入专用硬件中的计算机中的存储器中以被执行。或者，程序可以安装在能够执行各种处理的通用计算机中以被执行。

例如，可以将程序预先记录在用作记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。或者，程序可以临时或永久地存储(记录)在可移除记录介质(诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(蓝光盘(注册商标))、磁盘或半导体存储卡)中。这种可移除记录介质可以作为通常所称的软件包来提供。

此外，程序可以从可移除记录介质安装到计算机，或者可以经由诸如LAN(局域网)或因特网的网络从下载站点无线地或有线地传送到计算机。计算机可以接收以这种方式传送的程序，并将该程序安装在诸如硬盘的内置记录介质中。

应当注意，本说明书中描述的效果仅仅是说明性的，而不是限制性的。可以提供未描述的附加效果。此外，本技术不应被解释为限于上述技术的示例性实施例。显然，本技术的示例性实施例以说明的形式公开了本技术，并且本领域技术人员可以在不脱离本技术的要旨的情况下对示例性实施例进行修改或替换。换句话说，为了判定该技术的要点，应当考虑权利要求。

本技术的图像处理装置还可以采用以下配置。

(1)一种图像处理装置，包括：

白平衡设置单元，其使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果、以及基于具有比所述捕获图像的视角更宽的视角并且具有与所述成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

(2)根据(1)所述的图像处理装置，其中，所述白平衡设置单元使用基于所述传感器信号的光源估计结果，来判定基于所述图像信号的所述光源估计结果的可靠性，并且基于所述可靠性的判定结果来设置所述白平衡调整值。

(3)根据(2)所述的图像处理装置，其中，所述白平衡设置单元将基于所述图像信号的光源估计结果分类为能够基于所述传感器信号估计的多个光源的分类之中的分类任意分类，并且通过将所述光源估计结果被分类的分类与基于所述传感器信号估计的光源进行比较，来判定基于所述图像信号的所述光源估计结果的可靠性。

(4)根据(3)所述的图像处理装置，其中，所述白平衡设置单元在所述光源估计结果本次被分类到的分类从所述光源估计结果上次被分类到的分类改变、但是基于所述传感器信号估计的光源没有改变为与所述光源估计结果本次被分类到的分类等同的光源的情况下，判定基于所述图像信号的光源估计结果不可靠，并且不更新所述白平衡调整值。

(5)根据(3)或(4)所述的图像处理装置，其中，所述白平衡设置单元在所述光源估计结果本次被分类到的分类等同于基于所述传感器信号估计的光源的情况下，判定基于所述图像信号的光源估计结果是可靠的，并且根据基于所述图像信号的本次光源估计结果来更新所述白平衡调整值。

(6)根据(2)至(5)中任一项所述的图像处理装置，其中，在所述成像元件连续多次以图像单位生成图像信号的情况下，所述白平衡设置单元判定基于所述多个图像信号中的第二图像信号或随后的图像信号的光源估计结果的可靠性。

(7)根据(2)至(6)中任一项所述的图像处理装置，其中，所述白平衡设置单元在所述捕获图像的视角与所述光学传感器单元的视角之间的视角差等于或大于预定值的情况下，判定基于所述图像信号的光源估计结果的可靠性。

(8)根据(7)所述的图像处理装置，其中，所述白平衡设置单元在没有判定基于所述图像信号的光源估计结果的可靠性的情况下，根据基于所述图像信号的光源估计结果来设置所述白平衡调整值。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述光学传感器单元包括至少在红外区域中的灵敏度。

(10)根据(1)至(9)中任一项所述的图像处理装置，其中，所述光学传感器单元的视角包括所述捕获图像的视角。

(11)根据(1)至(10)中任一项所述的图像处理装置，还包括：

白平衡调整单元，其基于所述白平衡调整值对所述图像信号执行白平衡调整。

(12)根据(1)至(11)中任一项所述的图像处理装置，其中，所述白平衡设置单元在由于光学变焦而使所述捕获图像的视角比所述传感器信号的视角宽预定值或预定值以上的情况下，使用基于所述图像信号的光源估计结果和基于所述传感器信号的光源估计结果来设置所述白平衡调整值

工业实用性

根据该技术的图像处理装置、图像处理方法、程序和成像装置，使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果、以及基于具有比所述捕获图像的视角更宽的视角并且具有与所述成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。因此，与仅基于图像信号的光源估计结果来设置白平衡调整值的情况相比，可以更稳定地执行白平衡调整。因此，该技术适合于具有在发生光源变化的环境下可用的成像功能的装置。

附图标记列表

10……成像装置

21……成像光学系统

22……成像光学系统驱动器

23……成像单元

24……发光单元

25……光学传感器单元

30……图像处理器

31……预处理器

32……去马赛克处理器

33……线性矩阵转换器

34……白平衡(WB)调整单元

35……孔径校正单元

36……信号加法器

37……γ校正单元

38……信号转换器

41……记录单元

42……通信单元

43……取景器

44……显示

45……用户界面

50……控制器

410……记录介质

Claims (15)

1.一种图像处理装置，包括：

白平衡设置单元，其使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果、以及基于具有比所述捕获图像的视角更宽的视角并且具有与所述成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

2.根据权利要求1所述的图像处理装置，其中，所述白平衡设置单元使用基于所述传感器信号的光源估计结果，来判定基于所述图像信号的所述光源估计结果的可靠性，并且基于所述可靠性的判定结果来设置所述白平衡调整值。

3.根据权利要求2所述的图像处理装置，其中，所述白平衡设置单元将基于所述图像信号的光源估计结果分类为能够基于所述传感器信号估计的多个光源的分类之中的分类任意分类，并且通过将所述光源估计结果被分类的分类与基于所述传感器信号估计的光源进行比较，来判定基于所述图像信号的所述光源估计结果的可靠性。

4.根据权利要求3所述的图像处理装置，其中，所述白平衡设置单元在所述光源估计结果本次被分类到的分类从所述光源估计结果上次被分类到的分类改变、但是基于所述传感器信号估计的光源没有改变为与所述光源估计结果本次被分类到的分类等同的光源的情况下，判定基于所述图像信号的光源估计结果不可靠，并且不更新所述白平衡调整值。

5.根据权利要求3所述的图像处理装置，其中，所述白平衡设置单元在所述光源估计结果本次被分类到的分类等同于基于所述传感器信号估计的光源的情况下，判定基于所述图像信号的光源估计结果是可靠的，并且根据基于所述图像信号的本次光源估计结果来更新所述白平衡调整值。

6.根据权利要求2所述的图像处理装置，其中，在所述成像元件连续多次以图像单位生成图像信号的情况下，所述白平衡设置单元判定基于所述多个图像信号中的第二图像信号或随后的图像信号的光源估计结果的可靠性。

7.根据权利要求2所述的图像处理装置，其中，所述白平衡设置单元在所述捕获图像的视角与所述光学传感器单元的视角之间的视角差等于或大于预定值的情况下，判定基于所述图像信号的光源估计结果的可靠性。

8.根据权利要求2所述的图像处理装置，其中，所述白平衡设置单元在没有判定基于所述图像信号的光源估计结果的可靠性的情况下，根据基于所述图像信号的光源估计结果来设置所述白平衡调整值。

9.根据权利要求1所述的图像处理装置，其中，所述光学传感器单元包括至少在红外区域中的灵敏度。

10.根据权利要求1所述的图像处理装置，其中，所述光学传感器单元的视角包括所述捕获图像的视角。

11.根据权利要求1所述的图像处理装置，还包括：

白平衡调整单元，其基于所述白平衡调整值对所述图像信号执行白平衡调整。

12.根据权利要求1所述的图像处理装置，其中，所述白平衡设置单元在由于光学变焦而使所述捕获图像的视角比所述传感器信号的视角宽预定值或预定值以上的情况下，使用基于所述图像信号的光源估计结果和基于所述传感器信号的光源估计结果来设置所述白平衡调整值。

13.一种图像处理方法，包括：

通过白平衡设置单元，使用基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果，以及基于具有比所述捕获图像的视角更宽的视角并且具有与成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

14.一种使计算机执行白平衡调整的程序，所述程序使所述计算机执行：

获得基于通过由成像元件对来自被摄体的光进行光电转换而生成的捕获图像的图像信号的光源估计结果的过程；

获得基于具有比所述捕获图像的视角更宽的视角并且具有与成像元件的区域不同的区域中的光谱灵敏度的光学传感器单元在获得捕获图像时生成的传感器信号的光源估计结果的过程；以及

使用基于图像信号的光源估计结果和基于传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值的过程。

15.一种成像装置，包括：

成像单元，其通过对来自被摄体的光进行光电转换来生成捕获图像的图像信号；

光学传感器单元，其具有比所述捕获图像的视角更宽的视角，并且具有与成像元件的区域不同的区域中的光谱灵敏度；

白平衡调整单元，其对由所述成像单元生成的图像信号执行白平衡调整；以及

白平衡设置单元，其使用基于所述捕获图像的图像信号的光源估计结果和基于由所述光学传感器单元在获得所述捕获图像时生成的传感器信号的光源估计结果，来设置所述图像信号的白平衡调整值。

Images