CN116670705A - 图像处理装置、图像处理方法和图像处理程序 - Google Patents

图像处理装置、图像处理方法和图像处理程序 Download PDF

Info

Publication number
CN116670705A
CN116670705A CN202280008867.4A CN202280008867A CN116670705A CN 116670705 A CN116670705 A CN 116670705A CN 202280008867 A CN202280008867 A CN 202280008867A CN 116670705 A CN116670705 A CN 116670705A
Authority
CN
China
Prior art keywords
light source
information
image
image processing
chromaticity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280008867.4A
Other languages
English (en)
Inventor
上田朝己
伊东真博
铃木优
山下弘树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116670705A publication Critical patent/CN116670705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本公开简化了光源的光谱分布的检测。根据本公开的图像处理装置包括特定区域检测单元、色度信息检测单元和光源光谱信息生成单元。特定区域检测单元从用来自光源的光照射的对象的图像中检测特定区域，该特定区域是特定物体的图像的区域。色度信息检测单元基于来自所检测的特定区域的多个图像信号检测光源色度信息。光源光谱信息生成单元生成作为光源的光谱信息的光源光谱信息。

Description

图像处理装置、图像处理方法和图像处理程序
技术领域
本公开涉及图像处理装置、图像处理方法和图像处理程序。
背景技术
使用从由相机等捕获的图像中辨别物体的图像处理装置。例如，使用从利用针对各波长带生成多个图像的多光谱图像传感器捕获的图像中检测特定物体(诸如植物)的区域的图像处理装置。这种图像处理装置通过使用光在物体上的反射具有对物体特定的光谱分布的事实来识别物体。这种图像处理装置可以用于植被调查(vegetation survey)等。
为了提高物体的识别精确度，需要去除环境光(诸如光源)的影响。这是因为光源的光具有特有的光谱分布并且变成物体的颜色的反射光由于光源的影响而改变。作为从来自物体的反射光检测光源的分量的方法，已经提出了使用物体的反射模型的方法。该反射模型被称为二向色反射模型，并且是来自物体的反射光被假定为包括镜面反射分量和漫反射分量的模型。镜面反射分量是照原样反射光源的色相的分量，并且漫反射分量是其中来自光源的光取决于物体的原始色相而改变并且被反射的分量。
已经提出了一种照明估计装置，该照明估计装置从图像中检测该镜面反射的区域，估计该区域的图像信号在光谱空间中如何扩展的特征作为分布特征，并且基于分布特征检测照明模型(例如，参见专利文献1)。照明估计装置可以基于所检测的照明模型来输出照明的光谱特性。
引用列表
专利文献
专利文献1：WO 2014/203453 A
发明内容
技术问题
然而，上述传统技术具有检测光源(照明)的光谱特性的方法变得复杂的问题。如上所述，在检测光谱特性的情况下，需要计算分布特性。这具有以下问题：对于多维光谱信息需要主分量分析和矩阵计算，并且检测光谱特性的方法变得复杂。
因此，本公开提出了容易检测光源的光谱分布的图像处理装置、图像处理方法以及图像处理程序。
问题的解决方案
根据本公开的图像处理装置包括：特定区域检测单元，从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；色度信息检测单元，基于所检测的特定区域的多个图像信号检测光源颜色信息；以及光源光谱信息生成单元，基于所检测的光源颜色信息生成作为光源的光谱的信息的光源光谱信息。
附图说明
图1是示出根据本公开的实施例的图像处理装置的配置示例的示图。
图2是用于描述镜面反射分量和漫反射分量的示图。
图3是示出本公开中的特定区域的示例的示图。
图4是示出本公开中用于检测特定区域的成像元件的光谱灵敏度特性的示例的示图。
图5是示出根据本公开的第一实施例的光源色度信息的检测的示例的示图。
图6是示出根据本公开的第一实施例的光源光谱信息的示例的示图。
图7A是示出根据本公开第一实施例的去除光源的影响的示例的示图。
图7B是示出根据本公开第一实施例的去除光源的影响的示例的示图。
图7C是示出根据本公开第一实施例的去除光源的影响的示例的示图。
图8是示出根据本公开的第一实施例的图像处理的示例的示图。
图9是示出根据本公开的第一实施例的特定区域检测处理的示例的示图。
图10是示出根据本公开的第一实施例的光源颜色信息检测处理的示例的示图。
图11是示出根据本公开的第一实施例的光源光谱信息生成处理的示例的示图。
图12是示出根据本公开的第二实施例的光源颜色信息的检测的示例的示图。
图13是示出可以应用根据本公开的技术的成像装置的配置示例的示图。
图14是示出根据本公开的实施例的成像元件的配置示例的示图。
图15是示出根据本公开的实施例的像素的配置示例的示图。
具体实施方式
在下文中，将基于附图详细地描述本公开的实施例。注意，将按照以下顺序进行描述。另外，在以下的各实施例中，对相同部分标注相同标号，省略重复的说明。
1.第一实施例
2.第二实施例
3.成像装置的配置
4.成像元件的配置
(1.第一实施例)
[图像处理装置的配置]
图1是示出根据本公开的实施例的图像处理装置的配置示例的示图。附图是示出图像处理装置200的配置示例的框图。图像处理装置200是根据从成像元件等输出的图像信号生成图像并且执行图像的输出的装置。此外，图像处理装置200进一步执行从生成的图像中去除光源的影响的处理。附图中的图像处理装置200包括图像生成单元210、光谱图像生成单元220、特定区域检测单元230、色度信息检测单元240、光源光谱信息生成单元250和图像调整单元260。
图像生成单元210根据输入图像信号生成图像。图像生成单元210根据由成像元件等生成的图像信号生成一个画面的图像，并且执行图像的输出作为图像数据。如后面所述，成像元件包括像素阵列单元(像素阵列单元10)，像素阵列单元包括多个像素(像素100)，并且在成像时针对每个像素生成图像信号。然后，例如，成像元件按照像素的布置依次输出所生成的多个图像信号。图像生成单元210根据依次输出的一个画面的图像信号生成图像。该图像被称为RAW图像。图像生成单元210将生成的图像输出至光谱图像生成单元220和特定区域检测单元230。
光谱图像生成单元220根据RAW图像生成光谱图像。可以通过对输入图像执行重构处理来生成光谱图像。重构处理是根据输入图像信号生成各自的波长图像的处理。上述成像元件的每个像素输出与来自对象的多条光之中的特定波长带的光对应的图像信号。能够根据与各自的波长带对应的图像信号针对各自的波长生成光谱图像。要注意的是，例如，在本公开中使用的成像元件的像素根据与稍后描述的八个波长带的光对应的图像信号生成光谱图像。光谱图像生成单元220将对其执行重构处理的图像输出到图像调整单元260和色度信息检测单元240。
特定区域检测单元230从图像生成单元210输出的图像中检测特定区域。这里，特定区域是特定物体成像的区域。例如，植物(诸如蔬菜)可应用于特定物体。特定区域检测单元230从图像中检测特定物体，并且检测特定物体的区域作为特定区域。稍后将描述特定区域检测单元230中的特定区域的检测的细节。特定区域检测单元230将检测的特定区域输出至色度信息检测单元240。注意，特定区域不限于植物的区域。例如，可以将相同颜色的反射光(的物体)的区域应用于特定区域。
色度信息检测单元240基于特定区域的图像信号检测光源颜色信息。这里，光源颜色信息是特定色度空间中的光源的信息。可以通过利用当特定区域的多个图像信号被布置在色度空间(诸如xy色度图)时的分布形状来估计光源颜色信息。此外，还可通过使用基于xy色度图上的多个图像信号生成的近似直线来估计光源颜色信息。另外，也可以使用基于近似直线检测的色温作为光源颜色信息。稍后将描述在色度信息检测单元240中检测光源颜色信息的细节。色度信息检测单元240通过使用从特定区域检测单元230输出的特定区域和从光谱图像生成单元220输出的图像来生成色度信息。即，色度信息检测单元240通过使用与从光谱图像生成单元220输出的图像中的特定区域对应的区域的图像信号来检测光源颜色信息。色度信息检测单元240将检测的光源颜色信息输出到光源光谱信息生成单元250。
光源光谱信息生成单元250基于由色度信息检测单元240输出的光源颜色信息生成光源光谱信息。例如，光源光谱信息是光源的光谱的信息，并且可以应用光源的光谱分布。例如，光源的光谱分布可以由来自光源的光的各自的波长带的比率来表示。对于现有的光源，可以测量光谱分布并且生成光源光谱信息。光源光谱信息生成单元250可被配置为保持多个现有光源的多条光源光谱信息。然后，光源光谱信息生成单元250可以通过使用多条光源光谱信息，基于光源颜色信息生成光源光谱信息。例如，光源光谱信息生成单元250可通过基于光源颜色信息从多条光源光谱信息中选择一个来生成光源光谱信息。此外，例如，光源光谱信息生成单元250还可以基于光源颜色信息来选择两条光源光谱信息。在这种情况下，光源光谱信息生成单元250也可以通过针对各自的波长混合两条光源光谱信息的光谱来生成光源光谱信息。稍后将描述光源光谱信息的细节。
图像调整单元260基于光源光谱信息生成单元250输出的光源光谱信息，调整光谱图像生成单元220输出的图像。通过调整，可以去除图像中光源的影响。图像调整单元260可以针对各自的波长带调整包括在图像中的图像信号。例如，图像调整单元260可以通过将各自的波长带的图像信号除以相同波长带的光谱来执行调整。因此，能够根据光源的光谱来调整包括在图像中的图像信号的电平，能够去除光源的影响。稍后将描述图像调整单元260对图像的调整的细节。图像调整单元260输出调整的图像。输出图像对应于图像处理装置200的输出图像。
[镜面反射分量和漫反射分量]
图2是用于描述镜面反射分量和漫反射分量的示图。该附图是示出来自光源302的光305被发射到物体301的情况的示例的示图。当光305发射到物体301时，生成反射光。反射光包括镜面反射分量307和漫反射分量306。镜面反射分量307是通过来自光源302的光305在物体301和光305的介质之间的界面处的反射而获得的分量，并且是在不改变色调的情况下通过来自光源302的光305的反射而获得的分量。另一方面，漫反射分量306是通过来自光源302的光305在物体301的内侧上的反射而获得的分量，并且是来自光源302的光305从物体301的原始色调改变的分量。
假设通过相机303观察这种反射光的情况。该观察值可通过以下表达式的二向色反射模型来表示。
I＝I镜面+I漫反射＝α×L+β×L×ρ(1)
这里，I表示由矢量表示的观察值。I镜面表示由矢量表示的镜面反射分量。I漫反射表示由矢量表示的漫反射分量。并且α和β表示各个分量的系数。L表示光源向量。ρ表示漫反射矢量。每个α和β取决于几何关系(诸如光源302的位置、物体301的表面的方向和观察方向)而改变。
当观察值I变为色度空间(x，y)时，表达式(1)可表示为下面的表达式。
I(x,y)＝α×L(x,y)+β×D(x,y)(2)
这里，L(x，y)表示光源的色度(镜面反射分量)。D(x，y)表示漫反射分量的色度。如表达式(2)中所表达的，观察值I(x，y)是通过基于系数α和β的L(x，y)和D(x，y)的颜色的混合获得的。色度空间中的颜色混合位于连接色度图上的色度的直线上。因此，区域中的观察值I(x，y)也沿着直线分布。
在本公开中，从由特定区域检测单元230检测的特定区域的图像信号检测光源(镜面反射分量)。
[特定区域的检测]
图3是示出了本公开中的特定区域的示例的示图。附图是示出由特定区域检测单元230检测的特定区域的示例的示图。将以植物被应用于特定物体的情况作为示例来描述特定区域。附图中的图像310是其中种植了植物312的土壤311的图像。图像310中的包括植物312的区域是特定区域。附图中的区域320对应于特定区域。特定区域检测单元230检测并输出区域320作为特定区域。
可基于特定物体的反射光的光谱特性来检测特定区域。物体具有特有的光谱特性。将特有的光谱特性检测为特征量。例如，植物312吸收大量的可见光用于光合作用。另一方面，植物312吸收较少的红外光。因此，植物312的反射光具有由红光(波长约600nm)和近红外光(波长约750nm)表征的光谱特性。由此，利用在这些波长带中具有光谱灵敏度的成像元件执行程序，检测特征量，检测特定区域。
[成像元件的光谱灵敏度特性]
图4是示出本公开中用于检测特定区域的成像元件的光谱灵敏度特性的示例的示图。附图是表示在不同的波长带中具有光谱灵敏度的成像元件的光谱灵敏度特性的示图。此外，例如，附图是示出能够使光分散于八个不同波长带的成像元件的示例的示图。例如，通过分别地与八个波长带对应的像素的布置来配置要使用的成像元件，并且生分量别与这些波长带对应的图像信号。在附图中，水平轴表示波长，垂直轴表示灵敏度。附图中的曲线图331至338分别表示像素的光谱灵敏度特性。
由附图可知，在600nm和750nm的波长处具有光谱特性的像素分别是具有曲线图334和336的光谱灵敏度特性的像素。当在波长600nm和750nm处具有光谱特性的像素的图像信号分别为IRch和IIRch时，可以通过以下表达式计算特征量。
|IRch-IIRch|/(IRch+IIRch)(3)
可以通过计算的特征量与阈值之间的比较来检测特定区域。
[光源颜色信息的检测]
图5是示出根据本公开的第一实施例的光源颜色信息的检测的示例的示图。附图是示出在色度信息检测单元240中检测光源颜色信息的示例的示图。此外，附图是示出在xy色度图中特定区域的色度信息与图像信号之间的关系的示图。在附图中，水平轴和垂直轴分别表示x坐标和y坐标。此外，附图中的阴影圆圈表示根据图像信号生成的色度。如上所述，根据作为观察值的图像信号生成的色度分布在沿特定方向延伸的直线上。该直线可以表示图像信号的分布。附图中的直线342表示基于图像信号的分布生成的近似直线。可以通过回归分析或主分量分析来生成近似直线。
色度信息检测单元240可以检测近似直线作为光源颜色信息。基于近似直线，色度信息检测单元240可以生成光源光谱信息。例如，色度信息检测单元240可以基于近似直线的形状(斜率和截距)生成光源光谱信息。具体地，色度信息检测单元240可以基于近似直线的形状输出从所保持的多条光源光谱信息中选择的光源光谱信息。
此外，色度信息检测单元240还可以从近似直线中检测光源的色温。色温是表示由光源发射的光的颜色的数值。例如，可以基于附图中的直线342和黑体轨迹来检测色温。该黑体轨迹表示xy色度图中的黑体辐射的颜色的变化。这里，黑体是不管波长如何都完全吸收和发出从外部入射的电磁波的能量的理想物体。黑体是唯一地确定所发射的电磁波相对于绝对温度的光谱分布的颜色的物体。黑体轨迹表示黑体的颜色相对于黑体的温度变化的变化。附图中的曲线343表示黑体轨迹。可以检测曲线343和直线342之间的交点344作为色温。
色度信息检测单元240可检测上述色温作为光源颜色信息。基于色温，色度信息检测单元240可生成光源光谱信息。例如，色度信息检测单元240可以保持多条光源光谱信息，可以基于色温执行选择，并且基于色度信息输出选择的结果的光源光谱信息作为光源光谱信息。
[光源光谱信息]
图6是示出根据本公开的第一实施例的光源光谱信息的示例的示图。附图是示出由色度信息检测单元240保持的多条光源光谱信息的示例的示图，并且是示出多条光源光谱信息的阵列的示图。附图中的“光源”是用于识别光源光谱信息的多个光源。“色温”是光源的色温[K]。光源光谱信息由各自的波长的光谱表示。附图中的“波长”表示各自的光谱的中心波长[nm]。例如，对于该波长，可以应用从350nm到950nm(61个波长)以10nm增量的波长。附图中的光源光谱信息表示保持61个波长中每一个的光谱的信息的示例。色度信息检测单元240可以保持与多个色温对应的多条光源光谱信息的这种阵列。可以通过预先测量色温和现有光源的光谱信息来生成阵列中的光源光谱信息。色度信息检测单元240可以使用附图中的阵列作为查询表，检测的色温被输入到查询表并且查询表输出多条光源光谱信息。
例如，色度信息检测单元240可以从附图中的阵列中选择具有最接近于所检测的色温的色温的一个光源。接下来，色度信息检测单元240可以输出所选择的光源光谱信息作为生成的光源光谱信息。
此外，例如，色度信息检测单元240还可以通过选择色温接近所检测的色温的两条光源光谱信息并且混合所选择的两条光源光谱信息来生成光源光谱信息。将基于选择Ta和LUTa(λ)、以及Tb和LUTb(λ)中的每一个作为色温和多条光源光谱信息的假设来描述多条光源光谱信息的混合。例如，可以以下列表达式的方式执行混合。
在此，Linterp(λ)表示在混合之后的光源光谱信息。T表示所检测的色温。Ta、Tb、LUTa(λ)、LUTb(λ)分别表示所选择的光源(a、b)的色温和光源光谱信息。以这种方式，可基于与检测的色温的差对应的比率来混合多条光源光谱信息。
如上所述，色度信息检测单元240可以基于所检测的色温生成光源光谱信息。色度信息检测单元240将生成的光源光谱信息输出至图像调整单元260。
[图像的调整]
图像调整单元260基于从色度信息检测单元240输出的光源光谱信息来调整从光谱图像生成单元220输出的图像。例如，可以以下列表达式的方式执行该调整。
这里，Iwb(x，y，λ)表示调整之后的图像信号。I(x，y，λ)表示输入图像信号。LUT(λ)表示光源光谱信息。表达式(5)的前半部分中的I(x，y，λ)/LUT(λ)的计算是与图像调整对应的部分。表达式(5)的后半部分的计算是用于补偿由于图像的调整引起的亮度(luminance)变化的计算部分。
[光源的影响的去除]
图7A至图7C是示出根据本公开第一实施例的去除光源的影响的示例的示图。图7A至图7C是示出了图像的光谱分布的示图，并且是用于描述根据本公开的去除光源的影响的效果的示图。图7A至7C中的水平轴表示波长。垂直轴表示亮度。要注意的是，在图7A到图7C中的垂直轴表示明亮度(brightness)(任意单位)。图7A中的曲线图351表示从光谱图像生成单元220输出的图像的光谱分布。图7B的曲线图352表示基于从光源光谱信息生成单元250输出的光源光谱信息的光源的光谱分布。图7C中的曲线图353表示由图像调整单元260调整的图像。通过从图7A的曲线图351中去除图7B的曲线图352中的光源的光谱分布，可以生成图7C的曲线图353的图像。图7C中的曲线图353是表示与对象的原始颜色对应的光谱分布的曲线图。
[图像处理]
图8是示出根据本公开的第一实施例的图像处理的示例的示图。附图是示出图像处理装置200中的图像处理的示例的示图。首先，图像生成单元210根据输入图像信号生成图像(步骤S101)。然后，光谱图像生成单元220执行重构处理并生成光谱图像(步骤S102)。然后，执行特定区域检测的处理(步骤S110)。该处理是检测特定区域的处理，并且是由特定区域检测单元230执行的处理。然后，执行色度信息检测的处理(步骤S120)。该处理是基于所检测的特定区域检测光源颜色信息的处理，并且是由色度信息检测单元240执行的处理。然后，执行光源光谱信息生成的处理(步骤S130)。该处理是根据检测的光源颜色信息生成光源光谱信息的处理，是由光源光谱信息生成单元250执行的处理。然后，执行调整处理(步骤S103)。该处理是根据生成的光源光谱信息调整光谱图像的处理，是由图像调整单元260执行的处理。
[特定区域检测处理]
图9是示出根据本公开的第一实施例的特定区域检测处理的示例的示图。附图是示出了特定区域检测单元230中的特定区域检测处理的示例的示图。首先，特定区域检测单元230使输入图像平滑(步骤S111)。通过该处理，可以去除图像的噪声。例如，该平滑可以通过高斯滤波器来执行。然后，特定区域检测单元230标准化图像(步骤S112)。然后，特定区域检测单元230计算特征量(步骤S113)。这可以通过利用上述表达式(3)来执行。然后，特定区域检测单元230将图像划分为多个区域(步骤S114)。然后，特定区域检测单元230在划分的区域之中选择一个未选择区域(步骤S115)。
然后，特定区域检测单元230将选择的区域的特征量与阈值比较(步骤S116)。在特征量不大于阈值的情况下(步骤S116，否)，特定区域检测单元230再次执行从步骤S115开始的处理。另一方面，在特征量大于阈值的情况下(步骤S116，是)，特定区域检测单元230使处理过渡到步骤S117的处理。
在步骤S117中，特定区域检测单元230输出选择的区域作为特定区域(步骤S117)。根据以上过程，特定区域检测单元230可检测并输出特定区域。
[色度信息检测处理]
图10是示出根据本公开的第一实施例的色度信息检测处理的示例的示图。附图是示出色度信息检测单元240中的色度信息检测处理的示例的示图。将描述以检测色温作为光源颜色信息的情况为例的色度信息检测处理。首先，色度信息检测单元240从特定区域提取图像信号(步骤S121)。这可以通过包括在与从光谱图像生成单元220输出的图像(光谱图像)中的特定区域对应的区域中的图像信号的选择来执行。此时，色度信息检测单元240提取预定数量的图像信号。然后，色度信息检测单元240将多个提取的图像信号转换成色度空间(xy色度)(步骤S122)。
然后，色度信息检测单元240基于多个图像信号计算色度空间中的近似直线(步骤S123)。然后，色度信息检测单元240检测近似直线和黑体轨迹的交点(步骤S124)。然后，色度信息检测单元240基于所检测的交叉点检测色温或色度并且执行其输出(步骤S125)。
[光源光谱信息生成处理]
图11是示出根据本公开的第一实施例的光源光谱信息生成处理的示例的示图。附图是表示光源光谱信息生成单元250中的光源光谱信息生成处理的示例的示图。首先，光源光谱信息生成单元250基于光源颜色信息从光源光谱信息的阵列中选择光源光谱信息(步骤S131)。如上面参考图10所述，色度信息检测单元240输出色温或色度作为光源颜色信息。由此，光源光谱信息生成单元250基于色温或色度选择光源光谱信息。例如，光源光谱信息生成单元250能够根据作为光源颜色信息输入的色温来搜索光源光谱信息的阵列，并选择隔着作为光源颜色信息输入的色温而相邻的两个光源光谱信息。
然后，光源光谱信息生成单元250混合选择的光源光谱信息(步骤S132)。这可以通过表达式(4)执行。然后，光源光谱信息生成单元250输出通过混合生成的光源光谱信息(步骤S133)。
如上所述，本发明的第一实施例的图像处理装置200根据预先准备的多条光源光谱信息的阵列，基于从特定区域检测的光源颜色信息，生成光源光谱信息。因此，能够简化用于去除图像中的光源的影响的光源光谱信息的生成。
(2.第二实施例)
在上述第一实施例的图像处理装置200中，色度信息检测单元240根据基于色度空间中的图像信号的分布生成的近似直线和黑体轨迹的交点检测色温。另一方面，本公开的第二实施例的图像处理装置200与上述第一实施例的不同之处在于不利用黑体轨迹的情况下检测色温。
[光源颜色信息的检测]
图12是示出根据本公开的第二实施例的光源颜色信息的检测的示例的示图。与图5相似，附图是示出了在色度信息检测单元240中检测光源颜色信息的示例的示图。附图中的光源颜色信息的检测方法与图5中的光源颜色信息的检测方法的不同点在于不使用黑体轨迹的曲线。
类似于图5，同样在附图中，基于图像信号341的分布生成直线342。在附图中检测色度信息的方法中，检测具有最接近于xy色度图中的直线342的色温的光源。即，输出具有距直线342的最短直线距离d的色温作为检测色温(色度信息)。
由于除此之外的图像处理装置200的配置类似于本发明的第一实施例中的图像处理装置200的配置，因此将省略其描述。
如上所述，本公开的第二实施例的图像处理装置200可在不使用黑体轨迹的情况下检测光源颜色信息。
(3.成像装置的配置)
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可应用于成像装置(诸如相机)。
图13是示出可以应用根据本公开的技术的成像装置的配置示例的示图。附图中的成像装置1000包括成像元件1001、控制单元1002、图像处理单元1003、显示单元1004、记录单元1005和拍摄镜头1006。
拍摄镜头1006是从对象收集光的镜头。通过拍摄透镜1006将对象成像在成像元件1001的光接收表面上。
成像元件1001是将对象成像的元件。包括执行来自对象的光的光电转换的光电转换单元的多个像素布置在成像元件1001的光接收表面上。多个像素的每一个基于通过光电转换生成的电荷生成图像信号。成像元件1001将通过像素生成的图像信号转换成数字图像信号并将其输出至图像处理单元1003。注意，用于一个画面的图像信号被称为帧。成像元件1001还可以以帧为单位输出图像信号。
控制单元1002控制成像元件1001和图像处理单元1003。例如，控制单元1002可以包括使用微型计算机等的电子电路。
图像处理单元1003处理来自成像元件1001的图像信号。例如，图像处理单元1003可包括使用微型计算机等的电子电路。
显示单元1004基于通过图像处理单元1003处理的图像信号显示图像。例如，显示单元1004可包括液晶监视器。
记录单元1005基于通过图像处理单元1003处理的图像信号记录图像(帧)。例如，记录单元1005可包括硬盘或半导体存储器。
上面已经描述了本公开可应用于的成像装置。本技术可应用于上述组件中的图像处理单元1003。具体地，图1中描述的图像处理装置200可应用于图像处理单元1003。
(4.成像元件的配置)
[成像元件的配置]
图14是示出根据本公开的实施例的成像元件的配置示例的示图。附图是示出成像元件1001的配置示例的框图。成像元件1001是生成对象的图像数据的半导体元件。成像元件1001包括像素阵列单元10、垂直驱动单元20、列信号处理单元30和控制单元40。
通过多个像素100的布置来配置像素阵列单元10。附图中的像素阵列单元10表示多个像素100以二维矩阵的形状布置的示例。在此，每个像素100包括光电转换单元，该光电转换单元执行入射光的光电转换，并且基于发射的入射光生成对象的图像信号。例如，光电二极管可以用作光电转换单元。信号线11和12布线至像素100中的每一个。每个像素100通过由信号线11传输的控制信号控制生成图像信号，并且经由信号线12输出生成的图像信号。应注意，针对二维矩阵的形状的每行布置信号线11，并且通常布线至布置在一行中的多个像素100。信号线12针对二维矩阵的形状的每一列布置，并且通常布线至布置在一列中的多个像素100。
垂直驱动单元20生成上述像素100的控制信号。附图中的垂直驱动单元20针对像素阵列单元10的二维矩阵的每行生成控制信号，并且经由信号线11连续地执行其输出。
列信号处理单元30处理通过像素100生成的图像信号。附图中的列信号处理单元30同时执行来自布置在像素阵列单元10的一行中的多个像素100的图像信号的处理，图像信号经由信号线12传输。例如，作为该处理，可执行将通过像素100生成的模拟图像信号转换成数字图像信号的模数转换以及去除图像信号的偏移误差(offset error)的相关双采样(CDS)。将处理的图像信号输出到成像元件1001外部的电路等。
控制单元40控制垂直驱动单元20和列信号处理单元30。附图中的控制单元40分别经由信号线41和42输出控制信号，并且控制垂直驱动单元20和列信号处理单元30。
[像素的配置]
图15是示出根据本公开的实施例的像素的配置示例的示图。附图是以简化的方式示出像素100的截面的配置的示图，并且是示意性地示出像素100的一部分的示图。像素100包括半导体衬底120、布线区域130、保护膜140、滤色器150和片上透镜180。
半导体衬底120是在其上形成像素100的元件的半导体衬底。该半导体衬底120可以包括硅(Si)。在附图中，示出了包括在像素100中的元件之中的光电转换单元101。为了方便起见，假设附图中的半导体衬底120包括在P型阱区域中。在半导体衬底120中示出的白色矩形表示n型半导体区域。在附图中，示出了n型半导体区域121。
光电转换单元101包括n型半导体区域121。具体地，在n型半导体区域121和周围的p型阱区之间的界面处包括p-n结的光电二极管对应于光电转换单元101。在曝光时段期间，通过光电转换单元101的光电转换生成的电荷的电子累积在n型半导体区域121中。基于在经过曝光时段之后累积在n型半导体区域121中的电荷来生成并输出图像信号。
布线区域130是其中布置了向元件传输信号的布线的区域。布线区域130包括布线132和绝缘层131。布线132传输元件的信号。布线132可以包括金属(诸如铜(Cu)或钨(W))。绝缘层149使布线132等绝缘。该绝缘层149可以包括绝缘体(诸如氧化硅(SiO2))。
保护膜140是保护半导体基板120的背面的膜。例如，保护膜140可包括SiO2。
滤色器150是透射多条入射光中的预定波长的光的光学滤波器。
片上透镜180是将入射光聚集在光电转换单元101上的透镜。附图中的片上透镜180表示被配置为半球形状的示例。片上透镜180可包括无机材料(诸如氮化硅(SiN))或者有机材料(诸如丙烯酸树脂)。
(效果)
图像处理装置200包括特定区域检测单元230、色度信息检测单元240和光源光谱信息生成单元250。特定区域检测单元230从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域。色度信息检测单元240基于所检测的特定区域的多个图像信号检测光源颜色信息。光源光谱信息生成单元250基于检测的光源颜色信息生成光源的光谱信息即光源光谱信息。由此，能够根据从特定区域估计的光源颜色信息来检测光源的光谱。
此外，光源光谱信息可以是表示波长与光谱之间的关系的信息。因此，可以检测光源的各自的波长的光谱。
另外，光源光谱信息生成单元250也可以通过在基于所检测的光源颜色信息的多条光源光谱信息中，针对各自的波长混合光谱，来生成光源光谱信息。由此，能够简化光源光谱信息的生成。
另外，光源光谱信息生成单元250也可以从保持的多条光源光谱信息中执行选择，生成光源光谱信息。由此，能够简化光源光谱信息的生成。
此外，色度信息检测单元240可以检测基于色度空间中的多个图像信号生成的近似直线，作为光源颜色信息。因此，可以简化光源颜色信息的检测。
此外，色度信息检测单元240可以检测基于近似直线检测的色温，作为光源颜色信息。因此，可以简化光源颜色信息的检测。
此外，色度信息检测单元240可以检测在近似直线和黑体轨迹的交点处的色度空间中的颜色，作为色温。这可以简化色温的检测。
此外，特定区域检测单元230可基于特定物体的波长和反射率之间的关系来检测特定区域。
此外，特定区域检测单元230可检测以植物作为特定物体的特定区域。
另外，还可以包括图像调整单元，其基于生成的光源光谱信息来调整对象的图像。因此，可以去除检测的光源的影响。
一种图像处理方法包括：从来自光源的光的对象发射到的图像中检测作为特定物体的图像的区域的特定区域；基于所检测的特定区域的多个图像信号检测光源颜色信息；以及基于所检测的光源颜色信息生成作为光源的光谱的信息的光源光谱信息。可以通过从特定区域估计的光源颜色信息来检测光源的光谱。
图像处理程序是使计算机执行以下步骤的图像处理程序：从发射来自光源的光的对象的图像中检测作为特定物体的图像的区域的特定区域，基于检测的特定区域的多个图像信号来检测光源颜色信息，并且基于检测的光源颜色信息来生成作为光源的光谱的信息的光源光谱信息。可以通过从特定区域估计的光源颜色信息来检测光源的光谱。
应注意，在本说明书中描述的效果仅是示例而不是限制，并且可存在另一效果。
此外，在上述实施例中描述的处理过程可被视为包括一系列过程的方法，或者可被视为用于使计算机执行一系列过程的程序或者存储该程序的记录介质。作为该记录介质，例如，可以使用压缩光盘(CD)、小型光盘(MD)、数字通用光盘(DVD)、存储卡、蓝光(注册商标)光盘等。
应注意，本技术还可具有以下配置。
(1)
一种图像处理装置，包括：
特定区域检测单元，从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；
色度信息检测单元，基于所检测的特定区域的多个图像信号检测光源颜色信息；以及
光源光谱信息生成单元，基于所检测的光源颜色信息生成作为光源的光谱的信息的光源光谱信息。
(2)
根据以上(1)所述的图像处理装置，其中，光源光谱信息是指示波长与光谱之间的关系的信息。
(3)
根据以上(2)所述的图像处理装置，其中，光源光谱信息生成单元通过基于在所检测的光源颜色信息的多条光源光谱信息中，针对各自的波长混合光谱，生成光源光谱信息。
(4)
根据上述(1)或(2)所述的图像处理装置，其中，光源光谱信息生成单元通过从保持的多条光源光谱信息中执行选择，生成光源光谱信息。
(5)
根据以上(1)至(4)中任一项所述的图像处理装置，其中，色度信息检测单元检测基于色度空间中的多个图像信号生成的近似直线，作为光源颜色信息。
(6)
根据以上(5)所述的图像处理装置，其中，色度信息检测单元检测基于近似直线检测的色温，作为光源颜色信息。
(7)
根据以上(6)所述的图像处理装置，其中，色度信息检测单元检测在近似直线和黑体轨迹的交点处的色度空间中的颜色，作为色温。
(8)
根据以上(1)至(7)中任一项所述的图像处理装置，其中，特定区域检测单元基于特定物体的波长和反射率之间的关系检测特定区域。
(9)
根据以上(1)所述的图像处理装置，其中，特定区域检测单元检测以植物作为特定物体的特定区域。
(10)
根据(1)至(9)中任一项所述的图像处理装置，进一步包括图像调整单元，图像调整单元基于生成的光源光谱信息来调整对象的图像。
(11)
一种图像处理方法，包括：
从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；
基于所检测的特定区域的多个图像信号检测光源颜色信息；以及
基于所检测的光源颜色信息生成作为光源的光谱的信息的光源光谱信息。
(12)
一种图像处理程序，使计算机执行：
从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；
基于所检测的特定区域的多个图像信号检测光源颜色信息；以及
基于所检测的光源颜色信息生成作为光源的光谱的信息的光源光谱信息。
参考标号列表
10 像素阵列单元
100 像素
200 图像处理装置
210 图像生成单元
220 光谱图像生成单元
230 特定区域检测单元
240 色度信息检测单元
250 光源光谱信息生成单元
260 图像调整单元
1000 成像装置
1001 成像元件
1003 图像处理单元

Claims (12)

1.一种图像处理装置，包括：
特定区域检测单元，从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；
色度信息检测单元，基于所检测的特定区域的多个图像信号检测光源颜色信息；以及
光源光谱信息生成单元，基于所检测的光源颜色信息生成作为所述光源的光谱的信息的光源光谱信息。
2.根据权利要求1所述的图像处理装置，其中，所述光源光谱信息是指示波长与所述光谱之间的关系的信息。
3.根据权利要求2所述的图像处理装置，其中，所述光源光谱信息生成单元通过在基于所检测的光源颜色信息的多条所述光源光谱信息中，针对各自的波长混合光谱，生成所述光源光谱信息。
4.根据权利要求1所述的图像处理装置，其中，所述光源光谱信息生成单元通过从保持的多条光源光谱信息中执行选择，生成所述光源光谱信息。
5.根据权利要求1所述的图像处理装置，其中，所述色度信息检测单元检测基于色度空间中的所述多个图像信号生成的近似直线，作为所述光源颜色信息。
6.根据权利要求5所述的图像处理装置，其中，所述色度信息检测单元检测基于所述近似直线检测的色温，作为所述光源颜色信息。
7.根据权利要求6所述的图像处理装置，其中，所述色度信息检测单元检测在所述近似直线和黑体轨迹的交点处的所述色度空间中的颜色，作为所述色温。
8.根据权利要求1所述的图像处理装置，其中，所述特定区域检测单元基于所述特定物体的波长和反射率之间的关系检测所述特定区域。
9.根据权利要求1所述的图像处理装置，其中，所述特定区域检测单元检测以植物作为所述特定物体的所述特定区域。
10.根据权利要求1所述的图像处理装置，进一步包括图像调整单元，所述图像调整单元基于生成的光源光谱信息来调整所述对象的图像。
11.一种图像处理方法，包括：
从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；
基于所检测的特定区域的多个图像信号检测光源颜色信息；以及
基于所检测的光源颜色信息生成作为所述光源的光谱的信息的光源光谱信息。
12.一种图像处理程序，使计算机执行：
从来自光源的光发射到的对象的图像中检测作为特定物体的图像的区域的特定区域；
基于所检测的特定区域的多个图像信号检测光源颜色信息；以及
基于所检测的光源颜色信息生成作为所述光源的光谱的信息的光源光谱信息。
CN202280008867.4A 2021-01-29 2022-01-18 图像处理装置、图像处理方法和图像处理程序 Pending CN116670705A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021013992 2021-01-29
JP2021-013992 2021-01-29
PCT/JP2022/001512 WO2022163423A1 (ja) 2021-01-29 2022-01-18 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN116670705A true CN116670705A (zh) 2023-08-29

Family

ID=82653334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280008867.4A Pending CN116670705A (zh) 2021-01-29 2022-01-18 图像处理装置、图像处理方法和图像处理程序

Country Status (6)

Country Link
US (1) US20240070920A1 (zh)
EP (1) EP4287108A1 (zh)
JP (1) JPWO2022163423A1 (zh)
CN (1) CN116670705A (zh)
TW (1) TW202303511A (zh)
WO (1) WO2022163423A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP4498117B2 (ja) * 2004-12-13 2010-07-07 キヤノン株式会社 画像処理装置およびその方法
JP4991356B2 (ja) * 2007-03-20 2012-08-01 株式会社東芝 画像処理装置、画像処理方法および画像処理用プログラム
JP5435887B2 (ja) * 2008-04-30 2014-03-05 キヤノン株式会社 画像処理装置、方法及びプログラム
US9692993B2 (en) 2013-06-19 2017-06-27 Nec Corporation Illumination estimation device, illumination estimation method, and storage medium
JP6336337B2 (ja) * 2014-06-16 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017215851A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 画像処理装置および画像処理方法、造形システム

Also Published As

Publication number Publication date
US20240070920A1 (en) 2024-02-29
TW202303511A (zh) 2023-01-16
JPWO2022163423A1 (zh) 2022-08-04
WO2022163423A1 (ja) 2022-08-04
EP4287108A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
US11193830B2 (en) Spectrocolorimeter imaging system
US10057510B2 (en) Systems and methods for enhanced infrared imaging
US9497397B1 (en) Image sensor with auto-focus and color ratio cross-talk comparison
US11022546B2 (en) Optical gas imaging systems and methods
US9990730B2 (en) Visible light image with edge marking for enhancing IR imagery
Schechner et al. Generalized mosaicing: Wide field of view multispectral imaging
JP5976676B2 (ja) レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
US20070177029A1 (en) Color correction apparatus
CN107836111B (zh) 用于增强动态范围红外成像的系统和方法
KR20080083712A (ko) 이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및장치
US9787915B2 (en) Method and apparatus for multi-spectral imaging
CN101288170A (zh) 自适应固态图像传感器
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
US20210306584A1 (en) Imaging element, imaging device, and imaging method
WO2016071909A1 (en) Spectral imaging method and system
US11513065B2 (en) Electronic device
WO2012153532A1 (ja) 撮像装置
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
CN110661940A (zh) 具有深度检测的成像系统及操作该成像系统的方法
JP2007006061A (ja) カラーフィルター及びそれを有する撮像装置
JP2006177812A (ja) 二次元分光輝度計
CN110574368A (zh) 固态摄像装置、摄像系统以及物体识别系统
CN116670705A (zh) 图像处理装置、图像处理方法和图像处理程序
Vunckx et al. Accurate video-rate multi-spectral imaging using imec snapshot sensors
JP6815628B2 (ja) マルチスペクトル撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination