CN115039403B - 图像处理方法和传感器装置 - Google Patents

图像处理方法和传感器装置 Download PDF

Info

Publication number
CN115039403B
CN115039403B CN202080095191.8A CN202080095191A CN115039403B CN 115039403 B CN115039403 B CN 115039403B CN 202080095191 A CN202080095191 A CN 202080095191A CN 115039403 B CN115039403 B CN 115039403B
Authority
CN
China
Prior art keywords
color
color information
information acquisition
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080095191.8A
Other languages
English (en)
Other versions
CN115039403A (zh
Inventor
高塚进
铁川弘树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115039403A publication Critical patent/CN115039403A/zh
Application granted granted Critical
Publication of CN115039403B publication Critical patent/CN115039403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

多个成像元件一维或二维地布置，并且成像元件中的一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且对通过使用阵列传感器成像而获取的图像执行物体检测，其中由滤色器布置像素形成颜色信息获取点。然后，通过参考在与检测的物体的像素范围的内部相对应的颜色信息获取点处所获取的颜色信息，来进行检测的物体的像素范围中的着色处理。

Description

图像处理方法和传感器装置
技术领域
本技术涉及图像处理方法和传感器装置，并且更具体地，涉及用于对使用阵列传感器获取的图像信号进行着色处理的技术。
背景技术
在布置成像元件的图像传感器中，可形成所谓的拜耳(Bayer)阵列，其中，绿色滤色器的数量是红色滤色器的数量和蓝色滤色器的数量的两倍，并且交替布置R(红色)-G(绿色)滤色器对准的行和G(绿色)-B(蓝色)滤色器对准的行。
下面描述的PTL1公开了使用包括与拜耳阵列(黄色、青色等)的颜色不同的颜色的阵列的滤色器阵列。
[引用列表]
[专利文献]
[专利文献1]
JP 2019-122045 A。
发明内容
[技术问题]
在图像传感器领域中，存在对实现高灵敏度和高分辨率的请求。
首先，鉴于实现高灵敏度，需要增加入射在成像元件上的光子数量，并且因此，可以考虑增大像素(成像元件)的尺寸或者降低入射光子损耗。
当聚焦于入射光子数量的损耗时，主要因素是使用滤色器的吸收。在滤色器中，出现约66％的损耗。然而，不使用任何滤色器的色彩分离三板系统等在成本方面被认为是不合理的，并且使用滤色器的系统在成本方面具有优越性并且具有相对良好的颜色再现性，并且因此被广泛使用，因此，存在不能避免由于滤色器引起的入射光子数量的损耗的许多情况。因此，例如，在灵敏度提高的方面，难以根据像素尺寸的增加而增加入射光子的数量的小尺寸图像传感器是不利的。
此外，在使用拜耳阵列的滤色器的情况下，分辨率变成实际数目像素的分辨率的1/4，并且因此在实现高分辨率方面是不利的。此外，根据对彩色莫尔纹和伪色的低通滤波器处理，可以降低分辨率。
考虑到这些情况，本公开提出了能够实现高灵敏度和高分辨率的实现方式的技术。
[问题的解决方案]
根据本技术，提供了一种图像处理方法，包括：对通过使用阵列传感器成像而获取的图像执行物体检测，在所述阵列传感器中，一维或二维地布置有多个成像元件，所述成像元件中的一些被配置为滤色器布置在入射光路中的滤色器布置像素，并且由所述滤色器布置像素形成颜色信息获取点；以及通过参照在与检测的物体的像素范围的内部相对应的颜色信息获取点处所获取的颜色信息，在检测的物体的像素范围内进行着色处理。
阵列传感器是执行成像的图像传感器，其中，滤色器被布置在一些像素中，并且在其他像素中没有布置滤色器。由此，仅从其他像素获取亮度信息，并且通过对其进行着色处理，生成彩色图像。在这种情况下，在进行物体检测的同时，根据布置滤色器的像素的颜色信息获取点的信息，用于使物体的像素范围着色。
在上述根据本技术的图像处理方法中，在着色处理中，可以考虑通过使用基于学习数据的颜色估计处理在检测的物体中设置候选颜色并且基于从颜色信息获取点获取的颜色信息选择候选颜色，来对检测的物体的像素范围进行着色。
换句话说，在着色处理中，首先，在图像内部执行物体的检测，并且根据物体的类别(类型)设置候选颜色。通过使用在候选颜色中的颜色信息获取点处获取的颜色信息，选择接近实际颜色的候选颜色。
根据本技术，提供了一种传感器装置，包括：阵列传感器，其中，一维或二维地布置有多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且颜色信息获取点由滤色器布置像素形成；以及运算单元，对通过使用阵列传感器成像而获取的图像执行物体检测，并且通过参照在与检测的物体的像素范围的内部对应的颜色信息获取点处获取的颜色信息，在检测的物体的像素范围内执行着色处理。
运算单元对由阵列传感器捕获的图像(图像信号)执行处理，阵列传感器具有由布置滤色器的像素形成的颜色信息获取点。在这种情况下，在进行物体检测的同时，根据布置滤色器的像素的颜色信息获取点的信息，用于使物体的像素范围着色。
在根据上述技术的传感器装置中，可考虑运算单元，通过使用基于学习数据的颜色估计处理设置检测的物体中的候选颜色并且基于从颜色信息获取点获取的颜色信息选择候选颜色，来执行检测的物体的像素范围的着色处理。
运算单元执行阵列传感器获取的图像内的物体的检测并且根据物体的类别(类型)设置候选颜色。通过使用在候选颜色中的颜色信息获取点处获取的颜色信息，选择接近实际颜色的候选颜色。
在根据上述技术的传感器装置中，可考虑运算单元基于根据从颜色信息获取点获取的颜色信息选择的候选颜色生成颜色层并且通过组合颜色层和从阵列传感器获取的亮度信息图像生成彩色图像。
换言之，在着色处理中，通过组合颜色层和亮度信息图像来生成彩色图像。
在根据上述技术的传感器装置中，可考虑运算单元对从阵列传感器获取的亮度信息图像执行与颜色信息获取点对应的像素的亮度校正，并且组合亮度信息图像和颜色层。
在亮度信息图像中，设置为颜色信息获取点的像素是布置滤色器的像素，并且因此具有比其他像素更低的灵敏度。因此，执行亮度校正。
在根据上述技术的传感器装置中，不形成颜色信息获取点的像素的总面积可被认为被配置为超过阵列传感器上所有有效像素的总面积的25％。
在阵列传感器中，构成颜色信息获取点的布置有滤色器的像素(在下文中也称为“颜色像素”)和不设置滤色器的像素(在下文中称为“透明像素”)被提供，并且透明像素的总面积超过所有整个有效像素的25％。
在根据上述技术的传感器装置中，可以考虑颜色信息获取点离散地布置在阵列传感器中。
颜色信息获取点的一个单元由一个或多个彩色像素构成。一个单元的这些颜色信息获取点离散地布置在一维或二维布置的像素中。
在根据上述技术的传感器装置中，可以考虑颜色信息获取点在阵列传感器中以恒定间隔布置。
一个单元的颜色信息获取点以恒定间隔布置在一维或二维布置的像素中。
在根据上述技术的传感器装置中，可以考虑颜色信息获取点在阵列传感器中以非恒定间隔布置。
一个单元的颜色信息获取点可以随机布置、居中布置、或以分散方式布置、或以线的形式布置，而不以恒定间隔布置在一维或二维布置的像素中。
在根据上述技术的传感器装置中，可以考虑使用多个相邻像素配置颜色信息获取点的一个单元。
例如，使用在阵列传感器的垂直方向、水平方向或对角线方向上彼此相邻的两个以上像素来配置一个单元的颜色信息获取点。
在根据上述技术的传感器装置中，可以考虑使用多个相邻像素配置颜色信息获取点的一个单元并且包括R像素、G像素和B像素。
例如，使用在阵列传感器的垂直方向、水平方向或对角线方向上彼此相邻的红色(R)像素、绿色(G)像素和蓝色(B)像素配置一个单元的颜色信息获取点。
在根据上述技术的传感器装置中，可以考虑使用多个相邻像素配置颜色信息获取点的一个单元并且包括R像素、G像素、B像素和另一颜色的像素。
例如，使用在阵列传感器的垂直方向、水平方向或对角线方向上彼此相邻的R像素、G像素、B像素和另一颜色的像素来配置一个单元的颜色信息获取点。
在根据上述技术的传感器装置中，可以考虑使用一个像素配置颜色信息获取点的一个单元，并且颜色信息获取点离散地布置在阵列传感器中。
例如，一个单元的颜色信息获取点由布置了透射特定颜色的滤色器的一个像素配置，并且这样的像素离散地布置。
根据本技术，提供了一种传感器装置，包括阵列传感器，其中，一维或二维地布置有多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，由滤色器布置像素形成颜色信息获取点，并且不形成颜色信息获取点的像素的总面积超过阵列传感器上所有有效像素的总面积的25％。
换言之，没有布置滤色器的像素区域(透明像素)确保超过至少1/4。
根据本技术，提供一种传感器装置，该传感器装置包括阵列传感器，在该阵列传感器中，一维或二维地布置有多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，由滤色器布置像素形成颜色信息获取点，并且颜色信息获取点离散地布置。
由一个或多个彩色像素形成的一个单元的颜色信息获取点离散地布置在一维或二维布置的像素中。
附图说明
图1是示出根据本技术的实施方式的传感器装置的框图。
图2是说明使用机器学习的颜色生成和着色的示图。
图3是说明使用机器学习的彩色化的示图。
图4是说明使用机器学习的彩色化的示图。
图5是说明根据实施方式的颜色信息获取点的示图。
图6是说明根据实施方式的颜色信息获取点的配置的示图。
图7是说明根据实施方式的颜色信息获取点和捕获图像的示图。
图8是根据实施方式的图像处理的流程图。
图9是说明根据实施方式的颜色层的组合的示图。
图10是说明根据实施方式的颜色信息获取点的示图。
图11是说明根据实施方式的颜色信息获取点的非恒定间隔布置的实例的示图。
图12是说明根据实施方式的颜色信息获取点的非恒定间隔布置的实例的示图。
图13是说明根据实施方式的颜色信息获取点的恒定间隔布置的实例的示图。
图14是说明根据实施方式的颜色信息获取点的恒定间隔布置的实例的示图。
图15是说明根据实施方式的颜色信息获取点的恒定间隔布置的实例的示图。
图16是说明根据实施方式的颜色信息获取点的非恒定间隔布置的实例的示图。
图17是说明根据实施方式的颜色信息获取点的非恒定间隔布置的实例的示图。
图18是说明根据实施方式的颜色信息获取点的非恒定间隔布置的实例的示图。
图19是说明根据使用多个像素的实施方式的颜色信息获取点的配置实例的示图。
图20是说明根据使用多个像素的实施方式的颜色信息获取点的配置实例的示图。
图21是说明根据使用多个像素的实施方式的颜色信息获取点的配置实例的示图。
图22是说明根据使用单个像素的实施方式的颜色信息获取点的配置实例的示图。
图23是可应用于实施方式的另一配置的实例的框图。
图24是可应用于实施方式的又一配置的实例的框图。
具体实施方式
在下文中，将按照以下顺序描述实施方式。
<1.传感器装置的配置>
<2.使用机器学习的着色>
<3.根据实施方式的传感器结构和着色处理>
<4.颜色信息获取点的布置和配置>
<5.传感器装置的配置的另一实例>
<6.结论和变形例>
此外，作为下面描述的实施方式，将用作具有成像元件阵列并且输出图像信号作为检测信号的图像传感器的传感器装置1作为实例进行描述。具体地，根据实施方式的传感器装置1是具有使用图像分析的目标检测功能的装置并且可以被称为智能阵列传感器。
<1.传感器装置的配置>
传感器装置1的配置的实例在图1中示出。此外，图1还示出了处理器11和外部传感器12，作为与传感器装置1执行数据通信的外部装置。处理器11被假定为连接至传感器装置1以能够与其通信的所有处理器。
传感器装置1包括作为硬件的图像传感器装置、动态随机存取存储器(DRAM)等的存储区以及作为人工智能(AI)功能处理器的组成部件。此外，这三个部件被组合成3层堆叠结构、1层所谓的水平安装配置、2层(例如，DRAM和AI功能处理器在同一层上)堆叠结构等的集成器件。
如图1所示，传感器装置1包括阵列传感器2、模数转换器(ADC)/像素选择器3、缓冲器4、逻辑单元5、存储器6、接口单元7以及运算单元8。
ADC/像素选择器3、缓冲器4和逻辑单元5用作信号处理单元30，该信号处理单元30对由阵列传感器2获取的检测信号执行信号处理以将信号输出到外部。
阵列传感器2被配置为使得检测元件是用于可见光或不可见光的成像元件，并且多个成像元件被一维地或二维地布置。例如，阵列传感器2具有多个成像元件在行方向和列方向上二维布置，并且根据每个成像元件中的光电转换输出二维图像信号的配置。
ADC/像素选择器3将由阵列传感器2光电转换的电信号转换成数字数据并且作为数字数据输出图像信号。
此外，ADC/像素选择器3可具有用于阵列传感器2的像素(成像元件)的像素选择功能，并且被配置为仅针对在阵列传感器2中选择的像素读取光电转换的信号，将读取的信号转换成数字数据，并且输出数字数据。换言之，虽然ADC/像素选择器3通常将构成一帧图像的所有有效像素的光电转换信号转换成数字数据并且输出数字数据，但是ADC/像素选择器3可仅将所选择的像素的光电转换信号转换成数字数据并且输出数字数据。
虽然使用ADC/像素选择器3以帧为单位读取图像信号，但是每帧的图像信号被临时存储在缓冲器4中，在适当的定时被读出，并且被提供用于逻辑单元5的处理。
逻辑单元5对输入的每个帧图像信号执行各种必要的信号处理(图像处理)。
例如，假设在逻辑单元5中使用诸如颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓增强处理、对比度调整处理、锐度调整处理、灰度级调整处理等的处理来执行图像质量调整。
此外，还假设在逻辑单元5中执行改变数据大小的处理，诸如数据压缩处理、分辨率转换、帧速率转换、纵横比转换、采样率改变等。
设置用于在逻辑单元5中执行的每个处理的参数。例如，存在诸如颜色和亮度校正系数、增益值、压缩率、帧速率、分辨率、处理目标区域、采样率等的设置值。逻辑单元5使用在每个处理中设置的参数来执行必要的处理。在本实施方式中，运算单元8可以设置这些参数。
由逻辑单元5处理的图像信号被存储在存储器6中。
存储在存储器6中的图像信号在必要的定时通过接口单元7传输并输出到处理器11等。
此外，可想到DRAM、静态随机存取存储器(SRAM)、磁阻随机存取存储器(MRAM)等作为存储器6。
此外，MRAM是使用磁性体存储数据的存储器并且已知使用隧道磁阻(TMR)元件代替磁芯。TMR元件具有插入在磁性物质之间的几个原子的极薄绝缘层，并且其电阻根据磁性物质层的磁化方向而变化。即使当不供电时，TMR元件的磁化方向也不改变，因此其可用作非易失性存储器。由于写入电流需要根据小型化的进展而增大，因此使用STT的自旋扭矩转换(STT)-MRAM对于存储单元的小型化是已知的，在该STT中，具有用于写入的均匀自旋流的电子而不使用磁场。
显然，除了这些之外的存储元件可以被设想为存储器6的具体示例。
传感器装置1外部的处理器11通过对从传感器装置1传输的图像信号执行图像分析和图像识别处理来执行必要的目标检测等。可替换地，处理器11可以执行用于图像信号的存储、通信、显示等的信号处理。
处理器11还可参考外部传感器12的检测信息。
此外，可以考虑以有线或无线方式将处理器11连接到传感器装置1。
可以考虑将该处理器11布置在与传感器装置1共用的壳体中。例如，处理器11可以被认为是配备有传感器装置1的成像设备或终端装置内部的处理器。
可替换地，处理器11可以设置在与传感器装置1分离的装置中。例如，处理器11可以被内置到通过电缆、无线通信等连接到配备有传感器装置1的成像设备或终端装置的信息处理设备、终端装置、图像编辑装置、监控装置、通信装置等中。
此外，处理器11例如可以被视为云计算系统中的处理器，并且可以与传感器装置1或通过网络内置有传感器装置1的装置通信。
运算单元8例如被配置为一个AI处理器。如图所示，运算单元8包括作为可执行的算术运算功能的关键帧选择单元81、物体区域识别单元82、类别识别单元83、参数选择单元84和颜色处理单元85。此外，可以使用多个处理器来配置这些算术运算功能。
关键帧选择单元81执行根据预定算法或指令使用下面描述的算法从图像信号的帧中选择关键帧作为运动图像的处理。
物体区域识别单元82在用于图像信号的帧的图像(帧)内执行作为用于检测的候选的物体的区域的检测和识别作为检测的目标的物体的区域的处理，该图像信号由阵列传感器2光电转换并且由ADC/像素选择器3读取。
从图像信号检测的物体是可以是用于从图像识别的目的的检测目标的物体。虽然被配置为检测目标的物体根据传感器装置1和处理器11的检测目的、处理能力、应用类型等不同，但是任何物体具有作为此处所提及的检测目标的物体的可能性。可能的检测目标的一些实例包括动物、移动物体(车辆、自行车、飞机等)、自然物体(蔬菜、植物等)、工业产品/零件、建筑物、设施、山、海、河流、星星、太阳以及云。
类别识别单元83将由物体区域识别单元82检测的物体分类为类别。
类别是使用图像识别而识别的物体的类。例如，将要检测的物体分成如“人”、“车辆”、“飞机”、“船只”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”、“马”等类别。
参数选择单元84根据每个类别存储用于信号处理的参数，并且使用由类别识别单元83识别的检测物体的类别、其区域等来选择一个或多个相应的参数。然后，参数选择单元84在逻辑单元5中设置一个或多个参数。
将在下面详细描述的颜色处理单元85是对由阵列传感器2获取的图像信号执行着色处理的功能。
在本实施方式的情况下，从阵列传感器2获取每个帧的图像信号作为单色图像。通过对图像信号进行着色处理，生成彩色图像。为此，执行基于机器学习的候选颜色的设置和使用根据下面将要描述的颜色信息获取点90的颜色信息的候选颜色的选择，从而生成彩色图像信号。
此外，在本公开中描述的单色图像不仅表示仅黑色和白色的两个灰度的图像，而且包括根据称为灰度级的多个灰度的亮度信息的图像。
根据运算单元8的这种功能是不在普通阵列传感器内部执行的处理，并且在该实施方式中，在阵列传感器内部执行物体检测、类别识别、着色处理等。据此，假设提供给处理器11的图像信号具有高质量。
此外，接口单元7可以除了将图像信号输出到处理器11之外，还将由运算单元8检测的物体的信息、类别的信息、检测的物体的数目、选择的参数的信息等作为元数据与例如图像信号一起输出，或者可以独立于图像信号输出这种信息。此外，例如，可以配置为使得仅输出类别的信息。
此外，例如，可以考虑处理器11侧指示接口单元7必要的信息，并且接口单元7输出与其相对应的信息。
这里，将简单地描述使用关键帧选择单元81、物体区域识别单元82、类别识别单元83和参数选择单元84的物体检测和参数控制。
关键帧选择单元81在与关键帧选择算法相应的定时执行选择关键帧的处理。
通过以帧为单位从图像信号中选择关键帧(即，阵列传感器2的像素阵列输出信号)并且执行图像识别，传感器装置1识别作为成像目标的物体的类别。使用关键帧选择算法来执行关键帧的选择，并且根据此，选择静止图像(特定帧)。
将描述关键帧选择算法的实例。
首先，存在用于在每个指定的时间间隔选择一个帧的技术。例如，以30秒的间隔将一个帧设置为关键帧。应当清楚的是，30秒是一个实例。
此外，可以考虑作为根据来自传感器装置1的外部(处理器11等)的命令的定时选择关键帧。例如，根据来自安装有传感器装置1的装置或仪器的指令来进行选择。例如，在传感器装置1安装在汽车中的情况下，汽车在停车场停止，然后在行驶开始的定时等选择关键帧。
另外，可根据情况改变用于选择关键帧的技术。例如，在传感器装置1安装在车辆中的情况下，关键帧的间隔在停止时、正常行驶时以及高速行驶时等改变。
当选择关键帧时，物体区域识别单元82检测关键帧内的物体的候选的位置。
换句话说，物体区域识别单元82在关键帧的图像中搜索待检测物体的候选，并获取一个或多个候选的位置(图像内的位置坐标)。
类别识别单元83将检测到的物体划分成类别。换句话说，执行物体的每个候选的类别识别以用于分类。
如上所述，类别是使用图像识别而识别的物体的类。例如，识别所检测到的物体的类别，如“人”和“花”。
参数选择单元84根据作为类别识别的结果而获取的类别来进行参数控制。
例如，参数选择单元84基于物体的类别、数量、区域等选择参数集合。
例如，在图像内存在一个类别的情况下，参数选择单元84选择与该类别对应的参数集合。例如，在所识别的类别中存在“人”的情况下，参数选择单元84选择适合于人的图像的参数集合。
在多种类型的类别的物体存在于画面内的情况下，可以考虑以下实例。
例如，可以考虑选择对应于在类别中物体的数目最大的类别的参数集合。
可替换地，在多种类型的类别的物体存在于画面内的情况下，可以考虑选择与物体的面积最大的类别相对应的参数集合。
可替换地，在多种类型的类别的物体存在于画面内的情况下，可以考虑选择与每个类别的面积的总和最大的类别相对应的参数集合。
可选地，在多个类型的类别的物体存在于画面内的情况下，从物体的数量和用于每个类别的区域的总和(或最大值)中获取选择最高优先级的类别，并且可以考虑与该类别相对应的参数集合。
当然，虽然选择参数集合有其他多种技术，但可以选择与画面内主导物体或优先待检测物体的类别对应的参数集合。
然后，参数选择单元84将所选择的参数集合设置在逻辑单元5中。
据此，逻辑单元5对此后依次输入的每个帧的图像信号使用所设置的参数集合进行各种图像处理。
所处理的图像信号的信息、设置参数、识别出的类别等临时存储在DRAM 6中。
传感器装置1响应于来自处理器11的请求输出图像信号(静止图像或运动图像)、类别识别信息(类别、物体的数量等)、使用的参数集合等中的全部或至少任一项的信息。
换言之，响应于来自处理器11的请求，接口单元7读取和传输临时存储在存储器6中的任何一条信息。
此外，尽管这个处理可以根据运算单元8的控制，但是该处理可以通过处理器11通过接口单元7访问存储器6来执行。
根据上述处理，根据作为图像中包括的物体的类别的存在来设置参数的图像信号被提供给处理器11。图像信号可以是已经执行了图像处理以具有适合于类别的图像质量的图像信号或者已经执行了适合于类别的物体的检测的图像处理的图像信号。
另外，虽然上面已经描述了运算单元8作为根据类别的逻辑单元5的设置参数，但是该处理可以不被执行。
<2.使用机器学习的着色>
此处，将描述本公开已达到的技术的情况。
如上所述，在图像传感器领域中，存在对实现高灵敏度和高分辨率的要求。
首先，从高灵敏度的实现方式的观点出发，需要增加入射于成像元件的光子数量。
为了增加入射光子的数量，可以考虑增加像素尺寸或减少入射光子的损耗。在像素尺寸固定的情况下，减少入射光子的损耗是重要的。
这里，作为入射光子损耗的因素，存在以下因素：
·微透镜的表面反射
·根据滤色器的吸收
·布线层中的反射/吸收
·绝缘膜/硅界面中的反射。
其中，作为入射光的损耗的因素，滤色器是最重要的。在滤色器中发生约66％的损耗。然而，由于在成本和颜色再现性方面的优越性，广泛使用滤色器系统。
此外，当考虑高分辨率(高清晰度)的实现方式时，彩色图像传感器的分辨率是相同像素数的单色图像传感器的分辨率的1/4。
在许多图像传感器中，使用拜耳阵列中的R/G/B/G的滤色器。
R、G和B的滤色器被附加到不是颜色信息而仅是亮度最初从其获取的像素，并且通过组合彼此相邻的R、G和B的亮度值来执行彩色化。
结果，存在应用拜耳阵列的传感器的分辨率仅为原始传感器的分辨率的1/4的结构问题。
此外，据此，由于实际上不存在于物体中的颜色的出现而出现伪色，或者由于重复图案和图像传感器的像素阵列之间的干扰而出现彩色莫尔纹。
因此，通过进行低通滤波器处理而使图像模糊来减少上述问题，这可能是进一步降低分辨率的原因。
这里，当视点改变时，可以想到，高灵敏度和高分辨率的彩色图像信号可通过从图像传感器获取亮度信息图像并据此对单色图像(包括灰度图像)执行着色处理而获取，而不设置任何滤色器。
近年来，在图像处理中，实现了使用机器学习的单色图像的着色。
换句话说，使用机器学习使用物体检测执行单色图像的着色。在物体检测中，通过预先学习大量事物，执行物体在输入图像中的位置和类别(即，上述“类”)的检测。在进行用于该物体检测的机器学习时，颜色也与物体的形状一起被提前学习。
通过使用单色图像作为输入来执行物体检测并首先估计物体的类别，还可以类似地根据学习数据来估计该类别的颜色。
此外，该机器学习还包括使用多层神经网络的使用深度机器学习(所谓的深度学习)的物体检测方法。已知用于着色和自动着色的这种机器学习的不同算法。
然而，在当前情况中使用机器学习的着色存在限制。
例如，图2的A示意性地示出了单色图像，并且图2的B、图2的C和图2的D示意性地示出了基于机器学习自动着色的图像。在这些图中，使用阴影线、阴影等来表示不同的颜色。
在基于机器学习的自动着色中，例如，使用深度学习的物体检测以图像的像素为单位执行部分识别。然后，通过根据每个部分的学习数据估计候选颜色来对整个区域进行着色。此时，例如，如图2的B、图2的C和图2的D所示，导出多个不同的候选颜色，并且使用预定算法选择最可靠的候选颜色，并且输出已经执行着色处理的彩色图像。
然而，以这种方式不必唯一地确定候选颜色，并且对选择算法存在限制，因此要输出的彩色图像可处于与实际颜色非常不同的状态。
例如，图3的A示意性地示出了实际图像，图3的B示意性地示出了仅使用图3的A的亮度信息单色化的图像，图3的C示意性地示出了使用机器学习自动着色的图像。
在图3的C所示的图像中，背景的领带和幕布的颜色被表示为与实际颜色不同的颜色。
此外，存在难以使用机器学习来估计颜色的图像。例如，图4的A示意性示出了调色板的实际图像，图4的B示意性示出了仅使用图4的A的亮度信息单色化的图像，并且图4的C示意性示出了使用机器学习自动着色的图像。使用机器学习来估计调色板的颜色的布置是非常困难的。因此，难以使通过自动着色而被着色的图像与实际图像一致。
由此，可以认为，在基于机器学习的自动着色中，对颜色的再现性存在限制。
因此，在本实施方式中，采用以下构思。
通过在阵列传感器2中消除滤色器或配置透明(无色)滤色器，入射光子的数量增加，并且执行高灵敏度的实现方式，由此获取单色图像。此外，据此，实现高分辨率的实现方式，并且进一步地，通过解析彩色莫尔纹和伪色，防止发生根据低通滤波器处理的分辨率降低。
另外，虽然执行基于机器学习的着色处理以从单色图像获得彩色图像，但此时，从一些像素获取实际颜色信息，并且反映实际颜色信息，由此实现具有更高的再现性的自动着色。
为了获取实际颜色信息，代替在阵列传感器2中不设置滤色器，一些像素被配置为滤色器设置在入射光路中的滤色器设置像素，并且根据这些滤色器设置像素形成颜色信息获取点。
根据这样的构思，与使用通常使用的拜耳阵列或任何其他彩色滤色器阵列的图像传感器相比，实现了高灵敏度和高分辨率，并且确保了颜色的再现性。
<3.根据实施方式的传感器结构和着色处理>
在图5中示出了在根据实施方式的传感器装置1中的阵列传感器2的像素阵列中形成的颜色信息获取点90的实例。
图5示出了阵列传感器2的像素阵列面2A，并且假设一个正方形是获取亮度信息的一个像素。
此外，在实际图像传感器中，尽管存在除了用于获取亮度信息的有效像素以外，在外围边缘部分等中设置假像素的情况，但是在本公开中，在描述中忽略假像素，并且在有效像素的范围内进行描述。
图5示出了颜色信息获取点90(应用斜线的像素)在被视为有效像素的所有像素的范围内在垂直方向和水平方向上以恒定间隔布置的状态。
图6的A是图5中示出的虚线区域AX的放大图。
图6的A示出使用拜耳阵列的R像素、G像素、B像素以及G像素中的四个像素形成一个单元的颜色信息获取点90的实例。
分配对角线和“R”的正方形是R像素。分配对角线和“G”的正方形是G像素。分配对角线和“B”的正方形是B像素。
R像素是仅透射R光的滤色器设置在入射光路中的像素，G像素是仅透射G光的滤色器设置在入射光路中的像素，并且B像素是仅透射B光的滤色器设置在入射光路中的像素。
由不分配斜线的正方形表示的像素是透明像素。
透明像素是没有布置滤色器的像素。更具体地，透明像素表示过滤部分是透明的(无色的)并且不用作滤色器的像素或不存在过滤的像素。
此外，与透明像素相比，布置滤色器的像素将被称为颜色像素。在本实施方式的情况下，颜色像素表示构成颜色信息获取点90的配置有滤色器的像素。
图6的A中所示的R像素、G像素以及B像素是颜色像素。颜色像素包括也设置有另一颜色的滤色器的像素。
此外，图6的B示出了一个单元的颜色信息获取点90由R像素、G像素和B像素中的三个像素形成的实例。这样，颜色信息获取点90不限于由拜耳阵列的四个像素配置。下面将描述颜色信息获取点90的各种配置实例。
如从图5和图6可以理解的，颜色信息获取点90离散地形成在像素阵列面2A上。
颜色信息获取点90是以任意阵列布置滤色器的最小单元，并且具有获取颜色信息的功能。在图像传感器内部，由颜色信息获取点90占据的区域被定义为颜色区域，并且作为透明滤色器或未设置滤色器的区域(透明像素的区域)的其他区域被定义为透明区域。
颜色信息获取点90的所布置的位置和数量根据应用而不同。以下将描述变形。
此外，在图像传感器的整个有效像素区域中占据的颜色区域与透明区域之间的比率根据应用而不同。
作为获得根据该实施方式的高灵敏度的实现方式和高清晰度的实现方式作为效果的比率，透明区域设置在超过整个区域的25％的区域中。
在图5所示的实例中，很明显，透明面积的比率超过整个面积的25％。在图6的A所示的实例中，64个像素中的60个像素是透明像素，因此，透明区域为93.75％。
图7的A示出了由阵列传感器2捕获的物体的图像，并且图7的B示出了在如在图5中示出的颜色信息获取点90的布置状态下叠加的图像。
在这种情况下，虽然咖啡杯和背景的树被绘制为位图，但是可理解，在与咖啡杯的像素范围对应的区域中存在若干颜色信息获取点90，在与背景的树的像素范围对应的区域中存在若干颜色信息获取点90。
如图6的A和图6的B所示，颜色信息获取点90被配置为包括R像素、G像素和B像素，并且因此，作为从构成颜色信息获取点90的像素中获取的颜色信息，可以确定杯的实际颜色和背景的树的实际颜色。
在传感器装置1中，使用布置这种颜色信息获取点90的阵列传感器2，并且运算单元8执行如图8中的着色处理。
如在图8中示出的步骤S100，在以一个帧为单位从阵列传感器2输出图像信号之后，示出了由运算单元8执行的处理。
此外，从阵列传感器2获取的一帧的图像信号是作为仅亮度信息的黑白(灰度)的亮度信息图像信号。这里，对于颜色信息获取点90，可以获取表示部分的实际颜色的颜色信息。
在图8中所示的运算单元8的处理中，步骤S101是主要使用图1中所示的关键帧选择单元81、物体区域识别单元82和类别识别单元83的功能执行的处理，步骤S102和后续步骤是主要使用颜色处理单元85的功能执行的处理。
在步骤S101中，运算单元8执行物体的检测。换言之，如以上针对从阵列传感器2输出的一个帧的图像所描述的那样检测物体，并且确定对应的类别。
在步骤S102中，运算单元8执行颜色估计。换言之，通过使用使用针对每个物体确定的类别和学习数据的机器学习的处理，估计物体的颜色。例如，在人的面部的情况下，基于机器学习来估计适合于面部的颜色。
在步骤S103中，对于图像内部的每个区域，换言之，对于图像内部检测的物体的每个区域，运算单元8设置使用机器学习的结果估计的多个候选颜色。
例如，在如图7的A所示的图像的情况下，针对绘制咖啡杯的像素范围的区域设置几个候选颜色，并且针对绘制背景的像素范围的区域设置几个候选颜色。
在步骤S104中，运算单元8将图像内部的区域中的一个区域设定为处理目标，并且检查该区域内是否存在颜色信息获取点90。例如，检查在与图7的B中示出的咖啡杯对应的像素范围的区域中是否存在颜色信息获取点90。
如果颜色信息获取点90存在于作为处理目标的区域中，则运算单元8前进至步骤S105并根据区域内的对应颜色信息获取点90检查颜色信息。该颜色信息例如是使用R、G和B的颜色像素实际捕获的颜色信息。然后，通过参考实际颜色信息，从该区域的候选颜色中选择最接近的候选颜色。
在这种情况下，不仅可执行候选颜色的选择，还可执行被设置为候选颜色的颜色的校正。
如果在作为处理目标的区域中不存在颜色信息获取点90，则运算单元8前进至步骤S106并选择被视为具有最高可能性的颜色的候选颜色。
另外，在步骤S106中，对于不能检测到物体并且不能设置候选颜色的区域，可以执行选择具有最高可能性的颜色的处理。
在步骤S107中，运算单元8检查是否已对图像内部的每个区域完成上述步骤S105或步骤S106的处理，并且在存在未被处理的区域的情况下，返回至步骤S104并且对该区域执行处理。
此外，对于不能识别物体的区域，基于亮度值等确定一个区域的范围，并且在步骤S104中，确定区域内部的颜色信息获取点90的存在/不存在。然后，在存在颜色信息获取点90的情况下，在步骤S105中，可以基于根据颜色信息获取点90的颜色信息执行颜色设置。另外，在不存在颜色信息获取点90的情况下，在步骤S106中可以进行估计具有高可能性的颜色的处理。
当对于所有区域完成步骤S105或步骤S106的处理时，运算单元8从步骤S107进行至步骤S108并执行颜色层的生成。
颜色层是具有各像素的饱和度信息的图像层信息。换句话说，运算单元8为每个区域使用在步骤S105和S106中选择的颜色生成具有一帧的每个像素的饱和度信息的颜色层。
在步骤S109中，运算单元8对由阵列传感器2获取的亮度信息图像信号执行构成颜色信息获取点90的像素的亮度信息的校正。
构成颜色信息获取点90的像素是布置滤色器的颜色像素，并且入射光子的数量小于透明像素的数量。
因此，在使用亮度信息图像的像素值(像素的亮度值)进行比较的情况下，构成颜色信息获取点90的像素的亮度值低于周围透明像素的亮度值。
由此，对于一帧的亮度信息图像信号，构成颜色信息获取点90的像素的亮度值被校正为升高。该校正是校正成可以在与透明像素的条件相同的条件下获取入射光子的数量的状态。
例如，在根据滤色器的入射光子的数目的损耗是66％并且亮度值是原始亮度值的34％的情况下，亮度值被校正为不具有66％的损耗的值。
此外，可通过使用周围的透明像素的亮度值执行插值处理来校正颜色像素的亮度值。
在步骤S110中，运算单元8将颜色层与单色图像信号组合，并且生成已经执行着色处理的彩色图像。
图9示出了合成图像。从阵列传感器2输出的亮度信息图像被设置为单色层，并且该单色层与颜色层相结合，从而获取彩色图像。
在步骤S111中，运算单元8输出图像信号作为所生成的彩色图像。例如，运算单元8将彩色图像信号发送至缓冲器4。
该彩色图像信号由逻辑单元5处理，并且通过存储器6和接口单元7被传输到处理器11。
这样的彩色图像信号不是通过仅基于机器学习对亮度信息图像着色来获取的，而是通过检查在颜色信息获取点90处获取的实际颜色并选择反映实际颜色的颜色来执行着色处理来获取，因此颜色再现性极其优越。
<4.颜色信息获取点的布置和配置>
在下文中，将描述颜色信息获取点90的配置的布置和变化的实例。
作为颜色信息获取点90的布置的实例，尽管图5示出了颜色信息获取点90以恒定间隔布置在像素阵列面2A内的实例，但是优选的是，颜色信息获取点90的布置根据应用(即，传感器装置的使用)、使用目的、所需彩色图像限定等来设置。
另外，一个单元的颜色信息获取点90的配置是不同的。
图10示出了颜色信息获取点90以非恒定间隔布置的实例。
此外，在该实例中，如图6的B所示，一个单元的颜色信息获取点90使用彼此相邻的R像素、G像素和B像素的三个像素配置。
无论如何，优选的是，颜色信息获取点90的布置和配置使得包括形成颜色信息获取点90的像素，透明区域的总面积超过阵列传感器2的所有有效像素的总面积的25％，并且形成根据应用的布置。
此外，优选的是，颜色信息获取点90的设置和配置使得颜色信息获取点90离散地布置在阵列传感器2的像素阵列面2A上。
将描述各种实例。
图11示出了传感器装置1被假定用在附接至房屋的主入口的门相机中的实例。
该图示意性示出在像素阵列面2A上构成颜色信息获取点90的颜色像素的位置。在此，例如，如在图6的A中，使用四个像素形成一个单元的颜色信息获取点90。
另外，附图是用于描述的示意图，因此根据四个像素的颜色信息获取点90被放大。假设一个单元的颜色信息获取点90的实际面积比示出的面积小得多。
在门相机的情况下，面部的图像是重要的。要求能够精确地获取包括存在于室内的人的颜色的访客等的面部。此外，当考虑用于面部认证的安全门等的相机时，对于面部的识别/对照，类似地，面部的图像是重要的。
由此，在这种用途的情况下，如图所示，颜色信息获取点90被认为集中地布置在示出面部的中心部分中。
图12假设是车载相机。作为车载相机，假定安装五个相机。在附图中，在前侧成像中心的相机的传感器装置1的像素阵列面2A1、在宽视场下成像前侧的相机的传感器装置1的像素阵列面2A2、在左侧成像的相机的传感器装置1的像素阵列面2A3、在右侧成像的相机的传感器装置1的像素阵列面2A4、以及后相机的传感器装置1的像素阵列面2A5。
在对前侧的中心成像的相机的传感器装置1的像素阵列面2A1上，颜色信息获取点90集中布置在中心处，并且加强了行驶方向上的物体的颜色再现功能。
在对具有宽视场的前侧成像的相机的传感器装置1的像素阵列面2A2上，颜色信息获取点90在垂直方向上以若干行的形状布置，并且对于在水平方向上接近的物体增强颜色再现功能。
在左侧和右侧的像素阵列面2A3和2A4上，颜色信息获取点90在垂直方向上以若干行的形状布置，并且对于在左侧或右侧进行的物体和穿过左侧和右侧的物体增强颜色再现功能。
在后相机的传感器装置1的像素阵列面2A5上，完全布置颜色信息获取点90，并且广泛地保持整个颜色再现功能。
如在以上图11和图12中示出的实例中，通过根据应用设置布置的位置和密度，可以实现适于该目的的颜色再现性。
以这种方式，存在颜色信息获取点90以恒定间隔布置的实例和颜色信息获取点90以非恒定间隔布置的实例，并且可以根据应用考虑各种布置。
例如，在颜色信息获取点90以恒定间隔布置的情况下，可根据应用不同地考虑布置间隔。图13、图14和图15示出了颜色信息获取点90的密度根据不同间隔而不同的实例。
图13的A示出了通过假设相机采用诸如所谓的4K、8K等的大尺寸图像传感器或者在拍摄远景的相机、监控相机等中使用的传感器装置1的情况以高密度设置颜色信息获取点90的实例。
例如，虽然图13的B示出了监控相机的图像，但是在这种情况下，目标人被示为很小，并且颜色是各种各样的，因此，优选以高密度布置颜色信息获取点90。
图14的A示出了通过假设在一般消费者使用中使用的传感器装置1以中间度的密度设置颜色信息获取点90的实例。
虽然图14的B示出了普通风景的图像，但是密度不需要等于上述监控相机等的密度。由此，以能够确保一定程度的颜色再现性的密度设置颜色信息获取点90。
图15的A示出了通过假设传感器装置1用于网络相机等而以低密度设置颜色信息获取点90的实例。
图15的B示出了使用网络相机拍摄的图像。在使用网络相机不要求高颜色再现性的用途的情况下，颜色信息获取点90可以被视为以低密度布置，对于该低密度可以确保最低必要性的颜色再现性。
此外，在颜色信息获取点90以非恒定间隔布置的情况下，如图16、图17和图18所示，可不同地考虑布置的各种实例。
图16示出了集中类型的布置的实例并且适用于上述门相机等。
图17示出了扩展类型的布置的实例，并且例如可应用于前侧的相机作为车载相机。
图18示出了线型布置的实例，并且例如能够应用于作为车载相机的水平方向上的相机。
接下来，将描述颜色信息获取点90的配置的各种实例。
首先，示出使用多个像素形成一个单元的颜色信息获取点90的实例。
图19的A示出了使用拜耳阵列的四个像素(R像素、G像素、B像素以及G像素)形成一个单元的颜色信息获取点90的实例。
图19的B是使用彼此相邻的16个像素形成一个单元的颜色信息获取点90的实例。在这种情况下，使用四个R像素、四个G像素、四个B像素和四个G像素形成颜色信息获取点90。
图19的C是使用彼此相邻的三个像素(R像素、G像素和B像素)形成一个单元的颜色信息获取点90的实例。
图19的D是使用彼此相邻的12个像素形成一个单元的颜色信息获取点90的实例。在这种情况下，使用三个R像素、三个G像素、三个B像素和三个G像素形成颜色信息获取点90，没有分配对角线的透明像素可被视为不包括在颜色信息获取点90中。
图19的E是使用在垂直方向上相邻的对齐的三个像素(R像素、G像素和B像素)形成一个单元的颜色信息获取点90的实例。
图19的F是使用在水平方向上相邻的对齐的三个像素(R像素、G像素和B像素)形成一个单元的颜色信息获取点90的实例。
图19的G是使用在水平方向上相邻的对齐的9个像素(R像素、G像素、B像素、R像素、G像素、B像素、R像素、G像素以及B像素)形成一个单元的颜色信息获取点90的实例。
图20的B、图20的C和图20的D示出了一个实例，其中，例如，根据在图20的A中所示的拜耳阵列的四个像素(R像素、G像素、B像素以及G像素)，扩大一个单元的颜色信息获取点90的区域。
图20的B是通过将拜耳阵列的四个像素的四个组配置为在水平方向和垂直方向上彼此相邻来形成一个单元的颜色信息获取点90的实例。
图20的C是通过将拜耳阵列的四个像素的九个组配置为在水平方向和垂直方向上彼此相邻来形成一个单元的颜色信息获取点90的实例。
图20的D是通过将拜耳阵列的四个像素的16个组配置为在水平方向和垂直方向上彼此相邻来形成一个单元的颜色信息获取点90的实例。
此外，一个单元的颜色信息获取点90可以不必包括所有R像素、G像素和B像素。
图21的A为一个单元的颜色信息获取点90由在对角线方向上彼此相邻的两个G像素形成的实例。
图21的B为一个单元的颜色信息获取点90由在对角线方向上彼此相邻的8个G像素形成的实例。
此外，当然，可以考虑在图21的A和图21的B所示的实例中使用B像素或R像素的实例。
图21的C是除了R像素、G像素以及B像素之外还包括其他颜色的像素的实例。
此外，另一种颜色的像素是透射另一种颜色的光的滤色器设置在入射光路中的像素。在此，示出了黄色(Y)像素作为实例。
如图所示，一个单元的颜色信息获取点90由R像素、G像素、B像素和Y像素中的四个像素形成。
图21的D是通过将具有图21的C所示的结构的四个像素组配置为彼此相邻，由16个颜色像素形成一个单元的颜色信息获取点90的实例。
这里，虽然Y像素被示出为实例，但是诸如品红色像素、青色像素等的其他颜色的像素可被用作其他颜色的像素。
此外，诸如Y像素和品红色像素的两种以上颜色的像素可被用作其他颜色的像素。
此外，可以不包括所有R像素、G像素和B像素。例如，可以考虑使用一个单元的颜色信息获取点90由R像素、G像素和Y像素配置的实例、一个单元的颜色信息获取点90由B像素和Y像素配置的实例等。
可以根据传感器装置1的用途、目的等确定用于颜色信息获取点90的颜色像素的颜色的组合。例如，在期望确保再现性的颜色是特定颜色的情况下，可以根据颜色确定颜色信息获取点90的结构。
至此，尽管已经示出了一个单元的颜色信息获取点90由多个像素配置的实例，但是一个单元的颜色信息获取点90可以由一个像素配置。
图22的A示出了颜色信息获取点90由一个R像素配置的实例。
在这种情况下，在像素阵列面2A上，如图22的B所示，颜色信息获取点90根据一个像素离散地布置。
显然，颜色信息获取点90可以由G像素构成，或者可以由B像素构成。
此外，如根据一个像素的颜色信息获取点90，如图22的C所示，可以设置相应颜色的像素。换句话说，离散地布置根据R像素的颜色信息获取点90、根据G像素的颜色信息获取点90和根据B像素的颜色信息获取点90。
如在上述每个实例中，存在颜色信息获取点90的布置的各种实例和颜色信息获取点90的配置的各种实例，并且除了所示实例之外的其他各种实例是可想到的。
<5.传感器装置的配置的另一实例>
传感器装置1的配置的实例不限于图1所示的配置，并且可考虑另一实例。
图23是运算单元8与传感器装置1分开设置作为终端装置100的配置的示例。此外，作为终端装置100，可以考虑使用诸如信息处理终端、成像设备终端等各种类型。
运算单元8被视为与传感器装置1分离的芯片，并且被视为布置在终端装置100的内部，并且能够通过接口单元7与传感器装置1通信。
然后，通过包括DNN引擎作为颜色处理单元85，运算单元8可执行与上述图1中所示的情况的处理类似的处理。
图24所示的配置的示例是作为颜色处理单元85的DNN引擎使用独立于传感器装置1和运算单元8的处理器等形成的情况的示例。
例如，形成包括传感器装置1(包括运算单元8)、处理器11、外部传感器12和颜色处理单元85作为终端装置100的配置。
而且，在这种情况下，颜色处理单元85被视为能够通过接口单元7与传感器装置1通信，并且可以结合运算单元8执行与上述图1中所示的配置的情况的处理相似的处理。
此外，虽然未示出，但是在传感器装置1和运算单元8被配置为如图23中的单独主体的配置中，颜色处理单元85可以进一步由作为单独主体的处理器等配置。
此外，类似于颜色处理单元85，关键帧选择单元81、物体区域识别单元82、类别识别单元83、参数选择单元84等可被视为被配置为也被布置在传感器装置1的外部或运算单元8的外部。这一点也可应用于图1中所示的配置的变形例。
<6.结论和变形例>
根据上述实施方式，获得以下效果。
根据本实施方式的传感器装置1包括：阵列传感器2，其中多个成像元件被一维或二维地布置，一些成像元件被配置为滤色器被布置在入射光路中的滤色器布置像素，并且颜色信息获取点90由滤色器布置像素形成；以及运算单元8。
然后，运算单元8执行图像处理方法，该图像处理方法包括：对通过使用包括颜色信息获取点90的阵列传感器2成像而获取的图像执行物体检测，并且通过参照在与检测的物体的像素范围的内部对应的颜色信息获取点90处获取的颜色信息，在检测的物体的像素范围内执行着色处理。
在这种情况下，作为阵列传感器2，除了被配置为颜色信息获取点90的像素以外的像素是没有布置滤色器的透明像素，并且因此减少了入射光子的损耗，可以增加入射光子的数目，并且作为整个图像传感器可以实现灵敏度的显著提高。
此外，通常，在彩色图像传感器的情况下，分辨率低于单色图像传感器的分辨率(例如，在拜耳阵列的情况下降低至1/4)，并且阵列传感器2的每个像素作为单色像素用于亮度检测，在运算单元8的处理中执行着色，并且因此不会发生由于颜色像素引起的分辨率降低。换言之，作为输出彩色图像的图像传感器，可实现高分辨率和高清晰度。
此外，通常，在彩色图像传感器的情况下，虽然存在出现伪色和彩色莫尔纹并且执行低通滤波器处理以便处理这种出现的情况，但是在该实施方式的情况下，不出现这种问题，并且不出现由于低通滤波器处理而导致的分辨率降低。
另外，通过执行物体的检测并且使用与物体的像素范围相对应的颜色信息获取点90的颜色信息来进行着色处理。在这种情况下，参考实际颜色信息，并且因此可对图像内的检测的物体执行具有高再现性的着色处理。
在本实施方式中，通过基于在阵列传感器2所获取的图像内检测的物体的学习数据来进行颜色估计处理，运算单元8可以基于机器学习来进行着色。在此，在使用机器学习的颜色的估计中生成多个候选。此外，对于学习数据的细节、如在图4中作为实例示出的设计的物体(其颜色不能被容易地识别)等，对再现性存在限制。由此，通过根据颜色信息获取点90参考实际颜色信息，选择通过机器学习获取的候选颜色中的接近于实际颜色的候选颜色。以这种方式，除了基于机器学习的具有高再现性的着色之外，可以执行覆盖通过机器学习的着色的限制的着色处理，结果，可以生成具有极高再现性的彩色图像。
换句话说，在本实施方式中，可以产生具有高灵敏度、高分辨率和高再现性的彩色图像。
在实施方式中，基于根据从颜色信息获取点90获取的颜色信息而选择的候选颜色来生成颜色层，并且将颜色层与从阵列传感器获取的亮度信息图像结合，从而生成彩色图像(见图8和图9)。
以这种方式，使用机器学习的着色和颜色信息获取点90的信息可以反映在由阵列传感器2获取的亮度信息(即，单色图像)中。
在实施方式中，已经描述了对从阵列传感器2获取的亮度信息图像执行亮度校正的实例(图8中示出的步骤S109)。
颜色信息获取点90的像素通过滤色器并且因此具有比透明像素的那些更大的入射光子损耗和更低的亮度。然后，在构成单色层的亮度信息图像中，颜色信息获取点90的像素的亮度低于一般像素的亮度，并且作为图像的整体出现亮度的不均匀性。由此，颜色信息获取点90的像素的亮度值被校正以增加与由于滤色器引起的损耗相对应的水平。据此，单色层的图像质量提高，并且此外，着色后的彩色图像的质量也提高。
在这种情况下，通过根据周围像素的亮度信息进行插值，能够更精确地实现颜色信息获取点90的像素的亮度校正。
在本实施方式中，在阵列传感器2中，未形成颜色信息获取点90的像素的总面积被配置为超过上述阵列传感器上的所有有效像素的总面积的25％。
换言之，当根据透明像素的透明区域的总面积与根据颜色像素的颜色区域的总面积进行比较时，(透明区域的总面积)/(透明区域的总面积+颜色区域的总面积)被配置为超过0.25。
此外，当所有像素具有相同的面积时，(透明像素的数量)/(透明像素的数量+颜色像素的数量)被配置为超过0.25。
为了实现高灵敏度和高清晰度而设置了透明区域，通过这样设置透明区域的面积与颜色区域的面积之比，能够良好地显示上述高灵敏度和高清晰度的效果。
此外，在高灵敏度和高清晰度的实现是重要的情况下，优选地，透明区域的面积超过所有有效像素的总面积的50％或超过总面积的75％。
例如，在透明区域的面积被配置为超过总面积的75％的情况下，透明像素占主导，并且存在少量的配置颜色信息获取点90的颜色像素。以这种方式，当实现透明像素占主导的像素布置时，这对于减少入射光子损耗是非常有效的，并且以上描述的高灵敏度和高清晰度的实现的效果更令人满意地出现。
在本实施方式中，颜色信息获取点90离散地布置在阵列传感器2中。
换句话说，一个单元的颜色信息获取点90不是连续地而是离散地布置在二维地布置的像素阵列上(见图6、图10和图13至图18)。
通过离散地布置颜色信息获取点90，尽可能抑制颜色信息获取点90的数量，并且可以获取图像内的各部分的实际颜色信息。
由此，对于在图像内的各位置处检测到的物体，可通过参考实际颜色信息来执行具有高再现性的着色处理。
此外，同样在一维布置像素的情况下，假设颜色信息获取点离散地布置。
在实施方式中，颜色信息获取点90以恒定间隔布置在阵列传感器2中(参见图13、图14和图15)。
通过颜色信息获取点90以恒定的间隔布置，可以在整个图像内获取每个部分的实际颜色信息。
此外，通过根据要求的图像质量、传感器装置1的使用目的等设置恒定间隔的密度，可以执行基于使用目的等的根据要求的精度的图像捕获，换言之，根据应用的图像捕获和彩色图像的生成。例如，在图13、图14和图15中，尽管示出了颜色信息获取点90的密度彼此不同的实例，但是这些是根据使用目的和所要求的精度布置颜色信息获取点90的实例。
具体地，从提高灵敏度和实现高分辨率的观点来看，布置滤色器的颜色像素的数量越少，越好。另一方面，当布置更多颜色信息获取点90时，更有利于颜色再现。因此，优选地，从根据使用目的和所要求的精度尽可能地减少颜色信息获取点90的布置并且确保用于颜色再现的必要数量的信息获取点的构思，来设置布置密度。
此外，在颜色信息获取点90以恒定间隔布置的情况下，尽管它们可以在水平方向和垂直方向上以相同间隔布置，但是类似于颜色信息获取点在水平方向上以第一恒定间隔布置并且在垂直方向上以第二恒定间隔布置的情况，布置间隔可以在水平方向和垂直方向上不同地配置。
此外，同样在一维布置像素的情况下，假设颜色信息获取点90在布置方向上以恒定间隔布置。
在实施方式中，在阵列传感器2中，以非恒定间隔布置颜色信息获取点90(参见图10、图11、图12、图16、图17和图18)。
通过以非恒定间隔布置颜色信息获取点90，能够根据考虑成像目的的图像内的重要度获取实际颜色信息。
根据使用传感器装置1的情况，换言之，根据诸如监控相机、车载相机、网络相机等应用的不同，图像内的所需重要程度不同。由此，通过将颜色信息获取点90设置为与重要程度的请求相匹配，可以执行图像捕获和根据应用的彩色图像的生成。例如，在图10、图11、图12、图16、图17和图18中，尽管示出了颜色信息获取点90以非恒定间隔布置的布置的实例，但是存在适于使用目的的颜色信息获取点90的布置的实例。
如上所述，从提高灵敏度和实现高分辨率的观点来看，布置滤色器的颜色像素的数量越少，越好。然而，当布置更多颜色信息获取点90时，更有利于颜色再现。由此，通过根据使用目的在重要区域中以更高密度布置颜色信息获取点90，可以产生更期望的彩色图像。
此外，同样在一维布置像素的情况下，颜色信息获取点90被考虑在布置方向上以非恒定间隔布置。
在实施方式中，已经描述了颜色信息获取点90的一个单元由阵列传感器2中的多个相邻像素配置的实例(参见图19、图20和图21)。在这样的附图中，颜色信息获取点90的一个单元由在阵列传感器2中在垂直方向、水平方向或对角线方向上相邻的两个以上像素构成。通过使用多个像素配置一个单元，可以提高更准确地获取颜色信息的可能性。
在实施方式中，已经描述了颜色信息获取点90的一个单元由多个相邻像素配置并且包括阵列传感器2中的R像素、G像素和B像素的实例(参见图19和图20)。在这样的附图中，通过在颜色信息获取点90的一个单元中包括三原色的像素，可以通过一个单元的颜色信息获取点90获取各种类型的颜色信息。以这种方式，可以提高更准确地获取颜色信息的可能性。
在实施方式中，已经描述了颜色信息获取点90的一个单元由多个相邻像素配置并且包括阵列传感器2中的R像素、G像素、B像素以及另一颜色的像素(例如，Y像素)的实例(见图21的C和图21的D)。
同样在这种情况下，可以通过一个单元的颜色信息获取点90获取各种颜色信息。具体地，在存在用于检测特定颜色的物体的请求的情况下，通过设置适于检测物体的颜色的像素，可以提高检测精度。
此外，其他颜色的像素不限于黄色。例如，假定诸如青色和品红色的各种颜色。此外，作为另一种颜色，可以设置两种以上颜色的像素。
在实施方式中，已经描述了由一个像素配置颜色信息获取点90的一个单元并且颜色信息获取点90离散地布置在阵列传感器2中的实例(参见图22)。
以这种方式，通过布置用于获取一条特定颜色信息的颜色信息获取点90，可以根据传感器装置1的成像目的执行充分的颜色再现。
如在图22的B中，当所有颜色信息获取点90被配置为相同颜色的像素时，其适用于检测特定颜色的物体的目的。
如在图22的C中，通过将颜色信息获取点90配置为不同颜色的像素，可以在图像内的每个部分中执行各种颜色的检测。
然后，像这样，通过使用一个像素形成一个单元的颜色信息获取点90，可以更离散地布置其入射光子的数量由于滤色器而减少的像素。
根据本实施方式的传感器装置1被描述为包括阵列传感器2，其中，一维或二维地布置多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，由滤色器布置像素形成颜色信息获取点90，并且不形成颜色信息获取点90的像素的总面积超过阵列传感器上所有有效像素的总面积的25％。
通过将配置颜色信息获取点90的透明区域的面积配置为超过总面积的25％，减少由于透明像素导致的入射光子损耗是有效的。
此外，通过设置颜色信息获取点90，可以实现传感器装置1内部的运算单元8或传感器装置1外部的处理器11等中的着色处理的再现性的改进。
根据实施方式的传感器装置1已经被描述为包括阵列传感器2，在阵列传感器2中，一维或二维地布置多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，颜色信息获取点90由滤色器布置像素形成，并且颜色信息获取点90离散地布置。
通过离散地布置颜色信息获取点90，尽可能抑制颜色信息获取点90的数量，并且可以获取图像内的各部分的实际颜色信息。因此，可以实现传感器装置1内部的运算单元8或传感器装置1外部的处理器11等中的着色处理的再现性的改进。
本公开的技术不限于实施方式的配置实例，并且假设各种变形例。
传感器装置1的配置不限于图1、图23和图24中所示的配置。
阵列传感器2不限于接收可见光的像素并且可以是不可见光的多个成像元件。
颜色信息获取点90的布置和配置不限于作为实例示出的那些，并且此外，可以考虑各种实例。可以使用至少一些像素来配置颜色信息获取点90。
本说明书中描述的有益效果仅是示例性的并且不受限制，并且可以获得其他有利效果。
同时，本技术还可采用以下配置。
(1)一种图像处理方法，包括：对通过使用阵列传感器成像而获取的图像执行物体检测，在所述阵列传感器中，一维或二维地布置多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且由滤色器布置像素形成颜色信息获取点；以及通过参考在与检测物体的像素范围的内部相对应的颜色信息获取点处所获取的颜色信息，在检测物体的像素范围内进行着色处理。
(2)根据上述(1)的图像处理方法，其中，在着色处理中，通过使用基于学习数据的颜色估计处理在检测物体中设置候选颜色并且基于从颜色信息获取点获取的颜色信息选择候选颜色，来进行检测物体的像素范围的着色。
(3)一种传感器装置，包括：阵列传感器，其中多个成像元件一维或二维布置，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且颜色信息获取点由滤色器布置像素形成；以及运算单元，对通过使用阵列传感器成像而获取的图像执行物体检测，并且通过参考在与检测物体的像素范围的内部对应的颜色信息获取点处获取的颜色信息，在检测物体的像素范围内执行着色处理。
(4)根据上述(3)的传感器装置，其中，运算单元通过使用基于学习数据的颜色估计处理设置检测物体中的候选颜色并且基于从颜色信息获取点获取的颜色信息选择候选颜色来执行检测物体的像素范围的着色处理。
(5)根据上述(4)的传感器装置，其中，运算单元基于根据从颜色信息获取点获取的颜色信息选择的候选颜色生成颜色层并且通过将颜色层与从阵列传感器获取的亮度信息图像结合来生成彩色图像。
(6)根据上述(5)的传感器装置，其中，运算单元对于从阵列传感器获取的亮度信息图像执行对应于颜色信息获取点的像素的亮度校正，并且组合亮度信息图像和颜色层。
(7)根据上述(3)至(6)中任一项的传感器装置，其中，不形成颜色信息获取点的像素的总面积超过阵列传感器上的所有有效像素的总面积的25％。
(8)根据上述(3)至(7)中任一项的传感器装置，其中，颜色信息获取点离散地布置在阵列传感器中。
(9)根据上述(3)至(8)中任一项的传感器装置，其中，颜色信息获取点以恒定间隔布置在阵列传感器中。
(10)根据上述(3)至(8)中任一项的传感器装置，其中，颜色信息获取点以非恒定间隔布置在阵列传感器中。
(11)根据上述(3)至(10)中任一项的传感器装置，其中，使用多个相邻像素配置颜色信息获取点的一个单元。
(12)根据上述(3)至(11)中任一项的传感器装置，其中，使用多个相邻像素配置颜色信息获取点的一个单元，并且该一个单元包括R像素、G像素以及B像素。
(13)根据上述(3)至(12)中任一项的传感器装置，其中，使用多个相邻像素配置颜色信息获取点的一个单元，并且该一个单元包括R像素、G像素、B像素以及另一颜色的像素。
(14)根据上述(3)至(10)中任一项的传感器装置，其中，使用一个像素配置颜色信息获取点的一个单元，并且颜色信息获取点离散地布置在阵列传感器中。
(15)一种传感器装置，包括阵列传感器，在阵列传感器中，一维或二维地布置有多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，由滤色器布置像素形成颜色信息获取点，并且不形成颜色信息获取点的像素的总面积超过阵列传感器上所有有效像素的总面积的25％。
(16)一种传感器装置，包括阵列传感器，在阵列传感器中，一维或二维地布置多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，由滤色器布置像素形成颜色信息获取点，并且颜色信息获取点离散地布置。
[参考标号列表]
1 传感器装置
2 阵列传感器
3 ADC/像素选择器
4 缓冲器
5 逻辑单元
6 存储器
7 接口单元
8 运算单元
11 处理器
12 外部传感器
30 信号处理单元
81 关键帧选择单元
82 物体区域识别单元
83 类别识别单元
84 参数选择单元
85 颜色处理单元
90 颜色信息获取点
100 终端装置。

Claims (12)

1.一种图像处理方法，包括：
对通过使用阵列传感器成像而获取的图像执行物体检测，在所述阵列传感器中，一维或二维地布置多个成像元件，所述多个成像元件中的一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且由所述滤色器布置像素形成颜色信息获取点；以及
通过参考在与检测的物体的像素范围的内部相对应的所述颜色信息获取点处获取的颜色信息，在所述检测的物体的所述像素范围中进行着色处理；
其中，在所述着色处理中，通过使用基于学习数据的颜色估计处理在所述检测的物体中设置候选颜色并且基于从所述颜色信息获取点获取的所述颜色信息选择候选颜色，来进行所述检测的物体的所述像素范围的着色；其中，在所述着色处理中，执行所述物体检测，并且根据所述物体的类别设置所述候选颜色，通过使用在所述候选颜色中的、所述颜色信息获取点处的颜色信息，选择所述候选颜色。
2.一种传感器装置，包括：
阵列传感器，在所述阵列传感器中，一维地或二维地布置多个成像元件，所述多个成像元件中的一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且由所述滤色器布置像素形成颜色信息获取点；以及
运算单元，对通过使用所述阵列传感器成像而获取的图像执行物体检测，并且通过参考在与检测的物体的像素范围的内部对应的所述颜色信息获取点处获取的颜色信息在所述检测的物体的所述像素范围内执行着色处理；
其中，所述运算单元通过使用基于学习数据的颜色估计处理在所述检测的物体中设置候选颜色并且基于从所述颜色信息获取点获取的所述颜色信息选择候选颜色，来执行所述检测的物体的所述像素范围的所述着色处理；其中，在所述着色处理中，执行所述物体检测，并且根据所述物体的类别设置所述候选颜色，通过使用在所述候选颜色中的、所述颜色信息获取点处的颜色信息，选择所述候选颜色。
3.根据权利要求2所述的传感器装置，
其中，所述运算单元基于根据从所述颜色信息获取点获取的所述颜色信息选择的所述候选颜色生成颜色层，并且通过将所述颜色层与从所述阵列传感器获取的亮度信息图像结合来生成彩色图像。
4.根据权利要求3所述的传感器装置，
其中，所述运算单元对从所述阵列传感器获取的所述亮度信息图像执行与所述颜色信息获取点对应的像素的亮度校正，并且结合所述亮度信息图像和所述颜色层。
5.根据权利要求2所述的传感器装置，其中，不形成所述颜色信息获取点的像素的总面积超过所述阵列传感器上所有有效像素的总面积的25％。
6.根据权利要求2所述的传感器装置，其中，所述颜色信息获取点离散地布置在所述阵列传感器中。
7.根据权利要求2所述的传感器装置，其中，所述颜色信息获取点以恒定间隔布置在所述阵列传感器中。
8.根据权利要求2所述的传感器装置，其中，所述颜色信息获取点以非恒定间隔布置在所述阵列传感器中。
9.根据权利要求2所述的传感器装置，其中，使用多个相邻像素配置所述颜色信息获取点的一个单元。
10.根据权利要求2所述的传感器装置，其中，使用多个相邻像素配置所述颜色信息获取点的一个单元，并且所述一个单元包括R像素、G像素和B像素。
11.根据权利要求2所述的传感器装置，其中，使用多个相邻像素配置所述颜色信息获取点的一个单元，并且所述一个单元包括R像素、G像素、B像素和另一颜色的像素。
12.根据权利要求2所述的传感器装置，其中，使用一个像素配置所述颜色信息获取点的一个单元，并且所述颜色信息获取点离散地布置在所述阵列传感器中。
CN202080095191.8A 2020-02-19 2020-12-25 图像处理方法和传感器装置 Active CN115039403B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-025952 2020-02-19
JP2020025952 2020-02-19
PCT/JP2020/048890 WO2021166450A1 (ja) 2020-02-19 2020-12-25 画像処理方法、センサ装置

Publications (2)

Publication Number Publication Date
CN115039403A CN115039403A (zh) 2022-09-09
CN115039403B true CN115039403B (zh) 2024-04-12

Family

ID=77390645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080095191.8A Active CN115039403B (zh) 2020-02-19 2020-12-25 图像处理方法和传感器装置

Country Status (6)

Country Link
US (1) US20230037953A1 (zh)
EP (1) EP4109895A4 (zh)
JP (1) JPWO2021166450A1 (zh)
KR (1) KR20220143013A (zh)
CN (1) CN115039403B (zh)
WO (1) WO2021166450A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977197A (zh) * 2023-04-11 2023-10-31 北京仁光科技有限公司 用于对rgb数据进行处理的方法、设备和介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892590A (en) * 1993-05-31 1999-04-06 Matsushita Electric Industrial Co., Ltd. Corrected data generator for image taking device
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101783354A (zh) * 2009-01-08 2010-07-21 索尼公司 图像拾取元件和图像拾取设备
CN102870405A (zh) * 2011-03-09 2013-01-09 富士胶片株式会社 彩色成像元件
CN103533262A (zh) * 2012-07-02 2014-01-22 索尼公司 信号处理装置及方法、程序、固体图像传感器和电子设备
CN103650487A (zh) * 2011-07-13 2014-03-19 富士胶片株式会社 图像拾取设备、图像拾取元件，和用于校正灵敏度差异的方法
JP2014161022A (ja) * 2014-03-12 2014-09-04 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2015050494A (ja) * 2013-08-30 2015-03-16 日立オートモティブシステムズ株式会社 撮像装置
CN204697179U (zh) * 2014-06-30 2015-10-07 半导体元件工业有限责任公司 具有像素阵列的图像传感器
CN106210572A (zh) * 2014-12-01 2016-12-07 爱思开海力士有限公司 滤色器阵列、图像传感器以及红外数据获取方法
CN107895028A (zh) * 2017-11-17 2018-04-10 天津大学 采用深度学习的草图检索方法
CN108695351A (zh) * 2017-04-07 2018-10-23 三星电子株式会社 包括宽带滤色器的图像传感器
CN109819136A (zh) * 2014-12-25 2019-05-28 佳能株式会社 线传感器、图像读取设备和图像形成装置
CN208970511U (zh) * 2017-10-19 2019-06-11 半导体元件工业有限责任公司 像素阵列及用于图像传感器的滤色器层

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721446B1 (en) * 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
US20070159542A1 (en) * 2006-01-12 2007-07-12 Gang Luo Color filter array with neutral elements and color image formation
JP5033711B2 (ja) * 2007-06-13 2012-09-26 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
CN102090067B (zh) * 2008-08-04 2013-03-20 松下电器产业株式会社 摄像装置、图像处理方法、图像处理程序及半导体集成电路
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
DE102010003668B4 (de) * 2010-04-07 2020-03-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
US9179110B2 (en) * 2012-11-02 2015-11-03 Semiconductor Components Industries, Llc Imaging systems with modified clear image pixels
JP2015106791A (ja) * 2013-11-29 2015-06-08 株式会社ニコン 撮像装置
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
JP6628497B2 (ja) * 2015-05-19 2020-01-08 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
US9986213B2 (en) * 2016-06-29 2018-05-29 Omnivision Technologies, Inc. Image sensor with big and small pixels and method of manufacture
US10346710B2 (en) * 2016-09-29 2019-07-09 Datacolor Inc. Multi-agent training of a color identification neural network
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
KR102507474B1 (ko) 2018-01-09 2023-03-10 삼성전자주식회사 이미지 센서
US11605153B1 (en) * 2022-01-03 2023-03-14 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892590A (en) * 1993-05-31 1999-04-06 Matsushita Electric Industrial Co., Ltd. Corrected data generator for image taking device
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101783354A (zh) * 2009-01-08 2010-07-21 索尼公司 图像拾取元件和图像拾取设备
CN102870405A (zh) * 2011-03-09 2013-01-09 富士胶片株式会社 彩色成像元件
CN103650487A (zh) * 2011-07-13 2014-03-19 富士胶片株式会社 图像拾取设备、图像拾取元件，和用于校正灵敏度差异的方法
CN103533262A (zh) * 2012-07-02 2014-01-22 索尼公司 信号处理装置及方法、程序、固体图像传感器和电子设备
JP2015050494A (ja) * 2013-08-30 2015-03-16 日立オートモティブシステムズ株式会社 撮像装置
JP2014161022A (ja) * 2014-03-12 2014-09-04 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
CN204697179U (zh) * 2014-06-30 2015-10-07 半导体元件工业有限责任公司 具有像素阵列的图像传感器
CN106210572A (zh) * 2014-12-01 2016-12-07 爱思开海力士有限公司 滤色器阵列、图像传感器以及红外数据获取方法
CN109819136A (zh) * 2014-12-25 2019-05-28 佳能株式会社 线传感器、图像读取设备和图像形成装置
CN108695351A (zh) * 2017-04-07 2018-10-23 三星电子株式会社 包括宽带滤色器的图像传感器
CN208970511U (zh) * 2017-10-19 2019-06-11 半导体元件工业有限责任公司 像素阵列及用于图像传感器的滤色器层
CN107895028A (zh) * 2017-11-17 2018-04-10 天津大学 采用深度学习的草图检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A novel color filter array with 75% transparent elements;Gang Luo;《Proc. SPIE 6502, Digital Photography III》;1-9 *
Deep color reconstruction for a sparse color Sensor;S. M. A. SHARIF等;《Optics Express》;1-21 *
Rethinking Color Cameras;Ayan Chakrabarti等;《2014 IEEE INTERNATIONAL CONFERENCE ON COMPUTIONAL PHOTOGRAPHY(ICCP)》;1-8 *
基于图像纹理特征LBP的计算机生成图像与真实图像的取证技术研究;李艳红;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;全文 *

Also Published As

Publication number Publication date
EP4109895A4 (en) 2023-07-26
JPWO2021166450A1 (zh) 2021-08-26
US20230037953A1 (en) 2023-02-09
KR20220143013A (ko) 2022-10-24
EP4109895A1 (en) 2022-12-28
WO2021166450A1 (ja) 2021-08-26
CN115039403A (zh) 2022-09-09
TW202135522A (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
US10182216B2 (en) Extended color processing on pelican array cameras
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
EP1209903B1 (en) Method and system of noise removal for a sparsely sampled extended dynamic range image
KR102286136B1 (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
US6757012B1 (en) Color selection for sparse color image reconstruction
US8237121B2 (en) Alternating row infrared filter for an image sensor
US10764515B2 (en) Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
CN110880163B (zh) 一种基于深度学习的弱光彩色成像方法
US20190139189A1 (en) Image remosaicing
CN105578081B (zh) 成像方法、图像传感器、成像装置及电子装置
CN115039403B (zh) 图像处理方法和传感器装置
WO2011076974A1 (en) Pixel information reproduction using neural networks
CN114173066A (zh) 成像系统和方法
CN116309116A (zh) 一种基于raw图像的低弱光图像增强方法与装置
CN207251823U (zh) 成像设备和成像系统
KR20220155840A (ko) 관심 영역의 심도 정보를 생성하는 전자 장치 및 이의 동작 방법
US20130128083A1 (en) High dynamic range image sensing device and image sensing method and manufacturing method thereof
US10091481B2 (en) Sensor module, method for ascertaining a brightness and/or the color of an electromagnetic radiation and method for manufacturing a sensor module
WO2011076976A1 (en) Determining color information using a binary sensor
US20230112586A1 (en) Dynamic pixel-wise multi-gain readout for high dynamic range imaging
US20220408033A1 (en) Computationally Enhanced Low-Performance Infrared Focal Plane Arrays
EP4436164A1 (en) Image acquisition apparatus and method of operating the same
KR20240143540A (ko) 영상 획득 장치 및 그의 동작 방법
CN117692809A (zh) 一种基于像素融合技术的视觉传感器芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant