CN113382215A - 图像处理装置、成像装置和图像处理方法 - Google Patents
图像处理装置、成像装置和图像处理方法 Download PDFInfo
- Publication number
- CN113382215A CN113382215A CN202110259106.3A CN202110259106A CN113382215A CN 113382215 A CN113382215 A CN 113382215A CN 202110259106 A CN202110259106 A CN 202110259106A CN 113382215 A CN113382215 A CN 113382215A
- Authority
- CN
- China
- Prior art keywords
- pixel
- visible light
- infrared
- saturation
- saturated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 28
- 239000003086 colorant Substances 0.000 description 17
- 238000005286 illumination Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了图像处理装置、成像装置和图像处理方法。图像处理装置包括:输入单元,接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号;确定单元,确定近红外像素的输出信号是否高于阈值;检测器,检测饱和可见光像素;以及切换单元,基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。
Description
技术领域
本发明涉及图像处理装置、成像装置和图像处理方法。
背景技术
近年来,由对近红外区域敏感的成像仪所捕获的近红外图像的使用增加。例如,用近红外波长的光照射诸如吲哚菁绿之类的静脉注射的荧光物质使得血管或淋巴管可视化,并且这在医疗应用和体内观察中是有用的。另外,根据所捕获图像的近红外波长与红外波长的比率来确定作为植被(vegetation)的存在/不存在或活性的指标的NDVI(归一化植被指数)对于作物的生长观察或远程感测是有用的。
已经开发出能够同时获取近红外图像和可见光图像的成像装置。例如,已知能够通过具有设置有可见光滤色器的像素以及设置有近红外滤色器的像素的成像仪同时获取近红外图像和可见光图像的成像装置,其中,这些像素布置在相同平面上。
日本专利申请公开No.2014-165528公开了能够通过成像仪将近红外分量从可见光像素的输出信号分离的成像装置,该成像仪具有设置有对近红外光具有相等透射率的RGB滤色器和透明滤波器的像素的阵列。
日本专利申请公开No.2014-165528取决于像素是否饱和来采用不同的颜色信号校正处理。
发明内容
根据本公开的一个方面,提供了一种图像处理装置,该图像处理装置包括:输入单元,接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号;确定单元,确定近红外像素的输出信号是否高于阈值;检测器,检测饱和可见光像素;以及切换单元,基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。
根据本公开的另一方面,提供了一种图像处理方法,该图像处理方法包括:输入步骤,输入从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号;确定步骤,确定近红外像素的输出信号是否高于阈值;检测步骤,检测饱和可见光像素;以及切换步骤,基于确定步骤处的确定结果来切换要被施加到饱和可见光像素的饱和处理。
根据以下参考附图对示例性实施例的描述,本发明的其它特征将变得清楚。
附图说明
图1是根据第一实施例的图像处理装置的框图;
图2A和图2B是成像单元中的像素组件的例示性图;
图3是成像单元的特性的例示性图;
图4A是在可见光中获取的图像的例示性图,以及图4B是在近红外中获取的图像的例示性图;
图5A至图5C是根据现有技术的白平衡处理的例示性图;
图6A至图6C是说明根据现有技术的饱和处理中的问题的例示性图;
图7是根据第一实施例的处理流程的例示性图;
图8A至图8C是根据第一实施例的信号处理的例示性图;
图9A至图9C是根据第一实施例的信号处理的例示性图;
图10是根据第二实施例的图像处理装置的框图;以及
图11是根据第二实施例的信号处理的例示性图。
具体实施方式
日本专利申请公开No.2014-165528的成像装置基于包括可见光分量和近红外分量的重叠部分的信号来确定像素是否饱和。当发生饱和时,不能用该装置来确定可见光和近红外中的哪一个引起该饱和。因此,该装置导致的问题是,因为正确的颜色不能通过经校正的颜色信号再现,所以出现伪颜色(false coloring)。
本公开的目的是提供能够从包含饱和像素的图像获取具有较少的伪颜色的高质量图像的图像处理技术。
下文中,将参考附图来描述每个实施例的图像处理装置。
第一实施例
整体配置
图1是图示了根据本公开的一个实施例的图像处理装置的配置示例的图,其中,图像处理装置设置有成像单元。该实施例的图像处理装置也可以被理解为成像装置。在本公开的其它实施例中,图像处理装置可以仅由图像处理器构成,信号被从单独的成像单元输入到图像处理器。
图1中图示的图像处理装置100由成像单元101和图像处理器104构成。
成像单元101包括多个像素。在该实施例中,成像单元101包括设置有对近红外光最敏感的滤色器的近红外像素组件102以及设置有对可见光最敏感的滤色器的可见光像素组件103。如随后将描述的,成像单元101具有以两列两行排列的红色像素、绿色像素、蓝色像素和近红外像素的多个像素组。尽管这里假定成像仪是CMOS图像传感器,但它也可以是CCD图像传感器。这里,可见光像素组件103对近红外光谱范围的敏感度等于近红外像素组件102对近红外光谱范围的敏感度。
图像处理器104包括近红外图像信号输入单元105、可见光图像信号输入单元106、近红外分量减去单元109和白平衡处理单元110。图像处理器104还包括近红外电平确定单元107、饱和像素检测单元108、第一饱和处理单元111、第二饱和处理单元112、饱和处理切换单元113和饱和处理应用单元114作为用于饱和处理的功能单元。这些单元可以通过诸如ASIC之类的专用硬件电路来实现,或者可以通过诸如执行程序的CPU之类的通用处理器来实现。
近红外图像信号输入单元105从成像单元101的近红外像素组件102接收图像信号的输入。可见光图像信号输入单元106从成像单元101的可见光像素组件103接收图像信号的输入。在下文中,输入到输入单元105和106的图像信号也应当分别被称为近红外信号和可见光信号。
近红外电平确定单元107确定近红外图像的信号电平。具体地,近红外电平确定单元107确定每个近红外像素的输出信号的电平是否高于电平确定阈值。近红外电平确定单元107的确定结果被输入到饱和处理切换单元113。电平确定阈值可以被设定为使得如果近红外电平低于阈值,则可见光像素中出现的饱和可以被归因于可见光分量。例如,电平确定阈值可以是成像单元101的最大输出电平(饱和电平)的一半的值。
饱和像素检测单元108从可见光图像信号检测饱和可见光像素(饱和像素)。饱和像素检测单元108的检测结果被输入到饱和处理应用单元114。
近红外分量减去单元109从可见光像素的输出信号减去该可见光像素附近的近红外像素的输出值。通过减去处理,获得去除了近红外分量的各个颜色-即红色(R)、绿色(G)和蓝色(B)的可见光分量。可见光像素附近的近红外像素可以是例如与可见光像素相同的像素组内的近红外像素。近红外分量减去单元109可以从可见光像素的输出信号减去基于可见光像素的多个邻近的近红外像素的输出值的值(例如,平均值)。
白平衡处理单元110在减去近红外信号之后处理可见光信号,从而调整各个颜色分量的值,以实现允许白色物体根据光源显现为自然白色的颜色比例。具体地,白平衡处理单元110执行将可见光像素的图像信号中所包含的每个颜色的像素值乘以与颜色对应的增益的白平衡处理。针对各个颜色的增益是预定的。
第一饱和处理单元111对白平衡处理之后的可见光图像信号施加第一饱和处理。第一饱和处理例如是限幅(clipping)操作。具体地,第一饱和处理单元111将各个颜色的饱和可见光像素的像素值替换为预定值。预定值是白色电平值,并可以基于与被处理的像素相同的像素组内的一个颜色(例如,绿色)的可见光像素的像素值来确定,或者可以是预设值。
第二饱和处理单元112对白平衡处理之后的可见光图像信号施加第二饱和处理。第二饱和处理是基于饱和可见光像素周围的可见光像素的像素值来确定饱和可见光像素的像素值的处理。第二饱和处理的具体示例是将饱和像素的像素值替换为通过饱和可见光像素周围的多个可见光像素的插值而获得的像素值的处理。可以通过仅参考饱和像素周围的可见光像素中的不饱和像素来确定替换像素值。
饱和处理切换单元113基于近红外电平确定单元107的确定结果来选择要被施加到饱和可见光像素的第一饱和处理或第二饱和处理。具体地,如果饱和像素附近的近红外像素的输出信号低于电平确定阈值,则饱和处理切换单元113选择第一饱和处理,而如果输出信号高于电平确定阈值,则饱和处理切换单元113选择第二饱和处理。
饱和处理施加单元114将由饱和处理切换单元113选择的饱和处理施加到饱和可见光像素,同时按原样输出在白平衡处理之后的不饱和可见光像素的图像信号。来自饱和处理施加单元114的输出信号被输出到未示出的其它图像处理器、图像输出单元、图像记录单元、显示单元等,以用于后阶段的操作。
成像仪
图2A和图2B是从第一实施例的成像单元101输入的图像信息的例示性图。
图2B是常规的(常见的)可见光彩色成像仪211的示意图。彩色成像仪211具有分别设置有红色(R)、绿色(G)和蓝色(B)滤波器并以拜耳图案布置的像素212R、212G和212B。
图2A是能够获取可见光的图像信号和近红外光的图像信号这两者并且在该实施例中能采用的成像仪203的示意图。除了分别设置有红色(R)、绿色(G)和蓝色(B)滤波器的像素204R、204G和204B之外,成像仪203还包括设置有近红外滤波器的像素204IR。
近红外光的图像信号被从由成像仪203获得的图像信号中分离出,并被从可见光像素的图像信号减去,使得生成仅由红色(R)、绿色(G)和蓝色(B)构成的图像205、206和207。从近红外像素204IR获得仅由近红外分量构成的图像208。
成像仪203包括以两列两行排列的第一可见光像素204R、第二可见光像素204G、第三可见光像素204B和近红外像素204IR的多个像素组。像素组中的每个像素的布置可以不同于图2A中示出的配置。一个像素组可以包含与相同颜色对应的多个像素。
图3示出了设置有可见光滤色器和近红外滤色器的各个像素的量子效率(敏感度)的示意图。曲线301、302、303和304分别表示蓝色(B)像素204B、绿色(G)像素204G、红色(R)像素204R和近红外(IR)像素204IR的量子效率(敏感度)。
附图标记305表示由插入在成像仪203与透镜之间的带阻滤波器去除的波段。该带阻滤波器去除红色至近红外波段。如图3中所示,红色(R)、绿色(G)和蓝色(B)像素的量子效率在至少预定阈值λ2的近红外中是匹配的。带阻滤波器去除各个颜色像素的量子效率不同的近红外范围内的波长,使得这些波长不进入可见光像素和近红外像素。具体地,带阻滤波器去除从λ1至以上提到的波长λ2的范围内的波长,λ1是近红外像素的敏感度谱中的最短波长。通过采用这种带阻滤波器,可以使各个颜色的可见光图像信号中所包含的近红外分量等于近红外图像信号中所包含的近红外分量304。因此,可以通过从来自各个可见光像素的输出信号减去近红外分量304来仅获取各个可见光分量。
像素饱和的影响
参考图4A至图6C说明在可见光图像中发生饱和时的问题。使用利用成像仪203捕获苹果的图像的示例给出说明,成像仪203包括参考图2A描述的可见光像素和近红外像素。
图4A示出了由可见光像素的红色(R)像素204R获取的图像。由于红苹果的果实表面401a包含许多红色分量,因此获得了高输出信号,使得图像亮。另一方面,绿叶部分402a包含很少的红色分量,使得输出信号低并且图像暗。在图4A和图4B中,附图的明暗表示输出信号的大小,即,越白,像素值越高(越亮),而越黑,像素值越低(越暗)。
图4B示出了由近红外像素204IR获取的图像。由于果实表面401b和绿叶部分402b二者反射了大量近红外光,因此从这两个部分获得高输出信号,使得图像亮。
当物体(苹果)的右上方侧存在可见光照明源(未示出)时,该照明可以在图4A中的可见光图像的苹果表面的右上方创建光反射点403a,其中像素变得饱和。然而,如果照明光是来自LED源等并且不包含近红外光,则由可见光照明导致的饱和的影响没有出现在图4B中的由近红外像素获取的图像的点403b处。
另一方面,当存在用于获得近红外图像的位于物体(苹果)左下方侧的近红外照明源(未示出)时,由于近红外照明的影响而引起的明亮像素出现在图4B中的由近红外像素获取的图像的苹果表面的左下方的点404b处。另外,由于可见光像素对近红外波长也具有敏感度,因此由近红外分量导致的影响404a也出现在可见光图像的苹果表面的左下方。如上所述,存在以下情况:像素没有通过仅近红外光或可见光中的任一个而变得饱和,而是通过进入可见光像素的近红外分量和可见光分量二者的组合而变得饱和。
下面,参考图5A至图6C说明在这种情况下的饱和处理。
图5A是示出了从图2中示出的像素获得的与图4A和图4B中的点A对应的像素(不饱和像素)的输出电平的示意图。水平轴表示红色(R)、绿色(G)、蓝色(B)和近红外(IR)像素,并且垂直轴表示像素分量的输出信号电平。附图中的附图标记501表示16位信号处理的满刻度电平(65535LSB),502表示成像仪的像素饱和电平,并且503表示点A附近的近红外像素的输出信号电平。附图标记504、505和506分别表示红色(R)、绿色(G)和蓝色(B)像素的输出。由于点A在苹果的果实表面上,因此可见光的红色分量的电平高。如已参考图3说明的,红色(R)、绿色(G)和蓝色(B)的可见光图像信号各自包括与每个可见光分量重叠的近红外分量,并且每个颜色的近红外分量通常接近于通过邻近的近红外像素获得的近红外分量的量。
图5B示出了通过从图5A中的像素的各个信号分量减去邻近的近红外像素的近红外分量而获得的信号电平的示意图。附图标记604、605和606表示通过从红色(R)、绿色(G)和蓝色(B)的各个可见光图像信号504、505和506减去邻近的近红外像素的近红外分量503而获得的值。
图5C示出了在白平衡处理之后的信号电平的示意图。在这里示出的示例中,图5B的各个颜色的信号被乘以白平衡系数,使得红色(R)、绿色(G)和蓝色(B)分别被乘以1.5倍、1倍和2倍,以便根据捕获图像时使用的照明使白色显现得自然。附图标记704、705和706表示通过在减去近红外分量之后将红色(R)、绿色(G)和蓝色(B)的可见光图像信号604、605和606乘以白平衡系数而获得的值。
如图5C中所示,针对不饱和像素正确地保留颜色信息。然而,当针对饱和像素执行相同的处理时出现问题。以下,参考图6A至图6C说明该问题。
图6A是示出了通过图2中示出的像素获得的与图4A和图4B中的点B对应的像素(饱和像素)的输出电平的示意图。水平轴表示红色(R)、绿色(G)、蓝色(B)和近红外(IR)像素,并且垂直轴表示像素分量的输出信号电平。附图中的附图标记501表示16位信号处理的满刻度电平(65535LSB),502表示成像仪的像素饱和电平,并且503表示近红外像素的输出信号电平。
附图标记804和805分别表示如果像素不饱和则红色(R)和绿色(G)像素的期望输出,并且806表示蓝色(B)像素的输出。由于输出804和805超过像素饱和电平502,因此红色(R)和绿色(G)像素的实际输出电平变得等于饱和电平502。
图6B是通过从图6A中的像素的各个信号分量减去邻近的近红外像素的近红外分量而获得的信号电平的与图5B类似的示意图。附图标记904、905和906表示通过从红色(R)、绿色(G)和蓝色(B)的各个可见光图像信号减去邻近的近红外像素的近红外分量503而获得的值。
与图5C类似地,图6C示出了在白平衡处理之后的信号电平的示意图。白平衡处理的内容与上述的内容相同。在这里示出的示例中,图6B的各个颜色的信号被乘以白平衡系数,使得红色(R)、绿色(G)和蓝色(B)分别被乘以1.5倍、1倍和2倍。通过将颜色信号904、905和906分别乘以1.5倍、1倍和2倍,获得被表示为1004、1005和1006的白平衡处理之后的信号。
被表示为1007和1008的虚线表示在像素不饱和时与图6A的804和805对应的白平衡处理之后的期望输出。
如所示出的,因为像素饱和,所以应该具有由输出1007、1008和1006指示的颜色平衡的信号输出实际上结果为由输出1004、1005和1006指示的不同的颜色平衡。在图6C中示出的示例的情况下,饱和导致接近紫色的颜色,而不是在不饱和时应该显现的白色。如以上证实的,饱和可能导致伪颜色和色噪声,并使图像质量恶化。
本实施例的目的是抑制由像素饱和导致的这种伪颜色和色噪声,并实现允许获取良好的可见光图像和近红外图像的图像处理装置。
图像处理操作
现在,参考图1并使用图7至图9描述第一实施例中的操作。图7是第一实施例中的用于从可见光像素的输出信号生成彩色图像信号的流程图。图8和图9是示出了要被用于说明操作的信号电平的例示性图。
从可见光像素的输出信号生成彩色图像信号的流程在步骤S1101处开始。该处理可以在任何时刻开始,例如,在成像仪203获得了可见光像素和近红外像素的图像信号之后立即就开始。
在步骤S1102处,近红外图像信号输入单元105获取近红外像素的像素信号值,并且可见光图像信号输入单元106获取可见光像素的像素信号值。
在步骤S1103处,近红外分量减去单元109从可见光图像信号的每个像素值减去邻近的近红外像素的像素值。此后,在步骤S1104处,白平衡处理单元110执行将每个颜色的信号乘以白平衡系数的白平衡处理。
同时,在步骤S1105处,饱和像素检测单元108将减去近红外光之前的可见光像素的输出信号与饱和确定阈值进行比较,以确定像素是否饱和。
在步骤S1106处,根据可见光像素的输出值是否大于饱和确定阈值来选择处理。针对每个像素确定该处理选择。如果可见光像素的输出值不大于饱和确定阈值,即,如果像素不饱和(S1106:否),则处理前进到步骤S1107,其中,饱和处理施加单元114在不施加饱和处理的情况下,按原样输出在白平衡处理之后的可见光像素的输出信号。
另一方面,如果在步骤S1106处,可见光像素的输出值大于饱和确定阈值,即,如果像素饱和(S1106:是),则处理前进到步骤S1110。
在步骤S1109处,近红外电平确定单元107确定可见光像素的邻近的近红外图像信号的电平,即,将其与电平确定阈值进行比较。基于电平确定结果的控制信号被输入到饱和处理切换单元113。
在步骤S1110处,饱和处理切换单元113根据步骤S1109处的确定结果来选择饱和处理。如果IR像素信号处于低电平-即,不大于电平确定阈值,则饱和处理切换单元113选择由第一饱和处理单元111执行的第一饱和处理(限幅)。另一方面,如果IR像素信号处于高电平-即,大于电平确定阈值,则选择由第二饱和处理单元112进行的第二饱和处理(插值)。
下面说明在步骤S1111处由第一饱和处理单元111执行的第一饱和处理(限幅)。在步骤S1111处,第一饱和处理单元111将R和B电平限幅到相同电平,以便匹配可见光像素信号中的G的像素值,从而将颜色转换成白色。当近红外光的电平低时,有可能因可见光而导致饱和,在这种情况下,优选的是限幅到白色电平以消除该颜色。
图8A是示出了当在发生饱和时近红外电平不大于阈值时在步骤S1102处获得的图像信号的电平的示意图。水平轴表示红色(R)、绿色(G)、蓝色(B)和近红外(IR)像素,并且垂直轴表示像素分量的输出信号电平。
附图标记1208表示用于确定近红外电平的电平确定阈值。在图8A的示例中,近红外像素的输出信号电平1207低于该电平确定阈值电平1208。
附图标记1204和1205分别表示如果像素不饱和则红色(R)和绿色(G)像素的期望输出,并且1206表示蓝色(B)像素的输出。由于输出1204和1205超过像素饱和电平502,因此红色(R)和绿色(G)像素的实际输出电平变得等于饱和电平502。
图8B是通过从图8A中的各个像素的信号分量减去邻近的近红外像素的近红外分量而获得的-即,在步骤S1103处的处理之后的信号电平的示意图。附图标记1304、1305和1306表示通过从红色(R)、绿色(G)和蓝色(B)的各个颜色的可见光图像信号减去邻近的近红外像素的近红外分量1207而获得的值。
图8C示出了与图6C类似地施加了白平衡处理之后的信号电平和限幅处理之后的信号电平的示意图。在步骤S1104处的白平衡处理中,图8B中的各个颜色-红色(R)、绿色(G)和蓝色(B)的信号被乘以白平衡系数,例如,分别乘以1.5倍、1倍和2倍。被表示为1404、1405和1406的虚线表示白平衡处理之后的信号电平。在该示例中,绿色(G)的白平衡系数为1,使得输出1305等于输出1405。
白平衡处理之后的图像由于颜色像素的变化的电平而具有不同的颜色。由于来自像素的输出饱和,因此原始颜色信息丢失,使得白平衡处理之后的颜色有可能是伪颜色。由于像素的近红外分量低于阈值,因此不大可能饱和是由高强度的近红外光导致的,即,有可能饱和是由可见光导致的。因此,可以确定更合适的是通过限幅处理使该像素饱和以显现白色而非赋予该像素颜色。在步骤S1111处的限幅操作(第一饱和处理)中,如图8C中所示,白平衡处理之后的该像素的颜色信号当中的具有最低信号电平的绿色被确定为限幅电平1309,并且红色和蓝色的信号电平被限幅到该电平。
如上所述,在该实施例中,当存在像素饱和(S1106:是)并且近红外光的电平低(S1110:否)时,选择并施加由第一饱和处理单元111进行的限幅操作。因此,目标像素被替换为没有颜色的白色图像信息。
接下来,说明在步骤S1112处由第二饱和处理单元112执行的第二饱和处理(插值)。第二饱和处理单元112从饱和像素周围的像素生成插值信号,并用其替换饱和像素的信号。这是因为很有可能由于近红外分量而发生饱和,并且原始可见光的大部分像素信号因为饱和而丢失。饱和像素周围的像素可以被限定为距饱和像素的预定距离内(例如,三个像素内)的像素,或者被限定为从饱和像素起预定数量的像素。
图9A是示出了当发生饱和并且近红外电平大于阈值时在步骤S1102处获得的像素信号的电平的示意图。水平轴表示红色(R)、绿色(G)、蓝色(B)和近红外(IR)像素,并且垂直轴表示像素分量的输出信号电平。
附图标记1208表示用于确定近红外电平的电平确定阈值。在图9A的示例中,近红外像素的输出信号电平1507高于该确定阈值电平1208。
附图标记1504和1505分别表示如果像素不饱和则红色(R)和绿色(G)像素的期望输出,并且1506表示蓝色(B)像素的输出。由于输出1504和1505超过成像仪的像素饱和电平502,因此红色(R)和绿色(G)像素的实际输出电平变得等于饱和电平502。
图9B示出了通过从图9A的各个像素的信号分量减去邻近的近红外像素的近红外分量而获得的-即,在步骤S1103处的处理之后的信号电平的示意图。附图标记1604、1605和1606表示通过从红色(R)、绿色(G)和蓝色(B)的各个颜色的可见光图像信号减去邻近的近红外像素的近红外分量1507而获得的值。
图9C示出了与图6C类似地施加了白平衡处理之后的信号电平和插值之后的信号电平的示意图。在步骤S1104处的白平衡处理中,图9B中的各个颜色-红色(R)、绿色(G)和蓝色(B)的信号被乘以白平衡系数,例如,分别乘以1.5倍、1倍和2倍。被表示为1704、1705和1706的虚线表示白平衡处理之后的信号电平。在该示例中,绿色(G)的白平衡系数为1,使得输出1605等于输出1705。
白平衡处理之后的图像由于颜色像素的变化的电平而具有不同的颜色。由于来自像素的输出饱和,因此原始颜色信息丢失,使得白平衡处理之后的颜色有可能是伪颜色。由于像素的近红外分量高于阈值,因此有可能饱和是由高强度的近红外光导致的,并且可见光信息大部分丢失。因此,可以确定不应该采用这些像素组件的颜色信息。由于饱和不是由高强度的可见光导致的,因此通过限幅处理使像素饱和以显现白色也是不合适的。在步骤S1112处的插值处理(第二饱和处理)中,像素的颜色信息被替换为通过多个相同颜色的邻近的不饱和像素的信息的插值而获得的颜色信息。附图标记1707、1708和1709表示通过步骤S1112处的插值处理替换的红色(R)、绿色(G)和蓝色(B)像素的对应的图像信号。
如上所述,在该实施例中,当存在像素饱和(S1106:是)并且近红外光的电平高(S1110:是)时,选择并施加由第二饱和处理单元112进行的插值处理。当近红外分量高于阈值时,有可能可见光不导致像素饱和。因此,可以通过使用与周围颜色匹配的颜色而不是通过限幅处理消除颜色信息以将颜色替换为白色来获得更合适的图像信号。
如上所述,根据近红外光的电平选择饱和处理,以抑制伪颜色并实现同时获取高质量的可见光图像和近红外图像。
第二实施例
整体配置
图10图示了根据第二实施例的图像处理装置1800的配置示例。与第一实施例类似地,图像处理装置1800配置有成像单元101和图像处理器1804。在下面的描述中,与第一实施例的元件类似的元件被赋予相同的附图标记,并不再进行描述。
图像处理器1804与第一实施例的图像处理器的不同之处在于,它包括饱和像素标志设定单元1808来替代饱和像素检测单元108,并且它另外还包括周围像素信息获取单元1816和饱和像素标志检测单元1815。第二饱和处理单元1812和饱和处理施加单元1817的处理内容也与第一实施例中的第二饱和处理单元112和饱和处理施加单元114的处理内容不同。
饱和像素标志设定单元1808执行从输入到可见光图像信号输入单元106的可见光图像信号检测饱和像素的处理,并且当它检测到饱和像素时,对可见光图像信号设定指示该像素饱和的饱和标志。周围像素信息获取单元1816从目标像素(饱和像素)周围的像素获取颜色信息,并将其输出到第二饱和处理单元1812。稍后将详细描述第二饱和处理单元1812。饱和像素标志检测单元1815基于饱和像素标志来确定目标像素是否饱和,并将检测结果输出到饱和处理施加单元1817。如果像素饱和,则饱和处理施加单元1817施加由饱和处理切换单元113选择的饱和处理,而如果像素不饱和,则按原样输出在白平衡处理之后的可见光图像的像素值。
图像处理操作
参考图10和图11描述根据第二实施例的操作。图11是第二实施例中的用于从可见光像素的输出信号生成彩色图像信号的流程图。
用于从可见光像素的输出信号生成彩色图像信号的流程在步骤S1901处开始。该处理可以在任何时刻开始,例如,在成像仪203获得可见光像素和近红外像素的图像信号之后立即就开始。
在步骤S1902处,近红外图像信号输入单元105获取近红外像素的像素信号值,并且可见光图像信号输入单元106获取可见光像素的像素信号值。
在步骤S1903处,饱和像素标志设定单元1808将减去近红外光之前的可见光像素的输出信号与饱和确定阈值进行比较,以确定像素是否饱和。如果可见光像素的输出信号高于饱和确定阈值,即,如果确定像素饱和(S1904:是),则处理前进到步骤S1905,其中饱和像素标志设定单元1808将1设定为该像素的饱和标志。另一方面,如果可见光像素的输出值不大于饱和确定阈值,即,如果确定像素不饱和(S1904:否),则处理前进到步骤S1906,其中饱和像素标志设定单元1808将0设定为该像素的饱和标志。这里,虽然饱和标志的1和0分别表示饱和以及不饱和,但任何值可以被设定为标志。
在步骤S1907处,近红外分量减去单元109从可见光图像信号的每个像素值减去从邻近的近红外像素获得的近红外图像信号。此后,在步骤S1908处,白平衡处理单元110执行将每个颜色的信号乘以白平衡系数的白平衡处理。
在步骤S1909处,根据可见光像素的饱和标志是否为1-即,可见光像素是否饱和来选择处理。针对每个像素确定该处理选择。如果饱和标志为0,即,如果像素不饱和(S1909:否),则处理前进到步骤S1910,其中饱和处理施加单元114在不施加饱和处理的情况下,按原样输出在白平衡处理之后的可见光像素的输出信号。
另一方面,如果在步骤S1909处饱和标志为1,即,如果像素饱和(S1909:是),则处理前进到步骤S1912。在步骤S1912处,近红外电平确定单元107确定可见光像素的邻近的近红外像素的近红外图像信号的电平,即,将其与电平确定阈值进行比较。基于电平确定结果的控制信号被输入到饱和处理切换单元113。在步骤S1913处,饱和处理切换单元113根据步骤S1912处的确定结果来选择饱和处理。如果IR像素信号处于低电平-即,不大于确定阈值,则饱和处理切换单元113选择由第一饱和处理单元111执行的第一饱和处理(限幅)。另一方面,如果IR像素信号处于高电平-即,大于确定阈值,则选择由第二饱和处理单元1812进行的第二饱和处理(颜色插值)。
步骤S1914处的由第一饱和处理单元111执行的第一饱和处理(限幅)与第一实施例的第一饱和处理相同。即,第一饱和处理单元111将R和B电平限幅到相同电平,以便匹配可见光像素信号中的G的像素值,从而将颜色转换成白色。
现在,说明在步骤S1915处的由第二饱和处理单元1812执行的第二饱和处理(颜色插值)。第二饱和处理单元1812检测由周围像素信息获取单元1816获取的目标像素(饱和像素)周围的不饱和像素的色度,以生成校正信息,并校正饱和像素的像素值。校正处理可以是校正饱和像素的像素值以实现与周围不饱和像素的色度相同的色度的处理。当饱和像素附近的近红外分量处于高电平时,有可能饱和是由近红外分量导致的。在这种情况下,更合适的是根据周围的不饱和像素的颜色信息来校正颜色,而不是通过限幅处理使像素饱和以使其显现白色。
如上所述,根据近红外光的电平选择饱和处理,以抑制伪颜色并实现同时获取高质量的可见光图像和近红外图像。
本实施例与第一实施例的不同之处主要在于第二饱和处理的内容以及将饱和像素的检测结果发送到饱和处理施加单元114的方法。这些修改不需要以这种组合应用于第一实施例。这些处理中的一个可以与第一实施例的处理相同。
其它实施例
要被施加的饱和处理的内容不限于在第一实施例和第二实施例中描述的处理。当近红外光的电平高时施加的第二饱和处理可以不同于上述处理,只要该处理基于饱和像素的邻近像素的像素值确定饱和像素的像素值即可。例如,饱和像素的颜色信息可以使用预配置的数据库从饱和像素周围的像素的像素值估计,并且被替换为该估计的颜色信息。可替换地,饱和像素的颜色信息可以被替换为通过在机器学习模型中输入饱和像素周围的像素的像素值而获得的颜色信息,该机器学习模型被设计为从周围像素的像素值估计中心像素的颜色信息。
尽管在上述实施例中使用近红外分量减去单元109从可见光像素的输出信号减去红外像素的输出信号,但可以省略该处理。在这种情况下,也可以通过根据近红外分量和可见光分量中的哪一个导致饱和来切换饱和处理来抑制伪颜色。
本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能的一个或多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机来实现,以及通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括单独计算机或单独处理器的网络,以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
本公开允许从包含饱和像素的图像中获取具有较少伪颜色的高质量图像。
虽然已经参考示例性实施例描述了本发明,但要理解,本发明不限于所公开的示例性实施例。随附权利要求书的范围应被赋予最宽泛的解释,以包含所有这样的修改以及等同的结构和功能。
Claims (17)
1.一种图像处理装置,其特征在于,包括:
输入单元,接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号;
确定单元,确定近红外像素的输出信号是否高于阈值;
检测器,检测饱和可见光像素;以及
切换单元,基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。
2.根据权利要求1所述的图像处理装置,其中,
所述切换单元
在近红外像素的输出信号低于阈值时,选择每个颜色的饱和可见光像素的像素值被替换为预定值的第一饱和处理,并且
在近红外像素的输出信号高于阈值时,选择基于饱和可见光像素附近的可见光像素的像素值来确定饱和可见光像素的像素值的第二饱和处理。
3.根据权利要求2所述的图像处理装置,其中,
所述传感器包括多个组,所述多个组包括第一可见光像素、第二可见光像素和第三可见光像素,并且
第一饱和处理是将饱和可见光像素的像素值替换为相同组内的可见光像素中的一个的像素值的处理,其中所述像素值相同。
4.根据权利要求3所述的图像处理装置,其中,第二饱和处理是基于作为饱和可见光像素附近的可见光像素的不饱和像素的像素值来确定饱和可见光像素的像素值的处理。
5.根据权利要求3或4所述的图像处理装置,其中,第二饱和处理是将饱和可见光像素的像素值替换为通过饱和可见光像素附近的多个可见光像素的插值而获得的像素值的处理。
6.根据权利要求3或4所述的图像处理装置,其中,第二饱和处理是基于饱和可见光像素附近的可见光像素的颜色信息来校正饱和可见光像素的像素值的处理。
7.根据权利要求6所述的图像处理装置,其中,第二饱和处理是校正饱和可见光像素的像素值以获得与其附近的可见光像素的色度相同的色度的处理。
8.根据权利要求1至4中任一项所述的信息处理装置,还包括:
白平衡处理单元,执行将可见光像素的图像信号的像素值乘以根据颜色的增益的白平衡处理,以及
饱和处理施加单元,将由切换单元选择的饱和处理施加到白平衡处理之后的图像信号。
9.根据权利要求8所述的图像处理装置,其中,饱和处理施加单元将由切换单元选择的饱和处理施加到饱和可见光像素,同时在不进行修改的情况下输出白平衡处理之后的图像信号。
10.根据权利要求9所述的图像处理装置,其中,
所述检测器的检测结果被输入到饱和处理施加单元,并且
饱和处理施加单元基于检测结果来确定饱和处理是否要被施加到可见光像素。
11.根据权利要求9所述的图像处理装置,其中,
所述检测器将指示可见光像素是否饱和的信息添加到可见光像素的图像信号,并且
饱和处理施加单元基于添加到可见光像素的图像信号的所述信息来确定饱和处理是否要被施加到可见光像素。
12.根据权利要求8所述的图像处理装置,还包括减去单元,所述减去单元从可见光像素的输出信号减去可见光像素附近的近红外像素的输出值,其中,
对减去了近红外像素的输出值的可见光像素的输出信号执行白平衡处理。
13.一种成像装置,其特征在于,包括:
传感器,包括可见光像素和近红外像素,以及
根据权利要求1至4中任一项所述的图像处理装置。
14.根据权利要求13所述的成像装置,其中,在所述传感器中可见光像素和近红外像素被布置在相同平面上。
15.根据权利要求13所述的成像装置,还包括带阻滤波器,所述带阻滤波器从所述传感器上的入射光去除近红外范围的可见光像素和近红外像素具有不同的敏感度的波段。
16.一种图像处理方法,其特征在于,包括:
输入步骤,输入从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号;
确定步骤,确定近红外像素的输出信号是否高于阈值;
检测步骤,检测饱和可见光像素;以及
切换步骤,基于所述确定步骤处的确定结果来切换要被施加到饱和可见光像素的饱和处理。
17.一种存储程序的计算机可读介质,其特征在于,其中,所述程序使计算机执行
输入步骤,输入从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号;
确定步骤,确定近红外像素的输出信号是否高于阈值;
检测步骤,检测饱和可见光像素;以及
切换步骤,基于所述确定步骤处的确定结果来切换要被施加到饱和可见光像素的饱和处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-040819 | 2020-03-10 | ||
JP2020040819A JP7039639B2 (ja) | 2020-03-10 | 2020-03-10 | 画像処理装置、撮像装置、および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113382215A true CN113382215A (zh) | 2021-09-10 |
Family
ID=77570621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110259106.3A Pending CN113382215A (zh) | 2020-03-10 | 2021-03-10 | 图像处理装置、成像装置和图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11943518B2 (zh) |
JP (1) | JP7039639B2 (zh) |
CN (1) | CN113382215A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110169984A1 (en) * | 2008-10-07 | 2011-07-14 | Panasonic Corporation | Imaging device and signal processing circuit for the imaging device |
US20110279698A1 (en) * | 2010-05-12 | 2011-11-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
US20110310014A1 (en) * | 2010-06-21 | 2011-12-22 | Sanyo Electric Co., Ltd. | Image pickup apparatus and projection type image display apparatus |
US20170134704A1 (en) * | 2014-06-24 | 2017-05-11 | Hitachi Maxell, Ltd. | Imaging processing device and imaging processing method |
CN107170768A (zh) * | 2017-06-13 | 2017-09-15 | 展谱光电科技(上海)有限公司 | 多光谱摄像装置以及多光谱摄像系统 |
CN107405093A (zh) * | 2015-04-08 | 2017-11-28 | 奥林巴斯株式会社 | 图像处理装置、摄像装置、图像处理方法和程序 |
CN108600725A (zh) * | 2018-05-10 | 2018-09-28 | 杭州雄迈集成电路技术有限公司 | 一种基于rgb-ir图像数据的白平衡校正装置及方法 |
US20180332209A1 (en) * | 2015-08-27 | 2018-11-15 | Clarion Co., Ltd. | Imaging device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004016400A2 (en) * | 2002-08-16 | 2004-02-26 | Evolution Robotics, Inc. | Systems and methods for the automated sensing of motion in a mobile robot using visual data |
JP4949806B2 (ja) * | 2006-11-10 | 2012-06-13 | オンセミコンダクター・トレーディング・リミテッド | 撮像装置及び画像信号処理装置 |
JP2012024344A (ja) * | 2010-07-23 | 2012-02-09 | Canon Inc | X線撮影装置、x線撮影方法、プログラム及びコンピュータ記録媒体 |
US9245332B2 (en) * | 2011-03-09 | 2016-01-26 | Alcatel Lucent | Method and apparatus for image production |
JP6164849B2 (ja) * | 2013-01-18 | 2017-07-19 | キヤノン株式会社 | 信号処理装置、撮像装置、および、撮像システム |
JP6231284B2 (ja) | 2013-02-21 | 2017-11-15 | クラリオン株式会社 | 撮像装置 |
KR102171387B1 (ko) * | 2014-03-06 | 2020-10-28 | 삼성전자주식회사 | 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법 |
JP6767331B2 (ja) | 2017-09-25 | 2020-10-14 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
KR102610542B1 (ko) * | 2019-03-07 | 2023-12-07 | 삼성전자주식회사 | 적외선 센서를 이용하여 이미지 데이터의 색상을 조절하기 위한 전자 장치 및 방법 |
-
2020
- 2020-03-10 JP JP2020040819A patent/JP7039639B2/ja active Active
-
2021
- 2021-03-09 US US17/195,754 patent/US11943518B2/en active Active
- 2021-03-10 CN CN202110259106.3A patent/CN113382215A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110169984A1 (en) * | 2008-10-07 | 2011-07-14 | Panasonic Corporation | Imaging device and signal processing circuit for the imaging device |
CN102165762A (zh) * | 2008-10-07 | 2011-08-24 | 松下电器产业株式会社 | 图像拍摄装置以及图像拍摄装置用信号处理电路 |
US20110279698A1 (en) * | 2010-05-12 | 2011-11-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
US20110310014A1 (en) * | 2010-06-21 | 2011-12-22 | Sanyo Electric Co., Ltd. | Image pickup apparatus and projection type image display apparatus |
US20170134704A1 (en) * | 2014-06-24 | 2017-05-11 | Hitachi Maxell, Ltd. | Imaging processing device and imaging processing method |
CN108769502A (zh) * | 2014-06-24 | 2018-11-06 | 麦克赛尔株式会社 | 摄像处理装置以及摄像处理方法 |
CN107405093A (zh) * | 2015-04-08 | 2017-11-28 | 奥林巴斯株式会社 | 图像处理装置、摄像装置、图像处理方法和程序 |
US20180332209A1 (en) * | 2015-08-27 | 2018-11-15 | Clarion Co., Ltd. | Imaging device |
CN107170768A (zh) * | 2017-06-13 | 2017-09-15 | 展谱光电科技(上海)有限公司 | 多光谱摄像装置以及多光谱摄像系统 |
CN108600725A (zh) * | 2018-05-10 | 2018-09-28 | 杭州雄迈集成电路技术有限公司 | 一种基于rgb-ir图像数据的白平衡校正装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US11943518B2 (en) | 2024-03-26 |
US20210289149A1 (en) | 2021-09-16 |
JP7039639B2 (ja) | 2022-03-22 |
JP2021145167A (ja) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102170410B1 (ko) | 이중 모드 영상들을 획득하기 위한 장치 | |
US10171757B2 (en) | Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter | |
JP5250342B2 (ja) | 画像処理装置およびプログラム | |
KR100786931B1 (ko) | 화상 신호 처리 장치 및 화상 신호 처리 방법 | |
US9629525B2 (en) | Image processing device, image processing method, and program | |
JP6367683B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
US8452092B2 (en) | Image processing device, endoscope system, program, and image processing method | |
US9367902B2 (en) | Image processing device, endoscope apparatus, isolated point noise correction method, and information storage device | |
US9185265B2 (en) | Image processing method and image processing apparatus for performing a tone correction to acquire a combined image | |
KR20070102399A (ko) | 촬상 장치 | |
JP2012060641A (ja) | デジタルraw画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路 | |
US8737762B2 (en) | Method for enhancing image edge | |
KR20080039226A (ko) | 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램 | |
US7949182B2 (en) | Combining differently exposed images of the same object | |
US20200121175A1 (en) | Image processing device, endoscope apparatus, and operating method of image processing device | |
CA3153067A1 (en) | Picture-detecting method and apparatus | |
JP2016192985A (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
JP2012227758A (ja) | 画像信号処理装置及びプログラム | |
CN113382215A (zh) | 图像处理装置、成像装置和图像处理方法 | |
CN111970954B (zh) | 医疗图像处理系统 | |
JP6184928B2 (ja) | 内視鏡システム、プロセッサ装置 | |
US10249020B2 (en) | Image processing unit, imaging device, computer-readable medium, and image processing method | |
WO2014208188A1 (ja) | 画像処理装置及び画像処理方法 | |
JP6585623B2 (ja) | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム | |
JP6153912B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |