CN105765962B - 摄像装置 - Google Patents

Abstract

摄像装置具有：合并处理部(35)，其以1个区域包含多个像素信号的方式将图像分割为多个区域，按照每个区域对像素信号进行相加而获得合并像素信号；合并用明亮度检测部(37)，其检测区域的明亮度；混合处理部(36)，其根据明亮度来设定区域的权重，对像素信号和合并像素信号进行加权合成而生成合成图像。

Description

摄像装置

技术领域

本发明涉及进行对像素信号进行相加而获得合并像素信号的合并处理的摄像装置。

背景技术

近年来的摄像元件实现了高像素化、高密度化，特别是在电子内窥镜系统中使用的摄像元件还实现了小型化，所以1个像素的面积缩小，有时很难充分确保图像的明亮度。

与此相对，提出了通过将从相邻的多个像素获得的像素值进行相加来获得1个像素量的像素值的被称作合并的技术，作为使图像的明亮度增加的技术。

在例如日本特开2008-72501号公报中记载了针对从摄像元件输出并转换为数字形式的影像信号，将相同颜色的周边像素与关注像素相加(单纯相加或者是将周边像素乘以1以下的比率后相加的比率相加)的技术。在该公报中还记载了根据亮度分布来变更成为相加对象的关注像素和作为周边像素的数量的相加像素数的技术。

具体而言，关于该公报中记载的像素相加方式，为了减轻画面的死白或者死黑，将图像分割为多个区域并检测每个各个区域的关注像素的明亮度，根据该明亮度的检测结果来确定合并处理中的相加像素数，此时在区域的亮度为规定阈值以上的情况下不进行像素相加处理(即，仅作为关注像素)。

但是，在上述日本特开2008-72501号公报记载的技术中，虽然能够减轻画面的死白或者死黑，但是由于相加像素数按照自然数(1(不相加仅是关注像素)，2(将周边1个像素与关注像素相加)，3(将周边2个像素与关注像素相加)，……)发生变化，所以例如在与相加像素数1的区域相邻地配置相加像素数2的区域的情况下，在区域的边界处在图像中产生分辨率性的级差，被观察为不自然的图像。

本发明就是鉴于上述情况而完成的，其目的在于提供一种在按照每个区域对像素信号进行了相加的情况下也能够获得自然的图像的摄像装置。

发明内容

用于解决课题的手段

本发明的一个方式的摄像装置具有：内窥镜，该内窥镜具有：摄像部，其二维地设置有多个对光进行光电转换而生成光电转换像素信号的光电转换像素；以及个体信息存储部，其存储镜体个体信息；合并处理部，其将由多个所述像素信号构成的图像以1个区域包含多个所述像素信号的方式分割为多个区域，对属于该区域的多个所述像素信号进行相加而获得合并像素信号；合并用明亮度检测部，其检测所述区域的明亮度；合成部，其根据由所述合并用明亮度检测部检测出的所述明亮度来设定所述区域的权重，通过根据该权重对所述区域中的所述像素信号和所述合并像素信号进行合成，生成合成图像；以及控制部，其根据所述镜体个体信息，控制所述合并处理部。

附图说明

图1是示出本发明实施方式1的使用了摄像装置的内窥镜系统的结构的框图。

图2是示出上述实施方式1的第2图像处理部的结构的框图。

图3是更详细示出上述实施方式1中的合并处理部和混合处理部附近的结构例的框图。

图4是示出在上述实施方式1中根据像素的明亮度使权重α不同的例子的图表。

图5是示出在上述实施方式1中根据像素的明亮度确定的权重α的例子的线图。

图6是示出在上述实施方式1中利用加权相加进行的合并处理的一例的图。

图7是示出在上述实施方式1中根据像素的明亮度设定合并处理时的相加权重x、y、z、t的例子的线图。

图8是示出在上述实施方式1中伴随合并处理的打开/关闭的降噪处理和增强处理的控制例的图。

图9是示出上述实施方式1中的光电转换像素的排列的图。

图10是示出在上述实施方式1中通过摄像元件合并将4个光电转换像素相加而获得的像素的图。

图11是示出上述实施方式1中的摄像元件合并后的合并像素的排列的图。

图12是示出在上述实施方式1中通过图像处理合并将摄像元件合并后的4个合并像素相加而获得的像素的图。

图13是示出在上述实施方式1中应用部位为肺时的图像例的图。

图14是示出在上述实施方式1中应用部位为胃时的图像例的图。

图15是示出在上述实施方式1中与应用部位对应的摄像元件合并和图像处理合并的区分使用的例子的图表。

图16是示出在上述实施方式1中根据摄像元件合并和图像处理合并的有无的明亮度检测区域尺寸的变更的状况的图表。

图17是示出在上述实施方式1中在合并处理部的后段配置像素缺陷校正部的结构例的框图。

具体实施方式

以下，参照附图说明本发明的实施方式。

[实施方式1]

图1至图17示出了本发明的实施方式1，图1是示出使用了摄像装置的内窥镜系统的结构的框图。

该内窥镜系统1具有：内窥镜2，其将插入部插入到被检体并拍摄图像；集合缆线3，其与后述的光导11一起配设在从内窥镜2向近前侧延伸设置的通用缆线内；图像处理装置4，其连接集合缆线3的基端侧，对由内窥镜2取得的图像实施图像处理并统一控制整个内窥镜系统1的动作；作为光源部的光源装置6，其发出从内窥镜2的前端射出的照明光；以及显示装置7，其显示由图像处理装置4进行了处理的图像。

内窥镜2具有：光导11、照明光学系统12、光学系统13和摄像部14。

光导11使从光源装置6产生的光在基端侧入射，并向内窥镜2的插入部的前端部传输，例如由光纤束等构成。

照明光学系统12配设于光导11的前端，并朝向被检体射出由光导11传输的照明光。

光学系统13是接收来自被检体的光，并使被检体的光学像在摄像部14的后述的摄像元件15上成像的物镜光学系统。

摄像部14对由光学系统13成像的被检体的光学像进行光电转换并输出为图像信号。

该摄像部14具有：摄像元件15、模拟前端部16、P/S转换部21、定时发生器22和摄像控制部24。

摄像元件15具有受光部17和读出部18，构成为例如CMOS(Complementary MetalOxide Semiconductor；互补金属氧化物半导体)图像传感器或CCD(Charge CoupledDevice；电荷耦合元件)图像传感器。

受光部17二维设置有多个对光进行光电转换并生成光电转换像素信号的光电转换像素(以下，适当简称做“像素”)。具体而言，光电转换像素构成为具有：对与光量对应的电荷进行蓄积的光电二极管、和对光电二极管蓄积的电荷进行放大的放大器。并且，在受光部17设有例如拜尔排列的RGB滤色器或者补色系的滤色器，能够取得彩色图像。另外，也可以为面依次方式：不在受光部17设置滤色器，通过对用按照时间序列依次射出的RGB的照明光拍摄的RGB图像进行合成，取得彩色图像。

读出部18从在受光部17中排列的多个像素读出光电转换像素信号。由于在1次摄像(例如1帧的摄像)中1个像素生成1个光电转换像素信号，所以由读出部18读出的图像信号由多个光电转换像素信号构成。该读出部18还发挥作为以下的合并处理部18a(摄像元件合并处理部)的功能：根据摄像控制部24的控制，根据需要在摄像部14内对光电转换像素信号进行合并处理。即，读出部18能够作为进行以下合并处理的合并处理部18a发挥作用：以1个区域包含多个像素信号的方式将由从受光部17读出的多个像素信号构成的图像分割为多个区域，将属于区域的多个像素信号进行相加而获得合并像素信号。

模拟前端部16具有降噪部19和A/D转换部20。

降噪部19通过进行例如相关双采样(Correlated Double Sampling)，从光电转换像素信号降低噪声。

A/D转换部20对由降噪部19降低了噪声的模拟的光电转换像素信号进行A/D转换并输出数字信号。

P/S转换部21对从模拟前端部16输出的并行的数字信号进行并行/串行转换，并作为串行信号进行输出。

定时发生器22根据从图像处理装置4接收到的定时信号，产生用于驱动摄像元件15的驱动定时脉冲和模拟前端部16和P/S转换部21的各种信号处理用的脉冲。

摄像控制部24与图像处理装置4的后述的控制部48进行通信，按照从控制部48接收到的设定数据，控制内窥镜2的各种动作。摄像控制部24还具有非易失性存储镜体个体信息的存储器23。在该存储器23存储的镜体个体信息中包含：表示内窥镜2的设备名称的信息和制造个体编号、作为设置于摄像部14的光电转换像素的数量的像素数、光电转换像素内的存在缺陷的缺陷像素的像素位置信息(缺陷像素地址)、摄像元件15的暗电流噪声信息(固定模式噪声信息)、对摄像元件15是CMOS图像传感器还是CCD图像传感器进行识别的信息、以及设置于摄像元件15的受光部17中的滤色器的信息(是未设有RGB滤光器、还是未设有补色系滤光器、或者还是未设有滤色器)等。

集合缆线3是将在内窥镜2和图像处理装置4之间进行电信号的收发的多个信号线捆扎起来的缆线。在多个信号线中包含：将由摄像部14输出的图像信号传输到图像处理装置4信号线的信号线、将由图像处理装置4的后述的驱动信号生成部42输出的定时信号传输到内窥镜2的定时发生器22的信号线、将由图像处理装置4的控制部48输出的设定数据传输到摄像控制部24的信号线等。该集合缆线3与上述的光导11共同作为例如通用缆线而构成为一体。

图像处理装置4具有：S/P转换部31、第1图像处理部32、第2图像处理部33、读出地址设定部41、驱动信号生成部42、明亮度检测部43、调光部44、基准时钟生成部45、输入部46、存储部47和控制部48。

S/P转换部31对通过串行通信从内窥镜2接收到的数字的图像信号进行串行/并行转换使其成为并行信号，并输出到第1图像处理部32。

第1图像处理部32具有：像素缺陷校正部34、合并处理部35、混合处理部36和合并用明亮度检测部37。

像素缺陷校正部34进行以下处理：根据缺陷像素的附近的通常像素的像素信号，对图像信号中的来自缺陷像素的像素信号进行插值。这里，控制部48取得存储在存储器23中的摄像元件15的缺陷像素地址，控制像素缺陷校正部34以对所取得的缺陷像素的像素信号进行校正。

在存在缺陷像素的情况下，当使用从缺陷像素获得的像素信号直接进行合并处理时，生成的合并像素信号将继承缺陷像素的影响并成为不适当的电平的信号，成为画质劣化的原因。因此，如该图1所示，将像素缺陷校正部34配置于比合并处理部35靠前段的位置，在进行合并处理时为已经对像素缺陷进行了校正的状态。

合并用明亮度检测部37按照每个区域(由通过合并处理部35的合并处理，以处理后成为1个像素的方式进行相加的对象的像素集合构成的区域)检测像素缺陷校正后的图像的明亮度。具体而言，在区域为如下述说明的例子那样为2×2像素的情况下，合并用明亮度检测部37根据属于该区域的多个像素信号(2×2像素的像素信号)，例如利用平均值和中央值等计算区域的明亮度。将该将合并用明亮度检测部37检测出的明亮度输出到混合处理部36和控制部48。

合并处理部35是对从内窥镜2输出的多个像素信号进行合并处理以作为图像处理的一部分的图像处理合并处理部。即，合并处理部35进行以下合并处理：以1个区域包含多个像素信号的方式将由多个像素信号构成的像素缺陷校正后的图像分割为多个区域，对属于区域的多个像素信号进行相加而获得合并像素信号。更具体而言，合并处理部35按照每个例如2×2像素的区域(或者可以为3×3像素的区域、4×4像素的区域等，也可以不为正方形区域，还可以根据图像的明亮度适当变更区域的大小)，对像素信号进行相加，并进行合并处理。这里，根据存储在存储器23中的固体信息，在识别出在受光部17设有滤色器的情况下，考虑滤色器的排列，按照相同颜色的每个像素对像素信号进行相加。

混合处理部36是以下的合成部：根据由合并用明亮度检测部37检测出的明亮度，设定区域的权重α，通过对一个图像部分的区域进行根据权重α将区域中的像素信号(像素缺陷校正后的像素信号)和合并像素信号进行合成的处理，生成合成图像。这里，权重α是表示将像素信号和合并像素信号合成时的信号的比率的量，为根据每个区域不同的局部的量。

这里参照图3～图5，对合并处理部35和混合处理部36的处理进行说明。图3是更详细示出合并处理部35和混合处理部36附近的结构例的框图，图4是示出根据像素的明亮度使权重α不同的例子的图表，图5是示出根据像素的明亮度确定的权重α的例子的线图。

向混合处理部36输入来自像素缺陷校正部34的图像(虽然有时该图像是从摄像元件15输出的像素数的原图像，但是还有时候是由合并处理部18a进行合并处理且像素数减少的图像)和来自合并处理部35的合并图像。

此时，来自像素缺陷校正部34的图像通过像素数转换部38进行像素数转换，来自合并处理部35的合并图像通过像素数转换部39进行像素数转换，转换为相同的像素数。利用像素数转换部38、39进行转换后的像素数可以与原图像的像素数一致，可以与合并图像的像素数一致，也可以与显示装置7的像素数一致，当然还可以与其他任意的像素数一致。

例如，具有以下优点：在使由像素数转换部38、39进行转换后的像素数与原图像一致的情况下，无需根据像素数来变更后段的图像处理，无需使处理复杂就能够使用与针对原图像的处理相同的处理，还能够防止由于切换像素数而导致的处理的延迟。因此，可以自动执行像素数转换处理，使得在进行了合并处理时恢复到原图像的尺寸。另外，虽然由合并处理部18a变更后的像素数能够通过像素数转换部38恢复到原图像的像素数，由合并处理部18a和合并处理部35变更后的像素数能够通过像素数转换部39恢复到原图像的像素数，但是不限于图3所示的配置，可以在合并处理部18a内和合并处理部35内分别设置像素数转换部。

此外，在使转换后的像素数与合并图像一致的情况下，由于处理对象的像素数减少，所以之后的图像处理的负荷减轻。

并且，具有以下优点：在使转换后的像素数与显示装置7的像素数一致的情况下，在之后的到达显示装置7的处理路径上无需再次的像素数转换。

混合处理部36根据由合并用明亮度检测部37检测出的区域的明亮度，设定该区域的权重α。如图4所示，以区域的明亮度越亮则权重α取越大的值，区域的明亮度越暗则权重α取越小的值的方式来确定该权重α。

更具体而言，关于混合处理部36，例如如图5所示，在区域的明亮度小于规定的下限阈值Thd时权重α为0，在为下限阈值Thd以上且小于规定的上限阈值Thb时权重α随着区域的明亮度单调增加，在为上限阈值Thb以上时将权重α设定为1。

而且，混合处理部36通过乘法部36a将来自像素数转换部38的像素信号乘以权重α，通过乘法部36b将来自像素数转换部39的合并像素信号乘以权重(1-α)，通过相加部36c按照每个对应的区域进行相加，由此生成合成图像并进行输出。因此，若设来自像素数转换部38的像素信号为A、来自像素数转换部39的合并像素信号为B，则从混合处理部36输出的像素信号为α×A+(1-α)×B。

通过进行这种处理，作为像素信号和合并像素信号的比率，在明亮度小于下限阈值Thd时为0：1(即，仅合并图像)，在明亮度为下限阈值Thd以上且小于上限阈值Thb时为α：(1-α)(即，合并图像和例如原图像的混合图像)，在明亮度为上限阈值Thb以上时为1：0(即，例如仅原图像)。

这样，由混合处理部36设定的权重α设定为：随着区域的明亮度变暗，合并像素信号相对于像素信号的比率单调增加，权重α变大。

另外，假想了合并处理部35在上述中对例如在2×2像素的区域中包含的全部像素的像素值进行单纯相加，获得合并像素的像素值。具体而言，假想了在2×2像素的像素值分别为a、b、c、d的情况下，通过合并处理获得的像素值为(a+b+c+d)的情况。但是，取而代之，例如可以进行加权相加。

图6是示出通过加权相加进行的合并处理的一例的图。

在设m和n为整数时，若在2×2像素的区域中，设坐标(2n+1，2m+1)处的像素值为a、权重为x，设坐标(2n+1，2m+2)处的像素值为b、权重为y，设坐标(2n+2，2m+1)处的像素值为c、权重为z，设坐标(2n+2，2m+2)处的像素值为d、权重为t，则合并处理部35可以采用(a×x+b×y+c×z+d×t)为通过合并处理获得的像素值。

这里，虽然合并处理时的相加权重x、y、z、t可以使用期望的固定值，但是也可以适当变更。图7是示出根据像素的明亮度设定合并处理时的相加权重x、y、z、t的例子的线图。

图7是在像素的明亮度较亮的情况或较暗的情况下，与明亮度为折中的情况相比减小权重的设定例。

在这样设定了合并处理时的相加权重x、y、z、t后，包含在2×2像素的区域中的像素内的、与其他像素相比格外亮的像素或者与其他像素相比格外暗的像素在合并相加中的贡献小。因此，根据通过合并处理获得的结果，能够减轻死白像素或死黑像素的影响。

返回到图1的说明，第2图像处理部33根据从第1图像处理部32输出的图像信号，生成由显示装置7显示的图像。

图2是示出第2图像处理部33的结构例的框图。

第2图像处理部33例如具有：白平衡调整部51、降噪部52、增益调整部53、增强部54、监视器用像素数转换部55、静态图像用存储器56、γ(伽马)校正部57、D/A转换部58和格式变更部59。

白平衡调整部51通过调整构成图像信号的RGB各颜色成分的增益，来调整白平衡。这里，由白平衡调整部51进行的白平衡调整有2种，一个是在将内窥镜2和图像处理装置4初次组合时(或者每次启动内窥镜系统1时)进行的基本白平衡调整处理，另一个是在动态图像摄像中随时自动进行白平衡调整的自动白平衡调整处理。

由于在进行基本白平衡调整处理的情况下，不期望对从摄像元件15的不同的读出通道中读出的、暗电流噪声电平不同的像素值彼此进行相加，所以为了取得未经过合并处理的信号值，控制部48强制性地关闭由合并处理部18a进行的摄像元件合并和由合并处理部35进行的图像处理合并。

此外，在进行自动白平衡调整处理的情况下，也优选强制性地关闭摄像元件合并和图像处理合并双方。另外，还具有以下优点：由于白平衡调整不限于对整个图像进行，也考虑对图像内的特定区域进行，所以通过强制性关闭合并处理，能够将表示特定区域的像素位置的地址偏离的情况防患于未然。

降噪部52从图像信号中降低暗电流噪声成分。这里，在摄像元件15中除了照射来自光学系统13的被摄体光的区域以外，还设有光学式地对光进行了遮断的OB(OpticalBlack：光学黑)区域。而且，由于从读出自该OB区域的信号中取得暗电流噪声成分，所以对来自OB区域的读出信号，由控制部48强制性地关闭由合并处理部18a进行的摄像元件合并和由合并处理部35进行的图像处理合并。

这样，在内窥镜2和图像处理装置4通过初次组合而连接了时，在关闭了摄像元件合并和图像处理合并的双方的状态下从OB区域取得的暗电流噪声信息由图像处理装置4存储在内窥镜2的存储器23中作为镜体个体信息。这样，在将图像处理装置4和内窥镜2初次组合时(即，每次产生新的组合时)执行暗电流噪声信息的取得处理，若一旦取得，则随后进行读出存储在存储器23中的暗电流噪声信息并去除暗电流噪声的处理。

另外，在这里示出了将降噪部52设置于第2图像处理部33内的例子，但是不限定于该配置，只要是S/P转换部31以后即可，配置于输出到显示装置7的图像信号的传输路径上的任意位置皆可(这里，在利用数字处理进行降噪的情况下，需要配置于D/A转换部58以前)。

增益调整部53根据从控制部48接收到的增益调整值，进行图像信号的放大。

增强部54进行图像的边缘强调等增强处理。

监视器用像素数转换部55将图像的像素数转换为显示装置7中的显示用的像素数。

静态图像用存储器56存储静态图像显示用的图像信号。在内窥镜2中设有冻结按钮等，在操作了该冻结按钮时将存储在静态图像用存储器56中的静态图像显示用的图像信号显示于显示装置7。另一方面，在未操作冻结按钮时，图像处理装置4生成动态图像，将动态图像显示于显示装置7。

γ校正部57与显示装置7的显示特性对应地对图像信号进行灰度校正(γ校正)。

D/A转换部58将由γ校正部57进行灰度校正后的图像信号转换为模拟信号。

格式变更部59将转换为模拟信号的图像信号变更为与显示装置7对应的信号形式并进行输出。

返回到图1的说明，读出地址设定部41按照规定的读出顺序，设定从摄像元件15读出的像素的读出地址。将这里所设定的读出地址输出到驱动信号生成部42，并且为了进行与读出顺序相应的信号处理而输出到第1图像处理部32。

驱动信号生成部42根据从读出地址设定部41接收到的读出地址和从基准时钟生成部45接收到的基准时钟信号，生成用于驱动摄像部14的定时信号，并发送到内窥镜2的定时发生器22。

明亮度检测部43为了调光，检测从第1图像处理部32输出的图像的明亮度。这里，由于在进行合并处理后图像的明亮度发生变化，所以明亮度检测部43检测的图像成为合并处理后(并且合成后)的图像。明亮度检测部43根据检测出的明亮度，计算增益调整值和光照射量，经由控制部48将增益调整值输出到增益调整部53，并且将光照射量输出到调光部44。

调光部44在与观察模式对应的控制部48的控制下，设定光源装置6产生的光的种类、基本光量、发光定时等，并且，根据从明亮度检测部43接收到的光照射量来调整基本光量并设定调整后的光量，将包含所设定的这些条件的光源同步信号发送到光源装置6。

基准时钟生成部45生成作为该内窥镜系统1的动作定时的基准的基准时钟信号并提供给各部。

输入部46构成为具有各种操作开关和触摸面板等，接收对内窥镜系统1的动作进行指示的操作输入。

存储部47使用例如闪存或DRAM(Dynamic Random Access Memory：动态随机存取存储器)等半导体存储器构成，存储用于使内窥镜系统1进行动作的各种程序、以及包含内窥镜系统1的动作所需的各种参数的数据等。

控制部48使用CPU(Central Processing Unit：中央处理器)等构成，统一控制包含图像处理装置4的内窥镜系统1的各部。例如，控制部48将用于摄像控制的设定数据发送到内窥镜2的摄像控制部24。此外，控制部48对第1图像处理部32进行控制，仅在从存储器23读出的光电转换像素的像素数为规定阈值以上的情况下，许可合并处理部35(或者还有合并处理部18a)、合并用明亮度检测部37和混合处理部36的动作。

接着，光源装置6具有：白色光源61、特殊光光源62、光源控制部63和LED(LightEmitting Diode：发光二极管)驱动器64。另外，在上述面依次方式的情况下，可以设置使从白色光源61射出的照明光中的R、G、B的光依次透射过的滤光器。此外，可以是通过使R、G、B的单色LED同时发光来获得白色光的光源装置6，也可以是能够通过使R、G、B的单色LED依次发光来获得面依次方式的照明的光源装置6。

白色光源61包含例如LED作为光源，发出白色照明光。

特殊光光源62也包含例如LED作为光源，发出波段与白色照射光不同的特殊光。这里，可列举包含用于观察来自胶原质等荧光物质的自身荧光的激励光(390～470nm)和被血液中的血红蛋白吸收的波长(540～560nm)的光的AFI(荧光观察：Auto FluorescenceImaging)照明光、包含以容易被血液中的血红蛋白吸收的方式进行了窄带化的蓝色光和绿色光的NBI(窄带光观察：Narrow Band Imaging)照明光、和包含对注入了容易吸收红外光的ICG(吲哚菁绿)的被检体进行照射的2个红外光(790～820nm/905～970nm)的IRI(红外光观察：Infra Red Imaging)照明光等若干例子，作为特殊光光源62产生的特殊光。由于这些中的AFI中，作为自身荧光获得的光是极其微弱的光，所以需要与使图像的明亮度增大的技术结合的必要性较高。

光源控制部63根据从调光部44发送的光源同步信号，控制从LED驱动器64供给到白色光源61或者特殊光光源62的电流量。

LED驱动器64根据光源控制部63的控制，向白色光源61或者特殊光光源62供给电流并产生光。这样由白色光源61或者特殊光光源62产生的光经由光导11被传输，从内窥镜2的插入部的前端朝向被检体照射。

显示装置7显示从图像处理装置4输出的图像。

接着，图8是示出伴随合并处理的打开/关闭的降噪处理和增强处理的控制例的图。

在上述的处理中，由于在明亮度为上限阈值Thb以上时，从混合处理部36输出的图像仅为来自像素缺陷校正部34的图像(例如原图像)，所以进行与自动关闭合并处理实质上相同的处理，反之，在明亮度小于上限阈值Thb时进行与自动打开合并处理实质上相同的处理。

因此，可以根据明亮度是小于上限阈值Thb还是为上限阈值Thb以上，实际上自动切换合并处理的打开/关闭，由此减轻处理负荷并降低耗电。

在实质上使合并处理打开/关闭的情况或者实际上打开/关闭的情况的任意一种情况下，均如图8所示控制由降噪部52进行的降噪处理和由增强部54进行的增强处理即可。

即，当设在合并处理关闭时进行的降噪处理和增强处理为通常处理时，在合并处理打开时减弱降噪处理并加强增强处理即可。即，由于当进行了合并处理时对图像进行平滑化，所以减弱降噪处理以便不过度平滑化，并且加强增强处理以便不使细微部分模糊。由此，即使在进行了合并处理的情况下，也能够更清楚地观察被检体的构造。

另外，虽然在图1所示的结构例中，在图像处理装置4中进行合并处理和混合处理，在摄像部14内仅进行合并处理，但是可以构成为在摄像部14内还进行混合处理。在进行摄像部14内的混合处理的情况下，为了确定权重α而使用的图像的各个区域(例如2×2像素)的明亮度使用针对前1帧的图像所取得的明亮度(即，进行反馈处理)即可。

此外，在图1所示的结构中，存在由摄像元件15的合并处理部18a进行的摄像元件合并和由图像处理装置4的合并处理部35进行的图像处理合并两种，这些合并处理部18a、35例如能够单独控制打开/关闭。而且，进行利用合并处理部18a、35的合并处理时的像素相加的状况如图9～图12所示。这里，图9是示出光电转换像素的排列的图，图10是示出通过摄像元件合并对4个光电转换像素进行相加而获得的像素的图，图11是示出摄像元件合并后的合并像素的排列的图，图12是示出通过图像处理合并对摄像元件合并后的4个合并像素进行相加而获得的像素的图。

首先，在由受光部17进行光电转换而获得的光电转换像素P0的排列中，在通过摄像元件合并对图9的1～4所示的像素P0进行相加后，获得图10的A所示的像素P1。并且，假设对于图10的A的像素P1的附近的像素也同样进行摄像元件合并且已获得图11的A～D的像素P1。此时，在通过图像处理合并对图11的A～D的像素P1进行相加后，获得图12的α所示的像素P2。另外，假设在受光部17中设有滤色器的情况下，用相同颜色像素彼此进行4个像素的相加。

在这些图9～图12所示的例子中，通过摄像元件合并获得4倍的感光度，通过图像处理合并同样获得4倍的感光度，所以在进行双方的合并处理的情况下获得16倍的感光度。

但是，由于在实际使用时并不是始终要求16倍的感光度，所以这里对摄像元件合并和图像处理合并的分开使用的例子进行说明。图13是示出应用部位为肺时的图像例的图，图14是示出应用部位为胃时的图像例的图，图15是示出与应用部位对应的摄像元件合并和图像处理合并的分开使用的例子的图表。

如图13所示，应用部位为肺时获得的图像81的一例是拍摄了在狭窄的管腔中照明光不怎么到达中央部的较暗的部分的例子，除去中央部以外已获得比较充足的光量。

在该图13的情况下，如图15的中段所示，考虑无需图像处理合并并例如使其关闭，仅适当使用摄像元件合并。

另一方面，如图14所示，应用部位为胃时获得的图像82的一例是为了成为进行送气等使胃膨胀的状态，胃的内部空间增大且以照明光较弱的照度到达胃的内壁，而拍摄了比较大的面积的较暗的部分的例子，整体上光量不足。

在该图14的情况下，考虑如图15的下段所示，使摄像元件合并为必须并进行使用，并且还适当需要图像处理合并。

如上所述，在内窥镜2的存储器23中存储有表示内窥镜2的设备种类名称的信息作为镜体个体信息。因此，能够设定为根据内窥镜2的设备种类名称，判定应用部位是肺还是胃或者还是其他部位等，根据判定结果自动分开使用摄像元件合并和图像处理合并。

这样，控制部48根据镜体个体信息，对合并处理部18a的打开/关闭和合并处理部35的打开/关闭进行控制。而且，通过根据应用部位适当分开使用合并处理，能够适当抑制如始终进行摄像元件合并和图像处理合并双方的情况下的图像分辨率的下降。

另外，虽然在图15所示的例子中比图像处理合并更优先使用摄像元件合并，但是不限于此，可以比摄像元件合并更优先使用图像处理合并。

这里，由于在优先使用摄像元件合并的情况下，能够通过模拟相加进行像素相加，所以具有以下优点：在设相加像素数为N时能够将随机噪声的大小降低到例如倍。此外，由于来自摄像元件15的读出像素数减少，所以能够进行高速读出。并且，由于像素数较少，所以还存在后段的处理、即模拟前端部16和图像处理装置4中的处理的负荷较轻的优点。

另一方面，在优先使用图像处理合并的情况下，具有以下优点：能够使合并处理的相加像素数(2×2像素、3×3像素、4×4像素、……)可变等，处理的自由度较高。

但是，为了进行调光而检测图像的明亮度的明亮度检测部43不限于检测整个图像的平均的明亮度，例如，进行重视图像的中央部分的明亮度的明亮度检测或者重视图像的特定部分的明亮度的明亮度检测。而且，如上所述，明亮度检测部43检测从第1图像处理部32输出的图像的明亮度、即合并处理后(并且混合处理后)的图像的明亮度。

此时的中央部分或者特定部分等虽然通过指定图像的像素排列中的地址来进行，但是由于当进行了合并处理时像素数发生变化，所以无法直接使用合并处理前的地址。因此，根据合并处理的有无，明亮度检测部43调整对明亮度进行检测的区域的尺寸和地址。

图16是示出根据摄像元件合并和图像处理合并的有无的明亮度检测区域尺寸的变更的状况的图表。

如图所示，在实施了摄像元件合并和图像处理合并的至少一方的情况下，必然进行利用明亮度检测部43的检测区域的地址和尺寸的变更。

具体而言，考虑不进行合并处理时的检测区域的开始地址为(x，y)，检测区域尺寸为(a，b)，摄像元件合并为2×2像素相加，图像处理合并也为2×2像素相加的情况。此时，在仅进行摄像元件合并和图像处理合并的一方时，开始地址为(x/2，y/2)且检测区域尺寸为(a/2，b/2)。此外，在进行摄像元件合并和图像处理合并的双方时，开始地址为(x/4，y/4)且检测区域尺寸为(a/4，b/4)。

通过进行这种处理，即使在执行了合并处理的情况下，也能够防止检测例如处置器械的微细的光晕时的精度下降，并能够以与不执行合并处理的情况同样的精度进行调光控制。

另外，这种检测区域的开始地址和区域尺寸不限于在每次实施时进行计算并求出，例如作为参数预先存储在存储器23或存储部47中，也可以由控制部48根据所设定的合并的种类，从存储器23或存储部47读出适当的参数并在调光部44中进行设定。

此外，由于当进行了合并处理时图像变亮，所以在变更为除了明亮度检测部43的区域尺寸以外后，可以列举明亮度检测部43中的明亮度判定的阈值和增益调整部53的增益等作为较好的调光参数。

图17是示出在合并处理部35的后段配置像素缺陷校正部34的结构例的框图。

如上所述，优选以缺陷像素的影响不会波及合并像素的方式，将像素缺陷校正部34配置于合并处理部35的前段，图1示出了其结构例。但是，由于结构上的某些理由，如图17所示，还考虑在合并处理部35的后段配置像素缺陷校正部34的情况。

在该情况下，可以使控制部48具有缺陷像素地址转换部48a的功能，在合并处理接通时，将从存储器23读出的缺陷像素地址转换为与合并处理后对应的地址，利用转换后的地址使像素缺陷校正部34进行像素缺陷校正处理。

此外，在读出部18作为合并处理部18a发挥作用的情况下，即在像素缺陷校正部34接收的像素信号为已经进行了合并处理的合并像素信号的情况下也同样，控制部48将从存储器23读出的缺陷像素地址转换为合并处理后地址后，控制像素缺陷校正部34。

另外，在根据图像的明亮度来切换合并处理的打开/关闭的情况下，首先在使合并处理关闭的状态下取得以由调光部44进行了调整后的射出光量照射的被摄体的图像信号，在所取得的图像信号的明亮度较亮的情况下将合并处理设定为关闭，在较暗的情况下将合并处理设定为打开。

根据这种实施方式1，由于设置为根据区域的明亮度，按照每个区域对图像(例如原图像)和合并图像进行合成(混合处理)，所以与仅是合并图像的情况相比能够抑制分辨率的下降。而且，由于图像(例如原图像)和合并图像的合成比率根据区域的明亮度发生变更，所以例如不会对无合并区域和2×2像素合并区域阶段性地(不连续地)进行切换，而是由于边界区域平滑地连接，所以能够减轻图像的不自然并获得更自然的图像。

此外，由于针对较亮的区域使用原图像等，所以能够保持分辨率。

而且，如图1所示，在将像素缺陷校正部34配置于合并处理部35的前段的情况下，能够防患于未然地减轻缺陷像素的影响对合并后的像素造成的影响，并能够获得抑制了画质的劣化的适当图像。

除此以外，能够根据镜体个体信息，适当控制合并处理部18a、35。具体而言，通过仅在摄像部14的像素数为规定阈值以上的情况下许可合并处理，能够抑制图像分辨率的大幅度下降。此外，能够根据内窥镜2的设备种类名称，适当分开使用合并处理部18a和合并处理部35。

另外，虽然在上述叙述中主要说明了摄像装置，但可以是摄像装置的工作方法，也可以是用于使计算机执行摄像装置的工作方法的处理程序、记录该处理程序的可由计算机读取的非暂时性的记录介质等。

此外，本发明不仅限于上述实施方式，在实施阶段可以在不脱离其主旨的范围内对结构要素进行变形使其具体化。外，能够通过上述实施方式中公开的多个结构要素的适当组合形成各种发明的方式。例如，可以从实施方式所示的全部结构要素中删除几个结构要素。并且，可以适当组合不同实施方式的结构要素。这样，当然能够在不脱离发明主旨的范围内进行各种变形和应用。

本申请以2013年12月5日在日本申请的日本特愿2013-252143号为优先权主张的基础进行申请，上述所公开的内容在本申请说明书、权利要求书、附图中被引用。

Claims (5)

1.一种摄像装置，其特征在于，具有：

内窥镜，该内窥镜具有：摄像部，其二维地设置有多个对光进行光电转换而生成光电转换像素信号的光电转换像素；以及个体信息存储部，其存储镜体个体信息；

合并处理部，其将由多个所述像素信号构成的图像以1个区域包含多个所述像素信号的方式分割为多个区域，对属于该区域的多个所述像素信号进行相加而获得合并像素信号；

合并用明亮度检测部，其检测所述区域的明亮度；

合成部，其根据由所述合并用明亮度检测部检测出的所述明亮度来设定所述区域的权重，通过根据该权重对所述区域中的所述像素信号和所述合并像素信号进行合成，生成合成图像；以及

控制部，其根据所述镜体个体信息，控制所述合并处理部。

2.根据权利要求1所述的摄像装置，其特征在于，

所述合成部按照随着所述明亮度变暗，所述合并像素信号相对于所述像素信号的比率单调增加而变大的方式来设定所述权重。

3.根据权利要求2所述的摄像装置，其特征在于，

所述合成部还按照使所述像素信号与所述合并像素信号的比率在所述明亮度小于规定的下限阈值时为0：1，在所述明亮度为规定的上限阈值以上时为1：0的方式，来设定所述权重。

4.根据权利要求1所述的摄像装置，其特征在于，

所述镜体个体信息包含设置于所述摄像部的所述光电转换像素的数量即像素数，

所述控制部还控制所述合并用明亮度检测部和所述合成部，仅在所述像素数为规定阈值以上的情况下，许可所述合并处理部、所述合并用明亮度检测部和所述合成部的动作。

5.根据权利要求1所述的摄像装置，其特征在于，

所述合并处理部包含：摄像元件合并处理部，其在所述摄像部内对所述光电转换像素信号进行合并处理；以及图像处理合并处理部，其对从所述内窥镜输出的多个所述像素信号进行合并处理以作为图像处理的一部分，

所述控制部根据所述镜体个体信息，控制所述摄像元件合并处理部的开/关和所述图像处理合并处理部的开/关。