CN100386050C - 色位移减轻装置 - Google Patents
色位移减轻装置 Download PDFInfo
- Publication number
- CN100386050C CN100386050C CNB038035987A CN03803598A CN100386050C CN 100386050 C CN100386050 C CN 100386050C CN B038035987 A CNB038035987 A CN B038035987A CN 03803598 A CN03803598 A CN 03803598A CN 100386050 C CN100386050 C CN 100386050C
- Authority
- CN
- China
- Prior art keywords
- colo
- rimetric shift
- rimetric
- data
- shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003638 chemical reducing agent Substances 0.000 title description 2
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 27
- 239000000654 additive Substances 0.000 claims description 12
- 230000000996 additive effect Effects 0.000 claims description 12
- 230000003111 delayed effect Effects 0.000 abstract 2
- 230000000007 visual effect Effects 0.000 description 28
- 230000009471 action Effects 0.000 description 26
- 238000006073 displacement reaction Methods 0.000 description 14
- 208000032843 Hemorrhage Diseases 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 229960000907 methylthioninium chloride Drugs 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 206010049155 Visual brightness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
Abstract
一种色位移减轻装置，包括：色位移区域检测部，根据输入的图象数据和在存储器中被延迟的图象数据，检测色位移区域；色位移度算出部，根据色位移检测信号和所输入的图象数据以及由存储器延迟了1个视场的图象数据，算出色位移度数据；图象数据推定部，根据色位移检测信号和所输入的图象数据以及来自存储器的图象数据，推定图象数据；以及，色位移减轻处理部，根据来自存储器的图象数据和推定图象数据以及色位移度数据，制作色位移减轻处理图象。
Description
技术领域
本发明涉及用于减轻来自场序(field sequential)摄像装置的彩色视频信号的色位移的色位移减轻装置。
背景技术
目前，作为电子内窥镜的摄像手段使用这样一种摄像装置，该摄像装置例如将R(红)、G(绿)、B(蓝)波长范围的照明光按时序照射在被摄物体上，用电荷耦合元件(CCD)等固体摄像元件对来自该被摄物体的反射光进行光电转换，并作为视频信号。但是，这样的摄像装置中存在的问题是：在被摄物体快速运动等的情况下，按时序得到的3种颜色成分信号中会产生偏差，即产生色位移。
为了减轻这种色位移而设计出色位移减轻装置，该装置由场序摄像装置输入彩色视频信号后，减轻该彩色视频信号的色位移。
作为色位移减轻装置，包括例如日本特开平3-270392号公报中记载的色位移减轻装置，该装置将图象整体的平均色成分应用到该图象的产生色位移的部分来进行补偿处理，或者利用该图象的亮度成分和颜色成分来产生补偿色，并将该补偿色应用到产生色位移的部分来进行补偿。
另外，还包括例如日本特开平6-319694号公报中记载的从颜色分布直方图中提取最大像素频度值，并将其作为推定色分配到色位移区域的颜色来进行补偿的装置等。
而且，还包括例如日本特开平9-74570号公报中记载的色位移补偿装置，该装置根据图象条件改变原图象和色位移补偿图象的合成比例来制作色位移减轻图象，即使对于处理条件差、出血时或染色剂散布时的图象也可以得到感觉自然的色位移减轻处理图象。
但是，如上所述的现有色位移减轻装置是以生物体内存在的色素为1种为前提确定算法，因此在散布了染色剂的粘膜处伴随有出血等，在生物体内存在2种以上色素的情况下，用与出血相同的颜色来补偿染色剂的颜色，或者反过来用与染色剂相同的颜色来补偿出血的颜色，或者将固定值应用于产生色位移的部分等时，就会产生以中和色进行补偿等的问题。
发明内容
本发明的目的是针对上述问题提供一种即使在生物体内存在2种以上色素的情况下，也可以高精度地推定补偿色的色位移减轻装置。
本发明的另一目的是提供一种即使对暗且饱和度低的图象也可以良好地进行色位移减轻处理的色位移减轻装置。
本发明的色位移减轻装置包括：色位移区域检测部，根据表示由场序摄像装置拍摄被摄体而得到的第1和第2图象的第1和第2图象信号，检测所述第1图象中产生色位移的区域；色位移度算出部，根据从所述色位移区域检测部输出的色位移检测信号和所述第1及第2图像信号，计算出色位移度数据；图像数据推定部，在所述第1图象信号中，根据与由所述色位移区域检测部检测到的色位移区域以外的区域相对应的图象信号中的第1和第2颜色成分信号，推定第3颜色成分信号；以及色位移减轻处理部，根据基于由所述图像数据推定部得到的第3颜色成分信号和所述第1及第2颜色成分信号的图象信号、从所述色位移度算出部输出的色位移度数据以及第1图象信号，制作色位移减轻处理图象。
本发明的其它特征和有益效果通过以下说明即可明确。
附图说明
图1～图10涉及本发明的第1实施例。
图1所示为色位移减轻装置的基本结构框图；
图2所示为图1的色位移区域检测部的结构框图；
图3所示为图1的色位移度算出部的结构框图；
图4所示为图1的图象数据推定部的结构框图；
图5所示为图1的色位移减轻处理部的结构框图；
图6所示为在图1的色位移区域检测部实施的色位移检测动作的处理流程图；
图7所示为图6的处理中所采用的分割成8×8×8的块的RGB色空间；
图8所示为图1的图象数据推定部根据输入的图象数据将推定色数据写入LUT之前的第1处理流程图；
图9所示为图1的图象数据推定部根据输入的图象数据将推定色数据写入LUT之前的第2处理流程图；
图10所示为图9的处理中使用的色位移度转换曲线的示例。
图11～图19涉及本发明的第2实施例。
图11所示为色位移减轻装置的结构框图；
图12所示为图11的色位移区域检测部的结构框图；
图13所示为图11的色位移度运算部的结构框图；
图14所示为图11的图象数据推定部的结构框图；
图15所示为图11的色位移减轻处理部的结构框图；
图16所示为在图11的色位移区域检测部实施的色位移检测动作的处理流程图；
图17所示为图16的处理中所采用的分割成8×8区域的CrCb色空间；
图18所示为以不同于图17的分割方法的分割CrCb色空间；
图19所示为图11的图象数据推定部将推定色数据写入LUT之前的动作流程图。
图20和图21涉及本发明的第3实施例。
图20所示为色位移减轻装置的结构框图；
图21所示为图20的色位移区域检测部的结构框图。
具体实施方式
以下，根据附图对本发明进行更为详细的说明。
第1实施例
如图1所示，色位移减轻装置1包括：用于使输入的图象信号发生延迟的存储器2；根据输入的图象数据和存储器2中发生延迟的图象数据检测出色位移区域的色位移区域检测部3；用于使输入的图象数据延迟1个视场的存储器4；色位移度算出部5，根据从色位移区域检测部3输出的色位移检测信号和输入的图象数据以及由存储器4延迟的图象数据，算出色位移度数据；图象数据推定部6，根据从色位移区域检测部3输出的色位移检测信号和输入的图象数据以及由存储器4延迟的图象数据，推定图象数据；以及，色位移减轻处理部7，根据存储器4输出的图象数据和图象数据推定部6输出的推定图象数据以及色位移度算出部5输出的色位移度数据，制作并输出色位移减轻处理图象。
如图2所示，色位移区域检测部3包括：根据输入的RGB图象数据和由存储器2延迟的图象数据算出颜色信号Cr、Cb后输出的RGB-YC矩阵电路8；差分检测电路9，算出输入的图象数据的颜色信号Cr、Cb和延迟的图象数据的颜色信号Cr、Cb的差分后，并检测出是否有规定值以上的变化；平均色检测电路10，根据输入的图象数据的颜色信号Cr、Cb算出输入图象的平均色并进行检测；以及，根据差分检测电路9和平均色检测电路10的输出信号判断是否有色位移的色位移判定电路11。
如图3所示，色位移度算出部5包括：直方图制作部12，根据输入的RGB图象数据和色位移区域检测部3输出的色位移检测信号，制作3维直方图；表制作部13，参照在直方图制作部12制作的3维直方图，向参照表(以下称为LUT)14中写入色位移度计算用表数据；根据存储器4输出的延迟了1个视场的图象数据输出色位移度数据的LUT14；以及，利用LUT14输出的色位移度数据对色位移区域和无色位移区域的边界进行模糊处理的低频滤波器(以下称为LPF)15。
如图4所示，图象数据推定部6包括：直方图制作部16，根据输入的RGB图象数据和色位移区域检测部3输出的色位移检测信号，制作3维直方图；表制作部17，参照直方图制作部16制作的3维直方图，向第1LUT18a～第3LUT18c写入推定色数据；第1LUT18a～第3LUT18c，根据存储器4输出的延迟了1个视场的图象数据，输出推定色数据。
如图5所示，色位移减轻处理部7包括：系数确定部19，根据输入的图象数据确定3个推定图象数据的合成比例；将推定图象数据与系数确定部19输出的系数相乘的乘法运算处理部20a～20c；将乘法运算处理部20a～20c输出的数据相加的加法运算处理部21；以及，合成处理部22，根据色位移度算出部5输出的色位移度数据，对加法运算处理部21输出的补偿图象数据和存储器4输出的图象数据进行合成处理，并制作色位移减轻图象。
以下，说明上述结构的色位移减轻装置的动作。首先，说明色位移区域检测部3的动作。
如图6所示，将在步骤S1中输入的图象数据和由存储器2延迟了4个视场的图象数据输入到RGB-YC矩阵电路8，然后根据下式(1)和(2)算出各颜色信号Cr、Cb。
Cr＝(0.701×R-0.587×G-0.114×B)/1.402...(1)
Cb＝(-0.299×R-0.587×G+0.886×B)/1.772...(2)
然后，在步骤S2中由平均色检测电路10算出当前1个视场(1个画面)的平均色。
在步骤S3中，差分检测电路9根据RGB-YC矩阵电路8算出的、输入图象数据的颜色信号Crn、Cbn和由存储器4延迟的图象数据的颜色信号Crp、Cbp，算出|Crn-Crp|和|Cbn-Cbp|，在步骤S4中判断是否超过预先确定的阈值。任何一个超过阈值时，设判定信号为“1”，不超过阈值时，设判定信号为“0”，并将该信号发送到色位移判定电路11(判定信号的极性也可以相反)。如果判定信号为“0”，则在步骤S5，由色位移判定电路11判断没有色位移，并结束处理。
如果判定信号为“1”，则在步骤S6中由色位移判定电路11判断平均色是否近似中和色。在图象近似黑白的情况下，即使发生色位移所形成的颜色在近似平均色(这种情况下为中和色)的情况下，也很醒目。因此，色位移判定电路11在平均色近似中和色的情况(即当前图象近似黑白的情况)下，不在下一步骤S7中进行是否近似平均色的判断，而在步骤S8中判断为色位移后结束处理。
平均色与中和色不近似时，在步骤S7中，由色位移判定电路11判断当前色位移检测中区域的颜色是否近似1个视场(1个画面)的平均色。即，色位移判定电路11根据差分检测电路9和平均色检测电路10的结果，在当前色位移检测区域的颜色近似画面内的平均色时，判定其为无色位移区域，然后前进到步骤S5，判断其为无色位移区域后结束处理；在不近似平均色时，判定其为色位移区域，然后前进到步骤S8，判断其为色位移区域后结束处理，输出色位移检测信号。
也可以例如将Cr、Cb色平面分割成16×16的区域，当前色位移检测的颜色落入平均色所处区域周围3×3区域时，判断其为无色位移区域等等。
仅用差分检测电路9检测的色位移区域还包含不明显的色位移，可以不需补偿的区域也进行了补偿，与此相对，通过利用平均色检测电路10算出的1个画面的平均色，可以仅有效地检测当前图象内明显的色位移。
通过以上的处理，可以输出高精度判定出色位移区域的色位移检测信号。
以下说明图象数据推定部6的动作。
输入的图象数据与作为由色位移区域检测部3判定出是色位移区域还是无色位移区域的信号的色位移检测信号一起被输入直方图制作部16。直方图制作部16根据被判定为无色位移区域的图象数据，在RGB色空间中制作3维直方图(图8的步骤S11～S14)。
在本实施例中，输入的图象数据为8位数据。因此，输入的图象数据的各像素值存在于256×256×256的RGB色空间当中的任意点。将该RGB色空间分割成8×8×8的块，通过使无色位移图象数据所对应块的计数增加，来制作1个画面的3维直方图。图7表示分割成8×8×8的块的RGB色空间。
在本实施例中，将RGB色空间分割成8×8×8的块，但也可以是16×16×16或32×32×32等其它分割数。
例如，现在输入(R、G、B)＝(200、230、230)的图象数据，该像素被判断为无色位移区域时，参照输入的图象数据的高3位。这样就落入以图7中的点联结而成的(R、G、B)＝(6、7、7)的块中，因此增加该块的计数值。按照1个画面的像素数重复实施该动作，从而制作作为用于判断哪个块内存在的无色位移像素多的参考的3维直方图。
表制作部17根据被制作的1个画面的3维直方图，制作用于写入第1LUT18a～第3LUT18c的表数据。
如图9的步骤S15～S22所示，在1个画面的3维直方图制作结束的时刻，表制作部17参照(R、G)＝(0、0)的块群(图7中的斜线联结的部分)，即(R、G、B)＝(0、0、0)～(0、0、7)的8个块的计数值，将具有最大频度值(无色位移像素最多)的块的B值(0～7之间的值)确定为(R、G)＝(0、0)的块群的推定值，即落入R和G同时为0的块中的像素的B的推定色数据，并写入第1LUT18a的地址“000000”中。从(R、G)＝(0、0)的块群到(R、G)＝(7、7)的块群依次重复进行64次同样的动作，确定第1LUT18a的地址“000000”～“111111”的推定色数据并进行写入。
这里，在确定最大频度值时，8个块的计数值都为0的情况下(输入的原图象数据当中不存在色位移区域的块群)，将推定色数据确定为预先规定的固定值(0或通过内窥镜图象可以很好地看到的代表值等)。另外，具有最大频度值的块有多个时，将这些块的中间值(例如，0和7都是具有最大频度值的块时，取2或3)或与具有第2大频度值的块接近的块的值等确定为推定色数据。
同样，如图9的步骤S23、S24以及步骤S15～S21所示，对(R、B)＝(0、0)～(7、7)的块群重复上述动作，确定第2LUT18b的地址“000000”～“111111”的推定色数据并写入，而且，如图9的步骤S23、S25以及步骤S15～S21所示，对(G、B)＝(0、0)～(7、7)的块群重复上述动作，确定第3LUT18c的地址“000000”～“111111”的推定色数据并进行写入。
存储器4使输入的图象数据延迟将在表制作部17根据1个画面的图象数据制作的推定色数据向第1LUT18a～第3LUT18c写入结束的时间(约1个视场)。由存储器4延迟了1个视场的图象数据被输入第1LUT18a～第3LUT18c。
第1LUT18a利用来自存储器4的图象数据当中各R和G的图象数据值的高3位，将R的高3位分配到第1LUT18a的地址的高3位，G的高3位分配到第1LUT18a的地址的低3位，然后从被写入第1LUT18a的表数据中读取B的推定色数据。读取的B的推定色数据与来自存储器4的图象数据当中用作上述第1LUT18a的地址的R和G的高3位数据结合后，作为推定图象RG输出。
同样，根据来自存储器4的图象数据当中R和B的图象数据值，从第2LUT18b中读取G的推定色数据，并作为推定图象RB输出；根据G和B的图象数据值，从第3LUT18c中读取R的推定色数据，并作为推定图象GB输出。
与现有色位移减轻装置相比，根据上述结构得到的推定图象成为精度更高的推定图象。
在此，说明例如其值为(R、G、B)＝(200、20、10)的出血部的颜色与如其值为(R、G、B)＝(30、20、150)的美蓝等染色剂的颜色存在于同一画面中的情形(为简化说明，这里假定不存在其它颜色)。
现在对(R、G、B)＝(200、20、10)的像素进行推定。根据R和B色推定时，可以推定为(R、G、B)＝(200、20、10)，但根据G这一色推定时，根据画面内出血区域和被染色区域的像素数量的不同来决定推定为哪一个，因此可能以染色部的颜色推定出血部，或者反过来以出血部的颜色推定染色部。在此，当染色区域的像素数量比出血区域的像素数量多时，推定为(R、G、B)＝(30、20、150)。
因此，在对根据3种颜色成分推定的数据进行合成的推定图象中，受到根据G推定的推定色数据的影响，并且出血区域的颜色是饱和度低的颜色(中和色调)。
但是，本实施例的色位移减轻装置的推定方法是根据R和G、R和B、G和B两种颜色成分进行推定，因此可以通过任何一个推定(R、G、B)＝(200、20、10)的出血区域的颜色，也可以高精度地推定对根据3种颜色成分推定的数据进行合成的推定图象。
以下，说明色位移度算出部5的动作。
色位移度算出部5的直方图制作部12与图象数据推定部6的直方图制作部16讲行同样的动作，在此省略说明。
表制作部13在1个画面的3维直方图制作结束的时刻，将在直方图制作部12制作的3维直方图作为色位移度计算用表数据写入LUT14。首先，读取(R、G、B)＝(0、0、0)的块的计数值，根据图象数据的图象尺寸(1个画面的像素数)确定色位移度，并作为色位移度计算用表数据写入LUT14的地址“000000000”。
色位移度在本实施例中为0～255的8位数据，计数器的值越大，越会被判定为无色位移颜色，成为接近0的值；相反，计数值越小，越会被判定为色位移颜色，成为接近255值。可以完全判定为无色位移的计数器的值为0，可以完全判定为色位移颜色的计数器的值为255。在本实施例中，将色位移度设为8位数据，但不限于此，也可以是16位、4位等其它位数。
图10所示为从计数值转换成色位移度的曲线示例。相当于0～255当中哪个值根据图象数据的图象尺寸发生变化。例如，在图10中，用某图象尺寸X根据转换曲线A进行色位移度转换时，在比X小的图象尺寸Y中总像素数少，因此，最好在与图象尺寸X时相同的计数值的情况下，存在色位移的可能性较高，并且色位移度也比X时的值高。因此，在这种情况下，根据转换曲线B进行色位移度的转换。
与(R、G、B)＝(0、0、0)相同，读取(R、G、B)＝(0、0、1)～(7、7、7)的全部512个块的计数值，将色位移度写入将R分配到最高位、G分配到次高位、B分配到最低位的LUT14的地址“000000000”～“111111111”中，从而在LUT14中完成色位移度计算用表。
在作为色位移度计算用表完成的LUT14中，输入由存储器4延迟了的图象数据，对各像素从RGB色空间中读取相应块的色位移度，然后输出到LPF15，与周边像素的色位移度结合进行色位移度的平滑处理。
LPF15是3×3的平滑滤波器，其作用是抑制相邻像素间色位移度的弥散和急剧变化，在制作色位移减轻图象时，起到防止形成不自然的图象的作用。在本实施例中为3×3的区域，但也可以是5×5等其它大小或根据图象的条件使区域发生变化。
以下，说明色位移减轻处理部7的动作。
在内窥镜的图象中，由血液或染色剂(美蓝等)引起的色调变化占主要地位。在这样的图象中，R、G、B三种颜色成分当中只有一种颜色成分的亮度分布广(8位数据的情况下，亮度值的分布跨0～255的宽广范围)，其它颜色成分多集中在较低值上(例如，由血液引起的色调变化为主的情况下为R，由染色剂引起的色调变化为主的情况下为B)。
以本实施例的方法，根据上述图象的颜色成分数据推定剩余颜色成分数据时，亮度分布窄的颜色成分数据集中在图7的RGB色空间的有限块上，因此可推定的颜色也是有限的颜色。
因此，根据亮度分布广的颜色成分数据推定的推定图象与根据亮度分布窄的颜色成分数据推定的推定图象相比，其趋势是得到精度更高的推定图象。
在内窥镜图象的情况下，以这样的图象算出R、G、B各颜色成分的平均值时，具有亮度分布广的颜色平均值高且亮度分布窄的颜色平均值低的趋势。另外，血液、染色剂(美蓝)两者支配几乎相同的色调变化的情况下，具有R、B亮度分布都广且各颜色成分的平均值为中间值(8位情况下约为128)的趋势，并且具有G的亮度分布窄且其平均值低的趋势。这种情况下也具有亮度分布广的颜色成分平均值也高的趋势。在本实施例中，利用该性质，并具有可以使电路规模尽可能小的优点，因此通过利用平均值可以简单地算出反映颜色成分分布倾向的合成比例。
系数决定部19根据输入的图象数据的颜色成分R、G、B的平均值，并基于R和G的数据算出推定图象RG的合成比例，基于R和B的数据算出推定图象RB的合成比例，算出G和B的数据算出推定图象GB的合成比例。
首先，算出输入的图象数据的R、G、B各1个画面的平均值RAVG、GAVG和BAVG。根据算出的平均值RAVG、GAVG和BAVG算出RAVG和GAVG的平均值、RAVG和BAVG的平均值、GAVG和BAVG的平均值，分别作为RGAVG、RBAVG和GBAVG。
将推定图象RG的合成比例设为Crg、将推定图象RB的合成比例设为Crb、将推定图象GB的合成比例设为Cgb，根据以下式(3)～(5)算出各推定图象的合成比例，并将Crg输出到乘法运算处理部20a、将Crb输出到乘法运算处理部20b、将Cgb输出到乘法运算处理部20c。
Crg＝RGACG/(RGAVG+RBAVG+GBAVG) ...(3)
Crb＝RBAVG/(RGAVG+RBAVG+GBAVG) ...(4)
Cgb＝GBAVG/(RGAVG+RBAVG+GBAVG) ...(5)
在乘法运算处理部20a中，将第1LUT18a输出的推定图象数据RG与系数确定部19输出的系数Crg相乘，然后输出到加法运算处理部21。
同样，在乘法运算处理部20b中，将推定图象数据RB与系数Crb相乘，在乘法运算处理部20c中；将推定图象数据GB与系数Cgb相乘，然后分别输出到加法运算处理部21。
在加法运算处理部21中，将乘法运算处理部20a～20c输出的数据相加，制作补偿图象数据。
如上所述制作的补偿图象数据是根据以每1个画面中画面整体色调为基础的最佳合成比例算出的，与现有色位移减轻装置相比，是具有更高精度的色位移补偿图象数据。
合成处理部22根据色位移度算出部5输出的色位移度数据，对加法运算处理部21输出的补偿图象数据、和存储器4输出的图象数据进行合成。存在色位移的可能性越高，色位移度数据越接近255。因此，色位移度数据为255时，补偿图象数据以100％的比例合成，相反，色位移度数据为0时，存储器4输出的图象数据以100％的比例合成。色位移度数据为128时，补偿图象数据和存储器4输出的图象数据均以50％的比例合成。
如上所述，本实施例的色位移减轻装置与现有色位移减轻装置相比，处于色位移区域的推定图象的精度提高，因此出血和染色剂存在于同一画面中的图象的色位移减轻图象成为感觉更加自然的图象，可以得到没有失调感的色位移减轻处理图象。
第2实施例
如图11所示，除了色位移减轻处理图象被输入色位移区域检测部24、色位移度运算部25的内部结构、图象数据推定部26的内部结构以及色位移减轻处理部27的内部结构以外，本实施例中色位移减轻装置23的结构与第1实施例中色位移减轻装置的结构大致相同，因此仅说明不同点，同一结构使用相同的符号并省略说明。
如图12所示，色位移区域检测部24包括：RGB矩阵电路28，根据输入的RGB图象数据和由色位移减轻处理部27处理后的色位移减轻处理图象，算出并输出颜色信号Cr、Cb和亮度信号Y；差分检测电路29，算出输入的图象数据的颜色信号Cr、Cb和由色位移减轻处理部27处理后的色位移减轻处理图象的颜色信号Cr、Cb的差分，并根据色位移减轻处理图象的亮度信号Y的信息，检测出是否有规定值以上的变化。其它结构与第1实施例相同。
如图13所示，色位移度运算部25包括：RGB-YC矩阵电路30，将输入的RGB图象数据和来自存储器4的延迟了1个视场的图象数据转换成颜色信号Cr、Cb；直方图制作部31，根据对输入的RGB图象数据进行转换后的颜色信号Cr、Cb和从色位移区域检测部24输出的色位移检测信号，制作2维直方图；表制作部32，参照直方图制作部31制作的2维直方图，向LUT33中写入色位移度计算用表数据；LUT33，根据从RGB-YC矩阵电路30输出的、对由存储器4延迟的RGB图象数据进行转换后的颜色信号Cr、Cb，输出色位移度数据。其它结构与第1实施例相同。
如图14所示，图象数据推定部26包括：表制作部34，参照直方图制作部16制作的3维直方图，向LUT35a～35c写入推定色数据；第1LUT35a～第3LUT35c，根据从存储器4输出的延迟了1个视场的图象数据输出推定色数据。其它结构与第1实施例相同。
如图15所示，色位移减轻处理部27包括合成处理部36，该合成处理部36根据从色位移度算出部25输出的色位移度数据，对加法运算处理部21输出的补偿图象数据和从存储器4输出的图象数据进行合成处理，并制作色位移减轻图象。其它结构与第1实施例相同。
以下，说明上述结构的色位移减轻装置的动作。
首先，通过图16说明色位移区域检测部24的动作。
如图16所示，将输入的图象数据和从色位移减轻处理部27输出的色位移减轻处理图象数据输入RGB-YC矩阵电路28，并且除了与第1实施例同样，除了在步骤S51中算出各颜色信号Cr、Cb(参照式(1)和(2))之外，还通过以下的式(6)根据色位移减轻处理图象数据算出亮度信号Y。
Y＝0.3×R+0.59×G+0.11×B ...(6)
然后，在步骤S52中由平均色检测电路10算出当前1个视场(1个画面)的平均色。
与第1实施例相同，在步骤S53中，差分检测电路29根据在RGB-YC矩阵电路28算出的输入图象数据的颜色信号Crn、Cbn和色位移减轻图象数据的颜色信号Crp、Cbp，算出|Crn-Crp|和|Cbn-Cbp|，然后判断是否超过预先规定的阈值。与第1实施例不同之处在于，阈值根据色位移减轻图象数据的亮度信号Y的平均亮度值YAVG发生变化。
在暗且饱和度低的图象中，即使是稍微有颜色变化的色位移也很明显。在这样的图象中，图象整体的颜色信号Cr、Cb也呈现出低的倾向(中和色、单色调)，与第1实施例同样以固定的阈值进行色位移判断时，可能无法检测这样稍微有颜色变化的色位移。因此，在色位移减轻图象数据的平均亮度值YAVG低的情况下，必须设定低的阈值。因此在步骤S54中根据色位移减轻图象数据的平均亮度值YAVG设定阈值。
这样，根据图象的亮度来改变色位移检测的阈值，并向色位移判定电路11输出色位移的检测结果。此外，色位移判定电路11的动作和作用与第1实施例相同，进行根据图6说明的步骤S4～S8的处理。
通过利用以上结构进行色位移检测，可以改进第1实施例中难以检测的暗图象的色位移检测。
另外，本实施例是求出色位移减轻图象数据的平均亮度值并用于阈值的设定，也可以求出输入的图象数据的平均亮度值并用于阈值的设定。
以下说明色位移度运算部25的动作。
输入的图象数据和来自存储器4的延迟了1个视场的图象数据通过RGB-YC矩阵电路30算出各自的颜色信号Cr、Cb后，所输入的图象数据的颜色信号被输出到直方图制作部31，来自存储器4的图象数据的颜色信号被输出到LUT33。
输入的图象数据的颜色信号与在色位移区域检测部24判定的色位移检测信号一起被输入直方图制作部31。直方图制作部31根据被判定为无色位移的图象数据，在CrCb色空间制作2维直方图。
在本实施例中，与第1实施例相同，输入的图象数据是8位数据。因此，输入的图象数据的各像素值存在于256×256的CrCb色空间中的任意点。将该CrCb色空间分割成8×8的块，通过使无色位移图象数据所处块的计数增加，制作1个画面的2维直方图。图17表示分割成8×8的块的CrCb色空间。
本实施例中采用的是如图17所示的分割方法，但也可以是16×16等其它分割数，或者是如图18所示以原点为中心的块分割方法。
表制作部32在1个画面的2维直方图制作结束的时刻，根据在直方图制作部31制作的2维直方图求出色位移度计算用表数据，并写入LUT33。
首先，读取(Cr、Cb)＝(0、0)的块的计数值，根据图象数据的图象尺寸(1个画面的像素数)确定色位移度，并作为色位移度计算用表数据写入LUT33的地址“000000”。
将各块的计数值转换成色位移度的方法与第1实施例相同，在此省略说明。
与第1实施例相同，在(Cr、Cb)＝(0、0)～(7、7)的范围内，读取全部64个块的计数值，并将色位移度写入将Cr分配到最高位、Cb分配到最低位的LUT33的地址“000000”～“111111”中，从而在LUT33中完成色位移度计算用表。
在作为色位移度计算用表完成的LUT33中，输入由RGB-YC矩阵电路30转换的来自存储器4的图象数据的颜色信号，对每一个像素从CrCb色空间读取相应块的色位移度，并输出到LPF15，与第1实施例同样进行色位移度的平滑处理。
LPF15的动作和作用与第1实施例相同，在此省略说明。
以下说明图象数据推定部26的动作。
直方图制作部16的动作和作用与第1实施例相同，在此省略说明(参照图8)。
如图19的步骤S115～S126所示，表制作部34根据被制作的1个画面的3维直方图，制作表数据并写入第1LUT35a～第3LUT35c。表制作部34在1个画面的3维直方图制作结束的时刻，与第1实施例同样，参照(R、G)＝(0、0)的块群中包含的8个块的计数值，并确定具有最大频度值的块的B值。
在本实施例中，写入第1LUT35a的推定色数据与第1实施例不同。在本实施例的表制作部34中，根据如上得到的(R、G)＝(0、0)(具有最大频度值的块值)算出Cr、Cb，并将其作为推定色数据写入第1LUT35a的地址“000000”中。从(R、G)＝(0、0)的块群到(R、G)＝(7、7)的块群依次重复进行64次同样的动作，确定第1LUT35a的地址“000000”～“111111”的推定色数据并写入。
这里在确定最大频度值时，8个块的计数值都为0的情况下，求出输入的原图象数据的平均色信号CrAVG和CbAVG，并将该值确定为推定色数据。最大频度值为多个的情况下，进行与第1实施例相同的动作，因此省略说明。
第1LUT35a～第3LUT35c与第1实施例同样，在产生地址后读取推定色数据Cr、Cb，并将其作为推定图象输出到色位移减轻处理部26。
以下，说明色位移减轻处理部26的动作。
对于系数确定部19、乘法运算处理部20和加法运算处理部21，进行运算的数据由R、G、B变为Cr、Cb，除了这一点有所不同之外，其他与第1实施例进行同样的动作，在此省略说明。
合成处理部36根据色位移度算出部25输出的色位移度数据，对加法运算处理部21输出的补偿图象数据、和从存储器4输出的图象数据进行合成。
加法运算处理部21输出的补偿图象数据为颜色信号Cr、Cb，因此根据存储器4输出的RGB图象数据算出颜色信号Cr、Cb，并根据色位移度数据进行合成。合成方法与第1实施例相同，因此省略说明。合成后的颜色信号Cr、Cb与根据从存储器4输出的RGB图象数据输出的亮度信号Y相结合，通过以下的式(7)～(9)转换成RGB图象数据。
R＝Y+1.402×Cr ...(7)
G＝Y-0.714×Cr-0.344×Cb ...(8)
B＝Y+1.772×Cb ...(9)
以上结构的色位移减轻装置与第1实施例的色位移减轻装置相比，即使对暗且饱和度低的图象也可以良好地进行色位移的减轻处理。
第3实施例
如图20所示，本实施例的色位移减轻装置37包括：使输入图象延迟1个视场的存储器38；色位移区域检测部39，根据存储器38输出的延迟了1个视场的图象数据和输入到色位移减轻装置37的图象数据以及色位移减轻处理部27输出的色位移减轻处理图象，进行色位移检测。其它结构与第2实施例中色位移减轻装置的结构相同，因此仅说明不同点，同一结构使用相同的符号，并省略说明。
如图21所示，色位移区域检测部38中包括根据输入的RGB图象数据、由存储器38延迟的图象数据和由色位移减轻处理部27处理后的色位移减轻图象数据算出颜色信号Cr、Cb和亮度信号Y的RGB-YC矩阵电路40。其它结构与第2实施例相同，在此省略说明。
以下，说明上述结构的色位移减轻装置的动作。
输入到色位移减轻装置的图象数据由存储器38延迟1个视场后，输出到色位移区域检测部39。在色位移区域检测部39的RGB-YC矩阵电路40中，除了与第2实施例同样算出输入到色位移减轻装置的图象数据的颜色信号Cr、Cb和来自色位移减轻处理部27的色位移减轻图象的颜色信号Crp、Cbp以外，还算出存储器38输出的图象数据的颜色信号Crn、Cbn和所输入的图象数据的亮度信号Y。
输入到色位移减轻装置的图象数据的颜色信号Cr、Cb被输出到平均色检测电路10，其它颜色信号Crn、Cbn、Crp、Cbp和亮度信号Y被输出到差分检测电路29，然后与第2实施例同样进行其后的处理。
其它结构的动作和作用与第2实施例相同，在此省略说明。
如上所述，在第2实施例中，平均色或亮度信号的平均值YAVG所处时刻是延迟了1个视场的时刻，但在本实施例中，该时刻与实际处理的图象时刻一致，因此本实施例的色位移减轻装置可以得到使第2实施例的效果进一步提高的色位移减轻装置。
在本实施例中，将输入到色位移减轻装置的图象数据输入到存储器38，并使之延迟1个视场，但也可以输入从色位移减轻处理部27输出的色位移减轻处理图象并使之延迟，可以得到几乎相同的效果。
在本发明中，可以明确的是较宽范围内的不同实施例在不脱离发明精神和范围的情况下，可基于本发明构成。本发明除了由随附的权利要求书进行限定之外，不受其特定实施例的制约。
工业上的实用性
如上所述，本发明的色位移减轻装置可用作当生物体内存在2种以上的色素时高精度地推定补偿色的装置。
Claims (4)
1.一种色位移减轻装置，包括：
色位移区域检测部，根据表示由场序摄像装置拍摄被摄体而得到的第1和第2图象的第1和第2图象信号，检测所述第1图象中产生色位移的区域；
色位移度算出部，根据从所述色位移区域检测部输出的色位移检测信号和所述第1及第2图像信号，计算出色位移度数据；
图像数据推定部，在所述第1图象信号中，根据与由所述色位移区域检测部检测到的色位移区域以外的区域相对应的图象信号中的第1和第2颜色成分信号，推定第3颜色成分信号；以及
色位移减轻处理部，根据基于由所述图像数据推定部得到的第3颜色成分信号和所述第1及第2颜色成分信号的图象信号、从所述色位移度算出部输出的色位移度数据、以及所述第1图象信号，制作色位移减轻处理图象。
2.如权利要求1所述的色位移减轻装置，其特征在于，所述色位移减轻处理部包括：
系数决定部，决定根据输入的第1图像信号由所述图像数据推定部推定的3个颜色成分信号的合成比例；
乘法运算处理部，将所述3个颜色成分信号的各个和从所述系数决定部输出的系数相乘；
加法运算处理部，将从所述乘法运算处理部输出的数据加起来；
合成处理部，对所述色位移度数据、从所述加法运算处理部输出的补偿数据和所述第1图像信号进行合成处理，制作色位移减轻图像。
3.如权利要求2所述的色位移减轻装置，其特征在于，所述合成处理部根据第1图象信号中的有关各颜色成分信号的分布状态的信息，确定3个推定色图象的合成比例。
4.如权利要求1所述的色位移减轻装置，其特征在于，所述图像数据推定部，在根据由所述色位移区域检测部检测的色位移区域以外区域的3个颜色成分信号中的2个颜色成分信号，不能推定剩余1个颜色成分信号时，根据第1图象信号中的1个画面的数据的平均值进行推定。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002142094A JP3938715B2 (ja) | 2002-05-16 | 2002-05-16 | 色ズレ軽減装置 |
| JP142094/2002 | 2002-05-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1630486A CN1630486A (zh) | 2005-06-22 |
| CN100386050C true CN100386050C (zh) | 2008-05-07 |
Family
ID=29544971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB038035987A Expired - Fee Related CN100386050C (zh) | 2002-05-16 | 2003-05-16 | 色位移减轻装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7372989B2 (zh) |
| EP (1) | EP1475032B1 (zh) |
| JP (1) | JP3938715B2 (zh) |
| CN (1) | CN100386050C (zh) |
| DE (1) | DE60302441T2 (zh) |
| WO (1) | WO2003096887A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3938715B2 (ja) * | 2002-05-16 | 2007-06-27 | オリンパス株式会社 | 色ズレ軽減装置 |
| JP4632761B2 (ja) * | 2004-11-25 | 2011-02-16 | オリンパス株式会社 | 電子内視鏡装置及び色ずれ補正装置 |
| US8243128B2 (en) * | 2005-09-30 | 2012-08-14 | Hoya Corporation | Electronic endoscope |
| US20140176743A1 (en) * | 2012-12-20 | 2014-06-26 | Thomson Licensing | Method, apparatus and system for publishing creative looks as three-dimensional lookup tables |
| JP6066866B2 (ja) * | 2013-08-22 | 2017-01-25 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| JP6921489B2 (ja) * | 2016-07-13 | 2021-08-18 | キヤノン株式会社 | 画像形成装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5333010A (en) * | 1991-08-12 | 1994-07-26 | Olympus Optical Co., Ltd. | Color misregistration easing system for a field sequential electronic endoscope system |
| JPH06327622A (ja) * | 1993-05-19 | 1994-11-29 | Olympus Optical Co Ltd | 色ズレ補正装置 |
| JPH0974570A (ja) * | 1995-07-06 | 1997-03-18 | Olympus Optical Co Ltd | 色ズレ補正装置 |
| US5675378A (en) * | 1993-03-19 | 1997-10-07 | Olympus Optical Co., Ltd. | Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2837913B2 (ja) | 1990-03-19 | 1998-12-16 | オリンパス光学工業株式会社 | 色ずれ軽減装置 |
| US5485203A (en) * | 1991-08-12 | 1996-01-16 | Olympus Optical Co., Ltd. | Color misregistration easing system which corrects on a pixel or block basis only when necessary |
| JP3327992B2 (ja) * | 1993-05-17 | 2002-09-24 | オリンパス光学工業株式会社 | 色ズレ補正装置 |
| JP3302439B2 (ja) * | 1993-05-19 | 2002-07-15 | オリンパス光学工業株式会社 | 色ズレ補正装置 |
| JPH09149270A (ja) * | 1995-11-17 | 1997-06-06 | Olympus Optical Co Ltd | スキャナシステム |
| US6208351B1 (en) * | 1997-12-22 | 2001-03-27 | Adobe Systems Incorporated | Conversion of alpha-multiplied color data |
| JP2000196906A (ja) * | 1998-10-22 | 2000-07-14 | Xerox Corp | プリントシステム及び方法 |
| US6859228B1 (en) * | 1999-10-18 | 2005-02-22 | Sharp Laboratories Of America, Inc. | Least squares method for color misregistration detection and correction in image data |
| US6529616B1 (en) * | 1999-11-29 | 2003-03-04 | Xerox Corporation | Technique for accurate color-color registration measurements |
| US20020141003A1 (en) * | 2001-01-16 | 2002-10-03 | Sharp Laboratories Of America, Inc. | Method of three dimensional color vector determinant for automatic kanji and chinese character detection and enhancement |
| US7256910B2 (en) * | 2002-04-23 | 2007-08-14 | Weyerhaeuser Company | Color separation method and printed product of the method |
| JP3938715B2 (ja) * | 2002-05-16 | 2007-06-27 | オリンパス株式会社 | 色ズレ軽減装置 |
-
2002
- 2002-05-16 JP JP2002142094A patent/JP3938715B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-16 US US10/499,892 patent/US7372989B2/en active Active
- 2003-05-16 WO PCT/JP2003/006100 patent/WO2003096887A1/ja active IP Right Grant
- 2003-05-16 CN CNB038035987A patent/CN100386050C/zh not_active Expired - Fee Related
- 2003-05-16 EP EP03725798A patent/EP1475032B1/en not_active Expired - Lifetime
- 2003-05-16 DE DE60302441T patent/DE60302441T2/de not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5333010A (en) * | 1991-08-12 | 1994-07-26 | Olympus Optical Co., Ltd. | Color misregistration easing system for a field sequential electronic endoscope system |
| US5675378A (en) * | 1993-03-19 | 1997-10-07 | Olympus Optical Co., Ltd. | Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution |
| JPH06327622A (ja) * | 1993-05-19 | 1994-11-29 | Olympus Optical Co Ltd | 色ズレ補正装置 |
| JPH0974570A (ja) * | 1995-07-06 | 1997-03-18 | Olympus Optical Co Ltd | 色ズレ補正装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1630486A (zh) | 2005-06-22 |
| JP3938715B2 (ja) | 2007-06-27 |
| EP1475032B1 (en) | 2005-11-23 |
| US20050046695A1 (en) | 2005-03-03 |
| EP1475032A1 (en) | 2004-11-10 |
| DE60302441T2 (de) | 2006-06-14 |
| WO2003096887A1 (fr) | 2003-11-27 |
| JP2003333607A (ja) | 2003-11-21 |
| DE60302441D1 (de) | 2005-12-29 |
| EP1475032A4 (en) | 2005-01-12 |
| US7372989B2 (en) | 2008-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102959958B (zh) | 彩色成像设备 | |
| CN102204258B (zh) | 图像输入装置 | |
| US7973850B2 (en) | Image processing apparatus and image processing method | |
| KR100278642B1 (ko) | 칼라 영상 처리장치 및 방법 | |
| US6594384B1 (en) | Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight | |
| CN112073703B (zh) | 一种色彩校正矩阵的调整方法、装置、终端设备及介质 | |
| US20060023939A1 (en) | Method of and apparatus for image processing | |
| JP2573434B2 (ja) | 特定色抽出方法 | |
| CN101946519B (zh) | 图像处理装置、成像装置、校正系数计算方法 | |
| CN101467444A (zh) | 固态图像传感器 | |
| US20150339808A1 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| US20050030396A1 (en) | Apparatus for and method of edge enhancement in image processing | |
| CN104618703A (zh) | 一种白平衡调整方法 | |
| CN100386050C (zh) | 色位移减轻装置 | |
| CN113177939A (zh) | 一种灯板检测方法、装置、电子设备及存储介质 | |
| CN102946501B (zh) | 成像系统或图像输出系统中颜色畸变校正方法及装置 | |
| CN104954627A (zh) | 一种信息处理方法及电子设备 | |
| WO2022120799A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Lin | An automatic white balance method based on edge detection | |
| US9036030B2 (en) | Color calibration of an image capture device in a way that is adaptive to the scene to be captured | |
| JPH09200554A (ja) | 画像処理装置 | |
| Crichton et al. | Skin chromaticity gamuts for illumination recovery | |
| Shimei et al. | A study on modulation and diversity methods based on uniform color space for digital signage and image sensor-based VLC | |
| TW202036530A (zh) | 面板均勻性校正方法 | |
| CN110930962B (zh) | 一种细微亮度变化放大显示方法及电路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080507 Termination date: 20190516 |