CN105830433A - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN105830433A
CN105830433A CN201580003142.6A CN201580003142A CN105830433A CN 105830433 A CN105830433 A CN 105830433A CN 201580003142 A CN201580003142 A CN 201580003142A CN 105830433 A CN105830433 A CN 105830433A
Authority
CN
China
Prior art keywords
pixel
value
picture element
element signal
imaging cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580003142.6A
Other languages
English (en)
Other versions
CN105830433B (zh
Inventor
横内文香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Qualcomm Inc
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN105830433A publication Critical patent/CN105830433A/zh
Application granted granted Critical
Publication of CN105830433B publication Critical patent/CN105830433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

该图像处理设备以如下装置来配置：针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算从成像元件输出的当前成像周期的像素信号与紧接的之前成像周期的像素信号之间的差值的装置；利用整个有效像素区域作为范围来检测物体的运动的装置；将有效像素区域中的每个像素顺序地设置为感兴趣像素的装置；利用包括顺序设置的感兴趣像素的局部像素区作为范围来检测物体的运动的装置；基于两个检测结果来确定当前成像周期的像素信号与紧接的之前成像周期的像素信号的混合比例的装置；以及针对每个感兴趣像素，基于确定的混合比例来校正当前成像周期的像素信号的装置。

Description

图像处理设备
技术领域
本发明涉及通过处理从成像元件输出的信号来产生图像的图像处理设备。
背景技术
通过处理从成像元件输出的信号来产生图像的图像处理设备是已知的。这种图像处理设备的一种已知的示例抑制了处于运动的物体的残像，同时还降低了图像中的噪声。例如，在JP2000-209507A(在下文中，被称作为“专利文献1”)中记载了这种类型的图像处理设备的具体配置。
记载在专利文献1中的图像处理设备包括循环噪声降低电路。记载在专利文献1中的循环噪声降低电路利用减法器来获得从成像元件输出的当前图像信号与更早一个帧或者更早一个场的图像信号之间的差，利用乘法器来将该差值乘以反馈系数，并且利用加法器来将乘法的结果与当前图像信号相加，因而降低图像信号中的噪声成分。循环噪声降低电路还根据来自减法器的差值来控制每个像素的反馈系数。如果来自减法器的差值较大，则通过减小反馈系数来降低残像，如果该差值较小，则通过增加反馈系数来降低噪声。
发明内容
然而，利用记载在专利文献1中的配置，不可能充分地将物体运动成分与随机噪声分开，且因此不可能充分地抑制处于运动的物体的残像。
本发明是鉴于上述情况来实现的，并且本发明的目标是提供适用于抑制处于运动的物体的残像，同时降低图像中的噪声的图像处理设备。
根据本发明的一个实施方案的图像处理设备包括：差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值；第一运动检测装置，其用于利用整个有效像素区域作为范围来检测物体的运动；感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素；第二运动检测装置，用于利用包括依次设置的感兴趣像素的局部像素区作为范围来检测物体的运动；混合比例确定装置，其用于针对每个感兴趣像素，基于第一运动检测装置的检测结果和第二运动检测装置的检测结果，来确定当前成像周期的像素信号与更早一个成像周期的像素信号的混合比例；以及像素信号校正装置，其用于针对每个感兴趣像素，基于通过混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。
此外，根据本发明的一个实施方案的图像处理设备包括：差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值；第一计数装置，其用于对在有效像素区域中差值满足第一条件的像素的数目进行计数，并且将计数的像素数目设置为第一计数值；感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素；第二计数装置，其用于对在由依次设置的感兴趣像素和在感兴趣像素周围的周围像素组成的像素组中的差值满足第二条件的像素的数目进行计数，并且将计数的像素数目设置为第二计数值；混合比例确定装置，其用于针对每个感兴趣像素，基于感兴趣像素所属的像素组中的第二计数值以及第一计数值，来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例；以及像素信号校正装置，其用于针对每个感兴趣像素，基于由混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。
混合比例确定装置可以配置成将第一计数值转换成第一值，并且将第二计数值转换成第二值。在这种情况下，混合比例确定装置基于第一值和第二值的差值来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例。
此外，第一值的数值范围和第二值的数值范围可以是相同的。
此外，例如，第一条件为由差值计算装置计算出的差值大于第一阈值。此外，例如，第二条件为该差值小于第二阈值。在这种情况下，如果第一计数值小于或等于固定值，则第一计数值转换成数值范围中的最大值，而第一计数值大于固定值，则第一计数值转换成相对最大值较小的值。此外，第二计数值照第二计数值的原样转换。然后，混合比例确定装置在第一值和第二值之间的差值大于或等于第三阈值的情况下，基于第一值和第二值来确定混合比例，而在第一值和第二值之间的差值小于第三阈值的情况下，基于第一值或者第二值来确定混合比例。
例如，成像元件的成像周期为一个场周期或者一个帧周期。
根据本发明的一个实施方案，提供了这样一种图像处理设备，其适用于抑制处于运动的物体的残像，并且还降低了图像中的噪声。
附图说明
图1为根据本发明的实施方案的电子内窥镜系统的外部图。
图2为根据本发明的实施方案的电子内窥镜系统的框图。
图3为示出根据本发明的实施方案的包括在处理器中的噪声降低电路的配置的框图。
图4为示出根据本发明的实施方案的包括在噪声降低电路中的反馈系数计算单元的工作的流程图。
图5为在概念上示出在整个场中的运动检测的图(图5(a))和在概念上示出局部区域中的运动检测的图(图5(b))。
图6为示出用于在第一计数值和第一值m1之间转换的函数的曲线图(图6(a))和示出用于在第二计数值和第二值m2之间转换的函数的曲线图(图6(b))。
具体实施方式
在下文中，将参照附图来描述本发明的实施方案。注意的是，在以下描述中，采用电子内窥镜系统作为本发明的一个实施方案的示例。
图1为本实施方案的电子内窥镜系统1的外部图。如图1中所示，本实施方案的电子内窥镜系统1包括电子内窥镜100和处理器200。处理器200为整体地包括信号处理设备和光源设备的设备，所述信号处理设备处理来自电子内窥镜100的信号，所述光源设备通过电子内窥镜100来对自然光不能到达的体腔的内部照明。在另一个实施方案中，信号处理设备和光源设备可以分开地进行配置。
如图1中所示，电子内窥镜100包括插入部分柔性管11，其被柔性护套覆盖。插入部分柔性管11的尖端部分(弯曲部分14)根据来自与插入部分柔性管11的基端部连接的手操作部分13的远程操作而弯曲。弯曲机构是合并在通常的内窥镜中的已知机构，并且结合手操作部分13的曲率操作旋钮的旋转操作，使得弯曲部分14利用操作线的拉伸而弯曲。尖端部分12的被硬树脂套覆盖的基端部与弯曲部分14的尖端部分连接。尖端部分12的方向根据利用曲率操作旋钮的旋转操作所执行的弯曲操作而改变，因而移动电子内窥镜100的成像区域。
处理器200设置有连接器部分20，所述连接器部分20具有对应于设置在电子内窥镜100的基端部上的连接器部分10的连接结构。通过将连接器部分20与连接器部分10机械地连接而将电子内窥镜100和处理器200电连接和光连接。
图2为示出本发明的电子内窥镜系统1的配置的框图。如图2中所示，在电子内窥镜系统1中，监控器300与处理器200连接。
如图2中所示，处理器200具有系统控制器202和时序控制器204。系统控制器202通过执行存储在存储器222中的各种程序来执行整个电子内窥镜系统1的总体控制。系统控制器202还根据由用户(操作员或者助理)输入至操作面板218的指令来改变电子内窥镜系统1的各种设置。注意的是，操作面板218的配置可以采用各种形式。可设想出的操作面板218的具体配置的示例包括：在处理器200的前表面上实施的特定功能的硬件按键或者触摸面板型的GUI(图形用户界面)、以及硬件按键和GUI的组合。时序控制器204输出时钟脉冲至电子内窥镜系统1中的电路，所述时钟脉冲用于调节部分操作的时序。
灯208由灯电源启动器206来启动，并且此后发射具有主要从可见光区域扩展至不可见的红外光区域的光谱的光(或者至少包括可见光区域的光)。例如氙灯、卤素灯或金属卤化物灯的高强度灯适用于作为灯208。由灯208发射的照射光通过聚光透镜210来汇聚并且通过光圈212而限制为合适的光量。
电机214通过传动机构与光圈212机械连接，所述传动机构例如在附图中未示出的臂或者齿轮。电机214例如为DC电机，并且在驱动器216的驱动控制下被驱动。光圈212通过电机214来致动，以改变光圈的开度，从而将显示在监控器300的显示屏上的图像设置至合适的亮度。根据光圈212的开度来限制由灯208发射的光的光量。由操作员根据在操作面板218上执行的强度调节操作来设置被视为合适的参考图像亮度。注意的是，控制驱动器216来执行强度调节的光控制电路是已知的电路，并且将在本说明书中不再描述。
已穿通光圈212的照射光进入LCB(载光束)102的入口端部。经由入口端部进入LCB102的照射光通过在LCB102内部反复地经受全反射而传播。在LCB102内部传播的照射光经由布置在电子内窥镜100的尖端部分12内部的LCB102的出口端部离开，并且通过配光透镜104对物体照明。
来自物体的返回光穿过物镜106，并且利用固态成像元件108的光接收表面上的像素而形成为光学图像。固态成像元件108为交错型的单板彩色CCD(电荷耦合设备)图像传感器，其具有互补的彩色方格的像素布置。固态成像元件108根据由光接收表面上的像素所形成的光学图像的光量，通过累积电荷来产生黄色Ye、蓝绿色Cy、绿色G和洋红Mg的互补彩色信号，并且顺序地输出通过将由在垂直方向上相邻的两个像素产生的互补彩色信号相加而获得的混合信号。在下文中，对应于相应场中水平线上的像素并且通过固态成像元件108顺序输出的混合信号将被称作为“成像信号”。注意的是，固态成像元件108不限制于CCD图像传感器，并且可以利用CMOS(互补金属氧化物半导体)图像传感器或者其它类型的成像设备。固态成像元件108还可以为包括原色滤色器(拜耳阵列滤色器)的元件。
从固态成像元件108输出的成像信号通过前置放大器110来进行信号放大，然后通过驱动器信号处理电路112输入至信号处理电路220。
电子内窥镜100包括驱动器信号处理电路112和存储器114。驱动器信号处理电路112存取存储器114，并且读出关于电子内窥镜100的唯一信息。记录在存储器114中的关于电子内窥镜100的唯一信息包括，例如像素计数、敏感性、可操作的场速率(帧速率)以及固态成像元件108的模型数目。从存储器114读出的唯一信息通过驱动器信号处理电路112输出至系统控制器202。
系统控制器202通过基于关于电子内窥镜100的唯一信息来执行各种算术运算而产生控制信号。系统控制器202利用产生的控制信号来控制处理器200中的各种电路的操作和时序，以执行适用于当前与处理器200连接的电子内窥镜的处理。
时序控制器204根据通过系统控制器202执行的时序控制，来将时钟脉冲供应至驱动器信号处理电路112和信号处理电路220。根据从时序控制器204供应的时钟脉冲，驱动器信号处理电路112基于与由处理器200处理的图像的场速率(帧速率)同步的时序来控制固态成像元件108的驱动。
如图2中所示，信号处理电路220包括：前置阶段信号处理电路220A、噪声降低电路220B以及后置阶段信号处理电路220C。
前置阶段信号处理电路220A通过对从驱动器信号处理电路112接收到的成像信号执行预定的信号处理(例如，色彩内插和Y/C分离)来产生像素信号(亮度信号Y以及色差信号U和V)，并且将产生的像素信号输出至噪声降低电路220B。
图3为示出噪声降低电路220B的配置的框图。如图3中所示，噪声降低电路220B包括：第一场存储器220Ba、反馈系数计算单元220Bb、乘法电路220Bc1至220Bc3、第二场存储器220Bd、乘法电路220Be1至220Be3、以及加法电路220Bf1至220Bf3。
第一场存储器220Ba从前置阶段信号处理电路220A接收像素信号(亮度信号Y)。在第一场存储器220Ba中缓冲了至少一个场的像素信号(有效像素区域中的像素信号)。
反馈系数计算单元220Bb从前置阶段信号处理电路220A顺序地接收当前场的像素信号(亮度信号Y)，并且同时从第一场存储器220Ba顺序地接收更早一个场中对应于这些像素信号的像素信号(亮度信号Y)。这里，在同一线上和具有相同地址的像素的像素信号将被称作为“相应的像素信号”。例如，更早一个场中对应于在奇数编号场的第二水平线上首先输出的像素信号的像素信号为紧接的之前的偶数编号场的第二水平线上首先输出的像素信号。
反馈系数计算单元220Bb的操作描述
图4为示出反馈系数计算单元220Bb的操作的流程图。
图4中的S11(亮度差值的计算)
如图4中所示，在处理步骤S11中，针对有效像素区域中的每个像素，计算当前场的像素信号(亮度信号Y)与更早一个场的像素信号(亮度信号Y)之间的差值。在下文中，为了便于描述，在处理步骤S11中计算出的像素信号(亮度信号Y)的差值将被称作为“亮度差值”。此外，当前场的像素信号(亮度信号Y、色差信号U和V)将被称作为“当前场像素信号nfs”，并且更早一个场的像素信号(亮度信号Y、色差信号U和V)将被称作为“之前场像素信号pfs”。
图4中的S12(第一计数值的计算)
图5(a)为在概念上示出在整个场中的运动检测的图。在处理步骤S12中，执行以下处理以执行如在图5(a)中所示的在整个场中的运动检测。
处理步骤S12为如下的步骤，其用于对有效像素区域中的像素之中的，在处理步骤S11计算出的亮度差值大于第一阈值的像素的数目进行计数。具体地，在处理步骤S12中，为了执行在整个场中的运动检测，针对两个连续的场，利用整个场作为范围，对亮度差值大于第一阈值的像素数目进行计数。在下文中，为了便于描述，在处理步骤S12中计数的像素数目将被称作为“第一计数值”。
图4中的S13(转换成第一值m1)
在处理步骤S13中，将在处理步骤S12中计数的第一计数值转换成第一值m1。这里，图6(a)示出在第一计数值和第一值m1之间转换的函数的曲线图表示。在图6(a)中，垂直轴表示第一值m1，而水平轴表示第一计数值。第一值m1取从0至9的值。
如图6(a)中所示，如果第一计数值小于或等于固定值C，则第一计数值转换成固定值(这里，“9”)，如果第一计数值大于固定值C，则第一计数值转换成较小的值。更具体地，如果第一计数值大于固定值C，则第一计数值转换成相对于“9”较小的值，如果第一计数值具有最大值(即，如果在有效像素区域中的全部像素中，亮度差值大于第一阈值)，则第一计数值转换成“0”。
作为趋势，如果在整个场中存在很多物体运动的区域(如果存在很多亮度差值大于第一阈值的像素)，则第一值m1采用小的值，而如果在整个场中存在很少物体运动的区域(如果存在很少亮度差值大于第一阈值的像素)，则第一值m1采用大的值。更简明地，在整个场为检测范围的情况下，如果物体移动，则第一值m1采用小的值，如果物体不移动，则第一值m1采用大的值。
图4中的S14(感兴趣像素的设置)
在处理步骤S14中，在有效像素区域中的一个像素被设置为感兴趣像素。
图4中的S15(局部区域(像素组)的设置)
处理步骤S15为用于设置由在处理步骤S14中设置的感兴趣像素和在感兴趣像素周围的周围像素组成的像素组的步骤。注意的是，在本实施方案中，周围像素涉及总共八个像素，它们位于相邻于感兴趣像素的上、下、左和右方向以及沿对角线右上方向、沿对角线右下方向、沿对角线左上方向以及沿对角线左下方向。换言之，像素组由布置成3×3矩阵的九个像素组成。
图4中的S16(第二计数值的计算)
图5(b)为在概念上示出在局部区域(由对应于像素组的3×3个像素组成的区域)中的运动检测的图。在处理步骤S16中，执行以下处理以执行如在图5(b)中所示的在局部区域中的运动检测。
处理步骤S16为用于在像素组(1个感兴趣像素+8个周围像素)中，对在处理步骤S11中计算出的亮度差值小于第二阈值的像素的数目进行计数的步骤。具体地，在处理步骤S16中，为了执行在局部区域中的运动检测，针对两个连续的场，利用在处理步骤S15中设置的像素组作为范围，对亮度差值小于第二阈值的像素的数目进行计数。在下文中，为了便于描述，在处理步骤S16中计数的像素的数目将被称作为“第二计数值”。
图4中的S17(转换成第二值m2)
在处理步骤S17中，将在处理步骤S16中计数的第二计数值转换成第二值m2。这里，图6(b)示出在第二计数值和第二值m2之间转换的函数的曲线图表示。在图6(b)中，垂直轴表示第二值m2，而水平轴表示第二计数值。类似于第一值m1，第二值m2也取从0至9的值。
如图6(b)中所示，将第二计数值转换成亮度差值小于第二阈值(从0至9的值)的像素的数目。换言之，第二值m1照原样地采用第二计数值的值。
如果在局部区域中存在很多物体运动的区域(如果存在很多亮度差值大于第二阈值的像素)，则第二值m2采用小的值，而如果在局部区域中存在很少物体运动的区域(如果存在很少亮度差值大于第二阈值的像素)，则第二值m2采用大的值。更简明地，在局部区域为检测范围的情况下，如果物体移动，则第二值m2采用小的值，如果物体不移动，则第二值m2采用大的值。
图4中的S18(第一值m1和第二值m2的比较)
在处理步骤S18中，计算第一值m1和第二值m2之间的差值。接着，确定计算出的差值是否大于或等于第三阈值。
图4中的S19(反馈系数K的计算)
如果在处理步骤S18中计算出的差值大于或等于第三阈值(S18，是)，则执行处理步骤S19。在以下所述的情况1和情况2中，在处理步骤S18中计算出的差值通常大于或等于第三阈值。
情况1
情况1为在整个场中存在很多物体运动的区域，并且在局部区域中存在很少物体运动的区域的情况。在情况1中，例如，物体运动的部分广泛地分布在场中，但是当观察局部区域时物体移动不很多，因此尽管检测出物体在整个场中移动，但也检测出物体在局部区域中不移动。
情况2
情况2为在整个场中存在很少物体运动的区域，并且在局部区域中存在很多物体运动的区域的情况。在情况2中，例如，当观察整个场时，物体移动不很多，但是当观察局部区域时物体移动，因此，尽管检测出物体在局部区域中移动，但也检测出物体在整个场不移动。
以这种方式，在处理步骤S18中计算出的差值大于或等于第三阈值的情况下，物体运动检测的结果在观察整个场时和观察局部区域时之间是不同的。针对该原因，期望的是，针对属于局部区域(像素组)的感兴趣像素的像素信号，考虑观察在整个场中的物体运动的情况和观察在局部区域中的物体运动的情况二者。鉴于此，在处理步骤S19中，利用以下表达式来计算要施加至属于局部区域(像素组)的感兴趣像素的像素信号的反馈系数K。
K＝[(m1+m2)/2]/9
图4中的S20(反馈系数K的计算)
如果在处理步骤S18中计算出的差值小于第三阈值(S18：否)，则执行处理步骤S20。在以下所述的情况3和情况4中，在处理步骤S18中计算出的差值通常小于第三阈值。
情况3
情况3为在整个场中存在很少物体运动的区域，并且在局部区域中存在很少物体运动的区域的情况。在情况3中，例如，当不仅观察整个场，还观察局部区域时，物体移动不很多，因此检测出物体在任何检测范围中不移动。
情况4
情况4为在整个场中存在很多物体运动的区域，并且在局部区域中也存在很多物体运动的区域的情况。在情况4中，例如，移动物体广泛地分布在场中，并且当观察局部区域时物体也移动，因此检测出物体在任何检测范围中移动。
以这种方式，在处理步骤S18中计算出的差值小于第三阈值的情况下，物体运动检测的结果在观察整个场和观察局部区域时是相同的。针对该原因，期望的是，针对属于局部区域(像素组)的感兴趣像素的像素信号，考虑观察在整个场中的物体运动的情况或者观察在局部区域中的物体运动的情况。鉴于此，在处理步骤S20中，利用以下表达式来计算要施加至属于局部区域(像素组)的感兴趣像素的像素信号的反馈系数K。
K＝m1/9
注意的是，在另一个实施方案中，以上表达式可以用以下表达式来代替。
K＝m2/9
图4中的S21和S22(未处理的像素确定)
在处理步骤S21中，确定未计算出要施加的反馈系数K的像素是否保留在有效像素区域中。如果未计算出要施加的反馈系数K的像素保留(S21：是)，则感兴趣像素被设置成下一个像素(例如，在水平线方向相邻上的像素)(S22)。当设置了下一个感兴趣像素时，该流程返回至处理步骤S15。通过循环处理步骤S15至S22，针对有效像素区域中的每个像素顺序地计算反馈系数K。当针对有效像素区域中的全部像素而已计算出反馈系数K时(S21：否)，该流程脱离循环并且结束。
在反馈系数计算单元220Bb中计算出的反馈系数K被输入至乘法电路220Bc1至220Bc3和乘法电路220Be1至220Be3。
乘法电路220Bc1至220Bc3从前置阶段信号处理电路220A分别接收当前场的像素信号nfs(亮度信号Y)、当前场的像素信号nfs(色差信号U)、以及当前场的像素信号nfs(色差信号V)。输入至乘法电路220Bc1至220Bc3的当前场的像素信号nfs(亮度信号Y)、当前场的像素信号nfs(色差信号U)、以及当前场的像素信号nfs(色差信号V)分别乘以值(1-反馈系数K)。在下文中，为了便于描述，通过乘法电路220Bc1至220Bc3获得的相乘值分别被称作为“相乘值(亮度信号Y)[nfs×(1–K)]”、“相乘值(色差信号U)[nfs×(1–K)]”以及“相乘值(色差信号V)[nfs×(1–K)]”。
相乘值(亮度信号Y)[nfs×(1–K)]、相乘值(色差信号U)[nfs×(1–K)]以及相乘值(色差信号V)[nfs×(1–K)]分别被输入至加法电路220Bf1至220Bf3。
第二场存储器220Bd接收从加法电路220Bf1至220Bf3输出的校正的图像信号(亮度信号Y以及色差信号U和V)。注意的是，校正的图像信号为经历噪声降低的图像信号，并且随后将详细地描述。在第二场存储器220Bd中缓冲至少一个场的像素信号(有效像素区域中的像素信号)。
乘法电路220Be1至220Be3从第二场存储器220Bd分别接收之前场的像素信号pfs(校正的亮度信号Y)、之前场的像素信号pfs(校正的色差信号U)以及之前场的像素信号pfs(校正的色差信号V)。输入至乘法电路220Be1至220Be3的之前场的像素信号pfs(校正的亮度信号Y)、之前场的像素信号pfs(校正的色差信号U)以及之前场的像素信号pfs(校正的色差信号V)分别乘以反馈系数K。在下文中，为了便于描述，通过乘法电路220Be1至220Be3获得的相乘值分别被称作为“相乘值(亮度信号Y)[pfs×K]”、“相乘值(色差信号U)[pfs×K]”以及“相乘值(色差信号V)[pfs×K]”。
相乘值(亮度信号Y)[pfs×K]、相乘值(色差信号U)[pfs×K]以及相乘值(色差信号V)[pfs×K]分别被输入至加法电路220Bf1至220Bf3。
加法电路220Bf1将从乘法电路220Bc1接收的相乘值(亮度信号Y)[nfs×(1–K)]和从乘法电路220Be1接收的相乘值(亮度信号Y)[pfs×K]相加，并且将结果输出至后置阶段信号处理电路220C。加法电路220Bf2将从乘法电路220Bc2接收的相乘值(色差信号U)[nfs×(1–K)]和从乘法电路220Be2接收的相乘值(色差信号U)[pfs×K]相加，并且将结果输出至后置阶段信号处理电路220C。加法电路220Bf3将从乘法电路220Bc3接收的相乘值(色差信号V)[nfs×(1–K)]和从乘法电路220Be3接收的相乘值(色差信号V)[pfs×K]相加，并且将结果输出至后置阶段信号处理电路220C。
换言之，加法电路Bf1至Bf3通过利用以下所示的表达式以混合当前场的像素信号nfs和之前场的像素信号pfs，从而校正当前场的像素信号nfs。如以下表达式所示，当前场的像素信号nfs和之前场的像素信号pfs的混合比例根据反馈系数K来确定。当物体移动较多时，反馈系数K采用较小的值，当物体移动较少时，反馈系数K采用较大的值。反馈系数K越接近0，当前场的像素信号nfs的比例变得越高，且因此在相应像素中，噪声降低效果减小，但是残像被抑制。此外，反馈系数K越接近1，之前场的像素信号pfs的比例变得越高，且因此在相应像素中，噪声降低效果增大。
校正的当前场的像素信号nfs’＝[nfs×(1–K)]+[pfs×K]
后置阶段信号处理电路220C将从加法电路220Bf1至220Bf3接收的校正的当前场的像素信号nfs’(亮度信号Y以及色差信号U和V)转换成符合预定标准的视频信号，并且将转换的视频信号输出至监控器300，所述预定标准例如NTSC(国家电视系统委员会)或者PAL(逐行倒相)。视频信号顺序地输入至监控器300，且因而物体的彩色图像显示在监控器300的显示屏上。
以这种方式，根据本实施方案，考虑在整个场中物体运动检测的结果和在局部区域中物体运动检测的结果二者来计算针对每个像素的反馈系数K，因而抑制了处于运动的物体的残像，同时还降低了图像中的噪声。
之前的描述是本发明的说明性实施方案的描述。本发明的实施方案不限制于之前的描述，并且在本发明的技术构思的范围内可以进行各种修改。例如，本申请的实施方案还包括在本说明书中明确指定的实施方案等以及显而易见的实施方案等的适当组合。
尽管在以上实施例中，固态成像元件108的成像周期为场周期，但是在另一个实施例中，其可以为帧周期。

Claims (6)

1.一种图像处理设备，其包括；
差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值；
第一运动检测装置，其用于利用整个有效像素区域作为范围来检测物体的运动；
感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素；
第二运动检测装置，用于利用包括依次设置的感兴趣像素的局部像素区作为范围来检测物体的运动；
混合比例确定装置，其用于针对每个感兴趣像素，基于第一运动检测装置的检测结果和第二运动检测装置的检测结果，来确定当前成像周期的像素信号与更早一个成像周期的像素信号的混合比例；以及
像素信号校正装置，其用于针对每个感兴趣像素，基于通过混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。
2.一种图像处理设备，包括；
差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值；
第一计数装置，其用于对在有效像素区域中差值满足第一条件的像素的数目进行计数，并且将计数的像素数目设置为第一计数值；
感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素；
第二计数装置，其用于对在由依次设置的感兴趣像素和在感兴趣像素周围的周围像素组成的像素组中的差值满足第二条件的像素的数目进行计数，并且将计数的像素数目设置为第二计数值；
混合比例确定装置，其用于针对每个感兴趣像素，基于感兴趣像素所属的像素组中的第二计数值以及第一计数值，来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例；以及
像素信号校正装置，其用于针对每个感兴趣像素，基于由混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。
3.根据权利要求2所述的图像处理设备，
其中，混合比例确定装置：
将第一计数值转换成第一值，
将第二计数值转换成第二值，以及
基于第一值和第二值之间的差值来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例。
4.根据权利按要求3所述的图像处理设备，其中，第一值的数值范围和第二值的数值范围是相同的。
5.根据权利要求4所述的图像处理设备，
其中，第一条件为差值大于第一阈值，
第二条件为差值小于第二阈值，
如果第一计数值小于或等于固定值，则第一计数值转换成数值范围中的最大值，而第一计数值大于固定值，则第一计数值转换成相对最大值较小的值，
第二计数值照原样转换为第二计数值，以及
混合比例确定装置：
在第一值和第二值之间的差值大于或等于第三阈值的情况下，基于第一值和第二值来确定混合比例，以及
在第一值和第二值之间的差值小于第三阈值的情况下，基于第一值或者第二值来确定混合比例。
6.根据权利要求1至5中的任一项所述的图像处理设备，其中，成像周期为一个场周期或者一个帧周期。
CN201580003142.6A 2014-04-11 2015-03-26 图像处理设备 Active CN105830433B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-081918 2014-04-11
JP2014081918A JP6411768B2 (ja) 2014-04-11 2014-04-11 画像処理装置
PCT/JP2015/059360 WO2015156142A1 (ja) 2014-04-11 2015-03-26 画像処理装置

Publications (2)

Publication Number Publication Date
CN105830433A true CN105830433A (zh) 2016-08-03
CN105830433B CN105830433B (zh) 2017-12-05

Family

ID=54287719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580003142.6A Active CN105830433B (zh) 2014-04-11 2015-03-26 图像处理设备

Country Status (8)

Country Link
US (1) US9842383B2 (zh)
EP (1) EP3131286B1 (zh)
JP (1) JP6411768B2 (zh)
KR (1) KR101809476B1 (zh)
CN (1) CN105830433B (zh)
AU (1) AU2015244984B2 (zh)
CA (1) CA2931074C (zh)
WO (1) WO2015156142A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151348A (zh) * 2018-09-28 2019-01-04 维沃移动通信有限公司 一种图像传感器、图像处理方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170369A1 (ja) * 2019-02-20 2020-08-27 オリンパス株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859440A (zh) * 2010-05-31 2010-10-13 浙江捷尚视觉科技有限公司 基于块的运动区域检测方法
CN101894378A (zh) * 2010-06-13 2010-11-24 南京航空航天大学 基于双感兴趣区域的运动目标视觉跟踪方法及系统
JP2012129913A (ja) * 2010-12-17 2012-07-05 Sanyo Electric Co Ltd ノイズ低減装置
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0330269B1 (en) * 1988-02-23 1993-09-22 Koninklijke Philips Electronics N.V. Method of and device for estimating the extent of motion in a picture element of a television picture
JP2934036B2 (ja) * 1991-03-07 1999-08-16 松下電器産業株式会社 動き検出方法およびノイズ低減装置
JP3660731B2 (ja) 1995-11-13 2005-06-15 ペンタックス株式会社 電子内視鏡
JP2000502549A (ja) * 1996-10-24 2000-02-29 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ノイズフィルタ処理
US6130707A (en) 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity
JP2000209507A (ja) * 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
US6847408B1 (en) * 2000-07-27 2005-01-25 Richard W. Webb Method and apparatus for reducing noise in an image sequence
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
EP1830561A4 (en) 2004-12-21 2009-08-05 Sony Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND IMAGE PROGRAM
JP5052319B2 (ja) * 2007-12-17 2012-10-17 オリンパス株式会社 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法
JP2009290827A (ja) 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP5653098B2 (ja) * 2010-07-09 2015-01-14 Hoya株式会社 ノイズ除去装置
JP5645636B2 (ja) * 2010-12-16 2014-12-24 三菱電機株式会社 フレーム補間装置及び方法
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
TWI459325B (zh) 2011-05-13 2014-11-01 Altek Corp 數位影像處理裝置及其處理方法
JP2013074571A (ja) 2011-09-29 2013-04-22 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JPWO2014091943A1 (ja) * 2012-12-14 2017-01-05 ソニー株式会社 画像処理装置および方法
CN104995908B (zh) * 2014-02-07 2018-01-30 株式会社摩如富 图像处理装置以及图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859440A (zh) * 2010-05-31 2010-10-13 浙江捷尚视觉科技有限公司 基于块的运动区域检测方法
CN101894378A (zh) * 2010-06-13 2010-11-24 南京航空航天大学 基于双感兴趣区域的运动目标视觉跟踪方法及系统
JP2012129913A (ja) * 2010-12-17 2012-07-05 Sanyo Electric Co Ltd ノイズ低減装置
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151348A (zh) * 2018-09-28 2019-01-04 维沃移动通信有限公司 一种图像传感器、图像处理方法及电子设备
CN109151348B (zh) * 2018-09-28 2021-01-08 维沃移动通信有限公司 一种图像处理方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR20160085340A (ko) 2016-07-15
EP3131286A4 (en) 2017-11-01
CN105830433B (zh) 2017-12-05
JP2015204486A (ja) 2015-11-16
EP3131286A1 (en) 2017-02-15
JP6411768B2 (ja) 2018-10-24
US20160292828A1 (en) 2016-10-06
AU2015244984B2 (en) 2018-01-18
KR101809476B1 (ko) 2017-12-15
EP3131286B1 (en) 2020-12-23
CA2931074A1 (en) 2015-10-15
US9842383B2 (en) 2017-12-12
CA2931074C (en) 2018-04-03
AU2015244984A1 (en) 2016-06-09
WO2015156142A1 (ja) 2015-10-15

Similar Documents

Publication Publication Date Title
US10575720B2 (en) Endoscope system
JP6874009B2 (ja) 光レベル適応フィルタ及び方法
US9986169B2 (en) Exposure control method and system for an image capture device
JP7010330B2 (ja) 画像処理システム、画像処理方法、画像処理装置およびプログラム
US11571108B2 (en) Evaluation value calculation device and electronic endoscope system
JP5124102B2 (ja) 内視鏡プロセッサ、画像処理プログラム、および内視鏡システム
CN105830433A (zh) 图像处理设备
US9113045B2 (en) Electronic endoscopic apparatus and control method thereof
JP2019191321A (ja) 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体
US20170055816A1 (en) Endoscope device
JP6535435B2 (ja) プロセッサ及び内視鏡システム
JP2011156214A (ja) 撮像装置、及び電子内視鏡システム
JP5528360B2 (ja) ホワイトバランス調整方法及び電子内視鏡装置
JP2009042098A (ja) 画像処理式物体検出装置
JP6655433B2 (ja) 電子内視鏡システム
JP6681971B2 (ja) プロセッサ及び内視鏡システム
JP2012183193A (ja) 電子内視鏡装置
JP2023139649A (ja) 内視鏡システム及びその作動方法
WO2021117136A1 (ja) 撮像システム及び内視鏡システム
JP2014014022A (ja) Ｃｃｄ画像補正装置およびｃｃｄ画像補正方法
JP2016048821A (ja) ノイズ低減装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant