CN102934422B - 信号处理装置和静止图像生成方法 - Google Patents
信号处理装置和静止图像生成方法 Download PDFInfo
- Publication number
- CN102934422B CN102934422B CN201180028311.3A CN201180028311A CN102934422B CN 102934422 B CN102934422 B CN 102934422B CN 201180028311 A CN201180028311 A CN 201180028311A CN 102934422 B CN102934422 B CN 102934422B
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- picture
- fuzzy quantity
- video memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims description 21
- 230000009467 reduction Effects 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 11
- 238000009825 accumulation Methods 0.000 claims 1
- 230000004044 response Effects 0.000 abstract 1
- 238000011946 reduction process Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Abstract
信号处理装置具备:第一图像存储器,其存储多个画面的输入运动图像;模糊量计算部,其计算上述输入运动图像的各个画面的模糊量;模糊量保持部,其将由上述模糊量计算部计算出的上述模糊量与上述输入运动图像的各个画面相对应地保持;图像切换部,其选择上述输入运动图像和上述第一图像存储器的输出中的一方的图像并进行输出;降噪部,其输出使用来自上述图像切换部的多个画面的图像去除噪声后得到的图像;第二图像存储器,其至少存储一个画面的来自上述降噪部的图像;以及定格控制部,在产生定格指示时,该定格控制部根据保持在上述模糊量保持部中的上述模糊量,从上述第一图像存储器读出包括模糊量最小的画面的、为了在上述降噪部中去除噪声所需的两个画面以上的图像而从上述图像切换部输出,并且控制上述第二图像存储器连续地输出上述模糊量最小的画面的图像。
Description
技术领域
本发明涉及能够生成不模糊的静止图像的信号处理装置和静止图像生成方法。
背景技术
以往,开发了利用固体摄像元件对被摄体图像进行电子拍摄的各种装置。例如使用了CCD(电荷耦合元件)的摄像装置也能够应用于电子内窥镜装置等。电子内窥镜能够在彩色监视器上实时地显示运动图像,减少操作内窥镜的手术操作者的疲劳,因此被广泛应用。
电子内窥镜具有将拍摄被摄体而得到的图像进行存储的图像存储器。通过使用该图像存储器不仅能够显示运动图像还能够显示静止图像。当手术操作者为了观察静止图像而按下观测器的操作部的定格开关时,中断向图像存储器的写入,并在监视器上显示静止图像。
在进行电子拍摄的摄像元件的输出中包含随机噪声。由这种随机噪声引起的图像质量劣化在运动图像中不明显,但是在静止图像中明显。因此,有时采用利用时间轴方向的相关性来去除噪声的例如循环型的降噪电路(例如,日本特开2007-312832号公报)。
另外,作为利用电子内窥镜装置获取彩色图像的方法,实际应用了在电子摄像设备的前表面插入彩色马赛克滤波器的同时方式以及在用于对被摄体进行照明的光源装置的灯前表面依次插入R、G、B滤波器,并使用黑白CCD对R、G、B的光学图像进行拍摄的面顺序方式。
面顺序方式的内窥镜具有颜色再现性良好、能够实现摄像元件小型化等优点,但是存在以下缺点:在为了按照时间序列取入R、G、B的图像而被摄体与摄像元件的相对位置关系改变的情况下产生颜色偏差。
特别是在内窥镜图像的静止图像显示中颜色偏差明显的情况下,严重妨碍进行准确诊断。因此,以往,在日本特开2007-252635号公报中提出了一种获得没有颜色偏差的静止图像的方法。
然而,基于与面顺序方式下产生颜色偏差相同的原因,即使是同时方式的摄像装置,由于被摄体与摄像元件的相对位置关系发生变化也会产生模糊。以往存在以下问题:没有开发一种装置来去除这种模糊,并且利用时间轴方向的相关性通过去除噪声从而获得将噪声充分降低的静止图像。
本发明是鉴于上述问题而完成的,其目的在于提供一种能够通过去除模糊和噪声来获得高质量的静止图像的信号处理装置和静止图像生成方法。
发明内容
发明要解决的问题
本发明的一个方式所涉及的信号处理装置具备:第一图像存储器,其存储多个画面的输入运动图像;模糊量计算部,其计算上述输入运动图像的各个画面的模糊量;模糊量保持部,其将由上述模糊量计算部计算出的上述模糊量与上述输入运动图像的各个画面相对应地进行保持;图像切换部,其选择上述输入运动图像和上述第一图像存储器的输出中的一方的图像进行输出;降噪部(Noise reduction),其输出使用来自上述图像切换部的多个画面的图像去除噪声而得到的图像;第二图像存储器,其至少存储一个画面的来自上述降噪部的图像;以及定格控制部,当产生定格指示时,该定格控制部根据保持在上述模糊量保持部中的上述模糊量,使得从上述第一图像存储器读出包括模糊量最小的画面的、为了在上述降噪部中去除噪声所需的两个画面以上的图像来从上述图像切换部输出,并且控制上述第二图像存储器连续地输出上述模糊量最小的画面的图像。
本发明的一个方式所涉及的静止图像生成方法,具备以下步骤:第一图像存储器存储多个画面的输入运动图像;模糊量计算部计算上述输入运动图像的各个画面的模糊量;模糊量保持部将计算出的上述模糊量与上述输入运动图像的各个画面相对应地保持;图像切换部选择上述输入运动图像和上述第一图像存储器的输出中的一方的图像并进行输出;降噪部输出使用来自上述图像切换部的多个画面的图像去除噪声后得到的图像;第二图像存储器至少存储一个画面的去除了噪声的图像;以及在产生定格指示时,定格控制部根据上述模糊量,使得从上述第一图像存储器读出包括模糊量最小的画面的、为了在上述降噪部中去除噪声所需的两个画面以上的图像来从上述图像切换部输出,并且控制上述第二图像存储器连续地输出上述模糊量最小的画面的图像。
附图说明
图1是表示本发明的第一实施方式所涉及的信号处理装置的框图。
图2是表示图1中的循环型NR 24的具体结构的一例的电路图。
图3是用于说明第一实施方式的动作的时序图。
图4是用于说明本发明的第二实施方式的时序图。
图5是表示本发明的第三实施方式的框图。
具体实施方式
下面,参照附图详细地说明本发明的实施方式。
(第一实施方式)
图1是表示本发明的第一实施方式所涉及的信号处理装置的框图。
对本实施方式适用于内窥镜装置的例子进行说明。
在图1中,内窥镜11在细长的插入部的前端设置有固体摄像元件12。作为固体摄像元件12例如采用CCD等,固体摄像元件12拍摄被摄体并输出摄像信号。来自固体摄像元件12的摄像信号提供给构成信号处理装置21的预处理部22。
预处理部22将所输入的摄像信号转换为数字的图像信号,并输出到图像切换部23、图像存储器27以及模糊量计算部28。图像存储器27具有能够存储规定帧数的图像信号的容量,通过后述的定格控制部30来控制写入和读出,并以帧为单位依次存储来自预处理部22的图像信号,并且将所存储的图像信号以帧为单位输出到图像切换部23。
图像切换部23由定格控制部30控制,在来自预处理部22的图像信号和来自图像存储器27的图像信号之间进行切换,并输入到循环型NR(降噪电路)24。
图2是表示图1中的循环型NR 24的具体结构的一例的电路图。
输入到循环型NR 24的以帧为单位的图像信号被提供给乘法器41。从阈值存储器45对乘法器41提供乘法系数(1-k),乘法器41将所输入的图像信号与乘法系数(1-k)相乘之后输出到加法器42。加法器42的输出在通过帧存储器44延迟一帧之后被提供给乘法器43。从阈值存储器45对乘法器43提供乘法系数k,乘法器43将所输入的图像信号与乘法系数K相乘之后输出到加法器42。
通过加法器42对各帧的图像信号依次进行加法处理。在该加法处理中,对输入侧的图像信号施加系数(1-k),对加法运算后输出的图像信号施加系数k。当假设系数k为0.5时,输入图像信号与作为加法结果的图像信号以1:1的比例来混合,图像信号中包含的随机噪声由于被平均化而得以抑制。通过反复进行该加法处理,能够逐渐降低随机噪声。
当乘法系数k大于0.5时,加法器42的输出中相加的比例变高,降噪效果提高。在所输入的图像是静止图像的情况下,通过将k变大,能够获得充分降低噪声的图像信号。但是,在所输入的图像是运动图像的情况下,帧间相关性变得比较小,因此通过将k变小来防止由加法处理导致噪声增加。
阈值存储器45根据所输入的图像信号是基于静止图像的信号还是基于运动图像的信号来改变乘法系数k。由此,不管输入图像是静止图像还是运动图像,都能最佳地去除噪声。
此外,在本实施方式中,对采用循环型NR 24的例子进行说明,但如果是使用多帧的图像进行降噪的电路,则也可以采用除循环型以外的降噪电路。
循环型NR 24的输出提供给输出图像存储器25。输出图像存储器25例如具有能够存储一帧的图像信号的容量,由定格控制部30来控制写入和读出,并存储来自循环型NR 24的图像信号,并且将所存储的图像信号以帧为单位输出到影像信号处理电路26。
影像信号处理电路26在对所输入的图像信号实施了规定的影像信号处理之后,将该信号输出到观察监视器35。影像信号处理电路26例如进行白平衡调整、γ校正等影像信号处理。观察监视器35将基于所输入的图像信号的图像显示在显示画面上。
在本实施方式中,设置有对从预处理部22输出的图像的模糊量进行检测的模糊量检测部28。来自预处理部22的图像信号提供到模糊量检测部28,模糊量检测部28算出每一帧的模糊量。例如,模糊量检测部28能够检测在同一帧中的前后场间像素的变化来作为模糊量。例如,模糊量检测部28可以对在前后场的水平方向上相邻的像素之间的像素值的增减进行调查,将在前后场中增减一致的相邻像素数累积一个画面,根据该累积值来算出模糊量。认为累积值越大图像的模糊越小。此外,模糊量检测部28的模糊量的计算方法并不限于此,例如模糊量检测部28也可以通过像素值的差的累积值来求出模糊量。
模糊量检测部28按每一帧求出的模糊量被提供给模糊量保持部29。模糊量保持部29将每帧的模糊量与各帧相对应地进行存储。
在本实施方式中,定格控制部30根据来自定格指示部31的定格信号来控制各部。例如基于对设置于内窥镜11的定格按钮13进行的操作来将操作信号提供给定格指示部31,而从定格指示部31产生定格信号。
在产生定格信号之前,定格控制部30使图像切换部23选择来自预处理部22的图像信号并提供给循环型NR 24。由此,对循环型NR 24依次提供基于由内窥镜11拍摄到的图像的运动图像信号,循环型NR 24去除运动图像信号的噪声并进行输出。
另一方面,当产生定格信号时,定格控制部30根据由模糊量保持部29保持的各帧的模糊量从图像存储器27读出模糊量小的图像,并控制图像切换部23来将图像提供给循环型NR 24。
例如,定格控制部30在产生定格信号的时刻,从保持在图像存储器27中的各帧的图像(帧图像)中选择模糊量最小的帧(以下称为最小模糊图像)的图像信号并输出到图像切换部23。在这种情况下,定格控制部30可以在考虑图像存储器27中保持的帧数和循环型NR 24在降噪时所使用的帧数,来确定选择最小模糊图像的期间的范围。例如,也可以从保持于图像存储器27的帧图像中的产生定格信号之前的规定期间的帧图像中选择最小模糊量的帧图像。另外,也可以确定选择最小模糊图像的期间的范围,以使作为最小模糊图像而选择的图像的帧与定格指示时的输入帧的时间差在规定的阈值以内。
输出图像存储器25通过依次取入循环型NR 24的输出并进行输出,能够输出运动图像,并且通过不取入循环型NR 24的输出而连续地输出所存储的图像,能够输出静止图像。
在循环型NR 24的降噪处理中,需要基于降噪所用帧数的时间。因此,定格控制部30在降噪处理期间控制输出图像存储器25的写入和读出,从而确定要输出的图像。
接着,参照图3的时序图来说明以这种方式构成的实施方式的动作。图3的(a)表示来自预处理部22的输入图像(运动图像),图3的(b)表示图像切换部23的输出图像,图3的(c)表示循环型NR 24的输出图像,图3的(d)表示输出图像存储器25的输出图像。图3用各框来表示帧图像D,用后缀表示帧号,后缀的序号越小,表示时间越靠前的帧。在图3中,具有相同序号的后缀的帧图像D表示基于相同帧的图像。此外,图3中的’表示通过降噪处理使帧图像发生了变化的情况。
来自内窥镜11的摄像信号提供给预处理部22。预处理部22将摄像信号转换为数字图像信号。来自预处理部22的各帧的图像信号提供给图像切换部23、图像存储器27以及模糊量计算部28。
现在设为输出基于来自内窥镜的运动图像的图像信号的运动图像模式。在这种情况下,定格控制部30控制图像切换部23,将来自预处理部22的运动图像信号提供给循环型NR 24。从预处理部22以帧为单位依次输出图像信号。在图3中,设为不考虑各部的处理延迟。如图3的(a)~(d)所示,在运动图像模式下,经由图像切换部23、循环型NR 24以及输出图像存储器25依次输出预处理部22的输出(图3的(a))。
在本实施方式中,预处理部22的输出提供给图像存储器27,并且还提供给模糊量计算部28。模糊量计算部28根据依次输入的各帧的图像信号算出各帧图像的模糊量。由模糊量计算部28算出的模糊量提供给模糊量保持部29,并与各帧相对应地进行存储。
在此,例如设为通过操作内窥镜11的定格按钮13来显示静止图像。例如设为在图3的定格指示的时刻通过操作定格按钮13而从定格指示部31对定格控制部30提供定格信号。
在图像存储器27中记录有规定帧数的帧图像,定格控制部30根据存储在模糊量保持部29的模糊量从存储在图像存储器27中的帧图像中选择模糊量小的帧图像。例如,定格控制部30从图像存储器27存储的帧图像中的、开头帧到利用循环型NR 24进行降噪处理所需的帧数以后的帧图像中选择模糊量最小的帧图像,来作为最小模糊图像。
例如,在图像存储器27中存储有图3的(a)的帧图像D0之后的帧图像的情况下,当利用循环型NR 24进行降噪处理所需的帧数为4时,从帧图像D4之后的帧图像中选择最小模糊图像。
图3的例子示出了在利用循环型NR 24进行降噪处理所需的帧数为4的情况下,定格控制部30选择帧图像D 10来作为最小模糊图像的例子。
当产生定格指示时,定格控制部30将最小模糊图像及其之前的帧的图像依次读出在循环型NR 24进行降噪处理所需的帧数量。在循环型NR 24的降噪处理所需的期间,定格控制部30使图像切换部23选择来自图像存储器27的图像信号,将最小模糊图像及用于其降噪的帧图像按照帧顺序依次读出,并经由图像切换部23提供给循环型NR 24。
在图3的例子中,从帧图像D7起依次进行读出,并经由图像切换部23将各图像依次提供给循环型NR 24。循环型NR 24对依次输入的帧图像实施循环型降噪处理。循环型NR 24的输出经由输出图像存储器25被输出。这样,如图3的(c)所示,在定格指示之后,从循环型NR 24依次输出帧图像D7及其之后的图像。在从循环型NR 24输出最小模糊图像(图3中的帧图像D10)的时刻,能够充分降低最小模糊图像的噪声。
当通过循环型NR 24的降噪处理输出充分降低噪声后得到的最小模糊图像时,之后将该最小模糊图像保持在输出图像存储器25中,并从输出图像存储器25连续地输出最小模糊图像。这样,将最小模糊图像作为静止图像进行输出(图3的(d))。
来自输出图像存储器25的图像信号在影像信号处理电路26中进行了影像信号处理之后,被提供给观察监视器35并进行显示。在图3的例子中,即使在输入帧图像D12的时刻产生了定格指示的情况下,也选择模糊量小的帧图像D10来作为最小模糊图像,该帧图像D10在通过循环型NR 24进行降噪之后输出。
这样,在本实施方式中能够获得去除了模糊和噪声的高质量的静止图像。
此外,在上述实施方式中对显示去除了模糊和噪声而得到的静止图像的例子进行了说明,但也可以对所获得的静止图像进行记录处理。另外,在图3中,对降噪中使用四个帧图像的例子进行了说明,但是能够适当设定用于降噪的帧数。
作为用于降噪的帧图像,优选使用时间上接近最小模糊图像的帧图像。此外,对于降噪的结果,只要最终输出最小模糊图像即可,可以构成为使用时间上在最小模糊图像之后的帧图像来进行降噪。
(第二实施方式)
图4是用于说明本发明的第二实施方式的时序图。本实施方式的硬件结构与第一实施方式相同,只是本实施方式的定格控制部30的控制与第一实施方式不同。
图4是基于与图3相同的标记方法的时序图,图4的(a)表示来自预处理部22的输入图像(运动图像),图4的(b)表示图像切换部23的输出图像,图4的(c)表示循环型NR 24的输出图像,图4的(d)表示输出图像存储器25的输出图像。
本实施方式仅在利用定格控制部30控制输出图像存储器25上与第一实施方式不同。
在第一实施方式中,不管是否产生了定格指示,输出图像存储器25均依次输出定格指示前的帧图像。即、在定格指示之后也输出运动图像。与此相对地,本实施方式在定格指示之后显示静止图像。
在这种情况下,在使用多个图像的降噪处理中,需要基于降噪处理所用的帧数量的处理时间。因此,在本实施方式中,在产生定格指示时将保持在输出图像存储器25中的帧图像连续地输出,直到通过降噪处理输出最小模糊图像为止。
在图4中示出了在输入帧图像D12时产生了定格指示的情况。在图4中,与图3同样地示出了选择D10作为最小模糊图像,在降噪处理中使用4帧的帧图像的例子。即、在产生定格指示之后,如图4的(b)所示,从图像存储器27读出帧图像D7并提供给循环型NR 24。循环型NR 24进行降噪处理并输出帧图像D7、D8…、D10。输出图像存储器25由定格控制部30控制,在通过循环型NR 24进行最小图像D10的降噪处理结束之前,不存储循环型NR 24的输出,而是连续地输出已经保持的帧图像D12。当从循环型NR 24输出最小模糊图像D10时,之后输出图像存储器25连续地输出最小模糊图像D10。
这样,在本实施方式中也能够获得与第一实施方式相同的效果。另外,在本实施方式中,通过产生定格指示来输出静止图像,能够防止输出不期望的运动图像,从而能够实现没有不适感的操作。
此外,在本实施方式中,对在紧接定格指示之后连续地输出保持在图像存储器25中的最新的帧图像的例子进行了说明,但是也可以连续地输出其它帧图像。例如,在输出图像存储器25具有多个帧的存储容量的情况下,能够将任意的帧图像作为静止图像进行输出,还能够从定格指示之后起输出最小模糊图像,并且按每次降噪处理逐次输出被去除了噪声的最小模糊图像。
(第三实施方式)
图5是表示本发明的第三实施方式的框图。在图5中对与图1相同的构成要素附加相同的标记并省略说明。
本实施方式是适用于对所输入的图像信号以Y/C分离的方式进行处理的信号处理装置的例子。有时对信号处理装置50输入来自同时方式的摄像装置的图像信号。在这种情况下,需要进行将所输出的图像信号分离为亮度信号和颜色信号的Y/C分离处理。本实施方式适用于该情况。
本实施方式的信号处理装置50与图1的信号处理装置21的不同点在于:采用Y/C分离部60和OB钳位部61,并且代替循环型NR 24、输出图像存储器25、影像信号处理电路26、模糊量计算部28以及模糊量保持部29,而采用循环型NR 54、图像存储器55、影像信号处理电路56、模糊量计算部58以及模糊量保持部59。
作为固体摄像元件12例如有时采用使用了拜尔阵列等滤色器的摄像元件。将来自预处理部22的图像信号经由图像切换部23提供给Y/C分离部60,Y/C分离部60将其分离为亮度信号(Y)和颜色信号(C)。
来自Y/C分离部60的亮度信号和颜色信号提供给OB钳位部61。OB钳位部61对亮度信号和颜色信号实施OB钳位处理。来自OB钳位部61的亮度信号和颜色信号提供给循环型NR 54。另外,来自OB钳位部61的亮度信号还提供给模糊量计算部58。
循环型NR 54、图像存储器55以及影像信号处理电路56与循环型NR 24、输出图像存储器25、影像信号处理电路26的结构相同,仅在对亮度信号和颜色信号进行处理这一点存在差异。
在本实施方式中,模糊量计算部58利用来自OB钳位部61的亮度信号算出图像的模糊量。模糊量计算部58的输出提供给模糊量保持部59来保持。模糊量计算部58和模糊量保持部59的其它结构与模糊量计算部28和模糊量保持部29相同。
在以这种方式构成的实施方式中,除了在Y/C分离部60之后的电路中分别处理亮度信号和颜色信号以及模糊量计算部根据来自OB钳位部61的亮度信号算出模糊量这两点以外,其它方面与第一实施方式的作用相同。
在本实施方式中,也进行与图3或者图4相同的动作。即、从在定格指示之前图像存储器27保持的图像中的规定期间的帧图像中选择由模糊量计算部58算出的模糊量最小的图像,来作为最小模糊图像,将包括该最小模糊图像的规定帧数的图像提供给循环型NR 54,来去除最小模糊图像的噪声。
另外,在本实施方式中,图像存储器27保持Y/C分离前的图像信号。由此,能够使用小容量的存储器获得降低了模糊和噪声的静止图像。
此外,在上述各实施方式中,说明了以作为一个画面的帧为单位进行模糊量计算以及降噪的例子,但是也可以是以作为一个画面的场为单位进行这些处理。
本申请主张2010年6月7日在日本申请的特愿2010-130157号的优先权,以此为基础提出本申请,本申请说明书、权利要求书以及附图引用了上述公开内容。
Claims (7)
1.一种信号处理装置,其特征在于,具备:
第一图像存储器,其存储多个画面的输入运动图像;
降噪部,其输出使用多个画面的图像去除噪声而得到的图像;
图像切换部,其选择输入运动图像和从上述第一图像存储器读出的图像中的一方的图像进行输出;
Y/C分离部,其将来自上述图像切换部的图像分离成亮度信号和颜色信号,并将分离得到的亮度信号和颜色信号提供给上述降噪部;
第二图像存储器,其至少存储一个画面的来自上述降噪部的图像;
模糊量计算部,其根据由上述Y/C分离部分离得到的亮度信号来计算上述输入运动图像的各个画面的模糊量;
模糊量保持部,其将由上述模糊量计算部计算出的上述模糊量与上述输入运动图像的各个画面相对应地保持;以及
定格控制部,当产生定格指示时,该定格控制部根据保持在上述模糊量保持部中的上述模糊量,使得从上述第一图像存储器读出包括模糊量最小的画面的、为了在上述降噪部中去除噪声所需的两个画面以上的图像来从上述图像切换部输出,并且控制上述第二图像存储器连续地输出由上述降噪部使用包括上述模糊量最小的画面的两个画面以上的图像去除噪声而得到的图像。
2.根据权利要求1所述的信号处理装置,其特征在于,
上述定格控制部使得从上述第一图像存储器读出时间上在上述模糊量最小的画面之前的、存储在上述第一图像存储器中的画面的图像,并从上述图像切换部输出。
3.根据权利要求1所述的信号处理装置,其特征在于,
上述定格控制部使得从上述第一图像存储器读出时间上在上述模糊量最小的画面之后的、存储在上述第一图像存储器中的画面的图像,并从上述图像切换部输出。
4.根据权利要求1所述的信号处理装置,其特征在于,
上述定格控制部控制上述第二图像存储器,使得在上述定格指示后上述降噪部进行噪声去除处理所需的期间,使从上述降噪部输出的图像从上述第二图像存储器输出。
5.根据权利要求1所述的信号处理装置,其特征在于,
上述定格控制部控制上述第二图像存储器,使得在上述定格指示后上述降噪部进行噪声去除处理所需的期间,使存储在上述第二图像存储器中的同一画面的图像连续地输出。
6.根据权利要求1所述的信号处理装置,其特征在于,
上述模糊量计算部将在上述输入运动图像的前后画面间沿水平方向相邻的像素之间的像素值的增减一致的相邻像素的数量按画面进行累积,并根据累积结果求出模糊量。
7.一种静止图像生成方法,其特征在于,具备以下步骤:
第一图像存储器存储多个画面的输入运动图像;
图像切换部选择输入运动图像和从上述第一图像存储器读出的图像中的一方的图像并进行输出;
降噪部输出使用来自上述图像切换部的多个画面的图像去除噪声后得到的图像;
Y/C分离部将来自上述图像切换部的图像分离成亮度信号和颜色信号,并将分离得到的亮度信号和颜色信号提供给上述降噪部;
第二图像存储器至少存储一个画面的去除了噪声的图像;
模糊量计算部根据由上述Y/C分离部分离得到的亮度信号来计算上述输入运动图像的各个画面的模糊量;
模糊量保持部将所计算出的上述模糊量与上述输入运动图像的各个画面相对应地保持;以及
在产生定格指示时,定格控制部根据上述模糊量,使得从上述第一图像存储器读出包括模糊量最小的画面的、为了在上述降噪部中去除噪声所需的两个画面以上的图像来从上述图像切换部输出,并且控制上述第二图像存储器连续地输出由上述降噪部使用包括上述模糊量最小的画面的两个画面以上的图像去除噪声而得到的图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-130157 | 2010-06-07 | ||
JP2010130157 | 2010-06-07 | ||
PCT/JP2011/062904 WO2011155429A1 (ja) | 2010-06-07 | 2011-06-06 | 信号処理装置及び静止画生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102934422A CN102934422A (zh) | 2013-02-13 |
CN102934422B true CN102934422B (zh) | 2015-05-27 |
Family
ID=45098036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180028311.3A Active CN102934422B (zh) | 2010-06-07 | 2011-06-06 | 信号处理装置和静止图像生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8548235B2 (zh) |
EP (1) | EP2579570B1 (zh) |
JP (1) | JP5123443B2 (zh) |
CN (1) | CN102934422B (zh) |
WO (1) | WO2011155429A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5868197B2 (ja) * | 2012-01-27 | 2016-02-24 | キヤノン株式会社 | ノイズ低減装置およびその制御方法 |
JP2014220690A (ja) * | 2013-05-09 | 2014-11-20 | オリンパスメディカルシステムズ株式会社 | 信号処理装置、信号処理方法 |
JP6272115B2 (ja) * | 2014-04-10 | 2018-01-31 | Hoya株式会社 | 内視鏡プロセッサおよび内視鏡システム |
JP6095875B2 (ja) * | 2014-12-26 | 2017-03-15 | オリンパス株式会社 | 医療診断装置、医療診断装置の作動方法および医療診断装置の作動プログラム |
JP6660707B2 (ja) * | 2015-10-23 | 2020-03-11 | Hoya株式会社 | 内視鏡システム |
JP6522539B2 (ja) * | 2016-03-18 | 2019-05-29 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2017183488A1 (ja) | 2016-04-19 | 2017-10-26 | オリンパス株式会社 | 画像処理装置 |
JP2018007837A (ja) * | 2016-07-13 | 2018-01-18 | オリンパス株式会社 | 画像処理装置 |
KR102499033B1 (ko) | 2018-01-31 | 2023-02-13 | 삼성전자주식회사 | 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치 |
CN108989606B (zh) * | 2018-08-22 | 2021-02-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
US11792510B2 (en) * | 2020-11-18 | 2023-10-17 | Micron Technology, Inc. | Image sensor data management using a multi-port memory device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1093087A2 (en) * | 1999-10-08 | 2001-04-18 | Eastman Kodak Company | Removing chroma noise from digital images by using variable shape pixel neighborhood regions |
CN101103374A (zh) * | 2005-01-11 | 2008-01-09 | 伊斯曼柯达公司 | 稀疏分布的彩色数字图像的噪声清除 |
CN101562703A (zh) * | 2008-04-15 | 2009-10-21 | 索尼株式会社 | 用于在成像设备内执行基于触摸的调整的方法和装置 |
CN101569173A (zh) * | 2006-12-22 | 2009-10-28 | 伊斯曼柯达公司 | 数字图像中降低的位置相关噪声 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3497231B2 (ja) * | 1994-04-22 | 2004-02-16 | オリンパス株式会社 | フリーズ装置 |
JP3408146B2 (ja) * | 1998-03-31 | 2003-05-19 | シャープ株式会社 | 画像処理装置および画像処理プログラムを記憶する媒体 |
JP4468598B2 (ja) * | 2001-02-14 | 2010-05-26 | オリンパス株式会社 | 画像処理装置及び画像処理プログラムを記録した記録媒体 |
JP4290066B2 (ja) * | 2004-05-20 | 2009-07-01 | キヤノン株式会社 | 固体撮像装置および撮像システム |
JP4378272B2 (ja) | 2004-12-15 | 2009-12-02 | キヤノン株式会社 | 撮影装置 |
JP2006262221A (ja) * | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 撮像装置および画像処理方法 |
JP4643481B2 (ja) | 2006-03-23 | 2011-03-02 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
US7821578B2 (en) * | 2006-04-07 | 2010-10-26 | Marvell World Trade Ltd. | Reconfigurable self-calibrating adaptive noise reducer |
JP5186088B2 (ja) | 2006-05-23 | 2013-04-17 | Hoya株式会社 | 内視鏡装置 |
US8160309B1 (en) * | 2007-12-21 | 2012-04-17 | Csr Technology Inc. | Method, apparatus, and system for object recognition and classification |
-
2011
- 2011-06-06 CN CN201180028311.3A patent/CN102934422B/zh active Active
- 2011-06-06 EP EP11792386.2A patent/EP2579570B1/en active Active
- 2011-06-06 JP JP2012519366A patent/JP5123443B2/ja active Active
- 2011-06-06 WO PCT/JP2011/062904 patent/WO2011155429A1/ja active Application Filing
-
2012
- 2012-08-24 US US13/594,080 patent/US8548235B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1093087A2 (en) * | 1999-10-08 | 2001-04-18 | Eastman Kodak Company | Removing chroma noise from digital images by using variable shape pixel neighborhood regions |
CN101103374A (zh) * | 2005-01-11 | 2008-01-09 | 伊斯曼柯达公司 | 稀疏分布的彩色数字图像的噪声清除 |
CN101569173A (zh) * | 2006-12-22 | 2009-10-28 | 伊斯曼柯达公司 | 数字图像中降低的位置相关噪声 |
CN101562703A (zh) * | 2008-04-15 | 2009-10-21 | 索尼株式会社 | 用于在成像设备内执行基于触摸的调整的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2011155429A1 (ja) | 2011-12-15 |
US20130058573A1 (en) | 2013-03-07 |
US8548235B2 (en) | 2013-10-01 |
JP5123443B2 (ja) | 2013-01-23 |
EP2579570A4 (en) | 2014-12-24 |
CN102934422A (zh) | 2013-02-13 |
JPWO2011155429A1 (ja) | 2013-08-01 |
EP2579570A1 (en) | 2013-04-10 |
EP2579570B1 (en) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102934422B (zh) | 信号处理装置和静止图像生成方法 | |
CN101094319B (zh) | 摄像装置以及信号处理装置 | |
EP2088787B1 (en) | Image picking-up processing device, image picking-up device, image processing method and computer program | |
EP1246453A2 (en) | Signal processing apparatus and method, and image sensing apparatus | |
EP2088788B1 (en) | Image picking-up processing device, image picking-up device, image processing method and computer program | |
US20030193600A1 (en) | Image capturing apparatus | |
JP3216864B2 (ja) | 撮像システムおよび撮像信号処理装置 | |
JP2004128584A (ja) | 撮像装置 | |
US10187594B2 (en) | Image pickup apparatus, image pickup method, and non-transitory computer-readable medium storing computer program | |
WO2017086091A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20060044420A1 (en) | Image pickup apparatus | |
US8699827B2 (en) | Imaging apparatus, signal processing method, and program | |
JP2012133194A (ja) | 撮像装置 | |
JP5581968B2 (ja) | 撮像装置 | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
JP2014220690A (ja) | 信号処理装置、信号処理方法 | |
JP2002209838A (ja) | 内視鏡撮像装置 | |
JP7377048B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2011040801A (ja) | 電子カメラ | |
JP2007228073A (ja) | レンズユニット及びデジタルカメラ | |
JP7307837B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5386996B2 (ja) | 撮影装置、及びプログラム | |
JP5720382B2 (ja) | 撮像装置 | |
JPH0937128A (ja) | 画像入力装置 | |
JP5471004B2 (ja) | 焦点調整装置、焦点調整方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20151112 Address after: Tokyo, Japan, Japan Patentee after: Olympus Corporation Address before: Tokyo, Japan, Japan Patentee before: Olympus Medical Systems Corp. |