CN111712851B - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN111712851B
CN111712851B CN201980012345.XA CN201980012345A CN111712851B CN 111712851 B CN111712851 B CN 111712851B CN 201980012345 A CN201980012345 A CN 201980012345A CN 111712851 B CN111712851 B CN 111712851B
Authority
CN
China
Prior art keywords
pixel
image
pixels
observation
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980012345.XA
Other languages
English (en)
Other versions
CN111712851A (zh
Inventor
薮崎克己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kowa Co Ltd
Original Assignee
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kowa Co Ltd filed Critical Kowa Co Ltd
Publication of CN111712851A publication Critical patent/CN111712851A/zh
Application granted granted Critical
Publication of CN111712851B publication Critical patent/CN111712851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明的图像处理装置包括：排列单元，将观测像素和位于观测像素周围的多个相邻像素按照各自的亮度值的大小顺次排列；判断单元，判断观测像素是否处于通过排列单元排列的观测像素及多个相邻像素中的中间的规定范围内；以及替换单元，当观测像素不在规定范围内时，根据处于规定范围内的像素的亮度值替换观测像素的亮度值。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本发明涉及用于对包含噪音的图像进行处理而生成降低了噪音的图像的图像处理装置、图像处理方法及图像处理程序。
背景技术
信噪比(S/N)差的图像中包含很多由白色点和黑色点组成的噪音。例如在对图像进行分析/解析，为了得到某些信息而进行的图像处理的过程中，这些噪音会成为导致错误的分析/解析结果的原因，或是成为增大得到的结果的偏差的原因。尤其是在医疗领域中，在得到观察部位的二维图像或断层图像而进行图像诊断时，被认为有异常的观测结构体或是非常小，或是不清晰，或是宽度较窄。这时，噪点错误地被当作观测对象的结构体提取了出来，或者因为噪音分量分割了观测结构体，而成为将原本一个的结构体识别为多个结构体的原因。因此，如何消除噪音成了图像处理的过程中非常重要的课题。
一直以来，为了对单个图像降低噪音而进行的处理广泛使用了着眼于观测像素周边的像素并取平均值或取中位数的方法。这是因为，通过这些处理，减少了白色点和黑色点的影响，结果，消除了明显偏离该区域的平均值的噪音。另外，在处理连续的多张图像的领域，例如处理眼底断层图像的领域中，如专利文献1中所公开的那样，在相邻的二张以上图像间，同样采用了通过使用像素的平均值或中位数获取移动平均值来降低噪音的方法。
现有技术文献
专利文献
专利文献1：国际公开公报WO2014/112611A1号
发明内容
要解决的技术问题
然而，在现有的这些方法中存在如下问题点：由于将图像中观测像素的周边信息一律进行平均化，造成了图像中的结构体的轮廓变得模糊，或结构体的亮度降低的结果，不仅降低了观测结构体与背景之间的对比度，还有损于结构体的形状、明度、颜色等特征。
另外，在处理断层图像等的领域中，除上述有损观测结构体的特征的问题点以外，还存在下面的问题点。即，虽然在获取连续的断层图像之间的移动平均值的方法中，通过将多个图像的像素进行平均化，能够容易地消除被判断为噪音的像素，生成平滑的连续断层图像，但通过在连续的图像之间进行平均化处理，会使不包含在观测断层图像中但包含在其前后的断层图像中的结构体映入处理后的观测断层图像中。
本发明是鉴于这一点而完成的，其目的在于提供能够在维持图像中的结构体的特征的同时，降低图像中的噪音的图像处理装置、图像处理方法及图像处理程序。
解决问题的技术方案
为了达到上述目的，首先，本发明提供一种图像处理装置，上述图像处理装置包括：排列单元，将观测像素和位于上述观测像素的周围的多个相邻像素按照各自的亮度值的大小顺次排列；判断单元，判断上述观测像素是否处于通过上述排列单元排列的上述观测像素及上述多个相邻像素中的中间的规定范围内；以及替换单元，当上述观测像素不在上述规定范围内时，根据处于上述规定范围内的像素的亮度值替换上述观测像素的亮度值。(发明1)
根据上述发明(发明1)，不是简单地使用外围像素(位于观测像素周围的相邻像素)的亮度值对观测像素的亮度值进行平均化，而是将观测像素和外围像素按亮度值的大小顺次排列，若观测像素包含在中间的规定范围内，则不执行任何操作，只有在观测像素不包含在中间的规定范围内时，才根据处于该规定范围内的像素的亮度值替换观测像素的亮度值，因此能够仅消除图像中的噪音。结果，能够不损害图像中存在的特征结构体的形状、明度、颜色等特征地进行降噪处理。
优选的是，在上述发明(发明1)中，上述规定范围设定为，包括从位于通过上述排列单元排列的上述观测像素及上述多个相邻像素的中央的像素起前后相同数量的像素。(发明2)
优选的是，在上述发明(发明1、2)中，上述替换单元用上述规定范围内的像素亮度值的平均值替换上述观测像素的亮度值。(发明3)
在上述发明(发明1-3)中，上述观测像素所存在的图像是连续的多个断层图像中的一个断层图像，上述多个相邻像素可以是，在上述一个断层图像及其前后的断层图像中，空间上位于上述观测像素的周围的多个相邻像素。(发明4)
根据上述发明(发明4)，即使是在处理连续的断层图像时，也不会损害观测结构体的特征地，而且包含在前后的断层图像中的结构体也不会映入处理后的观测断层图像中地，进行降噪处理。
其次，本发明提供一种图像处理方法，所述图像处理方法包括：排列步骤，将观测像素和位于上述观测像素的周围的多个相邻像素按照各自的亮度值的大小顺次排列；判断步骤，判断上述观测像素是否处于上述排列步骤中排列的上述观测像素及上述多个相邻像素中的中间的规定范围内；以及替换步骤，当上述观测像素不在上述规定范围内时，根据处于上述规定范围内的像素的亮度值替换上述观测像素的亮度值。(发明5)
根据上述发明(发明5)，不是简单地使用外围像素(位于观测像素周围的相邻像素)的亮度值对观测像素的亮度值进行平均化，而是将观测像素和外围像素按亮度值的大小顺次排列，若观测像素包含在中间的规定范围内，则不执行任何操作，只有在观测像素不包含在中间的规定范围内时，才根据处于该规定范围内的像素的亮度值替换观测像素的亮度值，因此能够仅消除图像中的噪音。结果，不会损害图像中存在的特征结构体的形状、明度、颜色等特征地进行降噪处理。
优选的是，在上述发明(发明5)中，上述规定范围设定为，包括从位于上述排列步骤中排列的上述观测像素及上述多个相邻像素的中央的像素起前后相同数量的像素。(发明6)
优选的是，在上述发明(5、6)中，上述替换步骤中，用上述规定范围内的像素亮度值的平均值替换上述观测像素的亮度值。(发明7)
在上述发明(5-7)中，上述观测像素所存在的图像是连续的多个断层图像中的一个断层图像，上述多个相邻像素可以是，在上述一个断层图像及其前后的断层图像中，空间上位于上述观测像素的周围的多个相邻像素。(发明8)
根据上述发明(发明8)，即使是在处理连续的断层图像时，也能够不损害观测结构体的特征地，而且包含在前后的断层图像中的结构体也不会映入处理后的观测断层图像中地，进行降噪处理。
再次，本发明提供一种图像处理程序，用于使计算机起到作为发明1-4中任一个提供的图像处理装置的功能，或者用于使计算机执行发明5-8中任一个提供的图像处理方法。(发明9)
发明效果
根据本发明的图像处理装置、图像处理方法及图像处理程序，能够在维持图像中的结构体的特征的同时，降低图像中的噪音。
附图说明
图1是示出了本发明的一实施方式提供的图像处理装置的整体配置的框图。
图2是示出了通过扫描眼底获取眼底断层图像的状态的说明图。
图3是示意性地示出了通过本实施方式提供的图像处理装置处理单个图像时的观测像素和相邻像素的关系的说明图。
图4是示出了本实施方式中的图像处理流程的流程图。
图5是示意性地示出了通过本实施方式提供的图像处理装置，替换观测像素的亮度值的情形的说明图。
图6是示意性地示出了通过本实施方式提供的图像处理装置处理连续的多个断层图像时的观测像素和相邻像素的关系的说明图(其1)。
图7是示意性地示出了通过本实施方式提供的图像处理装置处理连续的多个断层图像时的观测像素和相邻像素的关系的说明图(其2)。
具体实施方式
下面根据附图对本发明的实施方式进行详细说明。这里对通过断层图像拍摄装置获取被检测眼睛的眼底E的断层图像，并从该断层图像消除噪音的示例进行说明，但本发明中成为处理对象的图像不限于眼底断层图像，也可以应用于用其他类型的装置拍摄其他对象的情况。
图1是示出了获取被检测眼睛眼底的断层图像并进行图像处理的整体系统的框图。断层图像拍摄装置10是拍摄被检测眼睛的眼底的断层图像的装置(OCT：OpticalCoherence Tomography)，例如以傅里叶域方法进行操作。因为断层图像拍摄装置10是公知的，所以省略其详细说明，但断层图像拍摄装置10中设有低相干光源，来自低相干光源的光被分割为参考光和信号光。信号光如图2所示，在眼底E上，沿例如X、Y方向进行光栅扫描。在眼底E进行扫描并被反射的信号光与参考镜反射的参考光重叠，产生干涉光，根据该干涉光产生表示眼底的深度方向(Z方向)信息的OCT信号。
图像处理装置20具有，通过由CPU、RAM、ROM等构成的计算机实现的控制部21，控制部21通过执行图像处理程序控制整体的图像处理。图像处理装置20中还设有断层图像形成部22。
断层图像形成部22通过执行傅里叶域方法等公知的解析方法的专用电子电路、或者前述的CPU所执行的图像处理程序实现，根据由断层图像拍摄装置10生成的OCT信号，形成被检测眼睛眼底的断层图像。
例如，如图2所示，在y方向上的yN(N＝1、2、……n)位置，沿x方向扫描眼底E时，在该扫描时进行多次(m次)采样。在该x方向的各采样时间点分别获取z方向的断层图像(A扫描图像)Ah(h＝1、2、……m)，由这些A扫描图像Ah形成断层图像BN(N＝1、2、……t)。由于A扫描图像例如以x方向宽度为1像素、z方向长度为n像素的方式存储，因此，断层图像BN成为具有m×n像素大小的图像，也称为B扫描图像。
由断层图像形成部22形成的t张断层图像BN、或由这些t张断层图像BN构成的三维体图像存储在例如由半导体存储器、硬盘装置等构成的存储部23中。存储部23中还存储有上述的图像处理程序等。
图像处理装置20中设有图像处理部30。图像处理部30包括排列单元31、判断单元32、以及替换单元33。如后所述，排列单元31将成为处理对象的图像中的观测像素、和位于该观测像素周围的多个相邻像素按照各自的亮度值大小顺次排列，判断单元32判断观测像素是否处于通过排列单元排列的观测像素及多个相邻像素中的中间的规定范围内，替换单元33在观测像素不在规定范围内时，根据处于规定范围内的像素的亮度值替换观测像素的亮度值。图像处理部30中的各单元或者各图像处理通过使用专用的电子电路实现，或通过执行图像处理程序实现。
显示部24例如由LCD等显示装置构成，显示存储部23中存储的断层图像、通过图像处理装置20生成或者处理的图像、以及与受验者有关的信息等附带信息等。
操作部25例如具有鼠标、键盘、操作笔、指针、操作面板等，用于选择显示部24中显示的图像，或用于操作者对图像处理装置20等给出指示。
接下来，对通过图像处理部30的图像处理消除被检测眼睛眼底的断层图像中的噪音的流程进行说明，被检测眼睛眼底的断层图像通过如下方式生成：通过断层图像拍摄装置10拍摄被检测眼睛的眼底E的断层图像，由断层图像形成部22基于拍摄的断层图像生成检测眼睛眼底的断层图像。首先，将得到的t张断层图像BN中的一张作为处理对象图像BT，对从该单个处理对象图像BT中消除噪音的流程进行说明。
如图3中的(A)所示，处理对象图像BT是具有m×n像素的大小的图像。从该处理对象图像BT中消除噪音的流程在图4中示出。此外，图4中的S101-S106相当于以下描述的流程说明中的步骤101-106。在图4示出的流程中，首先排列单元31将在该处理对象图像BT中观测的像素设定一个作为观测像素P，将位于该观测像素P周围的像素，即将位于观测像素P上下左右的像素和位于与观测像素P的四个角相接的像素共8个像素设定为相邻像素pi(i＝1-8)(步骤101)。图3中的(B)中示出了，设定在处理对象图像BT左起第4列，上起第3行的观测像素P与位于其周围的8个相邻像素pi的关系。
此外，在处理对象图像BT中，将观测像素P设定在端部时，并不一定要设定相邻像素为8个，在观测像素P设定在处理对象图像BT的端部时，相邻像素可以结合其观测像素的位置适当设定在8个以内。例如在观测像素设定在处理对象图像BT左起1第列、上起第3行时，如图3中的(C)所示，位于观测像素P的上、下、右、右斜上方、右斜下方的5个像素设定为相邻像素。
另外，也可以根据处理的图像类型和消除噪音的目的等，只将位于观测像素上下左右的4个像素设定为相邻像素，也可以适当改变相邻像素的设定方法，如在位于观测像素上下左右的像素和位于与观测像素的四个角相接的8个像素的基础上，再将位于其外侧的16个像素共24个像素设定为相邻像素等。
接下来排列单元31从处理对象图像BT的原图像数据中获取观测像素P的亮度值D、和8个相邻像素pi的亮度值di(i＝1-8)(步骤102)。
获取观测像素P的亮度值D及相邻像素pi的亮度值di后，排列单元31根据观测像素P的亮度值D和各相邻像素pi的亮度值di，按照亮度值的大小将观测像素P和相邻像素pi顺次排列(步骤103)。
接下来判断单元32判断观测像素P是否处于通过排列单元31排列的观测像素P及相邻像素pi的中间规定范围内(步骤104)。规定范围设定为，包括从位于通过排列单元31排列的观测像素P及相邻像素pi的中央的像素起前后相同数量的像素。
具体地，如图5中的(A)所示，例如，若假定观测像素P的亮度值D为35，相邻像素pi的亮度值di依次为178、187、97、141、254、209、134、157，且将观测像素P和相邻像素pi按亮度值从小到大的顺序从左到右排列，则各像素左起依次按观测像素P、相邻像素p3、相邻像素p7、相邻像素p4、相邻像素p8、相邻像素p1、相邻像素p2、相邻像素p6、相邻像素p5的顺序排列。这里，若将规定范围设定为，包括从位于通过排列单元31排列的观测像素P及相邻像素pi的中央的像素、即相邻像素p8起前后2个像素共5个像素组成的范围W，则观测像素P通过判断单元32被判断为不在该范围W内。另一方面，如图5中的(B)所示，若假定观测像素P的亮度值D和相邻像素p1的亮度值d1与图5中的(A)相反，观测像素P的亮度值D为178，相邻像素pi的亮度值di依次为35、187、97、141、254、209、134、157，且将观测像素P和相邻像素pi按亮度值从小到大的顺序从左到右排列，则各像素左起依次按相邻像素p1、相邻像素p3、相邻像素p7、相邻像素p4、相邻像素p8、观测像素P、相邻像素p2、相邻像素p6、相邻像素p5的顺序排列。此时，观测像素P通过判断单元32被判断为在该范围W内。
当判断单元32判断观测像素P不在范围W内时，替换单元33计算出在范围W内的5个像素的平均值(步骤105)。然后，生成用计算出的平均值替换了观测像素P的亮度值的图像(步骤106)，并保存在存储部23中。例如，在图5中的(A)示出的示例中，因为观测像素在范围W的范围外，在范围W内的5个像素的平均值为159，因此生成将观测像素P的亮度值替换为了159的图像。
另一方面，当判断单元32判断观测像素P在范围W内时，观测像素P的亮度值不替换为平均值，而是保持原样。例如，在图5中的(B)示出的示例中，由于观测像素在范围W的范围内，因此观测像素P的亮度值保持为178。
此外，本实施方式中，替换单元33用规定范围W内的5个像素亮度值的平均值替换了观测像素P的亮度值，但不限于此，也可以根据图像画质或想要提取的结构体的性状(形状、明度、大小等)，例如用位于范围W中央的像素的亮度值替换观测像素P的亮度值，或根据范围W中央的3个像素的平均值进行替换。
在处理对象图像BT中，例如一边从左上端的像素依次将所有像素设定为观测像素一边重复上述的处理，最后在整个处理对象图像BT中生成进行了噪音消除处理的图像。
如此，本发明不是使用位于观测像素周围的相邻像素的亮度值简单地对作为处理对象的图像中的观测像素的亮度值进行平均化，而是将观测像素及位于其周围的相邻像素按其亮度值的大小顺次排列，若观测像素包含在中间的规定范围内，则不执行任何操作，仅在观测像素不包含在中间的规定范围内时，根据处于该规定范围内的像素的亮度值替换观测像素的亮度值。结果，能够不会损害图像中存在的特征结构体的形状、明度、颜色等特征地进行降噪处理。
也就是说，若观测像素为由白色点和黑色点组成的噪音，则很可能具有与位于其周围的相邻像素的亮度值有很大不同的亮度值，若将观测像素及相邻像素按其亮度值的大小顺序排列，则具有这种偏离周围趋势的亮度值的像素位于其排列的末端。因此，在本发明中，若观测像素在规定范围内，则认为该观测像素不是噪音，因此不替换观测像素的亮度值，若观测像素不在规定范围内，则观测像素很可能是噪音，因此通过将观测像素的亮度值替换为与周围趋势匹配的亮度值，能够仅消除图像中的噪音。结果，能够不损害图像中存在的特征结构体的形状、明度、颜色等特征地进行降噪处理。
此外，在本实施方式中，将通过断层图像拍摄装置10获取的断层图像BN中的一张作为了处理对象图像BT，但也可以将通过激光扫描检眼镜(SLO：Scanning LaserOphthalmoscope)获取的眼底平面图像作为处理对象图像，进行与上述相同的图像处理，消除噪音。
＜第1变形例＞
至此，对从单个处理对象图像BT中消除噪音的流程进行了说明，下面，对如下方法进行说明：如图2所示，将从空间上连续处得到的t张断层图像BN中的一张作为处理对象图像BT，并同时使用其前后的断层图像BT－1及断层图像BT+1，设定观测像素及相邻像素。断层图像BT－1及断层图像BT+1是在图2示出的y方向上与处理对象图像BT连续的断层图像，与处理对象图像BT相同，是具有m×n像素的大小的图像。本变形例中用于图像处理的断层图像拍摄装置10和图像处理装置20具有与前述相同的配置，因此省略详细的说明，断层图像BT－1、处理对象图像BT及断层图像BT+1均存储在存储部23中。
在本变形例中，将处理对象图像BT中观测的像素设定一个作为观测像素Q，将该处理对象图像BT及其前后的断层图像BT－1及断层图像BT+1中空间上位于观测像素周围的共26个像素设定为相邻像素qi(i＝1-26)。
即，本变形例中的相邻像素qi是，在处理对象图像BT中位于观测像素Q的上下左右的像素及位置与观测像素的四角相接的像素共8个像素的基础上，还包括将断层图像BT－1及断层图像BT+1排列在处理对象图像BT中时空间上位于观测像素Q周围的共18个像素的共26个像素。图6中示出了，处理对象图像BT的左起第4列、上起第3行设定的观测像素Q，与在该处理对象图像BT及其前后的断层图像BT－1及断层图像BT+1中空间上位于观测像素Q周围的26个相邻像素qi的关系。另外，图7示出了从排列了处理对象图像BT及其前后的断层图像BT－1及断层图像BT+1的状态仅切出观测像素Q和相邻像素qi的状态。
此外，在处理对象图像BT中，在将观测像素Q设定在端部时，不一定要设定26个相邻像素，当观测像素Q在处理对象图像BT中设定在端部时，相邻像素可以根据其观测像素的位置适当设定在26个以内。另外，在不存在前后连续的断层图像时，相邻像素也可以根据其观测像素的位置适当设定在26个以内。进一步地，还可以根据处理的图像类型和噪音消除的目的等适当改变相邻像素的设定方法。
如此，在设定了观测像素Q和相邻像素qi的情况下，也可以沿图4所示的流程，通过图像处理部30进行的图像处理消除噪音。图像处理流程与从单个处理对象图像BT中消除噪音的流程相同，因此省略。
如此，即使是在处理连续的断层图像时，也可以通过应用本实施方式提供的图像处理装置及图像处理方法，仅消除图像中的噪音。结果，能够不损害图像中存在的特征结构体的形状、明度、颜色等特征地，而且包含在前后的断层图像中的结构体也不会映入处理后的观测断层图像中地进行降噪处理。
＜第2变形例＞
至此，将通过断层图像拍摄装置10获取的断层图像BN作为了处理对象，也可以对使用OCT血管造影(OCTA：Optical Coherence Tomography Angiography)生成的视网膜血管的正面图像(En Face图像)进行图像处理，从该图像中消除噪音。OCT血管造影不使用荧光剂来生成如血管造影那样的图像，使用上述实施方式中说明的断层图像拍摄装置10，连续拍摄多张被检测眼睛的眼底E的同一处，将获取的数ms时间差断层图像(B扫描图像)中的变化视为血流变化，生成正面图像。
具体地，对连续拍摄了多张被检测眼睛的眼底E的同一处的B扫描图像组，应用公知的变化检测方法，例如，OMAG(Optical Microangiography)法或SSADA(Split-spectrumAmplitude-decorrelation Angiography)法等生成一个血流断层图像。相对于观察对象区域，在y方向上改变扫描位置的同时重复该操作，从得到的连续的多个血流断层图像中生成一个三维数据集。即，三维数据集是将被检测眼睛的眼底E的观察对象区域进行了立体模型化的数据。
当构成B扫描图像组的每个B扫描图像为图2中的xz平面的断层图像时，从该B扫描图像组中生成的血流断层图像也变成xz平面的断层图像，而此次从三维数据集作为在z方向上连续的多个xy平面的断层图像生成血流断层图像。通过层叠在该z方向上连续的多个xy平面的血流断层图像，生成视网膜血管的正面图像。
若将层叠的多个xy平面的血流断层图像中的一张血流断层图像作为第1变形例中的处理对象图像BT，将夹着该血流断层图像的方式重叠的前后的血流断层图像作为断层图像BT－1及断层图像BT+1，可以将与在前述的第1变形例中说明的方法相同的图像处理方法应用在通过OCT血管造影生成的视网膜血管的正面图像中，能够仅消除该正面图像中的噪音。
上面根据附图对本发明提供的图像处理装置及图像处理方法进行了说明，但本发明不限于上述实施方式，能够进行多种改变实施。
例如，对于处理对象图像BT，不仅是前后的断层图像BT+1、BT－1，也可以将其前后的断层图像BT+2、BT－2中包含的像素设定为相邻像素。或者，也可以不将前后的断层图像BT+1、BT－1中包含的像素设定为相邻像素，而是仅用断层图像BT、BT+2、BT－2中包含的像素设定相邻像素。相反地，为了简化计算，也可以仅从处理对象图像BT以及与BT一侧相邻的断层图像BT+1这两张图像中设定相邻像素。
工业可用性
本发明在使用信噪比(S/N)差的图像的图像诊断中，能够用作高效消除噪音的方法。尤其是，由于在难以使用强光源作为照明光的眼底图像诊断中以及眼底断层图像诊断中，多必须诊断S/N差的图像中的微小结构体的形状及个数，因此，能够期待本发明可用作强大的图像去噪方法。
附图标记说明
10 断层图像拍摄装置
20 图像处理装置
21 控制部
22 断层图像形成部
23 存储部
24 显示部
25 操作部
30 图像处理部
31 排列单元
32 判断单元
33 替换单元

Claims (7)

1.一种图像处理装置，包括：
排列单元，将观测像素和位于所述观测像素的周围的多个相邻像素按照各自的亮度值的大小顺次排列；
判断单元，判断所述观测像素是否处于通过所述排列单元排列的所述观测像素及所述多个相邻像素中的中间的规定范围内；以及
替换单元，当所述观测像素不在所述规定范围内时，根据处于所述规定范围内的像素的亮度值替换所述观测像素的亮度值；所述替换单元用所述规定范围内的像素亮度值的平均值替换所述观测像素的亮度值。
2.根据权利要求1所述的图像处理装置，其特征在于，所述规定范围设定为，包括从位于通过所述排列单元排列的所述观测像素及所述多个相邻像素的中央的像素起前后相同数量的像素。
3.根据权利要求1或2所述的图像处理装置，其特征在于，所述观测像素所存在的图像是连续的多个断层图像中的一个断层图像，
所述多个相邻像素是在所述一个断层图像及其前后的断层图像中，空间上位于所述观测像素的周围的多个相邻像素。
4.一种图像处理方法，包括：
排列步骤，将观测像素和位于所述观测像素的周围的多个相邻像素，按照各自的亮度值的大小顺次排列；
判断步骤，判断所述观测像素是否处于所述排列步骤中排列的所述观测像素及所述多个相邻像素中的中间的规定范围内；以及
替换步骤，当所述观测像素不在所述规定范围内时，根据处于所述规定范围内的像素的亮度值替换所述观测像素的亮度值；在所述替换步骤中，用所述规定范围内的像素亮度值的平均值替换所述观测像素的亮度值。
5.根据权利要求4所述的图像处理方法，其特征在于，所述规定范围设定为，包括从位于所述排列步骤中排列的所述观测像素及所述多个相邻像素的中央的像素起前后相同数量的像素。
6.根据权利要求4或5所述的图像处理方法，其特征在于，所述观测像素所存在的图像是连续的多个断层图像中的一个断层图像，
所述多个相邻像素是在所述一个断层图像及其前后的断层图像中，空间上位于所述观测像素的周围的多个相邻像素。
7.一种非暂时性计算机可读存储介质，其上存储有图像处理程序，用于使计算机执行权利要求4-6中任一项所述的图像处理方法。
CN201980012345.XA 2018-02-08 2019-02-07 图像处理装置、图像处理方法及图像处理程序 Active CN111712851B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018021452 2018-02-08
JP2018-021452 2018-02-08
PCT/JP2019/004337 WO2019156140A1 (ja) 2018-02-08 2019-02-07 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN111712851A CN111712851A (zh) 2020-09-25
CN111712851B true CN111712851B (zh) 2023-08-29

Family

ID=67548265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012345.XA Active CN111712851B (zh) 2018-02-08 2019-02-07 图像处理装置、图像处理方法及图像处理程序

Country Status (5)

Country Link
US (1) US20210042885A1 (zh)
EP (1) EP3751509A4 (zh)
JP (1) JP7284103B2 (zh)
CN (1) CN111712851B (zh)
WO (1) WO2019156140A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214325A1 (de) * 2018-08-24 2020-02-27 Siemens Healthcare Gmbh Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes
DE102020122605A1 (de) 2020-08-28 2022-03-03 Abberior Instruments Gmbh Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101107850A (zh) * 2005-01-26 2008-01-16 皇家飞利浦电子股份有限公司 闪烁处理
CN101697229A (zh) * 2009-10-30 2010-04-21 宁波大学 一种医学图像的感兴趣区域提取方法
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
CN102547338A (zh) * 2011-12-05 2012-07-04 四川虹微技术有限公司 一种适用于3d电视的dibr系统
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
WO2014112611A1 (ja) * 2013-01-21 2014-07-24 興和株式会社 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体
CN107067389A (zh) * 2017-01-05 2017-08-18 佛山科学技术学院 一种基于Sobel边缘检测与图像块亮度特征的图像篡改盲取证方法
JP2017221741A (ja) * 2017-08-28 2017-12-21 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847737B1 (en) 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
JP2004166010A (ja) * 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 画像ノイズ低減方法及び画像処理装置
JP2007266956A (ja) 2006-03-28 2007-10-11 Sony Corp 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム
JP2011029704A (ja) * 2009-07-21 2011-02-10 Sony Corp 画像処理装置、画像処理方法及び撮像装置
WO2012029458A1 (ja) 2010-08-31 2012-03-08 株式会社 日立メディコ ３次元弾性画像生成方法及び超音波診断装置
JP2012235332A (ja) * 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5906848B2 (ja) * 2012-03-16 2016-04-20 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101107850A (zh) * 2005-01-26 2008-01-16 皇家飞利浦电子股份有限公司 闪烁处理
CN101697229A (zh) * 2009-10-30 2010-04-21 宁波大学 一种医学图像的感兴趣区域提取方法
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
CN102547338A (zh) * 2011-12-05 2012-07-04 四川虹微技术有限公司 一种适用于3d电视的dibr系统
WO2014112611A1 (ja) * 2013-01-21 2014-07-24 興和株式会社 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
CN107067389A (zh) * 2017-01-05 2017-08-18 佛山科学技术学院 一种基于Sobel边缘检测与图像块亮度特征的图像篡改盲取证方法
JP2017221741A (ja) * 2017-08-28 2017-12-21 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Salvador Gabarda et al.Image denoising and quality assessment through the Renyi entropy.Article in Proceedings of SPIE - The International Society for Optical Engineering.2009,(第期),参见第5、6页. *

Also Published As

Publication number Publication date
CN111712851A (zh) 2020-09-25
JPWO2019156140A1 (ja) 2021-02-04
JP7284103B2 (ja) 2023-05-30
US20210042885A1 (en) 2021-02-11
EP3751509A1 (en) 2020-12-16
WO2019156140A1 (ja) 2019-08-15
EP3751509A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US20210224997A1 (en) Image processing apparatus, image processing method and computer-readable medium
US9872614B2 (en) Image processing apparatus, method for image processing, image pickup system, and computer-readable storage medium
JP5025715B2 (ja) 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム
JP6679505B2 (ja) 光干渉断層撮影画像内のスペックルノイズの低減
EP3453312B1 (en) Image processing apparatus, image processing method, and program
JP6408916B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体
US10102621B2 (en) Apparatus, method, and program for processing image
JP2018068748A (ja) 情報処理装置、情報処理方法およびプログラム
CN113543695A (zh) 图像处理装置和图像处理方法
CN111712851B (zh) 图像处理装置、图像处理方法及图像处理程序
JP7195745B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020050308A1 (ja) 画像処理装置、画像処理方法及びプログラム
EP3138472A1 (en) Image-processing device, image-processing method and image-processing program
JP7254682B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018074459A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7297952B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018191761A (ja) 情報処理装置、情報処理方法及びプログラム
JP2022062620A (ja) 画像処理装置、画像処理方法及びプログラム
JP6461937B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2012176291A (ja) 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム
WO2019156139A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2015129718A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7488934B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7086708B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037196

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant