CN104915920A - 图像处理设备、图像处理方法、程序和内窥镜设备 - Google Patents

图像处理设备、图像处理方法、程序和内窥镜设备 Download PDF

Info

Publication number
CN104915920A
CN104915920A CN201510097464.3A CN201510097464A CN104915920A CN 104915920 A CN104915920 A CN 104915920A CN 201510097464 A CN201510097464 A CN 201510097464A CN 104915920 A CN104915920 A CN 104915920A
Authority
CN
China
Prior art keywords
frames
special
unit
normal frames
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510097464.3A
Other languages
English (en)
Inventor
白木寿一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104915920A publication Critical patent/CN104915920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

图像处理设备、图像处理方法、程序和内窥镜设备。图像处理设备包括：输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。

Description

图像处理设备、图像处理方法、程序和内窥镜设备
相关申请的交叉引用
本申请要求于2014年3月12日提交的日本优先权专利申请JP 2014-048336的权益，通过引用将其全部内容并入本文。
技术领域
本公开涉及一种图像处理设备、图像处理方法、程序以及内窥镜设备。具体地，本公开涉及一种图像处理设备、图像处理方法、程序以及内窥镜设备，其中的每个都能够结合并显示用诸如白色光这样的普通光照射人体来成像的普通图像、以及用特殊光照射人体来获得并且图示血管的位置的特殊图像。
背景技术
在相关技术中，例如以在医疗背景下使用为目的，提出了多种技术，其中，将用内窥镜设备成像的器官等的普通图像与表示难以在普通图像中看清楚的血管或诸如肿瘤这样的损害的位置的特殊图像相结合，并且显示结果。
例如，使用在日本未审查的专利申请公布第2007-313171号中描述使用时间划分成像普通图像和特殊图像。作为另外的示例，在日本未审查的专利申请公布第2012-24283号中描述执行普通图像和特殊图像的合成显示。
这里，术语“普通图像”指示用诸如白光这样的普通光照射用作对象的器官等所成像的图像。以下，普通图像还将被称为普通帧。术语“特殊图像”指示用不同于普通光的波长的预定波长的特殊光照射对象所成像的图像。以下，特殊图像还将被称为特殊帧。注意，在成像特殊图像时，存在将对特殊光的照射起反应的荧光剂等混合到或者应用于用作对象的血管(血液)或损害的情况。
发明内容
因为结合使用时间划分来成像的普通帧和特殊帧造成成像定时的移位，所以在手抖动或者对象移动时，存在可能不能精确地执行普通帧与特殊帧的对齐的可能性。
注意，还存在检测使用时间划分来成像的普通帧和特殊帧之间的运动矢量并且基于运动矢量进行运动校正之后执行合成的技术。然而，普通帧和特殊帧之间的成像条件不同，在检测运动矢量时的块匹配中容易出现错误，并且难以精确地检测运动矢量。
期望能够进行使用时间划分来成像的普通帧和特殊帧的精确的对齐和结合。
根据本公开的第一实施例，提供一种图像处理设备，该设备包括：输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。
在该图像处理设备中，图像处理设备还可以包括通过使特殊帧经过特征提取处理来产生特征提取帧的特征提取处理单元，运动校正单元还可以基于检测到的运动矢量，使特征提取帧经过对应于普通帧的成像定时的运动校正，并且合成单元可以基于经过运动校正的特征提取帧，使普通帧经过图像合成处理。
在该图像处理设备中，特征提取处理单元可以通过使特殊帧经过微分滤波处理来产生微分滤波帧，作为特征提取帧。
在该图像处理设备中，合成单元可以使普通帧经过作为图像合成处理的重叠合成处理或加标记合成处理。
在该图像处理设备中，作为重叠合成处理，合成单元可以根据经运动校正的特征提取帧，将经运动校正的特殊帧添加到普通帧。
在该图像处理设备中，作为加标记合成处理，合成单元可以根据经运动校正的特征提取帧，使普通帧经过色彩转换处理。
在该图像处理设备中，合成单元可以根据用户的选择，使普通帧经过作为图像合成处理的重叠合成处理或加标记合成处理。
在该图像处理设备中，图像处理设备还可以包括基于连续检测到的多个运动矢量来校正检测到的运动矢量的运动矢量校正单元。
根据本公开的第一实施例，提供一种由图像处理设备执行的图像处理方法。该方法包括：输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；从具有不同的成像定时的多个普通帧检测对象的运动矢量；基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及基于特殊帧，使普通帧经过图像合成处理。
根据本公开的第一实施例，提供一种程序，该程序使计算机用作：输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。
在本发明的第一实施例中，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；从具有不同的成像定时的多个普通帧检测对象的运动矢量；基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；并且基于特殊帧，使普通帧经过图像合成处理。
根据本公开的第二实施例，提供一种内窥镜设备，其包括：光源单元，用普通光或特殊光照射对象；成像单元，根据预定的帧周期以预定的比率连续成像在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。
在本公开的第二实施例中，根据预定的帧周期以预定的比率连续成像在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；从具有不同的成像定时的多个普通帧检测对象的运动矢量；基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；并且基于特殊帧，使普通帧经过图像合成处理。
根据本公开的第一实施例，能够精确地对齐和结合使用时间划分成像的普通帧和特殊帧。
根据本公开的第二实施例，能够使用时间划分成像普通帧和特殊帧，并且精确地将帧对齐和结合。
附图说明
图1是图示应用本公开的实施例的内窥镜设备的配置示例的框图；
图2是图示普通帧和特殊帧之间的成像定时的图；
图3是图示图1的图像处理单元的详细配置示例的框图；
图4是图示图3的运动矢量检测单元的详细配置示例的框图；
图5是图示图像合成处理的流程图；
图6是图示运动校正量估计的示例的图；
图7是图示基于一系列的运动矢量校正运动矢量中的离差的效果的图；
图8是图示重叠合成处理的效果的图；以及
图9是图示计算机的配置示例的框图。
具体实施方式
以下，将参考附图给出用于实现本公开的优选实施例(以下称为“实施例”)的详细描述。
内窥镜设备的配置示例
图1图示作为本公开的实施例的内窥镜设备的配置示例，该内窥镜设备使用时间划分成像普通帧和特殊帧，精确地将帧对齐和结合，并且显示作为结果得到的合成帧。
内窥镜设备10被配置为包括光源单元11、成像单元12、显影单元13、图像处理单元14以及显示单元15。
光源单元11针对所成像的每个帧，在诸如白光这样的普通光和具有预定波长的特殊光之间进行切换，并且用其照射对象(在身体中的器官等)。光源单元11针对所成像的每个帧，向图像处理单元14输出指示用普通光和特殊光中的哪一个照射对象的照射标识信号。注意，当用特殊光照射对象时，可以在普通光的光路上设置只透射预定波长的滤光器。
成像单元12对在从光源单元11照射普通光或特殊光的状态下的对象进行成像，并且向显影单元13输出作为结果获得的图像信号。显影单元13使从成像单元12输入给它的图像信号经过诸如马赛克处得这样的显影处理，并且向图像处理单元14输出从该处理得到的图像信号(在照射普通光时的普通帧以及在照射特殊光时的特殊帧)。
这里，与在普通帧中相比，在特殊帧中，使血管或诸如肿瘤这样的损害更加清楚；然而，与此相反，整个帧的亮度暗，并且有很多的噪声。同时，与在特殊帧中相比，在普通帧中，整个帧亮，并且有很少的噪声；然而，与此相反，难以区分血管或诸如肿瘤这样的损害。
图像处理单元14使用具有不同的成像定时的两个普通帧来检测运动矢量。通过使特殊帧经过微分滤波处理，图像处理单元14产生图像内的边缘部分(特别地，例如血管或损害的轮廓等)被强调的帧(以下称为微分滤波帧)。另外，图像处理单元14基于从普通帧检测到的运动矢量，对特殊帧和微分滤波帧中的每一个进行运动校正，结合普通帧与经过运动校正的特殊帧和微分滤波帧，并且向显示单元15输出作为结果获得的合成帧。
显示单元15显示合成帧。
普通帧和特殊帧的成像定时
接下来，在图2中图示普通帧和特殊帧的成像定时的示例。
在内窥镜设备10中，针对若干连续的帧，对普通帧进行成像，并且在普通帧之间周期性地对特殊帧进行成像。例如，如图2所示，将普通帧对特殊帧的成像比率设置为4:1。
然而，该比率不限于4:1，并且可以是可变的。在图2中，Ta图示在对特殊帧进行成像之前对普通帧成像一帧的定时，Tb图示对特殊帧进行成像的定时，并且Tc、Td和Te分别图示在对特殊帧进行成像之后对普通帧成像1帧、2帧和3帧的定时。将在稍后描述的运动矢量的检测的描述中使用Ta至Te。
图像处理单元14的配置示例
接下来，在图3中图示图像处理单元14的配置示例。
图像处理单元14被配置为包括切换单元21、运动矢量检测单元22、校正量估计单元23、帧存储器24、微分滤波处理单元25、运动校正单元26以及合成单元27。
在图像处理单元14中，将从前级的显影单元13向其输入的普通帧和特殊帧输入到切换单元21，并且将来自光源单元11的照射标识信号输入到切换单元21、运动矢量检测单元22以及校正量估计单元23。
切换单元21基于照射标识信号来确定来自显影单元13的输入是否是特殊帧，当输入不是特殊帧(是普通帧)时，向运动矢量检测单元22和合成单元27输出普通帧，并且当输入是特殊帧时，向帧存储器24输出该特殊帧。
对于每个帧周期，运动矢量检测单元22使用具有不同的成像定时的两个普通帧来检测运动矢量，并且将检测到的运动矢量输出到校正量估计单元23。
校正量估计单元23基于运动矢量检测单元22所检测到的运动矢量来估计特殊帧和微分滤波帧的运动校正量，并且将所估计的运动校正量输出给运动校正单元26。注意，校正量估计单元23能够基于相继地检测到的运动矢量来校正可能被错误地检测到的运动矢量，并且能够基于经校正的运动矢量来估计运动校正量。
帧存储器24保持从切换单元21向其输入的特殊帧，并且针对每个帧周期，将所保持的特殊帧提供给微分滤波处理单元25以及运动校正单元26。帧存储器24在从切换单元21向其输入下一个特殊帧时更新所保持的特殊帧。
微分滤波处理单元25产生通过使从帧存储器24提供给它的特殊帧经过微分滤波处理(例如，Sobel滤波处理)来强调图像中的特征的特征提取帧，并且将特征提取帧输出给运动校正单元26。注意，在微分滤波处理的情况下，产生强调边缘部分的微分滤波帧，作为特征提取帧。如上所述，因为帧存储器24针对每个帧周期提供在其中保持的特殊帧，所以连续地提供相同的特殊帧。在该情况下，微分滤波处理单元25可以忽略微分滤波处理，并且将先前的微分滤波处理的结果输出给运动校正单元26。
注意，如上所述，代替使用微分滤波处理来产生微分滤波帧，例如执行处理，其中提取微块(例如，3×3像素的)中的方差或动态范围大于或等于阈值的区域以及产生指示该提取结果的特征提取帧的处理。作为另外的示例，可以执行提取像素的信号电平在特定阈值内的区域(即，具有特定RGB级别的区域)并且产生指示该提取结果的特征提取帧的处理。作为又一个示例，可以使闭合区域(对应于肿瘤等)经过诸如snakes等轮廓检测处理，并且可以产生指示该结果的特征提取帧。
运动校正单元26基于从校正量估计单元23输入的运动校正量，使来自帧存储器24的特殊帧经过运动校正，使来自微分滤波处理单元25的微分滤波帧经过运动校正，并且向合成单元27输出运动校正后的特殊帧以及微分滤波帧。
合成单元27包含重叠单元28和加标记单元29，使用普通帧和运动校正后的特殊帧和微分滤波帧作为输入，通过由重叠单元28进行重叠合成处理或者由加标记单元29进行加标记合成处理来产生合成帧，并且将合成帧输出给后级的显示单元15。
运动矢量检测单元22的配置示例
接下来，在图4中例示运动矢量检测单元22的配置示例。运动矢量检测单元22被配置为包括帧存储器31和32、帧选择单元33、块匹配单元34以及矢量校正单元35。
在运动矢量检测单元22中，将从前级的切换单元21向其输入的普通帧输出给帧存储器31和帧选择单元33。
对每个帧周期，帧存储器31将在其中保持直至该点为止的普通帧输出给帧存储器32和帧选择单元33，并且用从前级的切换单元21输入的普通帧更新在其中保持直至该点为止的数据。以相同的方式，对每个帧周期，帧存储器32将在其中保持的普通帧输出给帧选择单元33，并且用从前级的帧存储器31输入的普通帧更新在其中保持的数据。
然而，在帧周期之中，在未向运动矢量检测单元22输入普通帧的定时，帧存储器31将被保持直至该点为止的普通帧输出给后级，并且清除被保持直至该点为止的数据。
在下一个定时，因为帧存储器31未保持任何数据，所以不进行对后级的输出。帧存储器32将被保持直至该点为止的普通帧输出给后级，并且清除被保持直至该点为止的数据。
因此，同时向帧选择单元33输入具有不同的成像定时的两个或三个普通帧。
在同时向帧选择单元33输入两个普通帧时，向块匹配单元34输出所述两个普通帧。在同时向帧选择单元33输入三个普通帧时，向块匹配单元34输出从帧存储器31和32输入的两个普通帧。块匹配单元34使用块匹配处理来检测两个普通帧之间的运动矢量。
矢量校正单元35基于照射标识信号来确定用于运动矢量的两个普通帧之间的关系，基于该关系来校正检测到的运动矢量，并且向校正量估计单元23输出运动矢量。
将对由矢量校正单元35进行的运动矢量的校正给出详细描述。如果将来自帧存储器31的输出用作参考，则当参考成像定时是在图2中例示的Ta时，向帧选择单元33输入作为在参考之前的一个帧的来自帧存储器32的普通帧以及来自帧存储器31的参考普通帧，并且根据两个普通帧来检测运动矢量。在该情况下，矢量校正单元35不进行运动矢量校正。
当参考成像定时是在图2中例示的Tb时，因为Tb是特殊帧的成像定时，所以帧存储器31不进行输出。向帧选择33输入作为在参考之前的一个帧的来自帧存储器32的普通帧以及作为在参考之后的一个帧的来自切换单元21的普通帧，并且根据两个普通帧来检测运动矢量。在该情况下，因为所检测到的运动矢量来自作为彼此分开的两个帧的普通帧之间，所以矢量校正单元35将所检测到的运动矢量的垂直和水平分量中的每一个乘以1/2。
当参考成像定时是在图2中例示的Tc时，向帧运行单元33输入来自帧存储器31的参考普通帧以及作为在参考之后的一个帧的来自切换单元21的普通帧，并且根据两个普通帧来检测运动矢量。在该情况下，因为所检测到的运动矢量的方向彼此相反，所以矢量校正单元35将所检测到的运动矢量的垂直和水平分量中的每一个乘以-1。
当参考成像定时是在图2中例示的Td时，向帧选择单元33输入作为在参考之前的一个帧的来自帧存储器32的普通帧、来自帧存储器31的参考普通帧以及作为在参考之后的一个帧的来自切换单元21的普通帧，并且根据来自帧存储器31和32的两个普通帧来检测运动矢量。在该情况下，矢量校正单元35不进行运动矢量校正。
当参考成像定时是在图2中例示的Te时，向帧选择单元33输入作为在参考之前的一个帧的来自帧存储器32的普通帧、来自帧存储器31的参考普通帧以及作为在参考之后的一个帧的来自切换单元21的普通帧，并且根据来自帧存储器31和32的两个普通帧来检测运动矢量。在该情况下，矢量校正单元35不进行运动矢量校正。
将如上所述地进行校正的运动矢量从矢量校正单元35输出给后级的校正量估计单元23。
由图像处理单元14进行的图像合成处理
接下来，将参考图5对由图像处理单元14进行的图像合成处理给出描述。
图5是图示图像合成处理的流程图。对每个帧周期执行图像合成处理。
在步骤S1中，切换单元21基于照射标识信号来确定来自显影单元13的输入是否为特殊帧，并且当输入是特殊帧时，将特殊帧输出给帧存储器24。反过来，当确定输入不是特殊帧(是普通帧)时，切换单元21将普通帧输出给运动矢量检测单元22和合成单元27。
在步骤S2中，帧存储器24将被保持直至该点为止的特殊帧提供给微分滤波处理单元25和运动校正单元26。注意，帧存储器24在从切换单元21向其输入特殊帧时更新所保持的特殊帧。
在步骤S3中，微分滤波处理单元25产生通过使从帧存储器24向其提供的特殊帧经过微分滤波处理(例如，诸如在下面的等式(1)中例示的Sobel滤波处理)来强调图像中的边缘部分的微分滤波帧，并且将微分滤波帧输出给运动校正单元26。
SobelRh(x，y)＝|-R(x-1，y-1)-2R(x-1，y)-R(x-1，y+1)
+R(x+1，y-1)+2R(x+1，y)+R(x+1，y+1)|
SobelRv(x，y)＝|-R(x-1，y-1)-2R(x，y-1)-R(x+1，y-1)
+R(x-1，y+1)+2R(x，y+1)+R(x+1，y+1)|
SobelR(x，y)＝SobelRh(x，y)+SobelRv(x，y)
SobelGh(x，y)＝|-G(x-1，y-1)-2G(x-1，y)-G(x-1，y+1)
+G(x+1，y-1)+2G(x+1，y)+G(x+1，y+1)|
SobelGv(x，y)＝|-G(x-1，y-1)-2G(x，y-1)-G(x+1，y-1)
+G(x-1，y+1)+2G(x，y+1)+G(x+1，y+1)|
SobelG(x，y)＝SobelGh(x，y)+SobelGv(x，y)
SobelBh(x，y)＝|-B(x-1，y-1)-2B(x-1，y)-B(x-1，y+1)
+B(x+1，y-1)+2B(x+1，y)+B(x+1，y+1)|
SobelBv(x，y)＝|-B(x-1，y-1)-2B(x，y-1)-B(x+1，y-1)
+B(x-1，y+1)+2B(x，y+1)+B(x+1，y+1)|
SobelB(x，y)＝SobelBh(x，y)+SobelBv(x，y)     ...(1)
注意，在等式(1)中的R、G和B分别对应于特殊帧的R、G、B水平(plane)中的级别。
在步骤S4中，运动矢量检测单元22检测使用具有不同成像定时的两个普通帧的运动矢量，并且将运动矢量输出给校正量估计单元23。在步骤S5中，校正量估计单元23确定所检测到的运动矢量是否小于或等于预定阈值，并且当所检测到的运动矢量小于或等于预定阈值时，处理进行到步骤S6以便在在运动校正中使用运动矢量。反过来，当所检测到的运动矢量大于预定阈值时，在运动校正中不使用运动矢量。在该情况下，对应于当前成像定时的图像合成处理结束。
在步骤S6中，校正量估计单元23基于由运动矢量检测单元22检测到的运动矢量来估计特殊帧和微分滤波帧的运动校正量，并且将所估计的运动校正量输出给运动校正单元26。特别是，例如，如在下面的等式(2)中所例示地计算运动校正量Hx和Hy。
H x = Σ t = 1 M V x , t
H y = Σ t = 1 N V y , t . . . ( 2 )
在等式(2)中，Vx和Vy是被检测到并且校正的运动矢量，N表示与进行校正的特殊帧的成像定时t＝0有关地检测运动矢量的普通帧的成像定时t＝N。
注意，在校正量估计单元23中，如在下文所述，作为另外的运动校正量估计方法，还能够基于运动矢量的系列来校正运动矢量中的离差并且随后来估计运动校正量。
图6是图示基于运动矢量的系列来校正运动矢量中的离差并且随后估计运动校正量的处理流的图。图7图示基于运动矢量的系列来校正运动矢量中的离差的效果。
具体地，如在下面的等式(3)中所图示地估计与成像定时t有关的运动矢量(V'x,t和V'y,t)。
V'x，t＝axt3+bxt2+cxt+dx
V'y，t＝ayt3+byt2+cyt+dy...(3)
通过用所估计的运动矢量(V'x,t和V'y,t)替代等式(2)的运动矢量，使用下面的等式(4)来计算运动校正量Hx和Hy。
H x = Σ t = 1 N V , x , t
H y = Σ t = 1 N V , y , t . . . ( 4 )
注意，可以使用所检测到的运动矢量(Vx,1和Vy,1)……(Vx,t和Vy,t)，利用最小平方方法来计算在等式(3)中的系数(ax、bx、cx和dx)以及(ay、by、cy和dy)。
在如上所述地估计运动校正量之后，处理进行到步骤S7。
在步骤S7中，运动校正单元26基于从校正量估计单元23输入的运动校正量，使来自帧存储器24的特殊帧经过运动校正，使来自微分滤波处理单元25的微分滤波帧经过运动校正，并且将运动校正后的特殊帧和微分滤波帧输出给合成单元27。输入到合成单元27的普通帧、特殊帧和微分滤波帧成为其中对象被关于彼此精确地对齐的帧。
在步骤S8中，合成单元27根据来自用户的选择，通过使普通帧和运动校正后的特殊帧和微分滤波帧经过重叠合成处理或加标记合成处理来产生合成帧，并且将合成帧输出给后级的显示单元15。
将对重叠合成处理给出描述。如在下面的等式(5)中所示，在重叠合成处理中，将运动校正后的微分滤波帧和特殊帧彼此相乘的结果被添加到普通帧。
OR(x，y)＝C0×NR(x，y)+C1×SobelR(x，y)×IR(x，y)
OG(x，y)＝C0×NG(x，y)+C1×SobelG(x，y)×IG(x，y)
OB(x，y)＝C0×NB(x，y)+C1×SobelB(x，y)×IB(x，y)...(5)
在等式(5)中，O(x,y)是合成帧的像素值，N(x,y)是普通帧的像素值，Sobel(x,y)是运动校正后的微分滤波帧的像素值，并且I(x,y)是运动校正后的特殊帧的像素值。C0和C1是控制重叠的程度的系数，并且可以由用户任意地设置。
图8例示上述的重叠合成处理的效果。在重叠合成处理中，能够获得特殊帧和微分滤波帧精确地与普通帧对齐的合成帧，并且所关注的部分(血管、损害等)的边缘被强调和重叠。
接下来，将对加标记合成处理给出描述。如在下面的等式(6)中所示，在加标记重双处理中，根据被乘以微分滤波帧的像素值的色彩转换系数C使用色彩矩阵处理使普通帧经过伪色彩转换。
O R ( x , y ) O G ( x , y ) O B ( x , y ) = C 1 R × Sobel R ( x , y ) C 1 G × Sobel G ( x , y ) C 1 B × Sobel B ( x , y ) C 2 R × Sobel R ( x , y ) C 2 G × Sobel G ( x , y ) C 1 B × Sobel B ( x , y ) C 3 R × Sobel R ( x , y ) C 3 G × Sobel G ( x , y ) C 1 B × Sobel B ( x , y ) N R ( x , y ) N G ( x , y ) N B ( x , y ) . . . ( 6 )
在等式(6)中，O(x,y)是合成帧的像素值，N(x,y)是普通帧的像素值，Sobel(x,y)是运动校正后的微分滤波帧的像素值，并且C是色彩转换系数。
如从等式(6)所清楚的，在加标记和重叠合成处理中不使用运动校正后的特殊帧。
根据加标记和重叠合成处理，因为根据微分滤波帧的像素值来控制色彩转换的程度，所以血管等的边缘更强地受到色彩转换的影响，并且其他区域受到色彩转换的影响不显著。因此，能够获得只有血管等的边缘突出的合成帧。
通过以上描述，图像合成处理的描述结束。
如上所述，根据用作本实施例的内窥镜设备10，因为只使用普通帧来检测运动矢量，并且在校正所检测到的运动矢量之后估计运动校正量，所以能够精确地执行特殊帧和微分滤波帧的运动校正。相应地，因为能够关于普通帧精确地对齐血管、肿瘤等的特殊帧的信息，所以能够允许用户(做手术的开业医生等)精确且清楚地在视觉上识别要被移除的肿瘤部分以及不要被移除的血管部分。
因为基于普通帧来创建呈现给用户的合成帧，所以可以向用户呈现与特殊帧相比具有少量噪声的明亮的合成帧。
附带地，上述的处理的系列可以使用硬件来执行，并且可以使用软件来执行。当使用软件来执行处理的系列时，将配置该软件的程序安装在计算机上。这里，计算机的示例包括嵌入在专用硬件之内的计算机以及能够由于安装在其上的各种程序而执行各种功能的普通的个人计算机等。
图9是图示使用程序执行上述处理的系列的计算机硬件的配置示例。
在计算机100中，中央处理单元(CPU)101、只读存储器(ROM)102以及随机访问存储器(RAM)103通过总线104彼此连接。
另外，输入输出接口105连接到总线104。输入输出接口105连接到输入单元106、输出单元107、存储单元108、通信单元109以及驱动器110。
输入单元106由键盘、鼠标、麦克风等形成。输出单元107由显示器、扬声器等形成。存储单元108由硬盘、非易失性存储器等形成。通信单元109由网络接口等形成。驱动器100驱动诸如磁盘、光盘、磁光盘或者半导体存储器等可移除介质111。
在如上配置的计算机100中，由CPU 101执行上述的处理的系列，例如，经由输入输出接口105和总线104将存储在存储单元108中的程序加载到RAM 103中，并且执行所加载的程序。
计算机100可以是例如经由因特网连接的所谓的云计算机。
注意，由计算机100执行的程序可以是以在本说明书中描述的次序的时间系列执行处理的程序。程序可以是并行地或者在诸如处理被调用时这样的需要的定时执行处理的程序。
本公开的实施例不限于上述实施例，并且可以在不脱离本公开的主要构思的范围内进行各种修改。
另外，本公开可以适合于以下配置。
(1)一种图像处理设备，包括：输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。
(2)根据(1)所述的图像处理设备，还包括通过使特殊帧经过特征提取处理来产生特征提取帧的特征提取处理单元，其中，运动校正单元还基于检测到的运动矢量，使特征提取帧经过对应于普通帧的成像定时的运动校正，并且其中，合成单元基于经过运动校正的特征提取帧，使普通帧经过图像合成处理。
(3)根据(2)所述的图像处理设备，其中，特征提取处理单元通过使特殊帧经过微分滤波处理来产生微分滤波帧，作为特征提取帧。
(4)根据(1)至(3)中的任一项所述的图像处理设备，其中，合成单元使普通帧经过作为图像合成处理的重叠合成处理或加标记合成处理。
(5)根据(4)所述的图像处理设备，其中，作为重叠合成处理，合成单元根据经运动校正的特征提取帧，将经运动校正的特殊帧添加到普通帧。
(6)根据(4)所述的图像处理设备，其中，作为加标记合成处理，合成单元根据经运动校正的特征提取帧，使普通帧经过色彩转换处理。
(7)根据(4)至(6)中的任一项所述的图像处理设备，其中，合成单元根据用户的选择，使普通帧经过作为合成处理的重叠合成处理或加标记合成处理。
(8)根据(1)至(7)中的任一项所述的图像处理设备，还包括：运动矢量校正单元，基于连续检测到的多个运动矢量来校正检测到的运动矢量。
(9)一种由图像处理设备执行的图像处理方法，该方法包括：输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；从具有不同的成像定时的多个普通帧检测对象的运动矢量；基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及基于特殊帧，使普通帧经过图像合成处理。
(10)一种程序，该程序使计算机用作：输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。
(11)一种内窥镜设备，包含：光源单元，用普通光或特殊光照射对象；成像单元，根据预定的帧周期以预定的比率对在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧进行连续成像；检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及合成单元，基于特殊帧，使普通帧经过图像合成处理。
本领域的技术人员应当理解的是，可以根据设计需求以及其他因素进行各种修改、组合、子组合和替代，它们都在所附权利要求或其等效物的范围之内。

Claims (11)

1.一种图像处理设备，包含：
输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；
检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；
运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及
合成单元，基于特殊帧，使普通帧经过图像合成处理。
2.根据权利要求1所述的图像处理设备，还包含：
特征提取处理单元，通过使特殊帧经过特征提取处理来产生特征提取帧，
其中，运动校正单元还基于检测到的运动矢量，使特征提取帧经过对应于普通帧的成像定时的运动校正，以及
其中，合成单元基于经过运动校正的特征提取帧，使普通帧经过图像合成处理。
3.根据权利要求2所述的图像处理设备，
其中，特征提取处理单元通过使特殊帧经过微分滤波处理来产生微分滤波帧，作为特征提取帧。
4.根据权利要求2所述的图像处理设备，
其中，合成单元使普通帧经过作为图像合成处理的重叠合成处理或加标记合成处理。
5.根据权利要求4所述的图像处理设备，
其中，作为重叠合成处理，合成单元根据经运动校正的特征提取帧，将经运动校正的特殊帧添加到普通帧。
6.根据权利要求4所述的图像处理设备，
其中，作为加标记合成处理，合成单元根据经运动校正的特征提取帧，使普通帧经过色彩转换处理。
7.根据权利要求4所述的图像处理设备，
其中，合成单元根据用户的选择，使普通帧经过作为图像合成处理的重叠合成处理或加标记合成处理。
8.根据权利要求2所述的图像处理设备，还包含：
运动矢量校正单元，基于连续检测到的多个运动矢量来校正检测到的运动矢量。
9.一种由图像处理设备执行的图像处理方法，该方法包含：
输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；
从具有不同的成像定时的多个普通帧检测对象的运动矢量；
基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及
基于特殊帧，使普通帧经过图像合成处理。
10.一种程序，该程序使计算机用作：
输入单元，输入根据预定的帧周期以预定的比率连续成像的、在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；
检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；
运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及
合成单元，基于特殊帧，使普通帧经过图像合成处理。
11.一种内窥镜设备，包含：
光源单元，用普通光或特殊光照射对象；
成像单元，根据预定的帧周期以预定的比率连续成像在用普通光照射对象的状态下的普通帧以及在用特殊光照射对象的状态下的特殊帧；
检测单元，从具有不同的成像定时的多个普通帧检测对象的运动矢量；
运动校正单元，基于检测到的运动矢量，使特殊帧经过对应于普通帧的成像定时的运动校正；以及
合成单元，基于特殊帧，使普通帧经过图像合成处理。
CN201510097464.3A 2014-03-12 2015-03-05 图像处理设备、图像处理方法、程序和内窥镜设备 Pending CN104915920A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-048336 2014-03-12
JP2014048336A JP2015171450A (ja) 2014-03-12 2014-03-12 画像処理装置、画像処理方法、プログラム、および内視鏡装置

Publications (1)

Publication Number Publication Date
CN104915920A true CN104915920A (zh) 2015-09-16

Family

ID=54070382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510097464.3A Pending CN104915920A (zh) 2014-03-12 2015-03-05 图像处理设备、图像处理方法、程序和内窥镜设备

Country Status (3)

Country Link
US (2) US10021306B2 (zh)
JP (1) JP2015171450A (zh)
CN (1) CN104915920A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271345A (zh) * 2015-11-05 2018-07-10 柯惠Lp公司 用于检测表面下的血液的系统和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107926076B (zh) 2015-08-31 2022-11-01 株式会社Ntt都科摩 用户终端、无线基站以及无线通信方法
KR102192488B1 (ko) * 2015-11-25 2020-12-17 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
WO2017212653A1 (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20210304419A1 (en) * 2018-09-06 2021-09-30 Sony Corporation Medical system, information processing apparatus, and information processing method
US20220296082A1 (en) * 2019-10-17 2022-09-22 Sony Group Corporation Surgical information processing apparatus, surgical information processing method, and surgical information processing program
KR102504321B1 (ko) * 2020-08-25 2023-02-28 한국전자통신연구원 온라인 행동 탐지 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055462A1 (en) * 2000-06-19 2001-12-27 Seibel Eric J. Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
US20040047415A1 (en) * 2000-07-13 2004-03-11 Guillaume Robert Motion estimator for coding and decoding image sequences
US20110205367A1 (en) * 2010-02-23 2011-08-25 Brown Kenneth W MMW Enhanced Infrared Concealed Object Detection with Closed-Loop Control of Illumination Energy
CN102316247A (zh) * 2010-06-29 2012-01-11 奥林巴斯株式会社 图像处理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007313171A (ja) 2006-05-29 2007-12-06 Olympus Corp 内視鏡システム
WO2009076335A1 (en) * 2007-12-10 2009-06-18 The Cooper Union For The Advancement Of Science And Art Gas delivery system for an animal storage container
WO2009119093A1 (ja) * 2008-03-26 2009-10-01 パナソニック株式会社 リチウム二次電池用電極およびその製造方法
JP2011200367A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 画像撮像方法および装置
JP2012024283A (ja) 2010-07-22 2012-02-09 Fujifilm Corp 内視鏡診断装置
CN105531991B (zh) * 2013-07-22 2019-06-14 谷歌有限责任公司 用于投射光以指示设备状态的方法、系统和介质
US9999355B2 (en) * 2014-02-12 2018-06-19 Koninklijke Philips N.V. Device, system and method for determining vital signs of a subject based on reflected and transmitted light

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055462A1 (en) * 2000-06-19 2001-12-27 Seibel Eric J. Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
US20040047415A1 (en) * 2000-07-13 2004-03-11 Guillaume Robert Motion estimator for coding and decoding image sequences
US20110205367A1 (en) * 2010-02-23 2011-08-25 Brown Kenneth W MMW Enhanced Infrared Concealed Object Detection with Closed-Loop Control of Illumination Energy
CN102316247A (zh) * 2010-06-29 2012-01-11 奥林巴斯株式会社 图像处理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271345A (zh) * 2015-11-05 2018-07-10 柯惠Lp公司 用于检测表面下的血液的系统和方法
CN108271345B (zh) * 2015-11-05 2021-05-28 柯惠Lp公司 用于检测表面下的血液的系统和方法

Also Published As

Publication number Publication date
US20150264264A1 (en) 2015-09-17
US10306147B2 (en) 2019-05-28
JP2015171450A (ja) 2015-10-01
US20180309933A1 (en) 2018-10-25
US10021306B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
CN104915920A (zh) 图像处理设备、图像处理方法、程序和内窥镜设备
EP2533193B1 (en) Apparatus and method for image processing
EP3499456B1 (en) Circuit device, electronic instrument, and error detection method
JP5080944B2 (ja) パノラマ眼底画像合成装置及び方法
JP5310247B2 (ja) 画像処理装置および方法、並びにプログラム
WO2009130820A1 (ja) 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体
JP2002503840A (ja) 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定
TWI423168B (zh) Image processing apparatus and method, and a computer readable medium
US9367900B2 (en) Image noise removing apparatus and image noise removing method
US8233748B2 (en) Image-resolution-improvement apparatus and method
US20200380697A1 (en) Image processing device, imaging device, image processing method, and program
JP2019139121A (ja) 回路装置、電子機器及びエラー検出方法
CN105530505A (zh) 三维图像转换方法和装置
JP5754214B2 (ja) 画像処理装置および画像処理プログラム
US20200244937A1 (en) Image processing apparatus and method, and program
JP7010225B2 (ja) 乳房領域検出システム、乳房領域検出方法、及びプログラム
CN113421254A (zh) 微循环血管分支长度和直径计算方法及装置和终端设备
JP6383145B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
WO2019233169A1 (zh) 图像处理方法和装置、电子装置、计算机设备和存储介质
JP7233792B2 (ja) 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
CN113344809B (zh) 一种超声图像增强方法、系统和设备
WO1994018639A1 (en) Method and apparatus for generating well-registered subtraction images for digital subtraction angiography
KR102227847B1 (ko) 차량영상 앤티에일리어싱 방법
Isogawa et al. [POSTER] Toward enhancing robustness of DR system: Ranking model for background inpainting
JP2021060873A (ja) 処理装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150916

RJ01 Rejection of invention patent application after publication