CN103027659A - 内窥镜系统和用于内窥镜的外部控制设备 - Google Patents

内窥镜系统和用于内窥镜的外部控制设备 Download PDF

Info

Publication number
CN103027659A
CN103027659A CN2012103621207A CN201210362120A CN103027659A CN 103027659 A CN103027659 A CN 103027659A CN 2012103621207 A CN2012103621207 A CN 2012103621207A CN 201210362120 A CN201210362120 A CN 201210362120A CN 103027659 A CN103027659 A CN 103027659A
Authority
CN
China
Prior art keywords
pixel
data
word
imaging signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103621207A
Other languages
English (en)
Other versions
CN103027659B (zh
Inventor
小谷学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103027659A publication Critical patent/CN103027659A/zh
Application granted granted Critical
Publication of CN103027659B publication Critical patent/CN103027659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

在与内窥镜相连的处理器设备中,来自内窥镜的成像芯片的、串行传输的成像信号由S/P转换器转换为并行数据,并且然后由8B10B解码器解码。当在成像信号传输期间由于噪声等而发生数据破坏,并且由于8B10B解码器处的解码错误而不能获得正常像素数据时,在图像处理电路的内存储器中,用周围部分的像素数据插值替换改像素数据。

Description

内窥镜系统和用于内窥镜的外部控制设备
技术领域
本发明涉及内窥镜系统和内窥镜外部控制设备并且,具体地,涉及用于将成像数据从安装在内窥镜插入部的顶端处的固态成像元件串行传输到处理器设备的内窥镜系统和内窥镜外部控制设备。
背景技术
内窥镜系统通常被配置成包括具有被插入到体腔内的插入部的内窥镜和由操作者握持以进行多种操作的手持操作部,以及经由从内窥镜延伸出的通用线缆相连的处理器设备(外部控制设备)。成像设备安装在内窥镜的插入部的顶端处,并且通过成像设备捕获的观察图像作为成像信号经由内窥镜的插入部和手持操作部以及在通用线缆内部穿过的信号线传输到处理器设备,然后在处理设备中对其进行多种图像处理并显示在监视器上。
日本专利申请公开号2002-065601和2009-201540提出将串行传输用作将成像信号从内窥镜的成像设备传输到处理器设备的方法。根据这些公开,与其中成像信号作为模拟信号传输的情况相比,传输较不易受噪声影响并且传输特性可以被改善。同样,与其中成像信号作为并行信号传输的情况相比,信号线的数量可以减少(即,内窥镜插入部的直径可以减小),并且传输速度可以增加(即,快照图像的图像质量可以得到提高)。
同样,日本专利申请公开号2009-201540提出因为在上述内窥镜系统中从内窥镜的成像设备到处理器设备的传输距离长,所以如果利用高速串行传输技术将与成像信号同步的时钟信号与成像信号一起同样从固态成像元件传输到处理器设备,则由于与成像信号和时钟信号中的每个的不同信号线相关的寄生电容和布线阻抗的差异会发生时序偏差(timing skew),由此使得成像信号的传输不稳定并且导致在处理器设备中错误的数据检测的发生,从而不利地降低图像质量。此外,日本专利申请公开号2009-201540提出成像信号通过由8B10B编码器编码在成像设备中转换为串行信号,将时钟信号嵌入到成像信号中以致低态或高态中的周期是三个时钟以下,并且通过处理器设备中的时钟数据恢复电路(CDR电路)从成像信号中提取时钟信号,由此解决时序偏差的问题并实现成像信号的高速、稳定化的串行传输。
发明内容
与此同时,当高频处理工具被插入到内窥镜的钳子通道(forcepschannel)中进行使用时,或者当氩气从作为氩等离子体凝固术(argon plasmacoagulation)(APC)的用于施加高频的插入至钳子通道中的处理工具喷射到患病区域上时,产生强的噪声。为此,在成像信号传输期间发生数据破坏如位插入(bit insertion)和位缺失(bit missing),并且在接收成像信号的处理设备中由所述成像信号获得的图像(视频)中发生扰动,由此当在监视器上显示该图像时不利地降低可见度。
考虑到上述这些情况,作出本发明,并且本发明的目的是提供一种内窥镜系统,其中成像信号串行地从内窥镜的成像设备传输到外部控制设备(处理器设备),所述内窥镜系统允许减少图像的扰动,即使在成像信号的传输期间由于噪声等发生数据破坏;并且提供用于内窥镜的外部控制设备。
为实现上述目的,本发明的内窥镜系统包括成像设备,其具有安装在内窥镜插入部的顶端处的固态成像元件;外部控制设备,其作为内窥镜的外部设备经由信号线连接到所述成像设备并控制该成像设备;成像设备中的编码装置,所述编码装置对作为成像信号从固态成像元件相继输出的每个像素的像素数据相继编码以将其相继转换为每个字的字数据;成像设备中的成像信号传输装置,所述成像信号传输装置将通过由编码装置向字数据的相继转换所获得的成像信号从并行信号转换为串行信号,并且通过信号线将转换的成像信号传输到外部控制设备;外部控制设备中的成像信号接收装置,所述成像信号接收装置接收通过成像信号传输装置传输的成像信号,并且,将作为成像信号被相继接收的字数据对每个字从串行信号相继转换为并行信号;外部控制设备中的解码装置,所述解码装置将通过成像信号接收装置进行的向并行信号的相继转换获得的字数据对每个字进行相继解码,从而进行向在通过编码装置进行编码前的每个像素的像素数据的相继转换;存储设备,所述存储设备存储通过由所述解码设备的相继转换获得的像素数据;解码装置中的解码错误检测装置,所述解码错误检测装置检测表示解码失败的解码错误的发生;以及插值设备,当所述解码错误的发生被所述解码错误检测设备检测到时,以在发生所述解码错误时的像素当作错误像素的情况下,所述插值设备通过将基于形成所述错误像素的周围部分的一个或多个像素的像素数据产生的插值数据存储在其中要存储错误像素的像素数据所述存储设备的存储区中,从而插值替换所述错误像素的像素数据。
根据本发明,当成像信号从成像设备串行传输到外部控制设备期间由于噪声等而发生数据破坏(如位插入和位缺失)时,由于在外部控制设备的解码装置处发生解码错误而不能获得正常像素数据。发生解码错误时的像素数据被周围部分的像素的像素数据(未破坏的像素数据)插值替换。因此,从成像信号获得的图像(视频)的扰动减小,即使在成像信号的传输期间发生数据破坏。
在本发明中,存储装置可以配置有一个或多个缓冲存储器,所述缓冲存储器存储通过所述解码设备相继转换后以帧的单位作为传输单位输出的多个像素的一帧像素数据。
在本发明中,作为用于产生所述插值数据的形成所述错误像素的周围部分的一个或多个像素的像素数据,所述插值设备可以使用位于相同图像上在相对于所述错误像素的预定距离范围内的像素的像素数据和在在相对于获得所述错误像素的时间的预定时间范围内获得的图像上与所述错误像素相同的位置处的像素的像素数据中的一个或多个像素数据片。
在本发明中,在相对于获得所述错误像素的时间的预定时间范围内获得的图像上在与所述错误像素相同的位置处的像素的像素数据可以包括在一屏前或后在与所述错误像素相同的位置处的像素的正常像素数据。
在本发明中,编码装置可以是8B10B编码器,8B10B编码器通过使用8B10B编码方案编码八位的像素数据以转换为被当作是一个字的十位字数据,而解码装置可以是8B10B解码器,8B10B解码器将通过使用8B10B编码方案对从编码装置的编码获得的字数据对每个字进行解码,以转换为在通过8B10B编码器进行编码之前的八位像素数据。
在本发明中,解码错误检测装置可以检测作为解码错误的表错误和不一致错误的发生。
在本发明中,成像信号接收装置可以包括时钟数据恢复电路,所述时钟数据恢复电路从由成像信号传输装置传输的作为成像信号的串行信号中提取时钟信号并用时钟信号将成像信号再定时。
在本发明中,成像设备可以包括同步数据插入装置,所述同步数据插入装置在要被传输到外部控制设备的成像信号中以预定间隔插入用于字同步的字同步数据,并且外部控制设备可以包括同步处理装置,所述同步处理装置检测从成像信号接收装置接收的成像信号中的字同步数据并且,基于检测到的字同步数据,调整在通过成像信号接收装置进行的向并行信号的转换中或在通过解码装置进行的向像素数据的转换中对每个字划定的字数据的定时,以实现字同步。
在本发明中,成像设备的固态成像元件可以是CMOS型固态成像元件。
同样,用于根据本发明的内窥镜的外部控制设备控制内窥镜的成像设备并且接收作为串行信号从成像设备传输的成像信号。用于内窥镜的外部控制设备相继接收通过相继编码获得的每个字的字数据,作为成像信号从成像设备相继输出的每个像素的像素数据,并且外部控制设备包括成像信号接收设备,所述成像信号接收设备接收从成像设备传输的成像信号并且将作为成像信号相继接收的字数据对每个字从串行信号相继转换为并行信号;解码设备,所述解码设备将通过所述成像信号接收设备进行的向所述并行信号的相继转换所获得的所述字数据对每个字进行相继解码,从而进行向编码前的每个像素的像素数据的相继转换;存储设备,所述存储设备存储通过由所述解码设备的相继转换获得的像素数据;所述解码设备中的解码错误检测设备,所述解码错误检测设备检测表示解码失败的解码错误的发生;以及插值设备,当所述解码错误的发生被所述解码错误检测设备检测到时,以在发生所述解码错误时的像素当作错误像素的情况下,所述插值设备通过将基于形成所述错误像素的外围部分的一个或多个像素的像素数据产生的插值数据存储在其中要存储错误像素的像素数据所述存储设备的存储区中,从而插值替换所述错误像素的像素数据。
根据本发明,当成像信号从成像设备串行传输到外部控制设备期间由于噪声等而发生数据破坏(如位插入和位缺失)时,由于在外部控制设备的解码装置处发生解码错误而不能获得正常像素数据。发生解码错误时的像素数据被周围部分的像素的像素数据(未破坏的像素数据)插值替换。因此,从成像信号获得的图像(视频)的扰动减小,即使在成像信号的传输期间发生数据破坏。
在本发明中,存储装置可以配置有一个或多个缓冲存储器,所述缓冲存储器存储通过所述解码设备相继转换后以帧的单位作为传输单位输出的多个像素的一帧像素数据。
在本发明中,作为用于产生所述插值数据的形成所述错误像素的周围部分的一个或多个像素的像素数据,所述插值设备可以使用位于相同图像上在相对于所述错误像素的预定距离范围内的像素的像素数据和在在相对于获得所述错误像素的时间的预定时间范围内获得的图像上与所述错误像素相同的位置处的像素的像素数据中的一个或多个像素数据片。
在本发明中,在相对于获得所述错误像素的时间的预定时间范围内获得的图像上在与所述错误像素相同的位置处的像素的像素数据可以包括在一屏前或后在与所述错误像素相同的位置处的像素的正常像素数据。
在本发明中,作为成像信号从成像设备传输的字数据可以是通过使用8B10B编码方案编码八位像素数据获得的、被当作是一个字的十位字数据,而解码装置可以是8B10B解码器,8B10B解码器通过使用8B10B编码方案将从编码获得的字数据对每个字进行解码,以转换为在编码前的八位像素数据。
在本发明中,解码错误检测装置可以检测作为解码错误的表错误和不一致错误的发生。
在本发明中,成像信号接收装置可以包括时钟数据恢复电路,所述时钟数据恢复电路从通过成像信号传输装置传输的作为成像信号的串行信号中提取时钟信号,并且利用该时钟信号对成像信号进行再定时。
在本发明中,用于字同步的字同步数据以预定间隔插入到要从成像设备传输的成像信号中,而外部控制设备可以包括同步处理装置,所述同步处理装置检测从成像信号接收装置接收的成像信号中的字同步数据并且,基于检测到的字同步数据,调整在通过成像信号接收装置进行的向并行信号的转换中或在通过解码装置进行的向像素数据的转换中对每个字划定字数据的定时,以进行字同步。
根据本发明,在成像信号从内窥镜的成像设备串行地传输到外部控制设备(处理器设备)的内窥镜系统中,可以减少图像的扰动,即使在图像信号的传输期间由于噪声等而发生数据破坏。
附图说明
图1是内窥镜系统的示意性结构的完整视图;
图2是电子内窥镜的顶端的正面的视图;
图3是电子内窥镜的顶端的结构的局部放大剖视图;
图4是固态成像元件的结构的电路图;
图5是固态芯片和处理器设备的结构的框图;
图6是用于描述像素数据的并行-串行转换的说明图;
图7是CDR电路的结构的框图;
图8是描述CDR电路的运行的时间图;
图9是框图,其提取并显示与数据从成像芯片向处理器设备的传输相关的传输系统电路的结构;
图10是这样的图,其显示用于描述通过P/S转换器中的同步数据插入处理部100插入字同步数据的数据结构;
图11是这样的图,其显示用于描述通过P/S转换器中的P/S转换处理部进行P/S转换的数据结构;
图12是这样的图,其显示从成像芯片传输到处理器设备的成像信号的数据结构;
图13是这样的图,其显示输入到S/P转换器的成像信号的数据结构;
图14是当S/P转换器中的字同步处理部基于字同步数据进行字同步处理时的确定处理的处理步骤的流程图;
图15是当在S/P转换器中的字同步部处基于解码错误进行字同步处理时的处理步骤的流程图;以及
图16是说明图,其用于描述图像处理电路中的插值处理。
具体实施方式
以下根据附图详细描述本发明的优选实施方案。
显示在图1中的内窥镜系统2配置有电子内窥镜10,处理器设备11,光源设备12,等等。
内窥镜设备10包括要被插入到体腔中的柔性插入部14,与插入部14的基体端部相连的操作部15,以及与处理器设备11和光源设备12相连的通用电缆16。
在插入部14的顶端处,连接有顶端部17,顶端部17中内置有用于拍摄体腔内部图像的成像芯片(成像设备)42(参见图3)。在顶端部17的后部,设置有可弯曲部18,可弯曲部18具有多个相互连接的弯曲件。在给被操作的操作部15设置角度旋钮19的情况下,插入到插入部14中的导丝被推进或拉出,由此使得可弯曲部18进行向上、向下、向左和向右的弯曲操作。以此,顶端部17被定向至体腔内的所需方向。
通用电缆16的基体端部与连接器20相连。连接器20是复合型的,并且处理器设备11和光源设备12也与连接器20相连。
处理器设备11经由插入在通用电缆16中的线缆50(参见图3)向电子内窥镜10提供电功率从而控制成像芯片42的驱动,并且经由线缆50接收自成像芯片42传输的成像信号并对接收的成像信号进行多种信号处理从而转换成图像数据。通过在处理器设备11处的转换获得的图像数据在经线缆与处理器设备11相连的监视器21上作为内窥镜图像被显示。同样,处理器设备11经由连接器20与光源设备12电连接从而以集中方式控制内窥镜系统2的运行。
在图2中,顶端部17具有正面17a,正面17a被设置成具有观察窗30、照明窗31,钳子出口32以及供气/供水喷嘴33。观察窗30被布置在顶端部17一侧的中心处。两个照明窗31被布置在相对于观察窗30对称的位置处,照明窗31将来自光源设备12的照明光发射到体腔内要被观察的区域上。钳子出口32与被布置在插入部14内的钳子通道51(参见图3)相连,并且也与设置到操作部15的钳子端口22(参见图1)通信。在钳子端口22中,可以插入设置在其顶端处的任一种具有注射针、高频刀等的各种处理工具,并且处理工具的顶端从钳子出口32中露出。响应于对供气/供水按钮23的操作(参见图1),供气/供水喷嘴33将供应自内置在光源设备12中的供气/供水设备的冲洗用水或空气向观察窗30或体腔内部注射。
在图3中,在观察窗30的后部,布置有镜筒41,保持物镜光学系统40的用于获取体腔内要被观察的区域的图像光的镜筒41。安装镜筒41以使物镜光学系统40的光轴与插入部14的中心轴平行。在镜筒41的后端处,连接有棱镜43,其将通过物镜光学系统40的要被观察的区域的图像光(当其基本以直角弯曲时)引导至成像芯片42。
成像芯片42是单片式半导体(所谓CMOS传感器芯片),其具有在其中形成为一体的CMOS型固态成像元件44和用于驱动固态成像元件44并输入和输出信号的外围电路45,并且被安装在支持基板46上。固态成像元件44的成像表面44a被布置成面向棱镜43的出射平面。在成像表面44a上,经由矩形框形的隔板47安装矩形板形的覆盖玻璃48。利用粘合剂来组装成像芯片42、隔板47以及覆盖玻璃48。以此,成像表面44a免于灰尘的进入。
在向插入部14的后端延伸的支持基板46的后端处,多个输入/输出端子46a被设置成在支持基板46的宽度方向上排列。信号线49(图5中的信号线49a至49e)与输入/输出端子46a相连以用于经由通用电缆16介导与处理器设备11的各种信号交换。输入/输出端子46a经由在支持基板46上形成的配线、焊接点及其他(未显示)与成像芯片42中的外围电路45电连接。信号线49被集体插入到柔性管状线缆50中。线缆50被插入到插入部14、操作部15和通用电缆16中每一个的内部,并且然后与连接器20相连。
虽然未显示于附图中,但是照明部被设置在照明窗31的后面。在照明部处,设置有引导来自光源设备12的照明光的光导的出射端。光导与线缆50一起被插入到插入部14、操作部15和通用电缆16中每一个的内部,并且具有与连接器20相连的入射端。
在图4中,固态成像元件44配置有像素部61,像素部61具有被布置成矩阵的单位像素60;相关双采样(CDS)电路62,其对来自像素部61的输出信号(像素数据)进行处理(噪声抑制处理);垂直扫描电路63,其控制在垂直方向上的像素部61的扫描并且还控制像素部61的复位操作;水平扫描电路64,其控制在水平方向上的扫描;输出电路65,其输出像素数据;以及控制电路66,其向电路62至64中的每一个提供控制信号并且控制垂直和水平扫描以及采样等的定时。
每个单位像素60被配置成包括一个光电二极管D1、复位晶体管M1、驱动(放大)晶体管M2和像素选择晶体管M3。每个单位像素60与垂直扫描线(行选线)L1和水平扫描线(列信号线)L2相连,并且被垂直扫描电路63和水平扫描电路64相继扫描。
控制电路66生成要被输入到垂直扫描电路63和水平扫描电路64的用于扫描像素部61的行和列的控制信号,要被输入到垂直扫描电路63的用于复位在光电二极管D1中积累的信号电荷的控制信号,以及要被输入到CDS电路62的用于控制像素部61和CDS电路62之间的连接的控制信号。
CDS电路62对于每条列信号线L2分区设置,并且根据从水平扫描电路64输出的水平扫描信号相继输出与通过垂直扫描电路63选择的行选线L1相连的每个单位像素60的像素数据。水平扫描电路64通过使用水平扫描信号控制设置在CDS电路62和与输出电路65相连的输出总线线路L3之间的列选晶体管M4的开/关(ON/OFF)。输出电路65放大从列选晶体管M4相继传输到输出总线线路L3的像素数据以用于输出。下文中,将从输出电路65输出的一系列像素数据统称为成像信号。
要注意,虽然未在附图中显示,固态成像元件44是单板(single-plate)彩色成像型固态成像元件,其包括由多个彩色区段形成的滤色片(例如,Bayer阵列中的原色滤色片)。
在图5中,成像芯片42中的外围电路45配置有PLL(锁相环路)电路70,其产生内部时钟信号;寄存器,其为固态成像元件44设置控制数据;模拟-数字(A/D)转换器72,其将从固态成像元件44输出的成像信号数字化;8B10B编码器73,其对数字化的成像信号进行8B10B编码;PLL电路74,其产生串行传输时钟信号;以及并行-串行(P/S)转换器75,其将编码的成像信号转换为用于输出的串行信号。
PLL电路70是相同步电路,其包括相位比较器、环路滤波器、压控振荡器和分频器,产生与从处理器设备11输入的稳定的参考时钟信号BCLK同步的内部时钟信号ICLK,并且具有与参考时钟信号BCLK的频率具有预定的比例关系的频率(通过乘法运算获得)。该内部时钟信号ICLK被提供给外围电路和固态成像元件44的控制电路66中的每个部件(参见图4)。
寄存器71保留从用于驱动固态成像元件44的处理器设备11输入的控制数据CTLD,并且将控制数据CTLD输入到固态成像元件44的控制电路66(参见图4)。寄存器71是用于串行-并行转换的移位寄存器,其将以串行信号形式输入的控制数据CTLD转换为用于输入到控制电路66的并行信号。作为该控制数据CTLD,输入像素扫描类型(所有像素扫描/交替扫描)、要被扫描的像素区域(离扫描开始或结束的单位像素60的位置或扫描开始或结束时的单位像素60的位置)、快门速度(曝光时间)等。控制电路66基于控制数据CTLD和内部时钟信号ICLK控制固态成像元件44中的电路62至64中的每个。
A/D转换器72将从固态成像元件44输出的成像信号的每个像素数据量化为模拟信号用以转换为八位数字信号(256级灰度),并且通过使用八根配线将通过转换获得的八位数字信号输入到8B10B编码器73。
8B10B编码器73是8B10B方案的编码器,其将冗余的两位数据添加到从A/D转换器72输入的八位像素数据用以转换(编码)为十位像素数据。从八位到十位的转换通过使用由规则定义的转换表进行。此处,采用被当作一个字的十位的数据的量,通过对每个八位像素数据的转换获得的十位数据假定被称为字数据。该转换是为了防止在以下将进一步描述的串行传输中在一个预定周期以上出现相同信号电平(″0″或″1″)。例如,当初始八位像素数据是″00000000″时,转换为十位数据″1001110100″(每个字的字数据)。当初始八位像素数据为″00001111″时,转换为字数据″0101110100″。
PLL电路74具有与上述PLL电路70的结构相似的结构,产生通过将内部时钟信号ICLK的频率乘以例如系数10而获得的串行传输时钟信号TCLK,并且将产生的信号提供给P/S转换器75。
P/S转换器75根据通过PLL电路74产生的串行传输时钟信号TCLK将从8B 10B编码器73相继输入的像素数据(字数据)从并行信号(并行数据)转换为串行信号(串行数据),如在图6中所示。此处,在运行PLL电路74的情况下,转换后串行数据的频率增大至转换前并行数据的频率的10倍。通过P/S转换器75产生的串行数据经由线缆50中的信号线49a作为成像信号SDT传输。
处理器设备11被配置成包括,如在图5中所示,主控制电路(CPU)76,其控制整个设备;电源电路77,其产生电源电压VDD和接地电压VSS;参考时钟发生器78,其产生参考时钟信号BCLK;时钟和数据恢复(CDR)电路79,其从成像芯片42接收成像信号SDT并且从成像信号SDT复写时钟信号和数据信号;PLL电路80,其将通过CDR电路79产生的频率倍增以产生用于信号处理的具有与成像芯片42中的内部时钟信号ICLK的频率相同的频率的时钟信号;串行-并行(S/P)转换器81,其将通过CDR电路79产生的数据信号(字数据)从串行数据转换为并行数据;8B10B解码器82,其对来自S/P转换器81的字数据进行8B10B方案的解码以产生由八位像素数据形成的成像信号;以及图像处理电路83,其对解码的成像信号进行图像处理以产生用于在监视器21上显示的图像数据。
电源电路77将电源电压VDD和接地电压VSS供给到处理器设备11中的每个部件,并且经由信号线49b和49c将这些电压供给到成像芯片42中的每个部件。参考时钟发生器78产生具有稳定频率的参考时钟信号BCLK,并且经由信号线49d将产生的信号输入到成像芯片42中的PLL电路70。
CPU 76控制处理器设备中的每个部件并产生上述控制数据CTL用于经由信号线49e向成像芯片42中的寄存器71输入。
CDR电路79检测从成像芯片42串行传输的成像信号SDT的相位,与该成像信号SDT的频率同步地产生提取时钟信号RCLK,并利用该提取时钟信号RCLK采样成像信号SDT,由此产生通过利用提取时钟信号RCLK对成像信号SDT进行再定时获得的数据(再定时数据:成像信号RSDT)。
具体地,如在图7中所示,CDR电路79被配置成包括相位比较器(PD)90,环路滤波器(LPF)91,压控振荡器(VCO)92和D型触发器93。成像信号SDT和通过VCO 92产生的提取时钟信号RCLK被输入到PD 90。来自PD 90的输出经由LPF 91输入到VCO 92。D型触发器93具有被输入以成像信号SDT的数据输入端子D和被输入以提取时钟信号RCLK的时钟输入端子。
PD 90通过比较成像信号SDT和提取时钟信号RCLK的前沿来检测相位差,并且经由LPF 91将检测信号输入到VCO 92。VCO 92根据输入的检测信号改变提取时钟信号RCLK的频率。结果,如在图8中所示,与成像信号SDT的频率同步的提取时钟信号RCLK从VCO 92输出。
D型触发器93用提取时钟信号RCLK的前沿对成像信号SDT进行采样并保留数据,将成像信号SDT复写为与提取时钟信号RCLK相同步的再定时数据以用于从数据输出端子Q输出。通过CDR电路79产生的提取时钟信号RCLK被输入到PLL电路80,并且被复写的成像信号SDT被输入到S/P转换器81。
返回图5,PLL电路80具有与上述PLL电路70的结构相似的结构,将提取时钟信号RCLK的频率乘以1/10以产生频率与内部时钟信号ICLK的频率相同的信号处理时钟信号SCLK,并且将产生的信号供给到S/P转换器81、8B10B解码器82和图像处理电路83。
S/P转换器81根据通过PLL电路80产生的时钟信号SCLK对从CDR电路79输入的成像信号RSDT进行与显示在图6中的并行-串行转换的逆转换对应的串行-并行转换,其将相继输入的字数据从串行数据转换为并行数据。对每个字数据通过S/P转换器81从串行数据转换为并行数据的成像信号RSDT被输入到8B10B解码器82。
8B10B解码器82使用由8B10B方案的规则定义的转换表以进行与上述8B10B编码器73的转换相反的转换(解码),并且将相继输入的成像信号RSDT从十位并行数据(字数据)恢复为八位的初始并行数据(像素数据)。以此,可以获得通过8B10B编码器73编码前的像素数据。然后,由通过8B10B解码器82恢复的像素数据形成的成像信号被输入到图像处理电路83。
图像处理电路83基于时钟信号SCLK检测包含在成像信号中的每个像素数据并将像素数据记录在内存储器112中,并且还进行图像处理如白平衡调整,增益校正,颜色插值,轮廓增强,γ校正,和彩色矩阵计算以产生图像数据。同样,图像处理电路83将图像数据转换为用于在监视器21上显示的信号格式,从而使得图像显示在监视器21上。
当通过以上配置的内窥镜系统2对体腔内部进行观察时,电子内窥镜10、处理器设备11、光源设备12和监视器21的电源被开启(ON),并且电子内窥镜10的插入部14被插入到体腔内。当利用来自光源设备12的照明光对体腔内部进行照明时,利用监视器21对通过固态成像元件44捕获的体腔内部的图像进行观察。
通过固态成像元件44产生的成像信号通过A/D转换器72转换为八位并行数据,并且通过8B10B编码器73编码为十位并行数据。该由十位并行数据形成的成像信号通过P/S转换器75转换为串行数据,并且然后经由信号线49a传输到处理器设备11。
处理器设备11在CDR电路79处接收串行传输的成像信号。CDR电路79产生时钟信号(提取时钟信号RCLK)和与该时钟信号相同步的数据信号(再定时数据RSDT)。通过S/P转换器81和8B10B解码器82,基于提取时钟信号RCLK,将通过CDR电路79作为再定时数据产生的成像信号RSDT进行恢复为初始的八位并行数据的转换。由此八位并行数据形成的成像信号通过图像处理电路83转换为图像数据,并将图像显示在监视器21上。
接下来,描述在上述内窥镜系统2中,成像信号从成像芯片4到处理器设备11的传输。
图9是结构图,其提取并显示在显示在图5中的8B10B编码器73之后,用于将像素数据从成像芯片42传输到处理器设备11的成像信号的传输系统电路。
如上所述,在成像芯片42中,从A/D转换器72相继输入到8B10B编码器73的像素数据(其是作为成像信号相继输入的八位并行数据)通过8B10B编码器73转换为十位并行数据(十位字数据作为一个字),并且然后被输入到P/S转换器75。相继输入到P/S转换器75的像素数据通过P/S转换器75从并行数据转换为串行数据用于作为成像信号SDT传输到处理器设备11。
在传输如上所述的成像芯片42中的成像信号SDT时,用于字同步的字同步数据以预定间隔(以预定时间间隔并且以预定位间隔)插入到成像信号SDT中。
字同步数据是在处理器设备11(处理器设备11接收作为从成像芯片42传输的成像信号SDT的串行数据)中使用的数据,以检查将串行数据对每个字划定字数据的定时是处于作为划定每个像素数据的定时的适当状态,即,在本实施方案中,从成像芯片42的8B10B编码器73相继输出的字数据和从接收串行数据(成像信号SDT)的处理器设备11中的串行数据相继获得的字数据相互匹配(建立字同步),并且如果没有建立字同步则恢复字同步。
作为该字同步数据,使用不作为8B10B编码器73的输出数据存在的位模式的字数据。例如,使用″0101111100″(被称为逗号数据(comma data))作为字同步数据。注意,字同步数据可以具有其他位模式。
字同步数据通过例如成像芯片42的P/S转换器75插入到成像信号SDT中。如在图9中所示,P/S转换器75包括同步数据插入处理部100和P/S转换处理部102。
同步数据插入处理部100使得作为成像信号从8B10B编码器73相继输入的十位字数据(一个字)在如在图10(A)中显示的后一阶段通过P/S转换处理部102,并且在预定定时在指示像素数据的多片字数据之间插入用于每个字的字同步数据,并将结果输出到P/S转换处理部802。注意,即使要经由A/D转换器72从固态成像元件44输入到8B10B编码器73的成像信号包含除每个像素的像素数据外的数据,该数据在此处也不被提及,并且以下通过假设仅像素数据作为成像信号被输入来进行描述。
作为插入字同步数据的定时,当利用被称为隔行方案或隔行方案的扫描方案在固态成像元件44处读取像素数据时,例如,如在图10的(B)中所示,每当一条水平扫描线的像素数据(字数据)通过数据插入处理部100时(即,对于每个水平扫描周期)插入一片字同步数据。在此情况中,数据插入处理部100可以对要通过其的字数据的字数目进行计数并且每当具有用于一条水平扫描线的字的数目(像素数)的字数据通过时插入字同步数据。备选地,可以从固态成像元件44的控制电路66获得关于当前像素数据的读取位置的信息,并且可以基于该信息插入字同步数据。另外备选地,作为插入字同步数据的位置,能够在每条水平扫描线的起始像素的字数据前或在每条水平扫描线的结束像素的字数据之后插入字同步数据,即,邻近特定像素的字数据的位置,如其中切换要被允许通过的字数据的水平扫描线(水平扫描线的编号)的位置(对应于水平消隐期的位置)。
注意,插入字同步数据的定时不一定是如上所述用于每条水平扫描线。
P/S转换处理部102将如上所述的其中插入字同步数据的作为成像信号从同步数据插入部100相继输出的字数据从并行数据转换为串行数据,如在图6中所示。以此,其中具有以预定间隔插入的字同步数据的表示像素数据的字数据从如在图11的(A)中所示的并行数据转换为如在图11的(B)中所示的串行数据,并且其中具有插入的字同步数据的串行数据作为成像信号SDT从成像芯片42传输到处理器设备11。
注意,如图12中所示P/S转换器75使用以预定位数的数据以帧的单位作为最小传输单位(其被称为一帧)传输成像信号SDT,并为每帧添加指示帧的开始的开始位(例如,″0″)和指示帧的结束的结束位(例如,″1″)。同样,一帧的数据量可以是,例如,当一个屏幕(在其中像素数据读取方案是隔行方案的情况下为一个区域以及在逐行方案的情况下为一帧)的像素数据(包括字同步数据等)在固态成像元件44中传输时的数据量,或者可以是当一条水平扫描线的像素数据被传输时的数据量。可以设定任何数据量。
同样,字同步数据可以不由P/S转换器75插入而是由8B10B编码器或除8B10B编码器73和P/S转换器75外的处理部插入。
另一方面,如上所述,在处理器设备11中,从成像芯片42传输的成像信号SDT通过CDR电路79进行再定时,然后通过S/P转换器81转换为十位的并行数据(字数据),并且然后输入到8B10B解码器82。相继输入到8B10B解码器82的字数据通过S/P转换器81解码为初始八位像素数据,然后被输入到图像处理电路83。
首先,描述基于在上述处理器设备11中接收成像信号SDT时的字同步数据的字同步处理。在处理器设备11,基于字同步数据,进行处理以检测字同步是否已经建立并且当字同步未被建立时恢复字同步。
字同步意味着,在接收作为成像信号SDT从成像芯片42传输的串行数据的处理器设备11中,将串行数据对每个字划定字数据的定时在适当的状态下被设定为划定每个像素数据的定时,即,在本实施方案中,从成像芯片42的8B10B编码器73相继输出的字数据和从处理器设备11的8B10B解码器82相继输出的字数据相互匹配。如果成像信号SDT正常地从成像芯片42传输到处理器设备11而不发生数据破坏(如位插入或位缺失),则S/P转换器81检测作为成像信号以帧的单位传输的串行数据的起始位,并且对于每个字(十位)将之后的位数据串转换为并行数据,由此建立字同步状态。
另一方面,在成像信号的传输期间,尤其在成像信号SDT从成像芯片42传输到处理器设备11期间,数据破坏如位插入或位缺失可能由于噪声等的影响而发生,由此导致字同步的定时的偏差以及其中未建立字同步的状态。在此情况中,通过检查字同步,检测到字同步未被建立,并且通过恢复字同步将该状态恢复到字同步得到建立的状态。
基于字同步数据的检查和恢复字同步的处理通过例如处理器设备11的S/P转换器81进行。如在图9所示,S/P转换器81包括同步数据检测处理部104、S/P转换处理部106和字同步处理部108。
同步数据检测处理部104检测在从CDR电路79作为成像信号(进行再定时的成像信号RSDT)相继输入的串行数据中的指示字同步数据的位模式并且,当借此检测到字同步数据时,将指示已经检测到字同步数据的检测信号提供给字同步处理部108。同样,在后一阶段使不同于字同步数据的字数据通过S/P转换处理部106,由此将字同步数据从成像信号中移走。注意,将字同步数据从成像信号移走的处理可以在后一阶段在8B10B解码器82或图像处理电路83中进行。
S/P转换处理部106对每个字(十位)划定通过同步数据检测处理部104的字数据以用于从串行数据向十位并行数据转换。
当指示已经检测到字同步数据的检测信号从同步数据检测处理部104提供给如在图13中所示的作为成像信号从CDR电路79输入到S/P转换器81的串行数据时,字同步处理部108使得S/P转换处理部106在对每十位划定字同步数据后的位数据串的定时将串行数据转换为十位的并行数据用于作为十位位数据串进行并行传输。
即,在对每十位划定字同步数据后的位数据串的定时(其中字同步数据后的位数据串每十位被划定的位置被当作字数据的边界(字划定位置)),十位的位数据串被转换为十位的并行数据,由此建立字同步状态。然而,基于对字同步数据的检测(来自同步数据检测处理部104的检测信号),字同步处理部108调整通过S/P转换处理部106将串行数据(位数据串)转换为并行数据的S/P转换的定时以致因此建立字同步。
如果当检测信号从同步数据检测处理部104提供给字同步处理部108时确保其中已经建立字同步的状态,则即使S/P转换处理部106的S/P转换的定时被调整,该状态也不改变并且,基本上,仅确认字同步已经建立。
相反,如果当检测信号从同步数据检测处理部104提供给字同步处理部108时处于未建立字同步的状态,则字同步处理部108基于如上所述的对字同步数据的检测调整S/P转换处理部106的S/P转换的定时,由此恢复字同步。
因而,利用通过字同步处理部108的检查和恢复字同步的处理(字同步处理),通过S/P转换处理部106转换为并行数据的成像信号配置有与在字同步数据被插入之前的成像信号匹配的字数据(像素数据),如在图10的(A)中所示。即,进行字同步(对准)以使输入到8B10B解码器82的、在后一状态下被S/P转换器81从串行数据转换为并行数据的字数据与通过8B10B编码器73编码后的字数据匹配。同样,在成像信号的传输期间,即使由于噪声等的影响而发生数据破坏从而导致字同步偏差,基于字同步数据,在字同步处理部108处,利用字同步处理将字同步恢复到适当状态。
此处,当数据破坏在成像信号等的传输期间发生时,除字同步数据外的数据可以与字同步数据的位模式匹配。此处,同步数据检测处理部104错误地将除字同步数据外的数据作为字同步数据,并且如果字同步处理部108基于错误检测的字同步数据进行上述字同步处理,则状态不利地变为如字同步未被建立那样。
为防止该不便,合适的是基于对字同步数据的预定次数(次数为两次以上并且,例如,三次)的检测,进行上述字同步处理(检查和恢复字同步的处理)。即,当以具有适当间隔(以在P/S转换器75处插入字同步数据的预定时间间隔或位数间隔)的定时(即,当将检测到由P/S转换器75插入的字同步数据时的定时)多次检测到字同步数据时,合适的是将这些字同步数据片确定为适当的字同步数据片并进行上述字同步处理(检查和恢复字同步的处理)。
关于具体模式,当以适当的连续间隔检测到字同步数据预定次数(次数为两次以上并且,例如,三次)时,这些字同步数据片被确定为适当的字同步数据片,并且进行上述字同步处理(检查和恢复字同步的处理)。
即,当指示已经检测到字同步数据的检测信号被以适当的间隔和预定的次数从同步数据检测处理部104提供给字同步处理部108时,字同步处理部108确定这些是对适当的字同步数据片的检测。并且,当适当的字同步数据片的检测被确定时,基于最后检测到的最新的字同步数据的检测信号进行字同步处理。
图14是当字同步处理部108基于字同步数据进行字同步处理时的确定处理的处理步骤的流程图。
在步骤S10,确定是否已经检测到字同步数据。即,确定在作为成像信号输入到S/P转换器81的串行数据中是否已经检测到与字同步数据匹配的位模式以及检测信号是否已经从同步数据检测处理部104提供。当在该步骤S10在确定处理中确定为否(NO)时,重复在步骤S10处的处理。另一方面,当确定为是(YES)时,程序进行至步骤S12。
在步骤S12,确定字同步数据是否以适当的时间间隔连续三次被检测到。即,其中插入字同步数据的时间间隔Ti(其中将检测到适当的字同步数据片的时间间隔)在P/S转换器75中被预定,并且在步骤S12确定在时刻T0-Ti(从当检测到字同步数据时的时刻T0往前返回一个时间间隔Ti)以及在时刻T0-2×Ti(从时刻T0往前返回两个时间间隔Ti)字同步数据是否被检测到。当在该步骤S12在确定处理中确定为否时,程序返回至步骤S10处的处理。当确定为是时,程序进行至步骤S14。注意,虽然在本处理中字同步数据的连续次数为三,但是次数可以不是三次只要该次数为2以上即可。同样,可以确定是否以适当的位数间隔(以其中将要检测到适当的字同步数据片的位数间隔,即,将在两个适当的字同步数据片之间传送的字数据的位数)而不是适当的时间间隔以预定的次数连续检测到字同步数据。
在步骤S14,基于在步骤S10检测到的最新的字同步数据进行字同步处理。即,使得S/P转换处理部106在对每十位划定最新字同步数据后的位数据串的定时进行S/P转换。在该处理结束后,该流程图的处理结束。注意,该流程图的处理反复地进行。
根据此,即使除字同步数据外的数据错误地被检测为字同步数据,所述检测对于进行字同步处理是无效的,并且因此避免不适当的字同步处理。
同样,作为另一种方式,与以上情况不同地,即使未以预定的次数连续检测到适当的字同步数据片,如果在预定的时间周期中以预定的间隔在要被检测的多个字同步数据片之中检测到任意多个字同步数据片,则这些字同步数据片可以被确定为适当的字同步数据片,并且可以进行字同步处理。即,如果指示已经检测到字同步数据的检测信号在预定的时间周期中以预定的次数或更多的次数(与以适当间隔的定时匹配)从同步数据检测处理部104提供到字同步处理部108,则字同步处理部108确定这些是对适当的字同步数据片的检测。然后,当对适当的字同步数据片的检测被确定时,可以基于在其中最后检测到的字同步数据的检测信号进行字同步处理。
注意,字同步数据的检测和基于如上所述的字同步数据检查和恢复字同步的处理可以不在S/P转换器81进行而是在8B10B解码器82进行,并且也可以在除S/P转换器81和8B10B解码器82外的处理部处进行。即,在上述实施方案中,字同步数据在被输入到S/P转换器81的S/P转换处理部106前(在S/P转换前)的串行数据中被检测到,并且S/P转换的定时基于检测到的字同步数据被调整,由此调整将串行数据对每十位划定字数据的定时从而恢复字同步。另一方面,字同步数据可以在被输入到8B10B解码器82前的并行数据中被检测到。同样,基于字同步数据检查和恢复字同步的处理可以通过以下方式进行:在通过8B10B解码器82进行解码前累计并行数据的多个字,并且利用调整的将串行数据划定为字数据的定时重建并行数据用于通过8B10B解码器82解码。
接下来,描述在处理器设备11中接收成像信号SDT时基于解码错误的字同步处理。在处理器设备11中,在8B10B解码器82处基于解码错误进行字同步处理(恢复字同步的处理)。
作为解码错误,例如,存在这样的情况,其中输入到8B10B解码器82的字数据破坏并因此不在转换表中(表错误),并且运行不一致是不适当的(不一致错误)。
进行关于基于该解码错误恢复字同步的处理,例如,在S/P转换器81和8B10B解码器82之间。
8B10B解码器82包括,如在图9中所示,错误输出部110,其当发生恢复错误时输出错误信号。在8B10B解码器82中,当在将从S/P转换器81输入的成像信号从十位并行数据(字数据)解码为初始的八位并行数据(像素数据)时发生解码错误时,错误输出部110检测解码错误的发生并输出错误信号。错误信号被输入到上述S/P转换器81的字同步处理部108。
当错误信号从错误输出部110输入时,字同步处理部108将在S/P转换处理部106处的S/P转换的定时移位一位。即,通过S/P转换处理部106将串行数据(位数据串)转换为并行数据的定时移位一个位数据(延迟或提前)从而将其中作为串行数据输入到字数据中的位数据串的位置(显示在图13中的字划定位置)移位一位。然后,反复进行该处理直到没有错误信号从错误输出部110输入,并且当没有错误信号输入时上述处理停止。
图15是当在字同步部处基于8B10B解码器82的解码错误进行字同步处理时的处理步骤的流程图。
在步骤S20,确定解码错误是否在8B10B解码器82中发生。即,确定解码错误在8B10B解码器82处发生并且错误信号已经由8B10B解码器82的错误输出部提供。如果在步骤S20在该确定处理中确定为否时,流程图的该处理结束。另一方面,如果确定为是时,程序进行至步骤S22。注意,因为该流程图的处理重复进行,所以在步骤S20的确定处理重复进行。
在步骤S22,在S/P转换器81的S/P转换处理部106处的S/P转换的定时移位一位。即,通过S/P转换处理部106将串行数据(位数据串)转换为并行数据的定时向比当前定时或晚或早的定时移位一位数据。当该处理结束时,流程图的处理结束。
根据显示在流程图中的处理,如果发生解码错误,则重复在步骤S22的处理直到不发生解码错误,S/P转换的定时移位一位数据。在不发生解码错误的状态下,状态被假定为:已经建立字同步。因此,当偏差在字同步中发生时,进行上述流程图的处理以恢复字同步。
以此,即使在传输成像信号期间由于噪声等的影响而发生数据破坏等从而导致字同步偏差,利用在字同步处理部108处基于解码错误的字同步处理,可以将字同步恢复至适当状态。同样,能够在比利用基于字同步数据的字同步处理的字同步的恢复更短的周期中恢复,由此实现快速恢复。
注意,如上所述的基于解码错误的恢复字同步的处理可以不在S/P转换器81处进行而是在8B10B解码器82处进行,或是在除S/P转换器81和8B10B解码器82外的处理部处进行。即,在上述实施方案中,在S/P转换器81的S/P转换处理部106处的S/P转换的定时被改变(移位一位),由此改变将串行数据对每十位划定字数据的定时从而恢复字同步。另一方面,关于上述实施方案,基于解码错误的字同步的恢复也可以通过以下方式进行:在8B10B解码器82解码前累计并行数据的多个字,通过改变将串行数据划定为字数据的定时(移位一位)重建并行数据,并且通过8B10B解码器82进行解码。
接下来,描述在处理器设备11中接收成像信号SDT时插值图像数据的处理。在处理器设备11中,当解码错误在8B10B解码器82中发生时,进行插值处理,其中用基于周围部分像素的像素数据产生的像素数据(插值数据)插值替换此时的像素数据。
进行插值处理,例如,在8B10B解码器82和图像处理电路83之间。
图像处理电路83包括如在图9中所示的内存储器(缓冲存储器)112。在内存储器112中,累积预定数据量的要被作为成像信号从8B10B解码器82输入到图像处理电路83的像素数据(例如,用于预定数目的显示屏的数据量的像素数据)。当像素数据的内存储器112的存储容量累积时,最早的像素数据被新输入用于存储的像素数据代替。
同样,上述来自8B10B解码器82的错误输出部110的错误信号也被提供到图像处理电路83。在图像处理电路83中,存储作为成像信号从8B10B解码器82以帧的单位相继输入的像素数据,如在图16中所示。然后,当错误信号由错误输出部110提供时,在此时从8B10B解码器82输出的像素(错误像素)的像素数据不被存储在内存储器112中,而是将由错误像素的周围部分像素的像素数据产生的插值数据存储在其中要存储错误像素的像素数据的内存储器112的存储区,由此用插值数据插值替换错误像素的像素数据。
作为形成错误像素的周围部分的像素的像素数据,除了在空间上邻近错误像素的像素的像素数据,还包括在时间上邻近错误像素的像素的像素数据。在时间上邻近错误像素的像素的像素数据的实例是在同一图像上在距错误像素预定距离范围内的像素的像素数据。其中,用于产生插值数据的像素数据可以被限制为,例如,在垂直方向上或在水平方向上相对错误像素的预定距离范围内的像素的像素数据,或者相对于错误像素彼此邻近的像素的像素数据。
在时间上邻近错误像素的像素的实例是在相对于获得错误像素的时刻在预定时间范围内获得的图像上处于与错误像素的位置相同的位置处的像素的像素数据。其中,用于产生插值数据的像素数据可以被限制为,例如,在一屏前或后获得的图像上的像素数据。
另一方面,用于插值替换错误像素的像素数据的插值数据可以基于如上所述的形成错误像素的周围部分的像素之中的多个像素的像素数据通过预定的计算处理产生,或者可以是形成错误像素的周围部分的像素中任一个的像素数据。
在前一种情况中,例如,在形成错误像素周围部分的像素之中,用于产生插值数据的多个像素被预先确定,并且找到这些像素的像素数据的平均值并将其当作插值数据。此处,用于产生插值数据的像素的像素数据可以被限制为正常像素数据(除错误像素外的像素数据)。注意,基于多个像素数据片的用于产生插值数据的计算处理不限于平均处理,而是可以使用其他处理以产生插值数据。
在后一种情况中,例如,在形成错误像素周围部分的像素之中,预先确定用于产生插值数据的一个像素,并将该像素的像素数据当作插值数据。同样在此情况中,正常像素数据作为被当作插值数据的像素数据是理想的。因此,例如,合适的是,在形成错误像素周围部分的像素之中,给多个像素中的每个提供作为用于产生插值数据的像素的优先权,从其中可以获得正常像素数据的像素中选择具有最高优先权的像素的像素数据,将所选的像素数据当作插值数据。
当错误信号由8B10B解码器82的错误输出部110,图像处理电路83提供时,因此产生的插值数据被存储在内存储器112中以代替错误像素的像素数据,并且对由存储在内存储器112中的多个像素数据片形成的图像数据进行预定的图像处理,并将所得的图像显示在监视器21上。因此,即使在传输成像信号期间由于噪声等的影响而发生数据破坏时,显示在监视器21上的图像的扰动可以被抑制到最小。
注意,插值处理可以不仅通过使用图像处理电路83的内存储器112进行而且还可以在设置在8B10B解码器82和图像处理电路83之间的缓冲存储器处进行。例如,可以设置一个或多个存储一帧(其是成像信号的传输单位)的像素数据的缓冲存储器。在此情况中,从8B10B解码器82输出的像素数据以帧的单位暂时存储在缓冲存储器(存储器)中并且,缓冲存储器具有存储在其中的像素数据,最早一帧的像素数据从缓冲存储器输出到图像处理电路83,并且来自8B10B解码器82的新一帧的像素数据被存储在所述缓冲存储器中。如果设置多个缓冲存储器,则从8B10B解码器82相继输出的像素数据被以帧的单位循环存储在多个缓冲存储器中。在此情况中,缓冲存储器的数目是任意的只要缓冲存储器满足这样的容量即可:其中用于产生错误数据的插值数据的像素的像素数据可以以其中用于存储错误像素的插值数据的存储区存在于每个缓冲存储器中的状态存储在缓冲存储器中。同样在此情况中,从缓冲存储器读取用于产生插值数据的像素数据并且产生插值数据的处理可以在图像处理电路83,另一个处理部件,或专门设置的处理部件处进行。
虽然在上述实施方案中固态成像元件44通过CMOS型固态成像元件来实现,但是本发明不限于此,并且固态成像元件44可以通过CCD型固态成像元件来实现。
同样,虽然在上述实施方案中通过A/D转换器72产生的八位像素数据被8B10B编码器73转换为十位的像素数据,但是本发明不限于此,并且当适当时转换前后的位数可以改变。

Claims (17)

1.一种内窥镜系统,其包括:
成像设备,其具有安装在内窥镜的插入部的顶端处的固态成像元件;
外部控制设备,其作为用于所述内窥镜的外部设备经由信号线连接到所述成像设备并且控制所述成像设备;
所述成像设备中的编码设备,所述编码设备对作为成像信号从所述固态成像元件相继输出的每个像素的像素数据相继编码用于相继转换为每个字的字数据;
所述成像设备中的成像信号传输设备,所述成像信号传输设备将通过所述编码设备向字数据的所述相继转换获得的所述成像信号从并行信号转换为串行信号并通过所述信号线将转换的成像信号传输到所述外部控制设备;
所述外部控制设备中的成像信号接收设备,所述成像信号接收设备接收通过所述成像信号传输设备传输的所述成像信号,并将作为所述成像信号被相继接收的字数据对每个字从所述串行信号相继转换为并行信号;
所述外部控制设备中的解码设备,所述解码设备将通过所述成像信号接收设备进行的向所述并行信号的相继转换所获得的所述字数据对每个字进行相继解码,从而进行向在通过所述编码设备进行编码前的每个像素的像素数据的相继转换;
存储设备,所述存储设备存储通过由所述解码设备的相继转换获得的像素数据;
所述解码设备中的解码错误检测设备,所述解码错误检测设备检测表示解码失败的解码错误的发生;以及
插值设备,当所述解码错误的发生被所述解码错误检测设备检测到时,以在发生所述解码错误时的像素当作错误像素的情况下,所述插值设备通过将基于形成所述错误像素的周围部分的一个或多个像素的像素数据产生的插值数据存储在其中要存储错误像素的像素数据所述存储设备的存储区中,从而插值替换所述错误像素的像素数据。
2.根据权利要求1所述的内窥镜系统,其中
所述存储设备配置有一个或多个缓冲存储器,所述缓冲存储器存储通过所述解码设备相继转换后以帧的单位作为传输单位输出的多个像素的一帧像素数据。
3.根据权利要求1或2所述的内窥镜系统,其中
作为用于产生所述插值数据的形成所述错误像素的周围部分的一个或多个像素的像素数据,所述插值设备使用位于相同图像上在相对于所述错误像素的预定距离范围内的像素的像素数据和在在相对于获得所述错误像素的时间的预定时间范围内获得的图像上与所述错误像素相同的位置处的像素的像素数据中的一个或多个像素数据片。
4.根据权利要求3所述的内窥镜系统,其中
在相对于获得所述错误像素的时间的预定时间范围内获得的图像上在与所述错误像素相同的位置处的像素的像素数据包括:
在一屏前或后在与所述错误像素相同的位置处的像素的正常像素数据。
5.根据权利要求1或2所述的内窥镜系统,其中
所述编码设备是8B10B编码器,其通过使用8B10B编码方案来编码八位像素数据以转换为被当作一个字的十位字数据,并且
所述解码设备是8B10B解码器,其通过使用所述8B10B编码方案将从由所述编码设备进行编码获得的所述字数据对每个字进行解码,以转换为在通过所述8B10B编码器进行编码之前的所述八位像素数据。
6.根据权利要求5所述的内窥镜系统,其中
所述解码错误检测设备检测作为所述解码错误的表错误和不一致错误的发生。
7.根据权利要求1或2所述的内窥镜系统,其中
所述成像信号接收设备包括时钟数据恢复电路,所述时钟数据恢复电路从作为所述成像信号通过所述成像信号传输设备传输的所述串行信号中提取时钟信号并用所述时钟信号将所述成像信号再定时。
8.根据权利要求1或2所述的内窥镜系统,其中
所述成像设备包括同步数据插入设备,所述同步数据插入设备在要被传输到所述外部控制设备的所述成像信号中以预定间隔插入用于字同步的字同步数据,并且
所述外部控制设备包括同步处理设备,所述同步处理设备检测从所述成像信号接收设备接收的所述成像信号中的所述字同步数据,并且,基于检测到的字同步数据,调整在通过所述成像信号接收设备向所述并行信号的转换中或通过所述解码设备向所述像素数据的转换中对每个字划定字数据的定时,以实现字同步。
9.根据权利要求1或2所述的内窥镜系统,其中
所述成像设备的所述固态成像元件是CMOS型固态成像元件。
10.一种用于内窥镜的外部控制设备,所述外部控制设备控制所述内窥镜的成像设备并且接收作为串行信号从所述成像设备传输的成像信号,所述外部控制设备相继接收通过相继编码获得的每个字的字数据,作为所述成像信号从所述成像设备相继输出的每个像素的像素数据,所述外部控制设备包括:
成像信号接收设备,所述成像信号接收设备接收从所述成像设备传输的所述成像信号并且将作为所述成像信号相继接收的字数据对每个字从所述串行信号相继转换为并行信号;
解码设备,所述解码设备将通过所述成像信号接收设备进行的向所述并行信号的相继转换所获得的所述字数据对每个字进行相继解码,从而进行向所述编码前的每个像素的像素数据的相继转换;
存储设备,所述存储设备存储通过由所述解码设备的相继转换获得的像素数据;
所述解码设备中的解码错误检测设备,所述解码错误检测设备检测表示解码失败的解码错误的发生;以及
插值设备,当所述解码错误的发生被所述解码错误检测设备检测到时,以在发生所述解码错误时的像素当作错误像素的情况下,所述插值设备通过将基于形成所述错误像素的周围部分的一个或多个像素的像素数据产生的插值数据存储在其中要存储错误像素的像素数据所述存储设备的存储区中,从而插值替换所述错误像素的像素数据。
11.根据权利要求10所述的用于内窥镜的外部控制设备,其中
所述存储设备配置有一个或多个缓冲存储器,所述缓冲存储器存储通过所述解码设备相继转换后以帧的单位作为传输单位输出的多个像素的一帧像素数据。
12.根据权利要求10或11所述的用于内窥镜的外部控制设备,其中
作为用于产生所述插值数据的形成所述错误像素的周围部分的一个或多个像素的像素数据,所述插值设备使用位于相同图像上在相对于所述错误像素的预定距离范围内的像素的像素数据和在在相对于获得所述错误像素的时间的预定时间范围内获得的图像上与所述错误像素相同的位置处的像素的像素数据中的一个或多个像素数据片。
13.根据权利要求12所述的用于内窥镜的外部控制设备,其中
在相对于获得所述错误像素的时间的预定时间范围内获得的图像上在与所述错误像素相同的位置处的像素的像素数据包括:
在一屏前或后在与所述错误像素相同的位置处的像素的正常像素数据。
14.根据权利要求10或11所述的用于内窥镜的外部控制设备,其中
作为所述成像信号从所述成像设备传输的字数据是通过使用8B10B编码方案编码八位像素数据获得的、被当作一个字的十位字数据,并且
所述解码设备是8B10B解码器,其通过使用所述8B10B编码方案将从所述编码获得的字数据对每个字进行解码,以转换为在所述编码之前的所述八位像素数据。
15.根据权利要求14所述的用于内窥镜的外部控制设备,其中
所述解码错误检测设备检测作为所述解码错误的表错误和不一致错误的发生。
16.根据权利要求10或11所述的用于内窥镜的外部控制设备,其中
所述成像信号接收设备包括时钟数据恢复电路,所述时钟数据恢复电路从作为所述成像信号通过所述成像信号传输设备传输的所述串行信号中提取时钟信号并用所述时钟信号将所述成像信号再定时。
17.根据权利要求10或11所述的用于内窥镜的外部控制设备,其中
在要从所述成像设备传输的所述成像信号中以预定间隔插入用于字同步的字同步数据,并且
所述外部控制设备包括同步处理设备,所述同步处理设备检测从所述成像信号接收设备接收的所述成像信号中的所述字同步数据,并且,基于检测到的字同步数据,调整在通过所述成像信号接收设备向所述并行信号的转换中或通过所述解码设备向所述像素数据的转换中对每个字划定字数据的定时,以实现字同步。
CN201210362120.7A 2011-09-30 2012-09-25 内窥镜系统和用于内窥镜的外部控制设备 Active CN103027659B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011218563A JP5588949B2 (ja) 2011-09-30 2011-09-30 内視鏡システム及び内視鏡の外部制御装置
JP2011-218563 2011-09-30

Publications (2)

Publication Number Publication Date
CN103027659A true CN103027659A (zh) 2013-04-10
CN103027659B CN103027659B (zh) 2017-03-01

Family

ID=46970075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210362120.7A Active CN103027659B (zh) 2011-09-30 2012-09-25 内窥镜系统和用于内窥镜的外部控制设备

Country Status (4)

Country Link
US (1) US9319568B2 (zh)
EP (1) EP2575354B1 (zh)
JP (1) JP5588949B2 (zh)
CN (1) CN103027659B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072515A (zh) * 2015-07-24 2017-08-18 奥林巴斯株式会社 图像数据传输系统
CN110769206A (zh) * 2019-11-19 2020-02-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和系统及电子设备
CN115883741A (zh) * 2021-09-29 2023-03-31 京瓷办公信息系统株式会社 数据传输装置以及图像处理装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6164836B2 (ja) 2012-12-25 2017-07-19 Hoya株式会社 内視鏡
JPWO2015029856A1 (ja) * 2013-08-27 2017-03-02 オリンパス株式会社 処理装置および内視鏡システム
JP6258751B2 (ja) * 2014-03-31 2018-01-10 Hoya株式会社 負荷電圧制御装置、電子内視鏡および電子内視鏡システム
JP6177436B2 (ja) * 2014-07-28 2017-08-09 オリンパス株式会社 内視鏡システム及び画像処理装置
EP3046322A1 (en) * 2015-01-16 2016-07-20 Sanofi-Aventis Deutschland GmbH Transmission of image data from a camera chip
JP2017005513A (ja) 2015-06-10 2017-01-05 株式会社東芝 画像データ受信装置
EP3278718A4 (en) * 2015-08-07 2019-01-23 Olympus Corporation IMAGING DEVICE
US10057523B1 (en) * 2017-02-13 2018-08-21 Alexander Krymski Image sensors and methods with multiple phase-locked loops and serializers
FR3098075A1 (fr) * 2019-06-28 2021-01-01 Stmicroelectronics (Crolles 2) Sas Pixel et son procédé de commande
CN110769207B (zh) * 2019-11-19 2022-04-01 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687779B1 (en) * 2000-07-14 2004-02-03 Texas Instruments Incorporated Method and apparatus for transmitting control information across a serialized bus interface
US6792159B1 (en) * 1999-12-29 2004-09-14 Ge Medical Systems Global Technology Company, Llc Correction of defective pixels in a detector using temporal gradients
US20040196364A1 (en) * 2003-04-04 2004-10-07 Pentax Corporation Electronic endoscope system
US20050288595A1 (en) * 2004-06-23 2005-12-29 Ido Bettesh Device, system and method for error detection of in-vivo data
US20070002134A1 (en) * 2004-02-04 2007-01-04 Olympus Corporation Signal processing device for endoscope
US20090213212A1 (en) * 2008-02-26 2009-08-27 Kazuhiko Nakamura Image pickup system and endoscope system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475778B2 (ja) 2000-09-04 2010-06-09 Hoya株式会社 撮像素子への電力供給を制御する電子内視鏡装置
JP4071117B2 (ja) 2003-01-23 2008-04-02 シャープ株式会社 送受信回路及び送受信方法並びに送受信装置
JP2006250824A (ja) * 2005-03-11 2006-09-21 Nec Electronics Corp 半導体集積回路およびその半導体集積回路におけるデータ解析方法
JP2008068021A (ja) * 2006-09-15 2008-03-27 Olympus Corp 電子内視鏡装置
JP5137372B2 (ja) * 2006-09-28 2013-02-06 オリンパスメディカルシステムズ株式会社 画像処理システム及び内視鏡システム
US7894668B1 (en) * 2006-09-28 2011-02-22 Fonar Corporation System and method for digital image intensity correction
US8281207B2 (en) 2006-11-17 2012-10-02 Alaxala Networks Corporation Data transmission equipment and generating method for transmission code
JP2008148835A (ja) 2006-12-15 2008-07-03 Hoya Corp 画像信号伝送システム、電子内視鏡、内視鏡プロセッサ
FR2910211A1 (fr) * 2006-12-19 2008-06-20 Canon Kk Procedes et dispositifs pour re-synchroniser un flux video endommage.
JP2009195602A (ja) * 2008-02-25 2009-09-03 Fujinon Corp 電子通信システム及び内視鏡システム
CA2787696A1 (en) * 2010-01-22 2011-07-28 Adam Wax Multiple window processing schemes for spectroscopic optical coherence tomography (oct) and fourier domain low coherence interferometry

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792159B1 (en) * 1999-12-29 2004-09-14 Ge Medical Systems Global Technology Company, Llc Correction of defective pixels in a detector using temporal gradients
US6687779B1 (en) * 2000-07-14 2004-02-03 Texas Instruments Incorporated Method and apparatus for transmitting control information across a serialized bus interface
US20040196364A1 (en) * 2003-04-04 2004-10-07 Pentax Corporation Electronic endoscope system
US20070002134A1 (en) * 2004-02-04 2007-01-04 Olympus Corporation Signal processing device for endoscope
US20050288595A1 (en) * 2004-06-23 2005-12-29 Ido Bettesh Device, system and method for error detection of in-vivo data
US20090213212A1 (en) * 2008-02-26 2009-08-27 Kazuhiko Nakamura Image pickup system and endoscope system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072515A (zh) * 2015-07-24 2017-08-18 奥林巴斯株式会社 图像数据传输系统
CN107072515B (zh) * 2015-07-24 2019-01-08 奥林巴斯株式会社 图像数据传输系统
CN110769206A (zh) * 2019-11-19 2020-02-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和系统及电子设备
CN110769206B (zh) * 2019-11-19 2022-01-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和系统及电子设备
CN115883741A (zh) * 2021-09-29 2023-03-31 京瓷办公信息系统株式会社 数据传输装置以及图像处理装置
CN115883741B (zh) * 2021-09-29 2024-06-07 京瓷办公信息系统株式会社 数据传输装置以及图像处理装置

Also Published As

Publication number Publication date
EP2575354A1 (en) 2013-04-03
JP5588949B2 (ja) 2014-09-10
EP2575354B1 (en) 2019-09-11
CN103027659B (zh) 2017-03-01
US9319568B2 (en) 2016-04-19
JP2013078378A (ja) 2013-05-02
US20130083179A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
CN103027659A (zh) 内窥镜系统和用于内窥镜的外部控制设备
CN103027658A (zh) 内窥镜系统和用于内窥镜的外部控制设备
CN103027656A (zh) 内窥镜系统和用于内窥镜的外部控制设备
CN102283625B (zh) 内窥镜系统
EP2094002A2 (en) Electronic communication system and endoscope system
JP2009201540A (ja) 撮像システム及び内視鏡システム
US8023002B2 (en) Imager, imaging circuit, and image processing circuit
KR20090025294A (ko) 고체 촬상장치, 데이터전송방법 및 촬상장치
US10422890B2 (en) Radiation imaging apparatus, control method of radiation imaging apparatus, and radiation imaging system
US20180054605A1 (en) Method and apparatus for transmitting images captured by first and second image sensors
US20110013078A1 (en) Head-separated camera device
JP2015080702A (ja) 内視鏡装置
US20090278983A1 (en) Digital video signal transmitter and receiver and including system
US20220211253A1 (en) Imaging system and endoscope device
US11856308B2 (en) Image sensor, endoscope and control device
CN110971793B (zh) 摄像设备和通信方法
US11258990B2 (en) Imaging system and imaging method
US10884233B2 (en) Imaging apparatus and endoscope system
CN107529974B (zh) 摄像装置
JP2020088609A (ja) 撮像素子および撮像装置
KR20000006131A (ko) 촬상장치
JP2007288503A (ja) Ccd型固体撮像装置及びその同期パルス生成回路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant