CN101305613A - 具有降低的照明要求的图像传感器阵列 - Google Patents
具有降低的照明要求的图像传感器阵列 Download PDFInfo
- Publication number
- CN101305613A CN101305613A CNA2006800420891A CN200680042089A CN101305613A CN 101305613 A CN101305613 A CN 101305613A CN A2006800420891 A CNA2006800420891 A CN A2006800420891A CN 200680042089 A CN200680042089 A CN 200680042089A CN 101305613 A CN101305613 A CN 101305613A
- Authority
- CN
- China
- Prior art keywords
- pixel cell
- time
- data
- pixel
- predetermined amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Endoscopes (AREA)
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种胶囊相机,包括:像素单元的像素单元阵列,像素单元从视场中曝光;照明系统,其照明视场;信号处理器,接收和处理来自像素单元阵列的数据;以及控制模块,其使得像素单元阵列使用改进的扫描方法被读出。所述扫描方法包括:预充电像素单元阵列中的各像素单元;将各像素单元的视场照明预定曝光时间;以及只有在视场的照明完成后才从各像素单元读出数据。
Description
相关申请的交叉引用
本发明涉及并要求(1)在2005年11月23日提交的、名为“InvivoAutonomous Sensor with ON-Board Data Storage”、序列号60/739,162的美国临时专利申请;(2)在2006年1月18日提交的、名为“Invivo AutonomousSensor with Panoramic Camera”、序列号60/760,079的美国临时专利申请;(3)在2006年1月19日提交的、名为“Invivo Autonomous Sensor withON-Board Data Storage”、序列号60/760,794的美国临时专利申请;和(4)在2006年11月22日提交的、名为“FCC-Compliant,Movement Artifact-FreeImage Sensor Array with Reduced Lighting Requirement”、序列号11/562,932的美国非临时专利申请的优先权。这些美国专利申请(1)-(4)(全体来说,“专利申请”)在此通过引用并入其全部内容。本发明还涉及(1)在2006年9月19日提交的、名为“Invivo Autonomous camera with ON-Board Data Storageor Digital Wireless Transmission In Regulatory Approved Band”、序列号11/533,304的美国专利申请;和(2)在2006年10月25日提交的、名为“ON-Board Data Storage and Method”、序列号11/552,880的美国专利申请。这些美国专利申请在此通过引用并入其全部内容。对于美国指定,本申请是前述在2006年11月22日提交、序列号11/562,932的美国非临时专利申请的继续申请。
技术领域
本发明涉及用于胃肠(GI)道成像的可吞咽胶囊相机。具体地,本发明涉及适用于胶囊相机应用的光传感器阵列。
背景技术
用于成像活体中的体腔或通道的设备在现有技术中是已知的,并且包括内窥镜和自动囊封相机。内窥镜是柔性的或刚性的管,其通过孔或手术开口进入身体,典型地经嘴进入食道或经直肠进入结肠。图像在远端使用透镜采集,并通过透镜中继系统或通过相干光纤束传输到身体外的近端。概念上相似的仪器可以例如使用CCD或CMOS阵列在远端电记录图像,并通过电缆将图像数据作为电信号传送到近端。内窥镜允许医师进行视场控制,并且是广泛接受的诊断工具。然而,它们有很多限制,对病人有风险,并且对病人是侵入式和不舒服的。这些操作的成本限制了它们作为健康普查工具的应用。
因为穿过旋绕通道的困难,所以内窥镜不能到达小肠的大多数部分,并且需要增加成本的特殊技术和防范来到达全部结肠。内窥镜风险包括所穿过的身体器官的可能穿孔以及由于麻醉引起的并发症。此外,在操作期间的病人疼痛和健康风险以及与麻醉相关联的操作后的不能工作时间(down time)之间必需做出平衡。内窥镜是病人需要住院的服务,其涉及临床医生的大量时间,因此昂贵。
处理许多这些问题的活体中图像传感器的替代是胶囊内窥镜检查。将相机与无线电发射机一起装在可吞咽胶囊中,该无线电发射机用于将主要包括由数字相机记录的图像的数据传输到身体外的基站接收机或收发机和数据记录仪。胶囊还可以包括无线电接收机,用于从基站发射机接受指令或其他数据。代替射频传输,可以使用低频电磁信号。能量可以从外部电感器到胶囊内部电感器感应地提供、或从胶囊内的电池提供。
在授予以色列国防部、序列号5,604,531的美国专利中描述了可吞咽胶囊中的相机的早期示例。授予给Given Imaging的许多专利描述了这种系统的更多细节,该系统使用发射机来发送相机图像到外部接收机。示例是序列号6,709,387和6,428,469的美国专利。还有许多给Olympus公司的、描述了类似技术的专利。例如,美国专利第4,278,077号显示了具有用于胃的相机的胶囊,其在相机中包括胶片。美国专利第6,800,060号显示了将图像数据存储在原子解析度存储(atomic resolution storage,ARS)设备中的胶囊。
具有内部电池的自主囊封相机的优点是:可以在医院外在病人走动的情况下以及在只有适中的活动限制的情况下进行测量。基站包括包围感兴趣的身体区域的天线阵列,并且该阵列能够暂时附连到皮肤上或合并到可穿戴的背心中。将数据记录器附接到带上,而且其包括电池电源和数据存储介质,该介质用于保存所记录的图像和其他数据以随后上载到诊断计算机系统上。
典型的操作包括:住院病人在早上就诊,在此期间临床医生将基站装置附接到病人,并且病人吞下胶囊。系统在吞咽之前就开始记录图像,并记录GI道的图像直到其电池完全放电。蠕动推动胶囊通过GI道。通过速率依赖于运动程度。通常,在4到8小时内穿过小肠。在规定时间段之后,病人将数据记录器还给临床医生,医生然后将数据上载到计算机上,用于随后的察看和分析。胶囊及时穿过直肠,并且不需要回收。
尽管其不是最佳用于检测胃中的异常,但是胶囊相机允许从食管到小肠末端的GI道被全部成像。捕获彩色照相图像使得异常只需要检测小的视觉可分辨的特性,而不是局部解剖(topography)。该操作是无痛的并且不需要麻醉。与胶囊穿过身体相关联的风险最小,当然穿孔的风险相对于传统的内窥镜诊断也大大降低。由于减少使用临床医生时间和临床工具以及不用麻醉剂,手术的成本少于传统的内窥镜诊断。
随着胶囊相机变为用于检查胃肠道的可行技术,已经出现各种用于存储图像数据的方法。例如,美国专利第4,278,077号公开了一种将图像数据存储在化学胶片中的胶囊相机。美国专利第5,604,531号公开了一种胶囊相机,其通过无线将图像数据传输到附接到身体的、或在由病人穿戴的背心内提供的天线阵列。美国专利第6,800,060号公开了一种将图像数据存储在昂贵的原子解析度存储(ARS)设备中的胶囊相机。然后将所存储的数据下载到工作站,其通常是用于分析和处理的个人计算机。结果然后可以由医师使用友好的用户界面察看。然而,这些方法在数据传送处理期间都要求物理介质转换。例如,要求将化学胶片上的图像数据转换为由个人计算机可读的物理数字介质。通过电磁信号的无线传输要求通过天线和射频电子电路的昂贵处理,以产生能够存储在计算机上的图像。此外,ARS设备中的读和写操作都依赖于充电粒子束。
使用半导体存储器设备(无论易失性或非易失性)的胶囊相机,具有能够与捕获图像的CMOS或CCD图像传感器、以及可以分析图像的个人计算机直接对接的优点。近年来实现的高密度和低制造成本使得半导体存储器成为用于胶囊相机中的图像存储的最有前途的技术。根据至今仍被认为有效的摩尔定律,集成电路的密度每24个月加倍。同时,CMOS或CCD传感器分辨率持续改进,每几年就加倍。电子学的新进步也帮助胶囊相机技术的发展。例如:(a)发光二极管(LED)的尺寸和功率减小促进使用LED作为胶囊相机的光源;(b)新的CMOS图像传感器也减少功率和组件数;(c)集成电路的持续小型化允许将许多功能集成到单个硅基底(即,芯片上系统或“SOC”)上,导致尺寸和功率减少。
对于胶囊相机通过无线传输来传输其图像来说,数据传输带宽要求是一个技术挑战。胶囊相机必需在FCC批准的医疗植入物通信服务(MICS)频带内传输其图像,该频带被分配为402-405MHZ。将该频带分配给医疗设备是因为:在这些频率,无线信号的身体吸收的不良作用是可管理的。然而,在该频带中可用的数据带宽限制了图像分辨率和帧速率。事实上,利用该数据带宽,难以实现合理的图像分辨率以及胶囊相机希望的每秒几帧的帧速率。
另一个技术挑战是避免伪影。在传统CMOS传感器阵列中,每行像素单元被曝光直到读出。对每行的读出被顺序地进行(即,在不同的时间点读取每行)以共享共同的一组感应电路。因为要求每行被曝光基本上相同的时间长度,所以读出时间的交错要求每行像素单元在不同时间点开始曝光。然而,如果成像的对象正相对于相机以平行传感器阵列的各行的方向移动,则视场中垂直该方向的线将看起来是斜线(即,对象的角定向没有被正确地保存)。如果对象以不一致的速度移动,则该线将看起来是弯曲的线。为了避免这种伪影,传感器阵列中的各像素必需在大约50ms内被读取,即使只需要采集每秒几帧也是如此。即使MICS频带被加宽几Mhz,带宽的增加未必是有帮助的,这是因为还有对更高图像分辨率的要求,假设传感器阵列技术的优点使得这样的更高分辨率可用。
因为试图将胶囊相机排他地使用在GI道中,所以其操作环境与通用相机的操作环境非常不同。因此,应该针对其特殊的操作环境来优化胶囊相机的设计。
发明内容
根据本发明的一个实施例,一种胶囊相机包括:像素单元阵列的像素单元,像素单元从视场中曝光;照明系统,其照明视场;信号处理器,接收和处理来自像素单元阵列的数据;以及控制模块,其使得像素单元阵列使用改进的扫描方法被读出。所述扫描方法包括:预充电像素单元阵列中的各像素单元;将各像素单元的视场照明预定曝光时间;以及只有在视场的照明完成后才从各像素单元读出数据。
在一个实施例中,在所述视场被照明之前将各像素单元的预充电进行预定时间段。各行像素单元可以在不同时间预充电。在一个实施例中,每行中的各像素单元的预充电和读出之间的时间间隔可以基本相同。在一个实例中,将像素单元阵列的读出展开为基本上捕获图像数据的连续各帧之间的时间。因此,经过基本上大于50ms的时间段,从各像素单元读出图像数据。
在一个实施例中,发射机可以以基本上落入FCC MISC频带下允许的传输带宽内的平均数据传输率传输经处理的图像数据。
在一个实例中,在照明系统打开的整个持续时间将每行像素单元曝光。
在一个实例中,在像素单元或传感器阵列的外边缘通过不透明材料遮光提供一组像素单元。从视场外的该组像素读取的数据可以用于补偿视场内的数据中的热和系统噪声。
在本发明的一个实例中,利用传感器阵列中的希望的漏电流用于胶囊相机。漏电流存在于所有的半导体器件中,并且构成CMOS图像传感器性能的主要因素。因为胶囊相机的工作温度主要由体温确定,所以对其CMOS图像传感器中的漏电流的规范为小于为通用相机规定的漏电流的幅度的数量级(order)。结果,对胶囊相机中的像素单元的预充电、曝光和读出的时序要求相对更宽松,因为希望该像素单元中的电荷比通用相机更缓和地泄漏。此外,不同于必需满足外部强加的、变化的照明状况的通用相机,胶囊相机的照明状况主要由胶囊相机自身的LED控制。在胶囊相机的设计中本发明利用这些和其他因素,提供了改进性能的以及更少总系统成本的专用CMOS传感器。
现有技术CMOS设计要求LED在传感器阵列的曝光时间和读出时间都一致地保持发光。本发明的一个实施例缩短了该LED发光的时间,由此提供电池能量的节省。
本发明的一个实施例提供新的CMOS传感器设计,适合用于胶囊相机或内窥镜专用的应用中,其通过缩短LED发光的持续时间要求节省能量,并避免了“倾斜”伪影。此外,该CMOS传感器允许在FCC分配的、用于医疗应用的MISC频带内传输图像。
在结合附图考虑以下的详细描述时,将更好地理解本发明。
附图说明
图1示意性显示根据本发明的一个实施例的GI道中的胶囊系统01,示出体腔中的胶囊。
图2示出根据本发明的一个实施例的可吞咽胶囊系统02。
图3A是CMOS像素单元的电路示意图。
图3B是图3A的CMOS像素单元的电路符号。
图4显示由CMOS像素单元(如图3A和图3B中所示的那些)构成的传统的CMOS传感器阵列。
图5显示传统的CMOS传感器阵列的操作。
图6示出根据本发明的一个实施例的改进的扫描方案,其中像素单元的所有行基本上在LED照明打开的同时或之前被预充电。
图7示出根据本发明的另一个实施例的另一个扫描方案。
图8比较图6-7的传统方法和改进方法的图像读出时间。
图9A和9B比较分别使用传统扫描方法和使用本发明的改进的方法的无线胶囊相机系统的操作。
为了便利在各图中交叉引用,提供各图中相同的元件给相同的参照标号。
具体实施方式
共同未决专利申请公开了胶囊相机,其克服了现有技术的许多缺点。本发明提供胶囊相机,其最佳用于其特定的操作环境。
图1示出根据本发明的一个实施例的身体内腔00内的胶囊系统01。内腔00可以是例如结肠、小肠、食道或胃。胶囊系统01在体内时是完全自主的,并且其全部元件都封装在胶囊外壳10中,该胶囊外壳提供防水屏障,保护各内部组件不被体液损坏。胶囊外壳10是透明的,以便允许来自照明系统12的发光二极管(LED)的光通过胶囊外壳10的壁到达内腔00壁,并且允许来自内腔00壁的散射光被收集并在胶囊内成像。胶囊外壳10还保护内腔00不与胶囊外壳10内的异质材料直接接触。给胶囊外壳10提供这样的形状,其使得该胶囊外壳10容易吞咽并且之后通过GI道。通常,胶囊外壳10是无菌的、由无毒材料制成,并且足够光滑以最小化留在内腔中的可能性。
如图1所示,胶囊系统01包括照明系统12和包括光学系统14和图像传感器16的相机。由图像传感器16捕获的图像可以由图像处理器18处理。图像处理器18可以以运行在数字信号处理器(DSP)或中央处理单元(CPU)上的软件、或以硬件、或软件和硬件的组合来实现。经处理的图像可以由图像压缩子系统19(在一些实施例中,其也可以由DSP 18以软件实现)压缩。压缩的数据可以存储在档案系统20中。系统01包括电池电源21和输出端口26。胶囊系统01可以通过蠕动被推进通过GI道。
照明系统12可以由LED实现。在图1中,各LED位于邻近相机的光圈(aperture),尽管其他配置也是可能的。还可以例如在光圈后面提供光源。其他光源(如激光二极管)也可以使用。或者,白光源或两种或更多窄波长频带源的组合也可以使用。白色LED是可用的,其可以包括蓝色LED或紫色LED以及磷光材料,该磷光材料其被LED光激发以在更长波长发光。允许光通过的胶囊外壳10的部分可以由生物兼容的玻璃或高分子材料制成。
可以包括多个折射、衍射、或反射透镜元件的光学系统14提供图像传感器16上的内腔壁的图像。图像传感器16可以由将接收的光强度转换为相应的电信号的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)提供。图像传感器16可以具有单色响应或包括滤色镜阵列,使得可以捕获彩色图像(例如,使用RGB或CYM表示)。来自图像传感器16的模拟信号优选被转换为数字形式,以允许以数字形式处理。这样的转换可以使用模拟到数字(A/D)转换器完成,该A/D转换器可以提供在传感器内(如在当前情况下)、或在胶囊外壳10内的另一部分中。A/D单元可以提供在图像传感器16和系统的其余部分之间。照明系统12中的各LED与图像传感器16的操作同步。控制模块22的一个功能是在图像捕获操作期间控制各LED。
图1所示的输出端口26在活体内是不工作的,但是其在胶囊已经通过身体被收回后将数据上载到工作站。在胶囊通过身体后,它被回收。胶囊外壳10打开,并且输出端口26连接到上载设备,以将数据传送到计算机工作站用于存储和分析。
对板上(on-board)存储数据的期望的替代是通过无线链接传输图像。在本发明的一个实施例中,数据通过无线数字传输发出到具有记录器的基站。因为在这样的实现中可用的存储器空间是次要问题,所以更高的图像分辨率可以用于实现更高的图像质量。此外,使用协议编码方案,例如,数据可以以更强壮和抗噪声的方式传输到基站。更高分辨率的一个缺点是更高的功率和带宽要求。下述的本发明的一个实施例基本上要求更少的带宽来实现图像传输。以这种方式,实现了更低的数据速率,使得得到的数字无线传输落入规章批准的医疗植入物服务通信(MISC)频带的窄带宽限制内。因此,在身体外传输更远的距离(例如,6英尺)是可行的,使得不要求将用于拾取传输的天线放在不方便的背心中或附接到身体。假设信号遵从MISC要求,则这样的传输可以在开发空间(open air)中而不违反FCC或其他法规。
图2示出根据本发明的一个实施例的可吞咽胶囊系统02。除了不再需要档案存储器系统20和输出端口26以外,胶囊系统02可以构造为与图1的胶囊系统01基本相同。胶囊系统02还可以包括通信协议编码器1320以及发射机1326,其用于无线传输。胶囊01和胶囊02的各元件基本上相同,因此提供相同的参照标号。因此它们的构造和功能这里不再描述。通信协议编码器1320可以以在DSP或CPU上运行的软件、以硬件、或以软件和硬件的结合来实现。发射机1326包括用于传输捕获的数字图像的天线系统。
本发明提供时序和控制方案来操作CMOS传感器阵列。图3A是三个晶体管(3T)像素单元的示意电路。提供该示意电路只用于说明目的,本发明的时序和控制方案能够结合这种和其他单元设计使用,所述其他单元设计的一些可以在像素单元中具有与图3A所示的不同数量的晶体管。图3A的像素单元可以由图3B的符号来进行符号表示。
如图3A所示,3T像素单元包括通过晶体管302串联连接到电源电压VREF的光电二极管301,该晶体管302由控制器或“重置”信号RST控制。当RST出现,晶体管302导通,由此将节点Cx(表示光电二极管301中的PN结的电容)预充电到基本上为电压VREF。当光照明到光电二极管302时,由在半导体中生成电荷载流子的光子的能量产生电流。该电流获得的电荷量是光强度和光电二极管曝光的时间长度的函数。在Cx的电压控制通过(pass)晶体管303的栅极,其连接在电源电压VREF和“读”晶体管304之间。读晶体管304由控制信号RD控制。当控制信号RD出现时,电流从电源电压VREF流到列数据线305。导通的晶体管303和304的有效电阻是在节点Cx的电压的函数。在列数据线305上的电压由感测放大器感测。
由于热噪声导致的漏电流存在于所有的半导体器件中,并且构成CMOS图像传感器性能的主要因素。漏电流量是温度的函数。在通用相机的期望操作范围上,漏电流可能在幅度的若干数量级上变化。因此,在传统的通用相机中,在节点Cx的电压不得不在曝光一结束就读取,以避免由大的漏电流导致的严重的不准确,该漏电流可能耗尽在节点Cx的电荷。
图4显示n行乘以m列的像素单元阵列。如图4所示,像素单元阵列中的每行像素单元接收重置信号RST1-RSTn之一。RST1-RSTn的每个在该行的每个像素单元提供RST信号。此外,每行像素单元接收读出信号RD1-RDn之一。RD1-RDn的每个在该行的每个像素单元上提供控制信号RD。像素单元阵列的列中的各像素单元连接到共同的列数据线,列数据线305-1到305-n之一。每个列数据线连接到恒流源,恒流源401-1到401-m之一。因为在恒流源401-1到401-m的每个中电流基本恒定,所以当只有读出信号RD1-RDn之一出现时,在每条列数据线上的电压是像素单元中级联的通过晶体管(即,通过晶体管303和304)的串联电阻的函数。当读出信号RD1-RDn的相应的一个出现时,可以测量电压。如上所述,该电压基于该像素单元的节点Cx的电压。因此,通过读出列数据线上的电压,可以测量该像素单元的光电二极管301的电容中的电荷,其表示照射在该像素单元的光电二极管上的光量。
在(以图4的像素单元阵列的方式组织的)传统CMOS图像传感器中,如由图5的信号时序图所示,图像通过滚动扫描方案来捕获。如图5所示,各行像素分别在时间TS1到TSn通过重置信号RST1-RSTn的脉冲重置(即,预充电),同时照明系统12的LED打开。脉冲RST1-RSTn的每个都使得对应行中的像素单元的二极管电容电压(即,在节点Cx的电压)成为暗场(darkfield)参照。在基本上相同的预定曝光时间Texp后,每行像素单元由对应的读出信号(即,RD1-RDn的相应的一个)读取。当像素单元的RST信号再次出现时,在TR1-TRn的对应的一个时间之前,每个像素单元的RD信号出现足够长的时间以感测在节点Cx的电压。出现的RST信号将节点Cx向VREF充电。然而,因为重置晶体管302的阈值电压和其他因素,在Cx的电压将不会到达VREF。然后再次感测在节点Cx的电压。作为在出现的RST信号之前和之后感测的在节点Cx的电压差的每个像素单元的电压ΔV,指示由像素单元接收的光。RST脉冲宽度典型地在几纳秒到几十纳秒的范围内,而曝光时间Texp的范围在十分之几微秒到几十微秒之间,因此RST脉冲长度对曝光时间Texp起的作用能够被忽略。
如图5所示,为了确保每行曝光基本上相同的曝光时间(Texp),当RD出现时,LED基本上在时间TS1打开,并保持亮直到时间TRn。实际上,因为LED发光要求有限时间量来达到稳定以及关闭,所以提供余量来允许LED在时间TS1之前充分稳定,并且在时间TRn之后关闭。因此,总的LED发光时间基本上等于(Texp+TRn-TR1)。该长的发光时间要求对胶囊相机的LED照明系统是不必要的,并且表示照明功率的无效使用。此外,随着读出时间交错,当相机和视场中的对象之间的相对运动的速度足够大时,将出现上述倾斜伪影。当相对运动的速度不一致时,该倾斜伪影将使得垂直线看起来象扭曲的曲线。该立即读出要求对无线胶囊相机施加了非常高的传输带宽要求。例如,对于大约75k个像素分辨率的CIF图像,如果以每秒2帧的帧速率、每像素只有一个字节被传输,则需要传输150KB的数据。对总的帧读出时间有一个上限(典型地为50ms左右)以避免倾斜伪影。然而,以每秒两帧、并且数据必需作为突发经过总共不超过100ms被传输,要求的带宽大约为3MB每秒。即使利用高频谱效率传输方案,在MICS频带内也不能实现该带宽。一种解决方案要求帧缓冲器或高的图像压缩。所要求的帧缓冲器在600k比特的数量级,其对于胶囊相机应用在材料和功率上非常昂贵。
至于数据压缩,对于422颜色格式图像,数据为150k字节或1.2M比特。在硅区(estate)和功率消耗方面的胶囊相机的限制内,可实现的实际压缩率有限。除了240k比特的缓冲器存储外,对于彩色图像的为5的压缩率可能要求100k个门的功率和硅面积用于压缩模块。为了实现VGA分辨率,4倍CIF图像优选用于实现期望的临床检测率。对于这样的VGA图像,成本估计为在硅中100k个门加上约1M比特的缓冲存储器以及大约CIF图像的4倍功率消耗。
然而,不同于通用相机的CMOS图像传感器,在暗环境下(例如用于成像GI道的胶囊相机)使用的CMOS图像传感器,导致漏电流的主要噪声源为暗电流噪声和系统背景噪声。对于这种环境,本发明提供一种结合受控LED光源操作的改进的扫描方案;该方法实现了功率节省并避免了倾斜伪影。
本发明利用这样的事实:胶囊相机被设计为在体温工作,在体温工作时CMOS像素单元中的漏电流基本上小于为通用相机指定的最大漏电流。因此,不同于通用相机中的像素单元,胶囊相机中的像素单元的预充电、曝光和读出的定时要求相对不太严格,因为期望该像素单元中的电荷比通用相机中可能期望的可能的高泄漏率更缓慢地泄漏。此外,不同于必须满足外部施加的变化的照明条件的通用相机,胶囊相机工作的照明条件主要由胶囊相机自身的LED控制。在胶囊相机的设计中本发明利用这些和其他因素,提供了一种改进性能的以及更少总系统成本的专用CMOS传感器。
因此,根据由图6的扫描方案所示的本发明的一个实施例,改进的扫描方案在LED发光打开时或稍微在其之前,在基本上相同的时间TS1预充电所有行的像素单元。在曝光时间Texp之后,LED发光在时间TR1关闭,通过出现分别在时间TR1-TRn出现的读出信号RD1-RDn,各行像素单元被顺序地读取。在该扫描方案下,所有像素单元基本上同时曝光,因此避免了倾斜伪影。该扫描方案是可能的,这是因为由于胶囊相机应用中使用的每个像素单元的热噪声导致的希望的漏电流,处于比通用相机应用中指定的漏电流小两个十的数量级。此外,通过不透明材料遮光(即,永远保持暗)特别地提供像素单元阵列中的许多像素单元以提供参照暗电流。参照暗电流能够用于补偿在不同像素的光强度变化,该变化由于不同像素在不同时间测量而导致。该补偿避免了另一种由于不同行像素单元在不同时间感测导致的伪影,其遍及图像显示为不一致的阴影。此外,因为LED发光只在曝光时间的持续时间中打开,所以相比上面结合图5讨论的传统的扫描方案,节省了显著的能量(因此实现了更长的电池寿命)。期望该电池在(用于胶囊相机通过GI道的)至少几个小时中供电。在其使用期限内提供均匀能量的健康电池对提供高质量图像是重要的,该高质量图像对增加临床诊断率以及避免错误判断是基本的。
图7示出根据本发明另一实施例的另一扫描方案。图7的扫描方案承认光电二极管结电容(即,节点Cx的电容)可以为10ff。对于包括约300k个像素单元的用于VGA图像的像素单元阵列,总的电容可以达到3nF。对于3.0伏特的VREF,经过10ns预充电持续时间,如果所有像素同时预充电,则可以得到数量级为0.9安培的电流。这样的电流远大于典型的胶囊相机的电源系统能够提供的电流。因此,在图7中,在LED发光打开之前,每行像素单元在时间TS1到TSn之一的不同时间预充电。在时间TSn之后,LED发光打开Texp的曝光时间。当在行1中每个像素单元的节点Cx的电压被读取时,时间TR1可以在LED发光关闭后的任何时间到来。此后,如上面在图6所示的情况中所述,每行像素单元可以在时间TR1-TRn读出。再次,由于不同的预充电时间和读出时间导致的电压读出中的变化能够通过参照暗电流被补偿。或者,对于每行可以使得预充电时间到读出时间间隔(即,对于第i行,时间TSi和Tri之间的时间间隔)基本上相同,以进一步避免不一致阴影伪影。
图8比较图6-7的传统方法和改进方法的图像读出时间。如图8所示,尽管传统扫描方法要求图像在30毫秒内被读出,即使图像以每秒2帧被捕获,图6-7的方法也能在超过每帧0.5秒上将读出间隔展开。这是因为由于上面已经讨论的原因,本发明改进的方法不需要遵守对于读出间隔的大约50ms的实际上限,该上限被施加来避免倾斜伪影。不同于传统扫描方案,本发明改进的方案读出像素单元而没有严格的定时约束,不会导致倾斜伪影。此外,在读出间隔期间(即,在时间TR1到TRn之间)LED照明系统(即,图1的LED照明系统12)不要求打开。此外,通过展开读出间隔,图像数据能够通过在FCC强制的402到405Mhz的MICS频带内无线传输,而不再需要50ms或更少持续时间的突发传输。在使用非易失性档案存储器的胶囊相机中,读出时间的展开还克服了由于较长的闪存写时间导致的类似的带宽限制。
图9A和9B比较分别使用传统扫描方法和使用本发明的改进的方法的无线胶囊相机系统的操作。如图9A所示,传统的无线胶囊系统900包括成像光学系统901(例如,图2的光学系统14),其给图像传感器902(例如,图2的图像传感器16)提供图像。由图像传感器902捕获的图像与由辅助传感器904捕获的任何其他数据(例如,温度、pH),在数字信号处理模块和缓冲存储器903(例如,图2的图像处理器18)中处理。执行的数字信号处理功能可以包括例如运动检测、图像补偿和数据压缩。处理的数据然后由发射机905(例如,图2的发射机1326)传输。控制模块906A(对应于图2的控制模块22)和传感器内置电路应用传统的扫描方法,以将图像传感器902上的图像带到数字信号处理模块和缓冲存储器903中。为了避免大的随机存取存储器的成本(例如,材料和功率成本),通常将模块901-903和905流水线化。如图9A所示,在吞吐时间或流水线延迟的短的延迟之后,来自成像光学系统901的单个图像的所有数据到达发射机905,因为在成像光学系统901和发射机905之间没有显著的缓冲,所以该单个图像的所有经处理的图像数据必须传输超过30ms的持续时间。
相反,图9B显示无线胶囊相机系统950,其中控制模块906B执行本发明的方法之一。因为单个图像的图像数据被展开超过0.49秒,所以即使存在流水线延迟并且缺乏缓冲,发射机905也能够在分配用于图像数据从曝光到传输的所有处理的0.5秒之前使得全部图像被传输。在一些实施例中,图像传感器902可以包括内置控制电路,其提供预充电和从像素单元读出数据的局部控制。
提供上面的详细描述用于解释本发明的特定实施例,并且意图不在于限制。本发明范围内的众多修改和变化是可能的。本发明在权利要求中提出。
Claims (22)
1.一种用于读出在像素单元阵列中的多个像素单元上捕获的图像的方法,包括:
预充电像素单元阵列中的各像素单元;
将各像素单元的视场照明预定曝光时间;以及
只有在视场的照明完成后才从各像素单元读出数据。
2.如权利要求1所述的方法,其中在所述视场被照明之前将各像素单元的预充电进行预定时间段。
3.如权利要求2所述的方法,其中各像素单元的第一部分和各像素单元的第二部分在不同时间预充电。
4.如权利要求3所述的方法,其中第一部分中的各像素单元的预充电和读出之间的时间间隔基本上是第二部分中的各像素单元的预充电和读出之间的时间间隔。
5.如权利要求1所述的方法,其中将数据从各像素单元的读出进行预定时间段,该预定时间段大于预定曝光时间的三倍。
6.如权利要求1所述的方法,其中将数据从各像素单元的读出进行预定时间段,该预定时间段基本上是在像素单元阵列捕获图像的帧速率的倒数。
7.如权利要求1所述的方法,其中数据从各像素单元的读出还被处理,并通过无线传输到接收机,平均数据传输率基本上落入FCC MISC频带下允许的传输带宽内。
8.如权利要求1所述的方法,其中将数据从各像素单元的读出进行预定时间段,该预定时间段大于50ms。
9.如权利要求1所述的方法,还包括:
在像素单元阵列中提供被遮光的像素单元;以及
通过从被遮光的像素单元读出的数据,调整从视场内的像素单元读出的数据。
10.如权利要求1所述的方法,其中照明视场的时间基本上是在每个像素单元曝光的时间。
11.一种胶囊相机,包括:
像素单元阵列,具有从视场中曝光的多个像素单元;
照明系统,其照明视场;
信号处理器,接收和处理来自像素单元阵列的数据;以及
控制模块,其执行:
预充电像素单元阵列中的各像素单元;
将各像素单元的视场照明预定曝光时间;以及
只有在视场的照明完成后才从各像素单元读出数据。
12.如权利要求11所述的胶囊相机,其中在所述视场被照明之前将各像素单元的预充电进行预定时间段。
13.如权利要求12所述的胶囊相机,其中将各像素单元的第一部分和各像素单元的第二部分在不同时间预充电。
14.如权利要求13所述的胶囊相机,其中像素单元阵列包括多行像素单元,其中在各像素的不同行上提供各像素单元的第一和第二部分。
15.如权利要求12所述的胶囊相机,其中第一部分中的各像素单元的预充电和读出之间的时间间隔基本上是第二部分中的各像素单元的预充电和读出之间的时间间隔。
16.如权利要求11所述的胶囊相机,其中将数据从各像素单元的读出进行预定时间段,该预定时间段大于预定曝光时间的三倍。
17.如权利要求11所述的胶囊相机,其中将数据从各像素单元的读出进行预定时间段,该预定时间段基本上是在像素单元阵列捕获图像的帧速率的倒数。
18.如权利要求11所述的胶囊相机,还包括将经处理的数据从信号处理器进行发送的发射机,其中在基本上落入FCC MISC频带下允许的传输带宽内的平均数据速率上发送经处理的数据。
19.如权利要求11所述的胶囊相机,其中将数据从各像素单元的读出进行预定时间段,该预定时间段大于50ms。
20.如权利要求11所述的胶囊相机,还包括:在视场外的一组像素单元;以及其中数字信号处理器通过从视场外的像素单元读出的数据,调整从视场内的像素单元读出的数据。
21.如权利要求11所述的胶囊相机,其中,视场的照明时间基本上等于每个像素单元的曝光时间。
22.如权利要求11所述的胶囊相机,还包括内置在控制电路中的传感器,其结合控制模块执行预充电和读出。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US73916205P | 2005-11-23 | 2005-11-23 | |
US60/739,162 | 2005-11-23 | ||
US60/760,079 | 2006-01-18 | ||
US60/760,794 | 2006-01-19 | ||
US11/562,932 | 2006-11-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101305613A true CN101305613A (zh) | 2008-11-12 |
Family
ID=40114401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800420891A Pending CN101305613A (zh) | 2005-11-23 | 2006-11-22 | 具有降低的照明要求的图像传感器阵列 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101305613A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101802708B (zh) * | 2007-09-14 | 2012-07-04 | 卡普索影像股份有限公司 | 包于胶囊内的相机及其外部环境之间的数据通信方法 |
CN111602386A (zh) * | 2017-11-30 | 2020-08-28 | Bae系统成像解决方案有限公司 | 缓解运动图片的led频闪 |
CN111728578A (zh) * | 2020-06-09 | 2020-10-02 | 重庆金山医疗技术研究院有限公司 | 胶囊内镜控制方法及胶囊内镜 |
-
2006
- 2006-11-22 CN CNA2006800420891A patent/CN101305613A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101802708B (zh) * | 2007-09-14 | 2012-07-04 | 卡普索影像股份有限公司 | 包于胶囊内的相机及其外部环境之间的数据通信方法 |
CN111602386A (zh) * | 2017-11-30 | 2020-08-28 | Bae系统成像解决方案有限公司 | 缓解运动图片的led频闪 |
CN111602386B (zh) * | 2017-11-30 | 2022-06-14 | Bae系统成像解决方案有限公司 | 缓解运动图片的led频闪 |
CN111728578A (zh) * | 2020-06-09 | 2020-10-02 | 重庆金山医疗技术研究院有限公司 | 胶囊内镜控制方法及胶囊内镜 |
CN111728578B (zh) * | 2020-06-09 | 2023-09-01 | 重庆金山科技(集团)有限公司 | 胶囊内镜控制方法及胶囊内镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101365986B (zh) | 带有板上数据存储器或者数字无线传送的体内自主相机 | |
US20070115378A1 (en) | Fcc-compliant, movement artifact-free image sensor array with reduced lighting requirement | |
US7796870B2 (en) | Lighting control for in vivo capsule camera | |
CN105848557B (zh) | 具有多光谱光源的胶囊摄影机装置 | |
CN101015441B (zh) | 一个供体内成像的设备和系统 | |
US7061523B2 (en) | Capsule type medical device | |
CN111526775A (zh) | 在缺光环境中用工具追踪的超光谱成像 | |
US20040199061A1 (en) | Apparatus and methods for in vivo imaging | |
CN102883648A (zh) | 用于活体内摄像机的影像捕获控制 | |
US8043209B2 (en) | System and method for transmitting the content of memory storage in an in-vivo sensing device | |
Swain et al. | Wireless capsule endoscopy of the small bowel: development, testing, and first human trials | |
US7630754B2 (en) | Intra-subject device and related medical device | |
EP2198342B1 (en) | Data communication between capsulated camera and its external environments | |
CN101305613A (zh) | 具有降低的照明要求的图像传感器阵列 | |
WO2022132391A1 (en) | Method and apparatus for extending battery life of capsule endoscope | |
US9443321B2 (en) | Imaging device, endoscope system and imaging method using yellow-eliminated green data | |
US20070142704A1 (en) | Image detection and storage device | |
CN202821277U (zh) | 热影像胶囊内视镜装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20081112 |