CN102487444A - 使用cmos图像传感器的立体成像系统 - Google Patents
使用cmos图像传感器的立体成像系统 Download PDFInfo
- Publication number
- CN102487444A CN102487444A CN2010105708259A CN201010570825A CN102487444A CN 102487444 A CN102487444 A CN 102487444A CN 2010105708259 A CN2010105708259 A CN 2010105708259A CN 201010570825 A CN201010570825 A CN 201010570825A CN 102487444 A CN102487444 A CN 102487444A
- Authority
- CN
- China
- Prior art keywords
- digital image
- image sensor
- image data
- cmos image
- cmos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 64
- 230000000295 complement effect Effects 0.000 title abstract description 3
- 229910044991 metal oxide Inorganic materials 0.000 title abstract description 3
- 150000004706 metal oxides Chemical class 0.000 title abstract description 3
- 239000004065 semiconductor Substances 0.000 title abstract description 3
- 238000012545 processing Methods 0.000 claims abstract description 73
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 239000000872 buffer Substances 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种用于立体成像的CMOS图像传感器以及利用该CMOS图像传感器的立体成像系统和方法。所述CMOS图像传感器包括感光阵列、行列译码单元、像素控制及时序生成单元、模拟信号处理单元、模数转换单元以及数字图像处理及合成单元。所述数字图像处理及合成单元接收所述模数转换单元产生的第一数字影像数据,并且所述CMOS图像传感器从外部成像装置接收第二数字影像数据和对应的同步信号;以及所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像。该CMOS图像传感器可与常规的或者专门设计的另一CMOS图像传感器一起构成立体成像系统。
Description
技术领域
本发明一般地涉及立体成像系统,并且更具体地涉及使用两个CMOS图像传感器的立体成像系统。
背景技术
由于人的双眼相距大约6-7厘米,两只眼睛看物体时是从不同角度看到的两个稍有差别的图象,大脑将这两个具有视察的图象合成后形成立体的感觉,因此“立体图像”通俗的讲就是利用人们两眼视觉差别和光学折射原理在一个平面内使人们可直接看到一幅三维立体图,画中事物既可以凸出于画面之外,也可以深藏其中。随着光学、微电子学以及计算机技术的发展,根据人眼“双目视差立体成像”原理,形成了多种三维立体成像与立体显示技术。常见的做法是,在摄像时用两个镜头模仿人眼双目视差立体成像过程同时摄像,然后分别存储获得的两幅图像,最后经诸如计算机等处理设备将这两幅图像的数据合成得到立体影像输出。
在目前图像系统的数字摄像技术中,CMOS(互补金属氧化物场效应管)图像传感器是近些年来发展较快的新型图像传感器。采用CMOS技术,可将图像采集单元和信号处理单元集成到同一块芯片上。CMOS图像传感器具有体积小、集成度高、功耗低、抗干扰能力强和易于控制等优点,所以广泛应用于摄像头、扫描仪、可视电话、视频会议和视频监控等领域中。20世纪80年代,英国爱丁堡大学成功地制造出了世界上第一块单片CMOS图像传感器件。目前,CMOS图像传感器正在得到广泛的应用,具有很强的市场竞争力和广阔地发展前景。
因此,可将CMOS图像传感器用在立体成像系统中,即用两个CMOS图像传感器同时捕获图像。但是,在将现有的CMOS图像传感器用于拍摄立体图像或视频时,由于两个图像传感器很难做到完全同步,通常需要借助外部的影像控制处理芯片来保证左右图像是同时拍摄的,或者左右视频的拍摄是同步进行的,以此达到最佳的拍摄效果。
另外,利用现有的独立无关的CMOS传感器分别拍摄左右影响之后,需要专门的软件或硬件平台对影像进行处理来获得不同格式的立体影像输出,这将使系统结构复杂,并且使制造成本增加,或无法实时获得立体影像数据。
发明内容
本发明的目标是解决用现有的CMOS图像传感器拍摄立体影像时两个传感器同步控制困难的问题。本发明的另一目标是解决现有的图像传感器无法直接输出立体影像的问题。
为实现上述目标,本发明提供了用于立体成像的CMOS图像传感器,所述CMOS图像传感器包括:感光阵列、行列译码单元、像素控制及时序生成单元、模拟信号处理单元、模数转换单元以及数字图像处理及合成单元。所述数字图像处理及合成单元接收所述模数转换单元产生的第一数字影像数据,并且所述CMOS图像传感器从外部成像装置接收第二数字影像数据和对应的同步信号。随后,所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。
在一些实施例中,所述数字图像处理及合成单元被实现为包括数字图像处理模块以及立体影像合成模块。
在一些实施例中,所述数字图像处理及合成单元还内置存储器。所述存储器被用于缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步。
在一些实施例中,所述CMOS图像传感器还包括子控制接口。所述子控制接口用于与所述外部成像装置通信。一般情况下,所述外部成像装置也是CMOS图像传感器,其可以是通用的CMOS图像传感器,也可以是专门设计的CMOS图像传感器。
在一些实施例中,如果所述第二数字影像数据的格式与所述第一数字影像数据的格式不同,则通过所述数字图像处理及合成单元对所述第一或第二数字影像数据进行色彩空间变换使两者的格式一致。
本发明所提供的CMOS图像传感器可以按红蓝格式、左右格式(side-by-side)、点对点格式(dot-by-dot)和逐帧格式(frame-by-frame)中的一种格式产生立体影像输出。
本发明还提供了立体成像系统,该立体成像系统包括第一CMOS图像传感器和第二CMOS图像传感器。所述第一CMOS图像传感器包括感光阵列、行列译码单元、像素控制及时序生成单元、模拟信号处理单元、模数转换单元以及数字图像处理及合成单元。在使用中,所述第一CMOS图像传感器通过所述数字图像处理及合成单元接收所述模数转换单元产生的第一数字影像数据,并且从所述第二CMOS图像传感器接收第二数字影像数据和对应的同步信号。所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。
在一些实施例中,所述第一CMOS图像传感器在所述数字图像处理及合成单元中包括数字图像处理模块以及立体影像合成模块。所述立体成像系统中的第一和第二CMOS图像传感器可以共用所述数字图像处理模块。
在一些实施例中,所述第一CMOS图像传感器在所述数字图像处理及合成单元中包括存储器,第一CMOS图像传感器通过所述存储器缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步。
在一些实施例中,所述第一CMOS图像传感器具有子控制接口,并且所述第一CMOS图像传感器通过所述子控制接口与所述第二CMOS图像传感器进行通信。通过所述子控制接口进行通信包括所述第一CMOS图像传感器通过所述子控制接口向所述第二CMOS传感器发送控制信号,所述控制信号可用于启动所述第二CMOS图像传感器以及用于设置所述第二CMOS图像传感器的参数,例如曝光时间等。所述第二CMOS图像传感器在产生所述第二数字影像数据之后通过所述子控制接口向所述第一CMOS传感器发送所述同步信号,并且所述第一CMOS图像传感器基于所述同步信号来调整向所述第二CMOS图像传感器发送所述控制信号的时间以使所述第一数字影像数据与所述第二数字影像数据同步。
在另一些实施例中,对所述第一CMOS图像传感器的控制与对第二CMOS图像传感器的控制相互独立,即在所述第一和第二CMOS图像传感器之间没有相互通信而由同一个外部设备来控制这两个CMOS图像传感器的操作,诸如启动、复位等。仅由所述第二CMOS图像传感器单向地向所述第一CMOS图像传感器发送数字影像数据和同步信号。
本发明还提供了立体成像方法,所述方法包括以下步骤:第一CMOS图像传感器响应外部启动信号产生第一数字影像数据,并根据所述外部启动信号产生用于控制第二CMOS图像传感器的控制信号;所述第二CMOS图像传感器响应所述控制信号产生第二数字影像数据,并将所述第二数字影像数据和对应的同步信号发送至所述第一CMOS图像传感器;以及所述第一CMOS图像传感器响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。
在一些实施例中,所述方法还包括所述第一CMOS图像传感器基于所述同步信号来调整向所述第二CMOS图像传感器发送所述控制信号的时间以使所述第一数字影像数据与所述第二数字影像数据同步的步骤。
在一些实施例中,所述方法还包括所述第一CMOS图像传感器缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步的步骤。
与现有技术相比,本发明提供的CMOS图像传感器以及使用其的立体成像系统结构简单,操作灵活,并且能够很好地解决立体成像时左右影像同步问题。在使用所述立体成像系统时,可以根据所用的显示装置来配置对应的立体影像输出格式,实时驱动显示装置或录制立体影像。由于集成了立体影像合成功能,不需要外接复杂的控制处理电路,因而可以做到即插即用。构成所述立体成像系统的两个CMOS图像传感器可以形成类此主从设备的关系,从而使其中一个CMOS图像传感器的结构大大简化,例如可以在其中一个CMOS图像传感器中省去数字图像处理模块,而由另一个CMOS图像传感器对合成立体图像所需的全部影像信号进行处理。在简化设备的同时,这也有利于两路影像信号的同步并且显著地节省存储空间。
值得注意的是,本发明所提供的设备、系统及方法除了输出立体的三维影像外,也可以根据需要输出二维影像,容易地实现二维影像与三维影像的切换。
下面将结合具体实施例来描述本发明的方法。
附图说明
图1是常规的CMOS图像传感器的结构框图;
图2是根据本发明的CMOS图像传感器的结构框图;
图3示出根据本发明的立体成像系统的实施例;以及
图4a、4b和4c示出根据本发明的立体成像系统的另一实施例,其中图4a是根据本发明的立体成像系统的框图,图4b是其中的CMOS图像传感器2的结构框图,而图4c是其中的CMOS图像传感器1中的数字图像处理及合成单元的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂,以下结合附图和具体实施例进一步详细描述本发明。需要说明的是,附图中的各结构只是示意性的而不是限定性的,以使本领域普通技术人员最佳地理解本发明的原理,其不一定按比例绘制。
图1示出了常规的CMOS图像传感器100的结构框图。参照图1,CMOS图像传感器100包括像素控制及时序生成单元11、行列译码单元12、感光阵列13、模拟信号处理单元14、模数转换单元15以及数字图像处理单元16。在使用中,外界光照射感光阵列13,发生光电效应,由此在像素单元内产生相应的电荷。行列译码单元12根据需要,选通相应的行像素单元。行像素单元内的图像信号通过各自所在列的信号总线传输到对应的模拟信号处理单元14以及模数转换单元15,转换成数字影像数据输出。模拟信号处理单元14的主要功能是对信号进行放大处理,并且提高信噪比。另外,为了获得质量合格的实用成像装置,一般的CMOS图像传感器芯片中必须包含各种控制电路,如曝光时间控制、自动增益控制等。为了使芯片中各部分电路按规定的节拍动作,必须使用多个时序控制信号。为了便于成像装置的应用,还要求该芯片能输出一些时序信号,如同步信号、行起始信号、场起始信号等。这些功能一般都在像素控制及时序生成单元11中执行。
一般地,在采用CMOS图像传感器进行取像之后,通常把取得的彩色图像信号经分色、分别放大校正后得到RGB,再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V),最后发送端将亮度和色差三个信号分别进行编码,用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示,亦称YcrCb。就CMOS图像传感器100而言,其在进行模数转换之后得到RGB格式的影像信号,再通过数字图像处理单元14进行色彩空间变换最后输出YUV格式的影像信号。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V信号分量,那么这样表示的图像就是黑白灰度图像。采用YUV空间正是为了用亮度信号Y解决彩色显示与黑白显示的相容问题,使黑白显示设备也能接收彩色影像信号。当然,CMOS图像传感器100也可以根据需要输出数字RGB信号,而不一定输出数字YUV信号。
CMOS图像传感器100通常包括控制寄存器(未示出)以接受外部的控制信息并且响应该控制信息进行操作。例如,CMOS图像传感器可与便携式终端的主控制模块相连接,从该主控制模块接收控制信号,诸如启动时间、曝光时间长度、像素复位等等。
图2是根据本发明的CMOS图像传感器200的结构框图。类似于CMOS图像传感器100,CMOS图像传感器200也具有像素控制及时序生成单元21、行列译码单元22、感光阵列23、模拟信号处理单元24以及模数转换单元15。除此以外,CMOS图像传感器200还包括数字图像处理及合成单元26,可在该单元中实现与CMOS图像传感器100的数字图像处理单元16相同的功能,更重要地,可在该单元中执行任何现有技术中已知的立体影像合成技术。一方面,所述数字图像处理及合成单元26从模数转换单元25接收CMOS图像传感器200本身所获取的影像的数据并对其进行必要的处理。另一方面,所述数字图像处理及合成单元26对CMOS图像传感器200从外部接收另一路数字影像数据进行处理,这一路数字影像数据可以是任何格式的,包括RGB和YUV格式。同时,CMOS图像传感器200从外部接收与该另一路数字影像数据对应的同步信号,该同步信号可例如指示所述单元可以开始接收对应于一帧影像的外部数据。所述数字图像处理及合成单元26响应所述同步信号而接收外部数字影像数据,并根据所需的输出格式,将所述两路信号合成。
类似于CMOS图像传感器100,根据本发明的CMOS图像传感器200也包括控制寄存器(未示出)以接受外部的控制信息并且响应该控制信息进行操作。
所述另一路数字影像数据可以来自于外部的成像装置,优选地其也是CMOS图像传感器。所述CMOS图像传感器200可以容易地与另一CMOS图像传感器一起协作获得立体影像输出。一般地,该另一CMOS图像传感器可以是如图1所示的CMOS图像传感器100。在这种情况下,CMOS图像传感器100和200可例如受同一便携式终端的主控制模块控制,响应于该主控制模块的命令大体上同时从不同角度获取同一对象的影像,从而得到两路数字影像数据。如上所述,CMOS图像传感器100将其产生的数字影像数据传送至所述CMOS图像传感器200中的数字图像处理及合成单元,最后由CMOS图像传感器200产生合成的立体影像输出,这将在下面结合图3进一步说明。
另外,所述CMOS图像传感器200也可以与专门设计的CMOS图像传感器一起协作获得立体影像输出。这种专门设计的CMOS图像传感器可以在结构上大大简化。在这种情况下,例如便携式终端的主控制模块控制可以仅与所述CMOS图像传感器200连接并向其发送控制信号。可以在所述CMOS图像传感器200上添加子控制接口(如图2中的虚箭头所示),以使所述CMOS图像传感器200可以通过该子控制接口向所述专门设计的CMOS图像传感器发送相应的控制信号,并根据其的反馈来调整该控制信号。所述专门设计的CMOS图像传感器在所述CMOS图像传感器200的控制下获取影像。随后,按先前所描述的过程由CMOS图像传感器200产生合成的立体影像输出。所述子控制接口可以是本领域中已知的任何通信接口,诸如串行总线,不需要将其实现为非常快速的信号接口。将在下面结合图4a-4c进一步说明这样构成的立体成像系统。
在一些实施例中,所述数字图像处理及合成单元26包括的独立的数字图像处理模块与立体影像合成模块。优选地,所述数字图像处理及合成单元26包括存储器(未示出),以缓存所述两路数字影像数据中的一个来同步例如两帧图像。由于直接在CMOS图像传感器200中合成两路信号,减少了许多额外的传输和处理过程,因此大大改善了两路信号之间的同步,从而使得该存储器的存储容量可以非常小。最差情况下不超过一帧,而通常情况下只需要若干行数据的存储容量。
图3示出根据本发明的立体成像系统的实施例。应注意的是,以下对系统的描述中也包含了对根据本发明的方法的说明,因此为了清楚起见不再重复对方法的说明。系统10包括了CMOS图像传感器1和2。其中,CMOS图像传感器2可以是市场上可买到的任何常规的CMOS图像传感器,而CMOS图像传感器1是根据本发明的图像传感器,其具有可直接得到立体影像输出的数字图像处理及合成单元36。在该实施例中,CMOS图像传感器1和2之间没有相互通信,仅由CMOS图像传感器2向CMOS图像传感器1传送数字影像数据及同步信号。
在使用中,由例如便携式设备的主控制模块(未示出)将诸如启动时间和曝光时间的控制信息分别写入CMOS图像传感器1和2的控制寄存器。所述CMOS图像传感器1和2被布置为相距大约6-7厘米,由CMOS图像传感器1响应所述控制信息而获取左影像,而由CMOS图像传感器2响应所述控制信号获取右影像,并且各自对所获取的影像进行处理。CMOS图像传感器1可在其数字图像处理及合成单元36中根据所接收的同步信号及其内部的数据完成指示信号来判断两个图像传感器产生的数字影像数据的先后,并将先完成的数字影像数据缓存在所述存储器中,以等待另一路数字影像数据的到来。接着,经同步的两路数字影像数据在数字图像处理及合成单元36中合成。所谓合成,即将两路数字影像数据的顺序调整为符合特定输出格式要求。常见的立体影像输出格式包括红蓝格式、左右格式、点对点格式或逐帧格式。如果不要求输出立体影像,也可以直接输出二维影像。
在这个过程中,数字图像处理及合成单元36还可以对从CMOS图像传感器2接收的数字影像数据的格式进行判断。例如,传感器2直接将其模数转换单元输出的RGB信号传送至传感器1,而传感器1已产生YUV格式的信号,则该数字图像处理及合成单元36可利用其数字图像处理功能对RGB信号进行色彩空间变换来使两者一致以便于合成立体影像输出。
在立体成像系统10中,由于通过两个CMOS图像传感器中的一个直接输出立体影像输出,从而避免了许多不必要的信号传输和处理步骤,使得信号之间的同步性能更好,对信号的处理更直接和灵活。也使得立体成像系统的结构更加简单紧凑,利于小型化的设计。
图4a、4b和4c示出根据本发明的立体成像系统的另一实施例。在这个实施例中,立体成像系统20中的CMOS图像传感器2是专门设计的CMOS图像传感器,其结构被大大简化,这在图4b中被示出。CMOS图像传感器1是根据本发明的CMOS图像传感器,其具有与外部成像装置通信的子控制接口,从而可以向CMOS图像传感器2发送控制信息,并从其接收反馈信号。
在使用中,由例如便携式设备的主控制模块(未示出)将诸如启动时间和曝光时间的控制信息写入CMOS图像传感器1的控制寄存器。CMOS图像传感器1根据所收到的控制信息而在像素控制及时序生成单元41中生成对应的用于CMOS图像传感器2的控制信息。在一些情况下,可在CMOS图像传感器1的控制寄存器中预存CMOS图像传感器2的性能参数,以便于产生适当的控制信息。更优选地,CMOS图像传感器1可利用CMOS图像传感器2的反馈信号来调整向传感器2发送的控制信息。举例来说,传感器1在收到外部的启动命令之后立即向传感器2发送启动命令并等待传感器2传送回的同步信号及其内部的数据完成指示信号。基于同步信号及内部数据完成指示信号,传感器1可判断两个传感器之间的延迟,从而可以在下次向传感器2发送启动命令时相应地提前或滞后。通过这样的操作,可以非常有利地实现两个传感器的操作之间的同步,从而大大减小所需要的存储器容量,特别是在传感器的影像解析度提高的情况下。立体成像系统20的其他成像步骤与参照图3所描述的大体相同,为了简洁起见不在此重复。
在图4b中示出了CMOS图像传感器2的例子500。不同于常规的CMOS图像传感器,该传感器500去除了数字图像处理单元,仅通过模数转换单元55产生RGB格式的数字影像数据。在图4c中示出了根据本发明的CMOS图像传感器1中的数字图像处理及合成单元46的一种实现。其具有独立的数字图像处理模块和立体影像合成模块,并具有存储器。在与图4b所示的传感器500一起构成立体成像系统时,这两个传感器可以共用图4c所示的数字图像处理模块,从而大大节省了成本。根据实际需要,该数字图像处理模块可以将两路数字RGB信号都转换到YUV色彩空间,或者直接输出数字RGB信号而不进行转换。
在立体成像系统20中,由于通过两个CMOS图像传感器中的一个传感器直接控制另一个传感器,从而大大提高了两个传感器操作的同步性,非常有利于立体成像,即可以节省成本也大大提高了成像质量和操作的方便性。另外,这样构成的立体成像系统可以容易地实现模块化,由于接口简单而可以方便地被嵌入各种成像设备中。
应当说明的是,以上具体实施方式仅用以说明本发明的技术方案而非对其进行限制。尽管参照上述具体实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解,依然可以对本发明的具体实施方式进行修改或对部分技术特征进行等同替换而不脱离本发明的实质,其均涵盖在本发明请求保护的范围中。
Claims (20)
1.一种用于立体成像的CMOS图像传感器,其特征在于,所述CMOS图像传感器包括:
感光阵列;
行列译码单元;
像素控制及时序生成单元;
模拟信号处理单元;
模数转换单元;以及
数字图像处理及合成单元;其中,
所述数字图像处理及合成单元接收所述模数转换单元产生的第一数字影像数据,并且所述CMOS图像传感器从外部成像装置接收第二数字影像数据和对应的同步信号;以及
所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。
2.如权利要求1所述的CMOS图像传感器,其特征在于,所述数字图像处理及合成单元包括数字图像处理模块以及立体影像合成模块。
3.如权利要求1所述的CMOS图像传感器,其特征在于,所述数字图像处理及合成单元还包括存储器,所述存储器用于缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步。
4.如权利要求1所述的CMOS图像传感器,其特征在于,所述CMOS图像传感器还包括子控制接口,所述子控制接口用于与所述外部成像装置通信。
5.如权利要求1所述的CMOS图像传感器,其特征在于,其中如果所述第二数字影像数据的格式与所述第一数字影像数据的格式不同,则所述数字图像处理及合成单元对所述第一或第二数字影像数据进行色彩空间变换使两者的格式一致。
6.如权利要求1所述的CMOS图像传感器,其特征在于,其中所述立体影像输出被配置为红蓝格式、左右格式、点对点格式和逐帧格式中的一种格式。
7.一种立体成像系统,其特征在于,所述立体成像系统包括第一CMOS图像传感器和第二CMOS图像传感器,其中
所述第一CMOS图像传感器包括:
感光阵列;
行列译码单元;
像素控制及时序生成单元;
模拟信号处理单元;
模数转换单元;以及
数字图像处理及合成单元;其中,
所述第一CMOS图像传感器在所述数字图像处理及合成单元中接收所述模数转换单元产生的第一数字影像数据,并且从所述第二CMOS图像传感器接收第二数字影像数据和对应的同步信号;以及
所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。
8.如权利要求7所述的立体成像系统,其特征在于,所述第一CMOS图像传感器在所述数字图像处理及合成单元中包括数字图像处理模块以及立体影像合成模块。
9.如权利要求7所述的立体成像系统,其特征在于,其中所述第一和第二CMOS图像传感器共用所述数字图像处理模块。
10.如权利要求7所述的立体成像系统,其特征在于,其中所述第一CMOS图像传感器在所述数字图像处理及合成单元中包括存储器,第一CMOS图像传感器通过所述存储器缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步。
11.如权利要求7所述的立体成像系统,其特征在于,其中所述第一CMOS图像传感器具有子控制接口,并且所述第一CMOS图像传感器通过所述子控制接口与所述第二CMOS图像传感器进行通信。
12.如权利要求11所述的立体成像系统,其特征在于,其中通过所述子控制接口进行通信包括
所述第一CMOS图像传感器通过所述子控制接口向所述第二CMOS传感器发送控制信号;
所述第二CMOS图像传感器在产生所述第二数字影像数据之后通过所述子控制接口向所述第一CMOS传感器发送所述同步信号;以及
所述第一CMOS图像传感器基于所述同步信号来调整向所述第二CMOS图像传感器发送所述控制信号的时间以使所述第一数字影像数据与所述第二数字影像数据同步。
13.如权利要求7所述的立体成像系统,其特征在于,其中对所述第一CMOS图像传感器的控制与对第二CMOS图像传感器的控制相互独立。
14.如权利要求7所述的立体成像系统,其特征在于,其中如果所述第二数字影像数据的格式与所述第一数字影像数据的格式不同,则所述第一CMOS图像传感器通过所述数字图像处理及合成单元对所述第一或第二数字影像数据进行色彩空间变换使两者的格式一致。
15.如权利要求7所述的立体成像系统,其特征在于,其中所述立体影像输出被配置为按红蓝格式、左右格式、点对点格式和逐帧格式中的一种格式。
16.一种立体成像方法,其特征在于,所述方法包括以下步骤:
第一CMOS图像传感器响应外部启动信号产生第一数字影像数据,并根据所述外部启动信号产生用于控制第二CMOS图像传感器的控制信号;
所述第二CMOS图像传感器响应所述控制信号产生第二数字影像数据,并将所述第二数字影像数据和对应的同步信号发送至所述第一CMOS图像传感器;以及
所述第一CMOS图像传感器响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。
17.如权利要求16所述的立体成像方法,其特征在于,其中所述第一CMOS图像传感器基于所述同步信号来调整向所述第二CMOS图像传感器发送所述控制信号的时间以使所述第一数字影像数据与所述第二数字影像数据同步。
18.如权利要求16所述的立体成像方法,其特征在于,其中所述第一CMOS图像传感器缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步。
19.如权利要求16所述的立体成像方法,其特征在于,其中如果所述第二数字影像数据的格式与所述第一数字影像数据的格式不同,则所述第一CMOS图像传感器对所述第一或第二数字影像数据进行色彩空间变换使两者的格式一致。
20.如权利要求16所述的立体成像方法,其特征在于,其中所述立体影像输出被配置为按红蓝格式、左右格式、点对点格式和逐帧格式中的一种格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105708259A CN102487444A (zh) | 2010-12-02 | 2010-12-02 | 使用cmos图像传感器的立体成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105708259A CN102487444A (zh) | 2010-12-02 | 2010-12-02 | 使用cmos图像传感器的立体成像系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102487444A true CN102487444A (zh) | 2012-06-06 |
Family
ID=46152894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010105708259A Pending CN102487444A (zh) | 2010-12-02 | 2010-12-02 | 使用cmos图像传感器的立体成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102487444A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881112A (zh) * | 2017-05-10 | 2018-11-23 | 北京猎户星空科技有限公司 | 基于传感器的数据的生成、传输、处理方法、装置及其系统 |
CN113573038A (zh) * | 2020-04-29 | 2021-10-29 | 思特威(上海)电子科技股份有限公司 | 双目系统及深度图获取方法 |
CN113573039A (zh) * | 2020-04-29 | 2021-10-29 | 思特威(上海)电子科技股份有限公司 | 目标深度值获取方法及双目系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN200980140Y (zh) * | 2006-09-30 | 2007-11-21 | 夏四清 | 一种立体摄像头 |
CN101202293A (zh) * | 2006-12-13 | 2008-06-18 | 和舰科技(苏州)有限公司 | 图像传感器及其制造方法 |
CN101401443A (zh) * | 2006-03-09 | 2009-04-01 | (株)赛丽康 | 用于获得三维图像的cmos立体照相机 |
WO2010117111A1 (ko) * | 2009-04-06 | 2010-10-14 | (주)에이직뱅크 | 입체영상 생성용 이미지센서 |
-
2010
- 2010-12-02 CN CN2010105708259A patent/CN102487444A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101401443A (zh) * | 2006-03-09 | 2009-04-01 | (株)赛丽康 | 用于获得三维图像的cmos立体照相机 |
CN200980140Y (zh) * | 2006-09-30 | 2007-11-21 | 夏四清 | 一种立体摄像头 |
CN101202293A (zh) * | 2006-12-13 | 2008-06-18 | 和舰科技(苏州)有限公司 | 图像传感器及其制造方法 |
WO2010117111A1 (ko) * | 2009-04-06 | 2010-10-14 | (주)에이직뱅크 | 입체영상 생성용 이미지센서 |
Non-Patent Citations (1)
Title |
---|
左开中 等: "基于S3C44B0X的双目立体数码照相机", 《微计算机信息》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881112A (zh) * | 2017-05-10 | 2018-11-23 | 北京猎户星空科技有限公司 | 基于传感器的数据的生成、传输、处理方法、装置及其系统 |
CN113573038A (zh) * | 2020-04-29 | 2021-10-29 | 思特威(上海)电子科技股份有限公司 | 双目系统及深度图获取方法 |
CN113573039A (zh) * | 2020-04-29 | 2021-10-29 | 思特威(上海)电子科技股份有限公司 | 目标深度值获取方法及双目系统 |
CN113573038B (zh) * | 2020-04-29 | 2024-08-23 | 思特威(上海)电子科技股份有限公司 | 双目系统及深度图获取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220020183A1 (en) | Non-linear color correction | |
US10721412B2 (en) | Generating long exposure images for high dynamic range processing | |
US8896668B2 (en) | Combining data from multiple image sensors | |
KR101517661B1 (ko) | 다중 이미지 센서들로부터 데이터의 결합 | |
US11871105B2 (en) | Field of view adjustment | |
TW201215121A (en) | Camera system, video processing apparatus, and camera apparatus | |
JP5970748B2 (ja) | 動画像撮影システム及び同期制御方法 | |
KR20190041586A (ko) | 복수의 이미지들을 합성하는 전자장치 및 방법 | |
EP3528490B1 (en) | Image data frame synchronization method and terminal | |
WO2024125463A1 (zh) | 图像处理方法、混合式图像传感器、电子设备及存储介质 | |
US9013556B2 (en) | 3D image capturing device for generating a 3D image based on two 2D images and controller chip thereof | |
US20140133781A1 (en) | Image processing device and image processing method | |
CN102487444A (zh) | 使用cmos图像传感器的立体成像系统 | |
JP2018157335A (ja) | 画像処理システム | |
KR20100007628A (ko) | 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치 | |
US12069447B2 (en) | Beamforming for wind noise optimized microphone placements | |
KR102301940B1 (ko) | 이미지 합성 방법 및 장치 | |
CN109792475B (zh) | Svm系统及其图像输入和处理方法 | |
CN116208851A (zh) | 图像处理方法及相关装置 | |
KR102080927B1 (ko) | 스테레오 영상 생성 방법 및 장치 | |
CN201893879U (zh) | Cmos图像传感器及使用该图像传感器的立体成像系统 | |
JP2010056768A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
US11405564B2 (en) | Methods and systems for parameter alignment for an image capture device with multiple image capture devices | |
KR20190065736A (ko) | 3d 이미지를 생성하기 위한 전자 장치 및 방법 | |
US20210084274A1 (en) | Method and systems for auto white balance processing for an image capture device with multiple image capture devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120606 |