CN102939563A - 平行轴立体相机 - Google Patents

平行轴立体相机 Download PDF

Info

Publication number
CN102939563A
CN102939563A CN2010800661837A CN201080066183A CN102939563A CN 102939563 A CN102939563 A CN 102939563A CN 2010800661837 A CN2010800661837 A CN 2010800661837A CN 201080066183 A CN201080066183 A CN 201080066183A CN 102939563 A CN102939563 A CN 102939563A
Authority
CN
China
Prior art keywords
image
sensor
output
difference signal
rgb data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800661837A
Other languages
English (en)
Inventor
姜熙敏
朴垠华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASIC BANK CO Ltd
Original Assignee
ASIC BANK CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASIC BANK CO Ltd filed Critical ASIC BANK CO Ltd
Publication of CN102939563A publication Critical patent/CN102939563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及平行轴立体相机，包括：相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，输出分辨率与输出影像相同的RGB数据；聚散度控制部，其变更左侧图像传感器和右侧图像传感器中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；影像处理部，其由左侧影像处理部和右侧影像处理部构成，该左侧影像处理部根据聚散度控制部的控制，对从左侧图像传感器输出的左侧RGB数据进行影像处理而输出左侧亮度/色差信号，该右侧影像处理部根据聚散度控制部的控制，对从右侧图像传感器输出的右侧RGB数据进行影像处理而输出右侧亮度/色差信号；以及立体影像合成部，其对左侧亮度/色差信号和右侧亮度/色差信号进行合成，来合成立体影像。根据本发明，能够防止由左、右侧相机的校准误差造成的影像损失和聚散度控制过程中的影像损失，能够简化信号处理过程而最小化立体影像生成过程中的影像失真和时间延迟。

Description

平行轴立体相机
技术领域
本发明涉及平行轴立体相机。更详细地讲，本发明涉及如下所述的平行轴方式的立体相机：使不能机械地进行聚散度控制的平行轴立体相机能够电子地控制聚散度，并具有能够使由电子式聚散度控制和左、右侧相机的校准误差产生的影像损失最小化的电子式聚散度控制功能和电子式相机校准功能。
背景技术
一般来说，立体相机如人的眼睛那样使用2台相机来得到左、右影像，通过这两个影像的视差而使观测者感觉到立体感。
视差（parallax）或双目视差是指，在2个观测点观察相同点时的方向之差，由于这样的视差，在立体相机中，被摄体的影像成像于这两个相机所具备的图像传感器的摄像面中的彼此不同的位置上。将这样的位置差称为视差量，这向观测者提供对于观测物体的距离信息，使其感觉到立体感。
人的眼睛移动左、右眼球以使想要观测的物体的视差量成为0，从而在舒服地感觉到立体感的同时能够观测到物体。将这种调节视差量称为聚散度控制（vergencecontrol），当想要观测的物体的视差量成为0时，能够最舒服地观看影像。
当观测者看到从未进行聚散度控制的相机得到的立体影像时，视差量会表现得非常大，从而感觉到很严重的疲劳感。为了减少这种观测疲劳，必须具备控制左、右相机的观测方向以与被摄体的位置变化无关地维持一定的视差的聚散度控制功能。
另一方面，为了得到立体影像而使用的立体相机，按照左、右侧图像传感器的排列方法而区分为平行轴方式、交叉轴方式以及水平移动轴方式这三种。
图1是用于概念性地说明以往的平行轴方式立体相机的工作原理的图。
参照图1，平行轴方式立体相机是双目式立体相机中最简单的方式，设计为能够将两个图像传感器以与人的眼间距相似的距离平行地固定而获得影像。但是，该平行轴方式立体相机没有聚散度控制功能，存在不能够调节由被摄体的距离变化引起的视差量的问题点。
图2是用于概念性地说明以往的交叉轴方式立体相机的工作原理的图。
参照图2，以往的交叉轴方式立体相机被设计为能够按照物体的距离变化而进行聚散度控制。该交叉轴立体相机对聚散度进行控制，以根据物体的距离变化而使图像传感器的光轴旋转，从而使物体的像始终成像在左、右侧图像传感器的中心。这模仿了在观察近处的物体时向内侧会聚，在观察远处的物体时外展的人的眼球的移动。
但是，在交叉轴方式的情况下，由于使图像传感器交叉而对准聚散度，因此由聚散度控制造成的图像传感器间的间隔变化严重，立体影像再现时失真严重，由于通过相机光轴的旋转来进行聚散度控制，因此存在很难实现小型化的问题点。
图3是用于概念性地说明以往的水平移动轴方式立体相机的工作原理的图。
参照图3，水平移动轴立体相机是如交叉轴方式那样能够按照观测物体的距离变化来进行相机的聚散度控制的相机。但是，与交叉轴方式不同，被设计为：在使镜头从图像传感器分离之后，使图像传感器与镜头平行地水平移动来调节聚散度。根据这种基于图像传感器的平行移动的聚散度控制方式，由于左、右侧图像传感器之间的间隔变化量小而在相比于交叉轴方式影像失真相对较小这一点上是有优势的，但由于使镜头与图像传感器彼此分离并使图像传感器移动来进行聚散度控制，因此存在在实际制作立体相机时有很多困难的问题点。
在之前简单地进行了说明，但是平行轴方式立体相机与交叉轴方式或水平移动轴方式不同，不具备机械式的聚散度控制功能，但是具有结构简单这一很大的优点。为了充分利用平行轴方式立体相机的这种优点，利用了通过软件的信号处理来电子式地控制聚散度的方式。
但是，根据以往的这种平行轴方式立体相机，存在产生由左、右侧相机的设备上的校准误差引起的影像损失和聚散度控制过程中的影像损失的问题点。
对此，参照图4和图5进一步详细说明。
图4是用于说明由构成以往的平行轴方式立体相机的左侧相机与右侧相机之间的设备上的校准误差产生的影像损失的图。
参照图4，由于左侧相机与右侧相机之间的设备上的校准误差，在左侧图像传感器与右侧图像传感器之间会产生水平误差和垂直误差。例如，左侧图像传感器和右侧图像传感器的分辨率分别为1,280×720=921,600像素，在水平误差为100像素、垂直误差为50像素时，产生100×720+50×（1280-100）=131,000像素的影像损失。其结果，由于想要的输出影像的分辨率为1,280×720=921,600像素，但是由设备上的校准误差而产生131,000像素的影像损失，从而实际的输出影像的分辨率为1180×670=790,600像素。
图5是用于说明在以往的平行轴方式立体相机中要求的聚散度控制过程中产生的影像损失的图。
参照图5，概念性地公开有结合具有视差的左侧影像与右侧影像而软件控制聚散度的方式。但是，根据该方式，由于主要是直接使用传感器全景（total field）的影像（A、B），或者对已经摄像的影像进行编辑而使用，因此虽然能够控制聚散度，但是有可能产生两个影像不交叉（3D）的区域（2D），因此如图5所示，存在左右或上下影像的一部分不体现为立体的问题点。
另外，在韩国公开专利公报第10-2007-0021694号、韩国公开专利公报第10-2007-0030501号、韩国公开专利公报第10-2002-0037097号、韩国公开专利公报第10-2004-005252号中，公开有利用插值法（Interpolation method）等对这种以往的聚散度控制及在该过程中产生的影像损失进行补偿。
但是，这些方式是利用已经制造的一般的2台相机来生成立体影像的方式，因此为了进行聚散度控制而必须在外部具备存储器。即、是如下的方式：在将左/右影像临时存储在该外部存储器中之后，根据在外部或内部生成的聚散度控制信号，将外部存储器的读出（Read out）点调整为不同，从而对左/右影像的视差控制聚散度。关于由左/右相机的校准误差产生的影像损失，也利用储存在外部存储器中的数据来以插值等方式来进行补偿。如通过这些可知，根据以往的方式，需要另外的外部存储器，在进行聚散度控制和补偿损失的影像的过程中，存在影像失真和影像在时间上延迟1帧以上的问题。
发明内容
技术课题
本发明的目的在于，提供具有能够防止由左、右侧相机的设备上的校准误差引起的影像损失的电子式聚散度控制功能和电子式照相机校准功能的平行轴方式的立体相机。
另外，本发明的目的在于，提供具有能够防止聚散度控制过程中的影像损失的电子式聚散度控制功能和电子式照相机校准功能的平行轴方式的立体相机。
另外，本发明的目的在于，提供平行轴方式的立体相机，其使用于聚散度控制的信号处理过程简单化，并具有能够使立体影像生成过程中的影像失真和时间延迟最小化的电子式聚散度控制功能和电子式照相机校准功能。
另外，本发明的目的在于，提供平行轴方式的立体相机，其减少在聚散度控制过程中需要的外部存储器等部件的数量而能够减少制造费用，具有电子式聚散度控制功能和电子式照相机校准功能。
解决技术课题的手段
用于解决这种课题的本发明的一侧面的平行轴立体相机，其包括：相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，并输出分辨率与所述输出影像相同的RGB数据；聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出（Read out）开始点，电子式地进行控制，以消除对象物的双目视差；影像处理部，其由左侧影像处理部和右侧影像处理部构成，该左侧影像处理部根据所述聚散度控制部的控制，对从所述左侧图像传感器输出的左侧RGB数据进行影像处理而输出左侧亮度/色差信号，该右侧影像处理部根据所述聚散度控制部的控制，对从所述右侧图像传感器输出的右侧RGB数据进行影像处理而输出右侧亮度/色差信号；以及立体影像合成部，其对所述左侧亮度/色差信号和所述右侧亮度/色差信号进行合成，来合成立体影像。
本发明的另一侧面的平行轴立体相机，其包括：相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，并输出分辨率与所述输出影像相同的RGB数据；聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；立体RGB数据合成部，其根据所述聚散度控制部的控制，对从所述左侧图像传感器输出的左侧RGB数据和从所述右侧图像传感器输出的右侧RGB数据进行合成，来合成立体RGB数据；以及影像处理部，其对所述立体RGB数据进行影像处理，输出由左侧亮度/色差信号和右侧亮度/色差信号构成的立体影像。
本发明的又一侧面的平行轴立体相机，其包括：相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，并输出分辨率与所述输出影像相同的RGB数据；聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；立体影像处理部，其根据所述聚散度控制部的控制，对从所述左侧图像传感器输出的左侧RGB数据进行影像处理而生成左侧亮度/色差信号，对从所述右侧图像传感器输出的右侧RGB数据进行影像处理而生成右侧亮度/色差信号，以使所述左侧亮度/色差信号与所述右侧亮度/色差信号之间没有亮度和颜色的差异的方式进行校正而输出；以及立体影像合成部，其对从所述立体影像处理部输入的左侧亮度/色差信号和右侧亮度/色差信号进行合成，来合成立体影像。
本发明的再一侧面的平行轴立体相机，其包括：相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，输出分辨率与所述输出影像相同的左侧亮度/色差信号和右侧亮度/色差信号；聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；以及立体影像合成部，其对所述左侧亮度/色差信号和所述右侧亮度/色差信号进行合成，来合成立体影像。
在本发明的各侧面中，其特征在于，所述左侧图像传感器和所述右侧图像传感器的初始读出开始点与输出影像的分辨率已设定，使得消除所述输出影像的影像损失。
在本发明的各侧面中，其特征在于，所述左侧图像传感器和所述右侧图像传感器的初始读出开始点和输出影像的分辨率可变更。
在本发明的各侧面中，其特征在于，所述聚散度控制部计算所述左侧亮度/色差信号与所述右侧亮度/色差信号之间的双目视差，以消除所述计算出的左侧亮度/色差信号与所述右侧亮度/色差信号之间的双目视差的方式，变更所述左侧图像传感器或所述右侧图像传感器中的至少一方的读出开始点。
在本发明的各侧面中，其特征在于，所述聚散度控制部以所述对象物中的位于中间的中间对象物为基准计算所述双目视差。
在本发明的各侧面中，其特征在于，所述左侧图像传感器和所述右侧图像传感器彼此分开地设置在印刷电路基板上，在印刷电路基板上的所述左侧图像传感器与所述右侧图像传感器之间，设置有所述聚散度控制部、所述影像处理部、所述立体影像合成部、所述立体RGB数据合成部以及所述立体影像处理部中的至少一个。
在本发明的各侧面中，其特征在于，所述左侧图像传感器和所述右侧图像传感器彼此分开地设置在晶片上，在晶片上的所述左侧图像传感器与所述右侧图像传感器之间，设置有所述聚散度控制部、所述影像处理部、所述立体影像合成部、所述立体RGB数据合成部以及所述立体影像处理部中的至少一个。
发明效果
根据本发明，具有如下所述的效果：提供具有能够防止由左、右侧相机的设备上的校准误差引起的影像损失的电子式聚散度控制功能和电子式照相机校准功能的平行轴方式的立体相机。
另外，具有如下所述的效果：提供具有能够防止聚散度控制过程中的影像损失的电子式聚散度控制功能和电子式照相机校准功能的平行轴方式的立体相机。
另外，具有如下所述的效果：提供平行轴方式的立体相机，其使用于聚散度控制的信号处理过程简单化，具有能够使立体影像生成过程中的影像失真和时间延迟最小化的电子式聚散度控制功能和电子式照相机校准功能。
另外，具有如下所述的效果：提供平行轴方式的立体相机，其减少在聚散度控制过程中需要的外部存储器等部件的数量而能够减少制造费用，具有电子式聚散度控制功能和电子式照相机校准功能。
附图说明
图1是用于概念性地说明以往的平行轴方式立体相机的工作原理的图。
图2是用于概念性地说明以往的交叉轴方式立体相机的工作原理的图。
图3是用于概念性地说明以往的水平移动轴方式立体相机的工作原理的图。
图4是用于说明由构成以往的平行轴方式立体相机的左侧相机与右侧相机之间的设备上的校准误差而产生的影像损失的图。
图5是用于说明在以往的平行轴方式立体相机中需要的聚散度控制过程中产生的影像损失的图。
图6是示出本发明的第1实施例的平行轴立体相机的图。
图7是在本发明的第1实施例中，用于说明利用具有比最终输出的输出影像的分辨率高的分辨率的左、右侧图像传感器，防止由左、右侧图像传感器间的校准误差造成的输出影像的损失的原理的图。
图8是在本发明的第1实施例中，用于说明利用具有比最终输出的输出影像的分辨率高的分辨率的左、右侧图像传感器，防止聚散度控制过程中的输出影像的损失的原理的图。
图9至图11是用于说明本发明的第1实施例中的具体的聚散度控制方法的图。
图12是示出本发明的第2实施例的平行轴立体相机的图。
图13是示出本发明的第3实施例的平行轴立体相机的图。
图14是示出本发明的第4实施例的平行轴立体相机的图。
符号说明
10：相机部
11：左侧镜头模块
12：左侧图像传感器
13：右侧镜头模块
14：右侧图像传感器
20：聚散度控制部
30、32、33：影像处理部
40、43、44：立体影像合成部
42：立体RGB数据合成部
301：左侧影像处理部
302：右侧影像处理部
具体实施方式
图6是示出本发明的第1实施例的平行轴立体相机的图。
参照图6，本发明的第1实施例的平行轴立体相机构成为，包括相机部（10）、聚散度控制部（20）、影像处理部（30）以及立体影像合成部（40）。
相机部（10）构成为，包括：左侧镜头模块（11）、左侧图像传感器（12）、右侧镜头模块（13）以及右侧图像传感器（14），左侧图像传感器（12）和右侧图像传感器（14）的分辨率比作为最终输出的输出影像的立体影像的分辨率高。
参照图7说明如此构成左侧图像传感器（12）和右侧图像传感器（14）的分辨率、即大小的理由。
图7是在本发明的第1实施例中，用于说明利用具有比最终输出的输出影像的分辨率高的分辨率的左、右侧图像传感器（12、14），防止由左、右侧图像传感器（12、14）之间的校准误差造成的输出影像的损失的原理的图。
参照图7，在所需的输出影像的分辨率为1280×720时，两个图像传感器（12、14）的分辨率分别构成为1600×1200。
如上所述，为了消除由左侧相机与右侧相机的校准误差产生的影像损失，采用具有比所需的输出影像的分辨率高的分辨率的图像传感器，如果按照以左侧和右侧图像传感器（12、14）的数据中所需的输出影像大小对左/右共同部分开窗（windowing）的方式，设定左侧图像传感器（12）的数据读出开始点、左侧图像传感器（12）的数据读出开始点以及输出影像的分辨率，则由于始终输出所需的影像大小，因此不会产生影像损失。
优选在立体相机制造过程中预先设定而输入左侧图像传感器（12）的初始读出开始点（U1、V1）、右侧图像传感器（14）的初始读出开始点（U2、V2）、输出影像的分辨率（1,280×720），以没有输出影像的影像损失。能够以输入读出图像传感器的数据的结束点的方式来设定输出影像的分辨率。具体举例为，在最初制造平行轴立体相机时，制造者能够以如下方式执行立体相机：一边通过2D监视器观察左侧影像和右侧影像，一边利用聚散度控制部（20）的外部聚散度控制信号，将左侧图像传感器（12）的初始读出开始点（U1、V1）和右侧图像传感器（14）的初始读出开始点（U2、V2）输入到左侧和右侧图像传感器（12、14）。
总之，即使存在设备上的校准误差，相机部（10）也输出没有影像损失的、与所需的输出影像相同分辨率的RGB数据、即为生成最终输出的立体影像所需的全体RGB数据。
另一方面，左侧图像传感器（12）和右侧图像传感器（14）的初始读出开始点与输出影像的分辨率，优选构成为能够由使用者根据需要进行变更。
聚散度控制部（20）是用于变更左侧图像传感器（12）和右侧图像传感器（14）中的至少一方的横向的读出开始点，而电子式地进行控制以消除对象物的双目视差的单元。
例如，聚散度控制部（20）可以构成为，计算左侧影像处理部（301）输出的左侧影像信号、即左侧亮度/色差信号与右侧影像处理部（302）输出的右侧影像信号、即右侧亮度/色差信号之间的双目视差，变更左侧图像传感器（12）或右侧图像传感器（14）中的至少一个读出开始点，以消除所计算的左侧亮度/色差信号与右侧亮度/色差信号之间的双目视差。
对此，参照图8进行说明。
图8是在本发明的第1实施例中，用于说明利用具有比最终输出的输出影像的分辨率高的分辨率的左、右侧图像传感器（12、14），防止聚散度控制过程中的输出影像的损失的原理的图。
参照图8，按照内部或外部的聚散度控制信号（消除对象物的双目视差的信号、对象物的双目视差成为0的位置、能够按照对象物而自动及手动变更。），变更左侧图像传感器（12）和右侧图像传感器（14）的横向的读出开始点来进行聚散度控制。图8的（a）示出对象物位于近距离时的聚散度控制，图8的（b）示出对象物位于远距离时的聚散度控制。可知在任何情况下都不产生影像损失。
根据这样的聚散度控制方式，由于仅变更图像传感器的读出开始点就能够无影像损失地进行聚散度控制，因此与以往的聚散度控制方式不同，不需要另外的外部存储器等，具有不产生影像失真、时间延迟等问题点的优点。
图9至图11是用于说明本发明的第1实施例中的具体的聚散度控制方法的图。
参照图9至图11，为了进行对3个对象物的聚散度控制，聚散度控制部（20）接受从左侧影像处理部（301）输入的对于3个对象物的左侧影像信号，接受从右侧影像处理部（302）输入的对于3个对象物的右侧影像信号。
此时，聚散度控制部（20）计算作为中间对象物的b1、b2的双目视差、即b1、b2间的分开距离（k），使右侧相机的影像向左移动，以消除中间对象物b1、b2的双目视差。
即、聚散度控制部（20）向右侧图像传感器（14）输入想要向左移动的量的数据读出点，使右侧图像向左侧移动。当如上所述进行处理时，如图11所示，双目视差为0的点B'显示在立体监视器上，比B'点位于前方的A'看似在立体监视器的前方，比B'点位于后方的C'位于立体监视器之后，从而生成自然的立体感。
这种自动聚散度控制功能是在聚散度控制部（20）中每次变更对象物时自动执行的，能够始终获得自然的立体影像，如果同时调节左侧和右侧图像传感器（12、14）的读出点，则能够极大化聚散度控制范围。
影像处理部（30）由左侧影像处理部（301）和右侧影像处理部（302）构成，左侧影像处理部（301）根据聚散度控制部（20）的控制而对从左侧图像传感器（12）输出的左侧RGB数据进行影像处理而输出左侧亮度/色差信号，右侧影像处理部（302）根据聚散度控制部（20）的控制而对从右侧图像传感器（14）输出的右侧RGB数据进行影像处理而输出右侧亮度/色差信号。
立体影像合成部（40）对左侧亮度/色差信号和右侧亮度/色差信号进行合成，来生成立体影像进行输出。
本发明的第1实施例也可以构成为，还包括输出立体影像合成部（40）输出的立体影像的立体监视器和用于存储立体影像的存储部。
另一方面，可以构成为将左侧图像传感器（12）和右侧图像传感器（14）彼此分开设置在印刷电路基板上，在印刷电路基板上的该左侧图像传感器（12）与右侧图像传感器（14）之间设置聚散度控制部（20）、影像处理部（30）以及立体影像合成部（40）中的至少一个。另外，可以构成为将左侧图像传感器（12）和右侧图像传感器（14）彼此分开设置在晶片上，在晶片上的该左侧图像传感器（12）与右侧图像传感器（14）之间，设置聚散度控制部（20）、影像处理部（30）以及立体影像合成部（40）中的至少一个。根据这样的结构，能够减少立体相机的尺寸，从而具有提供能够内置于如便携终端等那样的装置中的平行轴立体相机的效果。
如以上详细说明，根据本发明，具有如下所述的效果：提供具有能够防止由左、右侧相机的设备上的校准误差引起的影像损失的电子式聚散度控制功能和电子式照相机校准功能的平行轴方式的立体相机。
另外，具有如下所述的效果：提供具有能够防止聚散度控制过程中的影像损失的电子式聚散度控制功能和电子式照相机校准功能的平行轴方式的立体相机。
另外，具有如下所述的效果：提供平行轴方式的立体相机，其使用于聚散度控制的信号处理过程简单化，具有能够使立体影像生成过程中的影像失真和时间延迟最小化的电子式聚散度控制功能和电子式照相机校准功能。
另外，具有如下所述的效果：提供平行轴方式的立体相机，其减少在聚散度控制过程中需要的外部存储器等部件的数量而能够减少制造费用，具有电子式聚散度控制功能和电子式照相机校准功能。
另外，由于能够减少立体相机的尺寸，因此具有提供能够内置于如便携终端等那样的装置中，具备电子式聚散度控制功能和电子式照相机校准功能的平行轴立体相机。
实施例
图12示出本发明的第2实施例的平行轴立体相机的图。
参照图12，本发明的第2实施例的平行轴立体相机构成为，包括：相机部（10），其分辨率比输出影像高的左侧图像传感器（12）和右侧图像传感器（14），输出分辨率与输出影像相同的RGB数据；聚散度控制部（20），其变更左侧图像传感器（12）和右侧图像传感器（14）中的至少一方的横方向的读出开始点，电子式地进行控制，以消除对象物的双目视差；立体RGB数据合成部（42），其根据聚散度控制部（20）的控制，对从左侧图像传感器（12）输出的左侧RGB数据和从右侧图像传感器（14）输出的右侧RGB数据进行合成，来合成立体RGB数据；以及影像处理部（32），其对立体RGB数据进行影像处理，输出由左侧亮度/色差信号和右侧亮度/色差信号构成的立体影像。
在第2实施例中包括的聚散度控制部（20）的功能与在第1实施例中包括的聚散度控制部（20）的功能相同。
相比于第1实施例，第2实施例所具有的特征如下。
即、立体RGB数据合成部（42）接受2个图像传感器（12、14）的输出（左侧RGB数据和右侧RGB数据，分别为1280×720），而合成为一个立体RGB数据（2560×720，Full Frame Side by Side）。该立体RGB数据在一个影像处理部（32）中进行影像信号处理。由此，能够更自然地表现左侧和右侧的影像。
图13是示出本发明的第3实施例的平行轴立体相机的图。
参照图13，本发明的第3实施例的平行轴立体相机构成为，包括：相机部（10），其包括分辨率比输出影像高的左侧图像传感器（12）和右侧图像传感器（14），输出分辨率与输出影像相同的RGB数据；聚散度控制部（20），其变更左侧图像传感器（12）和右侧图像传感器（14）中的至少一方的横方向的读出开始点，电子式地进行控制，以消除对象物的双目视差；立体影像处理部（33），其根据聚散度控制部（20）的控制，对从左侧图像传感器（12）输出的左侧RGB数据进行影像处理而生成左侧亮度/色差信号，对从右侧图像传感器（14）输出的右侧RGB数据进行影像处理而生成右侧亮度/色差信号，以左侧亮度/色差信号与右侧亮度/色差信号之间没有亮度和颜色的差异的方式进行校正而输出；以及立体影像合成部（43），其对从立体影像处理部（33）输入的左侧亮度/色差信号和右侧亮度/色差信号进行合成，来合成立体影像。
第2实施例与第3实施例之间的一个差异点是影像信号处理与立体影像合成的顺序。
第2实施例与第3实施例之间的其他差异点是立体影像处理部（33）的功能。更具体地讲，立体影像处理部（33）根据聚散度控制部（20）的控制，对从左侧图像传感器（12）输出的左侧RGB数据进行影像处理而生成左侧亮度/色差信号，对从右侧图像传感器（14）输出的右侧RGB数据进行影像处理而生成右侧亮度/色差信号，以该左侧亮度/色差信号与右侧亮度/色差信号之间没有亮度和颜色的差异的方式进行校正而输出到立体影像合成部（43）。
图14是示出本发明的第4实施例的平行轴立体相机的图。
参照图14，本发明的第4实施例的平行轴立体相机构成为，包括：相机部（10），其包括分辨率比输出影像高的左侧图像传感器（12）和右侧图像传感器（14），输入分辨率与输出影像相同的左侧亮度/色差信号和右侧亮度/色差信号；聚散度控制部（20），其变更左侧图像传感器（12）和右侧图像传感器（14）中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；以及立体影像合成部（44），其对左侧亮度/色差信号和右侧亮度/色差信号进行合成，来合成立体影像。
与其他实施例比较，第4实施例所具有的特征是，执行影像信号处理功能的块包括在左侧和右侧图像传感器（12、14）中这一点。
以上，虽然参照附图说明了本发明的技术思想，但这仅是例示地说明了本发明的优选的实施例，并不限定本发明。另外，可知本领域技术人员当然可以在不脱离本发明的技术思想的范围内，进行各种变形和模仿。

Claims (9)

1.一种平行轴立体相机，其包括：
相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，并输出分辨率与所述输出影像相同的RGB数据；
聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出（Read out）开始点，电子式地进行控制，以消除对象物的双目视差；
影像处理部，其由左侧影像处理部和右侧影像处理部构成，该左侧影像处理部根据所述聚散度控制部的控制，对从所述左侧图像传感器输出的左侧RGB数据进行影像处理而输出左侧亮度/色差信号，该右侧影像处理部根据所述聚散度控制部的控制，对从所述右侧图像传感器输出的右侧RGB数据进行影像处理而输出右侧亮度/色差信号；以及
立体影像合成部，其对所述左侧亮度/色差信号和所述右侧亮度/色差信号进行合成，来合成立体影像。
2.一种平行轴立体相机，其包括：
相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，并输出分辨率与所述输出影像相同的RGB数据；
聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；
立体RGB数据合成部，其根据所述聚散度控制部的控制，对从所述左侧图像传感器输出的左侧RGB数据和从所述右侧图像传感器输出的右侧RGB数据进行合成，来合成立体RGB数据；以及
影像处理部，其对所述立体RGB数据进行影像处理，输出由左侧亮度/色差信号和右侧亮度/色差信号构成的立体影像。
3.一种平行轴立体相机，其包括：
相机部，其包括分辨率比输出影像高的左侧图像传感器和右侧图像传感器，并输出分辨率与所述输出影像相同的RGB数据；
聚散度控制部，其变更所述左侧图像传感器和所述右侧图像传感器中的至少一方的横向的读出开始点，电子式地进行控制，以消除对象物的双目视差；
立体影像处理部，其根据所述聚散度控制部的控制，对从所述左侧图像传感器输出的左侧RGB数据进行影像处理而生成左侧亮度/色差信号，对从所述右侧图像传感器输出的右侧RGB数据进行影像处理而生成右侧亮度/色差信号，以使所述左侧亮度/色差信号与所述右侧亮度/色差信号之间没有亮度和颜色的差异的方式进行校正而输出；以及
立体影像合成部，其对从所述立体影像处理部输入的左侧亮度/色差信号和右侧亮度/色差信号进行合成，来合成立体影像。
4.根据权利要求1至3中的任意一项所述的平行轴立体相机，其特征在于，
所述左侧图像传感器和所述右侧图像传感器的初始读出开始点与输出影像的分辨率已设定，使得消除所述输出影像的影像损失。
5.根据权利要求4所述的平行轴立体相机，其特征在于，
所述左侧图像传感器和所述右侧图像传感器的初始读出开始点和输出影像的分辨率可变更。
6.根据权利要求1至3中的任意一项所述的平行轴立体相机，其特征在于，
所述聚散度控制部计算所述左侧亮度/色差信号与所述右侧亮度/色差信号之间的双目视差，
以消除所述计算出的左侧亮度/色差信号与所述右侧亮度/色差信号之间的双目视差的方式，变更所述左侧图像传感器或所述右侧图像传感器中的至少一方的读出开始点。
7.根据权利要求6所述的平行轴立体相机，其特征在于，
所述聚散度控制部以所述对象物中的位于中间的中间对象物为基准计算所述双目视差。
8.根据权利要求1至3中的任意一项所述的平行轴立体相机，其特征在于，
所述左侧图像传感器和所述右侧图像传感器彼此分开地设置在印刷电路基板上，在印刷电路基板上的所述左侧图像传感器与所述右侧图像传感器之间，设置有所述聚散度控制部、所述影像处理部、所述立体影像合成部、所述立体RGB数据合成部以及所述立体影像处理部中的至少一个。
9.根据权利要求1至3中的任意一项所述的平行轴立体相机，其特征在于，
所述左侧图像传感器和所述右侧图像传感器彼此分开地设置在晶片上，在晶片上的所述左侧图像传感器与所述右侧图像传感器之间，设置有所述聚散度控制部、所述影像处理部、所述立体影像合成部、所述立体RGB数据合成部以及所述立体影像处理部中的至少一个。
CN2010800661837A 2010-04-15 2010-07-27 平行轴立体相机 Pending CN102939563A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100034679A KR100971730B1 (ko) 2010-04-15 2010-04-15 평행축 입체카메라
KR10-2010-0034679 2010-04-15
PCT/KR2010/004916 WO2011129488A1 (ko) 2010-04-15 2010-07-27 평행축 입체카메라

Publications (1)

Publication Number Publication Date
CN102939563A true CN102939563A (zh) 2013-02-20

Family

ID=42645894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800661837A Pending CN102939563A (zh) 2010-04-15 2010-07-27 平行轴立体相机

Country Status (4)

Country Link
US (1) US20130093855A1 (zh)
KR (1) KR100971730B1 (zh)
CN (1) CN102939563A (zh)
WO (1) WO2011129488A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211118A (zh) * 2014-12-31 2017-09-26 诺基亚技术有限公司 立体成像
WO2021088539A1 (zh) * 2019-11-08 2021-05-14 彭波 一种移轴立体摄像机

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011125461A1 (ja) * 2010-04-06 2011-10-13 富士フイルム株式会社 画像生成装置及び方法並びにプリンタ
US8754929B1 (en) * 2011-05-23 2014-06-17 John Prince Real time vergence control for 3D video capture and display
US20140192163A1 (en) * 2011-10-11 2014-07-10 Kenji Shimizu Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
US9743069B2 (en) * 2012-08-30 2017-08-22 Lg Innotek Co., Ltd. Camera module and apparatus for calibrating position thereof
WO2015081174A1 (en) * 2013-11-26 2015-06-04 Conmed Corporation Stereoscopic camera system using monoscopic control unit
CN110463197B (zh) 2017-03-26 2021-05-28 苹果公司 增强立体相机成像系统中的空间分辨率
WO2019041035A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. STEREOSCOPIC IMAGE DISPLAY DEVICE ADJUSTED BY THE SPECTATOR

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125246A (ja) * 2000-10-16 2002-04-26 I-O Data Device Inc ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置
KR20020037097A (ko) * 2000-11-13 2002-05-18 오길록 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템
JP2002271818A (ja) * 2001-03-06 2002-09-20 Olympus Optical Co Ltd 視差量測定装置
KR20050100095A (ko) * 2004-04-13 2005-10-18 한국전자통신연구원 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템
KR20070021694A (ko) * 2005-08-19 2007-02-23 주식회사 후후 평행축 입체 카메라 및 입체영상 생성방법
KR100818155B1 (ko) * 2005-09-13 2008-03-31 (주)브이쓰리아이 모바일 기기용 스테레오 입체카메라 시스템 및 주시각조절방법
CN101498889A (zh) * 2009-03-03 2009-08-05 北京微视新纪元科技有限公司 一种多目立体摄像方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100399047B1 (ko) * 2000-12-01 2003-09-26 한국전자통신연구원 교차축 입체 카메라의 주시각 제어 장치 및 그 방법
KR100622042B1 (ko) * 2004-07-21 2006-09-13 한국방송공사 양안식 스테레오 카메라 시스템의 카메라 구동장치 및 제어방법
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
EP2026589B1 (en) * 2007-08-10 2011-02-23 Honda Research Institute Europe GmbH Online calibration of stereo camera systems including fine vergence movements
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125246A (ja) * 2000-10-16 2002-04-26 I-O Data Device Inc ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置
KR20020037097A (ko) * 2000-11-13 2002-05-18 오길록 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템
JP2002271818A (ja) * 2001-03-06 2002-09-20 Olympus Optical Co Ltd 視差量測定装置
KR20050100095A (ko) * 2004-04-13 2005-10-18 한국전자통신연구원 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템
KR20070021694A (ko) * 2005-08-19 2007-02-23 주식회사 후후 평행축 입체 카메라 및 입체영상 생성방법
KR100818155B1 (ko) * 2005-09-13 2008-03-31 (주)브이쓰리아이 모바일 기기용 스테레오 입체카메라 시스템 및 주시각조절방법
CN101498889A (zh) * 2009-03-03 2009-08-05 北京微视新纪元科技有限公司 一种多目立体摄像方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211118A (zh) * 2014-12-31 2017-09-26 诺基亚技术有限公司 立体成像
US10425630B2 (en) 2014-12-31 2019-09-24 Nokia Technologies Oy Stereo imaging
WO2021088539A1 (zh) * 2019-11-08 2021-05-14 彭波 一种移轴立体摄像机

Also Published As

Publication number Publication date
KR100971730B1 (ko) 2010-07-21
WO2011129488A1 (ko) 2011-10-20
US20130093855A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN102939563A (zh) 平行轴立体相机
EP2357838B1 (en) Method and apparatus for processing three-dimensional images
CN102685523B (zh) 深度信息产生器、深度信息产生方法及深度调整装置
WO2011108592A1 (ja) 撮像装置
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
CN102932662B (zh) 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法
CN111757088A (zh) 一种分辨率无损的裸眼立体显示系统
CN103718547A (zh) 图像处理设备、图像处理方法及程序
CN102656892B (zh) 立体图像显示控制设备及其操作控制方法
CA3086592A1 (en) Viewer-adjusted stereoscopic image display
CN102986232B (zh) 图像处理装置及方法
US9723290B2 (en) Method for generating, transmitting and receiving stereoscopic images and relating devices
US8750601B2 (en) Three-dimensional image processing device, and three-dimensional image processing method
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
US20120163700A1 (en) Image processing device and image processing method
JPH11187426A (ja) 立体映像装置及び方法
JP2008167310A (ja) 裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体
WO2013104075A1 (en) Single optical path anamorphic stereoscopic imager
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
CN103369343B (zh) 三维图像产生方法及装置
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
CN111684517B (zh) 观看者调节的立体图像显示
US8503874B2 (en) Apparatus for imaging three-dimensional image
KR101779708B1 (ko) 테이블탑 3d 디스플레이를 위한 사투영 시점영상 획득 및 보정 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130220