CN103200362A - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN103200362A
CN103200362A CN2013100012752A CN201310001275A CN103200362A CN 103200362 A CN103200362 A CN 103200362A CN 2013100012752 A CN2013100012752 A CN 2013100012752A CN 201310001275 A CN201310001275 A CN 201310001275A CN 103200362 A CN103200362 A CN 103200362A
Authority
CN
China
Prior art keywords
eye image
image data
image
data
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100012752A
Other languages
English (en)
Other versions
CN103200362B (zh
Inventor
池田康之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103200362A publication Critical patent/CN103200362A/zh
Application granted granted Critical
Publication of CN103200362B publication Critical patent/CN103200362B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供摄像设备及其控制方法。摄像设备的摄像元件设置有分别具有针对一个微透镜的多个光电转换部件的像素，其中该多个光电转换部件用于通过对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换来生成图像信号。摄像设备基于摄像元件所输出的图像信号来生成用于三维显示的左眼图像数据和右眼图像数据，并且通过将左眼图像数据和右眼图像数据进行相加合成来生成用于二维显示的合成图像数据。摄像设备以第一压缩率对合成图像数据进行压缩，以高于第一压缩率的第二压缩率对左眼图像数据和右眼图像数据进行压缩，并且将压缩后的各图像数据记录在同一图像文件。

Description

摄像设备及其控制方法
技术领域
本发明涉及一种摄像设备以及摄像设备控制方法。
背景技术
近年来，诸如三维(3D)电影院、3D显示器等的与立体图像相关的装置已得到快速的普及。传统上，通过胶片照相机等来进行立体图像的拍摄。然而，随着数字摄像设备的普及，已普遍使用数字照相机、数字摄像机等来拍摄用于生成立体图像的原始图像。
作为用户用来观看立体图像的机构，准备用于在左右方向上具有视差的右眼图像和左眼图像的数据以与使用左眼观看的被摄体的图像和使用右眼观看的被摄体的图像相对应。用户可以通过分别使用他/她的右眼和左眼观看各图像，来观看立体图像。此种方法的例子包括用于分割将要观看的视差图像的方法，诸如视差屏障(parallax barrier)法或者双凸透镜(lenticular)法等。用于通过在左侧和右侧之间具有不同特性的滤波器对用户的左眼和右眼提供不同的图像的方法也广为人知。
另一方面，作为用于拍摄可作为立体图像来观看的图像，日本特开昭58-24105公开了用于在不同视点同时拍摄图像的方法。日本特开昭58-24105公开了形成有多个微透镜并且至少一对光电二极管被配置为靠近各微透镜的固态摄像元件。
对于该对光电二极管，根据其中一个光电二极管的输出来获得第一图像信号，并且根据另一个光电二极管的输出来获得第二图像信号。用户可以通过分别使用第一图像信号和第二图像信号作为左眼图像和右眼图像来观看立体图像。也可以考虑基于上述的第一图像信号和第二图像信号生成合成图像并且将所生成的合成图像记录为用于二维显示的图像的摄像设备。
在该情况下，尽管摄像设备可以将左眼图像和右眼图像作为单独的文件来进行管理，但是若丢失了其中一个文件，则不可能观看立体图像。日本特开2010-200354公开了将左眼图像和右眼图像记录在同一文件的图像文件生成方法。
应用日本特开2010-200354所公开的图像文件生成方法，可以考虑将左眼图像、右眼图像和合成图像记录在一个文件的摄像设备。然而，如果使用这种摄像设备则文件大小会大。
发明内容
本发明的摄像设备是将左眼图像、右眼图像和合成图像数据记录在一个文件并且将记录图像数据的文件大小最小化的摄像设备。
根据本发明的一方面，一种摄像设备，包括：摄像元件，其设置有各自针对一个微透镜具有多个光电转换部件的像素，其中所述多个光电转换部件用于通过对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换来生成图像信号；图像生成部件，用于基于所述摄像元件所输出的图像信号来生成用于三维显示的左眼图像数据和右眼图像数据，并且通过将所生成的左眼图像数据和右眼图像数据进行相加合成来生成用于二维显示的合成图像数据；图像压缩部件，用于以预定的第一压缩率对所述合成图像数据进行压缩，并且以高于所述第一压缩率的第二压缩率对所述左眼图像数据和所述右眼图像数据进行压缩；以及图像记录部件，用于将压缩后的合成图像数据、左眼图像数据和右眼图像数据记录在同一图像文件中。
根据本发明的另一方面，一种摄像设备的控制方法，所述摄像设备包括各自针对一个微透镜具有多个光电转换部件的像素，其中所述多个光电转换部件用于通过对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换来生成图像信号，所述控制方法包括：基于像素所输出的图像信号来生成用于三维显示的左眼图像数据和右眼图像数据，并且通过将所生成的左眼图像数据和右眼图像数据进行相加合成来生成用于二维显示的合成图像数据；以预定的第一压缩率对所述合成图像数据进行压缩，并且以高于所述第一压缩率的第二压缩率对所述左眼图像数据和所述右眼图像数据进行压缩；以及将压缩后的合成图像数据、左眼图像数据和右眼图像数据存储在同一图像文件中。
根据本发明的摄像设备，可以通过将左眼图像、右眼图像和合成图像记录在一个文件来实现有效率的文件管理，并且将记录图像的文件大小最小化。
根据参考附图对典型实施例的如下说明，本发明的其它特征将变得明显。
附图说明
图1示意性地示出摄像设备所应用的摄像元件的典型结构。
图2A和图2B示出摄像元件的像素的典型结构。
图3是描述从拍摄透镜的出射光瞳发出的光束如何进入摄像元件的示意图。
图4示出本实施例的摄像设备的典型结构。
图5示出图像数据的文件结构的例子。
图6是用于说明图像文件生成处理的例子的流程图。
图7示出JPEG图像压缩率设置画面的例子。
图8是用于说明JPEG压缩率的确定处理的例子的流程图。
图9是用于说明JPEG压缩率的确定处理的例子的流程图。
图10示出图像数据的文件结构的例子。
图11示出图像数据的文件结构的例子。
具体实施方式
如上所述，为了观看立体图像，需要使用左眼图像和右眼图像，并且将这些图像记录在同一文件，这能够实现有效率的文件管理。
现在，设置有具有与单个微透镜相对应的多个光电二极管的摄像元件的摄像设备可以执行以下的处理。例如，该摄像设备使用通过将左眼图像和右眼图像进行合成而生成的合成图像作为二维显示图像，并且使用左眼图像和右眼图像作为三维显示图像。将这些图像记录在同一文件中，这能够实现有效率的文件管理，但是存在由于将三个图像记录在同一文件中而导致文件大小增大的问题。根据以下说明的本实施例的摄像设备，能够解决上述的问题。
图1示意性地示出本实施例的摄像设备所应用的摄像元件的典型结构。摄像元件100包括像素阵列101、在像素阵列101中选择行的垂直选择电路102、以及在像素阵列101中选择列的水平选择电路104。读出电路103读出由垂直选择电路102从像素阵列101的像素中选择出的像素的信号。读出电路103针对各列具有用于存储该信号的存储器、增益放大器和AD转换器等。
串行接口(SI)单元105根据来自外部电路的指令判断各电路的操作模式。垂直选择电路102顺次选择像素阵列101的多个行，并且将像素信号提取给读出电路103。水平选择电路104针对各列顺次选择由读出电路103读出的多个像素信号。除了图1所示的组件，摄像元件100还具有例如用于向垂直选择电路102、水平选择电路104和读出电路103等以及控制电路提供时序信号的时序发生器，但是将省略对其的详细说明。
图2A和2B是示出摄像元件100的像素的典型结构的图。图2A示意性地显示单个像素的结构。图2B显示像素阵列101的配置。图2A所示的像素201具有用作光学元件的微透镜202以及用作光接收元件的多个光电二极管(以下缩写为“PD”)。
图2A示出将左侧PD203和右侧PD204设置在一个像素内的例子，但是也可以使用三个以上(例如，四个或者九个)的PD。PD203对所接收到的光束进行光电转换以输出左眼图像。PD204对所接收到的光束进行光电转换以输出右眼图像。在以下的说明中，左侧的PD也表示为左侧PD，右侧的PD也表示为右侧PD。除了示出的组件，像素201还包括例如用于将PD信号提取给读出电路103的像素放大器、行选择开关和PD信号复位开关。
为了提供二维图像，以二维阵列布局将像素阵列101配置为图2B所示的具有多个像素301至304。PD301L、302L、303L和304L分别对应于图2A的PD203，并且PD301R、302R、303R和304R分别对应于图2A的PD204。即，本实施例的摄像设备设置有包括分别具有用于输出左眼图像的第一光电转换单元(PD203)和用于输出右眼图像的第二光电转换单元(PD204)的多个像素的摄像元件。
接下来，说明具有图2B所示的像素结构的摄像元件100的光接收。图3是描述从拍摄透镜的出射光瞳发出的光束如何进入摄像元件100的示意图。
像素阵列101具有微透镜402、滤色器403以及PD404和405。PD404和405分别与图2A的PD203和204相对应。
在图3中，从拍摄透镜的出射光瞳406向微透镜402发出的光束的中心构成光轴409。从出射光瞳406发出的光进入以光轴409为中心的摄像元件100。部分区域407和408是拍摄透镜的出射光瞳406的区域。光束410和411是通过部分区域407的光的最外围光束。光束412和413是通过部分区域408的光的最外围光束。
在从出射光瞳406发出的光束中，在光轴409用作边界的情况下，上面光束进入PD405以及下面光束进入PD404。简言之，PD404和PD405分别接收来自摄影光学系统的出射光瞳的不同区域的光束。当各光接收元件以这种方式检测出射光瞳的不同区域的光时，在模糊状态中拍摄来自点光源的光的情况下，它们获得形状各不相同的拍摄图像。
图4是示出本实施例的摄像设备的典型结构的图。参考图4，将说明将图1所示的摄像元件100应用于作为摄像设备的数字照相机的典型应用。构成摄像光学系统的透镜单元501将来自被摄体的光会聚在摄像元件505上。摄像元件505对应于图1所示的摄像元件100，并且具有图2B所示的像素结构。
透镜驱动装置502进行放大控制、聚焦控制和光圈控制等。通过快门驱动装置504来控制机械快门503。摄像元件505将由透镜单元501成像的被摄体图像转换为图像信号。摄像信号处理电路506对由摄像元件505输出的图像信号进行各种类型的处理或者校正。时序发生器507输出摄像元件505或者摄像信号处理电路506所需的时序信号。
系统控制单元509是进行各种计算并且在整体上控制摄像设备的控制单元。通过设置在摄像设备中的CPU(中央处理单元)(未示出)执行程序来实现系统控制单元509的处理。存储单元508包括临时存储图像数据的存储器。设置记录介质控制接口单元(以下缩写为“I/F单元”)510以将图像数据等记录在记录介质511上以及从记录介质511读取图像数据等。可从摄像设备拆卸的记录介质511是半导体存储器等。外部I/F单元512将数据传送给外部设备以及从外部设备接收数据。
摄像信号处理电路506对摄像元件505输出的图像信号进行各种类型的校正和图像处理。存储单元508临时存储来自摄像信号处理电路506的输出数据以及由图像合成电路513生成的合成图像等。图像合成电路513生成合成图像。图像压缩电路514用作对图像信号进行压缩的图像压缩单元。显示单元515显示各种类型的信息和所拍摄的图像。通过图4所示的设置在摄像设备中的各处理单元的功能来实现本实施例的摄像设备的控制方法。
接下来，说明拍摄期间数字照相机的操作。当主电源接通时，控制系统电路单元的电源接通，并且诸如摄像信号处理电路506的摄像处理系统电路的电源也接通。当用户操作释放按钮时(未示出)，系统控制单元509基于来自摄像元件505的数据计算焦点状态检测以计算从摄像设备到被摄体的距离。随后，透镜驱动装置502驱动透镜单元501的可移动透镜，并且系统控制单元509判断焦点状态是否为聚焦。
当系统控制单元509判断出焦点状态为非聚焦时，系统控制单元509再次控制透镜单元501的驱动以执行焦点状态检测处理。对于计算到被摄体的距离，除了用于根据摄像元件505的数据计算距离的方法，还可以使用采用距离测量专用设备(未示出)的方法。系统控制单元509在判断出焦点状态为聚焦之后开始拍摄操作。当拍摄操作完成时，摄像信号处理电路506处理由摄像元件505输出的图像信号，并且系统控制单元509控制将图像数据写入到存储单元508。
将由摄像元件505输出的图像数据输出为来自多个PD的图像信号。在图2B所示的例子中，以PD301L、301R、302L、302R、303L、303R、304L和304R的顺序输出图像信号。摄像信号处理电路506通过将由摄像元件505输出的摄像数据分配给左眼图像数据和右眼图像数据来执行图像处理。左眼图像数据是作为仅对来自图2B所示的左侧PD301L、302L、303L和304L的输出(左眼图像信号)进行选择和处理的结果而获得的图像数据。
右眼图像数据是作为仅对来自图2B所示的右侧PD301R、302R、303R和304R的输出(右眼图像信号)进行选择和处理的结果而获得的图像数据。将左眼图像数据和右眼图像数据单独保存在存储单元508中。
图像合成单元513读取保存在存储单元508中的用于左眼图像和右眼图像的各数据，并且生成合成图像。将所生成的合成图像数据存储在存储单元508中。由图像合成单元513执行的图像处理是计算针对左眼图像和右眼图像的各像素的相加平均值的处理。因此，通过该图像处理对被摄体的形状进行插值。由此生成的合成图像具有反映被摄体的形状的形状。例如，在被摄体的形状为圆形并且左眼图像和右眼图像为半圆形的情况下，合成图像将具有与被摄体的形状相同的圆形形状。即，摄像信号处理电路506和图像合成单元513用作执行以下处理的图像生成单元。该图像生成单元基于由摄像元件505输出的图像信号生成用于三维显示的左眼图像数据和右眼图像数据，并且通过对生成的相关的左眼图像数据和右眼图像数据进行相加合成而生成用于二维显示的合成图像数据。
即使在被摄体的形状在左眼图像和右眼图像之间不同的状态下使用摄像元件505来执行拍摄时，通过图像合成单元513的图像处理对被摄体图像的形状进行插值，从而生成具有正确形状的图像数据。应当注意，摄像信号处理电路506也可以在执行图像处理之后对左眼图像和右眼图像进行合成。
通过上述的处理，存储单元508存储左眼图像、右眼图像以及由图像合成电路513生成的合成图像。接着，系统控制单元509读取存储在存储单元508中的各图像。然后，图像压缩电路514对所读取的图像进行JPEG压缩，并且将其作为显示图像再次写入存储单元508。之后，系统控制单元509经由记录介质控制I/F单元510将写入存储单元508的图像记录在诸如半导体存储器的可拆卸记录介质511中。应当注意，系统控制单元509也可以经由外部I/F单元512执行至外部计算机等的直接输入。
第一实施例
以下将说明第一实施例。第一实施例的摄像设备以预定的第一压缩率压缩合成图像，并且以高于第一压缩率的第二压缩率压缩左眼图像和右眼图像。
图5是示出由第一实施例的摄像设备记录的图像数据的典型文件结构的图。第一实施例的摄像设备将左眼图像、右眼图像和合成图像作为图像数据文件600记录在存储单元508。图像数据文件600具有数字照相机通常使用的DCF图像数据文件格式。具体地，图像数据文件600具有DCF头部610、缩略图图像部620和JPEG图像部630的各区域。
DCF头部610是存储DCF头信息的区域，并且具有预定的数据大小。DCF头信息包括与存储在JPEG图像部630的图像数据相关的拍摄信息和参数等的元数据A(611)。DCF头信息还包括与合成缩略图图像相对应的偏移值B(612)、与左眼缩略图图像相对应的偏移值C(613)以及与右眼缩略图图像相对应的偏移值D(614)。DCF头信息还包括与合成JPEG图像相对应的偏移值E(615)、与左眼JPEG图像相对应的偏移值F(616)以及与右眼JPEG图像相对应的偏移值G(617)。通过偏移值B至G指定各图像数据的开始位置。
缩略图图像部620存储在摄像设备执行多个图像(索引)显示时所使用的缩略图图像。缩略图图像是通过对存储在JPEG图像部630的JPEG图像等进行间隔剔除而调整了大小的图像。缩略图图像部620具有合成缩略图图像部621、左眼缩略图图像部622和右眼缩略图图像部623。
合成缩略图图像部621记录在摄像设备执行二维显示时所使用的缩略图图像。左眼缩略图图像部622和右眼缩略图图像部623分别在记录摄像设备执行三维显示时所使用的左眼缩略图图像和右眼缩略图图像。
JPEG图像部630是用于存储在摄像设备对原始(raw)图像进行图像处理之后通过压缩而获得的JPEG图像的区域。JPEG图像能够应用于普通的多个应用。
JPEG图像部630具有合成JPEG图像部631、左眼JPEG图像部632和右眼JPEG图像部633。合成JPEG图像部631记录在摄像设备执行二维显示时所使用的JPEG图像。左眼JPEG图像部632和右眼JPEG图像部633分别记录在摄像设备执行三维显示时所使用的左眼JPEG图像和右眼JPEG图像。
在图5所示的文件结构中，虽然将三种类型的JPEG图像存储在单个文件，但是各JPEG图像使用于不同的用途。因此，摄像设备根据使用JPEG图像的用途来确定各JPEG图像的压缩率。
应当注意，由摄像设备记录的图像文件的文件结构不限于图5所示的文件结构。摄像设备也可以根据诸如图像编辑等的各种用途记录具有对图5所示的各图像的顺序进行了修改的文件结构的图像文件。
图6是说明第一实施例的摄像设备的图像文件生成处理的例子的流程图。在该例子中，摄像设备生成DCF文件作为图像文件。首先，系统控制单元509从摄像元件505的右侧PD和左侧PD获得原始数据。即，系统控制单元509从摄像元件设置有的所有PD获得原始(raw)数据，并且将其存入存储单元508(步骤S701)。在本实施例中，从所有PD获得的原始数据表示为“全部PD原始数据”。
接着，摄像信号处理电路506使用用于原始图像的显影参数来对存储单元508的全部PD原始数据进行显影，生成原始图像数据并且将其配置在存储单元508中(步骤S702)。由于该原始图像数据使用从所有PD读出的信号，因而即使在以模糊的方式拍摄点光源的光的被摄体的情况下，也能够将该原始图像数据识别为正确形状的图像数据。在该例子中，为了方便，将从包括右侧PD和左侧PD的所有PD生成的图像作为合成图像。在步骤S702中生成的原始图像数据也表示为“合成原始图像数据”。即，摄像信号处理单元506不是对左眼图像数据和右眼图像数据进行相加合成，而是基于由摄像元件505输出的所有图像信号来生成用于二维显示的合成图像数据。
接着，摄像信号处理单元506使用用于JPEG图像的显影参数来对在步骤S702中获得的合成原始图像数据进行显影。另外，图像压缩电路514通过以预定压缩率对相关的显影结果进行图像压缩，来生成合成JPEG图像和合成缩略图图像(步骤S703)。以下说明将应用于步骤S703的压缩率的确定处理。
接着，系统控制单元509判断是生成用于二维显示的图像文件还是生成用于三维显示的图像文件(步骤S704)。此处所定义的3D图像文件是具有能够作为二维图像和三维图像两者来进行处理的格式的文件。在系统控制单元509判断为要生成用于三维显示的图像文件的情况下，处理进行到步骤S705。
在步骤S705中，系统控制单元509将在步骤S701中获得的全部PD原始数据输入至摄像信号处理电路506，并且摄像信号处理电路506提取与右侧PD相对应的原始数据。通过使用用于原始图像的显影参数对所提取的原始数据进行显影，摄像信号处理电路506生成右眼原始图像数据，并且将其配置在存储单元508中(步骤S705)。
接着，摄像信号处理电路506使用用于JPEG图像的显影参数来对存储单元508中的右眼原始图像数据进行显影。然后，图像压缩电路514以预定压缩率对相关的显影结果进行图像压缩，从而生成右眼JPEG图像和右眼缩略图图像(步骤S706)。以下说明应用于步骤S706的压缩率的确定处理。
接着，系统控制单元509将在步骤S701中获得的全部PD原始数据输入至摄像信号处理电路506，并且摄像信号处理电路506提取与左侧PD相对应的原始数据。通过使用用于原始图像的显影参数对所提取的原始数据进行显影，摄像信号处理电路506生成左眼原始图像数据，并且将其配置在存储单元508中(步骤S707)。
接着，摄像信号处理电路506使用用于JPEG图像的显影参数来对存储单元508中的左眼原始图像数据进行显影。然后，图像压缩电路514以预定压缩率对相关的显影结果进行图像压缩，从而生成左眼JPEG图像和左眼缩略图图像(步骤S708)。以下说明应用于步骤S708的压缩率的确定处理。
接着，系统控制单元509生成DCF头(步骤S709)。即，系统控制单元509将信息存储在例如图5所示的DCF头部610。具体地，系统控制单元509在图5的用于拍摄信息和参数等的元数据A(611)中设置包括拍摄期间的曝光时间和快门速度的信息。系统控制单元509还基于在步骤S709的处理之前生成的各图像的数据大小来计算与各图像相对应的偏移值B-G(612-619)，并且设置相关的偏移值。
接着，系统控制单元509使用步骤S709中生成的DCF头、各JPEG图像以及缩略图图像，生成并且记录具有例如图5所示的结构的DCF文件(步骤S710)。即，系统控制单元509用作将压缩后的合成图像数据、左眼图像数据和右眼图像数据记录在同一图像文件的图像记录单元。
在系统控制单元509在上述的步骤S704中判断为要生成用于二维显示的图像文件的情况下，处理进行到步骤S709，并且执行以下的DCF头准备处理。系统控制单元509设置用于拍摄信息和参数等的元数据A(611)。系统控制单元509也计算并设置与合成图像相对应的偏移值B(612)和E(615)。
系统控制单元509针对与左眼图像和右眼图像相对应的偏移值C(613)、D(614)、F(616)和G(617)，设置表示图像未包括在图像数据文件600中的预定值。也可以使用系统控制单元509不记录偏移值项本身的方法。随后，在步骤S710中，系统控制单元509生成由DCF头部、合成JPEG图像和合成缩略图图像构成的DCF文件(步骤S710)，并且终止处理。由于用于二维显示的图像文件的文件结构与传统的DCF文件的结构相同，因而此处省略对其的说明。
图7是示出JPEG图像压缩率设置画面的例子的图。JPEG图像压缩率设置画面是设置JPEG图像的压缩率的画面。在用户选择压缩率“高”的情况下，系统控制单元509将高压缩率确定为用户设置的压缩率。图像压缩电路514以该高压缩率压缩JPEG图像，从而获得文件大小小的JPEG图像。
在用户选择压缩率“低”的情况下，系统控制单元509将该低压缩率确定为用户选择的压缩率。图像压缩电路514以该低压缩率压缩JPEG图像，从而获得文件大小大的JPEG图像。
图8是用于说明第一实施例的JPEG压缩率的确定处理的流程图。在以下的说明中，用户在JPEG图像压缩率设置画面上执行选择操作以将低压缩率设置为用于压缩JPEG图像的压缩率。首先，系统控制单元509判断作为压缩处理对象的JPEG图像的类型(步骤S1001)。
在作为压缩处理对象的JPEG图像是存储在合成JPEG图像部631的“合成图像”的情况下，系统控制单元509确定为用户设置的压缩率，即，低压缩率是用于压缩相关的JPEG图像的压缩率。用户设置的压缩率是第一压缩率。
与左眼图像或者右眼图像相比，合成图像是观看者不具有不适感的图像。因此，合成图像具有多种用途，并且可以在普通的应用中执行二维显示时、或者在执行修描(retouch)处理时、或者在执行打印输出时等使用。因此，在步骤S1002中，图像压缩电路514以用户设置的压缩率对合成图像进行压缩(步骤S1002)。步骤S1002中的处理与上述的图6的步骤S703中的图像压缩处理相对应。
在作为压缩处理对象的JPEG图像是存储在左眼JPEG图像部632中的“左眼图像”或者存储在右眼JPEG图像部633中的“右眼图像”的情况下，系统控制单元509进行以下的处理。系统控制单元509确定为高于用户设置的压缩率的压缩率是用于压缩相关的JPEG图像的压缩率。所确定的压缩率是第二压缩率。系统控制单元509采用例如比用户设置的压缩率高出预定值的压缩率。
在摄像设备将三维图像显示在显示监视器上时使用左眼图像和右眼图像。普通的显示监视器的分辨率低于所存储的图像数据的分辨率。另外，由于将图像数据显示为三维图像，因而即使以低压缩率存储图像数据，也难以获得以低压缩率进行记录的效果。结果，图像压缩电路514以高于用户设置的压缩率的第二压缩率执行压缩(步骤S1003)。步骤S1003中的处理与图6的步骤S706和S708中的图像压缩处理相对应。
第一实施例的摄像设备根据用户设置的压缩率进行具有多种用途的“合成图像”的压缩处理，并且以高于用户设置的压缩率的压缩率进行具有有限用途的左眼图像和右眼图像的压缩处理。因此，根据第一实施例的摄像设备，可以通过将合成图像、左眼图像和右眼图像记录在同一文件来实现有效率的文件管理，使记录图像的文件大小最小化以及防止文件大小的不必要的增大。
第二实施例
接着，说明第二实施例的摄像设备。JPEG压缩的特征是即使在使用相同的压缩参数时，压缩后的数据大小也由于图像数据内容而变化。例如，压缩后的数据大小在图像数据包括多个高频成分的情况下增大，并且相反地，压缩后的数据大小在几乎没有高频成分的情况下减小。因此，第二实施例的摄像设备根据先前执行了压缩处理的合成图像的压缩结果来判断用于左眼图像和右眼图像的压缩率。
图9是用于说明第二实施例的JPEG压缩率的确定处理的例子的流程图。首先，系统控制单元509判断作为压缩处理对象的JPEG图像的类型(步骤S1101)。
在作为压缩处理对象的JPEG图像是存储在合成JPEG图像部631的“合成图像”的情况下，系统控制单元509确定为用户设置的压缩率，即，预定的第一压缩率是用于压缩相关的JPEG图像的压缩率。然后，图像压缩电路514以用户设置的压缩率对合成图像进行压缩(步骤S1102)。
接着，系统控制单元509在步骤S1103中基于压缩合成图像之后的数据大小来确定在压缩左眼图像和右眼图像时所使用的压缩率(步骤S1103)。在该例子中，摄像设备预先在存储单元中存储了设置有在压缩后的数据大小和相应的第二压缩率之间的对应信息的表。系统控制单元509参考相关的表来将与压缩后的数据大小相对应的压缩率确定为第二压缩率。具体地，系统控制单元509获得压缩后的合成图像数据的数据大小作为合成图像数据压缩结果。然后，系统控制单元509基于获得的压缩后的合成图像数据的数据大小和上述表中的对应信息来确定用于左眼图像数据和右眼图像数据的压缩的第二压缩率。应当注意，系统控制单元509也可以确定用于压缩左眼图像和右眼图像的压缩率，使得例如压缩后的合成图像、左眼图像和右眼图像的总数据量小于或者等于预定值。
在作为压缩处理对象的JPEG图像是存储在左眼JPEG图像部632中的“左眼图像”或者存储在右眼JPEG图像部633中的“右眼图像”的情况下，处理进行到步骤S1103。然后，系统控制单元509以在步骤S1103中确定的压缩率压缩左眼图像或右眼图像(步骤S1104)。
第二实施例的摄像设备以用户设置的压缩率进行具有多种用途的合成图像的压缩处理，并且以根据合成图像的压缩结果而适当地确定的压缩率进行具有有限用途的左眼图像和右眼图像的压缩处理。因此，根据第二实施例的摄像设备，可以通过将合成图像、左眼图像和右眼图像记录在同一文件来实现有效率的文件管理，并且防止文件大小的增大而与先前压缩的合成图像的数据内容无关。
其它实施例
对于第一和第二实施例的摄像设备，当将合成右侧PD和左侧PD的全部PD原始数据输入至摄像信号处理电路506时，可以分别输出合成图像数据、左眼图像数据和右眼图像数据。对于其它实施例的摄像设备，将左侧PD的原始数据和右侧PD的原始数据分别输入至摄像信号处理电路506，输出左眼图像数据和右眼图像数据，并且通过将左眼图像数据和右眼图像数据通过图像合成电路513来输出合成图像数据。
还可以利用具有这种结构的摄像设备，将具有图5所示的文件结构的三种类型的JPEG图像存储于一个文件，并且通过图8和图9所说明的处理来确定JPEG图像的各压缩率。
对于其它实施例的摄像设备，还可以生成合成图像、左眼图像和右眼图像作为原始图像文件结构。图10和图11是示出其它实施例的典型图像数据文件结构的图。图10所示的图像数据文件900具有原始头部910、缩略图图像部920、显示用JPEG图像部930和原始图像部940的各区域。
原始头部910是存储原始头信息的区域，并且具有预定的数据大小。原始头信息包括与存储在原始图像部940中的图像数据相关的拍摄信息和参数等的元数据A(911)。
原始头信息包括与合成缩略图图像相对应的偏移值B(912)、与左眼缩略图图像相对应的偏移值C(913)以及与右眼缩略图图像相对应的偏移值D(914)。原始头信息还包括与合成显示用JPEG图像相对应的偏移值E(915)、与左眼显示用JPEG图像相对应的偏移值F(916)以及与右眼显示用JPEG图像相对应的偏移值G(917)。原始头信息还包括与右眼原始图像相对应的偏移值H(918)以及与左眼原始图像相对应的偏移值I(919)。通过这些偏移值B~I来指定各图像数据的开始位置。
缩略图图像部920的结构与图5所示的缩略图图像部620的结构相同。缩略图图像部920具有合成缩略图图像部921、左眼缩略图图像部922和右眼缩略图图像部923。
显示用JPEG图像部930是存储JPEG图像的区域，其中通过以规定的压缩方法处理存储在原始图像部940的原始图像来获得该JPEG图像。显示用JPEG图像部930具有显示用合成JPEG图像部931、显示用左眼JPEG图像部932和显示用右眼JPEG图像部933。显示用合成JPEG图像部931记录在进行二维显示时所使用的JPEG图像。显示用左眼JPEG图像部932和右眼JPEG图像部933分别记录在进行三维显示时所使用的用于JPEG显示的左眼图像和用于JPEG显示的右眼图像。
原始图像部940是存储原始数据的区域，其中输出该原始数据使得来自摄像元件505的输出不会劣化。原始数据是用于通过利用诸如个人计算机的外部设备进行图像的再现(显影)处理来实现符合高质量打印或用户目的的高度的图像编辑的数据。
原始图像不适合于数据量大的图像显示等。因此，将显示用JPEG图像部930用于摄像设备实质上进行三维立体显示的情况。结果，原始图像部940记录用作原始材料的原始数据以将数据大小最小化。具体地，将从左侧PD获得的左眼原始数据记录在左眼原始图像部941，并且将从右侧PD获得的右眼原始数据记录在右眼原始图像部942。
摄像设备还可以将三种类型的JPEG图像存储在具有图11所示的文件结构的文件中。在图11所示的例子中，原始图像部940具有原始图像部943。摄像设备将未针对左眼使用和右眼使用而分割的原始数据记录在原始图像部943。
上面已经说明了本发明的优选实施例，但是本发明不限于这些实施例，并且能够在本发明的意图范围内进行多种修改及变化。
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此，例如通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包括所有这些修改以及等同结构和功能。
本申请要求2012年1月6日提交的申请号为2012-001336的日本专利申请的优先权，在此通过引用包含该申请的全部内容。

Claims (6)

1.一种摄像设备，包括：
摄像元件，其设置有各自针对一个微透镜具有多个光电转换部件的像素，其中所述多个光电转换部件用于通过对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换来生成图像信号；
图像生成部件，用于基于所述摄像元件所输出的图像信号来生成用于三维显示的左眼图像数据和右眼图像数据，并且通过将所生成的左眼图像数据和右眼图像数据进行相加合成来生成用于二维显示的合成图像数据；
图像压缩部件，用于以预定的第一压缩率对所述合成图像数据进行压缩，并且以高于所述第一压缩率的第二压缩率对所述左眼图像数据和所述右眼图像数据进行压缩；以及
图像记录部件，用于将压缩后的合成图像数据、左眼图像数据和右眼图像数据记录在同一图像文件中。
2.根据权利要求1所述的摄像设备，其中，所述像素分别具有用于输出左眼图像信号的第一光电转换部件以及用于输出右眼图像信号的第二光电转换部件，以及
所述图像生成部件基于所述左眼图像信号生成所述左眼图像数据，以及基于所述右眼图像信号生成所述右眼图像数据。
3.根据权利要求1所述的摄像设备，其中，代替通过将所生成的左眼图像数据和右眼图像数据进行相加合成，所述图像生成部件基于所述摄像元件所输出的所有图像信号，来生成用于二维显示的合成图像数据。
4.根据权利要求1所述的摄像设备，其中，所述图像压缩部件基于所述合成图像数据的压缩结果，确定在压缩所述左眼图像数据和所述右眼图像数据时的所述第二压缩率。
5.根据权利要求1所述的摄像设备，其中，所述图像压缩部件获得压缩后的合成图像数据的数据大小作为所述合成图像数据的压缩结果，并且基于所获得的压缩后的合成图像数据的数据大小、以及预先存储在存储部件中的在压缩后的合成图像数据的数据大小与所述第二压缩率之间的对应信息，来确定在压缩所述左眼图像数据和所述右眼图像数据时的所述第二压缩率。
6.一种摄像设备的控制方法，所述摄像设备包括各自针对一个微透镜具有多个光电转换部件的像素，其中所述多个光电转换部件用于通过对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换来生成图像信号，所述控制方法包括：
基于所述像素所输出的图像信号来生成用于三维显示的左眼图像数据和右眼图像数据，并且通过将所生成的左眼图像数据和右眼图像数据进行相加合成来生成用于二维显示的合成图像数据；
以预定的第一压缩率对所述合成图像数据进行压缩，并且以高于所述第一压缩率的第二压缩率对所述左眼图像数据和所述右眼图像数据进行压缩；以及
将压缩后的合成图像数据、左眼图像数据和右眼图像数据存储在同一图像文件中。
CN201310001275.2A 2012-01-06 2013-01-05 摄像设备及其控制方法 Expired - Fee Related CN103200362B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-001336 2012-01-06
JP2012001336A JP5924943B2 (ja) 2012-01-06 2012-01-06 撮像装置および撮像装置の制御方法

Publications (2)

Publication Number Publication Date
CN103200362A true CN103200362A (zh) 2013-07-10
CN103200362B CN103200362B (zh) 2016-08-24

Family

ID=48722707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310001275.2A Expired - Fee Related CN103200362B (zh) 2012-01-06 2013-01-05 摄像设备及其控制方法

Country Status (3)

Country Link
US (1) US9369698B2 (zh)
JP (1) JP5924943B2 (zh)
CN (1) CN103200362B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100595A (zh) * 2014-05-13 2015-11-25 佳能株式会社 摄像设备及其控制方法
CN106231158A (zh) * 2015-06-02 2016-12-14 佳能株式会社 摄像元件、摄像设备和摄像元件的控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950157B2 (ja) * 2012-05-18 2016-07-13 ソニー株式会社 画像処理装置および方法、並びに、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) * 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
US6212302B1 (en) * 1998-12-29 2001-04-03 Eastman Kodak Company Method and apparatus for visually optimized rate control
US20100195920A1 (en) * 2009-01-30 2010-08-05 Sony Corporation Recording device, recording method, recording medium, reproducing device, reproducing method, editing device, and editing method
JP2010200354A (ja) * 2010-04-20 2010-09-09 Panasonic Corp 電子機器、プリンタ、画像ファイル生成方法、画像データ読み出し方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5340978A (en) * 1992-09-30 1994-08-23 Lsi Logic Corporation Image-sensing display panels with LCD display panel and photosensitive element array
US5519205A (en) * 1992-09-30 1996-05-21 Lsi Logic Corporation Color electronic camera including photosensor array having binary diffractive lens elements
JPH10232665A (ja) * 1997-02-20 1998-09-02 Canon Inc 表示制御装置及び方法
AU2564999A (en) * 1998-01-27 1999-08-09 Collaboration Properties, Inc. Multifunction video communication service device
JP2004248061A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム
JP4255753B2 (ja) * 2003-05-29 2009-04-15 富士フイルム株式会社 立体視画像管理装置および方法並びにプログラム
US7398479B2 (en) * 2003-08-20 2008-07-08 Acd Systems, Ltd. Method and system for calendar-based image asset organization
JP2005269022A (ja) * 2004-03-17 2005-09-29 Ricoh Co Ltd 符号化装置およびその方法、符号データ編集装置およびその方法、並びに、プログラムおよび記録媒体
JP2006154756A (ja) * 2004-11-02 2006-06-15 Fujitsu Ten Ltd 映像信号処理方法、映像信号処理装置、及び、表示装置
JP4586684B2 (ja) * 2005-08-31 2010-11-24 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5098145B2 (ja) * 2005-10-12 2012-12-12 ソニー株式会社 データ管理装置および記録媒体の管理方法
JP4764854B2 (ja) * 2007-05-22 2011-09-07 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法、システム及びプログラム
JP4815470B2 (ja) * 2007-06-15 2011-11-16 富士フイルム株式会社 画像表示装置及び画像表示方法
JP5089515B2 (ja) * 2008-07-15 2012-12-05 キヤノン株式会社 焦点調節装置、撮像装置、交換レンズ、換算係数較正方法、換算係数較正プログラム
JP5351593B2 (ja) * 2009-04-15 2013-11-27 キヤノン株式会社 ファイル管理装置およびその制御方法
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2010268492A (ja) * 2010-06-30 2010-11-25 Fujifilm Corp 画像出力システム、画像生成装置および画像生成方法
JP5628913B2 (ja) * 2010-06-30 2014-11-19 富士フイルム株式会社 撮像装置および撮像方法
JP2013201466A (ja) * 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) * 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
US6212302B1 (en) * 1998-12-29 2001-04-03 Eastman Kodak Company Method and apparatus for visually optimized rate control
US20100195920A1 (en) * 2009-01-30 2010-08-05 Sony Corporation Recording device, recording method, recording medium, reproducing device, reproducing method, editing device, and editing method
JP2010200354A (ja) * 2010-04-20 2010-09-09 Panasonic Corp 電子機器、プリンタ、画像ファイル生成方法、画像データ読み出し方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAMERA & IMAGING PRODUCTS ASSOCIATION: "《White Paper of CIPA DC-006-2008 Stereo Still Image Format for Digital Cameras》", 《HTTP://WWW.CIPA.JP/STD/STD-SEC/STD-LIST_E.HTML》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100595A (zh) * 2014-05-13 2015-11-25 佳能株式会社 摄像设备及其控制方法
CN105100595B (zh) * 2014-05-13 2018-08-03 佳能株式会社 摄像设备及其控制方法
CN106231158A (zh) * 2015-06-02 2016-12-14 佳能株式会社 摄像元件、摄像设备和摄像元件的控制方法
CN106231158B (zh) * 2015-06-02 2020-11-06 佳能株式会社 摄像元件、摄像设备和摄像元件的控制方法

Also Published As

Publication number Publication date
US20130176408A1 (en) 2013-07-11
JP5924943B2 (ja) 2016-05-25
US9369698B2 (en) 2016-06-14
CN103200362B (zh) 2016-08-24
JP2013143579A (ja) 2013-07-22

Similar Documents

Publication Publication Date Title
US9341935B2 (en) Image capturing device
US10587860B2 (en) Imaging apparatus and method for controlling same
CN102959969B (zh) 单眼立体摄像装置
CN103098459B (zh) 立体摄像装置及阴影校正方法
CN102959467B (zh) 单眼立体成像装置
CN103797415B (zh) 摄像设备及其控制方法
CN102860017B (zh) 立体摄像装置及其制造方法
JP2012124766A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6016516B2 (ja) 画像処理装置およびその制御方法、画像処理プログラム、並びに撮像装置
CN103200362A (zh) 摄像设备及其控制方法
JP6053276B2 (ja) 撮像装置およびその制御方法、画像処理装置
JP6004741B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP2013081105A (ja) 撮像装置およびその制御方法
JP2014022888A (ja) 撮像装置および撮像装置の制御方法
JP5911276B2 (ja) 撮像装置およびその制御方法、画像処理装置
JP6366793B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP6433474B2 (ja) 撮像装置およびその制御方法
JP6177305B2 (ja) 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法
JP2014090252A (ja) 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム
JP6172949B2 (ja) 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法
JP6230266B2 (ja) 撮像装置、画像処理装置、および制御方法
JP2017126916A (ja) 撮像装置
JP2017063244A (ja) 撮像装置
JP2014204299A (ja) 撮像装置および撮像装置の制御方法
JP2016154360A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

CF01 Termination of patent right due to non-payment of annual fee