CN102177722A - 图像处理装置和方法以及图像再生装置、方法和程序 - Google Patents

图像处理装置和方法以及图像再生装置、方法和程序 Download PDF

Info

Publication number
CN102177722A
CN102177722A CN2009801402837A CN200980140283A CN102177722A CN 102177722 A CN102177722 A CN 102177722A CN 2009801402837 A CN2009801402837 A CN 2009801402837A CN 200980140283 A CN200980140283 A CN 200980140283A CN 102177722 A CN102177722 A CN 102177722A
Authority
CN
China
Prior art keywords
image
motion picture
file
original images
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801402837A
Other languages
English (en)
Inventor
渡边干夫
中村敏
矢作宏一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102177722A publication Critical patent/CN102177722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为了使得能够容易地识别三维图像，特别是当以混合方式来存储三维图像和二维图像时。内插图像生成单元(5)从通过从不同视点拍摄被摄物所获得的原始图像(L1，R1)生成内插图像。运动图片生成单元(6)生成运动图片(D0)，其中，以视点的顺序来设置原始图像(L1，R1)和内插图像。文件生成单元(7)生成原始图像(L1)、(R1)的三维图像文件(F0)、运动图片的运动图片文件(M0)以及表示在三维图像文件(F0)和运动图片文件(M0)之间的关系的关系信息文件(R0)，并且将它们记录在介质(10A)上。

Description

图像处理装置和方法以及图像再生装置、方法和程序
技术领域
本发明涉及用于通过在从不同视点观看的被摄物的多个原始图像的每一个之间内插视点来生成内插图像的图像处理装置和方法。本发明还涉及用于使计算机执行图像处理方法的程序。
背景技术
可以通过使用诸如立体照像机的复眼拍摄设备执行拍摄来获得使用视差的实立体镜地可视的三维图像，该复眼拍摄设备使用被设置在不同位置处的至少一对拍摄组件来获得图像。这样的复眼拍摄设备通过给出一对拍摄组件光轴的辐辏角来从不同的视点拍摄相同被摄物而获得两个图像(左和右)，并且使用视差从两个图像产生实立体镜地可视的三维图像。
同时，当再生存储在个人计算机等上的介质中的图像时，通常再生所存储的图像的缩略图列表。用户可以从缩略图列表中选择图像，以将其以放大的形式显示在个人计算机的监视器上。在此，提出了一种方法，其中，当存储运动图片时，在缩略图列表中显示运动图片的一个场景，并且通过选择运动图片的缩略图图像来再生运动图片，例如在日本未审查专利公开No.10(1998)-108123中所述。
当在介质中存储了包括以如上所述的方式生成的三维图像的多个二维图像时并且如果显示缩略图图像的列表，则对于三维图像，在列表画面中包括用于再生三维图像的多个原始图像中的任何一个。在该情况下，用户可以通过选择缩略图图像来实立体镜地显示三维图像。但是，三维图像是静止图像，并且难以仅从缩略图图像的列表来在三维图像和二维图像之间进行区分。
已经根据如上所述的情况来开发本发明，并且本发明的目的是使得三维图像能够容易地识别，特别是当以混合方式来存储三维图像和二维图像时。
发明内容
本发明的图像处理装置是一种装置，包括：
图像获得组件，该图像获得组件用于获得从不同视点观看的用于生成三维图像的被摄物的多个原始图像；
内插图像生成组件，该内插图像生成组件用于生成至少一个内插图像，该至少一个内插图像用于在至少所述多个原始图像之间内插视点；
运动图片生成组件，该运动图片生成组件用于生成运动图片，在所述运动图片中，以视点的顺序来布置多个原始图像和至少一个内插图像的至少一些内插图像；以及
存储组件，该存储组件用于彼此相关地存储多个原始图像和运动图片。
在此使用的术语“在至少多个原始图像之间内插视点”指不仅在多个原始图像之间内插视点，而且在从最外视点观看的原始图像的外部也内插视点。
在此使用的术语“生成运动图片，在所述运动图片中，以视点的顺序来布置多个原始图像和至少一个内插图像的至少一些内插图像”不仅包括其中使用全部原始图像和内插图像来生成运动图片的情况，还包括其中使用全部原始图像和一些内插图像或例如仅内插图像来生成运动图片的情况。
运动图片可以是用于缩略图显示的运动图片。
在此使用的术语“彼此相关地存储多个原始图像和运动图片”指多个原始图像和运动图片在管理上具有不可分离的关系。更具体地，可以通过多种方法来彼此相关地存储多个原始图像和运动图片，诸如在相同文件夹中存储多个原始图像和运动图片，对多个原始图像和运动图片给予共同的文件名，存储指示多个原始图像和运动图片彼此相关的信息，在单个文件中存储多个原始图像和运动图片，在多个原始图像和运动图片的报头区域的至少一个中记录另一个图像的文件名等。注意，即使当彼此相关地存储多个原始图像和运动图片时，也仅允许对原始图像或运动图片的访问等。
在本发明的图像处理装置中，内插图像生成组件可以是确定内插图像的数目使得在预定时间中再生运动图片的组件。
而且，在本发明的图像处理装置中，存储组件可以是将多个原始图像和运动图片存储为分离图像文件并且将关系信息文件一起存储的组件，该关系信息文件包括下述信息：该信息指示多个原始图像的图像文件和运动图片的图像文件彼此相关并且运动图片是表示多个原始图像的图像。
而且，在本发明的图像处理装置中，存储组件可以是将所述多个原始图像和所述运动图片存储为单个图像文件并且将指示所述运动图片是表示所述多个原始图像的图像的信息一起存储的组件。
本发明的一种图像再生装置是用于再生多种类型的图像的装置，多种类型的图像包括本发明的图像处理装置所存储的多个原始图像，
其中，图像再生设备包括再生组件，用于当接收到对从多个原始图像生成的三维图像执行二维显示的指令时再生运动图片。
在本发明的图像再生设备中，再生组件可以是无限再生运动图片的组件。
本发明的图像处理方法是一种方法，包括下述步骤：
获得从不同视点观看的用于生成三维图像的被摄物的多个原始图像；
生成至少一个内插图像，所述至少一个内插图像用于在至少所述多个原始图像之间内插视点；
生成运动图片，在所述运动图片中，以视点的顺序来布置多个原始图像和至少一个内插图像中的至少一些内插图像；以及
彼此相关地存储多个原始图像和运动图片。
本发明的图像再生方法是一种再生多种类型的图像的方法，多种类型的图像包括由本发明的图像处理方法存储的多个原始图像，
其中，该方法当接收到用于对从多个原始图像生成的三维图像执行二维显示的指令时，再生运动图片。
本发明的图像处理方法和图像再生方法的每一个可以被提供为使得计算机执行该方法的程序。
根据本发明，从多个原始图像生成至少一个内插图像，所述至少一个内插图像用于在至少多个原始图像之间内插视点。然后，生成运动图片，在所述运动图片中，以视点的顺序来布置多个原始图像和至少一个内插图像中的至少一些内插图像，并且彼此相关地存储所述多个原始图像和运动图片。因此，通过在显示三维图像时再生运动图片，再生了其中朝着被摄物的视点顺次变化的场景。这允许用户容易从所显示的缩略图图像列表中识别哪一个是三维图像，特别是当以混合的方式存储从多个原始图像生成的实立体镜地可视的三维图像和其他二维图像时。
而且，通过确定内插图像的数目使得在预定时间中再生运动图片，可以将在预定时间中再生运动图片。
通过将三维图像和运动图片存储为分离图像文件并且将关系信息文件一起存储，可以以通用的文件格式生成运动图片的图像文件，该通用的文件格式可以由个人计算机等容易地处理，该关系信息文件包括下述信息：该信息指示三维图像的图像文件和运动图片的图像文件彼此相关并且运动图片是表示多个原始图像的图像。因此，可以容易地再生运动图片。
通过将多个原始图像和运动图片存储为单个图像文件并且将指示运动图片是表示多个原始图像的图像的信息一起存储，可以防止彼此相关的多个原始图像和运动图像混乱。
附图说明
图1是应用了根据本发明的实施例的图像处理装置和图像再生装置的复眼拍摄设备的示意性框图，图示了其构造。
图2是拍摄单元的示意性框图，图示了其构造。
图3图示了拍摄单元的设置。
图4图示了原始图像。
图5图示了内插图像的生成。
图6图示了在从其获得原始图像的图像投影平面和固态形状模型之间的关系。
图7图示了本实施例的三维图像文件的文件结构。
图8图示了本实施例的运动图片文件的文件结构。
图9图示了关系信息文件的描述性内容。
图10是图示用于生成文件的本实施例中所执行的处理的流程图。
图11图示了三维图像文件、运动图片图像文件和关系信息文件的记录状态。
图12是图示用于显示缩略图图像的列表的本实施例中所执行的处理的流程图。
图13图示了缩略图图像的列表画面。
图14图示了其中存储了根据本实施例的原始图像和运动图片的文件的文件结构。
具体实施方式
以下，将参考附图来描述本发明的实施例。图1是应用了根据本发明的实施例的图像处理装置和图像再生装置的复眼拍摄设备的示意框图，图示了其构造。如图1中所示，根据本实施例的复眼拍摄设备1包括：两个拍摄单元2A、2B、拍摄控制单元3、图像处理单元4、内插图像生成单元5、运动图片生成单元6、文件生成单元7、三维图像生成单元8、帧缓冲器9、介质控制单元10、由用于执行多种类型的输入操作的操作按钮构成的输入单元11、用于显示多种类型的信息的诸如液晶显示器的显示单元12、控制单元13以及连接每个单元的总线14。
图2图示了拍摄单元2A或2B的构造。如图2中所示，拍摄单元2A和2B分别包括透镜20A、20B、光圈21A、21B、快门22A、22B、CCD 23A、23B、模拟前端(AFE)24A、24B和A/D转换单元25A、25B。拍摄单元2A、2B被设置为使得具有预定基线长度K，并且具有朝向被摄物的辐辏角α，如图3中所示。稍后描述ROM 12C中存储辐辏角阿尔法和基线长度K的信息。
透镜20A、20B的每一个包括多个功能透镜，诸如用于将被摄物置于焦点上的聚焦透镜、用于实现变焦功能的变焦透镜等，并且由未示出的透镜驱动单元基于聚焦数据和变焦数据来控制透镜的位置，该聚焦数据通过由拍摄控制单元3执行的AF处理来获得，该变焦数据通过操作未示出的变焦杆来获得。
由未示出的光圈驱动单元基于通过由拍摄控制单元3执行的AE处理所获得的光圈值数据来控制光圈21A、21B中每一个的光圈直径。
快门22A、22B的每一个是机械快门，并且由未示出的快门驱动单元根据通过AE处理获得的快门速度来驱动。
CCD 23A、23B的每一个包括光电表面，该光电表面具有二维设置的多个光接收元件，并且表示被摄物的光图像形成在光电表面上并且被光电转换，由此，获得模拟图像信号。在CCD 23A、23B的每一个的前面提供了滤色器，该滤色器具有规则设置的R、G和B滤光器。
AFE 24A、24B分别对于从CCD 23A、23B输出的模拟图像信号执行处理，以去除噪声并且调整增益(模拟处理)。
模数转换单元25A、25B分别转换由AFE 24A、24B进行了模拟处理的模拟图像信号。由拍摄单元2A、2B所获得的数字图像数据表示的图像分别被称为图像L1、L2。
拍摄控制单元3由未示出的AF和AE处理单元构成。AF处理单元响应于包括在输入单元11中的释放按钮的半程按下，基于由拍摄单元2A、2B获得的前图像(pre-image)来确定透镜20A、20B的焦距，并且向拍摄单元2A、2B输出确定的值。AE处理单元基于前图像来确定光圈值和快门速度，并且向拍摄单元2A、2B输出所确定的值。还能够使用预定的焦点位置、光圈值和快门速度来执行拍摄。
拍摄控制单元3还向拍摄单元2A、2B提供指令，以响应于包括在输入单元11中的释放按钮的全程按下来获得用于生成三维图像的图像L1、R1的主图像。在操作释放按钮之前，拍摄控制单元3向拍摄单元2A、2B提供指令，以获得比用于确认拍摄范围的主图像像素数目更少数目的像素的直通图像(through image)。
在此，如图3中所示，图像L1、R1是通过在两个不同的拍摄位置处拍摄被摄物所获得的图像，并且被包括在图像L1、R1中的图像具有根据在拍摄位置中差别的视差，如图4中所示。在拍摄单元2A、2B的拍摄位置处，即分别在朝向被摄物的左侧和右侧的拍摄位置处，获得图像L1、R1，并且基于图像L1、R1来生成三维图像。这样，下文中图像L1、R1被称为原始图像L1、R1。注意，当生成三维图像时，在左侧显示的图像被称为图像L1，并且在右侧显示的图像被称为图像R1。
在本实施例中，从两个原始图像L1和R1生成实立体镜地可视的三维图像，但是可以采用下述布置，其中，提供了三个或更多个拍摄单元，并且从通过在三个或更多个不同拍摄位置处执行拍摄所获得的三个或更多个原始图像生成实立体镜地可视的三维图像。
图像处理单元4对于由拍摄单元2A、2B获得的原始图像L1、R1的数字图像数据执行图像质量校正处理。除了白平衡校正、灰度级校正、锐度校正、颜色校正等之外，这样的图像质量校正处理还包括用于校正下述内容的校正处理：拍摄单元2A、2B之间的视角的差异、拍摄单元2A、2B之间的变焦放大的差异、由于CCD的旋转而导致的图像位移、通过在拍摄单元2A、2B之间以辐辏角阿尔法拍摄被摄物所引起的梯形失真。注意，相同的符号L1、R1用于在由图像处理单元4处理后的原始图像。
内插图像生成单元5从通过拍摄获得的原始图像L1、R1或从通过预先拍摄并且存储在介质10A中所获得的原始图像L1、R1生成至少一个内插图像。在本实施例中，当如下所述以每秒30帧的帧速率再生由原始图像L1、R1和内插图像构成的运动图片时，在预定时间t期间，内插图像生成单元5生成可以再生的若干内插图像m。
内插图像生成单元5获得m的最小值来作为内插的数目，其中m满足关系式：
30×t≤m+2
例如，如果t＝2，则需要总共60个帧的原始图像L1、R1和内插图像，因此，得到m＝58。在该情况下，内插图像生成单元5生成58个内插图像。
图5图示了内插图像的生成。如图5中所示，内插图像生成单元5从原始图像L1、R1生成m个内插图像H1至Hm(在图5中的m＝4)。内插图像生成单元5生成内插图像H1至Hm，使得如果假定通过拍摄获得内插图像Hk，则当获得原始图像L1和内插图像H1时、当获得内插图像Hk(k＝1至m)和内插图像Hk+1时以及当获得内插图像Hm和原始图像R1时，在拍摄单元之间的辐辏角彼此相对应。
在此，内插图像生成单元5通过使原始图像L1、R1变形使得逐渐减小包括在原始图像L1、R1中的对应像素之间的视差来生成内插图像H1、H2。更具体地，通过下述方式来生成内插图像H1、H2：检测在左侧图像和右侧图像中彼此相对应的对应点，通过直线或曲线来连接对应点，通过划分直线或曲线来计算伪对应点，并且使原始图像L1、R1变形以便于与伪对应点相对应。而且，还可以使用任何已知方法，诸如在日本未审查专利公开No.2002-190020等中所述的方法。
可以通过建立包括在原始图像L1、R1中的被摄物的固态形状模型，而不使用变形技术来生成内插图像。可以通过下述方式来建立固态形状模型：获得在原始图像L1、R1之间的对应点，并且基于在对应点之间的视差，通过三角测量的原理来计算从拍摄位置到被摄物的对应点的距离。在此，在拍摄时，在图像投影平面(与拍摄单元2A、2B的CCD 23A、23B的成像平面相对应的平面)上的点的集合变为投影图像，即，原始图像L1、R1，其中在该图像投影平面，在被摄物的每一个点和拍摄单元2A、2B的焦点之间连接的直线相交。图6图示了在固态形状模型和用于获得原始图像L1、R1的图像投影平面之间的关系。在此，为了解释的目的，固态形状模型是立方体。因此，如图6中所示，可以通过下述方式来生成内插图像：设定与在原始图像L1、R1的图像投影平面之间的内插数目(在图6中为1)相对应的虚拟图像投影平面T的数目，并且获得对每个虚拟图像投影平面T的投影图像。
运动图片生成单元6通过以视点的顺序布置原始图像L1、R1和m个内插图像Hk(k＝1至m)来生成运动图片D0。视点顺序可以是，例如，从右向左，反之亦然。
文件生成单元7通过以JPEG压缩格式等对原始图像L1、R1的图像数据执行压缩来生成用于三维显示的三维文件F0。文件生成单元7还通过以诸如运动JPEG或MPEG等的任何已知压缩格式来对运动图片D0的图像数据执行压缩来生成运动图片文件M0。而且，与这些一起，文件生成单元7生成用于使三维文件F0与运动图片文件M0相关的关系信息文件R0。
图7图示了本实施例的三维图像文件的文件结构。如图7中所示，三维图像文件F0包括原始图像L1的报头区域(报头1)40、原始图像L1的图像数据区域41、原始图像R1的报头区域(报头2)42、原始图像R1的图像数据区域43，并且按以上顺序布置。
原始图像L1的报头区域40包括作为报头信息的地址开始位置、属性信息和辅助信息。地址开始位置是作为列表描述的原始图像R1的报头区域42的地址开始位置。属性信息包括视点顺序、图像标识码、代表图像标记和拍摄条件信息。这里，视点顺序是在从左侧观看原始图像L1、R1时的顺序，即，原始图像L1、R1分别具有视点顺序1和2。图像标识码是指示存储在与报头区域相对应的图像数据区域中的图像是原始图像、内插图像还是运动图片的信息，其中，分别对原始图像、内插图像和运动图片给出图像标识码1、2和3。代表图像标记是指示当图像文件F0要与其他图像文件一起被显示在缩略图列表中时图像文件F0是否用作缩略图图像的标记。这里，代表图像标记被设定为“无效”。拍摄条件信息是拍摄单元2A、2B的辐辏角阿尔法和基线长度K的信息，并且使用存储在ROM 13C中的那些。注意，原始图像L1具有视点顺序1和表示原始图像的图像标识码1。辅助信息包括拍摄日期和时间等信息。
原始图像R1的报头区域42包括原始图像R1的属性信息，即，视点顺序(＝2)、图像识别码(＝1)和代表图像标记(＝“无效”)被描述为报头信息。
图8图示了本实施例的运动图片文件的文件结构。如图8中所示，运动图片文件M0包括：用于运动图片的报头区域50和用于运动图片的图像数据区域51，并且按以上顺序布置。
用于运动图片的报头区域50包括：作为报头信息的属性信息和辅助信息。属性信息包括图像标识码和代表图像标记。这里，因为它是运动图片文件，所以被分配值3。而且，代表图像标记被设定为“有效”。辅助信息包括运动图片的生成日期和时间等信息。
图9图示了关系信息文件的描述性内容。如图9中所示，关系信息文件R0是文本文件，其中，并列描述了相关三维文件F0和运动文件M0的文件名。三维图像文件F0的文件名、代表图像的指示的字母IDX和运动图片M0的文件名被描述为相关文件的单元。即，通过参考图9中所示的描述，已知具有文件名STL_001.JPG的三维图像文件F0与代表图像具有文件名IDX_001.MPG的运动图片文件M0相关，并且具有文件名STL_002.JPG的三维图像文件F0与代表图像具有文件名IDX_002.MPG的运动图片文件M0相关。每次创建三维图像F0和运动图片文件M0时都更新关系信息文件R0的描述性内容。作为关系信息文件R0的文件名，使用例如FL_MNG.TXT。
在本实施例中，三维图像文件F0和运动图片文件M0的文件名部分时共同的。因此，仅基于文件名而不生成关系信息文件R0，具有共同文件名的三维图像文件F0和运动图片文件M0可以彼此相关。
三维图像生成单元8通过对原始图像L1、R1执行三维处理来生成三维图像，使得在显示单元12上时实立体镜地可视的。虽然三维处理的类型取决于立体表示的方式和显示单元12是否是3D液晶显示器，但是可以通过下述方式来实现三维处理：区分图像对(相邻视点顺序的图像)的颜色等，例如红色和蓝色，并且将它们叠加在彼此的顶部(立体照片方法(anaglyph method))；区分图像对的极化方向，并且将它们叠加在彼此的顶部(极化过滤方法)；或替代地逐行组合图像对(视差屏障方法和双凸透镜方法)。
帧缓冲器9是用于临时存储要在显示单元12上显示的图像的存储单元。
介质控制单元10访问记录介质10A，并且对于三维图像文件F0、运动图片文件M0和关系信息文件R0执行读/写操作。
控制单元13包括：CPU 13A；RAM 13B，该RAM 13B在设备1执行多种类型的处理时用作工作区域，多种类型的处理诸稍后描述的生成内插图像、生成三维图像、生成图像文件、显示三维图像等；以及ROM 13C，该ROM 13C具有在设备1上操作的程序、多种常数等，并且控制单元13控制设备1的每个单元的操作。
现在将描述在本实施例中执行的处理。图10是图示用于生成文件的本实施例中执行的处理的流程图。这里假定，已经从输入单元11输入了运动图片再生时间t。响应于来自输入单元11的用于执行拍摄的指令，控制单元13发起处理，并且拍摄单元2A、2B分别获得原始图像L1、R1(步骤ST1)。注意，图像处理单元4对原始图像L1、R1执行图像处理。
然后，内插图像生成单元5基于t的值来计算内插的数目m(步ST2)，并且从原始图像L1、R1生成m个内插图像(步ST3)。然后，运动图片生成单元6从原始图像L1、R1和内插图像Hk生成运动图片D0(步ST4)。文件生成单元7从原始图像L1、R1生成三维文件F0，从运动图片D0生成运动图片文件M0，以及生成关系信息文件R0(步ST5)。然后，介质控制单元10在介质10A上记录三维图像文件F0、运动图片文件M0和关系信息文件R0(步ST6)，并且该处理完成。
注意，以在图11中所示的顺序来在介质10A上记录三维图像文件F0、运动图片文件M0和关系信息文件R0。
接下来，将描述已经在介质10A上记录了包括三维图像文件F0和运动图片文件M0的本实施例中生成的多种类型的图像文件后执行的处理，该处理用于在显示单元12上显示在介质10A上记录的图像的缩略图图像的列表。图12是图示当显示缩略图图像的列表时执行的处理的流程图。响应于对显示从输入单元11输入的缩略图图像列表的指令，控制单元13发起处理，并且介质控制单元10将处理目标文件名设定为第一图像文件(i＝1，步ST11)，并且从介质10A读出目标图像文件(步ST12)。
然后，控制单元13参考读出的图像文件的报头，并且确定读出图像文件是否是三维图像文件(步ST13)。如果步ST13是肯定的，则控制单元13参考关系信息文件R0，并且确定是否在介质10A上记录了与目标图像文件相关的运动图片文件M0(步ST14)。如果步ST14是肯定的，则控制单元13压缩运动图片文件M0，并且通过减小用于列表显示的运动图片文件M0来生成用于列表显示的缩略图运动图片(步ST15)。然后，控制单元13在列表显示画面上布置缩略图运动图片，并且无限再生(步ST16)。
同时，如果步ST13是否定的，则控制单元13生成图像文件的缩略图图像(步ST17)，然后在列表显示画面上布置缩略图图像并且进行显示(步ST18)。如果步ST14是否定的，则该处理前进到步ST17。
在步ST16或步ST18之后，确定显示缩略图图像或缩略图运动图片的数目是否达到可以在索引画面上显示的预定数目Th1(步ST19)，并且如果步ST19是否定的，则确定是否在列表画面上显示在介质10A上记录的所有图像(步ST20)。如果ST20是否定的，则处理目标被设定为下一个图像文件(i＝i+1，步ST21)，然后该处理返回到步ST12，并且重复从步ST12以后的步。如果步ST19或步ST20是肯定的，则该处理完成。
图13图示了由本实施例显示的缩略图图像的列表画面。如图13中所示，显示了在介质10A上记录的图像文件的缩略图图像。在多个显示的缩略图图像中，对于三维图像文件F0与运动图片文件M0相关的那个，运动图片被无限再生。在图13中，由对角线来指示运动图片被再生的缩略图图像。
如上所述，在本实施例中，从原始图像L1、R1生成用于内插原始图像L1、R1的视点的内插图像Hk，然后生成运动图片D0，在该运动图片D0中以视点的顺序布置原始图像L1、R1和内插图像Hk，并且三维图像文件F0和运动图片文件M0彼此相关并且被存储。因此，当显示在介质10A上记录的图像文件的缩略图图像的列表时，针对三维图像文件F0再生运动图片，由此再生其中朝向被摄物的视点顺次变化的场景。特别是当以混合的方式在介质10A上记录多个三维图像文件F0和二维图像文件时，这允许用户从显示的缩略图图像列表容易地识别哪个是三维图像。
而且，确定内插图像Hk的数目使得在预定时间t中再生运动图片d，从而可以在预定时间中再生运动图片。
而且，原始图像L1、R1和运动图片D0被分别存储在不同的文件中，三维图像文件F0和运动图片文件M0，然后使三维图像文件F0和运动图片文件M0彼此相关，并且存储关系信息文件R0，该关系信息文件R0具有指示运动图片D0是表示原始图像L1、R1的图像的信息。这允许以可以由个人计算机等容易处理的通用文件格式来生成运动图片文件M0。因此，可以容易地再生运动图片。
在本实施例中，分离地存储三维图像文件F0和运动图片文件M0，但是可以生成单个文件，该单个文件包括原始图像L1、R1的成像数据和运动图片的图像数据。
图14图示了其中存储了原始图像和运动图片的文件的文件结构。如图14中所示，图像文件F1包括：原始图像L的报头区域70(报头1)、原始图像L1的图像数据区域71、原始图像R1的报头区域72(报头2)、原始图像R1的图像数据区域73、运动图片的报头区域74(报头3)和运动图片的图像数据区域75，并且按以上顺序布置。
原始图像L1的报头区域70包括作为报头信息的地址开始位置、属性信息和辅助信息。地址开始位置是作为列表描述的原始图像R1的报头区域72的地址开始位置。属性信息包括视点顺序、图像标识码、代表图像标记和拍摄条件信息。这里，代表图像标记被设定为“无效”。
原始图像R1的报头区域72包括原始图像R1的属性信息，即，视点顺序(＝2)、图像标识码(＝1)和代表图像标记(＝“无效”)被描述为报头信息。
运动图片的报头区域74包括作为报头信息的属性信息和辅助信息。辅助信息包括图像标识码(＝3)和代表图像标记。这里，代表图像标记被设定为“有效”。
即使当原始图像L1、R1和运动图片以如上所述的方式被存储在单个图像文件，图像文件F1中时，通过参考在再生缩略图图像时的图像文件F1的报头1、2和3的描述，可以将具有被设定为“有效”的代表图像标记的运动图片D0无限再生为缩略图图像。
在如上所述的实施例中，在原始图像L1、R1的拍摄之后生成运动图片。还可以预先读出在介质10A上记录的原始图像L1、R1，并且生成运动图片D0。
而且，在上述实施例中，原始图像文件F0和图像文件F1包括仅原始图像L1、R1的图像数据，但是文件还可以包括内插图像Hk的图像数据。
而且，在如上所述的实施例中，本发明的图像处理装置适用于具有拍摄单元2A、2B的复眼拍摄设备，但是该装置可以被提供为独立单元。在该情况下，通过在多个不同的位置处拍摄相同被摄物所获得的多个图像被输入到图像处理装置，并且创建原始图像文件F0和运动图片文件M0，如在上述实施例中那样。在此，当不仅使用通过拍摄所获得的原始图像L1、R1而且使用例如通过计算机图形生成的原始图像来生成内插图像时，可以生成原始图像文件F0和运动图片文件M0，如在上述实施例中那样。
至此，已经描述了根据本发明的一个实施例的设备1，但是，用于使得计算机用作与内插图像生成单元5、运动图片产生单元6和文件生成单元7相对应的组件，并且执行图10、12中所示的处理的程序是本发明的另一个实施例。而且，其上记录了这样的程序的计算机可读记录介质是本发明的另一个实施例。

Claims (10)

1.一种图像处理装置，包括：
图像获得组件，所述图像获得组件用于获得从不同视点观看的用于生成三维图像的被摄物的多个原始图像；
内插图像生成组件，所述内插图像生成组件用于生成至少一个内插图像，所述至少一个内插图像用于在至少所述多个原始图像之间内插视点；
运动图片生成组件，所述运动图片生成组件用于生成运动图片，在所述运动图片中，以视点的顺序来布置所述多个原始图像和所述至少一个内插图像中的至少一些内插图像；以及
存储组件，所述存储组件用于彼此相关地存储所述多个原始图像和所述运动图片。
2.根据权利要求1所述的图像处理装置，其中，所述内插图像生成组件是确定所述内插图像的数目使得在预定时间中再生所述运动图片的组件。
3.根据权利要求1或2所述的图像处理装置，其中，所述存储组件是将所述多个原始图像和所述运动图片存储为分离图像文件并且将关系信息文件一起存储的组件，所述关系信息文件包括下述信息：该信息指示所述多个原始图像的所述图像文件和所述运动图片的所述图像文件彼此相关并且所述运动图片是表示所述多个原始图像的图像。
4.根据权利要求1或2所述的图像处理装置，其中，所述存储组件是将所述多个原始图像和所述运动图片存储为单个图像文件并且将指示所述运动图片是表示所述多个原始图像的图像的信息一起存储的组件。
5.一种用于再生多种类型的图像的图像再生装置，所述多种类型的图像包括由根据权利要求1至4的任何一项所述的图像处理装置存储的所述多个原始图像，
其中，所述图像再生装置包括再生组件，所述再生组件用于在接收到用于对从所述多个原始图像生成的三维图像执行二维显示的指令时再生所述运动图片。
6.根据权利要求5所述的图像再生装置，其中，所述再生组件是无限再生所述运动图片的组件。
7.一种图像处理方法，包括下述步骤：
获得从不同视点观看的用于生成三维图像的被摄物的多个原始图像；
生成至少一个内插图像，所述至少一个内插图像用于在至少所述多个原始图像之间内插视点；
生成运动图片，在所述运动图片中，以视点的顺序来布置所述多个原始图像和所述至少一个内插图像中的至少一些内插图像；以及
彼此相关地存储所述多个原始图像和所述运动图片。
8.一种用于再生多种类型图像的图像再生方法，所述多种类型的图像包括由根据权利要求7所述的图像处理方法存储的所述多个原始图像，
其中，所述方法在接收到用于对从所述多个原始图像生成的三维图像执行二维显示的指令时，再生所述运动图片。
9.一种用于使得计算机执行图像处理方法的程序，所述方法包括下述步骤：
获得从不同视点观看的用于生成三维图像的被摄物的多个原始图像；
生成至少一个内插图像，所述至少一个内插图像用于在至少所述多个原始图像之间内插视点；
生成运动图片，在所述运动图片中，以视点的顺序来布置所述多个原始图像和所述至少一个内插图像中的至少一些内插图像；以及
彼此相关地存储所述多个原始图像和所述运动图片。
10.一种用于使得计算机执行图像再生方法的程序，所述图像再生方法用于再生多种类型的图像，包括由权利要求7所述的图像处理方法存储的所述多个原始图像，
其中，当接收到用于对从所述多个原始图像生成的三维图像执行二维显示的指令时，所述图像再生方法再生所述运动图片。
CN2009801402837A 2008-10-09 2009-10-08 图像处理装置和方法以及图像再生装置、方法和程序 Pending CN102177722A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008262818A JP5144456B2 (ja) 2008-10-09 2008-10-09 画像処理装置および方法、画像再生装置および方法並びにプログラム
JP2008-262818 2008-10-09
PCT/JP2009/005240 WO2010041450A1 (en) 2008-10-09 2009-10-08 Image processing apparatus and method, and image reproducing apparatus, method and program

Publications (1)

Publication Number Publication Date
CN102177722A true CN102177722A (zh) 2011-09-07

Family

ID=42100411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801402837A Pending CN102177722A (zh) 2008-10-09 2009-10-08 图像处理装置和方法以及图像再生装置、方法和程序

Country Status (7)

Country Link
US (1) US20110193937A1 (zh)
EP (1) EP2332341A4 (zh)
JP (1) JP5144456B2 (zh)
KR (1) KR101615152B1 (zh)
CN (1) CN102177722A (zh)
BR (1) BRPI0920871A2 (zh)
WO (1) WO2010041450A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888775A (zh) * 2012-12-20 2014-06-25 索尼公司 图像处理装置、图像处理方法和程序
CN107637067A (zh) * 2015-06-08 2018-01-26 佳能株式会社 图像处理设备和图像处理方法
CN108833882A (zh) * 2012-05-11 2018-11-16 索尼公司 图像处理设备、方法和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2970573B1 (fr) * 2011-01-18 2013-08-09 Inst Telecom Telecom Bretagne Dispositif de capture d'images stereoscopiques
ITTO20110653A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Apparecchio visore per la visualizzazione di immagini 3d
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3790871B2 (ja) 1996-09-26 2006-06-28 株式会社ニコン 画像再生装置
US5963204A (en) * 1996-09-20 1999-10-05 Nikon Corporation Electronic camera with reproduction and display of images at the same timing
EP0896301A1 (en) * 1997-08-06 1999-02-10 Victor Company Of Japan, Limited Stereoscopic image interpolating apparatus and method
JP3387900B2 (ja) * 2000-09-14 2003-03-17 キヤノン株式会社 画像処理方法及び装置
JP2002190020A (ja) * 2000-12-20 2002-07-05 Monolith Co Ltd 映像効果方法および装置
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP4635477B2 (ja) * 2003-06-10 2011-02-23 カシオ計算機株式会社 画像撮影装置、擬似３次元画像生成方法、及び、プログラム
JP2008096721A (ja) * 2006-10-12 2008-04-24 Victor Co Of Japan Ltd 撮像装置
JP4457316B2 (ja) * 2006-12-01 2010-04-28 富士フイルム株式会社 画像再生装置及び方法
JP4686795B2 (ja) 2006-12-27 2011-05-25 富士フイルム株式会社 画像生成装置及び画像再生装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833882A (zh) * 2012-05-11 2018-11-16 索尼公司 图像处理设备、方法和存储介质
CN103888775A (zh) * 2012-12-20 2014-06-25 索尼公司 图像处理装置、图像处理方法和程序
CN107637067A (zh) * 2015-06-08 2018-01-26 佳能株式会社 图像处理设备和图像处理方法
US10574906B2 (en) 2015-06-08 2020-02-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
BRPI0920871A2 (pt) 2018-06-26
WO2010041450A1 (en) 2010-04-15
JP5144456B2 (ja) 2013-02-13
KR20110082531A (ko) 2011-07-19
EP2332341A4 (en) 2012-05-09
EP2332341A1 (en) 2011-06-15
KR101615152B1 (ko) 2016-04-25
US20110193937A1 (en) 2011-08-11
JP2010093626A (ja) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5620651B2 (ja) 再生装置、撮像装置、及びその制御方法
CN101218832B (zh) 立体图像再现设备、立体图像再现方法、立体图像再现程序以及记录该程序的记录介质
US8558874B2 (en) Image processing device and method, and computer readable recording medium containing program
US8373745B2 (en) Image processing apparatus, image display apparatus, image apparatus, and image processing method
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
CN101573971B (zh) 图像记录装置和图像记录方法
WO2003092304B1 (en) Image data creation device, image data reproduction device, and image data recording medium
CN102165785A (zh) 三维成像装置和方法及程序
CN102177722A (zh) 图像处理装置和方法以及图像再生装置、方法和程序
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
US20110012991A1 (en) Moving image recording method and apparatus, and moving image coding method and moving image coder
JP2011142632A (ja) カメラ装置、カメラシステムおよびカメラ構成方法
CN103037235A (zh) 摄像装置及其控制方法
JP2009168536A (ja) ３次元形状測定装置および方法、３次元形状再生装置および方法並びにプログラム
JP4619412B2 (ja) 立体画像記録再生システム
JP5924943B2 (ja) 撮像装置および撮像装置の制御方法
JP2016163235A (ja) 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体
JP5243562B2 (ja) 画像処理装置および方法並びにプログラム
WO2013058359A1 (ja) 画像ファイル生成装置、画像ファイル読込装置、画像ファイル生成方法、画像ファイル読込方法およびプログラム
JP2014090252A (ja) 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム
JP2007194694A (ja) 立体映像撮影装置並びにそのプログラム
JP2012215980A (ja) 画像処理装置、画像処理方法およびプログラム
JP2008259155A (ja) デジタルステレオカメラを用いたｚ値合成素材作成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110907