CN101889434A - 图像处理设备及其控制方法和程序 - Google Patents

图像处理设备及其控制方法和程序 Download PDF

Info

Publication number
CN101889434A
CN101889434A CN2008801196197A CN200880119619A CN101889434A CN 101889434 A CN101889434 A CN 101889434A CN 2008801196197 A CN2008801196197 A CN 2008801196197A CN 200880119619 A CN200880119619 A CN 200880119619A CN 101889434 A CN101889434 A CN 101889434A
Authority
CN
China
Prior art keywords
rest images
image
images
composograph
total part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801196197A
Other languages
English (en)
Other versions
CN101889434B (zh
Inventor
福泽敬一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101889434A publication Critical patent/CN101889434A/zh
Application granted granted Critical
Publication of CN101889434B publication Critical patent/CN101889434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/28—Locating light-sensitive material within camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供一种图像处理设备，用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像，所述图像处理设备包括：合成单元，用于通过合成所述共有部分从所述至少两个静止图像生成合成图像；获取单元，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述合成图像的运动图像。

Description

图像处理设备及其控制方法和程序
技术领域
本发明涉及图像处理设备、该图像处理设备的控制方法和程序。更特别地，本发明涉及处理拍摄到的多个静止图像的技术。
背景技术
作为用于获得视角比摄像设备的摄像视角宽的图像的方法，已知用于以小幅移位各拍摄区域使得连续拍摄到的两个图像具有共有部分的方式拍摄多个图像的方法(下文中称为“分割拍摄方法”)。
作为与分割拍摄方法有关的传统技术，日本特开平06-121226(图7)公开了从由摄像机拍摄到的平摇图像(panningimage)生成具有大视角的单个图像的技术。根据日本特开平06-121226的技术，通过图像模式匹配从平摇图像计算运动矢量，检测共有图像区域(图7中的S5处的交叉阴影部分)，并且组合共有图像区域及随后部分(图7中的S5处的存储器20C)。
日本特开平06-121226还公开了再现和显示由此生成的合成图像数据(图20)。根据日本特开平06-121226所公开的技术，在显示单元的右下区域(子画面)中显示整个合成图像的缩小图像，而在从中间到左侧设置的主画面上显示整个合成图像的一部分(子画面的交叉阴影部分)。换言之，在主画面上放大显示该缩小图像的一部分。如果直接放大该缩小图像，则分辨率不充分。因此，从存储介质再次读出与要放大显示的部分相对应的图像数据。
日本特开2005-197785公开了在不合成的情况下显示拍摄到的多个相关图像的方法(图14)。根据日本特开2005-197785，在摄像期间生成控制拍摄到的多个相关图像的再现顺序所利用的播放列表。如果用户选择该播放列表以进行再现，则该用户可以在不进行复杂操作的情况下，维持分辨率而顺次浏览整个摄像范围内的所拍摄图像。
然而，在日本特开平06-121226的技术中，每次移动合成图像的放大显示部分时，需要从存储介质读出相应的图像数据。因此，读出图像数据需要时间，并且存在不能平滑地移动放大显示部分的情况。此外，由于用户需要选择要放大显示的部分，因此需要复杂的过程来实现以原始的高图像质量显示整个合成图像。
在日本特开2005-197785的技术中，以所拍摄图像为单位切换所显示的图像。因此，对于用户而言，不易直观地识别连续显示的所拍摄图像之间的相关性。
发明内容
考虑到这些情况实现了本发明。本发明的特征是提供一种能够在抑制图像质量劣化并允许用户更容易地识别图像的情况下，从以使得连续拍摄的两个静止图像具有共有部分的方式拍摄得到的多个静止图像再现整个图像的技术。
根据本发明的一方面，提供一种图像处理设备，用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像，所述图像处理设备包括：合成单元，用于通过合成所述共有部分从所述至少两个静止图像生成合成图像；获取单元，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述合成图像的运动图像。
根据本发明的另一方面，提供一种图像处理设备的控制方法，所述图像处理设备用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像，所述控制方法包括以下步骤：通过合成所述共有部分从所述至少两个静止图像生成合成图像；获取步骤，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及从通过所述获取步骤所获取的多个帧图像生成滚动显示所述合成图像的运动图像。
根据本发明的另一方面，提供一种计算机可读存储介质中所存储的计算机程序，所述计算机程序使用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像的图像处理设备作为以下单元工作：合成单元，用于通过合成所述共有部分从所述至少两个静止图像生成合成图像；获取单元，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述合成图像的运动图像。
根据本发明的另一方面，提供一种图像处理设备，用于从以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像获取多个帧图像，所述图像处理设备包括：暂时存储单元，用于存储所述至少两个静止图像；获取单元，用于针对所述至少两个静止图像中的两个相邻静止图像越过所述共有部分的各个组合，以从越过所述两个相邻静止图像的共有部分横跨所述两个相邻静止图像的区域获取帧图像的方式，从所述两个相邻静止图像中的多个区域获取多个帧图像；以及生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述两个相邻静止图像的运动图像。
根据本发明的另一方面，提供一种图像处理设备的控制方法，所述图像处理设备用于从以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像获取多个帧图像，所述控制方法包括以下步骤：暂时存储所述至少两个静止图像；获取步骤，用于针对所述至少两个静止图像中的两个相邻静止图像越过所述共有部分的各个组合，以从越过所述两个相邻静止图像的共有部分横跨所述两个相邻静止图像的区域获取帧图像的方式，从所述两个相邻静止图像中的多个区域获取多个帧图像；以及从通过所述获取步骤所获取的多个帧图像生成滚动显示所述两个相邻静止图像的运动图像。
根据本发明的另一方面，提供一种计算机可读存储介质中所存储的计算机程序，所述计算机程序使用于从以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像获取多个帧图像的图像处理设备作为以下单元工作：暂时存储单元，用于存储所述至少两个静止图像；获取单元，用于针对所述至少两个静止图像中的两个相邻静止图像越过所述共有部分的各个组合，以从越过所述两个相邻静止图像的共有部分横跨所述两个相邻静止图像的区域获取帧图像的方式，从所述两个相邻静止图像中的多个区域获取多个帧图像；以及生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述两个相邻静止图像的运动图像。
根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据实施例1的图像提取处理的详细流程的流程图。
图2是示出根据实施例1的图像提取处理的详细流程的流程图。
图3是示出根据实施例1的数字照相机的压缩单元中的运动图像生成处理的流程的流程图。
图4是示出应用了根据本发明的图像处理设备的数字照相机的结构的框图。
图5是示出根据实施例1的运动图像生成处理的概述的图。
图6是示出根据实施例2的图像提取处理的详细流程的流程图。
图7是示出根据实施例2的图像提取处理的详细流程的流程图。
图8是示出根据实施例2的运动图像生成处理的概述的图。
图9是示出根据实施例2的运动图像生成处理的另一示例的图。
图10是示出根据实施例2的运动图像生成处理的另一示例的图。
图11是示出根据实施例3的图像提取处理的详细流程的流程图。
图12是示出根据实施例3的运动图像生成处理的概述的图。
图13是示出可以执行分割拍摄处理和缝合处理的数字照相机的结构的框图。
图14是示出可以执行分割拍摄处理和缝合处理的数字照相机的外观的示意图。
图15是示出在分割拍摄处理中拍摄到第2个图像数据时的合成处理的概述的图。
具体实施方式
现在将参考附图来说明本发明的优选实施例。以下所述的各实施例将有助于理解从一般到具体的各种概念。
应当注意，由权利要求书来限定本发明的技术范围，并且本发明的技术范围不限于以下所述的各实施例。另外，实施例中所述的特征的所有组合对于实现本发明而言，并非都是必需的。
实施例1
将说明将根据本发明的图像处理设备应用于数字照相机的实施例。首先，将参考图13～15来说明分割拍摄方法中的摄像处理(分割拍摄处理)和用于从通过分割拍摄处理所获得的多个静止图像生成单个合成图像的处理(下文中称为缝合处理)。
图13是示出能够执行分割拍摄处理和缝合处理的数字照相机100的结构的框图。
在图13中，附图标记140表示包含如致密闪存(compactflash，注册商标)、SD(注册商标)存储卡等的存储卡的、用于记录拍摄到的图像数据等的存储介质。附图标记105表示用于使用透镜、摄像装置等将被摄体图像转换成数字数据以生成图像数据的摄像单元。附图标记110表示用于暂时存储所生成的图像数据、从存储介质140读出的图像数据等的暂时存储单元。
附图标记120表示用于通过JPEG编码等的静止图像压缩编码处理对图像数据进行压缩的压缩单元。附图标记130表示用于通过将压缩编码后的图像数据(下文中称为“压缩图像数据”)的格式转换成例如JPEG文件格式来使该格式符合存储介质140的记录格式的记录控制单元。
附图标记160表示用于显示由摄像单元105所获得的图像数据等的显示单元。附图标记170表示用于合成两个图像数据(例如，由摄像单元105所获得的图像数据和暂时存储单元110中所存储的图像数据)的合成单元。附图标记180表示包括微计算机等的、用于控制数字照相机100的全体操作(例如，图像数据的记录、再现和显示等)的控制单元。附图标记190表示包括菜单按钮、确定按钮等的、用户向控制单元180给出指令所利用的输入单元。
附图标记210表示用于从存储介质140读出JPEG文件等并提取压缩图像数据等的再现控制单元。附图标记220表示用于对压缩图像数据进行解码以获得未压缩的图像数据的扩展单元。
图14是示意性示出数字照相机100的外观的图。在图14中，附图标记190a表示输入单元190中所包括的快门按钮。用户通过观看显示单元160确认所拍摄图像或要拍摄的被摄体图像。
在说明分割拍摄处理之前，首先，将说明用于以一个为单位拍摄单独图像的处理(下文中称为“正常摄像处理”)。
在图13中，摄像单元105从被摄体图像生成图像数据。将所生成的图像数据顺次输出至合成单元170和暂时存储单元110。
在正常摄像处理时，合成单元170在不进行合成处理的情况下，将所输入的图像数据输出至显示单元160。显示单元160顺次显示从合成单元170输入的图像数据。
用户通过观看显示单元160确认被摄体图像，并在期望时刻按下快门按钮190a，由此指示控制单元180开始记录图像数据的处理。控制单元180将记录开始操作信号输出至暂时存储单元110和压缩单元120。
在正常摄像处理时，暂时存储单元110在接收到记录开始信号时，将从摄像单元105输入的最新的图像数据输出至压缩单元120。压缩单元120在接收到控制单元180的记录开始信号时，对从暂时存储单元110输入的一个画面的图像数据进行压缩，并将由此产生的数据输出至记录控制单元130。记录控制单元130对从压缩单元120输入的压缩图像数据的格式进行转换，并将由此产生的数据记录至存储介质140中。
上述处理是由数字照相机所执行的正常摄像处理。
接着，将说明分割拍摄处理和缝合处理。这里，为了简明，将说明采用两个所拍摄图像的分割拍摄处理和缝合处理作为例子。
用户经由数字照相机100的输入单元190指示控制单元180开始分割拍摄处理。然后，控制单元180将表示开始分割拍摄处理的信号输出至暂时存储单元110和压缩单元120。暂时存储单元110在接收到该信号时进行动作，以暂时累积从摄像单元105输入的图像数据。压缩单元120进行动作，以将表示在分割拍摄处理时已经获得图像数据的识别数据添加至该图像数据。注意，识别数据的数据格式可以是任何已知的数据格式，并且将不详细说明其数据格式。
首先，将说明用作为分割拍摄处理期间的开始点的第1个图像数据的摄像处理。注意，将不说明与正常摄像处理相同的处理。
在显示单元160上顺次显示摄像单元105中所生成的图像数据。当用户在期望时刻按下快门按钮190a时，向控制单元180输入针对第1个图像数据的记录开始信号。
控制单元180在所输入的记录开始信号的时刻指示暂时存储单元110执行分割摄像。暂时存储单元110根据来自控制单元180的指令，存储第1个图像数据并将所存储的图像数据输出至压缩单元120。压缩单元120在接收到来自控制单元180的分割摄像指令时，对所输入的图像数据进行压缩，并进一步将分割摄像的识别数据添加至压缩后的数据，并且将由此产生的数据输出至记录控制单元130。记录控制单元130对从压缩单元120输入的压缩图像数据的格式进行转换，并将结果数据记录至存储介质140。
接着，将说明分割拍摄处理中的第2个图像数据的摄像处理。
与拍摄第1个图像数据的情况不同，暂时存储单元110已经存储了第1个图像数据。合成单元170读出该第1个图像数据，并且还从摄像单元105顺次读出输入至摄像单元105的被摄体图像的数字数据，并合成第1个图像数据和被摄体图像的数字数据，并且在显示单元160上显示由此产生的数据。
图15是示意性示出在分割拍摄处理中拍摄第2个图像数据时的合成处理的图。将第1个图像数据310存储在暂时存储单元110中。图像数据320是顺次输入至摄像单元105的被摄体图像的数据。如图14所示，在显示单元160的左部分上显示图像数据310，而在显示单元160的右部分上显示图像数据320，其中，图像数据320的一部分与图像数据310重叠(参见重叠部分330)。
用户操作数字照相机100的方向，以使得在重叠部分330中图像数据310和图像数据320彼此基本相同，并且按下快门按钮190a。由此，与第1个图像数据310相同，将图像数据320作为第2个图像数据记录至存储介质140中。图像数据310和图像数据320具有共有部分(与重叠部分330相对应的部分)。此外，由压缩单元120向图像数据320添加识别数据。
根据用户的指令对由此拍摄到的两个图像数据进行合成(缝合)，然后在显示单元160上显示这两个图像数据。还根据用户的指令将通过缝合处理所生成的合成图像的图像数据(合成图像数据)记录至存储介质140中。在下文，将说明其详细内容。
用户经由输入单元190指示控制单元180执行缝合处理。控制单元180根据该指令指示再现控制单元210再现通过分割摄像所获得的多个图像数据。再现控制单元210参考存储介质140的文件管理信息，检索并读出添加有识别数据的要缝合的压缩图像数据。由扩展单元220对由此读出的压缩图像数据进行解码，并将由此产生的数据输入至暂时存储单元110中。为了简明，这里假定读出两个图像数据并将这两个图像数据存储至暂时存储单元110中。
合成单元170合成暂时存储单元110中所存储的两个图像数据的共有部分，由此生成单个合成图像。在显示单元160上显示由此生成的合成结果(参见图15)。可选地，可以将合成结果从电视监视器输出端子(未示出)输出至外部。
通常显示单元160的高宽比不同于合成图像的高宽比。因此，如图14所示，缩小合成图像的大小，以使得在显示单元160上显示全体合成图像。在除合成图像以外的部分中什么也未显示。
还由压缩单元120对由此缩小后的合成图像进行压缩，并且由记录控制单元130将由此产生的数据记录至存储介质140。之后，当针对相同图像数据给出用于执行缝合处理的指令时，控制单元180使再现控制单元210获得存储介质140中所记录的合成图像，以代替实际执行缝合处理。由此，缩短了显示合成图像所需的时间。
尽管上面已经说明了分割拍摄方法中所拍摄区域从左向右移位，但该所拍摄区域也可以从右向左移位。此外，如果所拍摄区域从左向右、向下、再向左移位，则可以生成垂直方向和水平方向上均具有宽视角的合成图像。
代替数字照相机100，可以由例如个人计算机(PC)来进行缝合处理。特别地，当对大量的图像数据进行缝合处理时，需要大量资源(大的存储容量等)，因此经常可以使用PC等进行该缝合处理。
如上所述，当在显示单元160上显示全体合成图像时，该合成图像的大小被缩小，使得可视性下降(参见图14)。因此，在实施例1中，生成表示合成图像的运动图像，以使得用户可以容易地识别出全体合成图像。
图4是示出应用了本发明的图像处理设备的数字照相机200的结构的框图。在图4中，利用相同的附图标记来表示与数字照相机100的部件(参见图13)相同的部件，并且将不说明这些部件。注意，代替数字照相机，可以使用PC等的不包括摄像功能的装置。此外，未必需要显示单元160。
在图4中，附图标记10表示用于从合成图像的预定区域提取用于生成运动图像的帧图像的提取单元。附图标记20表示用于通过对提取出的帧图像应用MPEG等的运动图像编码处理来生成运动图像的压缩单元。
接着，将参考图4来说明运动图像生成处理的概述。用户经由输入单元190指示控制单元180生成运动图像。控制单元180向数字照相机200的各部件给出用于生成运动图像的各种指令。
最初，再现控制单元210从存储介质140读出通过分割摄像所获得的多个压缩图像数据，并将这些压缩图像数据输出至扩展单元220。扩展单元220对由此输入的压缩图像数据进行扩展，并将由此产生的数据存储至暂时存储单元110。在图5中，图像数据510是在时刻t1拍摄到的图像数据，图像数据520是在时刻t2拍摄到的图像数据，并且图像数据510和图像数据520各自具有共有部分。在下文，要合成的图像数据510和图像数据520还被称为原始图像。
合成单元170从暂时存储单元110获得原始图像，并且合成这些原始图像的共有部分以生成单个合成图像600。提取单元10从合成图像600的多个区域提取图像以获取帧图像。这里，提取单元10优选提取高宽比与用于再现和显示运动图像的显示装置的高宽比相同(或至少近似)的图像。
如图5所示，在本实施例中，提取单元10从提取位置610、611、612、613、...、620提取图像，并将这些图像输出至压缩单元20。显示单元160顺次显示提取出的图像。另一方面，压缩单元20对提取出的图像进行MPEG编码以生成运动图像，并经由记录控制单元130将该运动图像记录至存储介质140中。
接着，将参考图1和图2来详细说明图像提取处理。注意，以下说明仅用于例示目的，并且各种变形例均属于本发明的范围内。本发明的关键特征是，获取数量比静止图像(原始图像)的数量多的帧图像，以使得可以以较小的移位间距显示合成图像。另一关键特征是，对于多个静止图像中连续拍摄到的两个静止图像的所有组合中的各个组合，从越过共有部分横跨连续拍摄到的两个静止图像的至少一个区域获取帧图像。这里，“越过共有部分横跨连续拍摄到的两个静止图像的至少一个区域”对应于图5的例子中由提取位置610～620中除提取位置610和620以外的提取位置所定义的区域。
在图1的S110中，控制单元180设置用于提取图像的方法。在图2中示出S110的详细处理。
在图2的S117中，控制单元180获得拍摄到要合成的原始图像的时刻。例如，可以从与原始图像有关的Exif信息获得摄像时刻。在本实施例中，图像数据510的摄像时刻是t1，并且图像数据520的摄像时刻是t2。
在S119中，控制单元180获得与原始图像有关的合成基准位置信息。该合成基准位置信息指表示在合成原始图像时生成的合成图像中作为基准的原始图像的位置的信息。在本实施例中，图像数据510的基准位置是x1，并且图像数据520的基准位置是x2。
在S121中，控制单元180比较摄像时刻t1和t2。如果t1＜t2，则在S123中，控制单元180将提取方向设置为提取从x1向x2移位的方向，并且将提取位置x设置为x1。如果相反，则在S125中，控制单元180将提取方向设置为提取从x2向x1移位的方向，并且将提取位置x设置为x2。换言之，提取方向被设置成从在前拍摄到的静止图像到在后拍摄到的静止图像进行提取。
接着，在S127中，控制单元180根据以下表达式设置提取位置改变量d1。
d1＝α×|x2-x1|/|t2-t1-tset|/fs    …(1)
fs：帧采样频率(Hz)
tset：分割摄像调整时间(sec)
在表达式(1)中，tset调整两个原始图像之间摄像时刻的间隔。此外，α可以是固定值(一般为1)，并且可以使α与基准位置之间的间距(|x2-x1|)相关。
当α＝1时，根据分割摄像期间的摄像间隔设置提取位置改变量d1。
当使α与基准位置间距相关时，根据以下表达式，当基准位置间距大时将α设置得大(α＞1)，并且当基准位置间距小时将α设置得小(α＜1)。
α＝|x2-x1|/Δxα1…(2)
Δxα1：用户设置为标准(α＝1)的基准位置间距
根据表达式(2)，随着分割摄像期间的摄像间隔增大(连续拍摄到的两个静止图像的共有部分减小)，提取位置改变量d1被设置得较大。
最后，在S129中，控制单元180设置重复显示原始图像的次数Ned。在以下所述的提取处理中，如果多次(Ned)重复进行原始图像的提取，则长时间显示该原始图像。注意，Ned可以是1(Ned＝1)。
通过上述处理，提取方法的设置完成。
返回参考图1，在S150中，控制单元180判断提取位置x是否与原始图像的位置一致。如果二者彼此一致，则处理进入S152，并且如果相反，则处理进入S154。在初始提取处理中，由于提取位置x与原始图像的位置(x1或x2)一致，因此处理进入S152。
在S152中，控制单元180判断要进行提取的原始图像是否是开始图像(最初拍摄到的图像)。如果该原始图像是开始图像，则处理进入S156，并且如果相反，则处理进入S162。在该初始处理中，由于判断为原始图像是开始图像，因此处理进入S156。
在S156中，提取单元10以帧更新间隔(fs)从合成图像中与提取位置x相对应的区域中Ned次重复提取帧图像。注意，这里提取次数可以是1次。在这种情况下，当压缩单元20生成运动图像时，可以顺次排列从与原始图像相对应的区域获取的多个帧图像(Ned个帧图像)，以生成运动图像。此外，在S156中，由于从与原始图像中的任意原始图像相对应的区域获取帧图像，因此代替从合成图像提取图像，提取单元10可以获取原始图像自身作为帧图像。该原始图像不受由于合成共有部分所引起的图像质量劣化的影响。因此，如果获取原始图像自身作为帧图像，则可以提高帧图像的图像质量(对于S162这同样适用)。
如图5所示，提取位置610是开始位置，并且从原始图像提取帧图像710a、710b、...，并且以帧更新间隔(fs)按时间序列排列这些帧图像。因而，对提取开始图像进行多次提取，因此长时间显示该提取开始图像。
接着，在S164中，控制单元180改变提取位置x(x＝x+d1)。在图5的例子中，改变后的提取位置x与提取位置611相对应。
再次进行S150的判断。在这种情况下，由于提取位置x与原始图像的位置不一致，因此处理进入S154。在S154中，提取单元10从合成图像的提取位置x提取一次图像。由此，获取到图5的帧图像711。之后，重复执行S164和S154的处理，直到提取位置与原始图像的位置再次一致为止。由此，获取到图5的帧图像711、712、713、...。
当提取位置x与提取位置620一致时，处理从S150进入S152。此外，由于提取位置620的图像不是开始图像，即提取位置620的图像是最终图像，因此处理进入S162。在S162中，提取单元10进行Ned次提取处理(该处理与S156的处理相同，并且将不说明该处理)。
通过上述处理，提取处理完成。
在上述处理期间，如图5所示，在如上所述的图4的显示单元160上顺次显示提取出的并且按时间序列排列的图像组。
由此，通过提取并显示合成图像的一部分，可以在确保如同摄像期间一样的高图像质量的情况下，显示全体合成图像。与其它的帧图像相比，将初始帧图像和最终帧图像显示较长的时间。由于初始帧图像和最终帧图像是原始图像，因此这两个帧图像因合成产生的畸变等引起的图像质量劣化较少。因此，初始帧图像和最终帧图像适合长时间观看。此外，同样对于用户而言，当再现如同摄像期间一样的图像时，优选长时间显示实际拍摄到的图像。
此外，由于基于分割拍摄处理中的摄像时刻控制提取方向或提取位置改变量，因此摄像的顺序反映在所生成的运动图像上。
此外，可以使提取位置改变量与原始图像的提取基准位置间距相关。因此，当分割摄像期间摄像位置大幅移位(间距大)时，可以将位置改变量设置得大。因此，朝向关注度更高的原始图像的移动速度增大，以使得提高这种图像的可视性。
接着，将参考图3来说明压缩单元20中的运动图像生成处理。为了简明，在本实施例中，压缩单元20按由提取单元10提取帧图像的顺序排列这些帧图像以生成运动图像。然而，当提取单元10按与合成图像的滚动方向无关的顺序获取帧图像时，压缩单元20需要适当改变从提取单元10输入的帧图像的顺序。在任一情况下，压缩单元20生成运动图像，以使得滚动显示合成图像，即连续的帧图像具有共有部分。优选压缩单元20还生成运动图像，以使得按从与在前拍摄到的静止图像相对应的区域到与在后拍摄到的静止图像相对应的区域的单一方向滚动显示连续拍摄到的两个静止图像。
最初，在S182中，压缩单元20判断是否从与原始图像相对应的区域获取要进行编码的帧图像。如果结果为肯定，则处理进入S184，并且如果相反，则处理进入S186。
在S184中，压缩单元20判断是否通过Ned次提取操作的第一次提取操作获取到从与原始图像相对应的区域获取的帧图像。如果结果为肯定，则处理进入S188，并且如果相反，则处理进入S186。
在S188中，压缩单元20对帧图像进行帧内编码。如图5所示，帧图像710a是帧内编码后的I图片。当获取原始图像自身作为与该原始图像相对应的区域的帧图像时，该帧图像不受由于合成处理所引起的图像质量劣化影响，从而维持了图像质量。因此，采用将较大的代码量分配至初始帧图像以维持图像质量的帧内编码方案。
另一方面，在S186中，压缩单元20通过帧间预测编码或双向预测编码对帧图像进行编码。例如，如图5所示，对帧图像710b、...进行帧间预测编码(或者可以对其进行双向预测编码)。对于从同一提取位置获取的帧图像，将帧间压缩用于第2个帧图像及后续帧图像，由此减少了代码量。
在S194中，压缩单元20判断是否已经处理了所有的帧图像。如果结果为肯定，则该流程图的处理结束。如果相反，则处理返回至S182，在S182中，处理下一个帧图像。
对于原始图像以外的帧图像，由于合成处理而使图像一定程度上畸变的部分(即，共有部分)经常位于画面中央附近。因此，即使追求高图像质量也不会获得特别高的图像质量。因此，如图5所示，对帧图像711、712、713、...应用帧间预测编码。
通过上述处理，运动图像生成处理完成。注意，根据图3的流程图，对与第2个所拍摄图像相对应的帧图像720a也进行帧内编码。然而，当提高压缩率的优先度较高时，可以对帧图像720a进行帧间预测编码或双向预测编码。相反，可以生成具有以预定间隔进行了帧内编码的帧图像的运动图像，从而使得能够对运动图像进行特殊再现(例如，反向再现)。
由此在本实施例中说明了按由提取单元10提取帧图像的顺序排列这些帧图像以生成运动图像，并且对运动图像进行统一压缩。然而，由于对于运动图像的初始帧图像和最终帧图像在预定时间内显示同一图像，因此将初始帧和最终帧显示为正常静止图像，并且可以仅生成提取位置从初始帧向最终帧移动的部分作为如上所述的运动图像，并且可以对该运动图像进行压缩。在这种情况下，生成播放列表，利用该播放列表，在再现期间进行再现控制，以在(根据重复显示的次数Ned计算出的)预定时间内显示静止图像、进行运动图像再现、并最终在预定时间内显示静止图像。该情况也属于本实施例。
如上所述，根据本实施例，提取单元10从合成图像的多个区域获取帧图像。在这种情况下，提取单元10获得数量比构成合成图像的静止图像的数量多的帧图像。此外，对于连续拍摄到的两个静止图像的所有组合中的各个组合，从越过共有部分横跨这两个静止图像的至少一个区域获取帧图像。压缩单元20根据所获取的帧图像生成滚动显示合成图像的运动图像。
由此，可以在抑制图像质量劣化的同时，以允许用户更容易识别的方式再现连续拍摄到的任意两个静止图像具有共有部分的全体多个静止图像。
此外，由于对帧图像的大部分进行预测编码、以使得可以减少运动图像的数据量，因此即使运动图像的再现设备的资源有限，压缩单元20也可以进行平滑再现和显示。
实施例2
在实施例2中，为了容易理解，将具体说明存在3个以上原始图像的情况，并且实施例1中也未排除这种情况。此外，将说明以下技术：即使存在3个以上原始图像，也通过以两个原始图像为单位进行合成来生成部分合成图像，由此减少生成运动图像所需的存储容量。
注意，作为图像处理设备的数字照相机200的结构与实施例1的结构相同，并且将不说明该结构(参见图4)。
在本实施例中，如图8所示，使用分别在时刻t1、t2、t3和t4拍摄到的四个图像数据1510、1520、1530和1540。
将参考图6和7来详细说明图像提取处理。在图6中，利用相同的附图标记来表示进行与实施例1的处理相同的处理的步骤，并且将不说明这些步骤(参见图1)。
在图6的S1110中，控制单元180设置用于提取图像的方法。将参考图7来详细说明S1110的处理。
在图7的S1113中，控制单元180获得要合成的原始图像的数量n(在图8的例子中，n＝4)，并且将计数器i初始设置为1。
接着，在S1115中，控制单元180判断计数器i是否达到原始图像的数量n。如果结果为否定，则处理进入S1117，并且如果结果为肯定，则处理进入S1133。
在实施例1中，n的值为2(n＝2)，因而仅当i＝1时才执行S1117～S1127的处理。具体地，除了当i的值不为1时执行S1117～S1127的处理以外，S1117～S1127的处理与图2的S117～S127相同。因此，将不详细说明S1117～S1127的处理。
在S1129中，控制单元180仅当i≥2时才根据以下表达式设置重复显示原始图像的次数(Ni)。
Ni＝β×(Δxi-1+Δxi)…(3)
Δxi＝|xi+1-xi|
重复次数Ni与相邻原始图像的提取基准位置间距Δxi-1和Δxi的大小成比例。换言之，相邻的提取基准位置间距的大小越大，所设置的重复次数越多。β是比例常数。
在S1131中，控制单元180将i增加1，然后处理返回至S1115。
在S1115中，当计数器i达到n时，处理进入S1133，在S1133中，控制单元180根据以下表达式设置重复显示原始图像的次数Ned。
Ned＝γ×∑Δxi    …(4)
如从表达式(4)可以看出，将重复次数Ned设置为充分大于中间原始图像的重复次数Ni。γ是比例常数。
注意，在本实施例中，将Ned仅应用于最初和最后拍摄到的原始图像(i＝1和n)。
通过上述处理，提取方法设置处理完成。
返回参考图6，将说明与实施例1(参见图1)不同的部分。在本实施例中，在S152中，当判断为要进行提取的原始图像不是开始图像时，处理进入S158。
在S158中，控制单元180判断要进行提取的原始图像是否是最终图像(最后拍摄到的图像)。如果结果为肯定，则处理进入S162，并且如果相反，则处理进入S160。
在S160中，提取单元10对第i个原始图像进行Ni次提取。在图8的例子中，在第一次执行S160的处理期间提取出图像数据1520，并且在第二次执行S160的处理期间提取出图像数据1530。
注意，在图8中，附图标记1710、1720、1730和1740表示与原始图像相对应的帧图像，并且附图标记1715、1725和1735表示横跨相应原始图像的区域的帧图像。
通过上述处理，提取帧图像完成。
与实施例1(参见图3)相同，压缩单元20对由此获取的帧图像进行编码，以生成运动图像。
在本实施例中，对于中间原始图像(图8中的附图标记1720和1730)，提取出考虑到摄像状况确定了数量的帧图像，以使得可以根据关注度显示运动图像。此外，由于中间原始图像与初始原始图像和最终原始图像(图8的附图标记1710和1740)之间存在提取次数的差异，因此可以以较高的关注度显示分割摄像期间印象较深的初始图像和最终图像。
在图8的例子中，使用在沿单一方向(从左向右)移位所拍摄区域时拍摄到的四个静止图像。然而，所拍摄区域的移位方向不限于单一方向。以下将参考图9和10来说明该情况。
图9示出与图8相同进行四分割摄像、但移位方向在处理中途反转的运动图像的生成。
具体地，图9的处理与图8的处理的不同之处在于，原始图像2610～2640中的原始图像2620和2630的提取基准位置相反。此外，在这种情况下，根据本发明，将用于显示原始图像2620～2630的提取方向设置为从x2到x3的方向。因此，如图9所示，可以在改变提取位置的方向时，按原始图像2610～2640的顺序生成运动图像。
此外，由于按摄像顺序提取帧图像，因此可以生成按摄像页序再现和显示的运动图像。注意，附图标记2710～2740分别与图8的附图标记1710～1740相对应。
图10示出与图8相同进行四分割摄像、但移位方向二维变化的运动图像的生成。
具体地，当从图10的原始图像3610到原始图像3640进行分割摄像时，对于各个中间原始图像，提取基准位置改变了90度，以使得在大的二维区域中进行分割摄像。此外，在这种情况下，可以通过与上述工作流程的过程(参见图6和7)相同的过程来实现两个原始图像之间的提取处理。注意，附图标记3710～3740分别与图8的附图标记1710～1740相对应。
此外，合成单元170可以在提取初始帧图像之前合成所有的所拍摄图像以生成单个合成图像，或者可以在所需时刻仅合成与要提取的区域相对应的两个所拍摄图像，以生成部分合成图像。
在后一情况下，代替合成图像，提取单元10从部分合成图像获取帧图像。暂时存储单元110无需保持合成图像，并且可以保持小于合成图像的部分合成图像。因此，暂时存储单元110仅需具有合成两个原始图像所需的容量。因此，可以在暂时存储单元110的容量相对有限的数字照相机等的致密型装置中执行本实施例的处理。
如上所述，根据本实施例，即使存在三个以上原始图像，也可以如同实施例1一样使用本发明的技术。
实施例3
在实施例3中，当合成单元170合成两个静止图像的共有部分时，合成比根据由提取单元10所提取的图像的提取位置而变化。具体地，合成单元170进行所谓的α混合，并根据由提取单元10所提取的图像的提取位置改变α的值。在下文，将参考图11和12来说明该操作。
图11是示出根据实施例3的图像提取处理的详细流程的流程图。在图11中，利用相同的附图标记来表示进行与实施例1的处理相同的处理的步骤，并且将不说明这些步骤(参见图1)。
在实施例3中，与实施例1不同，在S150之前设置S148。在S148中，合成单元170基于提取位置x，利用加权来合成与提取位置x相对应的两个静止图像的共有部分，以生成部分合成图像。
这里，将说明从图像数据4510和图像数据4520生成部分合成图像4600的图12所示的情况。图像数据4510和图像数据4520分别包括共有部分4610b和4620b。合成单元170以(1-α)∶α(0≤α≤1)的比合成共有部分4610b和4620b。在这种情况下，合成单元170对静止图像中离提取位置较近的一个静止图像(例如，图像数据4510)赋予较高的权重(即，α的值减小)。
此外，当提取位置与原始图像的区域相对应时，将α的值设置为0或1，以使得仅使用原始图像。例如，当从提取位置4610提取图像时，α的值为0。由此，从与原始图像的区域相对应的位置提取出的帧图像不受由于合成期间的图像畸变等引起的图像质量劣化的影响。
随着提取位置距离提取位置4620越近，合成单元170将α的值设置得越大。例如，可以基于当前的提取位置移位量|x-x1|相对于提取基准位置间距Δx1＝|x2-x1|的比例来确定α的值。当提取位置x与x1一致时，α＝0。当提取位置x与x2一致时，α＝1。通过在这些位置之间进行线性插值来计算α的值。因而，根据提取位置确定α的值。
在本实施例中，在连续的帧图像之间α的值变化。因此，当压缩单元20利用双向预测编码方案对帧图像进行编码时，提高了预测效率，使得代码量减少。此外，如图12所示，如果对从与原始图像不同的区域获取的帧图像的一部分进行帧内编码，则可以沿反方向再现运动图像，或者可以在跳过帧时再现运动图像，即，可以实现所谓的特殊再现模式。
使用利用像素相加的α混合来进行上述图像合成方法。然而，本发明的图像合成方法不限于α混合。例如，存在通过坐标转换来链接两个类似图像的被称为渐变(morphing)的技术。使用这种图像转换技术来按时间序列链接原始图像的合成共有区域的图像的方法可以属于本发明的另一实施例。
此外，作为另一图像合成方法，用于在预定位置处切换原始图像的合成共有区域中的图像、并且按时间序列改变切换位置的方法可以属于本发明的另一实施例。
在采用α混合技术、渐变技术或切换技术的图像合成方法的情况下，与原始图像相对应的帧图像与该原始图像完全一致。换言之，当长时间显示图像时，可以显示无畸变的原始图像。
此外，存在用于对合成共有区域部分中发生的畸变减轻、并且防止了不自然的不连续图像出现的图像进行合成的其它方法。在这种情况下，由于无需按时间序列改变合成处理，因此降低了处理负荷。注意，尽管显示时间长的图像与原始图像不完全一致，但平滑地合成了图像，使得对于采用分割摄像的显示方法可以减轻不自然性。
注意，在本实施例中，即使当提取单元10从预定的两个静止图像之间的至少一个区域提取图像时，合成单元170也针对各区域生成单独的部分合成图像。
如上所述，根据本实施例，在阶梯式地改变两个静止图像的共有部分的合成比的情况下获取帧图像。
由此，可以减轻由于合成所引起的帧图像的图像质量劣化，并且可以提高编码效率。
其它实施例
可以通过向计算机系统或设备提供存储有实现上述功能的软件的程序代码的存储介质来实现以上实施例所述的处理。通过利用该系统或设备的计算机(或CPU或MPU)读取存储介质中所存储的程序代码并执行这些程序代码，可以实现上述实施例的功能。在这种情况下，从存储介质读取的程序代码实现了根据实施例的功能，并且存储有程序代码的存储介质构成本发明。可以使用软
Figure GPA00001151349500241
盘、硬盘、光盘、磁光盘等的存储介质来提供程序代码。此外，可以使用CD-ROM、CD-R、磁带、非易失性存储卡和ROM等。
此外，不单单通过执行由计算机所读取的程序代码来实现根据以上实施例的功能。本发明还包括以下情况：在计算机上工作的OS(操作系统)等根据程序代码的指示进行部分或全部处理，并且实现根据以上实施例的功能。
此外，可以将从存储介质读取的程序代码写入设置在插入至计算机中的功能扩展卡或连接至计算机的功能扩展单元中的存储器中。之后，该功能扩展卡或单元中所包含的CPU等可以根据程序代码的指示进行部分或全部处理，并且可以实现以上实施例的功能。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2007年12月5日提交的日本专利申请2007-315210的优先权，在此通过引用包含其全部内容。

Claims (12)

1.一种图像处理设备，用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像，所述图像处理设备包括：
合成单元，用于通过合成所述共有部分从所述至少两个静止图像生成合成图像；
获取单元，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及
生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述合成图像的运动图像。
2.根据权利要求1所述的图像处理设备，其特征在于，
代替生成所述合成图像，所述合成单元针对所述两个相邻静止图像的各个组合，通过合成所述共有部分从所述两个相邻静止图像生成部分合成图像，以及
代替所述合成图像，所述获取单元从各个所述部分合成图像获取所述多个帧图像。
3.根据权利要求2所述的图像处理设备，其特征在于，
所述合成单元通过以下面的方式合成所述两个相邻静止图像的共有部分来生成所述部分合成图像：越接近所述两个相邻静止图像中的一个静止图像，对所述两个相邻静止图像中的该一个静止图像赋予越高的权重。
4.根据权利要求1所述的图像处理设备，其特征在于，
所述生成单元生成所述运动图像，使得所述多个帧图像被排列成在从与在前拍摄到的静止图像相对应的区域到与在后拍摄到的静止图像相对应的区域的一个方向上滚动显示。
5.根据权利要求4所述的图像处理设备，其特征在于，
所述生成单元通过使用静止图像的Exif信息中所包括的摄像时刻生成所述运动图像，使得从所述合成图像的所有区域所获取的多个帧图像按拍摄到相应静止图像的顺序排列。
6.根据权利要求1所述的图像处理设备，其特征在于，
所述获取单元针对所述两个静止图像的各个组合，随着摄像时刻的间隔增大，从越过所述共有部分横跨所述两个相邻静止图像的更多数量的区域获取帧图像。
7.根据权利要求1所述的图像处理设备，其特征在于，
所述生成单元对在所述多个帧图像中的初始帧图像进行帧内编码并对其余的帧图像进行帧间预测编码或双向预测编码，从而生成所述运动图像。
8.一种图像处理设备的控制方法，所述图像处理设备用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像，所述控制方法包括以下步骤：
通过合成所述共有部分从所述至少两个静止图像生成合成图像；
获取步骤，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及
从通过所述获取步骤所获取的多个帧图像生成滚动显示所述合成图像的运动图像。
9.一种计算机可读存储介质中所存储的计算机程序，所述计算机程序使用于处理以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像的图像处理设备作为以下单元工作：
合成单元，用于通过合成所述共有部分从所述至少两个静止图像生成合成图像；
获取单元，用于以从越过所述共有部分横跨两个相邻静止图像的区域获取帧图像的方式，从所述合成图像中的多个区域获取多个帧图像；以及
生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述合成图像的运动图像。
10.一种图像处理设备，用于从以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像获取多个帧图像，所述图像处理设备包括：
暂时存储单元，用于存储所述至少两个静止图像；
获取单元，用于针对所述至少两个静止图像中的两个相邻静止图像越过所述共有部分的各个组合，以从越过所述两个相邻静止图像的共有部分横跨所述两个相邻静止图像的区域获取帧图像的方式，从所述两个相邻静止图像中的多个区域获取多个帧图像；以及
生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述两个相邻静止图像的运动图像。
11.一种图像处理设备的控制方法，所述图像处理设备用于从以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像获取多个帧图像，所述控制方法包括以下步骤：
暂时存储所述至少两个静止图像；
获取步骤，用于针对所述至少两个静止图像中的两个相邻静止图像越过所述共有部分的各个组合，以从越过所述两个相邻静止图像的共有部分横跨所述两个相邻静止图像的区域获取帧图像的方式，从所述两个相邻静止图像中的多个区域获取多个帧图像；以及
从通过所述获取步骤所获取的多个帧图像生成滚动显示所述两个相邻静止图像的运动图像。
12.一种计算机可读存储介质中所存储的计算机程序，所述计算机程序使用于从以连续拍摄的两个静止图像具有共有部分的方式拍摄得到的至少两个静止图像获取多个帧图像的图像处理设备作为以下单元工作：
暂时存储单元，用于存储所述至少两个静止图像；
获取单元，用于针对所述至少两个静止图像中的两个相邻静止图像越过所述共有部分的各个组合，以从越过所述两个相邻静止图像的共有部分横跨所述两个相邻静止图像的区域获取帧图像的方式，从所述两个相邻静止图像中的多个区域获取多个帧图像；以及
生成单元，用于从由所述获取单元所获取的多个帧图像生成滚动显示所述两个相邻静止图像的运动图像。
CN200880119619.7A 2007-12-05 2008-11-05 图像处理设备及其控制方法 Expired - Fee Related CN101889434B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007315210A JP5144237B2 (ja) 2007-12-05 2007-12-05 画像処理装置、その制御方法、プログラム
JP2007-315210 2007-12-05
PCT/JP2008/070539 WO2009072375A1 (en) 2007-12-05 2008-11-05 Image processing apparatus, control method thereof, and program

Publications (2)

Publication Number Publication Date
CN101889434A true CN101889434A (zh) 2010-11-17
CN101889434B CN101889434B (zh) 2014-05-07

Family

ID=40717556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880119619.7A Expired - Fee Related CN101889434B (zh) 2007-12-05 2008-11-05 图像处理设备及其控制方法

Country Status (4)

Country Link
US (1) US8848034B2 (zh)
JP (1) JP5144237B2 (zh)
CN (1) CN101889434B (zh)
WO (1) WO2009072375A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790843A (zh) * 2011-05-16 2012-11-21 索尼移动通信日本株式会社 图像处理设备和显示图像生成方法
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN104025150A (zh) * 2011-12-27 2014-09-03 佳能株式会社 图像处理装置、图像显示系统、图像处理方法和图像处理程序
CN107025045A (zh) * 2015-12-18 2017-08-08 Lg电子株式会社 移动终端及其控制方法
CN109474787A (zh) * 2018-12-28 2019-03-15 维沃移动通信有限公司 一种拍照方法、终端设备及存储介质
CN114584747A (zh) * 2022-03-04 2022-06-03 大连海事大学 一种360°环幕无缝投影软矫正方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP2011024003A (ja) * 2009-07-16 2011-02-03 Fujifilm Corp 立体動画記録方法および装置、動画ファイル変換方法および装置
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
KR101814604B1 (ko) * 2011-08-30 2018-01-04 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP5493114B1 (ja) * 2012-10-24 2014-05-14 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9311310B2 (en) * 2012-10-26 2016-04-12 Google Inc. System and method for grouping related photographs
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
JP6083335B2 (ja) * 2013-06-26 2017-02-22 株式会社ソシオネクスト 撮像装置、選択方法、および選択プログラム
US9185284B2 (en) 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
US9940695B2 (en) * 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
JP7163057B2 (ja) * 2018-04-26 2022-10-31 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
CN112995536A (zh) * 2021-02-04 2021-06-18 上海哔哩哔哩科技有限公司 视频合成方法及系统

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5129563A (zh) * 1974-08-30 1976-03-12 Mitsubishi Rayon Co
JPS5938791A (ja) * 1982-08-30 1984-03-02 株式会社東芝 画像表示装置
US4920504A (en) * 1985-09-17 1990-04-24 Nec Corporation Display managing arrangement with a display memory divided into a matrix of memory blocks, each serving as a unit for display management
JPH0279172A (ja) * 1988-09-16 1990-03-19 Fuji Photo Film Co Ltd 画像入力方法
US5153716A (en) * 1988-12-14 1992-10-06 Horizonscan Inc. Panoramic interactive system
GB2235856B (en) * 1989-09-01 1993-11-17 Quantel Ltd Improvements in or relating to electronic graphic systems
JPH053968A (ja) * 1991-06-25 1993-01-14 Pioneer Electron Corp 映像表示、及びその表示に連動する運動装置
JP3206139B2 (ja) * 1992-10-08 2001-09-04 キヤノン株式会社 画像処理装置及びその方法
EP0592136B1 (en) * 1992-10-09 1999-12-08 Sony Corporation Producing and recording images
JP3227478B2 (ja) * 1995-05-17 2001-11-12 シャープ株式会社 静止画撮像装置
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US5601353A (en) * 1995-12-20 1997-02-11 Interval Research Corporation Panoramic display with stationary display device and rotating support structure
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US6542642B2 (en) * 1996-02-29 2003-04-01 Canon Kabushiki Kaisha Image coding process and motion detecting process using bidirectional prediction
US5841473A (en) * 1996-07-26 1998-11-24 Software For Image Compression, N.V. Image sequence compression and decompression
JPH10155109A (ja) * 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
JPH114398A (ja) 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JP3055537B2 (ja) * 1997-09-03 2000-06-26 カシオ計算機株式会社 電子スチルカメラ及び画像再生方法
EP0935878B1 (en) * 1997-09-03 2011-09-28 Casio Computer Co., Ltd. Electronic still camera having photographed image reproducing function
US5867208A (en) * 1997-10-28 1999-02-02 Sun Microsystems, Inc. Encoding system and method for scrolling encoded MPEG stills in an interactive television application
JPH11289515A (ja) 1998-04-01 1999-10-19 Sony Corp 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
JPH11308618A (ja) * 1998-04-17 1999-11-05 Sony Corp 画像信号処理装置及び方法並びに画像信号再生装置
JP2000101916A (ja) * 1998-09-22 2000-04-07 Casio Comput Co Ltd 電子スチルカメラ及びその制御方法
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
JP3794529B2 (ja) * 1998-12-24 2006-07-05 カシオ計算機株式会社 動画像記録装置、及び、動画像符号化方法
US6891561B1 (en) * 1999-03-31 2005-05-10 Vulcan Patents Llc Providing visual context for a mobile active visual display of a panoramic region
JP4256028B2 (ja) * 1999-07-02 2009-04-22 富士フイルム株式会社 圧縮符号化装置および方法
US7194032B1 (en) * 1999-09-03 2007-03-20 Equator Technologies, Inc. Circuit and method for modifying a region of an encoded image
JP2001128051A (ja) * 1999-10-27 2001-05-11 Ricoh Co Ltd 撮像装置
US20020115477A1 (en) * 2001-02-13 2002-08-22 Raja Singh Portable high speed internet access device with scrolling
JP2001231029A (ja) * 2000-02-18 2001-08-24 Minolta Co Ltd 遠隔カメラシステム
KR100467240B1 (ko) * 2000-08-17 2005-01-24 주식회사 이노티브 영상 데이터 디스플레이 시스템 및 방법
US6416477B1 (en) * 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
JP3925057B2 (ja) 2000-09-12 2007-06-06 カシオ計算機株式会社 カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法
JP4618576B2 (ja) * 2000-09-25 2011-01-26 株式会社竹中工務店 日射遮蔽装置
US20050084175A1 (en) * 2003-10-16 2005-04-21 Olszak Artur G. Large-area imaging by stitching with array microscope
JP2002342753A (ja) * 2001-05-15 2002-11-29 Dragon Furai:Kk 分割画像データの連続的表現方法およびその連続的表現を行うための記憶媒体
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US20050058330A1 (en) * 2003-09-16 2005-03-17 Sysmex Corporation Method of displaying smear image and retrieving method employing the same, surveillance method, system of displaying smear image, program for displaying smear image and recording medium recording the program
US7409105B2 (en) * 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
US8547592B2 (en) * 2003-11-03 2013-10-01 Xeikon Ip Bv Device and method for digital exposure
GB2408867B (en) * 2003-11-04 2006-07-26 Zoo Digital Group Plc Data processing system and method
JP2005175620A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置
JP2005197785A (ja) 2003-12-26 2005-07-21 Canon Inc 撮像装置及び撮像方法
JP2005217902A (ja) * 2004-01-30 2005-08-11 Seiko Epson Corp 画像処理装置および画像処理方法
JP2005303991A (ja) 2004-03-15 2005-10-27 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP4356621B2 (ja) 2004-04-16 2009-11-04 ソニー株式会社 撮像装置及び撮像方法
US7602993B2 (en) * 2004-06-17 2009-10-13 Olympus Corporation Image processing and display using a plurality of user movable viewer areas
JP2006011862A (ja) * 2004-06-25 2006-01-12 Alps Electric Co Ltd 画像表示装置
JP2006033353A (ja) 2004-07-15 2006-02-02 Seiko Epson Corp 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
JP2006166208A (ja) * 2004-12-09 2006-06-22 Fuji Photo Film Co Ltd コマ分類情報付与装置及びプログラム
JP2006174178A (ja) * 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd フォトムービーのインデックス画像作成装置及びインデックス画像作成プログラム
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
JP2006270676A (ja) 2005-03-25 2006-10-05 Fujitsu Ltd パノラマ画像生成プログラム、パノラマ画像生成装置、パノラマ画像生成方法
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
JP2006345400A (ja) * 2005-06-10 2006-12-21 Matsushita Electric Ind Co Ltd ビデオカメラ装置
JP2006346022A (ja) * 2005-06-14 2006-12-28 Ziosoft Inc 画像表示方法及び画像表示プログラム
JP3934151B2 (ja) * 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
JP4727329B2 (ja) * 2005-07-15 2011-07-20 パナソニック株式会社 画像合成装置及び画像合成方法
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP2007079644A (ja) * 2005-09-09 2007-03-29 Sharp Corp 表示装置、表示装置の制御方法、表示装置の制御プログラム、および表示装置の制御プログラムを記録した記録媒体
JP4306671B2 (ja) * 2005-11-04 2009-08-05 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US7577314B2 (en) * 2006-04-06 2009-08-18 Seiko Epson Corporation Method and apparatus for generating a panorama background from a set of images
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US8350892B2 (en) * 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
KR101620067B1 (ko) * 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790843A (zh) * 2011-05-16 2012-11-21 索尼移动通信日本株式会社 图像处理设备和显示图像生成方法
CN102790843B (zh) * 2011-05-16 2015-11-18 索尼移动通信日本株式会社 图像处理设备和显示图像生成方法
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN102833471B (zh) * 2011-06-15 2015-04-29 奥林巴斯映像株式会社 摄像装置和摄像方法
CN104025150A (zh) * 2011-12-27 2014-09-03 佳能株式会社 图像处理装置、图像显示系统、图像处理方法和图像处理程序
CN107025045A (zh) * 2015-12-18 2017-08-08 Lg电子株式会社 移动终端及其控制方法
CN109474787A (zh) * 2018-12-28 2019-03-15 维沃移动通信有限公司 一种拍照方法、终端设备及存储介质
CN109474787B (zh) * 2018-12-28 2021-05-14 维沃移动通信有限公司 一种拍照方法、终端设备及存储介质
CN114584747A (zh) * 2022-03-04 2022-06-03 大连海事大学 一种360°环幕无缝投影软矫正方法
CN114584747B (zh) * 2022-03-04 2023-10-31 大连海事大学 一种360°环幕无缝投影软矫正方法

Also Published As

Publication number Publication date
CN101889434B (zh) 2014-05-07
US8848034B2 (en) 2014-09-30
US20100245540A1 (en) 2010-09-30
JP5144237B2 (ja) 2013-02-13
WO2009072375A1 (en) 2009-06-11
JP2009141630A (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
CN101889434B (zh) 图像处理设备及其控制方法
JP6590925B2 (ja) 動画像を作成するための方法
JP5568178B2 (ja) ビデオの要約方法
CN101325680B (zh) 图像处理装置和方法
US8520088B2 (en) Storing a video summary as metadata
JP5371174B2 (ja) 画像表示装置及び画像表示方法
CN1981305B (zh) 图像处理器
US20100214422A1 (en) Recording Apparatus, Reproducing Apparatus, Recording Method, Recording Program, and Computer-Readable Recording Medium
US20110292245A1 (en) Video capture system producing a video summary
JP2010529804A (ja) ２ｄ映像メディア標準に基づいて３ｄ映像ファイルを生成及び再生するためのシステム及び方法
JP4938615B2 (ja) 動画像記録再生装置
CN103369128A (zh) 同时显示多个运动图像缩略图的图像再现装置及方法
US8120675B2 (en) Moving image recording/playback device
JP2010529803A (ja) ２ｄ映像メディア標準に基づいて３ｄ立体映像ファイルを生成及び再生するシステム及び方法
JP5487799B2 (ja) デジタルカメラおよび画像処理プログラム
EP1487208A1 (en) Video imaging device, video conversion device, and video edition device
TW466879B (en) Recording device for recording a digital information signal on a record carrier
US7064780B2 (en) Image recording apparatus with selection of still image to be recorded from multi-picture display
US20040109673A1 (en) Recording and reproducing apparatus and method
JP2004015580A (ja) 記録装置
JP5484132B2 (ja) 映像処理装置及びその制御方法
JP2003023600A (ja) 画像処理装置、動画記録再生装置、画像処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP2007043218A (ja) 画像記録再生装置
JP7013272B2 (ja) 画像処理装置
JP2000134579A (ja) 動画像圧縮伸長処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507

Termination date: 20201105