CN102668585B - 图像数据生成辅助装置和图像数据生成辅助方法 - Google Patents

图像数据生成辅助装置和图像数据生成辅助方法 Download PDF

Info

Publication number
CN102668585B
CN102668585B CN201080053122.7A CN201080053122A CN102668585B CN 102668585 B CN102668585 B CN 102668585B CN 201080053122 A CN201080053122 A CN 201080053122A CN 102668585 B CN102668585 B CN 102668585B
Authority
CN
China
Prior art keywords
image
view data
mentioned
multiplying power
zoom multiplying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080053122.7A
Other languages
English (en)
Other versions
CN102668585A (zh
Inventor
大场章男
山岸建
势川博之
稻田彻悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN102668585A publication Critical patent/CN102668585A/zh
Application granted granted Critical
Publication of CN102668585B publication Critical patent/CN102668585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

用户进行选择拍摄模式的输入（S10）。然后，用户按所希望的变倍倍率拍摄对象作为对象图像（S12）。拍摄装置以该对象图像为起点决定应拍摄的图像的变倍倍率，一边向所决定的变倍倍率拉远一边拍摄图像（S14、S16）。反复进行变倍倍率的变更及拍摄的处理，直到成为所决定的变倍倍率中最小的变倍倍率（S18的“否”、S14、S16），当拍摄完最小变倍倍率的图像时（S18的“是”），生成包含各图像的变倍倍率、图像的相对位置信息的元数据，与所拍摄的图像的数据相对应地存储到存储部中（S20）。

Description

图像数据生成辅助装置和图像数据生成辅助方法
技术领域
本发明涉及在进行显示图像的放大缩小的图像处理技术中使用的图像数据的生成辅助装置及生成辅助方法。
背景技术
已提出有不仅是执行游戏程序，还能再现动图像的家庭用娱乐系统。在该家庭用娱乐系统中，GPU生成使用了多边形的三维图像（例如参照专利文献1）。
另一方面，还提出有使用基于高精细的照片等数字图像而生成的多个分辨率的平铺图像，来进行显示图像的放大／缩小处理、上下左右方向的移动处理的技术。在该图像处理技术中，将原图像尺寸多阶段地缩小而生成不同分辨率的图像，将各阶层的图像分割成一个或多个平铺图像（tile image），用阶层构造来表现原图像。通常，分辨率最低的图像由一个平铺图像构成，分辨率最高的原图像由最多数量的平铺图像构成。图像处理装置在显示图像的放大处理或缩小处理时，将所使用的平铺图像切换成不同阶层的平铺图像，由此来迅速地进行放大显示或缩小显示。
在先技术文献
专利文献
专利文献1：美国专利第6563999号公报
发明内容
发明要解决的课题
近年来在便携式终端等中也能够放大显示画面的尺寸，不受信息处理装置的种类限制地显示高精细图像了。因此，体现于视觉的各种各样的内容更加贴近身边。同时，想要生成有魅力的内容的要求也变得更加强烈。然而，在例如使用具有上述阶层构造的图像数据来生成图像显示内容时，存在如下问题，即，越想实现特效性的表现，素材图像的取得及内容数据的生成就越变得复杂化，越需要专门的知识和方法。
本发明是鉴于这样的课题而完成的，其目的在于提供一种能容易地生成可实现各种各样的表现形式的图像的数据的技术。
用于解决课题的手段
本发明的一个方案涉及一种图像数据生成辅助装置。该图像数据生成辅助装置是对显示装置所使用的图像数据的生成进行辅助的装置，所述显示装置是在放大、缩小显示图像时，按预定的缩尺率将用于显示的图像的数据在以不同变倍倍率拍摄的多个图像的数据间进行切换的显示装置，本图像数据生成辅助装置的特征在于，包括：输入信息取得部，从用户处接收指定对象物的图像的所希望的变倍倍率的输入；拍摄部，以输入信息取得部所接收到的用户指定的变倍倍率为起点，按用于显示的多个变倍倍率对包含对象物的多个图像进行拍摄；元数据生成部，取得使拍摄部所拍摄的多个图像建立关联，并决定显示时的切换顺序及切换时机的各图像的变倍倍率作为元数据，附加于图像的数据地存储在存储装置中。
本发明的另一方案涉及一种图像数据生成辅助方法。该图像数据生成辅助方法是对显示装置所使用的图像数据的生成进行辅助的方法，所述显示装置是在放大、缩小显示图像时，按预定的缩尺率将用于显示的图像的数据在以不同变倍倍率拍摄的多个图像的数据间进行切换的显示装置，本图像数据生成辅助方法的特征在于，包括以下步骤：从用户处接收指定对象物的图像的所希望的变倍倍率的输入；以用户指定的变倍倍率为起点，用拍摄装置按用于显示的多个变倍倍率对包含上述对象物的多个图像进行拍摄；取得使所拍摄的多个图像建立关联，并决定显示时的切换顺序及切换时机的各图像的变倍倍率作为元数据；生成阶层数据作为图像数据而存储到存储装置中，所述阶层数据是如下这样的数据，即，在将多个图像按变倍倍率顺序阶层化后，对各图像进行解析，抽取出摄于图像中的同一物的特征点，进行对位以使得在放缩各阶层的图像而统一了尺寸时该特征点的位置相一致。
当然，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、记录有计算机程序的记录介质等间变换后的实施方式，作为本发明的方案也是有效的。
发明的效果
通过本发明，在生成能进行各种各样的表现的图像数据时，能将用户的负担降到最小限。
附图说明
图1是表示本发明实施方式的图像处理系统的使用环境的图。
图2是表示能适用于图1的图像处理系统的输入装置的外观构成的图。
图3是表示在本实施方式中使用的图像数据的阶层构造例子的图。
图4是表示显示本实施方式所生成的图像数据的图像处理装置的构成的图。
图5是示意性地表示在本实施方式中成为生成对象的多个阶层数据的关系的图。
图6是例示本实施方式的进行图像数据生成辅助的拍摄装置的使用形态的图。
图7是详细表示本实施方式中的拍摄装置的构成的图。
图8是用于说明本实施例中的图像数据生成辅助方法的基本方案的图。
图9是表示在本实施方式中对用于生成阶层数据的图像拍摄进行辅助的处理步骤的例子的流程图。
图10是表示在本实施方式中生成阶层数据的处理步骤的流程图。
图11是用于说明在本实施方式中对用于生成阶层数据的图像拍摄进行辅助的处理的其它例子的图。
图12是表示在本实施方式中辅助图像拍摄的处理的步骤的流程图。
图13是表示在图12的S34中显示于显示器的画面的构成例的图。
图14是表示在本实施方式中以用户选择对象图像的形式显示于显示器的画面的构成例的图。
图15是表示在图14中说明的辅助图像拍摄的处理的步骤的流程图。
具体实施方式
本实施方式所生成的图像数据具有将多个分辨率的图像、或者将以多个变倍倍率拍摄的图像的数据阶层化而成的阶层构造。因此，首先说明显示具有阶层构造的图像数据的机构。
图1表示显示本发明实施方式所生成的图像数据的图像处理系统的构成例。图像处理系统1包括实施图像显示的处理的图像处理装置10、和输出图像处理装置10的处理结果的显示装置12。显示装置12可以是具有输出图像的显示器和输出声音的扬声器的电视。显示装置12可以用有线缆线连接于图像处理装置10，也可以通过无线LAN（Local Area Network）等无线连接。
在图像处理系统1中，图像处理装置10可以介由缆线14连接于因特网等外部网络，下载取得包含被阶层化了的压缩图像的数据的内容的软件等。当然，图像处理装置10也可以通过无线通信连接于外部网络。图像处理装置10可以是游戏装置或个人计算机等，可以通过从各种记录介质载入软件来实现后述的功能。当然图像处理装置10也可以具有进行后述的图像显示以外的处理、例如声音处理、游戏的执行、向网络的连接等功能。
用户一边看着显示装置12上所显示的图像，一边对输入装置进行要求显示区域的放大/缩小、向上下左右方向的移动的输入时，输入装置根据此将显示区域的移动及放大缩小的要求信号发送给图像处理装置10。图像处理装置10根据该信号使显示装置12的画面内的图像变化。
图2表示输入装置20的外观构成例。输入装置20上作为用户可操作的操作手段，具有十字键21、模拟摇杆27a、27b、以及4种操作按钮26。4种操作按钮26由○按钮22、×按钮23、□按钮24及△按钮25构成。在图像处理系统1中，输入装置20的操作手段被分配有用于输入显示区域的放大/缩小要求、以及向上下左右方向的移动要求的功能。
例如显示区域的放大/缩小要求的输入功能被分配给右侧的模拟摇杆27b。用户通过向身前拉模拟摇杆27b，能够输入显示区域的缩小要求，而通过从身前往外推，能输入显示区域的放大要求。另外，显示区域的移动的输入功能被分配给十字键21。用户通过按下十字键21，能够输入向十字键21所被按下的方向的移动要求。当然，显示区域移动要求的输入功能也可以被分配给其它操作手段，例如移动要求的输入功能也可以分配给模拟摇杆27a。
输入装置20具有将所被输入的显示区域移动要求信号传送给图像处理装置10的功能，在本实施方式中被构成为能与图像处理装置10之间进行无线通信。输入装置20和图像处理装置10可以使用Bluetooth（蓝牙）（注册商标）协议或IEEE802.11协议等建立无线连接。当然，输入装置20也可以介由缆线与图像处理装置10连接，来将显示区域移动要求信号传送给图像处理装置10。
图3表示在本实施方式中使用的图像数据的阶层构造例。图像数据具有沿深度（Z轴）方向由第0阶层30、第1阶层32、第2阶层34及第3阶层36构成的阶层构造。在该图中仅示出4阶层，但阶层数并不限于此。以下将具有这样的阶层构造的图像数据称为“阶层数据”。
图3所示的阶层数据具有四叉树的阶层构造，各阶层由一个以上的平铺图像38构成。所有平铺图像38都被形成为具有相同像素数的同一尺寸，例如具有256×256像素。各阶层的图像数据以不同的分辨率来表现一个图像，分辨率按第3阶层36、第2阶层34、第1阶层32、第0阶层30的顺序逐渐变小。例如第N阶层的分辨率（N为0以上的整数）可以在左右（X轴）方向和上下（Y轴）方向都为第（N+1）阶层的分辨率的1/2。
此外，在图3中，在各阶层中都描绘出全部平铺图像，但例如第3阶层36等的高分辨率图像可以仅对部分区域准备平铺图像。在要放大未准备平铺图像的区域时，将上面阶层的对应区域的图像放大来显示、或者不能放大。在像这样仅对一部分区域准备平铺图像的情况下，通过例如第2阶层34的右下方的一个平铺图像与第3阶层36的右下方的2×2个平铺图像相对应这样对位，来使得上下阶层的对应区域的图像相对应，也能无缝地实现显示时的阶层的切换。
在图像处理装置10中，阶层数据以按预定的压缩格式压缩了的状态被保存在存储装置中，在图像显示内容的启动等时被从存储装置读出并解码。图像处理装置10可以具有与多种压缩格式对应的解码功能，能够解码例如S3TC格式、JPEG格式、JPEG2000格式的压缩数据。在阶层数据中，压缩处理可以按平铺图像单位来进行，也可以按同一阶层或多个阶层所包含的多个平铺图像单位来进行。
阶层数据的阶层构造如图3所示那样，左右方向被设定为X轴，上下方向被设定为Y轴，深度方向被设定为Z轴，构建虚拟的3维空间。图像处理装置10从输入装置20所供给的显示区域移动要求信号中导出显示区域的移动量后，使用该移动量导出虚拟空间中的帧的4角的坐标（帧坐标）。虚拟空间中的帧坐标被用于显示图像的生成处理。当然，图像处理装置10也可以导出确定阶层的信息和该阶层中的纹理坐标（UV坐标）来取代虚拟空间中的帧坐标。
阶层数据所包含的各阶层的图像数据相对于虚拟空间的Z轴离散地存在。因此，在按没有图像数据的阶层间的缩尺率来显示图像时，使用Z轴方向上处于附近的图像数据。例如，当显示图像的缩尺率处于第2阶层34附近时，使用该第2阶层的图像数据来生成显示图像。为实现此，在各阶层之间、例如中间设定源图像的切换边界。当显示图像的缩尺率越过该切换边界时，就切换用于显示图像的生成的图像数据，放大或缩小该图像来显示。
图4表示了图像处理装置10的构成。图像处理装置10具有无线接口40、开关42、显示处理部44、硬盘驱动器50、记录介质安装部52、盘驱动器54、主存储器60、缓冲存储器70及控制部100。显示处理部44具有对要显示于显示装置12的显示器上的数据进行缓冲的帧存储器。
开关42是以太网开关（“以太网”是注册商标），是通过有线或无线与外部的设备连接来收发数据的器件。开关42也可以介由缆线14连接于外部网络，接收包含被阶层化了的压缩图像数据的内容文件。此外，开关42连接于无线接口40，无线接口40以预定的无线通信协议与输入装置20连接。在用户用输入装置20输入的显示区域移动要求信号经由无线接口40、开关42被提供给控制部100。
硬盘驱动器50作为存储数据的存储装置来发挥功能。介由开关42接收到的各种数据被存储在硬盘驱动器50中。记录介质安装部52被安装存储卡等可插拔记录介质后，从可插拔记录介质读取数据。盘驱动器54被安装只读的ROM盘后，驱动并识别ROM盘，读取数据。ROM盘可以是光盘或光磁盘等。内容文件可以被存储在这些记录介质中。
控制部100具备多核CPU，在一个CPU中具有一个通用的处理器核和多个单处理器核。通用处理器核被称作PPU（PowerPC Processor Unit），其余处理器核被称作SPU（Synergistic Processor Unit）。
控制部100具有连接于主存储器60和缓冲存储器70的存储器控制器。PPU具有寄存器，并具备主处理器作为运算执行主体，将要执行的应用中的作为基本处理单位的任务高效地分配给各SPU。当然，PPU自身也可以执行任务。SPU具有寄存器，并具有作为运算执行主体的副处理器和作为本地存储区域的本地存储器。本地存储器可以被用作缓冲存储器70。
主存储器60和缓冲存储器70是存储装置，以RAM（随机存取存储器）构成。SPU具有专用的DMA（Direct Memory Access）控制器作为控制单元，能高速进行主存储器60与缓冲存储器70之间的数据传输，并能在显示处理部44中的帧存储器与缓冲存储器70之间实现高速的数据传输。本实施方式的控制部100通过使多个SPU并行工作来实现高速的图像处理功能。显示处理部44连接于显示装置12，输出与用户的要求相应的处理结果。
图像处理装置10为平滑地移动显示图像，预先将压缩图像数据的至少一部分从硬盘驱动器50载入到主存储器60。并且，基于来自用户的显示区域移动要求而预测将来要显示的区域，将载入到主存储器60的压缩图像数据的再一部分解码而存储到缓冲存储器70中。由此，能够在以后的必要时机瞬时切换显示图像的生成所使用的图像。可以准备多个阶层数据作为显示对象，使得显示图像在阶层数据间往来。
图5示意性地表示了在这样的方式中成为显示对象的多个阶层数据的关系。图中两个三角形表示了不同的阶层数据150和152。各个阶层数据150、152实际上如图3所示那样具有相对于Z轴离散地存在分辨率不同的多个图像数据的结构。用户通过输入装置20要求显示区域的放大/缩小时，显示区域就沿图的Z轴方向移动。另一方面，若进行使显示区域向上下左右移动的要求，则移动图的水平面。在这样的虚拟空间中，构建两个阶层数据150和152如图那样重叠的图像数据。
在使用图像数据正显示阶层数据150的图像时，若用户在某区域继续要求放大，则显示区域如箭头a那样移动，进入阶层数据152的区域。通过该操作，将用于生成显示图像的数据从阶层数据150切换到阶层数据152。该处理在之前所述的图像显示的处理步骤中可以通过改变载入到主存储器60的对象的阶层数据来实现。
为构建图5那样的由多个阶层数据构成的图像数据，预先设定好切换阶层数据150和阶层数据152时的图像的分辨率及位置。该设定在图5中用线154表示，由此能决定阶层数据的重叠程度。在该图的例子中，在Z轴为z1分辨率、线154所表示的位置，进行从阶层数据150向阶层数据152的切换。以下将这样的阶层数据间的切换称作“链接”。当然，进行切换的阶层数据的图像可以是分辨率不同的同一图像，也可以是完全不同的图像。
此外，也可以取代向阶层数据152的显示图像切换，而是进行动图像再现、声音再现、显示的加工、显示区域的移动这样的处理。在该情况下也如线154那样对阶层数据150预先设定链接区域，当视点到达该区域时开始预先与之建立了对应的处理。
通过这样处理，能实现在用户一边看着阶层数据150的图像一边使显示区域移动，显示区域到达链接区域时，与该区域建立了对应的图像或信息显示出来、或者进行动图像再现这样的形态。例如能够实现如下显示上的效果：当从人的整体像的图像起逐渐按脸部、眼睛这样放大显示区域时，逐渐变成瞳孔的图像，若进一步放大，则显示移换到映于瞳孔中的另一世界，或处于该世界中的物体动了起来。当然，也可以对一个阶层数据设定向多个阶层数据的链接，还可以对链接目标阶层数据再设定链向其它阶层数据的链接。
在显示这样的阶层数据的图像时，Z轴、即分辨率方向的可变范围越大，越产生数据结构的优点。另外，如上述那样不论有无链接都用多个阶层来表现包含同一对象物的图像的情况下，通过使上下阶层的对应区域中的对象物的位置相一致，能不因阶层导致对象物错开地、无缝地切换显示，能实现上述那样的各种特效。
但在使构成阶层数据的图像为对包含相同对象物的像以不同变倍倍率进行拍摄而得到的照片或动图像等时，非常有可能在拍摄期间出现天气或拍摄条件的变化、被拍摄物的移动等，色调或构图发生变化。并且，需要花费较多的工夫来进行使像这样分别拍摄的图像中的同一对象物在阶层间及同一阶层内对位的作业。因此，在本实施方式中，在拍摄照片或动图像等来生成阶层数据的方案中，进行用于减轻生成者的负担的辅助工作。在以后的说明中，有时将被设定有链接的多个阶层数据统称作“阶层数据”。
图6例示了本实施方式的进行图像数据生成辅助的拍摄装置的使用方式。拍摄装置200在外观上具有与一般的数字照相机、数字摄像机等一样的构成，包含对被拍摄物202进行拍摄的功能。因此，在被拍摄物202一侧包含一般的照相机所具有的镜头及变倍倍率变更功能等机构（未图示）。拍摄装置200除镜头所捕捉的像的显示外，还包含为发挥后述的功能而向用户提示必要信息的显示器204、以及用户一边看着显示器204一边为进行指示输入而操作的指示输入部206。
显示器204由一般的照相机所具有的液晶屏等构成。关于显示的画面例子，在后面叙述。指示输入部206包括通过用户按下而执行拍摄的快门按钮206a、变更变倍倍率的变倍按钮206b、进行显示器204上所显示的模式或框的选择的方向指示按钮206d、以及进行决定选择的输入的决定按钮206c。指示输入部206也可以用与一般的照相机所具有的部件相同的构造来实现。
拍摄装置200也可以被构成为能切换通常模式和图像生成辅助模式这两种模式，所谓通常模式，是同一般的照相机一样，通过用户按下快门来拍摄照片或拍摄动图像的模式，所谓图像生成辅助模式，是对阶层数据的生成进行辅助的模式。或者，也可以使进行图像生成辅助的装置连接于一般的照相机，由此来实现生成辅助功能。关于通常模式，同一般的照相机是一样的，故接下来说明图像生成辅助模式时的构成。
图7更加详细地表示了拍摄装置200的构成。拍摄装置200除上述的指示输入部206和显示器204外，还包括取得用户的指示输入内容的输入信息取得部208、为进行图像数据的生成辅助而控制拍摄装置的朝向和变倍倍率的拍摄控制部210、进行实际拍摄的拍摄部212、取得阶层数据的生成所需要的元数据的元数据生成部214、控制显示于显示器204的图像的显示图像控制部216、以及存储图像数据和元数据的存储部218。拍摄装置200还包括根据所拍摄的图像而生成阶层数据的阶层数据生成部220，存储部218还存储所生成的阶层数据。
输入信息取得部208将用户对指示输入部206进行的操作进行解释并变换成辅助所需要的信息后，提供给拍摄控制部210。这里所谓需要的信息，除从显示于显示器204的选项选出的选择结果外，还包括用户拍摄图像时的变倍倍率等拍摄条件。拍摄控制部210基于与用户的输入相应的辅助所需要的信息确定拍摄条件，并在控制拍摄装置使之成为该条件的基础上，指示拍摄部212进行拍摄。控制对象是拍摄装置200的镜头的方向和变倍倍率。
因此，拍摄控制部210具有一般的云台照相机所装备的镜头的方向控制机构。并且，将控制变倍倍率的信号发送给拍摄部212。此外，拍摄控制部210根据后述的辅助方法的不同，还可以具有基于GPS（Global PositioningSystem：全球定位系统）的位置信息取得机构、基于陀螺仪传感器（gyro sensor）的方向取得机构。在该情况下，在用户保持并移动拍摄装置200或改变镜头的方向而成为所确定的拍摄条件时，将之通知给用户，由此，用户能够自己按下快门。
拍摄部212按照来自拍摄控制部210的指示拍摄图像。所拍摄的照片、动图像等的图像数据存储到存储部218中。元数据生成部214在拍摄部212每次拍摄图像时、或者构成一个阶层数据的一系列图像被拍摄完后等，生成所拍摄的图像的变倍倍率、镜头的方向、图像彼此的相关联信息等要附加于图像数据的元数据，存储到存储部218中。
显示图像控制部216将镜头捕捉的像实时地图像化而输出到显示器204。此外，生成通常模式和图像生成辅助模式的选择画面、图像生成辅助模式中的各种辅助方法的选择画面、在后面详细叙述的对象图像的选择画面等的图像数据，输出到显示器204。根据辅助方法，还对拍摄到的图像进行解析，检测对象。
阶层数据生成部220读出存储部218中所存储的图像数据和元数据，基于元数据生成阶层数据。生成的阶层数据如上所述可以是将以不同的变倍倍率拍摄的图像作为其它阶层的情况、作为被设定有链接的其它阶层数据的情况、粘贴以相同变倍倍率拍摄的图像后作为一个阶层的情况、或者其组合的任一种。具体例子在后面叙述。
所生成的阶层数据适当压缩后存储到存储部218中。通过将该阶层数据写入记录介质等，并将该记录介质安装到图4的记录介质安装部52中，所拍摄的图像就能够显示了。当然，阶层数据生成部220也可以作为与其它功能相独立的其它装置来实现。此外，图像的拍摄和阶层数据的生成的处理可以时间上连续进行，也可以在其它机会来实施。
图8是用于说明本实施例的图像数据生成辅助方法的基本方案的图。在生成包含被拍摄物202的图像的阶层数据时，拍摄装置200例如取得变倍倍率最小的第1图像230、变倍倍率最大的第3图像234、其中间变倍倍率的第2图像232作为拍摄图像。实际显示时，可以将第1图像230作为初始图像、将第3图像234作为想要以最高分辨率显示的图像、将第2图像作为其转变期的图像。
为实现这样的图像显示，拍摄时取得以第1图像230为基准图像时的其它图像、即第2图像232、第3图像234的相对变倍倍率及相对位置。并且，还进行表示将第1图像230、第2图像232、第3图像234作为一个阶层数据的素材来使用的关联建立。这些信息作为元数据，同进行了关联的图像数据一起存储到存储部218中。当然，图8所示的图像的个数仅是例示，根据第1图像230与第3图像234间的变倍倍率差、能进行无缝显示的变倍倍率的间隔等来决定必要的变倍倍率。
当然，第1图像230、第2图像232、第3图像234的拍摄顺序并不特别限定。如后述那样，可以根据要实施的辅助方法、被拍摄物的性质或者用户的设定而先拍摄第3图像，再拉远（zoom out）拍摄第2图像、第3图像，也可以反过来。也可以在拍摄第1图像230后，再推近（zoom in）拍摄第3图像234，然后再拉远拍摄第2图像232等。
在将第1图像230、第2图像232、第3图像234作为没有链接设定的一个阶层数据的其它阶层的图像来使用时，与各阶层的分辨率相对应地以预定间隔的变倍倍率进行拍摄，或者将拍摄到的图像适当放大缩小来取得预定间隔的分辨率的图像。例如在图3所示的阶层数据的情况下，由各阶层的图像具有上面阶层的图像的纵横2倍倍率的4阶层而构成。因此，在生成这样的阶层数据的情况下，使变倍倍率四阶段地变化来进行拍摄。此时，既可以是用户拍摄作为基准图像的最小倍率的图像或最大倍率的图像的一者，基于此通过拍摄控制部210的控制，按预定的变化量使变倍倍率变化来拍摄各阶层的图像，也可以是用户拍摄最小倍率的图像和最大倍率的图像后，通过拍摄控制部210的控制，以对其之间进行插补的变倍倍率拍摄剩余阶层的图像。
在这样生成一个阶层数据时，也可以以一个变倍倍率拍摄多个照片。如果变倍倍率是基准图像的纵横N倍，则如全景照片那样控制云台而连续拍摄纵横N个、共计N2个图像。然后，通过将所拍摄的图像连接起来，能够作为构成一个阶层的图像。或者也可以如上述那样仅拍摄想以高分辨率显示的区域，生成在基准图像中的与该区域对应的位置配置了拍摄图像的阶层。
此外，也可以将拍摄的图像的某一者作为被设定了链接的其它阶层数据。例如针对第1图像230和第2图像232所构成的第1阶层数据、以及第2图像232和第3图像234所构成的第2阶层数据，在作为共通图像的第2图像232中设定链接。在这样的情况下，能够在各个阶层数据中设定倍率的节距幅度，故可以根据想要显示的图像来决定拍摄的变倍倍率。但适当拍摄插补的图像，使得在上下阶层变倍倍率不过分分离。
像这样生成设定有链接的多个阶层数据的方案是特别设想到将设定有链接的区域放大来显示的情况，故可以不以全部变倍倍率对基准图像中所拍摄的全部区域进行拍摄，选择性地提高变倍倍率拍摄一部分区域即可。这样，能够生成如下这样的图像数据，即，在如上述那样显示拍摄有作为被拍摄物202的人物整体的第1图像230的状态下提高脸部附近的放大率时，放大了脸部的第2图像232被显示，若进一步提高放大率，则放大了瞳孔的第3图像234被显示。
阶层数据生成部220基于元数据中的图像彼此的关联建立的信息及变倍倍率，将拍摄图像分配给阶层数据的各阶层。进而，基于元数据中的各图像相对于基准图像的相对位置、以及通过对各图像进行图像解析而取得的被拍摄物202等对象物或其一部位的特征点的位置，进行阶层彼此的对位。对位越准确，就越能无缝地实现显示时的阶层的切换。
各图像相对于基准图像的相对位置可以基于云台控制的镜头的方向信息和变倍倍率，通过与基于连拍图像合成全景图像的技术同样的几何运算而算出来。或者，也可以基于用陀螺仪传感器取得的镜头的方向和变倍倍率计算出来。在该情况下，即使用户手动地改变镜头的方向，也能应对。或者，也可以取得基于GPS的位置信息，使得能够应对用户手动移动拍摄装置并改变图像的倍率的情况。在任何一种情况下，生成阶层数据时都通过特征点进行最终的对位，故在元数据阶段只要能确定大概的相对位置即可。
接下来说明上述结构的动作。图9是表示对用于生成阶层数据的图像拍摄进行辅助的处理步骤的例子的流程图。该例子表示了从用户所拍摄的初始图像一边阶段性地拉远一边拍摄多个图像的方法。在图8的例子中，是用户拍摄高倍率的第3图像234后，通过拍摄控制部210和拍摄部212拍摄第2图像232及第1图像230的情况。
通过开始先拍摄变倍倍率高的图像，然后再拉远拍摄图像，不调整镜头方向、仅改变变倍倍率，能够拍摄瞳孔等想以高倍率显示的对象物（以后称作“对象”）必然收入在视野中的图像。此外，变倍倍率越小，些许的移动就越不给图像带来大的变化。这在对象为虫子或动物等违反拍摄者意图地运动的物体时特别重要。在这样的对象的情况下，只要能如本实施方式这样一边改变变倍倍率一边连拍而在短期间内完成拍摄，拍摄过程中飞走不知去向这样的可能性就会降低。
首先，用户从拍摄装置200的显示器204上所显示的模式选择画面所表示的模式列表中选择图像生成辅助模式，进而输入选择实施该辅助方法的模式（S10）。然后，用户以所希望的变倍倍率拍摄对象，作为对象图像（S12）。接着，拍摄控制部210如上述那样以该对象图像为起点决定应拍摄的图像的变倍倍率，并指示以所决定的变倍倍率进行拍摄，由此，拍摄部212拍摄图像（S14、S16）。此时的拍摄装置200的镜头的方向可以同S12的拍摄时的方向相同。
反复进行变倍倍率的变更和拍摄的处理，直到成为所决定的变倍倍率中最小的变倍倍率（S18的“否”、S14、S16），拍摄完最小变倍倍率的图像后（S18的“是”），元数据生成部214生成元数据，与所拍摄的图像的数据相对应地存储到存储部218中（S20）。除上述之外，元数据生成部214还可以取得图像的手抖动信息、通过脸部检测技术检测出的脸部的各部位的位置信息等作为元数据。在以相同变倍倍率拍摄多个图像并粘贴而作为一个阶层的情况下，以该变倍倍率拍摄的张数也作为元数据。
图10是表示阶层数据生成部220使用所拍摄的图像的数据和元数据生成阶层数据的处理步骤的流程图。首先，阶层数据生成部220从存储部218读出图像数据和元数据（S22）。关于要读出的图像数据，以通过元数据建立了关联的图像数据为对象。然后，按变倍倍率的顺序分配阶层数据的阶层（S24）。
此时，可以根据用户的指示等分配设定有链接的多个阶层数据的阶层。在该情况下，因从用户处接收在哪个图像的哪个区域设定链接，还生成设定链接的文件。另外，在对一个阶层使用粘贴了多个图像的数据的情况下，基于元数据确定该多个图像，并对其分配一个阶层。
接下来，在具有上下关系的两个阶层的图像间、或基准图像与其它阶层的图像间，基于元数据中的相对位置信息确定大致的对应位置后，通过图像解析进行对位（S26）。例如将某阶层的图像放大到其下面阶层的图像的变倍倍率，比较相同对象物的特征点的位置。然后平行移动下面阶层的图像使得位置相一致，来决定该阶层的最终的图像。反复在所有阶层中进行该处理。通过这样处理，能够在图3所示那样的虚拟空间内准确地得到阶层间的平铺图像的对应关系。
在拍摄构成一个阶层的多个图像的情况下，也根据镜头的方向等信息进行相同变倍倍率的图像的对位，并进行粘贴来生成一个图像。本实施方式所拍摄的图像基本上具有在任一变倍倍率下都拍摄有相同对象这样的性质。利用该性质，着眼于该对象比较其特征点的位置，由此能在阶层间、阶层内精度良好地对位。这样生成的阶层数据存储到存储部218中（S28）。
图11是说明对用于生成阶层数据的图像拍摄进行辅助的处理的其它例子的图。在该方法中，首先拍摄全景图像等变倍倍率小、最广角的图像作为初始图像240。然后，用户从该初始图像240中选择对象，通过将其拉近（zoomup）来自己拍摄对象图像。在图11的例子中，表示了初始图像240中的房子的图像242、树的图像244被作为对象图像而拍摄的情况。用户可以再从那样拍摄的对象图像中进一步选择对象而拉近拍摄。在图11的例子中，表示了树的图像244中的树根处的花的图像246被作为对象图像而拍摄的情况。
用这样的方式拍摄的图像可以认为构成以初始图像240为根节点、图像彼此按包含关系相结合的树结构。在图11的例子中，成为从初始图像240中直接选择而拍摄的房子的图像242、树的图像244连接于初始图像240的根节点，花的图像246连接于树的图像244的树结构。以下将在这样的树结构中相连接的上面节点的图像称为母图像，将其所包含的下面节点的图像称为子图像。
在本方法中，元数据生成部214生成图像数据的树结构作为元数据。通过拍摄并生成这样的树结构，阶层数据生成部220能够对一个阶层数据设定链向多个阶层数据的链接。例如，在显示初始图像240的过程中在房子附近图像被放大了的情况下，切换为使用图像242的数据的显示，由此能够进一步放大。同样，能实现这样的方案：当在树附近图像被放大了的情况下，切换为使用图像244的数据的显示，若进一步树根被放大，则切换为使用图像246的数据的显示，由此来显示在初始图像240中看不清的花的详细构造。
用户拍摄房子的图像242等对象图像后，拍摄装置200针对变倍倍率拍摄对初始图像240和对象图像进行插补的插补图像。拍摄步骤同在图9中说明的一样，从对象图像起拉远，反复进行拍摄直到成为初始图像240的变倍倍率。当初始图像中拍摄有人、动物、交通工具等移动的物体时，可以再次拍摄与初始图像240相同构图的图像，将之作为阶层数据来使用。这是因为用户拍摄对象图像后，拍摄装置200边拉远边自动连拍的所需时间较短，能够减少与最初拍摄的初始图像240相比、一系列图像中的构图内的变化。
图12是表示对图11中说明的图像拍摄进行辅助的处理的步骤的流程图。首先，用户从显示于拍摄装置200的显示器204上的模式选择画面所显示的模式列表中选择图像生成辅助模式，进而进行输入，选择实施该辅助方法的模式（S30）。这样，拍摄控制部210按照模式选择时等用户指定的视场角的信息拍摄全景图像等初始图像（S32）。
例如用户指定全景图像的左上和右下的视场角，拍摄控制部210计算所指定的视场角成为左上、右下这样的全景图像整体的视场角，控制云台，一边移动照相机的方向一边使拍摄部212拍摄构成全景图像的多个图像。连接这样拍摄的图像而生成全景图像。若是以无需连接多个图像的1张图像作为初始图像，则也可以是用户进行S32的处理。
接下来，显示图像控制部216将S32中所拍摄的初始图像作为母图像显示在显示器204上，并将以矩形等表示镜头所捕捉的当前的视场角对应于初始图像的何处的图像显示在显示器204上（S34）。用户一边看着该显示一边改变拍摄装置200的方向及变倍倍率，拍摄所希望的对象图像（S36）。然后，拍摄控制部210同在图9中说明的一样决定应作为插补图像而拍摄的图像的变倍倍率，向拍摄部212指示以所决定的变倍率进行拍摄，由此，拍摄部212拍摄插补图像（S38、S40）。
若用户为拍摄其它对象图像或从对象图像进一步选择出的对象的图像而进行了指示继续拍摄的输入（S42的“是”），则反复进行S34、S36、S38及S40的处理。此时，若在对象图像内进一步拍摄对象图像，则在S34中将显示切换至成为母图像的对象图像。当拍摄完全部对象图像及其中间的插补图像时（S42的“否”），元数据生成部214确定所拍摄到的多个图像的母子关系，生成图像数据的树结构的信息（S44）。
图像的母子关系可以通过如下方式来确定，即，若在S34所显示的母图像中用矩形显示的区域在S36中被拍摄，则将之作为子图像。此时，母图像与子图像的相对位置也自动判明。另外，若在S40中拍摄了插补图像，则在树结构中插入对应的节点。当然，也可以取得各图像被拍摄的时刻，针对预定时间内所拍摄的图像，基于变倍倍率、镜头的方向而生成树结构的信息。然后，元数据生成部214生成包含树结构的信息及相对位置的信息的元数据，使之与所拍摄的图像的数据相对应地存储到存储部218中（S46）。
图13表示了在图12的S34中显示于显示器204上的画面的构成例。对象选择画面250包括显示当前镜头所捕捉的像的电子取景器区域252、和显示初始图像等母图像的母图像显示区域254。母图像显示区域254可以如图示那样与电子取景器区域252的一部分相重叠地配置，也可以配置在独立的区域。
电子取景器区域252由一般的数字照相机等所具备的电子取景器构成。母图像显示区域254显示作为当前想要拍摄的对象图像的母图像的已拍摄的图像。在拍摄初始图像后立刻显示初始图像作为母图像。然后，在母图像显示区域254中，用矩形等表示当前视场角区域框256，该当前视场角区域框256表示当前镜头所捕捉的视场角对应于母图像的哪个区域。当前视场角区域框256所围区域的图像与显示于电子取景器区域252的图像一致。进而，母图像显示区域254中还用矩形等表示已拍摄区域框258，该已拍摄区域框258表示已经作为对象图像而拍摄了的区域。
使当前视场角区域框256和已拍摄区域框258的线形或颜色不同，以使得能区别彼此。在该图中用实线表示前者，用虚线表示后者。当然，也可以在母图像显示区域254中总是显示初始图像，使得从对象图像进一步拍摄对象图像时也能明白在初始图像中处于哪个位置。在该情况下，成为当前视场角区域框256处于已拍摄区域框258内部这样的形态。通过使这样的画面显示在显示器204中，用户能够从初始图像中自由选择对象，并且元数据生成部214能明确地得到母图像与子图像的相对位置。
可以用与图10中所说明的相同的处理步骤来实现使用了这样拍摄的图像的数据和元数据的阶层数据的生成。但如图11所示，允许针对一个母图像存在多个子图像的树结构，故需要基于作为元数据而取得的树结构的信息，对一个阶层的多个区域粘贴图像，或对一个阶层数据设定链向多个阶层数据的链接。此时，即使有多个子图像，通过相对于母图像分别实施对位，也能使显示从图11的作为初始图像240的整体风景至作为对象图像的花的特写无缝地变化。
图11至图13所说明的方法是最先拍摄全景照片等广角的初始图像，然后用户自己选择对象而拍摄对象图像。另一方面，也可以是拍摄装置200拍摄初始图像后，通过图像解析检测可能成为对象的物体，使得用户能够从中进行选择。图14表示了在这样的方案中显示于显示器204的画面的构成例。对象图像选择画面260包含显示初始图像等母图像的母图像显示区域262。
在母图像显示区域262中，显示图像控制部216用对象图像候选框264、266等表示对母图像进行图像解析后检测到人的脸部或物体等可能成为对象的目标物的区域。关于此处实施的图像解析，可以适用脸部检测、前景抽取、频率解析、彩色直方图、特征点抽取、图形匹配等一般的图像解析技术。也可以通过预先让用户指定想作为对象的目标物的属性，来决定图像解析方法。
然后，用户进行从对象图像候选框264、266等进行选择的输入后，拍摄控制部210和拍摄部212为得到所选择的图像而改变云台及变倍倍率地拍摄对象图像。当然，也可以取代图14的对象图像选择画面260，而是仅将对象图像的候选作为缩略图排列显示。
图15是表示对图14所说明的图像拍摄进行辅助的处理的步骤的流程图。首先，用户从显示于拍摄装置200的显示器204上的模式选择画面所显示的模式列表中选择图像生成辅助模式，进而进行输入，选择实施该辅助方法的模式（S50）。然后，拍摄控制部210按照模式选择时等用户指定的视场角的信息，拍摄全景图像等初始图像（S52）。这些处理同图12的S30、S32是一样的。
接下来，显示图像控制部216对所拍摄的初始图像进行图像解析，将拍摄有可能成为对象的目标物的区域用对象图像候选框围起来，将这样处理后的初始图像显示在显示器204上（S54）。用户进行输入，从所显示的对象图像候选框中选择所希望的对象的图像候选框（S56）。然后，拍摄控制部210和拍摄部212为得到与所选择的框对应的视场角而根据需要移动云台及提高变倍倍率，拍摄对象图像（S58、S60）。
当然，也可以是用户自己实施S58、S60的处理。此时，用户操控拍摄装置200使镜头的方向、变倍倍率对准到对象附近。然后，可以是拍摄部212在拍摄控制部210进行微调整后实施拍摄，也可以是在用户改变变倍倍率等的过程中，当镜头所捕捉的视场角成为与所选择的框对应的位置时，用声音或显示等将该意思通知用户，由用户来进行拍摄。
接下来，拍摄控制部210同图9中所说明的一样，决定应作为插补图像而拍摄的图像的变倍倍率，并指示以所决定的变倍倍率进行拍摄，由此，拍摄部212拍摄插补图像（S62、S64）。用户进行了拍摄其它对象图像的指示输入后（S66的“是”），反复进行S54至S64的处理。当对象图像中存在想要进一步提升倍率而拍摄的对象时，可以通过用户进行该意思的指示输入，而将在S54中显示的图像置换为成为母图像的该对象图像。
当拍摄完所有对象图像及其插补图像后（S66的“否”），同图12的S44一样，元数据生成部214确定所拍摄的多个图像的母子关系，生成图像数据的树结构的信息（S68）。然后，使之与相对位置信息等其它元数据一起，与所拍摄的图像的数据相对应地存储到存储部218中（S70）。
在该方法中，是显示成为候选的对象图像，用户从中进行选择的，但也可以预先准备有想要显示的图像的组合候选，用户在S50的拍摄模式设定时进行选择。例如，预先准备人物的整体像→脸部→瞳孔的组合、风景→人→脸部的组合等通用的组合存储到存储部218中。然后，在用户于拍摄模式设定时选择其中一个组合后，将作为被拍摄物的人物或风景配置在拍摄装置200的镜头前。
然后，拍摄控制部210和拍摄部212在图15的S52中按所选择的组合拍摄最广角的图像。然后，取代S54、S56的处理，显示图像控制部216对所拍摄的图像进行解析，抽取出符合所选择的组合的对象，决定对象图像的视场角。以后的处理同图15一样。这样，能使用户的工作降低到最小限度地取得适于用户所想要的显示形态的图像的数据。在选择组合时，为能够感受到能进行什么样的显示，也可以在显示器204上显示样本图像。
通过以上所述的本实施方式，对适于阶层数据的显示技术的图像的拍摄及阶层数据的生成进行辅助，所述阶层数据为能以较广分辨率显示一个图像或向其它图像无缝地切换显示的数据。具体来说，一边改变变倍倍率，一边连续地拍摄包含成为对象的被拍摄物的图像。由此，能取得光的增减或物体的移动等变化较少的一系列图像的数据，即使在显示时因图像被施以放大、缩小而切换了显示所使用的图像的数据，也能不意识到该切换地实现无缝的变化。
另外，通过在拍摄的同时取得各图像的相对位置信息、变倍倍率作为元数据，能使用户负担较少地实施阶层数据的阶层的分配、链接的设定。除这些数据外，通过将用GPS、陀螺仪传感器等得到的拍摄装置的位置、方向也作为元数据，即使用户拿着拍摄装置移动，也能进行图像彼此的大致对位。之后，只要通过特征点抽取而进行准确的对位，就能抑制显示时因图像数据的切换而使得对象物的位置有些许错开这样的不理想状况的发生。另外，即使用同一拍摄装置进行较多的拍摄，通过以母子关系为元数据或拍摄时刻相接近，能容易地抽取要生成一个阶层数据的一系列图像。
以上基于实施方式说明了本发明。上述实施方式仅是例示，本领域技术人员当理解其各构成要素、各处理过程的组合可以有各种各样的变形，并且这样的变形例也包含在本发明的范围内。
例如在本实施方式中所示的图是以作为静止图像的照片为例子的，但拍摄装置所拍摄的图像也可以是动图像，或者动图像与静止图像混合存在。例如可以是广角的图像为照片，将变倍倍率提高到最大时的对象图像为动图像。在该情况下，生成在广角的图像中的被拍摄动图像的区域设定了再现该动图像的链接的数据。这样，能容易地生成实现例如“从风景照片向道路放大显示时，作为风景照片的一部分的电车就动起来”这样的静止图像与动图像混合存在的特效性表现的图像数据。
另外，在本实施方式中是将在短时间内连拍而取得的图像作为一个阶层数据的，相反，也可以是拍摄间隔较长。例如按各季节来拍摄相同风景，在显示时根据显示区域移动要求等而切换显示的季节。在该情况下，拍摄时取得用GPS和陀螺仪传感器所取得的拍摄装置的位置及方向来作为元数据。然后，通过调用前一季节所拍摄的图像的数据和该元数据，以与该图像相同的视场角进行拍摄。然后通过将图像彼此建立关联地存储到存储部中，能够与在本实施方式中说明的一样生成阶层数据。
标号说明
1 图像处理系统、10 图像处理装置、12 显示装置、20 输入装置、30 第0阶层、32 第1阶层、34 第2阶层、36 第3阶层、38 平铺图像、44 显示处理部、50 硬盘驱动器、60 主存储器、70 缓冲存储器、100 控制部、200 拍摄装置、204 显示器、206 指示输入部、208 输入信息取得部、210 拍摄控制部、212 拍摄部、214 元数据生成部、216 显示图像控制部、218 存储部、220 阶层数据生成部。
工业可利用性
如上所述，本发明能适用于摄影机、图像处理装置等信息处理装置。

Claims (15)

1.一种对显示装置所使用的图像数据的生成进行辅助的图像数据生成辅助装置，所述显示装置是在放大、缩小显示图像时，按预定的缩尺率将用于显示的图像的数据在以不同变倍倍率拍摄的多个图像的数据间进行切换的显示装置，本图像数据生成辅助装置的特征在于，包括：
拍摄部，按用于显示的多个变倍倍率对拍摄对象进行拍摄；
元数据生成部，使上述拍摄部所拍摄的多个图像建立关联，并基于各图像被拍摄时的变倍倍率、以及镜头的方向或上述图像数据生成辅助装置的方向或上述图像数据生成辅助装置的位置，确定各图像相对于变倍倍率最小的基准图像的相对位置信息，并且将各图像的变倍倍率和该相对位置信息作为用于决定显示时的切换顺序及切换时机的元数据，附加于相关联的图像的数据并存储在存储装置中；
阶层数据生成部，生成阶层数据作为上述图像数据，所述阶层数据是进行了以下处理的数据，即，基于所述元数据中的所述变倍倍率将所述多个图像按变倍倍率顺序阶层化后，基于所述相对位置信息进行阶层之间的对位。
2.如权利要求1所述的图像数据生成辅助装置，其特征在于，
还包括拍摄控制部，控制上述拍摄部所具有的镜头的方向；
上述元数据生成部基于上述拍摄部拍摄的各图像的拍摄时的变倍倍率及镜头的方向，取得各图像相对于变倍倍率最小的基准图像的相对位置信息作为所述相对位置信息。
3.如权利要求1所述的图像数据生成辅助装置，其特征在于，
还包括确定上述图像数据生成辅助装置的方向的陀螺仪传感器；
上述元数据生成部基于上述拍摄部拍摄的各图像的拍摄时的变倍倍率及由上述陀螺仪传感器测出的上述图像数据生成辅助装置的方向，取得各图像相对于变倍倍率最小的基准图像的相对位置信息作为所述相对位置信息。
4.如权利要求1所述的图像数据生成辅助装置，其特征在于，
还包括确定上述图像数据生成辅助装置的位置的GPS即全球定位系统的电波接收部；
上述元数据生成部基于上述拍摄部拍摄的各图像的拍摄时的变倍倍率及由上述电波接收部测出的上述图像数据生成辅助装置的位置，取得各图像相对于变倍倍率最小的基准图像的相对位置信息作为所述相对位置信息。
5.如权利要求1至4的任一项所述的图像数据生成辅助装置，其特征在于，
所述阶层数据生成部对各图像进行解析，抽取出被拍摄于图像中的同一物的特征点，进行进一步的对位以使得在放缩各阶层的图像而统一了尺寸时该特征点的位置相一致。
6.如权利要求1至4的任一项所述的图像数据生成辅助装置，其特征在于，
还包括输入信息取得部，上述输入信息取得部从用户处接收指定变倍倍率最小的图像的视场角的输入；
上述拍摄部按上述输入信息取得部接收的视场角来拍摄初始图像；
上述输入信息取得部还接收用户在上述初始图像中选为对象的区域作为拍摄对象。
7.如权利要求6所述的图像数据生成辅助装置，其特征在于，
还包括显示器，为使用户从上述初始图像中选择对象，显示使镜头所捕捉的视场角的框表示在上述初始图像上的图像。
8.如权利要求1至4的任一项所述的图像数据生成辅助装置，其特征在于，
还包括输入信息取得部，上述输入信息取得部从用户处接收指定变倍倍率最小的图像的视场角的输入；
上述拍摄部按上述输入信息取得部接收的视场角来拍摄初始图像；
上述输入信息取得部还接收用户从上述初始图像被解析后所抽取出的对象被拍摄的候选区域中选择的区域，作为拍摄对象。
9.如权利要求8所述的图像数据生成辅助装置，其特征在于，
还包括显示器，为使用户进行选择区域的输入，显示使表示对象被拍摄的候选区域的轮廓的框表示于上述初始图像上的图像。
10.如权利要求8所述的图像数据生成辅助装置，其特征在于，
还包括显示器，为使用户进行选择区域的输入，显示使对象被拍摄的候选区域缩略显示了的图像。
11.如权利要求6所述的图像数据生成辅助装置，其特征在于，
上述拍摄部拍摄对上述初始图像与其中的用户所选地区域的拍摄时的各变倍倍率之间的变倍倍率进行插补的插补图像。
12.如权利要求6所述的图像数据生成辅助装置，其特征在于，
上述输入信息取得部接受在上述初始图像中多个区域的选择；
上述元数据生成部取得使上述拍摄部拍摄的多个图像建立关联的、以上述初始图像为根节点的图像数据的树结构的信息作为元数据。
13.如权利要求1至4的任一项所述的图像数据生成辅助装置，其特征在于，
上述拍摄部拍摄拍摄对象的动图像作为上述多个图像中的任一者。
14.如权利要求1至4的任一项所述的图像数据生成辅助装置，其特征在于，
还包括输入信息取得部，上述输入信息取得部接收从预先准备的对象的组合中选择的输入，
所述拍摄部基于配置在镜头前的拍摄对象，决定拍摄所选择的组合中的对象所需要的变倍倍率并进行拍摄。
15.一种对显示装置所使用的图像数据的生成进行辅助的图像数据生成辅助方法，所述显示装置是在放大、缩小显示图像时，按预定的缩尺率将用于显示的图像的数据在以不同变倍倍率拍摄的多个图像的数据间进行切换的显示装置，本图像数据生成辅助方法的特征在于，包括以下步骤：
摄像部利用拍摄装置按用于显示的多个变倍倍率对拍摄对象进行拍摄；
元数据生成部使所拍摄的多个图像建立关联，并基于各图像被拍摄时的变倍倍率、以及镜头的方向或上述图像数据生成辅助装置的方向或上述图像数据生成辅助装置的位置，确定各图像相对于变倍倍率最小的基准图像的相对位置信息，并且将各图像的变倍倍率和该相对位置信息作为用于决定显示时的切换顺序及切换时机的元数据，附加于相关联的图像的数据；以及
阶层数据生成部生成阶层数据作为上述图像数据而存储到存储装置中，所述阶层数据是进行了以下处理的数据，即，基于从所述存储装置读取的元数据中的所述变倍倍率将所述多个图像按变倍倍率顺序阶层化后，基于所述相对位置信息进行阶层之间的对位。
CN201080053122.7A 2009-11-24 2010-07-27 图像数据生成辅助装置和图像数据生成辅助方法 Active CN102668585B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-266666 2009-11-24
JP2009266666A JP5340895B2 (ja) 2009-11-24 2009-11-24 画像データ作成支援装置および画像データ作成支援方法
PCT/JP2010/004774 WO2011064918A1 (ja) 2009-11-24 2010-07-27 画像データ作成支援装置および画像データ作成支援方法

Publications (2)

Publication Number Publication Date
CN102668585A CN102668585A (zh) 2012-09-12
CN102668585B true CN102668585B (zh) 2015-09-30

Family

ID=44066033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080053122.7A Active CN102668585B (zh) 2009-11-24 2010-07-27 图像数据生成辅助装置和图像数据生成辅助方法

Country Status (5)

Country Link
US (1) US8670046B2 (zh)
EP (1) EP2506219B1 (zh)
JP (1) JP5340895B2 (zh)
CN (1) CN102668585B (zh)
WO (1) WO2011064918A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630307B1 (ko) * 2010-05-12 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
KR20120019603A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 터치 기반 입력 인터페이스를 가지는 터치 디바이스의 컨택트 리스트 제공 방법 및 장치
JP5005080B2 (ja) * 2010-09-06 2012-08-22 キヤノン株式会社 パノラマ画像の生成方法
US8692907B2 (en) * 2010-09-13 2014-04-08 Sony Corporation Image capturing apparatus and image capturing method
JP5652097B2 (ja) 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US20120188248A1 (en) * 2011-01-26 2012-07-26 The Boeing Company Image Management and Presentation
KR101303017B1 (ko) * 2011-05-11 2013-09-03 엘지전자 주식회사 이미지의 리사이징 방법, 이미지의 전송방법 및 전자기기
JP2013013065A (ja) * 2011-06-01 2013-01-17 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
DE112011105928B4 (de) 2011-12-08 2018-04-26 Canon Kabushiki Kaisha Bildaufnahmevorrichtung, Verfahren zur Steuerung derselben und Programm
JP5984439B2 (ja) 2012-03-12 2016-09-06 キヤノン株式会社 画像表示装置、画像表示方法
JP6186775B2 (ja) * 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
JP6192276B2 (ja) 2012-09-14 2017-09-06 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP6102588B2 (ja) * 2013-07-10 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN104284077B (zh) * 2013-07-12 2019-06-25 联想(北京)有限公司 一种图像处理方法和装置
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
CN104301676B (zh) * 2014-10-14 2018-12-07 浙江宇视科技有限公司 一种监控目标搜索方法和装置以及球型摄像机
KR102380979B1 (ko) * 2015-01-05 2022-04-01 삼성전자 주식회사 이미지의 메타데이터 관리 방법 및 장치
JP6594666B2 (ja) * 2015-06-01 2019-10-23 オリンパス株式会社 撮像補助装置、撮像装置および撮像補助方法
CN105007413B (zh) * 2015-06-30 2018-01-19 广东欧珀移动通信有限公司 一种拍摄控制方法及用户终端
US10397484B2 (en) * 2015-08-14 2019-08-27 Qualcomm Incorporated Camera zoom based on sensor data
US10366144B2 (en) 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
CN113542601B (zh) 2016-06-20 2024-01-23 麦克赛尔株式会社 摄像装置、显示装置和摄像显示系统
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
KR102344104B1 (ko) 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
JP7051396B2 (ja) * 2017-11-30 2022-04-11 キヤノン株式会社 通信装置、通信方法、およびプログラム
JP7419723B2 (ja) * 2019-09-25 2024-01-23 株式会社リコー 画像処理システム、画像処理装置および方法
WO2021153261A1 (ja) * 2020-01-30 2021-08-05 ソニーグループ株式会社 制御装置、撮影システム、および３ｄモデルデータ生成方法
CN111294517B (zh) * 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端
JP6871458B2 (ja) * 2020-05-12 2021-05-12 マクセル株式会社 撮像表示方法
WO2024025086A1 (ko) * 2022-07-29 2024-02-01 삼성전자 주식회사 상호작용에 기반하여 이미지를 표시하기 위한 전자 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062671A (ja) * 2002-07-30 2004-02-26 Dream Technologies Kk 対象物が立体的に表されているかのように画像を表示するためのシステム及び方法
US6822676B1 (en) * 1998-01-19 2004-11-23 Canon Kabushiki Kaisha Camera control system with electronic zoom processing
JP2005275797A (ja) * 2004-03-24 2005-10-06 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
CN1945580A (zh) * 2005-10-06 2007-04-11 索尼株式会社 图像处理装置
CN1977527A (zh) * 2005-01-31 2007-06-06 卡西欧计算机株式会社 图像获取装置和图像拍摄方法
CN101194500A (zh) * 2005-05-11 2008-06-04 富士胶片株式会社 图像拍摄装置、图像拍摄方法、图像处理装置、图像处理方法和程序
CN101340517A (zh) * 2007-07-05 2009-01-07 佳能株式会社 用于照相机单元的控制装置和方法
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05181949A (ja) * 1991-12-26 1993-07-23 Toshiba Corp 画像位置合わせ装置
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
US6681056B1 (en) * 1999-03-30 2004-01-20 International Business Machines Corporation Method and system for digital image acquisition and continuous zoom display from multiple resolutional views using a heterogeneous image pyramid representation
US7551223B2 (en) * 2002-12-26 2009-06-23 Sony Corporation Apparatus, method, and computer program for imaging and automatic focusing
JP2005123667A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp 複数の画像データからの静止画像データの生成
CN101431611A (zh) * 2004-11-30 2009-05-13 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序以及图像文件格式
US7609958B2 (en) * 2006-08-01 2009-10-27 Eastman Kodak Company Automatic focus system calibration for image capture systems
JP2009077363A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822676B1 (en) * 1998-01-19 2004-11-23 Canon Kabushiki Kaisha Camera control system with electronic zoom processing
JP2004062671A (ja) * 2002-07-30 2004-02-26 Dream Technologies Kk 対象物が立体的に表されているかのように画像を表示するためのシステム及び方法
JP2005275797A (ja) * 2004-03-24 2005-10-06 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
CN1977527A (zh) * 2005-01-31 2007-06-06 卡西欧计算机株式会社 图像获取装置和图像拍摄方法
CN101194500A (zh) * 2005-05-11 2008-06-04 富士胶片株式会社 图像拍摄装置、图像拍摄方法、图像处理装置、图像处理方法和程序
CN1945580A (zh) * 2005-10-06 2007-04-11 索尼株式会社 图像处理装置
CN101340517A (zh) * 2007-07-05 2009-01-07 佳能株式会社 用于照相机单元的控制装置和方法
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法

Also Published As

Publication number Publication date
JP5340895B2 (ja) 2013-11-13
WO2011064918A1 (ja) 2011-06-03
JP2011114401A (ja) 2011-06-09
US20120281119A1 (en) 2012-11-08
EP2506219A4 (en) 2014-07-23
CN102668585A (zh) 2012-09-12
US8670046B2 (en) 2014-03-11
EP2506219A1 (en) 2012-10-03
EP2506219B1 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
CN102668585B (zh) 图像数据生成辅助装置和图像数据生成辅助方法
US10891771B2 (en) Information processing apparatus for creating an animation from a spherical image
JP6673381B2 (ja) 画像処理装置
US10674075B2 (en) Image processing device, image processing method, and program
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
JP5214826B2 (ja) 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
JP2012242821A (ja) 表示画像生成方法
CN103141079A (zh) 图像生成装置及图像生成方法
JP5393237B2 (ja) 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体
JP5596844B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP4735166B2 (ja) 画像表示装置及びプログラム
JP2009230635A (ja) 画像データ生成装置、画像データ生成方法、および画像データ生成用プログラム
CN112053278A (zh) 图像处理方法、装置及电子设备
KR100579135B1 (ko) 수렴형 3차원 다시점 영상 획득 방법
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP5058842B2 (ja) 仮想風景表示装置
CN117812455A (zh) 一种视频处理方法、装置及电子设备
JP2009200792A (ja) 電子カメラ
JP2008040662A (ja) Ｃｇ合成装置およびｃｇ合成プログラム
JP2001268499A (ja) デジタルアルバム装置
JP2015122686A (ja) 情報処理装置、撮影装置、制御方法、及びプログラム
JP2011164229A (ja) 自動合焦装置及びその制御方法、並びに撮像装置
JP2015033023A (ja) 動画処理装置、動画処理方法及びプログラム
JP2011141585A (ja) 表示制御装置、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant