CN103119543A - 图像处理装置、内容制作装置、图像处理方法及内容文件的数据结构 - Google Patents

图像处理装置、内容制作装置、图像处理方法及内容文件的数据结构 Download PDF

Info

Publication number
CN103119543A
CN103119543A CN2011800441812A CN201180044181A CN103119543A CN 103119543 A CN103119543 A CN 103119543A CN 2011800441812 A CN2011800441812 A CN 2011800441812A CN 201180044181 A CN201180044181 A CN 201180044181A CN 103119543 A CN103119543 A CN 103119543A
Authority
CN
China
Prior art keywords
image
link
mentioned
area
viewing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800441812A
Other languages
English (en)
Other versions
CN103119543B (zh
Inventor
河合有时
篠原隆之
森贞英彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103119543A publication Critical patent/CN103119543A/zh
Application granted granted Critical
Publication of CN103119543B publication Critical patent/CN103119543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

用户指示开始图像显示时(S30)，显示初始图像(S32)。若用户操作输入装置，输入了视点移动请求(S34的“是”)，则依次监视针对有效图像所设定的链接区域内是否包含了显示区域，若包含，则判断该链接为有效(S36的“是”)，并显示与该链接区域建立有对应的链接目标图像(S44)。还监视显示区域是否已从针对链接源图像所设定的链接区域溢出，只要一部分溢出，就将该链接判断为无效(S38的“是”)，使显示返回到链接源图像(S40)。两者都为非时，在有效图像内一边根据视点移动而使显示区域移动，一边继续进行显示(S36的“否”、S38的“否”、S42)。若被指示结束，则结束显示(S46的“是”)。

Description

图像处理装置、内容制作装置、图像处理方法及内容文件的数据结构
技术领域
本发明涉及接受相对于显示图像的视点移动的图像处理技术。
背景技术
已提出有不仅执行游戏程序，还能够再现动图像的家庭用娱乐系统。在该家庭用娱乐系统中，GPU生成使用了多面体的三维图像(例如参照专利文献1)。
伴随于网络的普及，已逐渐不仅能够容易地取得游戏等的三维图像，还能够容易地取得主页的图像、书籍、杂志、报纸、广告等各种内容(contents)的文字信息、图像信息。此外，无论个人计算机和移动终端等装置的大小如何，都能够高画质地进行阅览，图像处理技术已在平常的生活中逐渐成为不可或缺的技术。
〔在先技术文献〕
〔专利文献〕
〔专利文献1〕美国专利第6563999号公报
发明内容
〔发明所要解决的课题〕
随着图像处理技术在我们身边的出现，已产生如下倾向，即，作为内容而显示的图像、进而其所显示的信息的结构正变得复杂化，数据尺寸正变得巨大化。在这样的状况下，考虑到会成为用户难以访问到所需的信息的内容，或者内容的制作和改编需要花费时间。因此，希望实现无论内容如何，都能够高效地访问到所需的信息的内容。
本发明是鉴于这样的课题而研发的，其目的在于提供一种制作并显示能够高效地访问所需的信息的内容的技术。
〔用于解决课题的手段〕
本发明的一个方案涉及图像处理装置。该图像处理装置是根据用户的操作移动显示区域来显示图像的图像处理装置，包括：内容存储部，将显示对象的多个图像的数据与链接设定文件建立对应地存储，该链接设定文件记载有为实现在显示一个图像的过程中、当显示区域与特定的链接区域的包含关系满足预定条件时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的链接区域的信息及链接目标图像的识别信息；链接处理部，根据显示区域在正显示的图像内的移动，来判断其与针对该图像所设定的链接区域的包含关系是否满足预定条件；以及显示图像处理部，当链接处理部判断为已满足预定条件时，基于链接目标图像的识别信息对该图像数据进行描绘处理，由此将显示图像切换为链接目标图像；其中，链接处理部还继续监视针对切换到向正显示的图像切换的之前的图像所设定的链接区域与正显示的图像内的显示区域的包含关系，判断该包含关系是否变得不再满足预定条件；显示图像处理部还在链接处理部判断为已变得不满足预定条件时，使显示图像返回到切换前的图像。
本发明的另一方案涉及内容制作装置。该内容制作装置的特征在于，包括：图像数据生成部，生成多个图像数据；链接调整部，在根据用户的操作而使显示区域移动地显示图像的图像处理装置中，调整并设定为实现在正显示一个图像的过程中、当显示区域被包含于特定的链接区域时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的上述链接区域，使得在通过链接来表现的图像的虚拟排列中处于前后关系的第1、第2图像中，针对第1图像所设定的以第2图像为链接目标的链接区域与针对该第2图像所设定的以第1图像为链接目标的链接区域重叠的区域成为不包含显示区域的大小；以及内容文件输出部，输出将记载有链接区域的信息及链接目标图像的识别信息的链接设定文件与图像数据建立了对应的内容文件。
本发明的另一个方案涉及图像处理方法。该图像处理方法是根据用户的操作使显示区域移动地显示图像的图像处理方法，其特征在于，包括：从存储装置读出将显示对象的多个图像的数据与链接设定文件建立了对应的内容文件的步骤，该链接设定文件记载有为实现在显示一个图像的过程中、显示区域与特定的链接区域的包含关系满足预定条件时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的链接区域的信息及链接目标图像的识别信息；通过显示区域在正显示的图像中的移动，与针对该图像所设定的链接区域的包含关系满足预定条件时，基于链接目标图像的识别信息对该图像数据进行描绘处理，由此使显示图像切换为链接目标图像的步骤；以及继续监视针对切换为正显示的图像前的图像所设定的链接区域与正显示的图像内的显示区域的包含关系，在该包含关系变得不满足预定条件时，使显示图像返回到切换前的图像的步骤。
本发明的另一方案涉及内容文件的数据结构。被在根据用户的操作使显示区域移动来显示图像的图像处理装置中处理的该内容文件的数据结构的特征在于，将多个显示对象的图像的数据与链接设定文件建立了对应，该链接设定文件记载有：作为为实现将一个图像在显示中、显示区域包含于确定的链接区域时从显示中的图像切换到其它图像的切换显示的链接功能而针对图像分别设定的链接区域，被在通过链接来表示的图像的虚拟排列中相继的第1、第2图像中，针对第1图像被设定的、将第2图像定为链接目标的链接区域与针对该第2图像被设定的将第1图像定为链接目标的链接区域重叠的区域成为不包含显示区域的大小地设定了的链接区域；以及链接目标图像的识别信息。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、记录有计算机程序的记录介质等间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
通过本发明，能够在伴有信息显示的内容中使对所需信息的访问高效化。
附图说明
图1是表示能够适用于本实施方式的图像处理系统的使用环境的图。
图2是表示能够适用于图1的图像处理系统的输入装置的外观构成的图。
图3是表示本实施方式中的图像处理装置的构成的图。
图4是表示能够在本实施方式中使用的图像数据的阶层构造的概念图。
图5是表示本实施方式中的针对构成内容的图像的链接的设定例的图。
图6是详细地表示本实施方式中的具有显示内容的图像的功能的控制部的构成的图。
图7是表示本实施方式中的针对信息中没有阶层的图像的链接区域的设定例的图。
图8是详细地表示本实施方式中的链接处理部的构成的图。
图9是用于说明本实施方式中的链接设定的规则的图。
图10是使在本实施方式中设定的链接区域的重叠宽度的规则与视点移动的方向无关地一般化的图。
图11是表示在本实施方式中显示被设定有链接的图像的处理步骤的流程图。
图12是详细地表示在本实施方式中，具有制作显示被设定有链接的图像的内容的功能的图像处理装置的控制部的构成的图。
〔标号说明〕
1图像处理系统、10图像处理装置、12显示装置、20输入装置、38平铺图像、44显示处理部、50硬盘驱动器、60主存储器、100控制部、101图像数据、102输入信息取得部、108载入部、110帧坐标决定部、112解码部、114显示图像处理部、116链接处理部、118链接设定文件、120链接设定读入部、122链接判断部、124链接设定存储部、126显示履历存储部、128Undo处理部、210输入信息取得部、212显示图像处理部、214图像数据生成部、216链接调整部、218内容文件输出部。
具体实施方式
在本实施方式中，将显示书籍、报纸、杂志、游戏图像、菜单显示图像、主页的图像、地图、写真、绘画、广告等视觉信息的内容作为处理对象。其显示目的和在后文中实现的功能不被限定。图1表示能够适用于本实施方式图像处理系统的使用环境。图像处理系统1包括执行用于图像处理的软件的图像处理装置10和输出图像处理装置10的处理结果的显示装置12。显示装置12可以是具有输出图像的显示器和输出声音的扬声器的电视。
显示装置12可以通过有线缆线被连接到图像处理装置10，也可以通过无线LAN(Local Area Network：局域网)等无线连接。在图像处理系统1中，图像处理装置10可以介由缆线14连接于因特网等外部网络，下载取得内容文件。此外，图像处理装置10还可以通过无线通信连接于外部网络。
图像处理装置10例如可以是游戏装置或个人计算机，可以通过载入图像处理用的应用程序来实现图像处理功能。图像处理装置10根据来自用户的视点移动请求而进行显示于显示装置12的显示器的图像的放大/缩小处理、向上下左右方向的滚动处理等。以下，将包含这样的放大/缩小的显示区域的变更处理表达为“显示区域的移动”。用户一边看显示器所显示的图像一边操作输入装置时，输入装置将所输入的信息发送给图像处理装置10。
图2表示输入装置20的外观构成例。输入装置20具备十字键21、模拟摇杆27a、27b和4种操作按钮26来作为用户可操作的操作手段。4种操作按钮26由○按钮22、×按钮23、□按钮24和△按钮25构成。
在图像处理系统1中，输入装置20的操作手段被分派显示图像的放大/缩小请求和用于输入向上下左右方向的滚动请求的功能。例如，显示图像的放大/缩小请求的输入功能被分派给右侧的模拟摇杆27b。用户通过将模拟摇杆27b向身前拉，能够输入缩小显示图像的请求，此外，通过向前推，能够输入放大显示图像的请求。
此外，输入滚动请求的功能被分派给十字键21。用户通过按下十字键21，能够输入向按下十字键21的方向的滚动请求。此外、输入显示区域移动请求的功能也可以分派给其它操作手段，例如可以向模拟摇杆27a分派输入滚动请求的功能。此外，还适当分派用于图像显示的开始/结束指示和移动所显示的图像上的光标、或撤销(Undo)操作的键。此外，输入装置20可以是鼠标、键盘、触摸板等一般的输入装置或它们的组合。
输入装置20具有将所输入的显示区域移动请求的信号传输给图像处理装置10的功能，在本实施方式中，被构成为能与图像处理装置10无线通信。输入装置20和图像处理装置10可以用Bluetooth(蓝牙)(注册商标)协议、IEEE802.11协议等来建立无线连接。此外，输入装置20可以介由缆线与图像处理装置10连接，将输入信号传输给图像处理装置10。
图3表示图像处理装置10的构成。图像处理装置10具有无线接口40、开关42、显示处理部44、硬盘驱动器50、记录介质安装部52、盘驱动器54、主存储器60、缓冲存储器70和控制部100。显示处理部44具有用于对要显示在显示装置12的显示器上的数据进行缓存的帧存储器。
开关42是以太网开关(以太网是注册商标)，是通过有线或无线与外部设备连接并收发数据的器件。开关42介由缆线14与外部网络连接，能够从内容服务器接收内容文件等。此外，开关42与无线接口40连接，无线接口40以预定的无线通信协议与输入装置20连接。在输入装置20中，用户所输入的信号经由无线接口40、开关42提供给控制部100。
硬盘驱动器50作为存储数据的存储装置来发挥作用。内容文件可以保存于硬盘驱动器50。记录介质安装部52被安装存储卡等可插拔的记录介质后，从可插拔的记录介质读出数据。盘驱动器54在被安装只读的ROM盘后，驱动并识别ROM盘，读出数据。ROM盘可以是光盘或光磁盘等。内容文件可以保存于这些记录介质中。
控制部100は具备多核(Multiple core)CPU，一个CPU中具有一个通用处理器核和多个单处理器核。通用处理器核被称作PPU(Power ProcessingUnit)，其它处理器核被称作SPU(Synergistic-Processing Unit)。控制部100还可以具备GPU(Graphics Processing Unit)。
控制部100具备连接于主存储器60和缓冲存储器70的存储器控制器。PPU具有寄存器，并具备主处理器作为运算执行主体，将作为要执行的应用程序中的基本处理单位的任务高效地分派给各SPU。此外，PPU自身也可以执行任务。SPU具有寄存器，具备作为运算执行主体的副处理器和作为本地存储区域的本地存储器。本地存储器可以作为缓冲存储器70来使用。
主存储器60和缓冲存储器70是存储装置，作为RAM(随机存取存储器)来构成。SPU具有专用的DMA(Direct Memory Access：直接存储器存取)控制器作为控制单元，能够高速地进行主存储器60和缓冲存储器70之间的数据传输，此外，能够在显示处理部44中的帧存储器和缓冲存储器70之间实现高速的数据传输。本实施方式的控制部100通过使多个SPU并行地动作，来实现高速的图像处理功能。显示处理部44连接于显示装置12，输出与来自用户的请求相应的图像处理结果。
本实施方式的图像处理装置10为顺畅地进行作为内容而显示的图像的显示区域的移动处理，预先将图像数据的一部分从硬盘驱动器50载入到主存储器60。此外，将已载入到主存储器60的图像数据的再一部分解码并保存于缓冲存储器70中。由此，能够在之后的必要时机瞬时切换用于显示图像的描绘的图像。
在本实施方式中，不特别限定作为显示对象的图像的数据结构，但由于在此是使得能够更高效地显示高精细图像的，故说明使用具有阶层构造的阶层图像数据的例子。阶层图像数据是由多阶段地缩小原图像而生成的分辨率不同的图像构成的图像数据。各阶层的图像被分割为一个或多个平铺图像。例如分辨率最低的图像由一个平铺图像构成，分辨率最高的原图像由数量最多的平铺图像构成。
在图像显示时，通过将用于描绘的平铺图像在显示图像变为预定的分辨率时切换为不同的阶层的平铺图像，来迅速地进行放大显示或缩小显示。以下，将具有这样的阶层构造的图像数据称作“阶层数据”。图4表示阶层数据的结构的概念图。阶层数据具有沿深度(Z轴)方向由第0阶层30、第1阶层32、第2阶层34和第3阶层36构成的阶层构造。此外，在该图中仅表示了4阶层，但阶层数不限于此。
图4所示的阶层数据具有四叉树阶层构造，各阶层由一个以上的平铺图像38构成。所有平铺图像38被形成为具有相同像素数的相同大小，例如具有256×256像素。各阶层的图像数据将一个图像以不同的分辨率来表现，将具有最高分辨率的第3阶层36的原图像多阶段地缩小而生成第2阶层34、第1阶层32、第0阶层30的图像数据。例如第N阶层的分辨率(N是0以上的整数)可以在左右(X轴)方向和上下(Y轴)方向上都是第(N+1)阶层的分辨率的1/2。
在图像处理装置10中，阶层数据以被按预定的压缩格式压缩了的状态保存于硬盘驱动器50等存储装置，在显示于显示装置12前被从存储装置读出并解码。本实施方式的图像处理装置10具有支持多种压缩格式的解码功能，例如可解码S3TC格式、JPEG格式、JPEG2000格式的压缩数据。
阶层数据的阶层构造如图4所示的那样，将左右方向设定为X轴、将上下方向设定为Y轴、将深度方向设定为Z轴而构建虚拟的三维空间。图像处理装置10从输入装置20所提供的视点移动请求信号中导出显示区域的变更量后，使用该变更量导出虚拟空间中的显示区域的4角坐标(帧坐标)。
虚拟空间中的帧坐标用于后述的链接判断、向主存储器的压缩数据的载入、显示图像的描绘处理等。此外，也可以导出用于确定阶层的信息和该阶层中的纹理坐标(UV坐标)来代替虚拟空间中的帧坐标。以下，将阶层确定信息和纹理坐标的组合也称作帧坐标。此外，如上述那样，在本实施方式中作为显示对象的图像的数据也可以不是阶层构造，还可以仅构成内容的多个图像数据的一部分是阶层数据。以下，包括阶层数据在内都作为“图像数据”来说明。
本实施方式的图像处理装置10具有如下功能：以在正显示的图像中所被设定的某区域内包含有根据用户的视点移动请求而移动的显示区域为契机，将显示切换到预先与该区域建立有对应的其它图像的功能。以后，将这样的图像间的切换称作“链接”，将成为链接产生的契机的设定区域称作“链接区域”。
图5表示针对构成内容的图像的链接的设定例。该图所示的内容154表示了具有封面、目录页及正文页的电子书籍的例子，由分别与它们对应的封面图像156、目录图像160、正文图像164构成。将正文图像164按书籍的各页分别记为个别的图像166a、166b、166c、…、166n。在目录图像160也涉及多页的情况下，可以将其对应于各页地作为多个图像。
以后，将这样构成的各个图像称作“页图像”，但作为一个图像的单位也可以不是页，而是各个章、报道、项目等与内容(contents)的内容相应的预定单位。如上述那样，各图像可以是阶层数据，可以是单一分辨率的图像，也可以根据显示所要求的分辨率的范围的不同而每个页都不同。
首先，如包围封面图像156所显示的“操作指南”这样的标题那样设定链接区域158，将其链接目标定为目录图像160。此时，在显示封面图像156的过程中，当视点移动、靠近标题附近，显示区域被包含于链接区域158时，将显示对象从封面图像156切换到链接目标的目录图像160。
同样地，如包围目录图像160所显示的“1.AAA”、“2.BBB”、…这样的目录的各项目那样设定链接区域162a、162b、…，将其链接目标定为正文图像164所包含的相对应的页图像。然后，当显示区域包含于项目“1.AAA”的链接区域162a时，将显示对象切换到与该项目对应的页图像166a。同样地，当显示区域包含于项目“1.BBB”的链接区域162b时，将显示对象切换到与该项目对应的页图像166c。
对各页图像166a、166b、166c、…、166n设定针对前后页的链接。此时，将链接区域设定为包含页图像的外侧的预定区域。例如如该图所示的那样，在页图像166b的左侧设定对前一个页图像166a的链接区域168a，在右侧设定对后一个页图像166c的链接区域168b。如图所示的那样，链接区域的一部分可以被包含于设定对象页图像166b的内部，也可以不包含于设定对象页图像166b的内部。
通过对所有页图像166a、166b、166c、…、166n在这样的位置设定链接区域，使得显示区域向右移动时，后一页成为显示对象，向左移动时，前一页成为显示对象。其结果，能够使用户认识为仿佛图像按照页的次序从左向右排列着。该图的例子的顺序是对从左向右读的书籍等，通过自然的视点移动而切换页的顺序，但在语言或演示上从右向左读为自然顺序的情况下，将链接目标的页的顺序定为与其相反的顺序。此外，也可以在图像的上下设定链接区域。此外，通过在左右上下设定链接区域，还能够演示图像的二维排列。链接区域的详细的设定规则会在之后叙述。
通过采用这样的构成，仅通过视点的移动就能无缝地实现封面、目录、各项目的正文这样的显示图像的切换。其结果，用户能够以直观且容易的操作直接访问想读的项目。此外，通过将正文图像按各页等预定的单位分割来作为不同的图像数据，与罗列了所有页的一个图像数据的情况相比，图像数据的管理更容易，不论页数多少都能够同样地进行图像显示所需的处理。
此外，在混合存在刊登有照片、图画的页和仅由文章构成的页的书籍等所要求的分辨率因页而不同时，通过预先分割正文图像的数据，能够按分割单位改变分辨率或采用阶层数据。由此，能够针对不需要高分辨率图像的页使数据尺寸成为最小限度，同时对想使分辨率有幅度的页准备足够的数据等，不增大数据尺寸地实现有张弛的内容显示。还能够按图像单位进行变更一部分内容、或者替换或追加、删除页这样的编辑、改编作业。其结果，能够以所需的最低限度完成使书籍的矢量数据光栅化(rasterise)来作为图像数据等负荷重的处理，减轻作业负担。
图6详细地表示了在本实施方式中，具有显示上述那样的内容的图像的功能的控制部100a的构成。控制部100a包括：输入信息取得部102，从输入装置20取得用户所输入的信息；帧坐标决定部110，决定应新显示的区域的帧坐标；链接处理部116，根据链接设定判断是否需要切换显示对象的图像；以及载入部108，从硬盘驱动器50载入所需的压缩图像数据。控制部100a还包括解码压缩图像数据的解码部112，和描绘图像帧的显示图像处理部114。
在图6及之后所参照的图8、图12中，作为进行各种处理的功能块而叙述的各要素，从硬件上来讲，能够由CPU(Central Processing Unit：中央处理器)、存储器、其它LSI来构成，从软件上来讲，由被载入到存储器的程序等实现。如已述的那样，控制部100具有一个PPU和多个SPU，PPU及SPU能够分别单独或共同构成各功能块。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或由它们的组合以各种形式实现，并不限定于某一种。
首先，将内容文件保存于硬盘驱动器50，该内容文件具有使图5所示的封面图像、目录图像、页图像那样的构成内容的多个图像数据101与记载有针对各图像数据101设定的链接的信息的链接设定文件118建立了对应的结构。在链接设定文件118中，针对各图像设定的链接区域的帧坐标与该链接的链接目标图像的识别信息被建立对应地记载。还可以将链接目标图像的一部分区域设定为链接目标区域。图像数据101和与其建立有对应的链接设定文件118在必要的时机被载入主存储器60。
输入信息取得部102取得用户向输入装置20输入的、内容的图像显示的开始/结束、视点移动等请求内容，通知给帧坐标决定部110。帧坐标决定部110根据当前的显示区域的帧坐标和基于用户所输入的视点移动请求的移动量，决定下一时刻的显示区域的帧坐标，并通知给链接处理部116。在此，所谓“下一时刻”，是基于帧率的显示更新周期后的时刻等。
链接处理部116读出已载入到主存储器60的、与显示对象的图像数据对应的链接设定文件118，判断下一时刻的显示区域是否包含于链接区域。若包含于其中，则将该链接定为有效，从链接设定文件118取得与该链接区域建立对应地设定的链接目标的图像数据的识别信息。将所取得的信息通知给载入部108、解码部112、显示图像处理部114。
此外，链接处理部116在当前的显示对象的图像是被通过链接而切换过的图像的情况下，判断显示区域是否越出了成为其契机的链接区域。若已越出，则将表示使显示对象回到链接源的图像的通知通知给载入部108、解码部112、显示图像处理部114。此外，若不属于上述条件的任意一者，则仅将下一时刻的显示区域的帧坐标通知给载入部108、解码部112、显示图像处理部114。
载入部108基于从链接处理部116通知来的信息，确认有无应从硬盘驱动器50载入到主存储切换器60的压缩图像数据，根据需要来载入。所谓应新载入的压缩图像数据，是切换显示对象的图像时的链接目标的图像数据101等。
当链接目标图像是阶层数据时，载入显示分辨率最低的、能够一次显示图像整体的第0阶层的图像数据等作为初始图像而预先规定为初始图像所需的阶层的平铺图像。当载入新的图像数据101时，也载入与其建立了对应的链接设定文件118。
此外，在阶层数据的平铺图像等、按预定的块单位载入图像数据时，无论是否需要切换图像，都根据显示区域的移动载入其周围的块的图像数据。或者，按照这之前的显示区域的移动路径预先载入被预测为以后所需的块的图像数据。载入部108可以在用户输入了视点移动请求时之外，按预定的时间间隔载入所需的图像数据。
解码部112基于来自链接处理部116的通知来确认缓冲存储器70所保存的已解码的图像数据中是否包含有下一时刻的显示区域所需的图像数据。若未包含，则从主存储器60读出并解码所需的压缩图像数据，将其保存于缓冲存储器70。通过将包含当前的显示区域的广范围的图像的数据解码并保存到缓冲存储器70中，能够实现更平滑的显示区域移动。此外，通过使得还能保持在显示图像切换前所显示的链接目标图像的数据，能够有效地实现后述的显示图像的返回处理。
显示图像处理部114基于来自链接处理部116的通知，根据需要从缓冲存储器70读出下一时刻的显示区域所需的图像数据，逐次描绘到显示处理部44的帧存储器中。通过预先使该帧存储器也能够保留显示图像切换前所显示的链接源的图像，也能够有效地实现后述的显示图像的返回处理。
当如图5所例示的内容154的封面图像156、目录图像160、正文图像164那样，所表示的信息是具有阶层构造的图像时，若预先将封面所记载的题名、目录的各项目等表示成为阶层构造的节点的信息的区域设定为链接区域，则能够仅通过视点移动就容易地到达所希望的下层节点的信息。另一方面，在本实施方式中，如图5的正文图像164那样，通过链接来连接信息中没有阶层的图像，即使是个别的图像，也能如读实际的书籍那样地表示出页的连续性。
此时，通过使得能一边保持页的连续性，一边使页能自由地来回，能够更加给与用户与正在读实际的书籍同样的感觉。图7表示了实现这样的方案时的链接区域的设定例。在该图中，针对被打了阴影的页图像168，在其左右设定了链接区域170a、170b。
左侧的链接区域170a设定对正文图像164等的页串中的、页图像168的前一页的链接，右侧的链接区域170b设定对后一页的链接。当正显示显示对象的页图像168的显示区域172a向左移动，左侧的链接区域170a包含有其整体时，将其链接判断为有效，切换显示对象。作为结果，此时的显示区域172b中显示作为链接目标的前一个页图像的至少一部分。
相反地，当显示区域172a向右移动，右侧的链接区域170b包含有其整体时，将其链接判断为有效，切换显示对象。其结果，此时的显示区域172c中显示作为链接目标的后一个页图像的至少一部分。此外，该图的显示区域172a～172c的大小根据与用户的视点操作相应的视点与图像平面的距离而变化。
如这样，在本实施方式中，使得能将显示对象的页图像的外侧也包含于显示区域，根据这样的移动来执行向前后页的切换。使显示对象的页图像的周围成为预先准备的背景图像等。可以在因显示区域的移动而切换了显示对象时，使作为之前的显示对象的页图像成为非显示，而是显示背景图像，也可以继续显示该页图像。以后，将显示对象的图像称作“有效图像”。
若对所有页图像设定了图7所示那样的双方向的链接区域，则每当有效图像切换时，都一定会进行同样的链接处理。此时，例如在多次来回确认前后的页图像的状况下，也和显示初次成为有效图像的页图像时同样地发生取得链接目标图像的识别信息、或确认是否进行了数据的载入、解码等处理。但是，使之前成为有效图像的页图像成为在切换后也能够立刻显示的状态是容易的。
因此，在本实施方式中，不使向视点移动的前后的页图像的显示切换这样的表面上的动作发生变化地、区别向新的页图像的链接处理和向原来的页图像的返回处理，由此来使有效图像切换处理的效率提高。为此，同时判断针对当前的有效图像所设定的链接有效性和针对此前为有效图像的图像所设定的链接的无效性。
图8详细地表示了此时的链接处理部116的构成。链接处理部116包括：链接设定读入部120，读入与有效图像的数据建立了对应的链接设定文件；链接设定存储部124，存储已读入的链接设定文件；链接判断部122，基于显示区域的帧坐标判断链接的有效/无效；显示履历存储部126，存储链接处理所引起的有效图像的切换履历；以及Undo处理部128，使链接引起的有效图像的切换还原。
链接设定读入部120在图像显示开始时或通过链接而发生有效图像的切换的时机(timing)，从主存储器60读入与该有效图像的图像数据101建立有对应的链接设定文件118，保存于链接设定存储部124。链接设定存储部124至少存储针对当前的有效图像所设定的链接的信息和针对之前一个有效图像所设定的链接的信息。
链接判断部122从链接设定存储部124读出针对当前的有效图像所设定的链接区域，每当显示区域移动时，都确认与链接区域的包含关系，判断是否使链接成为有效。显示区域的帧坐标从帧坐标决定部110取得。当显示区域被包含于链接区域，将链接判断为有效时，从链接设定存储部124读出与该链接区域建立有对应的图像数据的识别信息，通知给载入部108、解码部112、显示图像处理部114。
此时，当链接设定文件中还设定有链接目标的图像数据中的应初始显示的区域时，也通知该信息。基于该通知，载入部108、解码部112及显示图像处理部114分别根据需要执行图像数据的载入、解码、描绘处理，由此，链接目标的图像成为有效图像。
链接判断部122还从链接设定存储部124读出针对作为当前的有效图像的链接源的之前一个有效图像所设定的链接区域。然后，确认与显示区域的包含关系，判断是否将切换到当前的有效图像的链接成为无效。即，认为当前的有效图像之所以是有效图像，是因为来自之前的有效图像的链接处于有效状态。
然后，通过在有效图像切换后也继续监视该链接的有效性，来判断是否将该链接定为无效。当链接被判断为无效时，使显示对象返回到作为链接源的之前一个有效图像。此时，若使得将之前一个有效图像的数据总是保留在缓冲存储器70、帧存储器等中，则链接判断部122只要仅向显示图像处理部114通知此即可。通过显示图像处理部114将该图像描绘于帧存储器、或通知给显示处理部44使输出图像切换等最低限度的处理，就能够使有效图像还原。
这样，在本实施方式中，同时判断当前的有效图像中所设定的链接的有效性和之前一个有效图像中所设定的链接的无效性。通过此功能，能够针对显示区域的移动，使处理分为向之前一个有效图像的返回处理、有效图像的继续显示、从有效图像向下一个图像的链接处理这样3个模式。
当判断向下一个图像的链接为有效时，链接判断部122使该图像的识别信息累积存储在显示履历存储部126中。即，显示履历存储部126将通过链接处理而切换的有效图像的变化过程作为履历来存储。Undo处理部128在由用户进行了Undo操作时，从输入信息取得部102取得表示该意思的信息。该输入功能例如预先分派给图2所示的输入装置20的×按钮23等。每当×按钮23被按下时，Undo处理部128都从显示履历存储部126读出最后被记录的识别信息，将其通知给载入部108、解码部112、显示图像处理部114。
删除从显示履历存储部126读出的识别信息。基于该通知，载入部108、解码部112及显示图像处理部114分别根据需要执行具有所通知的识别信息的图像数据的载入、解码、描绘处理，由此，该图像成为有效图像。这样的Undo处理在本实施方式中是为以比上述的向之前一个有效图像的返回处理更大的单位来使显示返回而进行的。
如上述那样，通过链接的无效性判断而使有效图像返回的处理与链接处理不同，故不被记录到已记录有通过链接处理而切换的有效图像的变化过程的显示履历中。这是考虑到在例如多次来回阅读某页和下一页来确认内容时，若将这样的来回全部通过链接处理进行切换，并记录履历，则显示履历存储部126的存储区域将仅被该信息占领。此时，在这样的来回之前所显示的图像的信息会丢失。其结果，有可能即使用户想回到来回确认之前的显示图像而进行了Undo操作，也因仅来回同一页而不能返回到本来所需的图像。
在本实施方式中，即使用户的操作是一样的，在装置内部也区别链接处理和使有效图像返回的处理，只有链接处理所涉及的有效图像的履历被记录于显示履历存储部126。因此，来回同一页的处理不被作为显示履历而记录，既解决了通过Undo操作而无用地再现页的来回的情况，又能够防止所需的过去显示图像的信息丢失的情况。
如上述那样，在本实施方式中，将针对有效图像所设定的链接区域和针对其之前一个有效图像所设定的链接区域同时作为判断对象。通过采用这样的构成，即使如图5的正文图像164那样将信息中没有阶层构造的图像分割为多个图像数据，也能够实现给与用户如翻书的页那样的感觉的内容的显示。为实现此方案，除之前所述的装置上的构成外，还需要妥当的链接区域的设定。
图9是用于说明链接设定的规则的图。在该图中，上方与下方表示了相同的多个页图像180a、180b、180c、180d的虚拟排列，用斜线打了阴影的页图像是有效图像。有效图像以外的页图像实际上可以非显示，也可以将链接源的页图像、即之前一个有效图像继续显示。由于按这样的虚拟排列切换有效图像，故与图7一样，在各页图像的左右设定向前后页的链接区域。
例如如图中上方所示的那样，将设定有向前一个页图像180a的链接的链接区域182a设定在页图像180b的左侧，将设定有向下一个页图像180c的链接的链接区域182b设定在页图像180b的右侧。当该页图像180是有效图像时，则这些链接区域182a、182b成为判断链接的有效性的对象，根据与显示区域184a的包含关系，判断是否需要切换有效图像。
在图9的上方，是根据用户的视点移动请求，显示区域184a接近作为有效图像的页图像180b的右端近旁的状态。在此，显示区域184a再向右侧移动，被包含于向下一页的链接区域182b时，链接判断部122将该链接判断为有效。此时的状态被表示于图9的下方。即，在显示区域184b被包含于针对页图像180b所设定的链接区域182b的时点，下一个页图像180c成为有效图像。
有效图像被切换到页图像180c的同时，针对该页图像180c所设定的向前一个页图像180b的链接区域186a、向下一个页图像180d的链接区域186b成为判断链接有效性的对象。因此，显示区域184b被包含于链接区域186a时，前一个页图像180b成为有效图像，显示区域184b被包含于链接区域186b时，下一个页图像180d成为有效图像。
另一方面，如上述那样，在本实施方式中，将作为当前有效图像的链接源的图像，即针对图9中的页图像180b所设定的链接区域182b也保留在链接设定存储部124中，同时判定向作为当前的有效图像的页图像180c的链接的无效性。即，在切换后也继续监视在有效图像从页图像180b切换到180c时被置为有效的链接的有效性。并且，在有效性无法维持的时候，使向作为当前的有效图像的页图像180c的链接成为无效，使有效图像返回为链接源的页图像180b。
例如图9的下方的显示区域184b向左移动，变得不被包含于对之前为有效图像的页图像180b所设定的链接区域182b时，即只要显示区域184b的一部分已越出到链接区域182b的外侧时，将从之前为有效的页图像180b向页图像180c的链接判断为无效。然后，将有效图像切换为页图像180b。
像这样，在通过被判断为有效的链接而切换了有效图像后，也继续监视该链接的有效性，由此，在使有效图像返回为原来的图像时，不需要进行链接处理。由于链接源页图像是之前一个有效图像，故能够像上述那样省略链接处理的至少一部分。
像这样，虽然装置内部的处理不同，但有效图像基于视点的移动而切换这样的外部表现上的动作在使有效图像返回为原来的图像时和使其前进时都没有变化，故用户能够以同样的操作使页图像来回。像这样，使看起来的动作与链接同样，且在内部能够省略链接处理，故而使得能够常时地同时判断针对当前的有效图像所设定的链接的有效性和针对之前一个有效图像所设定的链接的无效性。
此时，即使是在将有效图像返回为原来的图像时，若针对当前的有效图像所设定的链接的有效性先于针对之前一个有效图像所设定的链接的无效性被判断，则通常的链接处理会开始。因此，精心思考对各页图像设定的链接区域的重叠状态。即，设定链接区域，使得在显示区域被包含于针对当前有效图像所设定的链接区域之前，该显示区域的至少一部分越出到针对之前一个有效图像所设定的链接区域的外侧。
在此，所谓链接区域的重叠，是指假设同时显示切换前后的图像时的、针对各图像所设定的链接区域的重叠，由相对于通过链接而切换有效图像的时点的显示区域的、切换前的图像与切换后的图像的相对位置而定。
在图9的下方的例子中，显示区域184b只要稍微向左移动，其左侧的一部分区域就越出针对之前一个有效图像所设定的链接区域182b的外侧，但若不进一步移动，则不会被包含于针对当前的有效图像所设定的链接区域186a。由此，链接区域182b的链接的无效性先于链接区域186a的链接的有效性被判断，能够不执行链接处理地使有效图像返回到作为链接源的页图像180b。
为实现这样的方案，只要使从之前一个有效图像向当前的有效图像的链接区域182b与从当前的有效图像向之前一个有效图像的链接区域186a所重叠的区域成为不包含显示区域的大小即可。在如该例那样将图像的虚拟排列作为横向的一维时，只要进行设定，使得重叠区域的横向的宽度x总是小于显示区域184b的宽度w即可。例如若对图像显示的放大率设置上限，则此时的显示区域的宽度是最小值wmin，故决定x使得x＜wmin。
另一方面，在使显示区域184b向右侧移动，使下一个页图像180d成为有效图像时，需要在将向当前的有效图像的链接判定为无效之前，将向下一个页图像的链接判定为有效。在图9的下方的例子中，显示区域184b向右移动，在其一部分越出到针对之前一个有效图像所设定的链接区域182b的外侧之前，就被包含于针对当前的有效图像所设定的向下一个页图像180d的链接区域186b。由此，链接区域186a的有效性先于链接区域182b的无效性被判断，能够将有效图像切换到下一个页图像180d。
为实现这样的方案，只要将链接区域182b与链接区域186b重叠的区域设为包含显示区域的大小即可，其中，链接区域182b是从之前一个有效图像向当前的有效图像链接的区域，链接区域186b是针对当前的有效图像所设定的2个链接区域中的、向并非之前一个有效图像的页图像链接的区域。在此例中，只要进行设定使得重叠区域的横向的宽度y在显示区域184b的宽度w以上即可。例如若对图像显示的放大率设置下限，则此时的显示区域的宽度成为最大值wmax，故决定x使得x≥wmax。
上述的例子是在使视点相对页图像串向右方移动、依次切换有效图像的过程中，向左方向返回的情况和向右方向进一步前进的情况，但在反方向时也是一样的。图10是将为使链接处理和返回处理能够实现而设定的链接区域的重叠宽度的规则与视点移动的方向无关地一般化了的图。
图中，各部分以矩形表示了n为自然数时，针对n页、(n+1)页、(n+2)页、(n+3)页的各页图像所设定的链接区域。该图与图9一样，表示了显示区域的移动是仅有左右方向的一维的情况，为容易理解，没有考虑链接区域的高度。表示链接区域的各矩形内的显示表示对该链接所设定的链接源的页数和链接目标页数。例如在对n页的页图像所设定的链接区域190a、190b中，左边的链接区域190a是从n页向(n-1)页的链接，右边的链接区域190b是从n页向(n+1)页的链接。其它链接区域也是同样。
此时，假设(n+1)页是有效图像，显示区域192处于针对该页图像所设定的2个链接区域194a、194b的中间的位置。此时，主要显示(n+1)页的内容。作为这样的状况发生的原因，除来自目录图像等上面阶层的链接外，考虑有来自n页的链接、或来自(n+2)页的链接。
若因来自n页的链接，(n+1)页成为了有效图像，则针对n页所设定的链接区域190a、190b成为要判定链接的无效的对象，针对(n+1)页所设定的链接区域194a、194b成为要判定链接的有效的对象。在此，进一步使显示对象页向(n+2)页前进时，使显示区域192向右移动。于是，从(n+1)页向(n+2)页链接的链接区域194b与从n页向(n+1)页链接的链接区域190b的重叠宽度y1在显示区域w以上，故从(n+1)页向(n+2)页的链接先被判断为有效，通过链接处理，(n+2)页成为有效图像。
相反地，在使显示对象页向n页返回时，使显示区域192向左移动。于是，从(n+1)页向n页链接的链接区域194a与从n页向(n+1)页链接的链接区域190b的重叠宽度x小于显示区域w，故从n页向(n+1)页的链接先被判断为无效，通过返回处理，n页成为有效图像。
另一方面，在因来自(n+2)页的链接，(n+1)页成为了有效图像时，针对(n+2)页所设定的链接区域196a、196b成为判定链接的无效的对象，针对(n+1)页所设定的链接区域194a、194b成为判断链接的有效的对象。
在此，若使显示对象页继续向n页前进，则使显示区域192向左移动。于是，从(n+1)页向n页链接的链接区域194a与从(n+2)页向(n+1)页链接的链接区域196a的重叠宽度y2在显示区域w以上，故从(n+1)页向n页的链接先被判断为有效，通过链接处理，n页成为有效图像。
相反地，在使显示对象页向(n+2)页返回时，使显示区域192向右移动。于是，从(n+2)页向(n+1)页链接的链接区域196a与从(n+1)页向(n+2)页链接的链接区域194b的重叠宽度x小于显示区域w，故从(n+2)页向(n+1)页的链接先被判断为无效，通过返回处理，(n+2)页成为有效图像。
像这样，通过按照如下规则设定各页图像的链接区域，不论是要显示链接目标图像时、还是返回为链接源图像时，都能与方向无关地以同样的处理来进行判断，与用链接处理切换所有图像的情况相比，能够减轻处理的负荷，所述规则是，使对某页图像所设定的向下一个页图像链接的链接区域与对该下一个页图像所设定的向前一个页图像链接的链接区域的重叠宽度小于显示区域的宽度，并使对某页图像所设定的向下一个页图像链接的链接区域与对该下一个页图像所设定的向再下一个页图像链接的链接区域的重叠宽度在显示区域的宽度以上。
接下来，说明通过上述构成所进行的图像处理装置10的动作。图11是表示图像处理装置10显示被设定有链接的图像的处理步骤的流程图。在图11的流程图中，将各部的处理步骤用代表步骤的S(Step的首字母)与数字的组合来表示。此外，当在以S和数字的组合表示的处理中执行某判断处理，其判断结果为肯定时，附加“是”(Yes)，例如表示为“S10的‘是’”，相反的，其判断结果为否定时，附加N(No的首字母(“否”))，表示为“S10的‘否’”。
图11的流程图在用户介由输入装置20进行了开始图像显示的指示输入时开始。首先，用户指定内容(contents)的文件名等，指示图像显示开始(S30)。据此，通过载入部108、解码部112、显示图像处理部114等的协作，经过初始图像的数据的载入、解码、描绘处理后，显示初始图像(S32)。
图像处理装置10就此待机，直到用户操作输入装置20输入视点移动请求(S34的“否”)。然后，当被输入了视点移动请求时(S34的“是”)，链接处理部116依次监视针对有效图像所设定的链接区域内是否包含有显示区域(S36)。此时点的有效图像为初始图像。当显示区域被包含于链接区域时，判断该链接为有效(S36的“是”)，通过从链接设定文件取得与该链接区域建立了对应的链接目标图像的识别信息，经过载入、解码、描绘处理后显示链接目标图像(S44)。此时的图像将成为下一个有效图像。
显示区域未被包含于链接区域时(S36的“否”)，一边在作为有效图像的初始图像内根据视点移动而使显示区域移动，一边继续显示初始图像(S38的“否”、S42)。然后，在用户未输入结束图像显示的指示的期间，接受视点移动请求(S46的“否”、S34)。在S44中，当链接目标图像已被显示时，在S36中以该链接目标图像为有效图像，对针对其所设定的链接进行判断。
此外，由于在该时点会产生“链接源图像”，故以后对显示区域是否从针对链接源图像所设定的链接区域溢出进行监视(S38)。只要显示区域的一部分已溢出到该链接区域外，就判断该链接为无效(S38的“是”)，使显示返回到链接源图像(S40)。以后，将显示对象图像作为有效图像进行S36和S38的判断，使显示处理向S40、S42、S44的某一者分路，直到由用户进行了结束图像显示的指示。若被进行了结束指示，则结束图像的显示(S46的“是”)。
接下来，说明生成用于实现之前所述的图像显示方法的内容的图像处理装置。此时的图像处理装置也能在与图1所示的图像处理系统1同样的环境下使用，其结构与图3所示的图像处理装置10同样。以后，说明仅具有这样的功能的图像处理装置10的控制部100，但它可以同时具备图7所示的控制部100a的功能。
图12详细地表示了具有如下功能的图像处理装置10中的控制部的构成：制作显示被设定了链接的图像的内容的功能。控制部100b包括：输入信息取得部102，从输入装置20取得用户所输入的信息；显示图像处理部212，生成为让用户指定内容制作所需的信息而显示的图像；图像数据生成部214，基于处理对象的原来的电子文件生成多个图像数据；链接调整部216，调整用户所设定的链接区域；以及内容文件输出部218，将图像数据与链接设定文件建立对应，作为内容文件输出。
输入信息取得部210取得书籍的电子文件等成为处理对象的内容文件的文件名的指定、内容制作开始的指示等用户介由输入装置20输入的信息。输入信息取得部210还取得用户一边看着由显示图像处理部212、显示处理部44显示于显示装置12上的输入图像，一边输入的链接的设定等内容制作所需的信息。
显示图像处理部212进行用于将原来的内容文件的图像、在处理过程中所生成的图像等显示到显示装置12上的处理。对于书籍的电子文件等的矢量数据及将其变换而生成的光栅数据的图像的显示，能够采用一般技术。显示图像处理部212还使各图像上重叠显示矩形等，使得用户能够指定图像范围。还可以使得显示菜单画面、选择画面、数值输入画面等。通过将这样的图像描绘到显示处理部44的帧存储器中，来将其显示到显示装置12上。
图像数据生成部214从硬盘驱动器50读出所指定的书籍等的内容文件。然后，若原来的图像是矢量数据，则将其变换为光栅数据。此时，按照用户的范围指定，使显示图像、目录图像、正文图像所包含的各页图像等成为个别的图像数据。或者，可以从用户接受按页等的分割规则，针对按此分割的结果生成图像数据。还可以将所生成的图像数据多阶段地缩小，来生成阶层数据。
链接调整部216以用户在图像数据生成部214所生成的各图像中指定的范围为链接区域，针对成为对象的图像的各数据，生成将与其对应地指定的链接目标图像的识别信息与该链接区域的信息建立了对应的链接设定文件。此时，如图5的正文图像164那样，当将信息中没有阶层的多个图像作为虚拟排列来显示时，按照参照图10说明的那样的规则，调整链接区域的重叠宽度。也可以使得由用户指定正文图像的范围，由链接调整部216本身产生并调整链接区域。
内容文件输出部218将使链接调整部216所生成的链接设定文件与图像数据生成部214所生成的各图像数据建立了对应的数据汇总，作为内容文件保存于硬盘驱动器50。通过这样的构成，能够根据用户的希望容易地制作伴有上述那样的图像切换的内容文件。
通过以上所述的本实施方式，将书籍的电子文件等想要显示的内容分为多个图像来显示。此时，通过链接功能来表现原来的内容中的信息的阶层构造和表示顺序的图像彼此的连接。通过按内容、按页等分割内容，不论内容的分量如何都能以相同的尺寸单位处理图像数据的载入和解码等。由此，在显示静止图像那样的图像处理装置等中，也能够容易地显示数据尺寸大的内容。
此外，通过使内容成为个别的图像，无需为替换或改编内容的一部分而重新制作所有数据，能够减少编辑处理所花费的功夫。还能够根据页而使分辨率变化等，根据内容来调整图像的特性。例如若仅使某页为阶层数据，则能够使分辨率的可变范围局部地变化。
此外，对于信息中没有阶层构造、被规定了序列的页图像那样的图像，通过在图像的外侧设定链接区域，能够演示出在该方向上存在下一个图像。在这样的图像中，使页前进或返回地来回于图像之间的情况是很有可能的。此时，调整并设定各图像的链接区域，使得对在虚拟的图像串中相邻的图像所设定的链接区域的重叠符合预定的规则。
然后，通过继续监视向成为当前显示对象的图像的链接的有效性，取得在现阶段有效的该链接变为无效的时机。通过这样的构成，即使用户不改变操作方法，也能够区别处理通常的链接和向之前的显示对象的返回处理。向之前的显示对象的返回处理与链接处理相比负荷较小，例如若将之前一个图像的数据预先保留在缓冲存储器等中，则能够立刻显示，故能够加快切换速度。对于这样的处理的区别，仅以链接区域的设定及判断时机的延长就能容易地实现。
此外，通过仅将基于链接处理的图像切换作为显示履历来记录，来回翻阅同一页那样的基于返回处理的图像切换的履历将被从记录对象中排除掉，故在执行基于显示履历的Undo处理时，能够反向追溯有作为履历的意义的图像切换路径。此外，因存储履历的存储区域的容量而丢失必要的履历的可能性降低。
以上基于实施方式对本发明进行了说明。本领域技术人员当理解上述实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。
例如，在本实施方式中，主要叙述了在横向的一维空间中虚拟地排列图像的情况，但通过在各图像的上下也设置链接区域，能够在二维空间中进行排列。此时，通过将本实施方式中所述的针对相邻的图像设定的链接的重叠宽度的规则适用于2个方向，能够在内部区别链接处理、返回处理，提高显示处理的效率。
此外，在本实施方式中，通过判断针对作为前一个有效图像的图像所设定的链接的无效性来进行显示图像的返回处理，但还可以预先存储针对作为两个以上更靠前的有效图像的图像所设定的链接。此时，在向前一个图像的返回处理后，还能进行进一步向更靠前的图像返回的处理等。
〔工业可利用性〕
如以上那样，本发明能够适用于计算机、图像处理装置、图像显示装置、内容制作装置等信息处理装置。

Claims (14)

1.一种根据用户的操作使显示区域移动地显示图像的图像处理装置，其特征在于，包括：
内容存储部，将显示对象的多个图像的数据与链接设定文件建立对应地存储，该链接设定文件记载有为实现在显示一个图像的过程中、当显示区域与特定的链接区域的包含关系满足预定条件时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的、上述链接区域的信息及链接目标图像的识别信息，
链接处理部，根据显示区域在正显示的图像内的移动，来判断其与针对该图像所设定的链接区域的包含关系是否满足上述预定条件，以及
显示图像处理部，当上述链接处理部判断为已满足上述预定条件时，基于链接目标图像的识别信息对该图像数据进行描绘处理，由此将显示图像切换为链接目标图像；
其中，
上述链接处理部还继续监视针对切换到向正显示的图像切换的之前的图像所设定的链接区域与上述正显示的图像内的显示区域的包含关系，判断该包含关系是否变得不再满足上述预定条件；
上述显示图像处理部还在上述链接处理部判断为已变得不满足上述预定条件时，使显示图像返回到上述切换前的图像。
2.如权利要求1所述的图像处理装置，其特征在于，
在上述链接设定文件中，被设定2个链接区域，其分别包含构成各图像的边缘的矩形的四边中的相对的2个边的外侧的区域，并以不同的图像为链接目标；
在根据显示区域向正显示的图像的上述2个边的任一者的移动而被判断为已满足上述预定条件时，上述显示图像处理部使显示图像向链接目标图像切换，由此来表现通过链接而连接的上述多个图像的虚拟排列。
3.如权利要求2所述的图像处理装置，其特征在于，
将显示区域被包含于上述链接区域的状态作为上述预定条件；
各图像的链接区域被设定，使得在上述虚拟排列中处于前后关系的第1、第2图像中，针对第1图像所设定的以第2图像为链接目标的链接区域与针对该第2图像所设定的以上述第1图像为链接目标的链接区域重叠的区域成为不包含显示区域的大小；
上述链接处理部在判定以上述之前的图像即上述第1图像为链接目标的链接区域与显示区域的包含关系满足上述预定条件之前，先判定以正显示的图像即上述第2图像为链接目标的链接区域与显示区域的包含关系已变得不再满足上述预定条件。
4.如权利要求2或3的任一项所述的图像处理装置，其特征在于，
将显示区域被包含于上述链接区域的状态作为上述预定条件；
各图像的链接区域被设定，使得在上述虚拟排列中连续的第1、第2、第3图像中，以针对第1图像所设定的以第2图像作为链接目标的链接区域与针对该第2图像所设定的以第3图像为链接目标的链接区域重叠的区域成为包含显示区域的大小；
上述链接处理部在判定以正显示的图像即上述第2图像为链接目标的链接区域与显示区域的包含关系已变得不再满足上述预定条件之前，先判定针对正显示的图像即上述第2图像所设定的以上述第3图像为链接目标的链接区域与显示区域的包含关系满足上述预定条件。
5.如权利要求1至4的任一项所述的图像处理装置，其特征在于，
上述链接处理部在判定针对正显示的图像所设定的链接区域与显示区域的包含关系满足上述预定条件时，将对应的链接目标图像的识别信息作为显示履历来记录；
上述显示图像处理部在每次用户进行要求撤销的操作时，都按与记录顺序相反的顺序取得上述显示履历中所记录的链接目标图像的识别信息，将显示图像切换为具有该识别信息的图像。
6.如权利要求2所述的图像处理装置，其特征在于，
在根据上述显示区域的移动而被判断为上述包含关系已满足预定条件时，上述显示图像处理部显示链接目标图像，并继续显示显示区域所包含的链接源图像的一部分，由此表现上述虚拟排列。
7.如权利要求1至6的任一项所述的图像处理装置，其特征在于，
上述内容存储部存储的多个图像的数据包含以单一分辨率表现一个图像的数据、和将具有以多种分辨率表现一个图像的数据阶层化而成的阶层构造的数据。
8.一种内容制作装置，其特征在于，包括：
图像数据生成部，生成多个图像数据，
链接调整部，在根据用户的操作而使显示区域移动地显示图像的图像处理装置中，调整并设定为实现在正显示一个图像的过程中、当显示区域被包含于特定的链接区域时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的上述链接区域，使得在通过链接来表现的图像的虚拟排列中处于前后关系的第1、第2图像中，针对第1图像所设定的以第2图像为链接目标的链接区域与针对该第2图像所设定的以上述第1图像为链接目标的链接区域重叠的区域成为不包含显示区域的大小，以及
内容文件输出部，输出将记载有上述链接区域的信息及链接目标图像的识别信息的链接设定文件与上述图像数据建立了对应的内容文件。
9.如权利要求8所述的内容制作装置，其特征在于，
上述链接调整部调整并设定上述链接区域，使得在上述虚拟排列中连续的第1、第2、第3图像中，针对第1图像所设定的以第2图像为链接目标的链接区域与针对该第2图像所设定的以第3图像为链接目标的链接区域重叠的区域成为包含显示区域的大小。
10.一种根据用户的操作使显示区域移动地显示图像的图像处理方法，其特征在于，包括：
从存储装置读出将显示对象的多个图像的数据与链接设定文件建立了对应的内容文件的步骤，该链接设定文件记载有为实现在显示一个图像的过程中、显示区域与特定的链接区域的包含关系满足预定条件时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的上述链接区域的信息及链接目标图像的识别信息，
通过显示区域在正显示的图像中的移动，与针对该图像所设定的链接区域的包含关系满足上述预定条件时，基于链接目标图像的识别信息对该图像数据进行描绘处理，由此使显示图像切换为链接目标图像的步骤，以及
继续监视针对切换为正显示的图像前的图像所设定的链接区域与上述正显示的图像内的显示区域的包含关系，在该包含关系变得不满足上述预定条件时，使显示图像返回到上述切换前的图像的步骤。
11.一种使计算机实现根据用户的操作而使显示区域移动地显示图像的功能的计算机程序，其特征在于，使计算机实现如下功能：
从存储装置读出将显示对象的多个图像的数据与链接设定文件建立了对应的内容文件的功能，该链接设定文件记载有为实现在显示一个图像的过程中、当显示区域与特定的链接区域的包含关系满足预定条件时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的上述链接区域的信息及链接目标图像的识别信息，
通过显示区域在正显示的图像中的移动，当与针对该图像所设定的链接区域的包含关系满足上述预定条件时，基于链接目标图像的识别信息对该图像数据进行描绘处理，由此使显示图像切换为链接目标图像的功能，以及
继续监视针对切换为正显示的图像前的图像所设定的链接区域与上述正显示的图像内的显示区域的包含关系，当该包含关系变得不满足上述预定条件时，使显示图像返回为上述切换前的图像的功能。
12.一种记录有使计算机实现根据用户的操作而使显示区域移动地显示图像的功能的计算机程序的记录介质，其特征在于，该计算机程序使计算机实现如下功能：
从存储装置读出将显示对象的多个图像的数据与链接设定文件建立了对应的内容文件的功能，该链接设定文件记载有为实现在显示一个图像的过程中、当显示区域与特定的链接区域的包含关系满足预定条件时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的上述链接区域的信息及链接目标图像的识别信息，
通过显示区域在正显示的图像中的移动，当与针对该图像所设定的链接区域的包含关系满足上述预定条件时，基于链接目标图像的识别信息对该图像数据进行描绘处理，由此使显示图像切换为链接目标图像的功能，以及
继续监视针对切换为正显示的图像前的图像所设定的链接区域与上述正显示的图像内的显示区域的包含关系，当该包含关系变得不满足上述预定条件时，使显示图像返回为上述切换前的图像的功能。
13.一种在根据用户的操作而使显示区域移动地显示图像的图像处理装置中进行处理的内容文件的数据结构，其特征在于，
将显示对象的多个图像的数据与链接设定文件建立了对应；
该链接设定文件记载有链接区域和链接目标图像的识别信息，
上述链接区域是为实现在显示一个图像的过程中、当显示区域被包含于特定的链接区域时、从正显示的图像向其它图像切换显示的链接功能而针对各图像分别设定的，该链接区域被设定使得在通过链接来表现的图像的虚拟排列中处于前后关系的第1、第2图像中、针对第1图像所设定的以第2图像为链接目标的链接区域与针对该第2图像所设定的以上述第1图像为链接目标的链接区域相重叠的区域成为不包含显示区域的大小。
14.如权利要求13所述的内容文件的数据结构，其特征在于，
上述链接区域被设定使得在上述虚拟排列中连续的第1、第2、第3图像中、针对第1图像所设定的以第2图像为链接目标的链接区域与针对该第2图像所设定的以第3图像为链接目标的链接区域相重叠的区域成为包含显示区域的大小。
CN201180044181.2A 2010-09-15 2011-09-12 图像处理装置、内容制作装置、图像处理方法及内容文件的数据结构 Active CN103119543B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-207127 2010-09-15
JP2010207127A JP5389757B2 (ja) 2010-09-15 2010-09-15 画像処理装置、コンテンツ作成装置、画像処理方法、およびコンテンツファイルのデータ構造
PCT/JP2011/005120 WO2012035748A1 (ja) 2010-09-15 2011-09-12 画像処理装置、コンテンツ作成装置、画像処理方法、およびコンテンツファイルのデータ構造

Publications (2)

Publication Number Publication Date
CN103119543A true CN103119543A (zh) 2013-05-22
CN103119543B CN103119543B (zh) 2016-04-13

Family

ID=45831237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180044181.2A Active CN103119543B (zh) 2010-09-15 2011-09-12 图像处理装置、内容制作装置、图像处理方法及内容文件的数据结构

Country Status (5)

Country Link
US (1) US9218111B2 (zh)
EP (1) EP2618245B1 (zh)
JP (1) JP5389757B2 (zh)
CN (1) CN103119543B (zh)
WO (1) WO2012035748A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5467123B2 (ja) * 2012-05-30 2014-04-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
JP6086851B2 (ja) * 2013-09-18 2017-03-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP5963815B2 (ja) 2013-11-08 2016-08-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
CN109597595B (zh) * 2018-10-29 2022-03-22 广州市中海达测绘仪器有限公司 液晶显示屏的控制方法、装置、计算机设备和存储介质
WO2020198238A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for a media browsing application
US11057682B2 (en) * 2019-03-24 2021-07-06 Apple Inc. User interfaces including selectable representations of content items
US11467726B2 (en) 2019-03-24 2022-10-11 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179231A1 (en) * 2002-03-20 2003-09-25 Fujitsu Limited Method for browsing virtual three-dimensional information, computer program and storage medium
US6650343B1 (en) * 1998-09-28 2003-11-18 Fujitsu Limited Electronic information displaying method, electronic information browsing apparatus and electronic information browsing program storing medium
WO2007003687A1 (en) * 2005-06-30 2007-01-11 Nokia Corporation A method and a device for managing digital media files
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
US20090278916A1 (en) * 2005-12-14 2009-11-12 Masahiro Ito Image display device
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8762882B2 (en) * 2007-02-05 2014-06-24 Sony Corporation Information processing apparatus, control method for use therein, and computer program
US9100614B2 (en) * 2008-10-31 2015-08-04 Echostar Technologies L.L.C. Graphical interface navigation based on image element proximity
KR20110087300A (ko) * 2008-11-11 2011-08-02 소니 컴퓨터 엔터테인먼트 인코포레이티드 화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법
US8239783B2 (en) * 2009-11-19 2012-08-07 Microsoft Corporation Integrated viewfinder and digital media
WO2012058602A2 (en) * 2010-10-28 2012-05-03 Marshall Monroe Method and apparatus for organizing and delivering digital media content and inteactive elements
JP5936381B2 (ja) * 2012-02-09 2016-06-22 キヤノン株式会社 画像処理装置及びその制御方法とプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650343B1 (en) * 1998-09-28 2003-11-18 Fujitsu Limited Electronic information displaying method, electronic information browsing apparatus and electronic information browsing program storing medium
US20030179231A1 (en) * 2002-03-20 2003-09-25 Fujitsu Limited Method for browsing virtual three-dimensional information, computer program and storage medium
WO2007003687A1 (en) * 2005-06-30 2007-01-11 Nokia Corporation A method and a device for managing digital media files
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置

Also Published As

Publication number Publication date
JP5389757B2 (ja) 2014-01-15
WO2012035748A1 (ja) 2012-03-22
US20130198686A1 (en) 2013-08-01
EP2618245A4 (en) 2016-03-09
US9218111B2 (en) 2015-12-22
JP2012063940A (ja) 2012-03-29
CN103119543B (zh) 2016-04-13
EP2618245B1 (en) 2019-07-03
EP2618245A1 (en) 2013-07-24

Similar Documents

Publication Publication Date Title
CN103119543B (zh) 图像处理装置、内容制作装置、图像处理方法及内容文件的数据结构
CN102362308B (zh) 信息处理装置和信息处理方法
CN102209951A (zh) 图像处理装置、信息处理装置、图像处理方法、以及信息处理方法
JP5792607B2 (ja) 画像処理装置および画像処理方法
CN102947866B (zh) 图像处理装置、内容生成辅助装置、图像处理方法、内容生成辅助方法
EP2330587B1 (en) Image processing device and image processing method
CN103827957B (zh) 图像处理装置、图像处理方法和图像文件的数据结构
JP5474887B2 (ja) 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
JP5662267B2 (ja) 画像表示システム、情報処理装置、サーバ、および画像処理方法
CN103827924A (zh) 信息处理装置、信息处理方法和内容文件的数据结构
CN103026386A (zh) 图像处理装置、图像显示装置、图像处理方法及图像文件的数据结构
EP2463762B1 (en) Information processing device, information processing method, and data structure for content files
JP5265306B2 (ja) 画像処理装置
CN104350456A (zh) 信息处理装置和信息处理方法
US20120216110A1 (en) Information processing device
JP5992729B2 (ja) 情報処理装置および情報処理方法
JP5292146B2 (ja) 情報処理装置および情報処理方法
JP5292148B2 (ja) 情報処理装置および情報処理方法
JP5292147B2 (ja) 情報処理装置および情報処理方法
JP2010204782A (ja) 画像処理装置、画像処理方法およびデータ構造
US20040021692A1 (en) Method for controlling a multimedia document display
US20120050555A1 (en) Image generating apparatus, image generating method, program and recording medium
JP2005165657A (ja) 情報処理装置、情報処理方法、プログラム、データ及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant