CN103827924B - 信息处理装置、信息处理方法 - Google Patents
信息处理装置、信息处理方法 Download PDFInfo
- Publication number
- CN103827924B CN103827924B CN201280044894.3A CN201280044894A CN103827924B CN 103827924 B CN103827924 B CN 103827924B CN 201280044894 A CN201280044894 A CN 201280044894A CN 103827924 B CN103827924 B CN 103827924B
- Authority
- CN
- China
- Prior art keywords
- image
- link
- node
- display
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/14—Electronic books and readers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
在本发明中,信息以树结构配置,并且对每一个节点准备图像。在根节点的图像(152)中设置到内部节点的图像的链接。当显示区域通过到链接区域“R1”的视点移动操作,而满足预定链接条件时,被显示的对像从图像(152)切换到内部节点的图像(154a)。在内部节点的每一个图像(154a,154b,154c)中设置到叶节点的图像(156)的任一个的链接。另外,对于叶节点的图像定义序列,以使得可以顺序显示叶节点的图像。当从内部节点的图像(154b)的链接区域“b1”向叶节点的图像“b1”切换显示时,顺序显示图像直至到达图像“c1”,并且显示返回内部节点,显示图像(154c)的区域“c1”。
Description
技术领域
本发明涉及图像处理技术,其中,接受视点关于显示图像的的移动。
背景技术
已经提出不仅可以执行游戏程序而且可以播放视频的家用娱乐系统。在该家用娱乐系统中,GPU产生使用多边形的三维图象(例如参考专利文件1)。
利用网络的普及,不仅游戏等的三维图像还有各种类型的内容的字符信息和图像信息(诸如主页、书籍、杂志、报纸和广告的图像之类)变得很容易获得。此外,与诸如个人计算机或者移动终端之类的装置的尺寸无关地以高画面质量浏览字符信息或图像信息已经成为可能。由此,图像处理技术已经在日常生活中变得必不可少。
[引用列表]
[专利文献]
[PTL 1]
美国专利第6563999号
发明内容
[技术问题]
因为图像处理技术变得常见,所以以下已经变成趋势:显示为内容图像的结构以及由该图像指示的信息复杂并且数据尺寸变得巨大。在刚刚描述的这种情况下下,考虑内容具有由用户希望但难于访问的信息。因此,需要实现具有可以在不依赖于内容的实质的情况下被高效地访问的期望信息的内容。
已经鉴于上面描述的这种问题而作出本发明,并且本发明的目的是提供用于显示具有可以被高效地访问的期望信息的内容的技术。
[解决方案]
本发明的模式涉及信息处理装置。信息处理装置响应于用户的视点移动操作而改变显示区域以显示图像。信息处理装置包括:内容存储单元,其中以相互映射关系存储显示目标的多个图像的数据和链接设置文件,对每一个图像设置该链接设置文件,以在当一个图像的显示期间显示区域和特定链接区域之间的包含关系满足预定链接条件时实现从正在被显示的图像向不同的图像切换显示的链接功能,该链接设置文件描述了链接区域的信息和链接目的地的图像的识别信息;图像切换控制部分,配置为响应于正在被显示的图像的视点移动操作,参考链接设置文件以确定设置用于图像的链接区域和显示区域之间的包含关系是否满足链接条件,并且当满足链接条件时规定链接目的地的图像的识别信息;以及显示图像处理部分,配置为基于从图像切换控制部分接收到的识别信息进行用于图像数据的呈现处理以切换到显示图像。其数据存储在内容存储单元中的多个图像包括配置具有预先定义的顺序的图像序列的多个图像。图像切换控制部分当正在被显示的图像是配置图像序列的图像时,响应于由用户进行的显示图像的相继馈送操作,规定作为切换目的地的、在顺序中定义为正在被显示的图像的下一图像的图像的识别信息。
本发明的另一模式涉及信息处理方法。在本信息处理方法中,图像处理装置响应于用户的视点移动操作而改变显示区域以显示图像。该方法包括以下步骤:从存储装置中读出内容文件,在所述内容文件中,显示目标的多个图像的数据和链接设置文件相互映射,对每一个图像设置链接文件,以在当一个图像的显示期间内显示区域和特定链接区域之间的包含关系满足预定链接条件时实现从正在被显示的图像向不同的图像切换显示的链接功能,链接设置文件描述链接区域的信息和链接目的地的图像的识别信息;响应于正在被显示的图像的视点移动操作,参考链接设置文件以确定对图像设置的链接区域和显示区域之间的包含关系是否满足链接条件,并且当满足链接条件时规定链接目的地的图像的识别信息;以及基于识别信息进行用于图像数据的呈现处理,以切换显示装置中的显示图像。其数据存储在内容存储装置中的多个图像包括配置具有预先定义的顺序的图像序列的多个图像。规定识别信息的步骤当正在被显示的图像是配置图像序列的图像时,响应于由用户进行的显示图像的相继馈送操作,规定作为切换目的地的、在顺序中定义为正在被显示的图像的下一图像的图像的识别信息。
本发明的另一模式涉及内容文件的结构。该内容文件的数据结构是在响应于用户的视点移动操作而移动显示区域的信息处理装置中处理以显示图像的内容文件的数据结构。在数据结构中,显示目标的多个图像的数据和链接设置文件相互映射。对每一个图像设置该链接设置文件,以在当一个图像的显示期间显示区域和特定链接区域之间的包含关系满足预定链接条件时实现从正在被显示的图像向不同的图像切换显示的链接功能。链接设置文件描述链接区域的信息和链接目的地的图像的识别信息。响应于正在被显示的图像的视点移动操作,参考链接设置文件以确定设置用于图像的链接区域和显示区域之间的包含关系是否满足链接条件,并且切换显示图像到链接目的地的图像。多个图像包括配置具有预先定义的顺序的图像序列的多个图像,响应于由用户进行的显示图像的相继馈送操作切换显示。
要注意,上面描述的组件和方法、装置、系统、计算机程序以及其中或者其上记录计算机程序的记录介质等等之中转换的本发明的表示的任意组合也与本发明的模式一样有效。
[技术效果]
根据本发明,能够使得有效访问涉及信息显示的内容的期望信息。
附图说明
图1是图示其中使用实施例可以应用于的信息处理系统的环境的视图。
图2是示出可以在图1的信息处理系统中使用的输入装置的外观配置的视图。
图3是示出本实施例中的信息处理装置的配置的视图。
图4是可以在本实施例中使用的图像数据的层级结构的概念视图。
图5是图示显示为拍摄作为示例的电子书籍的本实施例中的内容的信息的结构的示意图。
图6是示意性图示在本实施例中对节点准备的图像和由链接设置的图像之间的关系以显示内容的的视图。
图7是具体示出本实施例中具有显示上面描述的这种内容图像的功能的控制单元的配置的视图。
图8是图示本实施例中作为帧参数的参考的区域和图像之间的位置关系的视图。
图9是图示本实施例中在图像平面上移动参考帧的区域的帧参数的视图。
图10是图示本实施例中在不需要在图像平面上移动参考帧的情况下改变放大因子的区域的帧参数的视图。
图11是图示本实施例中使用帧参数描述的链接设置文件的数据结构的示例的视图。
图12是图示本实施例中当提供到叶节点的多个到达路径时的显示模式的视图。
图13是图示本实施例中要映射从而响应于已经用作入口的一类内部节点来进行标记链接设置信息以被验证的处理的信息的视图。
图14是示出本实施例中电子书籍被设置的不同层级的节点的图像的示例的视图。
图15是图示本实施例中叶节点的图像的改变的示例的视图。
图16是图示本实施例中当由信息处理装置响应于用户的操作而改变显示图像时的处理过程的流程图。
图17是图示本实施例中中途改变了配置一个节点的图像的模式中的功能块的处理的实质的视图。
具体实施方式
在本实施例中,涉及书籍、报纸、杂志、游戏图像、菜单显示图像、主页图像、地图、照片、绘画、广告等的视觉信息的显示的内容被确定为处理对象。不限制内容的显示目的和在下面描述中实现的功能。图1图示使用本实施例可以应用于的信息处理系统的环境。信息处理系统1包括执行信息处理的软件的信息处理装置10和输出信息处理装置10的处理结果的显示装置12。显示装置12可以是具有用于输出图像的显示单元和用于输出声音的扬声器的电视机。
显示装置12可以通过有线电缆连接到信息处理装置10或者通过无线LAN(局域网)等无线连接到信息处理装置10。信息处理系统10中的信息处理装置10可以通过电缆14连接到诸如因特网之类的外部网络,以下载并且获取内容文件。要注意,信息处理装置10可以通过无线通信连接到外部网络。
信息处理装置10例如可以是游戏装置或者个人计算机,并且可以通过下载要求的应用程序来实现信息处理功能。信息处理装置10根据来自用户的视点移动请求,进行在显示装置12的显示单元上显示的图像的放大/缩小处理、朝上、朝下、朝左或朝右方向上的图像的滚动处理或者其它处理。包括刚刚描述的放大/缩小的显示区域的这种改变操作,下文称为“视点移动操作”。如果用户在观看显示在显示单元上的图像的同时操作输入装置,则输入装置发送输入信息到信息处理装置10。
图2示出输入装置20的外观配置的示例。输入装置20包括方向键21、模拟杆27a和27b、四个不同的操作按钮26、L按钮29a和R按钮29b作为可以由用户操作的操作构件。四个操作按钮26包括圆形按钮22、十字按钮23、方形按钮24和三角形按钮25。
各种功能根据由信息处理装置10进行的处理内容被分配给操作构件。用户将在用户利用左手和右手分别抓住左侧柄28a和右侧柄28b的状态下将分别操作上面描述的操作构件以输入信息处理的开始请求或者结束请求,或者正在处理的内容的请求信息。
对于一些操作构件,分配输入放大/缩小显示图像的请求的功能和输入在朝上、朝下、朝左或朝右方向滚动的请求的功能。例如,输入放大/缩小显示图像的请求的功能分配给右侧上的模拟杆27b。用户可以通过朝用户拉动模拟杆27b来输入缩小显示图像的请求,并且可以通过推动模拟杆27b离开用户来输入放大显示图像的请求。
滚动请求的输入功能分配给方向键21。通过按压任何方向键21,用户可以输入在按压方向键21的方向上的滚动请求。要注意,可以分配移动显示区域的请求的输入功能给不同操作构件。例如,可以分配滚动请求的输入功能给模拟杆27a。另外,如下文描述,分别分配从定义其顺序的多个图像之中前进并且返回显示目标的图像的功能给L按钮29a和R按钮29b。刚刚描述的这种操作下文称为“相继馈送操作”。在图2中,L按钮29a和R按钮29b被提供在输入装置20的上侧表面上,并且配置用于由食指等朝用户按压。
要注意,图2中所示的输入装置20仅仅是示例并且不在形状或者功能方面进行限制。例如,可以应用这种普遍的输入装置,如鼠标、键盘和触摸面板或者它们的组合。另外,可以应用采集用户等的图像的相机、获取声音的麦克风等作为输入装置。
输入装置20具有根据用户的操作的实质而向信息处理装置10发送信号的功能,并且在本实施例中被配置用于与信息处理装置10的无线通信。输入装置20和信息处理装置10可以使用蓝牙(注册商标)协议或者IEEE 802.11协议建立无线连接。要注意,输入装置20可以通过电缆被连接到信息处理装置10,并且发送输入信号到信息处理装置10。
图3示出信息处理装置10的配置。信息处理装置10包括无线接口40、切换器42、显示处理单元44、硬盘驱动50、记录介质加载单元52、盘驱动54、主存储器60、缓冲器存储器70和控制单元100。显示处理单元44包括帧存储器,用于缓冲要显示在显示装置12的显示单元上的数据。
切换器42是以太网切换器(以太网是注册商标),并且是通过有线或者无线连接连接到外部装置以发送和接收数据的设备。切换器42通过电缆14被连接到外部网络,以从内容服务器接收内容文件等。切换器42被连接到无线接口40。无线接口40使用预定义无线通信协议被连接到输入装置20。通过无线接口40和切换器42供应由用户在输入装置20中输入的信号到控制单元100。
硬盘驱动50用作存储数据的存储装置。可以存储内容文件在硬盘驱动50中。如果加载诸如存储器卡之类的可移除存储介质,则记录存储介质加载单元52从可移除记录介质读取数据。如果加载只读ROM盘,则盘驱动54驱动和识别ROM盘,并且读取数据。ROM盘可以是光盘、磁光盘等。可以将内容文件存储在这种存储介质中。
控制单元100包括多核CPU。在单一CPU中提供一个通用处理器核和多个简单处理器核。通用处理器核称为PPU(功率调节单元),而剩余处理器核称为每一个SPU(协同处理单元)。控制单元100还可以包括GPU(图形处理单元)。
控制单元100包括连接到主存储器60和缓冲器存储器70的存储器控制器。PPU包括寄存器并且还包括主处理器作为计算执行的实体。PPU有效地向SPU分配任务作为要执行的应用中的处理的基本单元。要注意,PPU可以由其本身执行任务。每一个SPU包括寄存器并且还包括作为计算执行的实体的子处理器和作为本地存储区域的本地存储器。本地存储器可以用作缓冲器存储器70。
主存储器60和缓冲器存储器70是存储装置并且每一个被配置为RAM(随机存取存储器)。SPU包括专用DMA(直接存储器访问)控制器作为控制单元并且能够在主存储器60和缓冲器存储器70之间进行高速数据传递。另外,SPU可以在显示处理单元44中的帧存储器和缓冲器存储器70之间实现高速数据传递。本实施例中的控制单元100通过使得多个SPU并行操作实现高速图像处理功能。显示处理单元44连接到显示装置12并且根据来自用户的请求输出图像处理的结果。
根据本实施例的信息处理装置10将一部分图像数据从硬盘驱动50预先加载到主存储器60,以平滑地进行移动要显示为内容图像的显示区域的处理。另外,信息处理装置10解码在主存储器60中加载的部分图像数据,并且将解码后的图像数据预先存储到缓冲器存储器70中。这使得能够在稍后要求的定时立即切换要用于呈现显示图像的图像。
不具体限制本实施例中作为显示目标的图像的数据结构。这里,然而,给出对这样的示例的描述,其中,使用具有层级结构的层级图像数据以使得能够以更高的效率显示高清图像。层级图像数据是包括通过缩小原始图像的尺寸到多个级而生成的不同分辨率的图像的图像数据。每一个层级中的图像被划分为一个或者多个平铺图像。例如,依据一个平铺图像配置最低分辨率的图像。依据最大数量的平铺图像构成具有最高分辨率的原始图像。
当显示图像时,当显示图像到达预定分辨率时,通过将用于呈现的平铺图像切换到不同层级的另一平铺图像来快速进行放大显示或者缩小显示。具有刚刚描述的这种层级结构的图像数据下文称为“层级数据”。图4示出层级数据的结构的概念视图。层级数据具有依据深度(z轴)方向上的第0层级30、第一层级32、第二层级34和第三层级36配置的层级结构。要注意,虽然图4仅仅示出四个层级,但是层级的数量不限于此。
图4中图示的层级数据具有四叉树层级结构。依据一个或者多个平铺图像38配置每一个层级。所有平铺图像38被形成为具有带有相等数量的像素的相等尺寸,从而,并且具有例如256×256像素。层级中的图像数据是不同分辨率的图像的表示。以多个级缩小具有最高分辨率的第三层级36中的原始图像,以生成第二层级34、第一层级32和第0层级30的图像数据。例如,第N(N是等于或者大于0的整数)层级的分辨率可以是水平(X轴)方向和垂直(Y轴)方向上的第(N+1)层级的1/2分辨率。
在信息处理装置10中,以在诸如硬盘驱动50之类的存储装置中以由预定压缩方法压缩的格式来存储层级数据。层级数据从存储装置读取并且在它们显示在显示装置12上之前被解码。根据本实施例的信息处理装置10具有与多个压缩方法兼容的解码功能。例如,信息处理装置10能够解码S3TC格式、JPEG格式和JPEG2000格式的压缩数据。
如图4中所示,层级数据的层级结构被设置,以定义水平方向作为X轴、垂直方向作为Y轴以及深度方向作为Z轴,并且构建虚拟三维空间。信息处理装置10依据从输入装置20供应的视点移动请求信号,导出显示区域的改变量。然后,信息处理装置10使用该改变量以导出虚拟空间中的帧的四个角的坐标(帧坐标)。要注意,信息处理装置10可以导出规定层级和该层级中的纹理坐标(UV坐标)的信息替代虚拟图像中的帧坐标。在下面的描述中,层级规定信息和纹理坐标的组合也称为帧坐标。
帧坐标用于下文描述的链接的确定,以将压缩数据加载到主存储器中,用于显示图像的呈现处理等。要注意,本实施例中作为显示目标的图像的数据可以不具有上文描述的层级结构,或者仅仅配置内容的多个图像数据的一部分可以是层级数据。在下面的描述中,也包括层级数据的这种数据被称为“图像数据”。
根据本实施例的信息处理装置10具有当通过满足以下预定条件来触发时切换显示目标到不同图像的功能:由用户的视点移动操作移动的显示区域包括在正在被显示的图像中设置的特定区域中,该不同图像已经与该区域映射。图像之间的这种切换下文称为“链接”,并且用作链接生成的触发的设置区域下文称为“链接区域”。
图5图示本实施例中要显示为内容的信息的结构,其中,电子书籍作为示例被拍摄。一般地,依据诸如封面、内容的表格和文本之类的多个因素配置一本书籍。如果考虑因素的属性,则该书籍可以被感知为具有依据层级节点配置的树结构。该层级节点包括由封面提供的根节点、由内容的表格提供的内部节点和由文本提供的叶节点。由封面提供的根节点表示整个书籍,并且内部节点表示诸如章节之类的页范围。另外,叶节点表示作为最小单元的文本的页。图5的信息结构示例140是书籍的树结构,其中“章节1”位于从“页1”到“页n_1”;并且“章节2”位于从“页n_1+1”到“页n_2”;并且“章节3”位于从“页n_2+1”到“页n_3”。
为了访问具有上面描述的这种结构的书籍的用户想要阅读的页,包括方向A(在该方向A上,按顺序跟踪要访问的书籍、章节和页)和方向B(在该方向B上,依次跟踪页)的两个方向的路径或者方向的组合的路径可用。具体地,在诸如图画书或者安装手册(频繁以中间页开始阅读)之类的书籍中,可以通过依次跟踪从方向A到方向B的路径来有效访问期望页。因此,在本实施例中,与节点对应的图像被准备并且选择为显示目标,并且在考虑方向A和方向B的路径的特殊能力的同时,实现具有连续性的平滑图像转换,以便于对信息的访问。
要注意,虽然图5示出书籍的结构的最简单示例,但是如果类似树结构可以依据内容构建就不具体限制内容的类别。例如,所采集的照片可以设置为叶节点,并且诸如图像采集日期和图像采集地点之类的附加信息可以设置为内部节点。以这样的方式,可以基于一些参考来分类可以显示为图像的各种类型的信息,以构建树结构。另外,不限制树结构的层级的数量。
图6示意性图示在对节点准备的图像以使得显示其树结构被构建的内容图像和由链接设置的图像之间的关系。参考图6,图像152与根节点对应;图像154a、154b和154c与内部节点对应;并且多个图像156与叶节点一一对应。图像152与内容的封面对应,并且具有设置到较低层级的内部节点的图像的链接。在图6中,三个区域“R1”、“R2”和“R3”是到内部节点的图像154a、154b和154c的链接被设置到的链接区域。
当满足预定链接条件,以使得在图像152显示在显示装置12上的状态下,用户移动显示区域以使得视点接近链接区域“R1”直至显示区域包括到链接区域“R1”中时,显示目标从图像152切换到图像154a。类似地,当显示区域满足对链接区域“R2”设置的链接条件时,显示目标切换到图像154b。另外,当显示区域满足对链接区域“R3”设置的链接条件时,显示目标切换到图像154c。在图像152的每一个链接区域中,指示对象或者图,从该对象或者该图可以区分区域是链接区域和链接目的地的属性的事实。
在图5中例示的书籍的情形中,在链接区域“R1”、链接区域“R2”和链接区域“R3”中分别指示从其可以识别“章节1”、“章节2”和“章节3”的图像或者图。如果以下面的方式利用通过视点的移动操作切换作为显示目标的图像的独特性质,则可以实现无缝图像切换。具体地,例如,由图像154a的缩小获取的图像放置在链接区域“R1”中;由图像154b的缩小获取的图像放置在链接区域“R2”中;并且由图像154c的缩小获取的图像放置在链接区域“R3”中。然后,在切换之前和切换之后在屏幕上的相同位置处显示相同对象。
对于与内部节点对应的图像154a、154b和154c中的每一个设置到根节点的图6中的较高层级的节点的图像的链接和到叶节点的图6中的较低层级的节点的图像的链接。到根节点的图像的链接与从根节点的图像到内部节点的图像的链接相反地设置。换言之,首先在链接的执行上显示的图像是根节点的图像152中的对应链接区域的图像。
此外,从每一个内部节点的图像到叶节点的图像的链接与从根节点的图像到内部节点的图像的链接基本类似。在图5的书籍的示例中,内部节点的图像与章节对应,并且图像的链接目的地是页的图像。对于图像154a的链接区域“a9”、图像154b的链接区域“b1”、“b5”和“b9”以及图像154c的链接区域“c1”,分别设置到来自叶节点的图像156之中的表示为图像“a9”、“b1”、“b5”和“b9”的图像的链接。
与根节点的图像152的情形类似,当满足预定链接条件从而在图像154a、154b和154c之一显示在显示装置12上的状态下用户移动显示区域以使得视点接近链接区域之一,直至显示区域包括在链接区域中时,切换显示目标到设置为来自叶节点的图像156之中的链接目的地的图像。在由缩小链接目的地的图像而获取的图像放置在内部节点的图像的每一个链接区域中的情形下,可以实现无缝图像切换。
例如,当显示目标要从内部节点的图像154b的链接区域“b1”的图像切换到来自叶节点的图像156之中的链接目的地的图像“b1”时,表示图像154b的链接区域“b1”的对象和和链接目的地的图像“b1”中的对象显示在屏幕的相同位置处。叶节点的每一个图像156在图5的书籍的示例中是一个页的图像或者与书籍的跨页对应的两个页的图像。
另一方面,除了树结构中的不同层级之间的连接之外,叶节点还具有叶节点自身的顺序的连接。具体地,虽然配置叶节点的图像156的图像依赖于内部节点形成独立组,但是如果仅仅注意叶节点,则叶节点的图像形成具有连续性的图像序列,如图6中图示。这个连接与图5的方向B对应。在实际书籍中,即使基于目录表或者索引打开中间页,该书籍根据在其内句子或文章扩展的范围以页的顺序被频繁阅读。
考虑这个性质,使得能够基于图6中图示的页节点的顺序切换图像。具体地,基于图像上的空间布置的信息实现在树结构的层级之间的图像的切换,并且基于叶节点的顺序实现在叶节点之间的图像的切换。通过向其分配图像相继馈送操作功能的输入装置20的输入构件进行在叶节点之间的图像的切换。例如,在从跨页页的从左向右被阅读的书籍的情形下,如果分配输入装置20的R按钮29b给页馈送,并且分配左按钮29a给页返回,则可以预期自然操作。
如果可能以这种方式进行叶节点之间的切换,则变得没有必要向内部节点的图像设置到所有叶节点的图像的链接。而在图6中图示的示例中,内部节点的图像154b下面的叶节点的图像的组包括9个依次图像“b1”到“b9”,仅仅将到九个图像的图像“b1”、“b5”和“b9”的链接设置到内部节点的图像154b。链接要设置到的叶节点的图像根据显示实质等适当确定。
通过操作分配到输入装置20之一的输入构件之一进行从叶节点的图像到内部节点的图像的切换以返回到内部节点的图像。为了规定此时的返回目的地,当执行从内部节点的图像中的链接区域到叶节点的图像的链接时,将内部节点的图像和链接区域的识别信息临时存储到未示出的寄存器等中。然后,当进行返回显示到内部节点的图像的操作时,基本基于识别信息将显示切换到原始链接区域的图像。
另一方面,当到达叶节点之后,在叶节点之间进行相继馈送操作之后显示要返回到内部节点时,基于叶节点之间的移动量切换返回目的地的链接区域。例如,预先设置边界用于叶节点的图像的置换,并且当通过图像的相继馈送操作到达边界时,寄存器中存储的识别信息被重新写入到下一链接区域的识别信息中。这里,“下一链接区域”是作为图像被馈送的方向上的内部节点的下一链接目的地的图像的链接源的区域。如果链接源的内部节点改变到不同图像的内部节点,则也重新写入图像的识别信息。
作为这一点的结果,当显示目标从内部节点改变到叶节点并且然后在其在叶节点之间移动之后从不同叶节点返回到内部节点时,响应于时间点处的叶节点的位置变成出口的返回目的地的链接区域和图像可以适当变化。例如,如果在图6中图示的示例中,显示从内部节点的图像154b的链接区域“b1”切换到叶节点的区域“b1”并且随后在顺序馈送图像直至显示前进到“b9”的图像之后返回到内部节点,则显示图像154b的区域“b9”。类似地,当显示前进到“c1”的图像并且然后返回到内部节点时,显示图像154c的区域“c1”。
当显示要从不是来自内部节点的链接目的地的图像(诸如来自叶节点的图像156之中的图像“b2”、“b3”、“b4”、“b6”、“b7”或者“b8”之类)返回到内部节点的图像时,显示根据边界的设置,从图像“b2”、“b3”或“b4”切换到图154b中的区域“b1”或者“b5”,或者从图像“b6”、“b7”或者“b8”切换到图像154b中的“b5”或者“b9”。可替代地,可以不设置边界,并且在这个例子中,作为链接目的地的图像可以从叶节点的图像在叶节点的置换的向前或者向后方向上被搜索,以使得显示切换到搜索出的图像的链接源的区域。搜索方向可以预先被设置或者可以由用户可设置。在任何模式中,通过预先准备将来自叶节点的图像之中的作为内部节点的链接目的地的那些图像的识别信息和链接源和链接区域的图像的识别信息互相映射的信息,类似于设置链接的信息,利用设置到相邻图像的链接规定返回目的地。可替代地,通过反向查找设置到内部节点的图像的链接信息,可以规定返回目的地。
通过以此方式响应于叶节点之间的移动而改变变成到叶节点的入口和从叶节点的出口的内部节点的区域,变得容易掌握信息网络中的当前位置,并且可以获取关于内部节点中哪个区域要确定为目标的指南。然而,如下文描述,在可以通过多个路径到达一个叶节点的图像的地方,考虑确定为入口的内部节点的类型,选择要确定为出口的内部节点。要注意,作为场合需求,除了叶节点之外,图像也可以在内部节点之间按顺序被馈送。
要注意,节点的图像的数据可以是层级数据或者可以是单分辨率的图像数据,或者另外可以取决于显示要求的分辨率范围在不同图像之间不同。如上文描述,通过滚动或者放大图像以使得视点朝链接区域移动,实现来自根节点的图像到叶节点的图像的切换。通过从正在被显示的图像反向移开视点,实现来自内部节点的图像到根节点的切换。
图7具体示出本实施例中具有上文描述的显示这种内容图像的功能的控制单元100的配置。该控制单元100包括输入信息获取部分102,用于获取由用户通过输入装置20输入的信息;帧坐标确定部分110,用于确定要新显示的区域的帧坐标;图像切换控制部分116,用于确定链接设置是否要求切换作为显示目标的图像;以及加载部分108,用于从硬盘驱动50加载所要求的压缩图像数据。控制单元100还包括解码部分112,用于解码压缩图像数据;显示图像处理部分114,用于呈现图像帧;以及图像设置控制部分104,用于在给定定时改变相同节点的图像。
在图7中,指示为进行各种处理的功能块的元件可以在硬件上由CPU(中央处理器)、存储器和其它LSI配置,并且在软件上由在存储器中加载的程序等配置。如前面提及,控制单元100具有一个PPU和多个SPU,并且功能块可以单独或者由PPU和SPU的组合形成。因此,本领域的技术人员将认识到,功能块可以仅仅通过硬件、仅仅通过软件或者通过硬件和软件的组合以各种方式实现,并且它们不限于它们中的任何。
首先,在硬件驱动50中,存储具有结构的内容文件,在该结构中,相互映射图5中例示的节点的图像数据101和描述设置用于图像数据101的链接信息的链接设置文件118。在链接设置文件118中,以相互的映射关系描述设置用于图像的链接区域的信息和由链接的链接目的地的图像的识别信息。在图像的一部分设置为链接目的地的地方,另外映射链接目的地的区域信息。链接设置文件118也包括其中描述关于上文描述的从叶节点到内部节点的返回目的地的信息的文件。在必要时将图像数据101和映射到该图像数据101的链接设置文件118加载到主存储器60中。
除了具有上面描述的树结构的游戏的程序和图像之外,硬盘驱动50还可以通过由信息处理装置10执行的应用等来存储诸如要显示的对象的图像数据之类的各种数据。然而,因为普遍技术可以应用于它们,所以给出聚焦在用于进行上文描述的图像显示的功能的下面描述。
输入信息获取部分102获取用户对输入装置20进行的操作的实质,诸如图像显示的开始/结束操作、视点移动操作、叶节点的图像的相继馈送操作或者从叶节点到内部节点的切换操作之类。输入信息获取部分102适当向帧坐标确定部分和图像切换控制部分116通知获取的操作实质。帧坐标确定部分110依据基于当前显示区域的帧坐标和由用户输入的视点移动请求的移动量,确定随后时间点的显示区域的帧坐标。然后,帧坐标确定部分110向图像切换控制部分116通知确定的帧坐标。“随后时间点”这里是基于帧率的更新显示的循环之后的时间点。另外,输入信息获取部分102获取确定定时(在该定时,一个图像要从未示出的诸如用于执行游戏的功能块之类的不同功能块或者从服务器改变)的信息并且向图像设置控制部分104通知获取的信息。
信息切换控制部分116读出已经加载到主存储器60并且与作为显示目标的图像数据对应的链接设置文件118,并且确定随后时间点的显示区域是否满足链接条件。如果显示区域满足链接条件,则图像切换控制部分116验证链接并且从链接设置文件118获取与链接区域相关联地设置的链接目的地的图像数据的识别信息和链接目的地的区域信息。如果链接目的地是叶节点的图像,则图像切换控制部分116将链接源的图像数据的识别信息和链接区域的识别信息临时存储到寄存器。
如果图像切换控制部分116在进行图像的相继馈送操作的叶节点的图像的显示期间,从输入信息获取部分102被通知,则其规定下一图像数据的识别信息。例如,通过包括表示图像的识别信息中的顺序的号便于规定。另外,如果图像切换控制部分116从输入信息获取部分102被通知进行从叶节点的图像到内部节点的图像的返回图像的操作,则其规定临时存储在寄存器中的链接源的图像数据和链接区域的识别信息。如果在这之前已经进行图像的相继馈送操作,则图像切换控制部分116适当重新写入在寄存器中存储的识别信息,如上面描述。涉及由上面描述的过程获取的切换之后的图像的信息被传递到加载部分108、解码部分112和显示图像处理部分114。如果不存在进行切换的必要,则图像切换控制部分116向加载部分108、解码部分112和显示图像处理部分114通知下一时间点的显示区域的帧坐标。
加载部分108基于从图像切换控制部分116传递到其的信息来检查是否存在要从硬盘驱动50加载到主存储器60的压缩图像数据,并且按照场合需要加载压缩图像数据。要重新加载的压缩图像数据是当切换作为显示目标的图像时切换之后的图像数据101或者类似图像数据。
一旦图像切换了,如果切换之后的图像是层级数据,则首先加载显示预先确定为初始图像(诸如其分辨率最低并且可以一次显示全部图像的第0层级的图像数据之类)必要的层级的平铺图像。当加载新图像数据101时,也加载映射到图像数据101的链接设置文件118。
当诸如层级数据的平铺图像之类的图像数据响应于显示区域的移动要加载到预定块的单元中时,无论是否要求图像切换,都加载周围块的图像数据。可替代地,根据直到那时的显示区域的移动路径,加载估计为稍后要求的块的图像数据。另外,如果进行按顺序的叶节点的馈送图像的操作,则还加载图像顺序的随后图像数据。除了当用户输入视点移动请求时的定时之外,加载部分108还可以在任何时间以预定的时间间隔加载必要图像数据。
解码部分112基于来自图像切换控制部分116的通知,检查随后时间点的显示区域所必要的图像数据是否包括在缓冲器存储器70中存储的解码图像数据中。如果该图像数据没有包括在解码图像数据中,则解码部分112读出并且解码来自主存储器60的必要压缩图像数据,并且将解码图像数据存储到缓冲器存储器70中。因为在当前包括显示区域的宽范围上的图像的数据被解码并且预先存储在缓冲器存储器70中,所以可以实现显示区域的更平滑移动。另外,通过使得能够也保持切换在显示图像之前已经显示的链接源的图像的数据,可以快速进行显示图像的返回处理。
显示图像处理部分114基于来自图像切换控制部分116的通知,读取按场合要求来自缓冲器存储器70的随后时间点的显示区域的必要图像数据,并且将该图像数据呈现在显示处理单元44的帧存储器中。图像设置控制部分104获取定时(在该定时,图像要从输入信息获取部分102改变)的确定的信息。然后,图像设置控制部分104控制解码部分112,以使得在基于获取的信息的定时改变预定节点的图像。无论用户是否付费等等,用于定时(在该定时,图像要改变)的确定的信息是游戏中进程的程度。图像设置控制部分104和解码部分112的协作在下文详细描述。
现在,描述链接设置文件118的设置的示例。图8到图10是图示链接设置文件118中使用的帧参数的定义的视图。帧参数是表示显示目标的图像平面上的区域的参数并且用于在链接目的地的图像中的切换之后要显示的链接区域或者区域的设置。
图8图示在用作帧参数的参考的区域和图像之间的位置关系。参考图8,用于图像256的参考帧264是具有与图像256的中心相同的中心的矩形,包围图像256并且具有预定值的纵横比。这里,纵横比可以具有预定值并且例如等于用于显示的显示单元或者显示单元的显示区域的纵横比。假设,即使放大或者缩小显示图像,设置区域也总是具有该比。
当参考帧264的水平边和垂直边中的每一个由1表示时,由包括水平偏移、垂直偏移和放大因子的三个参数的帧参数表示区域的位置和大小。具体地,基于参考帧264确定对于图像256唯一的坐标系统。参考帧264本身的帧参数是(水平偏移、垂直偏移、放大因子)=(0,0,1.0)。
图9是图示参考帧在图像平面上移动的区域中的帧参数的视图。在这个例子中,值被代入垂直偏移和水平偏移的每一个参数中。具体地,从区域的中心272到图像256的中心(即,到参考帧的中心270)的距离水平分量offset_x和垂直分量offset_y分别是水平分量和垂直分量的值。相应地,区域262表示为(offset_x,offset_y,1.0)。
图10是图示其中在不需要在图像平面上移动参考图像的情况下改变放大因子的区域的帧参数的视图。在这个例子中,区域266与参考帧264的面积比被代入放大因子的参数。如果图10的区域266是图8的参考帧的区域0.5倍,则区域266表示为(0,0,0.5)。
图11图示使用帧参数描述的链接设置文件的数据结构的示例。在链接设置文件300中,一个行对应于一个链接,即,从对应图像数据到不同图像数据的切换。链接设置文件300依据包括链接源图像帧字段302、有效比例范围字段304、链接目的地文件字段306和链接目的地图像帧字段308的四个不同字段配置。链接源图像帧字段302指定要利用上面描述的帧参数设置在对应图像上的链接区域。
有效比例范围字段304在链接有效时指定在链接区域和显示区域之间的包含关系。具体地,当有效比例范围字段304的值是正时,如果显示区域包括链接区域,则链接被确定为有效。当该值是负时,如果该链接区域包括显示区域,则链接确定为有效。
在图11的第一行中,有效比例范围字段304具有正值,并且因此在缩小屏幕图像以放大显示区域的方向上进行图像的切换。换言之,设置到较高层级的节点的链接。同时,在图11的第二行中,因为有效比例范围字段304具有负值,所以在放大屏幕图像以缩小显示区域的方向进行图像的切换。换言之,设置到较低层级的节点的链接。
链接目的地文件字段306指定链接目的地的图像数据的识别信息。链接目的地图像帧字段308指定图像切换之后的显示区域,即,使用图像的帧参数由链接目的地文件字段306指定的图像中的显示区域。
在每一个图像数据的映射关系中产生这种链接设置文件的情况下,可以由对于较低层级方向和较高层级方向二者的类似处理实现不同层级的节点之间的转换。要注意,一旦在较高层级方向中转换,因为转换目的地依据树结构是限制性的,所以链接源图像帧字段302和有效比例范围字段304可以被忽略以简化设置。然后,如果用于返回到较高层级的节点的功能被分配给输入装置20的输入构件之一,则无论显示区域处于正在被显示的较低层级节点的图像的哪个状态,都可以立即进行到较高层级节点的显示的切换。
上面描述的模式指向其中从根节点到一个叶节点仅仅一个路径可用的情形。然后,还能够依赖于类似设置提供到叶节点的多个到达路径。图12是图示当构建刚刚描述的这种结构时的显示模式的视图。信息配置示例160依据根节点“R1”、内部节点“I1”、“I2”、“I3”和“I4”以及叶节点“L1”、“L2”、“L3”、“L4”、“L5”和“L6”配置。
叶节点“L1”和“L2”可以从内部节点“I1”到达;叶节点“L3”和“L4”可以从内部节点“I2”到达;以及叶节点“L5”和“L6”可以从内部节点“I3”到达。这类似于上文描述的模式。另外,在图12的模式中,所有叶节点可以从内部节点“I4”到达。
例如如果在电子书籍的情形下,除了图5中图示的与“章节1”、“章节2”和“章节3”对应的内部节点“I1”、“I2”和“I3”之外,内部节点“I4”也作为无论章节都允许任意页的选择的节点来提供。内部节点“I4”的图像例如是缩略图像,在该缩略图像中,二维排列所有页的图像的缩小图像。由此,如果移动显示区域,以使得视点以与上面描述的类似方式接近缩小图像之一,则显示切换到与缩小图像对应的叶节点的图像。
另外,在图12的示例中,叶节点“L2”可以从根节点“R1”直接到达。例如,估计为在叶节点的图像之中具有特别高显示频率的图像、从其进入主体的顶页的图像或者类似图像,可以确定为显示可以从根节点“R1”可以直接切换到的图像。可替换地,使得用户能够设置以使得显示可以直接切换到喜爱页的图像。此外,在那些情形下,到叶节点“L2”的图像的链接可以设置用于根节点“R1”的图像。在以这种方式提供到叶节点的多个路径的情况下,用户可以响应于情况选择期望图像的到达方式,并且因此,改进对信息的访问效率。要注意,在图12中图示的叶节点之间,可以存在没有链接如上面描述从内部节点设置到其的另外叶节点。
虽然,在图12中,附加提供所有叶节点可以到达的仅仅一个内部节点“I4”,但是可以通过叶节点的分类法准备多个种类的内部节点。例如,在叶节点图像是个人简况图像的地方,其中可以通过国籍分类人的国家名称、其中通过性别分类人的男人和女人之间的区别、其中通过年龄分类人的年龄组等可以设置为内部节点。通过这种设置,内部节点用作搜索键,并且可以提高作为搜索功能的作用。
当显示如上面描述地从叶节点的图像返回到较高层级的图像时,显示切换到链接(该链接本身是链接目的地或者其链接目的地是相邻图像的链接的链接源)的内部节点的图像。这里,如果链接设置到多个内部节点的图像,而一个叶节点的图像设置为链接目的地,如图12中所见,则与内部节点(该内部节是到叶节点的入口)的图像的类型相同类型的内部节点的图像的链接,即最近显示的内部节点的图像设置为有效。
例如,在前面参考图12给出的描述中,内部节点“I1”、“I2”和“I3”是相同类型,并且内部节点“I4”是与内部节点“I1”、“I2”和“I3”不同的类型。这里,在使用内部节点“I1”的图像作为入口显示叶节点“L1”的图像并且显示在其前进到叶节点“L3”的图像之后返回到内部节点的情况下,类型与内部节点“I1”相同的内部节点“I2”的图像确定为出口。
另一方面,在使用内部节点“I4”的图像作为入口显示叶节点“L1”的图像并且显示在其前进到叶节点“L3”的图像之后返回到内部节点的情况下,与入口相同的内部节点“I4”的图像确定为出口。这类似应用于其中通过上面描述的分类方法产生的多个类型的内部节点的情形。例如,在从特定国家名称的图像显示简况图像的地方,此外当显示返回时,链接目的地是国家名称的图像。要注意,在本示例中,依赖于简况图像之间的相继馈送操作的情况,显示可以返回到不同国家名称的图像。
为了实现上面刚刚描述的这种模式,记录其链接目的地是叶节点的图像的内部节点的类型,一旦从内部节点转换到叶节点,响应于用作入口的内部节点的类型而标记要验证的链接。图13是图示要映射从而进行刚刚描述的这种处理的信息的视图。在信息映射表170中,在图像数据字段170a中描述设置为内部节点的链接目的地的叶节点的图像数据的识别信息。另外,在链接源图像/链接区域字段170b中相互映射其链接目的地是图像的内部节点的图像数据的识别信息和变成链接源的链接区域的信息。另外,分别在类型字段170c和标记字段170d中映射内部节点的类型和表示链接是否要验证的标记。
图13的示例图示其中如图12中图示存在到达每一个叶节点的两个或者三个路径的情形。例如,如果由“L1图像”表示图12的叶节点“L1”的图像数据的识别信息,则具有识别信息“I1”和“I4”的两个图像作为其链接目的地是叶节点“L1”的图像的内部节点的图像而存在。两个图像的链接源是链接区域“区1”和“区1’”。要注意,表示区域的“区1”和“区1’”可以是以此方式的链接区域的识别信息,或者可以是图像中的帧参数等。
这也类似应用于叶节点“L2”的图像数据“L2图像”和叶节点“L3”的“L3图像”。具体地,三个链接区域“I1/区2”、“I4/区2’”和“R1/区2””变成其链接目的地是前者图像数据“L2图像”的内部节点的图像/链接源。同时,链接区域“I2/区3”和“I4/区3’”变成其链接目的地是后继图像数据“L3图像”的内部节点的图像/链接源。要注意,图像数据字段170a和链接源图像/链接区域字段170b的对应关系对应于映射到内部节点的每一个图像数据的链接设置文件中描述的链接。
如果假设(如上文描述),内部节点“I1”、“I2”和“I3”是按电子书籍的“章节”分类的缩略图,并且内部节点“I4”是没有分类的缩略图,则在类型字段170c中,记录这种信息作为用于识别映射到每一个内部节点的分类的“章节”或者“缩略图”或者映射到根节点“R1”的“封面”。另外,如果到根节点“L1”的入口是内部节点“I1”,则图像切换控制部分116存储链接源的图像数据和链接区域的识别信息“I1/区1”到寄存器。另外,图像切换控制部分116标记来自信息映射表170的内部节点之中相同类型的内部节点。在图13的示例中,关于哪个类型字段170c是“章节”的内部节点的标记字段170d中的值是“1”。
然后,一旦从叶节点转换到内部节点,显示切换到其标记处于设置状态中的内部节点的链接源。一旦从其图像数据是图13的示例中的“L3图像”的叶节点“L3”转换到内部节点,显示在标记字段170d中其标记处于设置状态中的内部节点“I2”的图像中的链接区域“区3”。一旦显示从叶节点转换到内部节点,则标记字段170d中的所有标记重置为“0”。
实际上,响应于图像到叶节点之间的“L1”、“L2”和“L3”的切换,寄存器中存储的信息通过选择关于哪个标记处于设置状态中的那些内部节点,依次重新写入到“I1/区1”、“I1/区2”和“I2/区3”。此外,在不是链接目的地的节点存在于“L1”、“L2”和“L3”之中的地方,在预先设置的边界相互交叉的时间点以类似方式依次重新写入信息。
如果显示从内部节点“I4”进入叶节点,则关于哪个“缩略图”在类型字段170c中指示的内部节点的标记字段170d的值设置为“1”。作为结果,响应于图像到叶节点之间的“L1”、“L2”和“L3”的切换,寄存器中存储的信息依次重新写入到“I4/区1’”、“I4/区2’”和“I4/区3’”。然后,显示从叶节点“L3”到内部节点“I4”的图像中的链接区域“区3”切换。在建立字段的映射的情况下,信息映射表170实际可能不是单一表。
图14图示在假设电子书籍的情况较低层级的节点的图像的示例。参考图14,顶部级表示根的图像172;并且中间级表示内部节点的图像174;并且底部级表示叶节点的图像176。所有图像中的虚线矩形表示设置链接区域,并且不在实际图像上指示。四个链接区域178a、178b、178c和178d设置在根节点的图像172中。在每一个链接区域中,表示该区域是链接区域的对象被指示。在图14的示例中,指示仿真书籍的跨页的对象。另外,在每一个对象中,以重叠关系显示指示链接目的地的内部节点的实质的字符信息。在图14的示例中,显示书籍的章节的标题,诸如“1.介绍”、“2.基本设置”、“3.记录方法”和“4.回放方法”之类。
如果,在图像172的显示期间,进行放大,以使得视点接近链接区域178b,则显示切换到设置用于链接区域的链接目的地的内部节点的图像174(箭头标志S1)。要注意,在聚焦如上文描述图像无缝地切换的情况下,根节点的图像172的链接区域178b中显示的图像可以是图174的缩小图像。这也类似地应用于其它链接区域178a、178c和178d。
六个链接区域设置在内部节点的图像174中。每一个链接区域与叶节点的图像之一对应,并且在叶节点的图像是书籍的跨页的情况下表示叶节点的缩小图像。在内部节点的图像174中,表示当前显示的图像属于哪个内部节点的字符信息被指示为标题。在图14的情形中,字符信息表示为“2.基本信息”。在大量叶节点变成链接目的地的情况下,内部节点可以被划分为多个图像。在这个例子中,类似于一旦在叶节点之间转换,就可以响应于依次馈送图像的操作而在内部节点之间切换显示。
然后,如果进行放大以使得视点接近特定链接区域180,则显示切换到设置用于链接区域的链接指定的叶节点的图像176(箭头标志S2)。这个图像表示具有以该尺寸字符充分可读的尺寸的书籍的跨页,如上文描述。依赖于内容的实质,除了字符之外还可以显示静止图像、移动图像等或者它们可以以组合显示。
通过将图像从图像176返回到内部节点的图像的操作,显示从叶节点的图像176到内部节点的图像174切换。此时,切换之后立即显示的图像是图像174中的链接区域180的一部分。当内部节点的图像174被缩小直至显示整个图像时,显示从内部节点的图像174切换到根节点的图像172。切换之后立即显示的图像是图像172中的链接区域178b的一部分。
要注意,上面描述的示例中的显示切换到了链接目的地的图像,将此用作显示区域和链接目的地满足视点移动操作的预定条件的触发。然而,可以采用另一配置,在该另一配置中,可以直接选择图14中指示为链接区域的矩形区域。例如,要在可以被选择的矩形区域之中强调显示的目标由输入装置20的方向键21移动,并且由圆形按钮22等确定,以切换显示到映射到矩形的链接目的地的图像。一旦切换,显示区域可以自动移动,以使得所选矩形可以被放大,然后,显示切换到链接目的地的图像。在这个例子中,没有必要设置显示区域和链接区域之间的链接条件,或者可以移动显示区域,以满足链接条件,从而以普通方式进行链接确定。
图15图示叶节点的图像中的改变的示例。在图15中,上级表示叶节点的基本图像182,并且与图14中的图像176对应。此外,叶节点的图像182接受滚动、放大和缩小操作。具体地,响应于用户的视点移动操作确定帧坐标,并且显示在地点处的图像。在图15中,下级左侧上的放大后的图像184通过放大区域182a中的基本图像182而获取。
另一方面,当进行向前或者向后馈送图像的普通相继馈送操作时,显示切换到操作方向上的下一图像。此时,如同在图的下级右侧上的页翻开图像186的情形中,在切换期间优选进行这种工作以翻开该页,以使得可以识别电子书籍等的页中的连续性,由此产生真实感。这种工作可以使用现有计算机图形技术实现。切换完成之后的图像类似于图像182。
要注意,如果在其中显示放大后的图像184的状态下进行图像相继馈送操作,则进行缩小操作一次,以返回显示到基本图像182,并且图像切换到页翻开图像186并且到切换之后的图像182。结果,确定已经切换图像。另外,因为自然地出现在整个图像被概观之后进行到期望区域的放大的流,所以可以容易掌握信息网络中的当前位置。
要注意,无论是否在层级之间或者在叶节点之间进行显示图像的切换,响应于输入装置20的预定输入构件的操作,显示都可以以预先确定的顺序在图像之间依次切换。例如,如根节点的图像172、内部节点的图像174、叶节点的图像176、下一叶节点的图像……的这种顺序,可以类似于叶节点的图像的置换预先准备,以使得显示图像可以通过相同输入构件向前地或者向后地馈送(包括层级之间的图像切换),类似于叶节点之间的馈送图像操作。可替代地,如刚刚描述的这种模式以及上文面描述的切换过程可能能够由用户在它们之间切换。
现在,描述可以由上文描述的配置实现的信息处理装置10的基本操作。图16是图示由信息处理装置10响应于用户的操作改变显示图像的处理过程的流程图。当使得信息处理装置10进行由用户选择和开始内容的显示的操作或者在类似情形下时开始这个流程图。这个操作可以通过调用由正在独立执行的游戏等的应用提供的菜单屏幕进行。
首先,根节点的整个图像由信息处理装置10的图像切换控制部分116、加载部分108、解码部分112以及显示图像处理部分114的协作显示为初始图像(S10)。如果用户看到初始图像并且在输入装置20上进行移动视点的操作(S12处的“是”),则图像切换控制部分116参考映射到根节点的图像数据的链接设置文件并且监控移动的目的地的显示区域以检查其是否满足一些链接条件(S14)。如果不满足链接条件,则解码部分112和显示图像处理部分114响应于视点移动请求信号,基于由帧坐标确定部分110计算的帧坐标,适当进行解码处理和呈现处理,以更新显示图像从而移动显示区域(S14,S22处的“否”)。
另一方面,如果满足某链接条件,则图像切换控制部分116向加载部分108、解码部分112和显示处理部分114通知满足,以切换目标显示到来自内部节点的图像之中的设置为链接目的地的图像(S14,S16处的“是”)。然后,显示切换之后的图像中的链接目的地的区域。
如果在图像的显示期间发出另一视点移动请求(S12处的“是”),则映射到图像的链接设置文件被参考并且显示图像在其被监控以检查是否满足链接条件的同时被依次更新(S14,S16,S22)。因为内部节点处的图像已经在其中设置到根节点的图像的链接以及到叶节点的图像的链接,所以依赖于视点移动请求的实质以及链接条件适当在层级之间切换显示目标的图像。
如果以这样的方式到达叶节点的图像,则图像切换控制部分116除了视点移动请求操作之外还监控以检查是否进行从叶节点返回到内部节点的操作以及是否进行在叶节点之间依次馈送图像的操作(S17,S18)。要注意,当到达叶节点的图像时的时候,用作入口的内部节点的图像数据和链接区域的识别信息已经存储到寄存器中,如上文描述。然后如果不进行视点移动操作但进行返回到内部节点的操作,则显示目标被切换到在时间点存储在寄存器中的、用作链接源的内部节点的图像中的链接区域,以在图像切换控制部分116的控制下更新显示图像(S17,S16,S22处的“是”)。
如果进行叶节点之间的依次馈送图像的操作,则显示目标在馈送方向上切换到下一图像,并且在图像切换控制部分116的控制下更新显示图像(S12处的“否”,S18、S20、S22处的“是”)。此时,依赖于依次馈送的范围,适当重新写入在上文描述的寄存器中存储的返回目的地到内部节点的图像和链接区域的信息。如果没有视点移动操作,则进行从叶节点到内部节点的切换操作和叶节点之间的相继馈送操作,然后等待下一操作(S12处的“否”,S17处的“否”,S18处的“否”,S24处的“否”)。
要注意,当进行从叶节点到内部节点的切换操作时,如果叶节点是多个内部节点的链接目的地时(如图12中图示),则当刚刚之前到达叶节点时设置的标志被参考,并且关于哪个标记处于设置状态中的链接被验证。这样,可以显示与当已经到达叶节点时的类型相同的类型的较高层级节点的图像。
因为使得能够以此方式自由通过视点移动操作进行层级之间的图像切换以及通过相继馈送操作进行叶节点之间的图像切换,用户可以有效地并且直觉地到达期望的信息。然后,当用户在输入装置20上进行用于结束的显示的操作时,结束显示处理(S24处的“是”)。
在上面描述的模式中,一个图像数据固定映射每一个节点,并且显示目标的图像被切换,或者显示区域响应于视点移动操作或者相继馈送操作被移动。现在,描述用于由控制单元100的图像设置控制部分104中途改变每一个节点的图像本身的功能。这个功能可以应用到如下模式:图像的预定区域被隐藏,并且响应于游戏进度、用户的费用支付情况等逐渐增加未隐藏的图像的部分。
图17图示在其中中途改变配置一个节点的图像的模式下功能块的处理的实质的视图。首先,由于图像数据101要存储到硬盘驱动50中,准备多个图像数据用于一个节点。图像数据表示具有公用坐标系统的相同尺寸的图像,并且可以是层级数据或者单一分辨率的数据。在图17的情形下,第一图像204和第二图像206的两个图像被准备作为图像数据101。如果这适配于上面描述的应用示例,则第一图像204是要最终显示的图像,并且第二图像206是用于隐藏的图像。
图像设置控制部分104接收由输入信息获取部分102从执行游戏等的功能块或者服务器获取的图像控制信息,并且判定图像要改变的定时。基于接收到的图像控制信息,图像设置控制部分104确定分配第一图像204和第二图像206之一给相同坐标系统中的图像平面的每一个划分区域的区域划分信息。在图17的示例中,确定在图像平面208上,第二图像206用于由阴影指示的四个区域210并且第一图像204用于其它区域212。确定区域划分信息实际上可以是帧参数等,其表示对于其使用第二图像206的区域。
例如,可以相互映射以步骤代表游戏进度的步骤号和区域划分信息,以使得基于作为图像控制信息获取的步骤号,获取与步骤号对应的区域划分信息。可替代地,可以预先确定要改变的区域的参数或者区域的识别号,以使得要新公开的帧参数的直接指示和区域的识别号被接受作为图像控制信息,并且基于该接受的图像控制信息更新区域划分信息。图像设置控制部分104向解码部分112通知所确定的区域划分信息。
解码部分112解码在主存储器60中加载的第一图像204和第二图像206的两个图像,基于区域划分信息对于每一个像素确定图像数据中的哪一个要被采用,并且将要采用的图像数据写入到缓冲器存储器70。在图17中,在图像213和214中,由原始图像表示第一图像204和第二图像206的仅仅要采用的部分,而由中空矩形表示不采用的那些部分。解码部分112进行解码处理,用于图像213和214中以格子形状划分的平铺图像的每一个区域。
因此,解码部分112包括两个尺寸的工作存储器,用于一个屏幕图像。例如,解码部分112解码由实线包围的第一图像204的平铺图像213a和第二图像206的平铺图像214a,并且存储解码的平铺图像到工作存储器。在此时间点,整个平铺图像的数据被存储在两个工作存储器中。然后,在图17的示例中,将不是中空的上侧上的接近三分之二的区域中的平铺数据213a的数据写入缓冲器存储器70的区域中用于对应的平铺图像。另外,将下侧上的接近三分之一的区域中的平铺图像214a的数据写入该区域的剩余部分用于平铺图像。
如果进行处理用于要存储到缓冲器存储器70中的所有平铺图像,则作为在其某些区域中包括第二图像206的第一图像214的图像216被存储到缓冲器存储器70中。当解码部分112进行解码处理时,其在任何时间参考从图像设置控制部分104向其供应的区域划分信息,使得区域划分信息的变化反映在要存储到缓冲器存储器70中的图像上。要注意,虽然在图17中,整个原始图像被存储在缓冲器存储器70中,但是要存储到缓冲器存储器70中的区域响应于帧坐标改变,如上文描述。
以这样的方式,通过由解码部分112进行每一个平铺图像的解码并且将解码的屏幕图像写入到缓冲器存储器70中,即使多个图像数据用作源,图像的组合处理也可以仅仅通过增加用于这种平铺图像的工作存储器来实现。因为平铺图像的尺寸减少,与其中在尺寸上多次准备大面积的缓冲器存储器70的情形相比,可以显著抑制必要存储器尺寸。
在图像数据是层级数据的情况下,使用相同层级的数据进行类似处理。将图像数据加载到主存储器60并且显示在缓冲器存储器70中存储的数据的一部分的处理与上文参考图7描述的类似。虽然在图17中,两个图像数据用于产生一个图像,但是可以使用三个或者更多图像数据,以进行类似处理。由于要使用的图像数据的数量增加,可以产生更复杂的变化。
另外,虽然图17的两个图像改变分离布置的矩形区域,但是图14中所示的书籍的这种跨页的部分可以通过将该部分与背景同化而被隐藏,以使得例如将跨页从其中不在其上写任何东西的状态置于其中字符出现的另一状态。此外,还能够使用书籍的跨页的这种部分不用于隐藏的目的而是用于仅仅改变图像的目标。
另外,虽然在前述描述中,要采用的图像选择用于每一个像素,而像素值被写入缓冲器存储器70,但是原始图像可以由阿尔法(alpha)混合合成。具体地,阿尔法通道提供用于每一个像素值,并且对于区域划分信息中设置的每一个区域,要采用的图像的像素的阿尔法值设置为1,而不采用的图像的像素的阿尔法值设置为0。然后,如果由此设置的阿尔法值被合成用于每一个平铺图像并且然后在缓冲器存储器70中展开,则可以获得与其中写入图像之一的像素值的上面描述的模式中类似的图像。
另外,可以利用上面描述的这种阿尔法混合处理,以使得对于在区域划分信息中设置的每一个区域,每一个图像的阿尔法值设置为等于或者高于0并且等于或者小于1的预定值。这使得能够实现另一图像依赖于该区域显得半透明的这种显示。在这个例子中,在区域划分信息中,被对每一个区域包括设置用于每一个图像的阿尔法值的信息。如果包括这样的模式,在该模式中,基于图像控制信息在不需要改变区域的情况下仅仅改变阿尔法值的设置的模式,则可以另外增加显示图像的改变的变化。
根据上面描述的本实施例,树结构的信息用作要显示为内容图像的信息。另外,链接区域设置为每一个节点的图像,以使得显示可以通过视点移动操作或者区域选择操作切换到树结构中的不同层级的图像。通过近似统一切换之前和切换之后在显示区域中表示的对象,可以具有连续性地进行不同层级之间的切换。作为结果,具有不同颗粒度(granularity)的不同种类的信息可以被双向地并且连续地从信息的整个图像跟随到各个项的详细信息。因此可以直觉地并且有效地到达期望信息。如果各个图像被保持为由多个分辨率表示的层级信息,则可以实现更多显示图像的动态改变,并且可以通过具体树结构的层级的合成效果包含宽范围上的信息。
另外,通过定义最较低层级的叶节点处的图像的顺序,使得这种切换操作可能,该切换操作遵循顺序以向前或者向后馈送图像。这使得即使叶节点的图像被映射到不同内部节点,也能够实现叶节点之间的转换,而不需要返回到内部节点。另外,因为由于树结构,叶节点的图像通常在数量上大于其它层级的图像,所以与其中空间排列这种图像的情形相比,易于掌握当前的显示图像的位置或者图像的顺序。
作为结果,用户可以根据内容的这种类型(内容是否是小说或者图画书)或者情况,关于其是否要设置为层级之间的移动或者叶节点之间的移动,容易切换到叶节点的图像的访问路径。通过提供与层级无关的图像的统一性,可以将通过视点移动操作的层级之间的图像切换和通过相继馈送操作的叶节点之间的图像切换自然地实现为连续操作。可替代地,如果以由相同操作方法设置的顺序进行图像切换,而不需要相互区分层级之间的图像切换和通过相继馈送操作的叶节点之间的图像切换,则可以更容易地实现具有连续性的显示切换。
另外,通过设置链接,以使得一个叶节点的图像可以从多个内部节点的图像或者从根节点的图像到达,可以另外改进对期望图像的访问效率。具体地,通过由分类技术提供多个种类的内部节点,变得能够多边地搜索叶节点的图像。此时,通过统一当到达叶节点时的内部节点的类型和稍后从叶节点返回到内部节点时的内部节点的类型,便于掌握信息网络中当前位置和随后搜索。
当与页对应的叶节点的图像依次在电子书籍等中馈送时,通过应用翻开图像中表示的页的这种图像效果,可以向用户提供用户正在通读书籍的真实感觉。
另外,通过适当使用各个区域的多个图像,依据多个图像产生配置一个节点的图像。此时,准备确定哪个图像数据应该用于图像平面上的每一个区域的区域划分信息,并且基于来自外部的信息改变该信息,以改变显示图像。即使原始图像的数量小,这也使得能够依赖于区域划分的变化以各种方式改变显示图像。
此时,重复进行在平铺图像的单元中的解码处理、存储解码的平铺图像到工作存储器一次并且然后做出要采用到缓冲器存储器的那些解码的平铺图像的选取并且运用。这样,可以产生显示图像,而不需要增加存储器尺寸。
以上已经结合其实施例描述本发明。本实施例是示例,并且本领域的技术人员可以认识到关于实施例的组件和处理的组合各种修改是可能的,并且此外,这种修改落入本发明的范围。
[参考标记列表]
1.信息处理系统;10信息处理装置;12显示装置;20输入装置;38平铺图像;44显示处理单元;50硬盘驱动;60主存储器;100控制单元;101图像数据;102输入信息获取部分;104图像设置控制部分;108加载部分;110帧坐标确定部分;112解码部分;114显示图像处理部分;116图像切换控制部分;118链接设置文件
[工业实用性]
如上面描述,本发明可以应用于诸如计算机、游戏装置和内容显示终端之类的信息处理装置。
Claims (6)
1.一种信息处理装置,响应于用户的视点移动操作改变显示区域以显示图像,所述装置包括:
内容存储单元,其中以相互的映射关系存储显示目标的多个图像的数据和链接设置文件,对每一个图像设置该链接设置文件,以便于在当一个图像的显示期间显示区域和特定链接区域之间的包含关系满足预定链接条件时实现用于将显示从正在被显示的图像切换到不同的图像的链接功能,链接设置文件描述链接区域的信息和链接目的地的图像的识别信息;
图像切换控制部分,配置为响应于关于正在被显示的图像的视点移动操作,参考链接设置文件以确定对图像设置的链接区域和显示区域之间的包含关系是否满足链接条件,并且当满足链接条件时规定链接目的地的图像的识别信息;以及
显示图像处理部分,配置为基于从图像切换控制部分接收到的识别信息进行用于图像数据的呈现处理以切换到显示图像,其中
其数据存储在内容存储单元中的多个图像包括配置具有预先定义的顺序的图像序列的多个图像;并且
该图像切换控制部分,当正在被显示的图像是配置图像序列的图像时,响应于由用户进行的显示图像的相继馈送操作,规定作为切换目的地的、在所述顺序中定义为正在被显示的图像的下一图像的图像的识别信息,
其中,其数据存储在内容存储单元中的多个图像具有树结构,在所述树结构中,对于较高层级的节点的图像设置的多个链接区域链接到相互不同的较低层级的节点的图像,并且图像序列包括在树结构中的相同层级上并且设置为来自相互不同的较高层级的节点的图像的链接目的地的多个图像;
图像切换控制部分响应于用户将显示从配置该图像序列的层级切换到较高层级节点的图像的操作,规定其链接目的地是作为切换目的地的、切换之前的图像的较高层级节点的图像的识别信息;以及
当在进行将显示从配置图像序列的层级切换到较高层级节点的图像的操作的时间点处的显示图像不是设置为来自较高层级节点的图像的链接目的地时,图像切换控制部分搜索预定方向上的图像序列以检测设置为链接目的地的图像,并且规定对于其检测到的图像是作为切换目的地的链接目的地的较高层级节点的图像的识别信息。
2.如权利要求1所述的信息处理装置,其中,图像序列包括来自类型不同的多个较高层级节点的图像的设置为链接目的地的图像,并且图像切换控制部分响应于将显示从配置图像序列的层级切换到较高层级节点的图像的操作,规定作为切换目的地的、与显示从其被最后切换到图像序列的较高层级节点的图像的类型相同类型的较高层级节点的图像的识别信息。
3.如权利要求1到2中任一项所述的信息处理装置,其中
当不满足链接条件时,显示图像处理部分响应于关于正在被显示的图像的视点移动操作改变正在被显示的图像中的显示区域,并且当进行相继馈送操作时将显示区域返回到预定显示区域,此后,该显示图像处理部分切换显示到所述顺序中定义为下一图像的图像。
4.如权利要求1到2中任一项所述的信息处理装置,
其中,内容存储单元中存储的多个图像的数据包括层级数据,所述层级数据表示不同分辨率的一个图像并且以分辨率的顺序层级化。
5.如权利要求1所述的信息处理装置,其中,当显示图像通过链接设置从较高层级节点的图像切换到图像序列中包括的图像时,图像切换控制部分存储当进行将显示从配置图像序列的层级的图像切换到较高层级节点的图像的操作时作为切换目的地的、切换之前的该图像的识别信息到存储器,并且每当在包括在图像序列中的图像的显示期间显示,图像响应于由用户进行的相继馈送操作跨过图像序列中预先设置的边界时,更新寄存器中存储的较高层级节点的图像的识别信息。
6.一种图像处理方法,使得图像处理装置响应于用户的视点移动操作而改变显示区域以显示图像,所述方法包括以下步骤:
从存储装置中读出内容文件,在所述内容文件中,显示目标的多个图像的数据和链接设置文件相互映射,对每一个图像设置链接文件,以在当一个图像的显示期间显示区域和特定链接区域之间的包含关系满足预定链接条件时实现从正在被显示的图像向不同的图像切换显示的链接功能,链接设置文件描述链接区域的信息和链接目的地的图像的识别信息;
响应于正在被显示的图像的视点移动操作,参考链接设置文件以确定对图像设置的链接区域和显示区域之间的包含关系是否满足链接条件,并且当满足链接条件时规定链接目的地的图像的识别信息;以及
基于识别信息进行用于图像数据的呈现处理,以切换显示装置中的显示图像,其中
其数据存储在内容存储装置中的多个图像包括配置具有预先定义的顺序的图像序列的多个图像;并且
规定识别信息的步骤当正在被显示的图像是配置图像序列的图像时,响应于由用户进行的显示图像的相继馈送操作,规定作为切换目的地的、在所述顺序中定义为正在被显示的图像的下一图像的图像的识别信息,
其中,其数据存储在内容存储装置中的多个图像具有树结构,在所述树结构中,对于较高层级的节点的图像设置的多个链接区域链接到相互不同的较低层级的节点的图像,并且图像序列包括在树结构中的相同层级上并且设置为来自相互不同的较高层级的节点的图像的链接目的地的多个图像;
规定识别信息的步骤响应于用户将显示从配置该图像序列的层级切换到较高层级节点的图像的操作,规定其链接目的地是作为切换目的地的、切换之前的图像的较高层级节点的图像的识别信息;以及
当在进行将显示从配置图像序列的层级切换到较高层级节点的图像的操作的时间点处的显示图像不是设置为来自较高层级节点的图像的链接目的地时,规定识别信息的步骤搜索预定方向上的图像序列以检测设置为链接目的地的图像,并且规定对于其检测到的图像是作为切换目的地的链接目的地的较高层级节点的图像的识别信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-208172 | 2011-09-22 | ||
JP2011208172A JP5713855B2 (ja) | 2011-09-22 | 2011-09-22 | 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造 |
PCT/JP2012/005392 WO2013042315A1 (ja) | 2011-09-22 | 2012-08-28 | 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103827924A CN103827924A (zh) | 2014-05-28 |
CN103827924B true CN103827924B (zh) | 2017-08-25 |
Family
ID=47914109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280044894.3A Active CN103827924B (zh) | 2011-09-22 | 2012-08-28 | 信息处理装置、信息处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9202440B2 (zh) |
EP (1) | EP2747033B1 (zh) |
JP (1) | JP5713855B2 (zh) |
CN (1) | CN103827924B (zh) |
WO (1) | WO2013042315A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD768659S1 (en) * | 2013-01-04 | 2016-10-11 | Level 3 Communications, Llc | Display screen or portion thereof with graphical user interface |
JP6336827B2 (ja) * | 2014-06-05 | 2018-06-06 | 株式会社日立製作所 | 画像検索装置、画像検索方法および検索システム |
KR102277087B1 (ko) * | 2014-08-21 | 2021-07-14 | 삼성전자주식회사 | 콘텐츠 분류 방법 및 전자 장치 |
US10366144B2 (en) * | 2016-04-01 | 2019-07-30 | Ebay Inc. | Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image |
US10936163B2 (en) | 2018-07-17 | 2021-03-02 | Methodical Mind, Llc. | Graphical user interface system |
CN110825997B (zh) * | 2018-08-09 | 2023-06-16 | 阿里巴巴(中国)有限公司 | 信息流页面的显示方法、装置、终端设备及系统 |
JP6711979B1 (ja) * | 2019-06-07 | 2020-06-17 | 株式会社セルシス | 書籍表示プログラム及び書籍表示装置 |
CN110960854B (zh) * | 2019-11-21 | 2023-07-25 | 北京金山安全软件有限公司 | 一种图像移动显示方法、装置、电子设备及存储介质 |
CN111258471B (zh) * | 2020-01-13 | 2021-05-25 | 维沃移动通信有限公司 | 一种对象的显示方法及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3597940B2 (ja) * | 1996-04-10 | 2004-12-08 | 日本電信電話株式会社 | Html文書本型整形方法及びその装置 |
SG64486A1 (en) | 1997-03-27 | 1999-04-27 | Sony Corp | Method and apparatus for information processing computer readable medium and authoring system |
JP2007213209A (ja) * | 2006-02-08 | 2007-08-23 | Sharp Corp | データ管理装置、データ記憶装置、データ管理方法、プログラム、および記録媒体 |
JP5520472B2 (ja) * | 2008-11-12 | 2014-06-11 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
JP5520473B2 (ja) * | 2008-11-12 | 2014-06-11 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
EP2360562B1 (en) | 2008-11-11 | 2015-04-08 | Sony Computer Entertainment Inc. | Image processing device, information processing device, image processing method, and information processing method |
CN101894115B (zh) * | 2009-05-18 | 2012-10-03 | 北京大学 | 电子文档的图像数据处理方法及其装置 |
CN102184255A (zh) * | 2011-05-30 | 2011-09-14 | 昆山富泰科电脑有限公司 | 在便携式多功能设备上进行多网页浏览切换的方法与用户图形界面 |
-
2011
- 2011-09-22 JP JP2011208172A patent/JP5713855B2/ja active Active
-
2012
- 2012-08-28 US US14/344,116 patent/US9202440B2/en active Active
- 2012-08-28 WO PCT/JP2012/005392 patent/WO2013042315A1/ja active Application Filing
- 2012-08-28 EP EP12832816.8A patent/EP2747033B1/en active Active
- 2012-08-28 CN CN201280044894.3A patent/CN103827924B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013069172A (ja) | 2013-04-18 |
US20140340391A1 (en) | 2014-11-20 |
CN103827924A (zh) | 2014-05-28 |
JP5713855B2 (ja) | 2015-05-07 |
US9202440B2 (en) | 2015-12-01 |
EP2747033A1 (en) | 2014-06-25 |
WO2013042315A1 (ja) | 2013-03-28 |
EP2747033B1 (en) | 2021-03-10 |
EP2747033A4 (en) | 2015-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103827924B (zh) | 信息处理装置、信息处理方法 | |
CN103827957B (zh) | 图像处理装置、图像处理方法和图像文件的数据结构 | |
CN103988164B (zh) | 图像处理设备和图像处理方法 | |
CN103729115B (zh) | 用于查看图像的应用 | |
CN104243995B (zh) | 图像处理装置、图像处理系统、图像处理方法及计算机程序 | |
US9218111B2 (en) | Image processing device for displaying content, content creation device, and image processing method | |
US20120007891A1 (en) | Human machine interface presenting method, handheld device using the same, and computer readable medium thereof | |
US20090262139A1 (en) | Video image display device and video image display method | |
CN102549539A (zh) | 网格导航的装置和方法 | |
CN110413191A (zh) | 显示设备和控制显示设备的方法 | |
CN103064735A (zh) | 一种显示处理方法、装置及电子设备 | |
US20140365873A1 (en) | Computing devices for generating content layout | |
CN110427236A (zh) | 一种渲染方法及装置 | |
CN106131643A (zh) | 一种弹幕处理方法、处理装置及其电子设备 | |
CN113709549A (zh) | 特效数据包生成、图像处理方法、装置、设备及存储介质 | |
CN107077347A (zh) | 视图管理架构 | |
CN114564263A (zh) | 页面布局调整方法、装置 | |
CN108958731A (zh) | 一种应用程序界面生成方法、装置、设备和存储介质 | |
US9601091B2 (en) | Information processing apparatus and information processing method | |
CN104254875A (zh) | 信息处理装置、信息处理方法及信息处理计算机程序产品 | |
CN102495839A (zh) | 一种基于信息发布和触摸查询的互动展示系统及方法 | |
US20120216110A1 (en) | Information processing device | |
US20120139949A1 (en) | Information processing device | |
CN104038608A (zh) | 一种信息处理方法、显示方法及电子设备 | |
JPH02236619A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |