CN103218845B - 图像处理装置、方法及程序以及存储介质 - Google Patents

图像处理装置、方法及程序以及存储介质 Download PDF

Info

Publication number
CN103218845B
CN103218845B CN201210259970.4A CN201210259970A CN103218845B CN 103218845 B CN103218845 B CN 103218845B CN 201210259970 A CN201210259970 A CN 201210259970A CN 103218845 B CN103218845 B CN 103218845B
Authority
CN
China
Prior art keywords
raster image
image
painted
storer
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210259970.4A
Other languages
English (en)
Other versions
CN103218845A (zh
Inventor
大户友博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103218845A publication Critical patent/CN103218845A/zh
Application granted granted Critical
Publication of CN103218845B publication Critical patent/CN103218845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种能够对基于被描绘到存储器中的光栅图像生成的用于三维显示的光栅图像和被描绘到存储器中的光栅图像中的哪一个将被显示在显示设备上的选择进行控制而不迫使用户做复杂工作的技术。描绘单元将基于作为光栅图像的基础的数据生成的光栅图像描绘到存储器中。伪三维呈现控制单元根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上执行控制。

Description

图像处理装置、方法及程序以及存储介质
技术领域
本发明涉及一种图像处理装置、图像处理方法、程序以及非瞬时计算机可读信息存储介质。
背景技术
现有一种用于基于代表位于虚拟三维空间内的对象和视角的数据生成用于三维显示的光栅图像(用于左眼的光栅图像和用于右眼的光栅图像)的技术。当这样生成的用于三维显示的光栅图像被输入到显示设备(该显示设备通过例如真顺序方法、被动眼镜方法、视差光栅(barrier)方法或其他这种方法实现为一种三维图像显示单元)时,在显示设备上三维地显示其指明如何从位于虚拟三维空间中的视角观看对象的光栅图像。
而且,存在一种图像处理装置,该图像处理装置能够进行伪三维呈现(rendering)处理,用于基于二维光栅图像生成用于三维显示的光栅图像。而且,在这样生成的用于三维显示的光栅(raster)图像被输入到显示设备中时,该光栅图像三维地显示在显示设备上。而且,存在一种显示设备,该显示设备对二维光栅图像进行伪三维呈现处理,并且生成用于三维显示的光栅图像以便三维地显示该图像。这些图像处理装置和显示设备中的某些容许根据从用户处接收到的操作输入就是否执行伪三维呈现处理进行切换。
发明内容
例如,在其中由正通过游戏控制台执行的游戏程序所生成的图像正被显示在显示设备上的情形中,在用于三维显示的光栅图像基于代表位于虚拟三维空间中的对象和视角的数据而生成并被描绘(draw)到存储器中的条件下,没有必要在第一位置对被描绘到存储器中的光栅图像执行伪三维呈现处理。同时,在上述情形中,在再现诸如闪回场面的运动图像的情况下,如果在对包括在该运动图像中的帧图像执行伪三维呈现处理之后被显示在显示设备上,则帧图像被三维地显示。
而且,例如,在包含在运动图像中的帧图像被顺序显示在显示设备上的情形下,如果包括在该运动图像中的帧图像被执行伪三维呈现处理之后被显示在显示设备上,不包含文本信息的帧图像被三维地显示。同时,在上述情形下,如果帧图像被执行伪三维呈现处理之后被显示在显示设备上,包含文本信息的帧图像可能会恶化文本信息的可见度。
而且,例如,在依赖于被描绘到存储器中的光栅图像的类型(例如,能够检测到人员或者图像是否为自然图像)等而向伪三维呈现处理施加不同负载的情况下,将被显示的一系列光栅图像可包括向伪三维呈现处理施加了重负载的光栅图像和向伪三维呈现处理施加了轻负载的光栅图像的混合体(mixture)。在这种情况下,理想的是,禁止对在伪三维呈现处理上施加高负载的光栅图像上执行伪三维呈现处理。
在其中将被显示的光栅图像系列包含期望经受的执行伪三维呈现处理的光栅图像和不期望经受的执行伪三维呈现处理的光栅图像的混合体的上述情形中,当根据用户的操作输入进行关于是否执行伪三维呈现处理的切换时,用户被迫要做一些复杂的工作。在上述情形中,期望根据基于作为光栅图像的基础的数据将描绘到存储器中(例如,所描绘的图像是否为用于三维显示的光栅图像,被执行的命令是否包含用来指令描绘用于三维显示的光栅图像的图形命令,被执行的命令是否包含用来解码被编码运动图像数据的命令、其中描绘了光栅图像的存储器的类型、或作为用于生成光栅图像的基础的数据的类型)来控制就是否执行伪三维呈现处理的选择。
基于以上所述问题提出了本发明,并且本发明的一些实施例的目的是为了在不迫使用户不进行复杂工作的情况下,就基于被描绘到存储器中的光栅图像而生成三维显示的光栅图像以及被描绘到存储器中的光栅图像中的哪一个将被显示的选择进行控制。
为了解决上述问题,根据本发明示例性实施例,提供了一种图像处理装置,包括:描绘单元,将基于作为一光栅图像的基础的数据生成的光栅图像描绘到存储器中;以及控制单元,根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上进行控制
而且,根据本发明的示例性实施例,提供了一种图像处理方法,包括:将基于作为一光栅图像的基础的数据生成的光栅图像描绘到存储器中;以及根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上进行控制。
而且,根据本发明的示例性实施例,提供了一种存储在非瞬时计算机可读信息存储介质中的程序,其将被计算机执行,该程序包括如下指令:将基于作为一光栅图像的基础的数据生成的光栅图像描绘到存储器中;以及根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上进行控制。
而且,根据本发明的示例性实施例,提供了一种非瞬时计算机可读信息存储介质,用于存储一种将被计算机执行的程序,该程序包括如下指令:将基于作为一光栅图像的基础的数据生成的光栅图像描绘到存储器中;以及根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上进行控制
根据本发明,根据基于作为光栅图像的基础的数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上的选择受到控制,并且因此能够在不迫使用户进行复杂工作的情况下,就基于被描绘到存储器中的光栅图像而生成的用于三维显示的光栅图像和被描绘到存储器中的光栅图像中的哪一个将被显示而进行控制。
根据本发明的示例性实施例,控制单元使得显示设备在用于三维显示的光栅图像被描绘单元描绘到存储器中的情况下显示被描绘到存储器中的光栅图像。
而且,根据本发明的示例性实施例,在从获得作为光栅图像的基础的数据直到描绘基于所述数据的光栅图像为止的时段期间所执行的命令包含用来指令描绘用于三维显示的光栅图像的图形命令的条件下,控制单元使得显示设备显示被描绘到存储器中的光栅图像,否则,使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像
而且,根据本发明的示例性实施例,在从获得作为光栅图像的基础的数据直到描绘基于所述数据的光栅图像为止的时段期间执行的命令包含用来解码被编码运动图像数据的命令的条件下,控制单元使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像,否则,使得显示设备显示被描绘到存储器中的光栅图像。
而且,根据本发明的示例性实施例,控制单元基于其中由描绘单元描绘了光栅图像的存储器的类型进行所述控制。
而且,根据本发明的示例性实施例,控制单元基于所述数据的属性或的所述光栅图像属性来进行所述控制。
而且,根据本发明的示例性实施例,所述图像处理装置还包括:用于三维显示的光栅图像生成单元,在其中控制单元进行控制使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像的情况下,其生成基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像。
附图说明
在附图中:
图1是图释根据本发明实施例的图像处理装置的配置的示意图;
图2是图释根据本发明实施例的图像处理装置所实现的功能的实例的功能示意图;
图3是图释虚拟空间的实例的示意图;
图4A是图释图释根据本发明实施例的图像处理装置所执行的处理的流向的实例的流程图;
图4B是图释图释根据本发明实施例的图像处理装置所执行的处理的流向的实例的流程图。
具体实施方式
下面,将结合附图详细描述本发明的实施例。
图1是图释根据本发明实施例的图像处理装置10的配置的示意图。如图1所示,根据本实施例的图像处理装置10的控制单元包括主处理器12和多个子处理器14(14-1、14-2、...以及14-n)。主处理器12和子处理器14每个连接到总线16,并且被配置为经由总线16向彼此发送/从彼此接收数据。总线16还连接到主存储器18和图像处理单元20。总线16还经由输入/输出处理单元22连接到网络板(board)24、硬盘驱动器26、光盘驱动器28、控制器30等。注意,输入/输出处理单元22还可以连接到其他单元(例如,通用串行总线(USB)端口、照相机单元、扬声器以及麦克风)。
主处理器12执行用于系统等的程序,并基于存储在从硬盘驱动器26读取的存储在硬盘上和从光盘驱动器28读取的存储在光盘上的程序和数据、通过通讯网络供应的程序和数据等,执行不同种类的信息处理或对子处理器14进行控制。子处理器14根据来自主处理器12的指令进行不同种类的信息处理,或者基于存储在硬盘或光盘上的程序和数据或通过通讯网络供应的程序和数据等控制图像处理装置10的各个单元。而且,在该实施例中,子处理器14具有内置的直接存储器访问控制器(DMAC),并被配置为直接访问主存储器18而中间(intermediation)不需要主处理器12。
存储在硬盘或光盘上的程序和数据、通过通讯网络供应的程序和数据等根据需要被写入主存储器18。主存储器18也被用作主处理器12和子处理器14的工作存储器。而且,在该实施例中,主存储器18还存储将被安装在根据本实施的图像处理装置10上的游戏程序或仿真程序。
图像处理单元20包括图形处理单元(GPU)和帧缓冲器。GPU将图像描绘到帧缓冲器中基于从主处理器12和子处理器14供应的图形命令和数据。描绘到帧缓冲器中的图像以预定的定时被转换为视频信号并被输出到监视器32。在该实施例中,家用电视机、液晶显示器等被用作监视器32.在该实施例中,图像处理单元20和监视器32通过高清多媒体接口(HDMI)缆线链接。而且,在该实施例中,图像处理单元20以预定的定时将描绘到帧缓冲器中的图像转换为HDMI的视频信号并将该视频信号输出到监视器32。
根据本实施例的监视器32被配置为按照帧顺序方法执行三维图像显示(3D显示),在该帧顺序方法中,用于左眼的光栅图像和用于右眼的光栅图像被交替显示。
输入/输出处理单元22被连接到网络板24、硬盘驱动器26、光盘驱动器28、控制器30等。输入/输出处理单元22控制主处理器12或子处理器14与网络板24、硬盘驱动器26、光盘驱动器28、控制器30等之间的数据交换。
网络板24连接到输入/输出处理单元22和网络,并对图像处理装置10经由网络执行的到/从外部部分的数据通信进行中继。光盘驱动器28根据来自主处理器12和/或子处理器14的指令读取存储在诸如DVD-ROM或蓝光(Blu-ray(注册商标))盘的光盘上的程序和数据。而且,硬盘驱动器26是一种通用的硬盘驱动器,并且读取存储在硬盘上的程序和数据。光盘和硬盘具有以计算机可读方式存储在其上的各种程序和数据。注意,图像处理装置10可被配置为能够读取存储在存储在非瞬时极端及可读信息存储介质而不是光盘和硬盘上的程序和数据。控制器30是一种通用操作输入单元,并且被用户用来输入各种操作。输入/输出处理单元22每隔预定时间(例如每隔1/60秒)扫描控制器30的每个单元的状态,并将表示其结果的操作状态供应到主处理器12和/或子处理器14。主处理器12和/或子处理器14基于该操作状态确定用户执行的操作的内容。
图2是图释根据本发明实施例的图像处理装置10所实现的功能的实例的功能示意图。注意,在根据该实施例的图像处理装置10上,还实现了除了图2所示的功能之外的功能。如图2所示,图像处理装置10在功能上包括:程序执行单元40、描绘单元42、伪三维呈现控制单元44、图像输出单元46、以及伪三维呈现执行单元48。此外,描绘单元42包括对象图像描绘单元42a和帧图像描绘单元42b。程序执行单元40和帧图像描绘单元42b主要通过主处理器12和/或子处理器14来实现。对象图像描绘单元42a、伪三维呈现控制单元44、以及图像输出单元46主要通过图像处理单元20来实现。伪三维呈现执行单元48主要通过子处理器14来实现。
那些功能根据该实施例通过图像处理装置10执行的程序来实现。该程序可以经由计算机通讯网络通过通讯接口从另一个计算机上下载,或者可以被存储在诸如光盘(例如CD-ROM或DVD-ROM)或USB存储器的非瞬时计算机可读信息存储介质上并通过其上光盘驱动器28、USB端口等安装到图像处理装置10上。
此外,在根据该实施例的图像处理装置10上,二维显示器和三维显示器中的哪一个被用来输出该图像到监视器32是预先设置的。因此,在根据该实施例的图像处理装置10上,假设预先设置采用三维显示器来输出该图像。
而且,在根据该实施例的图像处理装置10上,每隔预定时间间隔(例如每个1/60秒)进行光栅图像的描绘以及在监视器32显示。
程序执行单元40执行安装在图像处理装置10上的游戏程序(由硬盘驱动器26读取的存储在硬盘上或由光盘驱动器28读取的存储在光盘上的游戏程序)。根据该实施例的图像处理装置10通过执行上述游戏程序将如图3中例示的虚拟空间构建在主存储器18上。程序执行单元40基于表达点、线、多边形等的矢量数据生成虚拟对象52,并将所生成的虚拟对象52布置在虚拟空间50中。而且,程序执行单元40基于代表视点54的位置以及其视线方向的数据将视点54布置虚拟空间50中。在该实施例中,虚拟对象52由多个多边形构成。纹理被映射到各个多边形。上述矢量数据以及代表视点54的位置和其视线方向的数据预先被存储在可以被硬盘驱动器26读取的硬盘上或可悲光盘驱动器28读取的光盘上。
随后,程序执行单元40输出图形命令,该命令指令将呈现沿着视线方向从视点54处看到的场面的光栅图像(位图图像)描绘到对象图像描绘单元42a。该图形命令与代表其中虚拟对象52所布置的位置的数据和代表视点54的位置及视线方向的数据相关联。
当程序执行单元40接收到上述图形命令时,对象图像描绘单元42a生成左眼光栅图像以及右眼光栅图像,左眼光栅图像指明了如何从通过将从程序执行单元40接收到的视点54的位置向左偏移预定长度所获得位置(图3中的左视点56)观看虚拟空间50,右眼光栅图像指明了如何从通过将从程序执行单元40接收到的视点54的位置向右偏移预定长度所获得位置(图3中的左视点58)观看虚拟空间50,并且将那些光栅图像描绘到其对应的帧缓冲器中的每一个。采用这种方式,根据该实施例的图像处理单元20包括其中描绘左眼光栅图像的帧缓冲器和其中描绘右眼光栅图像的帧缓冲器。
而且,在执行游戏程序期间出现预定事件的条件下,程序执行单元40会进入其中诸如闪回场面的运动图像被再现的状态。在这种状态有效的条件下,程序执行单元40获取被存储在硬盘或光盘上的被编码的运动图像。随后帧图像描绘单元42b解码所获得的运动图像数据,并随后将构成该运动图像数据的一系列帧图像描绘到主存储器18中。注意,帧图像为光栅图像(位图图像)。
在该实施例中,在运动图像的再现完成的条件下,程序执行单元40恢复输出图形命令,指令将呈现从视点54处沿着视线方向观看到的场面的光栅图像(位图图像)描绘到对象图像描绘单元42a,并且对象图像描绘单元42a恢复将左眼光栅图像和右眼光栅图像描绘到帧缓冲器中。
根据光栅图像的描绘,伪三维呈现控制单元44控制关于将使得图像输出单元46输出的在正常模式下的光栅图像在伪三维呈现模式下的光栅图像中的哪一个的选择。在该实施例中,正常模式表示其中被描绘的光栅图像被输出到监视器32的模式,而伪三维呈现模式表示其中基于所描绘的光栅图像(例如,左眼光栅图像和右眼光栅图像的组合)生成的用于三维显示的光栅图像被输出到监视器32的模式。
图像输出单元46以正常模式和伪三维呈现模式中的任意一种输出描绘在帧缓冲器或主存储器18中的光栅图像到监视器32。
在此,参见图4A和4B中所例示的流程图,描述用于输出描绘在帧缓冲器或主存储器18中的光栅图像到监视器32的处理的流程,这由根据该实施例的图像处理装置10执行。
首先,基于其中描绘了将被输出光栅图像的存储器中的地址,伪三维呈现控制单元44识别光栅图像被描绘到帧缓冲器和主存储器18中哪一个(S101)。在识别到将被输出的光栅图像被描绘到主存储器18中的条件下,伪三维呈现控制单元44通知图像输出单元46一个指令以便以伪三维呈现模式输出光栅图像(S102)。随后,响应于所接收到的通知,图像输出单元46通知伪三维呈现执行单元48一个指令(用于执行伪三维呈现处理的指令),以便基于将被输出的光栅图像生成用于三维显示的光栅图像(S103)。随后,响应于所接收到的通知,伪三维呈现执行单元48基于将被输出的光栅图像生成左眼光栅图像和右眼光栅图像的组合(执行伪三维呈现处理)(S104)。最后,伪三维呈现执行单元48通知图像输出单元46一个指令,以便输出由在步骤S104中所图释的处理所生成的左眼光栅图像和右眼光栅图像(S105)。随后,响应于该通知,图像输出单元46生成包含由伪三维呈现执行单元48生成的左眼光栅图像和右眼光栅图像的数据包,该数据包遵循经由HDMI的帧打包方法(S106)。注意,帧打包方法是经由HDMI1.4的3D图片信号发送方案之一。最后,图像输出单元46将所生成的数据包发送到监视器32(S107)。注意,在该实施例中,基于描绘在主存储器18中的光栅图像的左眼光栅图像和右眼光栅图像的组合的生成和输出通过由子处理器14的DMAC实现的直接存储器访问(DMA)来执行,中间不需要帧缓冲器。
同时,在步骤S101中图释的处理中,在识别到将被输出的光栅图像被描绘到帧缓冲器中的条件下,伪三维呈现控制单元44通知图像输出单元46一个指令以便以正常模式输出光栅图像(S108)。随后,响应于所接收到的通知,图像输出单元46生成包含将被显示的光栅图像的数据包(S109)。随后,图像输出单元46将所生成的数据包发送到监视器32(S110)。
在该实施例中,如上所述,指明了如何从左视点56观看虚拟空间50的左眼光栅图像和指明了如何从左视点58观看虚拟空间50的右眼光栅图像由对象图像描绘单元42a生成并被描绘到与其对应的帧缓冲器中的每一个中,并因此在步骤S109所图释的处理中,图像输出单元46生成遵循经由HDMI的帧打包方法并包含左眼光栅图像和右眼光栅图像的数据包。
随后,在接收到在步骤S107或S110中图释的处理中发送的数据包时,监视器32解释遵循经由HDMI的帧打包方法的数据包,以便由此从所接收的数据包中抽取左眼光栅图像和右眼光栅图像(S111)。随后,监视器32按照帧顺序方法三维地显示左眼光栅图像和右眼光栅图像(S112)。
在根据该实施例的图像处理装置10上,每隔预定时间间隔执行将光栅图像描绘到帧缓冲器或主存储器18和在步骤S101到S1102中所图释的上述处理。注意,在上述处理实例中图像输出单元46发送数据包的方法并不限于帧打包方法,并且,例如可以使用诸如并排方法或顶底方法的另一种3D图片信号发送方案。
如上所述,在根据该实施例的图像处理装置10上,在将被显示的光栅图像是构成运动图像数据的帧图像的条件下以及在作为帧图像的光栅图像被描绘到主存储器18中的条件按下,基于光栅图像生成的左眼光栅图像和右眼光栅图像(通过伪三维呈现处理生成的)显示在监视器32上。同时,在根据该实施例的图像处理装置10上,在将被显示的光栅图像是基于矢量所数据生成的光栅图像的条件下以及在该栅图像被描绘到帧缓冲器中的条件下,由图像处理单元20生成的左眼光栅图像和右眼光栅图像显示在监视器32上。在这种情形中,将由伪三维呈现执行单元48进行的伪三维呈现处理不会被执行。采用这种方式,在该实施例中,无需迫使用户做复杂的工作,因此能够基于其中描绘了光栅图像的存储器的类型来控制选择基于将被描绘的光栅图像生成的用于三维显示的光栅图像和被描绘到存储器中的光栅图像中的哪一个将被显示在监视器32上。而且,根据该实施例,能够防止对由图像处理单元20生成的左眼光栅图像和右眼光栅图像执行伪三维呈现处理的这样的事件。
而且,可在根据该实施例的图像处理装置10上执行仿真器(emulator).。仿真器是起到用于执行能够由包含与图像处理装置10的处理器不同类型的处理器的装置(以下称之为“另一类型的装置”)执行的程序的虚拟机的作用的处理。该仿真器通过激活安装在根据该实施例的图像处理装置10上的仿真器程序而生成。
根据该实施例的仿真器模仿包含在另一类型的装置中的两种类型的处理器(中央处理单元(CPU)和图形处理单元(GPU))。在下面的描述中,被提供给一类型的装置的CPU被称之为另一类型的CPU,而被提供给另一类型的装置的GPU被称之为另一类型的GPU。被提供给根据该实施例的图像处理装置10和另一类型的CPU的主处理器12和子处理器14在指令设置方面不同。而且,被提供给根据该实施例的图像处理装置10和另一类型的GPU的博阿含在图像处理单元20中的GPU在指令设置方面也不同。
在该实施例中,另一类型的CPU的模仿相关的处理由主处理器12执行。而且,在该实施例中,通过被模仿的另一类型的CPU输出的图形命令(可由另一类型的GPU执行的图形命令)被写入主存储器18。随后,子处理器14将写入主存储器18中的图形命令转换为能够由包含在信息图像装置10的图像处理单元20中的GPU执行的图形命令。随后,图像处理单元20执行所转换的图形命令。
而且,在该实施例中,针对用于另一类型的处理器的具体命令(在该情形中,例如非运算(NOP)命令),根据该实施例的仿真器进行对应于在该命令中设置的参数的值(例如,操作数(operand))的处理。因此,例如,在其中基于矢量数据的用于三维显示的光栅图像(左眼光栅图像和右眼光栅图像)的生成处理被设置为在用于另一类型的处理器的NOP命令中的设置的参数的值的情形中,生成处理在根据该实施例的图像处理装置10上被执行,即使该生成处理不能在另一类型的装置上被执行。在与上述提到的NOP命令对应的处理被仿真器执行的条件下,子处理器14输出图形命令,指令将用于三维显示的光栅图像描绘到图像处理单元20中。随后,图像处理单元20生成左眼光栅图像和右眼光栅图像,并将那些光栅图像描绘到与其对应的帧缓冲器的每一个。
随后,在该实施例中,例如,在其中在仿真器上执行的游戏程序中运动图像正被再现的状态有效的条件下,仿真器将构成所述运动图像的一系列帧图像描绘到主存储器18中。
随后,在该实施例中,即使在游戏程序正被仿真器执行的条件下,在将被输出的光栅图像被描绘到主存储器18中的情形中,伪三维呈现控制单元44通知图像输出单元46一个指令,以便以伪三维呈现模式输出光栅图像,并且在将被输出的光栅图像被描绘到帧缓冲器中的情形中,通知图像输出单元46指令,以便以正常模式输出光栅图像。在图像输出单元46被通知指令以伪三维呈现模式输出光栅图像的条件下,执行与在步骤S103到S107、S111、以及S112中图释的上述处理相同的处理或类似的处理。在图像输出单元46被通知指令以正常模式输出光栅图像的条件下,执行与在步骤S109到S112中图释的上述处理相同的处理或相似的处理。
采用这种方式,即使在其中在根据该实施例的图像处理装置10上通过仿真器执行该程序的情形中,也不需要迫使用户做复杂的工作,因此能够基于其中描绘光栅图像的存储器的类型,控制选择基于将被描绘的光栅图像生成的用于三维显示的光栅图像以及被描绘到存储器中的光栅图像中哪一个将被显示在监视器32上。
注意,本发明并不限于上述实施例。
例如,在其中诸如由一系列帧图像构成的电影的运动图像正被图像处理装置10再现的场面中,伪三维呈现控制单元44可以被配置为使用已知的字符辨识技术来确定被描绘到主存储器18中的上述帧图像是否包含文本信息。随后,伪三维呈现控制单元44可被配置为在确定帧图像包含文本信息的条件下,通知图像处理单元20指令,以便以正常模式输出和光栅图像,以及在确定帧图像不包含文本信息的条件下,通知图像输出单元46指令,以便以伪三维呈现模式输出光栅图像。以这方式,包含文本信息的帧图像不被三维地显示在监视器32上,这能够防止文本信息的可视度方面的恶化。
而且,光栅图像的特性和/或属性以及伪三维呈现处理上的负载之间的关系可以基于用于由伪三维呈现执行单元48执行的伪三维呈现处理的算法的类型(例如,用于基于将被显示的光栅图像和显示在前一帧中的光栅图像之间的差识别每个像素的深度的算法或用于将预先设置为模板(template)的形状的区域的深度设置为与该模板相关联的值的算法)而被识别。在这种情形中,例如,硬盘或主存储器18可以被配置为预先存储表示与施加相对较高处理负载的光栅图像的特性和/或属性相关(例如,是自然图像、能够检测人员、或在来自前一帧中的光栅图像的特征量方面的差小于预定量)的数据。随后,伪三维呈现控制单元44可以被配置为通过使用例如已知的图像处理技术来分析将被显示的光栅图像。随后,基于分析结果,伪三维呈现控制单元44可以配置为在确定光栅图像满足由所存储的数据所表示的条件的条件下,通知图像输出单元46指令,以便以伪三维呈现模式输出光栅图像,否则,通知图像输出单元46指令,以便以正常模式输出光栅图像。
如上所述,基于起到用于生成光栅图像的基础的作用的数据属性和/或光栅图像的属性,伪三维呈现控制单元44可被配置为决定以伪三维呈现模式输出光栅图像的指令以及以正常模式输出光栅图像的指令中的哪一个将被通知到图像输出单元46。
而且,例如,伪三维呈现控制单元44可被配置为在从获得从图像输出单元46输出的起到用于生成光栅图像的基础的数据直到描绘光栅图像的时段期间由图像处理装置10执行的命令包含指令基于矢量数据或运动图像数据描绘用于三维显示的光栅图像(例如,描绘左眼光栅图像和右眼光栅图像)的图形命令的条件下,通知图像处理单元20指令以便以正常模式输出光栅图像,并且,否则,通知图像输出单元46指令以便以伪三维呈现模式输出光栅图像。
而且,例如,伪三维呈现控制单元44可被配置为,在从获得从图像输出单元46输出的起到用于生成光栅图像的基础的数据直到描绘光栅图像的时段期间由图像处理装置10执行的命令包含解码被编码的运动图像数据的命令的条件下,通知图像输出单元46指令以便以伪三维呈现模式输出光栅图像,并且否则通知图像处理单元20指令以便以正常模式输出光栅图像。
而且,例如,伪三维呈现控制单元44可被配置为,在从图像输出单元46输出的起到用于生成光栅图像的基础的数据为从光盘中输出的帧图像的条件下,通知图像输出单元46指令以便以伪三维呈现模式输出光栅图像,并且否则,通知图像处理单元20指令以便以正常模式输出光栅图像。
而且,例如,伪三维呈现控制单元44可被配置为,在将被显示的光栅图像的数量为二的条件下,即,将被显示的光栅图像为左眼光栅图像和右眼光栅图像的条件下,通知图像处理单元20指令以便以正常模式输出光栅图像,并且否则,通知图像处理单元20指令以便以伪三维呈现模式输出光栅图像。
而且在上述描述中,在图像输出单元46被通知该指令以便以伪三维呈现模式输出光栅图像的条件下,执行与在步骤S103到S107、S111、以及S112中图释的上述处理相同的处理或相似的处理,并且在在图像输出单元46被通知该指令以便以正常模式输出光栅图像的条件下,执行与在步骤S109到S112中图释的上述处理相同的处理或相似的处理。
而且,例如,在当从伪三维呈现控制单元44接收到用于以正常模式输出光栅图像的指令时将被显示的光栅图像的数量为一的条件下,图像输出单元46可被配置为生成遵循经由HDMI的帧打包方法的数据包,与光栅图像相同的图像作为左眼光栅图像和右眼光栅图像包含在该数据包中,并且将所生成的数据包发送到监视器32。而且,在当从伪三维呈现控制单元44接收到用于以正常模式输出光栅图像的指令时将被显示的光栅图像的数量为一的情形中,图像输出单元46可被配置为通过使用2D图片信号发送方案而不是使用3D图片信号发送方案发送将被显示的光栅图像到监视器32。
而且,在根据该实施例的图像处理装置10上,根据从控制器30接收到的用户操作输入,能够设置是否执行伪三维呈现处理。因此,当设置伪三维呈现处理将不被执行,同时避免上述控制被伪三维呈现控制单元44执行时,图像输出单元46可被配置为生成包含被描绘到帧缓冲器或主存储器18中的光栅图像的数据包并将该数据包发送到监视器32。此时,图像输出单元46可被配置为通过使用3D图片信号发送方案发送将被显示的光栅图像到监视器32,或者可被配置为通过使用2D图片信号发送方案发送将被显示的光栅图像到监视器32.
而且,在根据该实施例的图像处理装置10上,根据从控制器30接收到的用户操作输入,能够设置是否执行伪三维显示。因此,在设置三维呈现处理将不被执行的条件下,对象图像描绘单元42a可被配置为将呈现从视点54观看的虚拟空间50的场面的光栅图像描绘到帧缓冲器。随后,图像输出单元46可被配置为使用2D图片信号发送方案发送将被显示的光栅图像到监视器32。
例如,一种实现监视器32上3D显示的方法并不限于所述的帧顺序方法。例如,监视器32可被配置为通过改变每个水平扫描线的极性的被动眼睛方法来实现3D显示。而且监视器32可以是通过视差光栅方法实现ED显示的裸眼3D显示器。
而且,图像处理装置10不需要包括监视器32,并且图像处理装置10可被配置为输出上述数据包到连接到图像处理装置10的监视器32。
而且,可以避免伪三维呈现处理被伪三维呈现执行单元48执行。可替代地,图像处理单元20可被配置为把用来执行伪三维呈现处理的指令与将被显示的光栅图像一起输出到能够执行伪三维呈现处理监视器32。随后,监视器32可被配置为对与用来执行伪三维呈现处理的指令一起被接收的光栅图像执行伪三维呈现处理,生成左眼光栅图像和右眼光栅图像,并显示已经生成的左眼光栅图像和右眼光栅图像。
而且,程序执行单元40、描绘单元42、伪三维呈现控制单元44、图像输出单元46、以及伪三维呈现执行单元48的功能可以部分或整体由诸如图形卡的电子设备来实现。而且,能够满足采用硬件电路实现上述功能或采用电子设备上的软件来实现上述功能。
而且,主处理器12、子处理器14、以及根据该实施例的图像处理单元20所扮演的角色并不限于上述角色。例如,伪三维呈现执行单元48可以由图像处理单元20或主处理器12来实现。
尽管已经描述了目前所考虑本发明的某些实施例,但是应该理解到,可以对其做出各种修改,并且可以想到,附后权利要求书涵盖了所有这种落入本发明的构思和范围之内的修改方式。

Claims (7)

1.一种图像处理装置,包括:
描绘单元,将基于作为一光栅图像的基础的数据生成的光栅图像描绘到存储器中;以及
控制单元,根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上进行控制,
其中,在从获得作为光栅图像的基础的数据直到描绘基于所述数据的光栅图像为止的时段期间执行的命令包含用来解码被编码运动图像数据的命令的条件下,控制单元使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像,否则,使得显示设备显示被描绘到存储器中的光栅图像。
2.根据权利要求1所述的图像处理装置,其中,在用于三维显示的光栅图像被描绘单元描绘到存储器中的条件下,所述控制单元使得显示设备显示被描绘到存储器中的光栅图像。
3.根据权利要求1所述的图像处理装置,其中,在从获得作为光栅图像的基础的数据直到描绘基于所述数据的光栅图像为止的时段期间执行的命令包含用来指令描绘用于三维显示的光栅图像的图形命令的条件下,控制单元使得显示设备显示被描绘到存储器中的光栅图像,否则,使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像。
4.根据权利要求1所述的图像处理装置,其中,控制单元基于其中由描绘单元描绘了光栅图像的存储器的类型进行所述控制。
5.根据权利要求1所述的图像处理装置,其中,控制单元基于所述数据的属性或的所述光栅图像属性来进行所述控制。
6.根据权利要求1所述的图像处理装置,还包括:用于三维显示的光栅图像生成单元,在其中控制单元进行控制使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像的情况下,其生成基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像。
7.一种图像处理方法,包括:
将基于作为一光栅图像的基础的数据生成的光栅图像描绘到存储器中;以及
根据基于所述数据将光栅图像描绘到存储器中,就被描绘到存储器中的光栅图像和基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像中的哪一个将被显示在显示设备上进行控制,
其中,在从获得作为光栅图像的基础的数据直到描绘基于所述数据的光栅图像为止的时段期间执行的命令包含用来解码被编码运动图像数据的命令的条件下,使得显示设备显示基于被描绘到存储器中的光栅图像的用于三维显示的光栅图像,否则,使得显示设备显示被描绘到存储器中的光栅图像。
CN201210259970.4A 2011-07-25 2012-07-25 图像处理装置、方法及程序以及存储介质 Active CN103218845B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-162513 2011-07-25
JP2011162513A JP5328852B2 (ja) 2011-07-25 2011-07-25 画像処理装置、画像処理方法、プログラム及び情報記憶媒体

Publications (2)

Publication Number Publication Date
CN103218845A CN103218845A (zh) 2013-07-24
CN103218845B true CN103218845B (zh) 2016-02-17

Family

ID=47596841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210259970.4A Active CN103218845B (zh) 2011-07-25 2012-07-25 图像处理装置、方法及程序以及存储介质

Country Status (3)

Country Link
US (1) US20130027392A1 (zh)
JP (1) JP5328852B2 (zh)
CN (1) CN103218845B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106465395A (zh) * 2014-06-19 2017-02-22 富士通株式会社 无线通信系统、无线通信方法、无线设备以及无线基站
US9800641B2 (en) * 2015-05-04 2017-10-24 Google Inc. Pre-fetched encoding for application streaming
CN109920046A (zh) * 2019-01-16 2019-06-21 中德(珠海)人工智能研究院有限公司 一种处理光栅图像3d对象的方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1113320C (zh) * 1994-02-01 2003-07-02 三洋电机株式会社 将二维图像转换成三维图像的方法以及三维图像显示系统
CN1942901A (zh) * 2005-02-23 2007-04-04 索尼计算机娱乐公司 图像处理装置及图像处理方法
JP2008244853A (ja) * 2007-03-27 2008-10-09 Ntt Docomo Inc 通信制御装置およびプロトコル変換方法
CN101897194A (zh) * 2007-12-10 2010-11-24 三星电子株式会社 用于产生和再现包括2维图像和3维立体图像的图像文件的系统和方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3662319D1 (en) * 1986-06-07 1989-04-13 Hewlett Packard Gmbh Method for generating representations of 3-dimensional objects and system performing this method
JP3091629B2 (ja) * 1994-04-12 2000-09-25 三洋電機株式会社 立体映像表示装置
JPH07288850A (ja) * 1994-04-14 1995-10-31 Sanyo Electric Co Ltd 立体映像表示装置
JP3096593B2 (ja) * 1994-12-16 2000-10-10 三洋電機株式会社 2d/3d映像変換装置におけるフィールドメモリ活用方法
JP3375258B2 (ja) * 1996-11-07 2003-02-10 株式会社日立製作所 地図表示方法及び装置並びにその装置を備えたナビゲーション装置
JP4323889B2 (ja) * 2003-07-29 2009-09-02 株式会社バンダイナムコゲームス 立体視画像生成装置、プログラム及び情報記憶媒体
US7837558B2 (en) * 2004-03-31 2010-11-23 Nintendo Co., Ltd. Game console and emulator for the game console
JP4502795B2 (ja) * 2004-12-16 2010-07-14 株式会社岩根研究所 座標系分離記録再生装置
US20060139448A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. 3D displays with flexible switching capability of 2D/3D viewing modes
US8279221B2 (en) * 2005-08-05 2012-10-02 Samsung Display Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
JP2008244835A (ja) * 2007-03-27 2008-10-09 Toshiba Corp 立体表示装置および立体画像表示方法
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
CN102150433B (zh) * 2008-09-18 2014-04-09 松下电器产业株式会社 立体视觉影像再现装置及立体视觉影像显示装置
CN102293004B (zh) * 2009-01-22 2014-05-07 日本电气株式会社 三维影像鉴赏系统、显示系统、光学快门,和三维影像鉴赏方法
JP4915459B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20100309197A1 (en) * 2009-06-08 2010-12-09 Nvidia Corporation Interaction of stereoscopic objects with physical objects in viewing area
US8872976B2 (en) * 2009-07-15 2014-10-28 Home Box Office, Inc. Identification of 3D format and graphics rendering on 3D displays
ES2931199T3 (es) * 2009-07-27 2022-12-27 Koninklijke Philips Nv Conmutación entre vídeo 3D y vídeo 2D
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol
JP4823349B2 (ja) * 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5870272B2 (ja) * 2010-03-29 2016-02-24 パナソニックIpマネジメント株式会社 映像処理装置
JP5148652B2 (ja) * 2010-03-31 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
WO2012011890A1 (en) * 2010-07-19 2012-01-26 Hewlett-Packard Development Company L.P. Three-dimensional imaging
JPWO2012017643A1 (ja) * 2010-08-06 2013-10-03 パナソニック株式会社 符号化方法、表示装置、及び復号方法
KR101329506B1 (ko) * 2010-08-12 2013-11-13 엘지디스플레이 주식회사 영상표시장치
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1113320C (zh) * 1994-02-01 2003-07-02 三洋电机株式会社 将二维图像转换成三维图像的方法以及三维图像显示系统
CN1942901A (zh) * 2005-02-23 2007-04-04 索尼计算机娱乐公司 图像处理装置及图像处理方法
JP2008244853A (ja) * 2007-03-27 2008-10-09 Ntt Docomo Inc 通信制御装置およびプロトコル変換方法
CN101897194A (zh) * 2007-12-10 2010-11-24 三星电子株式会社 用于产生和再现包括2维图像和3维立体图像的图像文件的系统和方法

Also Published As

Publication number Publication date
JP2013025715A (ja) 2013-02-04
JP5328852B2 (ja) 2013-10-30
CN103218845A (zh) 2013-07-24
US20130027392A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
CN109743892B (zh) 虚拟现实内容的显示方法和装置
US7905779B2 (en) Video game including effects for providing different first person experiences of the same video game world and a storage medium storing software for the video game
CN105447898A (zh) 一种虚拟现实设备中显示2d应用界面的方法和装置
US6954223B2 (en) Stereoscopic image generating apparatus and game apparatus
KR20090001667A (ko) 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치및 방법
JP2012003755A (ja) 画像生成プログラム、画像生成装置、画像生成システム及び画像生成方法
CN102945563A (zh) 一种全景视频的展示与交互系统及方法
CN205283744U (zh) 显示设备
CN101477702B (zh) 计算机显卡的植入式真三维立体驱动方法
EP2065854A1 (en) Image processing device, control method for image processing device and information recording medium
CN103218845B (zh) 图像处理装置、方法及程序以及存储介质
CN112752085A (zh) 基于人眼跟踪的裸眼3d视频播放系统及方法
US10230933B2 (en) Processing three-dimensional (3D) image through selectively processing stereoscopic images
KR20190048360A (ko) 영상 처리 방법 및 장치
US20120280985A1 (en) Image producing apparatus, image producing system, storage medium having stored thereon image producing program and image producing method
CN108986228B (zh) 用于虚拟现实中界面显示的方法及装置
CN101511034A (zh) 面向Skyline的真三维立体显示方法
US10708597B2 (en) Techniques for extrapolating image frames
US8314795B2 (en) Image processing device, image processing method and information storage medium
CN115690363A (zh) 虚拟物体显示方法、装置和头戴式显示装置
CN105432081B (zh) 三维图像生成设备、三维图像生成方法、程序和信息存储介质
JP3701647B2 (ja) 画像処理装置及びプログラム
KR101159705B1 (ko) 빌보드 기반 3차원 가상현실에 의한 물체 안내 시스템 및 방법
JP5919954B2 (ja) 二次元画像逐次生成装置、方法及びプログラム
CN117915057A (zh) 图像处理方法和虚拟现实显示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant