CN112567430A - 图像生成装置、图像生成方法和程序 - Google Patents

图像生成装置、图像生成方法和程序 Download PDF

Info

Publication number
CN112567430A
CN112567430A CN201980053375.5A CN201980053375A CN112567430A CN 112567430 A CN112567430 A CN 112567430A CN 201980053375 A CN201980053375 A CN 201980053375A CN 112567430 A CN112567430 A CN 112567430A
Authority
CN
China
Prior art keywords
pixel value
pixel
management data
storage unit
acquisition management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980053375.5A
Other languages
English (en)
Inventor
横田健一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN112567430A publication Critical patent/CN112567430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种图像生成装置、图像生成方法和程序,利用其可能节约用于存储已经预先确定将规定值设为其像素值的像素的像素值的帧缓冲器的存储容量。获取管理数据存储单元(30)存储获取管理数据。像素值存储单元(32)存储对其确定像素值为从像素值存储单元(32)获取的像素的像素值。获取确定单元(34)基于获取管理数据确定是否从像素值存储单元(32)获取每个像素的像素值。对于确定从像素值存储单元(32)获取其像素值的像素,像素值确定单元(38)确定从像素值存储单元(32)获取像素值作为这些像素的像素值。对于确定不从像素值存储单元(32)获取其像素值的像素,像素值确定单元(38)确定规定值作为这些像素的像素值。

Description

图像生成装置、图像生成方法和程序
技术领域
本发明涉及图像生成装置、图像生成方法和程序。
背景技术
在一些情况下,以预定的帧速率生成要在帧缓冲器中绘制的叠加图像,在每个叠加图像中,表示正在玩的游戏中的情况的背景图像和表示游戏中的用户界面的前景图像(诸如字符、形状或符号)叠加在彼此之上。
此外,在一些情况下,为了通过包括光学系统的头戴式显示器来实现立体视觉,生成要在帧缓冲器中绘制的矩形三维图像,其包括分别在用户的左眼的圆形视场范围和用户的右眼的圆形视场范围中的失真校正的左眼图像和失真校正的右眼图像。
发明内容
[技术问题]
例如,在一些情况下,在上述前景图像中,由设计者等提前确定要布置二维对象的区域,并且预先确定表示没有颜色和全透明度的像素值被设置为区域之外的像素。
此外,例如,在上述矩形三维图像中,预先确定表示黑色的像素值被设置为圆形视场范围之外的像素。
在此,例如,对于预先确定预定值(诸如,表示无颜色和全透明的像素值或表示黑色的像素值)作为其像素值的像素,无需在帧缓冲器中确保与其他像素的存储容量一样大的存储容量。例如,关于包括每个像素需要32位的存储容量来存储其颜色和透明度的像素的图像,对于预先确定具有预定值作为其像素值的像素,无需在帧缓冲器中确保32位的存储容量。
鉴于上述情况,已经做出了本发明,并且具有提供一种图像生成装置、图像生成方法的对象以及程序的目的,其能够节约用于存储预先确定具有预定值作为其像素值的像素的像素值的帧缓冲器的存储容量。
[问题的解决方案]
为了解决上述问题,根据本发明,提供了一种图像生成装置,包括:像素值存储单元,配置为存储像素值;获取管理数据存储单元,配置为存储获取管理数据,所述获取管理数据指示是否从所述像素值存储单元获取图像中包括的每个像素的像素值;获取确定单元,配置为基于获取管理数据确定是否从像素值存储单元获取每个像素的像素值;像素值获取单元,配置为从所述像素值存储单元获取被确定为具有从所述像素值存储单元获取的像素值的像素的像素值;以及像素值确定单元,配置为确定每个像素的像素值。像素值存储单元存储被确定为具有从像素值存储单元获取的像素值的像素的像素值。像素值确定单元对于被确定为具有从像素值存储单元获取的像素值的像素,将从像素值存储单元获取的像素值确定为像素的像素值。像素值确定单元对于被确定为具有不是从像素值存储单元获取的像素值的像素,将预定值确定为像素的像素值。
在本发明的一个方面中,获取管理数据包括多条个别获取管理数据,每条数据与多个像素相关联。获取确定单元基于个别获取管理数据确定是否从像素值存储单元获取与个别获取管理数据相关联的多个像素的像素值。像素值确定单元对于与个别获取管理数据相关联并且被确定为具有不是从像素值存储单元获取的像素值的多个像素中的所有像素,将预定值确定为多个像素的像素值。
在该方面中,个别获取管理数据可以与占据图像中的矩形区域的多个像素相关联。
此外,在本发明的一个方面中,像素值存储单元存储像素值和阿尔法值。像素值确定单元对于被确定为具有从像素值存储单元获取的像素值的像素,将从像素值存储单元获取的像素值和阿尔法值确定为像素的像素值和阿尔法值。像素值确定单元对于被确定为具有不是从像素值存储单元获取的像素值的像素,将预定值确定为像素值和像素的阿尔法值。图像生成装置还包括图像生成单元,其配置为通过将具有由像素值确定单元确定的像素值和阿尔法值的图像与另一图像彼此叠加来生成叠加图像。
此外,在本发明的一个方面中,获取管理数据指示不从像素值存储单元获取占据图像中的给定区域的像素值。
此外,根据本发明,提供了一种图像生成方法,包括:像素值存储步骤,用于将像素值存储在像素值存储单元中;获取管理数据存储步骤,用于在获取管理数据存储单元中存储获取管理数据,所述获取管理数据指示是否从所述像素值存储单元获取图像中包括的每个像素的像素值;获取确定步骤,基于获取管理数据确定是否从像素值存储单元获取每个像素的像素值;像素值获取步骤,用于从所述像素值存储单元获取被确定为具有从所述像素值存储单元获取的像素值的像素的像素值;以及像素值确定步骤,确定每个像素的像素值。在像素值存储步骤中,将被确定为具有从像素值存储单元获取的像素值的像素的像素值存储在像素值存储单元中。在像素值确定步骤中,对于被确定为具有从像素值存储单元获取的像素值的像素,从像素值存储单元获取的像素值被确定为该像素的像素值。在像素值确定步骤中,对于被确定为具有不是从像素值存储单元获取的像素值的像素,将预定值确定为像素的像素值。
此外,根据本发明,提供了一种程序,用于使计算机执行:像素值存储过程,在像素值存储单元中存储像素值;获取管理数据存储过程,用于在获取管理数据存储单元中存储指示是否从像素值存储单元获取图像中包括的每个像素的像素值的获取管理数据;获取确定过程,基于获取管理数据确定是否从像素值存储单元获取每个像素的像素值;像素值获取过程,从所述像素值存储单元获取被确定为具有从所述像素值存储单元获取的像素值的像素的像素值;以及像素值确定过程,确定每个像素的像素值。在像素值存储过程中,被确定为具有从像素值存储单元获取的像素值的像素的像素值被存储在像素值存储单元中。在像素值确定过程中,对于被确定为具有从像素值存储单元获取的像素值的像素,从像素值存储单元获取的像素值被确定为该像素的像素值。在像素值确定过程中,对于被确定为具有不是从像素值存储单元获取的像素值的像素,将预定值确定为像素的像素值。
附图说明
图1是示出根据本发明一个实施例的图像处理装置的配置的示例的图。
图2是示意性地示出与前景图像相关联的获取管理数据的数据结构的示例的图。
图3是示意性地示出与三维图像相关联的获取管理数据的数据结构的示例的图。
图4是示出根据本发明实施例的图像处理装置的功能的示例的功能框图。
图5是示出根据本发明实施例的图像处理装置执行的处理的流程的示例的流程图。
图6是示出根据本发明实施例的图像处理装置执行的处理的流程的示例的流程图。
具体实施方式
现在,参考附图描述本发明的一个实施例。
图1是示出根据本发明实施例的图像处理装置10的配置的示例的图。根据本实施例的图像处理装置10例如是游戏控制台、手持游戏控制台或个人计算机。如图1所示,根据本实施例的图像处理装置10包括处理器12、存储单元14、操作单元16和显示单元18。
处理器12是诸如CPU(中央处理单元)的程序控制设备,并且根据安装在图像处理装置10中的程序来操作。根据本实施例的处理器12还包括GPU(图形处理单元),该GPU配置为基于从CPU提供的图形命令或数据在帧缓冲器中绘制图像。
存储单元14是诸如ROM(只读存储器)或RAM(随机存取存储器)的存储元件、硬盘驱动器等。此外,根据本实施例的存储单元14具有帧缓冲器区域,在其中由GPU来绘制图像。
操作单元16是键盘、鼠标、游戏控制台控制器等。操作单元16接收用户输入的操作,并将指示操作内容的信号输出到处理器12。
显示单元18是诸如液晶显示器的显示设备,并且根据来自处理器12的指令显示各种图像。此外,显示单元18可以是HMD(头戴式显示器)。
现在,描述根据使用图2和图3中例示的获取管理数据20的本实施例,如何节约图像处理装置10中用于存储图像中包括的像素值的帧缓冲器的存储容量的示例。
图2是示意性地示出根据本实施例的获取管理数据20的示例的图。
这里,例如,假设以预定的帧速率(例如,每1/60秒)生成了在每个中背景图像和前景图像彼此叠加的叠加图像。这里,背景图像可以是例如表示当从虚拟三维空间中的视点看到表示位于虚拟三维空间中的游戏人物的虚拟三维对象时获得的正在玩的游戏中的状况的帧图像。此外,前景图像可以是例如表示关于游戏中的用户界面的信息的帧图像。这里,前景图像可以是表示诸如字符、形状或符号的二维对象的帧图像。此外,图2中所示的获取管理数据20是与前景图像相关联的获取管理数据20的示例。
例如,由于正在玩的游戏中的当从虚拟三维空间中的视点看到位于虚拟三维空间中的虚拟三维对象时获得的情形经常由图形来表达,因此在某种程度上很可能允许模糊的表达。同时,当其中排列了诸如字符、形状或符号的二维对象的帧图像的分辨率低时,帧图像模糊,结果是用户难以读取内容。
鉴于此,在以下的说明中,例如,假设前景图像的分辨率比背景图像的分辨率高。此外,例如,假设通过调整背景图像的大小以匹配前景图像的分辨率,然后将前景图像和调整大小的背景图像彼此叠加,生成叠加图像。在以下描述中,例如,假设通过对前景图像和调整大小的背景图像执行阿尔法混合来生成叠加图像。
此外,在以下描述中,例如,在存储单元14中,单独地提供了其中存储背景图像的像素值的帧缓冲器区域和其中存储前景图像的像素值和阿尔法值的帧缓冲器区域。其中存储了背景图像的像素值的帧缓冲器在下文中被称为“背景帧缓冲器”,并且其中存储了前景图像的像素值和阿尔法值的帧缓冲器在下文中被称为“前景帧缓冲器”。
这里,例如,假设存储在背景帧缓冲器中的一个像素具有24位的像素值大小。此外,例如,假设前景帧缓冲器中存储的一个像素具有24位的像素值大小和8位的阿尔法值大小。因此,用于存储一个像素的像素值和阿尔法值的前景帧缓冲器的存储容量是32位。注意,一个像素的红色分量、绿色分量和蓝色分量的像素值大小可以各自是8位。
图2中所示的获取管理数据20包括多条个别获取管理数据22。图2所示的个别获取管理数据22与当前景图像被划分为多个像素块时获得的像素块相关联,其中每个像素块具有属于其的多个像素。这里,例如,假设属于一个像素块的像素的数量是14,000,并且属于该像素块的像素的像素值大小的总和是56千字节。
此外,例如,像素块可以是占据前景图像中的矩形区域的多个像素。此外,包括在获取管理数据20中的图2所示的个别获取管理数据22的每个位置与和前景图像中的个别获取管理数据22相关联的像素块的位置相关联。
图2中所示的获取管理数据20是例如指示是否从前景帧缓冲器获取像素值和阿尔法值的数据。这里,例如,包括在获取管理数据20中的一条个别获取管理数据22可以是例如指示是否从前景帧缓冲器中获取像素值和阿尔法值的1位的标志。此外,例如,指示要从前景帧缓冲器获取像素值和阿尔法值的个别获取管理数据22可具有1的值。此外,指示不要从前景帧缓冲器获取像素值和阿尔法值的个别获取管理数据22可具有0的值。
以下将值为1的个别获取管理数据22称为“第一类个别获取管理数据22a”,将值为0的个别获取管理数据22称为“第二类个别获取管理数据22b”。在图2的示例中,画阴影线的个别获取管理数据22对应于第一类个别获取管理数据22a,而没有阴影线的个别获取管理数据22对应于第二类个别获取管理数据22b。
在图2的示例中,例如,假设设计者等在前景图像中预先设置了可以放置关于用户界面的信息的区域,并且预先确定了诸如表示没有颜色和全透明的像素值的预定值被设置到该区域外部的像素。在这种情况下,例如,如图2所示,第一类个别获取管理数据22a被设置为与诸如用户界面的信息可以被放置在前景图像中的区域相关联的个别获取管理数据22。在图2的示例中,第一类个别获取管理数据22a被设置为与左下矩形区域相关联的个别获取管理数据22。此外,第二类个别获取管理数据22b被设置为与矩形区域外部的像素相关联的个别获取管理数据22。
这里,在图2的示例中,例如,关于与第一类个别获取管理数据22a相关联的像素,访问存储像素的像素值和阿尔法值的前景帧缓冲器。这里,例如,对于与一条第一类个别获取管理数据22a相关联的14,000个像素,访问存储14,000个像素中的每一个的像素值和阿尔法值的前景帧缓冲器。然后,获取14,000个像素中的每一个的像素值和阿尔法值。因此,对于14,000个像素,将所获取的像素值和阿尔法值确定为像素的像素值和阿尔法值。
同时,对于与第二类个别获取管理数据22b相关联的像素,不访问前景帧缓冲器。此外,对于与第二类个别获取管理数据22b相关联的所有14,000个像素,预定值被确定为像素的像素值和阿尔法值。这里,例如,表示没有颜色和完全透明的像素值和阿尔法值可以被确定为像素的像素值和阿尔法值。由此,在与第二类个别获取管理数据22b相关联的像素中,背景图像的内容出现在叠加图像中。
图3是示意性地示出根据本实施例的获取管理数据20的另一示例的图。
这里,例如,假设以预定帧速率(例如,每1/60秒)生成三维图像。三维图像例如是矩形图像,为了通过包括光学系统的头戴式显示器实现立体影像,该矩形图像分别包括在用户的左眼的圆形视场范围和用户的右眼的圆形视场范围中的失真校正的左眼图像和失真校正的右眼图像。此外,图3中所示的获取管理数据20是与三维图像相关联的获取管理数据20的示例。
图3中所示的获取管理数据20包括多条个别获取管理数据22。图3所示的个别获取管理数据22与当三维图像被划分为多个像素块时获得的像素块相关联,其中每个像素块具有属于其的多个像素。
此外,例如,像素块可以是占据前景图像中的矩形区域的多个像素。此外,包括在获取管理数据20中的图3所示的个别获取管理数据22的每个位置与和前景图像中的个别获取管理数据22相关联的像素块的位置相关联。
图3中所示的获取管理数据20是例如指示是否从帧缓冲器获取像素值的数据。这里,例如,包括在获取管理数据20中的一条个别获取管理数据22可以是例如指示是否从帧缓冲器获取像素值的1位的标志。此外,例如,表示要从帧缓冲器中获取像素值的个别获取管理数据22可以具有1的值,表示不要从帧缓冲器中获取像素值的个别获取管理数据22可以具有0的值。
同样在图3的示例中,将值为1的个别获取管理数据22称为“第一类个别获取管理数据22a”,将值为0的个别获取管理数据22称为“第二类个别获取管理数据22b”。同样在图3的示例中,画阴影线的个别获取管理数据22对应于第一类个别获取管理数据22a,而没有阴影线的个别获取管理数据22对应于第二类个别获取管理数据22b。
此外,图3示出了在三维图像中与用户的左眼的圆形视场范围和用户的右眼的圆形视场范围相关联的两个圆形视区24。在本实施例中,例如,假设观看区域24与三维图像中的给定区域相关联。此外,在图3的示例中,第二类个别获取管理数据22b被设置为与仅包括观看区域24之外的像素的像素块相关联的个别获取管理数据22,此外,第一类个别获取管理数据22a被设置为与包括部分或全部在观看区域24中的像素的像素块相关联的个别获取管理数据22。
在图3的示例中,对于与第一类个别获取管理数据22a相关联的像素,对存储像素的像素值的帧缓冲器进行访问。这里,例如,对于与一条第一类个别获取管理数据22a相关联的多个像素,对存储多个像素中的每一个的像素值的帧缓冲器进行访问。然后,对于多个像素中的每一个,获取该像素的像素值。然后,对于多个像素,将所获取的像素值确定为像素的像素值。
同时,对于与第二类个别获取管理数据22b相关联的像素,不访问存储像素的像素值的帧缓冲器。对于该像素,预定值被确定为像素的像素值。这里,例如,表示黑色的像素值可以被确定为像素的像素值。由此,在三维图像中,观看区域24之外的区域是黑色的。
在三维图像中,预先确定将诸如表示黑色的像素值的预定值设置为圆形视场范围之外的区域中的像素值。因此,对于与如上所述仅包括观看区域24之外的像素的像素块相关联的第二类个别获取管理数据22b相关联的像素,毫无问题地将表示黑色的像素值确定为像素的像素值。
在本实施例中,在图2所示的获取管理数据20和图3所示的获取管理数据20中,都确保了用于存储与第一类个别获取管理数据22a相关联的像素的像素值的帧缓冲器的存储容量。同时,不确保用于存储与第二类个别获取管理数据22b相关联的像素的像素值的帧缓冲器的存储容量。此外,在本实施例中,例如,存储单元14中的与用于存储与第二类个别获取管理数据22b相关联的像素的像素值的帧缓冲器的存储容量相对应的区域可以用于除了帧缓冲器之外的目的。
注意,获取管理数据20本身可以存储在存储单元14中确保为帧缓冲器的区域中,或者可以存储在存储单元14中确保为帧缓冲器的区域之外。
如上所述,根据本实施例,可以节约用于存储预先确定为具有预定值作为其像素值的像素的像素值的帧缓冲器的存储容量。例如,在参照图2描述的示例中,与前景图像中包括的所有像素的像素值和阿尔法值被存储在前景帧缓冲器中的情况相比,可以节约在存储单元14中确保为前景帧缓冲器的区域的大小。此外,例如,在参照图3描述的示例中,与三维图像中包括的所有像素的像素值存储在帧缓冲器中的情况相比,可以节约在存储单元14中确保为帧缓冲器的区域的大小。
注意,尽管存储单元14需要用于存储获取管理数据20的存储容量,但是存储获取管理数据20所需的存储单元14的存储容量小于存储像素值所需的存储单元14的存储容量。因此,即使获取管理数据20存储在存储单元14中确保为帧缓冲器的区域中,也可以整体节约帧缓冲器的存储容量。
此外,例如,在参考图2描述的示例中,仅像素值可被存储在前景帧缓冲器中,而阿尔法值可不被存储。此外,在这种情况下,例如,可以通过在调整大小的背景图像上覆盖前景图像来生成叠加图像。
现在,进一步描述根据本实施例的图像处理装置10的功能和根据本实施例的图像处理装置10执行的处理,重点在于使用获取管理数据20的像素值确定。
图4是示出在根据本实施例的图像处理装置10上实现的功能的示例的功能框图。注意,在根据本实施例的图像处理装置10上,不一定实现图4所示的所有功能,并且可以实现除图4所示的功能之外的功能。
如图4所示,图像处理装置10在功能上包括例如获取管理数据存储单元30、像素值存储单元32、获取确定单元34、像素值获取单元36、像素值确定单元38、图像生成单元40和显示控制单元42。获取管理数据存储单元30和像素值存储单元32主要由存储单元14实现。获取确定单元34、像素值获取单元36、像素值确定单元38和图像生成单元40主要由处理器12实现,显示控制单元42主要由处理器12和显示单元18实现。图像处理装置10在本实施例中起到配置为生成图像的图像生成装置的作用。
上述功能可以通过处理器12执行安装在作为计算机的图像处理装置10中并且包括与上述功能相对应的指令的程序来实现。可以通过诸如光盘、磁盘、磁带、磁光盘或闪存之类的计算机可读信息存储介质,或者通过因特网等将程序提供给图像处理装置10。
获取管理数据存储单元30存储获取管理数据20,其指示是否从像素值存储单元32获取例如在本实施例中的图像中包括的每个像素的像素值。
这里,获取管理数据20可以包括多条个别获取管理数据22,每条与多个像素相关联。此外,如参考图2所述,个别获取管理数据22可以与占据图像中矩形区域的多个像素相关联。在图2和图3的示例中,将个别获取管理数据22与图像中的矩形区域中的多个像素(像素块)相关联。注意,一条个别获取管理数据22可以与一个像素相关联。
此外,获取管理数据20可以指示不从像素值存储单元32获取占据图像中给定区域的像素的像素值。例如,如图2的示例中,与占据其中可以布置二维对象的区域之外的给定区域的像素相关联的个别获取管理数据22可以指示不访问像素值存储单元32。此外,例如,如图3的示例中,与占据与观看区域24相关联的给定圆形视场范围之外的给定区域的像素相关联的个别获取管理数据22可以指示不访问像素值存储单元32。
例如,在本实施例中,像素值存储单元32存储像素值。这里,例如,像素值存储单元32可以存储由获取确定单元34确定为具有从像素值存储单元32获取的像素值的像素的像素值。
此外,像素值存储单元32可以存储被确定为具有从像素值存储单元32获取的像素值的像素的像素值和阿尔法值。
此外,在本实施例中,例如,在像素值存储单元32中不确保用于存储被确定为具有不是从像素值存储单元32获取的像素值的像素的像素值的帧缓冲器的存储容量。
例如,确保作为用于存储参考图2描述的前景图像中的像素值和阿尔法值的前景帧缓冲器或者作为用于存储参考图3描述的三维图像中的像素值的帧缓冲器的区域,对应于像素值存储单元32。
获取确定单元34基于获取管理数据20确定是否从例如本实施例中的像素值存储单元32获取图像中包括的每个像素的像素值。这里,获取确定单元34也可以根据个别获取管理数据22,确定是否从像素值存储单元32获取与个别获取管理数据22对应的多个像素的像素值。例如,可以确定从像素值存储单元32获取与第一类个别获取管理数据22a相关联的像素的像素值。此外,可以确定没有从像素值存储单元32获取与第二类个别获取管理数据22b相关联的像素的像素值。
像素值获取单元36从像素值存储单元32获取例如在本实施例中被确定为具有从像素值存储单元32获取的像素值的像素的像素值。
例如,在本实施例中,像素值确定单元38确定包括在图像中的每个像素的像素值。这里,例如,像素值确定单元38对于被确定为具有从像素值存储单元32获取的像素值的像素,将从像素值存储单元32获取的像素值确定为像素的像素值。此外,例如,像素值确定单元38对于被确定为具有不是从像素值存储单元32获取的像素值的像素,将预定值确定为像素的像素值。
这里,像素值确定单元38可以确定像素值和阿尔法值。例如,对于被确定为具有从像素值存储单元32获取的像素值的像素,从像素值存储单元32获取的像素值和阿尔法值可以被确定为像素的像素值和阿尔法值。此外,例如,对于被确定为具有不是从像素值存储单元32获取的像素值的像素,可以将预定值确定为像素的像素值和阿尔法值。在参考图2描述的示例中,预定值是表示无色和全透明的像素值和阿尔法值。此外,在参照图3描述的示例中,预定值是表示黑色的像素值。
此外,像素值确定单元38可以对于被确定为具有不是从像素值存储单元32获取的像素值的、与第二类个别获取管理数据22b相关联的所有多个像素,将预定值确定为多个像素的像素值。这里,对于与第二类个别获取管理数据22b相关联的所有多个像素,预定值可以被确定为多个像素的像素值和阿尔法值。
图像生成单元40例如基于由本实施例中的像素值确定单元38确定的像素值来生成图像。这里,图像生成单元40可以通过将具有由像素值确定单元38确定的像素值和阿尔法值的图像与另一图像彼此叠加来生成叠加图像。例如,如参照图2所述,图像生成单元40可通过将具有由像素值确定单元38确定的像素值的前景图像和具有存储在背景帧缓冲器中的像素值的像素的背景图像彼此叠加来生成叠加图像。此外,可以通过将前景图像和调整大小的背景图像彼此叠加来生成叠加图像。
此外,例如,像素值确定单元38可以确定叠加图像中包括的每个像素的像素值。这里,例如,可以执行基于前景图像中的像素的阿尔法值的阿尔法混合。例如,基于前景图像中所包括的像素的阿尔法值、像素的像素值以及背景图像中与所讨论的像素相关联的像素值,可以确定叠加图像中与所讨论的像素相关联的像素值。然后,图像生成单元40可以基于这样确定的像素值来生成叠加图像。
此外,如参照图3所述,图像生成单元40可生成三维图像。
显示控制部42控制显示部18,以显示例如由本实施方式的图像生成部40生成的图像。这里,例如,可以在显示器上显示参考图2描述的叠加图像。此外,例如,参考图3描述的三维图像可以显示在HMD上。
这里,参照图5的流程图描述根据本实施例的图像处理装置10执行的处理流程的示例,在本处理示例中描述的处理对应于参照图2描述的示例。
注意,在本处理例中,假设将帧中的获取管理数据20以预定帧速率存储在获取管理数据存储单元30中,此外,在本处理例中,假设将帧中的背景图像的像素值以预定帧速率存储在背景帧缓冲器中。此外,假设以预定帧速率,将与帧中的第一类个别获取管理数据22a相关联的前景图像中的像素值和阿尔法值存储在前景帧缓冲器中。
首先,获取确定单元34从获取管理数据存储单元30获取帧中的获取管理数据20(S101)。
然后,获取确定单元34从在S101的处理中获取的获取管理数据20中所包括的个别获取管理数据22中,选择在帧中未经过S103至S107的处理的个别获取管理数据22(S102)。
然后,获取确定单元34确认对在S102的处理中选择的个人获取管理数据22设置的值(S103)。
这里,假设确认该值为1,即,确认个别获取管理数据22是第一类个别获取管理数据22a。在这种情况下,像素值获取单元36访问像素值存储单元32以获取属于与第一类个别获取管理数据22a相关联的像素块的多个像素中的每一个的像素值和阿尔法值(S104)。
然后,像素值确定部38对于属于像素块的多个像素的每一个,将在S104的处理中获取的像素的像素值和阿尔法值确定为前景图像中包含的像素的像素值和阿尔法值(S105)。
同时,假设在S103的处理中确认该值为0。即,确认个别获取管理数据22是第二类个别获取管理数据22b。在这种情况下,像素值确定单元38对于属于与第二类个别获取管理数据22b相关联的像素块的所有像素,将预定值确定为前景图像中包括的像素的像素值和阿尔法值(S106)。这里,例如,作为像素的像素值和阿尔法值,确定表示没有颜色和全透明的像素值和阿尔法值。
然后,像素值确定部38确定与属于像素块的多个像素相关联的叠加图像中的多个像素的像素值(S107)。这里,例如,可以基于在S105或S106的处理中确定的前景图像中包括的像素的像素值和阿尔法值以及背景图像中与所讨论的像素相关联的像素的像素值,确定叠加图像中的像素的像素值。
然后,像素值确定单元38确认是否该帧中的所有个别获取管理数据22都已经经过S103到S107的处理(S108)。
在不是该帧中的所有个人获取管理数据22都经过S103到S107的处理的情况下(S108:否),处理返回到S102的处理。
在帧中的所有个人获取管理数据22都已经经过S103至S107的处理的情况下(S108:是),图像生成单元40生成帧中的叠加图像(S109)。这里,例如,基于在S107的处理中确定的像素值来生成叠加图像。
然后,显示控制单元42控制显示单元18显示在S109的处理中生成的叠加图像(S110),并且处理返回到S101的处理。
在本处理示例中,以预定帧速率重复执行S101至S110的处理。
注意,在上述处理示例中,帧中的获取管理数据20可以不以预定帧速率存储在获取管理数据存储单元30中。例如,可以使用所有帧共用的获取管理数据20。在这种情况下,当S110的处理结束时,处理可以返回到S102的处理,并且可以执行下一帧的处理。
接着,参照图6的流程图,描述本实施方式的图像处理装置10的处理流程的其他示例,在本处理示例中描述的处理与参照图3描述的示例对应。
注意,在本处理例中,将帧中的获取管理数据20以预定帧速率存储在获取管理数据存储单元30中,此外,在本处理例中,将与帧中的第一类个别获取管理数据22a对应的三维图像的像素的像素值以预定帧速率存储在帧缓冲器中。
首先,获取确定单元34从获取管理数据存储单元30获取帧中的获取管理数据20(S201)。
然后,获取确定单元34从在S201的处理中获取的获取管理数据20中所包括的个别获取管理数据22中选择在该帧中未经过S203至S206的处理的个别获取管理数据22(S202)。
然后,获取确定单元34确认对在S202的处理中选择的个人获取管理数据22设置的值(S203)。
这里,假设确认该值为1。即,确认个别获取管理数据22是第一类个别获取管理数据22a。在这种情况下,像素值获取单元36访问像素值存储单元32以获取属于与第一类个别获取管理数据22a相关联的像素块的多个像素中的每一个的像素值(S204)。
然后,像素值确定单元38对于属于像素块的多个像素中的每一个,将在S204的处理中获取的像素的像素值确定为三维图像中包括的像素的像素值(S205)。
同时,假设在S203的处理中确认该值为0。即,确认个别获取管理数据22是第二类个别获取管理数据22b。在这种情况下,像素值确定单元38对于属于与第二类个别获取管理数据22b相关联的像素块的所有像素,将预定值确定为在三维图像中包括的像素值(S206)。这里,例如,作为像素的像素值,确定表示黑色的像素值。
然后,像素值确定单元38确认是否该帧中的所有个别获取管理数据22都已经经过S203到S206的处理(S207)。
在不是该帧中的所有个人获取管理数据22都经过S203到S206的处理的情况下(S207:否),处理返回到S202的处理。
在该帧中的所有个人获取管理数据22都已经经过S203到S206的处理的情况下(S207:是),图像生成单元40生成该帧中的三维图像(S208)。这里,例如,基于在S205或S206的处理中确定的像素值来生成三维图像。
然后,显示控制单元42控制显示单元18显示在S208的处理中生成的三维图像(S209),并且处理返回到S201的处理。
在本处理示例中,以预定帧速率重复执行S201至S209的处理。
注意,在上述处理例中,该帧中的获取管理数据20可以不以预定帧速率存储在获取管理数据存储单元30中。例如,可以使用所有帧共同的获取管理数据20。在这种情况下,当S209的处理结束时,处理可以返回到S202的处理,并且可以执行下一帧的处理。
注意,本发明并不限于上述实施例。
此外,上述描述和附图中的特定字符串和数值仅仅是示例,本发明不限于此。

Claims (7)

1.一种图像生成装置,包括:
像素值存储单元,配置为存储像素值;
获取管理数据存储单元,配置为存储获取管理数据,所述获取管理数据指示是否从所述像素值存储单元获取图像中包括的每个像素的像素值;
获取确定单元,配置为基于所述获取管理数据确定是否从所述像素值存储单元获取所述每个像素的像素值;
像素值获取单元,配置为从所述像素值存储单元获取被确定为具有从所述像素值存储单元获取的像素值的像素的像素值;以及
像素值确定单元,配置为确定所述每个像素的像素值,
其中,所述像素值存储单元存储被确定为具有从所述像素值存储单元获取的像素值的像素的像素值,
所述像素值确定单元对于被确定为具有从所述像素值存储单元获取的像素值的像素,将从所述像素值存储单元获取的像素值确定为所述像素的像素值,以及
所述像素值确定单元对于被确定为具有不是从所述像素值存储单元获取的像素值的像素,将预定值确定为所述像素的像素值。
2.根据权利要求1所述的图像生成装置,其中所述获取管理数据包括多条个别获取管理数据,每条数据与多个像素相关联,
所述获取确定单元基于所述个别获取管理数据,确定是否从所述像素值存储单元获取与所述个别获取管理数据相关联的所述多个像素的像素值,以及
所述像素值确定单元对于与所述个别获取管理数据相关联并且被确定为具有不是从所述像素值存储单元获取的像素值的多个像素中的所有像素,将预定值确定为所述多个像素的像素值。
3.根据权利要求2所述的图像生成装置,其中,所述个别获取管理数据与占据所述图像中的矩形区域的多个像素相关联。
4.根据权利要求1至3中任一项所述的图像生成装置,
其中,所述像素值存储单元存储像素值和阿尔法值,
所述像素值确定单元对于被确定为具有从所述像素值存储单元获取的像素值的像素,将从所述像素值存储单元获取的像素值和阿尔法值确定为所述像素的像素值和阿尔法值,
所述像素值确定单元对于被确定为具有不是从所述像素值存储单元获取的像素值的像素,确定预定值作为所述像素的像素值和阿尔法值,以及
所述图像生成装置还包括图像生成单元,配置为通过将具有所述由像素值确定单元确定的所述像素值和所述阿尔法值的图像与另一图像彼此叠加来生成叠加图像。
5.根据权利要求1至4中任一项所述的图像生成装置,
其中,所述获取管理数据指示不从所述像素值存储单元获取占据所述图像中的给定区域的像素值。
6.一种图像生成方法,包括:
像素值存储步骤,用于将像素值存储在像素值存储单元中;
获取管理数据存储步骤,用于在获取管理数据存储单元中存储获取管理数据,所述获取管理数据指示是否从所述像素值存储单元获取图像中包括的每个像素的像素值;
获取确定步骤,用于基于所述获取管理数据确定是否从所述像素值存储单元获取每个像素的像素值;
像素值获取步骤,用于从所述像素值存储单元获取被确定为具有从所述像素值存储单元获取的像素值的像素的像素值;以及
像素值确定步骤,用于确定每个像素的像素值,
其中,在所述像素值存储步骤中,将被确定为具有从所述像素值存储单元获取的像素值的像素的像素值存储在所述像素值存储单元中,
在像素值确定步骤中,对于被确定为具有从所述像素值存储单元获取的像素值的像素,从所述像素值存储单元获取的像素值被确定为所述像素的像素值,并且
在像素值确定步骤中,对于被确定为具有不是从所述像素值存储单元获取的像素值的像素,将预定值确定为所述像素的像素值。
7.一种用于使计算机执行以下过程的程序:
像素值存储过程,用于将像素值存储在像素值存储单元中;
获取管理数据存储过程,用于在获取管理数据存储单元中存储获取管理数据,所述获取管理数据指示是否从所述像素值存储单元获取图像中包括的每个像素的像素值;
获取确定过程,用于基于所述获取管理数据确定是否从所述像素值存储单元获取每个像素的像素值;
像素值获取过程,用于从所述像素值存储单元获取被确定为具有从所述像素值存储单元获取的像素值的像素的像素值;以及
像素值确定过程,用于确定每个像素的像素值,
其中,在所述像素值存储过程中,将被确定为具有从所述像素值存储单元获取的像素值的像素的像素值存储在所述像素值存储单元中,
在像素值确定过程中,对于被确定为具有从所述像素值存储单元获取的像素值的像素,从所述像素值存储单元获取的像素值被确定为所述像素的像素值,并且
在像素值确定过程中,对于被确定为具有不是从所述像素值存储单元获取的像素值的像素,将预定值确定为所述像素的像素值。
CN201980053375.5A 2018-08-17 2019-08-15 图像生成装置、图像生成方法和程序 Pending CN112567430A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018153493 2018-08-17
JP2018-153493 2018-08-17
PCT/JP2019/032038 WO2020036214A1 (ja) 2018-08-17 2019-08-15 画像生成装置、画像生成方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112567430A true CN112567430A (zh) 2021-03-26

Family

ID=69525442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053375.5A Pending CN112567430A (zh) 2018-08-17 2019-08-15 图像生成装置、图像生成方法和程序

Country Status (4)

Country Link
US (1) US11551383B2 (zh)
JP (1) JP6947939B2 (zh)
CN (1) CN112567430A (zh)
WO (1) WO2020036214A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580832B2 (en) * 2020-10-23 2023-02-14 Himax Technologies Limited Motion detection system and method
CN114445598A (zh) * 2020-10-30 2022-05-06 北京京东方光电科技有限公司 一种显示数据处理方法、系统、存储介质及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5008838A (en) * 1989-11-17 1991-04-16 Digital Corporation Method for simultaneous initialization of a double buffer and a frame buffer
JPH07240845A (ja) * 1994-02-28 1995-09-12 Fuji Film Micro Device Kk 画像のデータ圧縮および伸張
US6011566A (en) * 1994-09-01 2000-01-04 Unisys Corporation System and method to display raster images with negligible delay time and reduced memory requirements
JPH10288980A (ja) * 1997-02-17 1998-10-27 Seiko Epson Corp 画像表示装置および画像表示システム
US6198835B1 (en) * 1998-01-08 2001-03-06 Xerox Corporation Image input device and method for providing scanning artifact detection
AUPQ377899A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Phase three kernel selection
US20070188506A1 (en) * 2005-02-14 2007-08-16 Lieven Hollevoet Methods and systems for power optimized display
US7450778B2 (en) * 2005-03-17 2008-11-11 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
JP2013187595A (ja) * 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US9928610B2 (en) * 2014-06-27 2018-03-27 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US10078883B2 (en) * 2015-12-03 2018-09-18 Qualcomm Incorporated Writing graphics data from local memory to system memory
US10269119B2 (en) * 2015-12-07 2019-04-23 Avigilon Analytics Corporation System and method for background and foreground segmentation
US10127632B1 (en) * 2016-09-05 2018-11-13 Google Llc Display and update of panoramic image montages
US10762702B1 (en) * 2018-06-22 2020-09-01 A9.Com, Inc. Rendering three-dimensional models on mobile devices

Also Published As

Publication number Publication date
US11551383B2 (en) 2023-01-10
WO2020036214A1 (ja) 2020-02-20
US20210233292A1 (en) 2021-07-29
JP6947939B2 (ja) 2021-10-13
JPWO2020036214A1 (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
CN106204712B (zh) 分段线性不规则光栅化
US10134106B2 (en) Method and device for selective display refresh
US6954223B2 (en) Stereoscopic image generating apparatus and game apparatus
US9013479B2 (en) Apparatus and method for tile-based rendering
US10935788B2 (en) Hybrid virtual 3D rendering approach to stereovision
JP5476910B2 (ja) 画像生成装置、画像生成方法、および、プログラム
EP3816941A1 (en) Image processing system and method
CN112567430A (zh) 图像生成装置、图像生成方法和程序
US8824778B2 (en) Systems and methods for depth map generation
JP2012100116A (ja) 表示処理装置、表示処理方法およびプログラム
US20140306958A1 (en) Stereoscopic rendering system
WO2020015381A1 (en) Variable resolution rendering
JP3819873B2 (ja) 立体映像表示装置及びプログラム
CN112740278B (zh) 用于图形处理的方法及设备
US8817081B2 (en) Image processing apparatus, image processing method, and program
KR101991401B1 (ko) 증강 현실 표시 방법 및 장치
US20130027392A1 (en) Image processing apparatus, image processing method, program, and non-transitory computer readable information storage medium
US20170168687A1 (en) Image processing method and apparatus for operating in low-power mode
US7724253B1 (en) System and method for dithering depth values
GB2514410A (en) Image scaling for images including low resolution text
KR102005526B1 (ko) 증강 현실 표시 방법 및 장치
CN116954780A (zh) 显示画面的渲染方法、装置、设备、存储介质及程序产品
US20090150815A1 (en) Method for sorting graphical objects
CN118115693A (zh) 生成并排三维影像的方法及电脑装置
JP5556493B2 (ja) 表示装置、表示方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination