CN103544441B - 移动图像生成装置 - Google Patents

移动图像生成装置 Download PDF

Info

Publication number
CN103544441B
CN103544441B CN201310292016.XA CN201310292016A CN103544441B CN 103544441 B CN103544441 B CN 103544441B CN 201310292016 A CN201310292016 A CN 201310292016A CN 103544441 B CN103544441 B CN 103544441B
Authority
CN
China
Prior art keywords
field picture
confined
image
appearing
mobile image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310292016.XA
Other languages
English (en)
Other versions
CN103544441A (zh
Inventor
滨田全章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103544441A publication Critical patent/CN103544441A/zh
Application granted granted Critical
Publication of CN103544441B publication Critical patent/CN103544441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种移动图像生成装置,其配置为:呈现包括多个图像元素的帧图像;输出呈现位置信息,呈现位置信息规定在该多个图像元素中其观看要被限制的秘密元素在帧图像内的呈现位置;并且利用帧图像生成移动图像,同时,对由呈现位置信息规定的在帧图像内的目标区域进行显示限制处理。

Description

移动图像生成装置
技术领域
本发明涉及用于生成要向第三方公开的移动图像的移动图像生成装置、移动图像生成方法和信息存储介质。
背景技术
近年来,关于移动图像的数据(甚至私下地)通过将这些数据上载到因特网上的服务器上、实时分发数据或者其它这种方法而向不特定的观看者公开。例如,一些消费者游戏机在用户正玩游戏的同时生成示出正如何玩游戏的移动图像,并且将所生成的移动图像上载到服务器上。
当移动图像向不特定的观看者公开时,需要阻止如下信息被包含在移动图像中,该信息的观看是不希望的(诸如个人信息之类)。为了阻止这种信息被观看,制造商可以每次在用于产生移动图像的处理中规定这种信息的显示位置,并且在规定的显示位置上进行像素化或者进行其它这种编辑,以便限制该信息的显示。然而,手动进行这种编辑并非易事。
发明内容
本发明是鉴于上述情况而做出的,并且具有提供一种移动图像生成装置、一种移动图像生成方法和一种信息存储介质的目的,该移动图像生成装置能够当生成要公开的移动图像时容易地对如下信息进行显示限制处理,该信息的观看要被限制。
根据本发明的一个示例性实施例,提供了一种移动图像生成装置,包括:呈现部分,用于呈现包括多个图像元素的帧图像;呈现位置信息输出部分,用于输出规定在多个图像元素中其观看要被限制的秘密元素在帧图像内的呈现位置的呈现位置信息;以及移动图像生成部分,用于利用帧图像生成移动图像,并且当生成移动图像时,对由呈现位置信息规定的在帧图像内的目标区域进行显示限制。
此外,根据本发明的一个示例性实施例,提供了一种移动图像生成方法,包括:呈现包括多个图像元素的帧图像;输出呈现位置信息,呈现位置信息规定在该多个图像元素中其观看要被限制的秘密元素在帧图像内的呈现位置;以及利用帧图像生成移动图像,并且当生成移动图像时,对由呈现位置信息规定的在帧图像内的目标区域进行显示限制处理。
此外,根据本发明的一个示例性实施例,提供了一种具有存储于其上的程序的非临时性计算机可读信息存储介质,该程序包括用于使得计算机执行如下例程的指令:呈现包括多个图像元素的帧图像;输出呈现位置信息,呈现位置信息规定在该多个图像元素中其观看要被限制的秘密元素在帧图像内的呈现位置;以及利用帧图像生成移动图像,并且当生成移动图像时,对由呈现位置信息规定的在帧图像内的目标区域进行显示限制处理。
附图说明
在附图中:
图1是示出了根据本发明的一个实施例的移动图像生成装置的配置的块图;
图2是示出了根据本发明的该实施例的移动图像生成装置的功能的功能块图;
图3是包括秘密信息的帧图像的一个示例。
图4是示出了在图3的帧图像上对秘密信息进行显示限制处理的结果的图像;以及
图5是示出了根据本发明的另一实施例的移动图像生成装置的配置的块图。
具体实施方式
参考附图,下面详细描述了本发明的一个实施例。
根据本发明的实施例的移动图像生成装置1是诸如消费者游戏机、便携式游戏机和个人计算机之类的信息处理装置,并且包括如图1中示出那样的CPU11、存储单元12、GPU13、帧缓存器14和通信单元15。此外,移动图像生成装置1连接至操作装置16和显示装置17。在该实施例中,移动图像生成装置1生成旨在向第三方公开的移动图像(此后称作公开移动图像)。在下文中,作为特定示例,移动图像生成装置1是用于执行游戏程序的游戏装置,并且在显示装置17上显示游戏移动图像(其作为执行游戏程序的结果生成)以便使得用户能够观看游戏移动图像。移动图像生成装置1然后将该游戏移动图像用于生成公开移动图像。
CPU11根据存储在存储单元12中的程序而执行各种类型的信息处理。在该实施例中,CPU11执行游戏程序。
存储单元12包括诸如RAM之类的存储器元件,并且存储要由CPU11执行的程序和各种类型的数据。存储单元12还起CPU11的工作存储器的作用。
响应于从CPU11发布的指令,GPU13执行以每隔预定时间段呈现显示在显示装置17上的帧图像的呈现处理。由GPU13呈现的帧图像写入到帧缓冲器14中,并且在预定的定时转换为要输出给显示装置17的视频信号。借助在每隔预定时间间隔重复的这种处理,显示装置17显示游戏移动图像,其包括由GPU13呈现的多个帧图像。显示装置17例如可以是液晶显示器或有机EL(电致发光)显示器。此外,在该情况下,与存储单元12分开地提供要写入帧图像的帧缓冲器14,然而帧缓冲器14可以是分配在存储单元12内的存储器区。
通信单元15是基于诸如LAN之类的标准的接口,并且响应于从CPU11发布的指令向其它装置传送信息/从其它装置接收信息。在该实施例中,由移动图像生成装置1生成的公开移动图像经由通信单元15传送给其它信息处理装置。
操作装置16例如是消费者游戏机的控制器。操作装置16从用户接收操作的输入,并且将输入的结果输出给CPU11。在该实施例中,移动图像生成装置1的用户通过将他/她的操作输入给操作装置16来玩游戏,并且在该操作的细节反映于显示装置17上之后观看显示在其上的游戏移动图像。请注意,操作装置16和显示装置17可以与移动图像生成装置1集成。
接下来,参考图2的功能块图描述由移动图像生成装置1实现的功能。如在图2中示出那样,移动图像生成装置1在功能上包括应用执行部分21、呈现处理部分22、显示控制部分23和移动图像生成部分24。另外,呈现处理部分22包括对象呈现部分22a和呈现位置信息输出部分22b。在这些功能中,应用执行部分21和移动图像生成部分24由执行存储在存储单元12中的程序的CPU11实现。此外,对象呈现部分22a、呈现位置信息输出部分22b和显示控制部分23由GPU13实现。
应用执行部分21由执行存储在存储单元12中的程序的CPU11实现。在该实施例中,如上面描述那样,应用执行部分21根据游戏程序执行游戏处理。此外,应用执行部分21将呈现指令输出给呈现处理部分22,以便呈现示出了游戏处理的结果的帧图像。
帧图像包括多个对象(图像元素)。构成帧图像的对象例如可以是出现在游戏中的角色和背景,以及与游戏相关的参数信息。应用执行部分21对于每个对象将用于呈现相应对象的指令输出给呈现处理部分22。
构成帧图像的对象可能包括一些信息片段,其被公众观看是不希望的。其被公众观看需要被限制的这种信息此后称作秘密信息。秘密信息的特定示例包括用户或其它游戏参与者的个人信息(诸如用户ID和他/她的脸部照片之类)。此外,有时希望将对于游戏进程会是干扰的信息(诸如出现在游戏后半段中的角色的名字或者外观之类)设置为秘密信息。这种秘密信息需要包括在用户玩游戏时被该用户观看的游戏移动图像中,但是需要当该游戏移动图像被第三方观看时禁止按其原样被显示。鉴于此,应用执行部分21根据对象是包括秘密信息的对象(此后称作秘密对象)还是除了秘密对象之外的对象(此后称作普通对象)而改变呈现指令的输出目的地。具体地,关于普通对象,应用执行部分21向对象呈现部分22a发出呈现命令,其给出关于呈现细节(诸如对象的颜色、形状和显示位置之类)的特定指令。另一方面,关于秘密对象,应用执行部分21将呈现指令输出给呈现位置信息输出部分22b。对于秘密对象发出的呈现指令可以与对于普通对象发出的呈现命令格式相同,但是可以由不同于普通对象的数据格式的数据格式来形成。例如,用于秘密对象的呈现指令可以是包括秘密信息本身的细节的指令,这些细节诸如用户ID和规定在其要呈现表示秘密信息的细节的秘密对象的帧图像内的位置(二维坐标)的信息之类。
呈现处理部分22根据由应用执行部分21输出的呈现指令来呈现帧图像。具体地,对象呈现部分22a根据由应用执行部分21和接下来要描述的呈现位置信息输出部分22b发出的呈现命令来呈现包括在帧图像中的每个对象,并且将呈现结果写入帧缓冲器14。由此,帧图像在帧缓冲器14中生成。
呈现位置信息输出部分22b从应用执行部分21接收用于秘密对象的呈现指令。呈现位置信息输出部分22b然后基于呈现指令的细节规定在其要呈现秘密对象的在帧图像内的位置,并且输出指示呈现位置的信息。与秘密对象的呈现位置有关的信息此后称作呈现位置信息。由呈现位置信息输出部分22b输出的呈现位置信息暂时存储在存储单元12中。呈现位置信息是如下信息,其以设置在帧图像中的二维坐标值规定要呈现秘密对象的区域的位置和尺寸,并且该呈现位置信息在考虑实际上要呈现的秘密对象的尺寸和形状的情况下来确定。
此外,呈现位置信息输出部分22b响应于从应用执行部分21接收到的呈现指令而向对象呈现部分22a发出用于秘密对象的呈现命令。向对象呈现部分22a发出的该呈现命令可以与由应用执行部分21向对象呈现部分22a发出的、关于普通对象的呈现命令格式相同。这样,对象呈现部分22a不需要将秘密对象与普通对象区分,并且仅需要根据从应用执行部分21和呈现位置信息输出部分22b接收到的呈现命令来呈现每个对象。
在呈现处理部分22完成呈现一个帧图像之后,响应于从应用执行部分21发出的指令,显示控制部分23将写入帧缓冲器14中的帧图像作为视频信号输出给显示装置17。以该方式,写入帧缓冲器14中的帧图像显示在显示装置17的屏幕上。显示控制部分23以预定帧率重复地执行这种处理,从而示出其中游戏正被玩的情况的游戏移动图像显示在显示装置17的屏幕上。
移动图像生成部分24将写入帧缓冲器14中的帧图像用于生成公开移动图像。具体地,移动图像生成部分24将写入帧缓冲器14中的帧图像编码以生成例如与公开移动图像有关的、MPEG格式的数据。该公开移动图像基本上包括与由显示控制部分23显示在显示装置17上的游戏移动图像相同的细节。然而,所不希望的是,按现状包括在公开移动图像的秘密信息将向第三方公开。鉴于此,当编码写入帧缓冲器14中的帧图像时,移动图像生成部分24对呈现秘密对象的在帧图像内的区域进行显示限制处理。
如在此使用那样的显示限制处理指的是如下图像处理,其使得经受该处理的区域的细节达到其中这些细节在从人眼看到时不能被轻易识别的状态。当执行该显示限制处理时,通过利用由呈现位置信息输出部分22b暂时存储在存储单元12中的呈现位置信息,移动图像生成部分24确定要对其执行该显示限制处理的在帧图像内的区域。通过使用呈现位置信息,移动图像生成部分24可以适当地确定要经受显示限制处理的包括不同对象的帧图像内的区域。
显示限制处理例如可以是以特定颜色填充目标区域,或者对目标区域进行像素化或者模糊的滤波处理。替代地,显示限制处理可以是如下处理,该处理将目标区域的分辨率降低至图像的细节无法被识别的程度。具体地,存在已知的一些支持感兴趣区域(ROI)的视频编码引擎。这是用于对一个图像中的特定区域(通常是假设用户特别感兴趣的区域)以比其他区域更高的比特率进行编码的技术。当移动图像生成部分24由这种视频编码引擎实现时,用于以对于每个区域不同的比特率进行编码的技术以这样的方式应用于此,使得移动图像生成部分24可以相对容易地进行这种编码:包括秘密对象的区域的分辨率低于其它区域的分辨率。具体地,移动图像生成部分24对于通过将帧图像划分为具有固定尺寸的块而获得的每个块,确定该块是否包括由呈现位置信息规定的区域。然后,当确定了该块包括由呈现位置信息规定的区域时,移动图像生成部分24以与其它相比较低的比特率进行编码。以该方式,移动图像生成部分24仅以低分辨率编码其中呈现秘密对象的整个帧图像内的块,从而观看者不能识别秘密对象的细节。
图3是示出了包括秘密对象的帧图像的一个示例的视图。在帧图像中,在通过在三维空间中呈现从第一人视点来看敌对角色等存在的情况而获得的游戏图像的右上部中,布置有表示参与该游戏的多个玩家的玩家名称P和缩略图T(玩家脸部的照片)的对象。在该情况下,玩家名称P和缩略图T是秘密信息的片段,并且应用执行部分21向呈现位置信息输出部分22b输出用于表示秘密信息的那些片段的秘密对象的呈现指令。另一方面,应用执行部分21直接将用于布置在三维空间中的对象的呈现指令输出给对象呈现部分22a。在显示装置17上,图3中示出的帧图像按其原样显示,并且被移动图像生成装置1的用户观看。同时,移动图像生成部分24在对呈现秘密对象的区域执行显示限制处理的同时编码图3中所示的帧图像。作为结果,在对应于图3中所示的帧图像的公开移动图像的帧图像中,如图4中所示,玩家名称P和缩略图T的分辨率降低并且因此其细节难以由人眼识别出。
由移动图像生成部分24生成的公开移动图像可以在用户正玩游戏的同时通过实时流传输而分发给其它信息处理装置。替代地,公开移动图像可以暂时存储在存储单元12中作为移动图像的数据文件,并且然后,所存储的公开移动图像例如可以响应于从用户发出的指令上载到用于公开移动图像的服务器上。
如上面描述那样,根据本实施例的移动图像生成装置1,当呈现构成游戏移动图像的帧图像时,呈现处理部分22规定在帧图像内秘密对象的呈现位置,并且移动图像生成部分24在对呈现位置进行显示限制处理的同时生成移动图像。借助该配置,移动图像生成装置1可以容易地生成公开移动图像,其被处理为使得秘密对象的细节难以识别。
此外,在该实施例中,一旦呈现处理部分22将要显示在显示装置17的屏幕上的帧图像(并未经受显示限制处理的图像)写入帧缓冲器14中,则移动图像生成部分24对写入帧缓冲器14中的帧图像进行显示限制处理,以生成公开移动图像。同时,显示控制部分23将写入帧缓冲器14中的帧图像按其原样用于在显示装置17上显示该帧图像。因此,呈现处理部分22无需分开地呈现未经受显示限制处理的要显示在显示装置17上的帧图像以及经受显示限制处理的要公开的帧图像。然而,本发明的实施例并不限于这种配置,并且只要用于实现呈现处理部分22的GPU13具有足够的性能,呈现处理部分22就可以分开地呈现要显示在显示装置17上的帧图像和要公开的帧图像的每个。
请注意,游戏程序的开发者可能希望根据游戏的细节将整个帧图像的公开限制在游戏的特定场景等中。此外,例如,游戏程序的开发者可能希望在游戏程序发布之后的固定时间段期间限制整个游戏移动图像的公开。当整个帧图像的公开要如在上述情况中那样来限制时,应用执行部分21仅需与用于每个包括在帧图像中的对象的呈现指令分开地发出用于与整个屏幕重叠的透明对象的呈现指令。在该情况下,应用执行部分21将呈现指令发出给呈现位置信息输出部分22b,其中透明对象被设置为秘密对象。以该方式,当显示控制部分23在显示装置17的屏幕上显示帧图像时,从用户的眼睛不能看到透明对象,并且因此用户可以观看普通的游戏移动图像。同时,移动图像生成部分24对由呈现位置信息规定的透明对象的位置(在该情况下是整个帧图像)执行显示限制处理。作为结果,包括在公开移动图像中的整个帧图像达到其中由人眼不能识别整个帧图像的状态。
本发明的该实施例并不限于上面所描述的实施例。例如,在上面给出的描述中,秘密对象整体上是表示秘密信息的二维对象,并且应用执行部分21规定帧图像中要布置秘密对象的位置的坐标,以输出用于秘密对象的呈现指令,但是秘密对象可以是布置在三维空间中的三维对象。在该情况下,应用执行部分21例如规定三维空间中的位置坐标,以进行用于包括秘密对象的各个对象的呈现指令。响应于该指令,呈现处理部分22生成示出经受呈现指令的各个对象如何布置的帧图像。此时,呈现处理部分22在每个对象的顶点上进行不同类型的坐标转换(诸如投影变换之类),以计算每个对象在二维帧图像中的位置。以该方式,确定布置在三维空间中的秘密对象在二维帧图像内占据的区域。呈现处理部分22输出规定该确定区域的信息作为呈现位置信息。借助该配置,甚至当应用执行部分21仅知道秘密对象在三维空间中的位置,并且并不提前知道在其要实际呈现秘密对象的在帧图像中的位置时,也可能对包括秘密对象的区域进行显示限制处理,以生成公开移动图像。
尤其当秘密对象是布置在三维空间中的三维对象并且帧图像由三维图像处理呈现时,秘密对象的一部分或整个秘密对象可以隐藏在另一普通对象之后,并且并不出现在最终生成的帧图像中。在该情况下,即使呈现处理部分22接收用于秘密对象的呈现指令,移动图像生成部分24也无需对未出现在帧图像中的秘密对象进行显示限制处理,并且反而希望的是,移动图像生成部分24并不进行显示限制处理。鉴于此,呈现处理部分22可以进行控制,以便利用已知的隐藏表面消除处理来确定实际上出现在帧图像中的要呈现的秘密对象的部分,并且将仅规定该确定部分的呈现位置信息输出。借助该配置,可以避免对于实际上不出现在帧图像中的秘密对象执行不必要的显示限制处理的情况。
现在给出这种处理的一个特定示例。当接收用于秘密对象的呈现指令时,呈现处理部分22将指示构成秘密对象的像素位置的信息写入与帧缓冲器14分开提供的模板缓冲器(stencil buffer)中。此外,在作为呈现另一普通对象的结果,秘密对象的一部分或者整个秘密对象的区域隐藏在所呈现的普通对象之后并且因此并未显示时,呈现处理部分22将与对应于隐藏在普通对象之后的区域的像素有关的位置信息从模板缓冲器删除。作为结果,当帧图像的呈现完成时,仅与对应于实际上出现在帧图像中的秘密对象的部分的像素有关的位置信息保留在模板缓冲器中。移动图像生成部分24可以将与包括在模板缓冲器中的像素有关的位置信息用作呈现位置信息。特别地,移动图像生成部分24将包括由模板缓冲器规定的秘密对象的像素的区域设置为要经受显示限制处理的区域。替代地,呈现处理部分22可以将存储在模板缓冲器中的用于确定包括指示秘密对象的像素的矩形区域,并且输出指示该矩形区域的位置和尺寸的呈现位置信息。在该情况下,移动图像生成部分24可以如在其中秘密对象是二维对象的上面描述的情况中那样执行显示限制处理。
请注意,上面已经描述了其中呈现处理部分22进行三维图像处理以呈现帧图像的情况,然而甚至当二维对象布置在帧图像中时,多个对象也可以彼此重叠,使得要呈现的秘密对象的部分或整个秘密对象实际上并不出现在帧图像中。甚至在该情况下,例如关于重叠的确定如在上述情况中那样通过使用模板缓冲器来进行,使得仅与最终出现在帧图像中的秘密对象的部分对应的区域可以被设置为要经受显示限制处理的区域。
此外,在上面给出的描述中,呈现处理部分22和显示控制部分23由GPU13实现,但其功能的一部分可以由CPU11实现。此外,移动图像生成部分24可以由专用视频编码电路等来替代CPU11实现。
此外,在上面给出的描述中,包括在呈现处理部分22中的呈现位置信息输出部分22b规定秘密信息的呈现位置,并且输出呈现位置信息。然而,当应用执行部分21提前知道秘密对象的呈现位置时,替代呈现处理部分22地,应用执行部分21可以输出呈现位置信息。
此外,移动图像生成装置1可以包括用于呈现帧图像的资源的两个系统。例如,移动图像生成装置1除了游戏程序外还执行进行相关于系统的处理(诸如菜单屏幕的显示之类)的系统程序,并且包括与用于响应于游戏程序的呈现指令进行呈现的GPU分开地用于响应于该系统程序的呈现指令呈现帧图像的GPU。图5是示出了在该情况下移动图像生成装置1的功能的一个示例的功能块图。在图5的示例中,移动图像生成装置1除了用于执行游戏程序的应用执行部分21之外还包括用于执行系统程序的系统程序执行部分25。此外,移动图像生成装置1包括两个呈现处理部分22-1和22-2。呈现处理部分22-1和呈现处理部分22-2分别响应于应用执行部分21的呈现指令和系统程序执行部分25的呈现指令呈现帧图像。此外,图5的示例中的移动图像生成装置1包括两个帧缓冲器14-1和14-2。由呈现处理部分22-1呈现的帧图像(此后称作第一帧图像)和由呈现处理部分22-2呈现的帧图像(此后称作第二帧图像)分别写入帧缓冲器14-1和14-2中。根据该情况,显示控制部分23选择性地在显示装置17的屏幕上显示第一帧图像、第二帧图像和第三帧图像中的任一个。第三帧图像是通过将第一帧图像和第二帧图像合成而获得的帧图像。此外,移动图像生成部分24还将第一帧图像、第二帧图像和第三帧图像中的任一个用于生成公开移动图像。此时,当将第一帧图像用于生成公开移动图像时,移动图像生成部分24对通过由呈现处理部分22-1输出的呈现位置信息来规定的区域进行显示限制处理。当将第二帧图像用于生成公开移动图像时,移动图像生成部分24对通过由呈现处理部分22-2输出的呈现位置信息来规定的区域进行显示限制处理。此外,当将第三帧图像用于生成公开移动图像时,移动图像生成部分24将由呈现处理部分22-1和22-2两者输出的呈现位置信息片段用于对每个由那些呈现位置信息片段规定的区域进行显示限制处理。以该方式,可以生成如下公开移动图像,在该公开移动图像上,对于秘密信息适当地进行显示限制处理。请注意,当第一帧图像和第二帧图像合成以生成第三帧图像时,这两个帧图像相互叠加,从而这些帧图像之一布置在这些帧图像中其他的前表面上。当在此假设第二帧图像布置在第一帧图像的前表面上时,包括在第一帧图像中的秘密对象的一部分或者包括在第一帧图像中的整个秘密对象可以隐藏在包括在第二帧图像中的普通对象之后,并且可以并不出现在第三帧图像内。在该情况下,如在多个对象在一个帧图像内彼此重叠的情况中那样,对应于隐藏在普通对象之后的秘密对象的部分的区域可以从要经受显示限制处理的区域排除。
请注意,还可以存在其中响应于系统程序执行部分25的呈现指令而呈现的整个第二帧图像需要被设置为秘密对象的情况。在该情况下,呈现处理部分22-2将包括在第二帧图像中的每个对象的呈现位置作为呈现位置信息输出。以该方式,例如,当将第三帧图像用于生成公开移动图像时,可以对于包括在第三帧图像中的、每个已经响应于系统程序执行部分25的呈现指令而呈现的对象进行显示限制处理。替代地,在其中第三帧图像要显示在显示装置17上的情况下,当第二帧图像并不包括秘密对象时,移动图像生成部分24可以将第三帧图像按原样用于生成公开移动图像,并且当第二帧图像包括秘密对象时,移动图像生成部分24可以将第二帧图像替代第三帧图像用于生成公开移动图像。
虽然已经描述了当前认为是本发明的特定实施例的内容,将理解的是,可以对此做出不同的修改,并且意图是所附权利要求覆盖所有这种落在本发明的真实精神和范围内的修改。

Claims (5)

1.一种移动图像生成装置,包括:
呈现部分,用于呈现包括多个图像元素的帧图像;
呈现位置信息输出部分,用于输出规定在所述多个图像元素中其观看要被限制的秘密元素在所述帧图像内的呈现位置的呈现位置信息;以及
移动图像生成部分,用于同时生成被限制的移动图像和没有所述秘密元素的不被限制的移动图像,利用所述帧图像生成所述被限制的移动图像,并且当生成所述被限制的移动图像时,对由所述呈现位置信息规定的在所述帧图像内的目标区域进行显示限制处理,
其中,所述被限制的移动图像传送给一个或多个被限制的用户,
其中,所述不被限制的移动图像传送给不同于所述一个或多个被限制的用户的一个或多个不被限制的用户,以及
其中,所述被限制的移动图像的每个帧图像和所述不被限制的移动图像的每个帧图像同时生成。
2.根据权利要求1所述的移动图像生成装置,还包括用于执行应用程序的应用执行部分,
其中所述呈现位置信息输出部分从所述应用执行部分接收用于所述秘密元素的呈现指令,基于所述呈现指令的细节规定所述秘密元素的呈现位置,并将用于所述秘密元素的呈现命令输出给所述呈现部分。
3.根据权利要求2所述的移动图像生成装置,其中所述应用执行部分将所述多个图像元素中除了所述秘密元素之外的图像元素的呈现命令直接输出给所述呈现部分。
4.根据权利要求1所述的移动图像生成装置,其中,作为所述显示限制处理,所述移动图像生成装置使得比除了所述目标区域之外的区域的比特率低的所述目标区域的比特率来进行编码。
5.一种移动图像生成方法,包括:
呈现包括多个图像元素的帧图像;
输出呈现位置信息,所述呈现位置信息规定在所述多个图像元素中其观看要被限制的秘密元素在所述帧图像内的呈现位置;以及
同时生成被限制的移动图像和没有所述秘密元素的不被限制的移动图像,利用所述帧图像生成所述被限制的移动图像,并且当生成所述被限制的移动图像时,对由所述呈现位置信息规定的在所述帧图像内的目标区域进行显示限制处理,
其中,所述被限制的移动图像传送给一个或多个被限制的用户,
其中,所述不被限制的移动图像传送给不同于所述一个或多个被限制的用户的一个或多个不被限制的用户,以及
其中,所述被限制的移动图像的每个帧图像和所述不被限制的移动图像的每个帧图像同时生成。
CN201310292016.XA 2012-07-12 2013-07-12 移动图像生成装置 Active CN103544441B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012157007A JP2014021570A (ja) 2012-07-12 2012-07-12 動画像生成装置
JP2012-157007 2012-07-12

Publications (2)

Publication Number Publication Date
CN103544441A CN103544441A (zh) 2014-01-29
CN103544441B true CN103544441B (zh) 2016-12-28

Family

ID=49914062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310292016.XA Active CN103544441B (zh) 2012-07-12 2013-07-12 移动图像生成装置

Country Status (3)

Country Link
US (1) US9363496B2 (zh)
JP (1) JP2014021570A (zh)
CN (1) CN103544441B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899770B (zh) * 2014-09-12 2022-07-08 松下电器(美国)知识产权公司 非暂时性计算机可读介质、再现装置以及再现方法
CN105955687B (zh) * 2016-04-29 2019-12-17 华为技术有限公司 图像处理的方法、装置和系统
US11455168B1 (en) 2017-10-19 2022-09-27 Pure Storage, Inc. Batch building for deep learning training workloads
US11861423B1 (en) 2017-10-19 2024-01-02 Pure Storage, Inc. Accelerating artificial intelligence (‘AI’) workflows
US10360214B2 (en) 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
US11494692B1 (en) 2018-03-26 2022-11-08 Pure Storage, Inc. Hyperscale artificial intelligence and machine learning infrastructure
US10671435B1 (en) 2017-10-19 2020-06-02 Pure Storage, Inc. Data transformation caching in an artificial intelligence infrastructure
JP6397595B1 (ja) * 2018-04-12 2018-09-26 株式会社ドワンゴ コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2020135017A (ja) * 2019-02-13 2020-08-31 株式会社コロプラ 画像データ処理の方法およびプログラム、および画像データ処理を行うコンピュータ
WO2021053262A1 (en) * 2019-09-20 2021-03-25 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20220345721A1 (en) * 2019-09-30 2022-10-27 Sony Interactive Entertainment Inc. Image data transfer apparatus, image display system, and image compression method
US11836420B1 (en) * 2020-06-29 2023-12-05 Amazon Technologies, Inc. Constructing a 3D model of a facility based on video streams from cameras at the facility

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637760A (zh) * 2004-01-08 2005-07-13 株式会社日立高新技术 处理装置
CN101510957A (zh) * 2008-02-15 2009-08-19 索尼株式会社 图像处理设备、方法、程序、摄像机设备、通信系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599266B2 (en) * 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
US7911513B2 (en) * 2007-04-20 2011-03-22 General Instrument Corporation Simulating short depth of field to maximize privacy in videotelephony
US8229796B2 (en) * 2008-08-28 2012-07-24 Microsoft Corporation Automated direct bids to purchase entertainment content upon a predetermined event

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637760A (zh) * 2004-01-08 2005-07-13 株式会社日立高新技术 处理装置
CN101510957A (zh) * 2008-02-15 2009-08-19 索尼株式会社 图像处理设备、方法、程序、摄像机设备、通信系统

Also Published As

Publication number Publication date
CN103544441A (zh) 2014-01-29
JP2014021570A (ja) 2014-02-03
US20140016913A1 (en) 2014-01-16
US9363496B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
CN103544441B (zh) 移动图像生成装置
US10810791B2 (en) Methods and systems for distinguishing objects in a natural setting to create an individually-manipulable volumetric model of an object
US10819967B2 (en) Methods and systems for creating a volumetric representation of a real-world event
JP6317854B2 (ja) 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
KR101623288B1 (ko) 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
CN107851299B (zh) 信息处理装置、信息处理方法以及程序
JP6433559B1 (ja) 提供装置および提供方法、プログラム
JP2019510321A (ja) 仮想現実用パススルーカメラのユーザインターフェイス要素
EP2267659A2 (en) System and method for integrating multiple virtual rendering systems to provide an augmented reality
US11698680B2 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
CN110720214B (zh) 显示控制设备、显示控制方法和存储介质
EP3616402A1 (en) Methods, systems, and media for generating and rendering immersive video content
KR102081067B1 (ko) 스튜디오 환경에서의 비디오 믹싱 플랫폼
Fradet et al. [poster] mr TV mozaik: A new mixed reality interactive TV experience
JPWO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
JP2019115035A (ja) 表示制御装置、表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant