CN110121380B - 通过仿真进行重新录制 - Google Patents

通过仿真进行重新录制 Download PDF

Info

Publication number
CN110121380B
CN110121380B CN201780063394.7A CN201780063394A CN110121380B CN 110121380 B CN110121380 B CN 110121380B CN 201780063394 A CN201780063394 A CN 201780063394A CN 110121380 B CN110121380 B CN 110121380B
Authority
CN
China
Prior art keywords
recorded
asset
texture
data structure
software
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780063394.7A
Other languages
English (en)
Other versions
CN110121380A (zh
Inventor
T.林德奎斯特
G.魏辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of CN110121380A publication Critical patent/CN110121380A/zh
Application granted granted Critical
Publication of CN110121380B publication Critical patent/CN110121380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stored Programmes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

由例如传统计算机游戏软件的传统软件调用的每个资产,例如纹理(502),具有与其相关联的唯一标识符。可以通过对所述资产施加(304)散列来呈现所述唯一标识符,随后将所述资产与其标识符一起存储(308)在数据结构中。艺术家重新录制所述纹理以呈现在比原始软件中设想的更高分辨率显示器(500)上,并且将所述纹理与其标识符一起存储回所述数据结构中。随后,在所述更高分辨率显示器上玩(800)所述原始软件,其中拦截、识别资产(例如,纹理)调用,并且输入(802至806)所述数据结构以检索具有匹配标识符的重新录制的资产。随后,将所述重新录制的资产即时地插入(808)到游戏呈现中。

Description

通过仿真进行重新录制
技术领域
本申请涉及技术上创新的非常规解决方案,所述解决方案必须植根于计算机技术并且产生具体的技术改进。
背景技术
如本文所理解,重新录制例如将在后期模型控制台上玩的较旧计算机游戏的一些娱乐资产可能需要创建全新的软件,以适应后期模型控制台的改进能力。这耗费时间且成本很高。
发明内容
如本文进一步理解,可以保留例如设计成将在相对较低功率显示器上玩的计算机游戏的娱乐资产的原始(传统)软件代码,以用于具有改进能力显示器的模型控制台,同时通过仿真原理实现呈现的重新录制。
因此,本文旨在进行计算机游戏重新录制,但是应理解,本发明的原理不限于计算机游戏。
因此,一种装置包括一个或多个计算机存储器,所述计算机存储器不是暂时性信号,并且包括可由至少一个处理器执行以拦截从计算机游戏软件对纹理的调用的指令。所述指令可执行用于对于第一纹理的至少第一所拦截调用,对与所述第一纹理相关联的信息执行散列,从而渲染结果。所述指令可执行用于响应于重新录制的纹理与从匹配所述结果的数据结构中产生的重新录制的纹理散列相关联,使用所述结果从数据结构检索所述重新录制的纹理;以及当在所述计算机游戏软件的控制下呈现计算机游戏时,将所述重新录制的纹理即时地插入到所述游戏的呈现中。
在一些实例中,所述计算机游戏软件是设计成在具有第一分辨率的第一显示器上使用的传统软件,并且建立重新录制的纹理以在不改变所述传统软件中的代码的情况下呈现在第二显示器上,所述第二显示器具有高于所述第一分辨率的第二分辨率。
在实例实施方案中,所述指令可以可执行用于以对经历相应所拦截调用的多个纹理执行散列。如果需要,所述指令可以可执行用于响应于所述结果与数据库中的任何重新录制的纹理散列不匹配,呈现响应于所述第一所拦截调用的原始纹理。
在非限制性实施方案中,所述指令可以可执行用于拦截从计算机游戏软件对传统音频的调用,从数据结构检索所述传统音频的重新录制版本,并且将所述重新录制版本即时地插入到所述计算机游戏的呈现中。所述第一所拦截调用可以是针对音频轨道或音频样本。
另外,任选指令可以可执行用于拦截从计算机游戏软件对三维(3D)几何结构的调用,并且对于3D几何结构的至少第一所拦截调用,对相关联3D几何结构中的信息执行散列以渲染3D几何结构结果。这些指令可以可执行用于响应于重新录制的3D几何结构与从匹配所述3D几何结构结果的数据结构中产生的重新录制的3D几何结构相关联,使用所述3D几何结构结果从数据结构检索所述重新录制的3D几何结构,并且将所述重新录制的3D几何结构即时地插入到所述计算机游戏的呈现中。
所述装置可以包括所述处理器和/或用于呈现所述计算机游戏的显示器。
在另一方面,一种设备包括:至少一个计算机存储装置,所述计算机存储装置包括可由至少一个处理器执行的指令;以及至少一个处理器,所述处理器被配置成访问指令,以从呈现控制中拦截用于检索资产的信号。对于至少一些所拦截信号,执行所述指令的所述处理器使相应唯一标识符与相应资产相关联,以渲染相应结果,所述相应资产与相应所拦截信号相关联。对于每个结果,所述处理器访问数据结构以定位匹配,并且响应于定位结果的匹配,检索相关联的所修改资产以根据所述呈现控制在显示器上呈现所述相关联的所修改资产。
还提供一种根据所述设备的操作的方法。
在另一方面,一种装置包括一个或多个计算机存储器,所述计算机存储器不是暂时性信号,并且包括可由至少一个处理器执行的指令,所述指令用于拦截从计算机游戏软件对资产的调用,并且对于第一资产的至少第一所拦截调用,使第一唯一标识符与所述第一资产相关联。所述指令可执行用于确定所述第一唯一标识符与重新录制的数据结构中的条目是否匹配,并且响应于所述第一唯一标识符与所述数据结构中的条目匹配,继续拦截所述调用。然而,响应于所述第一唯一标识符与所述数据结构中的条目不匹配,所述第一唯一标识符和所述第一资产存储在所述数据结构中。所述指令可执行用于将所述第一资产输出至重新录制计算机。从所述重新录制计算机接收重新录制的资产,其中所述重新录制的资产是所述第一资产的更高分辨率版本,并且在所述数据结构中,所述重新录制的资产与唯一标识符相关联。
还设想一种根据所述装置的操作的方法。
可以参考附图最佳地理解关于本申请的结构和操作两者的本申请的细节,其中相同附图标记指代相同部件,并且在附图中:
附图说明
图1是根据本发明原理的包括实例的实例系统的框图;
图2是实例系统的框图;
图3是用于创建重新录制的游戏纹理的实例逻辑的流程图;
图4是用于创建重新录制的游戏纹理的额外实例逻辑的流程图;
图5至图7是示出实例重新录制操作的屏幕截图;
图8是用于将重新录制的纹理即时地呈现到传统计算机游戏中的实例逻辑的流程图;以及
图9是用于呈现重新录制的音频的实例逻辑的流程图。
具体实施方式
本公开总体上涉及计算机生态系统,包括消费电子产品(CE)装置网络的各方面,例如但不限于分布式计算机游戏网络。
本公开教示在不重新编译软件的情况下使用传统游戏软件即时地重新录制和呈现娱乐资产的元素,在具体实施方案中为计算机游戏的纹理。因此,例如,设计成在例如手机显示器的相对低分辨率显示器、例如
Figure BDA0002026027030000043
Portable(PSP)的便携式游戏显示器,或较旧的低分辨率游戏显示器上玩的计算机游戏可以在例如高清(HD)或超高清(UHD)显示器的相对高分辨率显示器上玩,或在例如
Figure BDA0002026027030000041
Figure BDA0002026027030000042
显示器的较高分辨率游戏显示器上玩,无需修改传统游戏软件,但仍提供高质量的重新录制的图像和音频。重新录制是合乎需要的,因为在高分辨率显示器上呈现的低分辨率纹理的外观模糊或者否则令人不愉快。
本文中的系统可以包括服务器和客户端组件,所述服务器和客户端组件通过网络连接,使得数据可以在客户端与服务器组件之间交换。客户端组件可以包括一个或多个计算装置,包括游戏控制台,例如但不限于,Sony PlayStationTM和Microsoft XboxTM、便携式电视机(例如,智能TV、可接入互联网的TV)、例如笔记本电脑和平板计算机的便携式计算机,以及包括智能电话和下文论述的额外实例的其它移动电话。这些客户端装置可以在各种操作环境下操作。例如,作为例子,一些客户端计算机可以采用Orbis或Linux操作系统、Microsoft的操作系统、或Unix操作系统,或由Apple Computer或Google生产的操作系统。这些操作环境可以用于执行一个或多个浏览程序,例如,由Microsoft或Google或Mozilla制造的浏览器,或可以访问由下文所论述的互联网服务器托管的网站的其它浏览器程序。而且,根据本发明原理的操作环境可以用于执行一个或多个计算机游戏程序。
服务器和/或网关可以包括执行指令的一个或多个处理器,所述指令将服务器配置成通过例如互联网的网络接收和传输数据。或者,客户端和服务器可以通过本地内联网或虚拟专用网络连接。服务器或控制器可以通过例如Sony
Figure BDA0002026027030000051
的游戏控制台、个人计算机等实例化。
信息可以通过网络在客户端与服务器之间交换。为此,为了安全起见,服务器和/或客户端可以包括防火墙、负载均衡器、临时存储装置、代理,以及出于可靠性和安全性的其它网络架构。一个或多个服务器可以形成设备,所述设备实施将例如在线社交网站的安全社区提供给网络成员的方法。
如本文所使用,指令是指用于处理系统中的信息的计算机实施的步骤。指令可以在软件、固件或硬件中实施,并且包括系统的组件所采取的任何类型的编程步骤。
处理器可以是任何常规的通用单芯片或多芯片处理器,所述处理器可以借助于例如地址线、数据线和控制线的各种线以及寄存器和移位寄存器来执行逻辑。
通过流程图描述的软件模块以及本文中的用户接口可以包括各种子例程、程序等。在不限制本公开的情况下,说明为由特定模块执行的逻辑可以被重新分布到其它软件模块和/或一起组合在单个模块中和/或在可共享库中可用。
本文所描述的本发明的原理可以实施为硬件、软件、固件或其组合;因此,在其功能性方面阐述说明性组件、框、模块、电路和步骤。
继上文提到的内容之后,下文描述的逻辑块、模块和电路可以通过通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或例如专用集成电路(ASIC)的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件,或被设计成执行本文所描述的功能的其任何组合实施或执行。处理器可以由控制器或状态机或计算装置的组合实施。因此,本文中的方法可以实施为通过处理器、适当配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块,或本领域技术人员将了解的任何其它方便方式执行的软件指令。在使用时,软件指令可以体现在例如CD ROM或闪存驱动器的非暂时性装置中。软件代码指令可以替代地体现在例如无线电或光学信号的暂时性布置中,或通过互联网上的下载来体现。
当实施于软件中时,下文描述的功能和方法可以用合适的语言编写,例如但不限于,Java、C#或C++,并且可以存储在计算机可读存储介质上或通过计算机可读存储介质传输,计算机可读存储介质例如是随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM),或例如数字通用光盘(DVD)的其它光盘存储装置、磁盘存储装置,或包括可移动拇指驱动器的其它磁性存储装置等。连接可以建立计算机可读介质。作为实例,这些连接可以包括硬连线电缆,包括光纤和同轴线,以及数字用户线(DSL)和双绞线。这些连接可以包括无线通信连接,包括红外线和无线电通信连接。
一个实施方案中包括的组件可以以任何适当的组合在其它实施方案中使用。例如,本文描述和/或图中描绘的各种组件中的任一个可以与其它实施方案组合、互换或从其它实施方案排除。
“具有A、B和C中的至少一个的系统”(同样“具有A、B或C中的至少一个的系统”和“具有A、B、C中的至少一个的系统”)包括具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起,和/或A、B和C一起等的系统。
现在具体参考图1,示出实例系统10,所述系统可以包括上文提及并且下文根据本发明的原理进一步描述的实例装置中的一个或多个。系统10中包括的实例装置中的第一实例装置是例如音频视频装置(AVD)12的消费电子产品(CE)装置,例如但不限于,具有显示器的计算机游戏控制台系统,或具有TV调谐器(等效地,控制TV的机顶盒)的可接入互联网的TV。然而,AVD 12替代地可以是电器或家用物品,例如,计算机化的可接入互联网的冰箱、洗衣机或烘干机等。AVD 12替代地还可以是计算机化的可接入互联网(“智能”)的电话;平板计算机;上网本;可穿戴式计算机化装置,例如计算机化的可接入互联网的手表、计算机化的可接入互联网的手环、其它计算机化的可接入互联网的装置;计算机化的可接入互联网的音乐播放器;计算机化的可接入互联网的耳机;计算机化的可接入互联网的可植入装置,例如可植入皮肤装置等。无论如何,应理解,AVD 12被配置成采取本发明的原理(例如,与其它CE装置通信以采取本发明的原理、执行本文所描述的逻辑,并且执行本文所描述的任何其它功能和/或操作)。
因此,为了实现这些原理,AVD 12可以由图1中所示的一些或全部组件建立。例如,AVD 12可以包括一个或多个显示器14,所述显示器可以由高清或超高清“4K”或高平面屏幕实施,并且具有触摸功能以通过显示器上的触摸接收用户输入信号。AVD 12可以包括用于根据本发明的原理输出音频的一个或多个扬声器16,以及用于例如将可听命令输入至AVD12以控制AVD 12的至少一个附加输入装置18,例如音频接收器/麦克风。实例AVD 12还可以包括一个或多个网络接口20,用于例如在一个或多个处理器24的控制下通过例如互联网、WAN、LAN等的至少一个网络22通信。因此,接口20可以是但不限于Wi-Fi收发器,这是无线计算机网络接口的实例,例如但不限于,网状网络收发器。应理解,处理器24控制AVD 12以实现本发明的原理,包括本文描述的AVD 12的其它元件,例如从而控制显示器14以将图像呈现在其上并且从其接收输入。此外,应注意,网络接口20可以是例如有线或无线调制器或路由器,或其它适当的接口,例如无线电话收发器,或上文所提及的Wi-Fi收发器等。
除了上述内容之外,AVD 12还可以包括一个或多个输入端口26,例如,高清多媒体接口(HDMI)端口或USB端口,用于物理地连接(例如,使用有线连接)至另一CE装置;和/或耳机端口,用于将耳机连接至AVD 12以通过耳机向用户呈现来自AVD 12的音频。例如,输入端口26可以有线或无线地连接至音频视频内容的电缆或卫星源26a。因此,源26a可以是例如单独的或集成的机顶盒,或卫星接收器。或者,源26a可以是含有例如计算机游戏软件和数据库的内容的游戏控制台或磁盘播放器。当实施为游戏控制台时,源26a可以包括下文关于CE装置44描述的一些或全部组件。
AVD 12还可以包括例如基于磁盘的或固态的存储装置的一个或多个计算机存储器28,所述计算机存储器不是暂时性信号,在一些情况下,所述计算机存储器在AVD的机箱中体现为单独装置,或在AVD的机箱内部或外部体现为个人视频记录装置(PVR)或视频磁盘播放器,用于回放AV程序,或体现为可移动存储器介质。而且,在一些实施方案中,AVD 12可以包括定位或位置接收器,例如但不限于蜂窝电话接收器、GPS接收器和/或高度计30,所述定位或位置接收器被配置成例如从至少一个卫星或蜂窝电话塔接收地理定位信息并将所述信息提供至处理器24,和/或确定AVD 12与处理器24一起安置的高度。然而,应理解,可以根据本发明的原理使用除了蜂窝电话接收器、GPS接收器和/或高度计之外的另一合适的定位接收器,以例如确定AVD 12在例如所有三维中的位置。
继续AVD 12的描述,在一些实施方案中,AVD 12可以包括一个或多个相机32,所述相机可以是例如热成像相机、例如网络摄像头的数码相机,和/或集成到AVD 12中并且可由处理器24控制以根据本发明的原理收集图片/图像和/或视频的相机。AVD 12上还可以包括蓝牙收发器34,以及用于分别使用蓝牙和/或NFC技术与其它装置通信的其它近场通信(NFC)元件36。实例NFC元件可以是射频识别(RFID)元件。
另外,AVD 12可以包括将输入提供至处理器24的一个或多个辅助传感器37(例如,例如加速计、陀螺仪、计程器的运动传感器,或磁传感器、红外(IR)传感器、光学传感器、速度和/或步调传感器、手势传感器(例如,用于感测手势命令)等)。AVD 12可以包括空中下载TV广播端口38,用于接收将输入提供至处理器24的OTA TV广播。除了上述内容之外,应注意,AVD 12还可以包括红外(IR)发射器和/或IR接收器和/或IR收发器42,例如,IR数据关联(IRDA)装置。可以提供电池(未示出)为AVD 12供电。
仍参考图1,除了AVD 12之外,系统10可以包括一个或多个其它CE装置类型。在一个实例中,第一CE装置44可以用于经由通过下文描述的服务器发送的命令控制显示器,而第二CE装置46可以包括与第一CE装置44类似的组件,因此将不再详细论述。在所示实例中,仅示出两个CE装置44、46,但是应理解,可以使用更少或更多装置。如上所述,CE装置44/46和/或源26a可以由游戏控制台实施。或者,CE装置44/46中的一个或多个可以由以商标Google Chromecast、Roku、Amazon FireTV销售的装置实施。
在所示实例中,为了说明本发明的原理,所有三个装置12、44、46假设为例如家庭中的娱乐网络的成员,或至少在例如房屋的位置中彼此接近的娱乐网络的成员。然而,除非另外明确声明,否则本发明的原理不限于由虚线48示出的特定位置。
在非限制性实例中,第一CE装置44可以由上述装置中的任一个建立,例如便携式无线膝上型计算机或笔记本计算机或游戏控制器(还称为“控制台”),并且因此可以具有下述组件中的一个或多个组件。第二CE装置46可以由例如蓝光播放器的视频磁盘播放器、游戏控制台等建立,而不具有限制。第一CE装置44可以是用于例如将AV播放和暂停命令发给AVD 12的遥控器(RC),或者所述第一CE装置可以是更复杂的装置,例如,平板计算机、通过有线或无线链路与由第二CE装置46实施的游戏控制台通信并且控制AVD 12上的视频游戏呈现的游戏控制器、个人计算机、无线电话等。
因此,第一CE装置44可以包括一个或多个显示器50,所述显示器可以具有触摸功能,用于通过显示器上的触摸接收用户输入信号。第一CE装置44可以包括用于根据本发明的原理输出音频的一个或多个扬声器52,以及用于例如将可听命令输入至第一CE装置44以控制装置44的至少一个附加输入装置54,例如音频接收器/麦克风。实例第一CE装置44还可以包括一个或多个网络接口56,用于在一个或多个CE装置处理器58的控制下通过网络22通信。因此,接口56可以是但不限于Wi-Fi收发器,这是包括网状网络接口的无线计算机网络接口的实例。应理解,处理器58控制第一CE装置44以实现本发明的原理,包括本文描述的第一CE装置44的其它元件,从而例如控制显示器50以将图像呈现在其上并且从其接收输入。此外,应注意,网络接口56可以是例如有线或无线调制器或路由器,或其它适当的接口,例如无线电话收发器,或上文所提及的Wi-Fi收发器等。
除了上述内容之外,第一CE装置44还可以包括一个或多个输入端口60,例如,HDMI端口或USB端口,用于物理地连接(例如,使用有线连接)至另一CE装置;和/或耳机端口,用于将耳机连接至第一CE装置44以通过耳机向用户呈现来自第一CE装置44的音频。第一CE装置44还可以包括一个或多个有形计算机可读存储介质62,例如,基于磁盘的或固态的存储装置。而且,在一些实施方案中,第一CE装置44可以包括定位或位置接收器,例如但不限于,蜂窝电话和/或GPS接收器和/或高度计64,所述定位或位置接收器被配置成例如使用三角测量从至少一个卫星和/或蜂窝塔接收地理定位信息并将信息提供至CE装置处理器58,和/或确定第一CE装置44与CE装置处理器58一起安置的高度。然而,应理解,可以根据本发明的原理使用除了蜂窝电话和/或GPS接收器和/或高度计之外的另一合适的定位接收器,以例如确定第一CE装置44在例如所有三维中的位置。
继续第一CE装置44的描述,在一些实施方案中,第一CE装置44可以包括一个或多个相机66,所述相机可以是例如热成像相机、例如网络摄像头的数码相机,和/或集成到第一CE装置44中并且可由CE装置处理器58控制以根据本发明的原理收集图片/图像和/或视频的相机。第一CE装置44上还可以包括蓝牙收发器68,以及用于分别使用蓝牙和/或NFC技术与其它装置通信的其它近场通信(NFC)元件70。实例NFC元件可以是射频识别(RFID)元件。
另外,第一CE装置44可以包括将输入提供至CE装置处理器58的一个或多个辅助传感器72(例如,例如加速计、陀螺仪、计程器的运动传感器,或磁传感器、红外(IR)传感器、光学传感器、速度和/或步调传感器、手势传感器(例如,用于感测手势命令)等)。第一CE装置44还可以包括例如一个或多个气候传感器74的其它传感器(例如,气压计、湿度传感器、风传感器、光传感器、温度传感器等),和/或将输入提供至CE装置处理器58的一个或多个生物传感器76。除了上述内容之外,应注意,在一些实施方案中,第一CE装置44还可以包括红外(IR)发射器和/或IR接收器和/或IR收发器78,例如,IR数据关联(IRDA)装置。电池(未示出)可以提供用于为第一CE装置44供电。CE装置44可以通过上述通信模式和相关组件中的任一个与AVD 12通信。
第二CE装置46可以包括针对CE装置44示出的一些或全部组件。一个或两个CE装置可以由一个或多个电池供电。
现在参考前述至少一个服务器80,所述服务器包括至少一个服务器处理器82、例如基于磁盘的或固态的存储装置的至少一个有形计算机可读存储介质84,以及至少一个网络接口86,所述网络接口在服务器处理器82的控制下允许通过网络22与图1的其它装置通信,并且实际上可以促进根据本发明的原理的服务器与客户端装置之间的通信。应注意,网络接口86可以是例如有线或无线调制器或路由器、Wi-Fi收发器或其它适当的接口,例如无线电话收发器。通常,服务器80包括称为“刀片”的多个计算机中的多个处理器。
因此,在一些实施方案中,服务器80可以是互联网服务器或整个服务器“群”,并且可以包括并执行“云”功能,使得在用于例如网络游戏应用程序的实例实施方案中,系统10的装置可以通过服务器80访问“云”环境。或者,服务器80可以由与图1中所示的其它装置处于同一房间中或附近的一个或多个游戏控制台或其它计算机实施。
图2示出可以包括上述合适组件中的任一个的实例系统。例如计算机游戏控制台处理器的处理器200执行通常在软件中实施的传统游戏控制器202,以在一个或多个音频和/或视频显示器204上呈现计算机游戏。出于公开目的,假设如先前所指示,但作为可以利用本发明原理的娱乐资产的实例的游戏软件设计用于在相对低分辨率显示器上玩计算机游戏。另一方面,假设A/V显示器204具有比传统软件所针对的显示器更高的分辨率。
如下文进一步公开,处理器200可以执行通常在软件中实施的仿真器引擎206,以在游戏呈现在A/V/显示器204上时,将来自数据存储装置208的重新录制的纹理即时地插入到游戏中。如下文还更详细地论述,通过一个或多个重新录制计算机210产生数据存储装置208中的重新录制的纹理。
仿真器引擎206可以被视为软件解释器,所述软件解释器在不重新编译代码的情况下实现仿真,以用那些纹理的较高分辨率重新录制版本取代游戏202调用的基本上所有低分辨率纹理。“基本上所有”纹理表示除了通过设计或无意地未进行重新录制的可能小百分比(低于10%)纹理之外的所有低分辨率传统纹理。
图3和图4示出用于创建重新录制的纹理的逻辑,并且图5至图7呈现重新录制过程的一部分的视觉实例。从框300处开始,在重新录制计算机210上执行传统游戏202。在游戏运行时,游戏发出对例如计算机游戏纹理的资产的调用,所述调用在框302处被拦截。在框304处,对关于所调用纹理的信息执行算法以呈现相应结果。在实例实现方式中,算法包括散列,例如但不限于安全散列算法,应理解,预期其它散列函数。对所有或部分纹理执行散列。例如,可以对纹理标识或纹理的其它部分执行散列。散列的结果是散列值或散列标签。
继续至棱形306,确定从框304中的散列产生的散列标签与处理器可访问的数据结构中的散列标签是否匹配。当前,在决策棱形306处的测试在第一次玩游戏时将是否定的,因为数据结构在未填充状态下初始化。在框308处,否定测试使散列标签和相关联纹理被添加到数据结构(例如,数据库)。
因为计算机游戏通常需要多个分支,所以通常需要多次运行游戏以遵循每个分支,以确保将具有相关联散列标签的所有(基本上所有)传统纹理添加到数据结构。因此,可以是这样的情况:将时常拦截对先前所存储纹理的调用并且因此使棱形306处的测试为肯定的,这样仅将逻辑循环回下一纹理调用。
图4示出随着传统低分辨率纹理被添加到图3中的数据结构,操作相同或不同重新录制计算机的艺术家可以采用图4中所示的过程来将低分辨率纹理重新录制成更高分辨率纹理。在框400处,艺术家访问数据结构以检索传统纹理。在框402处在高清显示器上呈现传统纹理,优选地在针对呈现重新录制的纹理的游戏控制台的显示器上呈现。在框404处,艺术家重新录制纹理,并且在框406处将重新录制的纹理和相关联散列标签保存回原始纹理所来自的存储位置,从而优选地用重新录制的纹理取代原始纹理。散列标签可以包括指示何时重新录制相关联纹理的日期/时间戳。
图5至图7示出可以是触摸屏显示器的高分辨率显示器500呈现原始低分辨率纹理502,在这种情况下,3D数字“2”。因为原始低分辨率纹理502在比最初预期的更高分辨率显示器上呈现,所以如图所示,其外观是块状的且模糊的,并且预期给予数字“2”一个3D外观的阴影504同样是块状的/模糊的。
为了重新录制纹理,艺术家可以用其手指或触控笔506在原始纹理上画数字“2”,如通过箭头508所指示。此输入使图形编辑软件呈现高分辨率纹理600,如图6中所示,图6示出原始纹理的平滑、非块状、非模糊的重新录制的部分。
然而,块状/模糊的阴影504仍需要进行重新录制。这也通过艺术家绘制如图7所示的阴影边界700来实现,所述阴影边界为人眼准确地捕获数字“2”的3D呈现。随后,将图7中所示的实例重新录制的纹理保存回数据结构,其中所述数据结构的散列标签具有更新的时间戳,如图4中的框406处所指示。重复所述过程以重新录制数据结构中的原始纹理,直到所有(或基本上所有)原始纹理由重新录制的版本取代。
图8示出在不重新编译游戏软件的情况下,使用传统游戏软件202将重新录制的计算机游戏呈现在高分辨率显示器204上的游戏玩法。在框800处,当从软件进行对纹理的每次调用时,所述调用被拦截,并且在框802处使用用于生成重新录制的纹理的相同函数进行散列。在框804处将所得散列标签用作数据结构208的输入参数,所述数据结构208是在图3的框308中添加了重新录制的纹理的数据结构的副本(或否则源自所述数据结构)。如果散列标签在数据结构中具有匹配,则如预期那样,在框806处检索与匹配散列标签相关联的重新录制的纹理,并且在框808处即时地呈现在计算机游戏显示器中。随后,逻辑环回至框800以拦截传统游戏软件的下一纹理调用。
认识到并非所有原始纹理可能已进行重新录制的可能性,在棱形804处的散列标签在数据结构中不具有匹配的情况下,可以在框810处呈现传统纹理。或者,可能根本不呈现纹理。在任一种情况下,由于在调用后续纹理之前,纹理仅在短时刻呈现,因此低分辨率纹理的临时呈现或根本不呈现纹理可能不会过度分散注意力。
以上原理可以与重新录制较低分辨率原始音频结合使用,所述较低分辨率原始音频伴随原始娱乐资产。图9示出在框900处拦截对音频资产的调用,所述音频资产例如但不限于音频轨道或音频样本。如果在棱形902处确定音频的较高分辨率的重新录制的版本存在于数据结构中,例如,含有重新录制的纹理的数据结构,或存在于另一单独音频数据库中,则在框904处呈现重新录制的音频。否则,在框906处呈现原始音频,或可能根本不呈现音频。例如,音频指纹可以用于将框900处调用的音频与匹配重新录制的音频匹配。作为实例,最初以11k提供在计算机游戏中的音频样本可以被重新录制成44.1k。
上文关于纹理的原理还可以应用于由娱乐资源调用的3D几何结构。
应了解,尽管已参考一些实例实施方案描述了本发明的原理,但是这些原理并不意图为限制性的,并且可以使用各种替代布置来实施本文要求保护的主题。

Claims (20)

1.一种装置,包括:
至少一个计算机存储器,所述至少一个计算机存储器不是暂时性信号,并且包括可由至少一个处理器执行以进行以下操作的指令:
拦截从计算机游戏软件对纹理的调用,所述计算机游戏软件是设计成使用第一分辨率的传统软件;
对于第一纹理的至少第一所拦截调用,对与所述第一纹理相关联的信息执行散列以渲染结果;
响应于重新录制的纹理与从匹配所述结果的数据结构中产生的重新录制的纹理散列相关联,使用所述结果从数据结构检索所述重新录制的纹理,所述重新录制的纹理由重新录制计算机基于比第一纹理呈现在更高分辨率显示器上的对第一纹理的艺术家论证生成,以渲染所述重新录制的纹理;以及
当在所述计算机游戏软件的控制下呈现计算机游戏时,将所述重新录制的纹理即时地插入到所述计算机游戏的呈现中。
2.如权利要求1所述的装置,其中所述传统软件被设计成在具有所述第一分辨率的第一显示器上使用,并且建立所述重新录制的纹理,以在不改变所述传统软件中的代码的情况下呈现在第二显示器上,所述第二显示器具有高于所述第一分辨率的第二分辨率。
3.如权利要求1所述的装置,其中所述指令可执行用于:
对经历相应所拦截调用的多个纹理执行所述散列。
4.如权利要求1所述的装置,其中所述指令可执行用于:
响应于所述结果不匹配数据库中的任何重新录制的纹理散列,呈现响应于所述第一所拦截调用的原始纹理。
5.如权利要求1所述的装置,其中所述指令可执行用于:
拦截从计算机游戏软件对传统音频的调用;
从数据结构检索所述传统音频的重新录制的版本;以及
将所述重新录制的版本即时地插入到所述计算机游戏的呈现中。
6.如权利要求5所述的装置,其中所述第一所拦截调用是针对音频轨道。
7.如权利要求5所述的装置,其中所述第一所拦截调用是针对音频样本。
8.如权利要求1所述的装置,其中所述指令可执行用于:
拦截从计算机游戏软件对三维3D几何结构的调用;
对于3D几何结构的至少第一所拦截调用,对相关联3D几何结构中的信息执行散列以渲染3D几何机构结果;
响应于重新录制的3D几何结构与从匹配所述3D几何结构结果的数据结构中产生的重新录制的3D几何结构散列相关联,使用所述3D几何结构结果从数据结构检索所述重新录制的3D几何结构;以及
将所述重新录制的3D几何结构即时地插入到所述计算机游戏的呈现中。
9.如权利要求1所述的装置,包括所述至少一个处理器。
10.如权利要求9所述的装置,包括用于呈现所述计算机游戏的至少一个显示器。
11.一种设备,包括:
至少一个计算机存储装置,所述至少一个计算机存储装置包括可由至少一个处理器执行的指令;以及
至少一个处理器,所述至少一个处理器被配置成访问用于执行以下操作的所述指令:
从传统计算机软件的呈现控制中拦截用于检索资产的信号;
对于至少一些所拦截信号,生成相应唯一标识符,并使所述相应唯一标识符与相应资产相关联以渲染相应结果,所述相应资产与相应所拦截信号相关联;
对于与相应第一资产相关联的至少第一结果,访问数据结构以定位匹配;
响应于定位匹配,测试第二结果;
响应于未定位匹配,将所述第一结果添加到所述数据结构中;
响应于未定位匹配,输出所述第一资产以对其进行重新录制;
接收重新录制的资产,所述重新录制的资产是所述第一资产的较高分辨率版本;以及
将所述重新录制的资产与所述数据结构中的第一结果相关联。
12.如权利要求11所述的设备,其中所述指令可执行用于:
响应于不定位结果的匹配,根据所述呈现控制在显示器上呈现原始资产。
13.如权利要求11所述的设备,其中所述呈现控制由软件实施。
14.如权利要求13所述的设备,其中所述软件是计算机游戏软件。
15.如权利要求11所述的设备,其中所述资产包括计算机游戏纹理。
16.如权利要求11所述的设备,其中所述资产包括音频元素。
17.如权利要求11所述的设备,其中所述信号包括软件生成的调用。
18.如权利要求11所述的设备,其中通过对所述相应资产执行算法来渲染所述唯一标识符。
19.如权利要求11所述的设备,其中当在所述计算机软件的控制下呈现计算机游戏时,将每个重新录制的资产即时地插入到所述游戏的呈现中。
20.一种方法,包括:
拦截从计算机游戏软件对资产的调用;
对于第一资产的至少第一所拦截调用,生成第一唯一标识符;
确定所述第一唯一标识符与重新录制数据结构中的条目是否匹配;
响应于所述第一唯一标识符与所述数据结构中的条目匹配,继续拦截所述调用;
响应于所述第一唯一标识符与所述数据结构中的条目不匹配,将所述第一唯一标识符和所述第一资产存储在所述数据结构中;
将所述第一资产输出至重新录制计算机;
基于艺术家修改了所述第一资产,从所述重新录制计算机接收重新录制的资产,所述重新录制的资产是所述第一资产的较高分辨率版本;以及
在所述数据结构中使所述重新录制的资产与唯一标识符相关联。
CN201780063394.7A 2016-11-22 2017-10-10 通过仿真进行重新录制 Active CN110121380B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/359,304 US10086289B2 (en) 2016-11-22 2016-11-22 Remastering by emulation
US15/359,304 2016-11-22
PCT/US2017/055844 WO2018097905A1 (en) 2016-11-22 2017-10-10 Remastering by emulation

Publications (2)

Publication Number Publication Date
CN110121380A CN110121380A (zh) 2019-08-13
CN110121380B true CN110121380B (zh) 2022-03-29

Family

ID=62144618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063394.7A Active CN110121380B (zh) 2016-11-22 2017-10-10 通过仿真进行重新录制

Country Status (5)

Country Link
US (1) US10086289B2 (zh)
EP (1) EP3544705A4 (zh)
JP (1) JP7125389B2 (zh)
CN (1) CN110121380B (zh)
WO (1) WO2018097905A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210156A1 (ja) * 2022-04-25 2023-11-02 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101073254A (zh) * 2004-03-01 2007-11-14 Gpi有限公司 用于在itv应用中描述呈现和行为信息的系统和方法
CN101322101A (zh) * 2005-12-01 2008-12-10 埃克森特科技有限公司 用于动态增强在计算装置上执行的应用程序的系统、方法和计算机程序产品
CN105027207A (zh) * 2013-03-15 2015-11-04 索尼公司 用于记录关于被渲染资产的信息的方法和系统
CN105917382A (zh) * 2014-01-21 2016-08-31 艾丽卡滑翔有限公司 用于交互式图形流传输的方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001340640A (ja) * 2000-03-30 2001-12-11 Nintendo Co Ltd ゲーム情報記憶媒体およびそれを用いたゲームシステム
WO2006126097A2 (en) * 2005-02-09 2006-11-30 Pixalert Memory based content display interception
US7685593B2 (en) * 2005-05-12 2010-03-23 Microsoft Corporation Systems and methods for supporting multiple gaming console emulation environments
US7596536B2 (en) * 2005-12-01 2009-09-29 Exent Technologies, Ltd. System, method and computer program product for dynamically measuring properties of objects rendered and/or referenced by an application executing on a computing device
US8206215B2 (en) * 2006-08-31 2012-06-26 Igt Gaming machine systems and methods with memory efficient historical video re-creation
US20090189892A1 (en) * 2008-01-27 2009-07-30 Nitin Desai Methods and systems for detecting a dirty region within a frame encompassing three dimensional graphics
US9082196B2 (en) * 2008-08-20 2015-07-14 Lucidlogix Technologies Ltd. Application-transparent resolution control by way of command stream interception
US20130127858A1 (en) * 2009-05-29 2013-05-23 Luc Leroy Interception of Graphics API Calls for Optimization of Rendering
US9582919B2 (en) * 2009-10-09 2017-02-28 Microsoft Technology Licensing, Llc Automatic run-time identification of textures
US8872823B2 (en) * 2009-10-09 2014-10-28 Microsoft Corporation Automatic real-time shader modification for texture fetch instrumentation
US9680894B2 (en) * 2011-10-14 2017-06-13 Bally Gaming, Inc. Multiple virtual machine memory usage reduction system and method
JP2016073360A (ja) * 2014-10-02 2016-05-12 株式会社サイバーガジェットホールディングス 新タイプのチップセットを旧タイプのテレビゲームカートリッジに使用する、ゲーム装置、ゲームシステムおよび方法
US9632807B2 (en) * 2015-05-14 2017-04-25 Creative Technology Ltd System and method of processing for flexible interception of communication between system layers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101073254A (zh) * 2004-03-01 2007-11-14 Gpi有限公司 用于在itv应用中描述呈现和行为信息的系统和方法
CN101322101A (zh) * 2005-12-01 2008-12-10 埃克森特科技有限公司 用于动态增强在计算装置上执行的应用程序的系统、方法和计算机程序产品
CN105027207A (zh) * 2013-03-15 2015-11-04 索尼公司 用于记录关于被渲染资产的信息的方法和系统
CN105917382A (zh) * 2014-01-21 2016-08-31 艾丽卡滑翔有限公司 用于交互式图形流传输的方法和系统

Also Published As

Publication number Publication date
US10086289B2 (en) 2018-10-02
WO2018097905A1 (en) 2018-05-31
EP3544705A1 (en) 2019-10-02
EP3544705A4 (en) 2020-07-29
JP2020500569A (ja) 2020-01-16
CN110121380A (zh) 2019-08-13
US20180140954A1 (en) 2018-05-24
JP7125389B2 (ja) 2022-08-24

Similar Documents

Publication Publication Date Title
US10967260B2 (en) Method for improving game streaming performance in the cloud
US20220258045A1 (en) Attention-based ai determination of player choices
WO2019099182A1 (en) Generation and customization of personalized avatars
US20190392641A1 (en) Material base rendering
US20190172240A1 (en) Facial animation for social virtual reality (vr)
US11395970B2 (en) Simulation shuffle play
CN110121380B (zh) 通过仿真进行重新录制
US20170311040A1 (en) Social network screening for time-shifted content viewing
US10846914B2 (en) Back-facing patch culling with displacement
US10915945B2 (en) Method and apparatuses for intelligent TV startup based on consumer behavior and real time content availability
US20180081484A1 (en) Input method for modeling physical objects in vr/digital
US11103794B2 (en) Post-launch crowd-sourced game qa via tool enhanced spectator system
WO2021091799A1 (en) Adaptive time dilation based on player performance
US11474620B2 (en) Controller inversion detection for context switching
US11553020B2 (en) Using camera on computer simulation controller
US20220355211A1 (en) Controller action recognition from video frames using machine learning
US20220180854A1 (en) Sound effects based on footfall
US20210121784A1 (en) Like button
US20210129033A1 (en) Spectator feedback to game play

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant