CN114416184A - 基于虚拟现实设备的存内计算方法及装置 - Google Patents

Abstract

本发明公开了一种基于虚拟现实设备的存内计算方法及装置中采用MRAM近存储技术，将图像采集、空间位置变化和人机交互等任务都具有独自的MRAM存储并完成存内计算，提升虚拟现实技术设备的工作效率；通过MRAM在VR、AR和WR等虚拟现实技术应用设备中，MRAM具有非易失性和快速读取能力，可以解决传统存储SRAM/DRAM的易失性问题和Flash读写速度慢等问题；由于大量数据需要在设备中处理，MRAM近存储技术可以避免无效数据，同时处理有效数据并将处理后的任务存储在MRAM区域，提升设备可靠性；通过将各自任务处理后的事件综合传输给CPU进行综合事件响应，该方式可以减少任务响应时间和提升设备可靠性。

Description

基于虚拟现实设备的存内计算方法及装置

技术领域

本发明涉及到近存储计算的技术领域，尤其涉及到基于虚拟现实设备的存内计算方法及装置。

背景技术

近年来随着信息化时代的到来，VR、AR和WR等虚拟现实技术设备领域迅速发展。虚拟现实技术设备通过内部系统产生电子信号与虚拟现实技术设备结合转换成人们可以看到并感受到的图像。虚拟现实技术开启人、计算机与环境交互之间的联系。随着人类的需求针对虚拟电子设备的大量图像数据和传感器数据的处理。新一代信息技术融合创新领域对设备的硬件组成部分具有多种需求，如主控芯片任务处理速度、存储容量和摄像头采集信息能力等。VR和AR等虚拟现实技术设备具有大量数据处理场景，如图像数据、传感器数据和虚拟数据结合等。这需要虚拟现实技术设备的存储具有快速读取能力和主控芯片的响应能力。

然而VR、AR和WR等虚拟现实技术设备具有不同发展侧重点。VR设备侧重于近眼现实聚焦高画质的视觉沉浸体验。AR设备侧重视野呈现真实场景、识别和理解现实场景和物体，该设备将虚拟场景和真实场景叠加。MR设备则将虚拟现实与增强现实结合起来，求真实世界与数字世界相融合。这些设备需要系统具有足够的数据处理能力并及时反应设备任务。由于任意CPU都只能在一个时刻处理一个任务，同时虚拟现实技术设备具有多任务的大量数据处理。常规设备只能更换CPU做新的主控芯片来增强任务处理能力或增加存储为设备存储更多的待处理数据。这从根本上没有解决虚拟现实技术的实际问题。

现有虚拟存储技术将采集的图像数据、传感器数据和算法处理任务都在CPU中进行处理。这会造成CPU出现任务响应不及时、任务阻塞或任务不响应等情况。传统存储SRAM和DRAM具有易失性，Flash具有非易失性但读写速度较慢。MRAM具有SRAM的读写速度能力和Flash的非易失性。

发明内容

本发明的目的在于提供一种基于虚拟现实设备的存内计算方法及装置采用MRAM近存储技术，将图像采集、空间位置变化和人机交互等任务都具有独自的MRAM存储并完成存内计算，提升虚拟现实技术设备的工作效率。

基于虚拟现实设备的存内计算方法，包括：

系统完成初始化，MCU启动相应的流程；

虚拟现实设备进行系统参数配置；

所述虚拟现实设备启动任务，进行数据采集工作；

通过存内计算处理采集的数据。

作为进一步的优选，还包括：

接收计算的数据进行任务处理，完成虚拟融合；

基于图像的虚拟融合，进行图像输出。

作为进一步的优选，所述系统参数配置包括图像采集的摄像头参数配置、位置测量的传感器定位和人机交互的触发类设备的参数配置。

作为进一步的优选，所述虚拟现实设备启动数据采集任务包括图像采集、场景融合和人机交互。

作为进一步的优选，所述图像采集任务包括：

图像数据经过采集放置在图像缓冲区，进行暂时数据存储；

将缓存的数据进行图像灰度化算法处理；

将图像灰度化处理后的数据进行特征点，应用MRAM内部的图像特征点算法进行数据处理；

将处理后的数据传输给图像处理区进行实时存储。

作为进一步的优选，所述场景融合任务包括：

准确定位空间位置变化的数值，并将数据值存储在MRAM的数据处理区；

多核计算将位置数据缓冲区数值进行综合处理，计算出当前的位置空间值；

通过所述数据处理区的数据值与MRAM存储内的空间值进行对比，得出此时空间的变化值；

将所述数据处理区的数据值、MRAM存储内的空间值和空间的变化值传输至所述数据处理区，进行虚拟场景的融合。

作为进一步的优选，所述人机交互识别包括：

通过多核计算将不必要的数据进行过滤，选取有效数据进行实时处理；

将事件响应存储在MRAM中，根据事件的优先级发送给CPU处理。

基于虚拟现实设备的存内计算装置，包括上述的基于虚拟现实设备的存内计算方法，还包括虚拟现实设备和MRAM存储器，所述MRAM存储器与多核计算模块组成MRAM近存储单元；所述虚拟现实设备用于系统参数配置，包括图像采集模块、场景融合模块和人机交互模块，所述图像采集模块、场景融合模块和人机交互模块信号连接所述MRAM近存储单元，其中，

所述图像采集模块用于将采集到的数据传输至所述MRAM存储器，进行图像数据灰度化和特征点提取；

所述场景融合模块用于根据空间位置的变化进行虚拟场景融合；

所述人机交互模块用于根据传感器阈值进行事件响应工作。

作为进一步的优选，所述MRAM存储器包括图像缓冲区和图像处理区，所述图像处理区用于存储经过图像灰度化和提取特征点后的图像数据，所述图像缓冲区用于不断接收图像数据，进行异步读取工作。

作为进一步的优选，所述场景融合模块包括空间位置对比单元、空间位置算法单元、位置数据缓冲区和位置数据处理区：

所述空间位置对比单元用于存储不同空间的位置值，便于计算后直接进行对比得出此时空间位置区域；

所述空间位置算法单元用于处理来自运动传感器、陀螺仪、惯性传感器和AR头显采集获得的运动位置数值；

所述位置数据缓冲区用于存储多种运动传感器数据值；

所述位置数据处理区用于存储算法处理后的位置数据。

作为进一步的优选，所述MRAM近存储单元将不必要的数据进行过滤，选取有效数据进行实时处理。

一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现以上任一项实施例所述的方法。

一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现以上任一项实施例所述的方法。

一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现以上任一项实施例所述的方法。

上述技术方案具有如下优点或有益效果：

本发明这种基于虚拟现实设备的存内计算方法及装置中通过MRAM在VR、AR和WR等虚拟现实技术应用设备中，MRAM具有非易失性和快速读取能力，可以解决传统存储SRAM/DRAM的易失性问题和Flash读写速度慢等问题；由于大量数据需要在设备中处理，MRAM近存储技术可以避免无效数据，同时处理有效数据并将处理后的任务存储在MRAM区域，提升设备可靠性；通过将各自任务处理后的事件综合传输给CPU进行综合事件响应，该方式可以减少任务响应时间和提升设备可靠性。

附图说明

图1是本发明基于虚拟现实设备的存内计算方法的流程示意图；

图2是本发明基于虚拟现实设备的存内计算装置的结构示意图；

图3是本发明图像采集任务的流程示意图；

图4是本发明场景融合任务的流程示意图；

图5是本发明人机交互任务的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

现有虚拟存储技术将采集的图像数据、传感器数据和算法处理任务都在CPU中进行处理。这会造成CPU出现任务响应不及时、任务阻塞或任务不响应等情况。传统存储SRAM和DRAM具有易失性，Flash具有非易失性但读写速度较慢。MRAM具有SRAM的读写速度能力和Flash的非易失性。近存储技术将数据直接在存储区域附近处理，该技术可以减少CPU的任务负载等问题。MRAM具有非易失性和快速读取数据能力。近存储技术是将存储数据直接在存储区域附近进行处理，这可以减轻CPU的任务负载和进程阻塞等问题。本发明通过将MRAM和近存储技术融合提升虚拟现实技术的任务处理能力和任务响应时间。设备将图像采集、空间位置变化和人机交互等任务都具有独自的MRAM存储并完成存内计算。虚拟现实技术设备将不同类别的任务并行处理，各自任务处理后传输给CPU进行最后任务响应。

结合图1所示，基于虚拟现实设备的存内计算方法，包括：

系统完成初始化，MCU启动相应的流程；

虚拟现实设备进行系统参数配置；

所述虚拟现实设备启动任务，进行数据采集工作；

通过存内计算处理采集的数据；

接收计算的数据进行任务处理，完成虚拟融合；

基于图像的虚拟融合，进行图像输出。

AR设备需要系统架构层具有数据高载处理能力。AR设备不同以往AR设备的实时操作系统，多种交互功能需求AR架构系统具有多线程处理能力。AR设备分别为采集真实场景、确认真实场景位置和人机交互的识别控制命令等功能，这些功能需要及时的数据处理流程。由于AR设备多数是需要进行实时算法对比和处理的任务。我们设计出MRAM存内计算用于AR架构设备。MRAM作为非易失存储器，具有SRAM的读写速度和Flash的非易失性。MRAM存储可以提升读取算法速度同时并行处理各种任务，将各个任务处理后交给CPU做虚拟融合算法后输出图像。MRAM近存储的AR架构设备可以避免系统出现资源死锁、进程阻塞和任务响应慢等问题。

完成系统初始化功能，通过系统初始化后，MCU内部开启各项流程工作；

基于初始化后，AR系统开始进行系统参数配置，分别完成图像采集的摄像头参数配置，位置测量的传感器定位和人机交互的触发类设备的参数配置等工作；

AR的任务启动工作包括图像采集、场景融合和人机交互等。当启动任意任务时，每个任务的传感器开始进行数据采集工作，由于AR场景应用复杂，多数情况下多个传感器共同进行，这将导致大量数据等待处理；

基于数据采集，每个任务都有大量数据需要算法处理，因此将每个任务空间数据放置MRAM存储被完成计算，这会减少CPU负荷、减少数据传输和降低系统进程阻塞等问题，整体提升系统的任务响应能力，加快数据处理速度；

接收传输来的图像采集、空间位置变化和人机交互等任务进行任务处理，CPU对图像数据进行综合处理完成虚拟融合任务；

基于完成图像虚拟融合任务，可以进行图像输出工作，显示方式可以为3D立体、全息显示和光场技术等工作。

结合图3—5所示，本发明基于虚拟现实设备的存内计算方法的较佳的实施例中，所述系统参数配置包括图像采集的摄像头参数配置、位置测量的传感器定位和人机交互的触发类设备的参数配置。

进一步地，本发明基于虚拟现实设备的存内计算方法的较佳的实施例中，所述虚拟现实设备启动数据采集任务包括图像采集、场景融合和人机交互。

进一步地，本发明基于虚拟现实设备的存内计算方法的较佳的实施例中，所述图像采集任务包括：

图像数据经过采集放置在图像缓冲区，进行暂时数据存储；

将缓存的数据进行图像灰度化算法处理；

将图像灰度化处理后的数据进行特征点，应用MRAM内部的图像特征点算法进行数据处理；

将处理后的数据传输给图像处理区进行实时存储。

其中，真实场景的图像采集具有大量数据传输，每次传输到CPU处理会出现系统资源占据情况，本发明通过将图像采集处理放置在MRAM近存储处理完成。通过摄像头将采集到的数据传输给MRAM存储，由于MRAM与核计算组成MRAM近存储，图像采集可以在存储内部进行图像数据灰度化和特征点提取工作。我们将图像灰度化算法和图像特征点算法存储在MRAM内部，MRAM内部同时具有图像缓冲区和图像处理区，图像缓冲区用于不断接收图像数据，进行异步读取工作；图像处理区用于存储经过图像灰度化和提取特征点后的图像数据。图像采集的MRAM近存储工作流程如下所示：

步骤A：当图像数据数据经过摄像头采集放置在图像缓冲区进行暂时数据存储，图像缓冲区域可以进行无限覆盖，由于该区域具有大量数据采集并需要实时更新；

步骤B：将缓存的数据进行图像灰度化算法处理，MRAM近存储中的核计算将图像缓冲区内的图像灰度化算法处理图像缓冲区内的图像数据，避免图像出现条带失真情况；

步骤C：将图像灰度化处理后的数据进行特征点，应用MRAM内部的图像特征点算法进行数据处理，该过程目的筛选图像特征点、排除图像无关点和匹配图像特征点，该工作可以确认特征图像在摄像头的具体位置；

步骤D：基于以上三步将图像处理后的数据传输给图像处理区进行实时存储，将图像数据重组后传输给CPU；

其中步骤A至步骤C完成图像数据分析工作，步骤D完成图像数据重构工作。

进一步地，本发明基于虚拟现实设备的存内计算方法的较佳的实施例中，所述场景融合任务包括：

准确定位空间位置变化的数值，并将数据值存储在MRAM的数据处理区；

多核计算将位置数据缓冲区数值进行综合处理，计算出当前的位置空间值；

通过所述数据处理区的数据值与MRAM存储内的空间值进行对比，得出此时空间的变化值；

将所述数据处理区的数据值、MRAM存储内的空间值和空间的变化值传输至所述数据处理区，进行虚拟场景的融合。

空间位置的变化对于AR显示具有极大的影响作用，用户在使用期间出现的空间位置变化会影响虚拟图像数据的显示工作。AR设备需要及时处理和显示这部分数据，这取决于真实场景的变换情况。空间位置的MRAM近存储有空间位置对比值、空间位置算法、位置数据缓冲区和位置数据处理区。空间位置对比值用于存储不同空间的位置值，便于计算后直接进行对比得出此时空间位置区域；空间位置算法综合处理来自运动传感器、陀螺仪、惯性传感器和AR头显采集获得的运动位置数值；位置数据缓冲区用于存储多种运动传感器数据值；位置数据处理区用于存储算法处理后的位置数据。

步骤a：为了准确定位空间位置变化的数值，多数AR设备通过运动传感器、陀螺仪、惯性传感器和AR头显获得空间位置数据，这部分数据值存储在MRAM的位置数据处理区；

步骤b：核计算将位置数据缓冲区数值进行综合处理，核计算调用空间位置算法对综合数据进行实时处理，计算出当前的位置空间值；

步骤c：基于步骤二的空间位置与MRAM存储内的空间位置对比值进行位置对比，便于得出此时空间的变化具体值；

步骤d：将步骤a至步骤c综合计算的空间数值传输给位置数据处理区，便于进行虚拟场景融合的工作。

进一步地，本发明基于虚拟现实设备的存内计算方法的较佳的实施例中，所述人机交互识别包括：

通过多核计算将不必要的数据进行过滤，选取有效数据进行实时处理；

将事件响应存储在MRAM中，根据事件的优先级发送给CPU处理。

基于虚拟现实设备的存内计算装置，包括上述的基于虚拟现实设备的存内计算方法，还包括虚拟现实设备1和MRAM存储器2，所述MRAM存储器2与多核计算模块4组成MRAM近存储单元3；所述虚拟现实设备1用于系统参数配置，包括图像采集模块11、场景融合模块12和人机交互模块13，所述图像采集模块11、场景融合模块12和人机交互模块13信号连接所述MRAM近存储单元3，其中，

所述图像采集模块11用于将采集到的数据传输至所述MRAM存储器2，进行图像数据灰度化和特征点提取；

所述场景融合模块12用于根据空间位置的变化进行虚拟场景融合；

所述人机交互模块13用于根据传感器阈值进行事件响应工作。

进一步地，本发明基于虚拟现实设备的存内计算装置的较佳的实施例中，所述MRAM存储器2包括图像缓冲区21和图像处理区22，所述图像处理区22用于存储经过图像灰度化和提取特征点后的图像数据，所述图像缓冲区21用于不断接收图像数据，进行异步读取工作。

真实场景的图像采集具有大量数据传输，每次传输到CPU处理会出现系统资源占据情况，本发明通过将图像采集处理放置在MRAM存储器2处理完成。通过摄像头将采集到的数据传输给MRAM存储器2，由于MRAM存储器2与多核计算模块4组成MRAM近存储单元3，图像采集可以在MRAM存储器2内部进行图像数据灰度化和特征点提取工作。我们将图像灰度化算法和图像特征点算法存储在MRAM存储器2内部。

当图像数据经过摄像头采集放置在图像缓冲区21进行暂时数据存储。图像缓冲区21可以进行无限覆盖，由于该区域具有大量数据采集并需要实时更新；将缓存的数据进行图像灰度化算法处理，MRAM近存储单元3中的多核计算模块4将图像缓冲区21内的图像灰度化算法处理图像缓冲区21内的图像数据，避免图像出现条带失真情况；将图像灰度化处理后的数据进行特征点，应用MRAM存储器2内部的图像特征点算法进行数据处理，该过程目的筛选图像特征点、排除图像无关点和匹配图像特征点，可以确认特征图像在摄像头的具体位置；将图像处理后的数据传输给图像处理区22进行实时存储，将图像数据重组后传输给CPU。

进一步地，本发明基于虚拟现实设备的存内计算装置的较佳的实施例中，所述场景融合模块12包括空间位置对比单元121、空间位置算法单元122、位置数据缓冲区123和位置数据处理区124：

所述空间位置对比单元121用于存储不同空间的位置值，便于计算后直接进行对比得出此时空间位置区域；

所述空间位置算法单元122用于处理来自运动传感器、陀螺仪、惯性传感器和AR头显采集获得的运动位置数值；

所述位置数据缓冲区123用于存储多种运动传感器数据值；

所述位置数据处理区124用于存储算法处理后的位置数据。

空间位置的变化对于AR显示具有极大的影响作用，用户在使用期间出现的空间位置变化会影响虚拟图像数据的显示工作。虚拟现实设备1需要及时处理和显示这部分数据，这取决于真实场景的变换情况。

为了准确定位空间位置变化的数值，虚拟现实设备1通过运动传感器、陀螺仪、惯性传感器和AR头显获得空间位置数据，这部分数据值存储在MRAM的位置数据处理区124；多核计算模块4将位置数据缓冲区123的数值进行综合处理；多核计算模块4调用空间位置算法单元122对综合数据进行实时处理，计算出当前的位置空间值；基于空间位置对比单元121与MRAM存储器2内的空间位置对比值进行位置对比，便于得出此时空间的变化具体值；将综合计算的空间数值传输给位置数据处理区124，便于进行虚拟场景融合的工作。

进一步地，本发明基于虚拟现实设备的存内计算装置的较佳的实施例中，所述MRAM近存储单元3将不必要的数据进行过滤，选取有效数据进行实时处理。

AR作为智能设备具有人机交互功能，通常以MIC采集语音、按键响应事件、激光陀螺仪和机械陀螺仪根据传感器阈值进行事件响应工作。针对人机交互工作中，MRAM近存储主要将不必要的数据进行过滤，选取有效数据进行实时处理。然后将事件响应存储在MRAM中根据事件的优先级发送给CPU处理，这样可以避免数据全部在CPU处理带来数据阻塞和事件响应慢的情况。接收传输来的图像采集、空间位置变化和人机交互等任务进行任务处理，CPU对图像数据进行综合处理完成虚拟融合任务；基于完成图像虚拟融合任务，可以进行图像输出工作，显示方式可以为3D立体、全息显示和光场技术等工作。

本发明应用MRAM近存储技术在虚拟现实技术设备中，将该设备中的不同类别任务进行独立处理。虚拟现实技术设备中的图像采集、空间位置变化和人机交互等任务传感器采集的数据传输给各自任务的MRAM存储。MRAM存储具有非易失性和快速读取数据能力。同时MRAM近存储技术对各自任务数据进行独自处理。各自任务处理后的最后事件传输给CPU进行综合处理。

本发明应用MRAM近存储技术在VR、AR和WR等虚拟现实技术设备中。通过MRAM本身的非易失性可以提升设备的可靠性。各自任务具有大量数据处理通过传输给MRAM存储，若系统正常或异常掉电时，MRAM存储不会丢失内部数据。

本发明将VR、AR和WR等虚拟现实技术设备的任务放置在MRAM近存储进行处理。为了及时处理虚拟现实技术的任务的大量传感器数据或图像数据。本发明将这些数据放置在各自的MRAM近存储附近进行数据处理，可以有效避免无效数据或亢余数据。本发明将图像采集、空间位置和人机交互等任务处理后的事件发送给CPU进行综合处理，完成虚拟现实技术设备的图像数据综合分析和重构。本发明可以减轻CPU的负载能力和事件响应慢的问题。

一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如以上任一项所述的方法。

具体地，处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器通过运行存储在存储器中的非暂态软件程序/指令以及功能模块，从而执行处理器的各种功能应用以及数据处理。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口)连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如以上任一项所述的方法。

前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。

本领域普通技术人员可以意识到，结合本文中所本申请的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

综上所述，本发明一种权值可配置编码的方法、装置、电子设备及存储介质通过使编码块利用能够利用下侧和右侧的参考像素，可以适应具有不同空间相关性的图像，且新设计的内/外插预测技术可以充分利用周围的参考像素进一步提高预测的准确性，不再局限于上方或左侧相邻块是否可用从而提高整体的压缩性能,实现了高效编码，进一步提升了视频数据的压缩效率。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

Claims (13)

1.基于虚拟现实设备的存内计算方法，其特征在于，包括：

系统完成初始化，MCU启动相应的流程；

虚拟现实设备进行系统参数配置；

所述虚拟现实设备启动任务，进行数据采集工作；

通过存内计算处理采集的数据。

2.如权利要求1所述的基于虚拟现实设备的存内计算方法，其特征在于，还包括：

接收计算的数据进行任务处理，完成虚拟融合；

基于图像的虚拟融合，进行图像输出。

3.如权利要求1所述的基于虚拟现实设备的存内计算方法，其特征在于，所述系统参数配置包括图像采集的摄像头参数配置、位置测量的传感器定位和人机交互的触发类设备的参数配置。

4.如权利要求3所述的基于虚拟现实设备的存内计算方法，其特征在于，所述虚拟现实设备启动数据采集任务包括图像采集、场景融合和人机交互。

5.如权利要求2或权利要求4所述的基于虚拟现实设备的存内计算方法，其特征在于，所述图像采集任务包括：

图像数据经过采集放置在图像缓冲区，进行暂时数据存储；

将缓存的数据进行图像灰度化算法处理；

将图像灰度化处理后的数据进行特征点，应用MRAM内部的图像特征点算法进行数据处理；

将处理后的数据传输给图像处理区进行实时存储。

6.如权利要求2或权利要求4所述的基于虚拟现实设备的存内计算方法，其特征在于，所述场景融合任务包括：

准确定位空间位置变化的数值，并将数据值存储在MRAM的数据处理区；

多核计算将位置数据缓冲区数值进行综合处理，计算出当前的位置空间值；

通过所述数据处理区的数据值与MRAM存储内的空间值进行对比，得出此时空间的变化值；

将所述数据处理区的数据值、MRAM存储内的空间值和空间的变化值传输至所述数据处理区，进行虚拟场景的融合。

7.如权利要求2或权利要求4所述的基于虚拟现实设备的存内计算方法，其特征在于，所述人机交互识别包括：

通过多核计算将不必要的数据进行过滤，选取有效数据进行实时处理；

将事件响应存储在MRAM中，根据事件的优先级发送给CPU处理。

8.基于虚拟现实设备的存内计算装置，包括权利要求1—7所述的基于虚拟现实设备的存内计算方法，其特征在于，还包括虚拟现实设备(1)和MRAM存储器(2)，所述MRAM存储器(2)与多核计算模块(4)组成MRAM近存储单元(3)；所述虚拟现实设备(1)用于系统参数配置，包括图像采集模块(11)、场景融合模块(12)和人机交互模块(13)，所述图像采集模块(11)、场景融合模块(12)和人机交互模块(13)信号连接所述MRAM近存储单元(3)，其中，

所述图像采集模块(11)用于将采集到的数据传输至所述MRAM存储器(2)，进行图像数据灰度化和特征点提取；

所述场景融合模块(12)用于根据空间位置的变化进行虚拟场景融合；

所述人机交互模块(13)用于根据传感器阈值进行事件响应工作。

9.如权利要求8所述的基于虚拟现实设备的存内计算装置，其特征在于，所述MRAM存储器(2)包括图像缓冲区(21)和图像处理区(22)，所述图像处理区(22)用于存储经过图像灰度化和提取特征点后的图像数据，所述图像缓冲区(21)用于不断接收图像数据，进行异步读取工作。

10.如权利要求8所述的基于虚拟现实设备的存内计算装置，其特征在于，所述场景融合模块(12)包括空间位置对比单元(121)、空间位置算法单元(122)、位置数据缓冲区(123)和位置数据处理区(124)：

所述空间位置对比单元(121)用于存储不同空间的位置值，便于计算后直接进行对比得出此时空间位置区域；

所述空间位置算法单元(122)用于处理来自运动传感器、陀螺仪、惯性传感器和AR头显采集获得的运动位置数值；

所述位置数据缓冲区(123)用于存储多种运动传感器数据值；

所述位置数据处理区(124)用于存储算法处理后的位置数据。

11.如权利要求8所述的基于虚拟现实设备的存内计算装置，其特征在于，所述MRAM近存储单元(3)将不必要的数据进行过滤，选取有效数据进行实时处理。

12.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-7任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-7任一项所述的方法。

Images