CN115129279A - 图像绘制方法、装置、电子设备及计算机存储介质 - Google Patents

图像绘制方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN115129279A
CN115129279A CN202110321554.1A CN202110321554A CN115129279A CN 115129279 A CN115129279 A CN 115129279A CN 202110321554 A CN202110321554 A CN 202110321554A CN 115129279 A CN115129279 A CN 115129279A
Authority
CN
China
Prior art keywords
image
time
main
standby
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110321554.1A
Other languages
English (en)
Other versions
CN115129279B (zh
Inventor
罗佐臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shixiang Technology Co Ltd
Original Assignee
Guangzhou Shixiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shixiang Technology Co Ltd filed Critical Guangzhou Shixiang Technology Co Ltd
Priority to CN202110321554.1A priority Critical patent/CN115129279B/zh
Publication of CN115129279A publication Critical patent/CN115129279A/zh
Application granted granted Critical
Publication of CN115129279B publication Critical patent/CN115129279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种图像绘制方法、装置、电子设备及计算机存储介质，所述方法包括：在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像；检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像；将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像；该技术方案，在确保了显示画面正常显示的基础上，始终保持稳定的帧率输出，避免了卡顿和不流畅现象，提升了显示效果。

Description

图像绘制方法、装置、电子设备及计算机存储介质
技术领域
本申请涉及虚拟现实技术领域，具体而言，本申请涉及一种图像绘制方法、装置、电子设备及计算机存储介质。
背景技术
AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、MR(MixedReality，混合现实)等电子设备，利用计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，实现虚拟世界与现实世界之间无缝转换的“沉浸感”体验。
目前，AR/VR/MR这些电子设备在绘制图像时，图像是按固定的帧率进行绘制和显示，比如60帧/s，对应的单幅图像帧的显示间隔为16.6ms，那么在16.6ms内要图像数据就需要绘制完成并送去显示，如果数据在规定时间没绘制好，新画面就无法继续绘制，从而导致丢帧的情况。一旦出现丢帧导致无法及时绘制出新画面的情况，用户看到的画面就无法满足60帧/s的帧率要求，而当帧率降低到一定程度时，导致用户看到的画面出现明显的卡顿不流畅，影响了显示效果。
发明内容
本申请的目的旨在针对于上述技术缺陷之一，提供一种图像绘制方法、装置、电子设备及计算机存储介质。
本申请提供一种图像绘制方法，包括如下步骤：
在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像；
检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像；
将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像。
在一个实施例中，在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像，包括：
启动主线程和子线程；其中，所述主线程与子线程同步运行；
通过所述主线程绘制主图像；
通过所述子线程读取眼镜的实时姿态，并根据所述实时姿态及已绘制的至少一帧主图像合成备用图像。
在一个实施例中，根据所述实时姿态及已绘制的至少一帧主图像合成备用图像，包括：
读取上一帧或多帧已绘制成功的主图像；
读取所述设备的IMU姿态传感器检测的实时姿态；
根据所述实时姿态的偏移量对所述上一帧或多帧已绘制成功的主图像进行预测计算，得到备用图像。
在一个实施例中，所述画面内容上设置有重要等级标记，用于指示所述画面内容的重要性等级；
所述方法还包括：
在绘制所述主图像时，实时检测当前正在绘制的主图像的画面内容；
若所述画面内容中包括所述重要等级标记，禁止使用所述备用图像，直至所述画面内容中不存在重要等级标记时止。
在一个实施例中，所述的图像绘制方法，还包括：
对当前绘制的主图像的画面内容进行监测；
若画面内容为指定类型的画面内容，则根据预设的与该指定类型匹配的调整策略调整所述时间阈值。
在一个实施例中，所述的图像绘制方法，还包括：
统计当前帧之前的一设定时间段内容备用图像的使用次数，如果使用次数达到次数阈值，根据所述使用次数自适应调整所述时间阈值。
在一个实施例中，所述时间阈值为至少一个帧间隔的时间。
本申请还提供一种图像绘制装置，包括:
备用帧绘制模块，用于在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像；
超时检测模块，用于检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像；
备用帧替换模块，用于将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像。
本申请还提供一种电子设备，包括眼镜、一个或多个处理器以及存储器；
所述眼镜用于显示图像信息；
所述存储器中存储一个或多个应用程序，其中所述应用程序被配置为由所述处理器执行，所述一个或多个程序执行如上述的图像绘制方法。
本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上述的图像绘制方法。
本申请的技术方案具有如下有益效果：
在绘制主图像的同时，获取设备当前的实时姿态并根据实时姿态及已绘制的主图像合成备用图像；当主图像绘制超时时，利用最新合成的备用图像添加到主图像序列中进行显示，并绘制下一帧主图像；该技术方案通过利用已经绘制成功的图像帧结合实时姿态来预测生成备用图像，在主图像绘制超时可以启用备用图像来进行显示，在确保了显示画面正常显示的基础上，始终保持稳定的帧率输出，避免了卡顿和不流畅现象，提升了显示效果。
进一步的，设计了主线程和子线程的双线程同步运行，主线程绘制主图像，子线程合成备用图像，两者相互独立且相互配合，有利于运算资源的优化配置。
进一步的，在合成备用图像时，利用上一帧或多帧已绘制成功的主图像，结合设备的IMU姿态传感器检测的实时姿态进行预测计算得到备用图像；可以确保显示画面与当前画面内容的平顺过渡，保证了显示效果。
进一步的，在画面内容上设置有重要等级标记来指示重要性等级，如果当前正在绘制重要性等级较高的画面内容，通过检测重要等级标记，禁止使用所述备用图像，可以确保重要性较高的画面内容得到完整的绘制，确保了重要性内容的画面显示效果。
进一步的，对当前绘制的主图像的画面内容进行监测，如果正在绘制指定类型的画面内容，则根据设定的调整策略调整时间阈值，实现了对时间阈值的动态调整，还可以统计当前帧之前的一设定时间段内容备用图像的使用次数，根据使用次数自适应调整时间阈值；通过调整时间阈值，确保了备用图像在不同类型及不同场景下的使用时机，扩大了方案使用范围。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是绘制图像的示意图；
图2是一个实施例的图像绘制方法流程图；
图3是图像绘制示例图；
图4是一个实施例的图像绘制装置结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
参考图1，图1是绘制图像的示意图，以AR/VR/MR的显示帧率为60帧/s为例，图像帧的显示间隔为16.6ms，在每个16.6ms到来后，图像需要进行一次刷新更新，此时绘制好的图像将会发送到屏幕上显示，如图中的上图部分所示。而一旦出现绘制超时，则在超过16.6ms等待后，图像显示仍然无法刷新，如图中下图部分所示，此时出现了卡顿和不流畅情况，影响显示效果。
据此，本申请提供了一种图像绘制方法，参考图2，图2是一个实施例的图像绘制方法流程图，主要包括如下步骤：
S110，在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像。
此步骤中，在绘制主图像的同时，利用AR/VR/MR等设备当前检测的实时姿态，结合已经绘制成功的主图像来合成备用图像。
在一个实施例中，对于上述步骤S110的合成备用图像方法，可以包括如下过程：
首先启动同步运行的主线程和子线程；然后通过主线程绘制主图像；通过子线程读取眼镜的实时姿态，并根据实时姿态及已绘制的至少一帧主图像合成备用图像。
作为一个实施例，对于合成备用图像的流程，可以读取上一帧或多帧已绘制成功的主图像；然后读取眼镜设备的IMU姿态传感器检测的实时姿态；根据实时姿态的偏移量对上一帧或多帧已绘制成功的主图像进行预测计算，得到备用图像。
具体来说，在设备系统中设计主线程和子线程，并行运行，主线程负责主图像的画面绘制并发送到显示屏进行显示；子线程作为一个备份作用，利用主线程绘制成功的一帧或者多帧主图像，结合当前眼镜设备的实时姿态，对当前绘制的主图像的画面内容进行预测计算，生成一个可以临时替换主图像的备用图像。
由于是利用了绘制成功的主图像和实时姿态进行预测计算，因此在画面上可以预测出画面的变化，画面内容基本上与当前绘制的主画面一致，虽然画面质量不能完全等同主图像，但可以暂时替换当前主线程绘制的主图像，备用图像添加进去后，也能够与前后帧的图像画面形成平滑过渡。
S120，检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像。
此步骤中，实时检测主图像是否绘制超时，如果出现了超时现象，读取最新生成的备用图像。
具体的，可以对主线程绘制过程进行实时检测，判断到达了时间阈值后能够绘制完成，对于时间阈值，通常情况下，可以根据帧率进行设置，比如，可以设为一个帧间隔，即当任意一帧绘制无法顺利完成时，即考虑使用备用图像。
当然，为了好地利用备用图像，除了在时间阈值设置上进行按需设置外，也可以在使用过程当中根据需求去对时间阈值进行调整，以使得在最佳的时机使用备用图像，以获得更好的显示效果。
S130，将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像。
此步骤中，利用备用图像替换了主图像进行显示，然后跳过当前绘制超时的图像帧，绘制下一帧主图像，由此可以避免卡顿和不流畅的现象。
综合上述实施例的技术方案，通过利用已经绘制成功的图像帧结合实时姿态来预测生成备用图像，在主图像绘制超时可以启用备用图像来进行显示，在确保了显示画面正常显示的基础上，始终保持稳定的帧率输出，避免了卡顿和不流畅现象，提升了显示效果。
而且，设计了主线程和子线程的双线程同步运行，主线程绘制主图像，子线程合成备用图像，两者相互独立且相互配合，有利于运算资源的优化配置。
再者，在合成备用图像时，利用上一帧或多帧已绘制成功的主图像，结合设备的IMU姿态传感器检测的实时姿态进行预测计算得到备用图像；可以确保显示画面与当前画面内容的平顺过渡，保证了显示效果。
为了更加清晰本申请技术方案，下面结合附图阐述本申请技术方案的若干实施例。
在一个实施例中，可以对设备当前的画面内容设置有重要等级标记，用于指示所述画面内容的重要性等级；通过设置了等级标记后，在绘制主图像过程中，进一步实时检测当前正在绘制的主图像的画面内容；若所述画面内容中包括所述重要等级标记，禁止使用所述备用图像，直至所述画面内容中不存在重要等级标记时止。
例如，如果当前正在绘制一个需要清晰显示的场景，此时绘制过程容易导致超时，由于备用图像是虚拟出来的画面，和实际绘制出来的主图像的画面存在差别，为了确保绘制画面质量，优先保证主图像画面的显示，备用图像的插入时机是动态可变，时机选择可以由开发者来决定插入时间，有些主图像画面是需要一定的时间绘制完成，重要画面应禁止被备用图像替换，直至重要主图像画面绘制完成后再解除。
上述实施例的方案，可以在画面内容上设置有重要等级标记来指示重要性等级，如果当前正在绘制重要性等级较高的画面内容，通过检测重要等级标记，禁止使用备用图像，可以确保重要性较高的画面内容得到完整的绘制，确保了重要性内容的画面显示效果。
在一个实施例中，本申请的图像绘制方法，还可以在绘制主图像过程中，对当前绘制的主图像的画面内容进行监测；若画面内容为指定类型的画面内容，则根据预设的与该指定类型匹配的调整策略调整所述时间阈值。
具体的，对当前绘制的画面内容实时监测，如果是一些指定类型画面，比如重要场景的画面，或者是重要物体画面，绘制时运算量较大，但对显示要求较高，因此，为了避免过多采用备用图像代替显示会影响了整体画面质量，此时可以将时间阈值调大，例如调整为2-3个帧间隔，在此情况下当绘制会影响整体画面卡顿时再启用备用图像，确保了画面显示整体性和流畅性，提升显示效果。
在另一个实施例中，本申请的图像绘制方法，还可以在绘制主图像过程中，统计当前帧之前的一设定时间段内容备用图像的使用次数，如果使用次数达到次数阈值，根据所述使用次数自适应调整所述时间阈值。
本实施例中，是结合了备用图像使用频率来调整时间阈值，由于备用图像的画面是通过预测计算，因此其预测时间跨度有限，同时画面质量也不能完全代替主图像，因此，为了避免过多使用备用图像给整体显示效果造成影响，因此，通过统计使用频率，来进行自适应调整，如果备用图像使用过多时，通过增大时间阈值，可以降低备用图像使用频率，确保设备的画面显示效果。
综合上述调整时间阈值的实施例，确保了备用图像在不同类型及不同场景下的使用时机，扩大了方案使用范围。
本申请的技术方案，参考图3，图3是图像绘制示例图，以显示帧率为60帧/s，显示间隔为16.6ms为例，主图像和备用图像是分别由主线程和子线程在运算处理，主线程绘制主图像，子线程在主线程的每帧绘制完成后，将上一帧主图像提取出来，通过IMU姿态传感器获取AR/VR设备的实时姿态，将实时状态和上一帧主图像合成备用图像放在缓存中备用，成为备用图像，如果当前主图像的画面数据无法在指定时间阈值内绘制完，将备用图像送去帧序列显示，主线程是在绘制最新的主图像的画面数据，该过程是需要较长时间才能运算出来，子线程是利用主线程完成的主图像的画面数据预测得到，运算时间较短。
下面阐述图像绘制装置的实施例。
参考图4，图4是一个实施例的图像绘制装置结构示意图，包括:
备用帧绘制模块110，用于在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像；
超时检测模块120，用于检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像；
备用帧替换模块130，用于将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像。
本申请的图像绘制装置，备用帧绘制模块110在绘制主图像的同时，获取设备当前的实时姿态并根据实时姿态及已绘制的主图像合成备用图像；超时检测模块120和备用帧替换模块130当主图像绘制超时时，利用最新合成的备用图像添加到主图像序列中进行显示，并绘制下一帧主图像；该技术方案通过利用已经绘制成功的图像帧结合实时姿态来预测生成备用图像，在主图像绘制超时可以启用备用图像来进行显示，在确保了显示画面正常显示的基础上，始终保持稳定的帧率输出，避免了卡顿和不流畅现象，提升了显示效果。
本申请还提供一种电子设备，包括眼镜、一个或多个处理器以及存储器；
所述眼镜用于显示图像信息；
所述存储器中存储一个或多个应用程序，其中所述应用程序被配置为由所述处理器执行，所述一个或多个程序执行如上述的图像绘制方法。
本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上述的图像绘制方法。
综合本申请的技术方案：
该技术方案通过利用已经绘制成功的图像帧结合实时姿态来预测生成备用图像，在主图像绘制超时可以启用备用图像来进行显示，在确保了显示画面正常显示的基础上，始终保持稳定的帧率输出，避免了卡顿和不流畅现象，提升了显示效果。
设计了主线程和子线程的双线程同步运行，主线程绘制主图像，子线程合成备用图像，两者相互独立且相互配合，有利于运算资源的优化配置。
在合成备用图像时，利用上一帧或多帧已绘制成功的主图像，结合设备的IMU姿态传感器检测的实时姿态进行预测计算得到备用图像；可以确保显示画面与当前画面内容的平顺过渡，保证了显示效果。
在画面内容上设置有重要等级标记来指示重要性等级，如果当前正在绘制重要性等级较高的画面内容，通过检测重要等级标记，禁止使用所述备用图像，可以确保重要性较高的画面内容得到完整的绘制，确保了重要性内容的画面显示效果。
对当前绘制的主图像的画面内容进行监测，如果正在绘制指定类型的画面内容，则根据设定的调整策略调整时间阈值，实现了对时间阈值的动态调整，还可以统计当前帧之前的一设定时间段内容备用图像的使用次数，根据使用次数自适应调整时间阈值；通过调整时间阈值，确保了备用图像在不同类型及不同场景下的使用时机，扩大了方案使用范围。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像绘制方法，其特征在于，包括如下步骤：
在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像；
检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像；
将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像。
2.根据权利要求1所述的图像绘制方法，其特征在于，在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像，包括：
启动主线程和子线程；其中，所述主线程与子线程同步运行；
通过所述主线程绘制主图像；
通过所述子线程读取眼镜的实时姿态，并根据所述实时姿态及已绘制的至少一帧主图像合成备用图像。
3.根据权利要求2所述的图像绘制方法，其特征在于，根据所述实时姿态及已绘制的至少一帧主图像合成备用图像，包括：
读取上一帧或多帧已绘制成功的主图像；
读取所述设备的IMU姿态传感器检测的实时姿态；
根据所述实时姿态的偏移量对所述上一帧或多帧已绘制成功的主图像进行预测计算，得到备用图像。
4.根据权利要求1所述的图像绘制方法，其特征在于，所述画面内容上设置有重要等级标记，用于指示所述画面内容的重要性等级；
所述方法还包括：
在绘制所述主图像时，实时检测当前正在绘制的主图像的画面内容；
若所述画面内容中包括所述重要等级标记，禁止使用所述备用图像，直至所述画面内容中不存在重要等级标记时止。
5.根据权利要求1至4任一项所述的图像绘制方法，其特征在于，还包括：
对当前绘制的主图像的画面内容进行监测；
若画面内容为指定类型的画面内容，则根据预设的与该指定类型匹配的调整策略调整所述时间阈值。
6.根据权利要求1至4任一项所述的图像绘制方法，其特征在于，还包括：
统计当前帧之前的一设定时间段内容备用图像的使用次数，如果使用次数达到次数阈值，根据所述使用次数自适应调整所述时间阈值。
7.根据权利要求1所述的图像绘制方法，其特征在于，所述时间阈值为至少一个帧间隔的时间。
8.一种图像绘制装置，其特征在于，包括：
备用帧绘制模块，用于在绘制主图像时，获取设备当前的实时姿态，并根据所述实时姿态及已绘制的主图像合成备用图像；
超时检测模块，用于检测当前帧的主图像的绘制时间，若所述绘制时间超出设定的时间阈值，读取最新合成的备用图像；
备用帧替换模块，用于将所述备用图像添加到所述主图像序列中进行显示，并启动绘制下一帧主图像。
9.一种电子设备，其特征在于，包括眼镜、一个或多个处理器以及存储器；
所述眼镜用于显示图像信息；
所述存储器中存储一个或多个应用程序，其中所述应用程序被配置为由所述处理器执行，所述一个或多个程序执行如权利要求1-7任一项所述的图像绘制方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1-7任一项所述的图像绘制方法。
CN202110321554.1A 2021-03-25 2021-03-25 图像绘制方法、装置、电子设备及计算机存储介质 Active CN115129279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321554.1A CN115129279B (zh) 2021-03-25 2021-03-25 图像绘制方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321554.1A CN115129279B (zh) 2021-03-25 2021-03-25 图像绘制方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN115129279A true CN115129279A (zh) 2022-09-30
CN115129279B CN115129279B (zh) 2024-03-15

Family

ID=83374515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321554.1A Active CN115129279B (zh) 2021-03-25 2021-03-25 图像绘制方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115129279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878935A (zh) * 2023-01-29 2023-03-31 北京全路通信信号研究设计院集团有限公司 一种图表的局部刷新方法、系统、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020002077A1 (en) * 2000-06-05 2002-01-03 Square Co., Ltd. Image synthesis for a video game
CN106385625A (zh) * 2016-09-29 2017-02-08 宇龙计算机通信科技(深圳)有限公司 一种图像中间帧生成方法及装置
US20170352334A1 (en) * 2016-06-07 2017-12-07 Beijing Pico Technology Co., Ltd. Method and apparatus for shortening image delay, and virtual reality apparatus
CN108710478A (zh) * 2018-03-27 2018-10-26 广东欧珀移动通信有限公司 显示屏的控制方法、装置、存储介质及智能终端
CN109460364A (zh) * 2018-11-14 2019-03-12 Oppo广东移动通信有限公司 应用程序检测方法、装置、存储介质及移动终端
CN111427697A (zh) * 2020-03-18 2020-07-17 深圳市瑞立视多媒体科技有限公司 基于多线程的动作捕捉方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020002077A1 (en) * 2000-06-05 2002-01-03 Square Co., Ltd. Image synthesis for a video game
US20170352334A1 (en) * 2016-06-07 2017-12-07 Beijing Pico Technology Co., Ltd. Method and apparatus for shortening image delay, and virtual reality apparatus
CN106385625A (zh) * 2016-09-29 2017-02-08 宇龙计算机通信科技(深圳)有限公司 一种图像中间帧生成方法及装置
CN108710478A (zh) * 2018-03-27 2018-10-26 广东欧珀移动通信有限公司 显示屏的控制方法、装置、存储介质及智能终端
CN109460364A (zh) * 2018-11-14 2019-03-12 Oppo广东移动通信有限公司 应用程序检测方法、装置、存储介质及移动终端
CN111427697A (zh) * 2020-03-18 2020-07-17 深圳市瑞立视多媒体科技有限公司 基于多线程的动作捕捉方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878935A (zh) * 2023-01-29 2023-03-31 北京全路通信信号研究设计院集团有限公司 一种图表的局部刷新方法、系统、装置、设备及介质
CN115878935B (zh) * 2023-01-29 2023-05-23 北京全路通信信号研究设计院集团有限公司 一种图表的局部刷新方法、系统、装置、设备及介质

Also Published As

Publication number Publication date
CN115129279B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
US11025879B2 (en) Image processing apparatus, image processing method, and storage medium storing program
CN109887065B (zh) 图像渲染方法及其装置
CN109242944B (zh) 一种显示方法和装置
CN111479059B (zh) 拍照处理方法、装置、电子设备及存储介质
CN104639951A (zh) 视频码流的抽帧处理方法及装置
CN108241211B (zh) 一种头戴显示设备及图像渲染方法
US11810524B2 (en) Virtual reality display device and control method thereof
CN112887646B (zh) 图像处理方法及装置、扩展现实系统、计算机设备及介质
JP2015114798A (ja) 情報処理装置および情報処理方法、プログラム
EP3783491A1 (en) Video generation method and apparatus, server and storage medium
CN112015273B (zh) 虚拟现实系统的数据传输方法及相关装置
CN101667407B (zh) 一种带宽自适应的图像数据访问方法、系统及显示控制装置
CN115129279B (zh) 图像绘制方法、装置、电子设备及计算机存储介质
JP2020028096A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
CN114626974A (zh) 图像处理方法、装置、计算机设备及存储介质
CN107506119B (zh) 一种图片显示方法、装置、设备和存储介质
CN104219475A (zh) 视频处理方法、视频显示方法以及视频处理装置
CN116996639B (zh) 投屏帧率获取方法、装置、计算机设备以及存储介质
CN115588412B (zh) 墨水屏画面显示方法、装置、终端设备和存储介质
CN114510183B (zh) 动效时长管理方法及电子设备
WO2018196530A1 (zh) 一种视频信息处理方法及终端、计算机存储介质
CN105430237A (zh) 一种帧缺失图像的处理方法及系统
TW201132128A (en) Image data compression apparatu and method
JPH09116827A (ja) 縮小映像信号処理回路
CN113766315A (zh) 显示设备及视频信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant