CN114579781A - 图片加载方法、电子设备、芯片及可读存储介质 - Google Patents

图片加载方法、电子设备、芯片及可读存储介质 Download PDF

Info

Publication number
CN114579781A
CN114579781A CN202011379419.4A CN202011379419A CN114579781A CN 114579781 A CN114579781 A CN 114579781A CN 202011379419 A CN202011379419 A CN 202011379419A CN 114579781 A CN114579781 A CN 114579781A
Authority
CN
China
Prior art keywords
picture
hot spot
decoding
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011379419.4A
Other languages
English (en)
Inventor
马明刚
刘志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011379419.4A priority Critical patent/CN114579781A/zh
Priority to PCT/CN2021/134087 priority patent/WO2022111697A1/zh
Publication of CN114579781A publication Critical patent/CN114579781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种图片加载方法,涉及终端领域。通过在显示界面加载图片时,若确定电子设备的显示界面存在热点显示区域,优先加载热点显示区域对应的图片内容,其中该热点显示区域为用户眼球关注区域。本申请实施例还提供了一种电子设备、芯片及计算机可读存储介质。本申请基于人眼的关注区域来调整图片的加载顺序,使得人眼关注区域内的图片内容被优先显示出来,提升用户使用体验。

Description

图片加载方法、电子设备、芯片及可读存储介质
技术领域
本申请涉及终端技术领域,尤其涉及一种图片加载方法、电子设备、芯片及计算机可读存储介质。
背景技术
用户在浏览图片的时候,比如在大屏设备上浏览图片,通常会有一个视觉关注区域。但是现有的显示界面的图片处理顺序通常是按照固定顺序进行显示处理,比如对于多张待显示图片,处理顺序为从上至下,或从左至右,或从右至左。在一些图片处理能力较弱的设备上,用户关注区域内的图片可能会被较慢地进行处理显示,降低了用户使用体验。
发明内容
有鉴于此,有必要提供一种图片加载方法,其可克服上述问题,可以使得人眼关注区域内的图片内容被优先显示出来。
本申请实施例第一方面公开了一种图片加载方法,包括:接收图片加载指令;若显示界面存在热点显示区域,优先加载所述热点显示区域对应的图片内容;其中,所述热点显示区域为用户眼球关注区域。
通过采用该技术方案,可使得人眼关注区域内的图片内容被优先显示出来,提升用户使用体验。
在一种可能的实现方式中,所述图片加载方法还包括:若侦测到所述显示界面前存在观看用户且所述观看用户的眼球注视位置落入所述显示界面内,确定所述显示界面存在热点显示区域;或若侦测到所述显示界面前不存在观看用户、或者所述显示界面前存在观看用户且所述观看用户的眼球注视位置未落入所述显示界面内,确定所述显示界面不存在热点显示区域。
通过采用该技术方案,可实现确定显示界面是否存在热点显示区域,便于后续对人眼关注区域内的图片内容进行优先解码显示。
在一种可能的实现方式中,若多个所述观看用户的眼球注视位置落入所述显示界面内,将在预设白名单内的观看用户的眼球关注区域确定为所述热点显示区域;或若多个所述观看用户的眼球注视位置落入所述显示界面内,将在预设白名单内的观看用户的眼球关注区域确定为第一优先等级的热点显示区域,及将未在所述预设白名单内的观看用户的眼球关注区域确定为第二优先等级的热点显示区域。
通过采用该技术方案,可实现在显示界面存在多个热点显示区域时,优先将白名单内的观看用户(比如机主)的眼球关注区域进行优先解码显示。
在一种可能的实现方式中,所述显示界面包括多张图片,所述优先加载所述热点显示区域对应的图片内容,包括:将所述多张图片的解码信息及显示位置信息打包成多个解码任务,其中,所述多个解码任务与所述多张图片一一对应,所述解码信息包括图片存储路径、图片大小及图片采样率中的一种或多种;优先选取属于所述热点显示区域的解码任务进行解码处理,并根据解码结果在所述显示界面进行渲染显示。
通过采用该技术方案,可实现在多张图片显示的场景中,将人眼关注区域内的图片进行优先解码显示,提升用户使用体验。
在一种可能的实现方式中,所述方法还包括:若图片的显示位置部分落入或者全部落入所述热点显示区域,将所述图片认定为属于所述热点显示区域的图片。
在一种可能的实现方式中,所述显示界面包括一张图片,所述优先加载所述热点显示区域对应的图片内容包括:将所述图片以预设分辨率在所述显示界面进行渲染显示;优先选取属于所述热点显示区域的图片区域进行解码处理,以将所述图片区域以第一分辨率在所述显示界面进行渲染显示;其中,所述第一分辨率大于所述预设分辨率。
通过采用该技术方案,可实现在单张图片全屏显示的场景中,将人眼关注区域内的图片内容进行优先解码显示,提升用户使用体验。
在一种可能的实现方式中,所述优先选取属于所述热点显示区域的图片区域进行解码处理,包括:将所述图片按照预设图片数据块划分规则分解为多个区域;将所述多个区域打包成多个区域解码任务,并优先选取属于所述热点显示区域的区域解码任务进行解码处理。
通过采用该技术方案,可实现在单张图片全屏显示的场景中,将人眼关注区域内的图片内容进行优先解码显示,提升用户使用体验。
在一种可能的实现方式中,所述解码处理包括转码处理及颜色空间转换处理,所述优先选取属于所述热点显示区域的图片区域进行解码处理,包括:将所述图片按照预设图片数据块划分规则分解为多个区域;将所述多个区域打包成多个区域解码任务;对属于所述热点显示区域的区域解码任务进行所述转码处理,及对所述热点显示区域所依赖的其他显示区域的区域解码任务进行所述转码处理,并保存转码结果;优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理。
通过采用该技术方案,可实现在存在编码依赖的单张图片的全屏显示场景中,将人眼关注区域内的图片内容进行优先解码显示,提升用户使用体验。
在一种可能的实现方式中,所述解码处理还包括下采样处理,所述优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理,包括:优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理与所述下采样处理。
在一种可能的实现方式中,所述方法还包括:在所述图片上划分关注区域与非关注区域;当对所述图片进行编码时,将所述关注区域作为非关注区域的编码依赖。
通过采用该技术方案,可实现将预测的关注区域作为非关注区域的编码依赖,便于后续再终端侧进行图片解码时,优先完成关注区域的图像解码。
在一种可能的实现方式中,所述解码处理包括转码处理及颜色空间转换处理,所述优先选取属于所述热点显示区域的图片区域进行解码处理,包括:将所述图片按照预设图片数据块划分规则分解为多个区域;将所述多个区域打包成多个区域解码任务;若所述热点显示区域的图片区域不包括非关注区域时,优先选取属于所述热点显示区域的区域解码任务进行所述转码处理与所述颜色空间转换处理。
通过采用该技术方案,可实现在存在编码依赖的单张图片的全屏显示场景中,仅需对热点显示区域的区域解码任务进行转码处理即可先将人眼关注区域内的图片内容优先显示出来。
在一种可能的实现方式中,所述方法还包括:若所述热点显示区域的图片区域包括所述非关注区域,对属于所述热点显示区域的区域解码任务进行所述转码处理,及对所述热点显示区域所依赖的其他显示区域的区域解码任务进行所述转码处理,并保存转码结果;在每一所述区域解码任务均完成转码处理时,优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理。
在一种可能的实现方式中,所述方法还包括:若所述显示界面不存在热点显示区域,按照预设加载规则加载所述显示界面的图片内容。
通过采用该技术方案,可实现在显示界面不存在热点显示区域时,采用预设加载规则加载显示界面的图片内容。
第二方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面所述的图片加载方法。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器用于存储指令,所述处理器用于调用所述存储器中的指令,使得所述电子设备执行如第一方面所述的图片加载方法。
第四方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面所述的图片加载方法。
第五方面,本申请实施例提供一种装置,该装置具有实现上述第一方面所提供的方法中的电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
可以理解地,上述提供的第二方面所述的计算机可读存储介质,第三方面所述的电子设备,第四方面所述的计算机程序产品,第五方面所述的装置均与上述第一方面的方法对应,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1为本申请一实施例提供的图片加载方法的流程示意图;
图2为本申请一实施例提供的电子设备进行多张图片显示的应用场景示意图;
图3为本申请一实施例提供的电子设备进行单张图片显示的应用场景示意图;
图4为本申请一实施例提供的图片加载装置的功能模块示意图;
图5为本申请一实施例提供的一种可能的电子设备的结构示意图。
具体实施方式
需要说明的是,本申请中“至少一个”是指一个或者多个,“多个”是指两个或多于两个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不是用于描述特定的顺序或先后次序。
为了便于理解,示例性的给出了部分与本申请实施例相关概念的说明以供参考。
参照图1所示,本申请实施例提供的一种图片加载方法,应用于电子设备100(如图2、图3、或图5所示)中,电子设备100可以是电视、电脑、广告屏、手机等具备显示屏的设备。本实施例中,图片加载方法可以包括:
11、接收图片加载指令。
在一些实施例中,所述图片加载指令用于触发电子设备100的显示界面显示一张或多张图片。所述图片加载指令可以是进入某个应用程序(比如图片应用程序、或者其他包含有图片的应用程序)界面、某个文件夹、点击图片缩略图的某一张图片进行原图显示、拖动应用程序界面的侧边栏等触发产生。比如,用户点击进入电脑上保存图片的文件夹、用户进入手机的照片应用程序。
在一些实施例中,当接收到图片加载指令时,可以确定显示界面是否存在热点显示区域,以判断是否需要进行优先显示处理。所述显示界面可以是电子设备100的显示屏的显示区域。所述热点显示区域可以为用户眼球关注区域,电子设备100可以设置有摄像头,该摄像头可以与电子设备100的显示屏设置在同一面,电子设备100可以基于现有的人眼追踪技术来确定显示界面是否存在热点显示区域,比如电子设备100装设现有的眼球追踪装置来获取显示界面前的观看用户的眼球运动轨迹数据,得到预测观看区域(热点显示区域)。当侦测到显示界面前存在观看用户且观看用户的眼球注视位置落入显示界面内时,可以确定显示界面存在热点显示区域;当侦测到显示界面前存在观看用户,但观看用户的眼球注视位置未落入显示界面内时,可以确定显示界面不存在热点显示区域;当侦测到显示界面前不存在观看用户,可以确定显示界面不存在热点显示区域。
举例而言,可以通过电子设备100的摄像头来侦测显示界面前是否存在观看用户,当确定存在观看用户时,再继续追踪并锁定当前观看用户的眼球的运动角度,然后根据眼球的运动角度确认出瞳孔当前的空间坐标,再将瞳孔当前的空间坐标映射到显示界面的二维坐标系上,最后基于瞳孔在二维坐标系上的落点确定观看用户的眼球注视位置是否落入显示界面内,以及落入显示界面内时的眼球关注区域。
12、若显示界面存在热点显示区域,优先加载所述热点显示区域对应的图片内容。
在一些实施例中,若显示界面存在热点显示区域,可以将热点显示区域定义为高优先级区域,非热点显示区域定义为低优先级区域,在进行图片显示时,高优先级区域内的图片被优先进行图片获取、图片解码、图片后处理等操作,从而使得在电子设备100的图片处理能力不高的情形下,优先完成高优先级区域的图片显示处理,即优先加载热点显示区域对应的图片内容。
举例而言,如图2所示,为多张图片的缩略显示场景,显示界面以电视的屏幕显示区域为例进行举例说明。显示界面当前可显示的图片数量为15张,分别为图片1~图片15。假设通过人眼追踪技术确定观看用户的眼球关注区域为显示区域A1,显示区域A1即为高优先级区域,显示区域A1涵盖的图片为图片6、图片7、图片11及图片12。显示界面在进行图片显示时,会优先对图片6、图片7、图片11及图片12进行图片显示处理,使得图片6、图片7、图片11及图片12被优先显示出来,而其他图片可以在图片6、图片7、图片11及图片12完成图片显示处理后再进行相应的处理。
在一些实施例中,在进行多张图片显示处理时,可以将每一图片的解码信息及在显示界面上的显示位置信息打包成多个解码任务,再优先选取属于热点显示区域的解码任务进行解码处理,进而可以实现优先将热点显示区域的解码结果在显示界面上进行渲染显示。该多个解码任务与多张图片一一对应,图片的解码信息可以包括图片存储路径、图片大小、图片旋转角度、图片采样率中的一种或多种。如图2所示,对于15张图片,可以对应得到15个解码任务,优先选取与图片6、图片7、图片11及图片12对应的解码任务进行解码处理,使得图片6、图片7、图片11及图片12相比于其他图片可以提前在显示界面上进行渲染显示。
在一些实施例中,当高优先级区域包括多张图片时,每张图片的处理顺序可以根据实际需求进行设定(比如,从左至右、从上至下等),在此不作限定,当低优先级区域包括多张图片时,每张图片的处理顺序同样可以根据实际需求进行设定(比如,从左至右、从上至下等),在此亦不作限定。
在一些实施例中,当图片的显示位置部分落入或者全部落入热点显示区域时,可以将该图片认定为属于热点显示区域的图片,即需要被优先进行显示处理。比如,可以设定为当图片的显示位置的一半或者一半以上落入热点显示区域时,认定该图片属于热点显示区域的图片,也可以设定为当图片的显示位置的三分之一或者三分之一以上落入热点显示区域时,认定该图片属于热点显示区域的图片,在此不作限定。
在一些实施例中,当热点显示区域没有图片时,即热点显示区域对应的图片内容为空,无需进行优先加载,此时可以采用现有的图片加载规则加载其他非热点显示区域的图片内容,比如,从左至右、从上至下依次加载非热点显示区域的图片内容。
如图3所示,为单张图片的全屏或原图显示场景,该单张图片可选为分辨率较高的图片,显示界面同样以电视的屏幕显示区域为例进行举例说明。在进行图片显示时,可以先显示预设分辨率的图片(低于原图分辨率),然后优先选取属于热点显示区域的图片区域A2进行解码处理,实现将该图片区域A2以第一分辨率(比如,为原图分辨率,或者为其他低于原图分辨率的指定分辨率)在显示界面进行渲染显示,第一分辨率大于预设分辨率。比如,对于分辨率为1440P的图片I1,若电子设备100的图片解码能力较弱,解码耗时较长,可以先将图片I1以400P的分辨率在显示界面上进行显示,然后优先选取属于热点显示区域的图片区域A2进行解码处理,使得将该图片区域A2相比于其他图片区域先以1440P的分辨率显示出来。
例如,在图3中,将图片以预设分辨率的显示状态进行显示定义为非高清显示状态,将该图片以第一分辨率的显示状态进行显示定义为高清显示状态,即图片在显示过程中,所有的图片区域先以非高清显示状态进行显示,然后再优先选取属于热点显示区域的图片区域以高清显示状态进行显示。
在一些实施例中,在进行单张高分辨率的图片显示处理时,可以将所述图片按照预设图片数据块划分规则分解为多个区域,再将多个区域打包成多个区域解码任务,每一区域解码任务对应一区域,然后优先选取属于所述热点显示区域的区域解码任务进行解码处理。该预设图片数据块划分规则可以根据实际需求进行设定,比如,按照8*8大小的数据块BD1进行划分,即8*8像素区域为一个区域解码任务。在图3中,部分落入或者全部落入图片区域A2的数据块BD1被优先进行解码处理。
在一些实施例中,图片解码过程可以大体划分为转码处理、颜色空间转换处理、下采样处理。其中,有些图片解码显示的应用场景也可能不包括下采样处理,比如对于4K分辨率的图片I1,若最终在电子设备的显示界面进行2K分辨率的显示,则需要进行下采样处理。在进行单张高分辨率的图片显示处理时,对于某些格式的图片,比如JPEG格式图片,在进行图片编码过程中使用直流系数差分编码技术,图片在编码时会考虑相邻块之间的相似度,降低图片编码数据量,即相邻数据块BD1之间可能具有编码依赖。在进行图片解码时需按照一定的顺序才能解码成功。此种情形下,直接进行分块解码并没有效果。对于数据块BD1而言,转码处理存在依赖,而颜色空间转换处理与下采样处理是相互独立的。若在解码过程中,先对热点显示区域及热点显示区域所依赖的显示区域的数据块BD1进行转码处理,再优先选取属于热点显示区域的数据块BD1进行颜色空间转换处理与下采样处理,使得用户依然可以更快的看到热点显示区域的图片内容。
在一些实施例中,图片的编码过程一般是遵循从左到右、从上到下的顺序依次对图片所包含的数据块进行编码,即右边数据块参考左边数据块进行编码,下方数据块参考上方数据块进行编码,基于该种编码规则可以确定热点显示区域的编码所依赖的其他显示区域(非热点显示区域)的数据块。
例如,在进行单张高分辨率的图片显示处理时,将图片按照预设图片数据块划分规则分解为多个区域解码任务,再对热点显示区域及热点显示区域所依赖的显示区域的区域解码任务进行转码处理,并保存转码结果,当完成上述转码处理时,再优先选取属于热点显示区域的区域解码任务进行颜色空间转换处理与下采样处理,实现优先加载出热点显示区域对应的图片内容。
例如,转码处理包括反差分过程,在进行单张高分辨率的图片显示处理时,将图片按照预设图片数据块划分规则分解为多个区域解码任务,再对热点显示区域及热点显示区域所依赖的显示区域的区域解码任务进行转码处理,并保存区域解码任务的反差分过程的结果,当得到这些区域解码任务的反差分过程的结果时,再优先选取属于热点显示区域的区域解码任务进行颜色空间转换处理与下采样处理,可以实现优先加载出热点显示区域对应的图片内容。
在一些实施例中,对于单张高分辨率的图片显示场景,若在图片编码时提前预测图片的哪些区域可能会成为人眼关注区域,让非关注区域参考关注区域进行编码,进而可以在进行图片解码时,可以不需要对非热点显示区域的数据块BD1进行转码处理,而仅对热点显示区域的数据块BD1进行转码处理即可。具体地,在图片编码前,在图片上划分关注区域与非关注区域,关注区域与非关注区域的数量可以根据实际需求进行设定。当对该图片进行编码时,可以将关注区域的数据块BD1作为非关注区域的数据块BD1的编码依赖,提高编码压缩率。在需要进行图片解码时,将图片分解为多个区域解码任务,当热点显示区域的图片区域不包括非关注区域时,表明热点显示区域的图片区域与非关注区域不存在编码依赖,可以优先选取属于热点显示区域的区域解码任务进行转码处理、颜色空间转换处理与下采样处理,无需对其他非热点显示区域进行转码处理。当热点显示区域的图片区域包括非关注区域时,表明热点显示区域的图片区域与非关注区域存在编码依赖,此时,可以对热点显示区域及热点显示区域所依赖的显示区域的区域解码任务进行转码处理,在完成转码处理后,再优先选取属于热点显示区域的区域解码任务进行颜色空间转换处理与下采样处理。
在一些实施例中,显示界面前可能存在多个观看用户,进而基于人眼追踪技术可能在显示界面上确定多个眼球关注区域。此时,可以将在预设白名单内的观看用户的眼球关注区域确定为热点显示区域,而忽略其他不在预设白名单内的观看用户的眼球关注区域。若预设白名单内的观看用户包括多个(即包括多个热点显示区域),该多个热点显示区域的加载规则可以是:随机加载每一热点显示区域对应的图片内容,或者按照从左至右、从上至下的加载顺序对每一热点显示区域对应的图片内容进行加载,也可以是其他自定义的加载规则。该预设白名单可以预先构建并保存至电子设备100,比如该预设白名单保存了电子设备100的机主信息,可以通过人脸识别技术来确定当前观看用户是否为预设白名单内的用户。
在一些实施例中,当多个观看用户的眼球注视位置落入显示界面内时,也可以将在预设白名单内的观看用户的眼球关注区域确定为第一优先等级的热点显示区域,将未在该预设白名单内的观看用户的眼球关注区域确定为第二优先等级的热点显示区域,非热点显示区域为第三优先等级。即对于多个热点显示区域,电子设备100先对白名单内的观看用户对应的热点显示区域进行图片显示处理,再对不在白名单内的观看用户对应的热点显示区域进行图片显示处理,最后对非热点显示区域进行图片显示处理。可以理解,对于每一优先等级的显示区域,同样可以采用诸如从左至右、从上至下的加载顺序执行图片内容加载。
13、若所述显示界面不存在热点显示区域,按照预设加载规则加载所述显示界面的图片内容。
在一些实施例中,若显示界面不存在热点显示区域时,可以按照预设加载规则加载所述显示界面的图片内容。该预设加载规则可以是现有的图片加载规则,比如从左至右、从上至下进行图片内容加载。
上述图片加载方法,基于人眼的关注范围确定用户的关注区域,调整多张图片在显示界面的解码顺序或者单张图片中的区域块的解码顺序,使得用户关注范围内的图片或者图片块优先进行解码显示,提升了用户使用体验。
参照图4所示,本申请一实施例提供的一种图片加载装置10的功能模块示意图。图片加载装置10可以设置在电子设备100中。图片加载装置10可以包括眼球追踪模块101、解码任务生成模块102、解码任务管理模块103、解码模块104及显示模块105。
对于多张图片的缩略显示场景:
眼球追踪模块101用于基于摄像头捕捉到用户眼球数据来追踪该用户在显示界面的眼球关注区域,该眼球关注区域即为热点显示区域。眼球追踪模块101追踪到的眼球关注区域可以传给解码任务管理模块103。
解码任务生成模块102用于响应于图片加载指令,将多张图片的显示位置信息及解密信息打包成多个解码任务,每一解码任务对应一张图片。解码任务生成模块102打包得到的多个解码任务可以传给解码任务管理模块103。
解码任务管理模块103用于从多个解码任务中选取解码任务传送给解码模块104进行解码处理。解码任务管理模块103在进行解码任务选取时,优先选取属于热点显示区域的解码任务传送给解码模块104进行解码处理。
显示模块105用于根据解码模块104输出的解码结果控制电子设备100的显示界面进行渲染显示。
对于单张图片的全屏或原图显示场景:
显示模块105先将图片以预设分辨率在显示界面进行渲染显示。
眼球追踪模块101用于基于摄像头捕捉到用户眼球数据来追踪该用户在显示界面的眼球关注区域,该眼球关注区域即为热点显示区域。眼球追踪模块101追踪到的眼球关注区域可以传给解码任务管理模块103。
解码任务生成模块102用于响应于图片加载指令,将单张图片的解码划分为多个区域解码任务,并存入区域解码任务队列,每一区域解码任务可以对应一图像块。解码任务生成模块102生成的区域解码任务队列可以传给解码任务管理模块103。
解码任务管理模块103用于从区域解码任务队列中选取区域解码任务传送给解码模块104进行解码处理。解码任务管理模块103进行区域解码任务选取时,优先选取属于热点显示区域的区域解码任务传送给解码模块104进行解码处理。解码模块104解码得到的图像块的图像位图数据可以存入图像区域池。
显示模块105用于从图像区域池中提取已解码好的图像块的图像位图数据并渲染显示在指定区域上。
可以理解的是,上述图片加载装置10中各个模块的划分仅用于举例说明,在其他的实施例中,可将图片加载装置10按照需要划分为不同的模块,以完成上述图片加载装置10的功能。
本申请实施例中提供的图片加载装置10中的各个模块的实现,可为计算机程序的形式,上述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,所述指令段可用于描述图片加载装置10在电子设备100中的执行过程。
参考图5,为本申请实施例提供的电子设备100的硬件结构示意图。如图5所示,电子设备100可以包括处理器1001、存储器1002、通信总线1003、摄像头1004。存储器1002用于存储一个或多个计算机程序1005(比如,图4的图片加载装置10)。一个或多个计算机程序1005被配置为被该处理器1001执行。该一个或多个计算机程序1005可以包括指令,上述指令可以用于实现在电子设备100中执行上述图片加载方法。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。
处理器1001可以包括一个或多个处理单元,例如:处理器1001可以包括应用处理器(application processor,AP),图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,DSP,CPU,基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器1001还可以设置有存储器,用于存储指令和数据。在一些实施例中,处理器1001中的存储器为高速缓冲存储器。该存储器可以保存处理器1001刚用过或循环使用的指令或数据。如果处理器1001需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器1001的等待时间,因而提高了系统的效率。
在一些实施例中,处理器1001可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,SIM接口,和/或USB接口等。
在一些实施例中,存储器1002可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的图片加载方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的图片加载方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的图片加载方法。
其中,本实施例提供的第一电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。

Claims (16)

1.一种图片加载方法,其特征在于,包括:
接收图片加载指令;
若显示界面存在热点显示区域,优先加载所述热点显示区域对应的图片内容;
其中,所述热点显示区域为用户眼球关注区域。
2.如权利要求1所述的图片加载方法,其特征在于,所述方法还包括:
若侦测到所述显示界面前存在观看用户且所述观看用户的眼球注视位置落入所述显示界面内,确定所述显示界面存在热点显示区域;或
若侦测到所述显示界面前不存在观看用户、或者所述显示界面前存在观看用户且所述观看用户的眼球注视位置未落入所述显示界面内,确定所述显示界面不存在热点显示区域。
3.如权利要求2所述的图片加载方法,其特征在于,所述方法还包括:
若多个所述观看用户的眼球注视位置落入所述显示界面内,将在预设白名单内的观看用户的眼球关注区域确定为所述热点显示区域;或
若多个所述观看用户的眼球注视位置落入所述显示界面内,将在预设白名单内的观看用户的眼球关注区域确定为第一优先等级的热点显示区域,及将未在所述预设白名单内的观看用户的眼球关注区域确定为第二优先等级的热点显示区域。
4.如权利要求1至3任意一项所述的图片加载方法,其特征在于,所述显示界面包括多张图片,所述优先加载所述热点显示区域对应的图片内容,包括:
将所述多张图片的解码信息及显示位置信息打包成多个解码任务,其中,所述多个解码任务与所述多张图片一一对应,所述解码信息包括图片存储路径、图片大小及图片采样率中的一种或多种;
优先选取属于所述热点显示区域的解码任务进行解码处理,并根据解码结果在所述显示界面进行渲染显示。
5.如权利要求4所述的图片加载方法,其特征在于,所述方法还包括:
若图片的显示位置部分落入或者全部落入所述热点显示区域,将所述图片认定为属于所述热点显示区域的图片。
6.如权利要求1至3任意一项所述的图片加载方法,其特征在于,所述显示界面包括一张图片,所述优先加载所述热点显示区域对应的图片内容包括:
将所述图片以预设分辨率在所述显示界面进行渲染显示;
优先选取属于所述热点显示区域的图片区域进行解码处理,以将所述图片区域以第一分辨率在所述显示界面进行渲染显示;
其中,所述第一分辨率大于所述预设分辨率。
7.如权利要求6所述的图片加载方法,其特征在于,所述优先选取属于所述热点显示区域的图片区域进行解码处理,包括:
将所述图片按照预设图片数据块划分规则分解为多个区域;
将所述多个区域打包成多个区域解码任务,并优先选取属于所述热点显示区域的区域解码任务进行解码处理。
8.如权利要求6所述的图片加载方法,其特征在于,所述解码处理包括转码处理及颜色空间转换处理,所述优先选取属于所述热点显示区域的图片区域进行解码处理,包括:
将所述图片按照预设图片数据块划分规则分解为多个区域;
将所述多个区域打包成多个区域解码任务;
对属于所述热点显示区域的区域解码任务进行所述转码处理,及对所述热点显示区域所依赖的其他显示区域的区域解码任务进行所述转码处理,并保存转码结果;优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理。
9.如权利要求8所述的图片加载方法,其特征在于,所述解码处理还包括下采样处理,所述优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理,包括:
优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理与所述下采样处理。
10.如权利要求6所述的图片加载方法,其特征在于,所述方法还包括:
在所述图片上划分关注区域与非关注区域;
当对所述图片进行编码时,将所述关注区域作为非关注区域的编码依赖。
11.如权利要求10所述的图片加载方法,其特征在于,所述解码处理包括转码处理及颜色空间转换处理,所述优先选取属于所述热点显示区域的图片区域进行解码处理,包括:
将所述图片按照预设图片数据块划分规则分解为多个区域;
将所述多个区域打包成多个区域解码任务;
若所述热点显示区域的图片区域不包括非关注区域,优先选取属于所述热点显示区域的区域解码任务进行所述转码处理与所述颜色空间转换处理。
12.如权利要求11所述的图片加载方法,其特征在于,所述方法还包括:
若所述热点显示区域的图片区域包括所述非关注区域,对属于所述热点显示区域的区域解码任务进行所述转码处理,及对所述热点显示区域所依赖的其他显示区域的区域解码任务进行所述转码处理,并保存转码结果;
优先选取属于所述热点显示区域的区域解码任务进行所述颜色空间转换处理。
13.如权利要求1所述的图片加载方法,其特征在于,所述方法还包括:
若所述显示界面不存在热点显示区域,按照预设加载规则加载所述显示界面的图片内容。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至权利要求13中任一项所述的图片加载方法。
15.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器用于存储指令,所述处理器用于调用所述存储器中的指令,使得所述电子设备执行权利要求1至权利要求13中任一项所述的图片加载方法。
16.一种芯片,与电子设备中的存储器耦合,其特征在于,所述芯片用于控制所述电子设备执行权利要求1至权利要求13中任一项所述的图片加载方法。
CN202011379419.4A 2020-11-30 2020-11-30 图片加载方法、电子设备、芯片及可读存储介质 Pending CN114579781A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011379419.4A CN114579781A (zh) 2020-11-30 2020-11-30 图片加载方法、电子设备、芯片及可读存储介质
PCT/CN2021/134087 WO2022111697A1 (zh) 2020-11-30 2021-11-29 图片加载方法、电子设备、芯片及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379419.4A CN114579781A (zh) 2020-11-30 2020-11-30 图片加载方法、电子设备、芯片及可读存储介质

Publications (1)

Publication Number Publication Date
CN114579781A true CN114579781A (zh) 2022-06-03

Family

ID=81754042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379419.4A Pending CN114579781A (zh) 2020-11-30 2020-11-30 图片加载方法、电子设备、芯片及可读存储介质

Country Status (2)

Country Link
CN (1) CN114579781A (zh)
WO (1) WO2022111697A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224647A (zh) * 2015-09-29 2016-01-06 努比亚技术有限公司 图片显示方法及装置
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
CN106250503B (zh) * 2016-07-29 2019-12-10 维沃移动通信有限公司 一种图片处理的方法及移动终端
CN111861657A (zh) * 2020-07-15 2020-10-30 广东纯态数字化信息科技有限公司 显示屏及其画面显示方法和计算机可读存储介质

Also Published As

Publication number Publication date
WO2022111697A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US11184646B2 (en) 360-degree panoramic video playing method, apparatus, and system
US9922681B2 (en) Techniques for adding interactive features to videos
CN113126937B (zh) 一种显示终端调整方法及显示终端
EP3681144B1 (en) Video processing method and apparatus based on augmented reality, and electronic device
CN113457160A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN103702032A (zh) 图像处理方法、装置和终端设备
CN111683267A (zh) 媒体信息的处理方法、系统、设备及存储介质
CN113015007A (zh) 视频插帧方法、装置及电子设备
US10650488B2 (en) Apparatus, method, and computer program code for producing composite image
CN112019891A (zh) 一种多媒体内容的显示方法及装置、终端、存储介质
CN112954212B (zh) 视频生成方法、装置及设备
CN116450149A (zh) 一种硬件解码方法、设备及存储介质
CN114579781A (zh) 图片加载方法、电子设备、芯片及可读存储介质
CN116880937A (zh) 互动课堂的桌面截屏数据处理方法、装置、设备及介质
CN113613024A (zh) 视频预处理方法及设备
CN111785229B (zh) 一种显示方法、装置及系统
CN114820660A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN110362188B (zh) 图片处理方法、装置、移动终端以及存储介质
CN108235144B (zh) 播放内容获取方法、装置及计算设备
CN115965616B (zh) 一种虹膜图像处理方法、装置及电子设备
CN117221504B (zh) 一种视频抠像方法及装置
US20240223862A1 (en) Page display method and apparatus, computer device, storage medium and program product
US11962743B2 (en) 3D display system and 3D display method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination