CN111309146B - 图像显示方法及相关产品 - Google Patents

图像显示方法及相关产品 Download PDF

Info

Publication number
CN111309146B
CN111309146B CN202010085769.3A CN202010085769A CN111309146B CN 111309146 B CN111309146 B CN 111309146B CN 202010085769 A CN202010085769 A CN 202010085769A CN 111309146 B CN111309146 B CN 111309146B
Authority
CN
China
Prior art keywords
image
images
determining
target
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085769.3A
Other languages
English (en)
Other versions
CN111309146A (zh
Inventor
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010085769.3A priority Critical patent/CN111309146B/zh
Publication of CN111309146A publication Critical patent/CN111309146A/zh
Priority to PCT/CN2021/072895 priority patent/WO2021159935A1/zh
Priority to EP21753360.3A priority patent/EP4075240A4/en
Application granted granted Critical
Publication of CN111309146B publication Critical patent/CN111309146B/zh
Priority to US17/812,798 priority patent/US20220350404A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Abstract

本发明实施例公开了一种图像显示方法及相关产品,其中,方法应用于电子设备,该电子设备包括眼球追踪模块。该方法包括:若所述电子设备中显示多张图像,则通过所述眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长;根据所述注视时长确定所述多张图像中的目标图像;显示预设图库中与所述目标图像对应的参考图像。采用本发明实施例,可实现个性化图像显示。

Description

图像显示方法及相关产品
技术领域
本申请涉及计算机技术领域,具体涉及一种图像显示方法及相关产品。
背景技术
随着计算机技术的飞速发展,以手机为主的电子设备成为人们生活和工作的必需品。随着人们对电子设备的使用频率的增加,人们对电子设备的个性化需求也日益增长。目前电子设备各大主流应用中显示的图像,可根据该用户的历史数据进行显示。若使用者为新用户,则难以显示与该新用户的个性化对应的图像。
发明内容
本发明实施例提供一种图像显示方法及相关产品,可实现个性化图像显示。
第一方面,本申请实施例提供一种图像显示方法,应用于电子设备,所述电子设备包括眼球追踪模块,所述方法包括:
若所述电子设备中显示多张图像,则通过所述眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长;
根据所述注视时长确定所述多张图像中的目标图像;
显示预设图库中与所述目标图像对应的参考图像。
第二方面,本申请实施例提供一种图像显示装置,应用于电子设备,所述电子设备包括眼球追踪模块,所述装置包括:
确定单元,用于若所述电子设备中显示多张图像,则通过所述眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长;根据所述注视时长确定所述多张图像中的目标图像;
显示单元,用于显示预设图库中与所述目标图像对应的参考图像。
第三方面,本申请实施例提供一种电子设备,包括处理器、与所述处理器连接的眼球追踪模块和显示器;
所述眼球追踪模块,用于若所述电子设备中显示多张图像,则确定用户针对所述多张图像中每一图像的注视时长;
所述处理器,用于根据所述注视时长确定所述多张图像中的目标图像;
所述显示器,用于显示预设图库中与所述目标图像对应的参考图像。
第四方面,本申请实施例提供一种电子设备,包括处理器、眼球追踪模块、显示器、通信接口、存储器以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
在本申请实施例中,若电子设备中显示多张图像,则通过眼球追踪模块确定用户针对多张图像中每一图像的注视时长。然后根据注视时长确定多张图像中的目标图像,再显示预设图库中与该目标图像对应的参考图像。也就是说,根据用户的注视时长显示图像,从而显示用户偏好的图像,可实现个性化图像显示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子设备的结构示意图;
图2为本发明实施例提供的一种图像显示方法的流程示意图;
图3为本发明实施例提供的一种图像显示的场景示意图;
图4为本发明实施例提供的另一种电子设备的结构示意图;
图5为本发明实施例提供的一种图像显示装置的结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为电子设备。
请参阅图1,图1是本申请实施例提供了一种电子设备100的结构示意图。如图1所示,上述电子设备10包括:壳体110、设置于所述壳体110上的显示器120、设置于所述壳体110内的主板130,主板130上设置有与显示器120连接的处理器140,以及与处理器140连接的存储器150、射频电路160和传感器模块170。
在本申请实施例中,显示器120包括显示器驱动电路、显示屏和触控屏。其中,显示器驱动电路用于控制所述显示屏根据画面的显示数据和显示参数(例如,亮度,颜色,饱和度等)进行内容显示。显示屏可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。触控屏用于检测触控操作。该触控屏可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
主板130的形状大小可以为所述电子设备100能够容纳的任意大小和形状,在此不做唯一限定。
处理器140是电子设备100的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器150内的软件程序和/或模块,以及调用存储在存储器150内的数据,执行电子设备100的各种功能和处理数据,从而对电子设备100进行整体监控。处理器140包括应用处理器和基带处理器。其中,应用处理器主要处理操作系统、用户界面和应用程序等。基带处理器主要处理无线通信。可以理解,上述基带处理器也可以不集成到处理器中。
存储器150可用于存储软件程序以及模块,处理器140通过运行存储在存储器150的软件程序以及模块,从而执行电子设备100的各种功能应用以及数据处理。存储器150可主要包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等。存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器150可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
射频电路160用于为电子设备100提供与外部设备通信的能力。射频电路160可以包括模拟和数字输入输出接口电路,和基于射频信号和/或光信号的无线通信电路。射频电路160中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,射频电路160中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication,NFC)的电路。例如,射频电路160可以包括近场通信天线和近场通信收发器。射频电路160还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
传感器模块170包括眼球追踪模块171。该眼球追踪模块171用于确定用户针对显示器120的注视位置以及注视时间。该眼球追踪模块171可以包括如图1所示的图像处理器1713,以及与图像处理器1713连接的摄像头1711和距离传感器1712。可以理解,当人的眼睛看向不同的方向时,眼部会有细微的变化,眼球追踪模块171可以获取到这种变化相关的特征信息,如通过图像捕捉或扫描来提取这些变化特征,通过实时追踪眼睛的变化,可以预测用户的状态和需求,并进行响应,达到通过眼睛来控制设备的目的。
在本申请实施例中,通过摄像头1711采集用户的注视图像,并通过距离传感器1712确定用户与显示器120之间的距离。然后通过图像处理器1713根据注视图像和距离确定注视位置,并统计该注视位置对应的注视时长。
本申请对于图像处理器1713确定注视位置的方法不做限定。第一种实施方式,图像处理器1713可提取注视图像中的眼球图像,再根据距离对眼球图像进行处理得到目标图像,将目标图像与显示器120中的图像进行对比,将对比成功的图像区域的位置作为注视位置。可以理解,眼球图像可反映用户的注视内容。根据距离对眼球图像进行处理,便于提高图像比对的准确性。
第二种实施方式,图像处理器1713可预先存储各个眼球位置和距离与显示器位置之间的映射关系。通过该映射关系,图像处理器1713可通过眼球图像确定眼球位置,再结合距离确定与该眼球位置和距离对应的显示器位置为注视位置。可以理解,眼球移动方向可表示用户的注视方向,距离可用户的注视范围。
需要说明的是,确定注视位置的方法可参照上述两种实施方式,在此不再赘述。上述两种实施方式并不构成对本申请实施例的限定,实际应用中,还可以采用其他实施方式确定注视位置的方法。
在本申请实施例中,传感器模块170还可包括电子罗盘、陀螺仪、光传感器、气压计、湿度计、温度计、红外传感器等等传感器(图中未示出)。
以上仅为举例,电子设备100还包括音频输入接口、串行端口、键盘、扬声器、充电接口等输入输出接口,摄像头、蓝牙模块等未示出的模块,本申请不作限定。
在本申请实施例中,所述眼球追踪模块171,用于若所述电子设备中显示多张图像,则确定用户针对所述多张图像中每一图像的注视时长;所述处理器140,用于根据所述注视时长确定所述多张图像中的目标图像;所述显示器120,用于显示预设图库中与所述目标图像对应的参考图像。
可见,根据用户的注视时长显示图像,从而显示用户偏好的图像,可实现个性化图像显示。
在一个可能的示例中,在所述根据所述注视时长确定所述多张图像中的目标图像方面,所述处理器140具体用于根据第一图像的注视时长确定所述第一图像的兴趣值,所述第一图像为所述多张图像中的任一图像;若所述兴趣值大于第一阈值,则确定所述第一图像为目标图像。
在一个可能的示例中,在所述根据第一图像的注视时长确定所述第一图像的兴趣值方面,所述处理器140具体用于确定所述第一图像的图像位置;确定所述图像位置对应的平均关注时长;计算所述第一图像的注视时长和所述平均关注时长之间的比值,得到所述第一图像的兴趣值。
在一个可能的示例中,在所述显示预设图库中与所述目标图像对应的参考图像方面,所述处理器140还用于确定所述目标图像的图像特征;从预设图库中获取与所述图像特征对应的参考图像;所述显示器120具体用于显示所述参考图像。
在一个可能的示例中,若所述目标图像的数量为多张,则在所述确定所述目标图像的图像特征方面,所述处理器140具体用于对所述多张目标图像中每一目标图像进行区域分割,得到多个子区域图集,每一子区域图集对应一个区域,每一子区域图集包括至少一个子区域图像;对所述多个子区域图集中各个子区域图像进行特征提取,得到多个子区域特征集,每一子区域图像对应一个子区域特征集;统计所述多个子区域特征集中每一子区域特征的特征数量,得到所述多张目标图像的图像特征。
在一个可能的示例中,在所述从预设图库中获取与所述图像特征对应的参考图像方面,所述处理器140具体用于根据所述多张目标图像的图像特征绘制对比图像;将预设图库中的每一图像与所述对比图像进行比对,得到多个相似值;将所述多个相似值中大于第二阈值的相似值对应的至少一张图像作为参考图像。
在一个可能的示例中,若所述参考图像的数量为多张,则在所述显示所述参考图像方面,所述处理器140还用于根据所述多个相似值的大小确定所述参考图像的展示顺序;所述显示器120具体用于根据所述展示顺序显示所述多张参考图像。
下面对本申请实施例进行详细介绍。
请参阅图2,图2是本申请实施例提供的一种图像显示方法的流程示意图。如图2所示,本图像显示方法应用于电子设备,该电子设备包括眼球追踪模块。
该方法包括:
S201:若电子设备中显示多张图像,则通过眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长。
如前所述,眼球追踪模块可确定用户针对显示器中显示的注视位置以及该注视位置的注视时长。如此,可通过眼球追踪模块确定用户针对多张图像中每一图像的注视时长。
在本申请实施例中,图像可以是人物图像、动物图像或风景图像等不同对象的图像,也可以是头像、桌面图像或屏保图像等可更新的图像,还可以是示例图像、标志图像等,在此不做限定。
例如,在用户打开图库应用程序之后,电子设备可显示多张之前拍摄、收藏或截取屏幕得到的图像。在用户打开购物应用程序之后,电子设备可显示多种不同的购物选项,且每一购物选项对应一张代表图像。在用户打开头像更新的组件之后,电子设备可显示选择路径对应的多张待选择图像。
S202:根据所述注视时长确定所述多张图像中的目标图像。
在本申请实施例中,目标图像为多张图像中用户偏好的图像。可以理解,当用户注视图像的注视时长越长时,可表示该用户对该图像的兴趣值越高。需要说明的是,目标图像的数量可以是多张。
本申请对于目标图像的确定方法不做限定,可以将大于一个预设阈值的注视时长对应的图像作为目标图像。在一种可能的示例中,步骤S202包括步骤A11和步骤A12,其中:
A11:根据第一图像的注视时长确定所述第一图像的兴趣值。
其中,第一图像为多张图像中的任一图像。兴趣值用于描述用户对第一图像的兴趣。注视时长越大,兴趣值越大,说明用户越对第一图像感兴趣。
本申请对于确定兴趣值的方法也不做限定,在一种可能的示例中,步骤A11包括步骤A111-A113,其中:
A111:确定所述第一图像的图像位置。
其中,图像位置用于描述第一图像在显示器中的位置。图像位置可以根据显示器的坐标进行描述。例如,如图3所示,显示器中显示了9张图像。当第一图像为P22对应的图像时,将P22对应的中心坐标作为第一图像的图像位置。图像位置也可以根据显示器的显示位置进行描述。例如,请参照图3,当第一图像为P22对应的图像时,将P22作为第一图像的图像位置。
A112:确定所述图像位置对应的平均关注时长。
其中,平均关注时长为在不考虑兴趣的情况下,各个图像位置的注视时间长度。平均关注时长可根据用户习惯进行确定。例如,请参照图3,用户在面对如图3所示的9张图像时,P11的平均关注时长为0.12s,P12的平均关注时长为0.15s,P13的平均关注时长为0.1s,P21的平均关注时长为0.15s,P22的平均关注时长为0.2s,P23的平均关注时长为0.16s,P31的平均关注时长为0.1s,P32的平均关注时长为0.12s,P33的平均关注时长为0.08s。
需要说明的是,若用户为新用户,可以采用默认的数据。即在面对多张图像时,大多人先观察中间的图像,再观察上侧的图像,最后才查看下侧的图像。且大多数人先观察左侧的图像,再观察右侧的图像。然而,在观察同一界面的图像时,可扫视到其他图像。因此,后观察的图像的平均关注时长与先观察的图像的平均关注时长较短一点。
A113:计算所述第一图像的注视时长和所述平均关注时长之间的比值,得到所述第一图像的兴趣值。
可以理解,平均关注时长不变,注视时长越大,则比值越大,即兴趣值越大。在步骤A111-A113中,先确定第一图像的图像位置,再确定该图像位置对应的平均关注时长。然后计算该第一图像的注视时长与平均关注时长之间的比值,以得到该第一图像的兴趣值,从而可提高确定兴趣值的准确性。
举例来说,如图3所示,假设P11、P12、P13、P21、P22、P23、P31、P32和P33的平均关注时长分别为0.12s、0.15s、0.1s、0.15s、0.2s、0.16s、0.1s、0.12s、0.08s。若P11、P12、P13、P21、P22、P23、P31、P32和P33的注视时长分别为0.15s、0.12s、0.08s、0.15s、0.25s、0.14s、0.08s、0.12s、0.05s,则P11、P12、P13、P21、P22、P23、P31、P32和P33的兴趣值分别为1.25、0.8、0.8、1、1.25、0.875、0.8、1、0.625。
A12:若所述兴趣值大于第一阈值,则确定所述第一图像为目标图像。
本申请对于第一阈值不做限定,可根据用户的历史数据进行确定,例如,统计图库中各个图像的查看次数,根据各个图像的查看次数获取平均次数。或者,仅统计图库中各个收藏图像的查看次数,根据各个收藏图像的查看次数获取平均次数根据平均次数确定第一阈值。
可以理解,以多张图像中的任一图像进行举例说明,其他的图像可参照步骤A11和步骤A12,在此不再赘述。若该图像的兴趣值大于第一阈值,则确定该图像为目标图像。如此,根据兴趣值选取目标图像,可提高确定目标图像的正确性。
举例来说,假设P11、P12、P13、P21、P22、P23、P31、P32和P33的兴趣值分别为1.25、0.8、0.8、1、1.25、0.875、0.8、1、0.625。当第一阈值为1时,可确定P11、P21、P22和P32为目标图像。
S203:显示预设图库中与所述目标图像对应的参考图像。
本申请对于预设图库不做限定。预设图库可以是电子设备中的图库。也可以是对应应用程序的图库,例如,在桌面图像选择的场景中,预设图库为桌面图像应用程序的图库。还可以是应用程序中搜索的图库,例如,在浏览器中的搜索栏中输入“眼镜”,则预设图库为该浏览器中可搜索的与“眼镜”相关图像的集合。
在本申请实施例中,参考图像为与目标图像相似的图像,可以是图像相似,也可以是构图相似等,在此不做限定。需要说明的是,参考图像可以是与目标图像中一致的对象,以人脸图像进行举例说明,当显示同一人物的其他图像时,可提高查找同一人物的图像的效率。
本申请对于显示参考图像的方法也不做限定,可以直接显示,也可以以推送的方式显示参考图像的缩略图,并在点击缩略图之后显示完整的图像。
在一种可能的示例中,步骤S203包括以下步骤B11-B13,其中:
B11:确定所述目标图像的图像特征。
其中,图像特征包括类型、颜色特征、构图特征等,在此不做限定。进一步的,若图像为人物图像,则图像特征还可包括五官特征、肤色特征、表情特征、穿着特征、动作特征、性格特征、发型特征等。若图像为桌面图像,则图像特征还可以包括与桌面图标的贴合度等。
本申请对于确定目标图像的图像特征也不做限定,可采用训练完成的神经网络进行图像特征提取。若所述目标图像的数量为多张,则在一种可能的示例中,所述确定所述目标图像的图像特征包括:
B111:对所述多张目标图像中每一目标图像进行区域分割,得到多个子区域图集。
其中,每一子区域图集对应一个区域,每一子区域图集包括至少一个子区域图像。可以根据图像位置进行区域分割,例如,将图划分为9宫格,每一子区域图集对应一个格子。也可以根据图像类型进行区域分割,例如,将图像中的人和背景分隔出来。还可以根据区域位置进行区域分割,例如,若图像为人物图像,则可以以五官对应的区域进行划分。多个子区域图集可以是脸部区域图集、眼睛区域图集、鼻子区域图集、嘴巴区域图集。
B112:对所述多个子区域图集中各个子区域图像进行特征提取,得到多个子区域特征集。
其中,每一子区域图像对应一个子区域特征集。可以理解,分别对各个子区域图像进行特征提取,可提高特征识别的准确性。
B113:统计所述多个子区域特征集中每一子区域特征的特征数量,得到所述多张目标图像的图像特征。
在步骤B113中,可以将子区域特征集中特征数量最大的特征作为一个图像特征,也可以将特征数量大于一个预设阈值的特征作为一个图像特征,在此不做限定。
可以理解,在步骤B111-B113中,先对各个目标图像进行区域分割得到多个子区域图集,再提取各个子区域图集的特征得到多个子区域特征集。最后统计各个子区域特征集中每一子区域特征的特征数量,以得到多张目标图像的图像特征。也就是说,先分类提取,再统计识别,可提高确定图像特征的准确性。
B12:从预设图库中获取与所述图像特征对应的参考图像。
本申请对于获取参考图像的方法不做限定,可获取预设图库中各个图像的图像特征,再逐一与目标图像的图像特征进行比对,以得到相似值,从而根据相似值确定参考图像。
在一种可能的示例中,步骤B12包括以下步骤B121-B123,其中:
B121:根据所述多张目标图像的图像特征绘制对比图像。
B122:将预设图库中的每一图像与所述对比图像进行比对,得到多个相似值。
B123:将所述多个相似值中大于第二阈值的相似值对应的至少一张图像作为参考图像。
其中,第二阈值不做限定。可以理解,当根据多张目标图像的图像特征绘制对比图像之后,对比图像综合了多张目标图像的图像特征。然后将预设图库中的每一图像与对比图像进行比对得到多个相似值,再将大于第二阈值的相似值对应的图像作为参考图像。如此,可提高获取参考图像的准确性。
B13:显示所述参考图像。
可以理解,在步骤B11-B13中,先确定目标图像的图像特征,再从预设图库中获取与图像特征对应的参考图像,最后显示该参考图像。如此,根据图像特征确定参考图像,可提高显示参考图像的正确性。
需要说明的是,参考图像的数量也可以是多张。若所述参考图像的数量为多张,则在一种可能的示例中步骤B13包括步骤B131和B132,其中:
B131:根据所述多个相似值的大小确定所述参考图像的展示顺序。
B132:根据所述展示顺序显示所述多张参考图像。
本申请对于多张参考图像的显示方法不做限定,可以一张张单独进行显示,也可以按照电子设备中设置的显示参数进行显示,即当显示页面张数为9,且显示顺序为先左后右,先上后下时,如图3所示,参考图像按照依次为P11、P12、P13、P21、P22、P23、P31、P32和P33对应的位置进行显示。
在该示例中,相似值越大,展示顺序越小,越提前显示。可以理解,当相似值大的参考图像展示在前方,可以提高用户选中效率。
在图2所示的方法中,若电子设备中显示多张图像,则通过眼球追踪模块确定用户针对多张图像中每一图像的注视时长。然后根据注视时长确定多张图像中的目标图像,再显示预设图库中与该目标图像对应的参考图像。也就是说,无论电子设备对应的用户是否为新用户,均可通过眼球追踪模块确定针对当前页面中各个图像的注视时长,并根据用户的注视时长显示图像,从而显示用户偏好的图像,可实现个性化图像显示。
与上述图2所示的实施例一致的,请参阅图4,图4是本申请实施例提供的另一种电子设备100的结构示意图。如图4所示,该电子设备100包括处理器140、眼球追踪模块171、通信接口161、显示器120和存储器150。处理器140通过总线180连接眼球追踪模块171、通信接口161、显示器120和存储器150。其中,存储器150包括一个或多个程序151,上述程序151被配置由上述处理器140执行,上述程序151包括用于执行以下步骤的指令:
若所述电子设备100中显示多张图像,则通过所述眼球追踪模块171确定用户针对所述多张图像中每一图像的注视时长;
根据所述注视时长确定所述多张图像中的目标图像;
显示预设图库中与所述目标图像对应的参考图像。
可以看出,根据用户的注视时长显示图像,从而显示用户偏好的图像,可实现个性化图像显示。
在一个可能的示例中,所述根据所述注视时长确定所述多张图像中的目标图像方面,所述程序151中的指令具体用于执行以下操作:
根据第一图像的注视时长确定所述第一图像的兴趣值,所述第一图像为所述多张图像中的任一图像;
若所述兴趣值大于第一阈值,则确定所述第一图像为目标图像。
在一个可能的示例中,在所述根据第一图像的注视时长确定所述第一图像的兴趣值方面,所述程序151中的指令具体用于执行以下操作:
确定所述第一图像的图像位置;
确定所述图像位置对应的平均关注时长;
计算所述第一图像的注视时长和所述平均关注时长之间的比值,得到所述第一图像的兴趣值。
在一个可能的示例中,在所述显示预设图库中与所述目标图像对应的参考图像方面,所述程序151中的指令具体用于执行以下操作:
确定所述目标图像的图像特征;
从预设图库中获取与所述图像特征对应的参考图像;
显示所述参考图像。
在一个可能的示例中,若所述目标图像的数量为多张,则在所述确定所述目标图像的图像特征方面,所述程序151中的指令具体用于执行以下操作:
对所述多张目标图像中每一目标图像进行区域分割,得到多个子区域图集,每一子区域图集对应一个区域,每一子区域图集包括至少一个子区域图像;
对所述多个子区域图集中各个子区域图像进行特征提取,得到多个子区域特征集,每一子区域图像对应一个子区域特征集;
统计所述多个子区域特征集中每一子区域特征的特征数量,得到所述多张目标图像的图像特征。
在一个可能的示例中,在所述从预设图库中获取与所述图像特征对应的参考图像方面,所述程序151中的指令具体用于执行以下操作:
根据所述多张目标图像的图像特征绘制对比图像;
将预设图库中的每一图像与所述对比图像进行比对,得到多个相似值;
将所述多个相似值中大于第二阈值的相似值对应的至少一张图像作为参考图像。
在一个可能的示例中,若所述参考图像的数量为多张,则在所述显示所述参考图像方面,所述程序151中的指令具体用于执行以下操作:
根据所述多个相似值的大小确定所述参考图像的展示顺序;
根据所述展示顺序显示所述多张参考图像。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参照图5,图5所示的图像显示装置应用于电子设备,该电子设备包括眼球追踪模块。如图5所示,该图像显示装置500包括:
确定单元501,用于若所述电子设备中显示多张图像,则通过所述眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长;根据所述注视时长确定所述多张图像中的目标图像;
显示单元502,用于显示预设图库中与所述目标图像对应的参考图像。
可以看出,根据用户的注视时长显示图像,从而显示用户偏好的图像,可实现个性化图像显示。
在一个可能的示例中,所述确定单元501具体用于根据第一图像的注视时长确定所述第一图像的兴趣值,所述第一图像为所述多张图像中的任一图像;若所述兴趣值大于第一阈值,则确定所述第一图像为目标图像。
在一个可能的示例中,所述确定单元501具体用于确定所述第一图像的图像位置;确定所述图像位置对应的平均关注时长;计算所述第一图像的注视时长和所述平均关注时长之间的比值,得到所述第一图像的兴趣值。
在一个可能的示例中,所述确定单元501还用于确定所述目标图像的图像特征;从预设图库中获取与所述图像特征对应的参考图像;所述显示单元502具体用于显示所述参考图像。
在一个可能的示例中,若所述目标图像的数量为多张,则所述确定单元501具体用于对所述多张目标图像中每一目标图像进行区域分割,得到多个子区域图集,每一子区域图集对应一个区域,每一子区域图集包括至少一个子区域图像;对所述多个子区域图集中各个子区域图像进行特征提取,得到多个子区域特征集,每一子区域图像对应一个子区域特征集;统计所述多个子区域特征集中每一子区域特征的特征数量,得到所述多张目标图像的图像特征。
在一个可能的示例中,所述确定单元501具体用于根据所述多张目标图像的图像特征绘制对比图像;将预设图库中的每一图像与所述对比图像进行比对,得到多个相似值;将所述多个相似值中大于第二阈值的相似值对应的至少一张图像作为参考图像。
在一个可能的示例中,所述确定单元501还用于根据所述多个相似值的大小确定所述参考图像的展示顺序;所述显示单元502具体用于根据所述展示顺序显示所述多张参考图像。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于存储计算机程序,该计算机程序使得计算机执行如方法实施例中记载的任一方法的部分或全部步骤,计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模式并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模式的形式实现。
集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(randomaccess memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种图像显示方法,其特征在于,应用于电子设备,所述电子设备包括眼球追踪模块,所述方法包括:
若所述电子设备中显示多张图像,则通过所述眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长;
根据所述注视时长确定所述多张图像中的目标图像,包括:确定第一图像的图像位置,所述第一图像为所述多张图像中的任一图像,确定所述图像位置对应的平均关注时长,计算所述第一图像的注视时长和所述平均关注时长之间的比值,得到所述第一图像的兴趣值,若所述兴趣值大于第一阈值,则确定所述第一图像为目标图像;
显示预设图库中与所述目标图像对应的参考图像。
2.根据权利要求1所述的方法,其特征在于,所述显示预设图库中与所述目标图像对应的参考图像,包括:
确定所述目标图像的图像特征;
从预设图库中获取与所述图像特征对应的参考图像;
显示所述参考图像。
3.根据权利要求2所述的方法,其特征在于,若所述目标图像的数量为多张,则所述确定所述目标图像的图像特征,包括:
对所述多张目标图像中每一目标图像进行区域分割,得到多个子区域图集,每一子区域图集对应一个区域,每一子区域图集包括至少一个子区域图像;
对所述多个子区域图集中各个子区域图像进行特征提取,得到多个子区域特征集,每一子区域图像对应一个子区域特征集;
统计所述多个子区域特征集中每一子区域特征的特征数量,得到所述多张目标图像的图像特征。
4.根据权利要求3所述的方法,其特征在于,所述从预设图库中获取与所述图像特征对应的参考图像,包括:
根据所述多张目标图像的图像特征绘制对比图像;
将预设图库中的每一图像与所述对比图像进行比对,得到多个相似值;
将所述多个相似值中大于第二阈值的相似值对应的至少一张图像作为参考图像。
5.根据权利要求4所述的方法,其特征在于,若所述参考图像的数量为多张,则所述显示所述参考图像,包括:
根据所述多个相似值的大小确定所述参考图像的展示顺序;
根据所述展示顺序显示所述多张参考图像。
6.一种图像显示装置,其特征在于,应用于电子设备,所述电子设备包括眼球追踪模块,所述装置包括:
确定单元,用于若所述电子设备中显示多张图像,则通过所述眼球追踪模块确定用户针对所述多张图像中每一图像的注视时长;根据所述注视时长确定所述多张图像中的目标图像;
所述确定单元,具体用于确定第一图像的图像位置,所述第一图像为所述多张图像中的任一图像,确定所述图像位置对应的平均关注时长,计算所述第一图像的注视时长和所述平均关注时长之间的比值,得到所述第一图像的兴趣值,若所述兴趣值大于第一阈值,则确定所述第一图像为目标图像;
显示单元,用于显示预设图库中与所述目标图像对应的参考图像。
7.一种电子设备,其特征在于,包括处理器、眼球追踪模块、显示器、通信接口、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质,其特征在于,其用于存储计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN202010085769.3A 2020-02-10 2020-02-10 图像显示方法及相关产品 Active CN111309146B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010085769.3A CN111309146B (zh) 2020-02-10 2020-02-10 图像显示方法及相关产品
PCT/CN2021/072895 WO2021159935A1 (zh) 2020-02-10 2021-01-20 图像显示方法及相关产品
EP21753360.3A EP4075240A4 (en) 2020-02-10 2021-01-20 IMAGE DISPLAY PROCEDURE AND RELATED PRODUCT
US17/812,798 US20220350404A1 (en) 2020-02-10 2022-07-15 Method for image display and related products

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085769.3A CN111309146B (zh) 2020-02-10 2020-02-10 图像显示方法及相关产品

Publications (2)

Publication Number Publication Date
CN111309146A CN111309146A (zh) 2020-06-19
CN111309146B true CN111309146B (zh) 2022-03-29

Family

ID=71159361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085769.3A Active CN111309146B (zh) 2020-02-10 2020-02-10 图像显示方法及相关产品

Country Status (4)

Country Link
US (1) US20220350404A1 (zh)
EP (1) EP4075240A4 (zh)
CN (1) CN111309146B (zh)
WO (1) WO2021159935A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309146B (zh) * 2020-02-10 2022-03-29 Oppo广东移动通信有限公司 图像显示方法及相关产品
CN112015277B (zh) * 2020-09-10 2023-10-17 北京达佳互联信息技术有限公司 信息显示方法、装置及电子设备
CN113849142A (zh) * 2021-09-26 2021-12-28 深圳市火乐科技发展有限公司 图像展示方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
CN106649759A (zh) * 2016-12-26 2017-05-10 北京珠穆朗玛移动通信有限公司 图片的处理方法及移动终端
CN107391608A (zh) * 2017-06-30 2017-11-24 广东欧珀移动通信有限公司 图片显示方法、装置、存储介质及电子设备
CN110225252A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110245250A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 图像处理方法及相关装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158502A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Prioritizing advertisements based on user engagement
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
CN103995822A (zh) * 2014-03-19 2014-08-20 宇龙计算机通信科技(深圳)有限公司 一种终端及信息搜索方法
EP3015952B1 (en) * 2014-10-30 2019-10-23 4tiitoo GmbH Method and system for detecting objects of interest
KR102333267B1 (ko) * 2014-12-10 2021-12-01 삼성전자주식회사 눈 위치 예측 장치 및 방법
CN107957779A (zh) * 2017-11-27 2018-04-24 海尔优家智能科技(北京)有限公司 一种利用眼部动作控制信息搜索的方法及装置
CN111309146B (zh) * 2020-02-10 2022-03-29 Oppo广东移动通信有限公司 图像显示方法及相关产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
CN106649759A (zh) * 2016-12-26 2017-05-10 北京珠穆朗玛移动通信有限公司 图片的处理方法及移动终端
CN107391608A (zh) * 2017-06-30 2017-11-24 广东欧珀移动通信有限公司 图片显示方法、装置、存储介质及电子设备
CN110225252A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110245250A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
CN111309146A (zh) 2020-06-19
EP4075240A1 (en) 2022-10-19
WO2021159935A1 (zh) 2021-08-19
EP4075240A4 (en) 2023-08-23
US20220350404A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
CN111309146B (zh) 图像显示方法及相关产品
CN103713801B (zh) 图像显示控制设备、图像显示设备和图像显示方法
CN112954210A (zh) 拍照方法、装置、电子设备及介质
CN112068698A (zh) 一种交互方法、装置及电子设备、计算机存储介质
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN113253908B (zh) 按键功能执行方法、装置、设备及存储介质
CN112422817B (zh) 图像处理方法及装置
CN111783175A (zh) 显示界面隐私保护方法、终端和计算机可读存储介质
CN112911147A (zh) 显示控制方法、显示控制装置及电子设备
CN109460556A (zh) 一种翻译方法和装置
CN108009273B (zh) 图像显示方法、装置及计算机可读存储介质
CN111080747A (zh) 一种人脸图像处理方法及电子设备
KR102303206B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US8610831B2 (en) Method and apparatus for determining motion
CN107368253B (zh) 图片缩放显示方法、移动终端及存储介质
CN107632985B (zh) 网页预加载方法及装置
CN110796673A (zh) 图像分割方法及相关产品
CN112703534A (zh) 图像处理方法及相关产品
CN113271379B (zh) 图像处理方法、装置及电子设备
CN111258413A (zh) 虚拟对象的控制方法和装置
CN114429506A (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN113821145A (zh) 页面处理方法、装置和介质
CN110147703B (zh) 人脸关键点检测方法、装置及存储介质
CN114077465A (zh) Ui界面渲染方法、装置、电子设备及存储介质
CN110069126B (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant