CN117575701A - 一种图像推理方法、装置、电子设备、介质及程序产品 - Google Patents

一种图像推理方法、装置、电子设备、介质及程序产品 Download PDF

Info

Publication number
CN117575701A
CN117575701A CN202210928107.7A CN202210928107A CN117575701A CN 117575701 A CN117575701 A CN 117575701A CN 202210928107 A CN202210928107 A CN 202210928107A CN 117575701 A CN117575701 A CN 117575701A
Authority
CN
China
Prior art keywords
image
reasoning
result
inference
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210928107.7A
Other languages
English (en)
Inventor
陈聪捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210928107.7A priority Critical patent/CN117575701A/zh
Publication of CN117575701A publication Critical patent/CN117575701A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本发明实施例公开了一种图像推理方法、装置、电子设备、介质及程序产品,在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐;根据所述图像标识信息以及所述图像推理模型的版本号,生成所述待推理图像对应的查询标识符;根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,所述目标推理结果用于确定与所述待推理图像匹配的推荐数据。该方案可以解决图像推理结果不准确的问题,提高图像推理结果的准确性。

Description

一种图像推理方法、装置、电子设备、介质及程序产品
技术领域
本发明涉及计算机技术领域,具体涉及一种图像推理方法、装置、电子设备、介质及程序产品。
背景技术
在通过视频播放平台进行视频播放的过程中,可以对广告进行投放,而在进行广告投放时,可以通过识别视频内容来匹配需要投放的广告,从而进行广告精准投放。在现有图像推理过程中,对每次接收到待推理视频仅使用少量信息对视频进行图像推理,导致视频进行图像推理结果不准确,使得图像推理效果远达不到预期。
发明内容
本发明实施例提供一种图像推理方法、装置、电子设备、介质及程序产品,可以提高图像推理结果的准确性。
一种图像推理方法,包括:
在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐;
根据所述图像标识信息以及所述图像推理模型的版本号,生成所述待推理图像对应的查询标识符;
根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,所述目标推理结果用于确定与所述待推理图像匹配的推荐数据。
相应的,本发明实施例提供一种图像推理装置,包括:
第一获取单元,用于在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐;
生成单元,用于根据所述图像标识信息以及图像推理模型的版本号,生成所述待推理图像对应的查询标识符;
第二获取单元,用于根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,所述目标推理结果用于确定与所述待推理图像匹配的推荐数据。
可选的,在一些实施例中,所述图像推理装置还可以包括查询单元,所述构建单元,具体可以用于根据所述查询标识符从图像推理数据库中查询与所述待推理图像匹配的目标推理结果,所述图像推理数据库中关联存储有参考推理结果以及参考查询标识符,所述参考推理结果为对参考推理图像进行图像推理后得到,所述参考查询标识符为根据所述参考推理图像的图像标识信息以及参考图像推理模型的版本号生成;若根据所述查询标识符未查询到与所述待推理图像匹配的目标推理结果,则从所述查询标识符中提取所述图像推理模型的版本号;通过所述版本号对应的图像推理模型对所述待推理图像进行图像推理,得到目标推理结果。
可选的,在一些实施例中,所述查询单元,具体可以用于若根据所述查询标识符查询到与所述待推理图像匹配的目标推理结果,则输出所述目标推理结果。
可选的,在一些实施例中,所述图像推理装置还可以包括获取单元,所述获取单元,具体可以用于在接收到待推理图像的图像推理请求时,获取所述当前使用的图像推理模型对应的标识信息;根据所述标识信息读取所述图像推理模型对应的查询标识符的配置信息,其中,所述配置信息为预先设置并通过热更新方式同步至所述图像推理模型中的;根据所述配置信息从所述图像推理请求中获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐。
可选的,在一些实施例中,所述图像推理装置还可以包括存储单元,所述存储单元,具体可以用于获取参考推理图像;通过参考图像推理模型对所述参考推理图像进行图像推理,得到参考推理结果;将所述参考推理结果与所述参考推理结果对应的参考查询标识符关联存储,所述目标推理结果从所述参考推理结果中确定,其中,在所述查询标识符与所述参考查询标识符匹配时,从所述参考推理结果中确定所述查询标识符匹配的所述目标推理结果。
可选的,在一些实施例中,所述图像推理装置还可以包括推理单元,所述推理单元,具体可以用于提取所述参考推理图像的特征信息,所述特征信息包括文字特征、声音特征以及图像特征中的至少一种;根据所述特征信息,识别所述参考推理图像的场景;根据所述参考推理图像的场景对所述参考推理图像进行图像推理,得到参考推理结果。
可选的,在一些实施例中,所述存储单元,具体可以用于将所述参考推理结果上传至云存储中;获取所述参考推理结果在云存储中的访问地址;将所述访问地址与所述参考查询标识符关联存储。
可选的,在一些实施例中,所述查询单元,具体可以用于根据所述查询标识符获取与所述待推理图像匹配的目标推理结果在云存储中的访问地址;根据所述访问地址从云存储获取与所述待推理图像匹配目标推理结果。
可选的,在一些实施例中,所述存储单元,具体可以用于获取所述参考推理结果的缓存值;若所述缓存值大于或等于预设值,则将所述参考推理结果上传至云存储中;若所述缓存值小于预设值,则将所述参考推理结果与所述参考查询标识符关联存储。
此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像推理方法。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条计算机程序,所述计算机程序适于处理器进行加载,以执行本发明实施例所提供的任一种图像推理方法中的步骤。
本申请实施例提供的图像推理方法、装置、电子设备、介质及程序产品,电子设备可以在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐;根据所述图像标识信息以及所述图像推理模型的版本号,生成所述待推理图像对应的查询标识符;根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,所述目标推理结果用于确定与所述待推理图像匹配的推荐数据。由此,通过在每次接收到图像推理请求时获取当前使用的图像推理模型的版本号进行后续图像推理,可以使得在图像推理模型的新版本上线后,线上系统都能使用新版本的图像推理模型进行图像推理计算,从而避免在模型版本更新后线上继续使用缓存中的旧版本的模型推理结果。同时,这样利用待推理图像的图像标识信息以及当前使用图像推理模型版本号等多种信息来生成查询标识符,可以根据查询标识符更准确地获取目标推理结果,提高了图像推理结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像推理方法的流程示意图;
图2是本发明实施例提供的图像推理的另一流程示意图;
图3本发明实施例提供的图像推理方法的应用场景;
图4本发明实施例提供的图像推理方法的应用场景;
图5为发明本实施例中图像推理系统的整体架构图;
图6是本发明实施例提供的图像推理装置的结构示意图;
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像推理方法、装置和计算机可读存储介质。其中,该图像推理装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像推理装置的角度进行描述,该图像推理装置具体可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备;其中,该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC,Personal Computer)、可穿戴设备、虚拟现实设备或其他可以获取数据的电子设备等设备。
一种图像推理方法,包括:
在接收到待推理图像的图像推理请求时,基于图像推理请求获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐;根据图像标识信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符;根据查询标识符获取与待推理图像匹配的目标推理结果,目标推理结果用于确定与待推理图像匹配的推荐数据。
如图1所示,该图像推理方法的具体流程如下:
101、在接收到待推理图像的图像推理请求时,基于图像推理请求获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐。
其中,在本实施例中通过模型进行的图像推理相对于图像训练而言,图像推理是指模型前向计算,即对于给出的输入数据计算得到模型的输出结果,也就相当于将待推理图像输入当前使用的图像推理模型后,该图像推理模型通过对待推理图像进行图像推理,从而得到推理结果。待推理图像可以是电子设备中待播放的图像,比如待推理图像可以是一个或多个分散的图片,也可以是多个连续的图片帧组成的视频。该图像推理请求中可以包括待推理图像的图像标识信息,该图像标识信息可以包括图像地址、图像数字签名以及目标配置信息。该图像地址可以是待推理图像中的图片的网站地址或者视频的网站地址,或者图片在智能设备中所存储的位置信息或者视频在智能设备中所存储的位置信息。该图像数字签名可以是图像的内容的md5值,在图像内容发生变化时,该图像数字签名即md5值也会发生变化。该目标配置信息可以是待推理图像来源的应用软件的标识信息和/或登录应用软件或电子设备的用户身份信息等,或者是登录电子设备获取待推理图像的用户的身份信息。该图像推理模型用于对待推理图像进行图像推理,从而得到推理结果,该推理结果可以是待推理图像对应的内容类别,也可以是待推理图像的内容类别对应的推荐内容,图像推理模型可以是图像识别模型。图像推理模型的版本号可以表示当前使用的图像推理模型的版本,如果版本号改变则表示图像推理模型的版本发生变化。
在本实施例中,图像推理方法的执行主体可以是电子设备,该电子设备可以是手机、iPad、平板、可穿戴设备等移动终端,也可以是智慧屏、电脑等电子设备。待推理图像可以是预先存储在电子设备本地的,也可以是电子设备中安装的应用软件在线从网络中下载到本地后,电子设备从本地获取到的,也可以是电子设备从第三方服务器获取待推理图像。在实际应用场景中,比如广告系统中,图像推理可以是应用于短视频与长视频上的通过图像推理模型根据视频内容和剧情信息推荐相关度较高的广告,待推理图像可以是电子设备的应用软件中播放的视频,待推理图像的图像地址可以是应用软件播放该视频的网站地址,目标配置信息可以是该应用软件的ID或者登录该应用软件的账号对应的用户身份信息,该当前使用的图像推理模型可以是电子设备中用于对应用软件中的视频进行图像识别并推荐广告的算法模型,当前使用的图像推理模型的版本号可以是电子设备中最新版本的图像推理模型的版本号,推理结果可以是指待推理视频的内容或剧情信息相关度较高的广告对应的图像,以便确定要在视频的哪一帧插入什么样的广告图像。
例如,电子设备可以从本地获取,或者通过应用软件在线下载,或者从第三方服务器获取待推理视频的视频网站地址以及待推理图像源的标识信息以及登录电子设备的用户身份信息,以及获取电子设备当前使用的图像推理模型的版本号。
在一实施例中,在接收到待推理图像的图像推理请求时,基于图像推理请求获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐,可以包括:
S1、在接收到待推理图像的图像推理请求时,获取当前使用的图像推理模型对应的标识信息。
其中,图像推理请求可以是在电子设备播放待推理图像时触发的,图像推理请求中可以包括待推理图像的图像标识信息。图像推理模型对应的标识信息用于标识图像推理模型,用户预先将该标识信息与图像推理模型对应的图像推理服务进行绑定,根据该标识信息可以确定当前使用的图像推理模型对应的查询标识符的配置信息,该配置信息可以用于配置组成查询标识符的字段。
例如,电子设备在播放待推理的视频时,触发待推理的视频对应的图像推理请求,获取电子设备当前使用的图像推理模型的标识信息。
S2、根据标识信息读取图像推理模型对应的查询标识符的配置信息,其中,配置信息为预先设置并通过热更新方式同步至图像推理模型中的。
其中,查询标识符用于查询电子设备缓存的参考推理结果。该标识信息可以与图像推理模型进行绑定,从而使得电子设备可以基于该标识信息确定图像推理模型的版本号,并基于该图像推理模型的版本号确定查询标识符,以查询该图像推理模型对应的推理结果。该配置信息用于指示组成查询标识符所需要的信息,例如,如果配置信息中包括待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,那么表示查询标识符可以由待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号组成。该参考推理结果可以是参考推理图像对应的内容类别,也可以是参考推理图像的内容类别对应的推荐内容,例如在实际应用的广告推荐场景中参考推理结果可以是参考推理视频的内容或剧情信息相关度较高的广告对应的图像。该参考推理图像可以是一个或多个分散的图片,也可以是多个连续的图片帧组成的视频。该参考推理图像可以是电子设备在接收到待推理图像的图像推理请求之前推理的图片或视频,并且在获取参考推理图像之前,该参考推理图像并未被电子设备图像推理过。电子设备获取的待推理图像与该参考推理图像可能相同,也可能不相同。该参考图像推理模型可以是一个或多个,该参考推理结果可以是一个或多个。如果待推理图像与该参考推理图像相同,并且对参考推理图像进行图像推理的图像模型与待推理图像当前的图像推理模型相同,那么表示待推理图像与参考推理图像对应的推理结果相同。
例如,电子设备在获取到当前使用图像推理模型的标识信息后,根据该标识信息读取预先设定好的当前使用的图像推理模型对应的查询标识符的配置信息,以指示查询标识符的组成信息。
S3、根据配置信息从图像推理请求中获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号。
其中,如果配置信息可以包括图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,那么电子设备可以根据该配置信息从图像推理请求中获取待推理图像的图像标识信息以及获取图像推理模型的版本号,从而可以将待推理图像的图像标识信息以及获取图像推理模型的版本号组成查询标识符。
例如,配置信息中待推理图像的图像地址可以是图片地址“img-url”,目标配置信息可以包括“appid”以及“userid”等,图像推理模型的版本号“model-ver”,那么根据该配置信息可以从图像推理请求中获取待推理图像的图像地址为“img-url:https://xxxxx.com/xxx”,目标配置信息可以是“appid:QQQ”以及“userid:ddd”,图像推理模型的版本号可以是“model-ver:1”,那么查询标识符可以是“img-url:https://xxxxx.com/xxx”,“appid:QQQ”,“userid:ddd”,“model-ver:1”。
在本实施例中,电子设备在播放待推理图像时,触发图像推理请求,获取电子设备当前使用的图像推理模型的标识信息。根据该标识信息读取预先设定好的当前使用的图像推理模型对应的查询标识符的配置信息,以指示查询标识符的组成信息。如果配置信息中包括待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,那么表示查询标识符可以由待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号组成。根据配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号。这样可以根据图像推理模型的标识符读取预先配置好的配置信息,该配置信息可以使得电子设备从待推理图像以及当前使用的图像推理模型中获取的信息能够确定待推理图像内容类别以及图像推理模型版本。
在一实施例中,在接收到待推理图像的图像推理请求时,基于图像推理请求获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐之前,还可以包括:
S4、获取参考推理图像。
其中,该参考推理图像可以是电子设备在接收到待推理图像的图像推理请求之前推理的图片或视频,并且在获取参考推理图像之前,该参考推理图像并未被电子设备推理过。电子设备获取的待推理图像与该参考推理图像可能相同,也可能不相同,在待推理图像与参考推理图像相同时,也就是待推理图像的图像标识信息与参考推理图像的参考图像标识信息相同。也即待推理图像的图像地址与参考推理图像的参考图像地址相同、待推理图像的图像数字签名与参考推理图像的参考图像数字签名相同以及待推理图像的目标配置信息与参考推理图像的参考配置信息相同。
需要说明的是,在本实施例中,为了方便电子设备可以快速输出待推理图像对应的目标推理结果,电子设备在通过参考图像推理模型将参考推理图像进行图像推理后,得到参考推理结果,并将该参考推理结果与该参考推理图像与参考图像推理模型对应的参考查询标识符关联存储,以便电子设备在检测到待推理图像对应的查询标识符与存储的参考查询标识符匹配时,也就是待推理图像与电子设备之前推理过的参考推理图像相同,且当前使用的图像推理模型与电子设备之前推理该参考推理图像时使用的参考图像推理模型也相同时,可以根据查询标识符从已缓存的参考推理结果中直接获取查询标识符对应的目标推理结果,从而可以在待推理图像已经被推理过的情况下直接通过电子设备获取目标推理结果,而无需通过图像推理模型再次进行图像推理,提高了电子设备图像推理的效率。
该参考推理图像可以是预先存储在电子设备本地的,也可以是电子设备中安装的应用软件在线从网络中下载到本地后,从本地获取的,也可以是电子设备从第三方服务器获取待推理图像。该目标推理结果可以为待推理图像对应的推理结果。该目标推理结果可以是从电子设备已缓存的参考推理结果中获取的,也可以是根据图像推理模型推理得到的。在实际应用场景中,比如广告推荐过程中,该目标推理结果可以是电子设备当前播放的视频中的内容与场景信息对应的多帧推荐广告的图像。
S5、通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果。
其中,该参考图像推理模型可以是电子设备对参考推理图像进行图像推理的参考图像推理模型,电子设备当前的图像推理模型与参考图像推理模型可能相同,也可能不同。该参考推理结果可以是参考推理图像对应的内容类别,也可以是参考推理图像的内容类别对应的推荐内容。该参考推理图像的数量可以是一个或多个,该参考图像推理模型的数量可以是一个或多个,该参考推理结果的数量可以是一个或多个。如果待推理图像与该参考推理图像相同,并且对参考推理图像进行图像推理的图像模型与待推理图像当前的图像推理模型相同,那么表示待推理图像与参考推理图像对应的推理结果相同,也就是参考推理结果与目标推理结果相同。
在本实施例中的推理相对于训练而言,是指模型前向计算,即对于给出的输入数据计算得到模型的输出结果,也就相当于将参考推理图像输入参考图像推理模型后,参考图像推理模型通过对参考推理图像进行图像推理,从而得到参考推理结果。
在一实施例中,通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果,可以包括:
(1)提取参考推理图像的特征信息,特征信息包括文字特征、声音特征以及图像特征中的至少一种。
其中,图像推理模型可以是图片或视频领域的机器学习模型,例如,PyTorch模型。参考推理图像可以是电子设备以往推理过的图片或视频,该文字特征可以是参考推理图像中的字幕文字对应的文字检测框中的文字特征,该声音特征可以是参考推理视频中的声音特征,该图像特征可以是图片或视频中的目标对象的轮廓、形状以及像素等图像特征信息,该目标对象可以是运动的对象,也可以是与预存的对象匹配的目标对象。
例如,电子设备通过参考图像推理模型提取参考推理图像的文字特征以及图像特征。
(2)根据特征信息,识别参考推理图像的场景。
可选地,电子设备可以获取预设的图像标签算法,通过预设的图像标签算法,对参考推理图像中的特征信息匹配分类标签,然后基于参考推理图像中的分类标签确定参考推理图像的场景,从而根据该分类标签将参考推理图像中的视觉信息转换为语义信息。
其中,预设的图像标签算法是指通过为图像分配正确合适的标签,将图像的视觉信息转换为语义信息,以帮助用户更好地理解与分析图像。图像标签包括了图像单分类和图像多标签分类。该图像单分类,即在一组固定的分类标签集合中,对于输入的参考推理图像,从分类标签集合中找出一个与参考推理图像内容匹配的分类标签分配给该输入的参考推理图像。该图像多标签分类,可以为参考推理图像分配多个匹配的分类标签,以充分表达参考推理图像中所包含的具体内容。
具体地,该图像标签算法可以通过卷积神经网络实现,卷积神经网络主要包括卷积层和池化层,卷积层通过用固定大小的滤波器与整个图像进行卷积;池化层则是一种降采样操作,通过取卷积得到的特征图中局部区块的最大值、平均值来达到降采样的目的。卷积神经网络中还会加入非线性变化的激活函数,加强网络的表达能力。在网络最后可以是若干个全连接层和一个分类器。在图像单分类的任务中,卷积神经网络的输入可以是参考推理图像的三维数组,输出可以是softmax分类器在分类标签集合上预测的每个分类标签的概率,分数最高的分类标签即为该参考推理图像的预测类别,然后基于参考推理图像中的分类标签确定参考推理图像的场景。
例如,若识别文字特征得到的文字内容为“下雨啦,阿嚏”,对参考推理图像中的文字特征匹配分类标签,以识别图像特征得到参考推理图像中目标对象为淋湿的人,那么对参考推理图像中的图像特征匹配分类标签,以识别到参考推理图像的场景即为人物淋湿感冒场景。若提取到的图像特征得到参考推理图像中的图像特征得到参考推理图像中目标对象为运动的汽车,则对参考推理图像中的图像特征匹配分类标签,以识别到参考推理图像的场景即为汽车运动场景。
(3)根据参考推理图像的场景对参考推理图像进行图像推理,得到参考推理结果。
需要说明的是,电子设备本地或者与电子设备连接的云端服务器中中存储有参考推理图像对应的不同场景与参考推理结果之间的匹配关系。可选地,将参考推理图像的场景输入到参考图像推理模型中,参考图像推理模型对参考推理图像进行识别,以从本地或服务器中获取与参考推理图像的场景匹配参考推理结果。
例如,若识别到参考推理图像的场景即为人物淋湿感冒场景,那么根据人物淋湿感冒场景可以推理得到该参考推理图像的参考推理结果对应的内容类别为生病类别,参考推理结果也可以是生病类别对应的推荐内容,该推荐内容可以是电子设备中预先存储的生病类别对应的xx感冒药售卖连接或官网连接,以及预存的生病类别对应的弹幕,例如“AAA生病了吗,xx心疼”。若识别到参考推理图像的场景即为汽车运动场景,那么根据汽车运动场景可以推理得到该参考推理图像的参考推理结果对应的内容类别为汽车类别,该参考推理结果也可以是汽车类别对应的推荐内容,该推荐内容可以是电子设备中预先存储的汽车类别对应的xx汽车售卖连接或官网连接,以及预存的汽车类别对应的弹幕,例如“新款上市,最高x折优惠”。
S6、将参考推理结果与参考推理结果对应的参考查询标识符关联存储,目标推理结果从参考推理结果中确定,其中,在查询标识符与参考查询标识符匹配时,从参考推理结果中确定查询标识符匹配的目标推理结果。
在一实施例中,将参考推理结果与参考推理结果对应的参考查询标识符关联存储之前,可以包括:获取参考图像推理模型对应的标识信息;根据该标识信息读取参考图像推理模型对应的查询标识符的配置信息;根据该配置信息获取参考推理图像的图像地址以及参考配置信息,以及获取参考图像推理模型的版本号。根据该参考图像地址、参考图像数字签名、参考配置信息以及参考推理模型的版本号,生成参考推理图像对应的参考查询标识符。
可以理解的是,在本实施例中,将参考推理结果对应的参考查询标识符与参考推理结果关联保存,从而可以在电子设备检测到待推理图像以及当前的图像推理模型对应的查询标识符与参考查询标识符匹配时,也就是待推理图像与参考推理图像相同,且当前使用的图像推理模型与电子设备之前推理该参考推理图像时使用的参考图像推理模型也相同时,可以直接根据查询标识符获取参考推理结果,而无需再次对待推理图像进行图像推理,可以提高电子设备图像推理的效率。
在一实施例中,将参考推理结果与参考推理结果对应的参考查询标识符关联存储,可以包括:
需要说明的是,在通过参考图像推理模型对参考推理图像进行图像推理得到参考推理结果后,可以将参考推理结果保存在图像推理数据库中,该图像推理数据库可以是一种基于键值的数据存储组件,然而这种情况下,如果推理结果中的图片或视频所占内存过大,则会导致电子设备本地图像推理数据库的内存容易占满,而导致推理结果存储效果不好。因此在本实施例中,可以将参考推理结果上传至云存储中,该云存储可以是云端服务器中的图像推理数据库,而仅将参考推理结果在云存储中的访问地址与参考推理结果对应的参考查询标识符关联存储在本地的图像推理数据库中,从而可以提高电子设备的图像推理结果的存储效果。具体可以如下:
(1)将参考推理结果上传至云存储中。
需要说明的是,云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识(ID,ID entity)等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程,具体为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID,Redundant Array of Independent Disk)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
在本实施例中,云存储可以是对象云存储。参考推理结果可以是参考推理图像对应的内容类别,也可以是参考推理图像的内容类别对应的推荐内容。
例如,电子设备在通过参考图像推理模型对参考推理图像进行图像推理后,得到参考推理结果,并将参考推理结果上传至对象云存储中。
(2)获取参考推理结果在云存储中的访问地址。
例如,电子设备在将参考推理结果上传至云存储后,访问云存储中的参考推理结果,从而获取参考推理结果在云存储中的访问地址。
(3)将访问地址与参考查询标识符关联存储。
例如,将参考推理结果在云存储中的访问地址与该参考推理结果对应的参考查询标识符关联存储在本地的图像推理数据库中,从而方便电子设备在检测到与参考推理结果对应的参考查询标识符匹配的查询标识符时,从本地的图像推理数据库中获取该查询标识符对应的目标推理结果。
对应的,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:根据查询标识符获取与待推理图像匹配的目标推理结果在云存储中的访问地址;根据访问地址从云存储获取与待推理图像匹配目标推理结果。
例如,根据查询标识符从本地的图像推理数据库中查询与待推理图像匹配的目标推理结果,若根据查询标识符查询到与待推理图像匹配的目标推理结果,则根据查询标识符在本地的图像推理数据库获取目标推理结果在云存储中的访问地址,根据该访问地址从云存储获取目标推理结果。
在一实施例中,将参考推理结果上传至云存储中,可以包括:
(4)获取参考推理结果的缓存值。
其中,缓存值可以是指参考推理结果所占的内存,缓存值越大表示参考推理结果所占内存越大,比如,若参考推理结果是图像,那么参考推理结果的缓存值越大,则表示参考推理结果对应的图像数量多或者图像像素越大。
例如,电子设备在通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果后,获取该参考推理结果的缓存值。
(5)若缓存值大于或等于预设值,则将参考推理结果上传至云存储中。
其中,预设值可以由用户自定义,也可以在电子设备出厂时设定好,或者在电子设备中用于图像推理的应用软件中设定好。
例如,判断参考推理结果的缓存值是否大于或等于预设值,若参考推理结果的缓存值大于或等于预设值,则将参考推理结果上传至云存储中,并获取参考推理结果在云存储中的访问地址,然后将访问地址与参考查询标识符关联存储在本地的图像推理数据库中。对应的,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:根据查询标识符获取与待推理图像匹配的目标推理结果在云存储中的访问地址;根据访问地址从云存储获取与待推理图像匹配目标推理结果。
在一实施例中,将参考推理结果与参考推理结果对应的参考查询标识符关联存储,可以包括:
(6)若缓存值小于预设值,则将参考推理结果与参考查询标识符关联存储。
例如,若参考推理结果的缓存值小于预设值,则将参考推理结果与参考查询标识符关联存储在本地的图像推理数据库中。对应的,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:根据查询标识符从本地的图像推理数据库查询并获取与该查询标识符关联的参考推理结果作为目标推理结果。
102、根据图像标识信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符。
其中,该图像标识信息可以包括图像地址、图像数字签名以及目标配置信息。该图像地址可以是待推理图像中的图片或视频的网站地址,或者图片在智能设备中所存储的位置信息或者视频在智能设备中所存储的位置信息。该图像数字签名可以是图像的内容的md5值,在图像内容发生变化时,该图像数字签名即md5值也会发生变化。该目标配置信息可以是待推理图像来源的应用软件的标识信息和/或登录应用软件或电子设备的用户身份信息等,或者是登录电子设备获取待推理图像的用户的身份信息。该图像推理模型用于对待推理图像进行图像推理,从而得到推理结果,该推理结果可以是待推理图像对应的内容类别,也可以是待推理图像的内容类别对应的推荐内容,图像推理模型可以是图像识别模型。图像推理模型的版本号可以表示当前使用的图像推理模型的版本,如果版本号更新则表示图像推理模型的版本更新。
例如,将待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号拼接成待推理图像对应的查询标识符。如果获取到的待推理图像的图像地址为“img-url:https://xxxxx.com/xxx”,目标配置信息为“appid:QQQ”以及“userid:ddd”,图像推理模型的版本号为“model-ver:1”,那么待推理图像对应的查询标识符可以是“img-url:https://xxxxx.com/xxx”,“appid:QQQ”,“userid:ddd”,“model-ver:1”。
103、根据查询标识符获取与待推理图像匹配的目标推理结果,目标推理结果用于确定与所述待推理图像匹配的推荐数据。
其中,查询标识符为根据待推理图像的图像标识信息以及电子设备中当前的图像推理模型的版本号生成的。该查询标识符可以用于在查询标识符与参考查询标识符匹配时,确定该参考查询标识符匹配的参考推理结果为目标推理结果。该目标推理结果可以为待推理图像对应的推理结果。该目标推理结果可以是从电子设备已缓存的参考推理结果中获取的,也可以是根据图像推理模型推理得到的。对应的,推荐目标推理结果可以是在电子设备的显示界面显示待推理图像的内容类别或场景信息,也可以是在电子设备显示界面显示待推理图像的内容类别对应的推荐内容,如广告以及弹幕等内容,若该目标推理结果是待推理图像的内容类别或场景信息,那么目标推理结果所确定的待推理图像匹配的推荐数据可以是广告数据或弹幕数据等。
例如,从参考推理结果中获取与查询标识符匹配的参考推理结果作为目标推理结果,或者,根据查询标识符通过图像推理模型对待推理图像进行图像推理得到目标推理结果,并在电子设备显示界面显示待推理图像的目标推理结果对应的推荐数据,如广告以及弹幕等内容。
在一实施例中,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:
S1、根据查询标识符从图像推理数据库中查询与待推理图像匹配的目标推理结果,图像推理数据库中关联存储有参考推理结果以及参考查询标识符,参考推理结果为对参考推理图像进行图像推理后得到,参考查询标识符为根据参考推理图像的图像标识信息以及参考图像推理模型的版本号生成。
其中,该查询标识符是指待推理图像对应的查询标识符,该图像推理数据库可以设置在电子设备中,也可以设置在于电子设备连接的云端服务器中,该图像推理数据库中可以包括关联存储的参考推理结果以及参考查询标识符。
例如,电子设备可以将查询标识符与已存储在图像推理数据库的参考推理结果对应的参考查询标识符进行对比,从而判断参考推理结果对应的参考查询标识符与待推理图像对应的查询标识符是否匹配,如果匹配则表示根据查询标识符查询到与待推理图像匹配的目标推理结果。
S2、若根据查询标识符查询到与待推理图像匹配的目标推理结果,则输出目标推理结果。
可选地,若待推理图像对应的查询标识符与参考推理结果对应的参考查询标识符相同,则判定查询标识符与参考查询标识符匹配,即根据查询标识符查询到与待推理图像匹配的目标推理结果。若根据查询标识符查询到与待推理图像匹配的目标推理结果,则表示待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号,均与参考推理图像的参考图像地址、图像数字签名、目标配置信息以及参考图像推理模型的版本号中的相同。
例如,如果电子设备已缓存的参考推理结果包括X、Y以及Z,参考推理结果X对应的参考查询标识符为L,参考推理结果Y对应的参考查询标识符为M,参考推理结果Z对应的参考查询标识符为N,那么若待推理图像对应的查询标识符为M,则根据查询标识符M查询到与待推理图像匹配的目标推理结果,该目标推理结果即为参考推理结果Y。
目前图像模型线上推理服务具有重复请求多、请求处理时延高、资源消耗高的特点,通过本实施例提供的图像推理方法,可以在接收到图像推理请求时,通过相应的查询标识符快速查询对应的目标推理结果,使得在之前缓存有对应的目标推理结果时,可直接获取而不必重复推理计算,提高图像推理效率。
在一实施例中,根据查询标识符从图像推理数据库中查询与待推理图像匹配的目标推理结果之后,图像推理方法还可以包括:
S3、若根据查询标识符未查询到与待推理图像匹配的目标推理结果,则从查询标识符中提取图像推理模型的版本号。
需要说明的是,在本实施例中,如果根据查询标识符从图像推理数据库中未查询到与待推理图像匹配的目标推理结果,也就是说待推理图像的查询标识符与电子设备中缓存的参考查询标识符没有相同的,而由于查询标识符是根据待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号生成的。因此若根据查询标识符未查询到与待推理图像匹配的目标推理结果,则表示待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号中的至少一种与参考推理图像的参考图像地址、参考图像数字签名、参考配置信息以及参考图像推理模型的版本号中的至少一种不同,因而无法直接从电子设备已缓存的参考推理结果中获取目标推理结果,而需要以当前的图像推理模型对待推理图像进行图像推理,得到目标推理结果。
可选地,若待推理图像对应的查询标识符与参考推理结果对应的参考查询标识符不相同,则判定查询标识符与参考查询标识符不匹配,即根据查询标识符未查询到与待推理图像匹配的目标推理结果。
例如,如果电子设备已缓存的参考推理结果包括X、Y以及Z,参考推理结果X对应的参考查询标识符为L,参考推理结果Y对应的参考查询标识符为M,参考推理结果Z对应的参考查询标识符为N,那么若待推理图像对应的查询标识符为S,则根据查询标识符S未查询到与待推理图像匹配的目标推理结果,此时,从查询标识符中提取图像推理模型的版本号,以便基于该版本号确定电子设备当前使用的的图像推理模型,并通过该图像推理模型对待推理图像进行图像推理,得到目标推理结果。
S4、通过版本号对应的图像推理模型对待推理图像进行图像推理,得到目标推理结果。
可选地,通过查询标识符中的版本号对应的图像推理模型提取待推理图像的特征信息,根据该特征信息,识别待推理图像的内容,根据待推理图像的内容对待推理图像进行图像推理,得到目标推理结果。
可选地,在通过版本号对应图像推理模型对待推理图像进行图像推理,得到目标推理结果之后,还可以包括:将目标推理结果与查询标识符关联存储。以便之后电子设备在检测到与查询标识符匹配的新的查询标识符时,可以直接获取目标推理结果。
可选地,在一实施例中,根据查询标识符获取与待推理图像匹配的目标推理结果,还可以包括:从查询标识符中提取图像推理模型的版本号;通过版本号对应的图像推理模型对待推理图像进行图像推理,得到目标推理结果。
例如,电子设备在通过待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐,可以直接根据当前使用的图像推理模型的版本号确定当前使用的图像推理模型,通过该图像推理模型对待推理图像进行图像推理,得到目标推理结果,以通过目标推理结果对待推理图像进行广告推荐。
具体实施例参照上述对应操作的实施例,在此不做赘述。
在本实施例中若根据查询标识符未查询到与待推理图像匹配的目标推理结果,则表示待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号中的至少一种与参考推理图像的参考图像地址、参考图像数字签名、参考配置信息以及参考图像推理模型的版本号中的至少一种不同,因而无法直接从电子设备已缓存的参考推理结果中获取目标推理结果,而需要以当前的图像推理模型对待推理图像进行图像推理,得到目标推理结果。也就是说如果当前使用的图像推理模型版本号与参考图像推理模型的版本号不同,那么参考图像推理模型对应的参考推理结果便无法使用,而只能使用当前使用的图像推理模型对待推理图像进行图像推理得到目标推理结果,一般而言,当前使用的图像推理模型相比于参考图像推理模型是更新后的新版本,这样可以确保图像推理模型新版本上线后,线上系统全量的待推理图像都能使用新版本的图像推理模型进行图像推理计算,避免出现有些图片或者视频使用旧版本的模型推理结果,而有些图片或者视频使用新版本的模型推理结果的情况出现,因而提高了图像推理的效果。
由以上可知,本发明实施例中电子设备可以获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号;根据图像标识信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符;根据查询标识符获取与待推理图像匹配的目标推理结果。由此,通过在每次接收到图像推理请求时获取当前使用的图像推理模型的版本号进行后续图像推理,可以使得在图像推理模型的新版本上线后,线上系统都能使用新版本的图像推理模型进行图像推理计算,从而避免在模型版本更新后线上继续使用缓存中的旧版本的模型推理结果。同时,这样利用待推理图像的图像标识信息以及图像推理模型版本号等多种信息来生成查询标识符,从而根据查询标识符更准确地获取目标推理结果,提高了图像推理结果的准确性。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该图像推理装置具体集成在电子设备,在本实施例中电子设备以手机为例,待推理图像以手机中应用软件播放的图片或视频为例。
如图2所示,一种图像推理方法,具体流程如下:
201、电子设备获取参考推理图像。
其中,参考推理图像可以是一个或多个分散的图片,也可以是多个连续的图片帧组成的视频。该参考推理图像可以是电子设备在接收到待推理图像的图像推理请求之前推理的图片或视频,并且在获取参考推理图像之前,该参考推理图像并未被电子设备图像推理过。电子设备获取的待推理图像与该参考推理图像可能相同,也可能不相同。在本实施例中,图像推理是指模型前向计算,即对于给出的输入数据计算得到模型的输出结果,也就相当于将待推理图像输入当前使用的图像推理模型后,该图像推理模型通过对待推理图像进行图像推理,从而得到推理结果。
该参考推理图像可以是预先存储在电子设备本地的,也可以是电子设备中安装的应用软件在线从网络中下载到本地后,从本地获取的,也可以是电子设备从第三方服务器获取的。电子设备在接收到播放该参考推理图像的请求时,获取该参考推理图像。该待推理图像是电子设备在对参考推理图像进行图像推理得到参考推理结果之后,新获取的图像,待推理图像可以是一个或多个分散的图片,也可以是多个连续的图片帧组成的视频,该图片或视频可以是电视节目,也可以是广告视频。待推理图像可以与参考推理图像相同,也可以与参考推理图像不同,该待推理图像可以与参考推理图像相同,是指新的待推理图像的内容以及图像播放源与以往推理过的参考推理图像内容以及图像播放源相同,该参考推理图像可以与待推理图像不同,是指本次的待推理图像的内容以及图像播放源是全新的,与以往推理过的参考推理图像的内容不一样,其中,该图像播放源可以是图像地址。
在实际应用场景中,比如广告系统中,图像推理可以是应用在短视频与长视频上的通过图像推理模型根据视频内容和剧情信息推荐相关度较高的广告,参考推理图像可以是电子设备的应用软件中以往播放的视频,参考推理图像的图像地址可以是应用软件播放该视频的网站地址,目标配置信息可以是播放该参考推理图像点的应用软件的ID或者登录该应用软件的账号对应的用户身份信息,该参考图像推理模型可以是电子设备中用于对应用软件中的视频进行图像识别并推荐广告的算法模型。
202、电子设备通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果。
其中,在本实施例中的图像推理相对于训练而言,是指模型前向计算,即对于给出的输入数据计算得到模型的输出结果,也就相当于将参考推理图像输入参考图像推理模型后,参考图像推理模型通过对参考推理图像进行图像推理,从而得到参考推理结果。该参考图像推理模型可以是电子设备对参考推理图像进行图像推理的参考图像推理模型,参考推理结果可以是参考推理图像对应的内容类别,也可以是参考推理图像的内容类别对应的推荐内容。电子设备当前的图像推理模型与参考图像推理模型可能相同,也可能不同。该参考图像推理模型可以是一个或多个,该参考推理结果可以是一个或多个。如果待推理图像与该参考推理图像相同,并且电子设备当前使用的图像推理模型与参考推理图像相同,那么表示待推理图像与参考推理图像对应的推理结果相同。
在一实施例中,通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果,可以包括:
(1)提取参考推理图像的特征信息,特征信息包括文字特征、声音特征以及图像特征中的至少一种。
其中,图像推理模型可以是图片或视频领域的机器学习模型,例如,PyTorch模型。参考推理图像可以是电子设备以往推理过的图片或视频,该文字特征可以是参考推理图像中的字幕文字对应的文字检测框中的文字特征,该声音特征可以是参考推理视频中的声音特征,该图像特征可以是图片或视频中的目标对象的轮廓、形状以及像素等图像特征信息,该目标对象可以是运动的对象,也可以是与预存的对象匹配的目标对象。
例如,电子设备通过参考图像推理模型提取参考推理图像的文字特征以及图像特征。
(2)根据特征信息,识别参考推理图像的场景。
参照图3与图4,图3与图4为本发明实施例提供的图像推理方法的应用场景,其中,在手机端特定应用软件中播放视频或图片时,电子设备通过参考图像推理模型提取参考推理图像的特征信息,并根据特征信息识别参考推理图像的场景,根据场景对参考推理图像进行图像推理得到参考推理图像对应的推荐内容。
可选地,电子设备可以获取预设的图像标签算法,通过预设的图像标签算法,对参考推理图像中的特征信息匹配分类标签,然后基于参考推理图像中的分类标签确定参考推理图像的场景,从而根据该分类标签将参考推理图像中的视觉信息转换为语义信息。
其中,预设的图像标签算法是指通过为图像分配正确合适的标签,将图像的视觉信息转换为语义信息,以帮助用户更好地理解与分析图像。图像标签包括了图像单分类和图像多标签分类。该图像单分类,即在一组固定的分类标签集合中,对于输入的参考推理图像,从分类标签集合中找出一个与参考推理图像内容匹配的分类标签分配给该输入的参考推理图像。该图像多标签分类,可以为参考推理图像分配多个匹配的分类标签,以充分表达参考推理图像中所包含的具体内容。
具体地,该图像标签算法可以通过卷积神经网络实现,卷积神经网络主要包括卷积层和池化层,卷积层通过用固定大小的滤波器与整个图像进行卷积;池化层则是一种降采样操作,通过取卷积得到的特征图中局部区块的最大值、平均值来达到降采样的目的。卷积神经网络中还会加入非线性变化的激活函数,加强网络的表达能力。在网络最后可以是若干个全连接层和一个分类器。在图像单分类的任务中,卷积神经网络的输入可以是参考推理图像的三维数组,输出可以是softmax分类器在分类标签集合上预测的每个分类标签的概率,分数最高的分类标签即为该参考推理图像的预测类别,然后基于参考推理图像中的分类标签确定参考推理图像的场景。
例如,参照图3所示,若识别提取到的图像特征得到参考推理图像中的图像特征得到参考推理图像中目标对象为运动的汽车,则识别到参考推理图像的场景即为汽车运动场景。参照图4所示,若识别文字特征得到的文字内容为“咳咳咳”,识别图像特征得到参考推理图像中目标对象为淋湿的人,那么识别到参考推理图像的场景即为人物淋湿感冒场景。
(3)根据参考推理图像的场景对参考推理图像进行图像推理,得到参考推理结果。
可选地,将参考推理图像的场景输入到参考图像推理模型中,以通过参考图像推理模型对参考推理图像的场景匹配参考推理结果。
例如,参照图4,若识别到参考推理图像的场景即为人物淋湿感冒场景,那么根据人物淋湿感冒场景可以推理得到该参考推理图像的参考推理结果对应的内容类别为生病类别,参考推理结果也可以是生病类别对应的推荐内容,该推荐内容可以是电子设备中预先存储的生病类别对应的xx感冒药售卖连接或官网连接,以及预存的生病类别对应的弹幕,例如“AAA生病了吗,xx心疼”。参照图3,若识别到参考推理图像的场景即为汽车运动场景,那么根据汽车运动场景可以推理得到该参考推理图像的参考推理结果对应的内容类别为汽车类别,该参考推理结果也可以是汽车类别对应的推荐内容,该推荐内容可以是电子设备中预先存储的汽车类别对应的xx汽车售卖连接或官网连接,以及预存的汽车类别对应的弹幕,例如“新款上市,最高x折优惠”。若在基于显示的推荐内容的售卖连接接收到用户的点击操作时,可以跳转至推荐内容的售卖界面。
203、电子设备将参考推理结果与参考推理结果对应的参考查询标识符关联存储。
其中,该参考查询标识符可以是缓存key,在该参考查询标识符与参考推理结果关联保存后,可以用于查询该参考推理结果。
可以理解的是,在本实施例中,将参考推理结果对应的参考查询标识符与参考推理结果关联保存,从而可以在电子设备检测到待推理图像以及当前的图像推理模型对应的查询标识符与参考查询标识符匹配时,也就是待推理图像与参考推理图像相同时,可以直接根据查询标识符获取参考推理结果,而无需再次对待推理图像进行图像推理,可以提高电子设备图像推理的效率。
在一实施例中,将参考推理结果与参考推理结果对应的参考查询标识符关联存储,可以包括:
需要说明的是,在现有技术中一般在通过参考图像推理模型对参考推理图像进行图像推理得到参考推理结果后,一般将参考推理结果保存在本地的图像推理数据库中,该本地的图像推理数据库可以是一种基于键值的数据存储组件。将参考推理结果存储在本地的图像推理数据库的情况下,如果推理结果中的图片或视频所占内存过大,电子设备本地的图像推理数据库内存容易占满,因而导致推理结果存储效果不好。因此在本实施例中,可以将参考推理结果上传至云存储中,之后仅将参考推理结果在云存储中的访问地址与参考推理结果对应的参考查询标识符关联存储在本地的图像推理数据库,从而可以提高电子设备的图像推理结果的存储效果。具体可以如下:
(1)将参考推理结果上传至云存储中。
其中,云存储可以是对象云存储。参考推理结果可以是参考推理图像对应的内容类别,也可以是参考推理图像的内容类别对应的推荐内容。
例如,电子设备在通过参考图像推理模型对参考推理图像进行图像推理后,得到参考推理结果,并将参考推理结果上传至对象云存储中。
(2)获取参考推理结果在云存储中的访问地址。
例如,电子设备在将参考推理结果上传至云存储后,访问云存储中的参考推理结果,从而获取参考推理结果在云存储中的访问地址。
(3)将访问地址与参考查询标识符关联存储。
其中,访问地址与参考查询标识符关联存储在本地的图像推理数据库中,该本地的图像推理数据库可以是Redis远程字典服务器存储。
例如,将参考推理结果在云存储中的访问地址与该参考推理结果对应的参考查询标识符关联存储在本地的图像推理数据库中,从而方便电子设备在检测到与参考推理结果对应的参考查询标识符匹配的查询标识符时,从本地的图像推理数据库中获取该查询标识符对应的目标推理结果。
该目标推理结果可以为待推理图像对应的推理结果。该目标推理结果可以是从电子设备已缓存的参考推理结果中获取的,也可以是根据图像推理模型推理得到的。在实际应用场景中,比如广告系统中,该目标推理结果可以是电子设备当前播放的视频中的内容与场景信息对应的多帧推荐广告的图像,该目标推理结果用于确定电子设备要在视频的哪一帧插入什么样的广告图像。
对应的,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:根据查询标识符获取与待推理图像匹配的目标推理结果在云存储中的访问地址;根据访问地址从云存储获取与待推理图像匹配目标推理结果。
例如,根据查询标识符从图像推理数据库中查询与待推理图像匹配的目标推理结果,若根据查询标识符查询到与待推理图像匹配的目标推理结果,则根据查询标识符在本地的图像推理数据库获取目标推理结果在云存储中的访问地址,根据该访问地址从云存储获取目标推理结果。
参照图5,图5为本实施例中图像推理系统的整体架构图。其中图像推理模型在接收到参考推理图像的图像推理请求时,对参考推理图像进行图像推理,并输出参考推理结果,该参考推理结果可以是图片或者视频文件,通用缓存服务在接收到参考推理结果后,将参考推理结果上传至对象云存储中,上传后,对象云存储会访问参考推理结果的访问地址,并将访问地址与参考推理结果关联存储在本地的图像推理数据库中。
可选地,在一实施例中,将参考推理结果与参考推理结果对应的参考查询标识符关联存储,包括:
(4)获取参考推理结果的缓存值。
其中,缓存值可以是指参考推理结果所占的内存,缓存值越大表示参考推理结果所占内存越大,比如,若参考推理结果是图像,那么参考推理结果的缓存值越大,则表示参考推理结果对应的图像数量多或者图像像素越大。
例如,电子设备在通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果后,获取该参考推理结果的缓存值。
(5)若缓存值大于或等于预设值,则将参考推理结果上传至云存储中;
其中,预设值可以由用户自定义,也可以在电子设备出厂时设定好,或者在电子设备中用于图像推理的应用软件中设定好。
例如,判断参考推理结果的缓存值是否大于或等于预设值,若参考推理结果的缓存值大于或等于预设值,则将参考推理结果上传至云存储中,并获取参考推理结果在云存储中的访问地址,然后将访问地址与参考查询标识符关联存储在本地的图像推理数据库。对应的,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:根据查询标识符获取与待推理图像匹配的目标推理结果在云存储中的访问地址;根据访问地址从云存储获取与待推理图像匹配目标推理结果。
(6)若缓存值小于预设值,则将参考推理结果与参考查询标识符关联存储。
例如,若参考推理结果的缓存值小于预设值,则将参考推理结果与参考查询标识符关联存储在本地的图像推理数据库中。对应的,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:根据查询标识符从本地的图像推理数据库查询并获取与该查询标识符关联的参考推理结果作为目标推理结果。
可选地,在将参考推理结果与参考查询标识符关联存储后,采用存储标识信息区分本地的图像推理数据库中存储的内容类型,该内容类型可以是参考查询标识符与参考推理结果,或者参考查询标识符与参考推理结果在云存储中的访问地址。
该存储标识信息可以是type字段,例如“Redis-value”。可以用“0”表示value中存储的参考查询标识符与参考推理结果,用“1”表示value中存储的参考查询标识符与参考推理结果在云存储中的访问地址。例如“Redis-value”:“type”:1,“value”:“https://xxx.cos.com/xxx.jpg”,表示value中存储的参考查询标识符与参考推理结果在云存储中的访问地址,该访问地址为“https://xxx.cos.com/xxx.jpg”。
在本实施例中,电子设备将缓存值小的参考推理结果直接与参考查询标识符关联存储在本地的图像推理数据库中,从而实现快速存储。而对于缓存值过大的参考推理结果,可以上传至云端,并将参考推理结果在云端的访问地址与参考查询标识符关联存储在本地的图像推理数据库中,可以有效缓解本地的图像推理数据库压力,从而降低参考推理结果的存储时间,提高电子设备的图像推理效率。
204、电子设备在接收到待推理图像的图像推理请求时,基于图像推理请求获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐。
其中,该待推理图像是电子设备当前待推理的图像,待推理图像可以是一个或多个分散的图片,也可以是多个连续的图片帧组成的视频,该图片或视频可以是电视节目,也可以是广告视频。该图像推理请求中可以包括待推理图像的图像标识信息,该图像标识信息可以包括图像地址、图像数字签名以及目标配置信息。该图像地址可以是待推理图像中的图片的网站地址或者视频的网站地址,或者图片在智能设备中所存储的位置信息或者视频在智能设备中所存储的位置信息。该图像数字签名可以是图像的内容的md5值,在图像内容发生变化时,该图像数字签名即md5值也会发生变化。目标配置信息可以是待推理图像来源的应用软件的标识信息和/或登录应用软件或电子设备的用户身份信息等,或者是登录电子设备获取待推理图像的用户的身份信息。该图像推理模型用于对待推理图像进行图像推理,从而得到推理结果,该推理结果可以是待推理图像对应的内容类别,也可以是待推理图像的内容类别对应的推荐内容,图像推理模型可以是图像识别模型。图像推理模型的版本号可以表示当前使用的图像推理模型的版本,如果版本号改变则表示图像推理模型的版本发生变化。
在本实施例中,待推理图像可以是预先存储在电子设备本地的,也可以是电子设备中安装的应用软件在线从网络中下载到本地后,从本地获取的,也可以是电子设备从第三方服务器获取待推理图像。在实际应用场景中,比如广告系统中,图像推理可以是应用于短视频与长视频上的通过图像推理模型根据视频内容和剧情信息推荐相关度较高的广告,待推理图像可以是电子设备的应用软件中播放的视频,待推理图像的图像地址可以是应用软件播放该视频的网站地址,目标配置信息可以是该应用软件的ID或者登录该应用软件的账号对应的用户身份信息,该当前使用的图像推理模型可以是电子设备中用于对应用软件中的视频进行图像识别并推荐广告的算法模型,当前使用的图像推理模型的版本号可以是电子设备中最新版本的图像推理模型的版本号。
例如,电子设备从本地获取待推理视频的视频网站地址以及待推理图像源的标识信息以及登录电子设备的用户身份信息,以及获取电子设备当前使用的图像推理模型的版本号。
在一实施例中,获取待推理图像的图像标识信息,以及获取当前使用的图像推理模型的版本号,可以包括:
S1、在接收到图像推理请求时,获取当前使用的图像推理模型对应的标识信息。
其中,图像推理请求可以是在电子设备播放待推理图像时触发的,图像推理请求中可以包括待推理图像的图像标识信息。图像推理模型对应的标识信息用于标识图像推理模型,用户预先将该标识信息与图像推理模型进行绑定,根据该标识信息可以确定当前使用的图像推理模型对应的查询标识符的配置信息,该配置信息可以用于配置组成查询标识符的字段。
例如,电子设备在播放待推理图像时,触发图像推理请求,获取电子设备当前使用的图像推理模型的标识信息。
S2、根据标识信息读取图像推理模型对应的查询标识符的配置信息,其中,配置信息为预先设置并通过热更新方式同步至图像推理模型中的。
其中,该查询标识符可以是缓存key,查询标识符用于查询电子设备缓存的图像推理模型对应的推理结果。该标识信息可以与图像推理模型进行绑定,从而使得电子设备可以基于该标识信息确定图像推理模型的版本号,并基于该图像推理模型的版本号确定查询标识符,以查询该图像推理模型对应的推理结果。该配置信息用于配置组成查询标识符所需要的信息。
例如,查询标识符可以配置为“model-1”:“url”:“img-url”,“model-ver”:“1”,“other-input-param”:“appid”,“userid”。其中url字段可以填“img-url”或者“model-ver”,用于表示待推理图像的图像地址是图片地址还是视频地址,“model-ver”指的是图像推理模型的版本号,“other-input-param”指的是还需要读取图像推理请求中的哪些目标配置信息以组成查询标识符,例子中是“appid”和“userid”。
例如,如果配置信息中包括待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,那么表示查询标识符可以由待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号组成。
S3、根据配置信息从图像推理请求中获取待推理图像的图像标识信息以及获取图像推理模型的版本号。
其中,如果配置信息包括图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,那么电子设备可以根据该配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号,从而可以将待推理图像的图像标识信息,以及获取图像推理模型的版本号组成查询标识符。
例如,配置信息中待推理图像的图像地址可以是图片地址“img-url”,目标配置信息可以包括“appid”以及“userid”等,图像推理模型的版本号“model-ver”,那么根据该配置信息可以从图像推理请求中获取待推理图像的图像地址为“img-url:https://xxxxx.com/xxx”,目标配置信息可以是“appid:QQQ”以及“userid:ddd”,图像推理模型的版本号可以是“model-ver:1”,那么查询标识符可以是“img-url:https://xxxxx.com/xxx”,“appid:QQQ”,“userid:ddd”,“model-ver:1”。
在本实施例中,电子设备在播放待推理图像时,触发图像推理请求,获取电子设备当前使用的图像推理模型的标识信息。根据该标识信息读取预先设定好的当前使用的图像推理模型对应的查询标识符的配置信息,以指示查询标识符的组成信息。如果配置信息中包括待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,那么表示查询标识符可以由待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号组成。根据配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号。这样可以根据图像推理模型的标识符读取预先配置好的配置信息,该配置信息可以使得电子设备从待推理图像以及当前使用的图像推理模型中获取的信息能够确定待推理图像内容类别以及图像推理模型版本。
205、电子设备根据图像标识信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符。
其中,该图像地址可以是待推理图像中的图片或视频的网站地址,该目标配置信息可以是待推理图像来源的应用软件的标识信息和/或登录应用软件或电子设备的用户身份信息等,或者是登录电子设备获取待推理图像的用户的身份信息。该图像推理模型用于对待推理图像进行图像推理,从而得到推理结果,该推理结果可以是待推理图像对应的内容类别,也可以是待推理图像的内容类别对应的推荐内容,图像推理模型可以是图像识别模型。图像推理模型的版本号可以表示当前使用的图像推理模型的版本,如果版本号更新则表示图像推理模型的版本更新。该查询标识符可以是缓存key,查询标识符中可以包含待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号,根据该待推理图像的查询标识符,可以在电子设备中查询匹配的参考查询标识符,若存在匹配的参考查询标识符,则表示电子设备中存在目标推理结果。
例如,电子设备根据图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符可以包括:将待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号拼接成待推理图像对应的查询标识符。如果获取到的待推理图像的图像地址为“img-url:https://xxxxx.com/xxx”,目标配置信息为“appid:QQQ”以及“userid:ddd”,图像推理模型的版本号为“model-ver:1”,那么待推理图像对应的查询标识符可以是“img-url:https://xxxxx.com/xxx”,“appid:QQQ”,“userid:ddd”,“model-ver:1”。
206、电子设备根据查询标识符获取与待推理图像匹配的目标推理结果,目标推理结果通过在查询标识符与参考查询标识符匹配时从参考推理结果中获取,目标推理结果用于确定与所述待推理图像匹配的推荐数据。
其中,查询标识符为根据待推理图像的图像地址、图像数字签名、目标配置信息以及电子设备中当前的图像推理模型的版本号生成的。该查询标识符可以与电子设备以往存储的参考推理结果关联存储。该目标推理结果为待推理图像对应的推理结果。该目标推理结果可以是从电子设备已缓存的参考推理结果中获取的,也可以是根据图像推理模型推理得到的。输出目标推理结果可以是在电子设备输出待推理图像的内容类别,也可以是在电子设备显示界面显示待推理图像的内容类别对应的推荐内容,如广告以及弹幕等内容,若该目标推理结果是待推理图像的内容类别或场景信息,那么目标推理结果所确定的待推理图像匹配的推荐数据可以是广告数据或弹幕数据等。
例如,从参考推理结果中获取与查询标识符匹配的参考推理结果作为目标推理结果,或者,根据查询标识符通过图像推理模型对待推理图像进行图像推理得到目标推理结果,并在电子设备显示界面显示待推理图像的目标推理结果对应的推荐数据,如广告以及弹幕等内容。
在一实施例中,根据查询标识符获取与待推理图像匹配的目标推理结果,可以包括:
S1、根据查询标识符从图像推理数据库中查询与待推理图像匹配的目标推理结果,图像推理数据库中关联存储有参考推理结果以及参考查询标识符,参考推理结果为对参考推理图像进行图像推理后得到,参考查询标识符为根据参考推理图像的图像标识信息以及参考图像推理模型的版本号生成。
其中,该查询标识是指待推理图像对应的查询标识符,该图像推理数据库可以设置在电子设备中,也可以设置在于电子设备连接的云端服务器中,该图像推理数据库中可以包括关联存储的参考推理结果以及参考查询标识符。
例如,电子设备可以将查询标识符与已存储的参考推理结果对应的参考查询标识符进行对比,从而判断参考推理结果对应的参考查询标识符与待推理图像对应的查询标识符是否匹配,如果匹配则表示根据查询标识符查询到与待推理图像匹配的目标推理结果。
S2、若根据查询标识符查询到与待推理图像匹配的目标推理结果,则输出目标推理结果。
可选地,若待推理图像对应的查询标识符与参考推理结果对应的参考查询标识符相同,则判定查询标识符与参考查询标识符匹配,即根据查询标识符查询到与待推理图像匹配的目标推理结果。若根据查询标识符查询到与待推理图像匹配的目标推理结果,则表示待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号均与与参考推理图像的参考图像地址、参考图像数字签名、参考配置信息以及参考图像推理模型的版本号中的相同。
例如,如果电子设备已缓存的参考推理结果包括X、Y以及Z,参考推理结果X对应的参考查询标识符为L,参考推理结果Y对应的参考查询标识符为M,参考推理结果Z对应的参考查询标识符为N,那么若待推理图像对应的查询标识符为M,则根据查询标识符M查询到与待推理图像匹配的目标推理结果,该目标推理结果即为参考推理结果Y。
例如,参照图3,若根据查询标识符查询到与待推理图像匹配的目标推理结果对应的内容类别为汽车类别,或者是汽车类别对应的推荐内容,该推荐内容可以是电子设备中预先存储的汽车类别对应的xx汽车售卖连接或官网连接,以及预存的汽车类别对应的弹幕,例如“新款上市,最高x折优惠”。参照图4,若根据查询标识符查询到与待推理图像匹配的目标推理结果对应的内容类别为生病类别,或者是生病类别对应的推荐内容,该推荐内容可以是电子设备中预先存储的生病类别对应的xx感冒药售卖连接或官网连接,以及预存的生病类别对应的弹幕,例如“AAA生病了吗,xx心疼”。若在基于显示的推荐内容的售卖连接接收到用户的点击操作时,可以跳转至推荐内容的售卖界面。
目前图像模型线上推理服务具有重复请求多、请求处理时延高、资源消耗高的特点,通过本实施例提供的图像推理方法,可以在接收到图像推理请求时,通过相应的查询标识符快速查询对应的目标推理结果,使得在之前缓存有对应的目标推理结果时,可直接获取而不必重复推理计算,提高图像推理效率。
在一实施例中,根据查询标识符从图像推理数据库中查询与待推理图像匹配的目标推理结果之后,图像推理方法还可以包括:
S3、若根据查询标识符未从图像推理数据库中查询到与待推理图像匹配的目标推理结果,则从查询标识符中提取图像推理模型的版本号。
需要说明的是,在本实施例中,如果根据查询标识符未查询到与待推理图像匹配的目标推理结果,也就是说待推理图像的查询标识符与电子设备中缓存的参考查询标识符没有相同的,而由于查询标识符是根据待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号生成的。因此若根据查询标识符未查询到与待推理图像匹配的目标推理结果,则表示待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号中的至少一种与参考推理图像的参考图像地址、参考图像数字签名、参考配置信息以及参考图像推理模型的版本号中的至少一种不同,因而无法直接从电子设备已缓存的参考推理结果中获取目标推理结果,而需要以当前的图像推理模型对待推理图像进行图像推理,得到目标推理结果。
可选地,若待推理图像对应的查询标识符与参考推理结果对应的参考查询标识符不相同,则判定查询标识符与参考查询标识符不匹配,即根据查询标识符未查询到与待推理图像匹配的目标推理结果。
例如,如果电子设备已缓存的参考推理结果包括X、Y以及Z,参考推理结果X对应的参考查询标识符为L,参考推理结果Y对应的参考查询标识符为M,参考推理结果Z对应的参考查询标识符为N,那么若待推理图像对应的查询标识符为S,则根据查询标识符S未查询到与待推理图像匹配的目标推理结果,此时,从查询标识符中提取图像推理模型的版本号,以便基于该版本号确定电子设备当前使用的的图像推理模型,并通过该图像推理模型对待推理图像进行图像推理,得到目标推理结果。
S4、通过版本号对应图像推理模型对待推理图像进行图像推理,得到目标推理结果。
可选地,通过图像推理模型提取待推理图像的特征信息,根据该特征信息,识别待推理图像的内容,根据待推理图像的内容对待推理图像进行图像推理,得到目标推理结果。
可选地,在通过版本号对应图像推理模型对待推理图像进行图像推理,得到目标推理结果之后,还可以包括:将目标推理结果与查询标识符关联存储。以便之后电子设备在检测到与查询标识符匹配的新的查询标识符时,可以直接获取目标推理结果。
参照图5所示,图5为本实施例中图像推理系统的整体架构图。图像推理系统可以应用于电子设备中,该图像推理系统可以包括配置中心、通用缓存服务、API网关、图像推理模型、本地的图像推理数据库以及对象云存储。图像推理模型用于获取到的待推理图像进行图像推理,通用缓存服务用于将参考推理结果缓存在本地的图像推理数据库或者对象云存储中,并在通过API网关获取待推理图像时,基于待推理图像对应的查询标识符从参考推理结果中查询目标推理结果,配置中心用于配置当前图像推理模型对应的标识信息以及通用缓存服务中缓存内容的查询标识符对应的配置信息。
例如,电子设备基于用户的操作在配置中心配置当前使用的图像推理模型的标识信息,并将该标识信息与当前使用的图像推理模型进行绑定,并设置当前使用的图像推理模型的配置信息,从而规定查询标识符所包含的内容,在配置信息设置好之后,配置中心就会把配置信息以热更新的方式同步给图像推理模型线上推理通用缓存服务,可以实现动态下发配置信息,它可以使开发者在不发布新版本的图像推理模型的情况下,更新配置信息,从而在接收到待推理图像时,可以根据动态的配置信息来获取待推理图像中的图像标识信息以及当前使用的图像推理模型的版本号,从而动态地更新查询标识符即缓存key,并且可以让开发者得以绕开电子设备中的审核机制,避免长时间的审核等待以及多次被拒造成的成本,从而降低图像推理装置的开发成本,提高图像推理装置的开发效率。当电子设备中播放待推理图像时,触发待推理图像的图像推理请求,通用缓存服务通过API网关接收到待推理图像的图像推理请求时,获取当前使用的图像推理模型对应的标识信息,根据标识信息读取该图像推理模型对应的查询标识符的配置信息,根据该配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号,根据待推理图像的图像标识信息,以及获取图像推理模型的版本号,生成查询标识符,之后根据该查询标识符从本地的图像推理数据库中查找目标推理结果,如果在本地的图像推理数据库中查询到与查询标识符匹配的参考查询标识符,则获取该参考查询标识符对应的参考推理结果作为目标推理结果。若在本地的图像推理数据库中未查询到与查询标识符匹配的参考查询标识符,则从查询标识符中获取当前使用的图像推理模型的版本号,通过该版本号对应的图像推理模型对待推理图像进行图像推理,得到目标推理结果,在得到目标推理结果后,将目标推理结果与查询标识符关联存储。
在本实施例中若根据查询标识符未查询到与待推理图像匹配的目标推理结果,则表示待推理图像的图像地址、图像数字签名、目标配置信息以及当前使用的图像推理模型的版本号中的至少一种与参考推理图像的参考图像地址、参考图像数字签名、参考配置信息以及参考图像推理模型的版本号中的至少一种不同,因而无法直接从电子设备已缓存的参考推理结果中获取目标推理结果,而需要以当前的图像推理模型对待推理图像进行图像推理,得到目标推理结果。也就是说如果当前使用的图像推理模型版本号与参考图像推理模型的版本号不同,那么参考图像推理模型对应的参考推理结果便无法使用,而只能使用当前使用的图像推理模型对待推理图像进行图像推理得到目标推理结果,一般而言,当前使用的图像推理模型相比于参考图像推理模型是更新后的新版本,这样可以确保图像推理模型新版本上线后,线上系统全量的待推理图像都能使用新版本的图像推理模型进行图像推理计算,避免出现有些图片或者视频使用旧版本的模型推理结果,而有些图片或者视频使用新版本的模型推理结果的情况出现,因而提高了图像推理的效果。
本发明实施例中电子设备可以获取待推理图像的图像标识信息,以及获取当前使用的图像推理模型的版本号;根据图像标识信息中的图像地址、图像数字签名、目标配置信息,以及图像推理模型的版本号,生成待推理图像对应的查询标识符;根据查询标识符获取与待推理图像匹配的目标推理结果。由此,通过在每次接收到图像推理请求时获取当前使用的图像推理模型的版本号进行后续图像推理,可以使得在图像推理模型的新版本上线后,线上系统都能使用新版本的图像推理模型进行图像推理计算,从而避免在模型版本更新后线上继续使用缓存中的旧版本的模型推理结果。同时,这样利用待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型版本号等多种信息来生成查询标识符,从而根据查询标识符更准确地获取目标推理结果,提高了图像推理结果的准确性。
为了更好地实施以上方法,本发明实施例还提供一种图像推理装置,该图像推理装置可以集成在电子设备,比如服务器或终端等设备中,该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如,如图6所示,该图像推理装置可以包括第一获取单元301、生成单元302、第二获取单元303,如下:
(1)第一获取单元301,用于在接收到待推理图像的图像推理请求时,基于图像推理请求获取待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,图像推理模型用于根据待推理图像进行推荐。
例如,第一获取单元301,具体可以用于在接收到图像推理请求时,获取当前使用的图像推理模型对应的标识信息;根据标识信息读取图像推理模型对应的查询标识符的配置信息;根据配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号。
可选地,第一获取单元301之前还可以包括存储单元304,存储单元304可以用于获取参考推理图像;通过参考图像推理模型对参考推理图像进行图像推理,得到参考推理结果;将参考推理结果与参考推理结果对应的参考查询标识符关联存储。
该存储单元304还可以用于将参考推理结果上传至云存储中;获取参考推理结果在云存储中的访问地址;将访问地址与参考查询标识符关联存储。
可选地,该图像推理装置还可以包括推理单元305,该推理单元305用于提取参考推理图像的特征信息,特征信息包括文字特征、声音特征以及图像特征中的至少一种;根据特征信息,识别参考推理图像的场景;根据参考推理图像的场景对参考推理图像进行图像推理,得到参考推理结果。
(2)生成单元302,用于根据图像标识信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符。
例如,将待推理图像的图像标识信息以及图像推理模型的版本号拼接成待推理图像对应的查询标识符。
(3)第二获取单元303,用于根据查询标识符获取与待推理图像匹配的目标推理结果,目标推理结果用于确定与所述待推理图像匹配的推荐数据。
例如,第二获取单元303,具体可以用于根据查询标识符从图像推理数据库中查询与待推理图像匹配的目标推理结果,图像推理数据库中关联存储有参考推理结果以及参考查询标识符,参考推理结果为对参考推理图像进行图像推理后得到,参考查询标识符为根据参考推理图像的图像标识信息以及参考图像推理模型的版本号生成;若根据查询标识符查询到与待推理图像匹配的目标推理结果,则输出目标推理结果;若根据查询标识符未查询到与待推理图像匹配的目标推理结果,则从查询标识符中提取图像推理模型的版本号;通过版本号对应图像推理模型对待推理图像进行图像推理,得到目标推理结果。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例第一获取单元301,用于获取待推理图像的图像标识信息,以及获取当前使用的图像推理模型的版本号;生成单元302,用于根据图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符;第二获取单元303,用于根据查询标识符获取与待推理图像匹配的目标推理结果。由此,通过在每次接收到图像推理请求时获取当前使用的图像推理模型的版本号进行后续图像推理,可以使得在图像推理模型的新版本上线后,线上系统都能使用新版本的图像推理模型进行图像推理计算,从而避免在模型版本更新后线上继续使用缓存中的旧版本的模型推理结果。同时,这样利用待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型版本号等多种信息来生成查询标识符,从而根据查询标识符更准确地获取目标推理结果,提高了图像推理结果的准确性。
本发明实施例还提供一种电子设备,如图7所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的计算机程序,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
电子设备可以获取待推理图像的图像标识信息,以及获取当前使用的图像推理模型的版本号;根据图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符;根据查询标识符获取与待推理图像匹配的目标推理结果。
例如,电子设备基于用户的操作在配置中心配置当前使用的图像推理模型的标识信息,并将该标识信息与当前使用的图像推理模型进行绑定,并设置当前使用的图像推理模型的配置信息,从而规定查询标识符所包含的内容,在配置信息设置好之后,配置中心就会把配置信息以热更新的方式同步给通用缓存服务,当电子设备中播放待推理图像时,触发待推理图像的图像推理请求,通用缓存服务通过API网关接收到待推理图像的图像推理请求时,获取当前使用的图像推理模型对应的标识信息,根据标识信息读取该图像推理模型对应的查询标识符的配置信息,根据该配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号,根据待推理图像的图像标识信息,以及获取图像推理模型的版本号,生成查询标识符,之后根据该查询标识符从本地的图像推理数据库中查找目标推理结果,如果在本地的图像推理数据库中查询到与查询标识符匹配的参考查询标识符,则获取该参考查询标识符对应的参考推理结果作为目标推理结果。若在本地的图像推理数据库中未查询到与查询标识符匹配的参考查询标识符,则从查询标识符中获取当前使用的图像推理模型的版本号,通过该版本号对应的图像推理模型对待推理图像进行图像推理,得到目标推理结果,在得到目标推理结果后,将目标推理结果与查询标识符关联存储。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由以上可知,本发明实施例电子设备可以获取待推理图像的图像标识信息,以及获取当前使用的图像推理模型的版本号;根据图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符;根据查询标识符获取与待推理图像匹配的目标推理结果。由此,通过在每次接收到图像推理请求时获取当前使用的图像推理模型的版本号进行后续图像推理,可以使得在图像推理模型的新版本上线后,线上系统都能使用新版本的图像推理模型进行图像推理计算,从而避免在模型版本更新后线上继续使用缓存中的旧版本的模型推理结果。同时,这样利用待推理图像的图像地址、图像数字签名、目标配置信息以及图像推理模型版本号等多种信息来生成查询标识符,从而根据查询标识符更准确地获取目标推理结果,提高了图像推理结果的准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本发明实施例所提供的任一种图像推理方法中的步骤。例如,该计算机程序可以执行如下步骤:
获取待推理图像的图像标识信息,以及获取当前使用的图像推理模型的版本号;根据图像地址、图像数字签名、目标配置信息以及图像推理模型的版本号,生成待推理图像对应的查询标识符;根据查询标识符获取与待推理图像匹配的目标推理结果。
例如,电子设备基于用户的操作在配置中心配置当前使用的图像推理模型的标识信息,并将该标识信息与当前使用的图像推理模型进行绑定,并设置当前使用的图像推理模型的配置信息,从而规定查询标识符所包含的内容,在配置信息设置好之后,配置中心就会把配置信息以热更新的方式同步给通用缓存服务,当电子设备中播放待推理图像时,触发待推理图像的图像推理请求,通用缓存服务通过API网关接收到待推理图像的图像推理请求时,获取当前使用的图像推理模型对应的标识信息,根据标识信息读取该图像推理模型对应的查询标识符的配置信息,根据该配置信息从图像推理请求中获取待推理图像的图像标识信息,以及获取图像推理模型的版本号,根据待推理图像的图像标识信息,以及获取图像推理模型的版本号,生成查询标识符,之后根据该查询标识符从本地的图像推理数据库中查找目标推理结果,如果在本地的图像推理数据库中查询到与查询标识符匹配的参考查询标识符,则获取该参考查询标识符对应的参考推理结果作为目标推理结果。若在本地的图像推理数据库中未查询到与查询标识符匹配的参考查询标识符,则从查询标识符中获取当前使用的图像推理模型的版本号,通过该版本号对应的图像推理模型对待推理图像进行图像推理,得到目标推理结果,在得到目标推理结果后,将目标推理结果与查询标识符关联存储。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本发明实施例所提供的任一种图像推理方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像推理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该电子设备执行上述图像推理方面的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种图像推理方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像推理方法,其特征在于,包括:
在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐;
根据所述图像标识信息以及所述图像推理模型的版本号,生成所述待推理图像对应的查询标识符;
根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,所述目标推理结果用于确定与所述待推理图像匹配的推荐数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,包括:
从所述查询标识符中提取所述图像推理模型的版本号;
通过所述版本号对应的图像推理模型对所述待推理图像进行图像推理,得到目标推理结果。
3.根据权利要求1所述的方法,其特征在于,所述根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,包括:
根据所述查询标识符从图像推理数据库中查询与所述待推理图像匹配的目标推理结果,所述图像推理数据库中关联存储有参考推理结果以及参考查询标识符,所述参考推理结果为对参考推理图像进行图像推理后得到,所述参考查询标识符为根据所述参考推理图像的图像标识信息以及参考图像推理模型的版本号生成;
若根据所述查询标识符未查询到与所述待推理图像匹配的目标推理结果,则从所述查询标识符中提取所述图像推理模型的版本号;
通过所述版本号对应的图像推理模型对所述待推理图像进行图像推理,得到目标推理结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述查询标识符从图像推理数据库中查询与所述待推理图像匹配的目标推理结果,包括:
若根据所述查询标识符查询到与所述待推理图像匹配的目标推理结果,则输出所述目标推理结果。
5.根据权利要求1所述的方法,其特征在于,所述在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,包括:
在接收到待推理图像的图像推理请求时,获取所述当前使用的图像推理模型对应的标识信息;
根据所述标识信息读取所述图像推理模型对应的查询标识符的配置信息,其中,所述配置信息为预先设置并通过热更新方式同步至所述图像推理模型中的;
根据所述配置信息从所述图像推理请求中获取待推理图像的图像标识信息以及获取所述当前使用的图像推理模型的版本号。
6.根据权利要求1所述的方法,其特征在于,所述在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号之前,包括:
获取参考推理图像;
通过参考图像推理模型对所述参考推理图像进行图像推理,得到参考推理结果;
将所述参考推理结果与所述参考推理结果对应的参考查询标识符关联存储,所述目标推理结果从所述参考推理结果中确定,其中,在所述查询标识符与所述参考查询标识符匹配时,从所述参考推理结果中确定所述查询标识符匹配的所述目标推理结果。
7.根据权利要求6所述的方法,其特征在于,所述通过参考图像推理模型对所述参考推理图像进行图像推理,得到参考推理结果,包括:
提取所述参考推理图像的特征信息,所述特征信息包括文字特征、声音特征以及图像特征中的至少一种;
根据所述特征信息,识别所述参考推理图像的场景;
根据所述参考推理图像的场景对所述参考推理图像进行图像推理,得到参考推理结果。
8.根据权利要求6所述的方法,其特征在于,所述将所述参考推理结果与所述参考推理结果对应的参考查询标识符关联存储,包括:
将所述参考推理结果上传至云存储中;
获取所述参考推理结果在云存储中的访问地址;
将所述访问地址与所述参考查询标识符关联存储。
9.根据权利要求8所述的方法,其特征在于,所述根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,包括:
根据所述查询标识符获取与所述待推理图像匹配的目标推理结果在云存储中的访问地址;
根据所述访问地址从云存储获取与所述待推理图像匹配目标推理结果。
10.根据权利要求8所述的方法,其特征在于,所述将所述参考推理结果上传至云存储中,包括:
获取所述参考推理结果的缓存值;
若所述缓存值大于或等于预设值,则将所述参考推理结果上传至云存储中。
11.根据权利要求10所述的方法,其特征在于,所述将所述参考推理结果与所述参考推理结果对应的参考查询标识符关联存储,还包括:
若所述缓存值小于预设值,则将所述参考推理结果与所述参考查询标识符关联存储。
12.一种图像推理装置,其特征在于,包括:
第一获取单元,用于在接收到待推理图像的图像推理请求时,基于所述图像推理请求获取所述待推理图像的图像标识信息以及获取当前使用的图像推理模型的版本号,所述图像推理模型用于根据所述待推理图像进行推荐;
生成单元,用于根据所述图像标识信息以及所述图像推理模型的版本号,生成所述待推理图像对应的查询标识符;
第二获取单元,用于根据所述查询标识符获取与所述待推理图像匹配的目标推理结果,所述目标推理结果用于确定与所述待推理图像匹配的推荐数据。
13.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至11任一项所述的字幕提取方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器加载,以执行权利要求1至11任一项所述的字幕提取方法。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11任一项所述的字幕提取方法。
CN202210928107.7A 2022-08-03 2022-08-03 一种图像推理方法、装置、电子设备、介质及程序产品 Pending CN117575701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210928107.7A CN117575701A (zh) 2022-08-03 2022-08-03 一种图像推理方法、装置、电子设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210928107.7A CN117575701A (zh) 2022-08-03 2022-08-03 一种图像推理方法、装置、电子设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN117575701A true CN117575701A (zh) 2024-02-20

Family

ID=89888664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210928107.7A Pending CN117575701A (zh) 2022-08-03 2022-08-03 一种图像推理方法、装置、电子设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN117575701A (zh)

Similar Documents

Publication Publication Date Title
CN108012162B (zh) 内容推荐方法及装置
US10924800B2 (en) Computerized system and method for automatically detecting and rendering highlights from streaming videos
US20230012732A1 (en) Video data processing method and apparatus, device, and medium
JP6986527B2 (ja) ビデオを処理する方法及び装置
CN108829764B (zh) 推荐信息获取方法、装置、系统、服务器及存储介质
US9123061B2 (en) System and method for personalized dynamic web content based on photographic data
US10469912B2 (en) Visual hash tags via trending recognition activities, systems and methods
CN110139162B (zh) 媒体内容的共享方法和装置、存储介质、电子装置
CN104202718A (zh) 一种向用户提供信息的方法与装置
JP6736145B2 (ja) 拡張現実に基づく画像認識方法および装置
CN112052387B (zh) 一种内容推荐方法、装置和计算机可读存储介质
JP7397094B2 (ja) リソース構成方法、リソース構成装置、コンピューター機器、及びコンピュータープログラム
CN110245069B (zh) 页面版本的测试方法和装置、页面的展示方法和装置
CN110413867B (zh) 用于内容推荐的方法及系统
CN112818224B (zh) 信息推荐方法、装置、电子设备及可读存储介质
CN111432282A (zh) 一种视频推荐方法及装置
CN115659008A (zh) 大数据信息反馈的信息推送系统、方法、电子设备及介质
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
CN112287799A (zh) 基于人工智能的视频处理方法、装置及电子设备
US11962817B2 (en) Machine learning techniques for advanced frequency management
CN117575701A (zh) 一种图像推理方法、装置、电子设备、介质及程序产品
CN114491093A (zh) 多媒体资源推荐、对象表征网络的生成方法及装置
CN115935049A (zh) 基于人工智能的推荐处理方法、装置及电子设备
CN113688334A (zh) 一种内容展示方法、装置和计算机可读存储介质
CN114564653A (zh) 信息推荐方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination