CN114190078A - 一种移动人工神经网络设备 - Google Patents

一种移动人工神经网络设备 Download PDF

Info

Publication number
CN114190078A
CN114190078A CN202080008497.5A CN202080008497A CN114190078A CN 114190078 A CN114190078 A CN 114190078A CN 202080008497 A CN202080008497 A CN 202080008497A CN 114190078 A CN114190078 A CN 114190078A
Authority
CN
China
Prior art keywords
neural network
artificial neural
product
network device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008497.5A
Other languages
English (en)
Inventor
金錄元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tipu Aikesi Co ltd
Original Assignee
Tipu Aikesi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tipu Aikesi Co ltd filed Critical Tipu Aikesi Co ltd
Publication of CN114190078A publication Critical patent/CN114190078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了根据本发明的实施方案的便携式人工神经网络设备。该便携式人工神经网络设备包括：相机，其被配置为以第一帧率输出产品的视频；AI识别模型，其被配置成通过接收产品的视频来识别产品信息；人工神经网络处理器，其被配置成以第二帧率驱动AI识别模型；和显示模块，其被配置成以第一帧率显示产品的视频，而以第二帧率显示产品信息。

Description

一种移动人工神经网络设备
技术领域
本公开涉及一种便携式人工神经网络设备，并且更具体地，涉及一种能够向用户提供使用AI识别模型识别的产品信息的便携式人工神经网络设备。
背景技术
在传统的一般在线产品购买系统的操作中，首先，消费者通过安装在终端中的因特网访问在线商城服务器以购买产品。然后，商场服务器通过互联网将包含各种商品信息的首页信息发送给对应的终端，终端将对应的信息显示在显示模块上。此时，在终端用户搜索显示模块上显示的商城服务器的主页时，检查由商城服务器提供的关于产品的各种文字信息或图片信息。如果有想要的产品，用户可以选择该产品并购买。商城服务器通过电子支付方法接收支付，并将已付费的产品线下交付。
然而，在传统的在线产品购买系统中，为了购买消费者想要的产品，繁琐且不方便，因为为了购买消费者想要的产品，需要在线访问互联网后通过产品搜索找到消费者想要的产品，并且掌握关于产品的信息。另外，与在线上时相比，当线下有想要的产品时，存在的问题是搜索产品的价格和信息比较麻烦。
发明内容
技术问题
本公开的发明人已经对能够使用人工神经网络在离线购物期间快速识别关于销售产品的信息的便携式终端进行了研究和开发。
首先，本公开的发明人试图通过将由便携式终端拍摄的视频实时发送到存储在互联网服务器中的AI识别模型并且将通过互联网服务器的AI识别模型识别的产品信息发送回到便携式终端而在便携式终端中实现增强现实。
但是，在这种方法中，由于高清视频必须实时发送到互联网服务器，所以发送的数据量明显大于照片信息的量，存储在互联网服务器中的AI识别模型必须顺序处理许多未指定的识别请求。对此，发明人已经认识到，用户实时独占服务器的AI识别模型实际上是困难的，并且响应速度可能显著延迟，具体取决于连接到服务器的用户数量。
因此，本公开的发明人已经认识到有必要在便携式终端中执行人工神经网络操作。
因此，本公开要解决的问题是提供一种便携式人工神经网络设备，在便携式人工神经网络设备中配备有相机，该设备是能够进行人工神经网络操作的便携式终端，其在使用相机实时拍摄产品的同时使用AI识别模型实时识别产品信息，并且通过能够在显示模块上同时实时显示识别的产品信息和产品视频的增强现实来实现。
在另一方面，本公开的发明人也认识到，在利用便携式人工神经网络设备中学习并存储的AI识别模型识别新产品时，对产品的识别率(％)可能会下降。也就是说，没有学习过新产品的AI识别模型可能会将其识别作为已经被学习过的类似产品，但可能无法识别出新产品。因此，本公开的发明人也认识到，当新产品发布时，为了提高每个产品的识别率(％)，需要重新训练AI识别模型。因此，本公开的发明人对一种能够更新AI识别模型的便携式人工神经网络设备进行了研究，以提高新发布产品的识别率(％)。然而，本公开的发明人也认识到，为了识别新发布的产品，便携式人工神经网络设备中存储的AI识别模型自行学习并不容易。更具体地说，人们认识到这可能需要数小时或数天学习AI识别模型，对于用户而言，很难直接生成新的学习数据来学习新发布的产品，并且认识到学习需要相当大的功耗和计算量。
因此，本公开要解决的另一个问题是提供一种便携式人工神经网络设备，其能够通过将便携式人工神经网络设备中存储的AI识别模型更新为新学习的AI识别模型而提高对新推出产品的识别率(％)，并最大限度地减少便携式人工神经网络设备的自学习。
同时，本公开的发明人认识到，可以通过用于学习AI识别模型的训练集的产品图像和产品的信息标签来确定AI识别模型能够识别的产品的数量。此外，人们认识到以下事实：制造或销售产品的大数据运营商具有创建与其业务领域相关的产品的训练集的优势。
因此，本公开要解决的另一个问题是提供一种便携式人工神经网络设备，其能够通过存储学习识别不同产品的多个不同AI识别模型来识别各种产品。
此外，本公开的发明人还认识到，当便携式人工神经网络的AI识别模型进行学习以识别产品的唯一信息(例如产品的形状、颜色、商标、产品名称、制造商和条形码)时，可以提高在便携式人工神经网络设备的AI识别模型中的产品识别率(％)。
因此，本公开要解决的另一个问题是提供一种便携式人工神经网络设备，其能够通过提供已经进行学习以识别产品的唯一信息的AI识别模型来提高产品的识别率(％)。
本公开的发明人已经认识到可以实时更新产品的唯一信息中的特定信息。例如，产品的销售价格、线上和线下销售商的信息、产品的库存信息等都可能实时发生变化。换句话说，人们认识到使用AI识别模型学习实时变化的产品的附加信息是低效的。
也就是说，由于上述关于产品的附加信息对于用户在购买产品时非常重要，因此认识到需要关于产品的附加信息。
此外，认识到将特定产品信息分类为附加产品信息并通过服务器单独获取是有效的。
因此，本公开要解决的另一个问题是提供一种便携式人工神经网络设备，其能够接收可以通过将在AI识别模型中识别出的产品信息发送给服务器而实时更新的附加产品信息。此外，另一个任务是提供一种便携式人工神经网络设备，其能够通过利用由AI识别模型识别的产品信息和从服务器搜索到的产品附加信息，辅助合理的线上或线下购买。
另一方面，本公开的发明人认识到需要一种AI识别模型，其能够将产品识别率(％)的降低最小化，同时减少计算AI识别模型的人工神经网络处理器的计算量或功耗，以提高性能，例如减少便携式人工神经网络设备的发热并且延长电池运行时间。
因此，本公开要解决的另一个问题是提供一种包括AI识别模型的便携式人工神经网络设备，该AI识别模型能够将产品识别率(％)的降低最小化，同时减少人工神经网络处理器的计算量或功耗。
因此，本公开要解决的另一个问题是提供一种便携式人工神经网络设备，其包括能够有效计算量化AI识别模型的处理器和用于便携式人工神经网络设备的稳定增强现实实现的量化AI识别模型。
本公开的问题不限于上述问题，并且本领域技术人员通过以下描述将清楚地理解未提及的其他问题。
技术方案
为了解决上述问题，提供了根据本发明的实施方案的便携式人工神经网络设备。该便携式人工神经网络设备包括：相机，其被配置为以第一帧率输出产品的视频；人工智能(AI)识别模型，其被配置成通过接收产品的视频来识别产品信息；人工神经网络处理器，其被配置成以第二帧率驱动AI识别模型；和显示模块，其被配置成以第一帧率显示产品的视频，而以第二帧率显示产品信息。
根据本发明的另一特征，所述第一帧率与所述第二帧率相同。
根据本发明的另一特征，所述第一帧率比所述第二帧率相对较快。
根据本发明的另一特征，其还包括电池，所述相机或人工神经网络处理器被配置为当所述电池的剩余电量低于第一阈值时降低所述第一帧率。
根据本发明的另一特征，所述第一帧率被配置为考虑所述便携式人工神经网络设备的功耗而选择性地进行调整。
根据本发明的另一特征，所述人工神经网络处理器被配置为包括能够执行AI识别模型的人工神经网络运算的运算结构。
根据本发明的另一特征，产品信息叠加在产品的视频上以在显示模块中显示增强现实。
根据本发明的另一特征，其还包括通信模块，其中所述通信模块被配置为将关于所述产品的信息发送到服务器，并且接收关于从所述服务器搜索到的所述产品的附加信息。
根据本发明的另一特征，其被配置为通过所述通信模块仅将所述产品视频中的产品信息和所述产品信息发送到所述服务器。
根据本发明的另一特征，其被配置为向所述服务器发送产品信息并且从所述服务器接收附加产品信息。
根据本发明的另一特征，所述AI识别模型识别从各种角度输入的产品的视频的连续图像，并且当识别出所述产品信息中的不同产品的信息时，可以组合不同产品的信息。
根据本发明的另一特征，积累的信息为产品的形状、颜色、商标、产品名称、制造商以及条形码中的至少一种。
根据本发明的另一特征，所述AI识别模型被配置为识别产品的视频，并按照高识别率的顺序输出至少一种产品的信息。
根据本发明的另一特征，所述AI识别模型被配置为通过所述服务器用经过新学习的AI识别模型进行更新。
根据本发明的另一特征，所述AI识别模型被配置为还包括多个互不相同的AI识别模型。
根据本发明的另一特征，所述AI识别模型被配置为识别GS1标准产品识别码或条形码，并且通过所述服务器接收与所述GS1标准产品识别码或条形码对应的所述产品的附加信息。
根据本发明的另一特征，关于所述产品的所述附加信息包括与关于所述产品的信息对应的关于所述最低价格的信息。
根据本发明的另一特征，所述AI识别模型的特征在于其为轻量化AI识别模型。
根据本发明的另一特征，所述轻量化AI识别模型的特征在于应用了剪枝、量化、模型压缩、知识蒸馏、再训练中的至少一种或多种轻量化技术以及基于AI的轻量化模型优化技术。
根据本发明的另一特征，所述处理器是作为NPU的人工神经网络处理器。
本发明的效果
根据本公开的多种实施方案的便携式人工神经网络设备，具有提供一种实现增强现实的便携式人工神经网络设备的效果，其中相机配备在便携式人工神经网络设备中，其是一种在用相机实时拍摄产品的同时能够进行人工神经网络运算的便携式终端。利用AI识别模型实时识别产品信息，并且显示模块将识别出的产品信息和产品视频同时显示。
根据本公开的多种实施方案的便携式人工神经网络设备，由于人工神经网络处理器驱动存储在便携式人工神经网络设备中的AI识别模型，所以存储在互联网服务器中的AI识别模型可以不使用，因此具有实时执行产品识别的效果。
根据本公开的多种实施方案的便携式人工神经网络设备，通过使用从外部新学习的AI识别模型更新便携式人工神经网络设备中存储的AI识别模型，具有提高对新推出产品的识别率(％)的效果，并且具有去除或最小化存储在便携式人工神经网络设备中的AI识别模型的自学习的效果。
根据本公开的多种实施方案的便携式人工神经网络设备，可以接收产品的附加信息，该产品的附加信息可以通过将关于在AI识别模型中识别的产品的信息发送到服务器来实时更新。
根据本公开的多种实施方案的便携式人工神经网络设备具有通过使用产品信息和附加产品信息来进一步提高产品识别率(％)的效果。
根据本公开的多种实施方案的便携式人工神经网络设备具有通过使用关于由AI识别模型识别的产品的信息和关于从服务器搜索到的产品的附加信息来辅助合理的在线或离线购买的效果。
提供了一种根据本公开的多种实施方案的便携式人工神经网络设备，一种能够在减少人工神经网络处理器的计算量或功耗的同时使产品识别率(％)的降低最小化的AI识别模型，因此具有在使产品识别率的降低最小化的同时减少计算量和功耗的效果。
根据本发明的效果不受以上示例的内容的限制，本说明书中包括更多的各种效果。
附图说明
图1为根据本公开的实施方案示出一种被配置成识别产品信息的便携式人工神经网络设备的示意图。
图2是根据本公开的实施方案用于说明便携式人工神经网络设备中包括的AI识别模型的示意性示意图。
图3A和3B是用于解释用于获得图2所示的学习AI识别模型的机器学习方法的几个示例的图。
图4A是示出训练集的示例的图。
图4B是用于说明识别码和条形码的示意图。
图5是根据本公开的第五实施方案示出一种提供关于产品的附加信息的方法的图。
图6是根据图5所示的本公开的第五实施方案的用于提供关于产品的附加信息的方法的流程图。
图7A为示出在量化AI识别模型与非量化AI识别模型之间的识别率差异的示意图。
图7B是示出根据量化的处理器150的每单位操作的能量消耗的示意图。
图7C是示出根据处理器150的类型的操作效率和操作速度的示意图。
具体实施方式
本公开的优点和特征以及实现它们的方法参考在下文参考附图详细描述的多种实施方案变得显而易见。然而，本公开不限于以下描述的实施方案并且可以以彼此不同的各种形式来实现，且提供本公开的实施方案仅仅是为了向本公开内容所属技术领域的普通技术人员完整地告知本发明的范围，并且本发明仅由权利要求书的范围限定。
为了便于描述，可以参考附图将本公开的具体实施方式描述为其中可以实践本公开的特定实施方案的示例。虽然本公开的各个实施方案的元件彼此不同，但是在特定实施方案中描述的制造方法、操作方法、算法、形状、过程、结构和特征可以与其他实施方案组合或包括在其他实施方案中。此外，在不脱离本公开的精神和范围的情况下，可以改变每个公开的实施方案内的各个部件的位置或布置。本公开的各个实施方案的每个特征可以部分或全部组合或者相互组合，本领域技术人员可以充分理解，技术上可以有各种联锁和驱动，实施方案中的每一种可以彼此独立实施或可以在相关关系中一起实施。
由于在用于描述本公开的实施方案的附图中公开的形状、尺寸、比率、角度、数量等是示例性的，所以本公开参考附图，但不限于此。在整个说明书中，相同的附图标记指代相同的元件。此外，在描述本公开时，如果确定相关已知技术的详细描述可能不必要地模糊本公开的主题，则可以省略详细描述。在本说明书中提到的“包括”、“具有”和“由……组成”的情况下，除非使用“仅”，否则可以添加其他元件。在以单数表达构成元件的情况下，除非另有特别说明，否则包括包含复数的情况。在以单数表示元件的情况下，除非另有特别说明，否则包括包含复数的情况。在解释元件时，即使没有明确的描述，它也被解释为包括公差范围。在描述位置关系的情况下，例如，当两个元件的位置关系被描述为“上”、“在上部上”、“下”、“旁边”或“相邻”时，除非使用“紧接”或“直接”，否则一个或多个其他元件可能位于这两个元件之间。当元件或层被称为“在”另一元件或层“上”时，它包括另一层或另一元件直接在所述元件或层上或另一层或另一元件插入其间的所有情况。
图1为根据本公开的实施方案示出被配置为识别产品信息的便携式人工神经网络设备的示意图。图2为说明根据本公开的实施方案的在便携式人工神经网络设备中包括的AI识别模型的示意性示意图。
根据本公开的第一实施方案的便携式人工神经网络设备100可以通过通信网络500与服务器900通信。然而，其不限于此。
通信网络500可以使用众所周知的通信网络，例如Wi-Fi、LTE、3G、4G和5G，并且本公开的实施方案不限于通信网络500。
服务器900，可以指能够与便携式人工神经网络设备100进行通信的各种服务器，可以是可以搜索各种产品信息的商城服务器、训练AI识别模型的服务器、分发学习特定产品的AI识别模型的服务器等，本公开的实施方案不限于服务器900。
在下文中，将详细描述根据本公开的第一实施方案的便携式人工神经网络设备100。
根据本公开的第一实施方案的便携式人工神经网络设备100可以被配置为包括显示模块120、人工神经网络处理器150和相机180。
根据本公开的第一实施方案的便携式人工神经网络设备100在图1中被显示为智能电话，但不限于此，并且也可以实现为诸如智能手机、平板电脑、个人电脑、笔记本等电子设备。
便携式人工神经网络设备100的人工神经网络处理器150被配置为驱动AI识别模型155。AI识别模型155是指已经被机器学习以识别特定产品的人工神经网络。AI识别模型155将在后面参考图2到图4描述。
人工神经网络处理器150是指被配置为高效地执行AI识别模型155所需的人工神经网络运算的处理器。例如，能够进行人工神经网络运算的人工神经网络处理器150可以成为CPU(中央处理单元)、GPU(图形处理单元)、MCU(微控制器单元)、DSP(数字信号处理器)和NPU(神经处理单元)中的一者。此外，人工神经网络处理器150可以是包括CPU、GPU、MCU、DSP和NPU中的至少两者的片上系统(SoC)。然而，不限于此，人工神经网络处理器150可以被配置为与作为主处理器的应用处理器(AP)分离的单独芯片，并且包括在便携式人工神经网络设备100中。在这种情况下，配置有单独的专用芯片的人工神经网络处理器150可以实现为NPU。人工神经网络处理器150被配置为具有针对人工神经网络运算优化的运算结构。即，它被配置为具有类似于人工神经网络的结构。因此，当执行诸如图像处理和对象识别之类的任务时，人工神经网络处理器150具有提供与传统处理器相比相对优越的性能的效果。另外，在功耗方面，由于相对低的功耗特性优于传统处理器的功耗特性，所以当便携式人工神经网络设备100识别产品信息时，具有以下效果：便携式人工神经网络设备100可以以较低的功耗快速进行计算处理。
根据本公开的第一实施方案的便携式人工神经网络设备100的人工神经网络处理器150可以以特定帧率/秒识别产品。便携式人工神经网络设备100的相机180可以被配置为以例如60Hz、30Hz、15Hz(或每秒60、30、15帧)的速率记录产品。此外，人工神经网络处理器150可以被配置为以特定帧率输出产品识别结果。
便携式人工神经网络设备100以第一帧率从相机180向AI识别模型155提供产品的视频。人工神经网络处理器150以第一帧率驱动AI识别模型155以从视频中识别产品信息。显示模块120可以实时显示由相机180拍摄的产品的视频，并将由AI识别模型155识别的产品的信息显示在产品的视频上以实现增强现实。
换言之，便携式人工神经网络设备100可以显示在显示模块120上捕获的视频并且同时将视频输入到AI识别模型155。人工神经网络处理器150可以驱动AI识别模型155以获取有关所识别的产品的信息。产品信息可以与图像一起显示在显示模块120上。
根据本公开的第一实施方案的便携式人工神经网络设备100具有通过在用相机180实时拍摄产品的同时在显示模块120上实时显示产品信息来实现增强现实的效果。因此，用户利用在便携式人工神经网络设备100的显示模块120中实现的增强现实，因此，在本公开的实施方案中，具有直观地获得产品信息的效果。
便携式人工神经网络设备100以第一帧率将产品的视频从相机180提供给AI识别模型155，并且人工神经网络处理器150可以通过以第二帧率驱动AI识别模型155而从视频中识别产品信息。此时，显示模块120可以以第一帧率显示由相机180拍摄的产品的视频，并且可以以第二帧频显示关于由AI识别模型155识别的产品的信息。因此，可以通过在以第一帧率显示的产品的视频上显示以第二帧率显示的产品信息来实现增强现实。在这种情况下，第二帧率可以等于或低于第一帧率。
如果根据本公开的第一实施方案的便携式人工神经网络设备100的相机180驱动第一帧率，并且人工神经网络处理器150以第二帧率驱动AI识别模型155，则与人工神经网络处理器150以第一帧率操作时相比，具有降低人工神经网络处理器150的功耗的效果。
根据本公开第一实施方案的便携式人工神经网络设备100可以被配置为进一步包括电池130。由于便携式人工神经网络设备100由电池130的电力操作，因此用户可以在移动时使用便携式人工神经网络设备100容易地搜索关于要搜索的产品的信息。人工神经网络处理器150的操作速度，即帧率，可以根据具体情况配置为可变的。
例如，当电池130的剩余电量低于阈值时，便携式人工神经网络设备100的相机180或人工神经网络处理器150可以降低第一帧率。阈值可以被设置为例如电池130的剩余量的30％，并且不限于此。例如，当第一帧率为60Hz时，在一定条件下可能会降低到30Hz。
根据上述配置，即使便携式人工神经网络设备100的电池130的剩余电量低于特定水平或阈值，相机180或人工神经网络处理器150的操作速度高于阈值，当阈值较高时，通过将相机180或人工神经网络处理器150的操作速度设置为相对低于阈值，具有以下效果：可以降低便携式人工神经网络设备100的功耗并且延长操作时间。
如果AI识别模型不是在便携式人工神经网络设备中实现，而是在服务器中实现，那么与视频信息相比，发送的数据量不可避免地会迅速增加，因为高清视频必须实时发送到互联网服务器。AI识别模型必须依次处理大量未指定的识别请求。然而，实际上用户很难实时独占位于服务器上的AI识别模型，并且可能会出现响应速度延迟或连接断开的问题，具体取决于连接到服务器的用户数量。进一步解释为，当AI识别模型位于服务器上时，从照片等图像文件中实现产品识别很容易，但在实践中，实现能够从相机拍摄的视频实时显示产品的识别结果的增强现实存在技术难点。然而，当驱动AI识别模型150的人工神经网络处理器150被包括在便携式人工神经网络设备100中时，具有改善上述问题的效果。
如果AI识别模型在接收实时捕获的视频的同时实时识别产品信息，则与通过照片识别产品信息相比，可以提高识别率(％)。
例如，当用户使用便携式人工神经网络设备100识别护手霜的产品信息时，用户在拍照时应以特定角度拍摄产品，并考虑焦点和构图。此时，如果照片的焦点和构图不好，则AI识别模型155的识别率(％)可能会降低。
然而，在实时拍摄产品的情况下，用户可以在旋转产品的同时拍摄，并且可以通过从各个角度提供产品的视频来提高AI识别模型155的识别率(％)。另外，如果产品正面和背面存在不同的产品信息，例如正面有产品名称，背面有条形码，则在拍照时，必须至少提供两张照片到AI识别模型，并且两张照片彼此相关，必须被便携式人工神经网络设备100识别出。然而，如果用户在操作AI识别模型155的同时围绕产品旋转产品的同时实时拍摄，则AI识别模型155可以判断图像的连续性，并且正反面的信息也依次提供，从而可以提高识别率(％)。
也就是说，AI识别模型155可以确定从各种角度输入的产品的视频的图像的连续性，并且可以在产品信息中积累不同产品的信息。例如，积累的产品信息可以是产品的形状、颜色、商标、产品名称、制造商和条形码中的至少一种。因此，AI识别模型155识别从各个角度输入的产品视频的连续图像，并从产品信息中识别出不同产品的信息，此时可以组合不同产品的信息。
根据本公开的第一实施方案的便携式人工神经网络设备100可以通过修改来实践。
例如，便携式人工神经网络设备100可以配置有：相机180，其用于以第一帧率拍摄用户想要搜索的产品；人工神经网络处理器150，其被配置为以第一帧率接收相机180的视频并通过AI识别模型155以第一帧率识别视频的产品信息；通信模块170，其被配置为将识别结果发送至服务器900和从服务器900接收与发送的识别结果相对应的搜索结果；以及显示模块120，其显示增强现实，其中搜索结果显示在由相机180实时拍摄的视频上。
为了进一步解释，便携式人工神经网络设备100被配置为通过经由能够与通信模块170通信的通信网络500连接到服务器900来发送和接收数据。例如，便携式人工神经网络设备100通过通信网络500将通过由人工神经网络处理器150驱动的AI识别模型155识别的产品信息发送至服务器900。另外，便携式人工神经网络设备100被配置为接收服务器900的搜索结果。
为了进一步解释，便携式人工神经网络设备100可以将从AI识别模型155输出的产品信息处理成查询形式的信息，并将其发送到服务器900。查询意味着请求在服务器900的数据库中搜索的信息。即，便携式人工神经网络设备100不将拍摄到的视频发送至服务器900，而仅将从AI识别模型155输出的产品信息发送至服务器900。通信模块170被配置为使得便携式人工神经网络设备100通过通信网络500将输出的产品信息发送到服务器900。人工神经网络处理器150可以接收从AI识别模型155输出的产品信息并将其提供给通信模块170，并且可以通过被设置有通信模块170的通信网络500将关于产品的信息发送到服务器900。
根据上述配置，便携式人工神经网络设备100的修改实施方案具有以下效果：通过在使用相机180实时拍摄产品的同时在服务器900实时搜索产品名称和价格来实现增强现实，并将搜索到的产品信息显示在显示模块120上。因此，具有以下效果：用户可以方便快捷地搜索到关于所拍摄的产品的信息，并且进行合理的线上或线下购买。
根据本公开的第一实施方案的便携式人工神经网络设备100的一些元件可以被排除，并且可以进行各种修改。例如，本公开的第一实施方案可以修改为不需要便携性的固定人工神经网络设备，在这种情况下，可以排除电池元件。例如，本公开的第一实施方案可以通过不包括相机的便携式人工神经网络设备来实现，在这种情况下，可以将单独的相机与便携式人工神经网络设备连接。
参考图2，AI识别模型155指的是在单独的机器学习设备中训练以执行对象识别功能的模型15。AI识别模型155可以嵌入人工神经网络处理器150中或存储在便携式人工神经网络设备100的单独存储器中。当操作AI识别模型155时，它可以以加载到人工神经网络处理器150中的方式实现。
如图2所示，用预先准备的大数据进行机器学习的模型15可以存储在便携式人工神经网络设备100中。此外，学习模型15可以被称为AI识别模型155。
训练模型15的生成可以在单独的机器学习设备中执行。在机器学习设备中，学习模型15可以通过在预先准备的人工神经网络上对大数据300进行重复机器学习来获得。将参考图3A和3B更详细地描述。
图3A至3B是用于解释用于获得图2所示的学习AI识别模型的机器学习方法的几个示例的图。
参考图3A，如图2所示的学习模型15可以经由通过向如右图所示的全连接人工神经网络重复提供大数据300对人工神经网络进行机器学习来获得。
作为人工神经网络的一个示例，人工神经网络可以包括：输入节点(x0,x1,…,xi,…,xf-1,xf)，图像输入到其中；输出节点(y0,y1,…,yi,…,ym-1,ym)，其输出输入图像的产品信息；隐藏节点，其位于输入节点(x0,x1,…,xi,…,xf-1,xf)和输出节点(y0,y1,…,yi,…,ym-1,ym)之间；以及多个关联参数(权重)，其位于输出节点(y0,y1,…,yi,…,ym-1,ym)和输入节点(x0,x1,…,xi,…,xf-1,xf)之间。
输入节点(x0,x1,…,xi,…,xf-1,xf)是配置输入层并从外部接收图像的节点，输出节点(y0,y1,…,yi,...,ym-1,ym)是配置输出层并且向外部输出预定的输出数据的节点。位于输入节点(x0,x1,…,xi,…,xf-1,xf)和输出节点(y0,y1,…,yi,…,ym-1,ym)之间的隐藏节点是配置隐藏层，并且将输入节点(x0,x1,…,xi,…,xf-1,xf)的输出数据连接到输出节点(y0,y1,…,yi,...,ym-1,ym)的输入数据的节点。三个隐藏层在图3A中示出，但根据一实施方案，神经网络电路可以通过在输入层和输出层之间设置多个隐藏层(例如两个或四个或更多个隐藏层)来实现。
输入层的每个输入节点(x0,x1,…,xi,…,xf-1,xf)可以与输出层的每个输出节点(y0,y1,…,yi,…,ym-1,ym)完全连接或不完全连接，如图3A所示。
输入节点(x0,x1,…,xi,…,xf-1,xf)用于接收来自外部的输入数据并将其传送到隐藏节点。然后，在隐藏节点中进行实际计算。隐藏节点输出数据后，输出节点(y0,y1,…,yi,…,ym-1,ym)接收输出数据，并且再次进行计算。在隐藏节点和输出节点(y0,y1,…,yi,…,ym-1,ym)中进行计算时，通过将输入到自身节点的输入数据乘以预定的关联参数(或权重，w)来进行计算。在将各个节点中执行的结果计算值求和(加权求和)之后，通过将求和值传递通过预设的激活函数来输出预定的输出数据。
隐藏节点和输出节点(y0,y1,…,yi,…,ym-1,ym)具有激活函数。激活函数可以是阶跃函数、符号函数、线性函数、logistic sigmoid函数、超切线函数、ReLU函数和softmax函数中的一种。激活函数可以由本领域技术人员根据人工神经网络的学习方法适当确定。
人工神经网络通过重复更新或修改相关参数(w)到适当的值来执行机器学习。通过人工神经网络进行机器学习的代表性方法包括监督学习和无监督学习。
监督学习是一种学习方法，其中更新相关参数(w)，使得当有预期由任意神经网络根据输入数据计算的明确定义的目标输出数据时，通过将输入数据放入神经网络得到的输出数据接近目标数据。图3A的多层结构可以基于监督学习生成。
参考图3B，说明人工神经网络的另一示例，有卷积神经网络(CNN)，其是一种深度神经网络(DNN)。卷积神经网络(CNN)是一种具有一个或多个卷积层、池化层和全连接层的神经网络。卷积神经网络(CNN)具有适用于训练二维数据的结构，并且可以通过反向传播算法进行训练。它是广泛应用于图像中的对象分类和对象检测等各个应用领域的DNN的代表性模型中的一种。
同时，根据本公开的多种实施方案的AI识别模型可以是DNN，但不限于此。例如，AI识别模型可以基于VGG网络，R，DenseNet，具有编码器-解码器结构的FCN(全卷积网络)，SegNet，DeconvNet，DeepLAB V3+，DNN(深度神经网络)，例如U-net，SqueezeNet，Alexnet，ResNet18，MobileNet-v2，GoogLeNet，Resnet-v2，Resnet50，Resnet101，和Inception-v3中的至少一种选定算法。此外，AI识别模型可以是基于上述算法中至少两种算法模型的集成模型。
这里，应当注意，本公开的人工神经网络不限于图3A和3B中所示的人工神经网络，并且可以通过在各种其他人工神经网络中机器学习大数据300来获得学习模型15。
再次参考图2，预先准备的大数据300包括用于上述人工神经网络的机器学习的训练集。如图4所示，大数据300的训练集包括多个产品图像和对应产品图像的产品信息标签。对应于多个商品图像(图像1，...，图像10，...，图像100，...，图像1000)中的每一个的产品信息标签(标签1，...，标签10，...，标签100，...，标签1000)是提前准备的。
对应于每个产品图像的产品信息标签被配置为包括关于产品形状、颜色、商标、产品名称、制造商和条形码中的至少一者的信息。
所准备的训练集可以提供给图3A或3B所示的人工神经网络以获取图2所示的学习模型15。将获取的学习模型15安装在如图2所示的便携式人工神经网络设备100上以成为AI识别模型155。
当根据本公开的第一实施方案，通过安装在便携式人工神经网络设备100上的AI识别模型155捕获特定产品的图像时，AI识别模型155输出与输入图像对应的产品信息。这里，产品信息可以输出与训练集的产品信息标签对应的产品形状、颜色、商标、产品名称、制造商和条形码中的至少一种。具体而言，当接收到图像时，AI识别模型155可以输出预先分类的多个产品的每个信息的概率值(％)，即识别率(％)，可针对输出产品的每个信息推断出具有概率值(％)中的最大概率值(％)的产品信息作为与输入图像对应的产品信息，并且可以输出推断出的产品的信息。此时，可以将产品信息配置为输出识别率(％)。
然而，AI识别模型155可以输出关于具有最高概率值的产品的信息，但不限于此，并且可以按照最高概率值的顺序输出关于多个产品的信息。在这种情况下，显示模块120具有提供同时显示拍摄产品的视频和至少一个产品的信息的增强现实的效果。此外，当显示关于至少一种产品的信息时，用户可以选择期望的产品信息。
根据本公开的第一实施方案的便携式人工神经网络设备100具有在实时拍摄产品的同时实现增强现实的优点，但不限于此，并且其可以修改以使用由相机180拍摄的照片实现相同的功能。
根据本公开的第二实施方案的便携式人工神经网络设备100被配置为更新AI识别模型155。
根据本公开的第二实施方案的便携式人工神经网络设备100与根据本公开第一实施方案的便携式人工神经网络设备100基本相似，不同之处在于可以更新AI识别模型155，因此，仅仅为了描述方便，下文中可以省略多余的描述。
如上所述，当学习完成并且存储在便携式人工神经网络设备100中的AI识别模型155识别出全新产品时，该产品的识别率(％)可能会降低。即，尚未学习新产品的AI识别模型155可能被识别为已经被学习的类似产品，但可能无法准确识别新产品。然而，便携式人工神经网络设备100中存储的AI识别模型155本身并不容易学习以识别全新产品。
因此，根据本公开的第二实施方案的便携式人工神经网络设备100被配置为更新预先存储的AI识别模型155。
例如，服务器900可以更新安装在便携式人工神经网络设备100上的AI识别模型155。具体而言，服务器900可以改变AI识别模型155的人工神经网络的参数(权重w)和/或偏差(b)。通过更新AI识别模型155，可以提高产品信息的识别率。便携式人工神经网络设备100的人工神经网络处理器150从服务器900接收用于更新AI识别模型155的更新信息，因此，可以基于接收到的更新信息来更新AI识别模型155，但不限于此，便携式人工神经网络设备100可以通过诸如CD、DVD、USB或HDD之类的存储设备来更新AI识别模型155。
例如，当识别产品时，便携式人工神经网络设备100可以允许用户在输出识别率(％)低于阈值时输入AI识别模型155的更新。
例如，用户可以向服务器900提供关于产品识别结果的反馈。替代地，服务器900可将新AI识别模型155的更新消息发送至便携式人工神经网络设备100。替代地，便携式人工神经网络设备100可通过服务器900或自动更新功能更新新学习的AI识别模型155，但不限于此，并且可以通过各种方法指示更新AI识别模型155。
例如，可以有至少一个服务器900。为了进一步解释，特定产品的制造商可以周期性地或根据需要更新训练集，其中更新关于新发布的产品的信息。例如，销售体育用品的大数据300的管理者可以更新训练集，其中关于新发布的体育用品的产品信息被更新。此外，新训练的AI识别模型可以在单独的机器学习设备中使用更新的训练集进行训练。
因此，根据本公开的第二实施方案的便携式人工神经网络设备100使用新学习的AI识别模型155，从而提高新发布产品的识别率(％)。
根据本公开的第二实施方案的便携式人工神经网络设备100，具有可以根据需要容易地将先前存储的AI识别模型155改变为通过学习来自外部的新发布的产品而获得的AI识别模型的效果。
根据本公开的第三实施方案的便携式人工神经网络设备100的AI识别模型155被配置为存储至少一个AI识别模型155。
根据本公开的第三实施方案的便携式人工神经网络设备100与根据本公开的第一实施方案的便携式人工神经网络设备100基本相似，不同的是可以存储多个AI识别模型155，因此，仅仅为了描述方便，下文中多余的描述会被省略。
根据本公开的第三实施方案的便携式人工神经网络设备100被配置为包括多个AI识别模型155。例如，AI识别模型155可以包括第一AI识别模型和第二AI识别模型。这里，第一AI识别模型可以是进行学习以识别运动产品制造商的运动产品的识别模型。第二AI识别模型可以是进行学习以识别化妆品制造商的护肤品的识别模型。然而，其不限于此。
多个AI识别模型155可以具有特定的层次结构。例如，一个产品类别可以分为大类、中类和小类。
例如，第一AI识别模型可以是经过训练以识别产品类别的模型，该类别是大类别。第一AI识别模型可以是经过训练以识别例如饮料、玩具、化妆品和厨具等产品类别的模型，并且可以例如识别约1000个产品类别。
例如，第二AI识别模型可以是经过训练以识别与大类的特定产品的类别相关的产品的模型。例如，当第一AI识别模型识别大类别的产品类别中的饮料时，便携式人工神经网络设备100可以调用已经学习识别饮料的第二AI识别模型。在这种情况下，第二AI识别模型可以是经过训练以识别大约1000种饮料的产品名称的模型。
例如，第三AI识别模型可以是小类识别模型，该模型已经被训练以识别在中类中识别的产品的附加信息。例如，可以识别所识别出的饮料的容器是玻璃瓶、罐头还是PET瓶，并且可以识别出容器的容量。
因此，便携式人工神经网络设备100调用与由第一AI识别模型识别的大类产品类别对应的第二AI识别模型，因此，第二AI识别模型可以更详细地识别产品。
另外，如果需要，便携式人工神经网络设备100调用与由第二AI识别模型识别的中类别产品类别相对应的第三AI识别模型，并且因此第三AI识别模型可以更详细地识别产品。
根据本公开的第三实施方案的便携式人工神经网络设备100可以被配置为能够根据需要通过服务器900搜索和下载特定的AI识别模型155。
例如，便携式人工神经网络设备100可以用相机180拍摄特定商店的品牌、标志或QR码，通过服务器900搜索已经学习相应产品的AI识别模型155，并将搜索到的AI识别模型155存储在便携式人工神经网络设备100中。
因此，根据本公开的第三实施方案，便携式人工神经网络设备100具有通过使用在AI识别模型155中的具有高识别率(％)的特定AI识别模型以高识别率(％)提供产品信息的效果。
因此，由于根据本公开的第三实施方案的便携式人工神经网络设备100被配置为包括多个不同的AI识别模型，因此具有提高特定产品的识别率(％)的效果。
因此，由于根据本公开的第三实施方案的便携式人工神经网络设备100被配置为包括多个分层AI识别模型，因此具有在提高特定产品的识别率(％)的同时显著提高可识别产品的数量的效果。
因此，根据本公开的第三实施方案的便携式人工神经网络设备100可以用AI识别模型155搜索用户期望的产品或品牌，可以搜索已经学习与识别结果相关的更详细的产品信息的附加AI识别模型，并且可以将搜索到的AI识别模型存储在便携式人工神经网络设备100中。
根据本公开的第四实施方案的便携式人工神经网络设备100的特征在于，AI识别模型155被配置为存储能够识别条形码或QR码的AI识别模型155。
根据本公开的第四实施方案的便携式人工神经网络设备100的特征在于，其被配置为包括AI识别模型155，该AI识别模型155进行学习以识别产品的唯一识别信息，例如，识别码或条形码。这里，AI识别模型155可以被配置为利用一个AI识别模型同时识别产品信息和条形码，或者可以被配置为进一步包括进行学习以仅识别单独的条形码的AI识别模型。
AI识别模型155的特征在于进行训练以识别GS1标准产品识别码或条形码。
GS1标准产品识别码是用于产品识别的代码，是指遵循行业、国家或国际公认体系的产品识别码。GS1标准产品识别码是由GS1管理和分发的国际标准产品识别码，其由全球110个国家的网络组成。
图4B是用于说明识别码和条形码的示意图。参考图4B，条形码是指识别码以条形表示，以便机器能够读取。其被配置为通过改变条的厚度以及条与条之间的间距宽度，显示识别码，并且机器可以通过光学方式读取。
单一产品的GS1标准识别码的特征在于全球唯一。也就是说，同一产品的GS1标准识别码在全球范围内是相同的。由于只有一个GS1标准识别码被分配给一个产品，所以具有不同的产品不会被分配相同的GS1识别码的优点。
便携式人工神经网络设备100可识别条形码或识别码并且将识别的产品信息发送到服务器900以从服务器900接收附加产品信息。进一步说明，识别码不包含诸如产品名称和价格之类的信息。因此，可以从包括GS1标准识别码数据库的服务器900获得识别出的GS1标准识别码信息。
根据上述配置，根据本公开的第四实施方案的便携式人工神经网络设备100识别条形码并将与条形码对应的搜索结果接收到服务器900，因此，具有进一步提高附加产品信息和产品识别率(％)的效果。另外，即使AI识别模型155不关于特定产品进行学习，也可以通过识别GS1标准识别码或条形码从服务器900的数据库中搜索产品信息，因此，具有进一步提高产品的识别率(％)的效果。
根据本公开的第五实施方案的便携式人工神经网络设备100在显示模块120上显示由AI识别模型155识别的产品信息160，将产品信息160发送到服务器900，通过服务器900搜索附加产品信息165，并向用户提供产品信息160和附加产品信息165。因此，便携式人工神经网络设备100可以提供关于产品的可以帮助购物的附加信息。
图5是图示根据本公开的第五实施方案的提供关于产品的附加信息的方法的图，图6是根据图5所示的本公开的第五实施方案的用于提供关于产品的附加信息的方法的流程图。
参考图5至图6，由用户执行601安装在便携式人工神经网络设备100中的链接相机的app。这里，链接相机的应用程序(app)可以是基本上安装在便携式人工神经网络设备100中的相机app，或者可以是能够在驱动和控制便携式人工神经网络设备100的相机180的同时与服务器900通信的购物app。
当在便携式人工神经网络设备100中执行601链接相机的app时，由相机180拍摄的视频被显示在显示模块120上，并且AI识别模型155可以接收该视频。当用户移动便携式人工神经网络设备100以拍摄特定产品，例如护手霜时，护手霜视频可以显示在显示模块120上。此时，AI识别模型155尝试使用收到的护手霜视频来识别该产品。
接下来，便携式人工神经网络设备100的相机180向AI识别模型155提供视频，并且AI识别模型155从视频中识别602产品信息160。例如，产品信息160可以包括输入的视频中包含的产品的形状、颜色、商标、产品名称、制造商和条形码中的至少一种。然而，不限于此，能够识别产品的各种信息可以包括在产品信息160中。
便携式人工神经网络设备100可以同时显示产品的视频并识别产品信息160，并且产品视频和产品信息160可以实时地显示在显示模块120上以实现增强现实。
便携式人工神经网络设备100可以向用户显示产品信息160，并且可以在显示模块120上显示搜索窗口190，所述搜索窗口询问是否通过服务器900搜索附加产品信息，例如最低价格信息、销售站点等。这里，当用户触摸搜索窗口190时，即，当通过搜索窗口190接收到用户的输入时，便携式人工神经网络设备100将所识别的产品信息160发送到服务器900。
便携式人工神经网络设备100的人工神经网络处理器150可以控制通过通信模块170向服务器900发送603由AI识别模型155识别的产品信息160。这里，人工神经网络处理器150可以将AI识别模型155识别的产品信息处理成查询形式的信息，并将其发送到服务器900。
另一方面，当用户移动便携式人工神经网络设备100以使得产品不出现于视频中时，产品信息160可以不被发送到服务器900。
接收产品信息160的服务器900输出604对应于接收到的产品信息160的附加信息。这里，关于产品的附加信息可以包括对应于关于产品的信息的最低价格信息。
服务器900通过通信网络500向便携式人工神经网络设备100发送605附加信息，包括最低价格信息。这里，服务器900可以将附加信息处理成查询形式的信息，并将其发送到便携式人工神经网络设备100。
便携式人工神经网络设备100通过通信模块170从服务器900接收包括最低价格信息的附加产品信息。便携式人工神经网络设备100的人工神经网络处理器150将所接收的附加信息输出607到便携式人工神经网络设备100的显示模块120。这里，人工神经网络处理器150可以在显示模块120上显示包括所接收的最低价格信息的产品附加信息，如图6以预设的方式所示。
当用户从便携式人工神经网络设备100的显示模块120上显示的最低价格信息中选择用户期望的商城时，人工神经网络处理器150可以将所选的商城的相应产品的购买页面显示在显示模块120上。
同时，服务器900预先存储650关于产品的附加信息，其包括关于每个产品的最低价格的信息。此外，服务器900可以实时或周期性地更新630并存储附加产品信息，包括每个产品的最低价格信息。
此外，服务器900可以将与从便携式人工神经网络设备100之外的便携式人工神经网络设备100'、100”提供的产品信息相对应的附加产品信息发送到另一个便携式人工神经网络设备100'、100”。
以这种方式，根据本公开的第五实施方案的提供产品附加信息的方法，用户可以通过基于人工神经网络的AI识别模型155在短时间内并且几乎实时地获得他们想要的产品的品牌和来源，而无需通过触摸屏搜索。这是因为通过相机180从安装在便携式人工神经网络设备100中的链接相机的app获取包含产品的视频，并且获得存在于视频中的使用AI识别模型155获得的产品信息。
另外，根据本公开的第五实施方案的使用人工神经网络提供产品附加信息的方法，不需要将拍摄的产品图像发送到服务器900，并且由服务器900拍摄的产品图像不需要进行分析，因此，可以向用户实时提供附加信息，包括关于最低价格、销售位置和库存的信息。这是因为通过AI识别模型155获得的产品信息(例如，转换为查询形式的产品信息)通过通信网络500被发送到服务器900，并且在服务器900处，与所传送的产品信息对应的包括最低价格信息的附加信息被搜索并通过通信网络500提供给便携式人工神经网络设备100。
根据本公开的多种实施方案，便携式人工神经网络设备100被配置为能够以能够实现增强现实的速度处理从相机180输入的视频产品。
一般而言，服务器900在处理器的处理速度、诸如存储器之类的硬件资源和处理性能方面相对优于便携式人工神经网络设备100。即，由于便携式人工神经网络设备100在服务器900级别执行操作，所以存在上述技术困难。
根据本公开的实施方案的便携式人工神经网络设备100的特征在于，其被配置为考虑到诸如有限提供的电池和算术处理设备的计算能力以及存储设备的存储容量计算的硬件特性来提供优化的AI识别模型155和处理器150。
也就是说，根据本公开的实施方案的AI识别模型155和/或处理器150可以被配置为在便携式设备而不是高性能服务器或超级计算机中操作。
具体而言，可以轻量化AI识别模型155。通过轻量化过程，例如剪枝、量化、深度学习模型参数压缩、例如知识蒸馏之类的迁移学习技术、基于再训练的轻量化技术、基于AI的轻量化模型优化技术等，可以增强便携设备的可用性。然而，本公开不限于上述轻量化技术，并且可以使用其他轻量化技术。
因此，当人工神经网络模型轻量化时，实现应用服务所需的硬件资源、计算能力要求、功耗、发热量等成比例减少，计算性能提高，从而最大限度地提高便携式设备的效用。
要进一步解释的是，剪枝是一种将AI识别模型155转换为更小、更高效的方式的技术，作为深度学习的轻量化技术之一。具体而言，剪枝将人工神经网络的相关参数(w)或权重值中接近零的小值替换为零。人工神经网络运算包含庞大的矩阵乘法，由于权重值变为0使得乘法的结果为0，而不管乘法中其他操作数的值如何，在这种情况下，可以得到结果值，而不用实际执行乘法运算。例如，在诸如VGG16之类的深度学习模型中，即使将90％以上的权重值替换为0，识别率(％)也几乎没有降低，因此总的推理计算中可以有90％左右可在没有实际硬件计算的情况下执行。因此，剪枝后的AI识别模型155具有提供适用于便携式人工神经网络设备100的优点的效果。
要进一步解释的是，量化是一种减少数据位数的技术。具体地，可以量化输入到AI识别模型155的输入层、隐藏层和输出层的节点的数据。即，可以将数据的位数减少到特定的位数。例如，32位浮点的输入数据可以量化为16位、8位、4位或2位数据。另外，AI识别模型155的关联参数w(即权重值)可以被量化。即，可以将与输入到每个节点的数据一起计算的关联参数的位数减少到特定位数。例如，可以将32位浮点关联参数量化为16位、8位、4位或2位。即，便携式人工神经网络设备100可以被配置为利用量化节点和关联参数执行低位数学运算。量化的AI识别模型155提供了适合应用于便携式人工神经网络设备100的优点。
要进一步解释的是，深度学习参数压缩或模型压缩使用现有数据压缩技术压缩AI识别模型155或激活图或特征图数据的关联参数(w)的值。因此，当存储在存储设备中时，可以减小压缩成相对较小尺寸的数据的AI识别模型155的尺寸。特别是由于人工神经网络中使用的数据量很大，通过这种压缩可以将数据吞吐量降低几倍到几十倍，压缩的AI识别模型155可以减少内存访问所需的功耗和延迟时间。因此，压缩的AI识别模型155可以提供适合应用于便携式人工神经网络设备100的优点。
要进一步解释的是，知识蒸馏是一种迁移学习技术，其是一种通过使用过去已经很好学习的大型人工神经网络模型来学习待用于实践的小型人工神经网络模型的技术。
例如，过去已经很好学习的大型人工神经网络可能是由大约100个输入层、隐藏层和输出层组成的人工神经网络，而小型人工神经网络是由大约50层的输入层、隐藏层和输出层组成的人工神经网络。
即，层数比较多、权重值比较大的大型人工神经网络模型可以实现比较高水平的人工智能。然而，在例如便携式设备之类的硬件资源受限的环境中，很难轻松实现高水平的人工智能。在这种情况下，如果使用先前已经学习的高人工智能的大型人工神经网络的数据和信息来训练轻量化的人工神经网络，则可以在轻量化的人工神经网络中实现高水平的人工智能。因此，可以提高具有有限硬件资源的便携式人工神经网络设备100的性能。
要进一步解释的是，当应用各种降低模型权重的技术，例如量化、剪枝和参数压缩时，AI识别模型155的识别率(％)可能会降低。在这种情况下，可以重新训练AI识别模型155。在这种情况下，AI识别模型155的识别率(％)可以再次提高。因此，可以提高具有有限硬件资源的便携式人工神经网络设备100的性能。
要进一步解释的是，基于AI的轻量化模型优化技术(例如神经架构搜索或AutoML)具有代表性。
基于AI的轻量化模型优化技术，使得通过经由诸如强化学习之类的人工智能或诸如量化、剪枝、模型压缩(即数据压缩)之类的轻量化方法搜索人工神经网络模型结构的过程来创建最优轻量化人工神经网络模型的方法，不是基于常规算法。该技术是人工智能通过自身的权重减小过程来达到最佳权重减小结果的一种方式。然而，本公开不限于上述轻量化技术，并且可以使用其他轻量化技术。
图7A为示出了量化的AI识别模型与未量化的AI识别模型的识别率(％)之间的差异示意图。
参考图7A，实现为学习产品识别的Resnet18深度学习模型的AI识别模型155从32位浮点乘法量化至4位整数乘法。
识别率(％)范围从69.758％到69.674％，实际识别率的降低可以忽略不计。换句话说，由于量化，识别率(％)没有实质性降低。量化前Resnet18模型的权重值大小为44.6MB，但量化后模型的权重值大小缩小到5.5MB。因此，随着量化AI识别模型155的尺寸减小，具有减少内存存储需求量、内存访问所需的延迟时间、内存访问期间的功耗、NPU中的硬件资源需求量、NPU的功耗等的效果，并且具有提高NPU的人工神经网络计算性能的效果。
图7B是说明根据量化的处理器150的每单位操作的能量消耗的示意图。
参照图7B，处理器150的每单位操作的能量消耗可以被描述为加法运算和乘法运算。“8b Add”表示8位整数加法运算。“16b Add”表示16位整数加法运算。“32b Add”表示32位整数加法运算。“16b FP Add”表示16位浮点加法运算。“32b FP Add”表示32位浮点加法运算。“4b Mult”表示4位整数乘法运算。“8b Mult”表示8位整数乘法运算。“16b Mult”表示16位整数乘法运算。“32b Mult”表示32位整数乘法运算。“16b FP Mult”表示16位浮点乘法运算。“32b FP Mult”表示32位浮点乘法运算。能量单位是皮焦耳(pj)。
当处理器150执行32位浮点乘法和4位整数乘法时，每单位运算的能量消耗大约相差37倍。也就是说，当量化的AI识别模型155由便携式人工神经网络设备100的处理器150计算时，可以显著降低功耗。
图7C是图示根据处理器150的类型的操作效率和操作速度的示意图。
CPU是通用的中央处理单元，并且是能够处理各种操作并有效地执行多任务处理的处理器。但是，CPU具有能够高速执行串行处理操作的优点。GPU是图形处理设备，具有为并行处理而优化的结构，并且是能够高效执行图像处理的处理器。NPU是一种人工神经网络处理设备，并且具有针对量化数据的矩阵计算进行优化的结构。
参考图7C，处理器150是人工神经网络处理器，其是NPU。由于NPU针对AI识别模型155的计算进行了优化并且可以量化，因此计算速度可以比能够进行人工神经网络计算的CPU快25倍，计算效率可以优异50倍或甚至更优。
也就是说，当在实现了NPU的处理器150中驱动量化的AI识别模型155时，可以提高本公开的实施方案的性能。然而，本公开不限于此。
根据上述配置，便携式人工神经网络设备100可以以低功率和低存储器带宽以高帧率识别产品。
根据本公开的实施方案的便携式人工神经网络设备可以包括被配置为以第一帧率输出产品的视频的相机、被配置为通过接收产品的视频来识别产品信息的AI识别模型、被配置为以第二帧率驱动AI识别模型的人工神经网络处理器以及被配置为以第一帧率显示产品的视频并以第二帧率显示产品信息的显示模块。
第一帧率和第二帧率可以相同。第一帧率可以比第二帧率相对快。
一种便携式人工神经网络设备还包括电池，相机或人工神经网络处理器可以被配置为当电池的剩余电量低于第一阈值时降低第一帧率。
第一帧率可以被配置为考虑到便携式人工神经网络设备的功耗而进行选择性调整。
人工神经网络处理器可以被配置为包括能够执行AI识别模型的人工神经网络运算的运算结构。
便携式人工神经网络设备可以通过将产品信息叠加在产品的视频上来在显示模块中显示增强现实。
便携式人工神经网络设备还包括通信模块，该通信模块可以被配置为将关于产品的信息发送到服务器，并且接收关于从服务器搜索到的产品附加信息。
便携式人工神经网络设备可以通过通信模块仅将产品视频中的产品信息和产品信息发送到服务器。
便携式人工神经网络设备可以将产品信息发送到服务器并且从服务器接收附加的产品信息。
AI识别模型识别从各个角度输入的产品视频的连续图像，当识别出产品信息中不同产品的信息时，可以组合不同产品的信息。
AI识别模型积累的信息可以是产品形状、颜色、商标、产品名称、制造商和条形码中的至少一种。
AI识别模型可以识别产品的视频，并按照高识别率的顺序输出至少一种产品的信息。
AI识别模型可以通过服务器用新学习到的AI识别模型进行更新。
AI识别模型还可以包括多个互不相同的AI识别模型。
AI识别模型可识别GS1标准产品识别码或条形码，并可通过服务器接收与GS1标准产品识别码或条形码对应的产品的附加信息。
关于产品的附加信息可以包括关于与关于产品的信息相对应的最低价格的信息。
轻量化AI识别模型可以与剪枝、量化、模型压缩、知识蒸馏、再训练和基于AI的轻量化模型优化技术中的至少一种或多种轻量化技术一起应用。
处理器可以是作为NPU的人工神经网络处理器。
在上述实施方案中描述的特征、结构、效果等包括在本公开的一个实施方案中，并且不一定仅限于一个实施方案。此外，每个实施方案中示出的特征、结构、效果等可以由实施方案所属技术领域的普通技术人员针对其他实施方案进行组合或修改。因此，与这种组合和修改相关的内容应被解释为包括在本公开的范围内。
另外，虽然以上已经参照实施方案进行了描述，但这仅仅是示例，并不限制本发明，本公开所属技术领域的普通技术人员应理解，在不脱离本实施方案的基本特征的情况下，上面未示出的各种修改和修改是可能的。例如，可以对实施方案中具体示出的每个元件进行修改和实施。因此，与这些修改和应用相关的差异应被解释为包括在所附权利要求所限定的本公开的范围内。
[代码说明]
便携式人工神经网络设备
150：处理器
155：AI识别模型
500：网络
900：服务器
[支持本发明的国家研发项目]
[任务标识号]1711117015
[任务编号]2020-0-01297-001
[部委名称]科技信息通信部
[项目管理(专业)机构名称]信息通信规划与评价机构
[研究项目名称]下一代智能半导体技术开发(设计)(R&D)
[研究名称]面向超低功耗边缘的深度学习处理器技术的高级数据重用开发
[贡献率]1/1
[项目执行机构名称]Deep X
[研究时间段]2020.04.01～2020.12.31

Claims (20)

1.一种便携式人工神经网络设备，其包括：
相机，其被配置为以第一帧率输出产品的视频；
AI识别模型，其被配置成通过接收所述产品的视频来识别产品信息；
人工神经网络处理器，其被配置成以第二帧率驱动所述AI识别模型；和
显示模块，其被配置成以所述第一帧率显示所述产品的视频，而以所述第二帧率显示所述产品信息。
2.根据权利要求1所述的便携式人工神经网络设备，其中，所述第一帧率与所述第二帧率相同。
3.根据权利要求1所述的便携式人工神经网络设备，其中所述第一帧率比所述第二帧率相对较快。
4.根据权利要求1所述的便携式人工神经网络设备，其还包括电池，其中，所述相机或所述人工神经网络处理器可被配置为当所述电池的剩余电量低于第一阈值时降低所述第一帧率。
5.根据权利要求1所述的便携式人工神经网络设备，其中所述第一帧率被配置为考虑所述便携式人工神经网络设备的功耗而选择性地进行调整。
6.根据权利要求1所述的便携式人工神经网络设备，其中，所述人工神经网络处理器被配置为包括能够执行所述AI识别模型的人工神经网络运算的运算结构。
7.根据权利要求1所述的便携式人工神经网络设备，其中，所述产品信息叠加在所述产品的视频上以在所述显示模块中显示增强现实。
8.根据权利要求1所述的便携式人工神经网络设备，其还包括通信模块，其中所述通信模块被配置为将关于所述产品的信息发送到服务器，并且接收关于从所述服务器搜索到的所述产品的附加信息。
9.根据权利要求8所述的便携式人工神经网络设备，其中，所述便携式人工神经网络设备被配置为通过所述通信模块仅将所述产品的视频中的产品信息和所述产品信息发送到所述服务器。
10.根据权利要求8所述的便携式人工神经网络设备，其中，所述便携式人工神经网络设备被配置为向所述服务器发送产品信息并且从所述服务器接收附加产品信息。
11.根据权利要求1所述的便携式人工神经网络设备，
其中，所述AI识别模型被配置成识别从各种角度输入的所述产品的视频的连续图像，并且
当识别出所述产品信息中的不同产品的信息时，组合不同产品的信息。
12.根据权利要求11所述的便携式人工神经网络设备，其中，由所述AI识别模型积累的信息能够为产品形状、颜色、商标、产品名称、制造商以及条形码中的至少一种。
13.根据权利要求1所述的便携式人工神经网络设备，其中，所述AI识别模型被配置为识别所述产品的视频，并按照高识别率的顺序输出至少一种产品的信息。
14.根据权利要求8所述的便携式人工神经网络设备，其中，所述AI识别模型被配置为通过所述服务器用新学习的AI识别模型进行更新。
15.根据权利要求8所述的便携式人工神经网络设备，其中，所述AI识别模型被配置为还包括多个互不相同的AI识别模型。
16.根据权利要求8所述的便携式人工神经网络设备，其中，所述AI识别模型被配置为识别GS1标准产品识别码或条形码，并且被配置为通过所述服务器接收与所述GS1标准产品识别码或所述条形码对应的所述产品的附加信息。
17.根据权利要求8所述的便携式人工神经网络设备，其中，关于所述产品的所述附加信息被配置为包括与关于所述产品的信息对应的关于所述最低价格的信息。
18.根据权利要求1所述的便携式人工神经网络设备，其中，所述AI识别模型为轻量化AI识别模型。
19.根据权利要求18所述的便携式人工神经网络设备，其中，所述轻量化AI识别模型应用了剪枝、量化、模型压缩、知识蒸馏和再训练中的至少一种或多种轻量化技术。
20.根据权利要求1所述的便携式人工神经网络设备，其中所述处理器是作为NPU的人工神经网络处理器。
CN202080008497.5A 2020-06-25 2020-12-07 一种移动人工神经网络设备 Pending CN114190078A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0077480 2020-06-25
KR1020200077480A KR20220000039A (ko) 2020-06-25 2020-06-25 휴대인공신경망장치
PCT/KR2020/017775 WO2021261686A1 (ko) 2020-06-25 2020-12-07 휴대인공신경망장치

Publications (1)

Publication Number Publication Date
CN114190078A true CN114190078A (zh) 2022-03-15

Family

ID=79281413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008497.5A Pending CN114190078A (zh) 2020-06-25 2020-12-07 一种移动人工神经网络设备

Country Status (4)

Country Link
US (1) US20230232080A1 (zh)
KR (1) KR20220000039A (zh)
CN (1) CN114190078A (zh)
WO (1) WO2021261686A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4057183A1 (en) * 2021-03-10 2022-09-14 Aptiv Technologies Limited Methods and systems for object detection
KR102543706B1 (ko) * 2022-02-10 2023-06-15 주식회사 노타 신경망 모델을 제공하는 방법 및 이를 수행하는 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
KR101852598B1 (ko) * 2016-11-18 2018-04-26 설영석 사물 인식을 이용한 상품 검색 시스템
JP6318289B1 (ja) * 2017-05-31 2018-04-25 株式会社ソフトシーデーシー 関連情報表示システム
US11804112B2 (en) * 2017-07-12 2023-10-31 Mastercard Asia/Pacific Pte. Ltd. Mobile device platform for automated visual retail product recognition
KR102586170B1 (ko) * 2017-08-01 2023-10-10 삼성전자주식회사 전자 장치 및 이의 검색 결과 제공 방법
US11263540B2 (en) * 2018-05-07 2022-03-01 Apple Inc. Model selection interface
KR102186077B1 (ko) * 2018-10-18 2020-12-04 카페24 주식회사 온라인 쇼핑몰 기반의 상품을 검색하는 방법, 상기 방법을 사용하는 장치 및 시스템
US11816585B2 (en) * 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
KR102124568B1 (ko) * 2019-11-06 2020-06-18 주식회사 라스컴 인공지능과 빅데이터를 이용한 이미지 인식 기반 무인 결제 시스템

Also Published As

Publication number Publication date
WO2021261686A1 (ko) 2021-12-30
KR20220000039A (ko) 2022-01-03
US20230232080A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US11709908B2 (en) Economic optimization for product search relevancy
Sun et al. What and how: generalized lifelong spectral clustering via dual memory
Pan et al. Study on convolutional neural network and its application in data mining and sales forecasting for E-commerce
Hu et al. Exploring smart phone improvements based on a hybrid MCDM model
CN112487278A (zh) 推荐模型的训练方法、预测选择概率的方法及装置
WO2023221928A1 (zh) 一种推荐方法、训练方法以及装置
CN107644036B (zh) 一种数据对象推送的方法、装置及系统
Chen et al. Global-connected network with generalized ReLU activation
EP4242955A1 (en) User profile-based object recommendation method and device
Ong et al. Deep learning based-recommendation system: an overview on models, datasets, evaluation metrics, and future trends
CN114190078A (zh) 一种移动人工神经网络设备
Liu et al. An edge computing visual system for vegetable categorization
Lakshmanan et al. Sales demand forecasting using LSTM network
CN113298546A (zh) 销量预测方法及装置、商品处理方法及装置
Wu et al. Developing a recommendation benchmark for mlperf training and inference
US12079856B2 (en) Method for providing shopping information for individual products and electronic device performing same
Bhoir et al. Transfer learning with deep neural networks for image classification in the e-commerce industry
KR102426803B1 (ko) 인공지능 기반 제품의 해외 판매 페이지 자동 업로드 방법, 장치 및 시스템
CN116467594A (zh) 一种推荐模型的训练方法及相关装置
CN115564532A (zh) 序列推荐模型的训练方法及装置
CN117709497A (zh) 对象信息预测方法、装置、计算机设备和存储介质
Li Commodity demand forecasting based on multimodal data and recurrent neural networks for E-commerce platforms
CN114092188A (zh) 一种轻量级b2b电商平台的推荐系统算法
Sinha et al. Human activity recognition from uav videos using an optimized hybrid deep learning model
CN117408786B (zh) 一种基于门控机制的物品推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination