CN112052784A - 物品的搜索方法、装置、设备及计算机可读存储介质 - Google Patents

物品的搜索方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112052784A
CN112052784A CN202010910753.1A CN202010910753A CN112052784A CN 112052784 A CN112052784 A CN 112052784A CN 202010910753 A CN202010910753 A CN 202010910753A CN 112052784 A CN112052784 A CN 112052784A
Authority
CN
China
Prior art keywords
item
target
image
information
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010910753.1A
Other languages
English (en)
Other versions
CN112052784B (zh
Inventor
唐钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010910753.1A priority Critical patent/CN112052784B/zh
Publication of CN112052784A publication Critical patent/CN112052784A/zh
Application granted granted Critical
Publication of CN112052784B publication Critical patent/CN112052784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种物品的搜索方法、装置、设备及计算机可读存储介质,涉及图像处理技术;方法包括:响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;其中,所述位置指示信息用于指示所述目标物品的存放位置;响应于针对所述目标图像的确定指令,存储所述目标图像;响应于物品搜索指令,接收输入的物品搜索信息;当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息。通过本申请,能够输出对应目标物品的位置指示信息,以提示用户目标物品的存放位置。

Description

物品的搜索方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种物品的搜索方法、装置、设备及计算机可读存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉(Computer Vision,CV)指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
在日常生活中,用户一般会有各种物品,如钱包、钥匙等,用户可能由于各种原因找不到这些物品,比如,被某些物件遮挡住,或者用户忘记将物品放在哪里了,导致用户在想使用这些物品时,无法及时找到相应的物品。
发明内容
本申请实施例提供一种物品的搜索方法、装置、设备及计算机可读存储介质,能够输出对应目标物品的位置指示信息,以提示用户目标物品的存放位置。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种物品的搜索方法,包括:
响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;
其中,所述位置指示信息用于指示所述目标物品的存放位置;
响应于针对所述目标图像的确定指令,存储所述目标图像;
响应于物品搜索指令,接收输入的物品搜索信息;
当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息。
本申请实施例提供一种物品的搜索装置,包括:
采集模块,用于响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;
其中,所述位置指示信息用于指示所述目标物品的存放位置;
存储模块,用于响应于针对所述目标图像的确定指令,存储所述目标图像;
接收模块,用于响应于物品搜索指令,接收输入的物品搜索信息;
输出模块,用于当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息。
上述方案中,所述存储模块,还用于对所述目标图像进行图像识别,得到所述目标图像中目标物品的物品类别;
将所述目标物品的物品类别与所述目标图像关联存储;
将所述物品搜索信息与所述目标物品的物品类别进行匹配;
当所述物品搜索信息与所述目标物品的物品类别相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
上述方案中,所述接收模块,还用于当所述物品搜索信息为文本时,在图形界面中呈现文本输入框;
基于所述文本输入框,接收输入的物品搜索信息。
上述方案中,所述接收模块,还用于当所述物品搜索信息为语音时,在图形界面中呈现语音功能项;
响应于针对所述语音功能项的触发操作,接收输入的语音。
上述方案中,所述接收模块,还用于当所述物品搜索信息为语音时,对所述物品搜索信息进行语音识别,得到与所述物品搜索信息对应的文本内容;
将所述文本内容与所述目标物品进行匹配,并当所述文本内容与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
上述方案中,所述接收模块,还用于当所述物品搜索信息为图像时,呈现图像采集功能项及提示信息;
其中,所述提示信息,用于引导进行参考图像采集,所述参考图像包含与所述目标物品相关联的参考物品;
响应于针对所述图像采集功能项的触发操作,基于所述提示信息,采集包含所述参考物品的参考图像,并将所述参考图像作为所述物品搜索信息。
上述方案中,所述接收模块,还用于当所述物品搜索信息为参考图像时,对所述参考图像进行图像识别,得到所述参考图像中包含的参考物品;
将所述参考图像中包含的参考物品与所述目标物品进行匹配;
当所述匹配物品与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
上述方案中,所述接收模块,还用于所述当所述物品搜索信息为参考图像时,对所述参考图像进行图像识别,得到所述参考图像中包含的参考物品;
将所述参考图像中包含的参考物品与所述目标物品进行匹配;
当所述匹配物品与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
上述方案中,所述接收模块,还用于所述基于存储的所述目标图像输出对应所述目标物品的位置指示信息:
当所述物品搜索信息为参考图像时,提取存储的至少两张图像的第一图像特征、及所述参考图像的第二图像特征,所述至少两张图像中包括所述目标图像;
分别获取各所述图像的第一图像特征与所述第二图像特征之间的相似度;
基于获取的所述相似度,展示所述至少两张图像中,所述相似度达到第一相似度阈值的图像,以输出对应所述目标物品的位置指示信息。
上述方案中,所述输出模块,还用于在图形界面中呈现搜索更多功能项;
响应于针对所述搜索更多功能项的触发操作,基于获取的所述相似度,展示所述至少两张图像中,所述相似度达到第二相似度阈值的图像,以输出对应所述目标物品的位置指示信息;
其中,所述第二相似度阈值小于第一相似度阈值。
上述方案中,所述输出模块,还用于通过展示存储的所述目标图像,输出所述目标图像包含的所述目标物品的位置指示信息。
上述方案中,所述输出模块,还用于对存储的所述目标图像进行图像识别,以确定所述目标图像中处于所述目标物品周围的至少一个物品;
基于所述目标物品与所述至少一个物品之间的位置关系,生成关于目标物品的存放位置的描述信息;
通过语音播报所述描述信息的方式,输出对应所述目标物品的位置指示信息。
上述方案中,所述输出模块,还用于对存储的所述目标图像进行图像识别,以确定所述目标图像中处于所述目标物品周围的至少一个物品;
基于得到的所述至少一个物品及包含布局信息的全景图像,确定所述目标物品的存放位置;
通过展示所述全景图像,并在所述全景图像中区别显示所述目标物品的存放位置,输出对应所述目标物品的位置指示信息。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的物品的搜索方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的物品的搜索方法。
本申请实施例具有以下有益效果:
本申请通过响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;其中,所述位置指示信息用于指示所述目标物品的存放位置;响应于针对所述目标图像的确定指令,存储所述目标图像;响应于物品搜索指令,接收输入的物品搜索信息;当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息;由于在存放物品时,采集并存储包含目标,如此,能够基于存储的所述目标图像输出对应所述目标物品的位置指示信息,以提示用户目标物品的存放位置,使得用户能够及时找到所要使用的物品。
附图说明
图1是本申请实施例提供的物品的搜索系统100的架构示意图;
图2是本申请实施例提供的电子设备的结构示意图;
图3是本申请实施例提供的物品的搜索方法的流程示意图;
图4是本申请实施例提供的物品存储的界面示意图;
图5是本申请实施例提供的物品搜索信息输入的界面示意图;
图6是本申请实施例提供的物品搜索信息输入的界面示意图;
图7是本申请实施例提供的物品搜索信息输入的界面示意图;
图8是本申请实施例提供的物品搜索信息输入的界面示意图;
图9是本申请实施例提供的物品搜索信息输入的界面示意图;
图10是本申请实施例提供的图像的展示界面示意图;
图11是本申请实施例提供的搜索结果的界面示意图;
图12是本申请实施例提供的目标图像的展示示意图;
图13是本申请实施例提供的物品存储过程的流程示意图;
图14是本申请实施例提供的物品存储的界面示意图;
图15是本申请实施例提供的物品存储过程的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)客户端,终端中运行的用于提供各种服务的应用程序,例如视频客户端、电商客户端等。
2)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
参见图1,图1是本申请实施例提供的物品的搜索系统100的架构示意图,为实现支撑一个示例性应用,终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
在实际实施时,终端上设置有客户端,用于物品的搜索;用户将目标物品存放至合适的位置后,通过终端上的客户端触发物品的存储指令。
终端400,用于响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;响应于针对所述目标图像的确定指令,存储所述目标图像至服务器200;其中,所述位置指示信息用于指示所述目标物品的存放位置;
当用户需要使用目标物品时,可以通过客户端触发物品搜索指令;
终端400,用于响应于物品搜索指令,接收输入的物品搜索信息;将物品搜索信息发送给服务器;
服务器200,用于当物品搜索信息与目标物品相匹配时,将目标图像返回给终端;
终端400,用于基于目标图像输出对应目标物品的位置指示信息。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
下面说明本申请实施例提供的电子设备的示例性应用,本申请实施例提供的电子设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。
参见图2,图2是本申请实施例提供的电子设备的结构示意图,图2所示的电子设备包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。电子设备中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的物品的搜索装置可以采用软件方式实现,图2示出了存储在存储器450中的物品的搜索装置455,其可以是程序和插件等形式的软件,包括以下软件模块:采集模块4551、存储模块4552、接收模块4553和输出模块4554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的物品的搜索装置可以采用硬件方式实现,作为示例,本申请实施例提供的物品的搜索装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的物品的搜索方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(A SIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Progra mmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件。
将结合本申请实施例提供的终端的示例性应用和实施,说明本申请实施例提供的物品的搜索方法。
参见图3,图3是本申请实施例提供的物品的搜索方法的流程示意图,将结合图3示出的步骤进行说明。
步骤301:终端响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像。
其中,位置指示信息用于指示目标物品的存放位置。
在一些实施例中,终端上设置有客户端,如图像处理客户端、即使通信客户端、微博客户端、甚至一些游戏客户端等,用户可以通过客户端触发存储指令。
这里的存储指令可以通过存储物品的功能项触发,其中,存储物品的功能项可以为图标、按键等形式,针对存储物品的功能项的触发方式可以是点击、双击、长按、滑动中的至少一种;也可以通过识别用户的语音指令或肢体动作生成。这里不对存储指令的触发方式进行限定。
以通过功能项触发为例,当用户将目标物品存放至合适的位置后,执行针对存储物品的功能项的触发操作,以触发物品的存储指令;客户端接收存储指令后,唤起终端的相机功能,这里的终端上设置有图像传感器,如摄像头,终端通过图像传感器进行图像采集。
在一些实施中,在图像采集的过程中,终端可以根据采集到的图像输出相应的提示信息,以引导用户拍摄包含目标物品及相应的位置指示信息的目标图像。如,当用户拍摄到的图像中无法体现目标物品周围的环境时,可以提示用户调整拍摄的角度及距离。
在一些实施例中,目标图像的数量可以为多张,也即,可以拍摄多张目标图像,以更加准确的指示目标物品的存放位置,例如,终端可以提示用户从不同角度对目标物品及周围环境进行拍摄,以得到多张目标图像。
步骤302:响应于针对目标图像的确定指令,存储目标图像。
在实际实施时,在采集得到目标图像后,终端可以展示目标图像,用户可以根据展示的目标图像,判断该目标图像是否是所需的图像,若是,则触发针对目标图像的确定指令,以存储目标图像。
这里的针对目标图像的确定指令可以是由用户触发存储物品的功能项生成,用户触发存储物品的功能项的方式可以是点击、双击、长按、滑动中的至少一种;针对目标图像的确定指令也可以是自动生成,如在拍摄到目标图像后,终端对目标图像进行识别,在识别到该目标图像中包含目标物体及位置指示信息后自动生成;针对目标图像的确定指令还可以通过识别用户的语音指令或肢体动作生成。这里不对确定指令的触发方式进行限定。
例如,图4是本申请实施例提供的物品存储的界面示意图,参见图4,在图形界面中搜索物品的功能项401及存储物品的功能项402,当用户将目标物品存放至合适的位置后,点击存储物品的功能项402,唤起终端的相机功能,以对目标物品进行拍摄,得到目标图像;然后,终端展示拍摄得到的目标图像,以及相应的存储图片的功能项403;当用户点击存储图片的功能项,触发针对目标图像的确定指令,存储目标图像。
步骤303:响应于物品搜索指令,接收输入的物品搜索信息。
在实际实施时,当用户需要搜索目标物品时,可以触发搜索指令,并输入物品搜索信息,这里,物品搜索信息应该与用户所要搜索的目标物品相关联。
这里,物品搜索指令,可以搜索物品的功能项触发,其中,搜索物品的功能项可以为图标、按键等形式,针对搜索物品的功能项的触发方式可以是点击、双击、长按、滑动中的至少一种;也可以通过识别用户的语音指令或肢体动作生成。这里不对搜索指令的触发方式进行限定。
在实际实施时,物品搜索信息的形式可以为文本、语音、图像,这里也不对物品搜索信息的形式进行限定。
在一些实施例中,终端可以通过以下方式接收输入的物品搜索信息:当物品搜索信息为文本时,在图形界面中呈现文本输入框;基于文本输入框,接收输入的物品搜索信息。
在实际实施时,终端可以在图形界面中呈现文本输入框,以接收用户输入的文本,将用户输入的文本作为物品搜索信息。
例如,图5是本申请实施例提供的物品搜索信息输入的界面示意图,参见图5,在图形界面中搜索物品的功能项501及存储物品的功能项502,当用户点击搜索物品的功能项501后,跳转至物品搜索信息的输入界面,并在物品搜索信息的输入界面中呈现文本输入框503及确定按键504;用户可以在文本输入框中输入所要搜索的目标物品的名称,然后点击确定按键504,使终端接收用户输入的文本。
在一些实施例中,终端可以通过以下方式接收输入的物品搜索信息:当物品搜索信息为语音时,在图形界面中呈现语音功能项;响应于针对语音功能项的触发操作,接收输入的语音。
在实际实施时,终端可以在图形界面中呈现语音功能项,用户可以触发该语音功能项,然后说出与所要搜索的目标物品相关联的信息,终端会接收用户所说的内容,将用户说的内容作为物品搜索信息。
例如,图6是本申请实施例提供的物品搜索信息输入的界面示意图,参见图6,在图形界面中搜索物品的功能项601及存储物品的功能项602,当用户点击搜索物品的功能项601后,跳转至物品搜索信息的输入界面,并在物品搜索信息的输入界面中呈现语音功能项603;用户可以按住该语音功能项,并说出目标物品的名称;这里,在用户按住该语音功能项的过程中,终端会采集用户的语音,当用户松开该语音功能项,停止语音采集;在停止语音采集后,将采集到的语音作为物品搜索信息。
在一些实施例中,终端可以通过以下方式接收输入的物品搜索信息:当物品搜索信息为图像时,呈现图像采集功能项及提示信息;其中,提示信息,用于引导进行参考图像采集,参考图像包含与目标物品相关联的参考物品;响应于针对图像采集功能项的触发操作,基于提示信息,采集包含参考物品的参考图像,并将参考图像作为物品搜索信息。
这里,物品搜索信息还可以是图像,也即通过图像来搜索图像,其中,参考图像包含的参考物品应该与所要查找的目标物品相关联,如与目标物品属于同一类的物品,如目标物品为杯子,那么参考物品也为杯子;或者,还可以是与目标物品外观相似的物品。
在实际实施时,当用户触发图像采集功能项时,终端调用相机功能,进行图像采集,以拍摄得到包含参考物品的参考图像。
例如,图7是本申请实施例提供的物品搜索信息输入的界面示意图,参见图7,呈现提示信息“您可以拍摄类似物品进行搜索”,并呈现图像采集功能项701;当用户点击图像采集功能项701,调用相机功能进行图像采集,以拍摄得到包含参考物品的参考图像。
在一些实施例中,参考图像还可以是终端中已存储的图像,终端可以呈现图像选择功能项,当接收针对图像选择功能项的触发操作时,呈现终端中存储的多个图像,以使用户可以从呈现的图像中选择一个图像作为参考图像。
在实际应用中,可以同时呈现图像选择功能项和图像采集功能项,用户可以根据需要选择是通过拍摄得到参考图像,还是选择终端中已存储的图像,作为参考图像。
在一些实施例中,终端可以同时呈现文本输入框、语音功能项、图像采集功能项中至少两个,如此,用户可以根据需要选择物品搜索信息的输入方式。
例如,图8是本申请实施例提供的物品搜索信息输入的界面示意图,参见图8,同时在图形界面中呈现语音功能项801和文本输入框802,如此,用户可以根据需要选择输入文本或者语音,如当用户不方便输入语音时,就可以通过文本输入框输入文本,以使终端接收输入的物品搜索信息。
在一些实施例中,终端可以先呈现文本输入框、语音功能项、图像采集功能项中的一个或两个,当通过某种输入方式输入物品搜索信息后,未搜索到图像时,对呈现的功能项进行切换,以提示用户采用其他输入方式输入物品搜索信息。
例如,图9是本申请实施例提供的物品搜索信息输入的界面示意图,终端可以先在图形界面中呈现文本输入框901,当用户通过文本输入框输入文本后,将输入的文本作为物品搜索信息进行物品的搜索,若通过该搜索信息未搜索到目标物品,那么,呈现图像采集功能项902及相应的提示信息,以告知用户没有搜索到目标物品,引导用户通过图像采集功能项,输入图像形式的物品搜索信息。
步骤304:当物品搜索信息与目标物品相匹配时,基于存储的目标图像输出对应目标物品的位置指示信息。
在实际实施时,当物品搜索信息与目标物品相匹配时,可以从存储的多个图像中搜索得到目标图像,然后基于目标图像输入对应目标物品的位置指示信息,使用户能够获知到目标物品的位置。
在一些实施例中,终端可以通过以下方式对物品搜索信息和目标物品进行匹配:当物品搜索信息为语音时,对物品搜索信息进行语音识别,得到与物品搜索信息对应的文本内容;将文本内容与目标物品进行匹配,并当文本内容与目标物品相匹配时,确定物品搜索信息与目标物品相匹配。
在实际实施时,当物品搜索信息为语音信息时,需要先对物品搜索信息进行语音识别,得到物品搜索信息对应的文本内容;然后对该文本内容与目标物品进行匹配。这里,目标物品可以用目标物品的物品信息表示,如目标物品的名称、目标物品的类别、目标物品的形状等。例如,用户可以说出物品名称,然后将语音识别到的内容与目标物品的名称进行匹配。
在一些实施例中,终端可以通过以下方式对物品搜索信息和目标物品进行匹配:当物品搜索信息为参考图像时,对参考图像进行图像识别,得到参考图像中包含的参考物品;将参考图像中包含的参考物品与目标物品进行匹配;当匹配物品与目标物品相匹配时,确定物品搜索信息与目标物品相匹配。
在实际实施时,当物品搜索信息为参考图像时,需要先对参考图像进行图像识别,确定参考图像中的参考物品是什么,然后就可以将识别得到的参考物品与目标物品进行匹配了,以确定参考物品与目标物品之间的相似度,当相似度达到相似度阈值时,就认为匹配物品与目标物品相匹配,也即定物品搜索信息与目标物品相匹配。其中,目标物品也是通过对目标图像进行图像识别得到的。
这里,相似度的表示方式有多种,如欧式距离、汉明距离、余弦相似度等,这里不对相似度的表示方式进行限定。
在一些实施例中,终端可以通过以下方式存储目标图像:对目标图像进行图像识别,得到目标图像中目标物品的物品类别;将目标物品的物品类别与目标图像关联存储;相应的,接收输入的物品搜索信息之后,方法还包括:将物品搜索信息与目标物品的物品类别进行匹配;当物品搜索信息与目标物品的物品类别相匹配时,确定物品搜索信息与目标物品相匹配。
在实际实施时,可以基于物品类别进行匹配,也即输入的物品搜索信息用于指示物品的类别,将目标物品的物品类别与物品搜索信息所指示的物品类别进行匹配,若类别相同,则表示物品搜索信息与目标物品相匹配。
这里,为了提高计算效率,在对目标图像进行存储时,就会对目标图像中目标物品的物品类别进行识别,以避免每次匹配都需要对目标图像中目标物品的物品类别进行识别。
在一些实施例中,终端可以通过以下方式输出对应目标物品的位置指示信息:当物品搜索信息为参考图像时,提取存储的至少两张图像的第一图像特征、及参考图像的第二图像特征,至少两张图像中包括目标图像;分别获取各图像的第一图像特征与第二图像特征之间的相似度;基于获取的相似度,展示至少两张图像中,相似度达到第一相似度阈值的图像,以输出对应目标物品的位置指示信息。
在实际实施时,当物品搜索信息为参考图像时,终端可以基于图像特征,将参考图像分别与存储的各图像进行匹配,以获取参考图像与存储的各图像之间的相似度;当参考图像与某一图像的相似度达到第一相似度阈值时,就认为该图像中的物品为目标物品,该图像中包含的位置指示信息就是对应目标物品的位置指示信息。
在实际应用中,在展示至少两张图像中,相似度达到第一相似度阈值的图像时,可以采用缩略图的形式进行展示,也即在接收针对某个图像的缩略图的点击操作后,将该图像放大后展示。其中,相似度达到第一相似度阈值的图像可以为一张或者多张。若不存在相似度达到第一相似度阈值的图像时,可以输出提示信息,告知用户未搜索到图像。
图10是本申请实施例提供的图像的展示界面示意图,参见图10,以列表形式展示相似度达到第一相似度阈值的图像的缩略图,当接收针对某个图像的缩略图的点击操作后,将该图像放大后展示。
在一些实施例中,图像特征可以通过感知哈希算法获取,对图像进行感知哈希算法的过程包括:
第一步,缩小尺寸,最快速的去除高频和细节,只保留结构明暗的方法就是缩小尺寸,将图像缩小到8x8的尺寸,总共64个像素,摒弃不同尺寸、比例带来的图像差异。
第二步,简化色彩,即将缩小后的图片,转为64级灰度。
第三步,计算离散余弦变换(DCT,Discrete Cosine Transform),DCT是把图片分解频率聚集和梯状形,虽然JPEG使用8*8的DCT变换,在这里使用32*32的DCT变换。
第四步,缩小DCT。虽然DCT的结果是32*32大小的矩阵,但我们只要保留左上角的8*8的矩阵,这部分呈现了图片中的最低频率。
第五步,计算平均值。计算所有64个值的平均值。
第六步,进一步减小DCT。这是最主要的一步,根据8*8的DCT矩阵,设置0或1的64位的hash值,大于等于DCT均值的设为“1”,小于DCT均值的设为“0”。
第七步,计算哈希值。将64bit设置成64位的长整型。
在一些实施例中,终端可以通过以下方式输出对应目标物品的位置指示信息:在图形界面中呈现搜索更多功能项;响应于针对搜索更多功能项的触发操作,基于获取的相似度,展示至少两张图像中,相似度达到第二相似度阈值的图像,以输出对应目标物品的位置指示信息;其中,第二相似度阈值小于第一相似度阈值。
这里,若搜索到的图像不满足用户的预期,用户可以触发搜索更多功能项,终端在接收针对搜索更多功能项的触发操作后,调整用于匹配的相似度阈值,也即将第一相似度阈值调整为第二相似度阈值,然后获取相似度达到第二相似度阈值的图像,以搜索更多相似的图像。
例如,图11是本申请实施例提供的搜索结果的界面示意图,若搜索到的图像不满足用户预期,用户还可以点击搜索更多功能项1101,来降低图像搜索的精确度,从而展示更多类似的图像给用户。
在实际应用中,若还未搜索到满足用户预期的图像,还可以进一步降低相似度阈值,以基于新的相似度阈值进行搜索。
在一些实施例中,终端可以通过以下方式输出对应目标物品的位置指示信息:通过展示存储的目标图像,输出目标图像包含的目标物品的位置指示信息。
由于目标图像中包含目标物品及目标物品的位置指示信息,在实际实施时,可以直接展示匹配到的目标图像,如此,用户可以直接从目标图像中获取到目标物品的位置。
图12是本申请实施例提供的目标图像的展示示意图,参见图12,图中目标物品(书)放在桌子上,如此,用户可以去与图中桌子对应的位置找到该目标物品。
在一些实施例中,终端可以通过以下方式输出对应目标物品的位置指示信息:对存储的目标图像进行图像识别,以确定目标图像中处于目标物品周围的至少一个物品;基于目标物品与至少一个物品之间的位置关系,生成关于目标物品的存放位置的描述信息;通过语音播报描述信息的方式,输出对应目标物品的位置指示信息。
在实际实施时,可以通过对目标物品周围的物品进行识别,当知道目标物品周围的物品时,就能够知道目标物品的位置。
例如,参见图12,可以识别到书周围的物品为桌子,然后可以生成描述信息为“书放置在书桌上”,然后通过语音形式输出该描述信息。
需要说明的是,在生成目标物品的存放位置的描述信息后,也可以采用文本的形式呈现该描述信息,以输出对应目标物品的位置指示信息。
在一些实施例中,可以对目标图像周围的物品进行识别,然后将其与包含布局信息中的物品进行匹配;根据匹配结果,就能够知道目标对象周围的物品所处的位置,进而能够确定目标物品的存放位置。这里,布局信息可以为列表的形式,也即在列表中列出各个物品及其所处的位置;布局信息也可以为图像的形式,也即图像中各物品所处的位置与现实中物品所处的位置相一致,其中,图像可以为全景图像。
在一些实施例中,终端可以通过以下方式输出对应目标物品的位置指示信息:对存储的目标图像进行图像识别,以确定目标图像中处于目标物品周围的至少一个物品;基于得到的至少一个物品及包含布局信息的全景图像,确定目标物品的存放位置;通过展示全景图像,并在全景图像中区别显示目标物品的存放位置,输出对应目标物品的位置指示信息。
在实际实施时,可以预先拍摄全景图像,然后在搜索物品时,可以将目标物品周围的至少一个物品与全景图像中的物品进行匹配,以确定目标物品周围的至少一个物品所处的位置,进而确定目标物品的存放位置。
例如,全景图像中包括家里的所有布局信息,对存储的目标图像进行图像识别,确定目标图像中处于目标物品周围的物品后,将目标物品周围的物品与全景图像中包括的各物品进行匹配,以确定目标物品周围的物品在全景图像中的位置,进而确定目标物品的存放位置,然后对该位置进行标记,可以用星形标记目标物品的存放位置,以将其区别于其它位置。
在实际应用中,也可以在确定目标物品的存放位置后,仅展示全景图形中,目标物品的存放位置所对应的部分图像,以输出对应目标物品的位置指示信息。
本申请通过响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;其中,所述位置指示信息用于指示所述目标物品的存放位置;响应于针对所述目标图像的确定指令,存储所述目标图像;响应于物品搜索指令,接收输入的物品搜索信息;当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息;由于在存放物品时,采集并存储包含目标,如此,能够基于存储的所述目标图像输出对应所述目标物品的位置指示信息,以提示用户目标物品的存放位置,使得用户能够及时找到所要使用的物品。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。本申请实施例提供的物品的搜索方法由终端单独实施,该物品的搜索方法分为物品存储过程和物品搜索过程。
首先对物品存储过程进行说明。
图13是本申请实施例提供的物品存储过程的流程示意图,参见图13,本申请实施例提供的物品存储过程包括:
步骤1301:采集目标图像。
在实际实施时,终端上设置有客户端,当用户将目标物品存放至合适的位置后,通过客户端点击存储物品的功能项,唤起终端的相机功能,客户端引导用户对目标物品进行拍照,以采集包含目标物品和相应位置指示信息的目标图像。
步骤1302:存储目标图像。
步骤1303:对目标图像进行图像识别。
这里,通过预训练过的MobileNet神经网络模式,对目标图像进行图像识别,得到目标物品的物品信息。
步骤1304:对目标图像进行特征值计算。
这里,通过感知哈希算法计算目标图像的特征值。
步骤1305:存储图像识别结果和特征值。
这里,将目标图像、图像识别结果和特征值计算结果进行关联后,存储至数据库。
图14是本申请实施例提供的物品存储的界面示意图,参见图14,在图形界面中呈现搜索物品的功能项1401及存储物品的功能项1402,当用户将目标物品存放至合适的位置后,点击存储物品的功能项1402,唤起终端的相机功能,以对目标物品进行拍摄,得到目标图像;在拍摄到目标图像后,点击存储图片的功能项1403,客户端对目标图像进行图像识别及特征值计算,并呈现提示信息“物品识别中…”,以告知用户正在对目标物品进行识别;当图像识别及特征值计算完成后,将得到的目标图像、图像识别结果和特征值存储至数据库,并呈现存储成功的提示信息“物品已存储”。
接着对物品搜索过程进行说明。
图15是本申请实施例提供的物品存储过程的流程示意图,参见图15,本申请实施例提供的物品存储过程包括:
步骤1501:响应于针对物品搜索更多功能项的触发操作,展示语音功能项及文本输入框。
在实际实施时,可以同时呈现语音功能项及文本输入框,用户可以根据需要选择物品搜索信息的输入方式。
例如,参见图8,在图形界面中呈现语音功能项801及文本输入框802。
步骤1502:当接收针对语音功能项的触发操作,接收语音形式的物品搜索信息。
这里,用户按住语音功能项,同时说出所要搜索的目标物品的名称,使客户端接收用户所说的内容,将用户所说的内容作为物品搜索信息。
步骤1503:对物品搜索信息进行语音识别,得到与物品搜索信息对应的文本内容。
步骤1504:当接收针对文本输入框的触发操作时,接收通过文本输入框输入的物品搜索信息。
这里,用户可以在文本输入框中输入所要搜索的目标物品的名称,然后点击确定按键,使客户端接收用户输入的文本。
步骤1505:进行图像搜索,并判断是否搜索到图像,若是,执行步骤1506;否则,执行步骤1507。
这里,当接收的物品搜索信息是语音时,通过语音识别技术,将语音转化为文本内容,然后将文本内容与存储的图像对应的图像识别结果进行匹配,以搜索与物品搜索信息相匹配的图像;当接收的物品搜索信息是文本时,直接将文本与存储的图像对应的图像识别结果进行匹配,以搜索与物品搜索信息相匹配的图像。
步骤1506:展示搜索到的图像。
这里,若搜索到了图像,就对搜索到的图像进行展示。在实际实施时,可以展示图像的缩略图,在接收针对某个图像的缩略图的点击操作后,将该图像放大后展示。其中,当搜索到的图像为多张时,可以以列表的形式展示搜索到的图像。
参见图10,以列表形式展示搜索到的图像的缩略图,当接收针对某个图像的缩略图的点击操作后,将该图像放大后展示。
步骤1507:呈现提示信息。
这里,提示信息用于指示引导进行参考图像采集,参考图像包含与目标物品相似的参考物品。
步骤1508:采集包含参考物品的参考图像。
当用户点击图像采集功能项后,调用相机功能进行图像采集,以拍摄得到包含参考物品的参考图像。
步骤1509:对参考图像进行图像识别。
步骤1510:基于参考图像的图像识别结果,进行图像搜索,并判断是否搜索到图像,若是,执行步骤1506;否则,执行步骤1511。
这里,将参考图像的图像识别结果与数据库中存储的图像的图像识别结果进行匹配,将图像识别结果与参考图像相匹配的图像作为搜索得到的图像。
步骤1511:对参考图像进行特征值计算。
步骤1512:基于参考图像的特征值,进行图像搜索。
这里,将参考图像的特征值与数据库中存储的图像的特征值进行匹配,将特征值与参考图像的特征值相匹配的图像作为搜索到的图像。
在实际实施时,通过计算特征值间的汉明距离来进行特征值匹配,也即当参考图像的特征值与数据库中某一图像的特征值之间的汉明距离小于距离阈值,则认为参考图像的特征值与该图像的特征值相匹配,将该图像作为搜索到的图像。其中,距离阈值可以是预先设置的。
步骤1513:接收针对搜索更多功能项的触发操作,返回步骤1512。
这里,可以在搜索结果的展示界面,呈现搜索更多功能项,搜索更多功能项用于在接收触发操作,指示搜索更多与参考图像相似度的图像。
在实际实施时,在接收针对搜索更多功能项的触发操作之后,对距离阈值进行调整,调整后的距离阈值大于调整前的距离阈值。
也即,先搜索与参考图像的特征值间的距离阈值小于第一距离阈值的图像,若搜索到的图像不满足用户的预期,用户可以点击搜索更多功能项,终端在接收针对搜索更多功能项的点击操作后,搜索与参考图像的特征值间的距离阈值小于第二距离阈值的图像,其中,第二距离阈值大于第一距离阈值。
例如,若搜索到的图像不满足用户预期,用户还可以点击搜索更多功能项1101,来降低图像搜索的精确度,从而展示更多类似的图像给用户。
本申请实施例具有以下有益效果:
解决了很多用户临时存放物品后很难想起存放位置的窘迫处境,通过一系列技术方案辅助用户快速回忆起当时的存放位置,帮助用户化解尴尬;同时,所有的数据都存储在用户端,保证用户的隐私不被泄漏,做好用户的私人管家。
下面继续说明本申请实施例提供的物品的搜索装置455的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器450的物品的搜索装置455中的软件模块可以包括:
采集模块4551,用于响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;
其中,所述位置指示信息用于指示所述目标物品的存放位置;
存储模块4552,用于响应于针对所述目标图像的确定指令,存储所述目标图像;
接收模块4553,用于响应于物品搜索指令,接收输入的物品搜索信息;
输出模块4554,用于当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息。
在一些实施例中,所述存储模块4552,还用于对所述目标图像进行图像识别,得到所述目标图像中目标物品的物品类别;
将所述目标物品的物品类别与所述目标图像关联存储;
相应的,所述接收模块4553,还用于将所述物品搜索信息与所述目标物品的物品类别进行匹配;
当所述物品搜索信息与所述目标物品的物品类别相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
在一些实施例中,所述接收模块4553,还用于当所述物品搜索信息为文本时,在图形界面中呈现文本输入框;
基于所述文本输入框,接收输入的物品搜索信息。
在一些实施例中,所述接收模块4553,还用于当所述物品搜索信息为语音时,在图形界面中呈现语音功能项;
响应于针对所述语音功能项的触发操作,接收输入的语音。
在一些实施例中,所述接收模块4553,还用于当所述物品搜索信息为语音时,对所述物品搜索信息进行语音识别,得到与所述物品搜索信息对应的文本内容;
将所述文本内容与所述目标物品进行匹配,并当所述文本内容与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
在一些实施例中,所述接收模块4553,还用于当所述物品搜索信息为图像时,呈现图像采集功能项及提示信息;
其中,所述提示信息,用于引导进行参考图像采集,所述参考图像包含与所述目标物品相关联的参考物品;
响应于针对所述图像采集功能项的触发操作,基于所述提示信息,采集包含所述参考物品的参考图像,并将所述参考图像作为所述物品搜索信息。
在一些实施例中,所述接收模块4553,还用于当所述物品搜索信息为参考图像时,对所述参考图像进行图像识别,得到所述参考图像中包含的参考物品;
将所述参考图像中包含的参考物品与所述目标物品进行匹配;
当所述匹配物品与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
在一些实施例中,所述接收模块4553,还用于所述当所述物品搜索信息为参考图像时,对所述参考图像进行图像识别,得到所述参考图像中包含的参考物品;
将所述参考图像中包含的参考物品与所述目标物品进行匹配;
当所述匹配物品与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
在一些实施例中,所述接收模块4553,还用于所述基于存储的所述目标图像输出对应所述目标物品的位置指示信息:
当所述物品搜索信息为参考图像时,提取存储的至少两张图像的第一图像特征、及所述参考图像的第二图像特征,所述至少两张图像中包括所述目标图像;
分别获取各所述图像的第一图像特征与所述第二图像特征之间的相似度;
基于获取的所述相似度,展示所述至少两张图像中,所述相似度达到第一相似度阈值的图像,以输出对应所述目标物品的位置指示信息。
在一些实施例中,所述输出模块4554,还用于在图形界面中呈现搜索更多功能项;
响应于针对所述搜索更多功能项的触发操作,基于获取的所述相似度,展示所述至少两张图像中,所述相似度达到第二相似度阈值的图像,以输出对应所述目标物品的位置指示信息;
其中,所述第二相似度阈值小于第一相似度阈值。
在一些实施例中,所述输出模块4554,还用于通过展示存储的所述目标图像,输出所述目标图像包含的所述目标物品的位置指示信息。
在一些实施例中,所述输出模块4554,还用于对存储的所述目标图像进行图像识别,以确定所述目标图像中处于所述目标物品周围的至少一个物品;
基于所述目标物品与所述至少一个物品之间的位置关系,生成关于目标物品的存放位置的描述信息;
通过语音播报所述描述信息的方式,输出对应所述目标物品的位置指示信息。
在一些实施例中,所述输出模块4554,还用于对存储的所述目标图像进行图像识别,以确定所述目标图像中处于所述目标物品周围的至少一个物品;
基于得到的所述至少一个物品及包含布局信息的全景图像,确定所述目标物品的存放位置;
通过展示所述全景图像,并在所述全景图像中区别显示所述目标物品的存放位置,输出对应所述目标物品的位置指示信息。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的物品的搜索方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图3示出的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(H TML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (15)

1.一种物品的搜索方法,其特征在于,所述方法包括:
响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;
其中,所述位置指示信息用于指示所述目标物品的存放位置;
响应于针对所述目标图像的确定指令,存储所述目标图像;
响应于物品搜索指令,接收输入的物品搜索信息;
当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息。
2.如权利要求1所述的方法,其特征在于,所述存储所述目标图像,包括:
对所述目标图像进行图像识别,得到所述目标图像中目标物品的物品类别;
将所述目标物品的物品类别与所述目标图像关联存储;
所述接收输入的物品搜索信息之后,所述方法还包括:
将所述物品搜索信息与所述目标物品的物品类别进行匹配;
当所述物品搜索信息与所述目标物品的物品类别相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
3.如权利要求1所述的方法,其特征在于,所述接收输入的物品搜索信息,包括:
当所述物品搜索信息为文本时,在图形界面中呈现文本输入框;
基于所述文本输入框,接收输入的物品搜索信息。
4.如权利要求1所述的方法,其特征在于,所述接收输入的物品搜索信息包括:
当所述物品搜索信息为语音时,在图形界面中呈现语音功能项;
响应于针对所述语音功能项的触发操作,接收输入的语音。
5.如权利要求1所述的方法,其特征在于,所述接收输入的物品搜索信息之后,所述方法还包括:
当所述物品搜索信息为语音时,对所述物品搜索信息进行语音识别,得到与所述物品搜索信息对应的文本内容;
将所述文本内容与所述目标物品进行匹配,并当所述文本内容与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
6.如权利要求1所述的方法,其特征在于,所述接收输入的物品搜索信息,包括:
当所述物品搜索信息为图像时,呈现图像采集功能项及提示信息;
其中,所述提示信息,用于引导进行参考图像采集,所述参考图像包含与所述目标物品相关联的参考物品;
响应于针对所述图像采集功能项的触发操作,基于所述提示信息,采集包含所述参考物品的参考图像,并将所述参考图像作为所述物品搜索信息。
7.如权利要求1所述的方法,其特征在于,所述接收输入的物品搜索信息之后,所述方法还包括:
当所述物品搜索信息为参考图像时,对所述参考图像进行图像识别,得到所述参考图像中包含的参考物品;
将所述参考图像中包含的参考物品与所述目标物品进行匹配;
当所述匹配物品与所述目标物品相匹配时,确定所述物品搜索信息与所述目标物品相匹配。
8.如权利要求1所述的方法,其特征在于,所述基于存储的所述目标图像输出对应所述目标物品的位置指示信息,包括:
当所述物品搜索信息为参考图像时,提取存储的至少两张图像的第一图像特征、及所述参考图像的第二图像特征,所述至少两张图像中包括所述目标图像;
分别获取各所述图像的第一图像特征与所述第二图像特征之间的相似度;
基于获取的所述相似度,展示所述至少两张图像中,所述相似度达到第一相似度阈值的图像,以输出对应所述目标物品的位置指示信息。
9.如权利要求8所述的方法,其特征在于,所述方法还包括:
在图形界面中呈现搜索更多功能项;
响应于针对所述搜索更多功能项的触发操作,基于获取的所述相似度,展示所述至少两张图像中,所述相似度达到第二相似度阈值的图像,以输出对应所述目标物品的位置指示信息;
其中,所述第二相似度阈值小于第一相似度阈值。
10.如权利要求1所述的方法,其特征在于,所述基于存储的所述目标图像输出对应所述目标物品的位置指示信息,包括:
通过展示存储的所述目标图像,输出所述目标图像包含的所述目标物品的位置指示信息。
11.如权利要求1所述的方法,其特征在于,所述基于存储的所述目标图像输出对应所述目标物品的位置指示信息,包括:
对存储的所述目标图像进行图像识别,以确定所述目标图像中处于所述目标物品周围的至少一个物品;
基于所述目标物品与所述至少一个物品之间的位置关系,生成关于目标物品的存放位置的描述信息;
通过语音播报所述描述信息的方式,输出对应所述目标物品的位置指示信息。
12.如权利要求1所述的方法,其特征在于,所述基于存储的所述目标图像输出对应所述目标物品的位置指示信息,包括:
对存储的所述目标图像进行图像识别,以确定所述目标图像中处于所述目标物品周围的至少一个物品;
基于得到的所述至少一个物品及包含布局信息的全景图像,确定所述目标物品的存放位置;
通过展示所述全景图像,并在所述全景图像中区别显示所述目标物品的存放位置,输出对应所述目标物品的位置指示信息。
13.一种物品的搜索装置,其特征在于,所述装置包括:
采集模块,用于响应于物品的存储指令,采集包含目标物品及相应的位置指示信息的目标图像;
其中,所述位置指示信息用于指示所述目标物品的存放位置;
存储模块,用于响应于针对所述目标图像的确定指令,存储所述目标图像;
接收模块,用于响应于物品搜索指令,接收输入的物品搜索信息;
输出模块,用于当所述物品搜索信息与所述目标物品相匹配时,基于存储的所述目标图像输出对应所述目标物品的位置指示信息。
14.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至12任一项所述的物品的搜索方法。
15.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至12任一项所述的物品的搜索方法。
CN202010910753.1A 2020-09-02 2020-09-02 物品的搜索方法、装置、设备及计算机可读存储介质 Active CN112052784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010910753.1A CN112052784B (zh) 2020-09-02 2020-09-02 物品的搜索方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010910753.1A CN112052784B (zh) 2020-09-02 2020-09-02 物品的搜索方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112052784A true CN112052784A (zh) 2020-12-08
CN112052784B CN112052784B (zh) 2024-04-19

Family

ID=73607159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010910753.1A Active CN112052784B (zh) 2020-09-02 2020-09-02 物品的搜索方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112052784B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733620A (zh) * 2020-12-23 2021-04-30 深圳酷派技术有限公司 信息提示方法、装置、存储介质及电子设备
CN113869833A (zh) * 2021-10-12 2021-12-31 拉扎斯网络科技(上海)有限公司 一种引导信息发送方法、装置以及电子设备
CN115797707A (zh) * 2023-02-06 2023-03-14 威海海洋职业学院 一种基于计算机视觉的物品识别方法和系统
CN115859413A (zh) * 2023-02-16 2023-03-28 北京探索者软件股份有限公司 Cad客户端的数据插入方法、装置和存储介质及电子装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246674A (zh) * 2012-02-10 2013-08-14 中兴通讯股份有限公司 一种移动终端及其物品信息处理方法
CN105550224A (zh) * 2015-12-04 2016-05-04 小米科技有限责任公司 物品搜索方法、装置及系统
CN105719105A (zh) * 2014-12-03 2016-06-29 镇江雅迅软件有限责任公司 一种基于关键字的库存快速查找方法
CN107590276A (zh) * 2017-09-28 2018-01-16 上海爱优威软件开发有限公司 一种物品地图显示方法及系统
CN107798115A (zh) * 2017-11-03 2018-03-13 深圳天珑无线科技有限公司 移动终端的图像识别搜索方法、系统及移动终端
CN109784319A (zh) * 2019-03-25 2019-05-21 珠海格力电器股份有限公司 物品管理方法、装置、存储介质及移动终端
CN109992643A (zh) * 2019-03-25 2019-07-09 珠海格力电器股份有限公司 记录物品存放位置的方法、装置、存储介质及移动终端
CN111046211A (zh) * 2019-12-25 2020-04-21 维沃移动通信有限公司 物品查找方法及电子设备
CN111143596A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 物品查找方法及电子设备
CN111506752A (zh) * 2019-01-30 2020-08-07 阿里巴巴集团控股有限公司 搜索方法、装置、电子设备及计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246674A (zh) * 2012-02-10 2013-08-14 中兴通讯股份有限公司 一种移动终端及其物品信息处理方法
CN105719105A (zh) * 2014-12-03 2016-06-29 镇江雅迅软件有限责任公司 一种基于关键字的库存快速查找方法
CN105550224A (zh) * 2015-12-04 2016-05-04 小米科技有限责任公司 物品搜索方法、装置及系统
CN107590276A (zh) * 2017-09-28 2018-01-16 上海爱优威软件开发有限公司 一种物品地图显示方法及系统
CN107798115A (zh) * 2017-11-03 2018-03-13 深圳天珑无线科技有限公司 移动终端的图像识别搜索方法、系统及移动终端
CN111506752A (zh) * 2019-01-30 2020-08-07 阿里巴巴集团控股有限公司 搜索方法、装置、电子设备及计算机存储介质
CN109784319A (zh) * 2019-03-25 2019-05-21 珠海格力电器股份有限公司 物品管理方法、装置、存储介质及移动终端
CN109992643A (zh) * 2019-03-25 2019-07-09 珠海格力电器股份有限公司 记录物品存放位置的方法、装置、存储介质及移动终端
CN111046211A (zh) * 2019-12-25 2020-04-21 维沃移动通信有限公司 物品查找方法及电子设备
CN111143596A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 物品查找方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张华;: "基于形态特征提取的图像匹配搜索技术研究", 物联网技术, no. 11, 15 November 2013 (2013-11-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733620A (zh) * 2020-12-23 2021-04-30 深圳酷派技术有限公司 信息提示方法、装置、存储介质及电子设备
CN113869833A (zh) * 2021-10-12 2021-12-31 拉扎斯网络科技(上海)有限公司 一种引导信息发送方法、装置以及电子设备
CN115797707A (zh) * 2023-02-06 2023-03-14 威海海洋职业学院 一种基于计算机视觉的物品识别方法和系统
CN115859413A (zh) * 2023-02-16 2023-03-28 北京探索者软件股份有限公司 Cad客户端的数据插入方法、装置和存储介质及电子装置
CN115859413B (zh) * 2023-02-16 2023-11-28 北京探索者软件股份有限公司 Cad客户端的数据插入方法、装置和存储介质及电子装置

Also Published As

Publication number Publication date
CN112052784B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN112052784B (zh) 物品的搜索方法、装置、设备及计算机可读存储介质
CN110446063B (zh) 视频封面的生成方法、装置及电子设备
CN110471858B (zh) 应用程序测试方法、装置及存储介质
CN111241340B (zh) 视频标签确定方法、装置、终端及存储介质
JP6986187B2 (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
KR20210094445A (ko) 정보 처리 방법, 장치 및 저장 매체
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN109189986B (zh) 信息推荐方法、装置、电子设备和可读存储介质
CN107871001B (zh) 音频播放方法、装置、存储介质及电子设备
CN102868934A (zh) 基于智能电视的视频对象信息检索方法及装置
CN109144285B (zh) 一种输入方法和装置
CN107748615B (zh) 屏幕的控制方法、装置、存储介质及电子设备
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
CN107918496A (zh) 一种输入纠错方法和装置、一种用于输入纠错的装置
CN113596601A (zh) 一种视频画面的定位方法、相关装置、设备及存储介质
CN110110146A (zh) 基于人工智能的视频短片搜索方法、装置、介质和设备
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
CN105353874A (zh) 一种多媒体内容分享方法和终端
CN113869063A (zh) 数据推荐方法、装置、电子设备及存储介质
CN113037925B (zh) 信息处理方法、信息处理装置、电子设备和可读存储介质
CN112732379B (zh) 智能终端上应用程序的运行方法、终端和存储介质
CN108052506B (zh) 自然语言处理方法、装置、存储介质及电子设备
CN111797746B (zh) 人脸识别方法、装置及计算机可读存储介质
CN103984415B (zh) 一种信息处理方法及电子设备
CN111542817A (zh) 信息处理装置、视频检索方法、生成方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035395

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant