CN108780505B - 智能售货柜、物品识别方法、装置、服务器和存储介质 - Google Patents

智能售货柜、物品识别方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN108780505B
CN108780505B CN201880001294.6A CN201880001294A CN108780505B CN 108780505 B CN108780505 B CN 108780505B CN 201880001294 A CN201880001294 A CN 201880001294A CN 108780505 B CN108780505 B CN 108780505B
Authority
CN
China
Prior art keywords
camera
image
mirror
sales counter
placing space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880001294.6A
Other languages
English (en)
Other versions
CN108780505A (zh
Inventor
张站朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Publication of CN108780505A publication Critical patent/CN108780505A/zh
Application granted granted Critical
Publication of CN108780505B publication Critical patent/CN108780505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/02Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本申请涉及智能零售领域,尤其涉及一种智能售货柜、物品识别方法、装置、服务器和存储介质。本实施例提供了一种智能售货柜,包括:设置有至少一个放置空间的柜体,设置在每个放置空间底部的摄像头,覆盖放置空间顶部且镜面朝向放置空间底部的镜子,以及与摄像头通信连接的主控模块;摄像头的镜头正对摄像头所在放置空间内的镜子,摄像头的视角范围覆盖摄像头所在放置空间的镜子的镜面;主控模块控制摄像头对放置空间内的镜子进行拍摄,并将拍摄获得的图像传输至物品识别装置进行处理。本实施例中智能售货柜,提高了采集到的图像中智能售货柜内商品的有效像素,提高商品识别的准确性,同时提高智能售货柜的空间利用率。

Description

智能售货柜、物品识别方法、装置、服务器和存储介质
技术领域
本申请涉及智能零售领域,尤其涉及一种智能售货柜、物品识别方法、装置、服务器和存储介质。
背景技术
随着科技的不断发展,为了便于人们随时购买物品,出现了智能售货柜。智能售货柜的运行模式通常是扫码打开柜门、用户选用物品、关门自动结算三个过程,方便快捷且无需人值守。
发明人在研究现有技术过程中发现,目前的智能售货柜通常在货柜中安装摄像头,由摄像头采集图像并通过人工智能(AI)视觉识别货柜内的物品种类和数量。由于对货柜内商品种类和数据量的识别是依赖于摄像头采集的图像,若采集的图像中商品发生畸变或者因摄像头与商品距离过近,而造成商品图像不全面,将大大增加AI识别的困难,降低对商品种类和数量识别的准确性,同时,由于摄像头与商品之间需要一定的距离,缩小了柜体内可放置商品的空间,造成空间利用率低。因而,如何提高摄像头采集智能售货柜内商品的图像质量是亟待解决的问题。
发明内容
本申请部分实施例所要解决的技术问题在于提供一种智能售货柜、物品识别方法、装置、服务器和存储介质,提高了采集到的图像中智能售货柜内商品的有效像素,提高商品识别的准确性,同时提高智能售货柜的空间利用率。
本申请的一个实施例提供了一种智能售货柜,包括:设置有至少一个放置空间的柜体,设置在每个放置空间底部的摄像头,覆盖放置空间顶部且镜面朝向放置空间底部的镜子,以及与摄像头通信连接的主控模块;摄像头的镜头正对摄像头所在放置空间内的镜子,摄像头的视角范围覆盖摄像头所在放置空间的镜子的镜面;主控模块控制摄像头对该放置空间内的镜子进行拍摄,并将拍摄获得的图像传输至物品识别装置进行处理。
本申请的一个实施例还提供了一种物品识别方法,用于识别上述智能售货柜中的物品,包括:接收智能售货柜传输的每个放置空间的图像;分别对每个放置空间的图像进行抗干扰处理;识别抗干扰处理后的图像中的物品。
本申请实施例还提供了一种物品识别装置,物品识别装置与上述智能售货柜通信连接,物品识别装置包括:通信模块、图像处理模块和图像识别模块;通信模块用于接收智能售货柜传输的每个放置空间的图像;图像处理模块用于分别对每个所述放置空间的图像进行抗干扰处理;图像识别模块用于识别所述抗干扰处理后图像中的物品。
本申请实施例还提供了一种服务器,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行上述的物品识别方法。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述的物品识别方法。
相对于现有技术而言,本申请部分实施例中通过在每个放置空间顶部设置镜子,并将摄像头设置在放置空间底部且镜头朝向镜子的镜面,摄像头通过拍摄镜子中的成像,进而拍摄到整个放置空间内的物品,由于从镜子中获取物品的图像,增加了物品与摄像头之间的物距,减小拍摄图像中物品发生畸变的可能性,提高对图像的识别能力;同时由于减小了摄像头与物品之间的物距,进而增大了放置空间内的可利用空间,提高放置空间放置物品的利用率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请第一实施例中智能售货柜的正面结构示意图;
图2是本申请第二实施例中智能售货柜的正面结构示意图;
图3是本申请第三实施例中智能售货柜的正面结构示意图;
图4是本申请第四实施例中智能售货柜的正面结构示意图;
图5是本申请第五实施例中物品识别方法的流程示意图;
图6是本申请第六实施例中物品识别装置的结构示意图;
图7是本申请第七实施例中服务器的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请部分实施例进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。然而,本领域的普通技术人员可以理解,在本申请的各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本申请的第一实施例涉及一种智能售货柜,该智能售货柜可放置于商场、地铁站、影院等地方,便于用户随时购买物品。该智能售货柜10,包括:设置有至少一个放置空间102的柜体101,设置在每个放置空间底部的摄像头103,覆盖放置空间顶部且镜面朝向放置空间底部的镜子105,以及与摄像头103通信连接的主控模块106,具体的结构如图1所示。
一个具体的实现中,摄像头103的镜头正对摄像头103所在放置空间102内的镜子105,摄像头103的视角范围覆盖摄像头103所在放置空间102的镜子105的镜面;主控模块106控制摄像头对放置空间102内的镜子进行拍摄,并将拍摄获得的图像传输至物品识别装置进行处理。
具体的说,放置空间由层隔板104分隔柜体101获得,如图1所示,层隔板104跨接在柜体101相对的两个侧面,从而将柜体101分隔成多个放置空间102。放置空间102的个数由层隔板104的数量决定,例如,假设由3个层隔板,且层隔板采用跨接柜体相对两个侧面的方式分隔该柜体,那么获得的放置空间的个数为4个。当然,本实施例中,并不限制层隔板104分隔柜体101的方式,具体可以根据实际需要设置。针对每个放置空间,都在放置空间102的底部设备摄像头103,在放置空间102的顶部安装镜子105,镜子105覆盖整个放置空间102的顶部,镜子105可以采用贴合的方式贴合在放置空间102的顶部。
一个具体的实现中,主控模块106控制摄像头103处于不同视角范围并对放置空间102内的镜子进行拍摄,获得摄像头103在不同视角范围拍摄的图像;从摄像头103在不同视角范围拍摄的图像中选取最佳图像,将最佳图像对应的视角范围确定为最佳视角范围,并将摄像头103的视角调整至最佳视角范围,其中,最佳图像中包括摄像头103所在放置空间102内的所有物品,且物品在图像中的面积最大。
具体的说,可以通过调节摄像头的焦距或者通过调节摄像头与镜面之间的距离,改变摄像头103视角范围。若摄像头为变焦摄像头,主控模块106控制摄像头103在不同焦距下对放置空间102内的镜子进行拍摄,获得摄像头103在不同焦距下拍摄的图像;从摄像头在不同焦距下拍摄的图像中选取最佳图像,将最佳图像对应的焦距确定为最佳焦距,调节摄像头的焦距至最佳焦距。当然,拍摄的每一个图像都应当清晰。
主控模块106可以以固定焦距间隔调节摄像头的视角,直至达到该摄像头的最大焦距或者最小焦距,其中,当摄像头103处于一种视角范围并拍摄时,获取拍摄的图像以及该图像对应的焦距。主控模块106比对每一个图像,通过比对图像中物品的影像信息,选出最佳图像。确定了最佳图像即可获知最佳图像对应的焦距,主控模块控制摄像头103将焦距调整至最佳焦距。
下面以一个具体的例子进行说明。
例如,假设摄像头焦距的取值范围为3mm至12mm,那么主控模块控制摄像头的焦距在3mm时对摄像头所在放置空间的镜子进行拍摄,得到图像1并记录图像1对应的焦距,之后控制摄像头的焦距在4.0mm时对该放置空间的镜子进行拍摄,得到图像2并记录图像2对应的焦距,主控模块以1mm的焦距间隔调整摄像头的焦距,并对当前放置空间中的镜子进行拍摄,得到对应的10个清晰的图像以及记录10个对应的焦距信息,对获得的10个图像进行比较(如判断图像中是否包含了当前放置空间内的所有物品,以及比较每个物品在当前图像中的像素面积大小),若图像2包括当前放置空间内所有物品,且物品在图像2中的面积最大的图像,那么选取图像2为最佳图像,则最佳焦距为4.0mm,主控模块将摄像头的焦距调整至4.0mm。
需要说明的是,主控模块106接收到柜体内物品放置完毕的信号之后,控制摄像头103处于不同视角范围时对放置空间102内的镜子进行拍摄。例如,工作人员向智能售货柜内放置物品,在放置完毕后,工作人员通过终端向售货柜发送柜内物品放置完毕的信号,主控模块接收到该信号后,即可控制摄像头处于不同视角范围时对放置空间102内的镜子的镜面进行拍摄。当然,本实施例中,主控模块106可以定时控制摄像头103处于不同视角范围对放置空间102内的镜子进行拍摄,还可以在检测其他触发信号时控制摄像头103处于不同视角范围时对放置空间102内的镜子进行拍摄,本实施例不再一一例举。
此外,值得一提的是,在主控模块106将摄像头103调整至最佳视角范围后,可以定时对当前放置空间内的镜子的镜面进行拍摄,或者在接收到拍摄信号后对当前放置空间102内的镜子的镜面进行拍摄,并将拍摄图像传输至物品识别装置进行图像识别,确定当前柜内的物品种类及对应的数量。
相对于现有技术而言,本申请部分实施例中通过在每个放置空间顶部设置镜子,并将摄像头设置在放置空间底部且镜头朝向镜子的镜面,摄像头通过拍摄镜子中的成像,进而拍摄到整个放置空间内的物品,由于从镜子中获取物品的图像,增加了物品与摄像头之间的物距,减小拍摄图像中物品发生畸变的可能性,提高对图像的识别能力;同时由于减小了摄像头与物品之间的物距,进而增大了放置空间的可利用空间,提高放置空间放置物品的利用率。
本申请的第二实施例涉及一种智能售货柜,本实施例是在第一实施例的基础上做了进一步改进,具体改进之处为:本实施例中,智能售货柜还包括设置在每个放置空间102的底部中心位置处且高度可调节的支架107,摄像头103固定于该支架107上。该智能售货柜10的具体结构如图2所示。
一个具体的实现中,主控模块106用于调节支架107的高度,并在摄像头103处于不同视角范围时控制摄像头103对放置空间102内的镜子进行拍摄,获得摄像头103在不同视角范围拍摄的图像;以及通过调节支架107的高度将摄像头103的视角调整至最佳视角范围。
具体的说,支架中包括电机1071,主控模块106具体用于通过控制电机1071调节支架的高度。电机1071安装在支架107内,且电机1071与主控模块106连接(图2中未示出),主控模块106通过控制电机1071转动,带动可调节高度的支架,进而带动安装在支架107上的摄像头103上下运动。通过调节摄像头103的高度,改变摄像头103与镜子105之间的距离,从而改变摄像头103的视角范围。
需要说明的是,电机1071可以安装在支架107的其他部位,并不限于本实施例中列举的位置。
主控模块106可以是以固定高度间隔对支架107进行调节,直至支架107的高度达到该支架107的最大高度或者最小高度。当摄像头103每次拍摄时,记录当前支架处于的高度,并获取当前拍摄的图像。主控模块106获取每次调节支架107后拍摄的图像以及记录图像对应的支架高度,主控模块对每个图像进行比对分析,如,可以通过深度学习的方法比对每个图像中图形特征、颜色特征,从而确定出包括当前放置空间102内所有物品的图像,再从包括当前放置空间102内所有物品的图像中选出物品的面积最大的图像,同样,选取的过程可以采用深度学习的方法对图像中图形特征、颜色特征进行学习,从而选出符合条件的最佳图像,此处不对深度学习的方法进行赘述。确定出最佳图像后,即可获知最佳图像对应的支架高度,主控模块106调整支架107的高度到最佳图像对应的支架高度,同样,每个拍摄的图像应当为清晰图像。
下面以一个具体的例子进行说明。
例如,假设摄像头为定焦摄像头,支架高度的可调节范围为10厘米至15厘米,主控模块以1厘米的高度间隔对支架进行调节,那么,支架在10厘米时,对当前放置空间拍摄图像,得到图像1并记录当前拍摄图像时支架的高度;支架在11厘米高时,对当前放置空间拍摄图像,得到图像2并记录当前拍摄图像时支架的高度;依次调节高度,直至支架高度到15厘米。此时,获取到6个图像以及对应的支架高度,若通过深度学习后,确定最佳图像为图像3,那么主控模块将支架高度调整至12厘米。
需要说明的是,摄像头103可以为变焦摄像头,或者摄像头为定焦摄像头。若摄像头为变焦摄像头且安装在支架上,那么主控模块可以先调整变焦摄像头的焦距,再调整支架高度;或者先调整支架高度,再调整摄像头的焦距。
与现有技术相比,本实施例提供的智能售货柜,通过调整可调节高度的支架,从而调节摄像头的视角范围到最佳视角范围,提高智能售货柜拍摄的图像的质量,提高通过图像进行物品识别的准确性。
本申请的第三实施例涉及一种智能售货柜,本实施例是在第二实施例的基础上做了进一步改进,具体改进之处为:本实施例中,智能售货柜还包括柜门108,柜门108与柜体101铰接。该智能售货柜10的具体结构如图3所示。
一个具体的实现中,主控模块106在检测到柜门108关闭后,控制摄像头103在最佳视角范围对每个放置空间内的镜子进行拍摄,并将拍摄的图像传输至物品识别装置进行图像识别。
具体的说,主控模块106与摄像头103之间可以采用有线连接,如,网线、USB数据线等;或者采用无线连接,如无线保真(wifi)、无线通信网络(3G/4G/5G)等方式;或者既采用有线连接又采用无线连接的方式,确保数据的无障碍传输。
主控模块106可以通过柜门108上安装的传感器,或者柜体两个侧面中任一面安装的传感器,来实现对柜门108是否关闭的检测,主控模块106与传感器通信连接(图3中未示出主控模块与传感器之间的连接),主控模块106通过传感器检测到柜门108关闭后,主控模块106控制摄像头103处于最佳视角范围并对当前放置空间102内镜子中成像的物品进行拍摄,并将拍摄的图像传输至物品识别装置进行图像识别,确定拍摄图像中的物品种类和对应的数量。
可以理解的是,主控模块106对柜门108的检测方法并不限制于本实施例中列举的方法,还可以采用其他方式进行检测,此处不再一一进行列举。
本实施例提供的智能售货柜,通过设置柜门可以确保放置在智能售货柜中物品的安全,同时在检测到柜门关闭时,对放置空间内的镜子进行拍摄,可以保证智能售货柜及时的清点柜内的物品及数量。
本申请的第四实施例涉及一种智能售货柜,本实施例是在第三实施例的基础上做了进一步改进,具体改进之处为:本实施例中,放置空间的任意侧面设置有限高线109,限高线109用于标识允许放置的放置物的最高高度,如图4所示(图中仅示意了一根限高线)。
具体的说,可以在柜体101的任意侧面设置限高线,或者在柜门108上设置限高线109,限高线109的根数不做限制,可以每个侧面均设置一根限高线109,也可以仅设置一根限高线109。限高线109可以画在柜体101的侧面,或者以贴线的方式设置在柜体101的侧面,限高线109的颜色可以采用明显的颜色,如红色。例如,假设放置空间的高为20厘米,为了便于从放置空间中拿出物品,那么限高线可以画在放置空间的高的五分之四处,即限高线画在距放置空间底部16厘米处。可以理解的是,每个放置空间内的限高线109距离当前放置空间底部的高度可以不同,也可以相同。
值得一提的是,上述镜子可以是平面镜、凸面镜或者凹面镜,具体可以根据实际需要选择对应的镜子。
本实施例中提供的智能售货柜,通过在智能售货柜的任意侧面设置限高线,防止放置在放置空间的物品过高而影响摄像头的拍摄效果。
本申请的第五实施例涉及一种物品识别方法,该物品识别方法用于识别智能售货柜中的物品,该物品识别方法的具体流程如图5所示。
步骤501:接收智能售货柜传输的每个放置空间的图像。
具体的说,智能售货柜和物品识别装置通信连接,智能售货柜的主控模块控制摄像头对柜内的每个放置空间内镜子进行拍摄,并向物品识别装置发送拍摄的图像,物品识别装置接收每个放置空间的图像,当然,为了便于对图像进行识别,对每个放置空间拍摄至少一个图像并传输至物品识别装置。
步骤502:分别对每个放置空间的图像进行抗干扰处理。
具体的说,柜体内的摄像头拍摄的图像中可能存在其他与当前放置空间内物品无关的影像,为了减少对图像识别的干扰,需要对接收的图像进行抗干扰处理。抗干扰处理的具体过程至少包括三种方法,下面将详细说明三种抗干扰处理方法。
抗干扰处理方法一:
从每个图像中去除干扰影像,干扰影像包括摄像头的影像以及放置空间外的影像。
具体的说,由于镜子的镜面面向放置空间底部,而放置空间底部设置有摄像头,那么镜中成像中存在摄像头。摄像头的外形与黑色的瓶盖相近,因而,为了避免在图像识别过程中将摄像头误识别为瓶盖或者识别成其他物品,确保图像识别的准确性,需要从图像中去除摄像头影像。可以预先存储摄像头各个角度的图像,将包含摄像头的图像与预存的摄像头图像进行比对,并根据摄像头的位置,确定需要去除的摄像头影像。
当然,镜中可能存在放置空间外的影像,因此,可以将放置空间外的区域从图像中抠除,例如,以放置空间的四个侧壁(可以包括柜门)作为目标区域的边界,贴合目标区域边界将边界外的影像去除。
抗干扰处理方法二:
判断图像中是否包含限高线;若是,且确定图像中物品的高度小于限高线的高度,则按照限高线裁切图像,否则,按照图像中镜子的边缘裁切图像。
具体的说,预先存储限高线的有效特征(如,红色的直线,虚点线),便于通过特征比对判断图像中是否包含限高线,若是未检测到限高线,或者检测到限高线且存在高度高于限高线的物品,则直接以图像中镜子的边缘作为裁切边界,对图像进行裁切。若是检测到限高线,且图像中物品的高度均低于限高线,则以限高线为边界对图像进行裁切。可以理解的是,若放置空间的4个侧面并非都有限高线,可以通过其他限高线计算获得,例如,若只有一个限高线,通过计算可以获得该限高线在图像中所处高度,继而可以在图像中画出其他侧面的限高线。
通过裁切图像的方式可以避免实际影像与镜中的影像同时出现图像中,减少图像识别的难度,同时避免识别出非放置空间内物品的概率。
抗干扰处理方法三:
具体的说,将抗干扰处理方法一与抗干扰处理方法二进行任意组合,即可以先进行抗干扰处理方法一,再进行抗干扰处理方法二,或者先进行抗干扰处理方法二,再进行抗干扰处理方法一。
步骤503:识别抗干扰处理后的图像中的物品。
一个具体的实现中,识别抗干扰处理后的图像中每个物品的种类以及在图像中的位置。
具体的说,可以采用深度学习的方式对抗干扰处理后的图像进行识别,确定出图中物品的种类以及物品在图像中的位置。还可以采用比对的方式识别图中物品,该方法需要预先存储物品各个角度的图像,将抗干扰处理后的图像和预先存储的物品图像进行匹配,根据相似度确定图像中的物品种类。
本实施例相对于现有技术而言,通过对接收的图像进行抗干扰处理,消除通过拍摄镜子中的成像中的干扰影像,通过裁切图像的方式可以避免实际影像与镜中的影像同时出现图像中,减少图像识别的难度,同时避免识别出非放置空间内物品的概率。
本申请的第六实施例涉及一种物品识别装置,该物品识别装置与智能售货柜通信连接,物品识别装置60包括:通信模块601、图像处理模块602和图像识别模块603,该物品识别装置的具体结构如图6所示。
具体的说,通信模块601用于接收智能售货柜传输的每个放置空间的图像;图像处理模块602用于分别对每个放置空间的图像进行抗干扰处理;图像识别模块603用于识别抗干扰处理后图像中的物品。
本实施例是与上述物品识别方法对应的虚拟装置实施例,上述方法实施例中技术细节在本实施例中依然适用,此处不再赘述。
需要说明的是,以上所述的装置实施例仅仅是示意性的,并不对本申请的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的,此处不做限制。
本申请的第七实施例涉及一种服务器70,其结构如图7所示。包括:至少一个处理器701;以及,与至少一个处理器701通信连接的存储器702。存储器702存储有可被至少一个处理器701执行的指令。指令被至少一个处理器701执行,以使至少一个处理器701能够执行上述的物品识别方法。
存储器702和处理器701采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器701和存储器702的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器701处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器701。
处理器701负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器702可以被用于存储处理器在执行操作时所使用的数据。
需要说明的是,本实施例中的处理器能够执行上述的方法实施例中实施步骤,具体的执行功能并未详细说明,可参见方法实施例中的技术细节,此处不再赘述。
本申请的第八实施例涉及一种计算机可读存储介质,该可读存储介质为计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,该计算机指令使计算机能够执行本申请第五实施例中涉及的物品识别方法。
需要说明的是,本领域的技术人员能够理解,上述实施例中显示方法是通过程序来指令相关的硬件来完成的,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random-Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (16)

1.一种智能售货柜,其中,包括:设置有至少一个放置空间的柜体,设置在每个所述放置空间底部中心位置处且高度可调节的支架,设置在所述支架上的摄像头,覆盖放置空间顶部且镜面朝向放置空间底部的镜子,以及与所述摄像头通信连接的主控模块;
所述摄像头的镜头正对所述摄像头所在放置空间内的镜子,所述摄像头的视角范围覆盖所述摄像头所在放置空间的镜子的镜面;
所述主控模块控制所述摄像头对所述放置空间内的所述镜子进行拍摄,并将拍摄获得的图像传输至物品识别装置进行处理;
所述主控模块具体用于:
调节所述支架的高度,并控制所述摄像头处于不同视角范围并对所述放置空间内的所述镜子进行拍摄,获得所述摄像头在不同视角范围拍摄的图像;
从所述摄像头在不同视角范围拍摄的图像中选取最佳图像,将所述最佳图像对应的视角范围确定为最佳视角范围,并通过调节所述支架的高度将所述摄像头的视角调整至所述最佳视角范围,其中,所述最佳图像中包括所述摄像头所在放置空间内的所有物品,且每个所述物品在图像中的像素面积最大。
2.根据权利要求1所述的智能售货柜,其中,所述主控模块还用于:
在控制所述摄像头处于不同视角范围时对所述放置空间内的所述镜子进行拍摄之前,接收到所述柜体内物品放置完毕的信号。
3.根据权利要求1或2所述的智能售货柜,其中,所述摄像头为定焦摄像头或变焦摄像头。
4.根据权利要求3所述的智能售货柜,其中,若所述摄像头为变焦摄像头,所述主控模块具体用于:
控制所述摄像头在不同的焦距下对所述放置空间内的所述镜子进行拍摄,获得所述摄像头在不同焦距下拍摄的图像;
从所述摄像头在不同焦距下拍摄的图像中选取所述最佳图像,将所述最佳图像对应的焦距确定为最佳焦距,调节所述摄像头的焦距至所述最佳焦距。
5.根据权利要求1所述的智能售货柜,其中,所述支架中包括电机,所述主控模块具体用于通过控制电机调节所述支架的高度。
6.根据权利要求1至5中任一项所述的智能售货柜,其中,所述智能售货柜还包括柜门,所述柜门与所述柜体铰接;
所述主控模块具体用于:
在检测到柜门关闭后,控制所述摄像头在最佳视角范围对所述放置空间内的所述镜子进行拍摄,并将所述拍摄的图像传输至物品识别装置进行图像识别。
7.根据权利要求6所述的智能售货柜,其中,所述放置空间的任意侧面设置有限高线,所述限高线用于标识允许放置的放置物的最高高度。
8.根据权利要求1所述的智能售货柜,其中,所述镜子为平面镜、凸面镜或者凹面镜。
9.根据权利要求1所述的智能售货柜,其中,所述摄像头与所述主控模块采用有线和/或无线通信的方式连接。
10.根据权利要求1所述的智能售货柜,其中,所述放置空间由层隔板分隔所述柜体获得。
11.一种物品识别方法,其中,用于识别如权利要求1至10中任一项所述的智能售货柜中的物品,包括:
接收所述智能售货柜传输的每个放置空间的图像;
分别对每个所述放置空间的图像进行抗干扰处理;
识别所述抗干扰处理后的图像中的物品。
12.根据权利要求11所述的物品识别方法,其中,所述分别对每个所述放置空间的图像进行抗干扰处理,具体包括:
从所述每个图像中去除干扰影像,所述干扰影像包括摄像头的影像以及放置空间外的影像;
和/或,
判断所述图像中是否包含限高线,若是,且确定所述图像中物品的高度小于所述限高线的高度,则按照所述限高线裁切所述图像,否则,按照所述图像中镜子的边缘裁切所述图像。
13.根据权利要求11至12中任一项所述的物品识别方法,其中,所述识别所述抗干扰处理后的图像中的物品,具体包括:
识别所述抗干扰处理后的图像中每个物品的种类以及在图像中的位置。
14.一种物品识别装置,其中,所述物品识别装置与权利要求1至10中任一项所述的智能售货柜通信连接,所述物品识别装置包括:通信模块、图像处理模块和图像识别模块;
所述通信模块用于接收所述智能售货柜传输的每个放置空间的图像;
所述图像处理模块用于分别对每个所述放置空间的图像进行抗干扰处理;
所述图像识别模块用于识别所述抗干扰处理后图像中的物品。
15.一种服务器,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求11至13任一项所述的物品识别方法。
16.一种计算机可读存储介质,存储有计算机程序,其中,所述计算机程序被处理器执行时实现权利要求11至13任一项所述的物品识别方法。
CN201880001294.6A 2018-05-17 2018-05-17 智能售货柜、物品识别方法、装置、服务器和存储介质 Active CN108780505B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/087304 WO2019218303A1 (zh) 2018-05-17 2018-05-17 智能售货柜、物品识别方法、装置、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN108780505A CN108780505A (zh) 2018-11-09
CN108780505B true CN108780505B (zh) 2022-11-08

Family

ID=64029104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001294.6A Active CN108780505B (zh) 2018-05-17 2018-05-17 智能售货柜、物品识别方法、装置、服务器和存储介质

Country Status (2)

Country Link
CN (1) CN108780505B (zh)
WO (1) WO2019218303A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191668A (zh) * 2018-08-20 2019-01-11 上海了物网络科技有限公司 基于镜面反射的物品视觉识别售货柜
CN109671227B (zh) * 2018-11-13 2024-04-26 达闼机器人股份有限公司 智能货柜消费行为识别方法、装置、存储介质和电子设备
CN109753881B (zh) * 2018-12-13 2023-05-12 小黄狗环保科技有限公司 一种防止强光干扰饮料瓶回收机识别投递物的方法
CN109509293A (zh) * 2018-12-29 2019-03-22 哈尔滨新中新电子股份有限公司 新型餐品自动售卖机
CN109686104B (zh) * 2018-12-31 2020-12-11 武汉静磁栅机电制造有限公司 一种车辆超高检测方法
CN109815896B (zh) * 2019-01-23 2022-12-27 武汉嗨柜技术有限公司 一种针对智能售货柜的参数可配置的虚拟货道划分方法
DE102019204893A1 (de) * 2019-04-05 2020-10-08 Sielaff GmbH & Co. KG Automatenbau Herrieden Warenverkaufsautomat und Verfahren
CN110211187A (zh) * 2019-04-28 2019-09-06 上海小萌科技有限公司 一种多摄像头位置标定方法
CN112990138B (zh) * 2019-11-18 2022-04-29 支付宝(杭州)信息技术有限公司 层板调控设备、方法及装置
CN111166057A (zh) * 2020-02-18 2020-05-19 枣庄学院 图书馆运输车
CN111260299B (zh) * 2020-02-18 2023-07-18 中国联合网络通信集团有限公司 货品盘点及管理方法、装置、电子设备及存储介质
CN112270324B (zh) * 2020-10-26 2024-03-01 成都平凡谷科技有限公司 一种通过采集客显数据的货品信息分析方法和系统
CN114762010A (zh) * 2020-10-29 2022-07-15 京东方科技集团股份有限公司 监控设备、监控方法
CN114022999A (zh) * 2021-10-27 2022-02-08 北京云迹科技有限公司 一种自动售货机的缺货检测方法、装置、设备和介质
CN113723383B (zh) * 2021-11-03 2022-06-28 武汉星巡智能科技有限公司 异视角同步识别同区域商品的订单生成方法及智能售货机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202841321U (zh) * 2012-10-19 2013-03-27 吴平 一种利用镜像获取纸质文档图像的高速摄像扫描装置
US9842236B2 (en) * 2015-07-09 2017-12-12 Ncr Corporation Scanner including a switchable mirror and method for using same
CN107992820B (zh) * 2017-11-29 2021-08-03 北京伟景智能科技有限公司 基于双目视觉的货柜自助售货方法
CN107909719B (zh) * 2017-12-11 2023-12-15 晋江市出奇爱食品有限公司 一种自动售货柜

Also Published As

Publication number Publication date
CN108780505A (zh) 2018-11-09
WO2019218303A1 (zh) 2019-11-21

Similar Documents

Publication Publication Date Title
CN108780505B (zh) 智能售货柜、物品识别方法、装置、服务器和存储介质
CN108885813B (zh) 智能售货柜、物品识别的方法、装置、服务器和存储介质
EP3907657A1 (en) A digital media frame and method for configuring a field of view of a digital media frame
CN107743224B (zh) 镜头脏污的提醒方法、系统、可读存储介质及移动终端
US10597169B2 (en) Method of aerial vehicle-based image projection, device and aerial vehicle
US9965701B2 (en) Image processing apparatus and method
JP4478510B2 (ja) カメラシステム、カメラ、及びカメラの制御方法
CN105512685B (zh) 物体识别方法和装置
CN103927250B (zh) 一种终端设备用户姿态检测方法
CN110688914A (zh) 一种手势识别的方法、智能设备、存储介质和电子设备
US11206376B2 (en) Systems and methods for image processing
US20150227806A1 (en) Object information extraction apparatus, object information extraction program, and object information extraction method
US20160163075A1 (en) Device and method of displaying heat map on perspective drawing
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
CN110298268B (zh) 单镜头识别双向客流的方法、装置、存储介质及摄像头
JP2016206995A (ja) 画像処理装置、画像処理方法、及びプログラム
CN101996408B (zh) 图像处理设备和图像处理方法
US20230206093A1 (en) Music recommendation method and apparatus
CN112017210A (zh) 目标物体跟踪方法及装置
WO2019218152A1 (zh) 一种智能售货柜
CN110363036B (zh) 基于线控器的扫码方法及装置、扫码系统
AU2015282375A1 (en) One-to-many-surface parking lot management system using omnidirectional camera and management method thereof
CN111683239A (zh) 三维相机的控制方法、装置及计算机可读存储介质
WO2024015691A1 (en) Removal of objects from images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220130

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant