CN111241869B - 物料盘点的方法、装置及计算机可读存储介质 - Google Patents
物料盘点的方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111241869B CN111241869B CN201811433100.8A CN201811433100A CN111241869B CN 111241869 B CN111241869 B CN 111241869B CN 201811433100 A CN201811433100 A CN 201811433100A CN 111241869 B CN111241869 B CN 111241869B
- Authority
- CN
- China
- Prior art keywords
- image
- materials
- information
- area
- designated area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 1165
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 15
- 238000001514 detection method Methods 0.000 abstract description 64
- 230000008569 process Effects 0.000 abstract description 11
- 238000010191 image analysis Methods 0.000 abstract description 10
- 238000012549 training Methods 0.000 description 22
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本公开是关于一种物料盘点的方法、装置及计算机可读存储介质,涉及图像分析领域。该方法包括:对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后将至少一个物料图像输入至物料对应的物料检测模型中,并接收物料检测模型输出的指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
Description
技术领域
本公开涉及图像分析领域,尤其涉及一种物料盘点的方法、装置及计算机可读存储介质。
背景技术
为了掌握物料入库、出库等流动情况,通常需要对物料进行盘点,也即查询物料的名称以及指定区域中存放的物料数量等物料信息。
目前主流的物料盘点方法主要有人工盘点方法和半自动化盘点方法,人工盘点即由管理人员采用手工登记的方式查询物料的物料信息。半自动化盘点为基于RFID(RadioFrequency Identification,射频识别)标签的盘点,即用户预先在物料上安装记录有物料的属性信息的RFID标签,并使用扫描设备扫描物料上安装的RFID标签获取物料的属性信息。扫描设备根据物料的属性信息,统计指定区域中的物料的物料信息。
然而,人工盘点方法费时费力,盘点效率较低;半自动化盘点方法需要用户对每一个物料贴RFID标签,盘点效率仍然较低。
发明内容
本公开提供一种物料盘点的方法、装置及计算机可读存储介质,可以解决人工盘点或半自动盘点的盘点效率较低的问题。
第一方面,提供一种物料盘点的方法,包括:
对指定区域中的物料进行拍摄,得到至少一个物料图像,所述指定区域为存放物料的区域;
将所述至少一个物料图像输入至所述物料对应的物料检测模型中,所述物料检测模型用于检测物料图像中的物料信息;
接收所述物料检测模型输出的所述指定区域中的所述物料的物料信息。
在一个可能的实现方式中,所述将所述至少一个物料图像输入至所述物料对应的物料检测模型中之前,所述方法还包括:
获取所述物料的至少一个样本图像;
基于所述至少一个样本图像和所述物料的物料标识,通过卷积神经网络进行训练,得到所述物料检测模型。
在一个可能的实现方式中,所述接收所述物料检测模型输出的所述指定区域中的所述物料的物料信息之后,还包括:
将所述至少一个物料图像和所述物料的物料信息进行关联,存储所述至少一个物料图像和所述物料的物料信息,所述物料信息包括物料标识和物料数量。
在一个可能的实现方式中,所述将所述至少一个物料图像和所述物料的物料信息进行关联,包括:
将所述物料的物料信息加载到所述至少一个物料图像中。
在一个可能的实现方式中,所述对指定区域中的物料进行拍摄,得到至少一个物料图像,包括:
对所述指定区域中的物料拍摄物料视频,从所述物料视频中提取所述至少一个物料图像;或者,
对所述指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
第二方面,提供一种物料盘点的方法,包括:
对指定区域中的物料进行拍摄,得到至少一个物料图像,所述指定区域为存放物料的区域;
提取所述至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息;
基于所述至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定所述指定区域中包括的每个物料的物料标识;
基于所述每个物料的物料标识,确定所述指定区域中的所述物料的物料信息。
在一个可能的实现方式中,所述提取所述至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息,包括:
对于每个物料图像,通过物料定位模型确定出至少一个物料图像区域;
从所述至少一个物料图像区域中提取至少一个物料特征信息。
在一个可能的实现方式中,所述基于所述每个物料的物料标识,确定所述指定区域中的所述物料的物料信息之后,还包括:
将所述至少一个物料图像和所述物料的物料信息进行关联,存储所述至少一个物料图像和所述物料的物料信息所述物料信息包括物料标识和物料数量。
在一个可能的实现方式中,所述将所述至少一个物料图像和所述物料的物料信息进行关联,包括:
将所述物料的物料信息加载到所述至少一个物料图像中。
在一个可能的实现方式中,所述对指定区域中的物料进行拍摄,得到至少一个物料图像,包括:
对所述指定区域中的物料拍摄物料视频,从所述物料视频中提取所述至少一个物料图像;或者,
对所述指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
第三方面,提供一种物料盘点的装置,所述装置包括:
第一拍摄模块,用于对指定区域中的物料进行拍摄,得到至少一个物料图像,所述指定区域为存放物料的区域;
输入模块,用于将所述至少一个物料图像输入至所述物料对应的物料检测模型中,所述物料检测模型用于检测物料图像中的物料信息;
接收模块,用于接收所述物料检测模型输出的所述指定区域中的所述物料的物料信息。
在一个可能的实现方式中,所述装置还包括:
训练模块,用于获取所述物料的至少一个样本图像;基于所述至少一个样本图像和所述物料的物料标识,通过卷积神经网络进行训练,得到所述物料检测模型。
在一个可能的实现方式中,所述装置还包括:
第一关联模块,用于将所述至少一个物料图像和所述物料的物料信息进行关联,存储所述至少一个物料图像和所述物料的物料信息,所述物料信息包括物料标识和物料数量。
在一个可能的实现方式中,所述第一关联模块,还用于将所述物料的物料信息加载到所述至少一个物料图像中。
在一个可能的实现方式中,所述第一拍摄模块,还用于对所述指定区域中的物料拍摄物料视频,从所述物料视频中提取所述至少一个物料图像;或者,对所述指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
第四方面,提供一种物料盘点的装置,所述装置包括:
第二拍摄模块,用于对指定区域中的物料进行拍摄,得到至少一个物料图像,所述指定区域为存放物料的区域;
提取模块,用于提取所述至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息;
确定模块,用于基于所述至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定所述指定区域中包括的每个物料的物料标识;基于所述每个物料的物料标识,确定所述指定区域中的所述物料的物料信息。
在一个可能的实现方式中,所述提取模块,还用于对于每个物料图像,通过物料定位模型确定出至少一个物料图像区域;从所述至少一个物料图像区域中提取至少一个物料特征信息。
在一个可能的实现方式中,所述装置还包括:
第二关联模块,用于物料图像和所述物料的物料信息进行关联,存储所述至少一个物料图像和所述物料的物料信息,所述物料信息包括物料标识和物料数量。
在一个可能的实现方式中,所述第二关联模块还用于将所述物料的物料信息加载到所述至少一个物料图像中。
在一个可能的实现方式中,所述第二拍摄模块,还用于对所述指定区域中的物料拍摄物料视频,从所述物料视频中提取所述至少一个物料图像;或者,对所述指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
第五方面,提供一种物料盘点的装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。
第六方面,提供一种物料盘点的装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述第二方面所述的任一项方法的步骤。
第七方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
第八方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第二方面所述的任一项方法的步骤。
第九方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一项所述方法的步骤。
第十方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面任一项所述方法的步骤。
本公开的实施例提供的技术方案至少可以包括以下有益效果:
在本公开实施例中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后将至少一个物料图像输入至物料对应的物料检测模型中,并接收物料检测模型输出的指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种实施环境的示意图。
图2是根据一示例性实施例示出的一种物料盘点的方法的流程图。
图3是根据一示例性实施例示出的一种物料盘点的方法的流程图。
图4是根据一示例性实施例示出的一种物料盘点的方法的流程图。
图5是根据一示例性实施例示出的一种物料盘点的方法的流程图。
图6是根据一示例性实施例示出的一种物料盘点的装置的框图。
图7是根据一示例性实施例示出的一种物料盘点的装置的框图。
图8是根据一示例性实施例示出的一种终端的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与本公开的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细的解释说明之前,先对本公开实施例的实施环境进行介绍:
在本公开实施例中,物料盘点的方法可以由物料盘点的装置实现,该物料盘点的装置可以是终端101。图1是本发明实施例提供的一种实施环境的示意图,参见图1,该终端101可以包括物料图像采集单元1011、物料图像分析单元1012和物料信息应用单元1013,物料图像采集单元1011、物料图像分析单元1012和物料信息应用单元1013之间依次连接。其中,物料图像采集单元1011可以为摄像头,物料图像分析单元1012可以嵌入到图像采集单元1011中,还可以集成到专门的分析设备中;同样,物料信息应用单元1013可以嵌入到图像采集单元1011中,也可以集成到专门的应用单元中。另外,终端101可以为手机终端设备、PAD(Portable Android Device,平板电脑)终端设备或者电脑终端设备等任一能够进行物料盘点的设备。
终端101可以通过物料图像采集单元1011对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域;然后通过物料图像分析单元1012对至少一个物料图像进行分析,得到指定区域中的物料的物料信息。在得到指定区域中的物料的物料信息后,终端101还可以通过物料信息应用单元1013将物料图像和该物料的物料信息进行关联,以实现指定区域中物料的可视化。其中,终端101可以通过物料图像分析单元1012基于物料检测模型对至少一个物料图像进行分析,也可以通过物料图像分析单元1012基于物料特征信息对至少一个物料图像进行分析。
当终端101基于物料检测模型对至少一个物料图像进行分析时,可以预先离线训练一个需要检测的物料对应的物料检测模型,并通过物料图像分析单元1012加载该物料检测模型。然后,获取至少一个物料图像的RGB(Red Green Blue,红绿蓝)通道数据,并将至少一个物料图像的RGB通道数据输入至该物料检测模型中。之后,接收该物料检测模型输出的物料位置、每个物料位置上物料的置信度和物料类别这三个参数,再根据每个物料位置上物料的置信度确定出大于预设置信度阈值的置信度对应的物料位置和物料类别,并根据确定出的物料位置和物料类别确定指定区域中的物料的物料信息。其中,终端101可以采用Faster-RCNN(Faster-Region with Convolutional neural network,快速区域卷积神经网络)训练物料检测模型。
当终端101基于物料特征信息对至少一个物料图像进行分析时,可以预先离线训练一个物料定位模型和一个物料特征提取模型,并预先离线建立一个物料库,通过物料图像分析单元1012加载该物料定位模型和物料特征提取模型。然后,利用该物料定位模型确定出至少一个物料图像中物料的物料位置和每个物料位置上物料的置信度,并确定出大于预设置信度阈值的置信度对应的物料位置,进而基于该物料位置确定出至少一个物料图像区域。再利用物料特征提取模型从至少一个物料图像区域中提取至少一个物料特征信息。最后,根据至少一个物料特征信息和该物料库确定出物料标识,并基于物料标识确定出指定区域中的物料的物料信息。其中,终端101可以采用Faster-RCNN训练物料定位模型,采用图像分类网络训练物料特征提取模型,例如ResNet(Residence Hall Network,学生宿舍网络)系列的图像分类网络。
图2是根据一示例性实施例示出的一种物料盘点的方法流程图,如图2所示,该方法应用于终端中,包括以下步骤。
在步骤201中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。
在步骤202中,将至少一个物料图像输入至物料对应的物料检测模型中,物料检测模型用于检测物料图像中的物料信息。
在步骤203中,接收物料检测模型输出的指定区域中的物料的物料信息。
在一个可能的实现方式中,将该至少一个物料图像输入至该物料对应的物料检测模型中之前,该方法还包括:
获取该物料的至少一个样本图像;
基于该至少一个样本图像和该物料的物料标识,通过卷积神经网络进行训练,得到该物料检测模型。
在一个可能的实现方式中,接收该物料检测模型输出的该指定区域中的该物料的物料信息之后,还包括:
将该至少一个物料图像和该物料的物料信息进行关联,存储该至少一个物料图像和该物料的物料信息,该物料信息包括物料标识和物料数量。
在一个可能的实现方式中,将该至少一个物料图像和该物料的物料信息进行关联,包括:
将该物料的物料信息加载到该至少一个物料图像中。
在一个可能的实现方式中,对指定区域中的物料进行拍摄,得到至少一个物料图像,包括:
对该指定区域中的物料拍摄物料视频,从该物料视频中提取该至少一个物料图像;或者,
对该指定区域中的物料拍摄物料图像,从拍摄的该物料图像中提取至少一个物料图像。
在本发明实施例中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后将至少一个物料图像输入至物料对应的物料检测模型中,并接收物料检测模型输出的指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
图3是根据一示例性实施例示出的一种物料盘点的方法流程图,如图3所示,该方法应用于终端中,包括以下步骤。
在步骤301中,对指定区域中的物料进行拍摄,得到至少一个物料图像,所述指定区域为存放物料的区域。
在步骤302中,提取该至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息。
在步骤303中,基于该至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定该指定区域中包括的每个物料的物料标识。
在步骤304中,基于该每个物料的物料标识,确定该指定区域中的该物料的物料信息。
在一个可能的实现方式中,提取该至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息,包括:
对于每个物料图像,通过物料定位模型确定出至少一个物料图像区域;
从该至少一个物料图像区域中提取至少一个物料特征信息。
在一个可能的实现方式中,基于每个物料的物料标识,确定指定区域中的物料的物料信息之后,还包括:
将该至少一个物料图像和该物料的物料信息进行关联,存储该至少一个物料图像和该物料的物料信息,物料信息包括物料标识和物料数量。
在一个可能的实现方式中,将该至少一个物料图像和该物料的物料信息进行关联,包括:
将该物料的物料信息加载到该至少一个物料图像中。
在一个可能的实现方式中,对指定区域中的物料进行拍摄,得到至少一个物料图像,包括:
对该指定区域中的物料拍摄物料视频,从该物料视频中提取该至少一个物料图像;或者,
对该指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
在本发明实施例中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后提取至少一个物料图像中的每个物料图像的物料特征信息,并基于至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定指定区域中包括的每个物料的物料标识。进而可以基于每个物料的物料标识,确定指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
上述所有可选技术方案,均可按照任意结合形成本公开的可选实施例,本公开实施例对此不再一一赘述。
图4是根据一示例性实施例示出的一种物料盘点的方法流程图,本实施例将对图2所示的实施例进行展开说明。该方法应用于终端中,如图4所示,该方法包括以下步骤。
在步骤401中,终端对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。
终端对指定区域中的物料进行拍摄时,可以对该指定区域中的物料拍摄物料视频,并从该物料视频中提取至少一个物料图像。也可以对该指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
当终端从物料视频中提取至少一个物料图像时,可以先对物料视频进行初步筛选,筛选出至少一个拍摄有物料的物料视频片段,然后从至少一个物料视频片段中提取至少一个物料图像。其中,终端可以随机地从至少一个物料视频片段中提取至少一个物料图像,也可以预先对至少一个物料视频片段进行标记,然后提取有标记的至少一个物料图像。
当终端从拍摄的物料图像中提取至少一个物料图像时,可以对拍摄的物料图像进行初步筛选,筛选出至少一个拍摄有物料的物料图像,然后从至少一个拍摄有物料的物料图像中提取至少一个物料图像。其中,终端可以随机地从至少一个拍摄有物料的物料图像中提取至少一个物料图像,也可以预先对至少一个拍摄有物料的物料图像进行标记,然后提取有标记的至少一个物料图像。
需要说明的是,终端可以采用固定摄像机进行拍摄,也可以采用运动的球型摄像机进行拍摄,但原则是不论采用何种摄像机拍摄,得到的物料图像都能覆盖该指定区域中存放的所有物料。当采用固定摄像机拍摄时,该固定摄像机拍摄的至少一个物料图像能够覆盖指定区域中存放的所有物料。当采用运动的球型摄像机拍摄时,该球型摄像机可以通过不停转动的方式调整拍摄的范围,因此,该球型摄像机拍摄的任意一张物料图像可以只覆盖指定区域中存放的部分物料,但该球型摄像机在转动了一个周期内所拍摄的多张物料图像的总和能够覆盖指定区域中存放的所有物料。其中,球型摄像机转动的该周期为不重复拍摄指定区域中存放的物料的时间。在采用运动的球型摄像机拍摄时,还可以为球型摄像机设置预置位,也即将指定区域中的重点区域设置为预置位并保存在球型摄像机中,当球型摄像机接收到调用预置位的命令时,可以快速切换到该重点区域。
其中,该指定区域可以为用于存储物料的整个库房,或者库房的部分区域。并且,指定区域中存放的物料可以为大型物料,该大型物料为表面积大于预设表面积阈值的物料,例如,桌柜、钢板等。本公开实施例的场景适用于指定区域中存放的物料之间不完全重叠的场景中,例如,库房中平铺地堆放着大型物料。
还需要说明的是,终端可以实时地对指定区域中的物料进行拍摄;可以以指定时间间隔的方式对指定区域中的物料进行拍摄;可以在指定区域中的物料发生改变时进行拍摄,例如,物料数量发生变化、物料种类发生变化等;还可以为用户手动触发,也即接收到物料盘点指令时进行拍摄等等。本公开实施例中对此不做限定。
在步骤402中,终端将至少一个物料图像输入至物料对应的物料检测模型中,该物料检测模型用于检测物料图像中的物料信息;接收物料检测模型输出的指定区域中的物料的物料信息。
其中,该物料检测模型用于检测物料图像中的物料信息。当终端将一个物料图像输入至物料对应的物料检测模型中后,该物料检测模型可以输出该物料图像对应的指定区域中的物料的物料信息。因此,当终端将至少一个物料图像输入至物料对应的物料检测模型中时,该物料检测模型可以输出至少一个物料图像对应的指定区域中的物料的物料信息,也即得到至少一个物料信息。此时,终端可以对该至少一个物料信息求和,得到指定区域中所有物料的物料信息;当至少一个物料信息之间有重复的物料信息时,求和时只计算重复的一个物料信息。
需要说明的是,不同的物料可能对应不同的物料检测模型,例如,每一种物料都对应一种物料检测模型,或者,每几种物料对应一种物料检测模型。因此,当终端对至少一个物料图像检测物料信息时,可以从多种不同的物料检测模型中选择出需要检测的物料对应的物料检测模型。
还需要说明的是,终端可以预先训练得到物料检测模型。在训练时,终端可以先获取物料的至少一个样本图像,并基于该至少一个样本图像和物料的物料标识,通过卷积神经网络进行训练,得到物料检测模型。该物料标识可以为物料名称、物料标号等。
可选地,终端可以基于该至少一个样本图像和物料的物料标识,通过卷积神经网络对一个初始网络模型进行迭代训练,进而得到物料检测模型。在迭代训练时,可以确定每次训练时对应的迭代次数和损失值,当该迭代次数或损失值满足迭代停止条件时,将当前的网络模型确定为物料检测模型,该迭代次数为通过卷积神经网络训练的次数。当该迭代次数或损失值不满足迭代停止条件时,更新当前的网络模型,直到更新后的网络模型对应的损失值或者迭代次数满足迭代停止条件为止,将满足迭代停止条件对应的更新后的网络模型确定为物料检测模型。其中,损失值用于衡量物料检测模型进行检测时的错误程度。迭代停止条件可以为损失值小于预设阈值,也可以为损失值与预设阈值之间的差值不变,或者损失值与预设阈值之间的差值小于某个值,该预设阈值可以是预先设置的一个值。迭代停止条件也可以为迭代次数大于预设最大迭代次数。
终端在训练得到物料检测模型后,为了检测该物料检测模型的检测准确性,可以通过测试集对该物料检测模型进行测试。其中,终端可以接收用户输入的测试图像,并组成测试集。
需要说明的一点是,当指定区域中增加新物料时,终端还可以对该新物料进行拍摄,得到新物料的物料图像;进而通过该新物料的物料图像和新物料的物料标识对物料检测模型进行更新训练,以得到更新后的物料检测模型,该更新后的物料检测模型,用于检测物料图像中的该新物料的物料信息。
另外,终端在得到指定区域中的物料的物料信息之后,可以直接结束,也可以执行步骤403,对物料信息进行可视化处理。另外,终端确定出指定区域中的物料的物料信息之后,可以更新已存储的该物料的物料信息;还可以基于该物料的物料信息对已存储的物料信息进行核实。当核实的结果为该物料的物料信息与已存储的物料信息存在不同的物料信息时,终端可以基于该物料的物料信息对已存储的物料信息中不同的物料信息进行修改,然后保存修改后的物料信息。当核实的结果为该物料的物料信息与已存储的物料信息完全相同时,终端可以丢弃该物料的物料信息。
另外,终端可以利用确定的指定区域中的物料的物料信息统计指定区域的空间利用率、每种物料的周转率等等。
在步骤403中,终端将至少一个物料图像和物料的物料信息进行关联,存储至少一个物料图像和物料的物料信息,该物料信息包括物料标识和物料数量。
终端在确定至少一个物料图像的物料信息后,为了实现指定区域中物料的可视化,以便于随时对至少一个物料图像的物料信息进行查看,可以将至少一个物料图像和物料的物料信息进行关联,并存储该至少一个物料图像和物料的物料信息。其中,该物料信息包括该物料图像对应的物料的物料标识、该物料图像对应的每种物料的物料数量等,该物料标识可以为物料名称、物料标号等。
终端可以将物料的物料信息加载到至少一个物料图像中。可选地,终端可以将物料名称显示在至少一个物料图像的物料图像区域处,并在至少一个物料图像的其他区域处标记指定区域中存放的物料的物料数量。终端也可以将物料名称和物料数量均显示在至少一个物料图像的物料图像区域处。
另外,终端还可以为每种物料预先选取一张示意图像,然后将每种物料的示意图像显示在至少一个物料图像的物料图像区域处,并在至少一个物料图像的其他区域处标记每种物料的示意图像与每种物料的物料名称和物料数量的对应关系。其中,终端可以以动态的方式显示每种物料的示意图像,提升视觉体验。
需要说明的是,终端可以根据对至少一个物料图像触发的时间隐藏或显示加载到物料图像中的物料信息。可选地,当终端在预设时长内未检测到针对物料图像的触发操作时,可以隐藏加载到至少一个物料图像中的物料信息;当终端检测到针对物料图像的触发操作时,则可以在一定时长内显示至少一个物料图像中加载的物料信息。
在本发明实施例中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后将至少一个物料图像输入至物料对应的物料检测模型中,并接收物料检测模型输出的指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
图5是根据一示例性实施例示出的一种物料盘点的方法流程图,本实施例将对图3所示的实施例进行展开说明。该方法应用于终端中,如图5所示,该方法包括以下步骤。
在步骤501中,终端对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。
本步骤中对指定区域中的物料进行拍摄以得到至少一个物料图像的方法与步骤401中的方法相同,本公开实施例在此不再赘述。
在步骤502中,终端提取至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息。
终端在得到至少一个物料图像后,对于每个物料图像,可以通过物料定位模型确定出至少一个物料图像区域,并从该至少一个物料图像区域中提取至少一个物料特征信息。
需要说明的是,终端在通过物料定位模型确定至少一个物料图像区域之前,可以基于至少一个标定有物料图像区域的样本图像和物料图像区域,通过卷积神经网络进行训练,得到物料定位模型。同样也可以通过迭代训练的方式训练得到物料定位模型,迭代训练得到物料定位模型的过程与迭代训练得到物料检测模型的过程相似,在此不再进行赘述。
进一步,终端可以采用SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)、PCA(Principal Component Analysis,主成分分析)等方法从物料图像区域中提取物料特征信息。物料特征信息可以包括物料的颜色、纹理、形状等。
需要说明的是,终端可以通过物料特征提取模型从该至少一个物料图像区域中提取至少一个物料特征信息,该至少一个物料特征信息可以由特征向量表示。该物料特征提取模型可以基于至少一个已知物料图像区域中的物料特征信息的样本图像和物料特征信息,通过卷积神经网络进行训练得到。其中,训练物料特征提取模型的样本图像可以由多种不同的物料的物料图像组成,且每种物料对应两张物料图像,这两张物料图像是在不同的拍摄条件下拍摄的,例如,不同的光照条件、不同的视角条件以及不同的分辨率条件等等。另外,同样也可以通过迭代训练的方式训练得到物料特征提取模型,迭代训练得到物料特征提取模型的过程与迭代训练得到物料检测模型的过程相似,在此也不再进行赘述。
另外,需要说明的一点是,当指定区域中增加新物料且终端对该新物料拍摄得到该新物料的物料图像时,终端可以对新物料的物料图像标定物料图像区域,然后基于标定有物料图像区域的新物料的物料图像和物料图像区域,对物料定位模型进行更新训练,以得到更新后的物料定位模型。终端还可以确定新物料的物料图像中物料图像区域的物料特征信息,进而根据该物料特征信息和新物料的物料图像对物料特征提取模型进行更新训练,以得到更新后的物料特征提取模型。
在步骤503中,终端基于至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定指定区域中包括的每个物料的物料标识。
需要说明的是,物料库中包含每种物料的基准特征信息和每种物料的物料标识之间的对应关系。终端在得到至少一个物料特征信息时,可以基于该对应关系,通过图像特征比对算法将至少一个物料特征信息和物料库中的每种物料的基准特征信息进行比对,进而确定出每个物料的物料标识。
在一种可能的实现方式中,图像比对算法可以是距离比较的算法。对于每个物料特征信息,终端可以计算用于表示物料特征信息的特征向量,与用于表示每种物料的基准特征信息的特征向量之间的余弦距离,得到多个余弦距离。然后,对该多个余弦距离进行排序,进而选取最小的余弦距离对应的物料标识作为指定区域中包括的每个物料的物料标识。
在另一种可能的实现方式中,图像比对算法可以是相似度比较的算法。对于每个物料特征信息,终端可以计算每个物料特征信息和每种物料的基准特征信息之间的相似度,确定大于第一预设阈值的相似度对应的物料的基准特征信息,并根据每个物料的基准特征信息和每个物料的物料标识之间的对应关系,确定该基准特征信息对应的物料标识。然后将该物料标识确定为每个物料特征信息对应的物料的物料标识,进而确定出指定区域中包括的每个物料的物料标识。
需要说明的是,当指定区域中增加新物料时,可以判断该新物料的种类是否为物料库中物料种类中的任意一种,如果是,则可以根据该新物料的特征信息对物料库中与该新物料属于同一种类的物料的基准特征信息进行微调。如果不是,则可以将该新物料的物料特征信息作为与该新物料属于同一种类的物料的基准特征信息,并将该基准特征信息和该新物料的物料标识添加到物料库中。
在步骤504中,终端基于每个物料的物料标识,确定指定区域中的物料的物料信息。
物料信息包括物料标识和每种物料的物料数量,终端在得到每个物料的物料标识之后,可以先根据物料标识统计每种物料的物料数量,将每种物料的物料标识和物料数量组成该物料的物料信息。例如,指定区域中包含物料的物料标识分别为A-1、A-2、A-3、A-4、A-5、B-1、B-2、B-3、C-1、C-2,则可以确定A-1、A-2、A-3、A-4、A-5属于A物料,B-1、B-2、B-3属于B物料,C-1、C-2属于C物料,然后统计A物料的物料数量为5,B物料的物料数量为3,C物料的物料数量为2。当然,物料信息还可以包括其他与物料的有关的信息,例如,物料的形状、大小、颜色和/或类型等。本公开实施例对此不作限定。
当指定区域中平铺地堆放着多个大型物料,且这多个大型物料之间不完全重叠时,终端可以先得到该多个大型物料的物料标识,然后根据该物料标识统计该多个大型物料的物料数量,进而将每种大型物料的物料标识和物料数量组成物料的物料信息。
需要说明的是,由于指定区域中可能存放一种物料,也可能存放多种物料。因此,当终端得到指定区域中包括的每个物料的物料标识后,可以对每个物料的物料标识进行对比,当对比结果为每个物料的物料标识都相同时,确定指定区域中只存放一种物料;当对比结果为每个物料的物料标识都不完全相同时,确定指定区域中存放多种物料。当指定区域中只存放一种物料时,可以直接统计所有物料的物料数量,进而将所有物料的物料数量和该物料的物料标识组成该物料的物料信息。当指定区域中存放多种物料时,终端可以根据物料标识确定指定区域中存放的物料的种类数,然后根据物料标识确定每种物料的物料数量,进而将每种物料的物料标识和物料数量组成指定区域中存放的物料的物料信息。
需要说明的一点是,终端确定出指定区域中的物料的物料信息之后,可以直接结束,也可以执行步骤505,对物料信息进行可视化处理。另外,终端确定出指定区域中的物料的物料信息之后,可以更新已存储的该物料的物料信息;还可以基于该物料的物料信息对已存储的物料信息进行核实。当核实的结果为该物料的物料信息与已存储的物料信息存在不同的物料信息时,终端可以基于该物料的物料信息对已存储的物料信息中不同的物料信息进行修改,然后保存修改后的物料信息。当核实的结果为该物料的物料信息与已存储的物料信息完全相同时,终端可以丢弃该物料的物料信息。
另外,终端可以利用确定的指定区域中的物料的物料信息统计指定区域的空间利用率、每种物料的周转率等等。
在步骤505中,终端将至少一个物料图像和物料的物料信息进行关联,存储至少一个物料图像和物料的物料信息。
本步骤中将至少一个物料图像和物料的物料信息进行关联,并存储至少一个物料图像和物料的物料信息的方法,与步骤403中的方法相同,本公开实施例在此不再赘述。
在本发明实施例中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后提取至少一个物料图像中的每个物料图像的物料特征信息,并基于至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定指定区域中包括的每个物料的物料标识。进而可以基于每个物料的物料标识,确定指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
图6是根据一示例性实施例示出的一种物料盘点的装置框图。如图6所示,该装置包括第一拍摄模块601、输入模块602和接收模块603。
第一拍摄模块601,用于对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域;
输入模块602,用于将该至少一个物料图像输入至该物料对应的物料检测模型中,该物料检测模型用于检测物料图像中的物料信息;
接收模块603,用于接收该物料检测模型输出的该指定区域中的该物料的物料信息。
在一个可能的实现方式中,该装置还包括:
训练模块,用于获取该物料的至少一个样本图像;基于该至少一个样本图像和该物料的物料标识,通过卷积神经网络进行训练,得到该物料检测模型。
在一个可能的实现方式中,该装置还包括:
第一关联模块,用于将至少一个物料图像和物料的物料信息进行关联,存储至少一个物料图像和物料的物料信息,物料信息包括物料标识和物料数量。
在一个可能的实现方式中,第一关联模块还用于将物料的物料信息加载到至少一个物料图像中。
在一个可能的实现方式中,第一拍摄模块601还用于对指定区域中的物料拍摄物料视频,从物料视频中提取至少一个物料图像;或者,对指定区域中的物料拍摄物料图像,从拍摄的物料图像中提取至少一个物料图像。
图7是根据一示例性实施例示出的一种物料盘点的装置框图。如图7所示,该装置包括第二拍摄模块701、提取模块702和确定模块703。
第二拍摄模块701,用于对指定区域中的物料进行拍摄,得到至少一个物料图像,所述指定区域为存放物料的区域。
提取模块702,用于提取该至少一个物料图像中的每个物料图像的物料特征信息,得到至少一个物料特征信息。
确定模块703,用于基于该至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定该指定区域中包括的每个物料的物料标识;基于该每个物料的物料标识,确定该指定区域中的该物料的物料信息。
在一个可能的实现方式中,该提取模块702还用于对于每个物料图像,通过物料定位模型确定出至少一个物料图像区域;从该至少一个物料图像区域中提取至少一个物料特征信息。
在一个可能的实现方式中,该装置还包括:
第二关联模块,用于物料图像和该物料的物料信息进行关联,存储该至少一个物料图像和该物料的物料信息,物料信息包括物料标识和物料数量。
在一个可能的实现方式中,该第二关联模块还用于将该物料的物料信息加载到该至少一个物料图像中。
在一个可能的实现方式中,该第二拍摄模块701,还用于对该指定区域中的物料拍摄物料视频,从该物料视频中提取该至少一个物料图像;或者,对该指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
在本发明实施例中,对指定区域中的物料进行拍摄,得到至少一个物料图像,该指定区域为存放物料的区域。然后提取至少一个物料图像中的每个物料图像的物料特征信息,并基于至少一个物料特征信息以及物料库中的每种物料的基准特征信息,确定指定区域中包括的每个物料的物料标识。进而可以基于每个物料的物料标识,确定指定区域中的物料的物料信息。如此,得到物料信息的过程不需要人工参与,提高了物料盘点的效率。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8示出了本发明一个示例性实施例提供的终端800的结构框图。该终端800可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的物料盘点的方法。
在一些实施例中,终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器818以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质应用于终端,该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的物料盘点的方法中终端所执行的操作。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。
Claims (6)
1.一种物料盘点的方法,其特征在于,所述方法包括:
对指定区域中的物料进行拍摄,得到至少一个物料图像,其中,所述物料图像覆盖所述指定区域中存放的所有物料,所述指定区域为存放物料的库房,所述库房中平铺地堆放物料;
对于每个物料图像,通过物料定位模型确定出所述物料图像中物料的物料位置和每个物料位置上物料的置信度,并确定出大于预设置信度阈值的置信度对应的物料位置,基于所述大于预设置信度阈值的置信度对应的物料位置,在所述物料图像中确定出至少一个物料图像区域;
通过物料特征提取模型从所述至少一个物料图像区域中提取至少一个物料特征信息,其中,所述物料特征信息包括物料的颜色、纹理和形状;
通过图像特征比对算法将所述至少一个物料特征信息与物料库中的每种物料的基准特征信息进行比对,确定所述指定区域中包括的每个物料的物料标识,其中,所述图像特征比对算法为距离比较算法或相似度比较算法,所述物料库中包含每种物料的基准特征信息和每种物料的物料标识之间的对应关系,所述物料标识为物料名称或物料标号;
基于所述每个物料的物料标识,确定所述指定区域中的所述物料的物料信息,所述物料信息包括物料标识和物料数量;
将所述至少一个物料图像和所述物料的物料标识和物料数量进行关联,存储所述至少一个物料图像和所述物料的物料标识和物料数量;
在所述至少一个物料图像中显示对应的物料标识、物料数量和示意图像,其中,所述示意图像是为对应的物料预先选取的,每种物料均对应有示意图像,所述物料标识和所述示意图像显示在对应的物料所在的物料图像区域;
当在预设时长内未检测到针对所述物料图像的触发操作时,在所述物料图像中隐藏所述物料标识、所述物料数量和所述示意图像;
当检测到针对所述物料图像的触发操作时,在所述物料图像中显示所述物料标识、所述物料数量和所述示意图像。
2.如权利要求1所述的方法,其特征在于,所述对指定区域中的物料进行拍摄,得到至少一个物料图像,包括:
对所述指定区域中的物料拍摄物料视频,从所述物料视频中提取所述至少一个物料图像;或者,
对所述指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
3.一种物料盘点的装置,其特征在于,所述装置包括:
第二拍摄模块,用于对指定区域中的物料进行拍摄,得到至少一个物料图像,其中,所述物料图像覆盖所述指定区域中存放的所有物料,所述指定区域为存放物料的库房,所述库房中平铺地堆放物料;
提取模块,用于对于每个物料图像,通过物料定位模型确定出所述物料图像中物料的物料位置和每个物料位置上物料的置信度,并确定出大于预设置信度阈值的置信度对应的物料位置,基于所述大于预设置信度阈值的置信度对应的物料位置,在所述物料图像中确定出至少一个物料图像区域;
所述提取模块,还用于通过物料特征提取模型从所述至少一个物料图像区域中提取至少一个物料特征信息,其中,所述物料特征信息包括物料的颜色、纹理和形状;
确定模块,用于通过图像特征比对算法将所述至少一个物料特征信息与物料库中的每种物料的基准特征信息进行比对,确定所述指定区域中包括的每个物料的物料标识,其中,所述图像特征比对算法为距离比较算法或相似度比较算法,所述物料库中包含每种物料的基准特征信息和每种物料的物料标识之间的对应关系,所述物料标识为物料名称或物料标号;基于所述每个物料的物料标识,确定所述指定区域中的所述物料的物料信息,所述物料信息包括物料标识和物料数量;
第二关联模块,用于将所述至少一个物料图像和所述物料的物料标识和物料数量进行关联,存储所述至少一个物料图像和所述物料的物料标识和物料数量;在所述至少一个物料图像中显示对应的物料标识、物料数量和示意图像,其中,所述示意图像是为对应的物料预先选取的,每种物料均对应有示意图像,所述物料标识和所述示意图像显示在对应的物料所在的物料图像区域;当在预设时长内未检测到针对所述物料图像的触发操作时,在所述物料图像中隐藏所述物料标识、所述物料数量和所述示意图像;当检测到针对所述物料图像的触发操作时,在所述物料图像中显示所述物料标识、所述物料数量和所述示意图像。
4.如权利要求3所述的装置,其特征在于,所述第二拍摄模块,还用于对所述指定区域中的物料拍摄物料视频,从所述物料视频中提取所述至少一个物料图像;或者,对所述指定区域中的物料拍摄物料图像,从拍摄的所述物料图像中提取至少一个物料图像。
5.一种物料盘点的装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-2所述的任一项方法的步骤。
6.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-2所述的任一项方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811433100.8A CN111241869B (zh) | 2018-11-28 | 2018-11-28 | 物料盘点的方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811433100.8A CN111241869B (zh) | 2018-11-28 | 2018-11-28 | 物料盘点的方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111241869A CN111241869A (zh) | 2020-06-05 |
CN111241869B true CN111241869B (zh) | 2024-04-02 |
Family
ID=70873922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811433100.8A Active CN111241869B (zh) | 2018-11-28 | 2018-11-28 | 物料盘点的方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111241869B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784777A (zh) * | 2020-07-09 | 2020-10-16 | 千顺智能(珠海)有限公司 | 基于卷积神经网络的smt物料数量统计方法及统计系统 |
CN112633437B (zh) * | 2020-07-23 | 2022-06-17 | 贵州酱酒智造供应链有限公司 | 一种基于工业互联的供应链管理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853387A (zh) * | 2010-04-02 | 2010-10-06 | 北京物资学院 | 立体仓库货物盘点方法及系统 |
CN106228580A (zh) * | 2016-07-29 | 2016-12-14 | 李铮 | 一种基于视频分析的物料检测、节能方法及系统 |
US9996818B1 (en) * | 2014-12-19 | 2018-06-12 | Amazon Technologies, Inc. | Counting inventory items using image analysis and depth information |
WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
CN108683845A (zh) * | 2018-05-14 | 2018-10-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
CN108776822A (zh) * | 2018-06-22 | 2018-11-09 | 腾讯科技(深圳)有限公司 | 目标区域检测方法、装置、终端及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150262116A1 (en) * | 2014-03-16 | 2015-09-17 | International Business Machines Corporation | Machine vision technology for shelf inventory management |
-
2018
- 2018-11-28 CN CN201811433100.8A patent/CN111241869B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853387A (zh) * | 2010-04-02 | 2010-10-06 | 北京物资学院 | 立体仓库货物盘点方法及系统 |
US9996818B1 (en) * | 2014-12-19 | 2018-06-12 | Amazon Technologies, Inc. | Counting inventory items using image analysis and depth information |
CN106228580A (zh) * | 2016-07-29 | 2016-12-14 | 李铮 | 一种基于视频分析的物料检测、节能方法及系统 |
WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
CN108683845A (zh) * | 2018-05-14 | 2018-10-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
CN108776822A (zh) * | 2018-06-22 | 2018-11-09 | 腾讯科技(深圳)有限公司 | 目标区域检测方法、装置、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111241869A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829456B (zh) | 图像识别方法、装置及终端 | |
CN111079576B (zh) | 活体检测方法、装置、设备及存储介质 | |
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN110650379B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
CN109117635B (zh) | 应用程序的病毒检测方法、装置、计算机设备及存储介质 | |
CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN108363982B (zh) | 确定对象数量的方法及装置 | |
CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN110827195B (zh) | 虚拟物品添加方法、装置、电子设备及存储介质 | |
CN110442521B (zh) | 控件单元检测方法及装置 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN113627413A (zh) | 数据标注方法、图像比对方法及装置 | |
CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
CN110675473B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
CN112308103B (zh) | 生成训练样本的方法和装置 | |
CN111586279B (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN111241869B (zh) | 物料盘点的方法、装置及计算机可读存储介质 | |
CN111753606A (zh) | 一种智能模型的升级方法及装置 | |
WO2020244592A1 (zh) | 物品取放检测系统、方法及装置 | |
CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
CN111327819A (zh) | 选择图像的方法、装置、电子设备及介质 | |
CN111582184B (zh) | 页面检测方法、装置、设备及存储介质 | |
CN110263695B (zh) | 人脸部位的位置获取方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |