CN116991258B - 一种物品指示方法、系统、计算机设备及可读存储介质 - Google Patents
一种物品指示方法、系统、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN116991258B CN116991258B CN202311245505.XA CN202311245505A CN116991258B CN 116991258 B CN116991258 B CN 116991258B CN 202311245505 A CN202311245505 A CN 202311245505A CN 116991258 B CN116991258 B CN 116991258B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel
- noise reduction
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000009467 reduction Effects 0.000 claims abstract description 87
- 238000009499 grossing Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000000875 corresponding effect Effects 0.000 claims description 47
- 230000001276 controlling effect Effects 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 238000003706 image smoothing Methods 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims 2
- 238000005215 recombination Methods 0.000 abstract 1
- 230000006798 recombination Effects 0.000 abstract 1
- 238000006722 reduction reaction Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/007—Encryption, En-/decode, En-/decipher, En-/decypher, Scramble, (De-)compress
- G06F2211/008—Public Key, Asymmetric Key, Asymmetric Encryption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种物品指示方法、系统、计算机设备及可读存储介质,其中,主机控制相机对目标视频的画面进行采集得到多张待处理图像;迭代多次将每张待处理图像的不同图像块利用不同的目标降噪算法进行降噪处理,并根据确定出每个像素点的平滑因子进行平滑处理,然后进行图像重组得到第一目标图像;根据第一目标图像和待处理图像中像素差值提取满足条件的像素点进行重构得到第二目标图像;基于每张第二目标图像的图像特征确定出其中所包含的目标物品;利用云台和激光笔对载物台上所放置的目标物品进行指示。采用上述方法,以提高在现实中对视频画面中所包含的物品进行指示的准确性。
Description
技术领域
本发明涉及自动化控制领域,具体而言,涉及一种物品指示方法、系统、计算机设备及可读存储介质。
背景技术
在仓储领域以及物品运输领域等人们需要依据视频或者图像对物品进行查询和获取,以便完成物品管理任务的相关领域中,为了实现根据视频或者图像对现实中存在的对应物品进行找寻和获取,通常由工作人员对视频或图像进行观看,根据其经验对其观看到的画面中的物品进行辨别和判断,确定出视频中所包含的物品的物品信息,然后再在现实中手动对具有该物品信息的物品进行搜寻,以实现对视频画面中物品的识别。
但是在研究中发现,在工作人员对视频或图像进行观看时,可能会受限于人眼分辨率的局限性,从而导致无法准确获取到视频画面中的内容;亦或者会受限于识别经验的缺失,从而导致无法准确地根据视频画面内容判断出其中所包含的物品的信息。上述任意情况的发生,都会导致无法准确地完成对视频画面中物品的识别,从而降低在现实中对视频画面中所包含的物品进行指示的准确性。
发明内容
有鉴于此,本发明的目的在于提供一种物品指示方法、系统、计算机设备及可读存储介质,以提高在现实中对视频画面中所包含的物品进行指示的准确性。
第一方面,本申请实施例提供了一种物品指示方法,应用于物品指示系统中的主机,所述系统还包括云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器,所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接,所述主机与所述云服务器建立有通信连接,所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制,所述激光笔搭载在所述云台上,所述云台带动所述激光笔移动,所述载物台上放置有多个物品,所述方法包括:
响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令,从所述云服务器中获取所述目标视频,并将所述目标视频在所述显示器中播放,同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像;
对于每张所述待处理图像,将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块,其中,所述初始方向为水平方向或者垂直方向;
对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法;
利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块;
根据所述候选图像块各像素点的像素值,利用以下公式计算所述候选图像块各像素点的平滑因子:
;
其中,s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子,p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值,tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值,坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点,n为所述相邻像素点的数量;
根据所述候选图像块各像素点的平滑因子,利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块,并将每个所述目标图像块进行重组得到候选图像;
利用与所述初始方向不同的方向对所述初始方向进行更新,利用所述候选图像对所述待处理图像进行更新,返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤;
将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储;
对于每张所述第一目标图像,计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值;
将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像;
对于每张所述第二目标图像,基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取;
将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品;
基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量,判断所述载物台上是否放置有所述目标物品,其中,所述实际物品重量是通过设置在所述载物台内的压力传感器得到的;
若所述载物台上未放置有所述目标物品,则控制所述扬声器根据所述目标物品的物品种类,以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息;
若所述载物台上放置有所述目标物品,则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序,依次控制所述云台转向所述目标物品的放置方向;根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色;控制所述激光笔以所述目标激光颜色对所述目标物品进行指示。
可选地,所述图像识别模型是通过下述方法得到的:
从所述云服务器获取多张物品图像;
对于每张所述物品图像,从除该张物品图像之外的其它物品图像中随机选择一张备用图像,将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像,其中,所述备用图像与该张物品图像的图像分辨率与尺寸相同;
利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集,并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。
可选地,在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后,所述方法还包括:
统计所述载物台上的所述目标物品的目标数量;
根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图;
将所述物品种类分析图发送至所述显示器进行展示。
可选地,在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后,所述方法还包括:
将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件;
利用非对称加密算法对所述待加密文件进行加密处理得到目标文件;
将所述目标文件上传至所述云服务器进行备份。
第二方面,本申请实施例提供了一种物品指示系统,所述系统包括主机、云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器,所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接,所述主机与所述云服务器建立有通信连接,所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制,所述激光笔搭载在所述云台上,所述云台带动所述激光笔移动,所述载物台上放置有多个物品,所述主机用于:
响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令,从所述云服务器中获取所述目标视频,并将所述目标视频在所述显示器中播放,同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像;
对于每张所述待处理图像,将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块,其中,所述初始方向为水平方向或者垂直方向;
对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法;
利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块;
根据所述候选图像块各像素点的像素值,利用以下公式计算所述候选图像块各像素点的平滑因子:
;
其中,s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子,p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值,tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值,坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点,n为所述相邻像素点的数量;
根据所述候选图像块各像素点的平滑因子,利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块,并将每个所述目标图像块进行重组得到候选图像;
利用与所述初始方向不同的方向对所述初始方向进行更新,利用所述候选图像对所述待处理图像进行更新,返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤;
将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储;
对于每张所述第一目标图像,计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值;
将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像;
对于每张所述第二目标图像,基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取;
将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品;
基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量,判断所述载物台上是否放置有所述目标物品,其中,所述实际物品重量是通过设置在所述载物台内的压力传感器得到的;
若所述载物台上未放置有所述目标物品,则控制所述扬声器根据所述目标物品的物品种类,以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息;
若所述载物台上放置有所述目标物品,则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序,依次控制所述云台转向所述目标物品的放置方向;根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色;控制所述激光笔以所述目标激光颜色对所述目标物品进行指示。
可选地,所述图像识别模型是由所述主机通过下述方法得到的:
从所述云服务器获取多张物品图像;
对于每张所述物品图像,从除该张物品图像之外的其它物品图像中随机选择一张备用图像,将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像,其中,所述备用图像与该张物品图像的图像分辨率与尺寸相同;
利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集,并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。
可选地,所述主机还用于:
在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后,统计所述载物台上的所述目标物品的目标数量;
根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图;
将所述物品种类分析图发送至所述显示器进行展示。
可选地,所述主机还用于:
在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后,将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件;
利用非对称加密算法对所述待加密文件进行加密处理得到目标文件;
将所述目标文件上传至所述云服务器进行备份。
第三方面,本申请实施例提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第二方面中任一种可选地实施方式中所述的物品指示方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第二方面中任一种可选地实施方式中所述的物品指示方法的步骤。
本申请提供的技术方案包括但不限于以下有益效果:
本申请通过主机、云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器的相互配合,响应用户对显示器遥控器的操作,利用主机从云服务器中获取视频并在显示器中进行展示,然后通过相机采集视频画面,并对采集到的图像进行降噪、平滑和滤波处理,然后将处理后的图像的图像特征输入至识别模型中得到图像中所包含的物品,最后从载物台上根据物品重量对云台进行转向控制,同时控制激光笔对载物台上的物品进行指示。采用上述方法,能够在不需要工作人员的参与的情况下,通过多个设备的相互配合实现对视频画面中所包含的物品进行指示,同时由于避免了人为因素的干扰和主观影响,能够提高在现实中对视频画面中所包含的物品进行指示的准确性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍, 应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例一所提供的一种物品指示方法的流程图;
图2示出了本发明实施例一所提供的一种图表展示方法的流程图;
图3示出了本发明实施例一所提供的一种文件备份方法的流程图;
图4示出了本发明实施例二所提供的一种物品指示系统的结构示意图;
图5示出了本发明实施例三所提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
为便于对本申请进行理解,下面结合图1示出的本发明实施例一所提供的一种物品指示方法的流程图描述的内容对本申请实施例一进行详细说明。
参见图1所示,图1示出了本发明实施例一所提供的一种物品指示方法的流程图,其中,应用于物品指示系统中的主机,所述系统还包括云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器,所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接,所述主机与所述云服务器建立有通信连接,所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制,所述激光笔搭载在所述云台上,所述云台带动所述激光笔移动,所述载物台上放置有多个物品,所述方法包括步骤S101~S115:
S101:响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令,从所述云服务器中获取所述目标视频,并将所述目标视频在所述显示器中播放,同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像。
具体的,当用户需要使用该物品指示系统进行对视频中出现的物品进行指示时,可以向系统中的主机输入视频播放指令,该视频播放指令用于指示对目标视频进行播放,指令中携带有目标视频的视频信息。主机响应该指令,根据指令中携带的目标视频的视频信息从云服务器中下载该目标视频。为了减少主机的内容占用空间,所以预先将目标视频上传至云服务器中进行存储,以使能够访问云服务器的所有设备都能够从其中获取目标视频。主机将目标视频在显示器中进行播放,其中,播放速度可以根据目标视频的视频时长和视频帧率进行确定。在目标视频在显示器中播放的同时,主机控制相机对显示器中的视频画面进行采集,采集的频率为预设频率,即每隔一定时间采集一次图像,这样能够采集得到多张待处理图像。
S102:对于每张所述待处理图像,将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块,其中,所述初始方向为水平方向或者垂直方向。
具体的,对于每张所述待处理图像,将该待处理图像在水平方向或者是垂直方向上以一个像素行的宽度进行遍历得到多个初始图像块,若在水平方向上遍历,则能够得到多个在水平方向上的宽为一个像素行,长为待处理图像的水平长度的初始像素块;而若在垂直方向上遍历,则能够得到多个在垂直方向上的宽为一个像素行,长为待处理图像的垂直长度的初始像素块。
S103:对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法。
具体的,所述对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法,包括:
对于每个所述初始图像块,根据该初始图像块的像素均值从噪声水平等级表中确定出该初始图像块的噪声等级,其中,所述噪声等级与所述像素均值呈正相关;预先在降噪算法数据库中配置多种降噪算法,并根据每种降噪算法的降噪效果为每种降噪算法配置降噪等级,其中,降噪算法的降噪效果和降噪等级呈正相关;将降噪算法数据库中具有与该初始图像块的噪声等级相同的降噪等级的降噪算法确定为目标降噪算法。通过该方式,能够为具有更高像素均值的初始图像块匹配降噪效果更好的降噪算法。
S104:利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块。
具体的,由于不同的初始图像块具有不同的像素均值,利用不同的降噪算法对不同的初始图像块进行降噪处理,能够实现对同一张图像进行分区降噪。
S105:根据所述候选图像块各像素点的像素值,利用以下公式计算所述候选图像块各像素点的平滑因子:
;
其中,s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子,p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值,tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值,坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点,n为所述相邻像素点的数量,x和y均为非零的自然数。
具体的,将候选图像块各像素点的像素值带入上述公式中,得到各像素点的平滑因子。
S106:根据所述候选图像块各像素点的平滑因子,利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块,并将每个所述目标图像块进行重组得到候选图像。
具体的,将候选图像块各像素点的平滑因子和候选图像块输入至预先训练好的图像平滑处理模型中,得到完成平滑处理后的目标图像块;然后将每个目标图像块依据其各自所对应的初始图像块在待处理图像中的位置进行组合,得到候选图像。
S107:利用与所述初始方向不同的方向对所述初始方向进行更新,利用所述候选图像对所述待处理图像进行更新,返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤。
具体的,在执行完S106后,即执行完成一次图像的滤波处理(包括降噪处理和平滑处理),然后将该次得到的候选图像作为新的待处理图像,将与该次的初始方向不同的方向作为新的处理方向(例如,该次初始方向为水平方向,则新的处理方向为垂直方向),再次执行S102~S106中对待处理图像进行降噪处理和平滑处理的过程。
S108:将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储。
具体的,重复预设次数S102~S106中的步骤,将最后一次执行S106后得到的候选图像作为第一目标图像进行存储,并以该第一目标图像进行后续的图像处理。
S109:对于每张所述第一目标图像,计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值。
具体的,每张待处理图像在经过步骤S102~S108后都会得到一张对应的第一目标图像,对于每张第一目标图像,获取该张第一目标图像中的每个第一目标像素点的像素值,将每个第一目标像素点的像素值与该张第一目标图像所对应的待处理图像中的,与每个第一目标像素点所对应的待处理像素点进行差值计算得到像素差值。
S110:将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像。
具体的,每个第一目标像素点与其所对应的待处理像素点都具有一个像素差值,对于每个第一目标像素点,判断该第一目标像素点与其所对应的待处理像素点的像素差值是否超过第一预设误差门限值;若是,则将该第一目标像素点与其所对应的待处理像素点作为第一重构像素点;判断该第一目标像素点与其所对应的待处理像素点的像素差值是否超过第二预设误差门限值;若否,则将该第一目标像素点作为第二重构像素点;将第一重构像素点和第二重构像素点组合为第二目标图像。至于与第一目标像素点的像素差值未超过第一预设误差门限值的待处理像素点,以及与待处理像素点的像素差值超过第二预设误差门限值的第一目标像素点,可以进行舍弃或者进行二值化处理,然后与第一重构像素点以及第二重构像素点进行像素叠加得到第二目标图像。
S111:对于每张所述第二目标图像,基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取。
具体的,对于每张所述第二目标图像,计算该张第二目标图像的梯度值,然后将该张第二目标图像的梯度值输入至图像特征提取模型中得到该张第二目标图像的图像特征。图像特征模型包括HOG(Histogram of Oriented Gradient,方向梯度直方图)特征提取算法,LBP(Local Binary Pattern,局部二值模式)特征提取算法等。
S112:将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品。
具体的,在将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品前,需要根据另一可选实施例中的方法得到图像识别模型。每张第二目标图像中可能包含有多个目标物品。
S113:基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量,判断所述载物台上是否放置有所述目标物品,其中,所述实际物品重量是通过设置在所述载物台内的压力传感器得到的。
具体的,对于每个目标物品,判断载物台上是否放置有具有与该目标物品在物品重量数据库中预先记载的目标物品重量相同的实际物品重量的物品,若有,则说明载物台上放置有所述目标物品;若无,则说明载物台上未放置有所述目标物品。
S114:若所述载物台上未放置有所述目标物品,则控制所述扬声器根据所述目标物品的物品种类,以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息。
具体的,预先为每种物品种类配置一个播报音量,若载物台上未放置有目标物品,主机则控制扬声器根据以与目标物品的物品种类对应的播报音量播报预先设置好的警示信息。
S115:若所述载物台上放置有所述目标物品,则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序,依次控制所述云台转向所述目标物品的放置方向;根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色;控制所述激光笔以所述目标激光颜色对所述目标物品进行指示。
具体的,若所述载物台上放置有所述目标物品,由于目标物品可能是存在于不同的第二目标图像中的(例如第一张第二目标图像中包含第一目标物品,第二张第二目标图像中包含有第二目标物品),则根据每张第二目标图像分别对应的待处理图像的采集先后顺序(例如第一张第二目标图像对应第一张待处理图像,第二张第二目标图像对应第二张待处理图像,第一张待处理图像的采集时间早于第二张待处理图像),依次控制所述云台转向所述目标物品的放置方向(例如,先控制云台转向第一目标物品的放置方向,然后控制云台转向第二目标物品的放置方向)。同时,根据目标物品的物品种类从激光颜色数据库中确定出用于对目标物品进行指示的目标激光颜色(预先为每种物品种类配置一个激光颜色,例如,为水果配置的激光颜色为红色,为电器配置的激光颜色为绿色,然后确定出与每个目标物品对应的目标激光颜色);控制激光笔以目标激光颜色对目标物品进行指示(当云台转向目标物品的放置方向后,主机控制激光笔发出与当前云台的指向方向一致的目标物品所对应的目标激光颜色的激光,即能够以不同颜色的激光只是不同种类的目标物品),从而实现对物品的指示。
在一个可行的实施方案中,所述图像识别模型是通过下述方法得到的:
步骤一:从所述云服务器获取多张物品图像。
具体的,主机从云服务器下载预设张数的物品图像。
步骤二:对于每张所述物品图像,从除该张物品图像之外的其它物品图像中随机选择一张备用图像,将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像,其中,所述备用图像与该张物品图像的图像分辨率与尺寸相同。
具体的,对于每张物品图像,利用所有物品图像中除该物品图像以外的任意一张物品图像(备用图像),对该张物品图像进行增强处理得到增强图像。具体的增强处理的方法为将该张物品图像中的每个像素点与备用图像中所对应的像素点进行像素平均处理。
步骤三:利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集,并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。
具体的,模型训练样本集的训练输入样本为每张所述物品图像的图像特征和每张增强图像的图像特征,模型训练样本集的训练输出样本为每张所述物品图像中所包含的物品信息。
在一个可行的实施方案中,参见图2所示,图2示出了本发明实施例一所提供的一种图表展示方法的流程图,其中,在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后,所述方法还包括步骤S201~S203:
S201:统计所述载物台上的所述目标物品的目标数量。
S202:根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图。
S203:将所述物品种类分析图发送至所述显示器进行展示。
具体的,物品种类分析图包括二维表格图,直方图,折线图或者是饼图。
在一个可行的实施方案中,参见图3所示,图3示出了本发明实施例一所提供的一种文件备份方法的流程图,其中,在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后,所述方法还包括步骤S301~S303:
S301:将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件。
S302:利用非对称加密算法对所述待加密文件进行加密处理得到目标文件。
S303:将所述目标文件上传至所述云服务器进行备份。
具体的,在完成步骤S301~S303后,能够实现在提高视频文件的安全性的基础上,实现对视频文件的备份。在执行步骤S303后,将目标文件从主机中删除,以释放主机的内存空间。
实施例二
参见图4所示,图4示出了本发明实施例二所提供的一种物品指示系统的结构示意图,其中,所述系统包括主机401、云服务器402、显示器403、相机404、云台405、激光笔406、扬声器407、载物台408和显示器遥控器409,所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接,所述主机与所述云服务器建立有通信连接,所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制,所述激光笔搭载在所述云台上,所述云台带动所述激光笔移动,所述载物台上放置有多个物品,所述主机用于:
响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令,从所述云服务器中获取所述目标视频,并将所述目标视频在所述显示器中播放,同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像;
对于每张所述待处理图像,将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块,其中,所述初始方向为水平方向或者垂直方向;
对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法;
利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块;
根据所述候选图像块各像素点的像素值,利用以下公式计算所述候选图像块各像素点的平滑因子:
;
其中,s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子,p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值,tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值,坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点,n为所述相邻像素点的数量;
根据所述候选图像块各像素点的平滑因子,利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块,并将每个所述目标图像块进行重组得到候选图像;
利用与所述初始方向不同的方向对所述初始方向进行更新,利用所述候选图像对所述待处理图像进行更新,返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤;
将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储;
对于每张所述第一目标图像,计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值;
将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像;
对于每张所述第二目标图像,基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取;
将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品;
基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量,判断所述载物台上是否放置有所述目标物品,其中,所述实际物品重量是通过设置在所述载物台内的压力传感器得到的;
若所述载物台上未放置有所述目标物品,则控制所述扬声器根据所述目标物品的物品种类,以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息;
若所述载物台上放置有所述目标物品,则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序,依次控制所述云台转向所述目标物品的放置方向;根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色;控制所述激光笔以所述目标激光颜色对所述目标物品进行指示。
在一个可行的实施方案中,所述图像识别模型是由所述主机通过下述方法得到的:
从所述云服务器获取多张物品图像;
对于每张所述物品图像,从除该张物品图像之外的其它物品图像中随机选择一张备用图像,将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像,其中,所述备用图像与该张物品图像的图像分辨率与尺寸相同;
利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集,并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。
在一个可行的实施方案中,所述主机还用于:
在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后,统计所述载物台上的所述目标物品的目标数量;
根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图;
将所述物品种类分析图发送至所述显示器进行展示。
在一个可行的实施方案中,所述主机还用于:
在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后,将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件;
利用非对称加密算法对所述待加密文件进行加密处理得到目标文件;
将所述目标文件上传至所述云服务器进行备份。
实施例三
基于同一申请构思,参见图5所示,图5示出了本发明实施例三所提供的一种计算机设备的结构示意图,其中,如图5所示,本申请实施例三所提供的一种计算机设备500包括:
处理器501、存储器502和总线503,所述存储器502存储有所述处理器501可执行的机器可读指令,当计算机设备500运行时,所述处理器501与所述存储器502之间通过所述总线503进行通信,所述机器可读指令被所述处理器501运行时执行上述实施例一所示的物品指示方法的步骤。
实施例四
基于同一申请构思,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述实施例中任一项所述的物品指示方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明实施例所提供的进行物品指示的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的物品指示系统可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、系统和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种物品指示方法,其特征在于,应用于物品指示系统中的主机,所述系统还包括云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器,所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接,所述主机与所述云服务器建立有通信连接,所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制,所述激光笔搭载在所述云台上,所述云台带动所述激光笔移动,所述载物台上放置有多个物品,所述方法包括:
响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令,从所述云服务器中获取所述目标视频,并将所述目标视频在所述显示器中播放,同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像;
对于每张所述待处理图像,将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块,其中,所述初始方向为水平方向或者垂直方向;
对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法;
利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块;
根据所述候选图像块各像素点的像素值,利用以下公式计算所述候选图像块各像素点的平滑因子:
其中,s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子,p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值,tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值,坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点,n为所述相邻像素点的数量;
根据所述候选图像块各像素点的平滑因子,利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块,并将每个所述目标图像块进行重组得到候选图像;
利用与所述初始方向不同的方向对所述初始方向进行更新,利用所述候选图像对所述待处理图像进行更新,返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤;
将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储;
对于每张所述第一目标图像,计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值;
将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像;
对于每张所述第二目标图像,基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取;
将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品;
基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量,判断所述载物台上是否放置有所述目标物品,其中,所述实际物品重量是通过设置在所述载物台内的压力传感器得到的;
若所述载物台上未放置有所述目标物品,则控制所述扬声器根据所述目标物品的物品种类,以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息;
若所述载物台上放置有所述目标物品,则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序,依次控制所述云台转向所述目标物品的放置方向;根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色;控制所述激光笔以所述目标激光颜色对所述目标物品进行指示;
所述基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法,包括:
对于每个所述初始图像块,根据该初始图像块的像素均值从噪声水平等级表中确定出该初始图像块的噪声等级,其中,所述噪声等级与所述像素均值呈正相关;
预先在降噪算法数据库中配置多种降噪算法,并根据每种降噪算法的降噪效果为每种降噪算法配置降噪等级,其中,降噪算法的降噪效果和降噪等级呈正相关;
将降噪算法数据库中具有与该初始图像块的噪声等级相同的降噪等级的降噪算法确定为目标降噪算法;
所述图像识别模型是通过下述方法得到的:
从所述云服务器获取多张物品图像;
对于每张所述物品图像,从除该张物品图像之外的其它物品图像中随机选择一张备用图像,将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像,其中,所述备用图像与该张物品图像的图像分辨率与尺寸相同;
利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集,并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。
2.根据权利要求1所述的方法,其特征在于,在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后,所述方法还包括:
统计所述载物台上的所述目标物品的目标数量;
根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图;
将所述物品种类分析图发送至所述显示器进行展示。
3.根据权利要求2所述的方法,其特征在于,在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后,所述方法还包括:
将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件;
利用非对称加密算法对所述待加密文件进行加密处理得到目标文件;
将所述目标文件上传至所述云服务器进行备份。
4.一种物品指示系统,其特征在于,所述系统包括主机、云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器,所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接,所述主机与所述云服务器建立有通信连接,所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制,所述激光笔搭载在所述云台上,所述云台带动所述激光笔移动,所述载物台上放置有多个物品,所述主机用于:
响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令,从所述云服务器中获取所述目标视频,并将所述目标视频在所述显示器中播放,同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像;
对于每张所述待处理图像,将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块,其中,所述初始方向为水平方向或者垂直方向;
对于每个所述初始图像块,基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法;
利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块;
根据所述候选图像块各像素点的像素值,利用以下公式计算所述候选图像块各像素点的平滑因子:
其中,s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子,p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值,tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值,坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点,n为所述相邻像素点的数量;
根据所述候选图像块各像素点的平滑因子,利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块,并将每个所述目标图像块进行重组得到候选图像;
利用与所述初始方向不同的方向对所述初始方向进行更新,利用所述候选图像对所述待处理图像进行更新,返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤;
将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储;
对于每张所述第一目标图像,计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值;
将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像;
对于每张所述第二目标图像,基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取;
将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品;
基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量,判断所述载物台上是否放置有所述目标物品,其中,所述实际物品重量是通过设置在所述载物台内的压力传感器得到的;
若所述载物台上未放置有所述目标物品,则控制所述扬声器根据所述目标物品的物品种类,以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息;
若所述载物台上放置有所述目标物品,则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序,依次控制所述云台转向所述目标物品的放置方向;根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色;控制所述激光笔以所述目标激光颜色对所述目标物品进行指示;
所述主机在用于基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法时,具体用于:
对于每个所述初始图像块,根据该初始图像块的像素均值从噪声水平等级表中确定出该初始图像块的噪声等级,其中,所述噪声等级与所述像素均值呈正相关;
预先在降噪算法数据库中配置多种降噪算法,并根据每种降噪算法的降噪效果为每种降噪算法配置降噪等级,其中,降噪算法的降噪效果和降噪等级呈正相关;
将降噪算法数据库中具有与该初始图像块的噪声等级相同的降噪等级的降噪算法确定为目标降噪算法;
所述图像识别模型是由所述主机通过下述方法得到的:
从所述云服务器获取多张物品图像;
对于每张所述物品图像,从除该张物品图像之外的其它物品图像中随机选择一张备用图像,将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像,其中,所述备用图像与该张物品图像的图像分辨率与尺寸相同;
利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集,并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。
5.根据权利要求4所述的系统,其特征在于,所述主机还用于:
在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后,统计所述载物台上的所述目标物品的目标数量;
根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图;
将所述物品种类分析图发送至所述显示器进行展示。
6.根据权利要求5所述的系统,其特征在于,所述主机还用于:
在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后,将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件;
利用非对称加密算法对所述待加密文件进行加密处理得到目标文件;
将所述目标文件上传至所述云服务器进行备份。
7.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至3中任意一项所述的物品指示方法的步骤。
8.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至3中任意一项所述的物品指示方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311245505.XA CN116991258B (zh) | 2023-09-26 | 2023-09-26 | 一种物品指示方法、系统、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311245505.XA CN116991258B (zh) | 2023-09-26 | 2023-09-26 | 一种物品指示方法、系统、计算机设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116991258A CN116991258A (zh) | 2023-11-03 |
CN116991258B true CN116991258B (zh) | 2024-02-09 |
Family
ID=88526880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311245505.XA Active CN116991258B (zh) | 2023-09-26 | 2023-09-26 | 一种物品指示方法、系统、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116991258B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743856A (zh) * | 2021-01-05 | 2021-12-03 | 北京京东乾石科技有限公司 | 物品分拣方法及装置、存储介质 |
CN114638578A (zh) * | 2022-03-29 | 2022-06-17 | 广联达科技股份有限公司 | 一种物料验收方法、装置及物料验收系统 |
WO2023045350A1 (zh) * | 2021-09-22 | 2023-03-30 | 上海商汤智能科技有限公司 | 检测方法、装置、计算机设备、存储介质和程序产品 |
CN115909151A (zh) * | 2022-11-15 | 2023-04-04 | 东北大学 | 一种复杂工作条件下运动容器编号识别方法 |
CN116347242A (zh) * | 2023-02-07 | 2023-06-27 | 深圳市慧海云联科技有限公司 | 一种摄像头定位方法、设备及存储介质 |
CN116433559A (zh) * | 2021-12-31 | 2023-07-14 | 鸿海精密工业股份有限公司 | 产品外观缺陷检测方法、电子设备及存储介质 |
-
2023
- 2023-09-26 CN CN202311245505.XA patent/CN116991258B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743856A (zh) * | 2021-01-05 | 2021-12-03 | 北京京东乾石科技有限公司 | 物品分拣方法及装置、存储介质 |
WO2023045350A1 (zh) * | 2021-09-22 | 2023-03-30 | 上海商汤智能科技有限公司 | 检测方法、装置、计算机设备、存储介质和程序产品 |
CN116433559A (zh) * | 2021-12-31 | 2023-07-14 | 鸿海精密工业股份有限公司 | 产品外观缺陷检测方法、电子设备及存储介质 |
CN114638578A (zh) * | 2022-03-29 | 2022-06-17 | 广联达科技股份有限公司 | 一种物料验收方法、装置及物料验收系统 |
CN115909151A (zh) * | 2022-11-15 | 2023-04-04 | 东北大学 | 一种复杂工作条件下运动容器编号识别方法 |
CN116347242A (zh) * | 2023-02-07 | 2023-06-27 | 深圳市慧海云联科技有限公司 | 一种摄像头定位方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116991258A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103975365B (zh) | 用于俘获和移动真实世界对象的3d模型和真实比例元数据的方法和系统 | |
US11417130B2 (en) | System and method for facilitating graphic-recognition training of a recognition model | |
CN111225611B (zh) | 用于帮助分析目标对象中的伤口的系统和方法 | |
US11636610B2 (en) | Determining multiple camera positions from multiple videos | |
CN110381369A (zh) | 推荐信息植入位置的确定方法、装置、设备及存储介质 | |
CN108875931B (zh) | 神经网络训练及图像处理方法、装置、系统 | |
CN111957040A (zh) | 遮挡位置的检测方法、装置、处理器及电子装置 | |
CN107509115A (zh) | 一种获取游戏直播中精彩时刻画面的方法及装置 | |
CN111263955A (zh) | 一种目标对象的移动轨迹确定方法和装置 | |
CN111612886B (zh) | 室内三维模型生成方法及系统 | |
CN116991258B (zh) | 一种物品指示方法、系统、计算机设备及可读存储介质 | |
CN104424485A (zh) | 一种基于图像识别来获取特定信息的方法与装置 | |
JP6336935B2 (ja) | 移動物体追跡装置 | |
CN105229700B (zh) | 用于从多个连续拍摄图像提取峰图像的设备和方法 | |
CN113674049A (zh) | 基于图片搜索的商品在架位置识别方法、系统和存储介质 | |
US9171381B1 (en) | System and method for rendering an image of a frame of an animation | |
CN110264544B (zh) | 图片处理方法和装置、存储介质及电子装置 | |
CN109461198B (zh) | 网格模型的处理方法及装置 | |
CN107197161B (zh) | 一种图像数据处理方法、装置、电子设备以及存储介质 | |
Kim et al. | Cnn-based blind quality prediction on stereoscopic images via patch to image feature pooling | |
CN110764676B (zh) | 一种信息资源显示方法、装置、电子设备以及存储介质 | |
CN109068180B (zh) | 一种确定视频精选集的方法以及相关设备 | |
CN111260716A (zh) | 商户座位间隔的确定方法、装置、服务器及存储介质 | |
CN112487943A (zh) | 关键帧去重的方法、装置和电子设备 | |
JP2016004466A (ja) | 情報生成装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |