CN113159074A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113159074A
CN113159074A CN202110454347.3A CN202110454347A CN113159074A CN 113159074 A CN113159074 A CN 113159074A CN 202110454347 A CN202110454347 A CN 202110454347A CN 113159074 A CN113159074 A CN 113159074A
Authority
CN
China
Prior art keywords
image
contour
processed
acquiring
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110454347.3A
Other languages
English (en)
Other versions
CN113159074B (zh
Inventor
谢庆喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Shuke Haiyi Information Technology Co Ltd
Original Assignee
Jingdong Shuke Haiyi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Shuke Haiyi Information Technology Co Ltd filed Critical Jingdong Shuke Haiyi Information Technology Co Ltd
Priority to CN202110454347.3A priority Critical patent/CN113159074B/zh
Publication of CN113159074A publication Critical patent/CN113159074A/zh
Application granted granted Critical
Publication of CN113159074B publication Critical patent/CN113159074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种图像处理方法、装置和电子设备，其中，先获取待处理图像和待处理图像对应的参考图像，通过获取到的待处理图像和的参考图像对应的第一轮廓掩膜图像与第二轮廓掩膜图像，确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取图像区域对应的存储位置信息，最后输出存储位置信息的提示信息，由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本申请涉及监控技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
在一些场景中，需要对质押期的货物进行管理，并在货物发生变动的过程中进行及时提醒。相关技术中，通常结合红外光栅设备的方式对质押的货物进行管理。然而，上述方式不能准确定位出发生变动的货物所在的位置信息，并且，误报情况较多。因此，在货物的质押期如何对货物变动进行有效识别是目前亟需解决的问题。
发明内容
本申请涉及监控技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
本申请一方面实施例提出了一种图像处理方法，所述方法包括：获取待处理图像，并获取所述待处理图像对应的参考图像；根据所述待处理图像，确定所述待处理图像中目标对象的第一轮廓掩膜图像；获取所述参考图像中所述目标对象的第二轮廓掩膜图像；根据所述第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数；在所述变动次数超过预设次数阈值的情况下，获取与所述图像区域对应的存储位置信息，并输出包括所述存储位置信息的提示信息。
本申请的一个实施例中，所述根据所述待处理图像，确定所述待处理图像中目标对象的第一轮廓掩膜图像，包括：提取所述待处理图像中所述目标对象的轮廓信息；根据所述轮廓信息，生成所述目标对象的第一轮廓掩膜图像。
本申请的一个实施例中，所述根据所述第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数，包括：将所述第一轮廓掩膜图像与所述第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像，其中，所述轮廓变动掩码图像包括所述图像区域。
本申请的一个实施例中，在所述将所述第一轮廓掩膜图像与所述第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像之前，所述方法还包括：对所述第一轮廓掩膜图像进行腐蚀处理，以得到腐蚀处理后的第一轮廓掩膜图像；对所述腐蚀处理后的第一轮廓掩膜图像进行膨胀处理，以得到膨胀处理后的第一轮廓掩膜图像。
本申请的一个实施例中，在所述输出包括所述存储位置信息的提示信息之后，所述方法还包括：接收用于重设参考图像的请求，并获取所述请求的接收时间；获取拍摄时间距离所述接收时间最近的目标图像；将所述目标图像作为所述参考图像，并将所述图像区域的变动次数设置为零。
本申请的一个实施例中，所述获取待处理图像，包括：获取与大宗商品仓库信息对应的监控摄像头标识；根据所述监控摄像头标识向所对应的监控摄像头发起图像获取请求，并接收所述监控摄像头针对所述图像获取请求反馈的大宗商品货物图像。
本申请提出一种图像处理方法，先获取待处理图像和待处理图像对应的参考图像，通过获取到的待处理图像和的参考图像对应的第一轮廓掩膜图像与第二轮廓掩膜图像，确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取图像区域对应的存储位置信息，最后输出存储位置信息的提示信息，由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
本申请另一方面实施例提出了一种图像处理装置，所述装置包括：第一获取模块，用于获取待处理图像，并获取所述待处理图像对应的参考图像；第一确定模块，用于根据所述待处理图像，确定所述待处理图像中目标对象的第一轮廓掩膜图像；第二获取模块，用于获取所述参考图像中所述目标对象的第二轮廓掩膜图像；第二确定模块，用于根据所述第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数；第一处理模块，用于在所述变动次数超过预设次数阈值的情况下，获取与所述图像区域对应的存储位置信息，并输出包括所述存储位置信息的提示信息。
在本申请的一个实施例中，所述第一确定模块，包括：提取单元，用于提取所述待处理图像中所述目标对象的轮廓信息；生成单元，用于根据所述轮廓信息，生成所述目标对象的第一轮廓掩膜图像。
在本申请的一个实施例中，所述第二确定模块，包括：处理单元，用于将所述第一轮廓掩膜图像与所述第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像，其中，所述轮廓变动掩码图像包括所述图像区域；获取单元，获取所述图像区域的变动次数。
在本申请的一个实施例中，所述装置还包括：腐蚀处理模块，用于对所述第一轮廓掩膜图像进行腐蚀处理，以得到腐蚀处理后的第一轮廓掩膜图像；膨胀处理模块，用于对所述腐蚀处理后的第一轮廓掩膜图像进行膨胀处理，以得到膨胀处理后的第一轮廓掩膜图像。
在本申请的一个实施例中，所述装置还包括：接收模块，用于接收用于重设参考图像的请求，并获取所述请求的接收时间；第三获取模块，用于获取拍摄时间距离所述接收时间最近的目标图像；第二处理模块，用于将所述目标图像作为所述参考图像，并将所述图像区域的变动次数设置为零。
在本申请的一个实施例中，所述获取单元，包括：第一确定子单元，用于确定预设的数据关系中是否存在与所述图像区域对应的标识信息；处理子单元，用于在所述预设的数据关系中存在与所述图像区域对应的标识信息的情况下，获取所述标识信息对应的变动次数，并对变动次数进行加1处理，以得到所述图像区域的变动次数；第二确定子单元，用于在所述预设的数据关系中不存在与所述图像区域对应的标识信息的情况下，确定所述图像区域所对应的变动次数为1。
在本申请的一个实施例中，所述装置还包括：第三处理模块，用于为所述图像区域生成标识信息，并在所述预设的数据关系中保存所述标识信息，并将所述标识信息所对应的变动次数设置为1。
在本申请的一个实施例中，所述第一获取模块具体用于：获取与大宗商品仓库信息对应的监控摄像头标识；根据所述监控摄像头标识向所对应的监控摄像头发起图像获取请求，并接收所述监控摄像头针对所述图像获取请求反馈的大宗商品货物图像。
本申请提出一种图像处理装置，先获取待处理图像和待处理图像对应的参考图像，通过获取到的待处理图像和的参考图像对应的第一轮廓掩膜图像与第二轮廓掩膜图像，确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取图像区域对应的存储位置信息，最后输出存储位置信息的提示信息，由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
本申请另一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时实现本申请实施例中的图像处理方法。
本申请另一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时实现本申请实施例中的图像处理方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
图1是本申请实施例所提供的一种图像处理方法的流程示意图。
图2是本申请实施例所提供的原始轮廓变动图。
图3是本申请实施例所提供的腐蚀操作后轮廓变动图。
图4是本申请实施例所提供的膨胀操作后轮廓变动图。
图5是本申请实施例所提供的另一种图像处理方法的流程示意图。
图6是本申请实施例所提供的另一种图像处理方法的流程示意图。
图7是本申请实施例的一个图像处理装置的结构示意图。
图8是本申请实施例的另一个图像处理装置的结构示意图。
图9是根据本申请一个实施例的电子设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本申请实施例的图像处理方法、装置和电子设备。
图1是本申请实施例所提供的一种图像处理方法的流程示意图。其中，需要说明的是，本实施例提供的图像处理方法的执行主体为图像处理装置，该图像处理装置可以由软件和/或硬件的方式实现，该实施例中的图像处理装置可以配置电子设备中，本实施例中的电子设备可以包括终端设备或者服务器等，该实施例对电子设备不作具体限定。
如图1所示，该图像处理方法可以包括：
步骤101，获取待处理图像，并获取待处理图像对应的参考图像。
在一些实施例中，在通过摄像头对大宗商品进行监控的过程中，可获取摄像头所拍摄到的原始货物图像，并将该原始货物图像作为待处理图像。
在一些实施例中，可以预设时间间隔为周期来获取待处理图像。
其中，预设时间间隔是在图像处理装置中预先设置的时间间隔，例如，预设时间间隔可以为30分钟，或者，60分钟等，在实际应用中，可根据实际业务需求设置预设时间间隔，该实施例对此不作具体限定。
其中，需要说明的是，上述参考图像的拍摄时间早于上述待处理图像的拍摄时间。也就是说，上述参考图像是在待处理图像之前，摄像头所拍摄的图像。
步骤102，根据待处理图像，确定待处理图像中目标对象的第一轮廓掩膜图像。
在不同应用场景中，根据待处理图像，确定待处理图像中目标对象的第一轮廓掩膜图像可通过多种方式实现，示例性方式如下：
作为一种示例性的实施方式，提取待处理图像中目标对象的轮廓信息；根据轮廓信息，生成目标对象的第一轮廓掩膜图像。
在本实施例中，可通过预设的轮廓提取算法，对待处理图像中目标对象的轮廓信息进行提取，以得到待处理图像中目标对象的轮廓信息。或者，在一些实施例中，还可以获取用于提取目标对象的轮廓提取模型，并将待处理图像输入到该轮廓提取模型中，以得到该待处理图像中目标对象的轮廓信息。
作为另一种示例性的实施方式，可获取目标对象对应的轮廓掩膜图像生成模型，并将待处理图像输入到轮廓掩膜图像生成模型中，以通过该轮廓掩膜图像生成模型中得到该待处理图像中目标对象的轮廓掩膜图像。
其中，本实施例中的目标对象可以是货物。
其中，需要说明的是，在轮廓掩膜图像中，目标对象所对应的轮廓像素点对应的掩膜值为1，非轮廓像素点对应的掩膜值为0。
步骤103，获取参考图像中目标对象的第二轮廓掩膜图像。
在一些实施例中，可从预设的轮廓掩膜图像库中，获取参考图像中目标对象的第二轮廓掩膜图像。
在另一些实施例中，可确定出参考图像中目标对象的轮廓信息，基于所确定出的轮廓信息，来生成目标对象的第二轮廓掩膜图像。
步骤104，根据第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数。
在本申请的一些实施例中，由于同一位置变动随着时间推移，变动轮廓发生变化，变动区域的变动次数依次递加1，然后更新的变动次数，保证下一次的正常变动次数，以实现全时间段对大宗商品的监控。
步骤105，在变动次数超过预设次数阈值的情况下，获取与图像区域对应的存储位置信息，并输出包括存储位置信息的提示信息。
其中，上述预设次数阈值是在图像处理装置中预先设置的值，在实际应用中，可根据实际需求在图像处理装置中对预设次数阈值进行预先设置，例如，可将上述预设次数阈值设置为4。
本申请提出一种图像处理方法，先获取待处理图像和待处理图像对应的参考图像，通过获取到的待处理图像和的参考图像对应的第一轮廓掩膜图像与第二轮廓掩膜图像，确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取图像区域对应的存储位置信息，最后输出存储位置信息的提示信息，由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
可以理解的是，在输出包括存储位置信息的提示信息之后，为了提高在新一轮图像处理中，准确进行有效识别，在一些实施例中，该方法还可以接收用于重设参考图像的请求，并获取请求的接收时间，在获取拍摄时间距离接收时间最近的目标图像，然后将目标图像作为参考图像，并将图像区域的变动次数设置为零。
其中，需要理解的是，每次输出存储位置信息的提示信息之后，都需要进行此操作。
在一些实施例种，要获取待处理图像的方式可以为，获取与大宗商品仓库信息对应的监控摄像头标识，根据监控摄像头标识向所对应的监控摄像头发起图像获取请求，并接收监控摄像头针对图像获取请求反馈的大宗商品货物图像，从而获得待处理图像。
在一些实施例中，为了可以准确确定出图像区域，上述根据第一轮廓掩膜图像和第二轮廓掩膜图像确定图像区域的变动次数的一种可能实现方式为：根据第一轮廓掩膜图像和第二轮廓掩膜图像进行异或处理，以得到轮廓变动掩码图像，并获取轮廓变动掩码图像中的图像区域。
其中，可以理解的是，轮廓变动掩码图像中的图像区域即为轮廓发生变动的图像区域，即变动区域。
在一些实施例中，直接进行前后货物轮廓的匹配，容易出现各种误检，为了可以准确确定出轮廓变动掩码图像中的图像区域，可以对轮廓变动掩码图像进行腐蚀处理，并对腐蚀处理后的图像再进行膨胀处理，并获取膨胀处理后的轮廓变动掩码图像中的图像区域。
例如，轮廓变动掩码图像，如图2所示，灰色部分为变动区域。在对图2进行腐蚀处理，以得到腐蚀操作后的轮廓变动掩码图像，如图3所示。对应地，还可以对腐蚀处理后的图像再进行膨胀处理，膨胀处理后的轮廓变动掩码图像，如图4所示。其中，需要说明的是，图4中的图像区域即为实际发生变动区域。
图5是本申请实施例所提供的另一种图像处理方法的流程示意图。
如图5所示，该方法可以包括：
步骤501，获取待处理图像，并获取待处理图像对应的参考图像。
步骤502，提取待处理图像中目标对象的轮廓信息。
步骤503，根据轮廓信息，生成目标对象的第一轮廓掩膜图像。
步骤504，获取参考图像中目标对象的第二轮廓掩膜图像。
步骤505，对第一轮廓掩膜图像进行腐蚀处理，以得到腐蚀处理后的第一轮廓掩膜图像。
步骤506，对腐蚀处理后的第一轮廓掩膜图像进行膨胀处理，以得到膨胀处理后的第一轮廓掩膜图像。
步骤507，将第一轮廓掩膜图像与第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像，其中，轮廓变动掩码图像包括图像区域。
步骤508，获取图像区域的变动次数。
在本实施例中，为获取图像区域的变动次数，首先要确定预设的数据关系中是否存在与图像区域对应的标识信息，作为一种示例，在预设的数据关系中存在与图像区域对应的标识信息的情况下，获取标识信息对应的变动次数，并对变动次数进行加1处理，以得到图像区域的变动次数。
另一种示例中，在预设的数据关系中不存在与图像区域对应的标识信息的情况下，确定图像区域所对应的变动次数为1。
在另一些实施例中，获取图像区域的变动次数还包括，为图像区域生成标识信息，并在预设的数据关系中保存标识信息，并将标识信息所对应的变动次数设置为1。
步骤509，在变动次数超过预设次数阈值的情况下，获取与图像区域对应的存储位置信息，并输出包括存储位置信息的提示信息。
在本实施例中，在将第一轮廓掩膜图像与第二轮廓掩膜图像进行异或处理之前，对第一轮廓掩膜图像先进行腐蚀处理，再进行膨胀处理，并基于第二轮廓掩膜图像与腐蚀处理后的第一轮廓掩膜图像进行异或处理，并基于异或处理所得到的轮廓变动掩码图像，准确得到发生变动的图像区域，并基于所确定出的图像区域进行后续处理，可降低误检情况的发生。
本申请提出一种图像处理方法，先获取待处理图像和待处理图像对应的参考图像，再提取待处理图像中目标对象的轮廓信息，从而根据轮廓信息，生成目标对象的第一轮廓掩膜图像，并获取参考图像中目标对象的第二轮廓掩膜图像，然后对第一轮廓掩膜图像进行腐蚀处理，以得到腐蚀处理后的第一轮廓掩膜图像，以及对腐蚀处理后的第一轮廓掩膜图像进行膨胀处理，以得到膨胀处理后的第一轮廓掩膜图像，将第一轮廓掩膜图像与第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像，其中，轮廓变动掩码图像包括图像区域，最后根据第一轮廓掩膜图像和第二轮廓掩膜图像确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取与图像区域对应的存储位置信息，并输出包括存储位置信息的提示信息。由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
为了使得本领域技术人员可以清楚了解本申请，下结合图6对该实施例的图像处理方法进行描述。
图6是本申请实施例所提供的另一种图像处理方法的流程示意图。
如图6所示，该方法可以包括：
步骤601，训练可以提取货堆轮廓的深度学习模型。
在本实施例中，可通过样本图像以及样本图像的轮廓标记结果，训练出可以提取货堆轮廓的深度学习模型。
作为一种示例性的实施方式，可将样本图像作为初始深度学习模型的输入特征，并将样本图像的轮廓标记结果作为初始深度学习模型的输出特征，对初始深度学习模型进行训练，直至训练后的深度学习模型收敛或者满足预设条件，从而得到提取货堆轮廓的深度学习模型。
步骤602，选取当前帧图片作为基础图片，并基于模型提取货堆轮廓。
在一些实施例中，选取当前原始货物图片作为当前帧的基础图片，然后基于轮廓提取模型提取出货堆轮廓。
步骤603，半小时后截取新图片，并基于模型提取货堆轮廓。
在一些实施例中，半小时后截取的新图片为待处理图片，然后基于轮廓提取模型提取出货堆轮廓。
步骤604，基于新图片轮廓产生第一货物掩膜mask，基于基础图片轮廓产生第二货物掩膜mask。
在本申请的一些实施例中，根据待处理图像，确定待处理图像中目标对象的第一轮廓掩膜图像，包括：提取待处理图像中目标对象的轮廓信息；根据轮廓信息，生成目标对象的第一轮廓掩膜图像。
在一些实施例中，提取待处理图像中目标对象的轮廓信息，包括：将待处理图像输入到预先训练好的轮廓提取模型，以提取出待处理图像中目标对象的轮廓信息。
在一些实施例中，目标对象的第二轮廓掩膜图像也可以通过先将基础图片输入到预先训练好的轮廓提取模型，提取出基础图片中目标对象的轮廓信息，进而得到目标对象的第二轮廓掩膜图像。
步骤605，第一货物掩膜mask先进行erode操作，再进行dilate操作。
在本申请的一些实施例中，图片中货物的轮廓容易受多种因素影响，例如：相机的轻微晃动，深度模型在不同光照条件下提取的轮廓边缘无法做到100％匹配。如果直接进行前后货物轮廓的匹配，容易出现各种误检。因此，本实施例在对第一货物掩码mask先进行erode操作，再进行dilate操作，从而减少上述因素的影响。
其中，Erode操作为腐蚀操作，去除mask中较小的区域，变为0。
其中，dilate操作为膨胀操作，将mask中较小区域进行膨胀，区域面积变大。
步骤606，第二货物掩膜和处理后的第一货物掩膜进行异或运算，得出变动区域，为每处变动生成唯一键，记录变动次数1次。
在本申请的一些实施例中，通过上述操作得到两个掩膜，现将两个掩膜进行异或运算，就可以得到货堆变动的区域，每次变动都是唯一的，生成唯一键,并记录变动的次数为1次。
步骤607，以半小时为周期截取图片，设计匹配算法，新变动匹配历史变动区域，匹配成功，则对应键变动次数加1.当变动次数达到4次，则认为货物确实发生变动，触发报警，并标注变动区域，未匹配到的新变动区域，则生成唯一键，变动次数记录为1。
其中，需要说明的是，本实施例中是以预设次数阈值为4为例进行示例性说明。
在本申请的实施例中，可以将变动次数的预设次数阈值设置为4次。每半个小时截取新的图片，通过匹配算法，匹配成功时，则对应键变动次数加1，当键次数达到4次时，就认为货物确实发生变动，触发报警，并标注变动区域，未匹配到的新变动区域，则生成唯一键，变动次数记录为1。
在一些实施例中，本申请可以采用记录变动区域变动次数的方式，达到设定次数进行报警，保证准确率。
步骤608，人收到报警后，处理完毕，可以进行设置，从而将最新图片，设为基础图片，并将已报警的历史变动区域置为空。
在本申请的一些实施例中，当上述变动次数超过预设次数阈值时，就认为货物确实发生变动，触发报警，并标注变动区域获取与图像区域对应的存储位置信息，并输出包括存储位置信息的提示信息。当管理人员处理完报警后，将最新图片设为基础图片，并将已报警的历史变动区域置为空。
步骤609，重复603-607过程，实现对货物的全天24小时的变动识别。
本申请提出一种图像处理方法，利用提取货堆轮廓的深度学习模型对间隔半小时采集到的待处理图像进行轮廓提取，以得到货物对应的轮廓信息，并基于货物的轮廓信息得到第一货物轮廓掩膜图像，并根据参考图像，获取货物的第二货物轮廓掩膜图像，并对第一货物轮廓掩膜图像先进行腐蚀处理，再进行膨胀处理，以及将第二货物轮廓掩膜图像和处理后的第一货物轮廓掩膜图像进行异或处理，以准确确定出发生轮廓变动所在的图像区域，并对该图像区域的变动次数进行更新，并确定该图像区域的变动次数超过预设次数阈值的情况下，输出包括与图像区域对应的存储位置的提示信息。由此，准确确定出发生变动的图像区域，并结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
图7是本申请实施例的一个图像处理装置的结构示意图。
如图7所示，该图像处理装置700包括：
第一获取模块701，用于获取待处理图像，并获取待处理图像对应的参考图像。
第一确定模块702，用于根据待处理图像，确定待处理图像中目标对象的第一轮廓掩膜图像。
第二获取模块703，用于获取参考图像中目标对象的第二轮廓掩膜图像。
第二确定模块704，用于根据第一轮廓掩膜图像和第二轮廓掩膜图像确定图像区域的变动次数。
第一处理模块705，用于在变动次数超过预设次数阈值的情况下，获取与图像区域对应的存储位置信息，并输出包括存储位置信息的提示信息。
本申请提出一种图像处理装置，先获取待处理图像和待处理图像对应的参考图像，通过获取到的待处理图像和的参考图像对应的第一轮廓掩膜图像与第二轮廓掩膜图像，确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取图像区域对应的存储位置信息，最后输出存储位置信息的提示信息，由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
在本申请的一个实施例中，如图8所示，第一确定模块702，可以包括：
提取单元7021，用于提取待处理图像中目标对象的轮廓信息。
生成单元7022，用于根据轮廓信息，生成目标对象的第一轮廓掩膜图像。
在本申请的一个实施例中，如图8所示，第二确定模块704，可以包括：
处理单元7041，用于将第一轮廓掩膜图像与第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像，其中，轮廓变动掩码图像包括图像区域。
获取单元7042，获取图像区域的变动次数。
在本申请的一个实施例中，如图8所示，该装置还可以包括：
腐蚀处理模块706，用于对第一轮廓掩膜图像进行腐蚀处理，以得到腐蚀处理后的第一轮廓掩膜图像。
膨胀处理模块707，用于对腐蚀处理后的第一轮廓掩膜图像进行膨胀处理，以得到膨胀处理后的第一轮廓掩膜图像。
在本申请的一个实施例中，如图8所示，该装置还可以包括：
接收模块708，用于接收用于重设参考图像的请求，并获取请求的接收时间。
第三获取模块709，用于获取拍摄时间距离接收时间最近的目标图像；
第二处理模块710，用于将目标图像作为参考图像，并将图像区域的变动次数设置为零。
在本申请的一个实施例中，如图8所示，获取单元7042，可以包括：
第一确定子单元70421，确定预设的数据关系中是否存在与所述图像区域对应的标识信息。
处理子单元70422，在所述预设的数据关系中存在与所述图像区域对应的标识信息的情况下，获取所述标识信息对应的变动次数，并对变动次数进行加1处理，以得到所述图像区域的变动次数。
第二确定子单元70423，在所述预设的数据关系中不存在与所述图像区域对应的标识信息的情况下，确定所述图像区域所对应的变动次数为1。
在本申请的一个实施例中，如图8所示，该装置还可以包括：
第三处理模块711，为所述图像区域生成标识信息，并在所述预设的数据关系中保存所述标识信息，并将所述标识信息所对应的变动次数设置为1。
在本申请的一个实施例中，如图8所示，第一获取模块具体用于：
获取与大宗商品仓库信息对应的监控摄像头标识。根据监控摄像头标识向所对应的监控摄像头发起图像获取请求，并接收监控摄像头针对图像获取请求反馈的大宗商品货物图像。
本申请提出一种图像处理装置，先获取待处理图像和待处理图像对应的参考图像，通过获取到的待处理图像和的参考图像对应的第一轮廓掩膜图像与第二轮廓掩膜图像，确定图像区域的变动次数，在变动次数超过预设次数阈值的情况下，获取图像区域对应的存储位置信息，最后输出存储位置信息的提示信息，由此，结合变动图像区域的变动次数进行有效识别，避免误报情况的发生，并在提示信息中提示出变动图像区域所对应的存储位置信息，方便管理人员基于存储位置信息进行后续处理。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请一个实施例的电子设备的框图。
如图9所示，该电子设备包括：
存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机指令。
处理器902执行指令时实现上述实施例中提供的图像处理方法。
进一步地，电子设备还包括：
通信接口903，用于存储器901和处理器902之间的通信。
存储器901，用于存放可在处理器902上运行的计算机指令。
存储器901可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器902，用于执行程序时实现上述实施例的图像处理方法。
如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。
处理器902可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像，并获取所述待处理图像对应的参考图像；
根据所述待处理图像，确定所述待处理图像中目标对象的第一轮廓掩膜图像；
获取所述参考图像中所述目标对象的第二轮廓掩膜图像；
根据所述第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数；
在所述变动次数超过预设次数阈值的情况下，获取与所述图像区域对应的存储位置信息，并输出包括所述存储位置信息的提示信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述待处理图像，确定所述待处理图像中目标对象的第一轮廓掩膜图像，包括：
提取所述待处理图像中所述目标对象的轮廓信息；
根据所述轮廓信息，生成所述目标对象的第一轮廓掩膜图像。
3.如权利要求1所述的方法，其特征在于，所述根据所述第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数，包括：
将所述第一轮廓掩膜图像与所述第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像，其中，所述轮廓变动掩码图像包括所述图像区域；
获取所述图像区域的变动次数。
4.如权利要求3所述的方法，其特征在于，在所述将所述第一轮廓掩膜图像与所述第二轮廓掩膜图像进行异或运算，以得到轮廓变动掩码图像之前，所述方法还包括：
对所述第一轮廓掩膜图像进行腐蚀处理，以得到腐蚀处理后的第一轮廓掩膜图像；
对所述腐蚀处理后的第一轮廓掩膜图像进行膨胀处理，以得到膨胀处理后的第一轮廓掩膜图像。
5.如权利要求1所述的方法，其特征在于，在所述输出包括所述存储位置信息的提示信息之后，所述方法还包括：
接收用于重设参考图像的请求，并获取所述请求的接收时间；
获取拍摄时间距离所述接收时间最近的目标图像；
将所述目标图像作为所述参考图像，并将所述图像区域的变动次数设置为零。
6.如权利要求3所述的方法，其特征在于，所述获取所述图像区域的变动次数，包括：
确定预设的数据关系中是否存在与所述图像区域对应的标识信息；
在所述预设的数据关系中存在与所述图像区域对应的标识信息的情况下，获取所述标识信息对应的变动次数，并对变动次数进行加1处理，以得到所述图像区域的变动次数；
在所述预设的数据关系中不存在与所述图像区域对应的标识信息的情况下，确定所述图像区域所对应的变动次数为1。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
为所述图像区域生成标识信息，并在所述预设的数据关系中保存所述标识信息，并将所述标识信息所对应的变动次数设置为1。
8.如权利要求1-7任一项所述的方法，其特征在于，所述获取待处理图像，包括：
获取与大宗商品仓库信息对应的监控摄像头标识；
根据所述监控摄像头标识向所对应的监控摄像头发起图像获取请求，并接收所述监控摄像头针对所述图像获取请求反馈的大宗商品货物图像。
9.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理图像，并获取所述待处理图像对应的参考图像；
第一确定模块，用于根据所述待处理图像，确定所述待处理图像中目标对象的第一轮廓掩膜图像；
第二获取模块，用于获取所述参考图像中所述目标对象的第二轮廓掩膜图像；
第二确定模块，用于根据所述第一轮廓掩膜图像和所述第二轮廓掩膜图像确定图像区域的变动次数；
第一处理模块，用于在所述变动次数超过预设次数阈值的情况下，获取与所述图像区域对应的存储位置信息，并输出包括所述存储位置信息的提示信息。
10.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202110454347.3A 2021-04-26 2021-04-26 图像处理方法、装置、电子设备和存储介质 Active CN113159074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454347.3A CN113159074B (zh) 2021-04-26 2021-04-26 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454347.3A CN113159074B (zh) 2021-04-26 2021-04-26 图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113159074A true CN113159074A (zh) 2021-07-23
CN113159074B CN113159074B (zh) 2024-02-09

Family

ID=76870930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454347.3A Active CN113159074B (zh) 2021-04-26 2021-04-26 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113159074B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115258865A (zh) * 2022-08-08 2022-11-01 成都鹏业软件股份有限公司 电梯门的识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148848A1 (en) * 2011-12-08 2013-06-13 Industrial Technology Research Institute Method and apparatus for video analytics based object counting
CN107256413A (zh) * 2017-06-14 2017-10-17 广东工业大学 一种物品监控方法及装置
US20180122033A1 (en) * 2016-11-02 2018-05-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US20180359449A1 (en) * 2015-11-27 2018-12-13 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method
CN109712315A (zh) * 2018-12-27 2019-05-03 苏州浪潮智能软件有限公司 一种基于双摄像头的自动售卖机货物掉落检测方法
CN110660066A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN111862508A (zh) * 2020-06-22 2020-10-30 深圳中兴网信科技有限公司 监控方法、监控设备和计算机可读存储介质
CN112241667A (zh) * 2019-07-18 2021-01-19 华为技术有限公司 图像检测方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148848A1 (en) * 2011-12-08 2013-06-13 Industrial Technology Research Institute Method and apparatus for video analytics based object counting
US20180359449A1 (en) * 2015-11-27 2018-12-13 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method
US20180122033A1 (en) * 2016-11-02 2018-05-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN107256413A (zh) * 2017-06-14 2017-10-17 广东工业大学 一种物品监控方法及装置
CN109712315A (zh) * 2018-12-27 2019-05-03 苏州浪潮智能软件有限公司 一种基于双摄像头的自动售卖机货物掉落检测方法
CN112241667A (zh) * 2019-07-18 2021-01-19 华为技术有限公司 图像检测方法、装置、设备及存储介质
CN110660066A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN111862508A (zh) * 2020-06-22 2020-10-30 深圳中兴网信科技有限公司 监控方法、监控设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李东海: "无人零售环境下数据生成与物体识别算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 01 *
梁志勇;刘文娟;: "傅立叶变换在仓库监控智能跟踪系统中的应用", 微计算机信息, no. 28 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115258865A (zh) * 2022-08-08 2022-11-01 成都鹏业软件股份有限公司 电梯门的识别方法及装置

Also Published As

Publication number Publication date
CN113159074B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US20170300744A1 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
CN111512317B (zh) 一种多目标实时跟踪方法、装置及电子设备
CN108491794B (zh) 面部识别的方法和装置
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN110210480B (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
US20190035106A1 (en) Analysis apparatus, analysis method, and storage medium
CN110751116B (zh) 一种目标识别的方法及装置
CN112633205A (zh) 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN108470126B (zh) 数据处理方法、装置及存储介质
CN111445021B (zh) 学习方法、学习设备和计算机可读记录介质
CN113159074A (zh) 图像处理方法、装置、电子设备和存储介质
CN112381092A (zh) 跟踪方法、装置及计算机可读存储介质
JP2010257267A (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN111402987A (zh) 基于可见光视频的用药提醒方法、装置、设备及存储介质
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN112241671B (zh) 一种人员身份识别方法、装置及系统
CN112580689A (zh) 神经网络模型的训练方法、应用方法、装置和电子设备
JP2019105870A (ja) 判別プログラム、判別方法および判別装置
US20230401894A1 (en) Behavior estimation device, behavior estimation method, and recording medium
CN110674690B (zh) 检测方法、检测装置与检测设备
JP7401747B2 (ja) 類別プログラム、類別装置及び類別方法
CN110308905B (zh) 一种页面组件匹配方法及装置
CN110490025B (zh) 一种目标检测方法、装置、设备及系统
WO2023046403A1 (en) Modelling geospatial data
US10460206B2 (en) Differentiating physical and non-physical events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant