CN113610004B - 一种图像处理方法、机器人及介质 - Google Patents
一种图像处理方法、机器人及介质 Download PDFInfo
- Publication number
- CN113610004B CN113610004B CN202110909086.XA CN202110909086A CN113610004B CN 113610004 B CN113610004 B CN 113610004B CN 202110909086 A CN202110909086 A CN 202110909086A CN 113610004 B CN113610004 B CN 113610004B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- sub
- state
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 151
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012790 confirmation Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 235000013305 food Nutrition 0.000 description 8
- 239000000725 suspension Substances 0.000 description 7
- 235000012054 meals Nutrition 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明实施例公开了一种图像处理方法、机器人及介质。该方法包括：对目标区域图像采集得到当前时间点目标区域的第一状态图像，并从第一状态图像中识别各目标对象以及目标对象在目标区域中的区域位置，以根据区域位置从第一状态图像中提取第一子图像。对目标区域图像采集得到下一时间点目标区域的第二状态图像，并根据由第一状态图像确定的区域位置从第二状态图像中提取第二子图像；根据第一子图像和第二子图像，确定各目标对象在区域位置中的第一状态变化信息。通过运行本发明实施例所提供的技术方案，可以解决比较同一区域的不同图像之间的相似度，导致无法准确识别目标对象状态变化的问题，实现提高区域中目标对象状态变化识别准确性的效果。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法、机器人及介质。
背景技术
随着计算机技术的发展，往往通过图像识别的方式确定固定区域中目标对象状态的变化，例如确定固定区域中目标人员是否走动等。
现有技术中，往往直接比较同一区域的不同图像之间的相似度，以判断图像中的目标对象状态是否发生改变，然而当图像相似度变化较小时，可能导致无法准确识别目标对象状态的变化。
发明内容
本发明实施例提供一种图像处理方法、机器人及介质，以实现提高区域中目标对象状态变化识别的准确性。
第一方面，本发明实施例提供了一种图像处理方法，该方法包括：
通过图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象；
根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像；
通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；
根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
可选的，通过所述图像采集器对目标区域进行图像采集得到所述目标区域的第一状态图像，包括：
通过所述图像采集器对目标区域进行图像采集得到所述目标区域的当前状态图像；
根据预先采集的所述目标区域的背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
若存在，则将所述当前状态图像确定为所述第一状态图像。
可选的，根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像，包括：
根据所述背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
根据所述区域位置从所述第一前景图像中提取所述第一子图像；
以及根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取第二子图像，包括：
根据所述背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
可选的，根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
确定所述第一子图像和所述第二子图像之间的相似度比较结果；其中，所述相似度比较结果根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定；
根据所述相似度比较结果是否大于预设阈值，确定所述目标对象在所述区域位置的状态是否改变。
可选的，在确定各所述目标对象在所述区域位置的第一状态变化信息之后，还包括：
响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
判断所述状态变化确认信息和所述第一状态变化信息是否一致；
若否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第三状态图像。
可选的，所述方法应用于包括图像采集器的送物机器人，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，包括：
从所述到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新所述第二状态图像。
可选的，所述方法应用于包括图像采集器的送物机器人，则根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
根据预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合；
根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
可选的，在确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息之后，还包括：
若所述第一状态变化信息不满足预设状态变化条件，则根据所述预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应非目标任务对象的第第四子图像集合；
根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
可选的，所述方法应用于包括图像采集器的送物机器人，则所述当前时间点为所述送物机器人运送所述目标物品的启动时间点，所述下一时间点为所述送物机器人到达预设的送物目的地的到达时间点；
相应的，在通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像之前，还包括：
若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停状态图像；
根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标物品的暂停子图像；
根据所述目标区域的所述第一子图像和所述暂停子图像，确定所述目标对象在所述区域位置的状态是否改变；
若否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
可选的，所述方法应用于包括图像采集器的送物机器人，则所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点；
相应的，在通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像之前，还包括：
若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
根据各所述目标物品在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
根据所述第一子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
若否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
第二方面，本发明实施例还提供了一种机器人，该机器人包括：
图像采集器，用于采集图像；
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的图像处理方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的图像处理方法。
本发明实施例通过图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象；根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像，即从一个包括多个目标对象的整体图像中，依据各目标对象对应的位置区域划分出多个区域图像；通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。本申请通过比较不同时间点目标对象所在的区域图像，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点，解决直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，导致无法准确识别目标对象状态变化的问题，实现提高区域中目标对象状态变化识别准确性的效果。
附图说明
图1为本发明实施例一提供的一种图像处理方法的流程图；
图2为本发明实施例二提供的一种图像处理方法的流程图；
图3为本发明实施例三提供的一种图像处理装置的结构示意图；
图4为本发明实施例四提供的一种机器人的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像处理方法的流程图，本实施例可适用于识别固定区域中目标对象状态是否改变的情况，该方法可以由本发明实施例所提供的图像处理装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的图像处理方法，包括：
步骤110、通过图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象。
其中，图像采集器可以为摄像装置，用于采集目标区域的图像，可以安置在固定位置处，以保证不同时间点采集到的目标区域的图像的范围相同。目标区域为指定的固定区域，例如送物机器人中的置物区域，或者电梯间等人员通行区域等，目标对象为目标区域中关注的对象，例如为置物区域中的放置物品，人员通行区域中的人等，本实施例对此不进行限制。当前时间点为图像采集器采集目标区域的第一状态图像的时间点，第一状态图像为存在目标对象的图像。
从第一状态图像中识别目标对象的方式可以为模板匹配法等任一目标识别算法，本实施例对此不进行限制。
本实施例中，可选的，通过所述图像采集器对目标区域进行图像采集得到所述目标区域的第一状态图像，包括：
通过所述图像采集器对目标区域进行图像采集得到所述目标区域的当前状态图像；
根据预先采集的所述目标区域的背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
若存在，则将所述当前状态图像确定为所述第一状态图像。
通过图像采集器对目标区域进行图像采集得到目标区域的当前状态图像，其中，当前状态图像为图像采集器在当前时间点之前或当前时间点采集的目标区域图像。
预先采集目标区域的背景图像，其中背景图像为目标区域中不存在目标对象时采集的图像。根据背景图像和当前状态图像确定目标区域中是否存在目标对象，可以为将当前状态图像与背景图像作差，获得前景图像，判断前景图像中是否存在目标对象。
若存在，则将该张当前状态图像确定为第一状态图像。若不存在，则图像采集器继续对目标区域进行图像采集。从而及时确定第一状态图像，提高后续对目标对象状态区域位置确定的效率。
步骤120、根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像。
其中，根据识别结果得到各目标对象在目标区域中的区域位置，可以为对识别到的目标对象的轮廓取最小外切矩形，得到矩形的四个角点坐标，将四个坐标作为该目标对象在目标区域中的区域位置。
根据区域位置从第一状态图像中提取对应目标对象的第一子图像，可以为将第一状态图像中区域位置处的图像作为目标对象的第一子图像，示例性的，若目标对象为餐品，则第一子图像为第一状态图像中餐品所在区域位置处的餐品图像。
步骤130、通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像。
通过同一图像采集器采集目标区域，得到下一时间点目标区域的第二状态图像。其中，下一时间点为当前时间点之后的时间点，可以为预设时间点，例如将当前时间点之后五分钟作为下一时间点；也可以为根据预设条件触发的时间点，例如将满足预设条件时的时间点作为下一时间点，本实施例对此不进行限制。
根据各目标对象在目标区域中的区域位置，从第二状态图像中提取对应目标对象的第二子图像，可以为将第二状态图像中区域位置处的图像作为目标对象的第二子图像。
本实施例中，可选的，根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像，包括：
根据所述背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
根据所述区域位置从所述第一前景图像中提取所述第一子图像；
以及根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取第二子图像，包括：
根据所述背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
将背景图像和第一状态图像作差得到目标区域的第一前景图像，将第一前景图像中区域位置处的图像作为第一子图像。
将背景图像和第二状态图像作差得到目标区域的第二前景图像，将第二前景图像中区域位置处的图像作为第二子图像。
从前景图像中提取子图像，提高第一子图像和第二子图像对于目标对象的针对性。将相同区域位置处的图像作为第一子图像和第二子图像并进行比较，即仅关注区域位置处的目标对象的变化情况，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点，提高后续第一状态变化信息确定的准确性。
步骤140、根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
根据第一子图像和第二子图像确定各目标对象在所述区域位置的第一状态变化信息，可以为将各目标对象对应的第一子图像和第二子图像分别进行对比，根据对比结果确定目标对象的第一状态变化信息。其中，第一状态变化信息用于体现目标对象在所属区域中状态的变化，可以根据目标对象的种类的确定对应的第一状态变化信息，示例性的，若目标对象为物品，则第一状态变化信息可以用于体现物品是否被取走，若目标对象为人，则第一状态变化信息可以用于体现人是否走动等。
本实施例中，可选的，在确定各所述目标对象在所述区域位置的第一状态变化信息之后，还包括：
响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
判断所述状态变化确认信息和所述第一状态变化信息是否一致；
若否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第三状态图像。
其中，用户对各目标对象的状态确认操作，可以为用户触摸与状态确认相关的指定按键进行确认操作，也可以通过与状态确认相关的APP发出指令等方式进行确认操作，本实施例对此不进行限制。获取各目标对象的状态变化确认信息，可以为获取全部目标对象的整体状态变化，示例性的，当目标对象为物品时，状态变化确认信息可以为用户确认物品已全部取走，即目标对象的状态为全部被取走。
判断状态变化确认信息和第一状态变化信息是否一致，即判断各目标对象对应的状态变化确认信息和第一状态变化信息是否一致。例如是否存在状态变化确认信息为目标对象全部被取走，而第一状态变化信息为目标对象未全部被取走的情况。
若状态变化确认信息和第一状态变化信息不一致，则通过对目标区域进行图像采集得到状态变化确认时间点目标区域的第三状态图像。其中，状态变化确认时间点为用户进行状态确认操作的时间点。此时，采集目标区域的第三状态图像并进行存储，以便于后续分析。第三状态图像存储的数量可以根据存储空间的大小来确定，当图像存储量超过存储空间的大小时，可以将存储时间较早的图像删除。
判断状态变化确认信息和第一状态变化信息是否一致，在用户确认结果和图像识别结果不一致的情况下采集第三状态图像，使得后续可以根据第三状态图像判断图像处理得到的第一状态变化信息是否正确，以便于对图像处理方法进行改善。
本实施例中，可选的，根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
确定所述第一子图像和所述第二子图像之间的相似度比较结果；其中，所述相似度比较结果根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定；
根据所述相似度比较结果是否大于预设阈值，确定所述目标对象在所述区域位置的状态是否改变。
确定第一子图像和第二子图像之间的相似度比较结果，确定方式可以为根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果共同确定，对于单个图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果的具体确定过程可以为：
亮度比较结果可以通过对图像中基于窗口的卷积运算将平均灰度值滤除，对于离散的像素信号值，计算标准差获取；对比度比较结果可以通过对图像信号计算方差获取；结构比较结果可以对图像信号计算协方差获取。
通过亮度比较结果、对比度比较结果及结构比较结果共同确定单个图像颜色通道的通道比较结果，确定方式可以为亮度比较结果、对比度比较结果及结构比较结果设置不同的权重，结合各个比较结果，最终得到通道比较结果。
对于不同的颜色通道，例如RGB通道，分别获取各通道的通道比较结果。可以取各通道比较结果的平均值作为最终的相似度比较结果。判断相似度比较结果是否大于预设阈值，若否，则确定目标对象在所述区域位置的状态改变。
通过图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定相似度比较结果，多个方面确定相似度比较结果，提高了相似度比较结果确定的准确性和针对性，从而提高根据相似度比较结果确定各目标对象在所述区域位置的第一状态变化信息的准确性。
本实施例所提供的技术方案，通过比较同一位置处不同时间点的子图像，确定各目标对象的状态变化，比较不同时间点目标对象所在的区域图像，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点，解决了当目标对象变化较小时，例如共有十个目标对象，仅一个目标对象发生变化，若直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，由于变化范围较小导致无法准确识别目标对象状态变化的问题，达到了提高区域中目标对象状态变化识别准确性的效果。
实施例二
图2为本发明实施例二提供的一种图像处理方法的流程图，本技术方案是针对根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息的过程进行补充说明的，并且应用于包括图像采集器的送物机器人。与上述方案相比，本方案具体优化为，根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
根据预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合；
根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
本实施例中送物机器人的机型可以为封闭舱机型，例如酒店机器人，对封闭舱中采集的图像进行图像处理，从而避免送物机器人在送物过程中由于环境光照情况，例如光照强度、光照颜色、光源入射的角度及阴影遮挡区域等变化对图像处理的影响。
具体的，图像处理方法的流程图如图2所示：
步骤210、通过图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象。
步骤220、根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像。
步骤230、通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像。
本实施例中，可选的，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，包括：
从所述到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新所述第二状态图像。
下一时间点为送物机器人到达预设的任务目的地的到达时间点，即送物机器人运送目标对象至预设任务目的地的时间点。
预设时长为预先设定的时长，例如为1秒，即从到达时间点起，每间隔预设时长，就通过图像采集器对目标区域进行一次图像采集，以将上一时间得到的第二状态图像更新为当前得到的第二状态图像，从而获取最新的第二状态图像。
这样的好处在于，在机器人到达预设的任务目的地后，用户并未立即取物，或者目标对象不止一样等情况下，可以及时根据最新的第二状态图像提取对应目标对象的第二子图像，以根据第一子图像和第二子图像，确定各目标对象在区域位置的第一状态变化信息，从而确定目标区域中的单个目标对象是否被取走或多个目标对象是否被完全取走，提高第一状态变化信息确定的准确性和效率，以及物品运送的有效性。
本实施例中，可选的，所述当前时间点为所述送物机器人运送所述目标物品的启动时间点，所述下一时间点为所述送物机器人到达预设的送物目的地的到达时间点；
相应的，在通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像之前，还包括：
若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停状态图像；
根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标物品的暂停子图像；
根据所述目标区域的所述第一子图像和所述暂停子图像，确定所述目标对象在所述区域位置的状态是否改变；
若否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
当前时间点为送物机器人运送目标物品的启动时间点，即送物机器人开始运送目标对象的时间点；下一时间点为送物机器人到达预设的任务目的地的到达时间点，即送物机器人运送目标对象至预设任务目的地的时间点。
暂停事件为机器人在移动过程中暂停的事件，可以由人工触发也可以由机器人自动触发，人工触发可以为人工触碰机器人上的急停按键等；机器人自动触发可以为机器人避让人或者物时进行自动暂停等。在启动时间点和到达时间点之间，若检测到暂停事件，则通过图像采集器对目标区域进行图像采集，得到目标区域的暂停状态图像。
根据各目标对象在目标区域中的区域位置，从暂停状态图像中提取对应目标物品的暂停子图像，可以为将暂停状态图像中区域位置处的图像作为目标对象的暂停子图像。
根据第一子图像和暂停子图像确定各目标对象在区域位置的状态是否变化，可以为将各目标对象对应的第一子图像和暂停子图像分别进行对比，根据对比结果确定目标对象的状态是否改变。
若改变，则表明在机器人暂停过程中，目标对象被人为或其它方式移动了位置，表明目标物品被提前改变状态，可以进行灯光或语音提示，或发送警报至管理人员处，可以根据状态改变的目标对象对应的目标区域进行相应提示，示例性的，若依次检测到机器人中第X、Y、Z层的目标区域中目标对象状态改变，则提示方式可以为在机器人的显示屏幕中按照预设时间间隔依次显示包含第X、Y、Z层文案的弹窗；若同时检测到机器人中第X、Y、Z层的目标区域中目标对象状态改变，则提示方式可以为在机器人的显示屏幕中显示“检测到第X，Y，Z层物品有变化，该层任务需要人工取物”的弹窗，本实施例对此不进行限制，以提高提示的针对性和改善用户体验。
若目标对象在区域位置的状态均未改变，则确定继续执行通过图像采集器对包括目标对象的所述目标区域进行图像采集，得到下一时间点目标区域的第二状态图像的操作。从而确认在机器人从送物启动到暂停的过程中，目标对象状态是否改变，以通过确认目标对象状态是否改变确定是否可以继续执行后续物品运送任务，提高图像处理的针对性以及物品运送的有效性。
本实施例中，可选的，所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点；
相应的，在通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像之前，还包括：
若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
根据各所述目标物品在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
根据所述第一子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
若否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
其中，暂停后启动事件为机器人在暂停后重新启动的事件，可以由人工触发也可以由机器人自动触发，人工触发可以为机器人在暂停后人工触碰机器人上的启动按键等；机器人自动触发可以为机器人避让人或者物成功后进行自动暂停后启动等。若检测到暂停后启动事件，则通过图像采集器对目标区域进行图像采集，得到目标区域的暂停后启动状态图像。
根据各目标对象在目标区域中的区域位置，从暂停后启动状态图像中提取对应目标物品的暂停后启动子图像，可以为将暂停后启动状态图像中区域位置处的图像作为目标对象的暂停后启动子图像。
根据第一子图像和暂停后启动子图像确定各目标对象在区域位置的状态是否变化，可以为将各目标对象对应的第一子图像和暂停子图像分别进行对比，根据对比结果确定目标对象的状态是否改变。
若改变，则表明在机器人暂停后启动过程中，目标对象被人为或其它方式移动了位置，表明目标物品被提前改变状态，可以进行灯光或语音提示，或发送警报至管理人员处。可以根据状态改变的目标对象对应的目标区域进行相应提示，示例性的，若依次检测到机器人中第X、Y、Z层的目标区域中目标对象状态改变，则提示方式可以为在机器人的显示屏幕中按照预设时间间隔依次显示包含第X、Y、Z层文案的弹窗；若同时检测到机器人中第X、Y、Z层的目标区域中目标对象状态改变，则提示方式可以为在机器人的显示屏幕中显示“检测到第X，Y，Z层物品有变化，该层任务需要人工取物”的弹窗，本实施例对此不进行限制，以提高提示的针对性和改善用户体验。
若目标对象在区域位置的状态均未改变，则确定继续执行通过图像采集器对包括目标对象的所述目标区域进行图像采集，得到下一时间点目标区域的第二状态图像的操作。从而确认在机器人从送物启动到暂停后启动的过程中，目标对象状态是否改变，以通过确认目标对象状态是否改变确定是否可以继续执行后续物品运送任务，提高图像处理的针对性以及物品运送的有效性。
步骤240、根据预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合。
其中预设的任务目的地为送物机器人运送目标对象到达的目的地，示例性的，若目标对象为餐品，则任务目的地可以为餐桌。任务目的地与目标对象的关联关系可以通过预先设置，例如任务目的地一为餐桌A，存在关联关系的目标对象为餐品一和餐品二，任务目的地二为餐桌B，存在关联关系的目标对象为餐品三和餐品四。
根据机器人当前去往的任务目的地，从全部目标对象中确定与当前任务目的地对应的目标任务对象构成的目标任务对象集合。示例性的，全部目标对象为ABCDE，与当前任务目的地存在关联关系的目标对象为ABC，则目标任务对象集合包括目标任务对象ABC。
步骤250、根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合。
根据目标任务对象集合从第一子图像中确定对应目标任务对象的第一子图像集合，即获取目标任务对象集合中各目标任务对象对应的第一子图像。从第二子图像中确定对应目标任务对象的第二子图像集合，即获取目标任务对象集合中各目标任务对象对应的第二子图像。
步骤260、根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
将第一子图像集合中的第一子图像分别与对应的第二子图像集合中的第二子图像进行对比，得到目标任务对象集合中各目标任务对象的第一状态变化信息。示例性的，将目标任务对象A对应的第一子图像和第二子图像进行对比，得到目标任务对象A的第一状态变化信息。由此获得所有目标任务对象的第一状态变化信息。
本实施例中，可选的，在确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息之后，还包括：
若所述第一状态变化信息不满足预设状态变化条件，则根据所述预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应非目标任务对象的第第四子图像集合；
根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
其中，预设状态变化条件用于确定目标对象的状态变化情况，可以为目标任务对象集合中各目标任务对象的第一状态变化信息均为被取走，本实施例对此不进行限制。
若第一状态变化信息不满足预设状态变化条件，可以为存在至少一个目标任务对象的第一状态变化信息为未被取走，即取物任务失败，则根据预设的任务目的地与目标对象的关联关系，从全部目标对象中确定非目标任务对象集合。
根据机器人当前去往的任务目的地，从全部目标对象中确定与当前任务目的地无关的非目标任务对象构成的非目标任务对象集合。示例性的，全部目标对象为ABCDE，与当前任务目的地存在关联关系的目标对象为ABC，则非目标任务对象集合包括非目标任务对象DE。
根据目标任务对象集合从第一子图像中确定对应目标任务对象的第三子图像集合，即获取非目标任务对象集合中各非目标任务对象对应的第一子图像。从第二子图像中确定对应目标任务对象的第四子图像集合，即获取非目标任务对象集合中各非目标任务对象对应的第二子图像。
将第三子图像集合中的第一子图像分别与对应的第四子图像集合中的第二子图像进行对比，得到非目标任务对象集合中各非目标任务对象的第二状态变化信息。示例性的，将非目标任务对象E对应的第一子图像和第二子图像进行对比，得到非目标任务对象E的第二状态变化信息。由此获得所有非目标任务对象的第二状态变化信息。
在第一状态变化信息不满足预设状态变化条件情况下，确定非目标任务对象集合非目标任务对象在区域位置的第二状态变化信息，可以根据第二状态变化信息确定第一状态变化信息不满足预设状态变化条件的原因。例如若存在至少一个非目标任务对象的第二状态变化信息为被取走，则表明第一状态变化信息不满足预设状态变化条件的原因可能为，当前任务目的地用户由于错误取走了非目标任务对象而未取走目标任务对象。
示例性的，当前任务目的地为餐桌A，对应的目标对象为餐品一和餐品二，后续任务目的地为餐桌B，对应的目标对象为餐品三和餐品四，则此时目标任务对象为餐品一和餐品二，非目标任务对象为餐品三和餐品四。若确定餐桌A处的用户取走了餐品三或餐品四，则表明用户误取了非目标任务对象，此时可以通过机器人进行语音或屏幕显示等提示，例如语音播报“取物错误请放回原位”，“请取xx位置处的物品”等，提示用户放回取出错误的非目标任务对象以及取走目标任务对象。
除比较与任务目的地相关的目标对象相关的图像区域外，比较任务目的地无关的目标对象相关的图像区域，以便后续确定第一状态变化信息不满足预设状态变化条件的原因，以及避免影响非当前任务目的地任务的执行，从而提高图像处理的全面性以及送物机器人任务执行的有效性。
本发明实施例通过目标任务对象对应的第一子图像集合和第二子图像集合，确定目标任务对象集合中的各目标任务对象在区域位置的第一状态变化信息，即仅比较与任务目的地相关的目标对象相关的图像区域，避免存在多个任务目的地时，进行所有目标对象的比较，导致降低比较的准确性。通过提高比较的针对性，提高比较结果获取的准确性。
实施例三
图3为本发明实施例三提供的一种图像处理装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种图像处理方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置包括：
目标对象识别模块310，用于通过图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象；
第一子图像提取模块320，用于根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像；
第二子图像提取模块330，用于通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；
第一状态变化信息确定模块340，用于根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
本实施例所提供的技术方案，通过比较同一位置处不同时间点的子图像，确定各目标对象的状态变化，比较不同时间点目标对象所在的区域图像，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点，解决了当目标对象变化较小时，例如共有十个目标对象，仅一个目标对象发生变化，若直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，由于变化范围较小导致无法准确识别目标对象状态变化的问题，达到了提高区域中目标对象状态变化识别准确性的效果。
在上述各技术方案的基础上，可选的，所述目标对象识别模块，包括：
当前状态图像采集单元，用于通过所述图像采集器对目标区域进行图像采集得到所述目标区域的当前状态图像；
目标对象确定单元，用于根据预先采集的所述目标区域的背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
第一状态图像确定单元，用于若所述目标对象确定单元确定为存在，则将所述当前状态图像确定为所述第一状态图像。
在上述各技术方案的基础上，可选的，所述第一子图像提取模块，包括：
第一前景图像获得单元，用于根据所述背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
第一子图像提取单元，用于根据所述区域位置从所述第一前景图像中提取所述第一子图像；
以及所述第二子图像提取模块，包括：
第二前景图像获得单元，用于根据所述背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
第二子图像提取单元，用于根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
在上述各技术方案的基础上，可选的，所述第一状态变化信息确定模块，包括：
相似度比较结果确定单元，用于确定所述第一子图像和所述第二子图像之间的相似度比较结果；其中，所述相似度比较结果根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定；
目标对象状态改变确定单元，用于根据所述相似度比较结果是否大于预设阈值，确定所述目标对象在所述区域位置的状态是否改变。
在上述各技术方案的基础上，可选的，所述装置还包括：
状态变化确认信息获取模块，用于所述第一状态变化信息确定模块之后，响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
信息一致判断模块，用于判断所述状态变化确认信息和所述第一状态变化信息是否一致；
第三状态图像采集模块，用于若所述信息一致判断模块判断为否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第三状态图像。
在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则所述第二子图像提取模块，包括：
第二状态图像获取更新单元，用于从所述到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新所述第二状态图像。
在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，则所述第一状态变化信息确定模块，包括：
目标任务对象集合确定单元，用于根据预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
第一子图像集合确定单元，用于根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合；
第一状态变化信息确定单元，用于根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
在上述各技术方案的基础上，可选的，所述装置还包括：
非目标任务对象集合确定单元，用于所述第一状态变化信息确定单元之后，若所述第一状态变化信息不满足预设状态变化条件，则根据所述预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
第二子图像集合确定单元，用于根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应非目标任务对象的第第四子图像集合；
第二状态变化信息确定单元，用于根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，则所述当前时间点为所述送物机器人运送所述目标物品的启动时间点，所述下一时间点为所述送物机器人到达预设的送物目的地的到达时间点；
相应的，所述装置还包括：
暂停状态图像采集模块，用于所述第二子图像提取模块之前，若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停状态图像；
暂停子图像提取模块，用于根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标物品的暂停子图像；
第一目标对象状态改变确定模块，用于根据所述目标区域的所述第一子图像和所述暂停子图像，确定所述目标对象在所述区域位置的状态是否改变；
第一采集操作确定执行模块，用于若所述第一目标对象状态改变确定模块确定为否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，则所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点；
相应的，所述装置还包括：
暂停后启动状态图像采集模块，用于所述第二子图像提取模块之前，若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
暂停后启动子图像提取模块，用于根据各所述目标物品在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
第二目标对象状态改变确定模块，用于根据所述第一子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
第二采集操作确定执行模块，用于若所述第二目标对象状态改变确定模块确定为否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
实施例四
图4为本发明实施例四提供的一种机器人的结构示意图，如图4所示，该机器人包括处理器40、存储器41、输入装置42和输出装置43；机器人中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；机器人中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。机器人还包括图像采集器(图中未示出)，其中，图像采集器用于采集图像。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行机器人的各种功能应用以及数据处理，即实现上述的图像处理方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法，该方法包括：
通过图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象；
根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像；
通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；
根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述图像处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种图像处理方法，其特征在于，应用于包括图像采集器的送物机器人，所述方法包括：
通过所述图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像识别各目标对象；根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应所述目标对象的第一子图像；其中，所述目标区域为所述送物机器人的置物区域，所述目标对象为所述置物区域上放置的物品；所述当前时间点与所述送物机器人运送物品的出发位置有关；
从到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应所述目标对象的第二子图像；其中，所述下一时间点与所述送物机器人运送物品的预设的送物目的地有关；
根据预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应所述目标任务对象的第二子图像集合；
根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息；其中，所述第一状态变化信息用于体现物品在所属区域位置是否被取走；
若所述第一状态变化信息不满足预设状态变化条件，则根据所述预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应所述非目标任务对象的第四子图像集合；
根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
2.根据权利要求1所述的方法，其特征在于，所述通过所述图像采集器对目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，包括：
通过所述图像采集器对所述目标区域进行图像采集得到所述目标区域的当前状态图像；
根据预先采集的所述目标区域的背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
若存在，则将所述当前状态图像确定为所述第一状态图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述区域位置从所述第一状态图像中提取对应所述目标对象的第一子图像，包括：
根据所述背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
根据所述区域位置从所述第一前景图像中提取所述第一子图像；
以及所述根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应所述目标对象的第二子图像，包括：
根据所述背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
4.根据权利要求1所述的方法，其特征在于，在所述确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息之后，还包括：
响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
判断所述状态变化确认信息和所述第一状态变化信息是否一致；
若否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第三状态图像。
5.根据权利要求1所述的方法，其特征在于，所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达所述预设的送物目的地的到达时间点；
所述在从到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新下一时间点所述目标区域的第二状态图像之前，还包括：
若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对所述目标区域进行图像采集，得到所述目标区域的暂停状态图像；
根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标对象的暂停子图像；
根据所述目标区域的所述第一子图像和所述暂停子图像，确定所述目标对象在所述区域位置的状态是否改变；
若否，则确定执行从到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新下一时间点所述目标区域的第二状态图像的操作。
6.根据权利要求1所述的方法，其特征在于，所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达所述预设的任务目的地的到达时间点；
所述在从到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新下一时间点所述目标区域的第二状态图像之前，还包括：
若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对所述目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
根据各所述目标对象在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
根据所述第一子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
若否，则确定执行从到达时间点起，每间隔预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并更新下一时间点所述目标区域的第二状态图像的操作。
7.根据权利要求1所述的方法，其特征在于，所述根据识别结果得到各所述目标对象在所述目标区域中的区域位置，包括：
对识别到的所述目标对象的轮廓取最小外切矩形，得到矩形的四个角点坐标，将所述四个角点坐标作为所述目标对象在所述目标区域中的区域位置。
8.根据权利要求2所述的方法，其特征在于，所述背景图像为所述目标区域中不存在所述目标对象时采集的图像；所述当前状态图像为所述图像采集器在当前时间点之前或当前时间点采集的目标区域图像；
所述根据预先采集的所述目标区域的背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象，包括：
将所述背景图像和所述当前状态图像作差，获得第三前景图像；
判断所述第三前景图像中是否存在所述目标对象。
9.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述目标区域的所述第一子图像和所述暂停子图像，若确定所述目标对象在所述区域位置的状态改变，根据状态改变的所述目标对象对应的目标区域进行相应提示，进行灯光或语音提示，或发送警报至管理人员处，表明在所述送物机器人暂停过程中，所述目标对象被移动了位置，被提前改变状态。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述预设状态变化条件为所述目标任务对象集合中各所述目标任务对象的第一状态变化信息均为被取走；
根据所述第二状态变化信息确定所述第一状态变化信息不满足所述预设状态变化条件的原因。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
若存在至少一个所述非目标任务对象的第二状态变化信息为被取走；
则表明所述第一状态变化信息不满足预设状态变化条件的原因为当前任务目的地用户错取了所述非目标任务对象，且未取走所述目标任务对象；
提示用户放回错取的所述非目标任务对象以及取走所述目标任务对象。
12.一种机器人，其特征在于，包括：
图像采集器，用于采集图像；
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的图像处理方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110909086.XA CN113610004B (zh) | 2021-08-09 | 2021-08-09 | 一种图像处理方法、机器人及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110909086.XA CN113610004B (zh) | 2021-08-09 | 2021-08-09 | 一种图像处理方法、机器人及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610004A CN113610004A (zh) | 2021-11-05 |
| CN113610004B true CN113610004B (zh) | 2024-04-05 |
Family
ID=78307692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110909086.XA Active CN113610004B (zh) | 2021-08-09 | 2021-08-09 | 一种图像处理方法、机器人及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610004B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114290337B (zh) * | 2022-01-28 | 2024-03-26 | 北京云迹科技股份有限公司 | 一种机器人控制方法、装置、电子设备和存储介质 |
| CN116228698B (zh) * | 2023-02-20 | 2023-10-27 | 北京鹰之眼智能健康科技有限公司 | 基于图像处理的填充物状态检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103369227A (zh) * | 2012-03-26 | 2013-10-23 | 联想(北京)有限公司 | 一种运动对象的拍照方法及电子设备 |
| JP2015001859A (ja) * | 2013-06-17 | 2015-01-05 | 大日本印刷株式会社 | 情報処理装置、情報処理システム及びプログラム |
| CN108427914A (zh) * | 2018-02-08 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 入离场状态检测方法和装置 |
| WO2019126908A1 (zh) * | 2017-12-25 | 2019-07-04 | 深圳市大疆创新科技有限公司 | 图像数据处理方法、装置及设备 |
| CN110149553A (zh) * | 2019-05-10 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
| CN111242908A (zh) * | 2020-01-07 | 2020-06-05 | 青岛小鸟看看科技有限公司 | 一种平面检测方法及装置、平面跟踪方法及装置 |
| CN111292353A (zh) * | 2020-01-21 | 2020-06-16 | 成都恒创新星科技有限公司 | 一种停车状态变化识别方法 |
| CN112613358A (zh) * | 2020-12-08 | 2021-04-06 | 浙江三维万易联科技有限公司 | 物品的识别方法、装置、存储介质以及电子装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5582772B2 (ja) * | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2021
- 2021-08-09 CN CN202110909086.XA patent/CN113610004B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103369227A (zh) * | 2012-03-26 | 2013-10-23 | 联想(北京)有限公司 | 一种运动对象的拍照方法及电子设备 |
| JP2015001859A (ja) * | 2013-06-17 | 2015-01-05 | 大日本印刷株式会社 | 情報処理装置、情報処理システム及びプログラム |
| WO2019126908A1 (zh) * | 2017-12-25 | 2019-07-04 | 深圳市大疆创新科技有限公司 | 图像数据处理方法、装置及设备 |
| CN108427914A (zh) * | 2018-02-08 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 入离场状态检测方法和装置 |
| CN110149553A (zh) * | 2019-05-10 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
| CN111242908A (zh) * | 2020-01-07 | 2020-06-05 | 青岛小鸟看看科技有限公司 | 一种平面检测方法及装置、平面跟踪方法及装置 |
| WO2021139549A1 (zh) * | 2020-01-07 | 2021-07-15 | 青岛小鸟看看科技有限公司 | 一种平面检测方法及装置、平面跟踪方法及装置 |
| CN111292353A (zh) * | 2020-01-21 | 2020-06-16 | 成都恒创新星科技有限公司 | 一种停车状态变化识别方法 |
| CN112613358A (zh) * | 2020-12-08 | 2021-04-06 | 浙江三维万易联科技有限公司 | 物品的识别方法、装置、存储介质以及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610004A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113610004B (zh) | 一种图像处理方法、机器人及介质 | |
| CN113627323B (zh) | 一种图像处理方法、机器人及介质 | |
| US10520329B2 (en) | Method for providing parking location information of vehicle and electronic device thereof | |
| US20170103254A1 (en) | Fingerprint identification system, and fingerprint processing method therefor and fingerprint processing apparatus thereof | |
| WO2020156034A1 (zh) | 指纹录入方法及相关装置 | |
| CN103279383B (zh) | 一种具有二维码扫描功能的拍照方法及系统 | |
| US20140359538A1 (en) | Systems and methods for moving display objects based on user gestures | |
| CN105653171A (zh) | 基于指纹识别的终端控制方法、终端控制装置及终端 | |
| CN107807847A (zh) | 应用进程的管理方法和终端设备 | |
| CN113194024B (zh) | 信息显示方法、装置和电子设备 | |
| CN113010018B (zh) | 交互控制方法、终端设备及存储介质 | |
| CN112070053B (zh) | 背景图像的自更新方法、装置、设备及存储介质 | |
| CN111656313A (zh) | 屏幕显示切换方法、显示设备、可移动平台 | |
| CN112712498A (zh) | 移动终端执行的车辆定损方法、装置、移动终端、介质 | |
| CN113688794A (zh) | 身份识别方法、装置、电子设备和计算机可读存储介质 | |
| CN112908321A (zh) | 设备控制方法、装置、存储介质及电子装置 | |
| US11836981B2 (en) | Method for assisting real-time monitoring of at least one person on sequences of images | |
| CN110796014A (zh) | 垃圾投放习惯分析方法、系统、装置及存储介质 | |
| CN112435274B (zh) | 一种基于面向对象分割的遥感影像面状地物提取方法 | |
| CN110717429B (zh) | 一种信息处理方法、电子设备及计算机可读存储介质 | |
| CN111667419A (zh) | 一种基于Vibe算法的移动目标鬼影消除方法及系统 | |
| WO2014161328A1 (zh) | 一种应用程序显示方法、装置及一种终端 | |
| CN111310510A (zh) | 一种人脸识别结果的显示方法、装置及存储介质 | |
| CN113469141B (zh) | 一种物品运送方法、机器人及介质 | |
| CN115546824B (zh) | 禁忌图片识别方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |