CN111666792B - 图像识别方法、图像采集和识别方法以及商品识别方法 - Google Patents

图像识别方法、图像采集和识别方法以及商品识别方法 Download PDF

Info

Publication number
CN111666792B
CN111666792B CN201910173390.5A CN201910173390A CN111666792B CN 111666792 B CN111666792 B CN 111666792B CN 201910173390 A CN201910173390 A CN 201910173390A CN 111666792 B CN111666792 B CN 111666792B
Authority
CN
China
Prior art keywords
image
determining
area
visual
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910173390.5A
Other languages
English (en)
Other versions
CN111666792A (zh
Inventor
吴纲律
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910173390.5A priority Critical patent/CN111666792B/zh
Publication of CN111666792A publication Critical patent/CN111666792A/zh
Application granted granted Critical
Publication of CN111666792B publication Critical patent/CN111666792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供图像识别方法、图像采集和识别方法以及商品识别方法,所述图像识别方法,包括:确定第一图像中的物体对应的第一图像区域;基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;识别所述第二图像区域中的物体;其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。所述图像识别方法通过缩小图像识别区域,简化图像处理过程,使得图像识别过程更加高效。

Description

图像识别方法、图像采集和识别方法以及商品识别方法
技术领域
本申请涉及机器视觉技术领域,特别涉及一种图像识别方法。本申请同时涉及一种图像识别装置、一种图像采集和识别方法以及装置、一种商品识别方法以及装置,三种计算设备,以及三种计算机可读存储介质。
背景技术
伴随着无人零售概念不断的发展,无人零售的市场越来越大。而无人货架货损问题严重,推广复制起来较难,因此无人货柜成为比较受欢迎的选项。
目前无人货柜使用到的识别技术主要有:RFID(Radio FrequencyIdentification,射频识别)技术、重力感应技术以及机器视觉技术。RFID识别方案是在每个物品后面贴一个RFID标签,物品拿出监测区域即表示被购买,优点是物品可溯源且识别结果精准,但运营成本较高,不适合大规模推广;重力感应技术成本较低,但对相同质量的物品无法精准识别;单目相机加重力传感器的配合方案是利用重力传感器触发单目相机拍照从而识别出物品,但只能进行静态识别,物品与重力传感器的接触方式以及重力传感器精度不够容易对识别结果产生影响;因而纯机器视觉技术成为优选方案。
采用机器视觉技术需要高门槛的视觉识别算法,目前的单目视觉识别技术,是在整个图像平面内进行图像识别,识别范围过广,提取物体不够精准迅速,导致在进行图像识别时,计算量较大;单目视觉是指通过单个相机拍摄的图像来实现三维空间的重建,对于单目视觉识别系统,当出现物体在单目相机视角中被遮挡的情况,则识别失败。
发明内容
有鉴于此,本申请实施例提供了一种图像识别方法,以解决现有技术中存在的技术缺陷。本申请实施例同时涉及一种图像识别装置、一种图像采集和识别方法以及装置,以及一种商品识别方法以及装置,三种计算设备,以及三种计算机可读存储介质。
本申请提供一种图像识别方法,包括:
确定第一图像中的物体对应的第一图像区域;
基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;
识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。
可选的,所述确定第一图像中的物体对应的第一图像区域之前,包括:
在所述第一图像中识别出所述物体的物体图像。
可选的,所述确定第一图像中的物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述最小图像区域,包括:
有界闭合的图像区域。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,包括:
确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域;
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为第二图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间,作为所述可视子空间。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面;
按照所述近横截面或者所述第一视平面对所述锥体空间进行截取,将所述锥体空间截取后获得的从所述第一视点出发在所述近横截面或者所述第一视平面之后的空间部分作为所述可视子空间。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
可选的,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述识别所述第二图像区域中的物体,包括:
将所述第二图像和所述第二图像区域的第二图像区域信息输入训练好的图像识别模型进行图像识别,输出所述物体的识别结果。
可选的,所述确定第一图像中的物体对应的第一图像区域,包括:
检测所述第一图像中是否存在所述物体的物体图像;
若不存在,确定所述第一图像中遮挡所述物体的遮挡物的遮挡区域,作为所述物体对应的第一图像区域。
可选的,所述将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,包括:
采用极线约束将所述轮廓线上的点映射到所述第二视平面。
本申请提供一种图像识别装置,包括:
第一图像区域确定模块,被配置为确定第一图像中的物体对应的第一图像区域;
第二图像区域确定模块,被配置为基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;
识别模块,被配置为识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。
本申请提供一种图像采集和识别方法,包括:
采集包含活动物体对应的活动物体图像的第一图像和第二图像;
在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述采集包含活动物体对应的活动物体图像的第一图像和第二图像之前,包括:
在可视空间内的检测子空间基于所述第一图像采集装置采集待检测图像;
检测所述待检测图像中是否存在所述活动物体图像;
若是,执行采集包含活动物体对应的活动物体图像的第一图像和第二图像步骤。
可选的,所述可视空间内的检测子空间,采用如下方式确定:
确定所述可视空间中所述第一图像采集装置对应的第一视平面;
根据所述第一图像采集装置在所述可视空间对应的第一视点,以及所述第一视平面的边界点,确定从所述第一视点出发经所述第一视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第一锥体空间;
确定所述可视空间中所述第二图像采集装置对应的第二视平面;
根据所述第二图像采集装置在所述可视空间对应的第二视点,以及所述第二视平面的边界点,确定从所述第二视点出发经所述第二视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第二锥体空间;
确定所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
可选的,所述第一图像采集装置采集所述第一图像;
所述第一图像采集装置采用硬件触发模式触发所述第二图像采集装置采集所述第二图像。
可选的,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像;
识别所述物体的图像,获得所述物体的第一属性信息。
可选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域;
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
将所述第一属性信息和所述第二属性信息进行对比,若相同,将所述第一属性信息或所述第二属性信息作为所述物体的识别结果。
可选的,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中所述活动物体图像与所述物体的图像二者的图像重合比例是否大于预设图像重合阈值;
若是,确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果。
可选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的识别结果。
可选的,所述确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间;
其中,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述第二图像区域,采用如下方式确定:
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域。
本申请提供一种图像采集和识别装置,包括:
活动物体图像采集模块,被配置为采集包含活动物体对应的活动物体图像的第一图像和第二图像;
物体第一识别结果模块,被配置为在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
物体第二识别结果模块,被配置为根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
本申请提供一种商品识别方法,包括:
确定第一商品图像中的商品对应的第一图像区域;
基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
本申请提供一种商品识别装置,包括:
商品第一图像区域确定模块,被配置为确定第一商品图像中的商品对应的第一图像区域;
商品第二图像区域确定模块,被配置为基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
商品识别模块,被配置为识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
本申请提供一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
确定第一图像中的物体对应的第一图像区域;
基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;
识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。
本申请提供第二种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
采集包含活动物体对应的活动物体图像的第一图像和第二图像;
在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
本申请提供第三种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
确定第一商品图像中的商品对应的第一图像区域;
基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
本申请提供一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现所述图像识别方法的步骤。
本申请提供一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现所述图像采集和识别方法的步骤。
本申请提供一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现所述商品识别方法的步骤。
与现有技术相比,本申请具有如下优点:
本申请提供一种图像识别方法,包括:确定第一图像中的物体对应的第一图像区域;基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;识别所述第二图像区域中的物体;其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。
本申请提供的图像识别方法,是由第一图像采集装置和第二图像采集装置配合工作,具体根据物体在第一图像采集装置采集的第一图像中的第一图像区域,利用极线约束获得所述物体在第二图像采集装置采集的第二图像中的第二图像区域,并在第二图像区域内进行图像识别,从而缩小了图像识别的区域,简化了图像处理过程,使得识别过程更加高效。
本申请提供一种图像采集和识别方法,包括:采集包含活动物体对应的活动物体图像的第一图像和第二图像;在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
本申请提供的图像采集和识别方法,通过第一图像采集装置和第二图像采集装置相互触发拍照,具体在检测到活动物体进入检测区域后,第一图像采集装置拍照,并触发第二图像采集装置拍照,利用极线约束得到缩小的图像识别区域,在此区域内进行识别得到物体的识别结果;当物体特征在第一图像采集装置视角下被遮挡时,通过触发拍照,第二图像采集装置仍可采集到有效的图像用于识别,提高了图像识别的成功率。
本申请提供一种商品识别方法,包括:确定第一商品图像中的商品对应的第一图像区域;基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;识别所述第二图像区域中的商品;其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
本申请提供的商品识别方法为上述图像识别方法具体应用于商品识别的场景,通过两个相机配合工作,缩小了对商品进行识别的图像区域,减少了图像识别的计算量,使得商品识别过程更加高效。
附图说明
图1是本申请实施例提供的一种图像识别方法流程图;
图2是本申请实施例提供的一种两个图像采集装置与被拍摄物体位置示意图;
图3是本申请实施例提供的一种图像识别过程的示意图;
图4是本申请实施例提供的一种极线约束原理的示意图;
图5是本申请实施例提供的一种图像识别装置的示意图;
图6是本申请实施例提供的一种图像采集和识别方法流程图;
图7是本申请实施例提供的一种图像采集和识别装置的示意图;
图8是本申请实施例提供的一种商品识别方法流程图;
图9是本申请实施例提供的一种商品识别装置的示意图;
图10是本申请实施例提供的一种计算设备的结构框图;
图11是本申请实施例提供的第二种计算设备的结构框图;
图12是本申请实施例提供的第三种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种图像识别方法,本申请还提供一种图像识别装置、一种图像采集和识别方法以及装置,以及一种商品识别方法以及装置,三种计算设备,以及三种计算机可读存储介质。以下分别结合本申请提供的实施例的附图逐一进行详细说明,并且对方法的各个步骤进行说明。
本申请提供的一种图像识别方法实施例如下:
参照附图1,其示出了本实施例提供的一种图像识别方法流程图;参照附图2,其示出了本实施例提供的一种两个图像采集装置与被拍摄物体位置示意图;参照附图3,其示出了本实施例提供的一种图像识别过程的示意图;参照附图4,其示出了本实施例提供的一种极线约束原理的示意图。
本申请提供的图像识别方法,包括步骤S102至步骤S106。
步骤S102,确定第一图像中的物体对应的第一图像区域。
在立体视觉识别系统中,往往利用针对同一物体从两个不同角度拍摄的图像来进行图像识别,本实施例中将其中一个图像称为第一图像,另一个图像称为第二图像,在实际应用中,可以采用一个图像采集装置在两个不同角度进行拍照获得两个图像,也可以采用两个处于不同角度的图像采集装置来采集其对应视角的图像,在采集图像之前需要对两个图像采集装置进行标定,标定具体是指确定这两个图像采集装置之间的相对位置关系和相对视角关系,本申请实施例提供的一种优选实施方式中,所述第一图像由第一图像采集装置采集获得,所述第二图像由第二图像采集装置采集获得。参照附图2所示,处于不同角度的第一图像采集装置201和第二图像采集装置202已先经过标定,第一图像采集装置201采集到的物体203的图像作为第一图像,第二图像采集装置202采集到的物体203的图像作为第二图像。
图像采集装置共同进行图像采集,由其中一个图像采集装置采集的图像出发,在该图像采集装置采集的图像中进行图像识别,该图像采集装置即为本申请实施例所述的第一图像采集装置,相应的,所述第一图像采集装置采集到的图像即是指本申请实施例所述的第一图像;在所述第一图像采集装置采集的所述第一图像进行图像识别获得的识别结果的基础上,参照第一图像中所述物体的第一图像区域,在另一个图像采集装置采集的图像中进行图像识别,此处所述另一个图像采集装置即为本申请实施例所述第二图像采集装置,相应的,所述第二图像采集装置采集到的图像即是指本申请实施例所述的第二图像。
比如无人货柜中,为了精确识别顾客选购的物品,设置有两个相机分别安装在无人货柜内部的柜体左侧和柜体右侧,其中一个相机采集到的图像可以作为第一图像采集装置采集到的第一图像,另一个相机采集到的图像可以作为第二图像采集装置采集到的第二图像。
需要说明的是,上述立体视觉识别系统可以在两个以上的图像采集装置的方案中实施,在这种情况下,其中任意两个图像采集装置都可以组成上述第一图像采集装置和第二图像采集装置的组合,并且可以将该任意两个图像采集装置中任意一个作为第一图像采集装置,另一个作为第二图像采集装置。
优选的,在确定第一图像中的物体对应的第一图像区域之前,首先需要在第一图像中识别出所述物体的物体图像,据此才能根据物体图像确定物体对应的第一图像区域。
优选的,所述确定第一图像采集装置采集的第一图像中物体对应的第一图像区域,包括:在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
第一图像区域的面积大小决定在后述步骤中其在第一视平面映射的第一投影区域面积大小,第一投影区域面积大小决定可视子空间体积大小,相应的,所述可视子空间的体积大小决定在第二视平面映射的第二投影区域面积大小,从而决定第二图像中的第二图像区域面积大小,第二图像区域越小,在进行图像处理时越简单,计算量越小,对于采集的到的图像中有多个很相似物体的情况,用此方法,可以把其他相似物体的图像区域都排除掉,进行图像识别时只搜索很小的一块区域,因此,确定涵盖所述物体的物体图像的最小图像区域作为第一图像区域,可以实现在较小第二图像区域中进行图像识别,节省计算量。
实际应用中,在进行图像处理时,有界闭合的图像相比分散不规则的图像进行处理时所需的计算量要小,本实施例中,优选将所述最小图像区域确定为有界闭合的图像区域,其好处在于:所述最小图像区域可以是涵盖所述物体的物体图像的任意图形,若采用不完全闭合图形,可能造成第一图像区域面积并不是最小,从而增大了图像识别的识别区域面积;采用有界闭合的图像区域,有助于确定最小的第一图像区域,从而在进行图像识别时减小识别区域,提高识别效率。
参照附图3所示,第一图像采集装置采集第一图像310,并在第一图像310中对物体进行识别,在第一图像310中确定涵盖所述物体的物体图像的最小图像区域,作为第一图像区域311。附图3中所述第一图像区域采用了有界闭合的圆形区域,方便了后续根据所述第一图像区域确定第一投影区域,并且将根据所述第一投影区域确定所述可视子空间的过程简单化,在后续对第二图像进行图像识别时可以达到节省计算量的目的。
此外,在实际应用中,可能出现物体被遮挡的情况,比如顾客在无人货柜拿取物品时,在第一图像采集装置视角中顾客的手将物品遮挡,或者物品互相遮挡,针对这种情况,本申请实施例提供的一种优选实施方式中,所述确定第一图像中的物体对应的第一图像区域,包括:
检测所述第一图像中是否存在所述物体的物体图像;
若不存在,确定所述第一图像中遮挡所述物体的遮挡物的遮挡区域,作为所述物体对应的第一图像区域。
若要确定物体对应的第一图像区域,首先需要在第一图像中检测到物体的物体图像,如果检测到物体的物体图像,则可以确定物体对应的第一图像区域;如果因为被遮挡物遮挡而没有检测到物体的物体图像,为了得到涵盖所述物体的第一图像区域,将遮挡所述物体的遮挡物的遮挡区域作为所述物体对应的第一图像区域。当物体被遮挡时,不仅无法对物体的物体图像进行识别,而且无法确定物体对应的第一图像区域,鉴于物体的物体图像与遮挡物的图像一定有重合部分,采用遮挡区域作为第一图像区域,保证了遮挡区域内涵盖物体的部分物体图像区域。
例如,顾客扫描无人货柜的二维码,无人货柜打开,顾客手伸进无人货柜中拿取物品,若摄像头采集到的图像中待识别物品的物品特征被顾客的手遮挡,导致无法识别该物品,则将采集到的图像中顾客的手的图像区域作为第一图像区域。
步骤S104,基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域。
本申请实施例提供的一种优选实施方式中,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
所述第一视平面位于第一视点与物体之间,从第一视点出发,对物体进行透视投影(也叫中心投影),投影所成的像呈现在第一视平面上;根据第一图像、第一视点以及第一视平面的对应关系,将第一图像中第一图像区域的边界像素点映射到第一视平面,获得第一投影区域。
参照附图3所示,在第一图像采集装置对应的第一视点O1与物体之间确定第一视平面320,从第一视点O1出发,对物体进行透视投影,投影所成的像呈现在第一视平面320上;根据第一图像310、第一视点O1以及第一视平面320的对应关系,将第一图像310中第一图像区域311的边界像素点映射到第一视平面320,获得第一投影区域321。
本申请实施例提供的一种优选实施方式中,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间,作为所述可视子空间。
本申请实施例提供的第二种优选实施方式中,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面;
按照所述近横截面或者所述第一视平面对所述锥体空间进行截取,将所述锥体空间截取后获得的从所述第一视点出发在所述近横截面或者所述第一视平面之后的空间部分作为所述可视子空间。
本申请实施例提供的第三种优选实施方式中,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
上述提供的第二和第三种优选方式中,所述第一物距优选根据所述第一视点至所述物体距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
参照附图3所示,根据第一视点O1,以及第一投影区域321的边界点,确定从第一视点O1出发经所述边界点的射线,确定所述射线在所述可视空间300围合成的锥体空间;根据第一视点O1至所述物体距离范围的最近距离确定第一物距,根据第一视点O1至所述物体距离范围的最远距离确定第二物距,根据第一物距在所述锥体空间中确定近横截面AB,以及根据第二物距在所述锥体空间中确定远横截面CD,按照所述近横截面AB和所述远横截面CD对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的ABCD空间部分作为所述可视子空间330。
物体的物体图像存在于第一图像中的第一图像区域内,因此也一定存在于第一视平面中的第一投影区域内,因此物体一定存在于由第一投影区域构成的可视子空间内。按照第一物距确定的近横截面对所述锥体空间进行截取的好处在于:物体的物体图像占第二图像中第二图像区域的面积比例大,物体图像的细节可更易被“看清”,图像识别的可靠性提升;同理,按照第二物距确定的远横截面对所述锥体空间进行截取的好处同样是使图像识别的可靠性提升。
第一物距和第二物距可以根据实际情况确定,例如,在无人货柜应用场景下,若第一图像采集装置安装于货柜内部的柜体左侧,第一物距可以是第一图像采集装置距离最左侧一排物品的距离,第二物距可以是第一图像采集装置距离最右侧一排物品的距离,所述第一视点至所述物体距离范围还可以根据其他方式确定,在此不做限定,根据第一物距或第二物距对锥体空间进行截取的好处在于,将可视子空间进一步缩小,从而可视子空间在第二图像中对应的第二图像区域也更小,简化了图像处理过程,使得图像识别效率更高。
本申请实施例提供的一种优选实施方式中,所述确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
优选的,所述将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,包括:采用极线约束将所述轮廓线上的点映射到所述第二视平面。
参照附图3所示,在可视空间300中第二图像采集装置对应的第二视点O2和物体之间确定第二视平面340,将可视子空间330即ABCD空间部分在第二图像采集装置对应视觉角度的轮廓线根据极线约束映射到第二视平面340,将获得的轮廓线投影围成的区域abcd作为第二投影区域341,物体在第二图像采集装置的投影会完全存在于第二投影区域341中。
需要说明的是,以上述第一图像区域边界的任意一个像素点为例,该点从第一视平面映射到可视子空间中,并进一步从可视子空间中映射到第二视平面,该映射过程中采用了极限约束,具体的,参照附图4所示,对于可视子空间中的任意一点X,其相对于第一视点O1的投影在第一视平面401上的点x处,其相对于第二视点O2的投影在第二视平面402上的点x'处,即直线O1X交第一视平面401于点x,直线O2X交第二视平面402于点x';而直线O1O2分别交两个视平面于点e和点e',这两个点称为极点,直线O1O2称为基线,点e为第二视点O2相对于第一视点O1在第一视平面301上的投影,点e'为第一视点O1相对于第二视点O2在第二视平面402上的投影。
点X与第一视点O1、第二视点O2构成的极平面400与两个视平面相交于两条线l和l',线l是点x'对应于第一视平面401的极线,经过点x、e;线l'是点x对应于第二视平面402的极线,经过点x'、e',这两条极线的关系是对应的;已知空间中任意一点X和点X在第一视平面401上的投影点x,则点X在第二视平面402上的投影点x'必然处于点x对应的极线l'上,这称之为极线约束;所述第二投影区域就是根据极线约束将可视子空间的轮廓线上的点映射到第二视平面获得,采用极线约束的好处在于:对于空间中任意一点X,已知其在第一视平面401的映射点x,则点X在第二视平面402上的投影点被约束在点x对应的极线l'上,这样在第二视平面上匹配点X的投影点时范围就从二维降低到一维,可以快速匹配。
步骤S106,识别所述第二图像区域中的物体。
参照附图3所示,根据第二图像350、第二视点O2以及第二视平面350的对应关系,将第二视平面340中的第二投影区域341映射到第二图像350上,在第二图像350得到的区域确定为第二图像区域351,在第二图像区域351内对物体进行识别。
优选的,所述在所述第二图像区域内识别所述物体,包括:
将所述第二图像和所述第二图像区域的第二图像区域信息输入训练好的图像识别模型进行图像识别,输出所述物体的识别结果。
具体实施时,针对图像识别可提出不同的图像识别模型,比如模板匹配模型和原型匹配模型。模板匹配模型:这种模型认为,识别某个图像,必须在过去的经验中有这个图像的记忆模式,又叫模板,当前的输入如果能与模板相匹配,这个图像也就被识别了;原型匹配模型:这种模型认为,在长时记忆中存储的并不是所要识别的无数个模板,而是图像的某些“相似性”,可将从图像中抽象出来的“相似性”作为原型,拿它来检验所要识别的图像,如果能找到一个相似的原型,这个图像也就被识别了;用于图像识别的模块是由开源软件之上做出来的,比如tensorflow深度学习框架或者caffe(Convolutional Architecturefor Fast Feature Embedding,卷积神经网络框架)深度学习框架。
下述结合附图3,以本申请提供的图像识别方法在无人货柜场景的应用为例,对本申请提供的所述图像识别方法进行进一步说明,具体实现如下:
随着无人零售概念不断的发展,无人货柜已经投入市场使用,无人货柜的识别技术是需要优化的问题。目前无人货柜使用到的RFID技术虽然识别精准但是成本较高,重力感应技术成本较低但无法应用于售卖相同质量物品的场景,因此视觉识别技术成为优选方案。典型的视觉识别技术是在整个图像平面内进行图像识别,计算量较大,本申请实施例提供的所述图像识别方法,通过缩小图像识别的图像区域,简化图像处理过程,减小了计算量,有助于更快识别。
1)在无人货柜中,为了精确识别顾客选购的物品,设置有相机一和相机二分别安装在无人货柜内部的柜体左侧和柜体右侧,这两个相机构成立体视觉识别系统;相机一采集到的图像作为第一图像310,相机二采集到的图像作为第二图像350;相机一采集第一图像310,在第一图像310中对物品进行识别,在第一图像310中确定涵盖所述物品的图像的最小图像区域,作为第一图像区域311,若在相机一视角下顾客的手将物品遮挡,将第一图像310中顾客的手的图像区域作为第一图像区域311。
2)在相机一的光学中心点即第一视点O1与物品货架之间确定第一视平面320,从第一视点O1出发,对物品进行透视投影,投影所成的像呈现在第一视平面320上。根据第一图像310、第一视点O1以及第一视平面320的对应关系,将第一图像310中第一图像区域311的边界像素点映射到第一视平面320,获得第一投影区域321。
根据第一视点O1,以及第一投影区域321的边界点,确定从第一视点O1出发经所述边界点的射线;确定所述射线在所述可视空间300围合成的锥体空间;根据第一视点O1至物品货架上靠左第一排物品的距离确定第一物距,根据第一视点O1至物品货架右边第一排物品的距离确定第二物距,根据第一物距在所述锥体空间中确定近横截面AB,以及根据第二物距在所述锥体空间中确定远横截面CD;按照所述近横截面AB和所述远横截面CD对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的ABCD空间部分作为所述可视子空间330。
在可视空间300中第二视点O2和物品货架之间确定第二视平面340,将可视子空间330即ABCD空间部分在相机二对应视觉角度的轮廓线根据极线约束映射到第二视平面340,将获得的轮廓线投影围成的区域abcd作为第二投影区域341,物品在相机二的投影会完全存在于第二投影区域341中。
根据第二图像350、第二视点O2以及第二视平面340的对应关系,将第二视平面340中的第二投影区域341映射到第二图像350上,在第二图像350得到的区域确定为第二图像区域351。
3)在第二图像区域351内对物品进行识别。
本申请提供的一种图像识别装置实施例如下:
在上述的实施例中,提供了一种图像识别方法,与之相对应的,本申请还提供了一种图像识别装置,下面结合附图进行说明。
参照附图5,其示出了本实施例提供的一种图像识别装置实施例的示意图。
由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的图像识别方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种图像识别装置,包括:
第一图像区域确定模块502,被配置为确定第一图像中的物体对应的第一图像区域;
第二图像区域确定模块504,被配置为基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;
识别模块506,被配置为识别所述第二图像区域中的物体。
可选的,所述图像识别装置,还包括:
物体图像识别模块,被配置为在所述第一图像中识别出所述物体的物体图像。
可选的,所述第一图像区域确定模块502,具体被配置为在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述最小图像区域,包括:
有界闭合的图像区域。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述第二图像区域确定模块504,包括:
第一投影区域确定子模块,被配置为确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
可视子空间确定子模块,被配置为基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
第二投影区域确定子模块,被配置为确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域;
第二图像区域确定子模块,被配置为将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为第二图像区域。
可选的,所述第一投影区域确定子模块,包括:
第一视平面确定单元,被配置为确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
第一投影区域确定单元,被配置为将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述可视子空间确定子模块,包括:
第一射线确定单元,被配置为根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
第一可视子空间确定单元,被配置为所述射线在所述可视空间围合成的锥体空间,作为所述可视子空间。
可选的,所述可视子空间确定子模块,包括:
第二射线确定单元,被配置为根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
第二锥体空间确定单元,被配置为确定所述射线在所述可视空间围合成的锥体空间;
第二近横截面确定单元,被配置为根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面;
第二可视子空间确定单元,被配置为按照所述近横截面或者所述第一视平面对所述锥体空间进行截取,将所述锥体空间截取后获得的从所述第一视点出发在所述近横截面或者所述第一视平面之后的空间部分作为所述可视子空间。
可选的,所述可视子空间确定子模块,包括:
第三射线确定单元,被配置为根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
第三锥体空间确定单元,被配置为确定所述射线在所述可视空间围合成的锥体空间;
第三横截面确定单元,被配置为根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
第三可视子空间确定单元,被配置为按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
可选的,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述第二投影区域确定子模块,包括:
第二视平面确定单元,被配置为确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
第二投影区域确定单元,包括:
可视子空间映射子单元,被配置为将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面;
第二投影区域确定子单元,被配置为将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述识别模块506,具体被配置为将所述第二图像和所述第二图像区域的第二图像区域信息输入训练好的图像识别模型进行图像识别,输出所述物体的识别结果。
可选的,所述第一图像区域确定模块502,包括:
物体图像检测单元,被配置为检测所述第一图像中是否存在所述物体的物体图像;
若所述物体图像检测单元执行结果为否,执行第一图像区域确定单元,所述第一图像区域确定单元被配置为确定所述第一图像中遮挡所述物体的遮挡物的遮挡区域,作为所述物体对应的第一图像区域。
可选的,所述可视子空间映射子单元,具体被配置为采用极线约束将所述轮廓线上的点映射到所述第二视平面。
本申请提供的一种图像采集和识别方法实施例如下:
参照附图3,其示出了本实施例提供的一种图像识别过程的示意图;参照附图4,其示出了本实施例提供的一种极线约束原理的示意图;参照附图6,其示出了本实施例提供的一种图像采集和识别方法流程图。
本申请提供的图像采集和识别方法,包括步骤S602至步骤S606。
步骤S602,采集包含活动物体对应的活动物体图像的第一图像和第二图像。
本申请实施例所述的活动物体,具体的,在无人货柜或无人超市场景下,可以是顾客拿取物品的手,所述物体可以是顾客拿取的物品。
在立体视觉识别系统中,往往采用两个图像采集装置来共同进行图像采集,从其中一个图像采集装置采集的图像出发,在该图像采集装置采集的图像中进行图像识别,将该图像采集装置作为本申请实施例所述的第一图像采集装置,相应的,所述第一图像采集装置采集到的图像即是指本申请实施例所述的第一图像。
在所述第一图像采集装置采集的所述第一图像进行图像识别获得的识别结果的基础上,参照第一图像中所述活动物体的第一图像区域,在另一个图像采集装置采集的图像中进行图像识别,此处所述另一个图像采集装置即为本申请实施例所述第二图像采集装置,相应的,所述第二图像采集装置采集到的图像即是指本申请实施例所述的第二图像。
比如无人货柜中,为了精确识别顾客选购的物品,设置有两个相机分别安装在无人货柜内部的柜体左侧和柜体右侧,其中一个相机采集到的图像可以作为第一图像采集装置采集到的第一图像,另一个相机采集到的图像可以作为第二图像采集装置采集到的第二图像。
需要说明的是,上述立体视觉识别系统可以在两个以上的图像采集装置的方案中实施,在这种情况下,其中任意两个图像采集装置都可以组成上述第一图像采集装置和第二图像采集装置的组合,并且可以将该任意两个图像采集装置中任意一个作为第一图像采集装置,另一个作为第二图像采集装置。
本申请实施例提供的一种优选实施方式中,首先要基于所述第一图像采集装置采集待检测图像,检测所述待检测图像中是否存在所述活动物体图像,若存在,则在可视空间内的检测子空间检测到活动物体后,通过第一图像采集装置采集包含所述活动物体对应的活动物体图像的第一图像,以及通过第二图像采集装置采集第二图像。
优选的,所述采集包含活动物体对应的活动物体图像的第一图像和第二图像的过程中,通过所述第一图像采集装置采集所述第一图像,并且通过所述第一图像采集装置采用硬件触发模式触发所述第二图像采集装置采集所述第二图像,硬件触发模式应用于高速动态检测,在无人货柜应用场景下采用硬件触发模式能够实现针对无人货柜的快速检测。
除上述所述的硬件触发模式之外,还可以采用其他工业相机的触发模式,比如连续采集模式或者软件触发模式,其中,连续采集模式应用于静态检测,软件触发模式应用于动态检测,本申请实施例在此不作限定。
本申请实施例提供的一种优选实施方式中,所述可视空间内的检测子空间,采用如下方式确定:
1)确定所述可视空间中所述第一图像采集装置对应的第一视平面;
2)根据所述第一图像采集装置在所述可视空间对应的第一视点,以及所述第一视平面的边界点,确定从所述第一视点出发经所述第一视平面的边界点的射线;
3)确定所述射线在所述可视空间围合成的第一锥体空间;
4)确定所述可视空间中所述第二图像采集装置对应的第二视平面;
5)根据所述第二图像采集装置在所述可视空间对应的第二视点,以及所述第二视平面的边界点,确定从所述第二视点出发经所述第二视平面的边界点的射线;
6)确定所述射线在所述可视空间围合成的第二锥体空间;
7)确定所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
第一图像采集装置和第二图像采集装置配合工作需要确定其公共检测区域,公共检测区域是所述可视空间的子空间,称为检测子空间,比如在无人货柜中,立体视觉识别系统的检测子空间需要把陈列物品的货架空间包括在内,所述检测子空间的确定方式,参照附图3所示,在第一图像采集装置对应的第一视点O1和活动物体之间确定第一视平面320,根据第一视点O1和第一视平面320的边界点,确定从所述第一视点O1出发经所述边界点的射线,所述射线在可视空间300中围合成的区域作为第一锥体空间;在第二图像采集装置对应的第二视点O2和活动物体之间确定第二视平面340,根据第二视点O2和第二视平面340的边界点,确定从所述第二视点O2出发经所述边界点的射线,所述射线在可视空间300中围合成的区域作为第二锥体空间;将所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
在实际应用中,可能出现物体被活动物体遮挡的情况,比如顾客在无人货柜拿取物品时,在第一图像采集装置视角中顾客的手将物品特征遮挡,或者物品互相遮挡,则对于第一图像采集装置采集的第一图像,无法识别出物体,针对这种情况,当活动物体进入到检测子空间,被第一图像采集装置检测到后,第一图像采集装置采集第一图像,并采用硬件触发模式触发第二图像采集装置。采用触发拍照的好处在于,当物体在第一图像采集装置中无法被“看清”,但通过第一图像采集装置触发第二图像采集装置拍照,可以在第二图像采集装置的视角下被“看清”,从而采集到有效的第二图像,进行后续识别。
步骤S604,在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果。
本申请实施例提供的一种优选实施方式中,在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像;
识别所述待物体的图像,获得所述物体的第一属性信息。
本申请实施例提供的第二种优选实施方式中,在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中所述活动物体图像与物体的待识别图像二者的图像重合比例是否大于预设图像重合阈值;
若是,确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果。
对于采集到的第一图像处理得到的第一识别结果,有两种情况:当可以在第一图像中提取出物体对应的物体图像时,对物体图像进行识别即可,获得物体的第一属性信息;当由于活动物体图像与物体图像重合区域过大超过预设图像重合阈值,导致无法在第一图像中提取出物体对应的物体图像时,也就无法对物体图像进行识别,此种情况下,将第一图像中物体对应的图像区域作为所述第一识别结果,再进行后续操作,采用此种方法的好处在于:对第一图像识别失败的情况下,仍能利用物体对应的图像区域辅助识别第二图像。
上述提供的第二种优选方式中,进一步,在所述第一图像中优选确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
第一图像区域的面积大小决定在后述步骤中其在第一视平面映射的第一投影区域面积大小,第一投影区域面积大小决定可视子空间体积大小,相应的,所述可视子空间的体积大小决定在第二视平面映射的第二图像区域面积大小,从而决定第二图像中的第二图像区域面积大小,第二图像区域越小,在进行图像处理时越简单,计算量越小,因此,确定涵盖所述物体的物体图像的最小图像区域作为第一图像区域,可以实现在较小的第二图像区域中进行图像识别,节省计算量;对于采集到的图像中有多个很相似物体的情况,用此方法,可以把其他相似物体都排除掉,进行图像识别时只搜索很小的一块区域。
实际应用中,在进行图像处理时,有界闭合的图像相比分散不规则的图像进行处理时所需的计算量要小,因此将所述最小图像区域确定为有界闭合的图像区域,其好处在于:所述最小图像区域可以是涵盖所述物体的物体图像的任意图形,若采用不完全闭合图形,可能造成第一图像区域面积并不是最小,从而增大了图像识别的识别区域面积;采用有界闭合的图像区域,有助于确定最小的第一图像区域,从而在进行图像识别时减小识别区域,提高识别效率。
参照附图3所示,第一图像采集装置采集第一图像310,对第一图像310处理得到第一识别结果,在第一图像310中确定涵盖所述物体的物体图像的最小图像区域,作为第一图像区域311。附图3中所述第一图像区域采用了有界闭合的圆形区域,方便了后续根据所述第一图像区域确定第一投影区域,并且将根据所述第一投影区域确定所诉可视子空间的过程简单化,在后续对第二图像进行图像识别时可以达到节省计算量的目的。
步骤S606,根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果。
在确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像,识别所述物体的图像,获得所述物体的第一属性信息后,优选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域;
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二识别结果;
将所述第一识别结果和所述第二识别结果进行对比,若相同,将所述第一识别结果或所述第二识别结果作为所述物体的识别结果。
优选的,在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
在确定所述第一图像中所述活动物体图像与物体的待识别图像二者的图像重合比例是否大于预设图像重合阈值,若是,确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果后,优选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的识别结果。
本申请实施例提供的一种优选实施方式中,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
所述第一视平面位于第一视点与物体之间,从第一视点出发,对物体进行透视投影(也叫中心投影),投影所成的像呈现在第一视平面上;根据第一图像、第一视点以及第一视平面的对应关系,将第一图像中第一图像区域的边界像素点映射到第一视平面,获得第一投影区域。
参照附图3所示,在第一图像采集装置对应的第一视点O1与物体之间确定第一视平面320,从第一视点O1出发,对物体进行透视投影,投影所成的像呈现在第一视平面320上;根据第一图像310、第一视点O1以及第一视平面320的对应关系,将第一图像310中第一图像区域311的边界像素点映射到第一视平面320,获得第一投影区域321。
本申请实施例提供的一种优选实施方式中,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间;
其中,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
参照附图3所示,根据第一视点O1,以及第一投影区域321的边界点,确定从第一视点O1出发经所述边界点的射线,确定所述射线在所述可视空间300围合成的锥体空间;根据第一视点O1至所述物体距离范围的最近距离确定第一物距,根据第一视点O1至所述物体距离范围的最远距离确定第二物距,根据第一物距在所述锥体空间中确定近横截面AB,以及根据第二物距在所述锥体空间中确定远横截面CD,按照所述近横截面AB和所述远横截面CD对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的ABCD空间部分作为所述可视子空间330。
物体的物体图像存在于第一图像中的第一图像区域内,因此也一定存在于第一视平面中的第一投影区域内,因此物体一定存在于由第一投影区域构成的可视子空间内,按照第一物距确定的近横截面对所述锥体空间进行截取的好处在于:物体的物体图像占第二图像中第二图像区域的面积比例大,物体图像的细节可更易被“看清”,图像识别的可靠性提升;同理,按照第二物距确定的远横截面对所述锥体空间进行截取的好处同样是使图像识别的可靠性提升。
第一物距和第二物距可以根据实际情况确定,例如,在无人货柜应用场景下,若第一图像采集装置安装于货柜内部的柜体左侧,第一物距可以是第一图像采集装置距离最左侧一排物品的距离,第二物距可以是第一图像采集装置距离最右侧一排物品的距离,所述第一视点至所述物体距离范围还可以根据其他方式确定,在此不做限定,根据第一物距或第二物距对锥体空间进行截取的好处在于,将可视子空间进一步缩小,从而可视子空间在第二图像中对应的第二图像区域也更小,简化了图像处理过程,使得图像识别效率更高。
本申请实施例提供的一种优选实施方式中,所述确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
参照附图3所示,在可视空间300中第二图像采集装置对应的第二视点O2和物体之间确定第二视平面340,将可视子空间330即ABCD空间部分在第二图像采集装置对应视觉角度的轮廓线根据极线约束映射到第二视平面340,将获得的轮廓线投影围成的区域abcd作为第二投影区域341,物体在第二图像采集装置的投影会完全存在于第二投影区域341中。
需要说明的是,在上述对两个摄像头进行标定的基础上,以上述第一图像区域边界的任意一个像素点为例,该点从第一视平面映射到可视子空间中,并进一步从可视子空间中映射到第二视平面,该映射过程中采用了极限约束,具体的,参照附图4所示,对于可视子空间中的任意一点X,其相对于第一视点O1的投影在第一视平面401上的点x处,其相对于第二视点O2的投影在第二视平面402上的点x'处,即直线O1X交第一视平面401于点x,直线O2X交第二视平面402于点x';而直线O1O2分别交两个视平面于点e和点e',这两个点称为极点,直线O1O2称为基线,点e为第二视点O2相对于第一视点O1在第一视平面401上的投影,点e'为第一视点O1相对于第二视点O2在第二视平面302上的投影。
点X与第一视点O1、第二视点O2构成的极平面400与两个视平面相交于两条线l和l',线l是点x'对应于第一视平面401的极线,经过点x、e;线l'是点x对应于第二视平面402的极线,经过点x'、e',这两条极线的关系是对应的;已知空间中任意一点X和点X在第一视平面401上的投影点x,则点X在第二视平面402上的投影点x'必然处于点x对应的极线l'上,这称之为极线约束;所述第二投影区域就是根据极线约束将可视子空间的轮廓线上的点映射到第二视平面获得。
本申请实施例提供的一种优选实施方式中,所述第二图像区域具体通过将所述第二视平面的第二投影区域映射到所述第二图像,将映射获得的图像区域作为所述第二图像区域。
参照附图3所示,根据第二图像350、第二视点O2以及第二视平面350的对应关系,将第二视平面340中的第二投影区域341映射到第二图像350上,在第二图像350得到的区域确定为第二图像区域351,在第二图像区域351内对物体进行识别。
下述结合附图3,以本申请提供的图像采集和识别方法在无人货柜场景的应用为例,对本申请提供的所述图像采集和识别方法进行进一步说明,具体实现如下:
随着无人零售概念不断的发展,无人货柜已经投入市场使用,无人货柜的识别技术是需要优化的问题。目前无人货柜使用到的识别技术主要有:RFID技术、重力感应技术以及机器视觉技术,其中机器视觉技术是优势较多的优选方案。典型的视觉识别技术是在整个图像平面内进行图像识别,计算量较大,本申请实施例提供的图像识别方法,通过两个相机以及极线约束的应用,缩小了图像识别的范围,提高了后续图像识别的效率;另外,对于一个相机构成的视觉识别系统,当出现物体在相机中被遮挡的情况,则识别失败,本申请实施例提供的图像采集方法,通过两个相机相互触发拍照,解决了这一问题。
1)在无人货柜中,为了精确识别顾客选购的物品,设置有相机一和相机二分别安装在无人货柜内部的柜体左侧和柜体右侧,这两个相机构成立体视觉识别系统,在两个相机拍照之前,对这两个相机进行标定并确定检测子空间,检测子空间的确定方式如下:在相机一对应的第一视点O1和活动物体之间确定第一视平面320,根据第一视点O1和第一视平面320的边界点,确定从所述第一视点O1出发经所述边界点的射线,所述射线在可视空间300中围合成的区域作为第一锥体空间;在相机二对应的第二视点O2和活动物体之间确定第二视平面340,根据第二视点O2和第二视平面340的边界点,确定从所述第二视点O2出发经所述边界点的射线,所述射线在可视空间300中围合成的区域作为第二锥体空间;将所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间,检测子空间需要把陈列物品的货架空间包括在内。相机一采集到的图像作为第一图像310,相机二采集到的图像作为第二图像350;顾客的手进入检测子空间内,相机一采集第一图像后,采用硬件触发模式触发相机二采集第二图像。
2)相机一采集第一图像310,对第一图像310处理得到第一识别结果,第一识别结果分为两种:物品的第一属性信息或物品的第一图像区域;在第一图像310中确定涵盖所述物品的图像的最小图像区域,作为第一图像区域311,若在相机一视角下顾客的手将物品遮挡,将第一图像310中顾客的手的图像区域作为第一图像区域311。
3)根据之前确定的第一视平面320,从第一视点O1出发,对物品进行透视投影,投影所成的像呈现在第一视平面320上。根据第一图像310、第一视点O1以及第一视平面320的对应关系,将第一图像310中第一图像区域311的边界像素点映射到第一视平面320,获得第一投影区域321。
根据第一视点O1,以及第一投影区域321的边界点,确定从第一视点O1出发经所述边界点的射线;确定所述射线在所述可视空间300围合成的锥体空间;根据第一视点O1至物品货架上第一排物品的距离确定第一物距,根据第一视点O1至物品货架最后一排物品的距离确定第二物距,根据第一物距在所述锥体空间中确定近横截面AB,以及根据第二物距在所述锥体空间中确定远横截面CD;按照所述近横截面AB和所述远横截面CD对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的ABCD空间部分作为所述可视子空间330。
在之前确定的第二视平面340基础上,将可视子空间330即ABCD空间部分在相机二对应视觉角度的轮廓线根据极线约束映射到第二视平面340,将获得的轮廓线投影围成的区域abcd作为第二投影区域341,物品在相机二的投影会完全存在于第二投影区域341中。
根据第二图像350、第二视点O2以及第二视平面340的对应关系,将第二视平面340中的第二投影区域341映射到第二图像350上,在第二图像350得到的区域确定为第二图像区域351,在第二图像区域351内对物品进行识别,获得物品的第二识别结果;若之前获得了物品的第一识别结果,将第一识别结果和第二识别结果对比,若对比结果相同,则物品的识别结果就是第一识别结果或第二识别结果,若不同,则识别失败,重复上述图像采集和识别方法的步骤;若之前获得的不是物品的第一识别结果而是物品的第一图像区域,则将物品的第二识别结果作为物品的识别结果。
本申请提供的一种图像采集和识别装置实施例如下:
在上述的实施例中,提供了一种图像采集和识别方法,与之相对应的,本申请还提供了一种图像采集和识别装置,下面结合附图进行说明。
参照附图7,其示出了本申请实施例提供的一种图像采集和识别装置的示意图。
由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的图像采集和识别方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种图像采集和识别装置,包括:
活动物体图像采集模块702,被配置为采集包含活动物体对应的活动物体图像的第一图像和第二图像;
物体第一识别结果模块704,被配置为在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
物体第二识别结果模块706,被配置为根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述图像采集和识别装置,还包括:
检测模块,被配置为在可视空间内的检测子空间基于所述第一图像采集装置采集待检测图像;检测所述待检测图像中是否存在所述活动物体图像;
若所述检测模块的执行结果为是,执行所述活动物体图像活动物体图像采集模块702。
可选的,所述可视空间内的检测子空间,采用如下方式确定:
确定所述可视空间中所述第一图像采集装置对应的第一视平面;
根据所述第一图像采集装置在所述可视空间对应的第一视点,以及所述第一视平面的边界点,确定从所述第一视点出发经所述第一视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第一锥体空间;
确定所述可视空间中所述第二图像采集装置对应的第二视平面;
根据所述第二图像采集装置在所述可视空间对应的第二视点,以及所述第二视平面的边界点,确定从所述第二视点出发经所述第二视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第二锥体空间;
确定所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
可选的,所述第一图像采集装置采集所述第一图像;所述第一图像采集装置采用硬件触发模式触发所述第二图像采集装置采集所述第二图像。
可选的,所述物体第一识别结果模块704,包括:
物体图像确定子模块,被配置为确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像;
第一属性信息子模块,被配置为识别所述物体的图像,获得所述物体的第一属性信息。
可选的,所述物体第二识别结果模块706,包括:
第一图像区域确定子模块,被配置为确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域;
第一投影区域确定子模块,被配置为确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
可视子空间确定子模块,被配置为基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
第二投影区域确定子模块,被配置为确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
第二属性信息子模块,被配置为在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
识别结果确定子模块,被配置为将所述第一属性信息和所述第二属性信息进行对比,若相同,将所述第一属性信息或所述第二属性信息作为所述物体的识别结果。
可选的,所述物体第一识别结果模块704,包括:
重合阈值判断子模块,被配置为确定所述第一图像中所述活动物体图像与所述物体的图像二者的图像重合比例是否大于预设图像重合阈值;
若所述重合阈值判断子模块为是,执行第一识别结果确定子模块,被配置为确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果。
可选的,所述物体第二识别结果模块706,包括:
第一投影区域确定子模块,被配置为确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
可视子空间确定子模块,被配置为基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
第二投影区域确定子模块,被配置为确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
识别结果子模块,被配置为在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的识别结果。
优选的,所述第一图像区域确定子模块,具体被配置为在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
优选的,所述第一投影区域确定子模块,具体被配置为将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
优选的,所述可视子空间确定子模块,包括:
射线单元,被配置为根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
锥体空间确定单元,被配置为确定所述射线在所述可视空间围合成的锥体空间;
横截面确定单元,被配置为根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
可视子空间确定单元,被配置为按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间;
其中,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述第二投影区域确定子模块,具体被配置为将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述第二图像区域,采用如下方式确定:
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域。
本申请提供的一种商品识别方法实施例如下:
参照附图8,其示出了本实施例提供的一种商品识别方法流程图。
本申请提供的商品识别方法,包括步骤S802至步骤S806。
步骤S802,确定第一商品图像中的商品对应的第一图像区域。
步骤S804,基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
步骤S806,识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
本申请提供的商品识别方法,由两个相机配合工作,具体根据商品在第一图像中的第一图像区域,利用极线约束获得所述商品在第二商品图像中的第二图像区域,并在第二图像区域内进行图像识别,从而缩小了对商品进行识别的图像区域,减少了图像识别的计算量,使得商品识别过程更加高效。所述商品识别方法为上述图像识别方法具体应用于商品识别的场景,在实际应用中,可在无人货柜或无人超市中使用。
可选的,所述确定第一图像中的商品对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述商品的商品图像的最小图像区域,作为所述第一图像区域。
可选的,所述基于所述第一图像区域,确定所述商品在第二图像中对应的第二图像区域,包括:
确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述商品在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域;
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为第二图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述商品在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述商品的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述商品的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
可选的,所述第一物距根据所述第一视点至所述商品距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述商品距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,包括:
采用极线约束将所述轮廓线上的点映射到所述第二视平面。
本申请提供的一种商品识别装置实施例如下:
在上述的实施例中,提供了一种商品识别方法,与之相对应的,本申请还提供了一种商品识别装置,下面结合附图进行说明。
参照附图9,其示出了本申请实施例提供的一种商品识别装置的示意图。
由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种商品识别装置,包括:
商品第一图像区域确定模块902,被配置为确定第一商品图像中的商品对应的第一图像区域;
商品第二图像区域确定模块904,被配置为基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
商品识别模块906,被配置为识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
可选的,所述商品第一图像区域确定模块902,具体被配置为在所述第一图像中确定涵盖所述商品的商品图像的最小图像区域,作为所述第一图像区域。
可选的,所述商品第二图像区域确定模块904,包括:
商品第一投影区域确定子模块,被配置为确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
商品可视子空间确定子模块,被配置为基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述商品在所述可视空间对应的可视子空间;
商品第二投影区域确定子模块,被配置为确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域;
商品第二图像区域确定子模块,被配置为将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为第二图像区域。
可选的,所述商品第一投影区域确定子模块,包括:
商品第一视平面确定单元,被配置为确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
商品第一投影区域确定单元,被配置为将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述商品可视子空间确定子模块,包括:
商品射线确定单元,被配置为根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
商品锥体空间确定单元,被配置为确定所述射线在所述可视空间围合成的锥体空间;
商品横截面确定单元,被配置为根据所述第一视点至所述商品的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述商品的第二物距在所述锥体空间中确定远横截面;
商品可视子空间确定单元,被配置为按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
可选的,所述第一物距根据所述第一视点至所述商品距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述商品距离范围的最远距离确定。
可选的,所述商品第二投影区域确定子模块,包括:
商品第二视平面确定单元,被配置为确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
商品第二投影区域确定单元,被配置为将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述商品第二投影区域确定单元,具体被配置为采用极线约束将所述轮廓线上的点映射到所述第二视平面。
本申请提供的一种计算设备实施例如下:
图10是示出了根据本说明书一实施例的计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接,数据库1050用于保存数据。
计算设备1000还包括接入设备1040,接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图10所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1000可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
本申请提供一种计算设备,包括存储器1010、处理器1020及存储在存储器上并可在处理器上运行的计算机指令,所述处理器1020用于执行如下计算机可执行指令:
确定第一图像中的物体对应的第一图像区域;
基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;
识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。
可选的,所述确定第一图像中的物体对应的第一图像区域之前,包括:
在所述第一图像中识别出所述物体的物体图像。
可选的,所述确定第一图像中的物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述最小图像区域,包括:
有界闭合的图像区域。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,包括:
确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域;
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为第二图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间,作为所述可视子空间。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面;
按照所述近横截面或者所述第一视平面对所述锥体空间进行截取,将所述锥体空间截取后获得的从所述第一视点出发在所述近横截面或者所述第一视平面之后的空间部分作为所述可视子空间。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
可选的,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述识别所述第二图像区域中的物体,包括:
将所述第二图像和所述第二图像区域的第二图像区域信息输入训练好的图像识别模型进行图像识别,输出所述物体的识别结果。
可选的,所述确定第一图像中的物体对应的第一图像区域,包括:
检测所述第一图像中是否存在所述物体的物体图像;
若不存在,确定所述第一图像中遮挡所述物体的遮挡物的遮挡区域,作为所述物体对应的第一图像区域。
可选的,所述将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,包括:
采用极线约束将所述轮廓线上的点映射到所述第二视平面。
本申请提供的第二种计算设备实施例如下:
图11是示出了根据本说明书一实施例的计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接,数据库1150用于保存数据。
计算设备1100还包括接入设备1140,接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE1102.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图11所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
本申请提供一种计算设备,包括存储器1110、处理器1120及存储在存储器上并可在处理器上运行的计算机指令,所述处理器1120用于执行如下计算机可执行指令:
采集包含活动物体对应的活动物体图像的第一图像和第二图像;
在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述采集包含活动物体对应的活动物体图像的第一图像和第二图像之前,包括:
在可视空间内的检测子空间基于所述第一图像采集装置采集待检测图像;
检测所述待检测图像中是否存在所述活动物体图像;
若是,执行采集包含活动物体对应的活动物体图像的第一图像和第二图像步骤。
可选的,所述可视空间内的检测子空间,采用如下方式确定:
确定所述可视空间中所述第一图像采集装置对应的第一视平面;
根据所述第一图像采集装置在所述可视空间对应的第一视点,以及所述第一视平面的边界点,确定从所述第一视点出发经所述第一视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第一锥体空间;
确定所述可视空间中所述第二图像采集装置对应的第二视平面;
根据所述第二图像采集装置在所述可视空间对应的第二视点,以及所述第二视平面的边界点,确定从所述第二视点出发经所述第二视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第二锥体空间;
确定所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
可选的,所述第一图像采集装置采集所述第一图像;
所述第一图像采集装置采用硬件触发模式触发所述第二图像采集装置采集所述第二图像。
可选的,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像;
识别所述物体的图像,获得所述物体的第一属性信息。
可选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域;
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
将所述第一属性信息和所述第二属性信息进行对比,若相同,将所述第一属性信息或所述第二属性信息作为所述物体的识别结果。
可选的,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中所述活动物体图像与所述物体的图像二者的图像重合比例是否大于预设图像重合阈值;
若是,确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果。
可选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的识别结果。
可选的,所述确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间;
其中,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述第二图像区域,采用如下方式确定:
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域。
本申请提供的第三种计算设备实施例如下:
图12是示出了根据本说明书一实施例的计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
本申请提供一种计算设备,包括存储器1210、处理器1220及存储在存储器上并可在处理器上运行的计算机指令,所述处理器1220用于执行如下计算机可执行指令:
确定第一商品图像中的商品对应的第一图像区域;
基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如下:
确定第一图像中的物体对应的第一图像区域;
基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域;
识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到。
可选的,所述确定第一图像中的物体对应的第一图像区域之前,包括:
在所述第一图像中识别出所述物体的物体图像。
可选的,所述确定第一图像中的物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述最小图像区域,包括:
有界闭合的图像区域。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,包括:
确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域;
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为第二图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间,作为所述可视子空间。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面;
按照所述近横截面或者所述第一视平面对所述锥体空间进行截取,将所述锥体空间截取后获得的从所述第一视点出发在所述近横截面或者所述第一视平面之后的空间部分作为所述可视子空间。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
可选的,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述识别所述第二图像区域中的物体,包括:
将所述第二图像和所述第二图像区域的第二图像区域信息输入训练好的图像识别模型进行图像识别,输出所述物体的识别结果。
可选的,所述确定第一图像中的物体对应的第一图像区域,包括:
检测所述第一图像中是否存在所述物体的物体图像;
若不存在,确定所述第一图像中遮挡所述物体的遮挡物的遮挡区域,作为所述物体对应的第一图像区域。
可选的,所述将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,包括:
采用极线约束将所述轮廓线上的点映射到所述第二视平面。上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像识别方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像识别方法的技术方案的描述。
本申请一实施例还提供第二种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如下:
采集包含活动物体对应的活动物体图像的第一图像和第二图像;
在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到。
可选的,所述第一图像通过第一图像采集装置采集获得,所述第二图像通过第二图像采集装置采集获得。
可选的,所述采集包含活动物体对应的活动物体图像的第一图像和第二图像之前,包括:
在可视空间内的检测子空间基于所述第一图像采集装置采集待检测图像;
检测所述待检测图像中是否存在所述活动物体图像;
若是,执行采集包含活动物体对应的活动物体图像的第一图像和第二图像步骤。
可选的,所述可视空间内的检测子空间,采用如下方式确定:
确定所述可视空间中所述第一图像采集装置对应的第一视平面;
根据所述第一图像采集装置在所述可视空间对应的第一视点,以及所述第一视平面的边界点,确定从所述第一视点出发经所述第一视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第一锥体空间;
确定所述可视空间中所述第二图像采集装置对应的第二视平面;
根据所述第二图像采集装置在所述可视空间对应的第二视点,以及所述第二视平面的边界点,确定从所述第二视点出发经所述第二视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第二锥体空间;
确定所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
可选的,所述第一图像采集装置采集所述第一图像;
所述第一图像采集装置采用硬件触发模式触发所述第二图像采集装置采集所述第二图像。
可选的,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像;
识别所述物体的图像,获得所述物体的第一属性信息。
可选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域;
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
将所述第一属性信息和所述第二属性信息进行对比,若相同,将所述第一属性信息或所述第二属性信息作为所述物体的识别结果。
可选的,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中所述活动物体图像与所述物体的图像二者的图像重合比例是否大于预设图像重合阈值;
若是,确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果。
可选的,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像区域在所述可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的识别结果。
可选的,所述确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
可选的,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
可选的,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间;
其中,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
可选的,所述确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
可选的,所述第二图像区域,采用如下方式确定:
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域。上述为本实施例的第二种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像采集和识别方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像采集和识别方法的技术方案的描述。
本申请一实施例还提供第三种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如下:
确定第一商品图像中的商品对应的第一图像区域;
基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域;
识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到。上述为本实施例的第三种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的商品识别方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述商品识别方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (36)

1.一种图像识别方法,其特征在于,包括:
确定第一图像中的物体对应的第一图像区域;
基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,其中,所述基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,包括确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域;
识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到,其中,所述第一图像通过所述第一图像采集装置采集获得,所述第二图像通过所述第二图像采集装置采集获得。
2.根据权利要求1所述的图像识别方法,其特征在于,所述确定第一图像中的物体对应的第一图像区域之前,包括:
在所述第一图像中识别出所述物体的物体图像。
3.根据权利要求2所述的图像识别方法,其特征在于,所述确定第一图像中的物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
4.根据权利要求3所述的图像识别方法,其特征在于,所述最小图像区域,包括:
有界闭合的图像区域。
5.根据权利要求1所述的图像识别方法,其特征在于,所述确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
确定所述可视空间中所述第一图像采集装置对应的所述第一视平面;
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
6.根据权利要求5所述的图像识别方法,其特征在于,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间,作为所述可视子空间。
7.根据权利要求5所述的图像识别方法,其特征在于,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点和所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面;
按照所述近横截面或者所述第一视平面对所述锥体空间进行截取,将所述锥体空间截取后获得的从所述第一视点出发在所述近横截面或者所述第一视平面之后的空间部分作为所述可视子空间。
8.根据权利要求5所述的图像识别方法,其特征在于,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间。
9.根据权利要求8所述的图像识别方法,其特征在于,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,和/或,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
10.根据权利要求6至8中任意一项所述的图像识别方法,其特征在于,所述确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
确定所述可视空间中所述第二图像采集装置对应的所述第二视平面;
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
11.根据权利要求1所述的图像识别方法,其特征在于,所述识别所述第二图像区域中的物体,包括:
将所述第二图像和所述第二图像区域的第二图像区域信息输入训练好的图像识别模型进行图像识别,输出所述物体的识别结果。
12.根据权利要求1所述的图像识别方法,其特征在于,所述确定第一图像中的物体对应的第一图像区域,包括:
检测所述第一图像中是否存在所述物体的物体图像;
若不存在,确定所述第一图像中遮挡所述物体的遮挡物的遮挡区域,作为所述物体对应的第一图像区域。
13.根据权利要求10所述的图像识别方法,其特征在于,所述将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,包括:
采用极线约束将所述轮廓线上的点映射到所述第二视平面。
14.一种图像识别装置,其特征在于,包括:
第一图像区域确定模块,被配置为确定第一图像中的物体对应的第一图像区域;
第二图像区域确定模块,被配置为基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,其中,所述基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,包括确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域;
识别模块,被配置为识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到,其中,所述第一图像通过所述第一图像采集装置采集获得,所述第二图像通过所述第二图像采集装置采集获得。
15.一种图像采集和识别方法,其特征在于,包括:
采集包含活动物体对应的活动物体图像的第一图像和第二图像;
在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,其中,所述根据所述第一识别结果在所述第二图像中识别所述物体,包括确定第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,在所述第二图像采集装置采集的所述第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到,其中,所述第一图像通过所述第一图像采集装置采集获得,所述第二图像通过所述第二图像采集装置采集获得。
16.根据权利要求15所述的图像采集和识别方法,其特征在于,所述采集包含活动物体对应的活动物体图像的第一图像和第二图像之前,包括:
在可视空间内的检测子空间基于所述第一图像采集装置采集待检测图像;
检测所述待检测图像中是否存在所述活动物体图像;
若是,执行采集包含活动物体对应的活动物体图像的第一图像和第二图像步骤。
17.根据权利要求16所述的图像采集和识别方法,其特征在于,所述可视空间内的检测子空间,采用如下方式确定:
确定所述可视空间中所述第一图像采集装置对应的第一视平面;
根据所述第一图像采集装置在所述可视空间对应的第一视点,以及所述第一视平面的边界点,确定从所述第一视点出发经所述第一视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第一锥体空间;
确定所述可视空间中所述第二图像采集装置对应的第二视平面;
根据所述第二图像采集装置在所述可视空间对应的第二视点,以及所述第二视平面的边界点,确定从所述第二视点出发经所述第二视平面的边界点的射线;
确定所述射线在所述可视空间围合成的第二锥体空间;
确定所述第一锥体空间和所述第二锥体空间重合的空间部分,作为所述检测子空间。
18.根据权利要求15所述的图像采集和识别方法,其特征在于,所述第一图像采集装置采集所述第一图像;
所述第一图像采集装置采用硬件触发模式触发所述第二图像采集装置采集所述第二图像。
19.根据权利要求15所述的图像采集和识别方法,其特征在于,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中与所述活动物体图像具有重合关系的物体的图像;
识别所述物体的图像,获得所述物体的第一属性信息。
20.根据权利要求19所述的图像采集和识别方法,其特征在于,所述获得所述物体的第二识别结果,包括:
将所述第一属性信息和所述第二属性信息进行对比,若相同,将所述第一属性信息或所述第二属性信息作为所述物体的识别结果。
21.根据权利要求15所述的图像采集和识别方法,其特征在于,所述在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果,包括:
确定所述第一图像中所述活动物体图像与所述物体的图像二者的图像重合比例是否大于预设图像重合阈值;
若是,确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,作为所述第一识别结果。
22.根据权利要求21所述的图像采集和识别方法,其特征在于,所述根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,包括:
确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域;
基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间;
确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域;
在所述第二图像采集装置采集的第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的识别结果。
23.根据权利要求20或21所述的图像采集和识别方法,其特征在于,所述确定所述第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,包括:
在所述第一图像中确定涵盖所述物体的物体图像的最小图像区域,作为所述第一图像区域。
24.根据权利要求20或22所述的图像采集和识别方法,其特征在于,所述确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,包括:
将所述第一图像中的所述第一图像区域的边界像素点映射到所述第一视平面上获得的图像区域作为所述第一投影区域。
25.根据权利要求24所述的图像采集和识别方法,其特征在于,所述基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,包括:
根据所述第一视点,以及所述第一投影区域的边界点,确定从所述第一视点出发经所述边界点的射线;
确定所述射线在所述可视空间围合成的锥体空间;
根据所述第一视点至所述物体的第一物距在所述锥体空间中确定近横截面,以及根据所述第一视点至所述物体的第二物距在所述锥体空间中确定远横截面;
按照所述近横截面和所述远横截面对所述锥体空间进行截取,将所述锥体空间截取后获得的在所述近横截面与所述远横截面之间的空间部分作为所述可视子空间;
其中,所述第一物距根据所述第一视点至所述物体距离范围的最近距离确定,所述第二物距根据所述第一视点至所述物体距离范围的最远距离确定。
26.根据权利要求25所述的图像采集和识别方法,其特征在于,所述确定所述可视子空间在所述可视空间中所述第二图像采集装置对应的第二视平面映射的第二投影区域,包括:
将所述可视子空间在所述第二图像采集装置对应视觉角度的轮廓线映射到第二视平面,将获得的轮廓线投影围成的区域作为所述第二投影区域。
27.根据权利要求20或22所述的图像采集和识别方法,其特征在于,所述第二图像区域,采用如下方式确定:
将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域。
28.一种图像采集和识别装置,其特征在于,包括:
活动物体图像采集模块,被配置为采集包含活动物体对应的活动物体图像的第一图像和第二图像;
物体第一识别结果模块,被配置为在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
物体第二识别结果模块,被配置为根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,其中,所述根据所述第一识别结果在所述第二图像中识别所述物体,包括确定第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,在所述第二图像采集装置采集的所述第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到,其中,所述第一图像通过所述第一图像采集装置采集获得,所述第二图像通过所述第二图像采集装置采集获得。
29.一种商品识别方法,其特征在于,包括:
确定第一商品图像中的商品对应的第一图像区域;
基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域,其中,所述基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域,包括确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述商品在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,将所述第二视平面的第二投影区域映射到所述第二商品图像中的图像区域,作为所述第二图像区域;
识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到,其中,所述第一商品图像通过所述第一图像采集装置采集获得,所述第二商品图像通过所述第二图像采集装置采集获得。
30.一种商品识别装置,其特征在于,包括:
商品第一图像区域确定模块,被配置为确定第一商品图像中的商品对应的第一图像区域;
商品第二图像区域确定模块,被配置为基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域,其中,所述基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域,包括确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述商品在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,将所述第二视平面的第二投影区域映射到所述第二商品图像中的图像区域,作为所述第二图像区域;
商品识别模块,被配置为识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到,其中,所述第一商品图像通过所述第一图像采集装置采集获得,所述第二商品图像通过所述第二图像采集装置采集获得。
31.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
确定第一图像中的物体对应的第一图像区域;
基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,其中,所述基于所述第一图像区域,确定所述物体在第二图像中对应的第二图像区域,包括确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,将所述第二视平面的第二投影区域映射到所述第二图像中的图像区域,作为所述第二图像区域;
识别所述第二图像区域中的物体;
其中,所述第一图像和所述第二图像为根据不同角度对所述物体所处位置进行采集得到,其中,所述第一图像通过所述第一图像采集装置采集获得,所述第二图像通过所述第二图像采集装置采集获得。
32.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
采集包含活动物体对应的活动物体图像的第一图像和第二图像;
在所述第一图像中识别所述活动物体图像关联的物体,获得第一识别结果;
根据所述第一识别结果在所述第二图像中识别所述物体,获得所述物体的第二识别结果,其中,所述根据所述第一识别结果在所述第二图像中识别所述物体,包括确定第一图像采集装置采集的所述第一图像中所述物体对应的第一图像区域,确定所述第一图像区域在可视空间中所述第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述物体在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,在所述第二图像采集装置采集的所述第二图像中所述第二投影区域对应的第二图像区域内识别所述物体,获得所述物体的第二属性信息;
其中,所述第一图像和第二图像为根据不同角度对所述活动物体所处位置进行采集得到,其中,所述第一图像通过所述第一图像采集装置采集获得,所述第二图像通过所述第二图像采集装置采集获得。
33.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
确定第一商品图像中的商品对应的第一图像区域;
基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域,其中,所述基于所述第一图像区域,确定所述商品在第二商品图像中对应的第二图像区域,包括确定所述第一图像区域在可视空间中第一图像采集装置对应的第一视平面映射的第一投影区域,基于所述第一图像采集装置在所述可视空间对应的第一视点和所述第一投影区域,确定所述商品在所述可视空间对应的可视子空间,确定所述可视子空间在所述可视空间中第二图像采集装置对应的第二视平面映射的第二投影区域,将所述第二视平面的第二投影区域映射到所述第二商品图像中的图像区域,作为所述第二图像区域;
识别所述第二图像区域中的商品;
其中,所述第一商品图像和所述第二商品图像为根据不同角度对所述商品所处位置进行采集得到,其中,所述第一商品图像通过所述第一图像采集装置采集获得,所述第二商品图像通过所述第二图像采集装置采集获得。
34.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至13任意一项所述方法的步骤。
35.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求15至27任意一项所述方法的步骤。
36.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求29所述方法的步骤。
CN201910173390.5A 2019-03-07 2019-03-07 图像识别方法、图像采集和识别方法以及商品识别方法 Active CN111666792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910173390.5A CN111666792B (zh) 2019-03-07 2019-03-07 图像识别方法、图像采集和识别方法以及商品识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173390.5A CN111666792B (zh) 2019-03-07 2019-03-07 图像识别方法、图像采集和识别方法以及商品识别方法

Publications (2)

Publication Number Publication Date
CN111666792A CN111666792A (zh) 2020-09-15
CN111666792B true CN111666792B (zh) 2023-04-28

Family

ID=72382287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173390.5A Active CN111666792B (zh) 2019-03-07 2019-03-07 图像识别方法、图像采集和识别方法以及商品识别方法

Country Status (1)

Country Link
CN (1) CN111666792B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112297011B (zh) * 2020-10-29 2023-07-21 久瓴(上海)智能科技有限公司 农林机器人避障方法、装置、计算机设备和存储介质
CN112489120B (zh) * 2021-02-04 2021-04-27 中科长光精拓智能装备(苏州)有限公司 一种多角度图像的图像识别方法及系统
CN113095240B (zh) * 2021-04-16 2023-08-29 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN114638898A (zh) * 2022-05-23 2022-06-17 中国人民解放军国防科技大学 一种小型飞行目标检测方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677536B1 (ja) * 2009-11-20 2011-04-27 株式会社三次元メディア 3次元物体認識装置及び3次元物体認識方法
WO2013099368A1 (ja) * 2011-12-28 2013-07-04 Necソフト株式会社 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム
CN103914679A (zh) * 2013-01-05 2014-07-09 联想(北京)有限公司 一种图像识别方法、装置和电子设备
CN105451009A (zh) * 2014-06-13 2016-03-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN106933341A (zh) * 2015-12-31 2017-07-07 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
CN107168514A (zh) * 2017-03-27 2017-09-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN107341473A (zh) * 2017-07-04 2017-11-10 深圳市利众信息科技有限公司 手掌特征识别方法、手掌特征识别设备、及存储介质
CN108932478A (zh) * 2018-06-05 2018-12-04 西安超嗨网络科技有限公司 基于图像的物体定位方法、装置及购物车
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109242958A (zh) * 2018-08-29 2019-01-18 广景视睿科技(深圳)有限公司 一种三维建模的方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965875B2 (en) * 2016-06-21 2018-05-08 Carestream Health, Inc. Virtual projection image method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677536B1 (ja) * 2009-11-20 2011-04-27 株式会社三次元メディア 3次元物体認識装置及び3次元物体認識方法
WO2013099368A1 (ja) * 2011-12-28 2013-07-04 Necソフト株式会社 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム
CN103914679A (zh) * 2013-01-05 2014-07-09 联想(北京)有限公司 一种图像识别方法、装置和电子设备
CN105451009A (zh) * 2014-06-13 2016-03-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN106933341A (zh) * 2015-12-31 2017-07-07 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
CN107168514A (zh) * 2017-03-27 2017-09-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN107341473A (zh) * 2017-07-04 2017-11-10 深圳市利众信息科技有限公司 手掌特征识别方法、手掌特征识别设备、及存储介质
CN108932478A (zh) * 2018-06-05 2018-12-04 西安超嗨网络科技有限公司 基于图像的物体定位方法、装置及购物车
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109242958A (zh) * 2018-08-29 2019-01-18 广景视睿科技(深圳)有限公司 一种三维建模的方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
向登宁,邓文怡,燕必希,董明利,吕乃光.利用极线约束方法实现图像特征点的匹配.北京机械工业学院学报.2002,(04),全文. *
胡薇,张桂林,任仙怡.基于子空间的3D目标识别和姿态估计方法.红外与激光工程.2004,(06),全文. *

Also Published As

Publication number Publication date
CN111666792A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111666792B (zh) 图像识别方法、图像采集和识别方法以及商品识别方法
EP3910608B1 (en) Article identification method and system, and electronic device
CN106372629B (zh) 一种活体检测方法和装置
US20200372626A1 (en) Systems and methods for object dimensioning based on partial visual information
US11106897B2 (en) Human facial detection and recognition system
US10554957B2 (en) Learning-based matching for active stereo systems
US11030763B1 (en) System and method for identifying items
JPWO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
Varol et al. Toward retail product recognition on grocery shelves
JP2023015989A (ja) 物品識別および追跡システム
JP6731097B2 (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
JP6851295B2 (ja) 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法
CN109977824B (zh) 物品取放识别方法、装置及设备
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
Ling et al. Image quality assessment for free viewpoint video based on mid-level contours feature
Hambarde et al. Single image depth estimation using deep adversarial training
CN109214324A (zh) 基于多相机阵列的最正脸图像输出方法及输出系统
CN115249356B (zh) 识别方法、装置、设备及存储介质
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
US20140055644A1 (en) Apparatus and method for extracting object
Bruno et al. Video object recognition and modeling by sift matching optimization
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
Feng et al. HOSO: Histogram of surface orientation for RGB-D salient object detection
Kanamori et al. Boosting
Lee et al. Real-time pedestrian and vehicle detection in video using 3d cues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant