CN111932608A - 一种基于消失点检测的单目零售货架姿态估计方法和装置 - Google Patents

一种基于消失点检测的单目零售货架姿态估计方法和装置 Download PDF

Info

Publication number
CN111932608A
CN111932608A CN202010571259.7A CN202010571259A CN111932608A CN 111932608 A CN111932608 A CN 111932608A CN 202010571259 A CN202010571259 A CN 202010571259A CN 111932608 A CN111932608 A CN 111932608A
Authority
CN
China
Prior art keywords
vanishing point
vanishing
image
point
spherical surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010571259.7A
Other languages
English (en)
Inventor
牟永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagedt Co ltd
Original Assignee
Imagedt Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagedt Co ltd filed Critical Imagedt Co ltd
Priority to CN202010571259.7A priority Critical patent/CN111932608A/zh
Publication of CN111932608A publication Critical patent/CN111932608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于消失点检测的单目零售货架姿态估计方法和装置，所述方法包括：采用直线检测算法对输入的图像完成直线检测；在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；通过各所述最优消失点在等效球面中的偏角表示货架姿态。本发明实施例不仅无需额外的辅助角度传感器便能够对零售场景中的单目货架进行姿态估计，还由于考虑了景深信息，得出的姿态估计结果更加准确。此外，相对于采用三维景深传感器以及陀螺仪等硬件设备进行姿态估计，能够降低成本。

Description

一种基于消失点检测的单目零售货架姿态估计方法和装置
技术领域
本发明涉及姿态估计技术领域，尤其涉及一种基于消失点检测的单目零售货架姿态估计方法和装置。
背景技术
近年来，科技的快速发展促进智慧零售应用的落地，深度学习技术应用在智慧零售的案例不断增多，如商品识别技术等。在商品识别技术中，不规范的拍照步骤会影响最后的识别结果。发明人在研究中发现，解决该问题的关键步骤是以货架姿态估计技术完成对发生角度偏转的目标进行估计，然后根据目标的估计结果以变换矩阵完成姿态矫正。当前的目标姿态估计技术主要通过三维景深传感器以及陀螺仪等硬件设备获取图像中目标的姿态或仅通过二维图片信息估计目标姿态算法替换三维景深传感器实现姿态估计。然而，采用三维景深传感器以及陀螺仪等硬件设备成本较高，仅通过二维图片信息估计目标姿态算法替换三维景深传感器解决目标姿态估计容易丢失景深信息。
发明内容
本发明的目的在于提供一种基于消失点检测的单目零售货架姿态估计方法，无需辅助角度传感器，能够在单目图片下完成货架姿态估计，且姿态估计更准确。
为了解决上述技术问题，第一方面，本发明实施例提供一种基于消失点检测的单目零售货架姿态估计方法，包括：
采用直线检测算法对输入的图像完成直线检测；其中，所述图像为单目相机拍摄货架的图像；
在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；其中，每一消失点组均包括与其对应的第一消失点、第二消失点和第三消失点；
利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；其中，所述最优消失点组包括的消失点均为最优消失点；
通过各所述最优消失点在等效球面中的偏角表示货架姿态。
进一步地，所述采用消失点检测算法获取所有可能出现的消失点组，包括：
确定所述图像的原点和所述图像的焦距；
根据所述图像的原点、所述图像的焦距和所述图像中任意点构建等效球面；
在所述图像上随机找到两条直线并求出所述两条直线的交点，将所述交点带入等效球面，得出其在等效球面中的坐标；其中，所述坐标为第一消失点的坐标；
根据各维度消失点在3维空间中相互垂直关系，在所述第一消失点垂直平面以1度为间隔获取第二消失点的坐标；
根据所述第一消失点的坐标、所述第二消失点的坐标以及3点相互垂直关系求解出第三消失点的坐标；其中，所述3点为第一消失点、第二消失点和第三消失点；
遍历所述图像中任意相交两条直线，并获取所有可能出现的消失点组；其中，每一组消失点组包括与其对应的第一消失点、第二消失点和第三消失。
进一步地，所述等效球面为：
Figure BDA0002548121370000031
其中，f为焦距，(x0，y0)为图像原点、(x，y)为图像中的任意点。
进一步地，第二个消失点的计算公式为：
Figure BDA0002548121370000032
X1×X2+Y1×Y2+Z1×Z2＝0；
其中，X1表示第一消失点的x轴坐标值，Y1表示第一消失点的y轴坐标值，Z1表示第一消失点的z轴坐标值，X2表示第二消失点的x轴坐标值，Y2表示第二消失点的y轴坐标值，Z2表示第二消失点的z轴坐标值，φ2、λ2分别为第二消失点的纬度和经度。
进一步地，所述利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组，包括：
遍历所有所述消失点组；
计算每个所述消失点在所述等效球面的经度和纬度；
构建等效球面的规则模型；
采用所述等效球面的规则模型计算每组消失点组的响应；
选取响应最大的一组消失点组作为最优的消失点组。
进一步地，根据以下公式计算每个所述消失点在所述等效球面的经度和纬度：
Figure BDA0002548121370000033
其中，φ为纬度，λ为经度，X、Y、Z分别表示消失点的x轴坐标值，y轴坐标值和z轴坐标值。
进一步地，所述等效球面的规则模型为：
Gj(φd,λd)＝Gj-1(φd,λd)+||l1||+||l2||×sin(2θ)
其中，Gj(φd,λd)为一个消失点的响应，j∈[1,360]，φd＝[φ×180/π]，λd＝[λ×180/π]，φ为纬度，λ为经度，||l1||是直线l1的长度，||l2||是直线l2的长度，θ是直线l1与直线l2的夹角，而初始G0(φd,λd)＝0，随着偏转角度在不同区间，Gj(φd,λd)进行叠加变换。
第二方面，本发明实施例还提供一种基于消失点检测的单目零售货架姿态估计装置，包括：
直线检测模块，用于采用直线检测算法对输入的图像完成直线检测；其中，所述图像为单目相机拍摄货架的图像；
消失点检测模块，用于在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；其中，每一消失点组均包括与其对应的第一消失点、第二消失点和第三消失点；
消失点筛选模块，用于利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；其中，所述最优消失点组包括的消失点均为最优消失点；
姿态估计模块，用于通过各所述最优消失点在等效球面中的偏角表示货架姿态。
进一步地，所述消失点检测模块，包括：
确定单元，用于确定所述图像的原点和所述图像的焦距；
等效球面构建单元，用于根据所述图像的原点、所述图像的焦距和所述图像中任意点构建等效球面；
第一消失点坐标获取单元，用于在所述图像上随机找到两条直线并求出所述两条直线的交点，将所述交点带入等效球面，得出其在等效球面中的坐标；其中，所述坐标为第一消失点的坐标；
第二消失点坐标获取单元，用于根据各维度消失点在3维空间中相互垂直关系，在所述第一消失点垂直平面以1度为间隔获取第二消失点的坐标；
第三消失点获取单元，用于根据所述第一消失点的坐标、所述第二消失点的坐标以及3点相互垂直关系求解出第三消失点的坐标；其中，所述3点为第一消失点、第二消失点和第三消失点；
第一遍历单元，用于遍历所述图像中任意相交两条直线，并获取所有可能出现的消失点组；其中，每一组消失点组包括与其对应的第一消失点、第二消失点和第三消失。
进一步地，所述消失点筛选模块，包括：
第二遍历单元，用于遍历所有所述消失点组；
消失点经纬度计算单元，用于计算每个所述消失点在所述等效球面的经度和纬度；
等效球面规则模型构建单元，用于构建等效球面的规则模型；
消失点组响应计算单元，用于采用所述等效球面的规则模型计算每组消失点组的响应；
最优消失点组选取单元，用于选取响应最大的一组消失点组作为最优的消失点组。
综上，本发明实施例的有益效果在于：
本发明实施例通过采用直线检测算法对输入的图像完成直线检测；在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；通过各所述最优消失点在等效球面中的偏角表示货架姿态，不仅无需额外的辅助角度传感器便能够对零售场景中的单目货架进行姿态估计，还由于考虑了景深信息，得出的姿态估计结果更加准确。此外，相对于采用三维景深传感器以及陀螺仪等硬件设备进行姿态估计，能够降低成本。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于消失点检测的单目零售货架姿态估计方法的流程图；
图2是本发明实施例提供的采用消失点检测算法获取所有可能出现的消失点组的流程图；
图3是本发明实施例提供的利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例1：
请参阅图1，本发明实施例提供一种基于消失点检测的单目零售货架姿态估计方法，包括步骤S1-S4：
S1、采用直线检测算法对输入的图像完成直线检测；其中，所述图像为单目相机拍摄货架的图像；优选地，可通过Opencv内置的直线检测算法对输入的图像完成直线检测。
S2、在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；其中，每一消失点组均包括与其对应的第一消失点、第二消失点和第三消失点。
请参阅图2，其中，所述采用消失点检测算法获取所述图像中所有可能出现的消失点组包括步骤S21-S27：
S21、确定所述图像的原点(x0,y0)Τ和所述图像的焦距f；
S22、根据所述图像的原点(x0,y0)Τ、所述图像的焦距f和所述图像中任意点(x,y)Τ构建等效球面(Equivalent Sphere，ES)；构建的所述等效球面为：
Figure BDA0002548121370000081
其中，f为焦距，(x0，y0)为图像原点、(x，y)为图像中的任意点。
S23、在所述图像上随机找到两条直线并求出所述两条直线的交点，将所述交点带入等效球面，得出其在等效球面中的坐标(X1，Y1，Z1)；其中，所述坐标为第一消失点VP1的坐标；
S24、根据各维度消失点在3维空间中相互垂直关系，在所述第一消失点垂直平面以1度为间隔获取第二消失点VP2的坐标；具体的，根据以下公式计算第二个消失点VP2坐标为：
Figure BDA0002548121370000082
X1×X2+Y1×Y2+Z1×Z2＝0； (3)
其中，X1表示第一消失点的x轴坐标值，Y1表示第一消失点的y轴坐标值，Z1表示第一消失点的z轴坐标值，X2表示第二消失点的x轴坐标值，Y2表示第二消失点的y轴坐标值，Z2表示第二消失点的z轴坐标值，φ2、λ2分别为第二消失点的纬度和经度。
应当理解的是，各维度消失点在3维空间中相互垂直关系通俗指的是正交约束，正交约束指的是同一平面A中相互垂直的两直线L1和L2，在平面A的垂直平面B中存在一条直线L3与L1、L2，俩俩相互垂直，则该3条直线在其所构建的3维空间中存在正交约束关系。所述各维度消失点实则是3维空间中各维度即是平面中的直线在无穷远处的相交的一点，该点则为该维度的消失点。而本发明选取的第一消失点VP1是采用直线相交的方法，而第二消失点VP2是通过三维空间中正交约束关系求解，同理第三消失点VP3也是正交约束求解。VP3在步骤S25求解。
在本发明实施例中，若不以精度1度为间隔获取第二消失点VP2的坐标，则将导致VP2的采样不完整，进而影响该维度最优VP2的选取。
S25、根据所述第一消失点的坐标、所述第二消失点的坐标以及3点相互垂直关系求解出第三消失点的坐标；其中，所述3点为第一消失点、第二消失点和第三消失点。
其中，因为第二消失点VP2与第一消失点VP1的相互垂直关系，因此VP2是在VP1等效球面中的最大圆中以1度为间隔均匀采样得到的VP2的经度λ，将λ代入公式(2)，即
Figure BDA0002548121370000091
得出VP2由φ表示各坐标轴的值，再将VP2各坐标值代入公式(3)，即X1×X2+Y1×Y2+Z1×Z2＝0，计算得出VP2点各坐标值，然后通过VP1(第一消失点)，VP2(第二消失点)，VP3(第三消失点)在三维空间中3点相互垂直关系，通过VP1，VP2之间的叉乘得出VP3，即VP3＝VP1×VP2，得出VP3坐标为(Y1Z2-Y2Z1，Z1X2-Z2X1，X1Y2-X2Y1)。
S26、遍历所述图像中任意相交两条直线，并获取所有可能出现的消失点组；其中，每一组消失点组包括与其对应的第一消失点、第二消失点和第三消失点。
S3、利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；其中，所述最优消失点组包括的消失点均为最优消失点。
请参阅图3，其中，步骤S3具体包括步骤S31-步骤S34：
S31、遍历所有所述消失点组；
S32、计算每个所述消失点在所述等效球面的经度和纬度；其中，根据以下公式计算每个所述消失点在所述等效球面的经度和纬度：
Figure BDA0002548121370000101
其中，φ为纬度，λ为经度，X、Y、Z分别表示消失点的x轴坐标值，y轴坐标值和z轴坐标值。
S33、构建等效球面的规则模型；构建的所述等效球面的规则模型为：
Gj(φd,λd)＝Gj-1(φd,λd)+||l1||+||l2||×sin(2θ) (5)
其中，Gj(φd,λd)为一个消失点的响应，j∈[1,360]，φd＝[φ×180/π]，λd＝[λ×180/π]，φ为纬度，λ为经度，||l1||是直线l1的长度，||l2||是直线l2的长度，θ是直线l1与直线l2的夹角，而初始G0(φd,λd)＝0，随着偏转角度在不同区间，Gj(φd,λd)进行叠加变换。
在本发明实施例中，由于每一个维度需要构造(1,360)的等效球面，因此j∈[1,360]。
S34、采用所述等效球面的规则模型计算每组消失点组的响应；
其中，一组消失点组的响应为：
Gj＝Gj(φ1,λ1)+Gj(φ2,λ2)+Gj(φ3,λ3)
其中，φ1、λ1分别为第一消失点的纬度和经度，φ2、λ2分别为第二消失点的纬度和经度、φ3、λ3为第三消失点的纬度和经度。
由于在步骤S2已经得出所有可能出现的消失点组，且每一组消失点组具备其对应的第一消失点，第二消失点和第三消失点，因此根据公式(4)，即
Figure BDA0002548121370000111
便可计算出该组消失点对应的经纬度((λ1,φ1),(λ2,φ2),(λ3,φ3))，然后根据公式Gj＝Gj(φ1,λ1)+Gj(φ2,λ2)+Gj(φ3,λ3)和Gj(φd,λd)＝Gj-1(φd,λd)+||l1||+||l2||×sin(2θ)计算该组消失点的响应：最后通过步骤S35获取最优的消失点组。
S35、利用Max()函数获取响应最大的一组消失点组作为最优的消失点组。
S4、通过各所述最优消失点在等效球面中的偏角表示货架姿态。
所述货架姿态表示为：(λ1d，φ1d)，(λ2d，φ2d)，(λ3d，φ3d)。
本发明实施例通过采用直线检测算法对输入的图像完成直线检测；在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；通过各所述最优消失点在等效球面中的偏角表示货架姿态，不仅无需额外的辅助角度传感器，便能够对零售场景中的单目货架进行姿态估计，还由于考虑了景深信息，得出的姿态估计结果更加准确。此外，相对于采用三维景深传感器以及陀螺仪等硬件设备进行姿态估计，能够降低成本。
实施例2：
本发明实施例还提供一种基于消失点检测的单目零售货架姿态估计装置，包括：
直线检测模块，用于采用直线检测算法对输入的图像完成直线检测；其中，所述图像为单目相机拍摄货架的图像；
消失点检测模块，用于在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；其中，每一消失点组均包括与其对应的第一消失点、第二消失点和第三消失点；
消失点筛选模块，用于利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；其中，所述最优消失点组包括的消失点均为最优消失点；
姿态估计模块，用于通过各所述最优消失点在等效球面中的偏角表示货架姿态。
在其中一种优选的实施例中，所述消失点检测模块，包括：
确定单元，用于确定所述图像的原点和所述图像的焦距；
等效球面构建单元，用于根据所述图像的原点、所述图像的焦距和所述图像中任意点构建等效球面；
第一消失点坐标获取单元，用于在所述图像上随机找到两条直线并求出所述两条直线的交点，将所述交点带入等效球面，得出其在等效球面中的坐标；其中，所述坐标为第一消失点的坐标；
第二消失点坐标获取单元，用于根据各维度消失点在3维空间中相互垂直关系，在所述第一消失点垂直平面以1度为间隔获取第二消失点的坐标；
第三消失点获取单元，用于根据所述第一消失点的坐标、所述第二消失点的坐标以及3点相互垂直关系求解出第三消失点的坐标；其中，所述3点为第一消失点、第二消失点和第三消失点；
第一遍历单元，用于遍历所述图像中任意相交两条直线，并获取所有可能出现的消失点组；其中，每一组消失点组包括与其对应的第一消失点、第二消失点和第三消失。
在其中一种优选的实施例中，所述消失点筛选模块，包括：
第二遍历单元，用于遍历所有所述消失点组；
消失点经纬度计算单元，用于计算每个所述消失点在所述等效球面的经度和纬度；
等效球面规则模型构建单元，用于构建等效球面的规则模型；
消失点组响应计算单元，用于采用所述等效球面的规则模型计算每组消失点组的响应；
最优消失点组选取单元，用于选取响应最大的一组消失点组作为最优的消失点组。
需要说明的是，本发明第一实施例提供的基于消失点检测的单目零售货架姿态估计方法的所有技术内容、技术效果以及对所述第一实施例提供的基于消失点检测的单目零售货架姿态估计方法的所有解释、说明均适用于本发明第二实施例提供的基于消失点检测的单目零售货架姿态估计装置，因此本发明第二实施例在此不作过多赘述。
实施例3：
本发明实施例一种计算机可读存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如上述的基于消失点检测的单目零售货架姿态估计方法，并达到与上述基于消失点检测的单目零售货架姿态估计方法一致的技术效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可监听存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于消失点检测的单目零售货架姿态估计方法，其特征在于，包括：
采用直线检测算法对输入的图像完成直线检测；其中，所述图像为单目相机拍摄货架的图像；
在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；其中，每一消失点组均包括与其对应的第一消失点、第二消失点和第三消失点；
利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；其中，所述最优消失点组包括的消失点均为最优消失点；
通过各所述最优消失点在等效球面中的偏角表示货架姿态。
2.根据权利要求1所述的基于消失点检测的单目零售货架姿态估计方法，其特征在于，所述采用消失点检测算法获取所有可能出现的消失点组，包括：
确定所述图像的原点和所述图像的焦距；
根据所述图像的原点、所述图像的焦距和所述图像中任意点构建等效球面；
在所述图像上随机找到两条直线并求出所述两条直线的交点，将所述交点带入等效球面，得出其在等效球面中的坐标；其中，所述坐标为第一消失点的坐标；
根据各维度消失点在3维空间中相互垂直关系，在所述第一消失点垂直平面以1度为间隔获取第二消失点的坐标；
根据所述第一消失点的坐标、所述第二消失点的坐标以及3点相互垂直关系求解出第三消失点的坐标；其中，所述3点为第一消失点、第二消失点和第三消失点；
遍历所述图像中任意相交两条直线，并获取所有可能出现的消失点组；其中，每一组消失点组包括与其对应的第一消失点、第二消失点和第三消失。
3.根据权利要求2所述的基于消失点检测的单目零售货架姿态估计方法，其特征在于，所述等效球面为：
Figure FDA0002548121360000021
其中，f为焦距，(x0，y0)为图像原点、(x，y)为图像中的任意点。
4.根据权利要求2所述的基于消失点检测的单目零售货架姿态估计方法，其特征在于，第二个消失点的计算公式为：
Figure FDA0002548121360000022
X1×X2+Y1×Y2+Z1×Z2＝0；
其中，X1表示第一消失点的x轴坐标值，Y1表示第一消失点的y轴坐标值，Z1表示第一消失点的z轴坐标值，X2表示第二消失点的x轴坐标值，Y2表示第二消失点的y轴坐标值，Z2表示第二消失点的z轴坐标值，φ2、λ2分别为第二消失点的纬度和经度。
5.根据权利要求1-4任一项所述的基于消失点检测的单目零售货架姿态估计方法，其特征在于，所述利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组，包括：
遍历所有所述消失点组；
计算每个所述消失点在所述等效球面的经度和纬度；
构建等效球面的规则模型；
采用所述等效球面的规则模型计算每组消失点组的响应；
选取响应最大的一组消失点组作为最优的消失点组。
6.根据权利要求5所述的基于消失点检测的单目零售货架姿态估计方法，其特征在于，根据以下公式计算每个所述消失点在所述等效球面的经度和纬度：
Figure FDA0002548121360000031
其中，φ为纬度，λ为经度，X、Y、Z分别表示消失点的x轴坐标值，y轴坐标值和z轴坐标值。
7.根据权利要求5所述的基于消失点检测的单目零售货架姿态估计方法，其特征在于，所述等效球面的规则模型为：
Gj(φd,λd)＝Gj-1(φd,λd)+||l1||+||l2||×sin(2θ)
其中，Gj(φd,λd)为一个消失点的响应，j∈[1,360]，φd＝[φ×180/π]，λd＝[λ×180/π]，φ为纬度，λ为经度，||l1||是直线l1的长度，||l2||是直线l2的长度，θ是直线l1与直线l2的夹角，而初始G0(φd,λd)＝0，随着偏转角度在不同区间，Gj(φd,λd)进行叠加变换。
8.一种基于消失点检测的单目零售货架姿态估计装置，其特征在于，包括：
直线检测模块，用于采用直线检测算法对输入的图像完成直线检测；其中，所述图像为单目相机拍摄货架的图像；
消失点检测模块，用于在对所述输入的图像完成直线检测后，采用消失点检测算法获取所述图像中所有可能出现的消失点组；其中，每一消失点组均包括与其对应的第一消失点、第二消失点和第三消失点；
消失点筛选模块，用于利用等效球面和筛选算法对所有所述可能出现的消失点组进行筛选并选取最优的消失点组；其中，所述最优消失点组包括的消失点均为最优消失点；
姿态估计模块，用于通过各所述最优消失点在等效球面中的偏角表示货架姿态。
9.根据权利要求8所述的基于消失点检测的单目零售货架姿态估计装置，所述消失点检测模块，包括：
确定单元，用于确定所述图像的原点和所述图像的焦距；
等效球面构建单元，用于根据所述图像的原点、所述图像的焦距和所述图像中任意点构建等效球面；
第一消失点坐标获取单元，用于在所述图像上随机找到两条直线并求出所述两条直线的交点，将所述交点带入等效球面，得出其在等效球面中的坐标；其中，所述坐标为第一消失点的坐标；
第二消失点坐标获取单元，用于根据各维度消失点在3维空间中相互垂直关系，在所述第一消失点垂直平面以1度为间隔获取第二消失点的坐标；
第三消失点获取单元，用于根据所述第一消失点的坐标、所述第二消失点的坐标以及3点相互垂直关系求解出第三消失点的坐标；其中，所述3点为第一消失点、第二消失点和第三消失点；
第一遍历单元，用于遍历所述图像中任意相交两条直线，并获取所有可能出现的消失点组；其中，每一组消失点组包括与其对应的第一消失点、第二消失点和第三消失。
10.根据权利要求8或9所述的基于消失点检测的单目零售货架姿态估计装置，其特征在于，所述消失点筛选模块，包括：
第二遍历单元，用于遍历所有所述消失点组；
消失点经纬度计算单元，用于计算每个所述消失点在所述等效球面的经度和纬度；
等效球面规则模型构建单元，用于构建等效球面的规则模型；
消失点组响应计算单元，用于采用所述等效球面的规则模型计算每组消失点组的响应；
最优消失点组选取单元，用于选取响应最大的一组消失点组作为最优的消失点组。
CN202010571259.7A 2020-06-19 2020-06-19 一种基于消失点检测的单目零售货架姿态估计方法和装置 Pending CN111932608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010571259.7A CN111932608A (zh) 2020-06-19 2020-06-19 一种基于消失点检测的单目零售货架姿态估计方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010571259.7A CN111932608A (zh) 2020-06-19 2020-06-19 一种基于消失点检测的单目零售货架姿态估计方法和装置

Publications (1)

Publication Number Publication Date
CN111932608A true CN111932608A (zh) 2020-11-13

Family

ID=73317653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010571259.7A Pending CN111932608A (zh) 2020-06-19 2020-06-19 一种基于消失点检测的单目零售货架姿态估计方法和装置

Country Status (1)

Country Link
CN (1) CN111932608A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634363A (zh) * 2020-12-10 2021-04-09 上海零眸智能科技有限公司 一种货架姿态预估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968094B1 (en) * 2000-03-27 2005-11-22 Eastman Kodak Company Method of estimating and correcting camera rotation with vanishing point location
CN104781848A (zh) * 2012-10-09 2015-07-15 Sk电信有限公司 用于估计单体的倾斜度的图像监测装置及其方法
CN104848861A (zh) * 2015-05-28 2015-08-19 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
CN106846393A (zh) * 2017-01-22 2017-06-13 武汉大学 基于全局搜索的灭点提取方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968094B1 (en) * 2000-03-27 2005-11-22 Eastman Kodak Company Method of estimating and correcting camera rotation with vanishing point location
CN104781848A (zh) * 2012-10-09 2015-07-15 Sk电信有限公司 用于估计单体的倾斜度的图像监测装置及其方法
CN104848861A (zh) * 2015-05-28 2015-08-19 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
CN106846393A (zh) * 2017-01-22 2017-06-13 武汉大学 基于全局搜索的灭点提取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634363A (zh) * 2020-12-10 2021-04-09 上海零眸智能科技有限公司 一种货架姿态预估方法
CN112634363B (zh) * 2020-12-10 2023-10-03 上海零眸智能科技有限公司 一种货架姿态预估方法

Similar Documents

Publication Publication Date Title
US10268201B2 (en) Vehicle automated parking system and method
CN106503671B (zh) 确定人脸姿态的方法和装置
EP1596330B1 (en) Estimating position and orientation of markers in digital images
US9020187B2 (en) Planar mapping and tracking for mobile devices
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距系统及方法
Sweeney et al. Solving for relative pose with a partially known rotation is a quadratic eigenvalue problem
EP3273412B1 (en) Three-dimensional modelling method and device
Yang et al. Tightly-coupled aided inertial navigation with point and plane features
US8442305B2 (en) Method for determining 3D poses using points and lines
US20150279099A1 (en) Systems and methods for matching scenes using mutual relations between features
CN107358629A (zh) 一种基于目标识别的室内建图与定位方法
JP2011085971A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム
CN106574836A (zh) 用于在定位平面中定位机器人的方法
CN110617813A (zh) 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
Huttunen et al. A monocular camera gyroscope
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
CN111932608A (zh) 一种基于消失点检测的单目零售货架姿态估计方法和装置
Ohnishi et al. Featureless robot navigation using optical flow
CN112634152A (zh) 基于图像深度信息的人脸样本数据增强方法及系统
CN113048985B (zh) 已知相对旋转角度条件下的像机相对运动估计方法
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination