CN115601336A - 一种确定目标投影的方法、装置及电子设备 - Google Patents

一种确定目标投影的方法、装置及电子设备 Download PDF

Info

Publication number
CN115601336A
CN115601336A CN202211301477.4A CN202211301477A CN115601336A CN 115601336 A CN115601336 A CN 115601336A CN 202211301477 A CN202211301477 A CN 202211301477A CN 115601336 A CN115601336 A CN 115601336A
Authority
CN
China
Prior art keywords
ground contact
contact point
image
processed
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211301477.4A
Other languages
English (en)
Inventor
周仁杰
巫立峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211301477.4A priority Critical patent/CN115601336A/zh
Publication of CN115601336A publication Critical patent/CN115601336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种确定目标投影的方法、装置及电子设备，该方法包括：定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将第一地面接触点变换至参考平面坐标系中，得到第一地面接触点对应的第二地面接触点，通过目标对象的所有地面接触点构成参考多边形的特点标注出缺失的第三地面接触点，将第二地面接触点以及第三地面接触点逆透视变换至待处理图像，连接逆透视变换之后的第二地面接触点以及第三地面接触点，确定出待处理图像中目标对象的目标投影。此方法通过透视变换矩阵对第一地面接触点进行变换，在无需提供准确的真实尺度信息的情况下也可以使变换后的坐标在横纵坐标尺度比接近真实尺度比，提高了确定出目标投影的便捷度。

Description

一种确定目标投影的方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种确定目标投影的方法、装置及电子设备。
背景技术
随着车辆技术的发展，车辆在人们的生活中越来越广泛，为了检测车辆在道路上或者停车区域是否压线，现有的智能交通解决方案中，需要从图像或者视频中解析出车辆的地面投影区域，确定出车辆的地面投影区域的方法如下：
目前，为了能够确定出车辆的地面投影，采用的方法为获得图像采集设备采集的视频图像数据，并检测视频图像数据中的特定目标，并提取该特定目标的特征信息；依据该特征信息提取视频图像数据中的至少两对水平方向的空间平行线，由该空间平行线形成的灭点确定相应的灭线，该灭线为在实际场景中平行且在图像中相交的直线，相交的点成为灭点；按照预置规则依据该灭点和/或灭线计算对应的标定参数，再基于标定参数确定出车辆的地面投影区域。
上述的方法中车辆为目标对象，车辆地面投影为目标投影，采用的方式为基于视频图像数据中的灭点确定出车辆的地面投影区域，但是，在确定出灭点的过程中，需要调整采集视频图像的俯仰角、偏航角、翻滚角、焦距以及图像采集设备的高度等信息，以及需要提供参照物的参考尺度信息，并且，图像采集设备的高度信息的精度直接依赖于所提供的参照物的参考尺度信息的准确性，在实际应用中，由于需要调节图像采集设备的大量参数，以及需要借助参照物的参考尺度，当参考尺度出现偏差时，将直接影响高度信息，以及造成视频图像的拉伸变形，从而导致确定出目标对象的目标投影的过程便捷性低。
发明内容
本申请提供了一种确定目标投影的方法、装置及电子设备，通过目标矩阵以及待处理图像平面各像素坐标到地平面坐标的映射关系，在不用确定其他参照物的参照尺度的情况下，能够在待处理图像中确定出车辆的地面投影，避免了实地测量准确的参考目标的尺寸信息，提高了确定目标投影的便捷度。
第一方面，本申请提供了一种确定目标投影的方法，所述方法包括：
确定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将所述第一地面接触点变换至参考平面坐标系中，得到所述第一地面接触点对应的第二地面接触点；所述透视变换矩阵是基于所述待处理图像中的多个参考点组确定，所述参考点组包含的多个参考点在物理空间的参考平面坐标系上构成参考多边形；
通过所述目标对象的所有地面接触点构成参考多边形的特点标注出缺失的第三地面接触点，将所述第二地面接触点以及所述第三地面接触点逆透视变换至所述待处理图像；
连接所述逆透视变换之后的所述第二地面接触点以及所述第三地面接触点，确定出所述待处理图像中所述目标对象的目标投影。
通过上述的方法，通过透视变换矩阵对第一地面接触点进行变换，从而能够得到第一地面接触点对应的第二地面接触点，进而能够在待处理图像中确定目标对象的目标投影区域，提高了确定目标投影的便捷度。
在一种可能的设计中，确定出待处理图像中目标对象的第一地面接触点，包括：
在所述物理空间的参考平面坐标系中确定出满足矩形关系的车轮地面接触点；
基于所述参考平面坐标系与所述待处理图像像素坐标系的映射关系，确定出所述待处理图像中与所述车轮地面接触点对应的多个坐标点，并所述各个坐标系作为第一地面接触点。
通过上述的方法，基于满足矩形关系的车轮地面接触点，以及参考平面坐标系与待处理图像像素坐标系的映射关系，能够在待处理图像中确定出第一地面接触点，有利于确定出车辆地面投影。
在一种可能的设计中，通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，包括：
当所述参考多边形为矩形时，基于所述第二地面接触点确定出所述参考多边形中的未标注的顶点；
将所述未标注的顶点作为缺失的第三地面接触点。
通过上述的方法，通过参考多边形缺失的顶点确定出第三地面接触点，避免了借助其他参照物的参考尺度，实现了对第三地面接触点的确定，提高了确定车辆地面投影的便捷性。
第二方面，本申请提供了一种用于确定目标投影的透视变换矩阵的方法，所述方法包括：
获得待处理图像中的多个参考点组，其中，所述参考点组为与所述待处理图像中目标对象关联的多个预设参考点；
分别用包含未知参数的候选变换矩阵将所述各个参考点组变换至参考平面坐标系；
根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵。
通过上述的方法，通过参考点组中的多个参考点构成的多边形，从候选变换矩形中确定出透视变换矩阵，从而能够确定出目标投影对应的透视变换矩阵。
在一种可能的设计中，获得待处理图像中多个参考点组，包括：
在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成所述矩形的至少一组第一类定位点以及构成所述直角关系的至少一组第二类定位点，其中，所述第一类定位点构成的矩形的边与所述第二类定位点构成的直角的边在所述物理空间中不平行；
将所述至少一组第一类定位点以及所述至少一组第二类定位点作为多个参考点组。
通过上述的方法，从待处理图像中确定出构成矩形以及直角关系的至少两类定位点，并将两类定位点作为多个参考点组，使得多个参考点组中的参考点满足矩形或者直角三角形的几何关系，有利于确定出透视变换矩阵。
在一种可能的设计中，获得待处理图像中多个参考点组，包括：
在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成矩形的多组第一类定位点，并将所述多组第一类定位点作为多个参考点组，其中，所述多个矩形的边在所述物理空间中不平行；或者
在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成直角关系的多组第二类定位点，并将所述多组第二类定位点作为多个参考点组，其中，构成所述直角关系的多个直角三角形的边在所述物理空间中不平行。
通过上述的方法，在待处理图像中确定出满足多个矩形的第一类定位点或者多个直角关系的第二类定位点，通过多个矩形或者多个直角关系确定出多个参考点组，有利于确定出透视变换矩阵。
在一种可能的设计中，根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵，包括：
基于所述候选变换矩阵将各所述参考点组中的各个参考点变换至参考平面坐标系；
基于所述参考平面坐标系中所述多边形中的直角关系构建方程组，计算出所述候选变换矩阵中的各个未知数；
将所述各个未知数带入所述候选变换矩阵中，得到透视变换矩阵，其中，所述透视变换矩阵描述了所述待处理图像平面各像素坐标到参考平面坐标的映射关系。
通过上述的方法，将参考点变换至参考平面坐标系，并根据参考平面坐标系中的直角关系构建方程组，从而计算出候选变换矩阵中的未知数，进而确定出透视变换矩阵，避免了获得准确的参考尺度信息，从而提高了确定透视变换矩阵的便捷性。
第三方面，本申请提供了一种确定目标投影的装置，所述装置包括：
确定模块，具体用于确定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将所述第一地面接触点变换至参考平面坐标系中，得到所述第一地面接触点对应的第二地面接触点；
标注模块，具体用于通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，将所述第二地面接触点以及所述第三地面接触点逆透视变换至所述待处理图像；
连接模块，具体用于连接所述逆透视变换之后的所述第二地面接触点以及所述第三地面接触点，确定出所述待处理图像中所述目标对象的目标投影。
在一种可能的设计中，所述确定模块，具体用于在所述物理空间的参考平面坐标系中确定出满足矩形关系的车轮地面接触点，基于所述参考平面坐标系与所述待处理图像像素坐标系的映射关系，确定出所述待处理图像中与所述车轮地面接触点对应的多个坐标点，并所述各个坐标系作为第一地面接触点。
在一种可能的设计中，所述标注模块，具体用于当所述参考多边形为矩形时，基于所述第二地面接触点确定出所述参考多边形中的未标注的顶点，将所述未标注的顶点作为缺失的第三地面接触点。
第四方面，本申请提供了一种用于确定目标投影的透视变换矩阵的装置，所述装置包括：
获得模块，具体用于获得待处理图像中的多个参考点组，其中，所述参考点组为与所述待处理图像中目标对象关联的多个预设参考点；
变换模块，具体用于分别用包含未知参数的候选变换矩阵将所述各个参考点组变换至参考平面坐标系；
矩阵模块，具体用于根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵。
在一种可能的设计中，所述获得模块，具体用于在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成所述矩形的至少一组第一类定位点以及构成所述直角关系的至少一组第二类定位点，将所述至少一组第一类定位点以及所述至少一组第二类定位点作为多个参考点组。
在一种可能的设计中，所述获得模块，还用于在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成矩形的多组第一类定位点，并将所述多组第一类定位点作为多个参考点组，或者在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成直角关系的多组第二类定位点，并将所述多组第二类定位点作为多个参考点组。
在一种可能的设计中，所述矩阵模块，具体用于基于所述候选变换矩阵将各所述参考点组中的各个参考点变换至参考平面坐标系，基于所述参考平面坐标系中所述多边形中的直角关系构建方程组，计算出所述候选变换矩阵中的各个未知数，将所述各个未知数带入所述候选变换矩阵中，得到透视变换矩阵。
第五方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的一种确定目标投影的方法步骤以及一种用于确定目标投影的透视变换矩阵的方法步骤。
第六方面，一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种确定目标投影的方法步骤以及一种用于确定目标投影的透视变换矩阵的方法步骤。
上述第一方面至第六方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种确定目标投影的方法步骤的流程图；
图2为本申请提供的一种确定目标投影的透视变换矩阵的方法步骤的流程图；
图3为本申请提供的基于像素点坐标在待处理图像平面建立直角坐标系的示意图；
图4为本申请提供的待处理图像中各个参考点的示意图；
图5为本申请提供的待处理图像变换后的图像示意图；
图6为本申请提供的一种确定目标投影的装置的结构示意图；
图7为本申请提供的一种确定目标投影的透视变换矩阵的装置的结构示意图；
图8为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
在以往的技术中，为了确定出目标对象的目标投影，当目标对象为车辆时，采用的方式为基于视频图像数据中的灭点确定出车辆的地面投影区域，需要调节图像采集设备的俯仰角、偏航角、翻滚角、焦距以及图像采集设备的高度等信息，以及需要借助参照物的参考尺度，当参考尺度出现偏差时，将直接影响高度信息，从而造导致确定出目标对象的目标投影的便捷性低。
为了解决上述的问题，本申请实施例提供了一种确定目标投影的方法，用于在不提供任何参照物的准确尺度的情况下获得目标对象在参考平面上的目标投影，提高了获得目标面投影的便捷度。其中，本申请实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。
下面结合附图，对本申请实施例进行详细描述。
实施例一：
参照图1，本申请提供了一种确定目标投影的方法，该方法可以提升确定出目标投影的便捷度，该方法的实现流程如下：
步骤S1：确定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将所述第一地面接触点变换至参考平面坐标系中，得到所述第一地面接触点对应的第二地面接触点。
本申请实施例是为了在不提供任何参照物的准确尺度的情况下获得目标对象在参考平面中的目标投影，该目标对象可以为车辆，该参考平面可以为地平面，也可以为其他平面，本申请实施例将以车辆在地平面上的投影为例进行说明，首先，需要确定出待处理图像中的第一地面接触点，确定出第一地面接触点的具体过程如下：
在物理空间的参考平面坐标系中确定出满足预设关系的车轮地面接触点，该预设关系为矩形关系，由于待处理图像中采集的是物理空间中的物体，因此，物理空间中的参考平面坐标系与待处理图像像素坐标系存在映射关系，从而能够在待处理图像中确定出车轮地面接触点对应的多个坐标点，并将获得的多个坐标点作为第一地面接触点。
确定出第一地面接触点之后，为了能够获得第一地面接触点在参考平面坐标系中对应的坐标，需要通过透视变换矩阵将第一地面接触点变换至参考平面坐标系中，并将变换至参考平面坐标系中的第一地面接触点作为第二地面接触点，该透视变换矩阵是基于待处理图像中的多个参考点组确定，而参考点组又包含在物理空间的参考平面上构成参考多边形的多个参考点，该参考多边形可以为矩形、三角形等，这里不作过多说明。
步骤S2：通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，将所述第二地面接触点以及所述第三地面接触点逆透视变换至所述待处理图像。
上述将第一地面接触点变换至参考平面中的第二地面接触点之后，由于目标对象的所有地面接触点为参考多边形的顶点，因此，能够确定出参考多边形缺失的顶点，并将该顶点作为第三地面接触点。
确定出参考平面坐标系中的第三地面接触点之后，车辆车轮的所有地面接触点都已经确定，再将第二地面接触点以及第三地面接触点逆透视变换至待处理图像中。
进一步，若目标对象为车辆，参考平面为地平面，待处理图像中一个车辆对应的地面接触点为3个，通过透视变换矩阵将各个地面接触点变换至地平面上，从而通过四个车轮地面接触点构成矩形的特点生成或者标注出待处理图像中未检测出的剩余的车辆车轮的地面接触点，并将未检测出的地面接触点作为第三地面接触点，该地面接触点能够通过关键点检测算法得到，也可以在待处理图像标注阶段由人工标注得到。
步骤S3：连接所述逆透视变换之后的所述第二地面接触点以及所述第三地面接触点，确定出所述待处理图像中所述目标对象的目标投影。
将第二地面接触点以及第三地面接触点逆变换至待处理图像中时，通过连接待处理图像中的第二地面接触点以及第三地面接触点，能够确定出待处理图像中目标对象的目标投影，该目标投影可以为本申请实施例图5中的目标第一图形或者目标第二图形，当目标对象为车辆时，目标投影还能通过俯视视角下车辆的轮廓通过绘制带偏角的旋转矩形进行确定。
通过上述的方法，将待处理图像转化为鸟瞰视角下的图像，使得车辆的投影区域在变换之后的图像中更加清晰，并且，避免了调整图像采集设备的参数以及借助其他参照物，提高了获得车辆地面投影的便捷性。
实施例二：
参照图2，本申请提供了一种确定目标投影的透视变换矩阵的方法，该方法可以确定出透视变换矩阵，该方法的实现流程如下：
步骤S21：获得待处理图像中的多个参考点组。
为了能够确定出透视变换矩阵，需要先获取待处理图像，待处理图像可以从图像采集设备中获取，也可以从其他交通联网平台获取，这里不作过多说明。
获得待处理图像之后，为了能够确定出透视变换矩阵，需要确定出多个参考点组，该参考点组为与待处理图像中的目标对象关联的多个预设参考点，该预设参考点可以为矩形和直角三角形的顶点，确定出参考点组的具体过程如下：
方式一：在待处理图像中确定出在所述物理空间坐标系中参考平面上构成矩形的至少一组第一类定位点以及构成直角关系的至少一组第二类定位点，该第一类定位点构成的矩形的边与第二类定位点构成的直角的边在物理空间中不平行，将至少一组第一类定位点以及至少一组第二类定位点作为多个参考组。
方式二：在待处理图像中确定出物理空间坐标系中参考平面上构成矩形的多组第一类定位点，并将第一类定位点作为多个参考点组，由于多组第一类定位点能够在物理空间坐标系中确定出多个矩形，因此，基于多组第一类定位点确定出的各个矩形的边不平行。
方式三：在待处理图像中确定出物理空间坐标系中参考平面上构成直角关系的多组第二类定位点，并将第二类定位点作为多个参考点组，基于多组第二类定位点确定出的直角三角形的边不平行。
上述描述的三种方式都能够确定出多个参考点组，确定出多个参考点组的方式能够基于实际情况进行选择，这里不作过多说明。
确定出待处理图像中的多个参考点组之后，由于待处理图像像素点坐标系与物理空间坐标系之间存在映射关系，因此，需要基于待处理图像建立直角坐标系，基于待处理图像建立直角坐标系的示意图如图3所示，在图3中，以待处理图像的左边缘与下边缘的交点为原点，以待处理图像的下边缘所在直线为横轴，以待处理图像的左边缘所在直线为纵轴建立直角坐标系，该直角坐标系的原点也可以在其他位置，本申请实施例将以图3为例进行说明。
确定出直角坐标系之后，能够确定出待处理图像中多个参考点组中的各个参考点，待处理图像中各个参考点的示意图如图4所示，在图4中，将一个参考点组在物理空间中地平面构成的矩形作为第一图形，将一个参考点组在物理空间中地平面上构成的直角三角形作为第二图形，在待处理图像中由于物理空间中地平面上物体的远近关系，所以第一图形以及第二图形在待处理图像中为不规则几何图案，A、B、C、D、E、F、G为参考点，各个参考点的坐标由直角坐标系的横坐标以及纵坐标获得，在上述图4中还记录了在待处理图像中显示的车辆车轮的地面接触点，在实际应用中，第一图形可以基于待处理图像中的交通道路上的斑马线、方形井盖等获得，斑马线为上述图4中的阴影区域，第二图形可以是构成直角的任何地面元素获得，第二图形具体可以基于待处理图像中车辆地面接触点获得、或地面交通标识的一角等获得，第一图形以及第二图形的获取参考上述举例，这里不做过多说明。
需要说明的是，第一图形以及第二图形基于待处理图像中的关键点检测算法以及直线检测算法获得，或者通过图像分割自动获得，或者通过在待处理图像中选取获得，这里不作具体限定。
通过上述的方法，基于像素点坐标在待处理图像平面建立直角坐标系，并在待处理图像中确定出第一图形以及第二图形分别对应的参考点，有利于基于各个参考点确定出目标图像。
步骤S22：分别用包含未知参数的候选变换矩阵将所述各个参考点组变换至参考平面坐标系。
确定出待处理图像中的各个参考点之后，为了能够确定出透视变换矩阵，需要获得待处理图像平面各像素坐标系与地平面坐标系的映射关系，具体获得过程如下：
由于待处理图像代表图片平面，将待处理图像平面的各像素坐标转换至地平面坐标上时能够确定出车辆的地面投影，因此，图片平面的坐标与地平面的坐标存在映射关系，该映射关系用如下公式(1)表示：
Figure BDA0003904265880000121
上述公式(1)中，(x'，y')为待处理图像转换之后的图像中的坐标，(x，y)为待处理图像中的坐标，H为带有未知数的候选变换矩阵，也可以为单应变换矩阵。
基于上述公式(1)，能够得到1＝h31x+h32y+h33，由1＝h31x+h32y+h33可以得到公式(2)与公式(3)，公式(2)与公式(3)如下所示：
Figure BDA0003904265880000122
Figure BDA0003904265880000123
将公式(2)与公式(3)分子分母同乘标量S＝1/h33，得到h'33＝1，能够得到求解8个未知数的公式，具体公式(4)如下：
Figure BDA0003904265880000124
获得上述公式之后，再获取待处理图像中的各个参考点的坐标，第一图形的各个参考点为A(x1,y1)，B(x2,y2)，C(x4,y4)，D(x3,y3)，第二图形的各个参考点为E(x5,y5)，F(x6,y6)，G(x7,y7)，F点为直角点，待处理图像变换后的图像示意图如图4所示，在图4中，待处理图像中的A(x1,y1)变换后为A'(x'1，y'1)，B(x2,y2)变换后为B'(x'2，y'2)，C(x4,y4)变换后为C'(x'4，y'4)，D(x3,y3)变换后为D'(x'3，y'3)，E(x5,y5)变换后为E'(x'5，y'5)，F(x6,y6)变换后为F'(x'6，y'6)，G(x7,y7)变换后为G'(x'7，y'7)。
将各个参考点变换至参考平面坐标系之后，可以得到待处理图像变换后的图像示意图如图5所示，在图5中，目标第一图形为变换至参考平面坐标系中的第一图形，目标第二图形为变换至参考平面坐标系中的第二图形。
步骤S23：根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵。
上述描述了基于带有未知数的候选矩阵将各个参考点变换至参考平面坐标系的过程，为了确定出透视变换矩阵，还需要设计方程组：令A(x1,y1)变换到A'(x'1，y'1)，B(x2,y2)变换到B'(x'2，y'2)，列出如下方程：
Figure BDA0003904265880000131
Figure BDA0003904265880000132
Figure BDA0003904265880000133
Figure BDA0003904265880000134
由于第一图形为矩形，因此，直线A'C'垂直于直线A'B'，得到方程(5)，方程(5)如下所示：
Figure BDA0003904265880000135
基于第一图形为矩形还可以得到线段A'C'等于线段B'D'，分别得到横坐标与纵坐标的方程，方程分别如下所示：
x'4-x'3＝x1'-x'2方程(6)
y'4-y'3＝y1'-y'2方程(7)
基于上述方程(1)到方程(7)与h33＝1联立求解，能够计算出单应矩阵H，并将单应矩阵作为目标矩阵，另外，为了简化求解的过程，可以使得y1'＝y'2以及x1'＝x'2，在y1'＝y'2的情况下，当x'3＝x'2以及x'4＝x1'即可确保垂直关系，从而能够达到简化计算的目的。
通过上述的方法，通过计算得到待处理图像带有未知数的候选变换矩阵对应的透视变换矩阵，确保了基于透视变换矩阵以及车辆的地面接触点能够确定车辆的地面投影，鸟瞰视角下车辆的地面投影的示意图如图5所示，在图5中，避免了需要实时的获取准确参考尺度信息，提高了获得车辆地面投影的便捷性。
基于上述的描述，在待处理图像中标注出多个参考点组，并通过将待处理图像平面各像素点坐标映射至参考平面坐标的方式，获得鸟瞰视角下车辆的地面投影，从而能够确定出目标对象的目标投影，避免了调整图像采集设备的参数以及借助其他参照物进行定位，提高了确定目标投影的便捷性。
实施例三：
基于同一发明构思，本申请实施例中还提供了一种确定目标投影的装置，该确定目标投影装置用于实现了一种确定目标投影方法的功能，参照图6，所述装置包括：
确定模块601，具体用于确定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将所述第一地面接触点变换至参考平面坐标系中，得到所述第一地面接触点对应的第二地面接触点；
标注模块602，具体用于通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，将所述第二地面接触点以及所述第三地面接触点逆透视变换至所述待处理图像；
连接模块603，具体用于连接所述逆透视变换之后的所述第二地面接触点以及所述第三地面接触点，确定出所述待处理图像中所述目标对象的目标投影。
在一种可能的设计中，所述确定模块601，具体用于在所述物理空间的参考平面坐标系中确定出满足矩形关系的车轮地面接触点，基于所述参考平面坐标系与所述待处理图像像素坐标系的映射关系，确定出所述待处理图像中与所述车轮地面接触点对应的多个坐标点，并所述各个坐标系作为第一地面接触点。
在一种可能的设计中，所述标注模块602，具体用于当所述参考多边形为矩形时，基于所述第二地面接触点确定出所述参考多边形中的未标注的顶点，将所述未标注的顶点作为缺失的第三地面接触点。
实施例四：
基于同一发明构思，本申请实施例中还提供了一种用于确定目标投影的透视变换矩阵的装置，该用于确定目标投影的透视变换矩阵的装置用于实现了一种用于确定目标投影的透视变换矩阵的方法的功能，参照图7，所述装置包括：
获得模块701，具体用于获得待处理图像中的多个参考点组，其中，所述参考点组为与所述待处理图像中目标对象关联的多个预设参考点；
变换模块702，具体用于分别用包含未知参数的候选变换矩阵将所述各个参考点组变换至参考平面坐标系；
矩阵模块703，具体用于根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵。
在一种可能的设计中，所述获得模块701，具体用于在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成所述矩形的至少一组第一类定位点以及构成所述直角关系的至少一组第二类定位点，将所述至少一组第一类定位点以及所述至少一组第二类定位点作为多个参考点组。
在一种可能的设计中，所述获得模块701，还用于在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成矩形的多组第一类定位点，并将所述多组第一类定位点作为多个参考点组，或者在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成直角关系的多组第二类定位点，并将所述多组第二类定位点作为多个参考点组。
在一种可能的设计中，所述矩阵模块703，具体用于基于所述候选变换矩阵将各所述参考点组中的各个参考点变换至参考平面坐标系，基于所述参考平面坐标系中所述多边形中的直角关系构建方程组，计算出所述候选变换矩阵中的各个未知数，将所述各个未知数带入所述候选变换矩阵中，得到透视变换矩阵。
实施例五：
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述一种确定目标投影的装置以及一种用于确定目标投影的透视变换矩阵的装置的功能，参考图8，所述电子设备包括：
至少一个处理器801，以及与至少一个处理器801连接的存储器802，本申请实施例中不限定处理器801与存储器802之间的具体连接介质，图8中是以处理器801和存储器802之间通过总线800连接为例。总线800在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线800可以分为地址总线、数据总线、控制总线等，为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器801也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器802存储有可被至少一个处理器801执行的指令，至少一个处理器801通过执行存储器802存储的指令，可以执行前文论述的一种确定目标投影的方法以及一种用于确定目标投影的透视变换矩阵的方法。处理器801可以实现图6与图7所示的装置中各个模块的功能。
其中，处理器801是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器802内的指令以及调用存储在存储器802内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器801可包括一个或多个处理单元，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。在一些实施例中，处理器801和存储器802可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种确定目标投影的方法以及一种用于确定目标投影的透视变换矩阵的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器802可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器802是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器801进行设计编程，可以将前述实施例中介绍的一种确定目标投影的方法以及一种用于确定目标投影的透视变换矩阵的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的一种确定目标投影以及一种用于确定目标投影的透视变换矩阵的步骤。如何对处理器801进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的一种确定目标投影的方法以及一种用于确定目标投影的透视变换矩阵的方法。
在一些可能的实施方式中，本申请提供一种确定目标投影的方法以及一种用于确定目标投影的透视变换矩阵的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种确定目标投影的方法以及一种用于确定目标投影的透视变换矩阵的方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种确定目标投影的方法，其特征在于，包括：
确定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将所述第一地面接触点变换至参考平面坐标系中，得到所述第一地面接触点对应的第二地面接触点；所述透视变换矩阵是基于所述待处理图像中的多个参考点组确定，所述参考点组包含的多个参考点在物理空间的参考平面坐标系上构成参考多边形；
通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，将所述第二地面接触点以及所述第三地面接触点逆透视变换至所述待处理图像；
连接所述逆透视变换之后的所述第二地面接触点以及所述第三地面接触点，确定出所述待处理图像中所述目标对象的目标投影。
2.如权利要求1所述的方法，其特征在于，确定出待处理图像中目标对象的第一地面接触点，包括：
在所述物理空间的参考平面坐标系中确定出满足矩形关系的车轮地面接触点；
基于所述参考平面坐标系与所述待处理图像像素坐标系的映射关系，确定出所述待处理图像中与所述车轮地面接触点对应的多个坐标点，并所述各个坐标系作为第一地面接触点。
3.如权利要求1所述的方法，其特征在于，通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，包括：
当所述参考多边形为矩形时，基于所述第二地面接触点确定出所述参考多边形中的未标注的顶点；
将所述未标注的顶点作为缺失的第三地面接触点。
4.一种用于确定目标投影的透视变换矩阵的方法，其特征在于，包括：
获得待处理图像中的多个参考点组，其中，所述参考点组为与所述待处理图像中目标对象关联的多个预设参考点；
分别用包含未知参数的候选变换矩阵将所述各个参考点组变换至参考平面坐标系；
根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵。
5.如权利要求4所述的方法，其特征在于，获得待处理图像中多个参考点组，包括：
在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成所述矩形的至少一组第一类定位点以及构成所述直角关系的至少一组第二类定位点，其中，所述第一类定位点构成的矩形的边与所述第二类定位点构成的直角的边在所述物理空间中不平行；
将所述至少一组第一类定位点以及所述至少一组第二类定位点作为多个参考点组。
6.如权利要求4所述的方法，其特征在于，获得待处理图像中多个参考点组，包括：
在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成矩形的多组第一类定位点，并将所述多组第一类定位点作为多个参考点组，其中，所述多个矩形的边在所述物理空间中不平行；或者
在所述待处理图像中确定出在所述物理空间坐标系中参考平面上构成直角关系的多组第二类定位点，并将所述多组第二类定位点作为多个参考点组，其中，构成所述直角关系的多个直角三角形的边在所述物理空间中不平行。
7.如权利要求4所述的方法，其特征在于，根据各所述参考点组包含的多个参考点构成的多边形，从所述候选变换矩阵中确定出所述透视变换矩阵，包括：
基于所述候选变换矩阵将各所述参考点组中的各个参考点变换至参考平面坐标系；
基于所述参考平面坐标系中所述多边形中的直角关系构建方程组，计算出所述候选变换矩阵中的各个未知数；
将所述各个未知数带入所述候选变换矩阵中，得到透视变换矩阵，其中，所述透视变换矩阵描述了所述待处理图像平面各像素坐标到参考平面坐标的映射关系。
8.一种确定目标投影的装置，其特征在于，包括：
确定模块，具体用于确定出待处理图像中目标对象的第一地面接触点，基于透视变换矩阵将所述第一地面接触点变换至参考平面坐标系中，得到所述第一地面接触点对应的第二地面接触点；
标注模块，具体用于通过所述目标对象的所有地面接触点构成所述参考多边形的特点标注出缺失的第三地面接触点，将所述第二地面接触点以及所述第三地面接触点逆透视变换至所述待处理图像；
连接模块，具体用于连接所述逆透视变换之后的所述第二地面接触点以及所述第三地面接触点，确定出所述待处理图像中所述目标对象的目标投影。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN202211301477.4A 2022-10-24 2022-10-24 一种确定目标投影的方法、装置及电子设备 Pending CN115601336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211301477.4A CN115601336A (zh) 2022-10-24 2022-10-24 一种确定目标投影的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211301477.4A CN115601336A (zh) 2022-10-24 2022-10-24 一种确定目标投影的方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115601336A true CN115601336A (zh) 2023-01-13

Family

ID=84849302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211301477.4A Pending CN115601336A (zh) 2022-10-24 2022-10-24 一种确定目标投影的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115601336A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468782A (zh) * 2023-03-29 2023-07-21 北京诺亦腾科技有限公司 植入器件的虚拟显影方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468782A (zh) * 2023-03-29 2023-07-21 北京诺亦腾科技有限公司 植入器件的虚拟显影方法、装置、设备及存储介质
CN116468782B (zh) * 2023-03-29 2023-11-28 北京诺亦腾科技有限公司 植入器件的虚拟显影方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN113874927A (zh) 停车检测方法、系统、处理设备和存储介质
CN110751620B (zh) 估算体积和重量的方法、电子设备及计算机可读存储介质
Dawson et al. An energy minimization approach to automatic traffic camera calibration
CN115601336A (zh) 一种确定目标投影的方法、装置及电子设备
CN115526990A (zh) 用于数字孪生的目标可视化方法、装置及电子设备
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
Han et al. Auto-calibration method using stop signs for urban autonomous driving applications
CN114066930A (zh) 一种平面目标跟踪方法、装置、终端设备及存储介质
CN117315046A (zh) 一种环视相机标定方法、装置、电子设备及存储介质
Wang et al. Research on lane-marking line based camera calibration
CN116012805B (zh) 目标感知方法、装置、计算机设备、存储介质
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN117152265A (zh) 一种基于区域提取的交通图像标定方法及装置
Peng et al. A real-time fisheye video correction method based on Android smart-phone GPU
CN114897987A (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN114820931A (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN111260723B (zh) 棒材的质心定位方法及终端设备
CN113591720A (zh) 车道偏离检测方法、装置及计算机存储介质
CN115731256A (zh) 一种顶点坐标的检测方法、装置、设备及存储介质
CN113147746A (zh) 坡道车位的探测方法及装置
CN112183378A (zh) 一种基于颜色和深度图像的道路坡度估计方法及装置
US20230068375A1 (en) Method and system for detecting a three-dimensional object in a two-dimensional image
Kim et al. Geo-registration of wide-baseline panoramic image sequences using a digital map reference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination