CN112734768B - 一种影像消失点的搜寻方法、装置及电子设备 - Google Patents
一种影像消失点的搜寻方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112734768B CN112734768B CN202011629445.8A CN202011629445A CN112734768B CN 112734768 B CN112734768 B CN 112734768B CN 202011629445 A CN202011629445 A CN 202011629445A CN 112734768 B CN112734768 B CN 112734768B
- Authority
- CN
- China
- Prior art keywords
- length
- virtual projection
- vanishing point
- image
- iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种影像消失点的搜寻方法、装置及电子设备，该方法包括以下步骤：获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；计算所述虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；计算所述长度集合的长度增量函数；根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。本发明能够提高消失点搜寻的精确性以及搜寻速度。
Description
技术领域
本发明涉及监控设备技术领域，尤其涉及一种影像消失点的搜寻方法、装置及电子设备。
背景技术
随近年来随着人工智能的高度发展，基于人工智能的安全视频监控应用也越来越广泛，比如说商家监控、城市监控，以及边防监控…等等。此类的监控系统的监控有效性与摄像头(或视频撷取单元)的物理状态稳定性有极大关连，通常工程人员在对于摄像头进行初始设定时，会先固定一个摄像头的最佳物理状态，进而达成安全监控的目标。然而，近年来，有心人士对于摄像头的人为恶意物理攻击(如:人为恶意摄影机角度转置或平移、或人为恶意摄影机放大倍率修改…等)，混淆后端人工智能运算判断的物理攻击模式也越来越严重。
在摄像头内增加一个重力传感器来感测摄像头当下的变化，是一种最有效防范物理攻击的方法，但此举将会增加许多摄像头的制造成本，并且，无法应用在各地区既有大量已装设好的摄像头上。另外一种不增加硬件成本的方式，就是以根据当下摄像头图像的变化差异，来判断摄像头是否遭到物理攻击，比如在初始化时先建立一个参考背景，接着，实时计算当下图像与背景像素值的差异，如差异过大，即可得知摄像头已遭到攻击，但此举仅能知道摄像头是否遭到攻击，并无法得知摄像头被攻击后的物理状态(比如被转动了多少度，或倍率被放大了多少…等)。换句话说，如果可以实时得知摄像头当下的物理状态信息，就可以有效使摄像头自动回复初始状态，此举可有效降低管理成本，并提升监控安全的稳定性。要正确得知摄像头的物理状态，一般的做法，是必须要依赖当前图像中的环境信息求得消失点(vanishing point)，得到消失点在图像中的正确坐标后，才有可能进一步计算出当下摄像头的各项物理状态参数。然而，因为不同的图像撷取设备及环境的变异性相当大，这对消失点侦测的精确性及侦测速度带来了非常大的挑战。
发明内容
本发明实施例提供一种影像消失点的搜寻方法，能够解决了现有的现有消失点搜寻方法存在搜寻精确性差以及速度慢的问题。
第一方面，本发明实施例提供一种影像消失点的搜寻方法，所述方法包括：
获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；
计算所述虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；
计算所述长度集合的长度增量函数；
根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。
可选的，所述获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合的步骤包括：
采集同一人物在不同时刻的环境图像，所述环境图像包括所述人物；
对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像；
对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合。
可选的，所述对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合的步骤包括：
计算每个时刻的所述人物轮廓二值化图像的最下像素坐标对应的y值Ymin；
计算每个时刻的所述人物轮廓二值化图像的最上像素坐标对应的y值Ymax；
根据每个时刻的所述y值Ymin以及所述y值Ymax确定人物中心轴，并基于所述人物中心轴得到人物中心轴向量；
根据每个时刻的所述人物中心轴向量、预设的坐标转换矩阵以及预设的投影矩阵对所述人物轮廓二值化图像进行虚拟投影，得到每个时刻的虚拟投影，进而得到虚拟投影集合。
可选的，所述计算所述长度集合的长度增量函数的步骤包括：
获取所述长度集合的长度变化以及长度标准偏差，所述长度变化与所述长度标准偏差存在对应关系；
根据所述长度变化以及所述长度标准偏差，确定所述长度集合的长度增量函数。
可选的，所述根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置的步骤包括：
在所述预设的迭代区间内选取任意两个数值作为初始的第一消失点值以及第二消失点值；
计算所述第一消失点值与所述第二消失点值之间的中间点值，所述第一消失点值、所述第二消失点值、中间点值均为迭代点；
根据所述长度增量函数确定各个迭代点的增量，根据各个迭代点的增量关系确定影像消失点的位置范围；
以中间点值作为下一阶段的迭代点，并根据所述长度增量函数以相同的迭代方式确定下一阶段的迭代计算，以得到影像消失点的最佳位置。
可选的，所述预设的迭代区间为[-25，120]。
第二方面，本发明实施例还提供了一种影像消失点的搜寻装置，所述装置包括：
获取模块，用于获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；
第一计算模块，用于计算所述虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；
第二计算模块，用于计算所述长度集合的长度增量函数；
第三计算模块，用于根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。
可选的，所述获取模块包括：
采集单元，用于采集同一人物在不同时刻的环境图像，所述环境图像包括所述人物；
处理单元，用于对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像；
投影单元，用于对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中提供的影像消失点的搜寻方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中提供的影像消失点的搜寻方法中的步骤。
在本发明实施例中，通过获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；计算所述虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；计算所述长度集合的长度增量函数；根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。本发明先估测一个人物在不同时刻的虚拟投影在坐标转换后的长度增量函数，再以迭代演算之方式来反推影像中消失点所在的最佳位置，提高了消失点搜寻的精确性以及搜寻速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种影像消失点的搜寻方法的流程图；
图2是本发明实施例提供的一种人物轮廓二值化图像的示意图；
图3是本发明实施例提供的另一种虚拟投影的示意图；
图4是本发明实施例提供的一种真实监控环境的图像；
图5是本发明实施例提供的一种消失点y坐标与虚拟投影长度的关系图；
图6是本发明实施例提供的一种消失点y坐标与长度标准偏差的关系图；
图7是本发明实施例提供的一种迭代区间的示意图；
图8是本发明实施例提供的一种影像消失点的搜寻装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种影像消失点的搜寻方法的流程图，如图1所示，该影像消失点的搜寻方法包括以下步骤：
步骤101、获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合。
其中，上述同一人物在不同时刻的虚拟投影，均是同一摄像设备，如同一摄像头、同一摄像机采集图像后处理得到的。
具体的，步骤101可以为：
采集同一人物在不同时刻的环境图像，环境图像包括人物。
对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像。
对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合。
进一步的，步骤：对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合具体可以为：
计算每个时刻的人物轮廓二值化图像的最下像素坐标对应的y值Ymin。
计算每个时刻的人物轮廓二值化图像的最上像素坐标对应的y值Ymax。
根据每个时刻的y值Ymin以及y值Ymax确定人物中心轴，并基于人物中心轴得到人物中心轴向量。
根据每个时刻的人物中心轴向量、预设的坐标转换矩阵以及预设的投影矩阵对人物轮廓二值化图像进行虚拟投影，得到每个时刻的虚拟投影，进而得到虚拟投影集合。
更具体的，首先，透过一般的图像处理方法(如背景相减法)，可以将监控系统中的人物轮廓撷取出来，并得到如图2所示的二值化人物轮廓，通过计算可以得到Xmax、Xmin、Ymax、Ymin。分别代表该人物轮廓最右的像素坐标对应的x值、最左的像素坐标对应的x值、最上的像素坐标对应的y值、最下的像素坐标对应的y值。
通过图2所示的方法，可以借由将Ymax、Ymin所对应的坐标联线，将人物的中心轴撷取出来。就可以将此中心轴作为虚拟投影的参考轴。虚拟投影的定义如图3所示的(a)，迈步姿势的虚拟投影如图3中的(b),直立姿势的虚拟投影如图3中的(c)。具体的运算过程介绍如下。首先，定义人物中心轴向量为
接着，定义H为坐标转换矩阵、P为预设的投影矩阵，如下(1-3)式：
其中，
为在影像中第n帧(frame number n)时的同一人物的头部坐标。
为在影像中第n帧时的同一人物的脚部坐标。
由上可知，通过H得到人物中心轴向量
的y分量投影,定义为
其运算过程如下：
接着投影向量
可以透过
和P的运算得到,运算过程如下式:
最后,我们可以得到虚拟投影的头部投影坐标
运算过程如下式:
由上式(1-6)可得到同一人物在不同时刻的虚拟投影，以得到对应的虚拟投影集合。
步骤102、计算虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合。
具体的，在步骤101得到不同时刻的虚拟投影集合后，可分别对虚拟投影集合中每个虚拟投影进行坐标转换，进而根据转换后的虚拟投影计算得到每个时刻的虚拟投影在真实世界影像坐标系统的长度，进而得到长度集合。
更具体的，如图4所示。图4是一个真实监控环境的图像。直立的四条线为不同时间点同一人物的中轴线(头脚联线)，地面的四条线为不同时间点同一人物的虚拟投影，端点分别为虚拟投影的脚部投影坐标
以及虚拟投影头部投影坐标:
其中，虚拟投影的脚部投影坐标与原始的脚部坐标为同一个点，即
定义画面最上方的虚拟投影为VS1，以下以此类推分别为VS2、VS3、VS4。在图4中，确定当y＝45为图4中的图像的正确消失点。
其中，这些虚拟投影在真实世界坐标系统(World Coordinate System)中应为等长线。但在图像世界坐标系统(Image Coordinate System)中不等长。
具体的，找出消失点坐标与真实世界坐标系统中等长线的长度变化的关系，以通过真实世界坐标系统中等长线的长度来反推正确得消失点坐标。
首先，将固定消失点的x坐标，更改该点的y坐标，并将四组虚拟投影的线段端点
代入影像世界图像坐标转换式(7)，(8)中，以得到四组虚拟投影在真实世界坐标系统中的长度，借此观察四组虚拟投影长度的变化。须注意的是，式(7)，(8)中所有常数皆是摄像头的物理参数(架设角度、高度、焦距)，其中，参数f与消失点的y坐标具有相关性，故消失点的坐标的正确性，对于此转换式的正确性具有极大正相关。
其中，xw代表真实世界坐标系统的x坐标，yw代表真实世界坐标系统的y坐标，xi代表图像世界坐标系统的x坐标，yi代表图像世界坐标系统的y坐标，pan代表摄像头的左右偏移角，tilt代表摄像头的上下偏移角，h代表摄像头的架设高度，f代表摄像头的焦距。
进而通过式(7)，(8)进行坐标转换，得到每个虚拟投影转换后的各个端点坐标计算得到每个虚拟投影在真实世界坐标系统的长度。
步骤103、计算长度集合的长度增量函数。
具体的，步骤103具体为：
获取长度集合的长度变化以及长度标准偏差，长度变化与长度标准偏差存在对应关系。
根据长度变化以及长度标准偏差，确定长度集合的长度增量函数。
更具体的，如图5所示，图5为本实施例代入不同的消失点y坐标，在步骤102中所说的四组虚拟投影经影像世界图像坐标转换后的变化，通过观察到四组虚拟投影的长度在真实世界坐标系统，通过代入消失点不同的x坐标不会有改变。但通过代入不同的消失点y坐标，却会有非常显着的改变。进而可以通过代入不同的消失点y坐标得到虚拟投影经影像世界图像坐标转换后的长度变化以及长度标准偏差(STD)。除此之外，以图4中的正确消失点坐标y＝45为例，得到两个重要性质:
(1)如果消失点y坐标越远离y＝45(正确的消失点y坐标)，则虚拟投影的长度差异将变大。否则，虚拟投影的长度差异将变小。
(2)如果消失点y坐标小于45，则四个虚拟投影线段长度以VS4最大、VS1最小。如果消失点y坐标大于于45，则四个虚拟投影线段长度以VS1最大、VS4最小，可明显观察到图5中四条曲线经交叉后长度顺序颠倒了。
由以上两个性质可得知，越接近正确的消失点位置，则虚拟投影的长度标准偏差(STD)应会越小，基于此性质可以做出了一个消失点与虚拟投影长度的关系图，如图6所示，横轴为消失点的y坐标位置、纵轴为消失点长度的标准偏差，也即长度标准偏差，可以看到y坐标由-1000慢慢往右平移时，长度标准偏差也随之递减，当移至正确的消失点y坐标45的位置时，长度标准偏差会有最小值。除此之外，可以发现随着y坐标大于45后，长度标准偏差会急速上升。由此可知，长度标准偏差的最小值将会对应正确消失点的y坐标位置。
更具体的，在得到长度集合的长度变化以及长度标准偏差后，根据长度变化以及长度标准偏差之间的对应关系，可以确定对应的长度增量函数。
步骤104、根据长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。
具体的，步骤104可以为：
在预设的迭代区间内选取任意两个数值作为初始的第一消失点值以及第二消失点值。
计算第一消失点值与第二消失点值之间的中间点值，第一消失点值、第二消失点值、中间点值均为迭代点。
根据长度增量函数确定各个迭代点的增量，根据各个迭代点的增量关系确定影像消失点的位置范围。
以中间点值作为下一阶段的迭代点，并根据长度增量函数以相同的迭代方式确定下一阶段的迭代计算，以得到影像消失点的最佳位置。
其中，如图7所示，预设的迭代区间为(但不限于)[-25，120]。即消失点y坐标最有可能出现在此区间当中。
在本发明实施例中，提供的迭代算法如式(9)-(12)所示。其中xn为欲迭代的消失点y坐标，
为世界坐标系中虚拟投影的长度集合,f(xn)为一个对应xn的虚拟投影的长度增量函数。
具体的，首先，定义索引号，第1索引号对应图4的VS1，…，第4索引号对应图4的VS4，然后找到对应线段最长的长度的索引号M和线段最短长度的索引号m。最后，通过计算出f(xn)的数值，可以得虚拟投影长度的增量。比如，图4在y＝0时最短虚拟投影长度的索引号m＝1，对应线段最长虚拟投影的长度的索引号M＝4，可计算出f(xn)的数值为4-1＝3，因为大于0，可判断此点对应为一个递增序列。
f(xn)＝M-m (13)
其中，W代表给定图像的宽度，tilt代表摄像头的上下偏移角，n代表迭代次数，vp＝W/2，vp代表初始迭代的消失点的y坐标位置，xn代表第n次迭代的消失点的y坐标位置，xi代表第i次迭代的消失点的y坐标位置，
代表一个对应xn的虚拟投影长度集合，
代表第N号虚拟投影长度，M代表
中长度最大的虚拟投影索引号，m代表
中长度最小的虚拟投影索引号，f(xn)代表对应xn的虚拟投影长度增量函数,f(xi)代表对应xi的虚拟投影长度增量函数。
更具体的，本发明实施例提供的迭代过程为：
1)设置迭代区间，迭代区间为[-25，120]。
2)在迭代区间内任意选定两个数值作为初始的消失点值x1(第一消失点值)和x2(第二消失点值)，通过计算x1和x2的中间点值得到x3；
3)通过虚拟投影长度增量函数f(xn)来确定位于x1、x2和x2的增量，进而根据各个迭代点的增量关系，得到图像中消失点落在x2和x3之间；
4)通过计算x2和x3的中间点值得到x4；
5)通过虚拟投影长度增量函数f(xn)来确定位于x4的增量，根据各个迭代点的增量关系图像中消失点落在x3和x4之间；
6)通过以上相同的迭代方式进行多次迭代，得到图像中消失点所在的最佳位置。
需要说明的，在确定消失点的位置时，若两个迭代点的增量函数f(xn)的增量为一正一负，则消失点的y坐标将介于此两迭代点之间，以此类推不断的推测出消失点的可能位置，待迭代计算结束后，接口得到消失点的最佳位置。
在本发明实施例中，通过获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；计算虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；计算长度集合的长度增量函数；根据长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。本发明先估测一个人物在不同时刻的虚拟投影在坐标转换后的长度增量函数，再以迭代演算之方式来反推影像中消失点所在的最佳位置，提高了消失点搜寻的精确性以及搜寻速度。
本发明仅运用了一个摄影机即可得到摄影机的消失点进而求得各项物理参数，并且无须额外的校正物体(calibration object)，也不须限制视频中人物的行走路径。另外，在确定了影像中消失点的准确位置后，即可根据该消失点的准确位置调节摄像头的各项物理参数，如焦距等必要参数。当然，摄像头自动检测到消失点的最佳位置后，也可以自动调节自身的焦距等参数。能够提高摄像头的拍摄精度，进而提高监控系统的稳定性。
参见图8，图8是本发明实施例提供的一种影像消失点的搜寻装置的结构示意图，该影像消失点的搜寻装置200包括：
获取模块201，用于获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；
第一计算模块202，用于计算虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；
第二计算模块203，用于计算长度集合的长度增量函数；
第三计算模块204，用于根据长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。
可选的，获取模块201包括：
采集单元，用于采集同一人物在不同时刻的环境图像，环境图像包括人物；
处理单元，用于对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像；
投影单元，用于对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合。
可选的，投影单元包括：
第一计算子单元，用于计算每个时刻的人物轮廓二值化图像的最下像素坐标对应的y值Ymin；
第二计算子单元，用于计算每个时刻的人物轮廓二值化图像的最上像素坐标对应的y值Ymax；
确定子单元，用于根据每个时刻的y值Ymin以及y值Ymax确定人物中心轴，并基于人物中心轴得到人物中心轴向量；
投影子单元，用于根据每个时刻的人物中心轴向量、预设的坐标转换矩阵以及预设的投影矩阵对人物轮廓二值化图像进行虚拟投影，得到每个时刻的虚拟投影，进而得到虚拟投影集合。
可选的，第二计算模块203包括：
获取单元，用于获取长度集合的长度变化以及长度标准偏差，长度变化与长度标准偏差存在对应关系；
第一确定单元，用于根据长度变化以及长度标准偏差，确定长度集合的长度增量函数。
可选的，第三计算模块203包括：
选取单元，用于在预设的迭代区间内选取任意两个数值作为初始的第一消失点值以及第二消失点值；
计算单元，用于计算第一消失点值与第二消失点值之间的中间点值，第一消失点值、第二消失点值、中间点值均为迭代点；
第二确定单元，用于根据长度增量函数确定各个迭代点的增量，根据各个迭代点的增量关系确定影像消失点的位置范围；
第三确定单元，用于以中间点值作为下一阶段的迭代点，并根据长度增量函数以相同的迭代方式确定下一阶段的迭代计算，以得到影像消失点的最佳位置。
可选的，预设的迭代区间为[-25，120]。
本发明实施例提供的影像消失点的搜寻装置能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
参见图9，图9是本发明实施例提供的一种电子设备的结构示意图，该电子设备300包括：存储器302、处理器301及存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现上述实施例提供的影像消失点的搜寻方法中的步骤，处理器301执行以下步骤：
获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；
计算虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；
计算长度集合的长度增量函数；
根据长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置。
可选的，处理器301执行的获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合的步骤包括：
采集同一人物在不同时刻的环境图像，环境图像包括人物；
对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像；
对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合。
可选的，处理器301执行的对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合的步骤包括：
计算每个时刻的人物轮廓二值化图像的最下像素坐标对应的y值Ymin；
计算每个时刻的人物轮廓二值化图像的最上像素坐标对应的y值Ymax；
根据每个时刻的y值Ymin以及y值Ymax确定人物中心轴，并基于人物中心轴得到人物中心轴向量；
根据每个时刻的人物中心轴向量、预设的坐标转换矩阵以及预设的投影矩阵对人物轮廓二值化图像进行虚拟投影，得到每个时刻的虚拟投影，进而得到虚拟投影集合。
可选的，处理器301执行的计算长度集合的长度增量函数的步骤包括：
获取长度集合的长度变化以及长度标准偏差，长度变化与长度标准偏差存在对应关系；
根据长度变化以及长度标准偏差，确定长度集合的长度增量函数。
可选的，处理器301执行的根据长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置的步骤包括：
在预设的迭代区间内选取任意两个数值作为初始的第一消失点值以及第二消失点值；
计算第一消失点值与第二消失点值之间的中间点值，第一消失点值、第二消失点值、中间点值均为迭代点；
根据长度增量函数确定各个迭代点的增量，根据各个迭代点的增量关系确定影像消失点的位置范围；
以中间点值作为下一阶段的迭代点，并根据长度增量函数以相同的迭代方式确定下一阶段的迭代计算，以得到影像消失点的最佳位置。
可选的，预设的迭代区间为[-25，120]。
本发明实施例提供的电子设备300能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的影像消失点的搜寻方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (6)
1.一种影像消失点的搜寻方法，其特征在于，所述方法包括以下步骤：
获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；
计算所述虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；
计算所述长度集合的长度增量函数；
根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置；所述根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置的步骤包括：
在所述预设的迭代区间内选取任意两个数值作为初始的第一消失点值以及第二消失点值；
计算所述第一消失点值与所述第二消失点值之间的中间点值，所述第一消失点值、所述第二消失点值、中间点值均为迭代点；
根据所述长度增量函数确定各个迭代点的增量，根据各个迭代点的增量关系确定影像消失点的位置范围；
以中间点值作为下一阶段的迭代点，并根据所述长度增量函数以相同的迭代方式确定下一阶段的迭代计算，以得到影像消失点的最佳位置；
提供的迭代算法如式(9)-(12)所示；其中xn为欲迭代的消失点y坐标，
为世界坐标系中虚拟投影的长度集合,f(xn)为一个对应xn的虚拟投影的长度增量函数；
具体的，首先，定义索引号，第1索引号对应VS1，…，第4索引号对应VS4，然后找到对应线段最长的长度的索引号M和线段最短长度的索引号m；最后，通过计算出f(xn)的数值，可以得虚拟投影长度的增量；在y＝0时最短虚拟投影长度的索引号m＝1，对应线段最长虚拟投影的长度的索引号M＝4，可计算出f(xn)的数值为4-1＝3，因为大于0，可判断此点对应为一个递增序列；
f(xn)＝M-m (13)
其中，W代表给定图像的宽度，tilt代表摄像头的上下偏移角，n代表迭代次数，vp＝W/2，vp代表初始迭代的消失点的y坐标位置，xn代表第n次迭代的消失点的y坐标位置，xi代表第i次迭代的消失点的y坐标位置，
代表一个对应xn的虚拟投影长度集合，
代表第N号虚拟投影长度，M代表
中长度最大的虚拟投影索引号，m代表
中长度最小的虚拟投影索引号，f(xn)代表对应xn的虚拟投影长度增量函数,f(xi)代表对应xi的虚拟投影长度增量函数；所述获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合的步骤包括：
采集同一人物在不同时刻的环境图像，所述环境图像包括所述人物；
对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像；
对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合；所述对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合的步骤包括：
计算每个时刻的所述人物轮廓二值化图像的最下像素坐标对应的y值Ymin；
计算每个时刻的所述人物轮廓二值化图像的最上像素坐标对应的y值Ymax；
根据每个时刻的所述y值Ymin以及所述y值Ymax确定人物中心轴，并基于所述人物中心轴得到人物中心轴向量；
根据每个时刻的所述人物中心轴向量、预设的坐标转换矩阵以及预设的投影矩阵对所述人物轮廓二值化图像进行虚拟投影，得到每个时刻的虚拟投影，进而得到虚拟投影集合。
2.如权利要求1所述的影像消失点的搜寻方法，其特征在于，所述计算所述长度集合的长度增量函数的步骤包括：
获取所述长度集合的长度变化以及长度标准偏差，所述长度变化与所述长度标准偏差存在对应关系；
根据所述长度变化以及所述长度标准偏差，确定所述长度集合的长度增量函数。
3.如权利要求1所述的影像消失点的搜寻方法，其特征在于，所述预设的迭代区间为[-25，120]。
4.一种影像消失点的搜寻装置，其特征在于，所述装置包括：
获取模块，用于获取同一人物在不同时刻的虚拟投影，以得到虚拟投影集合；
第一计算模块，用于计算所述虚拟投影集合中每个虚拟投影在真实世界影像坐标系统的长度，以得到对应的长度集合；
第二计算模块，用于计算所述长度集合的长度增量函数；
第三计算模块，用于根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置；
所述根据所述长度增量函数在预设的迭代区间内进行迭代计算，进而得到影像消失点的最佳位置的步骤包括：
在所述预设的迭代区间内选取任意两个数值作为初始的第一消失点值以及第二消失点值；
计算所述第一消失点值与所述第二消失点值之间的中间点值，所述第一消失点值、所述第二消失点值、中间点值均为迭代点；
根据所述长度增量函数确定各个迭代点的增量，根据各个迭代点的增量关系确定影像消失点的位置范围；
以中间点值作为下一阶段的迭代点，并根据所述长度增量函数以相同的迭代方式确定下一阶段的迭代计算，以得到影像消失点的最佳位置；
提供的迭代算法如式(9)-(12)所示；其中xn为欲迭代的消失点y坐标，
为世界坐标系中虚拟投影的长度集合,f(xn)为一个对应xn的虚拟投影的长度增量函数；
具体的，首先，定义索引号，第1索引号对应VS1，…，第4索引号对应VS4，然后找到对应线段最长的长度的索引号M和线段最短长度的索引号m；最后，通过计算出f(xn)的数值，可以得虚拟投影长度的增量；在y＝0时最短虚拟投影长度的索引号m＝1，对应线段最长虚拟投影的长度的索引号M＝4，可计算出f(xn)的数值为4-1＝3，因为大于0，可判断此点对应为一个递增序列；
f(xn)＝M-m (13)
其中，W代表给定图像的宽度，tilt代表摄像头的上下偏移角，n代表迭代次数，vp＝W/2，vp代表初始迭代的消失点的y坐标位置，xn代表第n次迭代的消失点的y坐标位置，xi代表第i次迭代的消失点的y坐标位置，
代表一个对应xn的虚拟投影长度集合，
代表第N号虚拟投影长度，M代表
中长度最大的虚拟投影索引号，m代表
中长度最小的虚拟投影索引号，f(xn)代表对应xn的虚拟投影长度增量函数,f(xi)代表对应xi的虚拟投影长度增量函数；
所述获取模块包括：
采集单元，用于采集同一人物在不同时刻的环境图像，所述环境图像包括所述人物；
处理单元，用于对每个时刻的环境图像进行图像处理，以提取到每个时刻的人物轮廓二值化图像；
投影单元，用于对每个时刻的人物轮廓二值化图像进行虚拟投影处理，得到每个时刻的虚拟投影，以得到对应的虚拟投影集合；
其中，
所述投影单元计算每个时刻的所述人物轮廓二值化图像的最下像素坐标对应的y值Ymin；
所述投影单元再计算每个时刻的所述人物轮廓二值化图像的最上像素坐标对应的y值Ymax；
所述投影单元再根据每个时刻的所述y值Ymin以及所述y值Ymax确定人物中心轴，并基于所述人物中心轴得到人物中心轴向量；
所述投影单元再根据每个时刻的所述人物中心轴向量、预设的坐标转换矩阵以及预设的投影矩阵对所述人物轮廓二值化图像进行虚拟投影，得到每个时刻的虚拟投影，进而得到虚拟投影集合。
5.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的影像消失点的搜寻方法中的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的影像消失点的搜寻方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011629445.8A CN112734768B (zh) | 2020-12-31 | 2020-12-31 | 一种影像消失点的搜寻方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011629445.8A CN112734768B (zh) | 2020-12-31 | 2020-12-31 | 一种影像消失点的搜寻方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734768A CN112734768A (zh) | 2021-04-30 |
| CN112734768B true CN112734768B (zh) | 2021-12-03 |
Family
ID=75608219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011629445.8A Active CN112734768B (zh) | 2020-12-31 | 2020-12-31 | 一种影像消失点的搜寻方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734768B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103890541A (zh) * | 2011-10-24 | 2014-06-25 | 富士胶片株式会社 | 圆柱状物体的直径测定装置及测定方法、测定程序 |
| CN104834887A (zh) * | 2014-02-11 | 2015-08-12 | 株式会社理光 | 运动行人表示方法、识别方法及其装置 |
| CN111462294A (zh) * | 2020-03-27 | 2020-07-28 | 咪咕视讯科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009046114B4 (de) * | 2009-10-28 | 2011-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion |
| US8913836B1 (en) * | 2013-12-20 | 2014-12-16 | I.R.I.S. | Method and system for correcting projective distortions using eigenpoints |
| CN107492123B (zh) * | 2017-07-07 | 2020-01-14 | 长安大学 | 一种利用路面信息的道路监控摄像机自标定方法 |
| CN109544696B (zh) * | 2018-12-04 | 2022-12-20 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法 |
| CN111968038B (zh) * | 2020-10-23 | 2021-01-12 | 网御安全技术（深圳）有限公司 | 一种图像中消失点快速搜寻方法及其系统 |
-
2020
- 2020-12-31 CN CN202011629445.8A patent/CN112734768B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103890541A (zh) * | 2011-10-24 | 2014-06-25 | 富士胶片株式会社 | 圆柱状物体的直径测定装置及测定方法、测定程序 |
| CN104834887A (zh) * | 2014-02-11 | 2015-08-12 | 株式会社理光 | 运动行人表示方法、识别方法及其装置 |
| CN111462294A (zh) * | 2020-03-27 | 2020-07-28 | 咪咕视讯科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734768A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108955718B (zh) | 一种视觉里程计及其定位方法、机器人以及存储介质 | |
| CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| US20210342990A1 (en) | Image coordinate system transformation method and apparatus, device, and storage medium | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN105934757B (zh) | 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置 | |
| US11922658B2 (en) | Pose tracking method, pose tracking device and electronic device | |
| US11741615B2 (en) | Map segmentation method and device, motion estimation method, and device terminal | |
| CN108229500A (zh) | 一种基于函数拟合的sift误匹配点剔除法 | |
| CN110634137A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN113643365A (zh) | 一种相机位姿估计方法、装置、设备以及可读存储介质 | |
| CN114255285B (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
| CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
| CN112734768B (zh) | 一种影像消失点的搜寻方法、装置及电子设备 | |
| CN109584269A (zh) | 一种目标跟踪方法 | |
| CN111968038B (zh) | 一种图像中消失点快速搜寻方法及其系统 | |
| JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
| CN109816709B (zh) | 基于单目摄像头的深度估计方法、装置及设备 | |
| CN115222789A (zh) | 实例深度估计模型的训练方法、装置及设备 | |
| US20230360262A1 (en) | Object pose recognition method based on triangulation and probability weighted ransac algorithm | |
| CN113920196A (zh) | 视觉定位方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |