CN113436256A - 拍摄装置状态识别方法、装置、计算机设备和存储介质 - Google Patents

拍摄装置状态识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113436256A
CN113436256A CN202110630660.8A CN202110630660A CN113436256A CN 113436256 A CN113436256 A CN 113436256A CN 202110630660 A CN202110630660 A CN 202110630660A CN 113436256 A CN113436256 A CN 113436256A
Authority
CN
China
Prior art keywords
current image
image
point
image block
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110630660.8A
Other languages
English (en)
Inventor
张君培
苏坦
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110630660.8A priority Critical patent/CN113436256A/zh
Publication of CN113436256A publication Critical patent/CN113436256A/zh
Priority to PCT/CN2022/095474 priority patent/WO2022257778A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

本申请涉及一种拍摄装置状态识别方法、装置、计算机设备和存储介质。所述方法包括:对拍摄装置采集的视频流进行抽帧,获得图像序列;从图像序列中确定当前图像,计算当前图像的各特征点;匹配相邻图像中与各特征点对应的对应点,确定各特征点以及对应的对应点的位置关系;相邻图像为图像序列中与当前图像相邻的图像;根据各位置关系,识别拍摄装置在当前图像与相邻图像之间的时间间隔内的状态。采用本申请实施例方法,能够识别拍摄装置在任意时刻的状态为运动状态或静止状态,提高拍摄装置的状态识别的准确性。

Description

拍摄装置状态识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种拍摄装置状态识别方法、装置、计算机设备和存储介质。
背景技术
随着视觉技术的发展,视觉导航技术在机器人、自动导航和自动驾驶等领域得到了广泛的应用,通过其上装载的视觉系统可以实现对整个场景的捕捉。以车辆为例,在车辆的自动导航和自动驾驶领域中,当需要确定下一时间间隔内向车辆发出何种运动指令时,需要识别车辆上一时间间隔内处于静止状态或运动状态。在识别车辆的状态时,可以根据车辆的视觉系统中的拍摄装置拍摄的前后两帧图像中同一物体的相对位移来确定拍摄装置的运动状态,拍摄装置的运动状态其实就能代表车辆的运动状态。
然而,影响拍摄装置拍摄的前后两帧图像中同一物体的相对位移的因素有多种,例如,物体与拍摄装置之间的距离、物体本身的运动状态、拍摄装置的轻微晃动等,都会影响对于拍摄装置的状态识别结果,而且,在车辆内部场景或拍摄视野开阔场景中,可能会存在大量基本静止的特征点,这些静止点容易造成运动状态的误判。因此,有必要提供一种提高拍摄装置的状态识别准确性的方法。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高拍摄装置的状态识别的准确性的拍摄装置状态识别方法、装置、计算机设备和存储介质。
一种拍摄装置状态识别方法,所述方法包括:
对拍摄装置采集的视频流进行抽帧,获得图像序列;
从所述图像序列中确定当前图像,计算所述当前图像的各特征点;
匹配相邻图像中与各所述特征点对应的对应点,确定各所述特征点以及对应的对应点的位置关系;所述相邻图像为所述图像序列中与所述当前图像相邻的图像;
根据各所述位置关系,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
在其中一个实施例中,在所述获得图像序列之后,还包括:
对所述图像序列进行图像平滑处理,获得图像平滑处理后的图像序列。
在其中一个实施例中,在所述获得图像序列之后,还包括:
当所述图像序列为彩色图像时,将所述图像序列进行图像颜色转换处理,得到图像颜色转换处理后的图像序列。
在其中一个实施例中,所述计算所述当前图像的各特征点,包括:
将所述当前图像分割为预设大小的各当前图像块,并确定各所述当前图像块的当前图像块矩阵数值;
计算所述当前图像的各初始特征点;
基于所述当前图像的各初始特征点、以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点;
根据各所述当前图像块中的有效特征点确定所述当前图像的各特征点。
在其中一个实施例中,所述基于所述当前图像的各初始特征点、以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点,包括:
基于所述当前图像的各初始特征点,确定各所述当前图像块中的初始特征点;
根据各所述当前图像块中的初始特征点,以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点。
在其中一个实施例中,所述确定各所述特征点以及对应的对应点的位置关系,包括:
根据各所述特征点以及对应的对应点,确定各所述特征点的起点向量和对应的终点向量;
计算各所述特征点的所述起点向量和对应的所述终点向量之间的夹角;
基于各所述夹角,确定各所述特征点以及对应的对应点的位置关系。
在其中一个实施例中,所述视频流为全景视频流,所述图像序列为全景图像序列,所述根据各所述特征点以及对应的对应点,确定各所述特征点的起点向量和对应的终点向量,包括:
将各所述特征点在所述当前图像中的特征点图像坐标和所述对应点在所述相邻图像中的对应点图像坐标,分别映射到经纬度坐标系,得到各特征点经纬度坐标和对应点经纬度坐标;
分别将各所述特征点经纬度坐标和所述对应点经纬度坐标转化为单位球面坐标,得到各特征点球面坐标和对应点球面坐标;
将各所述特征点的所述特征点球面坐标与所述当前图像的球心构成的向量作为所述起点向量,将所述对应点球面坐标与所述球心构成的向量作为对应的所述终点向量。
在其中一个实施例中,所述根据各所述位置关系,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态,包括:
在各所述夹角中选取满足预设条件的夹角;
将所述满足预设条件的夹角与预设阈值进行比较,根据比较结果识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
在其中一个实施例中,所述根据比较结果识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态,包括:
当所述满足预设条件的夹角小于或等于所述预设阈值时,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为静止状态,否则,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为运动状态。
在其中一个实施例中,在所述识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为运动状态之后,还包括:
根据各所述当前图像块中的初始特征点对应的夹角与所述预设阈值之间的数量关系,更新各所述当前图像块的当前图像块矩阵数值,且使更新后的各所述当前图像块的当前图像块矩阵数值在预设取值范围内。
在其中一个实施例中,所述根据各所述当前图像块中的初始特征点对应的夹角与所述预设阈值之间的数量关系,更新各所述当前图像块的当前图像块矩阵数值,包括:
在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量大于预设数量时,将所述当前图像块的当前图像块矩阵数值与预设调高步长之和作为更新后的所述当前图像块的当前图像块矩阵数值;
在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量小于所述预设数量时,将所述当前图像块的当前图像块矩阵数值与预设调低步长之差作为更新后的所述当前图像块的当前图像块矩阵数值;
在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量等于所述预设数量时,所述当前图像块的当前图像块矩阵数值不变。
一种拍摄装置状态识别装置,所述拍摄装置状态识别装置包括:
图像序列获得模块,用于对拍摄装置采集的视频流进行抽帧,获得图像序列;
特征点计算模块,用于从所述图像序列中确定当前图像,计算所述当前图像的各特征点;
位置关系确定模块,用于匹配相邻图像中与各所述特征点对应的对应点,确定各所述特征点以及对应的对应点的位置关系;所述相邻图像为所述图像序列中与所述当前图像相邻的图像;
状态识别模块,用于根据各所述位置关系,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的拍摄装置状态识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的拍摄装置状态识别方法的步骤。
上述拍摄装置状态识别方法、装置、计算机设备和存储介质,通过对拍摄装置采集的视频流进行抽帧,获得图像序列;从图像序列中确定当前图像,计算当前图像的各特征点;匹配相邻图像中与各特征点对应的对应点,确定各特征点以及对应的对应点的位置关系;相邻图像为图像序列中与当前图像相邻的图像;根据各位置关系,识别拍摄装置在当前图像与相邻图像之间的时间间隔内的状态。采用上述实施例方法,通过在图像序列中确定当前图像,识别当前图像与相邻图像之间的拍摄装置状态,能够识别拍摄装置在任意时刻的状态为运动状态或静止状态;在匹配相邻图像中与当前图像的各特征点对应的对应点之后识别拍摄装置的状态,能够有效避免图像中基本静止的特征点造成的拍摄装置处于静止状态的误判,从而提高拍摄装置的状态识别的准确性。
附图说明
图1为一个实施例中拍摄装置状态识别方法的应用环境图;
图2为一个实施例中拍摄装置状态识别方法的流程示意图;
图3为一个具体实施例中拍摄装置拍摄的全景图像的示意图;
图4为一个具体实施例中拍摄装置状态识别方法的流程图;
图5为一个实施例中拍摄装置状态识别装置的结构框图;
图6为一个实施例中计算机设备的内部结构图;
图7为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在其中一个实施例中,本申请提供的拍摄装置状态识别方法,可以应用于如图1所示的应用环境中,该应用环境同时涉及设备102和终端/服务器104。其中,在设备102上装载了至少一个拍摄装置1021,设备102可以通过网络或其他方式与终端/服务器104进行通信。具体地,终端/服务器104通过获取拍摄装置1021采集的视频流,对拍摄装置1021采集的视频流进行抽帧,获得图像序列;从图像序列中确定当前图像,计算当前图像的各特征点;匹配相邻图像中与各特征点对应的对应点,确定各特征点以及对应的对应点的位置关系;相邻图像为图像序列中与当前图像相邻的图像;根据各位置关系,识别设备102在当前图像与相邻图像之间的时间间隔内的状态。
在其中一个实施例中,本申请提供的拍摄装置状态识别方法,其应用环境可以只涉及设备102,在设备102中可以包括处理器,用于实现运算功能。具体地,处理器通过获取拍摄装置1021采集的视频流并进行抽帧,识别设备102在当前图像与相邻图像之间的时间间隔内的状态。
在其中一个实施例中,本申请提供的拍摄装置状态识别方法,其应用环境可以只涉及终端/服务器104。具体地,终端/服务器104直接获取拍摄装置1021采集的视频流并进行抽帧,识别设备102在当前图像与相邻图像之间的时间间隔内的状态。
其中,设备102可以但不限于是各种装载了拍摄装置的机器人、仓储自动导引车、自动驾驶汽车、无人机等。拍摄装置1021可以但不限于是各种视觉系统、全景拍摄装置、红外拍摄装置和数字式拍摄装置等,终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中,在机器人、自动导航和自动驾驶等涉及即时定位与地图构建(simultaneous localization and mapping,SLAM)技术的相关场景中,本申请实施例方法可以用于通过判断拍摄装置的运动状态,即得到装载有拍摄装置的设备的运动状态,帮助终端/服务器判断下一步需要向设备发出何种运动指令。如图2所示,提供了一种拍摄装置状态识别方法,以该方法应用于图1中的设备102或者终端/服务器104为例进行说明,包括以下步骤:
步骤S202,对拍摄装置采集的视频流进行抽帧,获得图像序列。
其中,视频流是指基于流媒体技术进行传输的视频数据。抽帧是指在视频流中每间隔一定时间抽取视频帧的方式,抽帧时可以抽取若干视频帧,也可以只抽取一帧视频帧。具体地,抽帧可以使用视频处理软件或硬件进行实现。
在其中一个实施例中,视频流可以包括实时视频流和历史视频流。当视频流为历史视频流时,识别的是拍摄装置在历史时间间隔的状态,当视频流为实时视频流时,识别的是拍摄装置在实时时间间隔的状态。
在其中一个实施例中,按照预设时间间隔对视频流进行抽帧,获得图像序列。其中,预设时间间隔可以设置为任意的时间间隔。具体地,可以将预设时间间隔设置为0.33秒(s)。将视频帧图像表示为f,对应的时间戳表示为t,图像序列表示为f1,f2,……,fn,对应的时间戳表示为t1,t2,……,tn
在其中一个实施例中,视频流可以为全景视频流,图像序列可以为全景图像序列。其中,全景图像中包含三维信息,能够描述装载有拍摄装置的设备周围360°的景观,一般由拍摄装置直接获取或者由图像处理软件拼接而成。具体地,全景图像可以包括全景拍摄装置拍摄得到的图像、建模渲染得到的虚拟图像等。
步骤S204,从图像序列中确定当前图像,计算当前图像的各特征点。
在其中一个实施例中,从图像序列中任意选取一张图像作为当前图像。在获得图像序列之后,确定当前图像之前,还包括:对图像序列进行预处理,预处理包括图像平滑处理和图像颜色转换处理中的至少一种。
其中,图像平滑处理是用于抑制噪声,使图像亮度趋于平缓的处理方法。可以使用任意的滤波方式进行图像平滑处理。具体地,可以使用均值滤波方式,为了在对图像质量影响较小的同时滤除噪声,可以将当前图像作3×3均值滤波进行图像平滑处理。
其中,图像颜色转换处理是指将彩色图像转换为灰度图像的处理方法。具体地,在图像序列为彩色图像时,将图像序列进行图像颜色转换处理,转换为单通道灰度图,以便进行图像的特征点的计算。
在其中一个实施例中,在确定当前图像之后,计算当前图像的各特征点。其中,特征点指的是图像灰度值相对于周围的图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。可以使用经典的特征点检测算法中的至少一种计算当前图像的特征点。具体地,可以使用OpenCV软件库、Harris角点检测算法、尺度不变特征变换算法等计算当前图像的特征点,将计算得到的所有的特征点称为当前图像的初始特征点。
在其中一个实施例中,在本申请实施例方法的应用场景中,例如,在车内场景中,拍摄装置拍摄的图像中基本静止的车内画面面积占据了大部分,或者,在视野开阔的场景中,近景特征较少而远景特征较多,此时图像中都会存在大量基本静止的特征点,容易造成拍摄装置处于静止状态的误判。因此,在此类场景中,为了尽可能的实时过滤车内面积、静止远景等无效区域,在确定当前图像的初始特征点之后,需要筛选初始特征点中的有效特征点,并将有效特征点最终确定为当前图像的各特征点。
步骤S206,匹配相邻图像中与各特征点对应的对应点,确定各特征点以及对应的对应点的位置关系;相邻图像为图像序列中与当前图像相邻的图像。
其中,相邻图像为图像序列中与当前图像相邻的图像。具体地,相邻图像为图像序列中当前图像的后一帧图像。例如,当图像序列表示为f1,f2,……,fn,若从图像序列中确定当前图像为f1,则当前图像的相邻图像为图像f2
在其中一个实施例中,在匹配相邻图像中与各特征点对应的对应点时,可以使用经典的目标运动检测算法中的至少一种。具体地,可以采用帧差法、背景减除法、光流法等。其中,光流法是针对图像上的特征点进行图像配准的方法,能够根据当前图像的各特征点,找到其在相邻图像中的对应点。具体地,光流法可以是全局光流场计算方法或者稀疏光流方法。
在其中一个实施例中,可以采用三维坐标描述各特征点和对应点。当图像序列为全景图像序列时,全景图像中包含三维空间信息,此时则需要将各特征点在图像坐标系下的像素坐标进行坐标映射,映射到物理意义上的单位球面上,使用三维的球面坐标来描述。其中,坐标映射是指把一个图像一个位置的像素通过映射关系转到另一图像中指定位置。
在其中一个实施例中,特征点与对应点的位置关系,可以通过计算特征点与对应点之间的偏移量确定。具体地,可以计算特征点与对应点之间的欧氏距离,使用欧式距离表示特征点与对应点之间的偏移量。还可以确定特征点构成的向量以及对应点构成的向量,计算向量之间的夹角,使用夹角表示特征点与对应点之间的偏移量,从而确定各特征点以及对应的对应点的位置关系。
步骤S208,根据各位置关系,识别拍摄装置在当前图像与相邻图像之间的时间间隔内的状态。
在其中一个实施例中,可以将特征点与对应点的位置关系对应的偏移量与预设阈值进行比较,进而根据比较结果识别拍摄装置的状态。具体地,当偏移量小于或等于预设阈值时,识别拍摄装置在当前图像与相邻图像之间的时间间隔内为静止状态,否则,识别拍摄装置在当前图像与相邻图像之间的时间间隔内为运动状态。
上述拍摄装置状态识别方法中,通过对拍摄装置采集的视频流进行抽帧,获得图像序列;从图像序列中确定当前图像,计算当前图像的各特征点;匹配相邻图像中与各特征点对应的对应点,确定各特征点以及对应的对应点的位置关系;相邻图像为图像序列中与当前图像相邻的图像;根据各位置关系,识别拍摄装置在当前图像与相邻图像之间的时间间隔内的状态。采用上述实施例方法,通过在图像序列中确定当前图像,识别当前图像与相邻图像之间的拍摄装置的状态,能够识别拍摄装置在任意时间间隔内的状态为运动状态或静止状态;在匹配相邻图像中与当前图像的各特征点对应的对应点之后识别拍摄装置的状态,能够有效避免图像中基本静止的特征点造成的拍摄装置处于静止状态的误判,从而提高拍摄装置的状态识别的准确性。
在其中一个实施例中,步骤S204具体包括步骤S302-步骤S308:
步骤S302,将当前图像分割为预设大小的各当前图像块,并确定各当前图像块的当前图像块矩阵数值。
在其中一个实施例中,可以将当前图像分割为m行n列个当前图像块。m可以设置为10,n可以设置为20。具体地,可以使用矩阵描述当前图像块,将当前图像块表示为block,则第i行第j列的当前图像块可以表示为block[i][j],其中,i∈[0,m-1],j∈[0,n-1]。
在其中一个实施例中,各当前图像块对应预先设定的当前图像块矩阵数值。其中,当前图像块的当前图像块矩阵数值表示在该当前图像块内的特征点筛选比例,在将当前图像分割为m行n列个当前图像块后,则当前图像中存在m*n个当前图像块矩阵数值,即存在m行n列个当前图像块矩阵数值组成的二维数组。具体地,当前图像块矩阵数值可以表示为mask,则第i行第j列的当前图像块的当前图像块矩阵数值可以表示为mask[i][j]。
在其中一个实施例中,将当前图像块矩阵数值的取值范围设置为[0.0,1.0]。具体地,以第i行第j列的当前图像块为例,在mask[i][j]=0.0时,则表示在该当前图像块内不保留任何特征点。在当前图像块的mask[i][j]=1.0时,则表示该当前图像块内保留所有特征点。
在其中一个实施例中,在相邻图像作为下一次运算的当前图像时,将此次运算的各当前图像块的当前图像块矩阵数值,为相邻图像的各相邻图像块的相邻图像块矩阵数值。其中,相邻图像为图像序列中当前图像的后一帧图像。在从图像序列中当前图像为图像序列中的第一帧图像,即不存在相邻图像时,则此时当前图像的各当前图像块的当前图像块矩阵数值为预先设定的初始值。具体地,可以将初始值设置为1.0。
在其中一个实施例中,由于当前图像与相邻图像属于同一图像序列,且相邻图像为图像序列中当前图像的前一帧图像。当相邻图像作为前一次运算的当前图像时,已经执行了将当前图像分割为预设大小的各当前图像块的步骤。因此,将相邻图像分割为各相邻图像块的方式与将当前图像分割为各当前图像块的方式相同,相邻图像的各相邻图像块与当前图像的各当前图像块对应。
步骤S304,计算当前图像的各初始特征点。
具体地,可以使用OpenCV软件库中的goodFeaturesToTrack方法计算当前图像的各初始特征点,当然也可以使用其他特征点或角点检测方法来计算当前图像的各特征点,在此不作赘述。
步骤S306,基于当前图像的各初始特征点、以及各当前图像块的当前图像块矩阵数值,确定各当前图像块中的有效特征点。
在其中一个实施例中,步骤S306具体包括步骤S402-步骤S404:
步骤S402,基于当前图像的各初始特征点,确定各当前图像块中的初始特征点。
具体地,确定落在当前图像的各当前图像块内的初始特征点,即确定各当前图像块中的初始特征点。
步骤S404,根据各当前图像块中的初始特征点,以及各当前图像块的当前图像块矩阵数值,确定各当前图像块中的有效特征点。
其中,确定各当前图像块中的初始特征点数量,将当前图像块的初始特征点数量与该当前图像块的当前图像块矩阵数值相乘并向下取整,确定该当前图像块中的有效特征点数量,并将该当前图像块中特征明显的有效特征点数量的初始特征点作为该当前图像块中的有效特征点。
具体地,例如,第i行第j列block的当前图像块矩阵数值为mask[i][j],在该block中初始特征点有k个,则在该block中的只保留前k*mask[i][j]并向下取整的数量的有效特征点。例如,第0行第0列block的mask[0][0]=0.8,在该block中存在10个特征点,则在该block中只保留前8个特征明显的特征点。
步骤S308,根据各当前图像块中的有效特征点确定当前图像的各特征点。
具体地,各当前图像块中的有效特征点组成当前图像的各特征点。
在其中一个实施例中,步骤S206具体包括步骤S502-步骤S506:
步骤S502,根据各特征点以及对应的对应点,确定各特征点的起点向量和对应的终点向量。
在其中一个实施例中,将当前图像的各特征点作为起点,将相邻图像中与各特征点对应的对应点作为终点,并基于当前图像的球心构建起点向量和终点向量。具体地,可以将当前图像的球心表示为o,起点表示为p1,终点表示为p2,特征点的起点向量表示为
Figure BDA0003103598130000111
对应的终点向量表示为
Figure BDA0003103598130000112
步骤S504,计算各特征点的起点向量和对应的终点向量之间的夹角。
在其中一个实施例中,将特征点对应的夹角表示为angle。具体地,各特征点的起点向量和对应的终点向量之间的夹角,计算公式为
Figure BDA0003103598130000113
Figure BDA0003103598130000114
其中,angle表示特征点对应的夹角,
Figure BDA0003103598130000115
表示特征点的起点向量,
Figure BDA0003103598130000116
表示特征点对应的终点向量,arccos(.)表示反三角函数中的反余弦函数。
步骤S506,基于各夹角,确定各特征点以及对应的对应点的位置关系。
在其中一个实施例中,可以将各夹角与预设阈值进行比较,或者,可以在各夹角中选择满足预设条件的夹角与预设阈值进行比较,进而根据比较结果识别拍摄装置状态。具体地,当夹角小于或等于预设阈值时,识别拍摄装置在当前图像与相邻图像之间的时间间隔为静止状态,否则,识别拍摄装置在当前图像与相邻图像之间的时间间隔为运动状态。
在其中一个实施例中,步骤S502具体包括步骤S602-步骤S606:
步骤S602,将各特征点在当前图像中的特征点图像坐标和对应点在相邻图像中的对应点图像坐标,分别映射到经纬度坐标系,得到各特征点经纬度坐标和对应点经纬度坐标。
其中,特征点图像坐标是特征点在当前图像的图像坐标系下的像素坐标,对应点图像坐标是对应点在相邻图像的图像坐标系下的像素坐标,坐标原点均在图像的左上角。经纬度坐标系是经度与纬度的合称组成的球面坐标系统,能够表示地球上的任何一个位置。
具体地,以当前图像为例,将当前图像的宽度表示为width,高度表示为height。将特征点图像坐标表示为(a,b),其中,a∈[0,width),b∈[0,height)。将特征点图像坐标映射到经纬度坐标系之后,将特征点经纬度坐标表示为
Figure BDA0003103598130000121
其中,θ∈[0,2π),
Figure BDA0003103598130000122
相邻图像中的对应点的坐标表示方式的原理与当前图像相同。
在其中一个实施例中,采用均匀映射的方式将特征点图像坐标和对应点图像坐标分别映射到经纬度坐标系。其中,均匀映射是形如y=kx+b的线性映射。具体地,特征点图像坐标中a∈[0,width),特征点经纬度坐标中θ∈[0,2π),即
Figure BDA0003103598130000123
步骤S604,分别将各特征点经纬度坐标和对应点经纬度坐标转化为单位球面坐标,得到各特征点球面坐标和对应点球面坐标。
具体地,以当前图像为例,将特征点经纬度坐标
Figure BDA0003103598130000124
转化为单位球面坐标之后,将特征点球面坐标表示为(x,y,z)。其中,
Figure BDA0003103598130000125
Figure BDA0003103598130000126
相邻图像中的对应点的坐标表示方式的原理与当前图像相同。
步骤S606,将各特征点的特征点球面坐标与当前图像的球心构成的向量作为起点向量,将对应点球面坐标与球心构成的向量作为对应的终点向量。
具体地,将当前图像的球心表示为o,球心坐标为o(0,0,0)。将当前图像中的各特征点作为起点,表示为p1。将相邻图像中的对应点作为终点,表示为p2。将特征点的特征点球面坐标与当前图像的球心构成的向量作为起点向量,表示为
Figure BDA0003103598130000131
将对应点球面坐标与球心构成的向量作为对应的终点向量,表示为
Figure BDA0003103598130000132
在其中一个实施例中,步骤S208具体包括步骤S702-步骤S704:
步骤S702,在各夹角中选取满足预设条件的夹角。
在其中一个实施例中,将特征点对应的夹角表示为angle,将各夹角组成的夹角集合表示为angles。具体地,满足预设条件的夹角可以是各夹角的中位数,将各夹角的中位数表示为median。在通常情况下,认为拍摄装置画面中,本身静止的景物所占视野要远多于本身运动的景物,因此,选取中位数可以避免运动景物的影响,以提高拍摄装置状态识别的准确性。
步骤S704,将满足预设条件的夹角与预设阈值进行比较,根据比较结果识别拍摄装置在当前图像与相邻图像之间的时间间隔内的状态。
在其中一个实施例中,将预设阈值表示为threshold,预设阈值可以用于识别拍摄装置状态。其中,预设阈值通过大量的测试结果得到,该预设阈值与对视频流进行抽帧的预设时间间隔强相关,不同的抽帧时间间隔对应不同的预设阈值。具体地,在抽帧的预设时间间隔设置为0.33s时,预设阈值可以设置为0.5°。
在其中一个实施例中,将当前图像的时间戳表示为ti,将相邻图像的时间戳表示为ti+1。其中,将满足预设条件的夹角与预设阈值进行比较,当满足预设条件的夹角小于或等于预设阈值时,识别拍摄装置在当前图像与相邻图像之间的时间间隔内为静止状态,否则,识别拍摄装置在当前图像与相邻图像之间的时间间隔内为运动状态。
具体地,将各夹角的中位数median与预设阈值threshold进行比较,当median≤threshold时,则识别拍摄装置在[ti,ti+1]内为静止状态,当median>threshold时,则识别拍摄装置在[ti,ti+1]内为运动状态。
在其中一个实施例中,当识别拍摄装置为运动状态,则理论上所有本身静止的景物在画面上都应该是运动的。若此时画面中存在一些几乎没有产生运动的区域,说明该区域可能是远方的高楼或近处的镜头遮挡物等恒定不变景物,而且,拍摄装置的运动状态可能会使得恒定不变景物突然消失在画面中,取而代之的是其他有意义的景物。因此,为了减少恒定不变景物造成的不利影响,在识别拍摄装置在当前图像与相邻图像之间的时间间隔为运动状态之后,还包括:根据各当前图像块中的初始特征点对应的夹角与预设阈值之间的数量关系,更新各当前图像块的当前图像块矩阵数值,且使更新后的各当前图像块的当前图像块矩阵数值在预设取值范围内。其中,可以将预设取值范围设置为[0.0,1.0]。
在其中一个实施例中,在当前图像块中的初始特征点对应的夹角大于预设阈值,且大于预设阈值的夹角数量大于预设数量时,将当前图像块的当前图像块矩阵数值与预设调高步长之和作为更新后的当前图像块的当前图像块矩阵数值,且使更新后的当前图像块的当前图像块矩阵数值在预设取值范围内。
其中,将预设调高步长表示为up,up∈(0,1]。可以将预设调高步长设置为0.1。具体地,例如,以第i行第j列的block为例,其当前图像块矩阵数值为mask[i][j],在该block中初始特征点有k个,初始特征点对应的夹角表示为angle。若满足angle>threshold,且夹角的数量大于0.5k时,则更新后的block的当前图像块矩阵数值为mask′[i][j]=mask[i][j]+up,且不大于1.0。
在其中一个实施例中,在当前图像块中的初始特征点对应的夹角大于预设阈值,且大于预设阈值的夹角数量小于预设数量时,将当前图像块的当前图像块矩阵数值与预设调低步长之差作为更新后的当前图像块的当前图像块矩阵数值,且使更新后的当前图像块的当前图像块矩阵数值在预设取值范围内。
其中,将预设调低步长表示为down,down∈(0,1]。可以将预设调低步长设置为0.5。具体地,例如,以第i行第j列的block为例,其当前图像块矩阵数值为mask[i][j],在该block中初始特征点有k个,初始特征点对应的夹角表示为angle。若满足angle>threshold,且夹角的数量小于0.5k时,则更新后的block的当前图像块矩阵数值为mask′[i][j]=mask[i][j]-down,且不小于0.0。
在其中一个实施例中,在当前图像块中的初始特征点对应的夹角大于预设阈值,且大于预设阈值的夹角数量等于预设数量时,当前图像块的当前图像块矩阵数值不变。
具体地,例如,以第i行第j列的block为例,其当前图像块矩阵数值为mask[i][j],在该block中初始特征点有k个,初始特征点对应的夹角表示为angle。若满足angle>threshold,且夹角的数量等于0.5k时,则该block的当前图像块矩阵数值mask[i][j]不变。其中,更新后的各当前图像块的当前图像块矩阵数值沿用至下一次从图像序列中确定当前图像。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及其中一个具体实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在其中一个具体实施例中,当视频流为全景视频流,图像序列为全景图像序列时,如图3所示为拍摄装置拍摄的全景图像的示意图。拍摄装置状态识别方法的流程图如图4所示,具体步骤如下:
1、按照时间间隔为0.33s对拍摄装置采集的视频流进行抽帧,获得图像序列f1,f2,……,fn,对应的时间戳t1,t2,……,tn;从图像序列中确定任意相邻的当前图像fi和相邻图像fi+1
2、对当前图像fi作3×3均值滤波进行图像平滑处理;若为彩色图像则转换为单通道灰度图;
3、将当前图像fi分割为10行20列的block,block的当前图像块矩阵数值的取值范围为[0.0,1.0];若当前图像fi为图像序列的第一帧图像,则对block进行初始化,使block的mask=1.0;若当前图像fi不为图像序列的第一帧图像,则block的mask为当前图像fi的前一帧图像更新后的mask′;
4、使用OpenCV软件库中的goodFeaturesToTrack方法计算当前图像fi的各初始特征点;
5、根据block的当前图像块矩阵数值mask,确定block中的有效特征点;以第i行第j列的block为例,其当前图像块矩阵数值为mask[i][j],在该block中初始特征点有k个,则只保留前k*mask[i][j]并向下取整的数量的有效特征点;
6、根据block中的有效特征点确定当前图像fi的各特征点,确定与各特征点对应的相邻图像fi+1的各对应点;
7、当前图像fi的宽度为width1,高度为height1,特征点在当前图像fi中的特征点图像坐标为(a1,b1),其中,a1∈[0,width1),b1∈[0,height1);相邻图像fi-1的宽度为width2,高度为height2,对应点在相邻图像fi-1中的对应点图像坐标为(a2,b2),其中,a2∈[0,width2),b2∈[0,height2);
将特征点图像坐标(a1,b1)和对应点图像坐标(a2,b2)均匀映射到经纬度坐标系,得到特征点经纬度坐标
Figure BDA0003103598130000161
和对应点经纬度坐标
Figure BDA0003103598130000162
其中,θ1∈[0,2π),
Figure BDA0003103598130000163
θ2∈[0,2π),
Figure BDA0003103598130000164
8、将特征点经纬度坐标
Figure BDA0003103598130000165
和对应点经纬度坐标
Figure BDA0003103598130000166
转化为单位球面坐标,得到特征点球面坐标(x1,y1,z1)和对应点球面坐标(x2,y2,z2),其中,
Figure BDA0003103598130000167
Figure BDA0003103598130000168
Figure BDA0003103598130000169
9、将当前图像fi中的特征点作为起点p1,将相邻图像fi-1中的对应点作为终点为p2,将特征点球面坐标(x1,y1,z1)与当前图像的球心o(0,0,0)构成的向量作为起点向量
Figure BDA00031035981300001610
将对应点球面坐标(x2,y2,z2)与球心o(0,0,0)构成的向量作为对应的终点向量
Figure BDA00031035981300001611
计算
Figure BDA00031035981300001612
Figure BDA00031035981300001613
之间的夹角angle,
Figure BDA00031035981300001614
各夹角组成的夹角集合为angles;
10、确定angles的中位数median;
11、将median与预设阈值threshold进行比较,其中,threshold=0.5°;当median≤threshold时,识别拍摄装置在[ti,ti+1]内为静止状态;当median>threshold时,识别拍摄装置在[ti,ti+1]内为运动状态;
12、当median>threshold时,根据block中的初始特征点对应的夹角angle与threshold之间的数量关系,更新block对应的mask,且使更新后的mask′仍在取值范围[0.0,1.0]内;当median≤threshold时则保持block对应的mask不变;
预设调高步长up=0.1,预设调低步长down=0.5。以第i行第j列的block为例,其当前图像块矩阵数值为mask[i][j],在该block中初始特征点有k个,对应的夹角为angle。
12.1、若满足angle>threshold,且夹角的数量大于0.5k时,则更新后block的当前图像块矩阵数值为mask′[i][j]=mask[i][j]+up,且不大于1.0。
12.2、若满足angle>threshold,且夹角的数量小于0.5k时,则更新后block的当前图像块矩阵数值为mask′[i][j]=mask[i][j]-down,且不小于0.0。
12.3、若满足angle>threshold,且夹角的数量等于0.5k时,则block的当前图像块矩阵数值mask[i][j]不变。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中,如图5所示,提供了一种拍摄装置状态识别装置,包括:图像序列获得模块510、特征点计算模块520、位置关系确定模块530和状态识别模块540,其中:
图像序列获得模块510,用于对拍摄装置采集的视频流进行抽帧,获得图像序列。
特征点计算模块520,用于从所述图像序列中确定当前图像,计算所述当前图像的各特征点。
位置关系确定模块530,用于匹配相邻图像中与各所述特征点对应的对应点,确定各所述特征点以及对应的对应点的位置关系;所述相邻图像为所述图像序列中与所述当前图像相邻的图像。
状态识别模块540,用于根据各所述位置关系,识别拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
在其中一个实施例中,拍摄装置状态识别装置,还包括:
第一预处理单元,用于在所述获得图像序列之后,对所述图像序列进行图像平滑处理,获得图像平滑处理后的图像序列。
第二预处理单元,用于在所述获得图像序列之后,当所述图像序列为彩色图像时,将所述图像序列进行图像颜色转换处理,得到图像颜色转换处理后的图像序列。
视频流和图像序列确定单元,用于确定所述视频流为全景视频流,所述图像序列为全景图像序列。
在其中一个实施例中,特征点计算模块520包括以下单元:
当前图像参数确定单元,用于将所述当前图像分割为预设大小的各当前图像块,并确定各所述当前图像块的当前图像块矩阵数值。
初始特征点计算单元,用于计算所述当前图像的各初始特征点。
有效特征点确定单元,用于基于所述当前图像的各初始特征点、以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点。
特征点确定单元,用于根据各所述当前图像块中的有效特征点确定所述当前图像的各特征点。
在其中一个实施例中,有效特征点确定单元包括以下单元:
当前图像块初始特征点确定单元,用于基于所述当前图像的各初始特征点,确定各所述当前图像块中的初始特征点。
当前图像块有效特征点确定单元,用于根据各所述当前图像块中的初始特征点,以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点。
在其中一个实施例中,位置关系确定模块530包括以下单元:
向量确定单元,用于根据各所述特征点以及对应的对应点,确定各所述特征点的起点向量和对应的终点向量。
夹角计算单元,用于计算各所述特征点的所述起点向量和对应的所述终点向量之间的夹角。
位置关系确定单元,用于基于各所述夹角,确定各所述特征点以及对应的对应点的位置关系。
在其中一个实施例中,向量确定单元包括以下单元:
经纬度坐标确定单元,用于将各所述特征点在所述当前图像中的特征点图像坐标和所述对应点在所述相邻图像中的对应点图像坐标,分别映射到经纬度坐标系,得到各特征点经纬度坐标和对应点经纬度坐标。
球面坐标确定单元,用于分别将各所述特征点经纬度坐标和所述对应点经纬度坐标转化为单位球面坐标,得到各特征点球面坐标和对应点球面坐标。
向量确定单元,用于将各所述特征点的所述特征点球面坐标与所述当前图像的球心构成的向量作为所述起点向量,将所述对应点球面坐标与所述球心构成的向量作为对应的所述终点向量。
在其中一个实施例中,状态识别模块540包括以下单元:
夹角选取单元,用于在各所述夹角中选取满足预设条件的夹角。
状态识别单元,用于将所述满足预设条件的夹角与所述预设阈值进行比较,根据比较结果识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
在其中一个实施例中,状态识别单元包括以下单元:
状态确定单元,用于当所述满足预设条件的夹角小于或等于所述预设阈值时,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为静止状态,否则,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为运动状态。
在其中一个实施例中,拍摄装置状态识别装置还包括:
参数更新单元,用于根据各所述当前图像块中的初始特征点对应的夹角与所述预设阈值之间的数量关系,更新各所述当前图像块的当前图像块矩阵数值,且使更新后的各所述当前图像块的当前图像块矩阵数值在预设取值范围内。
在其中一个实施例中,参数更新单元包括以下单元:
第一参数更新单元,用于在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量大于预设数量时,将所述当前图像块的当前图像块矩阵数值与预设调高步长之和作为更新后的所述当前图像块的当前图像块矩阵数值。
第二参数更新单元,用于在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量小于所述预设数量时,将所述当前图像块的当前图像块矩阵数值与预设调低步长之差作为更新后的所述当前图像块的当前图像块矩阵数值。
第三参数更新单元,用于在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量等于所述预设数量时,所述当前图像块的当前图像块矩阵数值不变。
关于拍摄装置状态识别装置的具体限定可以参见上文中对于拍摄装置状态识别方法的限定,在此不再赘述。上述拍摄装置状态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储拍摄装置状态识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种拍摄装置状态识别方法。
在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种拍摄装置状态识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6和图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述的拍摄装置状态识别方法的步骤。
在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的拍摄装置状态识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种拍摄装置状态识别方法,所述方法包括:
对拍摄装置采集的视频流进行抽帧,获得图像序列;
从所述图像序列中确定当前图像,计算所述当前图像的各特征点;
匹配相邻图像中与各所述特征点对应的对应点,确定各所述特征点以及对应的对应点的位置关系;所述相邻图像为所述图像序列中与所述当前图像相邻的图像;
根据各所述位置关系,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
2.根据权利要求1所述的拍摄装置状态识别方法,其特征在于,在所述获得图像序列之后,还包括以下至少一项:
第一项:
对所述图像序列进行图像平滑处理,获得图像平滑处理后的图像序列;
第二项:
当所述图像序列为彩色图像时,将所述图像序列进行图像颜色转换处理,得到图像颜色转换处理后的图像序列。
3.根据权利要求1所述的拍摄装置状态识别方法,其特征在于,所述计算所述当前图像的各特征点,包括:
将所述当前图像分割为预设大小的各当前图像块,并确定各所述当前图像块的当前图像块矩阵数值;
计算所述当前图像的各初始特征点;
基于所述当前图像的各初始特征点、以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点;
根据各所述当前图像块中的有效特征点确定所述当前图像的各特征点。
4.根据权利要求3所述的拍摄装置状态识别方法,其特征在于,所述基于所述当前图像的各初始特征点、以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点,包括:
基于所述当前图像的各初始特征点,确定各所述当前图像块中的初始特征点;
根据各所述当前图像块中的初始特征点,以及各所述当前图像块的当前图像块矩阵数值,确定各所述当前图像块中的有效特征点。
5.根据权利要求1所述的拍摄装置状态识别方法,其特征在于,所述确定各所述特征点以及对应的对应点的位置关系,包括:
根据各所述特征点以及对应的对应点,确定各所述特征点的起点向量和对应的终点向量;
计算各所述特征点的所述起点向量和对应的所述终点向量之间的夹角;
基于各所述夹角,确定各所述特征点以及对应的对应点的位置关系。
6.根据权利要求5所述的拍摄装置状态识别方法,其特征在于,所述视频流为全景视频流,所述图像序列为全景图像序列,所述根据各所述特征点以及对应的对应点,确定各所述特征点的起点向量和对应的终点向量,包括:
将各所述特征点在所述当前图像中的特征点图像坐标和所述对应点在所述相邻图像中的对应点图像坐标,分别映射到经纬度坐标系,得到各特征点经纬度坐标和对应点经纬度坐标;
分别将各所述特征点经纬度坐标和所述对应点经纬度坐标转化为单位球面坐标,得到各特征点球面坐标和对应点球面坐标;
将各所述特征点的所述特征点球面坐标与所述当前图像的球心构成的向量作为所述起点向量,将所述对应点球面坐标与所述球心构成的向量作为对应的所述终点向量。
7.根据权利要求5所述的拍摄装置状态识别方法,其特征在于,所述根据各所述位置关系,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态,包括:
在各所述夹角中选取满足预设条件的夹角;
将所述满足预设条件的夹角与预设阈值进行比较,根据比较结果识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
8.根据权利要求7所述的拍摄装置状态识别方法,其特征在于,所述根据比较结果识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态,包括:
当所述满足预设条件的夹角小于或等于所述预设阈值时,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为静止状态,否则,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为运动状态。
9.根据权利要求4所述的拍摄装置状态识别方法,其特征在于,在所述识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内为运动状态之后,还包括:
根据各所述当前图像块中的初始特征点对应的夹角与所述预设阈值之间的数量关系,更新各所述当前图像块的当前图像块矩阵数值,且使更新后的各所述当前图像块的当前图像块矩阵数值在预设取值范围内。
10.根据权利要求3所述的拍摄装置状态识别方法,其特征在于,所述根据各所述当前图像块中的初始特征点对应的夹角与所述预设阈值之间的数量关系,更新各所述当前图像块的当前图像块矩阵数值,包括:
在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量大于预设数量时,将所述当前图像块的当前图像块矩阵数值与预设调高步长之和作为更新后的所述当前图像块的当前图像块矩阵数值;
在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量小于所述预设数量时,将所述当前图像块的当前图像块矩阵数值与预设调低步长之差作为更新后的所述当前图像块的当前图像块矩阵数值;
在所述当前图像块中的初始特征点对应的夹角大于所述预设阈值,且大于所述预设阈值的夹角数量等于所述预设数量时,所述当前图像块的当前图像块矩阵数值不变。
11.一种拍摄装置状态识别装置,其特征在于,所述拍摄装置状态识别装置包括:
图像序列获得模块,用于对拍摄装置采集的视频流进行抽帧,获得图像序列;
特征点计算模块,用于从所述图像序列中确定当前图像,计算所述当前图像的各特征点;
位置关系确定模块,用于匹配相邻图像中与各所述特征点对应的对应点,确定各所述特征点以及对应的对应点的位置关系;所述相邻图像为所述图像序列中与所述当前图像相邻的图像;
状态识别模块,用于根据各所述位置关系,识别所述拍摄装置在所述当前图像与所述相邻图像之间的时间间隔内的状态。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的拍摄装置状态识别方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的拍摄装置状态识别方法的步骤。
CN202110630660.8A 2021-06-07 2021-06-07 拍摄装置状态识别方法、装置、计算机设备和存储介质 Pending CN113436256A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110630660.8A CN113436256A (zh) 2021-06-07 2021-06-07 拍摄装置状态识别方法、装置、计算机设备和存储介质
PCT/CN2022/095474 WO2022257778A1 (zh) 2021-06-07 2022-05-27 拍摄装置状态识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110630660.8A CN113436256A (zh) 2021-06-07 2021-06-07 拍摄装置状态识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113436256A true CN113436256A (zh) 2021-09-24

Family

ID=77803796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110630660.8A Pending CN113436256A (zh) 2021-06-07 2021-06-07 拍摄装置状态识别方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113436256A (zh)
WO (1) WO2022257778A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257778A1 (zh) * 2021-06-07 2022-12-15 影石创新科技股份有限公司 拍摄装置状态识别方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013002884A (ja) * 2011-06-14 2013-01-07 Honda Motor Co Ltd 測距装置
CN103455797A (zh) * 2013-09-07 2013-12-18 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
JP2015023470A (ja) * 2013-07-19 2015-02-02 株式会社amuse oneself パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置
CN105336169A (zh) * 2015-12-09 2016-02-17 青岛海信网络科技股份有限公司 一种基于视频判断交通拥堵的方法和系统
CN105354550A (zh) * 2015-11-03 2016-02-24 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
CN113436256A (zh) * 2021-06-07 2021-09-24 影石创新科技股份有限公司 拍摄装置状态识别方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013002884A (ja) * 2011-06-14 2013-01-07 Honda Motor Co Ltd 測距装置
JP2015023470A (ja) * 2013-07-19 2015-02-02 株式会社amuse oneself パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置
CN103455797A (zh) * 2013-09-07 2013-12-18 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN105354550A (zh) * 2015-11-03 2016-02-24 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法
CN105336169A (zh) * 2015-12-09 2016-02-17 青岛海信网络科技股份有限公司 一种基于视频判断交通拥堵的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王猛;李玉良;: "基于图像识别的煤矿井下机车速度监测系统设计", 煤炭工程, no. 07, pages 1 - 13 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257778A1 (zh) * 2021-06-07 2022-12-15 影石创新科技股份有限公司 拍摄装置状态识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2022257778A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
WO2022165722A1 (zh) 单目深度估计方法、装置及设备
CN107749069B (zh) 图像处理方法、电子设备和图像处理系统
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
WO2022257778A1 (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN112333468B (zh) 图像处理方法、装置、设备及存储介质
CN111724421B (zh) 图像处理方法及装置、电子设备及存储介质
CN114092720A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN114757984A (zh) 光场相机的场景深度估计方法及装置
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
US11227166B2 (en) Method and device for evaluating images, operating assistance method, and operating device
CN113436269A (zh) 图像稠密立体匹配方法、装置和计算机设备
CN113570535A (zh) 视觉定位方法及相关装置、设备
CN113129227A (zh) 图像处理方法、装置、计算机设备和存储介质
WO2021128314A1 (zh) 一种图像处理方法、设备、图像处理系统及存储介质
CN115174811A (zh) 相机抖动检测方法、装置、设备、存储介质和程序产品
CN114862933A (zh) 深度图像的预测方法、装置、设备和存储介质
CN115731384A (zh) 鱼眼图像语义分割方法、装置、计算机设备和存储介质
CN117392636A (zh) 泊车位检测方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination