CN114049479A - 自监督的鱼眼相机图像特征点提取方法、装置及存储介质 - Google Patents

自监督的鱼眼相机图像特征点提取方法、装置及存储介质 Download PDF

Info

Publication number
CN114049479A
CN114049479A CN202111338016.XA CN202111338016A CN114049479A CN 114049479 A CN114049479 A CN 114049479A CN 202111338016 A CN202111338016 A CN 202111338016A CN 114049479 A CN114049479 A CN 114049479A
Authority
CN
China
Prior art keywords
fisheye
feature point
point extraction
preset
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111338016.XA
Other languages
English (en)
Inventor
闫硕
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202111338016.XA priority Critical patent/CN114049479A/zh
Publication of CN114049479A publication Critical patent/CN114049479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质，其中，方法，包括：采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。本方案，有效克服了现有技术方案中不存在“无需人为标注特征点的情况下实现特征点、特征向量的提取”的技术缺陷，除此之外，本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质可以在计算力受限的嵌入式设备上实时运行。

Description

自监督的鱼眼相机图像特征点提取方法、装置及存储介质
技术领域
本申请涉及自监督的鱼眼相机图像特征点提取方法、装置及存储介质，属于场景内特征点、特征向量提取技术领域。
背景技术
关键点检测是近来越来越受到重视的一种技术，对很多应用都是非常基础并且至关重要的，比如提取人脸关键点，利用提出的关键点进行人脸比对、人脸属性或活体判断等。现阶段，随着人工智能技术的发展和成熟，自动驾驶技术以及先进辅助驾驶系统成为当下热门的研究领域。其中记忆泊车作为高级别的辅助驾驶技术，正得到不断的突破。而记忆泊车技术的核心要点包括关键点的提取，需要对泊车区域场景区域内行车泊车等场景提取具有高度重复性的关键点和描述子。如在同一停车场中，在不同时间，天气，光线等条件下，提取得到位置相近的关键点及尽可能近似的描述子。
现有技术方案中一般采用传统的基于手动特征的特征点提取、生成特征向量的算法或者基于深度学习的算法来提取关键点位置，然而，传统的基于手动特征的特征点提取或者生成特征向量的算法是不可训练的。而传统方案中的基于深度学习的专利里，均是基于监督学习的方法，都需要人手工的标注，首先，通过人工进行标注需要额外成本(时间，金钱，人力)；其次，人工标注一般是有误差的，如需要标一个眼睛，实际的标签只能是一个点或者圆，并不可能把眼睛的所有像素覆盖，显然不同标注人员，不同标注序列，都会有不一致的情况；除此之外，人工标注的点是有限的，很多情况下无法覆盖实际场景，而通过深度学习得到的模型对训练集里的标注点往往较好，而对其他标注点极不友善；最后人工标注只能对有明确语义信息的对象进行，如人体的轮廓四肢，但是对一般的公路或者停车场场景，是无法标注的。
然而，如何在无需人为标注特征点的情况下基于场景通过学习实现特征点、特征向量的提取，目前尚无相关的技术。
发明内容
本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质，以解决现有技术方案中不存在“无需人为标注特征点的情况下基于场景通过学习实现特征点、特征向量的提取”的技术缺陷。
第一方面，根据本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取方法，包括：
采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
优选地，所述预先训练好的特征点提取模型的训练方法，包括：
训练有监督神经网络特征点提取模型；
以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
优选地，所述训练有监督神经网络特征点提取模型，包括：
获取预设数量的若干张鱼眼图片，并选取第一数量的图片作为训练集，第二数量的图片作为测试集；
重复执行若干次如下步骤：
针对训练集中的鱼眼图片，经过一次预设单应性变换，得到单应性变换鱼眼图片；
设定预设形状角点提取模型，以所述单应性变换鱼眼图片作为输入，得到单应性变换鱼眼图片的角点位置信息；
将所述角点位置信息做预设单应性变换的逆向变换，确定并记录所述角点位置信息对应的鱼眼图片中的位置信息；
根据每次记录的位置信息在鱼眼图片上形成角点信息，作为自监督神经网络的监督信息。
优选地，所述单应性变换为根据鱼眼相机的内参和外参，对获取的鱼眼图像进行适应性变换。
优选地，还包括：
确定自监督神经网络特征点提取模型的优化目标函数。
优选地，所述确定自监督神经网络特征点提取模型的优化目标函数，包括：
针对训练集中的每张鱼眼图片，做一次预设单应性变换，得到单应性变换鱼眼图片；
将鱼眼图片及其对应的单应性变换鱼眼图片输入预设神经网络，得到该鱼眼图片的第一特征点的位置信息和第一特征点对应的第一特征向量，及单应性变换鱼眼图片的第二特征点的位置信息和第二特征点对应的特征向量；
根据第一特征点和生成的第一监督信息计算第一位置相似度的损失函数值，及第二特征点和生成的第二监督信息计算第二位置相似度的损失函数值；
对第一特征点位置做预设单应性变换后与第二特征点位置做匹配，对匹配上的点对的特征向量对计算特征向量对损失函数值；
根据所述特征向量对损失函数值、第一位置相似度的损失函数值和第二位置相似度的损失函数值确定神经网络的优化目标函数；
其中，第一监督信息为基于有监督神经网络特征点提取模型提取的鱼眼图片的角点信息；第二监督信息为有监督神经网络特征点提取模型提取的单应性变换鱼眼图片的角点信息。
第二方面，根据本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取装置，包括：
鱼眼图片获取模块，用于采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
特征点、特征向量提取模块，用于基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
优选地，所述装置，还包括：
预训练单元，用于训练有监督神经网络特征点提取模型；
特征点、特征向量提取模块，用于以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
第三方面，根据本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取装置，所述装置包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述计算机程序由所述处理器加载并执行，以实现如上述任一项所述基于自监督的鱼眼相机图像特征点提取方法的步骤。
第四方面，根据本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时用于实现如上述任一项所述基于自监督的鱼眼相机图像特征点提取方法的步骤。
本申请的有益效果在于：
本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、系统及存储介质，采用在预设场景内获取若干张鱼眼图片，然后基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。进而得到场景内的特征点、特征向量，有效克服了现有技术方案中不存在“无需人为标注特征点的情况下实现特征点、特征向量的提取”的技术缺陷。
除此之外，本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质，对网络结构做了轻量化处理，可根据实际情况做改进，因此，可运行于小功率嵌入式设备，方便实用。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1、图4-图5为本申请各实施例提供的基于自监督的鱼眼相机图像特征点提取系统的流程图；
图2为本申请一个实施例中预先训练好的神经网络的构成示意图；
图3a-图3j分别针对某个场景中采用预先训练好的神经网络提取特征点前后的示意图；
图6-7为本申请各实施例提供的基于自监督的鱼眼相机图像特征点提取装置的模块图；
图8为本申请一个实施例提供的基于自监督的鱼眼相机图像特征点提取装置的框图。
具体实施方式
下实施例用于说明本申请，但不用来限制本申请的范围。
本申请实施例主要针对自动驾驶领域，如停车场内的自动泊车，在多种天气、环境情况下，获取多个角度停车场内的图片，对获取到的图片提取特征点位置及特征点对应的特征向量，进而将提取的特征点、特征向量作为自动驾驶的依据。在此指出，本申请实施例主要针对场景内特征点、特征向量的获取，至于后续，如何根据提取到的特征点的位置、特征向量来自动驾驶车辆目前不属于本申请的研究范围。
本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取方法，参见图1所示，所述方法，包括：
步骤S12、采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
在本申请实施例中，可在车辆的四个角落各安装至少一个鱼眼相机，其中，鱼眼相机可为35mm单反相机，基于该规格的单反相机上设有真正的鱼眼镜头。基于上述鱼眼相机获取到的鱼眼图片完全呈圆形，视角为180度；如果有需求，可达220度，如此，相对应普通相机，在很大程度上提高了视角。
鱼眼相机的安装高度与倾斜角度根据需要进行设定，如可安装在高度的中央方向或者靠近底部的方向等，在此对其不做具体限定。
步骤S14、基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
在本申请实施例中，在获取到若干张鱼眼图片之后，采用经过训练好的神经网络特征点提取模型，提取预设场景内的特征点，在提取特征点之后，基于预设的二维或三维坐标系，提取特征点的坐标，并针对提取的每个特征点，确定对应的特征向量。
本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法，采用预先训练好的神经网络提取模型，提取设定场景内的特征点，克服了现有技术方案中无法避免人工手动标记特征点的技术缺陷。
在本申请实施例中，预先训练好的神经网络可由若干个卷积块堆叠而成，具体卷积块的类型(如为全卷积神经网络还是为Depthwise神经网络)、卷积核的大小(如可为3*3,1*1等)、步长(Stride,为1、2还是其他值)可根据实际需求进行设定。
作为本申请一个具体实施例，预先训练好的特征点提取模型可以为由多个卷积块堆叠形成的神经网络，如包括由四种不同大小的卷积层构成的卷积块，不同大小的卷积块主要体现在卷积核大小不同或者步长不同。
作为一个具体实施例，参见图2所示，预先训练好的特征点提取模型包括十五个卷积块，第一卷积块中的卷积层采用全卷积网络，具体卷积核大小为3*3，步长为2，输出通道为32通道，其中，第一卷积块输入的鱼眼图片可为3通道图片，即RGB图像；第一卷积块的输出作为第二卷积块的输入，第二卷积块采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为1，输出通道为32通道；第二卷积块的输出作为第三卷积块的输入，第三卷积块采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为64通道；第三卷积块的输出作为第四卷积块的输入，第四卷积块的卷积层采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为2，输出通道为64通道；第四卷积块的输出作为第五卷积块的输入，第五卷积块的卷积层采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为128；第五卷积块的输出作为第六卷积块的输入，第六卷积块采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为1，输出通道为128；第六卷积块的输出作为第七卷积块的输入，第七卷积块采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为128；第七卷积块的输出作为第八卷积块的输入，第八卷积块采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为2，输出通道为128；第八卷积块的输出作为第九卷积块的输入，第九卷积块采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为256，第九卷积块的输出作为第十卷积块的输入；第十卷积块采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为1，输出通道为256；第十卷积块的输出作为第十一卷积块的输入，第十一卷积块采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为256；第十一卷积块的输出同时作为第十二卷积块和第十三卷积块的输入，第十二卷积块采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为2，输出通道为256；第十二卷积块的输出作为第十四卷积块的输入，第十四卷积块采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为64，即第十四卷积块的输出便为特征点的坐标；第十三卷积块采用DepthWise卷积网络，卷积层的卷积核大小为3*3，步长为2，输出通道为256；第十三卷积块的输出作为第十五卷积块的输入，第十五卷积块采用全卷积网络，卷积层的卷积核大小为1*1，步长为1，输出通道为256，即第十五卷积块的输出为特征点对应的特征向量，为每个特征点对应的256维度的数据。
作为几个具体的实施例，针对采集到的鱼眼图片图3a，采用上述具体的预先训练好的神经网络训练出的鱼眼图片的特征点参见图3b；针对采集到的鱼眼图片图3c，采用上述具体的预先训练好的神经网络训练出的鱼眼图片的特征点参见图3d；针对采集到的鱼眼图片图3e，采用上述具体的预先训练好的神经网络训练出的鱼眼图片的特征点参见图3f；针对采集到的鱼眼图片图3g，采用上述具体的预先训练好的神经网络训练出的鱼眼图片的特征点参见图3h；针对采集到的鱼眼图片图3i，采用上述具体的预先训练好的神经网络训练出的鱼眼图片的特征点参见图3j。
在本申请实施例中，参见图4所示，步骤S14中，采取的预先训练好的特征点提取模型的训练方法，包括：
步骤S141、训练有监督神经网络特征点提取模型；
这里，采用有监督神经网络学习的方法，训练一个立体几何图形角点提取模型。而该立体几何形状可以但不仅限为棱柱、棱锥、立柱、矩形、星形、折线，棋盘格等。
步骤S143、以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
本申请实施例中，采用上述立体几何形状作为角点提取模型，提取每张鱼眼图片的角点信息作为自监督神经网络特征点提取模型的监督信息，从而避免了需要人为标注自监督神经网络的监督信息的缺陷。在提取到自监督神经网络的监督信息后，采用训练集中的鱼眼图片对自监督神经网络特征提取模型进行训练，当设定的损失函数达到预设值时，确定训练停止，确定训练好的自监督神经网络特征提取模型。具体可以将获取到的鱼眼图片一分为二，一般作为训练集，一半作为测试集合，其中，在训练有监督神经网络特征点提取模型和自监督神经网络特征提取模型时，训练集和测试集可通用。即选取的测试集既可以作为有监督神经网络特征点提取模型的训练集，也可以作为自监督神经网络特征提取模型的训练集，对于测试集，道理相同。
进一步地，在本申请实施例中，步骤S141中，所述训练有监督神经网络特征点提取模型，包括：
1)获取预设数量的若干张鱼眼图片，并选取第一数量的图片作为训练集，第二数量的图片作为测试集；
重复执行若干次如下步骤：
2)针对训练集中的鱼眼图片，经过一次预设单应性变换，得到单应性变换鱼眼图片；
在此指出，单应性变换homographic，可以为对原始鱼眼图片A做旋转、平移、缩放或者反转等，得到单应性变换鱼眼图片B。在做单应性变换之后，还可对图片A和对应的图片B做增加色彩变化、亮度变化、高斯噪声等数据增强处理，以增加训练出的有监督神经网络特征点提取模型的鲁棒性。
3)设定预设形状角点提取模型，以所述单应性变换鱼眼图片作为输入，得到单应性变换鱼眼图片的角点位置信息；
在得出单应性变换鱼眼图片B之后，以其作为预设立体几何形状模型的输入，得到鱼眼图片的角点位置信息。
4)将所述角点位置信息做预设单应性变换的逆向变换，确定并记录所述角点位置信息对应的鱼眼图片中的位置信息；
在得出鱼眼图片A的角点位置信息之后，继续对确定的角点位置信息做预设单应性变换的逆向变换，进而确定单应性变换图片中的角点位置信息对应的鱼眼图片中的位置信息；
5)根据每次记录的位置信息在鱼眼图片上形成角点信息，作为自监督神经网络的监督信息，训练自监督神经网络特征点提取模型。
在确定出每张单应性变换图片中的角点位置信息对应的鱼眼图片中的角点位置信息之后，以每张图片中的角点位置信息为监督信息，训练自监督神经网络特征点提取模型。
在此指出，上述2)-3)-4)-5)重复的次数可以根据需求进行设定，如可设定100次、120次等数量。
进一步的，在本申请实施例中，所述单应性变换为根据鱼眼相机的内参和外参，对获取的鱼眼图像进行适应性变换，如对获取的鱼眼图形中的扭曲部分进行适应性变换。
在本申请实施例中，参见图5所示，在步骤S1043之前，还包括：
步骤S142、确定自监督神经网络特征点提取模型的优化目标函数。
在此，首先确定自监督神经网络特征点提取模型的优化目标函数，然后根据确定的优化目标函数的值，对自监督神经网络特征点提取模型进行训练。
进一步地，步骤S142中，自监督神经网络特征点提取模型的优化目标函数，包括：
1)针对训练集中的每张鱼眼图片，做一次预设单应性变换，得到单应性变换鱼眼图片；
2)将鱼眼图片及其对应的单应性变换鱼眼图片输入预设神经网络，得到该鱼眼图片的第一特征点的位置信息和第一特征点对应的第一特征向量，及单应性变换鱼眼图片的第二特征点的位置信息和第二特征点对应的特征向量；
3)根据第一特征点和生成的第一监督信息计算第一位置相似度的损失函数值，及第二特征点和生成的第二监督信息计算第二位置相似度的损失函数值；
4)对第一特征点位置做预设单应性变换后与第二特征点位置做匹配，对匹配上的点对的特征向量对计算特征向量对损失函数值；
5)根据所述特征向量对损失函数值、第一位置相似度的损失函数值和第二位置相似度的损失函数值确定神经网络的优化目标函数；
其中，第一监督信息为基于有监督神经网络特征点提取模型提取的鱼眼图片的角点信息；第二监督信息为有监督神经网络特征点提取模型提取的单应性变换鱼眼图片的角点信息。
在本申请实施例中，当确定出神经网络的优化目标函数之后，对神经网络进行训练，具体地，当所述优化目标函数的值的波动维持在预设范围内时，对神经网络训练完毕，自监督神经网络特征点提取模型收敛。
本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、系统及存储介质，采用在预设场景内获取若干张鱼眼图片，然后基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。进而得到场景内的特征点、特征向量，有效克服了现有技术方案中不存在“无需人为标注特征点的情况下实现特征点、特征向量的提取”的技术缺陷。
除此之外，本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质，对网络结构做了轻量化处理，可根据实际情况做改进，因此，可运行于小功率嵌入式设备，方便实用。
图6是本申请一个实施例提供的基于自监督的鱼眼相机图像特征点提取装置的框图，该装置至少包括以下几个模块：
鱼眼图片获取模块41，用于采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
特征点、特征向量提取模块42，用于基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
在本申请实施例中，参见图7所示，基于自监督的鱼眼相机图像特征点提取装置，还包括：
预训练单元43，用于训练有监督神经网络特征点提取模型；
特征点、特征向量提取模块，用于以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
本申请实施例提供的基于自监督的鱼眼相机图像特征点提取装置，可用于如上方法实施例中的方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图8是本申请一个实施例提供的基于自监督的鱼眼相机图像特征点提取装置的框图，本实施例所述基于自监督的鱼眼相机图像特征点提取装置可以是微型计算处理设备，可搭载在鱼眼相机内或者可以与鱼眼相机实现数据信号连接、传输的处理设备该装置可以包括，但不限于，处理器、存储器。本实施例所述基于自监督的鱼眼相机图像特征点提取装置至少包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序可在所述处理器上运行，所述处理器执行所述计算机程序时，实现基于自监督的鱼眼相机图像特征点提取方法实施例中的步骤，例如图1、图3-图6任一图所示的基于自监督的鱼眼相机图像特征点提取方法的步骤。或者，所述处理器执行所述计算机程序时，实现上述实施例中基于自监督的鱼眼相机图像特征点提取装置各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或多个模块被存储在所述存储器中，并由处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于自监督的鱼眼相机图像特征点提取装置中的执行过程。例如，所述计算机程序可以被分割成鱼眼图片获取模块和特征点、特征向量提取模块，各模块的具体功能如下：
鱼眼图片获取模块，用于采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
特征点、特征向量提取模块，用于基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
处理器可以包括一个或多个处理核心，比如：4核心处理器、6核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。一些实施例中，处理器还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。所述处理器是所述基于自监督的鱼眼相机图像特征点提取装置的控制中心，利用各种接口和线路连接整个基于自监督的鱼眼相机图像特征点提取装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于自监督的鱼眼相机图像特征点提取装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)、至少一个磁盘存储器件、内存器件、或其他易失性固态存储器件。
本领域技术人员可以理解，本实施例所述的装置仅仅是基于自监督的鱼眼相机图像特征点提取装置的示例，并不构成对基于自监督的鱼眼相机图像特征点提取装置的限定，其他实施方式中，还可以包括更多或更少的部件，或者组合某些部件，或者不同部件，例如基于自监督的鱼眼相机图像特征点提取装置还可以包括输入输出设备、网络接入设备、总线等。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，基于自监督的鱼眼相机图像特征点提取装置还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现上述基于自监督的鱼眼相机图像特征点提取方法的步骤。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述基于自监督的鱼眼相机图像特征点提取方法实施例的步骤。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.自监督的鱼眼相机图像特征点提取方法，其特征在于，包括：
采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
2.根据权利要求1所述的方法，其特征在于，所述预先训练好的特征点提取模型的训练方法，包括：
训练有监督神经网络特征点提取模型；
以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
3.根据权利要求2所述的方法，其特征在于，所述训练有监督神经网络特征点提取模型，包括：
获取预设数量的若干张鱼眼图片，并选取第一数量的图片作为训练集，第二数量的图片作为测试集；
重复执行若干次如下步骤：
针对训练集中的鱼眼图片，经过一次预设单应性变换，得到单应性变换鱼眼图片；
设定预设形状角点提取模型，以所述单应性变换鱼眼图片作为输入，得到单应性变换鱼眼图片的角点位置信息；
将所述角点位置信息做预设单应性变换的逆向变换，确定并记录所述角点位置信息对应的鱼眼图片中的位置信息；
根据每次记录的位置信息在鱼眼图片上形成角点信息，作为自监督神经网络的监督信息。
4.根据权利要求3所述的方法，其特征在于，所述单应性变换为根据鱼眼相机的内参和外参，对获取的鱼眼图像进行适应性变换。
5.根据权利要求3所述的方法，其特征在于，还包括：
确定自监督神经网络特征点提取模型的优化目标函数。
6.根据权利要求5所述的方法，其特征在于，所述确定自监督神经网络特征点提取模型的优化目标函数，包括：
针对训练集中的每张鱼眼图片，做一次预设单应性变换，得到单应性变换鱼眼图片；
将鱼眼图片及其对应的单应性变换鱼眼图片输入预设神经网络，得到该鱼眼图片的第一特征点的位置信息和第一特征点对应的第一特征向量，及单应性变换鱼眼图片的第二特征点的位置信息和第二特征点对应的特征向量；
根据第一特征点和生成的第一监督信息计算第一位置相似度的损失函数值，及第二特征点和生成的第二监督信息计算第二位置相似度的损失函数值；
对第一特征点位置做预设单应性变换后与第二特征点位置做匹配，对匹配上的点对的特征向量对计算特征向量对损失函数值；
根据所述特征向量对损失函数值、第一位置相似度的损失函数值和第二位置相似度的损失函数值确定神经网络的优化目标函数；
其中，第一监督信息为基于有监督神经网络特征点提取模型提取的鱼眼图片的角点信息；第二监督信息为有监督神经网络特征点提取模型提取的单应性变换鱼眼图片的角点信息。
7.自监督的鱼眼相机图像特征点提取装置，其特征在于，包括：
鱼眼图片获取模块，用于采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
特征点、特征向量提取模块，用于基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
8.根据权利要求7所述的装置，其特征在于，还包括：
预训练单元，用于训练有监督神经网络特征点提取模型；
特征点、特征向量提取模块，用于以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
9.自监督的鱼眼相机图像特征点提取装置，所述装置包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序由所述处理器加载并执行，以实现如权利要求1至6任一项所述基于自监督的鱼眼相机图像特征点提取方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如权利要求1至6任一项所述基于自监督的鱼眼相机图像特征点提取方法的步骤。
CN202111338016.XA 2021-11-10 2021-11-10 自监督的鱼眼相机图像特征点提取方法、装置及存储介质 Pending CN114049479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111338016.XA CN114049479A (zh) 2021-11-10 2021-11-10 自监督的鱼眼相机图像特征点提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111338016.XA CN114049479A (zh) 2021-11-10 2021-11-10 自监督的鱼眼相机图像特征点提取方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114049479A true CN114049479A (zh) 2022-02-15

Family

ID=80208624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111338016.XA Pending CN114049479A (zh) 2021-11-10 2021-11-10 自监督的鱼眼相机图像特征点提取方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114049479A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883231A (zh) * 2023-09-07 2023-10-13 深圳魔视智能科技有限公司 鱼眼相机的图像数据生成方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017182225A1 (en) * 2016-04-21 2017-10-26 Osram Gmbh Training method and detection method for object recognition
CN108437898A (zh) * 2018-05-12 2018-08-24 吉林大学 一种基于眼动跟踪的行车环境感知装置
US20190102868A1 (en) * 2017-10-04 2019-04-04 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
US20190122378A1 (en) * 2017-04-17 2019-04-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN111738279A (zh) * 2020-06-24 2020-10-02 西藏自治区农牧科学院水产科学研究所 一种无接触式鱼类形态表型自动获取装置及方法
US20200341466A1 (en) * 2019-04-26 2020-10-29 Nvidia Corporation Intersection pose detection in autonomous machine applications
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉系统的机械式停车位泊车方法
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质
US20210312203A1 (en) * 2020-04-06 2021-10-07 Nvidia Corporation Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
CN113609888A (zh) * 2020-05-05 2021-11-05 辉达公司 利用平面单应性和自监督的场景结构理解进行对象检测

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017182225A1 (en) * 2016-04-21 2017-10-26 Osram Gmbh Training method and detection method for object recognition
US20190122378A1 (en) * 2017-04-17 2019-04-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
US20190102868A1 (en) * 2017-10-04 2019-04-04 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108437898A (zh) * 2018-05-12 2018-08-24 吉林大学 一种基于眼动跟踪的行车环境感知装置
US20200341466A1 (en) * 2019-04-26 2020-10-29 Nvidia Corporation Intersection pose detection in autonomous machine applications
US20210312203A1 (en) * 2020-04-06 2021-10-07 Nvidia Corporation Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
CN113609888A (zh) * 2020-05-05 2021-11-05 辉达公司 利用平面单应性和自监督的场景结构理解进行对象检测
CN111738279A (zh) * 2020-06-24 2020-10-02 西藏自治区农牧科学院水产科学研究所 一种无接触式鱼类形态表型自动获取装置及方法
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉系统的机械式停车位泊车方法
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. DETONE: "SuperPoint: Self-Supervised Interest Point Detection and Description", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
牛泽: "鱼眼图像的目标物体角点检测方法", 《电子测量技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883231A (zh) * 2023-09-07 2023-10-13 深圳魔视智能科技有限公司 鱼眼相机的图像数据生成方法、装置、设备及存储介质
CN116883231B (zh) * 2023-09-07 2024-02-02 深圳魔视智能科技有限公司 鱼眼相机的图像数据生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110532871B (zh) 图像处理的方法和装置
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
Geng et al. Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
CN113689540B (zh) 基于rgb视频的物体重建方法和装置
US20230080133A1 (en) 6d pose and shape estimation method
CN113065645B (zh) 孪生注意力网络、图像处理方法和装置
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN112861776A (zh) 一种基于密集关键点的人体姿态分析方法和系统
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
Fan Research and realization of video target detection system based on deep learning
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN114049479A (zh) 自监督的鱼眼相机图像特征点提取方法、装置及存储介质
Liu et al. Two-stream refinement network for RGB-D saliency detection
Żak et al. Local image features matching for real-time seabed tracking applications
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN112766353A (zh) 一种加强局部注意的双分支车辆再识别方法
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function
Alshadoodee et al. Digital camera in movement tracking on fpga board de2
CN113196279B (zh) 一种面部属性的识别方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220215

RJ01 Rejection of invention patent application after publication