CN110378837A - 基于鱼眼摄像头的目标检测方法、装置和存储介质 - Google Patents

基于鱼眼摄像头的目标检测方法、装置和存储介质 Download PDF

Info

Publication number
CN110378837A
CN110378837A CN201910406759.2A CN201910406759A CN110378837A CN 110378837 A CN110378837 A CN 110378837A CN 201910406759 A CN201910406759 A CN 201910406759A CN 110378837 A CN110378837 A CN 110378837A
Authority
CN
China
Prior art keywords
target
image
distortion
grid
fish
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910406759.2A
Other languages
English (en)
Other versions
CN110378837B (zh
Inventor
邹应全
黄春晓
黄凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Blue Structure Industrial Product Design Co Ltd
Sichuan Coach Manufacturing Co Ltd
Chengdu Technology Co Ltd
Original Assignee
Chengdu Blue Structure Industrial Product Design Co Ltd
Sichuan Coach Manufacturing Co Ltd
Chengdu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Blue Structure Industrial Product Design Co Ltd, Sichuan Coach Manufacturing Co Ltd, Chengdu Technology Co Ltd filed Critical Chengdu Blue Structure Industrial Product Design Co Ltd
Priority to CN201910406759.2A priority Critical patent/CN110378837B/zh
Publication of CN110378837A publication Critical patent/CN110378837A/zh
Application granted granted Critical
Publication of CN110378837B publication Critical patent/CN110378837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种基于鱼眼摄像头的目标检测方法、装置和存储介质，该方法包括：获取表征所述无人驾驶车辆周围环境的图像；基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet‑SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。用于解决相关技术中利用鱼眼摄像头采集的畸变图像识别目标造成的识别准确率低的技术问题。

Description

基于鱼眼摄像头的目标检测方法、装置和存储介质
技术领域
本公开属于目标检测技术领域，具体涉及一种基于鱼眼摄像头的目标检测 方法、装置和存储介质。
背景技术
随着人工智能应用的不断扩大，无人驾驶技术已经成为国内外的研究热点， 正处于高速发展的阶段。无人驾驶汽车是集环境感知、行为决策、路径规划和 导航控制等多种功能于一体的智能系统，是智能交通系统(Intelligent Traffic System,ITS)中很重要的一部分。鱼眼摄像头由于能获得更大的视场角，鱼眼 图像得到了越来越广泛的应用，很多的视频监控系统都安装了鱼眼摄像头。鱼 眼镜头一般来说是一种焦距小于等于16纳米并且视场角约等于180°的广角镜 头。与人的眼睛不同，鱼眼镜头的前部镜片以抛物形状向镜头的凸出而且焦距 很短，目的就是希望可以有更大的视场角，这一特性和鱼的眼睛非常相像，因 此称作“鱼眼镜头”。由于鱼眼镜头的特殊构造，使得它能获得或者超过人类 眼睛所能看到的视角，可以看到更加开阔的内容信息。因此，一副鱼眼图像中 浓缩了大量的场景信息，并且它是通过凝视的形式进行观察的，不用扫描旋转， 因此可以做到很小的体积，具有很强的隐蔽特性，正是由于以上的特点使得鱼 眼镜头在现实中有特别的应用场景。因而鱼眼摄像头为无人驾驶汽车的周围障 碍物规避等行为提靠信息。
相关技术中，由于采用鱼眼摄像头采集的图像为畸变图像，直接利用畸变 图像进行目标识别会导致识别准确率低。
发明内容
有鉴于此，本公开的主要目的在于提供一种基于鱼眼摄像头的目标检测方 法、装置和存储介质，用于解决相关技术中利用鱼眼摄像头采集的畸变图像识 别目标造成的识别准确率低的技术问题。
为达到上述目的，本公开实施例的第一方面，提供一种基于鱼眼摄像头的 目标检测方法，应用于无人驾驶车辆，包括：
获取表征所述无人驾驶车辆周围环境的图像；
基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非 畸变状态；
基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深 度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的训练数 据集训练得到。
可选地，所述畸变图像校正规则基于以下方式建立获得：
获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量 信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角 点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；
基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的 角点位置信息；
基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；
基于以下公式建立畸变图像至非畸变图像的变换关系：
x＝(u-c′x)/f′x
y＝(v-c′y)/f′y
|XYW|T＝R-1*|xy1|T
x′＝X/W
y′＝Y/W
x″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)
y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)
mapx(u，v)＝x″fx+cx
mapy(u，v)＝y″fy+cy
其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变 图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数， X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表 征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″， y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半 径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数， mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。
可选地，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘 格图的角点位置信息，包括：
将所述畸变的棋盘格图转换为第一灰度图；
对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；
确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格 图中方格总数的一半；
对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮 廓；
对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其 它方格作为所述目标方格的相邻方格；
基于方格的相邻关系建立方格的连接关系；
基于所述连接关系对所述方格排序，以获得所述方格的位置信息；
基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。
可选地，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：
基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的 目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；
将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的 特征信息输入AdaBoost算法进行训练，以得到目标识别模型。
本公开实施例的第二方面，提供一种基于鱼眼摄像头的目标检测装置，应用 于无人驾驶车辆，包括：
图像获取模块，被配置为获取表征所述无人驾驶车辆周围环境的图像；
图像校正模块，被配置为基于所述鱼眼摄像头的畸变图像校正规则将所述图 像从畸变状态校正为非畸变状态；
目标识别模块，被配置为基于目标识别模型识别所述图像中的目标，其中， 所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经 对应于所述目标的训练数据集训练得到。
可选地，所述畸变图像校正规则基于以下方式建立获得：
获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量 信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角 点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；
基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的 角点位置信息；
基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；
基于以下公式建立畸变图像至非畸变图像的变换关系：
x＝(u-c′x)/f′x
y＝(v-c′y)/f′y
|XYW|T＝R-1*|xy1|T
x′＝X/W
y′＝Y/W
x″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)
y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)
mapx(u，v)＝x″fx+cx
mapy(u，v)＝y″fy+cy
其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变 图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数， X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表 征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″， y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半 径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数， mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。
可选地，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘 格图的角点位置信息，包括：
将所述畸变的棋盘格图转换为第一灰度图；
对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；
确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格 图中方格总数的一半；
对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮 廓；
对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其 它方格作为所述目标方格的相邻方格；
基于方格的相邻关系建立方格的连接关系；
基于所述连接关系对所述方格排序，以获得所述方格的位置信息；
基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。
可选地，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：
基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的 目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；
将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的 特征信息输入AdaBoost算法进行训练，以得到目标识别模型。
本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算 机程序，其特征在于，该程序被处理器执行时实现上述第一方面中任一项所述 方法的步骤。
本公开实施例的第三方面，提供一种基于鱼眼摄像头的目标检测装置，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中 任一项所述方法的步骤。
通过上述技术方案，由于鱼眼摄像头获取的图像为畸变状态，在通过鱼眼摄 像头获取图像后，先通过对应于该鱼眼摄像头的畸变图像校正规则将图像从畸 变状态校正为非畸变状态，然后基于通过深度学习Mobilenet-SSD算法和 AdaBoost算法建立的目标识别模型识别图像中的目标，非畸变图像能还原目标 的真实形态，深度学习Mobilenet-SSD算法和AdaBoost算法对于目标的检测具 有较高的准确度，且检测速度快，进而结合畸变图像校正规则和深度学习 Mobilenet-SSD算法以及AdaBoost算法，能极大的提高对目标检测的准确度， 便于无人驾驶车辆根据目标检测的结果做出更加准确的避让动作。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
图1是根据一示例性示出的一种无人驾驶车辆的结构示意图。
图2是根据一示例性实施例示出的一种基于鱼眼摄像头的目标检测方法的 流程图。
图3是根据一示例性实施例示出的一种基于鱼眼摄像头的目标检测装置的 框图。
图4是根据一示例性实施例示出的一种基于鱼眼摄像头的目标检测装置的 另一框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此 处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图2是根据一示例性实施例示出的一种基于鱼眼摄像头的目标检测方法的 流程图，该方法可以应用于图1所示的无人驾驶车辆200，包括：
S10，获取表征所述无人驾驶车辆周围环境的图像；
S20，基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正 为非畸变状态；
S30，基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型 基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的 训练数据集训练得到。
在步骤S10中，鱼眼摄像头可以设置于无人驾驶车辆前方，进而获取无人驾 驶车辆前方环境的图像，鱼眼摄像头也可以设置于无人驾驶车辆后方，进而获 取无人驾驶车辆后方环境的图像，当然，也可以同时获取无人驾驶车辆前方和 后方环境的图像，对此，本公开不做具体限制。
获取图像后，执行步骤S20，基于所述鱼眼摄像头的畸变图像校正规则将所 述图像从畸变状态校正为非畸变状态，由于鱼眼摄像头获取的图像通常处于畸 变状态，畸变状态的图像中的物体发生变形，故需要将其校正为非畸变状态， 也即正常状态，非畸变状态的图像中的物体没有发生变形，能表征物体的正常 形态。
其中，该畸变图像校正规则基于以下方式建立获得：
获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量 信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角 点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；
棋盘格图由黑色正方形和白色正方形的方格组成，每个黑色方格的上下左右 均为白色方格，每个白色方格的上下左右均为黑色方格，类似于国际象棋的棋 盘。棋盘格图的焦点数量信息包括棋盘格图长度方向和宽度方向上的角点数量， 角点即不同相邻方格的交叉点，例如棋盘长度方向有10个方格，宽度方向有8 个方格，则棋盘长度方向有9个角点，宽度方向有7个角点。
基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的 角点位置信息；
基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；
其中，可以通过OpenCV软件的calibrateCamera函数获取鱼眼摄像头的内 参数和畸变系数，内参数可以采用如下矩阵形式存储：
在上述矩阵中，fx，fy为相机的焦距参数，cx，cy分别为主光轴点的横坐标和 纵坐标，主光轴点一般为图像中心。
畸变系数可以采用如下向量存储：
(k1，k2，p1，p2，k3)
其中，k1，k2，k3为径向畸变系数，p1，p2为切向畸变系数。
基于以下公式建立畸变图像至非畸变图像的变换关系：
x＝(u-c′x)/f′x
y＝(v-c′y)/f′y
通过该两个公式由图像坐标系返变换到相机坐标系。
|XYW|T＝R-1*|xy1|T
通过该公式实现校正反变换，一般无校正变换的相机，默认为单位矩阵。
x′＝X/W
y′＝Y/W
x″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)
y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)
通过该两个公式可以消除图像的径向与切向畸变。
mapx(u，v)＝x″fx+cx
mapy(u，v)＝y″fy+cy
通过该两个公式实现图像模型到透镜畸变模型的转换。
其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变 图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数， X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表 征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″， y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半 径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数， mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。
如此可以得到，鱼眼摄像头的成像面坐标系(u，v)与世界坐标系(x，y) 的转化关系，进而可以基于该转化关系将其它畸变图像校正为非畸变图像。
在步骤S30中，基于目标识别模型识别所述图像中的目标，其中，所述目标 识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所 述目标的训练数据集训练得到。当然，在其他可能的实施方式中，也可以选用 其它机器学习算法。
通过上述技术方案，由于鱼眼摄像头获取的图像为畸变状态，在通过鱼眼摄 像头获取图像后，先通过对应于该鱼眼摄像头的畸变图像校正规则将图像从畸 变状态校正为非畸变状态，然后基于通过深度学习Mobilenet-SSD算法和 AdaBoost算法建立的目标识别模型识别图像中的目标，非畸变图像能还原目标 的真实形态，深度学习Mobilenet-SSD算法和AdaBoost算法对于目标的检测具 有较高的准确度，且检测速度快，进而结合畸变图像校正规则和深度学习 Mobilenet-SSD算法以及AdaBoost算法，能极大的提高对目标检测的准确度， 便于无人驾驶车辆根据目标检测的结果做出更加准确的避让动作。
进一步，在上述畸变图像校正规则建立过程中，基于所述畸变的棋盘格图和 所述角点数量信息获取所述畸变的棋盘格图的角点位置信息，包括：
将所述畸变的棋盘格图转换为第一灰度图；
对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；
腐蚀和膨胀是数学形态学上的名词，如果用于图像处理上则就称为图像二值 形态学，通过腐蚀和膨胀操作可以消除第一灰度图像上细小的噪声，并平滑物 体的边界。具体实施时，腐蚀和膨胀可以分别利用OpenCV软件中的dilate和 erode函数。
确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格 图中方格总数的一半；
例如检测黑色方格和白色方格的数量是否为棋盘格图长度方向方格数量的 一半与其宽度方向方格数量的一半的乘积，若是，则确认第二灰度图为符合标 准的棋盘格图，否则获取的棋盘格图不符合标准，需要重新更换棋盘格图并重 复上述步骤直至选取的棋盘格图符合要求。
对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮 廓；
通过膨胀操作可以使得第二灰度图像向外扩张，使目标增大，填充物体内细 小的空洞，并且平滑物体的边界。具体实施过程中，可以通过OpenCV软件中的 findContour函数生成所有方格的轮廓，进而获得将棋盘分割为多个方格，便 于后续运算。
对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其 它方格作为所述目标方格的相邻方格；
在一种可能的实施方式中，经过了膨胀之后原来相邻的点从一个变成了两 个，现在将这两个点用一个点来替代，这个点就是膨胀之前的两个方格的公共 交点。
基于方格的相邻关系建立方格的连接关系；
具体来讲，遍历所有的方格，如果该方格有相邻的方格并且它还没有被归类， 则将这个方格归在一个新的集合中，之后再考察当前方格的相邻方格，如果相 邻方格的相邻方格没有被归类，那么再将新的方格加入集合中，最终，该集合 中包含了所有互相连接的方格。
基于所述连接关系对所述方格排序，以获得所述方格的位置信息；
具体来讲，将所有的相互连接的方格进行排序，考察每一个方格的相邻方格 的个数，并且通过角点的坐标是否在一直线上，可以考察每一个方格位于哪一 列哪一行，返回的方格序列以左上角的为首，顺时针排序。
如果发现上一步排序后的方格数量超过了我们输入的棋盘格图的方格总数， 那么就需要将一些不符合要求的方格剔除。我们需要找到的是最小的方格，如 果当前四个角点组成的方格可以用更小的四个角点组成的方格替代，那就将大 的那个方格剔除。一直循环直到方格的数量等于我们提供的棋盘格图中方格的 总数。从一个只有一个相邻方格的方格开始检查，将所有的方格相连的角点位 置进行一个更加精确的确定。
基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。
具体来讲，对于每一行和每一列中所有的角点，考察该角点是否投影在该行 或者该列的首位点所形成的线段上，以最终确保棋盘格方格提取的正确性。对 于最终提取出来的方格，找到其亚像素的精确角点，返回这些角点。
可选地，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：
基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的 目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；
深度学习Mobilenet-SSD算法是继Faster RCNN和YOLO之后又一个杰出 的物体检测算法。与Faster RCNN和YOLO相比，它的识别速度和性能都得到 了显著的提高。在一种可能的实施方式中，采用树莓派平台进行行人和车辆检 测，进而采用轻量级的深度学习Mobilenet-SSD算法，训练的过程可以在计算 神经棒上进行，可以使得训练的速度更快。通过上述方式对鱼眼摄像头得到的 图片进行校正后，得到校正后的校正之后的图像信息，再将图像信息通过轻量 级的Mobilenet-SSD网络框架进行算法处理，能够得到预测为障碍物的位置， 以及预测为障碍物的置信度信息。
将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的 特征信息输入AdaBoost算法进行训练，以得到目标识别模型。
AdaBoost(Adaptive Boosting)算法对行人和车辆做进一步的分类，增强算 法对难分辨样例的判别能力。
具体在使用AdaBoost算法时，可以基于以下方法：
首先赋予每一个训练样本相同的初始系数，这个系数代表了该样本在训练中 的重要程度。利用拥有相同系数的数据训练出一棵决策树，此时必然会有样本 被正确分类，而一些样本被错误分类。增大分类错误样本对应的系数，减小分 类正确样本的系数，训练新的决策树。不断迭代，直到决策树的数量达到设定 值或者样本分类错误率低于指定阈值。算法最终的分类结果由这些决策树共同 决定。不仅训练样本分配有系数，每一次迭代训练出的决策树同样分配有系数， 系数依据该决策树的错误率计算得到。通过不断提高错分样本的系数，提高决 策树对难分辨样本的重视程度，从而提高分类准确率。假设错误分类的样本数 量为ω，总的样本数量为y，则错误率ε的定义为：
而决策树的系数α依据如下公式计算:
其中，系数α为话语权系数，表征弱分类器在最终分类器中的重要程度。
计算出系数α后，对系数向量D进行更新，更新原则是降低正确分类样本的 对应系数，提高错误分类样本的对应系数，其中，D表示每次迭代过程总每个 样本的权重，计算方法如下：
对于正确分类的样本，更改其对应系数：
其中，表示训练集在第i个弱学习器迭代t+1次的输出权重，表示 训练集在第i个弱学习器迭代t次的输出权重，e为自然常数，Sum(D)表示第i个弱学习器所有迭代次数输出权重总和。
对于被错误分类的样本，更改其对应系数：
在计算出D之后，利用Adaboost算法训练新的决策树，如此反复执行训练 和样本系数更新的操作，当分类错误率低于设定阈值或者弱分类器数量达到设 定数目时，停止迭代，以将符合要求的样本挑选出来。如此可以提高目标识别 模型对于行人和车辆的识别能力，降低误检率。
在实际路况中，若检测到行人或车辆，则可以将检测结果传输给控制器，做 车辆规避预测。在一种可能的实施方式中，检测结果通过TTL转CAN传输给控 制器。
图3是根据一示例性实施例示出的一种基于鱼眼摄像头的目标检测装置的框 图，可以应用于图1所示的无人驾驶车辆200，该装置100包括：
图像获取模块110，被配置为获取表征所述无人驾驶车辆周围环境的图像；
图像校正模块120，被配置为基于所述鱼眼摄像头的畸变图像校正规则将所 述图像从畸变状态校正为非畸变状态；
目标识别模块130，被配置为基于目标识别模型识别所述图像中的目标，其 中，所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立 并经对应于所述目标的训练数据集训练得到。
可选地，所述畸变图像校正规则基于以下方式建立获得：
获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量 信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角 点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；
基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的 角点位置信息；
基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；
基于以下公式建立畸变图像至非畸变图像的变换关系：
x＝(u-c′x)/f′x
y＝(v-c′y)/f′y
|XYW|T＝R-1*|xy1|T
x′＝X/W
y′＝Y/W
x″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)
y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)
mapx(u，v)＝x″fx+cx
mapy(u，v)＝y″fy+cy
其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变 图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数， X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表 征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″， y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半 径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数， mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。
可选地，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘 格图的角点位置信息，包括：
将所述畸变的棋盘格图转换为第一灰度图；
对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；
确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格 图中方格总数的一半；
对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮 廓；
对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其 它方格作为所述目标方格的相邻方格；
基于方格的相邻关系建立方格的连接关系；
基于所述连接关系对所述方格排序，以获得所述方格的位置信息；
基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。
可选地，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：
基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的 目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；
将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的 特征信息输入AdaBoost算法进行训练，以得到目标识别模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关 该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种基于鱼眼摄像头的目标检测装置的 另一框图。如图4所示，该装置700可以包括：处理器701，存储器702。该装 置700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该装置700的整体操作，以完成上述的基于鱼 眼摄像头的目标检测方法中的全部或部分步骤。存储器702用于存储各种类型 的数据以支持在该装置700的操作，这些数据例如可以包括用于在该装置700 上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如图片、 视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它 们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简 称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory， 简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏 幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频 信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。 所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。 音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器 701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮 等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该装置700与 其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等 等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件707 可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，装置700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器 (DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device， 简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、 控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于鱼眼 摄像头的目标检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介 质，该程序指令被处理器执行时实现上述的基于鱼眼摄像头的目标检测方法的 步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上 述程序指令可由装置700的处理器701执行以完成上述的基于鱼眼摄像头的目 标检测方法。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表 示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还 包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装 置所固有的要素。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于 上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技 术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征， 在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重 复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不 违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种基于鱼眼摄像头的目标检测方法，其特征在于，应用于无人驾驶车辆，包括：
获取表征所述无人驾驶车辆周围环境的图像；
基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；
基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。
2.根据权利要求1所述的方法，其特征在于，所述畸变图像校正规则基于以下方式建立获得：
获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；
基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息；
基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；
基于以下公式建立畸变图像至非畸变图像的变换关系：
x＝(u-c′x)/f′x
y＝(v-c′y)/f′y
|xYW|T＝R-1*|xyl|T
x'＝x/W
y′＝Y/W
x″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)
y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)
mapx(u，v)＝x″fx+cx
mapy(u，v)＝y″fy+cy
其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数，X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″，y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数，mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。
3.根据权利要求2所述的方法，其特征在于，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息，包括：
将所述畸变的棋盘格图转换为第一灰度图；
对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；
确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格图中方格总数的一半；
对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮廓；
对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其它方格作为所述目标方格的相邻方格；
基于方格的相邻关系建立方格的连接关系；
基于所述连接关系对所述方格排序，以获得所述方格的位置信息；
基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。
4.根据权利要求1所述的方法，其特征在于，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：
基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；
将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息输入AdaBoost算法进行训练，以得到目标识别模型。
5.一种基于鱼眼摄像头的目标检测装置，其特征在于，应用于无人驾驶车辆，包括：
图像获取模块，被配置为获取表征所述无人驾驶车辆周围环境的图像；
图像校正模块，被配置为基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；
目标识别模块，被配置为基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。
6.根据权利要求5所述的装置，其特征在于，所述畸变图像校正规则基于以下方式建立获得：
获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；
基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息；
基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；
基于以下公式建立畸变图像至非畸变图像的变换关系：
x＝(u-c′x)/f′x
y＝(v-c′y)/f′y
|XYW|T＝R-1*|xy1|T
x′＝X/W
y′＝Y/W
x″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)
y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)
mapx(u，v)＝x″fx+cx
mapy(u，v)＝y″fy+cy
其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数，X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″，y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数，mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。
7.根据权利要求6所述的装置，其特征在于，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息，包括：
将所述畸变的棋盘格图转换为第一灰度图；
对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；
确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格图中方格总数的一半；
对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮廓；
对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其它方格作为所述目标方格的相邻方格；
基于方格的相邻关系建立方格的连接关系；
基于所述连接关系对所述方格排序，以获得所述方格的位置信息；
基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。
8.根据权利要求5所述的装置，其特征在于，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：
基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；
将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息输入AdaBoost算法进行训练，以得到目标识别模型。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
10.一种基于鱼眼摄像头的目标检测装置，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至4中任一项所述方法的步骤。
CN201910406759.2A 2019-05-16 2019-05-16 基于鱼眼摄像头的目标检测方法、装置和存储介质 Active CN110378837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406759.2A CN110378837B (zh) 2019-05-16 2019-05-16 基于鱼眼摄像头的目标检测方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406759.2A CN110378837B (zh) 2019-05-16 2019-05-16 基于鱼眼摄像头的目标检测方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN110378837A true CN110378837A (zh) 2019-10-25
CN110378837B CN110378837B (zh) 2023-10-20

Family

ID=68248557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406759.2A Active CN110378837B (zh) 2019-05-16 2019-05-16 基于鱼眼摄像头的目标检测方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110378837B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929606A (zh) * 2019-11-11 2020-03-27 浙江鸿泉车联网有限公司 车辆盲区行人监控方法和装置
CN111028161A (zh) * 2019-11-22 2020-04-17 维沃移动通信有限公司 图像校正方法及电子设备
CN112837209A (zh) * 2019-11-22 2021-05-25 百度（美国）有限责任公司 对鱼眼镜头生成具有畸变的图像的新方法
CN113095208A (zh) * 2021-04-08 2021-07-09 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113610927A (zh) * 2021-08-06 2021-11-05 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备
WO2022078463A1 (zh) * 2020-10-16 2022-04-21 爱驰汽车（上海）有限公司 基于汽车的障碍物检测方法及装置
CN115115552A (zh) * 2022-08-25 2022-09-27 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN117541761A (zh) * 2023-11-14 2024-02-09 珠海安联锐视科技股份有限公司 一种基于深度学习的鱼眼镜头下包裹检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093365A1 (en) * 2010-10-15 2012-04-19 Dai Nippon Printing Co., Ltd. Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
CN108876749A (zh) * 2018-07-02 2018-11-23 南京汇川工业视觉技术开发有限公司 一种鲁棒的镜头畸变校正方法
CN108932505A (zh) * 2018-07-25 2018-12-04 维沃移动通信有限公司 一种图像处理方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093365A1 (en) * 2010-10-15 2012-04-19 Dai Nippon Printing Co., Ltd. Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
CN108876749A (zh) * 2018-07-02 2018-11-23 南京汇川工业视觉技术开发有限公司 一种鲁棒的镜头畸变校正方法
CN108932505A (zh) * 2018-07-25 2018-12-04 维沃移动通信有限公司 一种图像处理方法和电子设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929606A (zh) * 2019-11-11 2020-03-27 浙江鸿泉车联网有限公司 车辆盲区行人监控方法和装置
CN111028161B (zh) * 2019-11-22 2024-04-05 维沃移动通信有限公司 图像校正方法及电子设备
CN111028161A (zh) * 2019-11-22 2020-04-17 维沃移动通信有限公司 图像校正方法及电子设备
CN112837209A (zh) * 2019-11-22 2021-05-25 百度（美国）有限责任公司 对鱼眼镜头生成具有畸变的图像的新方法
CN112837209B (zh) * 2019-11-22 2024-04-16 百度（美国）有限责任公司 对鱼眼镜头生成具有畸变的图像的新方法
WO2022078463A1 (zh) * 2020-10-16 2022-04-21 爱驰汽车（上海）有限公司 基于汽车的障碍物检测方法及装置
CN113095208A (zh) * 2021-04-08 2021-07-09 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113095208B (zh) * 2021-04-08 2024-01-26 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113610927A (zh) * 2021-08-06 2021-11-05 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备
CN115115552A (zh) * 2022-08-25 2022-09-27 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN115115552B (zh) * 2022-08-25 2022-11-18 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN117541761A (zh) * 2023-11-14 2024-02-09 珠海安联锐视科技股份有限公司 一种基于深度学习的鱼眼镜头下包裹检测方法
CN117541761B (zh) * 2023-11-14 2024-05-10 珠海安联锐视科技股份有限公司 一种基于深度学习的鱼眼镜头下包裹检测方法

Also Published As

Publication number Publication date
CN110378837B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN110378837A (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN104700099B (zh) 识别交通标志的方法和装置
CN103902976B (zh) 一种基于红外图像的行人检测方法
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN109697441B (zh) 一种目标检测方法、装置及计算机设备
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN101271515A (zh) 能识别多角度目标的图像检测装置
CN112288008A (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112949508A (zh) 模型训练方法、行人检测方法、电子设备及可读存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
JP2015204030A (ja) 認識装置及び認識方法
CN109671055A (zh) 肺结节检测方法及装置
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法
CN118015490A (zh) 一种无人机航拍图像小目标检测方法、系统及电子设备
CN111178178B (zh) 结合区域分布的多尺度行人重识别方法、系统、介质及终端
CN113160117A (zh) 一种自动驾驶场景下的三维点云目标检测方法
CN111160282A (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN115100428A (zh) 一种利用上下文感知的目标检测方法
CN108427957B (zh) 图像分类方法及系统
Apatean et al. Visible-infrared fusion in the frame of an obstacle recognition system
CN114998711A (zh) 一种空中红外弱小目标检测方法、系统及计算机存储介质
Manasa et al. Differential evolution evolved RBFNN based automated recognition of traffic sign images
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant