CN111723801A - 鱼眼相机图片中目标检测矫正的方法与系统 - Google Patents

鱼眼相机图片中目标检测矫正的方法与系统 Download PDF

Info

Publication number
CN111723801A
CN111723801A CN202010593321.2A CN202010593321A CN111723801A CN 111723801 A CN111723801 A CN 111723801A CN 202010593321 A CN202010593321 A CN 202010593321A CN 111723801 A CN111723801 A CN 111723801A
Authority
CN
China
Prior art keywords
roi
new
target
picture
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010593321.2A
Other languages
English (en)
Other versions
CN111723801B (zh
Inventor
杨帆
王瀚洋
胡建国
白立群
陈凯琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202010593321.2A priority Critical patent/CN111723801B/zh
Publication of CN111723801A publication Critical patent/CN111723801A/zh
Application granted granted Critical
Publication of CN111723801B publication Critical patent/CN111723801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种鱼眼相机图片中目标检测矫正的方法与系统，包括：接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；检测鱼眼中照片中的行人目标；以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；获取目标框中心点与鱼眼图片中心点的竖向夹角；根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；获取目标框在新的感兴趣区域new_ROI中位置；新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。本发明根据目标在鱼眼图片中的位置，将目标旋转正向将旋转的目标矫正正向，便于目标的识别。

Description

鱼眼相机图片中目标检测矫正的方法与系统
技术领域
本发明涉及图像处理技术领域，具体而言涉及一种鱼眼相机图片中目标检测矫正的方法与系统。
背景技术
在目前安防领域中，因为鱼眼镜头视角范围广，通常会使用其作为视频流采集工具。但在实际应用鱼眼镜头过程中存在图像畸变的问题，并且越远离图片中心畸变越严重。同时，鱼眼镜头中的目标旋转角度各异，旋转的目标不便于识别。这两种问题带来了一定的识别困难。
目前最常见的解决办法是使用标定方法获取鱼眼镜头相机内参后将鱼眼畸变图片矫正，再使用矫正后的图片进行处理。该解决方法的缺点在于矫正的结果并非完全将畸变图片矫正正确，同时不同的相机镜头因安装不一致会导致内参存在差异，使得不同的相机不能复用同一套标定参数。同时，对矫正后的图片的深度学习图像检测和识别方法是基于图像的像素值，矫正后的图片并没有增加额外的目标像素信息，因此就算使用矫正后的图片进行检测和识别，基本没有增益。
在识别任务中，目标为正向的识别通过率一般比其他旋转角度高，为提升识别精度，需将目标旋转至正向。
发明内容
本发明目的在于提供一种鱼眼相机图片中目标检测矫正的方法与系统，利用鱼眼相机图片的特性，根据目标在图片中的位置，将目标旋转正向将旋转的目标矫正正向，便于目标的识别，尤其是行人检测与识别。
为实现上述目的，本发明的第一方面提出一种鱼眼相机图片中目标检测矫正的方法，包括以下步骤：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。
根据本发明的第二方面还提出一种鱼眼相机图片中目标检测框矫正的系统，包括：
用于接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片的模块；
用于检测鱼眼中照片中的行人目标的；
用于以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI的模块；
用于获取目标框中心点与鱼眼图片中心点的竖向夹角的模块；
用于根据所述竖向夹角和旋转中心确定旋转矩阵的模块，其中以所述目标框中心点作为旋转中心；
用于利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI的模块；
用于获取目标框在新的感兴趣区域new_ROI中位置的模块；以及
用于对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片的模块。
根据本发明的第三方面还提出一种鱼眼相机图片中目标检测框矫正的系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。
由以上本发明的技术方案，根据目标在图片中的位置，计算出旋转角度，将旋转的目标矫正正向，提升鱼眼相机图片目标的识别。本发明在实施过程中根据鱼眼镜头的特性，在检测任务中，无需增加额外的角度信息，就能得到准确的目标旋转角度；对于鱼眼镜头中带有不同旋转角度、带有畸变的目标，能够准确分割目标边界框，使得目标包含更少的干扰信息，便于识别。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是根据本发明实施例的鱼眼相机图片中目标检测框矫正的流程示意图。
图2是鱼眼相机获得的鱼眼照片的示意图，其中第一层级小框表示检测的目标框，经过放大后抠取第二层大框作为感兴趣区域ROI。
图3a-3c是根据三个感兴趣区域ROI的示意图。
图4a-4c是对应于图3a-3c的三个示意图，利用旋转矩阵对ROI进行仿射变换得到新的感兴趣区域new_ROI的示意图，其中将目标转正。
图5a-5c是对应于图3a-3c对应的目标检测得到的三个行人目标的目标框在new_ROI中的位置。
图6a-6c是对应于图3a-3c对应的目标检测得到的三个行人目标的图示。
图7a-7c是对应于本发明的校正后的图4a-4c得到的三个行人目标的图示。
图8是根据本发明实施例的鱼眼相机图片中目标检测框矫正的测试结果的示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1-7所示，根据本发明的示例性实施例的一种鱼眼相机图片中目标检测矫正的方法，包括以下步骤：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。
下面结合图2-图7所示，更加具体地阐述上述过程的实施例。
在一些场景中，例如商场、银行、博物馆等场所，通过鱼眼相机作为监控采集设备(安防摄像头)，采集镜头前方的视频并上传到系统进行视频处理和分析。例如在一些实施例中，这些输出的视频流被设置在本地的边缘计算设备或者平台用来进行目标检测，例如行人检测，或者上传到云端服务器进行目标检测。
本发明的实施例中，对鱼眼相机图片中目标检测的矫正包括三个阶段：目标检测、确定旋转角并进行角度变换得到新的感兴趣区域以及重新获得检测输入，从而作为输入图片进行目标检测。
目标检测，尤其是行人检测，可基于现有的一些行人检测算法实现，检测图片中的人体位置的
计算旋转角θ及仿射变换用于矫正目标，便于高效识别。
结合图1所示，在步骤3中，对于框检测中心点坐标为(x1，y1)，宽为w，高为h，则对目标框扩边抠取，作为感兴趣区域ROI，其中所述的扩边抠取的操作包括：保持目标框中心点不变，将宽w和高h分别扩展至原来的N倍。
结合图2所示的是鱼眼相机获得的鱼眼照片的示意图，其中第一层级小框(深黑框)表示检测的目标框，经过放大后抠取第二层大框(浅色框)作为感兴趣区域ROI。图3a-3c示例性地表示了根据三个感兴趣区域ROI的示意。
其中，优选地，宽w和高h的扩展倍数N取值在3-5之间。
在步骤4中，根据鱼眼图片中心点(x2，y2)，计算目标框中心点和鱼眼图片中心点的连线与竖直线的竖向夹角θ，其中先分别计算前述两个中心点的水平距离dx和竖直距离dy：
dx＝x2-x1
dy＝y2-y1
然后，根据反正切公式，可计算出θ：
θ＝arctan(dx/dy)。
由于之前计算的旋转角度θ是目标距离竖直线的偏角，为将目标旋转正向，需要旋转-θ才能至正向。因此，在本发明的步骤5中，根据竖向夹角θ计算目标框的旋转矩阵M，其中旋转过程以原目标框中心点为旋转中心，将旋转中心作为新坐标(0,0)点，旋转矩阵M计算公式为：
Figure BDA0002556545840000051
优选地，在步骤6中，对于感兴趣区域ROI中的任意一像素点C坐标(x，y)，经旋转后得到新的点C′坐标(x′，y′)，旋转前后两点之间的关系为C′＝C×M，具体关系如下：
x′＝xcosθ+ysinθ
y′＝-xsinθ+ycosθ
则，感兴趣区域ROI中的所有像素点逐一利用旋转矩阵M经过仿射变换得到新的感兴趣区域new_ROI。
结合图4a-4c所示，是对应于图3a-3c的三个示意并利用旋转矩阵对ROI进行仿射变换得到新的感兴趣区域new_ROI的示意图，其中将目标转正。
在步骤6中，目标框在新的感兴趣区域new_ROI中位置根据下述方式确定：
以原目标框中心点为旋转中心，将感兴趣区域ROI旋转-θ角度后，则旋转后的目标框中的目标的坐标点即对应为旋转前的坐标点。
在步骤7的抠取操作包括：将目标框在新的感兴趣区域new_ROI中的区域像素取出。
结合图5a-5c、6a-6c以及图7a-7c所示，分别是原始的行人检测算法的检测框得到的行人抠图的结果，以及通过本发明的方法进行矫正后的检测框得到的行人抠图的结果，显然通过本发明处理矫正后的图像输出更利于后期的检测和识别，识别的效率和精确度更好。
结合以下试验对上述本发明的实施例的方法进行测试与验证。
本实验中测试集共5000张图片，其中包含11471个行人，图片均为鱼眼镜头下采集，不同位置的行人形态、角度各异。通过本发明的方式分别进行目标检测、目标矫正、目标识别。在对比实验中，目标检测阶段使用同样的检测器和流程，检测器结果同为召回9749个行人框、203个误检框，则目标识别将对9952个框进行操作。同时，为验证识别训练方式的影响，加入了是否使用旋转的行人patch进行训练的变量。
通过实验结果可以看出，无目标矫正的行人检测结果中由于同时存在各种角度的行人框，如果训练中不使用旋转的行人patch训练，即只使用正向的行人patch训练识别模型，识别的精度最低，因为训练集和测试集场景差异太大。对于无目标矫正的行人框，识别模型使用加入旋转行人patch，精度明显的提升，此时训练集和测试集场景较为相似。
有目标矫正的行人检测结果基本只存在正向的同一角度的行人框，而识别模型使用加入旋转行人patch训练，精度能够继续提升，因为此时识别模型的测试场景变得简单，但因训练集和测试集有较大差异，精度并非最佳；使用本专利的方法，有目标矫正的行人框，识别模型训练不使用加入旋转行人patch，测试场景简单化的前提下，训练和测试保持一致，使得精度达到最高。
结合上述实施例，本发明还可以按照下述配置实施。
{鱼眼相机图片中目标检测框矫正的系统}
鱼眼相机图片中目标检测框矫正的系统，包括：
用于接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片的模块；
用于检测鱼眼中照片中的行人目标的；
用于以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI的模块；
用于获取目标框中心点与鱼眼图片中心点的竖向夹角的模块；
用于根据所述竖向夹角和旋转中心确定旋转矩阵的模块，其中以所述目标框中心点作为旋转中心；
用于利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI的模块；
用于获取目标框在新的感兴趣区域new_ROI中位置的模块；以及
用于对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片的模块。
{鱼眼相机图片中目标检测框矫正的系统}
鱼眼相机图片中目标检测框矫正的系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种鱼眼相机图片中目标检测矫正的方法，其特征在于，包括以下步骤：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。
2.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤3中，对于框检测中心点坐标为(x1，y1)，宽为w，高为h，则对目标框扩边抠取，作为感兴趣区域ROI，其中所述的扩边抠取的操作包括：保持目标框中心点不变，将宽w和高h分别扩展至原来的N倍。
3.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤3中，宽w和高h的扩展倍数N取值在3-5之间。
4.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤4中，根据鱼眼图片中心点(x2，y2)，计算目标框中心点和鱼眼图片中心点的连线与竖直线的竖向夹角θ，其中先分别计算前述两个中心点的水平距离dx和竖直距离dy：
dx＝x2-x1
dy＝y2-y1
然后，根据反正切公式，可计算出θ：
θ＝arctan(dx/dy)。
5.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤5中，根据竖向夹角θ计算目标框的旋转矩阵M，其中旋转过程以原目标框中心点为旋转中心，将旋转中心作为新坐标(0,0)点，旋转矩阵M计算公式为：
Figure FDA0002556545830000011
6.根据权利要求5所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，在所述步骤6中，对于感兴趣区域ROI中的任意一像素点C坐标(x，y)，经旋转后得到新的点C′坐标(x′，y′)，旋转前后两点之间的关系为C′＝C×M，具体关系如下：
x′＝xcosθ+ysinθ
y'＝-xsinθ+ycosθ
则，感兴趣区域ROI中的所有像素点逐一利用所述旋转矩阵M经过仿射变换得到新的感兴趣区域new_ROI。
7.根据权利要求4所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤6中，目标框在新的感兴趣区域new_ROI中位置根据下述方式确定：
以原目标框中心点为旋转中心，将感兴趣区域ROI旋转-θ角度后，则旋转后的目标框中的目标的坐标点即对应为旋转前的坐标点。
8.根据权利要求5所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤7的抠取操作包括：将目标框在新的感兴趣区域new_ROI中的区域像素取出。
9.一种鱼眼相机图片中目标检测框矫正的系统，其特征在于，包括：
用于接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片的模块；
用于检测鱼眼中照片中的行人目标的；
用于以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI的模块；
用于获取目标框中心点与鱼眼图片中心点的竖向夹角的模块；
用于根据所述竖向夹角和旋转中心确定旋转矩阵的模块，其中以所述目标框中心点作为旋转中心；
用于利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI的模块；
用于获取目标框在新的感兴趣区域new_ROI中位置的模块；以及
用于对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片的模块。
10.一种鱼眼相机图片中目标检测框矫正的系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。
CN202010593321.2A 2020-06-26 2020-06-26 鱼眼相机图片中目标检测矫正的方法与系统 Active CN111723801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010593321.2A CN111723801B (zh) 2020-06-26 2020-06-26 鱼眼相机图片中目标检测矫正的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010593321.2A CN111723801B (zh) 2020-06-26 2020-06-26 鱼眼相机图片中目标检测矫正的方法与系统

Publications (2)

Publication Number Publication Date
CN111723801A true CN111723801A (zh) 2020-09-29
CN111723801B CN111723801B (zh) 2022-09-02

Family

ID=72568989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010593321.2A Active CN111723801B (zh) 2020-06-26 2020-06-26 鱼眼相机图片中目标检测矫正的方法与系统

Country Status (1)

Country Link
CN (1) CN111723801B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733650A (zh) * 2020-12-29 2021-04-30 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN112801044A (zh) * 2021-03-11 2021-05-14 重庆紫光华山智安科技有限公司 视频图像处理方法、装置、视频客户端及解析平台
CN113326793A (zh) * 2021-06-15 2021-08-31 上海有个机器人有限公司 一种远距离行人位置识别方法、系统及存储介质
CN113963339A (zh) * 2021-09-02 2022-01-21 泰康保险集团股份有限公司 一种信息提取方法和装置
CN115477211A (zh) * 2021-06-15 2022-12-16 中移(成都)信息通信科技有限公司 一种电梯停靠方法、装置、设备及存储介质
CN117876822A (zh) * 2024-03-11 2024-04-12 盛视科技股份有限公司 应用于鱼眼场景中的目标检测迁移训练方法
CN117876822B (zh) * 2024-03-11 2024-05-28 盛视科技股份有限公司 应用于鱼眼场景中的目标检测迁移训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446909A (zh) * 2018-09-27 2019-03-08 山东省科学院自动化研究所 一种单目测距辅助泊车系统及方法
CN111260539A (zh) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446909A (zh) * 2018-09-27 2019-03-08 山东省科学院自动化研究所 一种单目测距辅助泊车系统及方法
CN111260539A (zh) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733650A (zh) * 2020-12-29 2021-04-30 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN112733650B (zh) * 2020-12-29 2024-05-07 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN112801044A (zh) * 2021-03-11 2021-05-14 重庆紫光华山智安科技有限公司 视频图像处理方法、装置、视频客户端及解析平台
CN112801044B (zh) * 2021-03-11 2023-05-23 重庆紫光华山智安科技有限公司 视频图像处理方法、装置、视频客户端及解析平台
CN113326793A (zh) * 2021-06-15 2021-08-31 上海有个机器人有限公司 一种远距离行人位置识别方法、系统及存储介质
CN115477211A (zh) * 2021-06-15 2022-12-16 中移(成都)信息通信科技有限公司 一种电梯停靠方法、装置、设备及存储介质
CN115477211B (zh) * 2021-06-15 2023-10-27 中移(成都)信息通信科技有限公司 一种电梯停靠方法、装置、设备及存储介质
CN113326793B (zh) * 2021-06-15 2024-04-05 上海有个机器人有限公司 一种远距离行人位置识别方法、系统及存储介质
CN113963339A (zh) * 2021-09-02 2022-01-21 泰康保险集团股份有限公司 一种信息提取方法和装置
CN117876822A (zh) * 2024-03-11 2024-04-12 盛视科技股份有限公司 应用于鱼眼场景中的目标检测迁移训练方法
CN117876822B (zh) * 2024-03-11 2024-05-28 盛视科技股份有限公司 应用于鱼眼场景中的目标检测迁移训练方法

Also Published As

Publication number Publication date
CN111723801B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与系统
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN104392416A (zh) 一种运动场景的视频拼接方法
US11843865B2 (en) Method and device for generating vehicle panoramic surround view image
CN103902953B (zh) 一种屏幕检测系统及方法
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
US8903124B2 (en) Object learning method, object tracking method using the same, and object learning and tracking system
CN109741370B (zh) 一种目标跟踪方法和装置
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN116152068A (zh) 一种可用于太阳能板图像的拼接方法
CN110910418B (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
CN115546312A (zh) 一种相机外参数的校正方法及装置
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN111583341B (zh) 云台像机移位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder