CN111612812B - 目标物检测方法、检测装置和电子设备 - Google Patents

目标物检测方法、检测装置和电子设备 Download PDF

Info

Publication number
CN111612812B
CN111612812B CN201910132115.9A CN201910132115A CN111612812B CN 111612812 B CN111612812 B CN 111612812B CN 201910132115 A CN201910132115 A CN 201910132115A CN 111612812 B CN111612812 B CN 111612812B
Authority
CN
China
Prior art keywords
image
reverse
processing unit
target object
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910132115.9A
Other languages
English (en)
Other versions
CN111612812A (zh
Inventor
陈少奇
王琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910132115.9A priority Critical patent/CN111612812B/zh
Priority to JP2020005616A priority patent/JP7363504B2/ja
Priority to US16/750,805 priority patent/US11398009B2/en
Publication of CN111612812A publication Critical patent/CN111612812A/zh
Application granted granted Critical
Publication of CN111612812B publication Critical patent/CN111612812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06T3/047—
    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请提供一种基于鱼眼相机拍摄的图像进行目标物检测的装置、方法和电子设备，该装置包括：第一处理单元，其将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；第二处理单元，其分别检测各反向映射图像中的目标物；以及第三处理单元，其检测从各反向映射图像中检测出的目标物中的同一目标物。根据本申请，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。

Description

目标物检测方法、检测装置和电子设备
技术领域
本申请涉及信息技术领域，特别涉及一种基于鱼眼相机拍摄的图像进行目标物检测的方法、装置和电子设备。
背景技术
与传统的相机相比，鱼眼相机(fisheye camera)具有更宽的视场(Field OfView，FOV)，能够拍摄到更多的环境信息，例如，鱼眼相机的视场可以达到120度以上，甚至超过180度。
但是，鱼眼相机也存在一些局限性，例如，越靠近图像边缘，变形越严重。因此，在使用鱼眼相机拍摄道路时，车道线和车辆往往会严重扭曲，从而使图像处理变得困难，进而难以根据图像处理的结果准确地计算车速。
基于上述原因，目前的智能交通系统(Intelligent Traffic System，ITS)通常使用传统的相机进行视频监控。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本申请的发明人发现，在使用鱼眼相机进行拍摄的情况下，鱼眼相机所拍摄的图像的边缘部分通常被切除，仅图像中央部分被保留并被用于图像处理，这样，图像的边缘部分的信息被丢弃，从而难以发挥鱼眼相机的宽视场的优势。
本申请实施例提供一种基于鱼眼相机拍摄的图像进行目标物检测的方法、装置和电子设备，在将鱼眼相机拍摄的图像进行反向映射时，形成至少两个视角朝向不同的反向映射图像，并基于各反向映射图像进行目标物的检测，由此，不必对鱼眼相机拍摄的图像进行切除，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。
根据本申请实施例的第一方面，提供一种基于鱼眼相机拍摄的图像进行目标物检测的装置，该装置包括：
第一处理单元，其将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；
第二处理单元，其分别检测各反向映射图像中的目标物；以及
第三处理单元，其检测从各反向映射图像中检测出的目标物中的同一目标物。
据本实施例的第二方面，提供一种基于鱼眼相机拍摄的图像进行目标物检测的方法，该方法包括：
将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；
分别检测各反向映射图像中的目标物；以及
检测从各反向映射图像中检测出的目标物中的同一目标物。
根据本实施例的第三方面，提供一种电子设备，其包括本实施例的第一方面的装置。
本申请实施例的有益效果在于：在将鱼眼相机拍摄的图像进行反向映射时，形成至少两个视角朝向不同的反向映射图像，并基于各反向映射图像进行目标物的检测，由此，不必对鱼眼相机拍摄的图像进行切出，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附附记的条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
在本申请实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请实施例1的目标物检测方法的一个示意图；
图2是本申请实施例1的原始图像和尺寸调整后图像的一个示意图；
图3是本申请实施例1的圆柱面投影模型上的图像和反向映射得到的图像的一个示意图；
图4是本申请实施例1的offset的不同取值与反向映射得到的平面图像的示意图；
图5是本申请实施例1的进行目标物检测的方法的一个示意图；
图6是本申请实施例1的检测同一目标物的方法的一个示意图；
图7是本申请实施例1的基于鱼眼相机拍摄的图像进行目标物检测的方法的一个流程示意图；
图8是本申请实施例2的基于鱼眼相机拍摄的图像进行目标物检测的装置的一个示意图；
图9是图8的装置中第三处理单元的一个示意图；
图10是图8的装置中第六处理单元的一个示意图；
图11是本申请实施例3的电子设备构成示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附附记的范围内的全部修改、变型以及等同物。下面结合附图对本申请的各种实施方式进行说明。这些实施方式只是示例性的，不是对本申请的限制。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“该”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
实施例1
本申请实施例1提供一种目标物检测方法，基于鱼眼相机拍摄的图像进行目标物检测。
图1是本实施例的目标物检测方法的一个示意图。如图1所示，该方法包括：
步骤101、将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；
步骤102、分别检测各反向映射图像中的目标物；以及
步骤103、判断从各反向映射图像中检测出的目标物是否为同一目标物。
根据本实施例，在将鱼眼相机拍摄的图像进行反向映射时，形成至少两个视角朝向不同的反向映射图像，并基于各反向映射图像进行目标物的检测，由此，不必对鱼眼相机拍摄的图像进行切除，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。
在本实施例中，鱼眼相机拍摄的原始图像可以来自于鱼眼相机实时拍摄的图像，也可以来自于存储在存储设备中的由鱼眼相机拍摄的图像，本实施例对此不做限制。
在本实施例中，该鱼眼相机拍摄的被摄体可以是马路或室内环境等，目标物可以是图像中的人物或车辆等。在本实施例的下述说明中，该鱼眼相机用于进行交通监控，被摄体为行车道，目标物为行车道上的车辆等物体。此外，本实施例可以不限于此，该鱼眼相机也可以用于拍摄其它被摄体，目标物也可以是图像中的其它物体。
在本实施例的步骤101中，可以将鱼眼相机拍摄的原始图像映射到圆柱面模型上或者球面模型上，从而能够对该原始图像进行校正。其中，将原始图像映射到圆柱面模型上或者球面模型上的具体方法可以参考现有技术，例如，在进行图像拼接(image stitching)时所进行的将原始图像映射到圆柱面模型上或者球面模型上的处理。
在本实施例的一个实施方式中，可以在步骤101中将原始图像映射到圆柱面模型上，其中，圆柱面模型例如可以是半圆柱面模型，由此，可以将原始图像中视场角为180度范围内的图像映射到该半圆柱面模型上。
此外，在本实施例中，在将原始图像映射到半圆柱面模型上之前，还可以对原始图像的尺寸进行调整，使得调整后的尺寸符合下述的公式(1)。
在公式(1)中，width表示调整后的图像的宽度，即，水平方向的尺寸；height表示调整后的图像的高度，即，与水平方向垂直的垂直方向的尺寸；HFOV为原始图像的水平视场角，即，沿宽度方向的视场角；UVFOV为原始图像的垂直方向的第一视场角，DVFOV为原始图像的垂直方向的第二视场角，其中，UVFOV、DVFOV分别表示鱼眼相机的镜头的中心光轴相对于原始图像的上下边缘的张开角度。
此外，公式(1)中的180度是指半圆柱面模型的横截面圆弧对应的圆心角；当使用整圆柱面模型替换半圆柱面模型时，圆柱面模型的横截面圆弧对应的圆心角为360度，因此，公式(1)中的180度可以被替换为360度。
图2是原始图像和尺寸调整后图像的一个示意图，其中，w1和h1分别表示原始图像201的宽度和高度，w2和h2分别表示尺寸调整后的图像202的宽度和高度，其中，w2和h2分别等于公式(1)中的width和height。
在本实施例的下述说明中，以进行了尺寸调整的方案为例进行说明。但本实施例可以不限于此，例如，可以不进行上述的尺寸调整，在不进行该尺寸调整的情况下，下述说明中的针对尺寸调整后的图像的描述可以适用于针对原始图像的描述。
在本实施例的步骤101中，可以对投影到圆柱面投影模型上的图像进行反向映射(reverse mapping)，即，将圆柱面投影模型上的图像投影到平面。
图3是本实施例的圆柱面投影模型上的图像和反向映射得到的图像的一个示意图。如图3所示，圆柱面投影模型上的图像301为AEBCFD，其中，圆柱面投影模型的投影面为半圆柱面；反向映射得到的平面图像为302；平面ABCD与图像302的平面平行。
如图3所示，o为平面ABCD的中心点，也是坐标系xyz的坐标原点，x轴平行于AB，y轴平行于AD，z轴垂直于平面ABCD。P(u,v)为图像301上的任意点。o和P的连线与图像302的交点为P’(X,Y)，即，P’(X,Y)为图像302上与P(u,v)对应的点。P’到y轴的垂线段与z方向的夹角为θ。
图3符合如下的公式(2)和(3)：
tanθ＝(X-widthtarget/2)/f (2)
其中，heighttarget和widthtarget分别表示平面图像302的高度和宽度；f表示鱼眼相机的焦距；h1表示表示上述调整后的图像的高度height。
在平面图像302的高度和宽度给定的情况下，P’(X,Y)和P(u,v)之间具有公式(4)、(5)所示的关系：
上面的公式中具有如下限定条件：offset∈(0，1)，其中，width表示上述尺寸调整后的图像的宽度。
在本实施例中，offset出现在公式(4)中，表示与原始图像的宽度相关的偏移量。
在本实施例中，在基于上述公式(2)～(4)进行反向映射时，通过调整offset的取值，可以得到在宽度方向上的视角朝向不同方向的平面图像，例如，将offset取值设置为大于第一值，可以得到第一平面图像，将offset取值设置为小于第一值，可以得到第二平面图像，第一平面图像和第二平面图像在宽度方向上的视角朝向不同方向。
在一个实施方式中，当offset取值为第一值时，平面图像的宽度方向上的视角朝向宽度方向的中心位置；当offset取值小于第一值时，平面图像的宽度方向上的视角相对于宽度方向的中心位置偏左；当offset取值大于第一值时，平面图像的宽度方向上的视角相对于宽度方向的中心位置偏右。
例如，第一值可以为0.5；当offset取值小于第一值时，offset取值可以是0.45；当offset取值大于第一值时，offset取值可以是0.55。
图4是offset的不同取值与反向映射得到的平面图像的示意图。图4的(a)表示offset取值为第一值时的平面图像，图4的(b)表示offset取值小于第一值时的平面图像，图4的(c)表示offset取值大于第一值时的平面图像。图4的各平面图像所对应的原始图像如图2的原始图像201所示。
如图4所示，在本实施例中，(a)、(b)、(c)对应的offset可以分别是0.5，0.45，0.55，此外，也可以是其它取值。
此外，在本实施例中，也可以在公式(5)中设置与原始图像的高度相关的偏移量offset1，通过调整offset1，能够得到在高度方向上的视角朝向不同方向的至少两个反向映射图像。
在一个实施方式中，在步骤101进行反向映射时，可以调整偏移量offset来得到至少两个反向映射图像，和/或调整offset1来得到至少两个反向映射图像。
此外，在本实施例的上述说明中，在将原始图像投影到圆柱面投影模型的情况下，进行反向映射并得到至少2个反向映射图像。本实施例不限于此，例如，在将原始图像投影到球面投影模型的情况下，也可以进行反向映射并得到至少2个反向映射图像。
在本实施例的下述说明中，将以“调整偏移量offset来得到两个反向映射图像”为例进行说明，其他情况下的处理可以与之类似。
在本实施例的步骤102中，可以针对步骤101生成的至少两个反向映射图像，分别检测各反向映射图像中的目标物，由此，针对各反向映射图像，都有其对应的目标物检测结果，例如，针对图4的(b)和(c)，分别检测其中的目标物。
在一个实施方式中，可以基于前景和背景检测的方法来检测各反向映射图像中的目标物，或者，可以基于分类器来检测各反向映射图像中的目标物，或者，可以将两种检测方式进行结合，例如，将基于前景和背景检测的方法检测出的目标物和基于分类器检测出的目标物进行融合，从而得到最终的目标物检测结果。
图5是本实施例的进行目标物检测的方法的一个示意图，如图5所示，针对各反向映射图像，进行目标物检测的方法可以包括：
步骤501、对反向映射图像进行前景检测和背景检测，例如，可以采用Vibe算法进行前景检测和背景检测；
步骤502、基于预设的阈值，对前景进行阈值化处理，得到二值化图像，例如，将前景中像素值大于或等于阈值的像素设定为白色像素，将前景中像素值小于阈值的像素设定为黑色像素，从而得到二值化图像；
步骤503、对二值化图像进行形态学处理(morphological processing)，将二值化图像中像素数量较小的区域去除，从而得到至少1个像素集合(blob)；
步骤504、对形态学处理后的二值化图像进行连通域处理(connected domainprocessing)，从而将邻近的像素集合合并为较大的像素集合；
步骤505、基于连通域处理的结果，进行团块(blob)的聚类(clustering)，例如，将中心距离小于一定阈值的像素集合聚类为一个像素簇，其中，将一个像素簇作为检测出的一个目标物；
步骤506、基于分类器检测反向映射图像中的目标物，其中，该分类器可以是基于目标物训练得到的分类器，例如，该分类器可以是基于车辆的图形训练得到的分类器，由此，能够从反向映射图像中检测出车辆；该分类器例如可以基于方向梯度直方图(Histogram of Oriented Gradient，HOG)特征进行检测；
步骤507、将步骤505检测出的目标物和步骤506检测出的目标物进行融合，得到最终的目标物检测结果，其中，融合例如可以是：比较步骤505所检测出的目标物1的轮廓框Bbox1和步骤506所检测出的目标物2的轮廓框Bbox2，当Bbox1和Bbox2二者的交并比(Intersection-over-Union，IoU)超过一定阈值Tmerge时，则将该目标物1确定为最终的目标物，否则，不将该目标物1确定为最终的目标物。
在图5中，步骤501至步骤505是基于前景和背景检测的方法来检测反向映射图像中的目标物，步骤506是基于分类器来检测反向映射图像中的目标物，步骤507是将二者进行融合的处理。关于图5中各步骤的更详细的说明，可以参考现有技术。此外，需要说明的是，图5仅是一个示例，步骤102中也可以采用其他的方法来检测各反向映射图像中的目标物。
在本实施例的步骤103中，可以从各反向映射图像中检测出的目标物中检测出同一目标物。
图6是本实施例的检测同一目标物的方法的一个示意图，如图6所示，该方法可以包括：
步骤601、对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
步骤602、检测所述映射后的各轮廓框的重叠度，在所述重叠度大于第一阈值时，判断为所述目标物为同一目标物。
下面，以图4所示的图像为例来说明检测同一目标物的方法。
如图4所示，(b)中的区域Spublic1和(c)中的区域Spublic2表示(b)和(c)中彼此重叠的区域，即，公共区域。
假设在图4的(b)中共检测到了M个目标物，第i个目标物的轮廓框可以被表示为该轮廓框的几何中心的像素可以被表示为/>其中，i＝1，2，…，M；M为自然数。
在本实施例中，可以为每个目标物设置标记来表示该目标物是否位于区域Spublic1中，例如，标记可以用来表示第i个目标物是否位于区域Spublic1中，其中，/>为0时，可以表示该第i个目标物位于区域Spublic1之外，/>为1时，可以表示该第i个目标物位于该区域Spublic1中。
在本实施例中，可以通过标记来判定区域Spublic1中的目标物的数量，例如，区域Spublic1中的目标物的数量为k，该k个目标物的轮廓框被表示为/>其中，i＝1，2，…，k；k为自然数。
假设在图4的(c)中共检测到了N个目标物，各目标物的轮廓框可以被表示为各轮廓框的几何中心的像素可以被表示为/>其中，j＝1，2，…，N；N为自然数。
在本实施例中，可以为每个目标物设置标记来表示该目标物是否位于区域Spublic2中，例如，标记可以用来表示第j个目标物是否位于区域Spublic1中，例如，/>为0时，可以表示该第j个目标物位于区域Spublic2之外，/>为1时，可以表示该第j个目标物位于该区域Spublic2中。
在本实施例中，可以通过标记来判定区域Spublic2中的目标物的数量，例如，区域Spublic2中的目标物的数量为p。该p个目标物的轮廓框被表示为/>其中，j＝1，2，…，p；p为自然数。
在本实施例中，图4的(b)的区域Spublic1中的各目标物的轮廓框和(c)的区域Spublic2中的各目标物的轮廓框/>分别被映射到原始图像201，以分别形成轮廓框和/>其中：i＝1，2，…，k；j＝1，2，…，p。
在本实施例中，当轮廓框和/>的重叠度大于阈值Tmatch时，判断为轮廓框/>中的目标物和轮廓框/>中的目标物为同一目标物，例如，将第i个目标物的匹配标记/>和第j个目标物的匹配标记/>都设置为1。其中，重叠度例如可以表示为交并比(IoU)。
此外，在本实施例中，当轮廓框中的目标物和轮廓框/>中的目标物为同一目标物时，还可以根据目标物的运动方向来设定将哪一个轮廓框设置为该同一目标物的优选轮廓框。例如，目标物从图2的左侧向右侧运动的方向设置为正方向，反之为逆方向，当该目标物沿着正方向运动时，将/>设置为优选轮廓框，并且，可以将/>设置为0，从而进行再一次的检测；此外，当该目标物沿着逆方向运动时，将/>设置为优选轮廓框，并且，可以将/>设置为0，从而进行再一次的检测。
在本实施例中，关于该目标物沿着正方向运动还是逆方向运动的判定，例如可以根据一段时间内图像中该目标物体的运动轨迹来判定，具体方法可以参考现有技术。
在本实施例中，如图1所示，该方法还可以包括：
步骤104、根据步骤103的检测结果，进行目标物的运动状态检测。
在本实施例的步骤104中，在判断为从各反向映射图像中检测出的目标物是同一目标物的情况下，分别基于各反向映射图像计算该目标物的运动速度，并根据分别基于各反向映射图像计算的该目标物的各运动速度的差，检测目标物的运动状态。
例如，当轮廓框中的目标物和轮廓框/>中的目标物为同一目标物时，该同一目标物例如为车辆，可以基于图4的(b)计算轮廓框/>中的目标物的运动速度，例如为v1，基于图4的(c)计算轮廓框/>中的目标物的运动速度，例如为v2，计算两者的差值(v1-v2)，当该差值大于阈值Tvelocity，判断为目标物运动减速等。
在本实施例的上述说明中，目标物的运动状态是加速或减速情况，但是本实施例并不限于此，目标物的运动状态还可以是其它的情况。
下面，以一个实例来说明本实施例的方法。
图7是本实施例基于鱼眼相机拍摄的图像进行目标物检测的方法的一个流程示意图，对应于步骤101、步骤102和步骤103。
如图7所示，该流程包括：
步骤701、鱼眼相机拍摄得到原始图像；
步骤702、调整原始图像的尺寸，并投影到圆柱面投影模型；
步骤703、设置小于第一值的偏移量，进行反向映射，得到第一反向映射图像，例如，图4的(b)；
步骤704、设置大于第一值的偏移量，进行反向映射，得到第二反向映射图像，例如，图4的(c)；
步骤705、检测第一反向映射图像中的目标物；
步骤706、检测第二反向映射图像中的目标物；
步骤707、判断第i个目标物是否位于区域Spublic1，即，是否为1；判断为“是”，则进入步骤708，判断为否，则进入步骤709；
步骤708、将映射到原始图像，得到/>
步骤709、计算第i个目标物的速度；
步骤710、判断第j个目标物是否位于区域Spublic2，即，是否为1；判断为“是”，则进入步骤711，判断为否，则进入步骤712；
步骤711、将映射到原始图像，得到/>
步骤712、计算第j个目标物的速度；
步骤713、判断和/>的IoU是否大于阈值Tmatch，即，判断/>和是否都为1，判断为“是”，则进入步骤714；
步骤714、判断该目标物的运动方向是否为正方向，判断为“是”，则进入步骤715，判断为“否”，则进入步骤716；
步骤715、将设置为0，并回到步骤706；
步骤716、将设置为0，并回到步骤705。
根据本实施例，在将鱼眼相机拍摄的图像进行反向映射时，形成至少两个视角朝向不同的反向映射图像，并基于各反向映射图像进行目标物的检测，由此，不必对鱼眼相机拍摄的图像进行切出，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。
实施例2
本实施例2提供一种基于鱼眼相机拍摄的图像进行目标物检测的装置。由于该装置解决问题的原理与实施例1的方法类似，因此其具体的实施可以参考实施例1的方法的实施，内容相同之处不再重复说明。
图8是本实施例的基于鱼眼相机拍摄的图像进行目标物检测的装置的一个示意图。如图8所示，该装置800包括：
第一处理单元801，其将鱼眼相机拍摄的原始图像投影到圆柱面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；
第二处理单元802，其分别检测各反向映射图像中的目标物；以及
第三处理单元803，其检测从各反向映射图像中检测出的目标物中的同一目标物。
其中，第一处理单元801在进行所述反向映射时，将与所述原始图像的宽度和/或高度相关的偏移量(offset)分别设置为大于第一值和小于所述第一值，从而得到两个反向映射图像，其中，当所述偏移量(offset)等于第一值时，所述视角面对所述原始图像的宽度和/或高度的中心。
在本实施例中，第二处理单元802基于前景和背景进行检测，和/或基于分类器进行检测。
图9是图8的装置中第三处理单元803的一个示意图，如图9所示，第三处理单元803包括：
第四处理单元901，其对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
第五处理单元902，其检测所述映射后的各轮廓框的重叠度，在所述重叠度大于第一阈值时，判断为所述目标物为同一目标物。
如图8所示，装置800还包括：
第六处理单元804，其根据所述检测的结果，进行目标物的运动状态检测。
图10是图8的装置中第六处理单元804的一个示意图，如图10所示，第六处理单元804包括：
第七处理单元1001，其在判断为从各反向映射图像中检测出的目标物是同一目标物的情况下，分别基于各反向映射图像计算该目标物的运动速度；以及
第八处理单元1002，其根据分别基于各反向映射图像计算的该目标物的各运动速度的差，检测目标物的运动状态。
关于本实施例中各单元的详细说明，可以参照实施例1的相应步骤的说明，此处不再重复。
根据本实施例，在将鱼眼相机拍摄的图像进行反向映射时，形成至少两个视角朝向不同的反向映射图像，并基于各反向映射图像进行目标物的检测，由此，不必对鱼眼相机拍摄的图像进行切出，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。
实施例3
本实施例3提供一种电子设备，该电子设备解决问题的原理与实施例2的装置800类似，因此其具体的实施可以参考实施例2的装置800实施，内容相同之处不再重复说明。
图11是本发明实施例的电子设备构成示意图。如图11所示，电子设备1100可以包括：中央处理器(CPU)1101和存储器1102；存储器1102耦合到中央处理器1101。其中该存储器1102可存储各种数据；此外还存储数据处理的程序，并且在中央处理器1101的控制下执行该程序。
在一个实施方式中，装置800的功能可以被集成到中央处理器1101中。其中，中央处理器1101可以被配置为实现实施例1的方法。
中央处理器1101可以被配置为进行控制，以使电子设备1100执行如下方法：
将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；分别检测各反向映射图像中的目标物；以及检测从各反向映射图像中检测出的目标物中的同一目标物。
中央处理器1101还可以被配置为：在进行所述反向映射时，将与所述原始图像的宽度和/或高度相关的偏移量(offset)分别设置为大于第一值和小于所述第一值，从而得到两个反向映射图像，
其中，当所述偏移量(offset)等于第一值时，所述视角面对所述原始图像的宽度和/或高度的中心。
中央处理器1101还可以被配置为：
基于前景和背景进行检测，和/或基于分类器进行检测。
中央处理器1101还可以被配置为：对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
检测所述映射后的各轮廓框的重叠度，在该重叠度大于第一阈值时，判断为所述目标物为同一目标物。
中央处理器1101还可以被配置为：根据所述检测的结果，进行目标物的运动状态检测。
中央处理器1101还可以被配置为：在判断为从各反向映射图像中检测出的目标物是同一目标物的情况下，分别基于各反向映射图像计算该目标物的运动速度；
根据分别基于各反向映射图像计算的该目标物的各运动速度的差，检测目标物的运动状态。
此外，如图11所示，电子设备1100还可以包括：输入输出单元1103，显示单元1104等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备1100也并不是必须要包括图11中所示的所有部件；此外，电子设备1100还可以包括图11中没有示出的部件，可以参考现有技术。
根据本实施例，在将鱼眼相机拍摄的图像进行反向映射时，形成至少两个视角朝向不同的反向映射图像，并基于各反向映射图像进行目标物的检测，由此，不必对鱼眼相机拍摄的图像进行切出，能够充分利用鱼眼相机拍摄得到的宽视场图像中的信息。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中该计算机可读程序使得基于鱼眼相机拍摄的图像进行目标物检测的装置或电子设备执行实施例1所述的基于鱼眼相机拍摄的图像进行目标物检测的方法。
本发明实施例还提供一种计算机可读程序，其中当在基于鱼眼相机拍摄的图像进行目标物检测的装置或电子设备中执行该程序时，该程序使得该基于鱼眼相机拍摄的图像进行目标物检测的装置或电子设备执行实施例1的基于鱼眼相机拍摄的图像进行目标物检测的方法。
本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本发明实施例描述的在各装置中的各处理方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图8～图10所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图1、图5、图6、图7所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(例如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图8～图10描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图8～图10描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。
本申请还提供如下的附记：
1.一种基于鱼眼相机拍摄的图像进行目标物检测的装置，其中，所述装置包括：
第一处理单元，其将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；
第二处理单元，其分别检测各反向映射图像中的目标物；以及
第三处理单元，其检测从各反向映射图像中检测出的目标物中的同一目标物。
2.如附记1所述的装置，其中，
所述第一处理单元在进行所述反向映射时，将与所述原始图像的宽度和/或高度相关的偏移量(offset)分别设置为大于第一值和小于所述第一值，从而得到两个反向映射图像，
其中，当所述偏移量(offset)等于第一值时，所述视角面对所述原始图像的宽度和/或高度的中心。
3.如附记1所述的装置，其中，
所述第二处理单元基于前景和背景进行检测，和/或基于分类器进行检测。
4.如附记1所述的装置，其中，第三处理单元包括：
第四处理单元，其对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
第五处理单元，其检测所述映射后的各轮廓框的重叠度，在所述重叠度大于第一阈值时，判断为所述目标物为同一目标物。
5.如附记1所述的装置，其中，所述装置还包括：
第六处理单元，其根据第三处理单元的检测的结果，进行目标物的运动状态检测。
6.如附记5所述的装置，其中，所述第六处理单元包括：
第七处理单元，其在判断为从各反向映射图像中检测出的目标物是同一目标物的情况下，分别基于各反向映射图像计算该目标物的运动速度；以及
第八处理单元，其根据分别基于各反向映射图像计算的该目标物的各运动速度的差，检测目标物的运动状态。
7.一种电子设备，其中，所述电子设备具有附记1-6中的任一项所述的装置。
8.一种基于鱼眼相机拍摄的图像进行目标物检测的方法，其中，所述方法包括：
将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射(reverse mapping)，得到至少两个反向映射图像，所述至少两个反向映射图像的视角朝向不同的方向；
分别检测各反向映射图像中的目标物；以及
检测从各反向映射图像中检测出的目标物中的同一目标物。
9.如附记8所述的方法，其中，
在进行所述反向映射时，将与所述原始图像的宽度和/或高度相关的偏移量(offset)分别设置为大于第一值和小于所述第一值，从而得到两个反向映射图像，
其中，当所述偏移量(offset)等于第一值时，所述视角面对所述原始图像的宽度和/或高度的中心。
10.如附记8所述的方法，其中，检测各反向映射图像中的目标物，包括：
基于前景和背景进行检测，和/或基于分类器进行检测。
11.如附记8所述的方法，其中，检测从各反向映射图像中检测出的目标物中的同一目标物，包括：
对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
检测所述映射后的各轮廓框的重叠度，在所述重叠度大于第一阈值时，判断为所述目标物为同一目标物。
12.如附记8所述的方法，其中，所述方法还包括：
根据所述检测的结果，进行目标物的运动状态检测。
13.如附记12所述的方法，其中，进行目标物的运动状态检测，包括：
在判断为从各反向映射图像中检测出的目标物是同一目标物的情况下，分别基于各反向映射图像计算该目标物的运动速度；
根据分别基于各反向映射图像计算的该目标物的各运动速度的差，检测目标物的运动状态。

Claims (8)

1.一种基于鱼眼相机拍摄的图像进行目标物检测的装置，其中，所述装置包括：
第一处理单元，其将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射，得到至少两个反向映射图像，对应于同一个所述原始图像的所述至少两个反向映射图像的视角朝向不同的方向；
第二处理单元，其分别检测各反向映射图像中的目标物；以及
第三处理单元，其检测从各反向映射图像中检测出的目标物中的同一目标物，
其中，第三处理单元包括：
第四处理单元，其对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
第五处理单元，其检测所述映射后的各轮廓框的重叠度，在所述重叠度大于第一阈值时，判断为所述目标物为同一目标物。
2.如权利要求1所述的装置，其中，
所述第一处理单元在进行所述反向映射时，将与所述原始图像的宽度和/或高度相关的偏移量分别设置为大于第一值和小于所述第一值，从而得到两个反向映射图像，
其中，当所述偏移量等于所述第一值时，所述视角面对所述原始图像的宽度和/或高度的中心。
3.如权利要求1所述的装置，其中，
所述第二处理单元基于前景和背景进行检测，和/或基于分类器进行检测。
4.如权利要求1所述的装置，其中，所述装置还包括：
第六处理单元，其根据第三处理单元的检测的结果，进行目标物的运动状态检测。
5.如权利要求4所述的装置，其中，所述第六处理单元包括：
第七处理单元，其在判断为从各反向映射图像中检测出的目标物是同一目标物的情况下，分别基于各反向映射图像计算该目标物的运动速度；以及
第八处理单元，其根据分别基于各反向映射图像计算的该目标物的各运动速度的差，检测目标物的运动状态。
6.一种电子设备，其中，所述电子设备具有权利要求1-5中的任一项所述的装置。
7.一种基于鱼眼相机拍摄的图像进行目标物检测的方法，其中，所述方法包括：
将鱼眼相机拍摄的原始图像投影到圆柱面或球面投影模型，并进行反向映射，得到至少两个反向映射图像，对应于同一个所述原始图像的所述至少两个反向映射图像的视角朝向不同的方向；
分别检测各反向映射图像中的目标物；以及
检测从各反向映射图像中检测出的目标物中的同一目标物，
其中，检测从各反向映射图像中检测出的目标物中的同一目标物，包括：
对于在各反向映射图像的重叠区域中都存在的目标物，将所述目标物在各反向映射图像的重叠区域中的轮廓框映射到所述原始图像，得到映射后的各轮廓框；以及
检测所述映射后的各轮廓框的重叠度，在所述重叠度大于第一阈值时，判断为所述目标物为同一目标物。
8.如权利要求7所述的方法，其中，
在进行所述反向映射时，将与所述原始图像的宽度和/或高度相关的偏移量分别设置为大于第一值和小于所述第一值，从而得到两个反向映射图像，
其中，当所述偏移量等于第一值时，所述视角面对所述原始图像的宽度和/或高度的中心。
CN201910132115.9A 2019-02-22 2019-02-22 目标物检测方法、检测装置和电子设备 Active CN111612812B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910132115.9A CN111612812B (zh) 2019-02-22 2019-02-22 目标物检测方法、检测装置和电子设备
JP2020005616A JP7363504B2 (ja) 2019-02-22 2020-01-17 オブジェクト検出方法、検出装置及び電子機器
US16/750,805 US11398009B2 (en) 2019-02-22 2020-01-23 Method and apparatus for performing object detection based on images captured by a fisheye camera and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910132115.9A CN111612812B (zh) 2019-02-22 2019-02-22 目标物检测方法、检测装置和电子设备

Publications (2)

Publication Number Publication Date
CN111612812A CN111612812A (zh) 2020-09-01
CN111612812B true CN111612812B (zh) 2023-11-03

Family

ID=72141264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910132115.9A Active CN111612812B (zh) 2019-02-22 2019-02-22 目标物检测方法、检测装置和电子设备

Country Status (3)

Country Link
US (1) US11398009B2 (zh)
JP (1) JP7363504B2 (zh)
CN (1) CN111612812B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022102371A1 (zh) * 2020-11-16 2022-05-19
CN116416166B (zh) * 2023-06-12 2023-08-04 贵州省人民医院 一种肝活检数据分析方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
CN104318206A (zh) * 2014-09-30 2015-01-28 东软集团股份有限公司 一种障碍物检测方法和装置
CN106683139A (zh) * 2017-02-20 2017-05-17 南京航空航天大学 基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108629732A (zh) * 2017-03-15 2018-10-09 比亚迪股份有限公司 车辆环视全景图像生成方法、装置和车辆
CN109308686A (zh) * 2018-08-16 2019-02-05 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5569329B2 (ja) * 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
JP2012175207A (ja) 2011-02-18 2012-09-10 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2014119427A (ja) * 2012-12-19 2014-06-30 Fujitsu Semiconductor Ltd スポット探索装置、スポット探索方法
US9437001B2 (en) * 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems
JP6454554B2 (ja) * 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置
CN104636724B (zh) 2015-02-02 2018-09-04 华中科技大学 一种基于目标一致性的车载相机快速行人车辆检测方法
US9942475B2 (en) * 2015-07-24 2018-04-10 Robert Bosch Gmbh Real cross traffic—quick looks
KR101697211B1 (ko) 2016-02-01 2017-01-17 성균관대학교산학협력단 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템
JP2017208619A (ja) * 2016-05-16 2017-11-24 株式会社リコー 画像処理装置、画像処理方法、プログラム及び撮像システム
JP6330987B2 (ja) * 2016-06-17 2018-05-30 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
EP3586514A1 (en) * 2017-02-27 2020-01-01 Koninklijke KPN N.V. Processing spherical video data
JP6891954B2 (ja) 2017-06-23 2021-06-18 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
WO2019003910A1 (ja) * 2017-06-27 2019-01-03 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN107154152A (zh) 2017-06-30 2017-09-12 深圳信路通智能技术有限公司 视频桩设备及停车管理方法
JP6688277B2 (ja) * 2017-12-27 2020-04-28 本田技研工業株式会社 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
CN104318206A (zh) * 2014-09-30 2015-01-28 东软集团股份有限公司 一种障碍物检测方法和装置
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN106683139A (zh) * 2017-02-20 2017-05-17 南京航空航天大学 基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法
CN108629732A (zh) * 2017-03-15 2018-10-09 比亚迪股份有限公司 车辆环视全景图像生成方法、装置和车辆
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN109308686A (zh) * 2018-08-16 2019-02-05 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李唐薇 ; 童官军 ; 李宝清 ; 卢晓洋 ; .大视场域的目标检测与识别算法综述.激光与光电子学进展.2018,(第12期),全文. *
王鹏飞."基于全景环视系统的车位检测技术的研究".《中国优秀硕士论文全文数据库信息科技辑》.2018,全文. *

Also Published As

Publication number Publication date
JP2020135866A (ja) 2020-08-31
JP7363504B2 (ja) 2023-10-18
US11398009B2 (en) 2022-07-26
US20200273145A1 (en) 2020-08-27
CN111612812A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
US11170466B2 (en) Dense structure from motion
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
Song et al. Dynamic calibration of pan–tilt–zoom cameras for traffic monitoring
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
US20110164789A1 (en) Detection of vehicles in images of a night time scene
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
US10909719B2 (en) Image processing method and apparatus
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
JP2006071471A (ja) 移動体高さ判別装置
Muffert et al. May I enter the roundabout? A time-to-contact computation based on stereo-vision
CN113359125A (zh) 数据融合方法、装置和数据处理设备
CN111612812B (zh) 目标物检测方法、检测装置和电子设备
Ponsa et al. On-board image-based vehicle detection and tracking
Strigel et al. Vehicle detection and tracking at intersections by fusing multiple camera views
Geiger et al. Object flow: A descriptor for classifying traffic motion
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
CN102713511A (zh) 车辆用距离计算装置
Müller et al. Multi-camera system for traffic light detection: About camera setup and mapping of detections
Ramirez et al. Panoramic stitching for driver assistance and applications to motion saliency-based risk analysis
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
Dong et al. An automatic calibration method for PTZ camera in expressway monitoring system
CN116958195A (zh) 物件追踪整合方法及整合装置
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
Jain et al. Autocamera calibration for traffic surveillance cameras with wide angle lenses
CN113378606A (zh) 一种标注信息确定方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant