CN114973204A - 目标检测方法、装置、设备、存储介质及产品 - Google Patents
目标检测方法、装置、设备、存储介质及产品 Download PDFInfo
- Publication number
- CN114973204A CN114973204A CN202210703124.0A CN202210703124A CN114973204A CN 114973204 A CN114973204 A CN 114973204A CN 202210703124 A CN202210703124 A CN 202210703124A CN 114973204 A CN114973204 A CN 114973204A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- detection
- width
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 352
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种目标检测方法、装置、设备、存储介质及产品。本申请的方法包括:根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及第一目标对象对应的第一检测框;提取第一检测框在目标图像对应的局部图像;基于第二检测模型的图像输入尺寸和局部图像的图像尺寸,对局部图像进行缩放补齐处理,获得目标局部图像,目标局部图像的图像尺寸与图像输入尺寸相等;利用第二检测模型对目标局部图像中的第二目标对象进行检测,获得第二目标对象的检测结果第一目标对象的体积大于第二目标对象且第二目标对象设置于第一目标对象。提高了小体积目标检测的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是智能交通、云计算领域,尤其涉及一种目标检测方法、装置、设备、存储介质及产品。
背景技术
随着科技的迅速发展,目前智能交通管理的需求越来越多,对道路中的小体积目标的检测,以便于对小体积目标进行联网管理,例如进行预警分析、安全性分析、内容分析等等。因此,对道路两侧的小体积目标对象的准确检测是目前亟待解决的技术问题。
发明内容
本申请提供一种目标检测方法、装置、设备、存储介质及产品,用以解决道路两侧的小体积目标对象的检测准确度不高的问题。
第一方面,本申请提供一种目标检测方法,包括:
根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及所述第一目标对象对应的第一检测框;
提取所述第一检测框在所述目标图像对应的局部图像;
基于第二检测模型的图像输入尺寸和所述局部图像的图像尺寸,对所述局部图像进行缩放补齐处理,获得目标局部图像,所述目标局部图像的图像尺寸与所述图像输入尺寸相等;
利用所述第二检测模型对所述目标局部图像中的第二目标对象进行检测,获得所述第二目标对象的检测结果;所述第一目标对象的体积大于所述第二目标对象且所述第二目标对象设置于所述第一目标对象。
第二方面,本申请提供一种目标检测装置,包括:
第一检测单元,用于根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及所述第一目标对象对应的第一检测框;
图像提取单元,用于提取所述第一检测框在所述目标图像对应的局部图像;
图像补齐单元,用于基于第二检测模型的图像输入尺寸和所述局部图像的图像尺寸,对所述局部图像进行缩放补齐处理,获得目标局部图像,所述目标局部图像的图像尺寸与所述图像输入尺寸相等;
第二检测单元,用于利用所述第二检测模型对所述目标局部图像中的第二目标对象进行检测,获得所述第二目标对象的检测结果;所述第一目标对象的体积大于所述第二目标对象且所述第二目标对象设置于所述第一目标对象。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面任一项所述的目标检测方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的目标检测方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的目标检测方法。
本申请提供的技术方案,可以利用针对目标道路采集的目标图像和第一检测模型进行第一目标对象的检测,第一检测模型可以检测目标图像中的第一目标对象和第一目标对象的第一检测框。通过第一检测框的获取可以提取第一检测框在目标图像对应的局部图像,实现对第二目标对象所在区域的初步圈定。之后,可以通过将局部图像尺寸调整至第二检测模型的图像输入尺寸实现对局部图像的输入调整,使得目标局部图像可以被输入到第二检测模型中,完成第二目标对象的检测。先通过对第二目标对象所在区域的初步圈定,再通过圈定的局部图像进行识别,可以从一个较小的范围内对第二目标对象进行更针对性的检测,提高检测效率和准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种目标检测方法的一个应用场景示意图;
图2为本申请实施例提供的一种目标检测方法的一个实施例的流程图;
图3为本申请实施例提供的一种目标检测方法的又一个实施例的流程图;
图4为本申请实施例提供的一种目标检测方法的又一个实施例的流程图;
图5为本申请实施例提供的一个补齐图像的示意图;
图6为本申请实施例提供的又一个补齐图像的示意图;
图7为本申请实施例提供的一种目标检测方法的又一个实施例的流程图;
图8为本公开实施例提供的一种目标检测装置的一个实施例的结构示意图;
图9为本公开实施例提供的用于实现本公开的目标检测方法的电子设备的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本公开的技术方案,可以应用于计算机技术领域,特别是智能交通、云计算领域。通过先对图像中的大体积对象进行检测,获取相应的局部图像,再利用局部图像完成设置于大体积对象上的小体积对象的检测。提高图像检测效率和准确性。
相关技术中,随着智能交通的应用领域越来越广泛,例如,交通部门的道路巡检会对道路上的一些体积较小的目标进行检测,完成目标对象或者内容的识别。小目标可以包括:标识牌、情报板、龙门架、测速相机、雷达、补光灯、充电桩等。目前较为主流的检测方法是,采用机器学习模型,例如SSD、centernet、YOLO等机器学习模型,直接对摄像头采集的视频进行小目标检测。但是目前对小目标的检测结果并不准确,检测效果并不高。
为了解决上述文件,本公开的技术方案中,标识牌等小目标的体积通常比较小,对于一些小目标的检测准确度并不高,不能对目标图像中的小目标及时进行识别。考虑到小目标多是设置于某些特定的物体上,被附着的物体的体积通常较大。例如标识牌通常需要设置于支撑架中,支撑架的体积要远大于标识牌的体积。因此,为了提高标识的检测准确度,可以将大目标的检测结果作为小目标的检测对象。
为了便于理解,下面将结合附图对本公开的技术方案进行详细介绍。
如图1所示,为本公开实施例提供的一种目标检测方法的一个应用场景示意图。在实际应用中,道路两旁可以设置体积较小的标识牌11、情报板12、测速相机13、雷达14、充电桩15等对象。可以通过设置于道路上的摄像机21对道路两旁的进行视频采集或者通过可移动的采集设备22,例如顶部设置有摄像头的车辆对对道路两旁进行视频采集。通常,采集的视频可以被发送至电子设备3。电子设备3例如可以包括:计算机、超级个人计算机、云服务器、超级计算机等,本公开中对电子设备的具体类型并不做出过多限定。
参图1,电子设备3例如可以包括云服务器。电子设备3可以从视频中确定目标图像,并利用配置的本公开的技术方案,完成目标对象的检测。检测过程中,具体可以通过先检测目标图像40中的一个大的第一检测框41,例如充电桩41,再通过获取第一检测框的局部图像,对该局部图像进行图像补齐之后,可以执行第二次检测,获得位于第一检测框41中的第二检测框42。第二检测框42即可以用于后续的对第二目标对象的分类、内容识别、文字识别、工作状态检测等后续处理。
如图2所示,为本公开实施例提供的一种目标检测方法的一个实施例的流程图,该目标检测方法可以配置为一目标检测装置。目标检测装置可以位于电子设备中。目标检测方法可以包括以下几个步骤:
201:根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及第一目标对象对应的第一检测框。
可选地,可以针对目标道路两侧进行图像或者视频的采集。例如可以在道路的一侧设置摄像头,通过道路一侧的摄像头采集另一侧的图像。当然,在实际应用中也可以设置采集车辆,车辆顶部可以配置有摄像头,该摄像头可以包括广角摄像头,确保车辆在道路中行驶时,可以通过车辆顶部的摄像头采集道路两侧的图像。在实际应用中,可以针对目标道路采集视频,并从视频中提取目标图像。例如可以采用一定的采集频率,从视频中提取目标图像。第一目标对象被检测之后,可以获得第一目标对象的第一检测框和第一目标对象的对象类别、对象位置等信息。
第一检测模型可以包括深度学习模型。第一检测模型例如可以包括SSD、yolo-v3、yolo-v4、yolo-v5、CenterNet等检测模型,本公开实施例中对检测模型的具体类型并不做出过多限定。第一检测框可以为从目标图像中检测获得的第一目标对象所在区域。第一检测区域可以包括矩形区域、圆形区域等。第一检测区域可以通过图像坐标系表示,可以以像素坐标点表示第一检测区域,例如可以通过左上角坐标点和右下角坐标点表示第一检测框。在检测第一目标对象之后,可以为第一目标对象设置对象标识、对象类型等组成的对象信息。
第一检测模型可以通过训练获得。可以通过第一训练数据对第一检测模型进行训练,第一检测模型的具体训练过程可以参考相关实施例的描述,在此不再赘述。其中,与相关技术的不同之处在于,本公开所采用的第一训练数据可以包括训练图像以及训练图像中标识的第一目标对象所在区域。第一目标对象可以指属于本公开提供的第一对象类别的对象,例如可以包括:标识牌支架、支撑杆、龙门架等具备支撑功能的对象类别。通过第一对象类别可以对第一检测模型的检测效果进行有效分类,获得检测效果更准确的目标对象。在第一检测模型训练结束时,可以将第一检测模型的模型参数存储于第一文档中。该方法还可以包括:从第一文字中读取第一检测模型的模型参数,以确定该模型参数对应的第一检测模型。
可以将目标图像输入第一检测模型,通过第一检测模型检测获得目标图像中的第一目标对象以及第一目标对象的第一检测框。
202:提取第一检测框在目标图像对应的局部图像。
可选地,提取第一检测框在目标图像对应的局部图像,可以包括:基于图像裁剪函数从目标图像中裁剪第一检测框对应的局部图像。图像裁剪函数可以包括现有的imcrop(裁剪)函数等。通过裁剪函数可以快速而准确的完成局部图像的裁剪,且采集的局部图像保持不变形,局部图像大小与第一检测框相一致。
203:基于第二检测模型的图像输入尺寸和局部图像的图像尺寸,对局部图像进行缩放补齐处理,获得目标局部图像,目标局部图像的图像尺寸与图像输入尺寸相等。
可选地,第二检测模型的图像输入尺寸可以从第二检测模型的模型信息中读取获得。可选地,第二检测模型可以训练获得。可以读取模型存储文件中的模型参数,获得第二检测模型,以确定第二检测模型的图像输入尺寸。第二检测模型可以包括SSD(Single ShotMultiBox Detector,单个深层神经网络检测器)、yolo-v3(You Only Look Once V3,你只看一次第三版)、yolo-v4(You Only Look Once V4,你只看一次第四版)、yolo-v5(YouOnly Look Once V5,你只看一次第五版)、CenterNet(中心网络)等检测模型,本公开实施例中对第二检测模型的模型类型并不做出过多限定。第二检测模型的模型类型可以与第一检测模型相同也可以与第一检测模型不同,具体可以根据使用效果对模型进行选择。
第二检测模型的图像输入尺寸可以包括第二检测模型的图像输入长度W和图像输入宽度H。
204:利用第二检测模型对目标局部图像中的第二目标对象进行检测,获得第二目标对象的检测结果;第一目标对象的体积大于第二目标对象且第二目标对象设置于第一目标对象。
局部图像的图像尺寸可以与第一检测框的检测框大小相等。检测框为矩形时,局部图像的图像尺寸可以包括图像长度和图像宽度。
对局部图像进行缩放处理可以指将局部图像的图像尺寸进行缩放处理之后获得与图像输入尺寸相等的目标局部图像。
可以将目标局部图像输入第二检测模型,通过第二检测模型检测获得第二目标对象的检测结果。第二目标对象的检测结果可以包括第二目标对象的第二检测框。
第二目标对象可以包括第二对象类别的对象。第二目标对象设置于第一目标对象可以包括:第二目标对象设置于第一目标对象的顶部。当然,第二目标对象还可以设置于第一目标对象的其它部位,例如,中部、底部等部位。
本公开实施例中,可以利用针对目标道路采集的目标图像和第一检测模型进行第一目标对象的检测,第一检测模型可以检测目标图像中的第一目标对象和第一目标对象的第一检测框。通过第一检测框的获取可以提取第一检测框在目标图像对应的局部图像,实现对第二目标对象所在区域的初步圈定。之后,可以通过将局部图像尺寸调整至第二检测模型的图像输入尺寸实现对局部图像的输入调整,使得目标局部图像可以被输入到第二检测模型中,完成第二目标对象的检测。先通过对第二目标对象所在区域的初步圈定,再通过圈定的局部图像进行识别,可以从一个较小的范围内对第二目标对象进行更针对性的检测,提高检测效率和准确度。
为了便于理解,在实际应用中,第一目标对象和第二目标对象可以为不同的目标对象。因此,可以通过不同的对象类别进行对象的检测。如图3所示,为本公开实施例提供的一种目标检测方法的又一个实施例的流程图,与图2所示的实施例的不同之处在于,步骤201:根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及第一目标对象对应的第一检测框,可以包括:
301:将目标图像输入第一检测模型,采用第一检测模型执行对象检测,获得第一候选对象;第一候选对象关联检测框。
302:若确定第一候选对象属于第一对象类别,则确定第一候选对象为第一目标对象并获取第一候选对象的检测框为第一目标对象的第一检测框。
步骤204:利用第二检测模型对目标局部图像中的第二目标对象进行检测,获得第二目标对象的检测结果,可以包括:
303:将目标局部图像输入到第二检测模型,采用第二检测模型执行对象检测,获得第二候选对象;第二候选对象关联检测框。
304:若确定第二候选对象属于第二对象类别,则确定第二候选对象为第二目标对象,以获得第二目标对象的检测结果。
示例性的,第一对象类别和第二对象类别可以不同。第一对象类别可以包括:标识牌支架、支撑杆、龙门架等具备支撑功能的对象类别。第二对象类别可以包括:摄像头、标识牌、灯、雷达、雷视一体机等具备应用功能的对象类别。第二目标对象可以为设置于第一目标对象上的物体。在实际应用中,第二目标对象的体积小于第一目标对象的体积,因此,在本案中,第一检测框的区域面积大于第二检测框的区域面积。
本公开实施例中,可以通过第一对象类别的检测完成第一目标对象的检测,可以通过第二对象类别的检测完成第二目标对象的检测。通过第一对象类别和第二对象类别可以实现对不同对象类别的准确检测,提高对象的检测效率和准确性。
在实际应用中,通过第一检测模型检测获得的第一目标对象的第一检测框的大小是随机的,基于第一检测框提取的局部图像的大小和第一检测框的大小一致。因此,为了确保局部图像能够正常输入到第二检测模型,通过第二检测模型完成对第二目标对象的检测,可以局部图像的尺寸调整至与局部图像的尺寸相等。因此,作为又一个实施例,如图4所示,为本公开实施例提供的一种目标检测方法的又一个实施例的流程图,与图2所示的实施例的不同之处在于,步骤203:基于第二检测模型的图像输入尺寸和局部图像的图像尺寸,对局部图像进行缩放补齐处理,获得目标局部图像,可以包括:
401:基于第二检测模型的图像输入尺寸和局部图像的图像尺寸,确定目标缩放比例。
402:将局部图像的长度和宽度均按照目标缩放比例进行缩放处理,获得缩放处理后的缩放图像。
403:将缩放图像按照图像输入尺寸进行图像补齐处理,获得目标局部图像。
将局部图像的长度和宽度均按照目标缩放比例进行缩放处理,可以包括:维持局部图像的长宽比例不变,将局部图像的长度和宽度均按照目标缩放比例进行缩放处理。具体可以是计算局部图像的长度和目标缩放比例的乘积,获得缩放长度;计算局部图像的宽度和目标缩放比例的乘积,获得缩放宽度。缩放长度和缩放宽度的比例仍为原局部图像的长宽比。之后,可以将局部图像按照缩放长度和缩放宽度放大或者缩小到对应的缩放长度和缩放宽度,获得缩放处理后的缩放图像。缩放图像的长度可以为缩放长度,缩放图像的宽度可以为缩放宽度。
本公开实施例中,可以基于图像输入尺寸和局部图像的图像尺寸,确定目标缩放比例,通过将局部图像的长度和宽度均按照目标缩放比例进行缩放处理,获得缩放处理后的缩放图像。将局部图像的长度和宽度均按照目标缩放比例进行缩放处理,可以确保缩放后的缩放图像的长宽比与局部图像的长宽比一致,使得缩放图像不出现缩放比例的失真。在缩放比例未失真的情况下,可以将缩放图像按照图像输入尺寸进行图像补齐处理使得获得的目标局部图像与图像输入尺寸相一致。达到在不产生图像比例失真的情况下的准确缩放,提高局部图像的图像准确度。
作为一个实施例,基于图像输入尺寸和局部图像的图像尺寸,确定目标缩放比例,包括:
确定图像输入尺寸对应的输入长度和输入宽度以及局部图像对应的局部图像长度和局部图像宽度;
计算输入长度和局部图像长度的比例,获得第一长度比值;
计算输入宽度和局部图像宽度的比例,获得第一宽度比值;
若第一长度比值小于第一宽度比值,确定第一长度比值为目标缩放比例;
若第一长度比值大于第一宽度比值,确定第一宽度比值为目标缩放比例。
在第一长度比值小于第一宽度比值时,若将第一宽度比值作为目标缩放比例,会导致缩放后的长度大于图像输入尺寸中的输入长度,因此,采用第一长度比值作为目标缩放比例,可以实现对长度的最大缩放,缩放后的长度可以与图像输入尺寸的输入长度相等,而缩放后的宽度,可以小于图像输入尺寸的输入宽度。
在第一长度比值大于第一宽度比值时,若将第一长度比值作为目标缩放比例,会导致缩放后的宽度大于图像输入尺寸中的输入宽度,因此,采用第一宽度比值作为目标缩放比例,可以实现对宽度的最大缩放,缩放后的宽度可以与图像输入尺寸的输入宽度相等,而缩放后的长度,可以小于图像输入尺寸的输入长度。
通过目标缩放比例的选择,可以在获得最大缩放效果的同时,保留了目标局部图像中的全部图像内容,不出现过度缩放导致图像超出图像输入尺寸而导致图像输入大小异常的问题。
为了更好地说明本技术方案,若输入长度使用W,输入宽度使用H表示。第一检测框表示为(x1,y1,x2,y2)。局部图像长度可以为(x2-x1),局部图像宽度可以为(y2-y1)。则第一长度比值可以表示为:W/(x2-x1),第一宽度比值可以表示为:H/(y2-y1)。
本公开实施例中,将局部图像缩放时,为了确保图像的缩放比例不失调,可以将局部图像的长或者宽中的任一个进行顶格缩放,通过计算第一长度比值和第二长度比值,可以对长宽缩放对象准确确定。若第一长度比值小于第一宽度比值,则可以从长度方向进行缩放,确保缩放后的长度等于输入长度,且宽度不超过输入宽度。若第一长度比值大于第一宽度比值,则可以从宽度方向进行缩放,确保缩放后的宽度等于输入宽度,且长度不超过输入长度。通过第一长度比值和第二长度比值的计算和比较,可以实现对局部图像实现最大比例的且图像比例不失真的缩放,获得精确而有效的图像缩放。
在目标缩放比例为第一长度比值时,作为一种可选实施方式,将缩放图像按照图像输入尺寸进行图像补齐处理,获得目标局部图像,包括:
若目标缩放比例为第一长度比例,则确定缩放图像从宽度上进行补齐所对应的补齐宽度;
基于补齐宽度和输入长度,确定第一补齐图像;
将第一补齐图像、缩放图像以及第一补齐图像的复制图像从上到下的顺序进行图像拼接,获得目标局部图像。
将第一长度比例缩放目标局部图像时,缩放后的图像长度与图像输入尺寸的输入长度相同,不需要再从长度上进行图像补齐,而缩放后的图像宽度小于图像输入尺寸的输入宽度,需要从宽度上进行图像补齐。
为了便于理解,参考图5,示出了一个补齐图像的示意图,其中,假设输入图像的图像尺寸如区域501所示,经过第一长度比例的缩放之后,缩放图像如区域502所示,此时需要从宽度上对缩放图像进行补齐,为了实现较为对称的补齐,以便于还原第二目标对象的第二检测框在原始目标图像中的位置,本实施例中采用了镜像补齐,也就是第一补齐图像503和第一补齐图像的复制图像504相对缩放图像对称。
当然,在实际应用中,将缩放图像按照图像输入尺寸进行图像补齐处理时,可以根据输入宽度和缩放图像的宽度之间的宽度差值随机进行补齐,确保补齐的图像的宽度和为该宽度差值即可,具体的补齐方案与本公开的对称补齐相似,在此不再赘述。
本公开实施例中,在目标缩放比例为第一长度比例时,可以通过第一长度比例计算补齐宽度,将缩放图像作为中间区域设置于第一补齐图像和第一补齐图像的复制图像,实现对目标局部图像的精确而准确的生成。且将缩放图像放置于第二补齐图像和第二补齐图像的复制图像中间,可以对第二目标对象的检测区域更明确,检测精度更高。
在一种可能的设计中,确定缩放图像从宽度上进行补齐所对应的补齐宽度,包括:
计算输入宽度和缩放图像的宽度之间的宽度差值,以确定宽度差值的二分之一为补齐宽度。
为了更好地说明本公开的技术方案,第一长度比值可以表示为:W/(x2-x1),输入宽度使用H表示。缩放图像的宽度为:(y2-y1) *W /(x2-x1)。
补齐宽度可以为:1/2*(H-(y2-y1)*W /(x2-x1))。
本公开实施例中,可以计算输入宽度和缩放图像的宽度之间的宽度差值,以确定补齐宽度。通过将补齐宽度设置为输入宽度和缩放图像的宽度之间的宽度差值的一半,可以实现对称性补齐,便于后续检测框的转换计算,可以实现对第二目标对象的位置的准确获取。
在目标缩放比例为第一宽度比值时,作为一种可选实施方式,将缩放图像按照图像输入尺寸进行图像补齐处理,获得目标局部图像,包括:
若目标缩放比例为第一宽度比例,则确定缩放图像从长度上进行补齐所所对应的补齐长度;
基于补齐长度和输入宽度,确定第二补齐图像;
将第二补齐图像、缩放图像以及第二补齐图像的复制图像从左到右的顺序进行图像拼接,获得目标局部图像。
将第一宽度比例缩放目标局部图像时,缩放后的图像宽度与图像输入尺寸的输入宽度相同,不需要再从宽度上进行图像补齐,而缩放后的图像长度小于图像输入尺寸的输入长度,需要从长度上进行图像补齐。
为了便于理解,参考图6,示出了又一个补齐图像的示意图,其中,假设输入图像的图像尺寸如区域601所示,经过第一宽度比例的缩放之后,缩放图像如区域602所示,此时需要从长度上对缩放图像进行补齐,为了实现较为对称的补齐,以便于还原第二目标对象的第二检测框在原始目标图像中的位置,本实施例中采用了镜像补齐,也就是第二补齐图像603和第二补齐图像的复制图像604相对缩放图像对称。
当然,在实际应用中,将缩放图像按照图像输入尺寸进行图像补齐处理时,可以根据输入长度和缩放图像的长度之间的长度差值随机进行补齐,确保补齐的图像的长度和为该长度差值即可,具体的补齐方案与本公开的对称补齐相似,在此不再赘述。
本公开实施例中,在目标缩放比例为第一宽度比例时,可以通过第一宽度比例计算补齐长度,将缩放图像作为中间区域设置于第二补齐图像和第二补齐图像的复制图像,实现对目标局部图像的精确而准确的生成。且将缩放图像放置于第二补齐图像和第二补齐图像的复制图像的中间,可以对第二目标对象的检测区域更明确,检测精度更高。
在某些实施例中,确定缩放图像从长度上进行补齐所所对应的补齐长度,包括:
计算输入长度和缩放图像的长度之间的长度差值,以确定长度差值的二分之一为补齐长度。
为了更好地说明本公开的技术方案,第一宽度比值可以表示为:H/(y2-y1),输入长度使用W表示。缩放图像的长度为:(x2-x1)*H/(y2-y1)。
补齐长度可以为:1/2*(W-(x2-x1)*H/(y2-y1))。
本公开实施例中,可以计算输入长度和缩放图像的长度之间的长度差值,以确定补齐长度。通过将补齐长度设置为输入长度和缩放图像的长度之间的长度差值的一半,可以实现对称性补齐,便于后续检测框的转换计算,可以实现对第二目标对象的位置的准确获取。
作为一个实施例,如图7所示,为本公开实施例提供的一种目标检测方法的又一个实施例的流程图,与图2所示的实施例的不同之处在于,步骤205:利用第二检测模型对目标局部图像中的第二目标对象进行检测,获得第二目标对象的检测结果,可以包括:
701:将目标局部图像输入第二检测模型,获得第二目标对象以及第二目标对象的第二检测框。
702:确定第二检测框在目标局部图像中的位置。
703:基于第一检测框在目标图像中的位置和第二检测框在目标局部图像中的位置,确定第二检测框在目标图像中的位置。
704:根据第二目标对象及第二检测框在目标图像中的位置确定第二目标对象的检测结果。
本公开实施例中,可以将目标局部图像输入第二检测模型,获得第二目标对象以及第二目标对象的第二检测框。通过第二检测框在目标局部图像中的位置和第一检测框在目标图像中的位置,可以确定第二检测框在目标图像中的位置。通过位置的转换,可以确定第二目标对象的检测结果,实现对第二目标对象的准确检测。
作为一种可选实施方式,第一长度比值为目标缩放比例;缩放图像基于补齐宽度补齐为目标局部图像;基于第一检测框在目标图像中的位置和第二检测框在目标局部图像中的位置,确定第二检测框在目标图像中的位置,包括:
确定第一检测框在目标图像中的位置中的左上角对应的第一横坐标和第一纵坐标;
确定第二检测框在目标局部图像的位置中的左上角对应的第二横坐标和第二纵坐标,右下角对应的第三横坐标和第三纵坐标;
基于第三横坐标和第一长度比值,结合第一横坐标,计算第二检测框的左上角坐标中的第一目标横坐标;
基于第三纵坐标、补齐宽度和第一长度比值,结合第一纵坐标,计算第二检测框的左上角坐标中的第一目标纵坐标;
基于第四横坐标、补齐宽度和第一长度比值,结合第一横坐标,计算第二检测框的右下角坐标中的第二目标横坐标;
基于第四纵坐标、补齐宽度和第一长度比值,结合第一纵坐标,计算第二检测框的右下角坐标中的第二目标纵坐标;
根据第一目标横坐标和第一目标纵坐标构成的左上角坐标、第二目标横坐标和第二目标纵坐标构成的右下角坐标,确定第二检测框在目标图像中的矩形区域位置。
第一检测框可以表示为:(x1,y1,x2,x2),其中,x1为第一横坐标,y1为第一纵坐标,x2为第二横坐标,y2为第二纵坐标。
第一目标横坐标可以通过以下方式计算获得:计算第三横坐标除以第一长度比值的商,该商与第一横坐标相加获得第一目标横坐标。第一目标纵坐标可以通过以下方式计算获得:计算第三纵坐标与补齐宽度的差,该差除以第一长度比值获得的商与第一纵坐标相加获得第一目标纵坐标。
第二目标横坐标可以通过以下方式计算获得:计算第四横坐标与补齐宽度的差,该差除以第一长度比值的商与第一横坐标相加求和,即获得第二目标横坐标。第二目标纵坐标可以通过以下方式计算获得:计算第四纵坐标与补齐宽度的差,该差除以第一长度比值的商与第一纵坐标相加求和,即获得第二目标纵坐标。
第二目标纵坐标的计算公式可以为:
本公开实施例中,第一宽度比值为目标缩放比例时,可以利用第一检测框在目标图像中的坐标和第二检测框在目标局部图像中的坐标,结合第一长度比值、第一宽度比值,对第二检测框在目标图像中的矩形区域位置进行解算,提高第二检测框的检测结果和准确度。
作为又一种可选实施方式,第一宽度比值为目标缩放比例;缩放图像基于补齐长度补齐为目标局部图像;基于第一检测框在目标图像中的位置和第二检测框在目标局部图像中的位置,确定第二检测框在目标图像中的位置,包括:
确定第一检测框在目标图像中的位置中的左上角对应的第一横坐标和第一纵坐标;
确定第二检测框在目标局部图像的位置中的左上角对应的第二横坐标和第二纵坐标,右下角对应的第三横坐标和第三纵坐标;
基于第三横坐标、补齐长度、第一宽度比值,结合第一横坐标,计算第二检测框的左上角坐标中的第三目标横坐标;
基于第三纵坐标和第一长度比值,结合第一纵坐标,计算第二检测框的左上角坐标中的第三目标纵坐标;
基于第四横坐标、补齐长度和第一宽度比值,结合第一横坐标,计算第二检测框的右下角坐标中的第四目标横坐标;
基于第四纵坐标和第一宽度比值,结合第一纵坐标,计算第二检测框的右下角坐标中的第四目标纵坐标;
根据第三目标横坐标和第三目标纵坐标构成的左上角坐标、第四目标横坐标和第四目标纵坐标构成的右下角坐标,确定第二检测框在目标图像中的矩形区域位置。
第一检测框可以表示为:(x1,y1,x2,x2),其中,x1为第一横坐标,y1为第一纵坐标,x2为第二横坐标,y2为第二纵坐标。
第三目标横坐标可以通过以下方式计算获得:计算第三横坐标与补齐长度的差,该差与第一宽度比值的商与第一横坐标相加求和,获得第三目标横坐标。
第三目标纵坐标可以通过以下方式计算获得:计算第三纵坐标和第一宽度比值的商,与第一纵坐标相加,获得第三目标纵坐标。
第四目标横坐标可以通过以下方式计算获得:计算第四横坐标与补齐长度的差,该差与第一宽度比值的商,计算该商与第一横坐标的和,获得第四目标横坐标。
第四目标纵坐标可以通过以下方式计算获得:计算第四纵坐标和第一宽度比值的商,该商与第一纵坐标进行求和,获得第四目标纵坐标。
结合上述实施例中,第一目标横坐标的计算公式可以为:
本公开实施例中,第一长度比值为目标缩放比例时,可以利用第一检测框在目标图像中的坐标和第二检测框在目标局部图像中的坐标,结合第一长度比值、第一宽度比值,对第二检测框在目标图像中的矩形区域位置进行解算,提高第二检测框的检测结果和准确度。
如图8所示,为本公开实施例提供的一种目标检测装置的一个实施例的结构示意图,该目标检测装置可以配置有上述实施例中的目标检测方法,目标检测装置可以位于电子设备中,目标检测装置800可以包括:
第一检测单元801:用于根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及第一目标对象对应的第一检测框。
图像提取单元802:用于提取第一检测框在目标图像对应的局部图像。
图像补齐单元803:用于基于第二检测模型的图像输入尺寸和局部图像的图像尺寸,对局部图像进行缩放补齐处理,获得目标局部图像,目标局部图像的图像尺寸与图像输入尺寸相等。
第二检测单元804:用于利用第二检测模型对目标局部图像中的第二目标对象进行检测,获得第二目标对象的检测结果;第一目标对象的体积大于第二目标对象且第二目标对象设置于第一目标对象。
作为一个实施例,第一检测单元,可以包括:
第一检测模块,用于将目标图像输入第一检测模型,采用第一检测模型执行对象检测,获得第一候选对象;第一候选对象关联检测框;
第一确定模块,用于若确定第一候选对象属于第一对象类别,则确定第一候选对象为第一目标对象并获取第一候选对象的检测框为第一目标对象的第一检测框;
第二检测单元,可以包括:
第二检测模块,用于将目标局部图像输入到第二检测模型,采用第二检测模型执行对象检测,获得第二候选对象;第二候选对象关联检测框;
第二确定模块,用于若确定第二候选对象属于第二对象类别,则确定第二候选对象为第二目标对象,以获得第二目标对象的检测结果。
在一种可能的设计中,图像补齐单元,包括:
比例确定模块,用于基于图像输入尺寸和局部图像的图像尺寸,确定目标缩放比例;
图像缩放模块,用于将局部图像的长度和宽度均按照目标缩放比例进行缩放处理,获得缩放处理后的缩放图像;
图像补齐模块,用于将缩放图像按照图像输入尺寸进行图像补齐处理,获得目标局部图像。
在某些实施例中,比例确定模块,包括:
第一确定子模块,用于确定图像输入尺寸对应的输入长度和输入宽度以及局部图像对应的局部图像长度和局部图像宽度;
第一计算子模块,用于计算输入长度和局部图像长度的比例,获得第一长度比值;
第二计算子模块,用于计算输入宽度和局部图像宽度的比例,获得第一宽度比值;
第二确定子模块,用于若第一长度比值小于第一宽度比值,确定第一长度比值为目标缩放比例;
第三确定子模块,用于若第一长度比值大于第一宽度比值,确定第一宽度比值为目标缩放比例。
作为又一个实施例,图像补齐模块,包括:
宽度确定子模块,用于若目标缩放比例为第一长度比例,则确定缩放图像从宽度上进行补齐所对应的补齐宽度;
第一生成子模块,用于基于补齐宽度和输入长度,确定第一补齐图像;
第一补齐子模块,用于将第一补齐图像、缩放图像以及第一补齐图像的复制图像从上到下的顺序进行图像拼接,获得目标局部图像。
在某些实施例中,宽度确定子模块,具体可以用于:
计算输入宽度和缩放图像的宽度之间的宽度差值,以确定宽度差值的二分之一为补齐宽度。
作为又一个实施例,图像补齐模块,包括:
长度确定子模块,用于若目标缩放比例为第一宽度比例,则确定缩放图像从长度上进行补齐所所对应的补齐长度;
第二生成子模块,用于基于补齐长度和输入宽度,确定第二补齐图像;
第二补齐子模块,用于将第二补齐图像、缩放图像以及第二补齐图像的复制图像从左到右的顺序进行图像拼接,获得目标局部图像。
在某些实施例中,长度确定子模块,具体可以用于:
计算输入长度和缩放图像的长度之间的长度差值,以确定长度差值的二分之一为补齐长度。
作为一个实施例,第二检测单元,包括:
检测获取模块,用于将目标局部图像输入第二检测模型,获得第二目标对象以及第二目标对象的第二检测框;
位置确定模块,用于确定第二检测框在目标局部图像中的位置;
位置转换模块,用于基于第一检测框在目标图像中的位置和第二检测框在目标局部图像中的位置,确定第二检测框在目标图像中的位置;
结果获取模块,用于根据第二目标对象及第二检测框在目标图像中的位置确定第二目标对象的检测结果。
在某些实施例中,第一长度比值为目标缩放比例;缩放图像基于补齐宽度补齐为目标局部图像;位置转换模块,包括:
第一坐标子模块,用于确定第一检测框在目标图像中的位置中的左上角对应的第一横坐标和第一纵坐标、第二横坐标和第二纵坐标;
第二坐标子模块,用于确定第二检测框在目标局部图像的位置中的左上角对应的第三横坐标和第三纵坐标,右下角对应的第四横坐标和第四纵坐标;
第一转换子模块,用于基于第三横坐标和第一长度比值,结合第一横坐标,计算第二检测框的左上角坐标中的第一目标横坐标;
第二转换子模块,用于基于第三纵坐标、补齐宽度和第一长度比值,结合第一纵坐标,计算第二检测框的左上角坐标中的第一目标纵坐标;
第三转换子模块,用于基于第四横坐标、补齐宽度和第一长度比值,结合第一横坐标,计算第二检测框的右下角坐标中的第二目标横坐标;
第四转换子模块,用于基于第四纵坐标、补齐宽度和第一长度比值,结合第一纵坐标,计算第二检测框的右下角坐标中的第二目标纵坐标;
第一区域子模块,用于根据第一目标横坐标和第一目标纵坐标构成的左上角坐标、第二目标横坐标和第二目标纵坐标构成的右下角坐标,确定第二检测框在目标图像中的矩形区域位置。
在某些实施例中,第一宽度比值为目标缩放比例;缩放图像基于补齐长度补齐为目标局部图像;位置转换模块,包括:
第三坐标子模块,用于确定第一检测框在目标图像中的位置中的左上角对应的第一横坐标和第一纵坐标、第二横坐标和第二纵坐标;
第四坐标子模块,用于确定第二检测框在目标局部图像的位置中的左上角对应的第三横坐标和第三纵坐标,右下角对应的第四横坐标和第四纵坐标;
第五转换子模块,用于基于第三横坐标、补齐长度、第一宽度比值,结合第一横坐标,计算第二检测框的左上角坐标中的第三目标横坐标;
第六转换子模块,用于基于第三纵坐标和第一长度比值,结合第一纵坐标,计算第二检测框的左上角坐标中的第三目标纵坐标;
第七转换子模块,用于基于第四横坐标、补齐长度和第一宽度比值,结合第一横坐标,计算第二检测框的右下角坐标中的第四目标横坐标;
第八转换子模块,用于基于第四纵坐标和第一宽度比值,结合第一纵坐标,计算第二检测框的右下角坐标中的第四目标纵坐标;
第二区域子模块,用于根据第三目标横坐标和第三目标纵坐标构成的左上角坐标、第四目标横坐标和第四目标纵坐标构成的右下角坐标,确定第二检测框在目标图像中的矩形区域位置。
上述电子设备可以是无线终端也可以是有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network,简称RAN)与一个或多个核心网设备进行通信,无线终端可以是移动终端,如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语言和/或数据。再例如,无线终端还可以是个人通信业务(Personal Communication Service,简称PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol,简称SIP)话机、无线本地环路(Wireless Local Loop,简称WLL)站、个人数字助理(Personal Digital Assistant,简称PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station),移动站(MobileStation)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment),在此不作限定。可选的,上述电子设备还可以是智能手表、平板电脑等设备。
图9是根据一示例性实施例示出的一种电子设备的框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
装置900可以包括以下一个或多个组件:处理组件902,存储器904,电源组件906,多媒体组件908,音频组件910,输入/输出(I/ O)接口912,传感器组件914,以及通信组件916。
处理组件902通常控制装置900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在装置900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件906为装置900的各种组件提供电力。电源组件906可以包括电源管理系统,一个或多个电源,及其他与为装置900生成、管理和分配电力相关联的组件。
多媒体组件908包括在装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(MIC),当装置900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。
I/ O接口912为处理组件902和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器,用于为装置900提供各个方面的状态评估。例如,传感器组件914可以检测到装置900的打开/关闭状态,组件的相对定位,例如组件为装置900的显示器和小键盘,传感器组件914还可以检测装置900或装置900一个组件的位置改变,用户与装置900接触的存在或不存在,装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由装置900的处理器920执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述电子设备的分屏处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (15)
1.一种目标检测方法,其特征在于,包括:
根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及所述第一目标对象对应的第一检测框;
提取所述第一检测框在所述目标图像对应的局部图像;
基于第二检测模型的图像输入尺寸和所述局部图像的图像尺寸,对所述局部图像进行缩放补齐处理,获得目标局部图像,所述目标局部图像的图像尺寸与所述图像输入尺寸相等;
利用所述第二检测模型对所述目标局部图像中的第二目标对象进行检测,获得所述第二目标对象的检测结果;所述第一目标对象的体积大于所述第二目标对象且所述第二目标对象设置于所述第一目标对象。
2.根据权利要求1所述的方法,其特征在于,所述根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及所述第一目标对象对应的第一检测框,包括:
将所述目标图像输入第一检测模型,采用所述第一检测模型执行对象检测,获得第一候选对象;所述第一候选对象关联检测框;
若确定所述第一候选对象属于第一对象类别,则确定所述第一候选对象为所述第一目标对象并获取所述第一候选对象的检测框为所述第一目标对象的第一检测框;
所述利用第二检测模型对目标局部图像中的第二目标对象进行检测,获得第二目标对象的检测结果,包括:
将所述目标局部图像输入到第二检测模型,采用所述第二检测模型执行对象检测,获得第二候选对象;所述第二候选对象关联检测框;
若确定所述第二候选对象属于第二对象类别,则确定所述第二候选对象为所述第二目标对象,以获得所述第二目标对象的检测结果。
3.根据权利要求1所述的方法,其特征在于,所述基于第二检测模型的图像输入尺寸和所述局部图像的图像尺寸,对所述局部图像进行缩放补齐处理,获得目标局部图像,包括:
基于所述第二检测模型的图像输入尺寸和所述局部图像的图像尺寸,确定目标缩放比例;
将所述局部图像的长度和宽度均按照所述目标缩放比例进行缩放处理,获得缩放处理后的缩放图像;
将所述缩放图像按照所述图像输入尺寸进行图像补齐处理,获得所述目标局部图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述图像输入尺寸和所述局部图像的图像尺寸,确定目标缩放比例,包括:
确定所述图像输入尺寸对应的输入长度和输入宽度以及所述局部图像对应的局部图像长度和局部图像宽度;
计算所述输入长度和所述局部图像长度的比例,获得第一长度比值;
计算所述输入宽度和所述局部图像宽度的比例,获得第一宽度比值;
若所述第一长度比值小于所述第一宽度比值,确定所述第一长度比值为所述目标缩放比例;
若所述第一长度比值大于所述第一宽度比值,确定所述第一宽度比值为所述目标缩放比例。
5.根据权利要求4所述的方法,其特征在于,所述将所述缩放图像按照所述图像输入尺寸进行图像补齐处理,获得所述目标局部图像,包括:
若所述目标缩放比例为所述第一长度比例,则确定所述缩放图像从宽度上进行补齐所对应的补齐宽度;
基于所述补齐宽度和所述输入长度,确定第一补齐图像;
将所述第一补齐图像、所述缩放图像以及所述第一补齐图像的复制图像从上到下的顺序进行图像拼接,获得所述目标局部图像。
6.根据权利要求5所述的方法,其特征在于,所述确定所述缩放图像从宽度上进行补齐所对应的补齐宽度,包括:
计算所述输入宽度和所述缩放图像的宽度之间的宽度差值,以确定所述宽度差值的二分之一为所述补齐宽度。
7.根据权利要求4所述的方法,其特征在于,所述将所述缩放图像按照所述图像输入尺寸进行图像补齐处理,获得所述目标局部图像,包括:
若所述目标缩放比例为所述第一宽度比例,则确定所述缩放图像从长度上进行补齐所所对应的补齐长度;
基于所述补齐长度和所述输入宽度,确定第二补齐图像;
将所述第二补齐图像、所述缩放图像以及所述第二补齐图像的复制图像从左到右的顺序进行图像拼接,获得所述目标局部图像。
8.根据权利要求7所述的方法,其特征在于,所述确定所述缩放图像从长度上进行补齐所所对应的补齐长度,包括:
计算所述输入长度和所述缩放图像的长度之间的长度差值,以确定所述长度差值的二分之一为所述补齐长度。
9.根据权利要求4-8任一项所述的方法,其特征在于,所述利用所述第二检测模型对所述目标局部图像中的第二目标对象进行检测,获得所述第二目标对象的检测结果,包括:
将所述目标局部图像输入所述第二检测模型,获得所述第二目标对象以及所述第二目标对象的第二检测框;
确定所述第二检测框在所述目标局部图像中的位置;
基于所述第一检测框在所述目标图像中的位置和所述第二检测框在所述目标局部图像中的位置,确定所述第二检测框在所述目标图像中的位置;
根据所述第二目标对象及所述第二检测框在所述目标图像中的位置确定所述第二目标对象的检测结果。
10.根据权利要求9所述的方法,其特征在于,所述第一长度比值为所述目标缩放比例;所述缩放图像基于补齐宽度补齐为所述目标局部图像;所述基于所述第一检测框在所述目标图像中的位置和所述第二检测框在所述目标局部图像中的位置,确定所述第二检测框在所述目标图像中的位置,包括:
确定所述第一检测框在所述目标图像中的位置中的左上角对应的第一横坐标和第一纵坐标、第二横坐标和第二纵坐标;
确定所述第二检测框在所述目标局部图像的位置中的左上角对应的第三横坐标和第三纵坐标,右下角对应的第四横坐标和第四纵坐标;
基于所述第三横坐标和所述第一长度比值,结合所述第一横坐标,计算所述第二检测框的左上角坐标中的第一目标横坐标;
基于所述第三纵坐标、所述补齐宽度和所述第一长度比值,结合所述第一纵坐标,计算所述第二检测框的左上角坐标中的第一目标纵坐标;
基于所述第四横坐标、所述补齐宽度和所述第一长度比值,结合所述第一横坐标,计算所述第二检测框的右下角坐标中的第二目标横坐标;
基于所述第四纵坐标、所述补齐宽度和所述第一长度比值,结合所述第一纵坐标,计算所述第二检测框的右下角坐标中的第二目标纵坐标;
根据所述第一目标横坐标和所述第一目标纵坐标构成的左上角坐标、所述第二目标横坐标和所述第二目标纵坐标构成的右下角坐标,确定所述第二检测框在所述目标图像中的矩形区域位置。
11.根据权利要求9所述的方法,其特征在于,所述第一宽度比值为所述目标缩放比例;所述缩放图像基于补齐长度补齐为所述目标局部图像;所述基于所述第一检测框在所述目标图像中的位置和所述第二检测框在所述目标局部图像中的位置,确定所述第二检测框在所述目标图像中的位置,包括:
确定所述第一检测框在所述目标图像中的位置中的左上角对应的第一横坐标和第一纵坐标、第二横坐标和第二纵坐标;
确定所述第二检测框在所述目标局部图像的位置中的左上角对应的第三横坐标和第三纵坐标,右下角对应的第四横坐标和第四纵坐标;
基于所述第三横坐标、所述补齐长度、所述第一宽度比值,结合所述第一横坐标,计算所述第二检测框的左上角坐标中的第三目标横坐标;
基于所述第三纵坐标和所述第一长度比值,结合所述第一纵坐标,计算所述第二检测框的左上角坐标中的第三目标纵坐标;
基于所述第四横坐标、所述补齐长度和所述第一宽度比值,结合所述第一横坐标,计算所述第二检测框的右下角坐标中的第四目标横坐标;
基于所述第四纵坐标和所述第一宽度比值,结合所述第一纵坐标,计算所述第二检测框的右下角坐标中的第四目标纵坐标;
根据所述第三目标横坐标和所述第三目标纵坐标构成的左上角坐标、所述第四目标横坐标和所述第四目标纵坐标构成的右下角坐标,确定所述第二检测框在所述目标图像中的矩形区域位置。
12.一种目标检测装置,其特征在于,包括:
第一检测单元,用于根据针对目标道路采集的目标图像及第一检测模型对目标图像中的第一目标对象进行检测,获得第一目标对象以及所述第一目标对象对应的第一检测框;
图像提取单元,用于提取所述第一检测框在所述目标图像对应的局部图像;
图像补齐单元,用于基于第二检测模型的图像输入尺寸和所述局部图像的图像尺寸,对所述局部图像进行缩放补齐处理,获得目标局部图像,所述目标局部图像的图像尺寸与所述图像输入尺寸相等;
第二检测单元,用于利用所述第二检测模型对所述目标局部图像中的第二目标对象进行检测,获得所述第二目标对象的检测结果;所述第一目标对象的体积大于所述第二目标对象且所述第二目标对象设置于所述第一目标对象。
13.一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-11中任一项所述的目标检测方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至11任一项所述的目标检测方法。
15.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-11中任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210703124.0A CN114973204B (zh) | 2022-06-21 | 2022-06-21 | 目标检测方法、装置、设备、存储介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210703124.0A CN114973204B (zh) | 2022-06-21 | 2022-06-21 | 目标检测方法、装置、设备、存储介质及产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114973204A true CN114973204A (zh) | 2022-08-30 |
CN114973204B CN114973204B (zh) | 2024-04-05 |
Family
ID=82966009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210703124.0A Active CN114973204B (zh) | 2022-06-21 | 2022-06-21 | 目标检测方法、装置、设备、存储介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114973204B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807385A (zh) * | 2019-10-24 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN111753826A (zh) * | 2020-05-14 | 2020-10-09 | 北京迈格威科技有限公司 | 车辆与车牌的关联方法、装置和电子系统 |
CN112364807A (zh) * | 2020-11-24 | 2021-02-12 | 深圳市优必选科技股份有限公司 | 图像识别方法、装置、终端设备及计算机可读存储介质 |
WO2021164000A1 (en) * | 2020-02-21 | 2021-08-26 | Harman International Industries, Incorporated | Image processing method, apparatus, device and medium |
CN113516144A (zh) * | 2020-12-01 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 目标检测方法及装置、计算设备 |
CN114445768A (zh) * | 2021-12-30 | 2022-05-06 | 深圳云天励飞技术股份有限公司 | 目标识别方法、装置、电子设备及存储介质 |
CN114626477A (zh) * | 2022-03-22 | 2022-06-14 | 中国农业银行股份有限公司 | 一种目标检测方法、装置及设备 |
-
2022
- 2022-06-21 CN CN202210703124.0A patent/CN114973204B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807385A (zh) * | 2019-10-24 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 目标检测方法、装置、电子设备及存储介质 |
WO2021164000A1 (en) * | 2020-02-21 | 2021-08-26 | Harman International Industries, Incorporated | Image processing method, apparatus, device and medium |
CN111753826A (zh) * | 2020-05-14 | 2020-10-09 | 北京迈格威科技有限公司 | 车辆与车牌的关联方法、装置和电子系统 |
CN112364807A (zh) * | 2020-11-24 | 2021-02-12 | 深圳市优必选科技股份有限公司 | 图像识别方法、装置、终端设备及计算机可读存储介质 |
CN113516144A (zh) * | 2020-12-01 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 目标检测方法及装置、计算设备 |
CN114445768A (zh) * | 2021-12-30 | 2022-05-06 | 深圳云天励飞技术股份有限公司 | 目标识别方法、装置、电子设备及存储介质 |
CN114626477A (zh) * | 2022-03-22 | 2022-06-14 | 中国农业银行股份有限公司 | 一种目标检测方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114973204B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11704771B2 (en) | Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image | |
CN105763812B (zh) | 智能拍照方法及装置 | |
CN106296570B (zh) | 图像处理方法及装置 | |
EP3040884B1 (en) | Method and device for classifying pictures | |
CN108124102B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
CN104918107A (zh) | 视频文件的标识处理方法及装置 | |
CN109034150B (zh) | 图像处理方法及装置 | |
KR102367648B1 (ko) | 전 방향 시차 영상 합성 방법, 장치 및 저장 매체 | |
CN110569835A (zh) | 一种图像识别方法、装置和电子设备 | |
CN110463177A (zh) | 文档图像的校正方法及装置 | |
CN113052919A (zh) | 一种视觉传感器的标定方法及装置、电子设备和存储介质 | |
CN112200040A (zh) | 遮挡图像检测方法、装置及介质 | |
CN106372663B (zh) | 构建分类模型的方法及装置 | |
CN113920083A (zh) | 基于图像的尺寸测量方法、装置、电子设备及存储介质 | |
CN114973204B (zh) | 目标检测方法、装置、设备、存储介质及产品 | |
CN117115244A (zh) | 云端重定位方法、装置及存储介质 | |
CN114723715A (zh) | 车辆目标检测方法、装置、设备、车辆及介质 | |
CN108932692B (zh) | 面单信息的获取方法及装置 | |
CN113724300A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
CN107295229B (zh) | 移动终端的拍照方法和装置 | |
CN111723627A (zh) | 一种图像处理方法、装置和电子设备 | |
CN115861739B (zh) | 图像分割模型的训练方法、装置、设备、存储介质及产品 | |
CN112733599B (zh) | 文档图像处理方法、装置、存储介质及终端设备 | |
CN114693702B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113138387B (zh) | 图像采集方法、装置、移动终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |