CN108460395A - 目标检测方法和装置以及模糊处理方法和装置 - Google Patents

目标检测方法和装置以及模糊处理方法和装置 Download PDF

Info

Publication number
CN108460395A
CN108460395A CN201710087373.0A CN201710087373A CN108460395A CN 108460395 A CN108460395 A CN 108460395A CN 201710087373 A CN201710087373 A CN 201710087373A CN 108460395 A CN108460395 A CN 108460395A
Authority
CN
China
Prior art keywords
collecting device
acquisition
multimedia messages
target object
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710087373.0A
Other languages
English (en)
Other versions
CN108460395B (zh
Inventor
刘颖璐
李艳丽
肖宇
王开业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201710087373.0A priority Critical patent/CN108460395B/zh
Publication of CN108460395A publication Critical patent/CN108460395A/zh
Application granted granted Critical
Publication of CN108460395B publication Critical patent/CN108460395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明提供一种目标检测方法和装置以及模糊处理方法和装置。其中,该目标检测方法包括如下步骤:获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;若检测到所述主采集设备采集的多媒体信息不满足预设的检测条件,则获取各采集设备分别采用不同的采集参数采集的多媒体信息;根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。本发明提升了对目标对象的检测精度。

Description

目标检测方法和装置以及模糊处理方法和装置
技术领域
本发明属于多媒体信息处理领域,尤其涉及一种目标检测方法和装置以及模糊处理方法和装置。
背景技术
目标检测是计算机多媒体信息处理中非常重要的一个分支,可以运用在人们日常生活的很多方面,其中,尤其以图像中的目标检测较为常见,故以下将以图像中的目标检测为例进行说明。
目标检测的目的是识别出图像中的感兴趣物体,并且给出该物体所在区域,比如当驾车寻找一个花店或者汽车修理厂时,可以在车前安装一个摄像头,利用目标检测技术自动寻找目标,驾驶员只需专注在道路行驶问题上,这样更安全、更便捷。
现如今,人工智能产品飞速发展,很多公司投入了大量人力财力,目标检测已经成为智能车辅助驾驶、无人机避障、智能家居机器人等人工智能应用的关键性技术。
但是当场景中存在多个目标对象时,目标检测的检测精度往往较低,现有技术并没有提出如何提高检测多个目标对象时的检测精度的方案。
发明内容
鉴于上述问题,本发明提出了一种目标检测方法和装置以及模糊处理方法和装置,解决现有技术中目标检测精度低的问题。
根据本发明的第一方面,本发明实施例提供一种目标检测方法,包括如下步骤:
获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;若检测到所述主采集设备采集的多媒体信息不满足预设的检测条件,则获取各采集设备分别采用不同的采集参数采集的多媒体信息;根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
优选的,通过下述方式判断所述主采集设备采集的多媒体信息是否满足预设的检测条件:
若检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件,则确定所述主采集设备采集的多媒体信息不满足预设的检测条件。
进一步的,获取各采集设备分别采用不同的采集参数采集的多媒体信息,具体包括:
在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,确定针对所述目标区域的采集参数;
获取至少两个采集设备中的辅采集设备依据确定出的采集参数采集的多媒体信息。
进一步的,判断所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件的方式,包括以下至少一项:
当任一目标对象所在的目标区域对应的用于表征多媒体信息质量的质量参数未处于预定参数范围内时,确定该目标对象所在的目标区域不满足预设检测条件;
当任一目标对象所在的目标区域对应的质量参数在预定多媒体信息帧内的变动范围大于预定参考范围时,确定该目标对象所在的目标区域不满足预设检测条件;
当任一目标对象属于预置对象类型时,确定该目标对象所在的目标区域不满足预设检测条件;
当任一目标对象的检测置信度低于预设阈值时,确定该目标对象所在的目标区域不满足预设检测条件。
优选的,该方法还包括下述至少一项:
在检测到所述主采集设备采集的多媒体信息不满足预设的检测条件时,触发至少两个采集设备中的辅采集设备开启;
在满足预开启条件时,预开启所述辅采集设备;
当满足预设关闭条件时,触发所述辅采集设备关闭。
进一步的,根据下述至少一项判断是否满足所述预开启条件:所述辅采集设备的历史开启行为;当前的天气信息;当前的时间信息;当前的采集环境类型。
进一步的,在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,基于以下至少一项来确定针对所述目标区域的采集参数:
目标对象所在的目标区域对应的用于表征多媒体信息质量的质量参数;
预设训练数据;
目标对象重要性;
目标对象的检测置信度。
进一步的,在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,确定针对所述目标区域的采集参数,包括:
在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,依据所述目标对象所在的目标区域的位置和多媒体参数进行聚类,查找最优聚类中心,依据所述最优聚类中心的多媒体参数确定针对所述多媒体信息的采集参数。
优选的,根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象,具体包括:
将各采集设备分别采集的多媒体信息进行融合;
根据融合的多媒体信息检测所述至少两个目标对象。
进一步的,将各采集设备分别采集的多媒体信息进行融合的步骤,包括以下至少一种情形:
在主采集设备采集的多媒体信息中,将目标对象所在的目标区域替换为辅采集设备采集的多媒体信息中相应目标对象所在的目标区域;
从各采集设备采集的多媒体信息中分别提取出多媒体特征,将提取出的多媒体特征进行融合;
分别计算同一目标对象所在的目标区域在各采集设备采集的多媒体信息中的平均检测置信度或最大检测置信度,基于所述平均检测置信度或最大检测置信度检测所述至少两个目标对象。
优选的,通过下述方式判断所述主采集设备采集的多媒体信息是否满足预设的检测条件:若检测到所述主采集设备采集的多媒体信息满足预设模糊条件,则确定所述主采集设备采集的多媒体信息不满足预设的检测条件;
获取各采集设备分别采用不同的采集参数采集的多媒体信息,具体包括:确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象,具体包括:基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理;根据去模糊后的多媒体信息检测所述至少两个目标对象。
根据本发明的第二方面,本发明实施例提供一种模糊处理方法,包括如下步骤:
获取至少两个采集设备中的主采集设备采集的多媒体信息;
当检测到主采集设备采集的多媒体信息满足预设模糊条件时,确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;
获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理。
优选的,所述模糊类型包括因采集设备运动产生模糊的设备运动模糊类型和因目标对象运动产生模糊的对象模糊类型中的至少一项。
优选的,所述确定主采集设备采集的多媒体信息的模糊类型的步骤,包括以下至少一项:
提取主采集设备采集的多媒体信息的全局特征,并根据所述全局特征确定主采集设备采集的多媒体信息的模糊类型;
获取所述主采集设备的运动信息,根据所述运动信息确定主采集设备采集的多媒体信息的模糊类型;
识别主采集设备采集的多媒体信息中的目标对象,根据所述目标对象所属的类型确定主采集设备采集的多媒体信息的模糊类型;
检测主采集设备采集的多媒体信息在预定多媒体信息帧内的变化情况,根据检测到的变化情况确定主采集设备采集的多媒体信息的模糊类型。
优选的,所述基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理的步骤,包括:
基于所述辅采集设备采集的多媒体信息,计算模糊核,根据计算出的模糊核对所述主采集设备采集的多媒体信息进行反卷积处理,得到去模糊后的多媒体信息。
根据本发明的第三方面,本发明实施例提供一种目标检测装置,包括:
第一获取模块,用于获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;
第二获取模块,用于在检测到所述主采集设备采集的多媒体信息不满足预设的检测条件时,获取各采集设备分别采用不同的采集参数采集的多媒体信息;
检测模块,用于根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
根据本发明的第四方面,本发明实施例提供一种模糊处理装置,包括:
第三获取模块,用于获取至少两个采集设备中的主采集设备采集的多媒体信息;
第一确定模块,用于当检测到主采集设备采集的多媒体信息满足预设模糊条件时,确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;
第四获取模块,用于获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
处理模块,用于基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理。
相比现有技术,本发明的方案具有以下优点:
本发明中,由至少两个采集设备协同检测目标对象,当检测至少两个目标对象时,各采集设备分别采用不同的采集参数采集多媒体信息,并依据各采集设备分别采集的多媒体信息检测所述至少两个目标对象,提升了目标检测的检测精度。
另外,本发明可以依据针对于局部目标区域的采集参数进行二次采集,而非整个多媒体信息,实现了可针对局部区域的目标检测,更适合多目标对象的目标检测。
另外,本发明实施例的采集设备的主采集设备是常开的,辅采集设备默认是关闭的,仅在满足预定开启条件时方才开启辅采集设备,可降低采集设备整体的功耗。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为双目摄像头所拍摄的一种示例性的图片;
图2为双目摄像头所拍摄的另一种示例性的图片;
图3为本发明一种实施例的目标检测装置的结构示意图;
图4为本发明一种实施例的目标检测方法的流程图;
图5为本发明一种实施例的原始图像和目标图像的对比示意图;
图6为本发明一种实施例的目标检测方法的流程图;
图7为双目摄像头所拍摄的一种示例性的图片;
图8为本发明一种实施例的模糊处理方法的流程图;
图9为本发明一种实施例的清晰图像与模糊图像的转换关系示意图;
图10为本发明一种实施例的目标检测装置的结构示意图;
图11为本发明一种实施例的模糊处理装置的结构示意图;
图12为本发明实施例双目摄像头在一种应用场景所拍摄图像的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
发明人发现,早期的目标检测技术主要基于单摄像头,而在实际应用中同一个场景往往同时出现多个待检测的目标,由于每个目标所处的拍摄环境以及物体属性都存在差异。如果只是采用一套拍摄参数,很难兼顾到多个目标。基于此,双目摄像头因其检测准确性高的特定逐渐成为研究重点。
现有利用双目摄像头进行检测的方案主要利用双目得到深度信息,从而对目标进行精确检测,在这种情况下双目摄像头的两个摄像头的拍摄参数相同,不适合同时对处于不同环境的多个对象或属于不同类型的多个对象进行检测,具体的:
(1)同时检测处于不同环境的多个对象
当双目摄像头同时检测处于不同环境的多个对象时,如图1所示,有些对象(图中深色框所框选的对象)可能处于光照充足的区域,而有些对象(图中浅色框所框选的对象)则因为被大树、高楼遮挡的原因,处于光照不足的区域。检测处于不同环境的多个对象,需要不同的拍摄参数。如上述列举的对象,检测光照不足的对象所需的曝光时间要大于光照充足的对象所需的曝光时间。如果双目摄像头两个摄像头的拍摄参数相同,在检测光照充足区域的对象时,低曝光度使光照不足的对象的亮度较低,无法获得清晰的图像,在检测光照不足区域的对象时,高曝光度使得光照充足的对象过曝光,也无法获得清晰的图像。
(2)同时检测属于不同类型的多个对象
当双目摄像头同时检测多个不同类型的对象时,如图2所示,有些对象属于场景文字类型,如高速路上的道路指示牌或汽车车牌(如图中浅色框所框选的对象),有些对象属于常规物体类型,如道路上的汽车(如图中深色框所框选的对象)。在检测属于不同类型的多个对象时,需要不同的图像属性。若需检测的对象是车辆等常规物体,则可以采集低分辨率的图像,高分辨率的图像既不能带来性能提高,还会增大运算代价;但是如果需检测的对象是场景文字,则高分辨率且准确对焦的图像会使得检测准确度显著提高。
由此可见,现有技术的采集设备在检测处于不同环境的多个对象或属于不同类型多个对象时,多个采集设备采用了相同的采集参数,致使目标检测精度低。
在对本发明进行具体论述前,有必要进行如下先导性说明:
如图3所示,为一种实施例的目标检测装置的简化结构。该目标检测装置包括处理器11、存储器12、主采集设备13和辅采集设备14。其中,主采集设备13和辅采集设备14均可以采集多媒体信息,二者可以同时工作,也可以仅有一个单独工作。存储器12用于存储主采集设备13和辅采集设备14所采集的多媒体信息。处理器11可控制主采集设备13和辅采集设备14的工作状态,同时,可以向主采集设备13和辅采集设备14传递相应的采集参数,以驱使主采集设备13和辅采集设备14在其传递的采集参数下进行多媒体信息采集。当然,目标检测装置可以包含至少两个采集设备,同时还可配置感应器、显示屏、扩音器等其他部件,在此不做赘述。
其中,上述多媒体信息可以是图片、视频、文字、声音等,对应的,可以包含两个采集设备,例如为双目采集设备,双目采集设备可以是双目摄像头或者双拾音器等。为了对本发明实施例进行详尽说明,将以双目摄像头为例对本发明实施例进行具体阐述,但该双目摄像头仅为示例性说明,并不代表对本发明的限制,本发明实施例的方法和装置还可以应用至其他设备。
以双目摄像头为例,双目摄像头具有多种类型,如RGB摄像头、深度摄像头、红外摄像头、广角摄像头等等。主摄像头和辅摄像头可以采用相同类型的摄像头,也可以采用不同类型的摄像头,常见的,具有如下多种组合形式:(1)RGB摄像头+深度摄像头;(2)RGB摄像头+红外摄像头;(3)RGB摄像头+广角摄像头。其中,RGB摄像头作为主摄像头,用于实时视频采集以及目标检测或跟踪,当满足触发条件时,触发辅摄像头来协同检测。
本发明实施例提供一种目标检测方法,该方法应用于上述实施例的双目摄像头,以下将以双目摄像头的视角进行具体说明,对应的多媒体信息可以是图片或者视频,如图4所示,其包括如下步骤:
S101:获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息。
处理器向主摄像头发送驱动信号,以驱使主摄像头拍摄原始图像,主摄像头在拍摄原始图像后,将该原始图像数据传输至处理器。其中,该原始图像可以是单张图片或者是实时的视频流。原始图像中包含多个目标对象,该目标对象是目标物体在原始图像中的成像。处理器会对原始图像进行图像识别,以识别原始图像中的物体对象,当物体对象与预设的对象相匹配时,该物体对象即为目标对象。例如,预设对象有道路指示牌、汽车、交通信号灯和车辆号牌,如果原始图像中的物体对象有人、汽车、自行车和交通信号灯,则该原始图像中的汽车和交通信号灯为目标对象。
S102:若检测到所述主采集设备采集的多媒体信息不满足预设的检测条件,则获取各采集设备分别采用不同的采集参数采集的多媒体信息。
对于每一个目标对象,其在原始图像中均占据预定像素位置,可将目标对象自身所占据像素位置确定为目标区域,或者,将包含目标对象的预定图像范围确定为目标区域。其中,当将包含目标对象的预定图像范围确定为目标区域时,该目标区域可以是与目标对象轮廓相匹配但面积大于目标对象的区域,也可以是包含目标对象的具有特定形状的区域,例如圆形区域或者方形区域。
在识别出原始图像中的目标对象后,处理器将获取各目标对象所在目标区域的图像信息,并判断主摄像头所采集的原始图像是否满足检测条件。具体的,若检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件,则确定所述主采集设备采集的多媒体信息不满足预设的检测条件。其中,该预设检测条件用于表征当前拍摄参数是否满足同时检测多个目标对象。其确定目标区域对应的图像信息是否满足预设检测条件的过程,具体包括如下几种实施方式:
在一种实施例方式,当任一目标对象所在的目标区域对应的图像信息所包含的表征图像质量的图像参数未处于预定参数范围内时,确定所述图像信息未满足预设检测条件。
上述目标区域的图像信息包含表征该目标区域内图像质量的图像参数,该图像参数可以体现图像质量的好坏或者图像是否清晰。该图像参数包括但不限于亮度、信噪比、对比度、饱和度、锐度等。该预定参数范围是图像质量处于预定良好状态或者图像足够清晰状况下,相应图像参数可变动的范围。当图像参数为亮度时,可通过提取亮度特征来确定目标区域的亮度值,如果其亮度值不处于预定的亮度范围时,确定该目标区域的图像信息未满足预设检测条件。当图像参数为模糊程度值时,通过Blur类型检测及Blur程度估计确定出目标区域的模糊程度值,如果其模糊程度值不处于预定的模糊程度范围时,确定该目标区域的图像信息未满足预设检测条件。当图像参数为信噪比时,计算目标区域的噪声,再进而确定其信噪比,如果其信噪比不处于预定的信噪比范围时,确定该目标区域的图像信息未满足预设检测条件。
其中,上述的参数范围可以依据拍摄时间、拍摄地点和/或目标对象的不同而做出调整。具体而言,建立有拍摄时间、拍摄地点和/或目标对象同参数范围的映射关系列表。依据该隐射关系列表,确定当前拍摄时间、拍摄地点和/或目标对象所映射的参数范围,并将该参数范围适用至上述方法。鉴于傍晚时的光照明显弱于中午时分的光照,在该映射关系列表中,拍摄时间为傍晚的亮度范围的上限值可以小于拍摄时间为中午的亮度范围的上限值。又例如,拍摄地点为高速路时,所拍摄的图像比在普通道路所拍摄的图像更容易模糊,因而,拍摄地点为高速路的模糊程度范围的上限高于拍摄地点为普通道路的模糊程度范围的上限。因而,通过上述可变的参数范围,可更准确地确定目标区域对应的图像信息是否满足预设检测条件。
在一种实施方式中,当任一目标对象所在的目标区域对应的图像信息所包含的表征图像质量的图像参数在预定图像帧内的变动范围大于预定参考范围时,确定所述图像信息未满足预设检测条件。
目标区域的图像信息包含表征该目标区域内图像质量的图像参数,该图像参数可以体现图像质量的好坏或者图像是否清晰。该图像参数包括但不限于亮度、信噪比、对比度、饱和度、锐度等。该预定参数范围是图像质量处于预定良好状态或者图像足够清晰状况下,相应图像参数可变动的范围。
处理器可获取主摄像头拍摄的视频流中的预定数量的图像帧,确定各图像帧中目标区域的图像参数,进而计算出目标区域的图像参数在预定图像帧内的变动范围。当其变动范围大于预定参考范围时,使用原有的拍摄参数无法清晰检测出变动后的目标对象,因而其未满足检测条件。图像参数变动范围过大,往往说明图像中出现了新的物体对象或者图像中原有的物体对象的状态发生了改变。例如,当图像中出现了亮起的灯光,其亮度值会产生突变。当图像中的道路指示牌随车辆前进而突然靠近,其在图像中的目标区域会突然增大。当灰暗背景中突然走进一个衣着靓丽的女士,图像的对比度也会产生突变。
当然,上述的参考范围可以依据拍摄时间、拍摄地点和/或目标对象的不同而做出调整。具体而言,建立有拍摄时间、拍摄地点和/或目标对象同参考范围的映射关系列表。在适用上述映射关系列表时,先确定拍摄时间、拍摄地点和/或目标对象,进而依据该隐射关系列表,确定相应图像参数的参考范围,再将该参考范围适用至上述方法。
在一种实施方式中,当任一目标对象属于预置对象类型时,确定该目标对象所在的目标区域对应的图像信息未满足预设检测条件。
处理器预置有多种对象类型,每一种对象类型均包含多个目标对象组成的集合,处理器从原始图像中识别出相应的目标对象,再匹配至上述集合,继而确定目标对象所属的对象类型。例如,路边行走的人和动物为生物类型,房屋和墙壁为建筑类型,行驶或停泊的汽车、卡车等为车辆类型,交通指示灯、道路指示牌等为指示类型。在一种示例中,指示类型为预置的对象类型,当原始图像中包含交通指示灯、道路指示牌等指示类型的目标对象时,确定该目标对象所在的目标区域对应的图像信息未满足预设检测条件。
在一种实施方式中,当任一目标对象的检测置信度低于预设阈值时,确定该目标对象所在的目标区域对应的图像信息未满足预设检测条件。
处理器预存有多个目标对象及其相应的检测置信度阈值,在获取主摄像头拍摄的原始图像后,计算各目标对象的检测置信度,当原始图像中目标对象的检测置信度低于其相应的检测置信度阈值,则认为主摄像头当前的拍摄参数不满足检测该目标对象,因而其未满足检测条件。
上述实施方式可确定目标区域的图像信息是否满足检测条件,当目标区域的图像信息未满足检测条件时,可确定针对于所述目标区域的拍摄参数。处理器获取主摄像头拍摄时的相关拍摄参数,再结合目标区域的图像参数以及目标区域的相关信息,确定出针对于所述目标区域的拍摄参数,再以该拍摄参数驱动辅摄像头进行拍摄。
其中,主摄像头的相关参数包括但不限于曝光时间、光圈大小、ISO尺度、聚焦区域和白平衡,目标区域的图像参数包括而不限于位置、亮度、模糊程度、信噪比、白平衡,目标区域的相关信息包括但不限于对象类型、场景类型和场景解析结果。最终确定的拍摄参数包括而不限于聚焦区域、曝光时间、光圈大小、ISO尺度、白平衡、拍摄模式(拍摄视频或者拍摄图片)和分辨率。
获取各采集设备分别采用不同的采集参数采集的多媒体信息,具体包括:在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,确定针对所述目标区域的采集参数,获取至少两个采集设备中的辅采集设备依据确定出的采集参数采集的多媒体信息。当然,如果所有目标区域对应的图像信息均满足预设检测条件,则不执行后续步骤。确定针对目标区域的采集参数,具体为确定针对目标区域的拍摄参数,其包括如下几种实施方式:
在一种实施方式中,当任一目标对象所在的目标区域对应的图像信息未满足预设检测条件时,依据预设映射关系,确定所述图像参数所映射的针对于所述目标区域的拍摄参数。
依据多组实验数据,可以人为经验性地建立主摄像头拍摄参数、目标区域的图像参数以及目标区域的相关信息同辅摄像头拍摄参数的映射关系,当任一目标对象所在的目标区域对应的图像信息未满足预设检测条件时,依据上述映射关系,确定主摄像头拍摄参数、未满足预设检测条件的目标区域的图像参数以及未满足预设检测条件的目标区域的相关信息所映射的拍摄参数。具体的,用户可以根据经验指定拍摄参数的确定规则,例如设定一个固定亮度阈值,当目标区域的亮度低于该阈值,则将辅摄像头的曝光时间提高为主摄像头曝光时间的两倍,再如设定一个模糊度阈值,当检测到目标区域的模糊为非对焦模糊且模糊度高于该阈值时,则设置辅摄像头的聚焦区域定位在目标区域中。
如上表所示,表中列举了多种目标对象未满足检测条件的情形,还列举了相应情形下应参考的主摄像头拍摄参数、未满足预设检测条件的目标区域的图像参数以及未满足预设检测条件的目标区域的相关信息等相关参数,以及最终确定的辅摄像头的拍摄参数。
在一种实施方式中,当任一目标对象所在的目标区域对应的图像信息未满足预设检测条件时,基于预设训练数据,通过机器学习方式确定对应于所述图像参数的拍摄参数。
处理器内预存有多组训练数据,该训练数据包括主摄像头拍摄参数、目标区域的图像参数、目标区域的相关信息以及相应的辅摄像头拍摄参数,基于上述训练数据,处理器使用机器学习算法训练出回归模型。当任一目标对象所在的目标区域对应的图像信息未满足预设检测条件时,获取主摄像头拍摄参数、未满足预设检测条件的目标区域的图像参数以及未满足预设检测条件的目标区域的相关信息,使用该回归模型对上述参数进行计算,以预测辅摄像头的拍摄参数。其中,上述的机器学习算法包括而不限于支持向量机、随机森林和神经网络。
在一种实施方式中,当至少一个目标对象所在的目标区域对应的图像信息未满足预设检测条件时,依据预设的目标对象重要性排序,分别确定针对于相应目标区域的拍摄参数。
处理器预存有目标对象的重要性排序,该排序是人为预先设定的,通常将危险系数更高、重要性更高的目标对象排列靠前,例如,行人的排序比车辆的排序靠前,交通指示灯的排序比道路指示牌的排序靠前。此排序主要应用于多个目标对象所在的目标区域对应的图像信息均未满足预设检测条件的情形,在此情形下,可根据目标对象的重要性排序依次确定针对相应目标区域的拍摄参数,从而保证重要的目标对象优先被检测,比如在行车过程中,我们认为行人的重要性优先于车辆以及其他静止的物体,当主摄像头检测到某个目标对象是行人,另一个目标对象是树木时,可优先确定针对行人对象的拍摄参数,具体确定拍摄参数的方法可参考上述两种实施例,从而调用辅摄像头优先对行人进行检测。本实施例规范了多个目标区域对应的图像信息未满足预设检测条件时,辅摄像头对这些目标区域的检测顺序,从而可以优先检测较为重要的目标对象,在一些具体应用中,可以提升安全性。
在一种实施例中,当至少一个目标对象所在的目标区域对应的图像信息未满足预设检测条件时,依据目标区域的检测置信度排序,分别确定针对于相应目标区域的拍摄参数。
当原始图像中的多个目标对象所在的目标区域对应的图像信息均未满足预设检测条件时,分别计算未满足预设检测条件的目标区域的检测置信度,并依据检测置信度的高低,对未满足预设检测条件的目标区域进行排序,在确定其拍摄参数时,依据上述排序,分别确定未满足预设检测条件的目标区域的拍摄参数,并驱动辅摄像头对相应目标区域进行检测。具体确定拍摄参数的方法可参考前述两个实施例。本实施例规范了多个目标区域对应的图像信息未满足预设检测条件时,辅摄像头对这些目标区域的另一种检测顺序,以检测置信度进行排序,优先检测检测置信度高的目标区域。
在确定了针对所述目标区域的采集参数后,获取各采集设备分别采用不同的采集参数采集的多媒体信息。其中一部分采集设备可采用原有的采集参数进行多媒体信息采集,另外一部分采集设备可采用针对所述目标区域的采集参数进行多媒体信息采集。具体而言,获取至少两个采集设备中的辅采集设备依据确定出的采集参数采集的多媒体信息。
仍然以上述双目摄像头为例,在确定了针对于未满足检测条件的目标区域的拍摄参数后,驱动辅摄像头使用该拍摄参数进行拍摄,从而获得包含满足所述检测条件的目标区域的目标图像,当未满足检测条件的目标区域具有多个时,辅摄像头将进行多次拍摄,从而获得多个目标图像。为了便于后续的图像融合步骤,辅摄像头将与主摄像头拍摄相同数量帧的图像。
对应于步骤S102中的实施例,辐摄像头依据确定出的拍摄参数所拍摄的目标图像,具体应满足:目标对象所在的目标区域对应的图像信息所包含的表征图像质量的图像参数处于预定参数范围内、目标对象所在的目标区域对应的图像信息所包含的表征图像质量的图像参数在预定图像帧内的变动范围小于预定参考范围和/或目标对象的检测置信度高于预设阈值,从而获得目标区域图像质量更高、更清晰的图像。
如图5所示的示例,摄像头A作为主摄像头,摄像头B作为辅摄像头,摄像头A拍摄了表征车辆行驶过程的中的道路状况的图像A(原始图像),图像A中深色框所框选的对象处于光照较强的环境,图像很清晰,而浅色框所框选的对象处于光照不足的环境,图像亮度不够,并不清晰。因此,摄像头A的当前拍摄参数不足以检测浅色框所框选的对象,为此,设定相应的拍摄参数,使摄像头B基于该拍摄参数进行拍摄,得到图像B(目标图像)。图像B中,由于增加了曝光量,图像B中浅色框所框选的对象的亮度得到增加,图像更清晰。
在驱动辅摄像头进行拍摄时,在已确定的拍摄参数的基础上,可调节辅摄像头的工作参数,其调节方式包括但不限于调节拍摄模式、调节拍摄时间、调节拍摄频率、调节拍摄参数确定方式,可以但不限于根据场景、目标对象类型、设备状态来调整其工作参数。其中,可以根据图像识别技术确定场景,根据主摄像头的初步检测结果确定目标对象类型。
对于调整拍摄模式,拍摄模式主要包括静态图像拍摄及视频拍摄。在当前场景为动态场景时,辅摄像头应使用视频模式拍摄以实时拍摄视频。还可以采用图像跟踪技术,跟踪视频中的目标对象,以保证检测的实时性,提高检测精度。如果目标对象为运动对象,则使用视频模式拍摄。如果本机设备的存储量小、电量低,可以选择图像模式拍摄而仅仅拍摄单张或多张图片。
对于调整拍摄时间,主要包括立即拍摄和延迟拍摄两种方式,当目标区域太小时,通常采用延迟拍摄模式。可计算目标对象的移动速度和轨迹,并通过目标对象的移动速度和轨迹来估算延迟时间。其他情况下通常选用立即拍摄模式。
对于调整拍摄频率,拍摄频率包括高频拍摄和低频拍摄两种。预先设定速度阈值,计算图像中目标对象的移动速度,当其移动速度大于该速度阈值时,采用高频拍摄模式,否则采用低频拍摄模式。当拍摄静态场景或者设备存储空间较少及电量较低时通常采用低频拍摄模式。此外,也可以采用间隔拍摄的方式,即拍摄一段时间,再停止拍摄一段时间。当处于动态场景时,拍摄间隔可根据兴趣物体的变化速度进行调整,变化速度越快,间隔越短。当目标对象为运动对象时,目标对象的运动速度越快,则间隔越短。当设备存储量小、电量低时,可以延长拍摄间隔。
对于调整参数确定方式,如上述实施例所述,确定拍摄参数的方式主要有两种,一种为人为经验性设定,该方式主要适用于对实时性要求比较高的情形,另一种为机器学习方式,该方式主要适用于对实时性要求不高,但对准确性要求比较高的情形。对于动态场景和/或目标对象为运动对象的情形,其对实时性要求高,可以采用人为经验性设定方式。对于静态场景、和/或目标对象为场景文字时,其对准确性要求高,可以采用机器学习方式。
通过上述对辅摄像头工作参数的调节,可以进一步提升检测的准确性,可依据场景、目标对象类型、设备状态的不同而适应性地调整,使辅摄像头的工作方式更加智能化。
S103:根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
在获取到辅摄像头依据拍摄参数拍摄的目标图像之后,依据主摄像头拍摄的原始图像和辅摄像头拍摄的目标图像对图像中的目标对象进行检测。具体而言,将各采集设备分别采集的多媒体信息进行融合;根据融合的多媒体信息检测所述至少两个目标对象。其融合方式包括以下至少一项:
在一种实施方式中,将目标对象所在的目标区域替换为辅采集设备采集的多媒体信息中相应目标对象所在的目标区域。
其中,目标区域为未满足预设检测条件的目标对象所在的目标区域。具体的,主摄像头是从全局拍摄环境出发进行图像拍摄,图像中的部分区域存在上述未满足检测条件的情形,辅摄像头是针对原始图像中未满足检测条件的目标区域进行拍摄,其重点关注这些未满足检测条件的目标区域。为此,可将原始图像中的未满足检测条件的目标区域替换为目标图像中相应的目标区域,从而得到融合后的融合图像,并基于该融合图像继续对图像中的目标对象进行检测。或者,将辅摄像头拍摄的检测置信度低的目标区域替换原始图像中的对应区域,而保留两种参数拍摄得到的质量较高的区域,进而获得一张更清晰的图片。两种方式均获得了质量更高、更为清晰的图像,提升了检测的准确性。
在一种实施方式中,从各采集设备采集的多媒体信息中分别提取出多媒体特征,将提取出的多媒体特征进行融合。
对应于多媒体信息,当多媒体信息为图像时,该多媒体特征为图像特征,当媒体信息为声音时,该多媒体特征为声音特征。以图像特征为例,可分别从主摄像头拍摄的原始图像和辅摄像头拍摄的目标图像中提取出图像特征,再将原始图像中提取出的特征和目标图像中提取出的特征进行融合。进行特征融合时,可以利用多核学习(MKL)的方法进行融合,再利用SVM、boost、神经网络等分类器输出融合后的图像。上述图像特征是指图像区域的特征,其既可以是全局特征,也可以是局部特征,比如通过传统的bags-of-word提取得到的特征向量,或者通过CNN提取得到的feature map。上述的特征融合方式有多种,例如,最基础的可以将两幅图像对应区域得到的特征向量进行串联,从而得到一个更高维度的特征。比如从原始图像和目标图像中分别得到了一个128维的向量,串联将得到一个256维的特征。此外还可以采用MKL的方式进行加权融合等。
在一种实施方式中,分别计算同一目标对象所在的目标区域在各采集设备采集的多媒体信息中的平均检测置信度或最大检测置信度,基于所述平均检测置信度或最大检测置信度检测所述至少两个目标对象
对于每一个待检测的目标区域,可以分别计算其在主摄像头拍摄的原始图像和辅摄像头拍摄的目标图像中的检测置信度,计算所有目标区域的检测置信度的平均值或最大值,将原始图像中该目标区域的检测置信度调整为所述平均检测置信度或所述最大检测置信度,从而可以得到一个鲁棒性更强的结果,可提升检测性能。例如,原始图像中待检测目标区域的检测置信度为0.7,目标图像中该区域的检测置信度为0.9,取平均则为0.8,中该区域最终的检测置信度为0.8,可将原始图像中该目标区域的检测置信度调整为0.8。
上述三种融合方法在设备开销和检测精度上各有优缺点,图像替换融合在开销上要高于特征融合和检测置信度融合,而检测置信度融合的设备开销最小。但是在检测精度方面,检测置信度融合的精度最低,特征融合高于检测置信度融合,图像替换融合的检测精度最高。当图像检测对时间要求高,比如高实时性检测,优先选择检测置信度融合。当图像检测对精度要求高,则优先选择图像替换融合。特征融合是折中选择。根据三种融合方法的特性,可以基于下面三个方面自适应的选择融合方法:
(1)根据对象类型或场景选择融合方式:动态场景或者移动的目标对象应该选择快速的融合方法,以确保实时性,可优先选择检测置信度融合。
(2)根据图像质量选择融合方式:摄像头拍摄的图像质量高则可以直接选择检测置信度融合,拍摄的画质质量低则需要选择图像替换融合来提升图像质量,进而保证检测精度。
(3)根据设备状态选择融合方式:设备处于低存储空间或者低电量的状态时,则选择设备开销小的方法,如检测置信度融合。设备状态良好的情况下,则根据可以选择图像替换融合或特征融合。
进一步的,在获得融合后的多媒体信息后,可对融合后的多媒体信息进行存储,具体而言,有如下三种方式:
(1)存储融合后的多媒体信息,在得到质量更优、效果更好的融合后的多媒体信息后,将该融合后的多媒体信息存储在存储器中,同时还可以存储主采集设备和辅采集设备分别采集得到的多媒体信息。
(2)从各采集设备采集的多媒体信息中截取出目标对象所在目标区域的多媒体片段,存储所述多媒体片段及其包围盒。。例如,目标区域中包含交通信号灯这一目标对象,则截取出原始图像和目标图像中交通信号灯所在的目标区域的图像片段,仅存储这些图像片段以及图像片段在图像中的相应包围盒。其中,包围盒英文全称为Bounding Box,为包含目标对象的矩形区域,优选的为包含该目标对象的最小矩形区域。
(3)当目标区域中包含文字信息时,识别目标区域内的文字信息,存储所述文字信息及相应目标区域的包围盒。例如,目标区域包含距离指示牌,该距离指示牌指示了当前位置距离中山的距离为20km,距离广州的距离为80km。则通过图像识别,可仅存储其中的文字,可存储为“距离中山20km,距离广州80km”。
对应于上述三种不同的存储方式,也具有三种不同的呈现方式:
(1)将存储的图像播放在显示屏上,图片和视频均可播放。可将存储的融合图像与目标图像中目标区域的图像片段进行联合播放,具体可以使用分屏显示的方式进行播放,使用户既可观看到完整清晰的图像,还可以重点关注目标区域的图像。
(2)将存储的图像播放在显示屏上,但仅播放目标图像中目标区域的图像片段。针对特定的应用场景,使用户重点关注目标区域的图像。例如,用户驾车行驶过程中,用户设定了仅关注道路指示牌,则显示屏将显示道路指示牌的图像片段,而不显示其他图像。以便于用于及时了解道路指示,同时不会对过多干扰用户驾驶。
(3)使用扩音器播报存储的文字信息。当目标区域中包含文字信息时,处理器所存储的为文字信息。当应用于行车驾驶过程中,语音播报不会转移用户的视野,可提升驾驶的安全性。
上述的多媒体信息融合方式、存储方式以及呈现方式,可由用户进行自定义,也可以由目标检测装置依据场景、目标对象的类型以及设备状态进行自适应设定。
在一种实施例中,目标检测装置的主采集设备是常开的,辅采集设备默认是关闭的,在上述实施例的基础上,该方法还包括:在检测到所述主采集设备采集的多媒体信息不满足预设的检测条件时,触发至少两个采集设备中的辅采集设备开启。
当主采集设备采集的多媒体信息中目标对象所在目标区域未满足上述实施例的检测条件时,说明当前采集参数不足以检测多个目标对象,此时才开启辅采集设备进行辅助检测,相比于现有技术中两个摄像头都是常开的情形,本实施例降低了设备的功耗。
同时,当多个采集设备的参数配置完全一致时可预先指定任意采集设备为主采集设备,当两个采集设备的参数配置不同时,可以指定功率较低、分辨率较低的摄像头为主采集设备,以降低装置的整体功耗。
在一种实施例中,上述的目标检测装置还可以是拾音器,对应的多媒体信息为声音,多拾音器中的主拾音器可以采集原始声音,该原始声音中包含多个目标对象,该目标对象是目标物体发出的声音。处理器会对原始声音进行语音识别,以识别原始声音中的物体对象,当物体对象与预设的对象相匹配时,该物体对象的声音即为目标对象。例如,预设对象有人、汽车,如果原始声音中有人讲话声音、汽车声音、铃声和喇叭声音,则该原始图像中的汽车声音和人讲话声音为目标对象。
若检测到所述主拾音器采集的原始声音中的目标对象不满足预设的检测条件,则确定针对所述目标对象的采集参数。判断所述主拾音器采集的原始声音中的目标对象不满足预设的检测条件包括以下至少一项:
当任一目标对象的用于表征声音质量的质量参数未处于预定参数范围内时,确定该目标对象不满足预设检测条件;例如,声音的分贝小于某一分贝值。
当任一目标对象的用于表征声音质量的质量参数在预定时间段内的变动范围大于预定参考范围时,确定原始声音中的目标对象不满足预设的检测条件;例如,某一目标对象的分贝在预定时间内变化值大于预定变化值。
当任一目标对象属于预置对象类型时,确定原始声音中的目标对象不满足预设的检测条件;例如,目标对象为人声。
当任一目标对象的检测置信度低于预设阈值时,确定原始声音中的目标对象不满足预设的检测条件。
在确定采集参数时,可依据预设映射关系,确定目标对象声音参数所映射的针对于所述目标对象的采集参数。也可以基于预设训练数据,通过机器学习方式确定对应于目标对象的采集参数。
确定采集参数后,可获取辅拾音器依据该采集参数采集的目标声音,继而将主拾音器采集的原始声音和辅拾音器采集的目标声音进行融合,并根据融合的声音继续检测目标对象。在上述原始声音和目标声音融合后,所获得的声音信息更加清晰、效果更好,有利于对目标对象继续检测,提升了检测精度。
当然,上述的目标检测装置还可以是其他设备,对应的多媒体信息可为其他检测对象,在此不做赘述。
在一种实施例中,目标检测装置的主采集设备是常开的,辅采集设备默认是关闭的,该方法还包括:在满足预开启条件时,预开启辅采集设备。
由于辅采集设备默认是关闭的,当主采集设备采集的多媒体信息中目标对象所在目标区域未满足上述实施例的检测条件时,,需要开启辅采集设备。以双目摄像头为例,对于某些特定场景,如高速路驾车行驶、足球赛直播等,目标对象的移动速度是很快的,而辅摄像头从关闭状态到真正可以检测目标对象是需要反应时间的,如果在目标区域对应的图像信息未满足预设检测条件时才开启辅摄像头,无法及时捕捉到目标对象的状态,降低了检测的实时性。
为此,本实施例采用辅采集设备预先开启的方式。预先开启有两个作用:(1)快速的获取场景,可以避免在线实时开启受延时影响导致的误检测;(2)减少耗电,可以在系统空闲时间来开启,避免不断进行开启和关闭导致的电量消耗。其中,所述预开启条件包括以下至少一项:
(1)当检测到辅采集设备在预定时间段内的开启次数大于预设阈值时,确定满足预开启条件。
处理器可记录辅采集设备在预定时间内的开启次数,当其开启次数大于预设阈值时,说明当前应用场景需要辅采集设备高频率开启,此时,可确定其满足预开启条件,可避免不断进行开启和关闭导致的电量消耗。例如,可设定其阈值为10次/h,当辅采集设备在一小时内开启了12次时,确定其满足预开启条件。
(2)当获取到的当前的天气信息属于预设特殊天气时,确定满足预开启条件。
处理器记录了需开启辅采集设备的特殊天气,例如雨雪天、阴天等特殊天气。可通过目标检测装置自带的天气预报功能或者从相关的天气预测软件中获取到当前的天气信息,如果当前天气属于预设特殊天气,则确定其满足预开启条件。
(3)当获取到的当前的时间信息处于预设开启时间时,确定满足预开启条件。
可预先由设备默认指定开启时间或者由用户指定开启时间,例如,用户可设定上下班时间为开启时间,处理器可通过设备自带的时钟或者通过网络途径获取到当前时间,如果当前时间处于预设开启时间,则确定其满足预开启条件。
(4)当确定到本机所处的环境类型属于预设环境类型时,确定满足预开启条件。
可预存有需开启辅采集设备的预设环境类型,例如高速路环境等。以双目摄像头为例,处理器可从主摄像头拍摄的原始图像中识别出当前的环境,进而判定其是否属于预设环境类型,当其属于预设环境类型时,确定其满足预开启条件。
在一种实施例中,目标检测装置的主采集设备和辅采集设备默认是常开的,该方法还包括:当、满足预设关闭条件时,可触发所述辅采集设备关闭。
此方式可以适应特殊需求来关闭辅采集设备,进而保证系统工作的稳定和持久性。触发辅采集设备关闭的关闭条件包括而不限于低电量、低存储空间和历史检测结果。关于低电量,可预先设置一个电量阈值,当检测到设备的剩余电量低于该阈值,则关闭辅采集设备;关于低存储空间,可预先设定一个内存空间存储阈值,当检测到设备的剩余存储空间低于该阈值,则关闭辅采集设备;关于历史检测结果,如果检测到目标对象的运动状态没有发生变化并且在前一帧已经完成了当前图像内多个对象的检测,此时可以关闭辅采集设备。
本发明实施例还提供一种目标检测方法,如图6所示,其包括如下步骤:
S201:获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;
S202:在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,依据所述目标对象所在的目标区域的位置和多媒体参数进行聚类,查找最优聚类中心,依据所述最优聚类中心的多媒体参数确定针对所述多媒体信息的采集参数。
S203:根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
处理器从主采集设备获取到其所采集的多媒体信息,识别出多媒体信息中的物体对象,当物体对象与预设的对象相匹配时,该物体对象即为目标对象。例如,预设对象有道路指示牌、汽车、交通信号灯和车辆号牌,如果原始图像中的物体对象有人、汽车、自行车和交通信号灯,则该原始图像中的汽车和交通信号灯为目标对象。
在识别出目标对象后,处理器将获取各目标对象所在目标区域的信息,并判定各目标对象是否满足预设检测条件,当至少一个目标对象未满足预设检测条件时,依据最优聚类中心的多媒体参数确定针对于该多媒体信息的采集参数,其中该多媒体参数是指多媒体信息所携带的参数信息,例如图像中分辨率、声音中的分贝。当然,如果所有目标对象均满足预设检测条件,则不执行后续步骤。
其中,该预设检测条件用于表征当前采集参数是否满足同时检测多个目标对象。以双目摄像头的的图像为例,其确定目标区域对应的图像信息是否满足预设检测条件的过程,具体包括如下几种实施例:
当任一目标对象所在的目标区域对应的图像信息所包含的表征图像质量的图像参数未处于预定参数范围内时,确定所述图像信息未满足预设检测条件;
或者,当任一目标对象所在的目标区域对应的图像信息所包含的表征图像质量的图像参数在预定图像帧内的变动范围大于预定参考范围时,确定所述图像信息未满足预设检测条件;
或者,当任一目标对象属于预置对象类型时,确定该目标对象所在的目标区域对应的图像信息未满足预设检测条件;
或者,当任一目标对象的检测置信度低于预设阈值时,确定该目标对象所在的目标区域对应的图像信息未满足预设检测条件。
如图7所示,图中虚线框框选了多个待检测对象,前述实施例将对象确定该多个目标对象的拍摄参数,进而拍摄多张目标图像,而在确定拍摄参数时,本实施例是从全局角度出发,不考虑单个待检测的目标区域,是从全局最优角度出发调整整幅图像的质量,也即将整幅图像当成一个待检测区域。处理器可依据多个目标对象所在的目标区域的位置和图像参数进行空间聚类,查找最优聚类中心,该聚类中心同所有待检测的目标区域的平均距离最近,可依据所述最优聚类中心的图像参数确定针对于所述原始图像的拍摄参数。获取辅摄像头依据所述拍摄参数所拍摄的包含所有所述目标区域的调整图像,该调整图像即为最终检测所得的图像。
本实施例设定的采集参数的全局设定方式的检测速度比上述实施例的多采集参数设定方式的检测速度快,同时,全局设定方式的计算量比多采集参数设定方式的检测计算量小。可根据场景、对象类型、设备状态来确定检测性能要求,动态场景要求实时性高,对象为场景文字时要求准确性高,设备存储空间小、电量低时要求计算量小。对于实时性要求高以及计算量要求小的场景,自适应选取全局设定方式,对于精确度要求高的场景,自适应选取多采集参数的设定方式。
在一种实施例中,通过下述方式判断所述主采集设备采集的多媒体信息是否满足预设的检测条件:若检测到所述主采集设备采集的多媒体信息满足预设模糊条件,则确定所述主采集设备采集的多媒体信息不满足预设的检测条件。
其中,该多媒体信息为主摄像头所拍摄的原始图像,当原始图像中存在模糊或者模糊度大于预定模糊度时,确定原始图像满足预设模糊条件。
获取各采集设备分别采用不同的采集参数采集的多媒体信息,具体包括:确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息。
模糊类型包括因摄像头运动产生模糊的摄像头运动模糊和因目标对象运动产生模糊的运动对象模糊。在一种实施方式中,可基于预设训练数据,提取原始图像的全局特征,利用分类器进行分类训练,通过机器学习方式确定所述原始图像的模糊类型。具体的,可分别收集摄像头运动模糊和运动对象模糊的大量训练数据,从原始图像中提取出梯度直方图、颜色直方图或深度学习特征等全局特征,基于上述训练数据和全局特征,使用随机森林、Boosting、支持向量机和深度学习等分类器进行分类训练,从而估算出当前原始图像的模糊类型。
在一种实施方式中,可从双目摄像头上配备的惯性检测单元获取相应的感应数据,该惯性检测单元可以是位移传感器、加速度传感器等。当所述感应数据与预设数据相匹配时,确定所述原始图像的模糊类型为摄像头运动模糊,否则,确定所述原始图像的模糊类型为运动对象模糊。例如,位移传感器检测到设备在2s内移动了5m,预设数据为大于或等于2m/s,则位移传感器检测到的感应数据与预设数据相匹配,进而确定当前模糊为摄像头运动模糊。进一步的,当加速度传感器检测到设备的加速度在预定时间内的变化值大于预定的变化值时,可进一步确定当前模糊为因摄像头暂时抖动产生的模糊。
在一种实施方式中,可识别所述原始图像中的目标对象,判定所述目标对象是否为运动对象。具体的,判定目标对象在相邻图像帧中位置变动的距离是否超过预定距离值,若超过了预定距离值,则确定目标对象为运动对象,进而确定所述原始图像的模糊类型为运动对象模糊。否则,判定原始图像的所有像素在预定图像帧内是否均发生变动,若均发生变动,则确定所述原始图像的模糊类型为摄像头运动模糊。
在一种实施方式中,对主摄像头和辅摄像头的预览画面进行对齐做差,求各像素的梯度,计算整个原始图像中梯度值大于预定值的像素个数,如果该个数大于预定个数,说明全图的像素都在变化,则确定其为摄像头运动模糊。如果该个数小于预定个数,说明仅有部分图像区域存在运动物体,则确定其为运动对象模糊。进一步的,如果该个数大于预定个数,并且梯度大小与视差大小成反比,则可进一步确定其为因摄像头暂时抖动产生的模糊。
在确定了当前的模糊类型之后,可确定映射于模糊类型的拍摄参数。依据多组实验数据,可以人为经验性地建立模糊类型与拍摄参数的映射关系。处理器驱动辅摄像头基于已确定的拍摄参数进行拍摄,从而获得调整图像。
根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象,包括:基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理;根据去模糊后的多媒体信息检测所述至少两个目标对象。具体的,可根据模糊核对原始图像进行反卷积操作,得到去模糊后的图像。
因而,本发明实施例是针对目标检测过程中,目标对象存在模糊时的处理方式。通过对目标对象的去模糊处理,使得图像更加清晰,有利于继续对目标对象进行检测,从而提升了检测精度。本发明实施例还提供一种模糊处理方法,该方法应用于上述实施例的双目摄像头,以下将以双目摄像头的视角进行具体说明,如图8所示,其包括如下步骤:
S301:获取至少两个采集设备中的主采集设备采集的多媒体信息。
处理器向主摄像头发送驱动信号,以驱使主摄像头拍摄原始图像,主摄像头在拍摄原始图像后,将该原始图像数据传输至处理器。其中,该原始图像可以是单张图片或者是实时的视频流。原始图像中包含若干个目标对象,该目标对象是目标物体在原始图像中的成像。处理器会对原始图像进行图像识别,以识别原始图像中的物体对象,当物体对象与预设的对象相匹配时,该物体对象即为目标对象。
S302:当检测到主采集设备采集的多媒体信息满足预设模糊条件时,确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数。
在运动场景中,摄像头拍摄到的图像往往存在模糊问题。导致图像模糊的主要原因是底片中一点(x,y)在相机曝光期间采集了不同场景点(X,Y,Z)的光线,具体包括:
(1)物体运动下的模糊,在拍摄时候部分区域发生变动,导致不同区域的不同模糊;
(2)拍摄设备持续运动下的模糊,在拍摄设备持续运动下,会导致整个视频画面的持续模糊,如拍摄设备在火车,汽车等行进工具上;
(3)拍摄设备短暂抖动下的模糊,在拍摄时若拍摄设备不稳定,出现短暂抖动,将会导致整个画面的模糊。
根据模糊产生的原因,可以推断,如果清晰图像为L,模糊图像为I,模糊核为f,三者之间的转换关系如图9所示,因此,图像去模糊就是通过模糊图I恢复出清晰图L和模糊核f。
在检测原始图像中是否满足模糊条件时,包括判断原始图像中是否存在模糊以及原始图形中的模糊度是否大于预定模糊度。具体的,可将原始图像分割为多个图像区域,使用Blur类型检测及Blur程度估计确定出各图像区域的模糊程度值,当任意一个图像区域的模糊程度值高于预设的模糊参考值时,确定所述原始图像满足模糊条件。否则,原始图像不满足模糊条件。
在检测到所述原始图像中存在模糊时,确定当前的模糊类型,对应于上述的三种产生模糊的原因,模糊类型包括因摄像头运动产生模糊的摄像头运动模糊和因目标对象运动产生模糊的运动对象模糊。
在一种实施方式中,可基于预设训练数据,提取原始图像的全局特征,利用分类器进行分类训练,通过机器学习方式确定所述原始图像的模糊类型。具体的,可分别收集摄像头运动模糊和运动对象模糊的大量训练数据,从原始图像中提取出梯度直方图、颜色直方图或深度学习特征等全局特征,基于上述训练数据和全局特征,使用随机森林、Boosting、支持向量机和深度学习等分类器进行分类训练,从而估算出当前原始图像的模糊类型。
在一种实施方式中,可从双目摄像头上配备的惯性检测单元获取相应的感应数据,该惯性检测单元可以是位移传感器、加速度传感器等。当所述感应数据与预设数据相匹配时,确定所述原始图像的模糊类型为摄像头运动模糊,否则,确定所述原始图像的模糊类型为运动对象模糊。例如,位移传感器检测到设备在2s内移动了5m,预设数据为大于或等于2m/s,则位移传感器检测到的感应数据与预设数据相匹配,进而确定当前模糊为摄像头运动模糊。进一步的,当加速度传感器检测到设备的加速度在预定时间内的变化值大于预定的变化值时,可进一步确定当前模糊为因摄像头暂时抖动产生的模糊。
在一种实施方式中,可识别所述原始图像中的目标对象,判定所述目标对象是否为运动对象。具体的,判定目标对象在相邻图像帧中位置变动的距离是否超过预定距离值,若超过了预定距离值,则确定目标对象为运动对象,进而确定所述原始图像的模糊类型为运动对象模糊。否则,判定原始图像的所有像素在预定图像帧内是否均发生变动,若均发生变动,则确定所述原始图像的模糊类型为摄像头运动模糊。
在一种实施方式中,对主摄像头和辅摄像头的预览画面进行对齐做差,求各像素的梯度,计算整个原始图像中梯度值大于预定值的像素个数,如果该个数大于预定个数,说明全图的像素都在变化,则确定其为摄像头运动模糊。如果该个数小于预定个数,说明仅有部分图像区域存在运动物体,则确定其为运动对象模糊。进一步的,如果该个数大于预定个数,并且梯度大小与视差大小成反比,则可进一步确定其为因摄像头暂时抖动产生的模糊。
在确定了当前的模糊类型之后,可确定映射于模糊类型的拍摄参数。依据多组实验数据,可以人为经验性地建立模糊类型与拍摄参数的映射关系。例如,设定光照强度与模糊类型的映射关系,可根据摄像头配置的传感器获取当前进光量,如果进光量超过一定阈值,说明光照条件好,如果低于该阈值,说明光照条件差,从而光照条件来自适应的设置拍摄参数。
方案一:主摄像头和副摄像头具有相同的ISO,相同的光圈大小,但不同的曝光时间。对于光照条件好的情形,设置较小的ISO值减少噪点,对于光照条件差的情形,设置较高的ISO提高亮度。一个摄像头曝光时间为t,另一个摄像头的曝光时间为kt,其中k>1。
方案二:主摄像头和副摄像头具有相同的ISO,相同的曝光时间,但不同的光圈大小。对于光照条件好的情形,设置较小的ISO值减少噪点,对于光照条件差的情形,设置较高的ISO提高亮度。一个摄像头光圈大小为f,另一个摄像头的光圈大小为kf,其中k>1。
方案三:主摄像头和副摄像头具有相同的ISO,但不同的曝光时间,不同的光圈大小。对于光照条件好的情形,设置较小的ISO值减少噪点,对于光照条件差的情形,设置较高的ISO提高亮度。一个摄像头曝光时间为t,另一个摄像头的曝光时间为k1t,其中k1>1。一个摄像头光圈大小为f,另一个摄像头的光圈大小为k2f,其中k2<1。
其中,摄像头运动模糊映射于方案二的参数设置,运动物体模糊映射于方案一或三的参数设置。
S303:获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息。
处理器驱动辅摄像头基于已确定的拍摄参数进行拍摄,从而获得调整图像。在已确定的拍摄参数的基础上,还可调节辅摄像头的工作参数,其调节方式包括但不限于调节拍摄模式、调节拍摄时间、调节拍摄频率、调节拍摄参数确定方式。其中,可以根据图像识别技术确定场景,根据主摄像头的初步检测结果确定目标对象类型。
对于调整拍摄模式,拍摄模式主要包括静态图像拍摄及视频拍摄。在当前场景为动态场景时,辅摄像头应使用视频模式拍摄以实时拍摄视频。还可以采用图像跟踪技术,跟踪视频中的目标对象,以保证检测的实时性,提高检测精度。如果目标对象为运动对象,则使用视频模式拍摄。如果本机设备的存储量小、电量低,可以选择图像模式拍摄而仅仅拍摄单张或多张图片。
对于调整拍摄时间,主要包括立即拍摄和延迟拍摄两种方式,当目标区域太小时,通常采用延迟拍摄模式。可计算目标对象的移动速度和轨迹,并通过目标对象的移动速度和轨迹来估算延迟时间。其他情况下通常选用立即拍摄模式。
对于调整拍摄频率,拍摄频率包括高频拍摄和低频拍摄两种。预先设定速度阈值,计算图像中目标对象的移动速度,当其移动速度大于该速度阈值时,采用高频拍摄模式,否则采用低频拍摄模式。当拍摄静态场景或者设备存储空间较少及电量较低时通常采用低频拍摄模式。此外,也可以采用间隔拍摄的方式,即拍摄一段时间,再停止拍摄一段时间。当处于动态场景时,拍摄间隔可根据兴趣物体的变化速度进行调整,变化速度越快,间隔越短。当目标对象为运动对象时,目标对象的运动速度越快,则间隔越短。当设备存储量小、电量低时,可以延长拍摄间隔。
对于调整参数确定方式,如上述实施例所述,确定拍摄参数的方式主要有两种,一种为人为经验性设定,该方式主要适用于对实时性要求比较高的情形,另一种为机器学习方式,该方式主要适用于对实时性要求不高,但对准确性要求比较高的情形。对于动态场景和/或目标对象为运动对象的情形,其对实时性要求高,可以采用人为经验性设定方式。对于静态场景、和/或目标对象为场景文字时,其对准确性要求高,可以采用机器学习方式。
通过上述对辅摄像头工作参数的调节,可以进一步提升检测的准确性,可依据场景、目标对象类型、设备状态的不同而适应性地调整,使辅摄像头的工作方式更加智能化。
S304:基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理。
基于所述辅采集设备采集的多媒体信息,计算模糊核,根据计算出的模糊核对所述主采集设备采集的多媒体信息进行反卷积处理,得到去模糊后的多媒体信息。
在一种实施方式中,当所述原始图像的模糊类型为摄像头运动模糊时,计算所述原始图像和调整图像的重叠区域,分别确定所述重叠区域的无模糊图像同原始图像的运算关系以及所述重叠区域的无模糊图像同调整图像的运算关系,依据预设优化模型,从所述运算关系中获得无模糊图像。
如步骤S302中列举的示例,采用方案二中的参数设置,即相同的曝光时间,不同的光圈大小。由于采用相同的曝光时间,原始图像I1和调整图像I2对应相同的卷积核一样均为K。两张图片对应的清晰图片(非模糊图片)亮度上相差一个系数,即I1=I*K;I2=tI*K;t>0。
利用摄像头配置的传感器,如陀螺仪、加速度器等,记录摄像头运动轨迹,估计初始的卷积核形状。再利用现有方法对两幅图像进行对齐,基于重叠区域,建立清晰图像与两张模糊图像的关系得到联立方程组:
U1=Us*K
U2=tUs*K
其中,Us为重叠区域对应的干净图像,U1和U2分别为主摄像头和辅摄像头拍摄得到的两张图像的重叠区域。
根据上述方程组,建立优化函数,利用优化算法求解函数得到两个卷积核以及去模糊后的清晰图像。
在另一种实施方式中,当所述原始图像的模糊类型为运动对象模糊时,计算所述原始图像和调整图像的重叠区域,分别确定所述重叠区域的无模糊图像同原始图像卷积核的运算关系以及所述重叠区域的无模糊图像同调整图像卷积核的运算关系,依据预设优化模型,计算到原始图像和调整图像中不同区域的卷积核,对原始图像进行分割,得到去模糊后的图像。
如上述实施例,可以采用方案一或者方案三两种参数设置。方案一为相同的光圈大小,不同的曝光时间,由于其他两项设置相同,曝光时间长的图片亮度高,即为I1,对应的卷积核为K1,曝光时间短的对应的图片亮度低,即为I2,对应的卷积核为K2。两张图片对应的清晰图片(非模糊图片)亮度上相差一个系数,即I1=I*K1;I2=tI*K2;0<t<1。方案二为了保证两张图片上亮度一致,采用不同的光圈,不同的曝光时间,相同的ISO,曝光时间长的光圈小,曝光时间短的光圈大,保证图片进光量的相同。这样得到亮度一致的两张图片,对应不同的卷积核,也就是方案一中系数t为1,其他不变,I1=I*K1;I2=tI*K2。
对两个摄像头得到的两张图像进行对齐匹配,根据对应像素的视差对图像区域进行初始划分(不同深度对应不同的视差)。利用现有方法对不同区域的motion核进行初始估计。由于两个摄像头处在同一个设备上,运动物体对于两个摄像头运动趋势相似,对应的motion blur可以表示成如下关系。假设主摄像头拍摄图像对应的卷积核为K1,辅摄像头拍摄图像对应的卷积核为K2=A*K1,A可以为线性变换或者非线性变换矩阵。
U1=Us*K1
U2=Us*K2
其中Us为重叠区域对应的干净图像,U1和U2分别为主摄像头和辅摄像头拍摄得到的两张图像的重叠区域。
根据上述方程组,建立优化函数,利用优化算法求解函数得到两个图像对应的不同区域的卷积核,图像分割结果,以及去模糊后的清晰图片。
不同于现有技术对所有模糊类型均采用单一去模糊方法,本实施例依据不同的模糊类型确定相应的采集参数,以用来采集合适的多媒体信息,再预先估计运动核或者清晰图,并优化和求解得到最终去除模糊的清晰多媒体信息。可见,本实施例依据不同的模糊类型确定不同的去模糊方法,更有针对性,去模糊的效果更佳。
本发明实施例还提供一种目标检测装置,如图10所示,其包括:
第一获取模块501,用于获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;
第二获取模块502,用于在检测到所述主采集设备采集的多媒体信息不满足预设的检测条件时,获取各采集设备分别采用不同的采集参数采集的多媒体信息;
检测模块503,用于根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
本发明实施例还提供一种模糊处理装置,如图11所示,其包括:
第三获取模块601,用于获取至少两个采集设备中的主采集设备采集的多媒体信息;
第一确定模块602,用于当检测到主采集设备采集的多媒体信息满足预设模糊条件时,确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;
第四获取模块603,用于获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
处理模块604,用于基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置或单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,本发明实施例的双目摄像头可具有如下应用场景:
1.辅助驾驶
当用户驾驶汽车时,本发明实施例的双目摄像头可以检测车辆行人、交通标志牌等信息及路边感兴趣商铺等,并以语音或图像模式提醒驾驶员。如图12所示,主摄像头检测出了路口道路指示牌,此时触发辅摄像头聚焦道路指示牌位置以便更准确的识别上面的文本信息,从而提醒驾驶员在路口注意行驶方向,便于驾驶员提前选择合适道路。如果有限速标志,则可以进一步提醒驾驶员注意减速等。
2.智能家居机器人自动避障
智能家居机器人可以通过本发明实施例的双目摄像头获得前方的图像,由于家中家具较多,造成同一场景中物体所处的光照环境差异较大,此时可采用本系统的双目摄像头在两套参数下更好的检测前方信息,并自行躲避。当机器人为用户提供食物时,可以自动躲避屋内的其他物品,如桌椅等,把食物送到用户面前。
当然,本发明实施例的双目摄像头还具有其他应用场景,在此不做赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种移动终端进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种目标检测方法,其特征在于,包括如下步骤:
获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;
若检测到所述主采集设备采集的多媒体信息不满足预设的检测条件,则获取各采集设备分别采用不同的采集参数采集的多媒体信息;
根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
2.根据权利要求1所述的方法,其特征在于,通过下述方式判断所述主采集设备采集的多媒体信息是否满足预设的检测条件:
若检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件,则确定所述主采集设备采集的多媒体信息不满足预设的检测条件。
3.根据权利要求2所述的方法,其特征在于,获取各采集设备分别采用不同的采集参数采集的多媒体信息,具体包括:
在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,确定针对所述目标区域的采集参数;
获取至少两个采集设备中的辅采集设备依据确定出的采集参数采集的多媒体信息。
4.根据权利要求2或3所述的方法,其特征在于,判断所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件的方式,包括以下至少一项:
当任一目标对象所在的目标区域对应的用于表征多媒体信息质量的质量参数未处于预定参数范围内时,确定该目标对象所在的目标区域不满足预设检测条件;
当任一目标对象所在的目标区域对应的质量参数在预定多媒体信息帧内的变动范围大于预定参考范围时,确定该目标对象所在的目标区域不满足预设检测条件;
当任一目标对象属于预置对象类型时,确定该目标对象所在的目标区域不满足预设检测条件;
当任一目标对象的检测置信度低于预设阈值时,确定该目标对象所在的目标区域不满足预设检测条件。
5.根据权利要求1至3任一项所述的方法,其特征在于,该方法还包括下述至少一项:
在检测到所述主采集设备采集的多媒体信息不满足预设的检测条件时,触发至少两个采集设备中的辅采集设备开启;
在满足预开启条件时,预开启所述辅采集设备;
当满足预设关闭条件时,触发所述辅采集设备关闭。
6.根据权利要求5所述的方法,其特征在于,根据下述至少一项判断是否满足所述预开启条件:
所述辅采集设备的历史开启行为;
当前的天气信息;
当前的时间信息;
当前的采集环境类型。
7.根据权利要求3所述的方法,其特征在于,在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,基于以下至少一项来确定针对所述目标区域的采集参数:
目标对象所在的目标区域对应的用于表征多媒体信息质量的质量参数;
预设训练数据;
目标对象重要性;
目标对象的检测置信度。
8.根据权利要求3所述的方法,其特征在于,在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,确定针对所述目标区域的采集参数,包括:
在检测到所述主采集设备采集的多媒体信息中至少一个目标对象所在的目标区域不满足预设检测条件时,依据所述目标对象所在的目标区域的位置和多媒体参数进行聚类,查找最优聚类中心,依据所述最优聚类中心的多媒体参数确定针对所述多媒体信息的采集参数。
9.根据权利要求1至3任一项所述的方法,其特征在于,根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象,具体包括:
将各采集设备分别采集的多媒体信息进行融合;
根据融合的多媒体信息检测所述至少两个目标对象。
10.根据权利要求9所述的方法,其特征在于,将各采集设备分别采集的多媒体信息进行融合的步骤,包括以下至少一种情形:
在主采集设备采集的多媒体信息中,将目标对象所在的目标区域替换为辅采集设备采集的多媒体信息中相应目标对象所在的目标区域;
从各采集设备采集的多媒体信息中分别提取出多媒体特征,将提取出的多媒体特征进行融合;
分别计算同一目标对象所在的目标区域在各采集设备采集的多媒体信息中的平均检测置信度或最大检测置信度,基于所述平均检测置信度或最大检测置信度检测所述至少两个目标对象。
11.根据权利要求1所述的方法,其特征在于,通过下述方式判断所述主采集设备采集的多媒体信息是否满足预设的检测条件:若检测到所述主采集设备采集的多媒体信息满足预设模糊条件,则确定所述主采集设备采集的多媒体信息不满足预设的检测条件;
获取各采集设备分别采用不同的采集参数采集的多媒体信息,具体包括:确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象,具体包括:基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理;根据去模糊后的多媒体信息检测所述至少两个目标对象。
12.一种模糊处理方法,其特征在于,包括如下步骤:
获取至少两个采集设备中的主采集设备采集的多媒体信息;
当检测到主采集设备采集的多媒体信息满足预设模糊条件时,确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;
获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理。
13.根据权利要求12所述的方法,其特征在于,所述模糊类型包括因采集设备运动产生模糊的设备运动模糊类型和因目标对象运动产生模糊的对象模糊类型中的至少一项。
14.根据权利要求13所述的方法,其特征在于,所述确定主采集设备采集的多媒体信息的模糊类型的步骤,包括以下至少一项:
提取主采集设备采集的多媒体信息的全局特征,并根据所述全局特征确定主采集设备采集的多媒体信息的模糊类型;
获取所述主采集设备的运动信息,根据所述运动信息确定主采集设备采集的多媒体信息的模糊类型;
识别主采集设备采集的多媒体信息中的目标对象,根据所述目标对象所属的类型确定主采集设备采集的多媒体信息的模糊类型;
检测主采集设备采集的多媒体信息在预定多媒体信息帧内的变化情况,根据检测到的变化情况确定主采集设备采集的多媒体信息的模糊类型。
15.根据权利要求12所述的方法,其特征在于,所述基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理的步骤,包括:
基于所述辅采集设备采集的多媒体信息,计算模糊核,根据计算出的模糊核对所述主采集设备采集的多媒体信息进行反卷积处理,得到去模糊后的多媒体信息。
16.一种目标检测装置,其特征在于,包括:
第一获取模块,用于获取至少两个采集设备中的主采集设备采集的包含至少两个目标对象的多媒体信息;
第二获取模块,用于在检测到所述主采集设备采集的多媒体信息不满足预设的检测条件时,获取各采集设备分别采用不同的采集参数采集的多媒体信息;
检测模块,用于根据各采集设备分别采集的多媒体信息,检测所述至少两个目标对象。
17.一种模糊处理装置,其特征在于,包括:
第三获取模块,用于获取至少两个采集设备中的主采集设备采集的多媒体信息;
第一确定模块,用于当检测到主采集设备采集的多媒体信息满足预设模糊条件时,确定主采集设备采集的多媒体信息的模糊类型及映射于所述模糊类型的采集参数;
第四获取模块,用于获取至少两个采集设备中的辅采集设备依据所述采集参数所采集的多媒体信息;
处理模块,用于基于所述辅采集设备采集的多媒体信息,对所述主采集设备采集的多媒体信息进行去模糊处理。
CN201710087373.0A 2017-02-17 2017-02-17 目标检测方法和装置以及模糊处理方法和装置 Active CN108460395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710087373.0A CN108460395B (zh) 2017-02-17 2017-02-17 目标检测方法和装置以及模糊处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710087373.0A CN108460395B (zh) 2017-02-17 2017-02-17 目标检测方法和装置以及模糊处理方法和装置

Publications (2)

Publication Number Publication Date
CN108460395A true CN108460395A (zh) 2018-08-28
CN108460395B CN108460395B (zh) 2023-04-07

Family

ID=63221573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710087373.0A Active CN108460395B (zh) 2017-02-17 2017-02-17 目标检测方法和装置以及模糊处理方法和装置

Country Status (1)

Country Link
CN (1) CN108460395B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008849A (zh) * 2019-03-13 2019-07-12 北京小马智行科技有限公司 信号灯的识别方法、装置、存储介质和处理器
CN110047506A (zh) * 2019-04-19 2019-07-23 杭州电子科技大学 一种基于卷积神经网络和多核学习svm的关键音频检测方法
CN110148196A (zh) * 2018-09-12 2019-08-20 腾讯大地通途(北京)科技有限公司 一种图像处理方法、装置以及相关设备
CN110351629A (zh) * 2019-07-16 2019-10-18 广州国音智能科技有限公司 一种收音方法、收音装置及终端
CN110414399A (zh) * 2019-07-22 2019-11-05 北京三快在线科技有限公司 信号灯的检测方法、装置及智能驾驶设备
CN110930433A (zh) * 2019-11-21 2020-03-27 华南理工大学 一种基于图像复原的高速移动对象机器视觉目标检测方法
CN111010537A (zh) * 2019-12-06 2020-04-14 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
WO2020095790A1 (ja) * 2018-11-07 2020-05-14 日本電気株式会社 被写体検知装置、システム、方法および記録媒体
CN111242118A (zh) * 2018-11-29 2020-06-05 长沙智能驾驶研究院有限公司 目标检测方法、装置、计算机设备和存储介质
CN111491131A (zh) * 2019-01-29 2020-08-04 斯特拉德视觉公司 集成由每个对象检测器检测的对象检测信息的方法及装置
CN111507210A (zh) * 2020-03-31 2020-08-07 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN112396560A (zh) * 2019-08-16 2021-02-23 通用电气精准医疗有限责任公司 用于使用深度神经网络对医疗图像进行去模糊的系统和方法
CN112434681A (zh) * 2021-01-27 2021-03-02 武汉星巡智能科技有限公司 智能摄像头自训练置信度阈值选择方法、装置及设备
CN112954315A (zh) * 2021-02-25 2021-06-11 深圳市中西视通科技有限公司 一种安防摄像机图像对焦测量方法及系统
CN113484852A (zh) * 2021-07-07 2021-10-08 烟台艾睿光电科技有限公司 一种测距方法及系统
CN113710987A (zh) * 2019-04-04 2021-11-26 株式会社电装 车辆位置确定装置、车辆位置确定系统以及车辆位置确定方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119710A1 (en) * 2002-06-21 2006-06-08 Moshe Ben-Ezra Systems and methods for de-blurring motion blurred images
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
CN103595916A (zh) * 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪系统及其实现方法
CN104994290A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种拍照控制方法及拍照终端
CN105678288A (zh) * 2016-03-04 2016-06-15 北京邮电大学 目标跟踪方法和装置
CN105894817A (zh) * 2015-01-26 2016-08-24 杭州海康威视数字技术股份有限公司 车辆违章停车的取证方法及其装置
CN106131434A (zh) * 2016-08-18 2016-11-16 深圳市金立通信设备有限公司 一种基于多摄像头系统的拍摄方法及终端
CN106161980A (zh) * 2016-07-29 2016-11-23 宇龙计算机通信科技(深圳)有限公司 基于双摄像头的拍照方法及系统
CN106161941A (zh) * 2016-07-29 2016-11-23 深圳众思科技有限公司 双摄像头自动追焦方法、装置及终端
CN106254765A (zh) * 2016-07-19 2016-12-21 广东欧珀移动通信有限公司 双摄像头的变焦处理方法、装置及终端设备
WO2017008352A1 (zh) * 2015-07-15 2017-01-19 宇龙计算机通信科技(深圳)有限公司 图像处理方法、图像处理装置和终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119710A1 (en) * 2002-06-21 2006-06-08 Moshe Ben-Ezra Systems and methods for de-blurring motion blurred images
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
CN103595916A (zh) * 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪系统及其实现方法
CN105894817A (zh) * 2015-01-26 2016-08-24 杭州海康威视数字技术股份有限公司 车辆违章停车的取证方法及其装置
CN104994290A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种拍照控制方法及拍照终端
WO2017008352A1 (zh) * 2015-07-15 2017-01-19 宇龙计算机通信科技(深圳)有限公司 图像处理方法、图像处理装置和终端
CN105678288A (zh) * 2016-03-04 2016-06-15 北京邮电大学 目标跟踪方法和装置
CN106254765A (zh) * 2016-07-19 2016-12-21 广东欧珀移动通信有限公司 双摄像头的变焦处理方法、装置及终端设备
CN106161980A (zh) * 2016-07-29 2016-11-23 宇龙计算机通信科技(深圳)有限公司 基于双摄像头的拍照方法及系统
CN106161941A (zh) * 2016-07-29 2016-11-23 深圳众思科技有限公司 双摄像头自动追焦方法、装置及终端
CN106131434A (zh) * 2016-08-18 2016-11-16 深圳市金立通信设备有限公司 一种基于多摄像头系统的拍摄方法及终端

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148196A (zh) * 2018-09-12 2019-08-20 腾讯大地通途(北京)科技有限公司 一种图像处理方法、装置以及相关设备
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途(北京)科技有限公司 一种图像处理方法、装置以及相关设备
US11367217B2 (en) 2018-09-12 2022-06-21 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and related device
WO2020095790A1 (ja) * 2018-11-07 2020-05-14 日本電気株式会社 被写体検知装置、システム、方法および記録媒体
US20210409592A1 (en) * 2018-11-07 2021-12-30 Nec Corporation Object detection device, system, method, and recording medium
CN111242118A (zh) * 2018-11-29 2020-06-05 长沙智能驾驶研究院有限公司 目标检测方法、装置、计算机设备和存储介质
CN111491131A (zh) * 2019-01-29 2020-08-04 斯特拉德视觉公司 集成由每个对象检测器检测的对象检测信息的方法及装置
CN111491131B (zh) * 2019-01-29 2021-06-11 斯特拉德视觉公司 由每个对象检测器检测的对象检测信息的集成方法及装置
CN110008849A (zh) * 2019-03-13 2019-07-12 北京小马智行科技有限公司 信号灯的识别方法、装置、存储介质和处理器
CN113710987A (zh) * 2019-04-04 2021-11-26 株式会社电装 车辆位置确定装置、车辆位置确定系统以及车辆位置确定方法
CN110047506B (zh) * 2019-04-19 2021-08-20 杭州电子科技大学 一种基于卷积神经网络和多核学习svm的关键音频检测方法
CN110047506A (zh) * 2019-04-19 2019-07-23 杭州电子科技大学 一种基于卷积神经网络和多核学习svm的关键音频检测方法
CN110351629A (zh) * 2019-07-16 2019-10-18 广州国音智能科技有限公司 一种收音方法、收音装置及终端
CN110414399A (zh) * 2019-07-22 2019-11-05 北京三快在线科技有限公司 信号灯的检测方法、装置及智能驾驶设备
CN112396560A (zh) * 2019-08-16 2021-02-23 通用电气精准医疗有限责任公司 用于使用深度神经网络对医疗图像进行去模糊的系统和方法
CN110930433A (zh) * 2019-11-21 2020-03-27 华南理工大学 一种基于图像复原的高速移动对象机器视觉目标检测方法
CN111010537A (zh) * 2019-12-06 2020-04-14 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
CN111010537B (zh) * 2019-12-06 2021-06-15 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
CN111507210A (zh) * 2020-03-31 2020-08-07 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN111507210B (zh) * 2020-03-31 2023-11-21 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN112434681A (zh) * 2021-01-27 2021-03-02 武汉星巡智能科技有限公司 智能摄像头自训练置信度阈值选择方法、装置及设备
CN112954315A (zh) * 2021-02-25 2021-06-11 深圳市中西视通科技有限公司 一种安防摄像机图像对焦测量方法及系统
CN113484852A (zh) * 2021-07-07 2021-10-08 烟台艾睿光电科技有限公司 一种测距方法及系统
CN113484852B (zh) * 2021-07-07 2023-11-07 烟台艾睿光电科技有限公司 一种测距方法及系统

Also Published As

Publication number Publication date
CN108460395B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108460395A (zh) 目标检测方法和装置以及模糊处理方法和装置
CN111914692B (zh) 车辆定损图像获取方法及装置
CN111797689B (zh) 车辆定损图像获取方法、装置、服务器和客户端
CN1926851B (zh) 通过深度信息优化捕获装置设置的方法和设备
Brutzer et al. Evaluation of background subtraction techniques for video surveillance
CN102047652B (zh) 摄像装置、集成电路及摄像方法
CN102843509B (zh) 图像处理装置和图像处理方法
CN105745687B (zh) 情景感知移动目标检测
Guo et al. Nighttime vehicle lamp detection and tracking with adaptive mask training
CN106559645B (zh) 基于摄像机的监控方法、系统和装置
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
Cioppa et al. A bottom-up approach based on semantics for the interpretation of the main camera stream in soccer games
CN101014095B (zh) 用于显示识别区域和图像的方法及摄像设备
CN112241969A (zh) 基于交通监控视频的目标检测跟踪方法、装置及存储介质
CN109961037A (zh) 一种考场视频监控异常行为特征识别方法
US11461980B2 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
KR102072022B1 (ko) 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
CN108418865A (zh) 基于无人机的信息采集方法及装置
CN110856039A (zh) 视频处理方法及装置、存储介质
WO2023138556A1 (zh) 基于车载多摄像头的视频生成方法、装置及车载设备
CN109727208A (zh) 滤镜推荐方法、装置、电子设备及存储介质
CN107547865A (zh) 跨区域人体视频目标跟踪智能监控方法
CN105516595A (zh) 拍摄方法及装置
Escalera et al. Background on traffic sign detection and recognition
JP2014170979A (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant