CN111767831A - 用于处理图像的方法、装置、设备及存储介质 - Google Patents
用于处理图像的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111767831A CN111767831A CN202010598669.0A CN202010598669A CN111767831A CN 111767831 A CN111767831 A CN 111767831A CN 202010598669 A CN202010598669 A CN 202010598669A CN 111767831 A CN111767831 A CN 111767831A
- Authority
- CN
- China
- Prior art keywords
- image
- semantic segmentation
- night vision
- target
- abnormal object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 145
- 230000002159 abnormal effect Effects 0.000 claims abstract description 111
- 230000004297 night vision Effects 0.000 claims abstract description 105
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 48
- 238000002372 labelling Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000002547 anomalous effect Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000209504 Poaceae Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于图像处理的方法、装置、设备以及存储介质，涉及图像处理、深度学习、智能交通、自动驾驶领域。具体实现方案为：获取目标夜视图像；对目标夜视图像进行语义分割；根据语义分割结果，确定是否存在异常物体；响应于存在异常物体，标注异常物体；输出语义分割结果以及标注的异常物体。本实现方式可以对夜视图像中存在的异常物体进行识别、标注并输出，提高了图像处理的准确性以及基于该图像处理的自动驾驶的安全性。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及图像处理、深度学习、智能交通、自动驾驶、计算机视觉领域，尤其涉及用于处理图像的方法、装置、设备以及存储介质。
背景技术
自动驾驶技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类的主动操作下，自动安全地操作机动车辆。
自动驾驶系统需要在不同的环境条件下均可以安全地进行驾驶控制。但是在某些环境下，现有的自动驾驶系统无法对环境中的所有物体进行准确识别，会很大程度上影响自动驾驶的安全性。
发明内容
本公开提供了一种用于处理图像的方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种用于处理图像的方法，包括：获取目标夜视图像；对目标夜视图像进行语义分割；根据语义分割结果，确定是否存在异常物体；响应于存在异常物体，标注异常物体；输出语义分割结果以及标注的异常物体。
根据本公开的另一方面，提供了一种用于处理图像的装置，包括：图像获取单元，被配置成用于获取目标夜视图像；语义分割单元，被配置成用于对目标夜视图像进行语义分割；异常物体确定单元，被配置成用于根据语义分割结果，确定是否存在异常物体；异常物体标注单元，被配置成响应于存在异常物体，标注异常物体；输出单元，被配置成用于输出语义分割结果以及标注的异常物体。
根据本公开的再一方面，提供了一种用于处理图像的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于处理图像的方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述用于处理图像的方法。
根据本申请的技术解决了现有的自动驾驶系统所采用的处理图像方法无法对获取的所有物体进行准确识别，进而影响自动驾驶的安全性的问题，实现对夜视图像中存在的异常物体进行识别、标注并输出，提高了图像处理的准确性以及基于该图像处理的自动驾驶的安全性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于处理图像的方法的一个实施例的流程图；
图3是根据本申请的用于处理图像的方法的一个应用场景的示意图；
图4是根据本申请的用于处理图像的方法的另一个实施例的流程图；
图5是根据本申请的用于处理图像的装置的一个实施例的结构示意图；
图6是用来实现本申请实施例的用于处理图像的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用于本申请的用于处理图像的方法或用于处理图像的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括相机101、102，网络103和终端设备104。网络103用以在相机101、102和终端设备104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
相机101、102可以通过网络103与终端设备104交互，以接收或发送消息。相机101、102可以采集图像，并将采集的图像发送给终端设备104，或者存储于本地。相机101、102可以固定在自动驾驶设备上拍摄所进入场景的图像。具体地，相机101、102可以为红外相机。
终端设备104可以从相机101、102处获取采集的图像，并对图像进行处理，并将处理结果显示于自动驾驶设备上，以识别周围环境。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像处理类应用等。
终端设备104可以是硬件，也可以是软件。当终端设备104为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备104为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于处理图像的方法可以由终端设备104执行。相应地，用于处理图像的装置可以设置于终端设备104中。
应该理解，图1中的相机、网络和终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络和终端设备。
继续参考图2，示出了根据本申请的用于处理图像的方法的一个实施例的流程200。本实施例的用于处理图像的方法，包括以下步骤：
步骤201，获取目标夜视图像。
本实施例中，执行主体可以获取目标夜视图像。执行主体可以通过通信连接的图像采集装置在夜间模式下或者光照不充足的场景下拍摄图像。上述图像采集装置可以是具有夜间拍摄模式的相机、摄像机，也可以是红外相机等。上述场景例如可以是在车间、山洞或者隧道。上述图像可以作为目标夜视图像。
步骤202，对目标夜视图像进行语义分割。
本实施例中，执行主体在获取到目标夜视图像后，对目标夜视图像进行语义分割。具体地，目标夜视图像中可以包括人、树木、草地、天空等。语义分割为通过语义分割算法(例如全连接卷积神经网络FCNN算法)将图像中的像素按照图像中表达语义含义的不同进行分组/分割。其中，语义含义，例如可以包括风景、人物、室内、室外、建筑物、动物、植物等。
语义分割具体是对图像中的每个像素加上类别标签，例如，通过语义分割模型对目标夜视图像进行特征提取，并根据提取的特征基于迭代聚类算法，例如可以是简单线性迭代聚类算法(SLIC)进行语义分割。得到不同颜色所表示的不同类别的物体图像的分割结果。具体地，通过语义分割将图像分为人(红色)、树木(绿色)、草地(浅绿)、天空(蓝色)标签。语义分割不区分属于相同类别的不同实例(例如，所有的人都标为红色，而不使用不同颜色区分不同的人)，此处的实例，例如，可以为人、树木、车辆以及建筑物等。
步骤203，根据语义分割结果，确定是否存在异常物体。
本实施例中，执行主体在对目标夜视图像进行语义分割，得到语义分割结果之后，根据语义分割结果，确定是否存在异常物体。语义分割结果例如可以包括被标记为红色的人、被标记为绿色的树木以及被标记为浅绿的草地等。实例，例如可以为人、树木、车辆等。
具体地，可以将语义分割结果通过人工识别外轮廓并与原始图像中各物体的外轮廓进行对比，当语义分割结果的各个实例的外轮廓与原始图像中各物体的外轮廓相匹配时，则表明语义分割结果准确，确定没有异常物体存在；当语义分割结果的各实例的外轮廓与原始图像中各物体的外轮廓之间存在不相匹配之处时，则表明语义分割结果不准确，确定存在异常物体。
步骤204，响应于存在异常物体，标注异常物体。
本实施例中，执行主体在确定存在异常物体时，对异常物体进行标注。具体地，执行主体在确定存在异常物体时，可以将包含异常物体的原始未经语义分割的目标夜视图像输出并与语义分割结果进行对比，进而对异常物体进行人工标注并赋予标注的异常物体相应的类别。
步骤205，输出语义分割结果以及标注的异常物体。
本实施例中，执行主体在标注异常物体之后，输出语义分割结果以及标注的异常物体。
执行主体可以通过显示屏输出语义分割结果及标注的异常物体，也可以语音输出语义分割结果及标注的异常物体。
具体地，在对语义分割结果及标注的异常物体进行语音输出时，可以输出语义分割结果中有几类物体，分别是什么颜色的，以及标注的异常物体有几个。例如：语音播报“本语义分割结果中有3类物体，分别为蓝色、绿色、黄色”，以及“标注的异常物体有2处”。具体地，可以对语义分割时，各个物体所对应的颜色进行设置。例如在语义分割时，将草地标注为绿色，将天空标注为蓝色，将太阳标注为黄色，便于根据语音播报即可简单判断出语义分割结果所对应的物体的类别，以便在自动驾驶车辆转换为人工驾驶时，提升操作人员对图像处理结果的反应速度。
继续参考图3，其示出了根据本申请的用于处理图像的方法的一个应用场景的示意图。在图3的应用场景中，在自动驾驶车辆301上安装有红外相机302，在夜间模式下，红外相机302拍摄到图像303，由车载电脑对拍摄到的图像303进行语义分割，在根据语义分割结果确定出异常物体后，对异常物体进行标注，并输出语义分割结果和标注的异常物体。
本实施例通过对夜视图像中存在的异常物体进行识别、标注并输出，提高了图像处理的准确性以及基于该图像处理的自动驾驶的安全性。
继续参见图4，其示出了根据本申请的用于处理图像的方法的另一个实施例的流程400。如图4所示，本实施例的用于处理图像的方法可以包括以下步骤：
步骤401，获取目标夜视图像。
步骤401的原理与步骤201的原理类似，此处不再赘述。
步骤402，对获取的目标夜视图像进行预处理。
本实施例中，执行主体在获取到目标夜视图像后，对获取的目标夜视图像进行预处理。具体地，执行主体在获取的目标夜视图像的清晰度不符合预设需求时，对获取的目标夜视图像进行低光增强，以提高目标夜视图像的清晰度。图像低光增强可以采用的算法包括但不限于LL-NET、RetinexNet或者MBLLEN等算法，优选地，本申请采用的是RetinexNet算法对目标夜视图像进行低光增强。在相同图像低光增强效果的前提下，RetinexNet算法相比于其他算法，耗时较短，可以快速批量处理低光图像。
本实施例通过对目标夜视图像进行预处理，可以进一步提高目标夜视图像的清晰度，从而使得对目标夜视图像的处理结果更准确，提高了基于该图像处理的自动驾驶的安全性。
步骤403，利用已训练的语义分割模型，对目标夜视图像进行语义分割。
执行主体在得到提高清晰度后的目标夜视图像后，利用已训练的语义分割模型，对目标夜视图像进行语义分割。具体地，已训练的语义分割模型，例如，可以是DeepLabv1-v2模型，DeepLabv1-v2模型使用带孔卷积提取密集特征来进行语义分割。带孔卷积，可以使得例如3×3的卷积核也能达到7×7卷积核的感受野，也就是说，在7×7卷积核中只有其中心的3×3卷积核的权重不为0，其余权重均为0。以此在提高感受野的同时，不增加训练参数量的负担。感受野(Receptive Field)是神经网络模型中每一层输出的特征图(featuremap)上的像素点在输入图片上映射的区域大小。本申请对语义分割模型的类型不做具体限定。已训练的语义分割模型对目标夜视图像进行特征提取，并根据提取的特征基于迭代聚类算法(例如简单线性迭代聚类算法SLIC)进行语义分割。
本实施例通过利用已训练的语义分割模型对目标夜视图像进行语义分割，能够精准地进行夜间路况分析，辅助自动驾驶车辆进行夜间行驶，也能够辅助司机进行夜间行车。提升了图像处理的准确度，提高了图像处理响应速度，并且提高了基于该图像处理的自动驾驶的安全性。
步骤404，根据语义分割结果，还原语义分割图像。
执行主体在得到语义分割结果后，也即执行主体得到了目标夜视图像中不同颜色所表示的不同类别的物体的图像分割结果。将分割后的图像利用GAN生成式对抗网络重新生成图像即还原语义分割图像。生成式对抗网络(GANs，Generative AdversarialNetworks)是一种深度学习模型，包括生成模型和判别模型。生成模型，用于根据语义分割结果还原图像。例如，可以是朴素贝叶斯算法、高斯判别分析GDA算法、隐马尔科夫HMM算法等等。判别模型，用于将生成模型还原的图像与训练集中的图像分辨开，以便于呈现生成模型还原的图像，例如，可以是逻辑回归LR算法、支持向量机SVM算法等等。
步骤405，对还原的语义分割图像与目标夜视图像进行对比，确定二者是否存在差异。
执行主体调用已训练的判别模型，例如可以是逻辑回归LR算法、支持向量机SVM算法等，通过识别不同类别之间的最优分类面对还原的语义分割图像以及目标夜视图像中不同类别的物体进行识别，分别得到还原的语义分割图像以及目标夜视图像中各个物体的外轮廓。将还原的语义分割图像中各个物体的外轮廓与目标夜视图像中对应位置的物体的外轮廓逐一进行对比，根据对比结果是否存在不一致，确定二者是否存在差异。
此外，在在本实施例的一些可选的实现方式中，步骤305中的对语义分割图像与目标夜视图像进行对比，确定二者是否存在差异，还可以通过图4中未示出的以下步骤实现：根据还原的语义分割图像和目标夜视图像以及预设模型，分别确定还原的语义分割图像中的特征和目标夜视图像中的特征对应的分数，并对还原的语义分割图像中的特征对应的分数和目标夜视图像中的特征对应的分数进行对比，其中，预设模型用于表征图像特征与分数的对应关系。
在本实现方式中，预设模型包括但不限于VGG16反卷积神经网络。具体地，利用VGG16反卷积神经网络提取还原的语义分割图像以及目标夜视图像中的特征。并根据VGG16反卷积神经网络中经过训练的特征与分数的对应关系，确定所提取的每个特征对应的分数。分别将还原的语义分割图像与目标夜视图像中对应的特征所对应的分数进行对比，确定分数是否存在差异。
本实现方式通过预设模型对还原的语义分割图像和目标夜视图像中的特征所确定的分数的对比可以精确地确定出存在差异的分数所对应的特征，根据存在差异的分数所对应的特征可以精确地确定出异常物体的位置，便于及时地决策出针对所存在的异常物体的处理方案，以保证车辆安全驾驶。
步骤406，响应于确定二者存在差异，确定存在异常物体。
执行主体通过上述判别模型确定还原的语义分割图像与目标夜视图像中对应位置的物体的外轮廓存在不一致，则确定还原的语义分割图像与目标夜视图像之间存在差异，则在存在差异的位置存在异常物体。
本实施例通过还原语义分割图像并与目标夜视图像进行对比，以根据对比结果确定是否存在异常物体，当存在为异常物体时，便于及时决策出对该异常物体所需进行的下一步的处理措施或规划自动驾驶车辆下一步的行驶路线，以提高自动驾驶的安全性。
步骤407，响应于存在异常物体，生成类别标识标注异常物体。
执行主体在确定出异常物体及其所处的位置后，自动生成类别标识标注异常物体。类别标识可以为类别ID。标注方式为对物体轮廓的标注、外框标注和类别标注。其中，类别标注利用图像分类模型VGG16来进行图像分类。VGG16的卷积层和全连接层的总数目为16，是一个深度学习模型，通过提取图像的特征，并根据VGG16模型中的特征与类别的对应关系对提取的图像中的异常物体的特征进行类别标识的标注。如果VGG16模型无法判断其类别，则直接由执行主体随机生成或按预设顺序生成ID号对异常物体进行标注，该ID号与已有的物体的ID号不重复。
本实施例通过对异常物体进行类别标识的标注，便于对异常物体进行分类。
步骤408，输出语义分割结果以及标注的异常物体。
执行主体在对异常物体进行ID标注后，将语义分割结果以及标注的异常物体通过显示屏输出显示。执行主体还可以通过语音输出语义分割结果以及对异常物体的位置以及标注的描述。具体地，在遇到异常物体，例如，危险障碍物时，执行主体会进行语音提醒。可以理解的是，在进行人工驾驶时，驾驶人员也可以通过语音与执行主体进行交互，使执行主体执行驾驶人员的语音所对应的指令，比如放大画面、缩小画面以及停止语音播报等等。
本实施例通过将语义分割结果以及标注的异常物体进行输出，便于在自动驾驶转为人工驾驶模式时，辅助驾驶人员进行驾驶，提高车辆驾驶的安全性。
在本实施例的一些可选的实现方式中，用于处理图像的方法，还包括图4中未示出的以下步骤：获取训练样本集；利用训练样本集分别训练目标检测模型和语义分割模型。
在本实现方式中，由于路况千变万化，目标检测模型和语义分割模型不一定能够适用于所有园区的场景。在应用目标检测模型和语义风格模型对获取的目标夜视图像进行目标检测和语义分割之前，需要判断是否需要对目标检测模型和语义分割模型进行训练。具体地，在目标检测模型和语义分割模型对新场景中的物体进行目标检测和语义分割的结果与预设的结果差别较大时，需要对该目标检测模型和语义分割模型进行训练。此外，还可以通过判断检测出的异常物体出现的频次与预设的频次阈值的大小来确定是否需要对目标检测模型进行训练。在异常物体出现的频次大于预设的频次阈值时，则需要对目标检测模型进行训练。其中，预设的频次阈值可以为10次或20次，本申请对预设的频次阈值不做限定。
具体地，可以通过人工标注所处于的新场景中的图像数据或者通过预训练的SPADE模型进行算法生成标注的图像数据作为训练样本集对目标检测模型和语义分割模型进行迭代训练。
SPADE模型为一种空间自适应归一化方法，它能够控制合成图像的语义和风格。通过SPADE模型算法生成标注的图像数据的方法在视觉保真度和与输入布局的对齐方面具有巨大优势，能够生成大量可用于训练的图像数据。并且，通过调整模型和设置界面，可以设定相应的参数来进行模型训练的控制，比如，需要训练的模型的类型、训练的时间、训练的次数、图形处理器GPU计算资源分配等，从而实现对模型训练的自定义，满足不同需求。具体地，在训练样本集形成过程中，需要结合人工标注图像数据和算法生成标注图像数据两种方式，以人工标注方式生成的标注数据质量较好，能够提高目标检测模型和语义分割模型的准确性，可用于训练目标检测模型和语义分割模型。以算法生成标注图像数据的方式生成的标注数据质量稍逊，但能够提高目标检测模型和语义分割模型的泛化能力，优选用于训练语义分割模型。
本实现方式通过采集训练样本集对目标检测模型和语义分割模型进行针对性的训练，可以提高目标检测模型和语义分割模型对目标夜视图像的处理效果，并且随着在不同场景的训练，可以提高目标检测模型和语义分割模型的泛化能力。
在本实施例的一些可选的实现方式中，用于处理图像的方法，还包括图4中未示出的以下步骤：确定异常物体的类型；利用所确定的类型以及类别标识，再次训练目标检测模型。
本实现方式中，为生成类别标识的异常物体可以通过人工分类或者算法分类(例如，可以是朴素贝叶斯算法)确定出类别标识对应的异常物体的类型。将确定的异常物体的类型以及与类别标识之间的对应关系作为新的训练集对目标检测模型再次进行迭代训练，以优化目标检测模型，使得目标检测模型的检测结果更准确。在本实现方式中，可以将每次确定出的目标检测模型无法识别的异常物体的类型及类别标识作为新的训练集对目标检测模型进行迭代的优化训练，以使目标检测模型对不同的场景中的夜视图像做出的识别越来越精确，可以提升目标检测模型的泛化能力。
在本实施例的一些可选的实现方式中，用于处理图像的方法，还包括图4中未示出的以下步骤：利用已训练的目标检测模型，对目标夜视图像进行目标检测。
执行主体在对目标夜视图像进行语义分割之前，需要对目标夜视图像进行目标检测，即检测出目标夜视图像中存在的物体轮廓及其位置。具体地，已训练的目标检测模型，例如，可以是SPPNet模型，SPPNet模型在进行图像输入时，不需要通过区域框剪切，直接将整个目标夜视图像输入到内部卷积层。其内部卷积层提取到目标夜视图像中的特征并输入空间金字塔池化层，经池化层降维后的特征向量导入至全连接层进行目标检测并输出检测结果。本申请对目标检测模型的类型不做具体限定。已训练的目标检测模型通过对目标夜视图像进行特征提取，并对所提取的特征进行分类，最终实现对目标夜视图像的目标检测。
本实现方式通过利用已训练的目标检测模型，提高图像处理的精度，并提高基于图像处理的自动驾驶车辆的安全性。
在本实施例的一些可选的实现方式中，示例的，在用于处理图像的方法中，首先应用车辆中设置的红外相机采集夜视情景下的路面标识、交通标志以及行人的图像。其中，路面标识可以包括车辆、车道线或建筑物等。交通标志可以包括交通信号灯等。行人可以包括动物、障碍物等。然后，实时地对红外相机采集到的路面标识、交通标志以及行人图像进行图像预处理，以提高图像的清晰度。在图像预处理完成之后，对预处理的图像进行图像分析，其中，图像分析可以包括利用目标检测模型对图像进行目标检测、利用语义分割模型对图像进行语义分割，并将对图像的语义分割结果与原始采集的路面标识、交通标志以及行人图像进行对比，以进行异常物体检测。在检测出存在异常物体时，进行异常物体的自动标注。将采集的夜视情景下的路面标识、交通标志和行人的图像数据以及对这些图像数据的目标检测结果、语义分割结果以及标注的异常物体的数据进行数据存储，并将目标检测结果、语义分割结果以及标注的异常物体的数据通过显示屏输出或通过语音提示输出进行人机交互。
并且，还可以将所存储的原始采集的夜视情景下的路面标识、交通标志和行人的图像数据以及标注的异常物体的数据进行人工标注或算法生成，生成训练集数据，利用该训练集数据对目标检测模型和语义分割模型进行模型训练。随着模型训练的进行，模型对于所处的夜视情景的场景熟悉程度增强，此时，可以模拟车辆行驶，并实时地展示模型训练的效果，以便于可以根据训练的效果调整作为训练集数据中的标注数据的数量和模型的参数，以提高模型对数据处理的准确性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于处理图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于处理图像的装置500包括：图像获取单元501、语义分割单元502、异常物体确定单元503、异常物体标注单元504以及输出单元505。
图像获取单元501，被配置成用于获取目标夜视图像。
语义分割单元502，被配置成用于对目标夜视图像进行语义分割。
异常物体确定单元503，被配置成用于根据语义分割结果，确定是否存在异常物体。
异常物体标注单元504，被配置成响应于存在异常物体，标注异常物体。
输出单元505，被配置成用于输出语义分割结果以及标注的异常物体。
在本实施例的一些可选的实现方式中，异常物体确定单元503进一步被配置成：根据语义分割结果，还原语义分割图像；对语义分割图像与目标夜视图像进行对比，确定二者是否存在差异；响应于确定二者存在差异，确定存在异常物体。
在本实施例的一些可选的实现方式中，异常物体确定单元503进一步被配置成：根据语义分割图像和目标夜视图像以及预设模型，分别确定语义分割图像中的特征和目标夜视图像中的特征对应的分数，并对语义分割图像中的特征对应的分数和目标夜视图像中的特征对应的分数进行对比，其中，预设模型用于表征图像特征与分数的对应关系。
在本实施例的一些可选的实现方式中，异常物体标注单元504进一步被配置成：响应于存在异常物体，生成类别标识标注异常物体。
在本实施例的一些可选的实现方式中，装置还包括图5中未示出的目标检测单元，被配置成：利用已训练的目标检测模型，对目标夜视图像进行目标检测。
在本实施例的一些可选的实现方式中，装置还包括图5中未示出的训练单元，被配置成：确定异常物体的类型；利用所确定的类型以及类别标识，再次训练目标检测模型。
在本实施例的一些可选的实现方式中，语义分割单元502进一步被配置成：利用已训练的语义分割模型，对目标夜视图像进行语义分割；以及训练单元进一步被配置成：获取训练样本集，训练样本集包括样本夜视图像和标注的目标以及语义分割结果；利用训练样本集分别训练目标检测模型和语义分割模型。
在本实施例的一些可选的实现方式中，装置还包括图5中未示出的图像预处理单元，被配置成：对获取的目标夜视图像进行预处理，以提高目标夜视图像的清晰度。
根据本申请的实施例，本申请还提供了一种用于处理图像的电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的用于处理图像的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线606互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于处理图像的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于处理图像的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的用于处理图像的方法对应的程序指令/单元(例如，附图5所示的图像获取单元501、语义分割单元502、异常物体确定单元503、异常物体标注单元504和输出单元505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于处理图像的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于处理图像的方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于处理图像的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于处理图像的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线606或者其他方式连接，图6中以通过总线606连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与用于处理图像的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端可以是智能手机、笔记本电脑、台式计算机、平板电脑、智能音箱等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算、云服务、云数据库、云存储等基础云计算服务的云服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过对夜视图像中存在的异常物体进行识别、标注并输出，提高了图像处理的准确性以及基于该图像处理的自动驾驶的安全性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种用于处理图像的方法，包括：
获取目标夜视图像；
对所述目标夜视图像进行语义分割；
根据语义分割结果，确定是否存在异常物体；
响应于存在异常物体，标注所述异常物体；
输出所述语义分割结果以及标注的异常物体。
2.根据权利要求1所述的方法，其中，所述根据语义分割结果，确定是否存在异常物体，包括：
根据语义分割结果，还原语义分割图像；
对所述语义分割图像与所述目标夜视图像进行对比，确定二者是否存在差异；
响应于确定二者存在差异，确定存在异常物体。
3.根据权利要求2所述的方法，其中，所述对所述语义分割图像与所述目标夜视图像进行对比，包括：
根据所述还原的语义分割图像和所述目标夜视图像以及预设模型，分别确定所述语义分割图像中的特征和所述目标夜视图像中的特征对应的分数，并对所述语义分割图像中的特征对应的分数和所述目标夜视图像中的特征对应的分数进行对比，其中，所述预设模型用于表征图像特征与分数的对应关系。
4.根据权利要求3所述的方法，其中，所述响应于存在异常物体，标注所述异常物体，包括：
响应于存在异常物体，生成类别标识标注所述异常物体。
5.根据权利要求4所述的方法，其中，所述方法还包括：
利用已训练的目标检测模型，对所述目标夜视图像进行目标检测。
6.根据权利要求5所述的方法，其中，所述方法还包括：
确定所述异常物体的类型；
利用所确定的类型以及类别标识，再次训练所述目标检测模型。
7.根据权利要求6所述的方法，其中，所述对所述目标夜视图像进行语义分割，包括：
利用已训练的语义分割模型，对所述目标夜视图像进行语义分割；以及
所述方法还包括：
获取训练样本集，所述训练样本集包括样本夜视图像和标注的目标以及语义分割结果；
利用所述训练样本集分别训练所述目标检测模型和所述语义分割模型。
8.根据权利要求7所述的方法，其中，所述方法还包括：
对获取的目标夜视图像进行预处理，以提高所述目标夜视图像的清晰度。
9.一种用于处理图像的装置，包括：
图像获取单元，被配置成用于获取目标夜视图像；
语义分割单元，被配置成用于对所述目标夜视图像进行语义分割；
异常物体确定单元，被配置成用于根据语义分割结果，确定是否存在异常物体；
异常物体标注单元，被配置成响应于存在异常物体，标注所述异常物体；
输出单元，被配置成用于输出所述语义分割结果以及标注的异常物体。
10.根据权利要求9所述的装置，其中，所述异常物体确定单元进一步被配置成：
根据语义分割结果，还原语义分割图像；
对所述语义分割图像与所述目标夜视图像进行对比，确定二者是否存在差异；
响应于确定二者存在差异，确定存在异常物体。
11.根据权利要求10所述的装置，其中，所述异常物体确定单元进一步被配置成：
根据所述语义分割图像和所述目标夜视图像以及预设模型，分别确定所述语义分割图像中的特征和所述目标夜视图像中的特征对应的分数，并对所述语义分割图像中的特征对应的分数和所述目标夜视图像中的特征对应的分数进行对比，其中，所述预设模型用于表征图像特征与分数的对应关系。
12.根据权利要求11所述的装置，其中，所述异常物体标注单元进一步被配置成：
响应于存在异常物体，生成类别标识标注所述异常物体。
13.根据权利要求12所述的装置，其中，所述装置还包括目标检测单元，被配置成：
利用已训练的目标检测模型，对所述目标夜视图像进行目标检测。
14.根据权利要求13所述的装置，其中，所述装置还包括训练单元，被配置成：
确定所述异常物体的类型；
利用所确定的类型以及类别标识，再次训练所述目标检测模型。
15.根据权利要求14所述的装置，其中，所述语义分割单元进一步被配置成：
利用已训练的语义分割模型，对所述目标夜视图像进行语义分割；以及
所述训练单元进一步被配置成：
获取训练样本集，所述训练样本集包括样本夜视图像和标注的目标以及语义分割结果；
利用所述训练样本集分别训练所述目标检测模型和所述语义分割模型。
16.根据权利要求15所述的装置，其中，所述装置还包括图像预处理单元，被配置成：
对获取的目标夜视图像进行预处理，以提高所述目标夜视图像的清晰度。
17.一种用于处理图像的电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010598669.0A CN111767831B (zh) | 2020-06-28 | 2020-06-28 | 用于处理图像的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010598669.0A CN111767831B (zh) | 2020-06-28 | 2020-06-28 | 用于处理图像的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767831A true CN111767831A (zh) | 2020-10-13 |
| CN111767831B CN111767831B (zh) | 2024-01-12 |
Family
ID=72722567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010598669.0A Active CN111767831B (zh) | 2020-06-28 | 2020-06-28 | 用于处理图像的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767831B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112491854A (zh) * | 2020-11-19 | 2021-03-12 | 郑州迪维勒普科技有限公司 | 一种基于fcnn的多方位安全入侵检测方法及系统 |
| CN112884675A (zh) * | 2021-03-18 | 2021-06-01 | 国家海洋信息中心 | 一种批量遥感影像调色工程化实现方法 |
| CN113096077A (zh) * | 2021-03-25 | 2021-07-09 | 深圳力维智联技术有限公司 | 异常比例检测方法、装置、设备及计算机可读存储介质 |
| CN114255177A (zh) * | 2021-11-25 | 2022-03-29 | 北京百度网讯科技有限公司 | 成像中的曝光控制方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016677A (zh) * | 2017-03-24 | 2017-08-04 | 北京工业大学 | 一种基于fcn和cnn的云图分割方法 |
| CN107729987A (zh) * | 2017-09-19 | 2018-02-23 | 东华大学 | 基于深度卷积‑循环神经网络的夜视图像的自动描述方法 |
| US20180260959A1 (en) * | 2017-03-08 | 2018-09-13 | Tsinghua University | Inspection apparatuses and methods for segmenting an image of a vehicle |
| US20180365835A1 (en) * | 2017-06-14 | 2018-12-20 | TuSimple | System and method for actively selecting and labeling images for semantic segmentation |
| CN110321905A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 基于语义分割的异常区域检测方法、系统及相关组件 |
| CN110321897A (zh) * | 2019-07-08 | 2019-10-11 | 四川九洲视讯科技有限责任公司 | 基于图像语义分割识别非机动车异常行为的方法 |
| CN110619308A (zh) * | 2019-09-18 | 2019-12-27 | 名创优品（横琴）企业管理有限公司 | 一种过道杂物检测方法、装置、系统和设备 |
| CN110738081A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视数字技术股份有限公司 | 异常路况检测方法及装置 |
| WO2020057753A1 (en) * | 2018-09-21 | 2020-03-26 | Toyota Motor Europe | A method and a system for training a model performing semantic segmentation of nighttime images |
-
2020
- 2020-06-28 CN CN202010598669.0A patent/CN111767831B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260959A1 (en) * | 2017-03-08 | 2018-09-13 | Tsinghua University | Inspection apparatuses and methods for segmenting an image of a vehicle |
| CN107016677A (zh) * | 2017-03-24 | 2017-08-04 | 北京工业大学 | 一种基于fcn和cnn的云图分割方法 |
| US20180365835A1 (en) * | 2017-06-14 | 2018-12-20 | TuSimple | System and method for actively selecting and labeling images for semantic segmentation |
| CN107729987A (zh) * | 2017-09-19 | 2018-02-23 | 东华大学 | 基于深度卷积‑循环神经网络的夜视图像的自动描述方法 |
| CN110738081A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视数字技术股份有限公司 | 异常路况检测方法及装置 |
| WO2020057753A1 (en) * | 2018-09-21 | 2020-03-26 | Toyota Motor Europe | A method and a system for training a model performing semantic segmentation of nighttime images |
| CN110321897A (zh) * | 2019-07-08 | 2019-10-11 | 四川九洲视讯科技有限责任公司 | 基于图像语义分割识别非机动车异常行为的方法 |
| CN110321905A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 基于语义分割的异常区域检测方法、系统及相关组件 |
| CN110619308A (zh) * | 2019-09-18 | 2019-12-27 | 名创优品（横琴）企业管理有限公司 | 一种过道杂物检测方法、装置、系统和设备 |
Non-Patent Citations (4)
| Title |
|---|
| 刘亮;温宗周;薛冬旺;李健全;高园平;: "基于ROI区域子图像奇异值分解的夜视图像检测技术", 西安工程大学学报, no. 01, pages 74 - 79 * |
| 刘致驿;孙韶媛;任正云;刘训华;卜德飞;: "基于改进DeepLabv3+的无人车夜间红外图像语义分割", 应用光学, no. 01, pages 190 - 195 * |
| 吕明站;朱子魁;: "基于无人机和人工智能的异常林木快速识别技术研究", 安徽林业科技, no. 02, pages 15 - 20 * |
| 邹斌;王思信;颜莉蓉;刘裕;: "无人驾驶车辆基于语义分割方法障碍物检测", 广西大学学报(自然科学版), no. 06, pages 171 - 178 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112491854A (zh) * | 2020-11-19 | 2021-03-12 | 郑州迪维勒普科技有限公司 | 一种基于fcnn的多方位安全入侵检测方法及系统 |
| CN112491854B (zh) * | 2020-11-19 | 2022-12-09 | 郑州迪维勒普科技有限公司 | 一种基于fcnn的多方位安全入侵检测方法及系统 |
| CN112884675A (zh) * | 2021-03-18 | 2021-06-01 | 国家海洋信息中心 | 一种批量遥感影像调色工程化实现方法 |
| CN113096077A (zh) * | 2021-03-25 | 2021-07-09 | 深圳力维智联技术有限公司 | 异常比例检测方法、装置、设备及计算机可读存储介质 |
| CN113096077B (zh) * | 2021-03-25 | 2024-05-03 | 深圳力维智联技术有限公司 | 异常比例检测方法、装置、设备及计算机可读存储介质 |
| CN114255177A (zh) * | 2021-11-25 | 2022-03-29 | 北京百度网讯科技有限公司 | 成像中的曝光控制方法、装置、设备及存储介质 |
| CN114255177B (zh) * | 2021-11-25 | 2022-09-23 | 北京百度网讯科技有限公司 | 成像中的曝光控制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767831B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210279503A1 (en) | Image processing method, apparatus, and device, and storage medium | |
| CN107851191B (zh) | 用于图像中的对象检测的基于上下文的先验 | |
| Mittal et al. | Deep learning-based object detection in low-altitude UAV datasets: A survey | |
| CN111767831B (zh) | 用于处理图像的方法、装置、设备及存储介质 | |
| US10691952B2 (en) | Adapting to appearance variations when tracking a target object in video sequence | |
| US11250296B2 (en) | Automatic generation of ground truth data for training or retraining machine learning models | |
| US10699125B2 (en) | Systems and methods for object tracking and classification | |
| JP6709283B2 (ja) | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 | |
| WO2020048265A1 (zh) | 多级目标分类及交通标志检测方法和装置、设备、介质 | |
| US10776941B2 (en) | Optimized neural network structure | |
| CN111723768A (zh) | 车辆重识别的方法、装置、设备和存储介质 | |
| CN112329725B (zh) | 一种道路场景的要素识别方法、装置、设备以及存储介质 | |
| US20210209385A1 (en) | Method and apparatus for recognizing wearing state of safety belt | |
| JP6787831B2 (ja) | 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法 | |
| US10860865B2 (en) | Predictive security camera system | |
| CN106650814B (zh) | 一种基于车载单目视觉室外道路自适应分类器生成方法 | |
| CN111959526A (zh) | 基于无人车的控制方法、装置、无人车和电子设备 | |
| CN113344121B (zh) | 训练招牌分类模型和招牌分类的方法 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| KR20210048271A (ko) | 복수 객체에 대한 자동 오디오 포커싱 방법 및 장치 | |
| Lygouras et al. | A new method to combine detection and tracking algorithms for fast and accurate human localization in UAV-based SAR operations | |
| Kaimkhani et al. | UAV with Vision to Recognise Vehicle Number Plates | |
| US10650275B2 (en) | Method for detection of temporal pattern anomalies in video streams | |
| WO2021214540A1 (en) | Robust camera localization based on a single color component image and multi-modal learning | |
| US20190084584A1 (en) | Device and system for warning a driver of an incoming back and lateral vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |