CN109086785A - 一种图像标定模型的训练方法和装置 - Google Patents

一种图像标定模型的训练方法和装置 Download PDF

Info

Publication number
CN109086785A
CN109086785A CN201711265897.0A CN201711265897A CN109086785A CN 109086785 A CN109086785 A CN 109086785A CN 201711265897 A CN201711265897 A CN 201711265897A CN 109086785 A CN109086785 A CN 109086785A
Authority
CN
China
Prior art keywords
pixel
region
evaluation value
output evaluation
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711265897.0A
Other languages
English (en)
Other versions
CN109086785B (zh
Inventor
阎志鹏
黄泽铧
陈鹏飞
王泮渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd, Tusimple Inc filed Critical Beijing Tusimple Future Technology Co Ltd
Publication of CN109086785A publication Critical patent/CN109086785A/zh
Application granted granted Critical
Publication of CN109086785B publication Critical patent/CN109086785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种图像标定模型的训练方法和装置，以解决现有图像分类标定技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题。该方法包括：在当前的迭代处理中，图像标定模型对接收到的图像数据进行自动图像标定处理；评估模块对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理，将人工标定图像数据作为训练数据发送给图像标定模型；图像标定模型根据训练数据进行再次训练得到更新的图像标定模型，用于下一次迭代处理。

Description

一种图像标定模型的训练方法和装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种图像标定模型的训练方法和装置。
背景技术
在计算机视觉技术中，通常会采用图像语义分割来识别出图像中的物体。图像语义分割技术通过给图像中的每个像素标定一种语义类别，来标识出图像中与物体直接对应的图像区域。不同于仅仅识别出图像中物体的物体识别技术，语义分割给每个像素分配一个类别标签以标明像素所属的物体。语义分割技术在图像分析和自动驾驶系统中起到重要作用。
研究人员研发出了一系列的弱监督分割算法。弱监督分割算法的主要思想在于，获取一个已知包含同类物体类别的图像池，挖掘得到重复的模式以联合分割出每个图像的前景。在一方面，该模式由于只需要较少的人工参与而具有吸引性，尤其是这种弱标定图像可以很容易地通过关键词搜索从网络上获取得到。在另一方面，分割结果是不理想的。
从而，现有的图像标定技术依赖于人工提供的分类或者自动分类，人工分类是准确的、但是人工消耗很大，自动分类的人工开销小、但是非常不准确。
可见，在现有的图像分类标定技术中存在人工标定分类的开销大、自动标定分类的准确率低的问题。
发明内容
有鉴于此，本发明提供了一种图像标定模型的训练方法和装置，用以解决现有图像分类标定技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题。
根据本申请的一个方面，提供了一种图像标定模型的训练方法，包括：
在当前的迭代处理中，图像标定模型对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；
在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；
从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；
接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型；
图像标定模型根据训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
在多个实施例中，确定区域的输出评估值，包括：根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；其中，预测输出包括：预测值或者预测方差；根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
在多个实施例中，确定像素的输出评估值，包括：对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
在多个实施例中，确定像素的输出评估值，还包括：该像素的相邻像素中不包括物体边缘像素。
在多个实施例中，确定区域的输出评估值，包括：根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
在多个实施例中，根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
在多个实施例中，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
在多个实施例中，所述区域为预定区域、使用滑动窗口获得的区域或者是随机生成的区域。
在多个实施例中，所述预定评估阈值是预先根据区域的大小尺寸来预先确定的一个归一化值。
在多个实施例中，自动图像标定处理包括语义分割处理，自动标定图像数据包括语义标签图像数据。
根据本申请的另一个方面，提供了一种图像标定模型的训练装置，包括：图像标定模型模块和评估模块；其中，
图像标定模型模块，用于在当前的迭代处理中，对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块，用于根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型模块；
图像标定模型模块，还用于根据来自接收模块的训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
在多个实施例中，评估模块确定区域的输出评估值，包括：根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；其中，预测输出包括：预测值或者预测方差；根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
在多个实施例中，评估模块确定像素的输出评估值，包括：对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
在多个实施例中，评估模块确定像素的输出评估值，还包括：该像素的相邻像素中不包括物体边缘像素。
在多个实施例中，评估模块确定区域的输出评估值，包括：根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
在多个实施例中，评估模块根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
在多个实施例中，评估模块根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
根据本申请的另一个方面，提供了一种图像标定模型的训练装置，包括一个处理器和至少一个存储器，至少一个存储器用于存储至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现图像标定模型和评估模块：
在当前的迭代处理中，图像标定模型对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；
在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；
从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；
接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型；
图像标定模型根据训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
在多个实施例中，处理器执行至少一条机器可执行指令以实现确定区域的输出评估值，包括：根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；其中，预测输出包括预测值或者预测方差；根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
在多个实施例中，处理器执行至少一条机器可执行指令以实现确定像素的输出评估值，包括：对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
在多个实施例中，处理器执行至少一条机器可执行指令以实现确定像素的输出评估值，还包括：该像素的相邻像素中不包括物体边缘像素。
在多个实施例中，处理器执行至少一条机器可执行指令以实现确定区域的输出评估值，包括：根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
在多个实施例中，处理器执行至少一条机器可执行指令以实现根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
在多个实施例中，处理器执行至少一条机器可执行指令以实现根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
根据本申请提供的技术方案，图像标定模型先对接收到的图像数据进行自动图像标定处理得自动标定图像数据，对自动标定图像数据进行评估，确定自动标定图像数据中每个区域的输出评估值，在一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域，将该低确定性区域的数据发送给一个人工分类标定处理，并接收来自人工分类标定处理的人工标定数据，将该人工标定数据作为训练图像标定模型的训练数据，再次训练图像标定模型得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。从而能结合自动标定和人工标定，对自动标定图像数据中的低确定性区域进行重新训练，能够不断地对图像标定模型进行改进，不断地提高图像标定模型的自动处理的确定性，也即准确性，从而应用图像标定模型进行自动图像标定处理，能够在保证处理效率的同时提高标定的准确率，能够解决现有技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1a为本申请实施例提供的图像标定模型的训练方法的处理流程图；
图1b为图1a中步骤12的处理流程图；
图2a为本申请实施例提供的图像标定模型的训练装置的结构框图；
图2b为本申请实施例提供的图像标定模型的训练装置的另一种结构框图；
图3为本发明实施例具体应用中的原始图像数据；
图4为与图3相对应的真实数据；
图5为对图3进行第一次迭代处理中的语义标签分割处理得到的语义标签图像数据；
图6为图5中每个像素的预测方差的视觉显示；
图7为图5中每个区域的输出评估值的视觉显示；
图8为第二次迭代处理中的语义标签分割处理得到的语义标签图像数据；
图9为图8中每个像素的预测方差的视觉显示；
图10为图8中每个区域的输出评估值的视觉显示。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有图像分类标定技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题，本申请提供了一种图像标定模型的训练方法，该方法中在当前迭代处理中，图像标定模型先对图像数据进行自动图像标定处理(例如语义标签分割处理)，对自动标定的结果自动标定图像数据(例如语义标签图像数据)中的多个区域进行评估，确定自动标定图像数据中多个区域的输出评估值，输出评估值代表了自动分类标定图像的质量，在区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域，将该区域的数据抽取出来发送给一个人工分类标定处理，并接收来自人工分类标定处理的人工标定图像数据，将该人工标定图像数据作为训练图像标定模型的训练数据，图像标定模型根据训练数据再次训练得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。从而本申请提供的技术方案能够结合自动标定和人工标定，对自动标定图像数据中的低确定性区域进行重新训练，能够不断地对图像标定模型进行改进，不断地提高图像标定模型的自动处理的确定性，也即准确性，从而应用图像标定模型进行自动图像标定处理，能够在保证处理效率的同时提高标定的准确率。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1a中示出了本申请实施例提供的图像标定模型的训练方法的处理流程图，该方法包括如下处理过程：
步骤11、在当前的迭代处理中，图像标定模型对接收到的数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出。
其中，对于第一次迭代处理，接收到的数据是原始图像数据，对于后续的迭代处理，接收到的数据是上一次迭代处理输出的数据。
自动图像标定处理可以是现有的处理方法，例如可以是语义分割处理，自动标定图像数据可以是语义标签图像数据，也可以是在本申请之后提供的方法，本申请不对自动图像标定处理进行限制。
步骤12、评估模块根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值。
其中，区域可以是图像数据中的预定区域、可以是使用滑动窗口获得的区域、或者也可以随机生成的区域。
自动标定图像数据中的多个区域可以是预先选定的多个区域，例如语义标签图像数据中的全部区域，或者是跟图像有关的多个指定的区域。
具体地，图1b中示出了步骤12的处理过程，该过程包括如下处理。
步骤121、根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值。
其中，预测输出包括：预测值或者预测方差。在使用模型或者算法对原始图像数据进行语义标签分割时，一些图像部分会包括无法被语义分割处理立即识别出来的物体、边界或者其它区域，例如较差的光线条件、遮挡、摄像头运动、焦点问题、传感器错误或者环境条件等等原因造成的无法识别的区域。模型或者算法通常会对输出结果进行评估得到一个预测值，该预测值表示对语义标签分割结果的信任度(Confidence)，是对语义标签分割结果的质量衡量。本申请中还可以基于预测值进一步确定得到预测方差，通过方差能够更加显著地考察语义标签分割结果的质量。从而本申请通过预测值或者预测方差来表达对像素语义标签分类结果的信任情况。
在一个实施例中，对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
在另一个实施例中，由于图像语义分割处理中对物体边界的识别会存在不确定性，在确定一个像素的输出评估值时，物体边界像素会对评测结果产生干扰。相应地，在确定一个像素的输出评估值时，不考虑像素的相邻像素中物体边界的像素，能够更加准确地确定得到像素的输出评估值。也即，在确定相邻像素的预测值均值或者预测方差时，相邻像素中不包括物体边缘像素。
步骤122、根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
输出评估值能够表示一个区域的图像质量，当输出评估值较高时，表示该区域的图像质量的较高，也即该区域的自动分类标定结果的质量较高、确定性较高，当输出评估值较低时，表示该区域的自动分类标定结果的质量较低、自动分类标定处理的确定性较低。
在一个实施例中，可以根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值。
例如，可以将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
可以将一个区域中去除了不包括物体边界像素后的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
可以将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
在另一个实施例中，可以根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
例如，可以根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
步骤13、在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域。
其中，该预定的评估阈值可以是预先根据区域的大小尺寸确定得到的一个归一化值。
步骤14、从自动标定图像数据中抽取出低确定性区域数据，并将抽取出来的区域的数据发送给一个人工标定处理。
步骤15、接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型。
步骤16、图像标定模型根据训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
通过本申请提供的图像标定模型的训练方法，图像标定模型先对接收到的图像数据进行自动图像标定处理得自动标定图像数据，对自动标定图像数据进行评估，确定自动标定图像数据中每个区域的输出评估值，在一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域，将该低确定性区域的数据发送给一个人工分类标定处理，并接收来自人工分类标定处理的人工标定数据，将该人工标定数据作为训练图像标定模型的训练数据，再次训练图像标定模型得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。从而能结合自动标定和人工标定，对自动标定图像数据中的低确定性区域进行重新训练，能够不断地对图像标定模型进行改进，不断地提高图像标定模型的自动处理的确定性，也即准确性，从而应用图像标定模型进行自动图像标定处理，能够在保证处理效率的同时提高标定的准确率，能够解决现有技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题。
基于相同的发明构思，本申请实施例还提供了一种图像标定模型的训练装置。
图2a中示出了本申请实施例提供的图像标定模型的训练装置的结构框图，该装置包括：
图像标定模型模块201，用于在当前的迭代处理中，对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出。
评估模块202，用于根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值。
在一个实施例中，评估模块202确定区域的输出评估值的处理包括：
为一个区域中的各个像素确定预测输出；其中，预测输出包括：预测值和预测方差。
根据一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；具体地，对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值；在另一个实施例中，确定像素的输出评估值时，像素的相邻像素中不包括物体边缘像素；
根据该区域中的各像素的输出评估值，确定该区域的输出评估值。在一个实施例中，可以根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；例如，将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。或者，在另一个实施例中，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。例如，根据一个区域中的像素的输出评估值以及历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
评估模块202，还用于在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域从语义标签图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；并接收来自人工标定处理的人工标定数据，人工标定数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型模块。
图像标定模型模块201，还用于根据来自接收模块的训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
通过本申请提供的图像标定模型的训练装置，图像标定模型模块先对接收到的图像数据进行自动图像标定处理得自动标定图像数据，评估模块对自动标定图像数据进行评估，确定自动标定图像数据中每个区域的输出评估值，在一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域，将该低确定性区域的数据发送给一个人工分类标定处理，并接收来自人工分类标定处理的人工标定数据，将该人工标定数据作为训练图像标定模型的训练数据，再次训练图像标定模型得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。从而能结合自动标定和人工标定，对自动标定图像数据中的低确定性区域进行重新训练，能够不断地对图像标定模型进行改进，不断地提高图像标定模型的自动处理的确定性，也即准确性，从而应用图像标定模型进行自动图像标定处理，能够在保证处理效率的同时提高标定的准确率，能够解决现有技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题。
基于相同的发明构思，本申请实施例还提供了一种图像标定模型的训练装置。
图2b中示出了本申请实施例提供的图像标定模型的训练装置的结构框图，该装置包括：
一个处理器21和至少一个存储器23，至少一个存储器23用于存储至少一条机器可执行指令，处理器21执行至少一条机器可执行指令以实现图像标定模型和评估模块；其中，
在当前的迭代处理中，图像标定模型对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；
在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；
从自动标定图像数据中抽取出低确定性区域的数据，并抽取出来的区域的数据发送给一个人工标定处理；
接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型；
图像标定模型根据训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
其中，预测输出包括：预测值和预测方差。
在一个实施例中，处理器21执行至少一条机器可执行指令以实现确定区域的输出评估值，包括：根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
在一个实施例中，处理器21执行至少一条机器可执行指令以实现确定像素的输出评估值，包括：对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。在另一个实施例中，该像素的相邻像素中不包括物体边缘像素。
在一个实施例中，处理器21执行至少一条机器可执行指令以实现根据确定区域的输出评估值，包括：根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
其中，处理器21执行至少一条机器可执行指令以实现根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
其中，处理器21执行至少一条机器可执行指令以实现根据一个区域中的像素的输出评估值以及该区域历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定每个区域的输出评估值。
通过本申请提供的图像标定模型的训练装置，图像标定模型先对接收到的图像数据进行自动图像标定处理得自动标定图像数据，对自动标定图像数据进行评估，确定自动标定图像数据中每个区域的输出评估值，在一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域，将该低确定性区域的数据发送给一个人工分类标定处理，并接收来自人工分类标定处理的人工标定数据，将该人工标定数据作为训练图像标定模型的训练数据，再次训练图像标定模型得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。从而能结合自动标定和人工标定，对自动标定图像数据中的低确定性区域进行重新训练，能够不断地对图像标定模型进行改进，不断地提高图像标定模型的自动处理的确定性，也即准确性，从而应用图像标定模型进行自动图像标定处理，能够在保证处理效率的同时提高标定处理的准确率，能够解决现有技术中存在的人工标定分类的开销大、自动标定分类的准确率低的问题。
下面对本申请具体应用的场景进行说明。
图3至图10示出了对一个原始图像数据实施本申请提供的图像标定模型的训练方法的处理过程图像。
图3是一个原始的图像数据。图4是与图3对应的标准语义分割数据，又称为真实数据(ground truth)，是一个人工分类标定的结果。图4可以作为参考图像，起到与人工分类标定结果进行对比参考的作用。
在实施本申请提供的方法，进行第一次迭代处理的过程中，图5是对图3进行第一次迭代处理中的自动语义标签分割处理后得到的语义标签图像数据(即自动分类标定处理的结果)。
图6是为图5中每个像素确定的预测方差的视觉显示，其中，热区域(深色或者暗色部分)表示自动分类标定结果的信任度较高，冷区域(白色或者浅灰色部分)表示自动分类标定结果的信任度较低。
图7是为图5中的每个区域确定的输出评估值的视觉显示。图7中深色或者黑色部分表示输出评估值小于预定评估阈值，该部分图像质量较低，也即自动分类标定处理的确定性较低。当区域的输出评估值小于预定评估阈值的情况下，该区域的数据将被发送给一个人工分类标定处理，由人工分类标定处理对该区域中的像素进行分类标定处理。
将图5所示的语义标签图像数据和图4所示的真实数据进行对比可以看出，通过自动的语义分割处理得到的图5缺失了一些物体细节，特别是在图像的背景部分缺失了一些物体细节。这些缺失的物体细节与图6所示的信任度较低和图7所示的确定性较低的部分是一致的。
在具体应用中，还将人工标定处理的结果替换原输出评估值小于预定评估阈值的区域的数据，并将替换后的图像数据作为第一次迭代处理的结果。
在第二次迭代处理中，将第一次迭代处理的结果作为输入数据，对输入数据进行自动的语义分割处理，得到如图8所示的语义标签图像数据。对比图8和图5可知，图8相比图5增加了一些物体细节，尤其是在图像的背景部分。
针对图8的语义标签图像数据进行评估，图9中示出了为图8中每个像素确定的预测方差的视觉显示，与图6相类似，热区域(深色或者暗色部分)表示自动分类标定结果具有较高的信任度，冷区域(白色或者浅灰色部分)表示自动分类标定结果的信任度较低。
对比图9和图6可知，在第二次迭代处理中，图9中所示的信任度较低的部分相比于图6有所减少。
图10是为图8中的每个区域确定的输出评估值的视觉显示。与图7相类似，深色或者黑色部分表示输出评估值小于预定评估阈值，该部分图像质量较低，自动分类标定处理的确定性较低。
通过对比图10和图7可以看出，在第二次迭代处理中，图10所示的确定性较低的部分相比于图7有所减少。
并且，进一步对比图8、图9与图10，图8相比图5中增加的物体细节，与图9和图10中不确定性较高的部分是一致的。
从而可以看出，通过本申请提供的图像标定模型的训练方法，能够有效地提高图像标定的准确率，以及有效地保证处理效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

1.一种图像标定模型的训练方法，其特征在于，包括：
在当前的迭代处理中，图像标定模型对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；
在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；
从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；
接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型；
图像标定模型根据训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
2.根据权利要求1所述的方法，其特征在于，确定区域的输出评估值，包括：
根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；其中，预测输出包括：预测值或者预测方差；
根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
3.根据权利要求2所述的方法，其特征在于，确定像素的输出评估值，包括：
对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，
对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
4.根据权利要求3所述的方法，其特征在于，确定像素的输出评估值，还包括：
该像素的相邻像素中不包括物体边缘像素。
5.根据权利要求2所述的方法，其特征在于，确定区域的输出评估值，包括：
根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，
根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
6.根据权利要求5所述的方法，其特征在于，根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：
将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
7.根据权利要求5所述的方法，其特征在于，根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：
根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
8.根据权利要求1所述的方法，其特征在于，所述区域为预定区域、使用滑动窗口获得的区域或者是随机生成的区域。
9.根据权利要求1所述的方法，其特征在于，所述预定评估阈值是预先根据区域的大小尺寸预先确定的一个归一化值。
10.根据权利要求1所述的方法，其特征在于，自动图像标定处理包括语义分割处理，自动标定图像数据包括语义标签图像数据。
11.一种图像标定模型的训练装置，其特征在于，包括：图像标定模型模块和评估模块；其中，
图像标定模型模块，用于在当前的迭代处理中，对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块，用于根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型模块；
图像标定模型模块，还用于根据来自接收模块的训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
12.根据权利要求11所述的装置，其特征在于，评估模块确定区域的输出评估值，包括：
根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；其中，预测输出包括：预测值或者预测方差；
根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
13.根据权利要求12所述的装置，其特征在于，评估模块确定像素的输出评估值，包括：
对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，
对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
14.根据权利要求13所述的装置，其特征在于，评估模块确定像素的输出评估值，还包括：
该像素的相邻像素中不包括物体边缘像素。
15.根据权利要求12所述的装置，其特征在于，评估模块确定区域的输出评估值，包括：
根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，
根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
16.根据权利要求15所述的装置，其特征在于，评估模块根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：
将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
17.根据权利要求15所述的装置，其特征在于，评估模块根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：
根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
18.一种图像标定模型的训练装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器用于存储至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现图像标定模型和评估模块；其中，
在当前的迭代处理中，图像标定模型对接收到的图像数据进行自动图像标定处理，得到自动标定图像数据和自动标定图像数据中各像素的预测输出；
评估模块根据自动标定图像中各像素的预测输出，对自动标定图像数据中多个区域的图像数据进行评估，确定各区域的输出评估值；
在判断一个区域的输出评估值小于预定评估阈值的情况下，确定该区域为低确定性区域；
从自动标定图像数据中抽取出低确定性区域的数据，并将抽取出来的区域的数据发送给一个人工标定处理；
接收来自人工标定处理的人工标定图像数据，人工标定图像数据与抽取出来的区域相对应，将人工标定图像数据作为训练数据发送给图像标定模型；
图像标定模型根据训练数据，对低确定性区域的图像数据进行再次训练，得到更新的图像标定模型，更新的图像标定模型用于下一次迭代处理。
19.根据权利要求18所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现确定区域的输出评估值，包括：
根据一个区域中一个像素的预测输出和该像素的相邻像素的预测输出，确定该像素的输出评估值；其中，预测输出包括预测值或者预测方差；
根据该区域中的各像素的输出评估值，确定该区域的输出评估值。
20.根据权利要求19所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现确定像素的输出评估值，包括：
对于一个像素，确定该像素的相邻像素的预测值均值；将该像素的预测值和该像素的相邻像素的预测值均值作为决策树的输入，确定该像素的输出评估值；或者，
对于一个像素，将该像素的预测方差和该像素的相邻像素的预测方差作为决策树的输入，确定该像素的输出评估值。
21.根据权利要求20所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现确定像素的输出评估值，还包括：
该像素的相邻像素中不包括物体边缘像素。
22.根据权利要求19所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现确定区域的输出评估值，包括：
根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值；或者，
根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值。
23.根据权利要求22所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现根据一个区域中的像素的输出评估值使用启发式方法确定该区域的输出评估值，包括：
将一个区域中的全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
将一个区域中不包括物体边界像素的其它全部像素的输出评估值的均值确定为该区域的输出评估值；或者，
将一个区域中的全部像素的输出评估值的第三四分位数确定为该区域的输出评估值。
24.根据权利要求22所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用基于学习的方法确定该区域的输出评估值，包括：
根据一个区域中的像素的输出评估值以及该区域的历史标定数据，使用高斯函数或者朴素贝叶斯函数确定该区域的输出评估值。
CN201711265897.0A 2017-06-14 2017-12-05 一种图像标定模型的训练方法和装置 Active CN109086785B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/623,323 2017-06-14
US15/623,323 US10762635B2 (en) 2017-06-14 2017-06-14 System and method for actively selecting and labeling images for semantic segmentation

Publications (2)

Publication Number Publication Date
CN109086785A true CN109086785A (zh) 2018-12-25
CN109086785B CN109086785B (zh) 2021-01-15

Family

ID=64657566

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711265897.0A Active CN109086785B (zh) 2017-06-14 2017-12-05 一种图像标定模型的训练方法和装置
CN201880039993.XA Active CN110753934B (zh) 2017-06-14 2018-06-14 主动选择和标记图像以进行语义分割的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880039993.XA Active CN110753934B (zh) 2017-06-14 2018-06-14 主动选择和标记图像以进行语义分割的系统和方法

Country Status (3)

Country Link
US (1) US10762635B2 (zh)
CN (2) CN109086785B (zh)
WO (1) WO2018232187A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008299A (zh) * 2019-04-08 2019-07-12 百度在线网络技术（北京）有限公司 一种地图评估方法、装置、电子设备及存储介质
CN110175990A (zh) * 2019-05-17 2019-08-27 腾讯科技（深圳）有限公司 人脸图像质量判定方法、装置及计算机设备
CN110298386A (zh) * 2019-06-10 2019-10-01 成都积微物联集团股份有限公司 一种基于图像内容的标签自动化定义方法
CN110765855A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN111179355A (zh) * 2019-12-20 2020-05-19 上海点甜农业专业合作社 一种结合点云和语义识别的双目摄像头标定方法
CN111382383A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 网页内容敏感类型确定方法、装置、介质和计算机设备
CN111584044A (zh) * 2020-05-14 2020-08-25 上海深至信息科技有限公司 一种标准超声图像训练集的生成方法及系统
CN112116016A (zh) * 2020-09-25 2020-12-22 南通大学 一种基于机器学习的足底图像智能标定方法
CN113634876A (zh) * 2021-10-18 2021-11-12 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201617507D0 (en) 2016-10-14 2016-11-30 Axial3D Limited Axial3D UK
US11138790B2 (en) 2016-10-14 2021-10-05 Axial Medical Printing Limited Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images
EP3616159A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER SENSORS
EP3615955A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
US10737695B2 (en) * 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
CN110914703A (zh) 2017-07-31 2020-03-24 深圳市大疆创新科技有限公司 对点云中基于运动的不准确性的校正
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10586456B2 (en) 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
US20200050191A1 (en) * 2018-08-07 2020-02-13 GM Global Technology Operations LLC Perception uncertainty modeling from actual perception systems for autonomous driving
GB201900437D0 (en) 2019-01-11 2019-02-27 Axial Medical Printing Ltd Axial3d big book 2
CN111797653B (zh) * 2019-04-09 2024-04-26 华为技术有限公司 基于高维图像的图像标注方法和装置
CN111832587B (zh) * 2019-04-18 2023-11-14 北京四维图新科技股份有限公司 图像语义标注方法、设备和存储介质
US11113570B2 (en) 2019-09-16 2021-09-07 The Boeing Company Systems and methods for automatically generating training image sets for an environment
US10885386B1 (en) 2019-09-16 2021-01-05 The Boeing Company Systems and methods for automatically generating training image sets for an object
CN110782481B (zh) * 2019-10-18 2023-09-05 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及系统
US11455813B2 (en) * 2019-11-14 2022-09-27 Nec Corporation Parametric top-view representation of complex road scenes
US10981577B1 (en) * 2019-12-19 2021-04-20 GM Global Technology Operations LLC Diagnosing perception system based on scene continuity
US20210233246A1 (en) * 2020-01-28 2021-07-29 Embodied Intelligence Inc. Confidence-based segmentation of multiple units
CN111598914B (zh) * 2020-05-12 2022-05-06 湖南大学 一种基于不确定性引导的自适应图像分割方法
US11715277B2 (en) 2020-06-23 2023-08-01 Tusimple, Inc. Perception system for autonomous vehicles
US11373389B2 (en) 2020-06-23 2022-06-28 Tusimple, Inc. Partitioning images obtained from an autonomous vehicle camera
US11461922B2 (en) 2020-06-23 2022-10-04 Tusimple, Inc. Depth estimation in images obtained from an autonomous vehicle camera
CN111767831B (zh) * 2020-06-28 2024-01-12 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
DE102020117812A1 (de) 2020-07-07 2022-01-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen einer Einrichtung zur Vorhersage von Fehlern beim Verarbeiten von Bilddaten, Einrichtung zum Vorhersagen von Segmentierungsfehlern und Kraftfahrzeug
US11776184B2 (en) * 2020-10-18 2023-10-03 Adobe, Inc. Sky replacement
DE102020128952A1 (de) 2020-11-03 2022-05-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102020133626A1 (de) 2020-12-15 2022-06-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erkennen von für ein neuronales Netz schwierig korrekt zu klassifizierenden Szenen, Assistenzeinrichtung und Kraftfahrzeug
CN112562855B (zh) * 2020-12-18 2021-11-02 深圳大学 一种肝细胞癌术后早期复发风险预测方法、介质及终端设备
GB202101908D0 (en) 2021-02-11 2021-03-31 Axial Medical Printing Ltd Axial3D pathology
DE102021110069A1 (de) 2021-04-21 2022-10-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Assistenzeinrichtung und Kraftfahrzeug zum semantischen Segmentieren eines digitalen Bildes und Verfahren zum Bereitstellen eines Korrekturmodells für die semantische Segmentierung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090208106A1 (en) * 2008-02-15 2009-08-20 Digitalsmiths Corporation Systems and methods for semantically classifying shots in video
US20100067745A1 (en) * 2008-09-16 2010-03-18 Ivan Kovtun System and method for object clustering and identification in video
CN105455781A (zh) * 2015-11-17 2016-04-06 努比亚技术有限公司 信息处理方法及电子设备
CN105989331A (zh) * 2015-02-11 2016-10-05 佳能株式会社 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
US20170024889A1 (en) * 2015-07-23 2017-01-26 International Business Machines Corporation Self-calibration of a static camera from vehicle information
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6535114B1 (en) 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6975923B2 (en) 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US8896660B2 (en) 2003-05-30 2014-11-25 Alcatel Lucent Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8078338B2 (en) 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
WO2006090896A1 (en) 2005-02-23 2006-08-31 Matsushita Electric Works, Ltd. Autonomous vehicle and planar obstacle recognition method
US7616807B2 (en) 2005-02-24 2009-11-10 Siemens Corporate Research, Inc. System and method for using texture landmarks for improved markerless tracking in augmented reality applications
US9390163B2 (en) 2005-04-22 2016-07-12 New York University Method, system and software arrangement for detecting or determining similarity regions between datasets
US20070070069A1 (en) 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7925049B2 (en) 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
ATE519193T1 (de) 2006-12-06 2011-08-15 Mobileye Technologies Ltd Detektion und erkennung von verkehrszeichen
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US8913831B2 (en) * 2008-07-31 2014-12-16 Hewlett-Packard Development Company, L.P. Perceptual segmentation of images
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8385688B2 (en) 2008-08-27 2013-02-26 International Business Machines Corporation System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US20100204964A1 (en) 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
RU2011143140A (ru) 2009-03-26 2013-05-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для изменения изображения посредством использования карты внимания, основанной на частоте цвета
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
EP2256667B1 (en) 2009-05-28 2012-06-27 Honda Research Institute Europe GmbH Driver assistance system or robot with dynamic attention module
US8564657B2 (en) 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP2011013898A (ja) * 2009-07-01 2011-01-20 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
US8913783B2 (en) * 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
GB2489179B (en) 2010-02-05 2017-08-02 Trimble Navigation Ltd Systems and methods for processing mapping and modeling data
US8483518B2 (en) * 2010-02-19 2013-07-09 Microsoft Corporation Image-based CAPTCHA exploiting context in object recognition
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
KR101145112B1 (ko) 2010-05-11 2012-05-14 국방과학연구소 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
WO2012068154A1 (en) 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US8625889B2 (en) 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
WO2012095658A1 (en) 2011-01-14 2012-07-19 Bae Systems Plc Data transfer system and method thereof
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9117147B2 (en) 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
WO2013015416A1 (ja) 2011-07-28 2013-01-31 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US8824797B2 (en) 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
WO2013084225A1 (en) 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US8917910B2 (en) * 2012-01-16 2014-12-23 Xerox Corporation Image segmentation based on approximation of segmentation similarity
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
JP6243402B2 (ja) 2012-04-18 2017-12-06 ブライトウェイ ビジョン リミテッド 読み出し毎の複数のゲーテッド画素
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
WO2013179280A1 (en) 2012-05-29 2013-12-05 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
WO2014030164A1 (en) 2012-08-21 2014-02-27 Brightway Vision Ltd. Simultaneously illuminating traffic light signals at different ranges
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9701023B2 (en) 2012-12-03 2017-07-11 Abb Schweiz Ag Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
WO2014095539A1 (de) 2012-12-17 2014-06-26 Pmdtechnologies Gmbh Lichtlaufzeitkamera mit einer bewegungserkennung
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP6285958B2 (ja) 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9070202B2 (en) 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
CN111024099B (zh) 2013-06-13 2023-10-27 移动眼视力科技有限公司 用于导航的移动装置、非暂时性机器可读介质和设备
IL227265A0 (en) 2013-06-30 2013-12-31 Brightway Vision Ltd Smart flash for the camera
KR102111784B1 (ko) 2013-07-17 2020-05-15 현대모비스 주식회사 차량 위치 인식 장치 및 방법
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9090260B2 (en) 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
WO2015125022A2 (en) 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
CN103984915B (zh) 2014-02-28 2017-11-24 中国计量学院 一种监控视频中行人重识别方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9739609B1 (en) 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
US9443163B2 (en) 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US9558268B2 (en) * 2014-08-20 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. Method for semantically labeling an image of a scene using recursive context propagation
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9547985B2 (en) 2014-11-05 2017-01-17 Here Global B.V. Method and apparatus for providing access to autonomous vehicles based on user context
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
US9347779B1 (en) 2014-12-10 2016-05-24 Here Global B.V. Method and apparatus for determining a position of a vehicle based on driving behavior
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US9715016B2 (en) 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US9649999B1 (en) 2015-04-28 2017-05-16 Sprint Communications Company L.P. Vehicle remote operations control
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
JP6320542B2 (ja) 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 初期構成を有する複数のセンサを有する可動物体に対する１または複数の外部パラメータを推定する方法、システム、及びプログラム
US10019657B2 (en) 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
US9690290B2 (en) 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
CN105518744B (zh) 2015-06-29 2018-09-07 北京旷视科技有限公司 行人再识别方法及设备
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US10346996B2 (en) 2015-08-21 2019-07-09 Adobe Inc. Image depth inference from semantic labels
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
CN105574505B (zh) 2015-12-16 2019-02-12 深圳大学 一种多摄像机间人体目标再识别的方法及系统
US20170213134A1 (en) 2016-01-27 2017-07-27 The Regents Of The University Of California Sparse and efficient neuromorphic population coding
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
US9946264B2 (en) 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
CN106096568B (zh) 2016-06-21 2019-06-11 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
GB2552648B (en) 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
CN106295678B (zh) 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US10127461B2 (en) 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
US10346723B2 (en) 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
US10410362B2 (en) 2016-11-14 2019-09-10 Htc Corporation Method, device, and non-transitory computer readable storage medium for image processing
US10073456B2 (en) 2016-11-17 2018-09-11 GM Global Technology Operations LLC Automated co-pilot control for autonomous vehicles
US9971352B1 (en) 2016-11-17 2018-05-15 GM Global Technology Operations LLC Automated co-pilot control for autonomous vehicles
US10068140B2 (en) 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
SG10201700299QA (en) 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
US10204423B2 (en) 2017-02-13 2019-02-12 Adobe Inc. Visual odometry using object priors
US20180239969A1 (en) 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
CN106971178A (zh) 2017-05-11 2017-07-21 北京旷视科技有限公司 行人检测和再识别的方法及装置
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
CN110057352B (zh) 2018-01-19 2021-07-16 北京图森智途科技有限公司 一种相机姿态角确定方法及装置
CN108307113B (zh) 2018-01-26 2020-10-09 北京图森智途科技有限公司 图像采集方法、图像采集控制方法及相关装置
CN110162026B (zh) 2018-02-11 2022-06-21 北京图森智途科技有限公司 一种物体识别系统、方法及装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090208106A1 (en) * 2008-02-15 2009-08-20 Digitalsmiths Corporation Systems and methods for semantically classifying shots in video
US20100067745A1 (en) * 2008-09-16 2010-03-18 Ivan Kovtun System and method for object clustering and identification in video
CN105989331A (zh) * 2015-02-11 2016-10-05 佳能株式会社 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
US20170024889A1 (en) * 2015-07-23 2017-01-26 International Business Machines Corporation Self-calibration of a static camera from vehicle information
CN105455781A (zh) * 2015-11-17 2016-04-06 努比亚技术有限公司 信息处理方法及电子设备
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382383A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 网页内容敏感类型确定方法、装置、介质和计算机设备
CN110008299A (zh) * 2019-04-08 2019-07-12 百度在线网络技术（北京）有限公司 一种地图评估方法、装置、电子设备及存储介质
CN110175990A (zh) * 2019-05-17 2019-08-27 腾讯科技（深圳）有限公司 人脸图像质量判定方法、装置及计算机设备
CN110298386A (zh) * 2019-06-10 2019-10-01 成都积微物联集团股份有限公司 一种基于图像内容的标签自动化定义方法
CN110765855B (zh) * 2019-09-12 2023-04-18 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN110765855A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN111179355A (zh) * 2019-12-20 2020-05-19 上海点甜农业专业合作社 一种结合点云和语义识别的双目摄像头标定方法
CN111584044A (zh) * 2020-05-14 2020-08-25 上海深至信息科技有限公司 一种标准超声图像训练集的生成方法及系统
CN111584044B (zh) * 2020-05-14 2023-07-14 上海深至信息科技有限公司 一种标准超声图像训练集的生成方法及系统
WO2022062262A1 (zh) * 2020-09-25 2022-03-31 南通大学 一种基于机器学习的足底图像智能标定方法
CN112116016A (zh) * 2020-09-25 2020-12-22 南通大学 一种基于机器学习的足底图像智能标定方法
CN113634876A (zh) * 2021-10-18 2021-11-12 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质
CN113634876B (zh) * 2021-10-18 2021-12-28 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2018232187A1 (en) 2018-12-20
CN109086785B (zh) 2021-01-15
CN110753934B (zh) 2023-10-03
US20180365835A1 (en) 2018-12-20
CN110753934A (zh) 2020-02-04
US10762635B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
CN109086785B (zh) 一种图像标定模型的训练方法和装置
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN111860348A (zh) 基于深度学习的弱监督电力图纸ocr识别方法
CN110569696A (zh) 用于车辆部件识别的神经网络系统、方法和装置
US20210081695A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN113283282B (zh) 一种基于时域语义特征的弱监督时序动作检测方法
WO2008069171A1 (ja) 眼部検出装置、眼部検出方法及びプログラム
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN115049954B (zh) 目标识别方法、装置、电子设备和介质
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
KR101084594B1 (ko) 영상 인식 시스템 및 그 방법
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法
CN113177554A (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
Wang et al. G-NET: Accurate Lane Detection Model for Autonomous Vehicle
CN114693912B (zh) 具有眼球追踪功能的内镜检查系统、存储介质及设备
Das et al. Object Detection on Scene Images: A Novel Approach
Islam et al. A new method for road surface detection
JP2024516642A (ja) 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体
KR20210089044A (ko) 물체 인식을 위한 학습 데이터를 선택하는 방법 및 상기 방법을 이용하여 학습된 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치
CN102004537A (zh) 系统上下电控制装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No.1, Linkong 2nd Road, Shunyi Park, Zhongguancun Science and Technology Park, Shunyi District, Beijing

Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee after: Tucson Ltd.

Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing

Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee before: TUSIMPLE