CN111836747A - 用于车辆驾驶辅助的电子装置和方法 - Google Patents

用于车辆驾驶辅助的电子装置和方法 Download PDF

Info

Publication number
CN111836747A
CN111836747A CN201980017857.5A CN201980017857A CN111836747A CN 111836747 A CN111836747 A CN 111836747A CN 201980017857 A CN201980017857 A CN 201980017857A CN 111836747 A CN111836747 A CN 111836747A
Authority
CN
China
Prior art keywords
image frames
electronic device
data
vehicle
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980017857.5A
Other languages
English (en)
Inventor
朱宰龙
金明植
韩昇勳
林兑奎
文宝石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111836747A publication Critical patent/CN111836747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于车辆驾驶辅助的电子装置和方法。所述电子装置包括：多个相机，用于捕获车辆周围的图像；以及至少一个传感器，用于感测车辆周围的对象，其中：当车辆驾驶时，通过使用所述多个相机按预定时间间隔捕获车辆周围的图像来获取多个图像帧；当在车辆驾驶时使用所述传感器检测到对象时，从所获取的多个图像帧提取与检测到所述对象的位置和时间点对应的图像帧；从提取出的图像帧执行对象检测；并且从在所述提取出的图像帧之后获取的多个图像帧执行跟踪所述对象的改变的对象跟踪。此外，本公开涉及一种使用机器学习算法(诸如深度学习)的人工智能(AI)系统及其应用。

Description

用于车辆驾驶辅助的电子装置和方法
技术领域
本公开涉及一种用于辅助车辆驾驶的电子装置和方法。
本公开还涉及一种利用机器学习算法(诸如深度学习)的人工智能(AI)系统以及该AI系统的应用。
背景技术
由于信息和通信技术与汽车工业的结合，车辆的智能化进步迅速。由于这种智能化，车辆已经从简单的机械装置发展为智能汽车，并且特别地，自主驾驶已经被视为用于智能汽车的关键技术。
自主驾驶是一种允许车辆自主行驶到目的地而无需驾驶员操纵方向盘、油门踏板、制动器等的技术。
目前，已经持续开发出与自主驾驶相关的多种附加功能，并且正在进行对以下方法的研究：能够通过使用各种类型的数据识别并确定驾驶环境来控制车辆，向驾驶员或乘客提供安全的自主驾驶环境。
与现有的基于规则的智能系统相比，人工智能(AI)系统是一种被配置为实现人类水平的智能并且训练自己并自发地做出确定以变得更智能的计算机系统。因为AI系统的识别率提高并且AI系统被使用得越多就越准确地理解用户的偏好，所以现有的基于规则的智能系统已经逐渐被深度学习AI系统替代。
AI技术包括机器学习(深度学习)和采用机器学习的元技术。
机器学习是一种对输入数据的特征进行自分类/自学习的算法技术，每个元技术是一种通过使用诸如深度学习的机器学习算法来模仿人脑的功能(诸如感知和判断)的技术，并且包括诸如语言理解、视觉理解、推理/预测、知识表达和操作控制的技术领域。
应用AI技术的各种领域如下。语言理解是一种识别人类的语言/字符并应用/处理人类的语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、问答、语音识别/合成等。视觉理解是一种像人类视觉一样识别并处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改善等。推理/预测是一种通过确定信息来逻辑地执行推理和预测的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表达是一种将人类经验信息自动处理为知识数据的技术，并且包括知识建立(数据生成/分类)、知识管理(数据利用)等。操作控制是一种控制车辆的自主驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞避免和驾驶)、操纵控制(行为控制)等。
发明内容
技术问题
提供了一种用于辅助车辆驾驶的电子装置和方法。提供了一种记录有计算机程序的非暂时性计算机可读记录介质，其中，所述计算机程序在被计算机执行时执行所述方法。另外的方面将在下面的描述中被部分地阐述，并且部分地将从描述中显而易见，或者可通过所提供的实施例的实践而被获知。
问题的解决方案
根据本公开的一方面，一种用于辅助车辆驾驶的电子装置包括：多个相机，被配置为捕获车辆周围的周围图像；至少一个传感器，被配置为感测车辆周围的对象；以及处理器，被配置为在车辆驾驶期间，在通过使用所述多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧，当在车辆驾驶期间使用所述至少一个传感器感测到所述对象时，从所获得的多个图像帧中提取与已经感测到所述对象的时间点和位置对应的图像帧，从提取出的图像帧执行对象检测，并且从在所述提取出的图像帧之后获得的多个图像帧执行跟踪所述对象的改变的对象跟踪。
根据本公开的另一方面，一种用于辅助车辆的驾驶的电子装置的操作方法包括：当车辆正被驾驶时，在通过使用多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧；当在车辆驾驶期间使用至少一个传感器感测到对象时，从所获得的多个图像帧中提取与已经感测到所述对象的时间点和位置对应的图像帧；从提取出的图像帧执行对象检测；并且从在所述提取出的图像帧之后获得的多个图像帧执行跟踪所述对象的改变的对象跟踪。
根据本公开的另一方面，一种非暂时性计算机可读记录介质记录有用于执行上述操作方法的计算机程序。
附图说明
图1是用于示意性地描述根据实施例的用于辅助车辆驾驶的电子装置的操作的示例的示图。
图2是根据传感器的对象感测来执行对象检测的示例的流程图。
图3至图5是用于解释根据传感器的对象感测来执行对象检测的示例的示图。
图6是根据预设周期执行对象检测的示例的流程图。
图7和图8是用于解释根据预设周期执行对象检测的示例的示图。
图9是根据对象跟踪的置信度执行对象检测的示例的流程图。
图10是用于解释根据对象跟踪的置信度执行对象检测的示例的示图。
图11是根据预设优先级执行对象检测的示例的流程图。
图12是用于解释根据预设优先级执行对象检测的示例的示图。
图13是根据实施例的电子装置的框图。
图14是根据实施例的电子装置的详细框图。
图15是根据实施例的车辆的框图。
图16是根据实施例的处理器的框图。
图17是根据实施例的数据训练器的框图。
图18是根据实施例的数据识别器的框图。
图19是示出根据实施例的电子装置与服务器交互操作以训练并识别数据的示例的框图。
具体实施方式
虽然考虑本公开的功能来选择目前广泛使用的通用术语以描述本公开，但是这些通用术语可根据本领域普通技术人员的意图、案例先例、新技术的出现等而变化。由本公开的申请人任意选择的术语也可在特定情况下被使用。在这种情况下，需要在详细描述中给出它们的含义。因此，术语必须基于它们的含义和整个说明书的内容来定义，而不是通过简单陈述该术语来定义。
当在本说明书中使用术语“包含”和/或“包含…的”或者“包括”和/或“包括…的”时，所述术语指明所陈述的元件的存在，但不排除一个或更多个其它元件的存在或添加一个或更多个其它元件。此外，诸如“…单元”、“…模块”等的术语是指执行至少一个功能或操作的单元，并且该单元可被实现为硬件或软件或者硬件和软件的组合。
本文参照附图详细描述了本公开的示例，使得本公开所属领域的普通技术人员可容易地执行本公开。然而，本公开可以以多种不同形式被实施，并且不应被解释为限于本文阐述的示例。
现在将在下文中参照附图更全面地描述实施例。
图1是用于示意性地描述根据实施例的用于辅助车辆驾驶的电子装置的操作的示例的示图。
这里，图15的车辆1(在下文中，车辆1)可包括图13至图15的辅助或控制车辆1的驾驶的电子装置100(在下文中，电子装置100)。根据实施例的电子装置100可被安装在车辆1上并进行操作，使得车辆1可自主驾驶或自主控制驾驶操作的一部分。例如，车辆1可被实现为执行自主驾驶系统或高级驾驶员辅助系统(ADAS)的功能。
能够自主驾驶或自主控制至少一些功能的车辆可提供更稳定的驾驶环境，以便在车辆驾驶期间更准确且更快速地识别驾驶路径上的对象。
根据实施例的安装在车辆1上的电子装置100可在车辆1正在驾驶时通过使用图14的图像传感器228(在下文中，图像传感器228或相机228)来拍摄车辆1的周围，并且可从捕获的周围图像检测并跟踪对象(例如，道路上的行人、车辆或路标)。
根据实施例的对象是可能影响车辆的驾驶且可在车辆的周围(前侧、后侧、横向侧等)被观察到的对象，并且可包括但不限于行人、其他车辆、驾驶路径上的障碍物和路标。
图14的图像传感器228可以是被配置为记录车辆1的外部环境的静物相机或视频相机。例如，图像传感器228可包括多个相机，并且所述多个相机可被布置在车辆1内部或外部的多个位置处。
根据实施例，安装在车辆1上的电子装置100可通过使用多个相机228来拍摄周围，并且可通过使用基于深度学习的数据识别模型来执行对象检测，以便从通过拍摄车辆1的周围而获得的多个图像帧检测对象。
根据实施例，“对象检测”可以是检测包括在图像帧中的对象(例如，道路上的行人、车辆或路标)的图像处理。对象检测可以是提取图像帧内的候选区域以从图像帧检测对象并通过使用经过训练的数据识别模型来估计候选区域内的对象的类型和位置的图像处理。根据实施例，在对象检测中可使用基于卷积神经网络(CNN)等的数据识别模型。
对象检测可由能够进行多个操作的图形专用处理器(例如，图形处理单元(GPU))来执行。对象检测可由用于人工智能(AI)的专用硬件芯片来执行，但是实施例不限于此。
根据实施例，当从图像帧执行对象检测时，可实现更准确且更精确的对象检测。
根据实施例，电子装置100可在车辆1正在驾驶时通过对使用相机228获得的多个图像帧执行对象跟踪来跟踪检测到的对象的改变。
根据实施例的“对象跟踪”可以是用于跟踪包括在使用相机获得的一系列图像帧中的对象的位置改变的图像处理。
对象跟踪可由通用处理器(例如，中央处理器(CPU))来执行。对象跟踪可以是通过使用一系列图像帧中的特征信息(诸如对象的尺寸、形状、轮廓和颜色)来跟踪包括在所述一系列图像帧中的对象的改变的图像处理。
根据实施例，电子装置100可在车辆1正在驾驶时通过使用图14的对象检测传感器222(在下文中，对象检测传感器222)(诸如图14的雷达(RADAR)传感器226或图14的激光雷达(LIDAR)传感器227)来检测车辆1周围的对象。
图14的雷达传感器226可以是被配置为通过使用无线信号来感测车辆1所处的环境内的对象的传感器。雷达传感器226还可被配置为感测对象的速度和/或方向。
图14的激光雷达传感器227可以是被配置为通过使用激光来感测车辆1所处的环境内的对象的传感器。激光雷达传感器227可通过使用激光输出器输出激光束，并且可通过至少一个激光接收器获得来自对象的反射信号。
参照图1，根据实施例的车辆1可包括多个相机228a、228b和228c以及对象检测传感器222(例如，雷达传感器和激光雷达传感器)。
当车辆1正在驾驶时，电子装置100可通过使用多个相机228a、228b和228c来获得多个图像帧。
多个相机228a、228b和228c可根据例如多个相机228a、228b和228c中的每一个被安装在车辆1上的位置、多个相机228a、228b和228c中的每一个被安装在车辆1上的方向以及多个相机228a、228b和228c中的每一个的相机镜头的视角来拍摄车辆1周围的不同区域。例如，电子装置100可获得针对使用第一相机228a拍摄的第一区域12、使用第二相机228b拍摄的第二区域13和使用第三相机228c拍摄的第三区域14的多个图像帧。
对象检测传感器222可从车辆周围的较宽区域11(包括由多个相机228a、228b和228c拍摄的区域)检测对象。
根据实施例，对象可包括但不限于驾驶路径上的行人、其他车辆、障碍物和路标。
根据实施例，电子装置100可基于预设周期针对多个图像帧中的每一个执行对象检测或对象跟踪，其中，所述对象检测用于检测使用多个相机228a、228b和228c获得的多个图像帧中的每一个中所包括的对象，所述对象跟踪用于跟踪多个图像帧中的每一个中所包括的对象的改变。
根据实施例，可针对使用多个相机获得的多个图像帧有效地分配由GPU执行且需要许多计算的对象检测以及由CPU执行且需要相对较少计算的对象跟踪，并且因此可实现稳定且有效的对象检测和对象跟踪。
根据实施例，针对使用多个相机获得的多个图像帧，通过有效地设置对象检测的周期，即使在嵌入式系统的有限资源内，也可稳定地实现高效且高准确度的对象检测。
根据实施例，当电子装置100在车辆1正在驾驶时通过使用对象检测传感器222(例如，雷达传感器)来检测驾驶路径上的对象(例如，行人)的存在时，电子装置100可从使用多个相机228捕获的多个图像帧中提取被估计为包括检测到的对象的图像帧。电子装置100可从提取出的图像帧执行对象检测。
根据实施例，通过使用由比相机228更频繁地执行针对大区域的对象感测的对象检测传感器222进行的对象检测，电子装置100可防止对象检测延迟或对象未检测的风险，并且即使在没有针对由多个相机捕获的图像帧中的每一个图像帧执行对象检测的环境中，也可实现稳定且高度准确的对象检测。
图1示出实施例，并且本公开的实施例不限于此。
图2是根据传感器的对象感测来执行对象检测的示例的流程图。图3至图5是用于解释根据传感器的对象感测来执行对象检测的示例的示图。现在将参照图3至图5描述图2的流程图。
在图2的操作S201，当车辆正在驾驶时，电子装置100可在通过使用多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧。
根据实施例，电子装置100可通过使用安装在车辆1上的多个相机228拍摄不同的方向(前侧、后侧、横向侧等)来按预设时间(例如，约33ms)的间隔获得图像帧。
例如，参照图3，多个图像帧可包括在T1时间点使用第一相机228a获得的第一图像帧32、使用第二相机228b获得的第二图像帧33和使用第三相机228c获得的第三图像帧34。在T2时间，多个图像帧可包括使用第一相机228a获得的第一图像帧35、使用第二相机228b获得的第二图像帧36和使用第三相机228c获得的第三图像帧37。
在图2的操作S202，当在车辆正在驾驶时使用传感器感测到对象时，电子装置100可从获得的多个图像帧中提取与已经感测到该对象的时间点和位置对应的图像帧。
参照图3，在车辆1正在驾驶时，电子装置100可通过使用对象检测传感器222来感测车辆1的周围。例如，电子装置100可通过使用对象检测传感器222来感测驾驶路径上的行人39。
根据实施例，电子装置100可从使用多个相机获得的多个图像帧中提取与已经感测到行人39的时间点和位置对应的图像帧(即，被估计为包括感测到的行人39的图像帧)。例如，参照图3，在T2时间，可提取使用第三相机228c获得的第三图像帧37。
根据实施例，因为对象检测传感器222例如每一秒感测对象的感测频率高于相机228每一秒捕获图像帧的频率，所以相机228在与对象检测传感器222已经感测到对象的时间点接近的时间点捕获的图像帧可被提取。根据实施例，提取出的图像帧可以是由相机228在以下时间点捕获的图像帧：对象检测传感器222已经感测到对象的时间点或者刚好在对象检测传感器222已经感测到对象的时间点之后或之前的预定范围内最接近的时间点。
根据实施例，因为能够由对象检测传感器222感测的区域包括被设置为拍摄不同方向的多个相机228的拍摄区域，所以多个相机中的被设置为拍摄与由对象检测传感器222感测的对象的位置接近的区域的相机的图像帧可被提取。
在图2的操作S203，电子装置100可对提取出的图像帧执行对象检测。参照图4，电子装置100可通过针对提取出的图像帧42执行预定图像处理来检测包括在提取出的图像帧42中的对象(例如，行人49)。
根据实施例，电子装置100可通过使用基于神经网络的数据识别模型来执行对象检测。
根据实施例，电子装置100可使用具有两个或更多个层的深度神经网络。每一层可接收数据，并且可通过对输入数据进行处理来生成输出数据。
根据实施例，电子装置100可使用具有多个层的卷积神经网络(CNN)。CNN可被用于从复杂输入数据(输入图像)提取诸如轮廓、线条和颜色的特征。
在图2的操作S204，电子装置100可从在提取出的图像帧之后获得的多个图像帧执行跟踪对象的改变的对象跟踪。
参照图5，例如，当电子装置100从在T2时间点使用第三相机获得的图像帧52检测对象59时，电子装置100可针对在T2时间点之后的T3和T4时间点获得的图像帧59和60执行用于跟踪对象59的改变的对象跟踪。
根据实施例，当对经由多个相机228获得的多个图像帧持续进行能够由CPU执行的对象跟踪的同时由对象检测传感器222感测到新对象时，电子装置100可针对被估计为包括新对象的图像帧执行能够由GPU执行的对象检测。电子装置100可继续进行对象跟踪以跟踪从稍后获得的图像帧检测到的对象的改变。
因此，电子装置100可在最低限度地利用需要许多计算的对象检测的同时执行带来高度准确的对象检测结果的高效的对象检测。
图3至图5示出了实施例，并且因此本公开的实施例不限于此。
图6是根据预设周期执行对象检测的示例的流程图。图7和图8是用于解释根据预设周期执行对象检测的示例的示图。现在将参照图7和图8描述图6的流程图。
根据实施例，电子装置100可基于预设周期针对多个图像帧中的每一个图像帧执行对象检测或对象跟踪，其中，所述对象检测用于检测使用多个相机获得的多个图像帧中的每一个中所包括的对象，所述对象跟踪用于跟踪多个图像帧中的每一个中所包括的对象的改变。
图6至图8示出从在相同时间点获得的多个图像帧中选择性地对使用一个相机获得的图像帧执行对象检测的示例。
在图6的操作S601，当车辆正在驾驶时，电子装置100可在通过使用多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧。
操作S601与上述图2的操作S201相同，因此将省略其详细描述。
在图6的操作S602，电子装置100可从在相同时间点使用多个相机获得的多个图像帧之中的使用一个相机获得的图像帧执行对象检测，并且可从使用其余相机获得的图像帧执行对象跟踪。
在图6的操作S603，每当使用多个相机获得多个图像帧时，电子装置100可改变多个相机中的获得将被执行对象检测的图像帧的相机。
参照图7，例如，电子装置100可对在T1时间点获得的多个图像帧61、62和63中的使用第一相机获得的图像帧61执行对象检测，并且可对使用其余相机获得的图像帧62和63执行对象跟踪。
例如，电子装置100可对在T2时间点获得的多个图像帧64、65和66中的使用第二相机获得的图像帧65执行对象检测，并且可对使用其余相机获得的图像帧64和66执行对象跟踪。
例如，电子装置100可对在T3时间点获得的多个图像帧67、68和69中的使用第三相机获得的图像帧69执行对象检测，并且可对使用其余相机获得的图像帧67和68执行对象跟踪。
例如，电子装置100可对在T4时间点获得的多个图像帧70、71和72中的使用第一相机获得的图像帧70执行对象检测，并且可对使用其余相机获得的图像帧71和72执行对象跟踪。
如图7中所示，电子装置100可在使用多个相机获得多个图像帧时的每个时间点(例如，T1、T2、T3或T4)，改变多个相机中的获得将被执行对象检测的图像帧的相机。例如，电子装置100可从分别在T1时间点使用第一相机、在T2时间点使用第二相机、在T3时间点使用第三相机和在T4时间点使用第一相机获得的图像帧执行对象检测。
根据实施例，电子装置100可顺序地(例如，按照从第一相机、到第二相机、再到第三相机的顺序)改变获得将被执行对象检测的图像帧的相机，但是本公开的实施例不限于此。
参照图8，电子装置100可对例如在T1时间点使用第一相机获得的图像帧81、在T2时间点使用第二相机获得的图像帧82和在T3时间点使用第三相机获得的图像帧83执行对象检测，同时顺序地改变获得将被执行对象检测的图像帧的相机。
电子装置100可在车辆1正在驾驶时通过使用对象检测传感器222来感测车辆1的周围，并且可感测新对象89。
当发生通过使用对象检测传感器222来感测对象89的事件时，电子装置100可对在与感测到对象89的时间点接近的T4时间点获得的多个图像帧中的与对象89的位置对应的图像帧84执行对象检测。
根据实施例，当电子装置100对由第三相机获得的图像帧84执行需要许多计算且由GPU执行的对象检测时，电子装置100可针对使用其余相机获得的图像帧85和86执行对象跟踪。
根据实施例，电子装置100可针对在T5和T6时间点使用第三相机获得的图像帧88和91执行用于跟踪检测到的对象89的改变的对象跟踪。
根据实施例，电子装置100可对使用多个相机获得的多个图像帧中的使用一个相机获得的图像帧执行对象检测，并且可对使用其余相机获得的图像帧执行对象跟踪，从而连续地执行对象检测。
参照图8，电子装置100可对在T5时间点使用第一相机获得的图像帧87和在T6时间点使用第二相机获得的图像帧90顺序地执行对象检测，同时顺序地改变获得将被执行对象检测的图像帧的相机。
图6至图8示出了实施例，并且因此本公开的实施例不限于此。
图9是根据对象跟踪的置信度执行对象检测的示例的流程图。图10是用于解释根据对象跟踪的置信度执行对象检测的示例的示图。现在将参照图10描述图9的流程图。
根据实施例，电子装置100可基于预设周期针对多个图像帧中的每一个执行对象检测或对象跟踪，其中，所述对象检测用于检测使用多个相机获得的多个图像帧中的每一个中所包括的对象，所述对象跟踪用于跟踪多个图像帧中的每一个中所包括的对象的改变。
图9和图10示出基于对象跟踪的置信度选择性地执行对象检测的示例。
在图9的操作S901，当车辆正在驾驶时，电子装置100可在通过使用多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧。
操作S901与上述图2的操作S201相同，因此将省略其详细描述。
在图9的操作S902，当电子装置100对获得的多个图像帧执行对象跟踪时，电子装置100可计算对象跟踪的结果的置信度值。
根据实施例，当电子装置100针对一系列图像帧执行对象跟踪时，电子装置100可基于在对象检测之后跟踪的对象的预测改变来计算对象跟踪的结果的置信度值。例如，电子装置100可基于根据周围环境(诸如对象的类型、对象的颜色、对象的运动信息、车辆的驾驶速度、加速度、关于驾驶路径上的车道的信息和道路情况)预测的对象的改变来计算对象跟踪的结果的置信值。
在图9的操作S903，当确定计算出的置信度值小于或等于阈值时，电子装置100可从置信度值被确定为小于或等于阈值的图像帧执行对象检测。
根据实施例，当对象跟踪的结果的置信度值小于或等于阈值时，电子装置100可确定在对象跟踪中已发生跟踪错误。
参照图10，当确定在图像帧102中已发生跟踪错误时，电子装置100可对图像帧102执行对象检测，以便提高针对对象检测和对象跟踪的图像处理的准确度。
图9和图10示出了实施例，并且因此本公开不限于此。
图11是根据预设优先级执行对象检测的示例的流程图。图12是用于解释根据预设优先级执行对象检测的示例的示图。现在将参照图12描述图11的流程图。
在图11的操作S1101，当车辆正在驾驶时，电子装置100可在通过使用多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧。
操作S1101与上述图2的操作S201相同，因此将省略其详细描述。
在图11的操作S1102，当使用传感器感测到多个对象时，电子装置100可从在相同时间点获得的多个图像帧中提取与已经感测到所述多个对象的时间点和位置对应的多个图像帧。
参照图12，例如，电子装置100可通过使用对象检测传感器222在相同时间点检测行人128和路标129。当电子装置100通过使用对象检测传感器222感测行人128和路标129时，电子装置100可从使用相机228获得的多个图像帧中提取与已经感测到行人128和路标129中的每一个的时间点和位置对应的图像帧。例如，电子装置100可提取在相同时间点(T2)经由不同相机获得的多个图像帧121和122。
在图11的操作S1103，电子装置100可基于预设优先级从提取出的多个图像帧中确定一个图像帧。
根据实施例，当在相同时间点捕获的多个图像帧被提取出时，电子装置100可基于预设优先级确定一个图像帧。
根据实施例，电子装置100可根据对象的类型设置优先级。例如，电子装置100可将行人设置为最高优先级。根据实施例，电子装置100可根据对象的距离设置优先级。例如，电子装置100可为距车辆1的距离被确定为较近的对象设置较高优先级，并且本公开的实施例不限于此。
参照图12，例如，电子装置100可根据对象的类型优先选择行人129。当行人129被确定为比路标129更接近车辆1时，电子装置100可选择行人129。
根据实施例，电子装置100可根据优先级从提取出的多个图像帧121和122中确定被估计为包括行人129的图像帧122。
在图11的操作S1104，电子装置100可优先对确定的图像帧执行对象检测。
根据实施例，电子装置100可优先对在T2时间点获得的多个图像帧121和122中的被估计为包括行人129的图像帧122执行对象检测，其中，所述T2时间点与当已经感测到行人128和路标129时的时间点接近。
电子装置100可通过针对紧挨着T2时间点的T3时间点的图像帧123执行对象检测来检测路标129，其中，所述T2时间点与对象检测传感器222已感测到行人128时的时间点接近。
电子装置100可对T3时间点的图像帧124执行对象跟踪，以便跟踪检测到的行人128的改变。
根据实施例，当通过使用对象检测传感器222在相同时间点感测到多个对象时，可优先针对与具有高优先级的对象对应的图像帧执行对象检测，然后可针对与具有第二高优先级的对象对应的图像帧执行对象检测。因此，即使在嵌入式系统的有限资源内，也可有效地执行需要许多计算的对象检测，并且可防止针对就对象检测的重要性而言具有高排名的对象的对象检测延迟。
图11和图12示出了实施例，并且因此本公开不限于此。
图13是根据实施例的电子装置的框图。
根据实施例，电子装置100可包括图像传感器228、对象检测传感器222和处理器120。在图13中仅示出了电子装置100的组件中的与本实施例相关的组件。与本实施例相关的领域的普通技术人员将理解，除了图13中所示的组件之外的通用组件还可被包括。
根据实施例，图像传感器228可包括多个相机。图像传感器228可在车辆1正在驾驶时拍摄车辆1的周围。
根据实施例，对象检测传感器222可包括图14的雷达传感器226和图14的激光雷达传感器227。对象检测传感器222可在车辆1正在驾驶时从车辆1的周围检测对象。
根据实施例，图14的感测单元110可包括被配置为改变多个传感器的位置和/或方位的一个或更多个致动器，并因此可感测位于车辆1的前方、后方和侧方的对象。
根据实施例，处理器120可包括至少一个处理器。
根据实施例，当车辆1正在驾驶时，处理器120可在通过使用多个相机228基于预设时间间隔来捕获车辆1的周围图像时获得多个图像帧。
当在车辆1正在驾驶时使用对象检测传感器222感测到对象时，处理器120可从获得的多个图像帧中提取与已经感测到对象的时间点和位置对应的图像帧。
处理器120可通过使用基于神经网络的数据识别模型来执行用于从提取出的图像帧检测对象的对象检测。
处理器120可从在提取出的图像帧之后获得的多个图像帧执行跟踪检测到的对象的改变的对象跟踪。
处理器120可基于预设周期针对多个图像帧中的每一个执行对象检测或对象跟踪，其中，所述对象检测用于检测使用多个相机228获得的多个图像帧中的每一个中所包括的对象，所述对象跟踪用于跟踪多个图像帧中的每一个中所包括的对象的改变。
处理器120可对使用多个相机获得的多个图像帧执行对象跟踪，直到使用对象检测传感器228检测到该对象为止。
处理器120可对在相同时间点使用多个相机228获得的多个图像帧之中的使用一个相机获得的图像帧执行对象检测，并且可对使用其余相机获得的图像帧执行对象跟踪。
每当使用多个相机获得了多个图像帧时，处理器120可改变所述多个相机中的获得将被执行对象检测的图像帧的相机。
所述多个相机228可包括第一相机和第二相机，并且处理器120可对在第一时间点使用第一相机获得的图像帧执行对象检测，并可对在第二时间点使用第二相机获得的图像帧执行对象检测，其中，所述第二时间点在与第一时间点相距预设时间间隔之后。
处理器120可对在第二时间点使用第一相机获得的图像帧执行对象跟踪。
当处理器120对获得的图像帧执行对象跟踪时，处理器120可计算对象跟踪的结果的置信度值。当确定计算出的置信度值小于或等于阈值时，处理器120可从置信度值被确定为小于或等于阈值的图像帧执行对象检测。
当使用对象检测传感器222感测到多个对象时，处理器120可从在相同时间点获得的多个图像帧中提取与已经感测到所述多个对象的时间点和位置对应的多个图像帧。处理器120可基于预设优先级从提取出的多个图像帧中确定一个图像帧。处理器120可优先对确定的图像帧执行对象检测。
处理器120可包括GPU，并且对象检测可由GPU执行。
图14是根据实施例的电子装置的详细框图。
参照图14，除了对象检测传感器222、图像传感器228和处理器120之外，电子装置100还可包括感测单元110、输出接口130、存储器140、输入接口150和通信接口160，其中，所述感测单元110包括多个传感器。与本实施例相关的领域的普通技术人员将理解，除了图14中所示的组件之外的通用组件还可被包括。
根据实施例，感测单元110可包括被配置为感测关于车辆1的周围环境的信息的多个传感器，并且可包括被配置为校正传感器的位置和/或方位的一个或更多个致动器。例如，感测单元110可包括全球定位系统(GPS)224、惯性测量单元(IMU)225、雷达传感器226、激光雷达传感器227、图像传感器228和里程传感器230。感测单元110可包括温度/湿度传感器232、红外传感器233、大气压力传感器235、接近传感器236和RGB传感器237(例如，照度传感器)中的至少一个，但是实施例不限于此。鉴于传感器的名称，本领域普通技术人员将本能地理解大多数传感器的功能，因此这里将省略其详细描述。
感测单元110还可包括被配置为感测车辆1的移动的运动感测单元238。运动感测单元238可包括磁性传感器229、加速度传感器231和陀螺仪传感器234。
GPS 224可以是被配置为估计车辆1的地理位置的传感器。换句话说，GPS 224可包括被配置为估计车辆1相对于地球的位置的收发器。
IMU 225可以是被配置为基于惯性加速度感测车辆1的位置和方位变化的传感器的组合。例如，所述传感器的组合可包括加速度计和陀螺仪。
雷达传感器226可以是被配置为通过使用无线信号来感测车辆1所处的环境内的对象的传感器。雷达传感器226还可被配置为感测对象的速度和/或方向。
激光雷达传感器227可以是被配置为通过使用激光来感测车辆1所处的环境内的对象的传感器。更详细地，激光雷达传感器227可包括被配置为发射激光的激光源和/或激光扫描器以及被配置为检测激光的反射的检测器。激光雷达传感器227可被配置为在相干检测模式(例如，使用外差检测)或非相干检测模式下进行操作。
图像传感器228可以是被配置为记录车辆1的外部环境的静物相机或视频相机。例如，图像传感器228可包括多个相机，并且所述多个相机可被布置在车辆1内部或外部的多个位置处。
里程传感器230可估计车辆1的位置并测量车辆1移动的距离。例如，里程传感器230可通过使用车辆1的车轮的转数来测量车辆1的位置变化。
存储器140可以是磁盘驱动器、光盘驱动器或闪存。可选地，存储器140可以是便携式通用串行总线(USB)数据存储装置。存储器140可存储用于执行与本申请相关的示例的系统软件。用于执行与本申请相关的示例的系统软件可被存储在便携式存储介质中。
通信接口160可包括用于以无线方式与另一装置进行通信的至少一个天线。例如，通信接口160可被用于经由Wi-Fi或蓝牙以无线方式与蜂窝网络或另一无线电协议和系统进行通信。由处理器120控制的通信接口160可发送和接收无线电信号。例如，处理器120可执行包括在存储器140中的程序，以允许通信接口160向蜂窝网络发送无线电信号以及从蜂窝网络接收无线电信号。
输入接口150是指输入用于控制车辆1的数据的手段。例如，输入接口150可以是但不限于键盘、圆顶开关、触摸板(例如，电容重叠型、电阻重叠型、红外光束型、整体应变计型、表面声波型、压电型等)、旋钮或拨动开关。输入接口150可包括麦克风，并且因此麦克风可被配置为从车辆1的驾驶员或乘客接收音频(例如，音频命令)。
输出接口130可输出音频信号或视频信号，并且可包括显示器281和音频输出接口282。
显示器281可包括液晶显示器(LCD)、薄膜晶体管-LCD(TFT-LCD)、、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器和电泳显示器中的至少一个。根据输出接口130的实现，输出接口130可包括两个或更多个显示器281。
音频输出接口282输出从通信接口160接收到的或存储在存储器140中的音频数据。音频输出接口282可包括例如扬声器和蜂鸣器。
输入接口150和输出接口130可包括网络接口，并且可使用触摸屏来实现。
处理器120可通过执行存储在存储器140中的程序来控制感测单元110、通信接口160、输入接口150、存储器140和输出接口130。
图15是根据实施例的车辆的框图。
根据实施例，车辆1可包括电子装置100和行驶系统(running gear system)200。在图15中仅示出了车辆1的组件中的与本实施例相关的组件。与本实施例相关的领域的普通技术人员将理解，除了图15中所示的组件之外的通用组件还可被包括。
电子装置100可包括感测单元110和处理器120。上面关于图13和图14提供了感测单元110和处理器120的详细描述，因此这里将不再重复。
行驶系统200可包括制动器单元221、转向单元222和节气门223。
转向单元222可包括被配置为控制车辆1的方向的机构的组合。
节气门223可包括被配置为通过控制引擎/发动机的速度来控制车辆1的速度的机构的组合。节气门223可通过调节节气门223的开度来控制供应给引擎/发动机的燃料和空气的混合气体的量，并且通过调节节气门223的开度来控制功率和推力。
制动器单元221可包括被配置为使车辆1减速的机构的组合。例如，制动器单元221可使用摩擦来降低车轮/轮胎的速度。
图16是根据实施例的处理器的框图。
参照图16，处理器120可包括数据学习器1310和数据识别器1320。
数据学习器1310可训练用于估计情况的标准。数据学习器1310可训练关于使用什么数据来估计特定情况以及如何通过使用数据来估计情况的标准。数据学习器1310可获得用于训练的数据，并且可将获得的数据应用于稍后将描述的数据识别模型，从而训练用于情况估计的标准。
数据识别器1320可基于数据来估计情况。数据识别器1320可通过使用经过训练的数据识别模型从特定数据识别情况。数据识别器1320可根据由于训练而先前设置的标准来获得特定数据，并且通过将获得的数据用作输入值来使用数据识别模型，从而基于特定数据来估计情况。由数据识别模型通过将获得的数据用作输入值而输出的结果值可被用于更新数据识别模型。
数据学习器1310和数据识别器1320中的至少一个可以以至少一个硬件芯片的形式被制造，并且可被安装在电子装置上。例如，数据学习器1310和数据识别器1320中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或应用处理器(AP))或专用于图形的处理器(例如，GPU)的一部分，并且可被安装在前述各种电子装置中的任意电子装置上。
在这种情况下，数据学习器1310和数据识别器1320两者可被安装在单个电子装置上，或者可被分别安装在独立的电子装置上。例如，数据训练器1310和数据识别器1320中的一个可被包括在电子装置中，并且另一个可被包括在服务器中。数据训练器1310和数据识别器1320可通过有线方式或无线方式彼此连接，因此由数据训练器1310建立的模型信息可被提供给数据识别器1320，并且输入到数据识别器1320的数据可作为附加训练数据被提供给数据训练器1310。
数据学习器1310和数据识别器1320中的至少一个可被实现为软件模块。当使用软件模块(或包括指令的程序模块)来实现数据训练器1310和数据识别器1320中的至少一个时，该软件模块可被存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可由操作系统(OS)或由特定应用提供。可选地，所述至少一个软件模块中的一些可由OS提供，并且其它可由特定应用提供。
图17是根据实施例的数据训练器的框图。
参照图17，数据训练器1310可包括数据获得器1310-1、预处理器1310-2，训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5。
数据获得器1310-1可获得估计情况所需的数据。数据获得器1310-1可获得用于情况估计的训练所需的数据。数据获得器1310-1可从服务器接收数据。
例如，数据获得器1310-1可接收车辆1的周围图像。周围图像可包括多个图像(或帧)。例如，数据获得器1310-1可通过包括数据训练器1310的电子装置的相机或者通过能够与包括数据训练器1310的电子装置进行通信的外部相机(例如，CCTV或黑匣子)来接收运动画面。相机可包括至少一个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或者闪光灯(例如，发光二极管(LED)或氙灯)。
例如，数据获得器1310-1可通过电子装置的输入装置(例如，麦克风、相机或传感器)接收数据。可选地，数据获得器1310-1可通过与该电子装置进行通信的外部装置获得数据。
预处理器1310-2可对获得的数据进行预处理，使得获得的数据可在用于情况估计的训练中被使用。预处理器1310-2可以以预设格式对获得的数据进行处理，使得稍后将描述的模型训练器1310-4可将获得的数据用于情况估计的训练。例如，预处理器1310-2可通过基于构成输入的运动画面的至少一部分的多个图像中的每一个中所包括的共同区域使所述多个图像(或帧)中的至少一些图像(或帧)重叠来生成一个合成图像。在这种情况下，可从单个运动画面生成多个合成图像。共同区域可以是包括共同对象(例如，对象、动植物或人)的区域，其中，所述共同对象在所述多个图像中的每一个中相同或相似。可选地，共同区域可以是在多个图像中的每一个中颜色、明暗度、RGB值或CMYK值相同或相似的区域。
训练数据选择器1310-3可从多条经过预处理的数据中选择训练所需的数据。所选的数据可被提供给模型训练器1310-4。训练数据选择器1310-3可根据用于情况估计的预设标准从经过预处理的数据中选择训练所需的数据。训练数据选择器1310-3可根据由于模型训练器1310-4的训练而先前设置的标准来选择数据，这将在稍后进行描述。
例如，可选择与可能影响车辆1的驾驶路径的对象(例如，其他车辆、障碍物和行人)相关的数据。
模型训练器1310-4可基于训练数据来训练关于如何估计情况的标准。模型训练器1310-4可训练关于哪些训练数据将被用于情况估计的标准。
模型训练器1310-4可通过使用训练数据来训练用于情况估计的数据识别模型。在这种情况下，数据识别模型可以是先前建立的模型。例如，数据识别模型可以是通过接收基本训练数据(例如，样本图像)而先前建立的模型。
可考虑例如识别模型的应用领域、训练的目的或装置的计算机性能来建立数据识别模型。数据识别模型可以是例如基于神经网络的模型。例如，诸如CNN、深度神经网络(DNN)、递归神经网络(RNN)或双向递归DNN(BRDNN)的模型可被用作数据识别模型，但是实施例不限于此。
根据各种实施例，当存在预先建立的多个数据识别模型时，模型训练器1310-4可将在输入的训练数据与基本训练数据之间具有较高关系的数据识别模型确定为将被训练的数据识别模型。在这种情况下，可针对每种类型的数据对基本训练数据进行预分类，并且可针对每种类型的数据预先建立数据识别模型。例如，可根据各种标准(诸如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的种类、学习数据的生成器以及学习数据中的对象的类型)对基本学习数据进行预分类。
模型训练器1310-4可通过使用包括例如误差反向传播或梯度下降的训练算法来训练数据识别模型。
模型训练器1310-4可通过例如将训练数据用作输入值的监督学习来训练数据识别模型。例如，模型训练器1310-4可通过无监督学习来训练数据识别模型，以通过在没有监督的情况下对情况估计所需的数据的类型进行自训练来找到用于情况估计的标准。例如，模型训练器1310-4可通过强化学习，使用关于根据训练的情况确定的结果是否正确的反馈来训练数据识别模型。
当数据识别模型经过训练时，模型训练器1310-4可存储经过训练的数据识别模型。在这种情况下，模型训练器1310-4可将经过训练的数据识别模型存储在包括数据识别器1320的电子装置的存储器中。可选地，模型训练器1310-4可将经过训练的数据识别模型存储在包括稍后将描述的数据识别器1320的电子装置的存储器中。可选地，模型训练器1310-4可将经过训练的数据识别模型存储在经由有线或无线网络与电子装置连接的服务器的存储器中。
在这种情况下，存储经过训练的数据识别模型的存储器还可存储例如与电子装置的至少一个其他组件相关的命令或数据。该存储器还可存储软件和/或程序。程序可包括例如内核、中间件、应用编程接口(API)和/或应用程序(或应用)。
当模型评估器1310-5将评估数据输入到数据识别模型并且从评估数据输出的识别结果不满足预定标准时，模型评估器1310-5可使模型训练器1310-4能够再次训练。在这种情况下，评估数据可以是用于评估数据识别模型的预设数据。
例如，当经过训练的数据识别模型针对评估数据的识别结果中提供不准确的识别结果的多条评估数据的数量或百分比超过预设阈值时，模型评估器1310-5可评估出不满足预定标准。例如，当所述预定标准被定义为2％并且经过训练的数据识别模型在总共1000条评估数据中针对多于20条评估数据输出了错误的识别结果时，模型评估器1310-5可评估出该经过训练的数据识别模型不合适。
当存在多个经过训练的数据识别模型时，模型评估器1310-5可评估所述多个经过训练的数据识别模型中的每一个是否满足预定标准，并且可将满足预定标准的数据识别模型确定为最终数据识别模型。在这种情况下，当多个模型满足预定标准时，模型评估器1310-5可将按照评估分数的降序预设的一个模型或预定数量的模型确定为最终数据识别模型。
数据训练器1310中的数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5中的至少一个可以以至少一个硬件芯片的形式被制造，并且可被安装在电子装置上。例如，数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5中的至少一个可以以用于AI的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或AP)或专用于图形的处理器(例如，GPU)的一部分，并且可被安装在前述各种电子装置中的任意电子装置上。
数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5可全部一起被安装在单个电子装置上，或者可被分别安装在独立的电子装置上。例如，数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5中的一些可被包括在电子装置中，并且其它可被包括在服务器中。
例如，数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5中的至少一个可被实现为软件模块。当数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，该软件模块可被存储在非暂时性计算机可读记录介质中。在这种情况下，至少一个软件模块可由OS或由特定应用提供。可选地，所述至少一个软件模块中的一些软件模块可由OS提供，并且其它可由特定应用提供。
图18是根据实施例的数据识别器的框图。
参照图18，数据识别器1320可包括数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5。
数据获得器1320-1可获得情况确定所需的数据，并且预处理器1320-2可对获得的数据进行预处理，使得获得的数据可被用于情况确定。预处理器1320-2可以以预设格式对获得的数据进行处理，使得稍后将描述的识别结果提供器1320-4可将获得的数据用于情况确定。
识别数据选择器1320-3可从经过预处理的数据中选择情况确定所需的数据。所选的数据可被提供给识别结果提供器1320-4。识别数据选择器1320-3可根据用于情况确定的预设标准来选择一些或所有经过预处理的数据。识别数据选择器1320-3可根据由于模型训练器1310-4的训练而先前设置的标准来选择数据，这将在稍后进行描述。
识别结果提供器1320-4可通过将所选的数据应用于数据识别模型来确定情况。识别结果提供器1320-4可提供符合数据识别目的的识别结果。识别结果提供器1320-4可通过将由识别数据选择器1320-3选择的数据用作输入值来将所选的数据应用于数据识别模型。可通过数据识别模型确定识别结果。
根据实施例，识别结果可被提供为文本、语音、运动画面、图像或指令(例如，应用执行指令或模块功能执行指令)。
模型修正器1320-5可使得数据识别模型能够基于对由识别结果提供器1320-4提供的识别结果的评估而被修正。例如，通过将由识别结果提供器1320-4提供的识别结果提供给模型训练器1310-4，模型修正器1320-5可使得模型训练器1310-4能够修正数据识别模型。
数据识别器1320内的数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5中的至少一个可以以至少一个硬件芯片的形式被制造，并且可被安装在电子装置上。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5中的至少一个可以以用于AI的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或AP)或专用于图形的处理器(例如，GPU)的一部分，并且可被安装在上述各种电子装置中的任意电子装置上。
数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5可全部一起被安装在单个电子装置上，或者可被分别安装在独立的电子装置上。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5中的一些可被包括在电子装置中，并且其它可被包括在服务器中。
数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5中的至少一个可被实现为软件模块。当数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修正器1320-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，该软件模块可被存储在非暂时性计算机可读记录介质中。在这种情况下，至少一个软件模块可由OS或由特定应用提供。可选地，所述至少一个软件模块中的一些软件模块可由OS提供，并且其它可由特定应用提供。
图19是示出根据实施例的电子装置与服务器交互操作以训练并识别数据的示例的框图。
图19是示出根据一些实施例的电子装置100与服务器2000交互操作以训练并识别数据的示例的框图。
参照图19，服务器2000可训练用于情况确定的标准，并且电子装置100可基于由服务器2000执行的训练的结果来确定情况。
在这种情况下，服务器2000的模型训练器2340可执行图17的数据训练器1310的功能。服务器2000的模型训练器2340可训练关于什么数据被用于确定特定情况的标准以及关于如何通过使用数据来确定情况的标准。模型训练器2340可获得用于训练的数据，并且可将获得的数据应用于稍后将描述的数据识别模型，从而训练用于情况确定的标准。
电子装置100的识别结果提供器1320-4可将由识别数据选择器1320-3选择的数据应用于由服务器2000生成的数据识别模型，从而确定情况。例如，识别结果提供器1320-4可将由识别数据选择器1320-3选择的数据发送到服务器2000，并且服务器2000可通过将由识别数据选择器1320-3选择的数据应用于数据识别模型来请求情况的确定。识别结果提供器1320-4可从服务器2000接收关于由服务器2000确定的情况的信息。
例如，电子装置100可将图像帧发送到服务器2000，并且服务器2000可通过将图像帧应用于数据识别模型来请求对象的检测。电子装置100可从服务器2000接收关于由服务器2000确定的对象检测的信息。
可选地，电子装置100的识别结果提供器1320-4可从服务器2000接收由服务器2000生成的数据识别模型，并且可通过使用接收到的数据识别模型来确定情况。在这种情况下，电子装置100的识别结果提供器1320-4可通过将由识别数据选择器1320-3选择的数据应用于从服务器2000接收到的数据识别模型来确定情况。
例如，电子装置100可通过将图像帧应用于从服务器2000接收到的数据识别模型来检测对象。
这里描述的装置可包括处理器、用于存储程序数据并执行程序数据的存储器、诸如磁盘驱动器的永久性存储单元、用于处理与外部装置进行的通信的通信端口以及包括触摸面板、按键、按钮等的用户接口装置。例如，当软件模块或算法被涉及时，这些软件模块可作为在处理器上可执行的程序指令或计算机可读代码而被存储在计算机可读记录介质中。计算机可读记录介质的示例包括磁性存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、软盘、硬盘等)以及光学记录介质(例如，光盘-ROM(CD-ROM)和数字多功能盘(DVD))。计算机可读记录介质还可被分布在连接网络的计算机系统上，使得计算机可读代码以分布式方式被存储和执行。该介质可由计算机读取，被存储在存储器中，并由处理器执行。
可按照功能块组件和各种处理步骤来描述本实施例。这样的功能块可由被配置为执行指定功能的任意数量的硬件组件和/或软件组件来实现。例如，实施例可采用可在一个或更多个微处理器或者其他控制装置的控制下执行各种功能的各种集成电路(IC)组件，例如，存储器元件、处理元件、逻辑元件、查找表等。类似地，在使用软件编程或软件元件来实现所述元件时，在利用数据结构、对象、进程、例程或其他编程元件的任意组合来实现各种算法的情况下，可利用任意编程或脚本语言(诸如C、C++、Java、汇编语言等)来实现本实施例。可在一个或更多个处理器上执行的算法中实现所述功能块。此外，这里描述的本实施例可采用用于电子配置、信号处理和/或控制、数据处理等的任意数量的常规技术。词语“机构”、“元件”、“手段”和“配置”被广泛地使用，并且不限于机械或物理实施例，而是可包括结合处理器等的软件例程。

Claims (15)

1.一种用于辅助车辆驾驶的电子装置，所述电子装置包括：
多个相机，被配置为捕获车辆周围的周围图像；
至少一个传感器，被配置为感测车辆周围的对象；以及
处理器，被配置为在车辆驾驶期间，在通过使用所述多个相机基于预设时间间隔来捕获车辆的周围图像时获得多个图像帧，
基于在车辆驾驶期间使用所述至少一个传感器感测到所述对象，从所获得的多个图像帧中提取与已经感测到所述对象的时间点和位置对应的图像帧，
从提取出的图像帧执行对象检测，并且
从在所述提取出的图像帧之后获得的多个图像帧执行跟踪所述对象的改变的对象跟踪。
2.如权利要求1所述的电子装置，其中，所述处理器还被配置为：基于预设周期，针对所述多个图像帧中的每个图像帧执行对象检测或对象跟踪，其中，所述对象检测用于检测使用所述多个相机获得的所述多个图像帧中的每个图像帧中所包括的对象，所述对象跟踪用于跟踪所述多个图像帧中的每个图像帧中所包括的所述对象的改变。
3.如权利要求2所述的电子装置，其中，所述处理器还被配置为：从使用所述多个相机获得的所述多个图像帧执行对象跟踪，直到使用所述至少一个传感器感测到所述对象为止。
4.如权利要求2所述的电子装置，其中，所述处理器还被配置为：从在相同时间点使用所述多个相机获得的所述多个图像帧之中的使用一个相机获得的图像帧执行对象检测，并且从使用其余相机获得的图像帧执行对象跟踪。
5.如权利要求4所述的电子装置，其中，所述处理器还被配置为：每当使用所述多个相机获得所述多个图像帧时，改变所述多个相机中的获得将被执行对象检测的图像帧的相机。
6.如权利要求4所述的电子装置，其中，所述多个相机包括第一相机和第二相机，并且
所述处理器还被配置为：
对在第一时间点使用第一相机获得的图像帧执行对象检测，并且
对在第二时间点使用第二相机获得的图像帧执行对象检测，其中，第二时间点在与第一时间点相距预设时间间隔之后。
7.如权利要求6所述的电子装置，其中，所述处理器还被配置为：对在第二时间点使用第一相机获得的图像帧执行对象跟踪。
8.如权利要求2所述的电子装置，其中，所述处理器还被配置为：
在对所获得的图像帧执行对象跟踪时，计算对象跟踪的结果的置信度值，并且
基于确定计算出的置信度值小于或等于阈值，从所述置信度值被确定为小于或等于所述阈值的图像帧执行对象检测。
9.如权利要求1所述的电子装置，其中，所述处理器还被配置为：
在使用所述至少一个传感器感测到多个对象时，从在相同时间点获得的多个图像帧中提取与已经感测到所述多个对象的时间点和位置对应的多个图像帧，
基于预设优先级从提取出的多个图像帧中确定一个图像帧，并且
优先对所确定的图像帧执行对象检测。
10.如权利要求1所述的电子装置，其中，所述处理器包括图形处理单元GPU，并且
对象检测由所述GPU执行。
11.如权利要求1所述的电子装置，其中，所述处理器还被配置为：通过使用基于神经网络的数据识别模型来执行对象检测。
12.一种用于辅助车辆驾驶的电子装置的操作方法，所述操作方法包括：
在车辆驾驶期间，在通过使用多个相机基于预设时间间隔来捕获车辆周围的周围图像时获得多个图像帧；
基于在车辆正在驾驶时使用至少一个传感器感测到对象，从所获得的多个图像帧中提取与已经感测到所述对象的时间点和位置对应的图像帧；
从提取出的图像帧执行对象检测；并且
从在所述提取出的图像帧之后获得的多个图像帧执行跟踪所述对象的改变的对象跟踪。
13.如权利要求12所述的操作方法，还包括：基于预设周期，针对所述多个图像帧中的每个图像帧执行对象检测或对象跟踪，其中，所述对象检测用于检测使用所述多个相机获得的所述多个图像帧中的每个图像帧中所包括的对象，所述对象跟踪用于跟踪所述多个图像帧中的每个图像帧中所包括的所述对象的改变。
14.如权利要求13所述的操作方法，其中，执行对象检测或对象跟踪的步骤包括：从使用所述多个相机获得的所述多个图像帧执行对象跟踪，直到使用所述至少一个传感器感测到所述对象为止。
15.一种记录有计算机程序的非暂时性计算机可读记录介质，其中，所述计算机程序在由计算机执行时执行如权利要求12所述的方法。
CN201980017857.5A 2018-03-08 2019-03-06 用于车辆驾驶辅助的电子装置和方法 Pending CN111836747A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0027708 2018-03-08
KR1020180027708A KR102458664B1 (ko) 2018-03-08 2018-03-08 차량의 주행을 보조하는 전자 장치 및 방법
PCT/KR2019/002597 WO2019172645A1 (ko) 2018-03-08 2019-03-06 차량의 주행을 보조하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
CN111836747A true CN111836747A (zh) 2020-10-27

Family

ID=67845787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017857.5A Pending CN111836747A (zh) 2018-03-08 2019-03-06 用于车辆驾驶辅助的电子装置和方法

Country Status (5)

Country Link
US (1) US11508158B2 (zh)
EP (1) EP3736191A4 (zh)
KR (1) KR102458664B1 (zh)
CN (1) CN111836747A (zh)
WO (1) WO2019172645A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294687B1 (ko) * 2019-12-30 2021-08-31 주식회사 써로마인드 자동차의 주변 상황이 위험상황인지를 판단하고 주행가이드를 생성하여 경보하여 주는 방법 및 이를 이용한 장치
KR102370876B1 (ko) * 2020-04-16 2022-03-07 주식회사 엘지유플러스 클라우드의 도로 객체 인식을 이용하여 주행 정보를 제공하는 방법 및 장치
CN114004861B (zh) * 2020-07-28 2023-04-07 华为技术有限公司 目标跟踪方法及相关系统、存储介质、智能驾驶车辆
US11954932B2 (en) * 2020-10-16 2024-04-09 Bluebeam, Inc. Systems and methods for automatic detection of features on a sheet
US20210109881A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Device for a vehicle
CN113792600B (zh) * 2021-08-10 2023-07-18 武汉光庭信息技术股份有限公司 一种基于深度学习的视频抽帧方法和系统
DE102022207617B3 (de) 2022-07-26 2024-01-25 Volkswagen Aktiengesellschaft Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354439A (zh) * 2008-08-28 2009-01-28 阮树成 毫米波时分随机码调相多通道汽车防撞雷达
CN101633344A (zh) * 2009-06-16 2010-01-27 郑仰湖 一种动态路标系统
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
KR20140048539A (ko) * 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법
US20170220879A1 (en) * 2014-07-28 2017-08-03 Clarion Co., Ltd. Object detection apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098889B2 (en) 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US9066085B2 (en) * 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
KR20170027093A (ko) * 2015-09-01 2017-03-09 엘지이노텍 주식회사 차량용 이동체 정보 제공 장치
KR102310782B1 (ko) * 2015-10-30 2021-10-12 엘지전자 주식회사 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US10083378B2 (en) 2015-12-28 2018-09-25 Qualcomm Incorporated Automatic detection of objects in video images
US20170185763A1 (en) 2015-12-29 2017-06-29 Faraday&Future Inc. Camera-based detection of objects proximate to a vehicle
KR101789294B1 (ko) * 2015-12-29 2017-11-21 재단법인대구경북과학기술원 차량용 어라운드 뷰 시스템 및 그 동작 방법
US10134146B2 (en) 2016-01-14 2018-11-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US9858496B2 (en) 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US10745009B2 (en) * 2016-12-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US10460180B2 (en) * 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US10740627B2 (en) * 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
US11016495B2 (en) * 2018-11-05 2021-05-25 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354439A (zh) * 2008-08-28 2009-01-28 阮树成 毫米波时分随机码调相多通道汽车防撞雷达
CN101633344A (zh) * 2009-06-16 2010-01-27 郑仰湖 一种动态路标系统
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
KR20140048539A (ko) * 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법
US20170220879A1 (en) * 2014-07-28 2017-08-03 Clarion Co., Ltd. Object detection apparatus

Also Published As

Publication number Publication date
US20210049381A1 (en) 2021-02-18
US11508158B2 (en) 2022-11-22
KR20190109663A (ko) 2019-09-26
KR102458664B1 (ko) 2022-10-25
EP3736191A1 (en) 2020-11-11
WO2019172645A1 (ko) 2019-09-12
EP3736191A4 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
US11508158B2 (en) Electronic device and method for vehicle driving assistance
US11776135B2 (en) Object velocity from images
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
KR102623574B1 (ko) 전자 장치 및 그 동작 방법
US20220101020A1 (en) Tracking objects using sensor data segmentations and/or representations
US20190302767A1 (en) Temporal prediction model for semantic intent understanding
JP2022522132A (ja) 外観に基づく動きの予測
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
KR102480416B1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
KR20200044182A (ko) 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11400942B2 (en) Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise
EP3753688A1 (en) Mobile robot device and method for providing service to user
KR20190134862A (ko) 전자 장치 및 그 동작 방법
US11543263B1 (en) Map distortion determination
CN113677580A (zh) 用于辅助车辆驾驶的电子设备和方法
US11879978B1 (en) Out of sequence preception system
US11226206B2 (en) Electronic apparatus and method for implementing simultaneous localization and mapping (SLAM)
US11603119B2 (en) Method and apparatus for out-of-distribution detection
US20240104939A1 (en) Systems and methods for using image data to identify lane width
US20240104757A1 (en) Systems and methods for using image data to identify lane width
US11899114B1 (en) Secondary sensor data-based soft constraint optimization for pose graph and mapping refinement
EP4361961A1 (en) Method of determining information related to road user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination