CN113165651B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN113165651B
CN113165651B CN201980079926.5A CN201980079926A CN113165651B CN 113165651 B CN113165651 B CN 113165651B CN 201980079926 A CN201980079926 A CN 201980079926A CN 113165651 B CN113165651 B CN 113165651B
Authority
CN
China
Prior art keywords
data
processor
sensor device
program
reception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980079926.5A
Other languages
English (en)
Other versions
CN113165651A (zh
Inventor
禹相祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113165651A publication Critical patent/CN113165651A/zh
Application granted granted Critical
Publication of CN113165651B publication Critical patent/CN113165651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

公开了一种电子装置。所述电子装置包括：通信接口；存储器，存储有用于执行自动驾驶功能的程序；以及处理器，在通过通信接口从外部传感器装置接收到第一处理数据时，基于存储在存储器中的第一程序对第一处理数据执行第二处理，并且当识别出在所述数据的接收中发生错误时，基于存储在存储器中的第二程序对从外部传感器装置接收到的原始数据执行第一处理，然后基于第一程序执行第二处理。

Description

电子装置及其控制方法
技术领域
本公开涉及一种基于感测数据执行自动驾驶功能的电子设备及其控制方法。
背景技术
自动车辆通过设置在车辆中的各种传感器执行自动驾驶功能。同时，最近，代替接收从传感器获得的原始数据，使用将传感器已经执行的数据发送到预处理过程(诸如对象检测)的技术。
然而，当因为传感器不正常操作而不正常执行预处理过程时，存在车辆安全的问题，诸如自动驾驶功能的终止或车辆的突然制动。
因此，即使传感器的计算存在问题，也需要执行自动驾驶功能。
发明内容
技术问题
本公开根据上述必要性，并且本公开的目的在于提供一种即使传感器的计算能力存在问题，也基于从传感器获得的原始数据来执行自动驾驶功能的电子设备。
技术方案
根据本公开的实施例，一种电子设备包括：通信接口；存储器，存储有用于执行自动驾驶功能的程序；以及处理器，被配置为：基于通过通信接口从外部传感器装置接收到第一处理数据，基于存储在存储器中的第一程序对接收到的数据执行第二处理，并且基于识别出在数据的接收中发生错误，基于存储在存储器中的第二程序对从外部传感器装置接收到的原始数据执行第一处理，然后基于第一程序执行第二处理。
外部传感器装置可以是相机装置，并且其中，第一处理数据是在通过相机装置获取的图像中通过对象检测和场景分割中的至少一个而被处理的数据。
第二处理可被配置为包括使用从包括外部传感器装置的多个外部装置接收到的数据的处理。
第二处理可被配置为包括用于执行自动驾驶功能的规划处理、实时映射处理、对象跟踪处理、车道检测处理或控制处理中的至少一个。
处理器可被配置为基于在阈值时间内没有通过通信接口接收到第一处理数据，识别在第一处理数据的接收中有错误发生。
处理器可被配置为通过周期性地监测第一处理数据的接收来识别在第一处理数据的接收中是否发生错误。
处理器可被配置为基于通过通信接口识别出在第一处理数据的接收中发生错误，请求从外部传感器装置发送原始数据。
外部传感器装置可被配置为包括相机装置、光检测和测距(Lidar)装置、无线电检测和测距(Radar)装置或红外(IR)装置中的至少一个。
第一处理数据可被配置为通过第一通信信道被接收，并且其中，原始数据被配置为通过第二通信信道被接收。
处理器可被配置为基于识别出在第一处理数据的接收中发生错误，通过加载存储在存储器中的第二程序来对原始数据执行第一处理。
根据本公开的实施例，一种用于控制存储有用于执行自动驾驶功能的程序的电子设备的方法，所述方法包括：基于从外部传感器装置接收到第一处理数据，基于存储的第一程序对接收到的数据执行第二处理，识别在数据的接收中发生错误，并且基于识别出在数据的接收中发生错误，基于存储的第二程序对从外部传感器装置接收到的原始数据执行第一处理，然后基于第一程序执行第二处理。
外部传感器装置可以是相机装置，并且其中，第一处理数据是在通过相机装置获取的图像中通过对象检测和场景分割中的至少一个而被处理的数据。
第二处理可被配置为包括使用从包括外部传感器装置的多个外部装置接收到的数据的处理。
第二处理可被配置为包括用于执行自动驾驶功能的规划处理、实时映射处理、对象跟踪处理、车道检测处理或控制处理中的至少一个。
识别发生错误的步骤可包括基于在阈值时间内没有通过通信接口接收到第一处理数据，识别在第一处理数据的接收中有错误发生。
识别发生错误的步骤可被配置为通过周期性地监测第一处理数据的接收来识别在第一处理数据的接收中是否发生错误。
识别发生错误的步骤可被配置为：基于识别出在第一处理数据的接收中发生错误，请求从外部传感器装置发送原始数据。
外部传感器装置可被配置为包括相机装置、光检测和测距(Lidar)装置、无线电检测和测距(Radar)装置或红外(IR)装置中的至少一个。
第一处理数据可被配置为通过第一通信信道被接收，并且其中，原始数据被配置为通过第二通信信道被接收。
识别发生错误可的步骤可被配置为：基于识别出在第一处理数据的接收中发生错误，通过加载第二程序来对原始数据执行第一处理。
有益效果
如上所述，根据本公开的各种实施例，即使电子设备没有从传感器接收处理的(计算的)数据，也可基于原始数据直接执行处理以执行自动驾驶功能。
因此，可解决由于电子设备从传感器接收处理的(计算的)数据失败而导致的诸如自动驾驶功能的突然终止或车辆的突然制动的问题。
附图说明
图1是示出用于帮助理解本公开的电子设备通过包括各种对象的周围图像获得实时地图的示图；
图2是示出根据实施例的电子设备的操作的框图；
图3是示出电子设备的详细配置的框图；
图4是示出传感器装置的详细配置的框图；
图5是示出根据实施例的传感器装置正常操作的情况的示图；
图6是示出在从传感器装置接收数据中发生错误的示图；
图7是示出当在数据接收中发生错误时电子设备的操作的示图；
图8是示出根据另一实施例的存在用于执行第一处理的单独的装置的实施例的示图；
图9是示出根据实施例的用于执行自动驾驶功能的电子设备的操作的示图；
图10是示出根据实施例的第一处理数据的示图；以及
图11是示出根据实施例的控制电子设备的方法的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开。
将简要解释示例实施例中使用的术语，并且将参照附图更详细地描述示例实施例。
考虑到本公开的配置和功能，本公开中使用的术语被选择为当前广泛使用的一般术语，但可根据本领域技术人员的意图、先例、新技术的出现等而不同。此外，在特定情况下，可任意选择术语。在这种情况下，将在相应实施例的描述中描述术语的含义。因此，说明书中使用的术语不应被解释为术语的简单名称，而是基于术语的含义和本公开的全部内容被定义。
示例实施例可变化，并且可在不同的示例实施例中被提供。将参照附图描述各种示例实施例。然而，这不一定将示例性实施例的范围限制为特定实施例形式。相反，可采用包括在本说明书的所公开的构思和技术范围中的修改、等同物和替换物。在描述示例性实施例时，如果确定关于已知技术的具体描述使本公开的主旨模糊，则省略该具体描述。
除非上下文另有明确说明，否则单数形式旨在包括复数形式。在本申请中，术语“包括”和“包含”表示存在在说明书中写入的特征、数字、步骤、操作、组件、元件或其组合，但不排除存在一个或更多个其它特征、数字、步骤、操作、组件、元件或其组合或添加一个或更多个其它特征、数字、步骤、操作、组件、元件或其组合的可能性。
术语“A或/和B中的至少一个”意味着(1)包括至少一个A、(2)包括至少一个B、或(3)包括至少一个A和至少一个B两者。
本文使用的表述“1”、“2”、“第一”或“第二”可修饰各种元件，而不管元件的顺序和/或重要性如何，并且仅用于将一个元件与另一元件区分开。因此，不限制相应的元件。
如果描述特定元件(例如，第一元件)“可操作地或通信地与另一元件(例如，第二元件)耦接/可操作地或通信地被耦接到另一元件(例如，第二元件)”或“被连接到”另一元件(例如，第二元件)，则应理解，该特定元件可直接地或通过又一元件(例如，第三元件)被连接到所述另一元件。
在本公开中，“模块”或“单元”执行至少一个功能或操作，并且可通过硬件或软件或硬件和软件的组合被实现。此外，多个“模块”或多个“单元”可被集成为至少一个模块，并且可以是除了“模块”或“单元”之外的应在特定硬件中实现的至少一个处理器。此外，术语“用户”可指使用电子设备的人或使用电子设备的设备(例如，人工智能(AI)电子设备)。
下面将以本领域普通技术人员将理解的方式更详细地描述本公开的示例实施例。然而，示例性实施例可以以各种不同的配置被实现，并且不限于本文提供的描述。此外，由于公知的功能或结构将以不必要的细节模糊本发明，故没有对它们进行详细描述。
在下文中，将参照附图更详细地描述示例性实施例。
图1是示出用于帮助理解本公开的电子设备通过包括各种对象的周围图像获得实时地图的示图。
根据本公开的实施例的电子设备100是安装在车辆上的驾驶辅助装置，并且是能够实现车辆的自动驾驶的装置。具体地，电子设备100是实现高级驾驶员辅助系统(ADAS)的装置，并且可被实现为车辆的电气系统、后视镜集成模块以及诸如对车辆可拆卸的黑匣子、移动电话、PDA等的便携式装置。
此外，电子设备100可基于从传感器装置200接收到的数据获得实时地图，并且基于实时地图执行车辆的自动驾驶。实时地图可以是被实时更新的车辆周围的地图。实时地图可包括对象类型、到对象的距离、车道、交通标志等，但不限于此。
传感器装置200是感测关于周围环境、道路状况等的信息的装置。传感器装置200可包括相机装置、Lidar装置、Radar装置或IR。此外，传感器装置200可简单地将由传感器装置200获得的数据发送到电子设备100，但直接处理获得的数据并将处理的数据发送到电子设备100。例如，相机装置可包括能够执行自动驾驶功能所需的一些数据处理的专用芯片，并且可使用该芯片执行数据处理。例如，可将包括关于通过拍摄周围图像并根据拍摄的图像执行对象检测处理而检测到的对象的信息的数据(即，处理的数据)发送到电子设备100。在这种情况下，可减少电子设备100的计算量。然而，如果电子设备100无法正常接收处理的数据(诸如在相机装置中发生错误(例如，专用芯片的硬件错误)，则在电子设备100的自动驾驶功能中可能出现问题。
因此，在本公开中，下面将详细描述即使当电子设备100不正常接收处理的数据时电子设备100也可正常执行自动驾驶功能的各种实施例。
图2是示出根据实施例的电子设备的操作的框图。
参照图2，电子设备100包括通信接口110、存储器120和处理器130。
通信接口110可与外部传感器装置200执行数据的发送和接收。
例如，通信接口110是能够根据有线/无线通信方法将数据发送到外部传感器装置200的组件。例如，通信接口110可使用蓝牙(BT)、无线保真(WI-FI)、Zigbee、红外(IR)、以太网、串行接口、通用串行总线(USB)、移动工业处理器接口相机装置串行接口(MIPI CSI)、近场通信(NFC)、车联网(V2X)、移动通信(蜂窝)等。
具体地，通信接口110可从外部传感器装置200接收处理的数据或原始数据中的一个。这将在下面被详细描述。
存储器120可存储用于执行自动驾驶功能的程序。此外，存储器120可存储用于执行电子设备100的其它功能的程序。
用于执行自动驾驶功能的程序可包括对象跟踪、规划、可视化、控制、车道检测、实时映射、对象检测或场景分割中的至少一个。
用于执行电子设备100的其它功能的程序可包括深度学习框架、视觉、多媒体和图形中的至少一个。这里，深度学习框架是使用稍后将描述的第一学习网络的程序，并且视觉是与车辆的视场相关的程序，并且由内部相机装置或外部相机装置拍摄的图像被使用。此外，多媒体是与通过显示器(未示出)或扬声器(未示出)中的至少一个输出的内容相关的程序，并且图形是与通过显示器显示的内容相关的程序。
存储器120可被实现为与处理器130分离的存储器。在这种情况下，存储器120可根据存储数据的目的以嵌入在电子设备100中的存储器的形式被实现，或者可以以对电子设备100可拆卸的存储器的形式被实现。例如，用于驱动电子设备100的数据可被存储在嵌入在电子设备100中的存储器中，并且用于扩展电子设备100的功能的数据可被存储在对电子设备100可拆卸的存储器中。同时，嵌入在电子设备100中的存储器可被实现为以下项中的至少一项：易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))、非易失性存储器(例如，一次性可编程ROM(OTPROM))、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD)，对电子设备100可拆卸的存储器可被实现为存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、可被连接到USB端口的外部存储器(例如，USB存储器)等。
此外，存储器120可被实现为诸如包括在处理器130中的ROM(例如，电可擦除可编程只读存储器(EEPROM))、RAM等的内部存储器。
同时，在上述实施例中描述了用于执行自动驾驶功能的程序被存储在设置在电子设备10中的存储器中的情况，但用于执行自动驾驶功能的程序可根据另一实施例被存储在外部服务器中。在这种情况下，电子设备100还可接收和使用相应的程序。
处理器130控制电子设备100的全部操作。
根据本公开的实施例，处理器130可被实现为处理数字信号的数字信号处理器(DSP)、微处理器或时间控制器(TCON)，但不限于此，并且可包括中央处理器(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)和ARM处理器中的一个或更多个，并且可在相应的术语中被定义。此外，处理器130可被包括在具有内置处理算法、大规模集成(LSI)的片上系统(SoC)中，或者可以以现场可编程门阵列(FPGA)的形式被实现。处理器130可通过执行存储在存储器120中的计算机可执行指令来执行各种功能。此外，处理器130可包括图形处理单元(GPU)和数字处理单元(NPU)。
根据本公开的实施例，处理器130可通过通信接口110从传感器装置200接收第一处理数据。
第一处理与用于执行车辆的自动驾驶的预处理操作相应，并且可以是例如对象检测和场景分割中的至少一个。对象检测是从原始数据检测对象的功能，并且可识别对象类型等。场景分割是从原始数据分割场景的功能。然而，本公开不限于此，并且可由传感器装置200(或设置在传感器装置200中的专用芯片)执行的其它处理操作可被包括在第一处理中。
第一处理数据可以是在从传感器装置200获得的原始数据被第二处理之后获得的数据。例如，当传感器装置200被实现为相机装置时，第一处理数据可以是在通过相机装置获得的图像(原始数据)中对象检测或场景分割中的至少一个被处理之后获得的数据。例如，第一处理器数据可以是包括对象信息的数据或包括场景分割信息的数据中的至少一个。
换句话说，当接收到对象检测处理的数据时，处理器130可在无需执行单独的对象检测的情况下基于接收到的数据来识别车辆周围存在的对象的位置、对象的类型等。因此，可减少处理器130的计算量，使得可保证服务质量(QoS)。此外，将参照图10描述上述第一处理数据的示例。
图10是示出根据实施例的第一处理数据的示图。
假设传感器装置200是相机装置，并且被执行的第一处理是对象检测。相机装置可获得拍摄的图像(原始数据)，并基于拍摄的图像执行对象检测处理(第一处理)。
如图10中所示，相机装置可执行对象检测处理以获得关于识别出的对象的信息，诸如拍摄的图像中包括的对象的位置和类型信息。例如，相机装置可从拍摄的图像识别汽车、自行车、人或交通标志。
此后，相机装置可将包括对象检测处理的数据(即，对象信息)发送到电子设备100。
返回参照图2，根据另一实施例，当在来自传感器装置200的数据接收中发生错误时，处理器130可直接执行第一处理，这将在下面被详细描述。
同时，当通过通信接口110从传感器装置200接收到第一处理数据时，处理器130可基于存储在存储器120中的第一程序对第一处理数据执行第二处理。第一程序意味着执行第二处理所需的程序。此外，第二处理与用于电子设备100基于第一处理数据执行车辆的自动驾驶的后处理操作相应，并且可包括例如规划处理、实时映射、对象跟踪处理、车道检测处理或控制处理。例如，处理器130可基于根据对象检测处理(第一处理)检测到的对象来执行实时映射处理(第二处理)。这里，规划处理是生成用于纵向控制和横向控制的转向角和加速度的功能，实时映射是将识别出的对象的类型、到对象的距离、周围道路环境等实时地映射在地图上的功能，对象跟踪是通过比较对象在多个帧中的位置来跟踪与前一帧的对象相同的对象的功能。此外，车道检测是识别车道、车道的类型、车道的方向等的功能，并且控制是基于识别出的周围道路环境来控制自动驾驶功能的功能。
同时，如上所述，第二处理可包括使用从包括传感器装置200的多个外部装置接收到的数据的处理。换句话说，第二处理可以是必须在电子设备100中被执行的处理，这是因为不仅从传感器装置200接收到的数据必须被使用，而且从其它传感器装置接收到的数据必需被使用。然而，本公开不限于此，并且根据实施示例，第二处理可与仅使用从传感器装置200接收到的数据的情况或设置在传感器装置200中的专用芯片中可能的处理相应。
在一些情况下，可以是使用来自除了传感器装置200之外的装置的第一处理数据的处理。例如，可存在对由传感器装置200获得的原始数据执行第一处理的单独的外部装置(未示出)。例如，可单独存在仅处理传感器装置200的原始数据的专用芯片。在这种情况下，当从除了传感器装置200之外的外部装置(例如，专用芯片)接收到第一处理数据时，处理器130可基于第一程序对接收到的数据执行第二处理。然而，在下文中，为了便于描述，处理器130将被描述为从传感器装置200接收第一处理数据。
同时，在一些情况下，在第一处理中可包括对象跟踪处理、车道检测处理等。然而，规划处理、实时映射处理和控制处理是基于第一处理数据将被执行的操作，并且必须被处理器130第二处理。
同时，当识别出在数据的接收中发生错误时，处理器130可基于存储在存储器120中的第二程序对从传感器装置200接收到的原始数据执行第一处理。数据的接收中的错误可包括电子设备100无法接收数据或者电子设备100接收数据但接收包括错误的数据的情况。
具体地，当在阈值时间内没有通过通信接口110接收到第一处理数据时，处理器130可识别出在接收第一处理数据中发生错误。例如，当阈值时间是0.1秒时，并且如果在接收第一处理数据之后的0.1秒内没有接收到第一处理数据，则处理器130可识别出在第一处理数据的接收中有错误发生。
此外，处理器130可周期性地监测第一处理数据的接收，以识别在第一处理数据的接收中是否发生错误。例如，处理器130可监测是否每0.1秒接收到第一处理数据，并且如果识别出未接收到第一处理数据，则识别出在第一处理数据的接收中发生错误。
此外，当从传感器装置200接收到数据，但接收到的数据是未被第一处理的数据时，处理器130可识别出在第一处理数据的接收中有错误发生。
同时，当识别出在通过通信接口110进行的第一处理数据的接收中发生错误时，处理器130可请求传感器装置200发送原始数据。例如，假设传感器装置200中包括的相机装置可正常地获得车辆周围的图像(原始数据)，但当基于获得的图像执行对象检测的相机装置的处理器(未示出)不能被执行时，即，第一处理不能被执行时，在这种情况下，处理器130可请求传感器装置200发送原始数据，并且相机装置可根据该请求将获得的图像(原始数据)发送到电子设备100。然而，即使不存在来自处理器130的发送请求，当识别出在第一处理数据的发送中发生错误时，传感器装置200也可将原始数据发送到电子设备100。
处理器130可基于存储在存储器120中的第二程序对从传感器装置200接收到的原始数据执行第一处理，以基于第一程序执行第二处理。换句话说，处理器130可直接执行由传感器装置200执行的第一处理。第二程序是从存储器120加载的以执行第一处理的程序。
例如，当从相机装置接收到拍摄的图像(原始数据)时，处理器130可基于第二程序根据拍摄的图像执行对象检测处理。此后，处理器130可基于对象检测处理的结果执行第二处理。例如，处理器130可执行实时映射处理以在实时地图上显示根据对象检测处理的对象的位置和类型信息。
同时，处理器130可通过基于深度学习的第一学习网络模型来执行第一处理或第二处理中的至少一个。例如，第一学习网络模型可通过使用包括连续对象的多个帧作为学习数据来学习和更新用于估计图像中包括的对象的标准。因此，第一学习网络模型可对对象检测处理的数据(第一处理数据)执行对象跟踪处理(第二处理)。
同时，上面已经描述了当识别出在数据的接收中发生错误时，电子设备100从传感器装置200接收原始数据。然而，在一些情况下，电子设备100可周期性地从传感器装置200接收原始数据。
图3是示出电子设备的详细配置的框图。
参照图3，电子设备100包括通信接口110、存储器120、处理器130和传感器140。将省略图3中所示的与图2中所示的配置重叠的配置的详细描述。
通信接口110是能够向传感器装置200发送数据和从传感器装置200接收数据的组件。通信接口110可包括Wi-Fi模块(未示出)、蓝牙模块(未示出)、局域网(LAN)模块和无线通信模块(未示出)。这里，每个通信模块可以以至少一个硬件芯片的形式被实现。除了上述通信方法之外，无线通信模块可包括根据各种无线通信模块(诸如Zigbee、以太网、通用串行总线(USB)、移动行业处理器接口相机装置串行接口(MIPI)、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第四代(4G)、第五代(5G)等)执行通信的至少一个通信芯片。然而，这仅是示例性实施例，并且当通信接口110与传感器装置200进行通信时，可使用各种通信模块中的至少一种通信模块。此外，通信接口110可通过有线通信向传感器装置200发送数据以及从传感器装置200接收数据。
此外，通信接口110可通过第一通信信道接收第一处理数据并且通过第二通信信道接收原始数据。当使用电子设备100与传感器装置200之间的有线通信方法时，可利用不同的电缆实现第一通信信道和第二通信信道。可选地，当使用电子设备100与传感器装置200之间的无线通信方法时，第一通信信道和第二通信信道可使用不同的通信信道。然而，本公开不限于此，并且第一通信信道和第二通信信道可以是相同的信道。
处理器130使用存储在存储器120中的各种程序来控制电子设备100的全部操作。
具体地，处理器130包括随机存取存储器(RAM)131、只读存储器(ROM)132、主中央处理器(CPU)133、第一接口134-1至第n接口134-n以及总线135。
RAM 131、ROM 132、主CPU 133、第一接口134-1至第n接口134-n等可通过总线135彼此连接。
ROM 132可存储用于系统启动的命令的集合。如果输入接通命令并且供电，则CPU133根据存储在ROM 132中的命令将存储在存储器120中的O/S复制到RAM 131，并且通过执行O/S来启动系统。响应于启动完成，主CPU194可将存储在存储器120中的各种应用程序复制到RAM 131，并执行复制到RAM 131的应用程序以执行各种操作。然而，可将上述RAM 131和ROM132实现为与处理器130分离的外部存储器。
主CPU 133访问存储器120以使用存储在存储器120中的OS执行启动。CPU 133可通过使用存储在存储器120中的各种程序、内容、数据等来执行各种操作。具体地，根据实施例，主CPU 133可根据存储在ROM 132中的指令将存储在存储器120中的第一程序和第二程序复制到RAM 131，并访问RAM 131以执行第一程序和第二程序。
第一接口134-1至第n接口134-n可与上述各种组件连接。接口中的一个接口可以是经由网络被连接到外部设备的网络接口。
GPU 136可与用于图形处理的高性能处理装置相应，并且可以是被设计为通过快速处理和改变存储器120来加速帧缓冲器中的将被输出到屏幕的图像的生成的专用电子电路。此外，GPU 136可指视觉处理单元(VPU)。
NPU 137可与AI芯片组(或AI处理器)相应，并且可以是AI加速器。NPU 137可与用于执行深度神经网络而优化的处理器芯片相应。同时，NPU137可与代表GPU 136执行深度学习模型的处理单元相应，并且NPU 137可相应于与GPU 136一起执行深度学习模型的处理单元。
同时，在图3中，示出了所有主CPU 133、GPU 136和NPU 137，但处理器130可被实现和被操作为主CPU 133、GPU 136或NPU 137中的至少一个中的一个。
传感器140是用于感测车辆周围环境的组件。可将上述传感器装置200的相机装置、Lidar装置、Radar装置和IR装置中的一些设置在电子设备100内部。
图4是示出传感器装置的详细配置的框图。
参照图4，传感器装置200包括通信接口210、存储器220、相机装置230、Lidar装置240、Radar装置250、IR装置260和处理器270。将省略图4中所示的与图3中所示的配置重叠的配置的详细描述。
通信接口210是能够向电子设备100发送数据和从电子设备100接收数据的组件。通信接口210可将处理器270的第一处理数据或原始数据发送到电子设备100。
存储器220可存储通过相机装置230、Lidar装置240、Radar装置250和IR装置260获得的原始数据。例如，存储器220可存储通过相机装置230拍摄的图像数据。
此外，存储器220可存储由处理器270第一处理的数据。
相机装置230可拍摄车辆周围的图像。例如，可通过相机装置230拍摄位于车辆周围的对象、车道、交通标志等。可将相机装置230实现为单个相机装置或多个相机装置。例如，可将相机装置230布置在车辆的前部和后部。
光检测和测距(LIDAR)装置240可以是能够通过发射激光并使用从周围对象返回的反射光来检测周围环境(诸如对象的形状、到对象的距离等)的传感器。Lidar装置240可通过使用反射光来生成周围区域的3D图像。
无线电检测和测距(RADAR)装置250可通过发射电磁波并使用从周围对象反射和返回的回波来检测对象的位置、对象的速度和/或方向。换句话说，Radar装置250可以是被配置为使用无线信号在车辆所在环境中检测对象的传感器。Radar装置250使用的电磁波的波长可根据其目的而变化。例如，如果使用具有长波长的低频电磁波，则检测距离由于低衰减而增加，但由于可能难以识别小于波长的对象，因此分辨率可能降低。另一方面，如果使用具有短波长的高频，则分辨率增加，但由于水分、云、空气等的吸收或散射，可能发生衰减。
红外(IR)260是能够通过使用红外线测量温度等来检测对象的装置。
处理器270控制传感器装置200的全部操作。
处理器270可基于从相机装置230、Lidar装置240、Radar装置250和IR装置260中的至少一个获得的原始数据来执行第一处理。例如，处理器270可基于原始数据执行对象检测处理或场景分割处理中的至少一个，并且通过通信接口210将第一处理数据发送到电子设备100。例如，处理器270可对通过相机装置获得的图像(原始数据)执行对象检测处理，并通过通信接口210将处理的数据发送到电子设备100。
同时，处理器270可通过基于深度学习的第二学习网络模型来执行第一处理。例如，第二学习网络模型可通过使用包括对象的图像作为学习数据来学习和更新用于识别图像中包括哪个对象的标准。此外，第二学习网络模型可通过使用在包括对象的屏幕中包括的周围信息作为学习数据来学习和更新用于识别图像中包括的对象周围的各种附加信息的标准。因此，第二学习网络模型可识别并输出从传感器装置200获得的图像中包括的对象。换句话说，第二学习网络模型可执行对象检测处理(第一处理)。例如，图10中所示的汽车、人和交通标志可以是由第二学习网络模型识别的对象。
然而，当处理器270或学习网络模型中的至少一个中发生错误并且不能执行第一处理时，处理器270可将获得的原始数据发送到电子设备100。具体地，当从电子设备100接收到对发送原始数据的请求时，处理器270可将原始数据发送到电子设备100。然而，即使没有来自电子设备100的请求，并且如果处理器270识别出发生错误并且不能执行第一处理，也可将原始数据发送到电子设备100。
具体地，处理器270可周期性地监测第一处理数据的发送，以识别在第一处理数据的发送中是否发生错误。
同时，一个处理器270可控制相机装置230、Lidar装置240、Radar装置250和IR装置260的全部操作，但相机装置230、Lidar装置(240)、Radar装置250和IR装置260可均分别具有单独的处理器270。换句话说，处理器270可被实现为用于控制多个装置的单个芯片，或者可被实现为用于多个装置中的每个装置的单独芯片。
同时，除了上述装置之外，传感器装置200还可包括全球定位系统(GPS)装置、惯性测量单元(IMU)和超声波传感器。
GPS装置被配置为检测车辆的地理位置，并且处理器270还可在获取周围图像时获取通过GPS装置检测到的位置信息。
IMU可以是被配置为基于惯性加速度检测车辆的位置和朝向的改变的传感器的组合。例如，传感器可包括加速度计和陀螺仪。
超声波传感器是能够通过使用超声波的反射来识别对象的组件。
图5是示出根据本公开的实施例的传感器装置正常操作的示图。
参照图5，需要对象跟踪功能、规划功能、可视化功能、控制功能、车道检测功能、实时映射功能、对象检测功能和场景分割功能来执行自动驾驶功能。
这里，对象检测功能和场景分割功能可以是可由传感器装置200处理和执行的功能。具体地，传感器装置200的处理器270可基于从相机装置230、Lidar装置240、Radar装置250或IR装置260中的至少一个获得的原始数据来执行第一处理。此后，处理器270可将第一处理数据发送到电子设备100。例如，如图5中所示，处理器270可将通过对象检测或场景分割中的至少一个处理的与第一处理数据相应的数据发送到电子设备100。
电子设备100的处理器130可基于存储在存储器120中的第一程序对从传感器装置200接收到的第一处理数据执行第二处理。换句话说，处理器130可通过使用通过对象检测和场景分割中的至少一个处理的数据来执行规划处理、实时映射处理、对象跟踪处理、车道检测处理或控制处理中的至少一个。例如，传感器装置200的处理器270可基于原始数据来执行对象检测，以识别车辆周围的对象。电子设备100的处理器130可通过车道检测处理在车辆周围识别出的对象中识别车道，并且可识别车道的位置、车道的颜色、车道的类型等。换句话说，电子设备100可基于来自传感器装置200的第一处理数据来执行第二处理以执行自动驾驶功能。由于由传感器装置200执行第一处理，因此可减少电子设备100上的计算负担。
同时，在一些情况下，对象跟踪处理、车道检测处理和可视化处理可被包括在第一处理中。然而，规划处理、实时映射处理和控制处理是将基于第一处理数据而被执行的操作，并且第二处理必须由处理器130执行。
同时，下面将参照图6详细描述在数据的接收中发生错误的实施例。
图6是示出根据本公开的实施例的在从传感器装置接收数据中发生错误的示图。
图6假设电子设备100被识别为在接收第一处理数据中具有错误的情况。作为示例，图6可以是在接收由传感器装置200的处理器270进行的对象检测处理和场景分割处理所处理的数据中发生错误的情况。在数据的接收中的错误可包括电子设备100接收数据失败或者电子设备100接收到包括错误的数据的情况。
当识别出在通过通信接口110接收第一处理数据中发生错误被识别出时，处理器130可请求传感器装置200发送原始数据。在这种情况下，传感器装置200的处理器270可将获得的原始数据发送到电子设备100。根据实施例，可通过第一通信信道610接收第一处理数据，并且可通过第二通信信道620接收原始数据。第一通信信道610和第二通信信道620是不同的，但在一些情况下可以是相同的。
同时，当从一些传感器装置接收第一处理数据中发生错误时，电子设备100正常地从剩余的传感器装置接收第一处理数据，并且仅从发生错误的一些传感器装置请求发送原始数据。例如，从Lidar装置240、Radar装置250和IR装置260获得的原始数据的第一处理数据正常地被发送到电子设备100，但假设在接收从相机装置230获得的原始数据的第一处理数据中发生错误。在这种情况下，处理器130可请求相机装置230发送原始数据，并且可正常地接收从剩余的Lidar装置240、Radar装置250、IR装置260获得的原始数据的第一处理数据。
图7是示出当数据接收中发生错误时电子设备的操作的示图。
参照图7，处理器130可识别在从传感器装置200进行数据接收中是否发生错误(S710)。具体地，当在阈值时间内没有通过通信接口110接收到第一处理数据时，处理器130可识别出在接收第一处理数据中发生错误。此外，处理器130可周期性地监测第一处理数据的接收，以识别在第一处理数据的接收中是否发生错误。此后，如果识别出在接收第一处理数据中发生错误，则处理器130可请求传感器装置200发送原始数据。
处理器130可加载存储在存储器120中的第二程序(S720)。具体地，处理器130可加载用于基于原始数据执行对象检测处理或场景分割处理的第二程序。处理器130可请求传感器装置200发送原始数据。
传感器装置200的处理器270可通过第二通信信道620将原始数据发送到电子设备100(S730)。然而，可改变S720和S730的操作。
处理器130可基于加载的第二程序对接收到的原始数据执行第一处理。例如，处理器130可基于第二程序对从相机装置230获得的图像(原始数据)执行对象检测处理。
处理器130可加载存储在存储器120中的第一程序，并且基于加载的第一程序对第一处理数据执行第二处理(S740)。例如，处理器130可执行实时实时映射处理，以在实时地图上根据基于第二程序的对象检测处理的结果来显示车辆周围的对象的位置和类型信息。
图8是示出根据本公开的另一实施例的存在用于执行第一处理的单独的装置的实施例的示图。
根据实施例，上面已经描述了传感器装置200在正常情况下对原始数据执行第一处理，但根据另一实施例，单独的装置800可对从传感器装置200获得的原始数据执行第一处理。在下文中，为了便于描述，将单独的装置统称为第一处理装置800。
参照图8，第一处理装置800可包括用于对由传感器装置200获得的原始数据执行第一处理的第一处理处理器810。第一处理处理器810可对从相机装置230、Lidar装置240、Radar装置250和IR装置260中的至少一个接收到的原始数据执行第一处理。第一处理处理器810可将第一处理数据发送到电子设备100。在这种情况下，电子设备100可基于第一程序对第一处理数据执行第二处理。
此外，当识别出在接收第一处理数据中发生错误时，电子设备100可请求传感器装置200发送原始数据。传感器装置200可将获得的原始数据发送到电子设备100。在这种情况下，电子设备100可基于第二程序对数据执行第一处理。
图9是示出根据本公开的实施例的用于执行自动驾驶功能的电子设备的操作的示图。
电子设备100可周期性地监测数据接收(S910)。基于该监测，电子设备100可识别在从传感器装置200接收第一处理数据中是否发生错误(S920)。例如，电子设备100可监测是否每0.1秒接收到第一处理数据，并且如果识别出未接收到第一处理数据，则可识别出在第一处理数据的接收中发生错误。
如果识别出发生错误(S920-Y)，则电子设备100可加载存储的第二程序(S930)。具体地，电子设备100可加载用于基于原始数据执行对象检测处理或场景分割处理的第二程序。电子设备100可请求传感器装置200发送原始数据。
电子设备100可从传感器装置200接收原始数据(S940)。当没有发生错误时，电子设备100可通过第一通信信道从传感器装置200接收第一处理数据，并且当发生错误时，电子设备100可通过第二通信信道从传感器装置200接收原始数据。这里，第一通信信道和第二通信信道是不同的，但在一些情况下可以是相同的。
电子设备100可基于加载的第二程序对接收到的原始数据执行第一处理(S950)。例如，电子设备100可基于第二程序对从相机装置230获得的图像(原始数据)执行对象检测处理。
电子设备100可加载存储的第一程序，并基于加载的第一程序对第一处理数据执行第二处理(S960)。例如，处理器130可执行实时映射处理，以在实时地图上根据基于第二程序的对象检测处理的结果来显示车辆周围的对象的位置和类型信息。
电子设备100可基于第二处理数据执行自动驾驶功能。例如，电子设备100可基于车道检测处理来控制车辆的转向，并且可通过基于对象检测处理计算到对象的距离来控制车辆的速度。
同时，如果识别出在接收第一处理数据中没有发生错误(S920-N)，则电子设备100可从传感器装置200接收第一处理数据。电子设备100可对第一处理数据执行第二处理(S960)，并且基于第二处理数据执行自动驾驶功能(S970)。
图11是示出根据本公开的实施例的用于控制电子设备的方法的流程图。
当从传感器装置200接收到第一处理数据时，电子设备100可基于存储的第一程序对接收到的数据执行第二处理(S1110)。传感器装置200可包括相机装置230、Lidar装置240、Radar装置250和IR装置260中的至少一个。第一处理可包括对象检测和场景分割中的至少一个。例如，当传感器装置200被实现为相机装置230时，第一处理数据可以是在通过相机装置230获取的图像(原始数据)中通过执行对象检测和场景分割中的至少一个而获得的数据。
同时，第二处理可包括用于执行自动驾驶功能的规划处理、实时映射处理、对象跟踪处理、车道检测处理或控制处理中的至少一个。
电子设备100可识别在数据接收中是否发生错误(S1120)。
具体地，当在阈值时间内没有接收到第一处理数据时，电子设备100可识别出在接收第一处理数据中发生错误。例如，当阈值时间是0.1秒时，并且如果在接收第一处理数据之后的0.1秒内没有接收到下一处理数据，则电子设备100可能在接收第一处理数据中引起错误。
此外，电子设备100可周期性地监测第一处理数据的接收，以识别在第一处理数据的接收中是否发生错误。例如，电子设备100可监测是否每0.1秒接收到第一处理数据，并且如果识别出未接收到第一处理数据，则该设备可识别出在第一处理数据的接收中有错误发生。
同时，当识别出在接收第一处理数据中有错误发生时，电子设备100可请求传感器装置200发送原始数据。然而，即使没有来自电子设备100的发送请求，当识别出在第一处理数据发送中发生错误时，传感器装置200也可将原始数据发送到电子设备100。
可通过第一通信信道接收第一处理数据，并且可通过第二通信信道接收原始数据。第一通信信道和第二通信信道是不同的，但在一些情况下可以是相同的。
由于上面已经描述了每个操作的详细操作，因此将省略详细描述。
根据上述示例实施例的方法可实现为可被安装在现有电子设备中的软件或应用。
此外，可通过更新现有电子设备的软件或硬件来实现根据上述示例实施例的方法。
可通过电子设备中的嵌入式服务器或通过电子设备外部的外部服务器来执行上述示例实施例。
根据实施例，可将上述各种实施例实现为存储在可由机器(例如，计算机)读取的机器可读存储介质中的包括指令的软件。装置可包括根据本公开的实施例的电子装置，作为从存储介质调用存储的指令并且可根据调用的指令操作的装置。当指令由处理器执行时，处理器可使用其它组件直接执行与指令相应的功能，或者功能可在处理器的控制下被执行。指令可包括由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。“非暂时性”意味着存储介质不包括信号并且是有形的，但不在数据是被半永久地还是被临时地存储在存储介质中进行区分。
此外，根据实施例，根据上述各种实施例的方法可作为计算机程序产品的一部分被提供。计算机程序产品可在销售者与购买者之间被交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式被发布，或者通过应用商店(例如，PlayStoreTM)被在线发布。在在线发布的情况下，计算机程序产品的至少一部分可至少被临时存储或被临时生成在诸如制造商的服务器、应用商店的服务器或转发服务器中的存储器的存储介质上。
可将上述各种示例性实施例实现在可由计算机或与计算机类似的设备通过使用软件、硬件或其组合来读取的记录介质中。在一些情况下，可由处理器本身实现本文描述的实施例。在软件配置中，可将说明书中描述的各种实施例(诸如过程和功能)实现为单独的软件模块。软件模块可分别执行本说明书中描述的一个或更多个功能和操作。
根据上述各种实施例，可将用于执行根据上述各种实施例的装置的处理操作的计算机指令存储在非暂时性计算机可读介质中。当由特定装置的处理器执行时，存储在非暂时性计算机可读介质中的计算机指令可使特定装置根据上述各种实施例在该装置上执行处理操作。
非暂时性计算机可读记录介质是指存储数据并且可由装置读取的介质。例如，非暂时性计算机可读介质可以是CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等。
此外，根据上述各种实施例的组件中的每个组件(例如，模块或程序)可由单个实体或多个实体组成，并且可省略上述子组件中的一些子组件，或者还可将其它子组件包括到各种实施例中。通常地或另外地，可将一些组件(例如，模块或程序)集成到单个实体，以执行在集成之前由每个相应的组件执行的相同或相似的功能。根据各种示例性实施例，由模块、程序模块或其它组件执行的操作可以是顺序的、并行的或两者，或者迭代地或启发式地被执行，或者至少一些操作可以以不同的顺序被执行、被省略，或者其它操作可被添加。
尽管已经参照本公开的各种实施例示出和描述了本公开，但本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
通信接口；
存储器，存储有用于执行自动驾驶功能的程序；以及
处理器，被配置为基于通过通信接口从外部传感器装置接收到第一处理数据，基于存储在存储器中的第一程序对接收到的数据执行第二处理，并且
基于识别出在所述数据的接收中发生错误，基于存储在存储器中的第二程序对从外部传感器装置接收到的原始数据执行第一处理，然后基于第一程序执行第二处理。
2.如权利要求1所述的设备，其中，外部传感器装置是相机装置，并且
其中，第一处理数据是在通过相机装置获取的图像中通过对象检测和场景分割中的至少一个而被处理的数据。
3.如权利要求2所述的设备，其中，第二处理被配置为包括使用从包括外部传感器装置的多个外部装置接收到的数据的处理。
4.如权利要求2所述的设备，其中，第二处理被配置为包括用于执行自动驾驶功能的规划处理、实时映射处理、对象跟踪处理、车道检测处理或控制处理中的至少一个。
5.如权利要求1所述的设备，其中，处理器被配置为基于在阈值时间内没有通过通信接口接收到第一处理数据，识别在第一处理数据的接收中有错误发生。
6.如权利要求1所述的设备，其中，处理器被配置为通过周期性地监测第一处理数据的接收来识别在第一处理数据的接收中是否发生错误。
7.如权利要求1所述的设备，其中，处理器被配置为基于通过通信接口识别出在第一处理数据的接收中发生错误，请求从外部传感器装置发送原始数据。
8.如权利要求1所述的设备，其中，外部传感器装置被配置为包括相机装置、光检测和测距(Lidar)装置、无线电检测和测距(Radar)装置或红外(IR)装置中的至少一个。
9.如权利要求1所述的设备，其中，第一处理数据被配置为通过第一通信信道被接收，并且其中，原始数据被配置为通过第二通信信道被接收。
10.如权利要求1所述的设备，其中，处理器被配置为基于识别出在第一处理数据的接收中发生错误，通过加载存储在存储器中的第二程序来对原始数据执行第一处理。
11.一种用于控制存储有用于执行自动驾驶功能的程序的电子设备的方法，所述方法包括：
基于从外部传感器装置接收到第一处理数据，基于存储的第一程序对接收到的数据执行第二处理；
识别在所述数据的接收中是否发生错误；并且
基于识别出在所述数据的接收中发生错误，基于存储的第二程序对从外部传感器装置接收到的原始数据执行第一处理，然后基于第一程序执行第二处理。
12.如权利要求11所述的方法，其中，外部传感器装置是相机装置，并且
其中，第一处理数据是在通过相机装置获取的图像中通过对象检测和场景分割中的至少一个而被处理的数据。
13.如权利要求12所述的方法，其中，第二处理被配置为包括使用从包括外部传感器装置的多个外部装置接收到的数据的处理。
14.如权利要求12所述的方法，其中，第二处理被配置为包括用于执行自动驾驶功能的规划处理、实时映射处理、对象跟踪处理、车道检测处理或控制处理中的至少一个。
15.如权利要求11所述的方法，其中，识别发生错误的步骤包括基于在阈值时间内没有通过通信接口接收到第一处理数据，识别在第一处理数据的接收中有错误发生。
CN201980079926.5A 2018-12-27 2019-12-26 电子装置及其控制方法 Active CN113165651B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0170248 2018-12-27
KR1020180170248A KR102491386B1 (ko) 2018-12-27 2018-12-27 전자 장치 및 그 제어 방법
PCT/KR2019/018463 WO2020138950A1 (ko) 2018-12-27 2019-12-26 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN113165651A CN113165651A (zh) 2021-07-23
CN113165651B true CN113165651B (zh) 2023-09-12

Family

ID=71128279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079926.5A Active CN113165651B (zh) 2018-12-27 2019-12-26 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11851075B2 (zh)
EP (1) EP3845428B1 (zh)
KR (1) KR102491386B1 (zh)
CN (1) CN113165651B (zh)
WO (1) WO2020138950A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747444B2 (en) 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification
US11416959B1 (en) * 2020-02-10 2022-08-16 Zoox, Inc. Vision architecture
KR102687407B1 (ko) * 2021-02-19 2024-07-23 주식회사 에이치엘클레무브 레이더 제어 장치 및 방법
WO2023009180A1 (en) * 2021-07-29 2023-02-02 Intel Corporation Lidar-based object tracking
CN115225812B (zh) * 2022-06-01 2024-04-09 合肥移瑞通信技术有限公司 摄像头控制方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242407B1 (ko) * 2011-10-18 2013-03-18 대성전기공업 주식회사 듀얼 컨트롤러 시스템의 오류 검출 장치 및 방법
CN103661378A (zh) * 2012-08-28 2014-03-26 通用汽车环球科技运作有限责任公司 具有图形微处理器的车辆的主动安全系统
CN106864462A (zh) * 2015-12-09 2017-06-20 现代自动车株式会社 用于高级驾驶辅助系统用传感器的故障诊断和校准的装置和方法
CN107786794A (zh) * 2016-08-25 2018-03-09 三星电子株式会社 向应用提供由图像传感器获取的图像的电子装置和方法
KR20180058090A (ko) * 2016-11-23 2018-05-31 부산대학교 산학협력단 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법
CN108196547A (zh) * 2018-01-08 2018-06-22 北京图森未来科技有限公司 一种自动驾驶系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3945164B2 (ja) * 1999-04-09 2007-07-18 三菱電機株式会社 プログラマブルコントローラのｃｐｕユニット及び運転代行制御方法
US7404105B2 (en) 2004-08-16 2008-07-22 International Business Machines Corporation High availability multi-processor system
CN103080953B (zh) 2010-06-23 2017-03-15 大陆-特韦斯贸易合伙股份公司及两合公司 用于加速的物体检测和/或加速的物体属性检测的方法和系统及所述方法的用途
KR101820538B1 (ko) 2012-11-30 2018-01-19 현대건설기계 주식회사 복수의 제어시스템을 구비한 건설장비용 제어기 안전 시스템
US9372774B2 (en) 2013-05-22 2016-06-21 GM Global Technology Operations LLC Redundant computing architecture
US9454150B2 (en) 2013-07-17 2016-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive automated driving system
DE102013220526A1 (de) 2013-10-11 2015-04-16 Bayerische Motoren Werke Aktiengesellschaft Ausfallsicherere Sensorarchitektur für Fahrerassistenzsysteme
EP2921362B1 (en) * 2014-03-18 2020-08-12 Volvo Car Corporation Vehicle, vehicle system and method for increasing safety and/or comfort during autonomous driving
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10429408B2 (en) 2014-06-04 2019-10-01 Danlaw Inc. Vehicle monitoring module
JP6277943B2 (ja) * 2014-11-19 2018-02-14 トヨタ自動車株式会社 車両用運転支援装置
US9860445B2 (en) 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
EP3159853B1 (en) * 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
KR102433293B1 (ko) 2015-12-24 2022-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP2017175403A (ja) * 2016-03-24 2017-09-28 株式会社Ｊｖｃケンウッド 撮像制御装置、撮像制御方法及び撮像制御プログラム
US10042693B2 (en) 2016-07-12 2018-08-07 Infineon Technologies Ag Diverse integrated processing using processors and diverse firmware
US10571908B2 (en) 2016-08-15 2020-02-25 Ford Global Technologies, Llc Autonomous vehicle failure mode management
US10740658B2 (en) 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
KR102599574B1 (ko) * 2016-11-11 2023-11-08 주식회사 에이치엘클레무브 차량의 센서 데이터 모니터링 장치 및 방법
KR102540393B1 (ko) * 2016-12-16 2023-06-07 현대자동차주식회사 주행상황에서의 동시적 물체 인식 및 학습 방법
US10810806B2 (en) 2017-03-13 2020-10-20 Renovo Motors, Inc. Systems and methods for processing vehicle sensor data
JP2018183947A (ja) * 2017-04-27 2018-11-22 株式会社沖データ 画像形成装置および画像形成システム
US11124185B2 (en) * 2018-11-13 2021-09-21 Zoox, Inc. Perception collision avoidance
KR102690634B1 (ko) * 2018-12-17 2024-08-02 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242407B1 (ko) * 2011-10-18 2013-03-18 대성전기공업 주식회사 듀얼 컨트롤러 시스템의 오류 검출 장치 및 방법
CN103661378A (zh) * 2012-08-28 2014-03-26 通用汽车环球科技运作有限责任公司 具有图形微处理器的车辆的主动安全系统
CN106864462A (zh) * 2015-12-09 2017-06-20 现代自动车株式会社 用于高级驾驶辅助系统用传感器的故障诊断和校准的装置和方法
CN107786794A (zh) * 2016-08-25 2018-03-09 三星电子株式会社 向应用提供由图像传感器获取的图像的电子装置和方法
KR20180058090A (ko) * 2016-11-23 2018-05-31 부산대학교 산학협력단 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법
CN108196547A (zh) * 2018-01-08 2018-06-22 北京图森未来科技有限公司 一种自动驾驶系统

Also Published As

Publication number Publication date
US11851075B2 (en) 2023-12-26
US20220063644A1 (en) 2022-03-03
EP3845428B1 (en) 2022-07-06
EP3845428A4 (en) 2021-11-10
WO2020138950A1 (ko) 2020-07-02
EP3845428A1 (en) 2021-07-07
CN113165651A (zh) 2021-07-23
KR102491386B1 (ko) 2023-01-26
KR20200084950A (ko) 2020-07-14

Similar Documents

Publication Publication Date Title
CN113165651B (zh) 电子装置及其控制方法
US11932274B2 (en) Electronic device and control method therefor
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
US11704738B2 (en) Unmanned aerial vehicle (UAV) data collection and claim pre-generation for insured approval
US11614340B2 (en) Vehicle driving control apparatus and calibration method performed by the vehicle driving control apparatus
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US11212491B2 (en) Data management of connected cars cameras for homeland security and smart cities
CN114664102B (zh) 具有停车空间识别机制的导航系统及其操作方法
US11482007B2 (en) Event-based vehicle pose estimation using monochromatic imaging
KR20240019763A (ko) 이미지 및 메시지 정보를 이용한 오브젝트 검출
WO2021185104A1 (zh) 一种车道线信息确定方法及装置
US10878257B2 (en) Electronic apparatus and control method thereof
US11810363B2 (en) Systems and methods for image processing using mobile devices
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
KR102545199B1 (ko) 전자 장치 및 그 제어 방법
CN114333405B (zh) 用于辅助车辆停车的方法
US20230366699A1 (en) Sensor-based map correction
CN114283604B (zh) 用于辅助车辆停车的方法
WO2024192609A1 (en) Pseudo global shutter color camera
US11726188B2 (en) Eliminating sensor self-hit data
US20240196462A1 (en) Electronic device and method for providing cloud-based vehicle information
US20230386222A1 (en) Method for detecting three-dimensional objects in roadway and electronic device
US20220208004A1 (en) Driving support apparatus, driving support method, and computer-readable recording medium
KR20240086552A (ko) 클라우드 기반의 차량 정보를 제공하기 위한 전자 장치 및 방법
CN116363604A (zh) 目标交通事件识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant