CN116353604A - 设置在自动驾驶车辆中的电子装置及其工作方法 - Google Patents

设置在自动驾驶车辆中的电子装置及其工作方法 Download PDF

Info

Publication number
CN116353604A
CN116353604A CN202211701716.5A CN202211701716A CN116353604A CN 116353604 A CN116353604 A CN 116353604A CN 202211701716 A CN202211701716 A CN 202211701716A CN 116353604 A CN116353604 A CN 116353604A
Authority
CN
China
Prior art keywords
region
vehicle
electronic device
bounding box
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211701716.5A
Other languages
English (en)
Inventor
金信亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Publication of CN116353604A publication Critical patent/CN116353604A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J1/00—Windows; Windscreens; Accessories therefor
    • B60J1/08—Windows; Windscreens; Accessories therefor arranged at vehicle sides
    • B60J1/12—Windows; Windscreens; Accessories therefor arranged at vehicle sides adjustable
    • B60J1/16—Windows; Windscreens; Accessories therefor arranged at vehicle sides adjustable slidable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及设置在自动驾驶车辆中的电子装置及其工作方法。根据一实施例的设置在自动驾驶车辆中的电子装置，包括：摄像头，存储器以及至少一个处理器；至少一个处理器配置成：通过摄像头获取自动驾驶车辆正在行驶时的前方图像，在前方图像中识别目标车辆，生成与目标车辆相对应的边界框，生成具有与边界框的高度相同的高度及边界框的宽度的一半宽度的滑动窗口，以滑动窗口的宽度的中间位置为基准，将左侧区域划分为第一区域，将右侧区域划分为第二区域，向边界框的左侧和右侧扩展以生成扩展边界框，针对扩展边界框的整体宽度，使滑动窗口依次移位，在每次移位时获取第一区域和第二区域的像素差值的合计，识别所获取的合计中的合计值最小的点。

Description

设置在自动驾驶车辆中的电子装置及其工作方法
技术领域
下面的描述涉及一种设置在自动驾驶车辆中的电子装置及其工作方法。
背景技术
自动驾驶是指在没有驾驶员或乘客的用户输入的情况下驾驶车辆。这种自动驾驶可以分为驾驶员或乘客监控驾驶环境的等级和与车辆相关的自动驾驶系统监控驾驶环境的等级。例如，驾驶员或乘客监控驾驶环境的等级包括：等级1(驾驶辅助等级，driveassistance level)，所述等级1相当于在车内运行转向辅助系统或加速/减速辅助系统，但由驾驶员执行对于车辆动态驾驶的所有功能的阶段；等级2(部分自动化等级，partialautomation level)，所述等级2为在车内运行转向辅助系统或加速/减速辅助系统，但驾驶环境的监控通过驾驶员的操作执行。例如，与车辆相关的自动驾驶系统监控驾驶环境的等级包括：等级3(有条件的自动化等级，conditional automation level)，所述等级3为上述自动驾驶系统控制与驾驶相关的操作的所有方面，但是当上述自动驾驶系统请求驾驶员的干预时，必须由上述驾驶员控制上述车辆；等级4(高度自动化等级，high automationlevel)，所述等级4为与车辆相关的自动驾驶系统执行所有的对于驾驶的核心控制、驾驶环境监控、及紧急(emergency)时的对应等，但是要求驾驶员部分干预；以及等级5(完全自动化，full automation)，所述等级5为在所有道路条件和环境中始终由与车辆相关的自动驾驶系统执行驾驶。
发明内容
发明要解决的问题
能够自动驾驶的车辆可以基于通过摄像头获取的前方图像识别周围状态。例如，在前方碰撞预警系统(forward collision warning system，FCWS)的情况下，检测位于本车(ego vehicle)的驾驶车道的前方的车辆，基于与车辆的距离和本车速度计算碰撞时间，并向用户提供通知。但是，在相邻车道行驶中的车辆，由于通过前方图像检测到的车辆区域包括车辆的侧面，难以计算出准确的全宽，因此存在计算与在相邻车道行驶中的车辆的距离不准确的问题。
本文所要完成的技术课题不限于上述技术课题，本发明所属的技术领域的普通技术人员可以从下面的记载明确地理解其他未提及的技术课题。
用于解决问题的手段
根据一实施例的设置在自动驾驶车辆中的电子装置，包括：摄像头，存储至少一个指令的存储器，以及操作性地结合到所述摄像头的至少一个处理器；所述至少一个处理器可以配置成：在执行所述指令时，通过所述摄像头获取所述自动驾驶车辆正在行驶时的前方图像，基于存储在所述存储器中的车辆检测模型，在所述前方图像中识别目标车辆，响应于识别到所述目标车辆，生成与所述目标车辆相对应的边界框，生成具有与所述边界框的高度相同的高度及所述边界框的宽度的一半宽度的滑动窗口，以所述滑动窗口的宽度的中间位置为基准，将左侧区域划分为第一区域，以所述中间位置为基准，将右侧区域划分为第二区域，向所述边界框的左侧扩展与所述第一区域相同的尺寸，向所述边界框的右侧扩展与所述第二区域相同的尺寸，以生成扩展边界框，针对所述扩展边界框的整体宽度，使所述滑动窗口按预定义的像素间隔依次移位，在每次移位时获取所述第一区域和所述第二区域的像素差值的合计，识别所获取的合计中的合计值最小的点。
根据一实施例的一种设置在自动驾驶车辆中的电子装置的工作方法，其中，包括如下步骤：获取所述自动驾驶车辆正在行驶时的前方图像；基于车辆检测模型，在所述前方图像中识别目标车辆；响应于识别到所述目标车辆，生成与所述目标车辆相对应的边界框；生成具有与所述边界框的高度相同的高度及所述边界框的宽度的一半宽度的滑动窗口；以所述滑动窗口的宽度的中间位置为基准，将左侧区域划分为第一区域，以所述中间位置为基准，将右侧区域划分为第二区域；向所述边界框的左侧扩展与所述第一区域相同的尺寸，向所述边界框的右侧扩展与所述第二区域相同的尺寸，以生成扩展边界框；针对所述扩展边界框的整体宽度，使所述滑动窗口按预定义的像素间隔依次移位，在每次移位时获取所述第一区域和所述第二区域的像素差值的合计；以及识别所获取的合计中的合计值最小的点。
发明效果
根据一实施例的用于检测目标车辆的后面的电子装置及其工作方法，可以通过提高检测在本车的相邻车道行驶中的目标车辆的后面的全宽的准确度来提高与上述目标车辆的距离计算的准确度，从而提供具有改善的安全性的自动驾驶车辆。
在本公开中可以获得的效果并不限于上述提及的效果，本公开所属技术领域的普通技术人员可以从以下描述清楚地理解未提及的其他效果。
附图说明
图1是根据各种实施例的电子装置的简化的框图。
图2是根据各种实施例的包括电子装置的主车的侧视图。
图3A示出了根据各种实施例的包括电子装置的环境示例。
图3B示出了根据各种实施例的用于训练的数据集的示例。
图4是示出根据各种实施例的电子装置的工作方法的流程图。
图5A示出了根据各种实施例的通过摄像头获取的前方图像和边界框的一个示例。
图5B示出了根据各种实施例的边界框和滑动窗口。
图5C示出了根据各种实施例的扩展边界框。
图5D示出了根据各种实施例的将滑动窗口中的第二区域左右反转的示例。
图5E示出了根据各种实施例的计算像素差值的示例。
图5F示出了根据各种实施例的显示根据滑动窗口的位置变化的像素差值的图表。
图5G示出了根据各种实施例的检测目标车辆的后面中央的示例。
图6是示出根据各种实施例的确定滑动窗口的开始位置的工作方法的流程图。
图7A是示出根据各种实施例的设置关注区域的工作方法的流程图。
图7B是示出根据各种实施例的设置关注区域的工作方法的流程图。
图7C是根据各种实施例的设置关注区域的示例。
图8是示出根据各种实施例的执行检测结果的有效性判断的工作方法的流程图。
图9是示出根据各种实施例的执行检测结果的有效性判断的工作方法的流程图。
图10A是示出根据各种实施例的识别切入(cut-in)事件的工作方法的流程图。
图10B示出了根据各种实施例的切入事件的一个示例。
图11是根据各种实施例的调整滑动窗口的高度的工作方法的流程图。
图12是示出根据各种实施例的用于可变地设置使滑动窗口移位的像素间隔的工作方法的流程图。
具体实施方式
图1是根据各种实施例的电子装置100的简化的框图。
参照图1，电子装置100可以包括摄像头110、处理器120、通信电路130、存储器140、感测电路150和/或显示器160。
根据一实施例，电子装置100可以嵌入自动驾驶车辆中。例如，上述自动驾驶车辆可以处于停止状态或正在移动中。在下面的说明书中，为了便于说明，包括在车辆内的电子装置100可以以车辆的形式说明。
根据一实施例，处理器120可以控制电子装置100的整体操作。处理器120可以执行提供广告服务、网络服务、游戏服务、多媒体服务和/或导航(或地图)服务等的应用程序。在各种实施例中，处理器120可以包括一个处理器核心或包括多个处理器核心。例如，处理器120可以包括双核(dual-core)、四核(quad-core)、六核(hexa-core)等的多核(multi-core)。根据一实施例，处理器120还可以包括位于内部或外部的高速缓冲存储器(cachememory)。处理器120可以接收电子装置100的其他组件的命令，可以解析接收的命令，并可以根据解析的命令执行计算或处理数据。处理器120可以处理应用程序中生成或产生的数据或信号。例如，处理器120可以向存储器140请求命令、数据或信号，以执行或控制应用程序。处理器120可以在存储器140中记录(或存储)或更新命令、数据或信号，以执行或控制应用程序。处理器120可以解析并可以加工从通信电路130、摄像头110、感测电路150、存储器140或显示器160接收的消息、数据、命令或信号。例如，处理器120可以基于接收的消息、数据、命令或信号生成新的消息、数据、命令或信号。处理器120可以向通信电路130、摄像头110、感测电路150、存储器140或显示器160提供加工或生成的消息、数据、命令或信号。根据一实施例，处理器120的全部或部分可以电气性地或可操作地结合或连接到电子装置100中的其他组件(例如，通信电路130、摄像头110、感测电路150、存储器140或显示器160)。根据一实施例，处理器120可以由一个或多个处理器构成。例如，处理器120可以包括：应用处理器(application processor，AP)，控制诸如应用程序等上层的程序；图形处理器(graphicsprocessing unit，GPU)，用于配置显示在显示器160上的画面并控制上述画面；图像信号处理器(image signal processor)，用于控制摄像头110；用于控制感测电路150的感测器中枢(sensor hub)或用于控制通信电路130的通信处理器(communication processor，CP)等。附加地，处理器120可以包括专门处理人工智能模型的硬件结构。人工智能模型可以通过机器学习生成。例如，这种学习可以在执行人工智能模型的电子装置100本身执行，也可以通过单独的服务器执行。例如，学习算法可以包括有监督学习(supervised learning)、无监督学习(unsupervised learning)、半监督学习(semi-supervised learning)或强化学习(reinforcement learning)，但不限于上述示例。
人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(deep neural network，DNN)、卷积神经网络(convolutional neural network，CNN)、循环神经网络(recurrent neural network，RNN)、受限玻尔兹曼机(restricted boltzmannmachine，RBM)、深度信念网络(deep belief network，DBN)、双向循环深度神经网络(bidirectional recurrent deep neural network，BRDNN)、深度Q网络(deep Q-networks)和上述两种以上的组合中的一者，但不限于上述示例。人工智能模型除硬件结构外，可以附加地或替代地包括软件结构。
根据一实施例，通信电路130可用于生成其他电子装置(例如，服务器，外部电子装置或嵌入车辆中的装置)和电子装置100之间的通信路径。例如，通信电路130可以支持以有线或无线与上述其他电子装置连接的指定的协议。例如，通信电路130可以包括与诸如高清晰度多媒体接口(high definition multimedia interface，HDMI)连接器、通用串行总线(universal serial bus，USB)连接器、SD卡连接器、或音频连接器(例如，头戴式耳机连接器)的连接端子联动的HDMI、USB接口、SD卡接口或音频接口。又例如，通信电路130可以包括用于蓝牙通信技术、蓝牙低功耗(bluetooth low energy，BLE)通信技术、Wi-Fi(wirelessfidelity)通信技术、蜂窝(cellular，或移动(mobile))通信技术，和有线(wire)通信技术中的至少一者的模块(或电路)。通信电路130可以包括全球定位系统(global positioningsystem，GPS)通信电路(或GNSS通信电路)。通信电路130可以发送和接收GPS信号。GPS根据使用地区或带宽等，可以包括全球导航卫星系统(global navigation satellite system，GLONASS)、北斗卫星导航系统(Beidou Navigation Satellite System，以下称为“北斗”)、准天顶卫星系统(quasi-zenith satellite system，QZSS)、印度区域导航卫星系统(Indian reginal satellite system，IRNSS)和伽利略卫星导航系统(the Europeanglobal satellite-based navigation system，Galileo)中的至少一者。通信电路130可以将通过上述通信路径从上述其他电子装置接收到的信息或数据提供给处理器120。通信电路130可以通过上述通信路径将从处理器120提供的信息或数据发送至上述其他电子装置。
根据一实施例，摄像头110可以拍摄电子装置100的前方的静止图像或视频。在各种实施例中，摄像头110可以包括一个或多个镜头(例如，镜头组件)、图像传感器、闪光灯、图像稳定器、或缓冲存储器中的至少一者。根据一实施例，摄像头110可以包括多个镜头组件。例如，上述多个镜头组件可以具有相同的镜头属性(例如，视角、焦距、自动聚焦、f数(fnumber)或光学变焦)。例如，上述多个镜头组件中的至少一者可以具有不同于上述多个镜头组件中的其他至少一者的镜头属性。例如，上述多个镜头组件中的至少一者可以配置为用于广角镜头，上述多个镜头组件中的其他至少一者可以配置为用于望远镜头。在各种实施例中，上述图像传感器可以通过将通过上述一个或多个镜头从拍摄对象传输的光转换成电信号来获取对应于上述拍摄对象的图像(例如，与包括电子装置100的车辆相关的图像)。在一实施例中，上述图像传感器可以包括选自具有不同属性的图像传感器(诸如RGB传感器、黑白(black and white，BW)传感器、红外传感器、或UV传感器)中的一个图像传感器、具有相同的属性的多个图像传感器、或具有其他属性的多个图像传感器。包括在上述图像传感器中的每个图像传感器可以实现为例如电荷耦合器件(charged coupled device，CCD)图像传感器或互补式金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)传感器。
在各种实施例中，上述图像稳定器可以响应于摄像头110或电子装置100的移动，将上述一个或多个镜头或上述图像传感器向特定的方向移动或控制(例如，调整读出(read-out)时间等)，以至少部分地补偿上述移动对拍摄图像引起的负面影响(例如，图像抖动)。在一实施例中，上述图像稳定器可以实现为光学图像稳定器，并且可以使用设置在电子装置100或摄像头110的内部或外部的陀螺仪传感器(例如，感测电路150)或加速度传感器(例如，感测电路150)来检测上述移动。
在各种实施例中，上述缓冲存储器可以至少临时存储通过上述图像传感器获取的图像的至少一部分，以用于下一步图像处理工作。例如，当执行根据快门的图像获取延迟或多个图像的高速获取时，获取的原始图像(例如，高分辨率的图像)可以被存储在上述缓冲存储器中，并且通过显示器160预览对应于上述原始图像的复制图像(例如，低分辨率的图像)。如果上述预览之后满足指定的条件(如，用户输入或系统命令)，则存储在上述缓冲存储器中的上述原始图像的至少一部分，可以通过上述图像信号处理器获取和处理。在一实施例中，上述缓冲存储器可以配置成存储器140的至少一部分，或配置成独立于存储器140运行的单独的存储器。存储器140可以存储控制电子装置100的命令、控制命令代码、控制数据或用户数据。例如，存储器140可以包括应用程序、操作系统(operating system，OS)、中间件和/或设备驱动程序(device driver)。
存储器140可以包括易失性存储器(volatile memory)或非易失性存储器(non-volatile memory)中的一个或多个。易失性存储器可以包括动态随机存取存储器(dynamicrandom access memory，DRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、同步动态随机存储器(Synchronous Dynamic Random Access Memory，SDRAM)、相变随机存储器(Phase-Change Random Access Memory，PRAM)、磁性随机存储器(MagneticRandom Access Memory，MRAM)、电阻式随机存储器(Resistive Random Access Memory，RRAM)、铁电存储器(ferroelectric RAM，FeRAM)等。非易失性存储器可以包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable read-only memory，PROM)、电可编程只读存储器(electrically programmable ROM，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable read only memory，EEPROM)、闪存(flashmemory)等。存储器140可以包括诸如硬盘驱动器(hard disk drive，HDD)、固态硬盘(solidstate disk，SSD)、嵌入式多媒体卡(embedded multi media card，eMMC)、通用闪存存储(universal flash storage，UFS)的非易失性介质(medium)。
根据一实施例，感测电路150可以生成对应于电子装置100内部的工作状态(例如，功率或温度)或电子装置100外部环境状态的电信号或数据值。例如，感测电路150可以包括雷达传感器、激光雷达传感器、手势传感器、陀螺仪传感器，气压传感器、磁传感器、加速度传感器、速度传感器(或速度计)、握持传感器、接近传感器、色彩传感器、红外传感器、生物传感器、温度传感器、湿度传感器、或光传感器。
在各种实施例中，感测电路150可以包括配置成发射信号(或脉冲)的发送部和配置成接收针对上述信号的反射信号的接收部。例如，感测电路150可以根据处理器120的控制发射信号(例如，光)并接收反射信号。感测电路150可以通过分析直到接收到反射信号的时间、反射信号的相移、反射信号的脉冲功率和/或反射信号的脉冲宽度等，识别电子装置100外部环境。例如，上述外部环境可以对应于电子装置100的前方。例如，感测电路150可以用于通过测量从发送部发射信号到上述信号反射并由接收部接收为止的时间来获取从电子装置100到物体的距离信息。例如，感测电路150可以包括雷达传感器和/或激光雷达传感器。
根据一实施例，显示器160可以输出内容、数据或信号。在各种实施例中，显示器160可以显示由处理器120加工的影像信号。例如，显示器160可以显示捕获或静止图像。又例如，显示器160可以显示视频或摄像头预览图像。作为另一个例子，显示器160可以显示图形用户界面(graphical user interface，GUI)，以便用户可以与电子装置100进行交互。显示器160可以配置为液晶显示器(Liquid crystal display，LCD)或有机发光二极管(Organic Light-Emitting Diode，OLED)。根据一实施例，显示器160可以通过与能够接收触摸输入等的传感器一起结合，配置为一体式触摸屏(touch screen)。在各种实施例中，通信电路130、摄像头110和感测电路150中的至少一者可以设置在电子装置100的外部。
图2是根据本公开示例性实施例的包括电子装置100的主车的侧视图。
参照图1和图2，主车200可以包括电子装置100和车辆控制部210。主车200可以指具有电子装置100的自动驾驶车辆。例如，主车200可以用包括自主车辆、本车的各种术语来指代。
车辆控制部210可以控制主车200的整体驾驶。例如，可以接收从距离估计装置接收的指示直线距离的信息，并以此为基础控制主车200的速度。上述直线距离可以指目标车辆与主车200之间的距离。
车辆控制部210可以识别与目标车辆的直线距离小于或等于临界距离。车辆控制部210可以响应于识别到小于或等于临界距离的直线距离，执行控制以降低主车200的速度。为此，车辆控制部210可以生成指示减速的控制信号，并将控制信号传递给制动系统。
图3A示出了根据各种实施例的包括电子装置的环境300的示例。
图3B示出了根据各种实施例的用于训练的数据集315的示例。
参照图3A，环境300可以包括电子装置310、电子装置320、及电子装置100。
在各种实施例中，电子装置310可用于获取由电子装置320训练的车辆检测模型325用数据集315。例如，电子装置310可以获取包括与车辆外观相对应的视觉对象的图像。电子装置310可基于用户输入获取关于所获取的图像中的上述视觉对象或包括上述视觉对象的区域的属性的信息。电子装置310可以将上述数据集315提供给电子装置320。参照图3B，提供给电子装置320的数据集315可以包括前方车辆330的多个图像。
在各种实施例中，电子装置320可用于训练车辆检测模型325。例如，电子装置320可以从电子装置310获取数据集315。电子装置320可以向车辆检测模型325提供数据集315。例如，车辆检测模型325可以是由电子装置320训练的模型，以向主车200中的电子装置100提供与主车200相关的通过摄像头110获取的图像中是否存在对应于车辆外观的视觉对象的信息。例如，车辆检测模型325可以存储在电子装置320中，以进行上述训练。又例如，车辆检测模型325可以通信连接到电子装置320，以进行上述训练。
车辆检测模型325可以从电子装置320获取上述数据集315。车辆检测模型325可基于上述数据集315进行训练。例如，车辆检测模型325可基于上述数据集中的图像(或图像的一部分)和关于与上述数据集中的上述图像(或上述图像的一部分)相关的上述属性的信息执行训练。车辆检测模型325可以在执行上述训练期间，从上述图像(或上述图像的一部分)提取特征点，并获取所提取的特征点和关于上述属性的信息之间的关系信息。例如，上述特征点的提取可基于灰度强度、RGB(红、绿、蓝)颜色信息、HSV(hue，saturation，value)颜色信息、YIQ颜色信息、边缘信息(灰度、二进制、腐蚀二进制)等执行。
在各种实施例中，车辆检测模型325可基于上述关系信息确定图像中是否包括对应于车辆外观的视觉对象。当上述确定的可靠性达到标准可靠性以上时，由电子装置320训练的车辆检测模型325可以与电子装置100相关联。例如，由电子装置320训练的车辆检测模型325可以包括在电子装置100中。又例如，由电子装置320训练的车辆检测模型325是不同于电子装置320的装置，并且可以位于主车200内，与电子装置100无线或有线连接。作为另一个例子，由电子装置320训练的车辆检测模型325是不同于电子装置320的装置，并且可以位于主车200的外部，与电子装置100无线或有线连接。
图3A示出了摄像头110的位置位于车辆的前面的示例，但这是为了便于描述。根据实施例，可以改变摄像头110的位置。例如，摄像头110可以位于车辆的仪表盘或挡风玻璃上部或室内镜。又例如，摄像头110可以位于车辆的后面(rear)的适当位置。
图4是示出根据各种实施例的电子装置100的工作方法的流程图。
图5A示出了根据各种实施例的通过摄像头110获取的前方图像和边界框的一个示例。
图5B示出根据各种实施例的边界框510和滑动窗口530。
图5C示出根据各种实施例的扩展边界框540。
图5D是根据各种实施例的将滑动窗口530中的第二区域左右反转的示例。
图5E示出了根据各种实施例的计算像素差值的示例。
图5F示出了根据各种实施例的显示根据滑动窗口530的位置变化的像素差值的图表。
图5G示出了根据各种实施例的检测目标车辆的后面中央的示例。
参照图4，在步骤410中，电子装置100可以获取主车200的前方图像。例如，处理器120可以通过摄像头110拍摄具备电子装置100的车辆的前方。具备电子装置100的车辆可对应于图2的主车200。上述前方图像可对应于图5A的图像。
在步骤420中，电子装置100可以在上述前方图像中识别目标车辆。同时参照图5A，处理器120可以基于车辆检测模型识别多个前方车辆。处理器120可以将上述多个前方车辆中的至少一个车辆识别为上述目标车辆。例如，处理器120可以将在与主车200相同的车道上行驶中的前方车辆设置为上述目标车辆。又例如，处理器120可以将在与主车200相邻的车道上行驶中的前方车辆设置为上述目标车辆。以下，在详细描述中，将以在与主车200相邻的车道上行驶中的前方车辆设置为上述目标车辆为基准进行描述。
在步骤430中，电子装置100可以设置与上述目标车辆相对应的边界框。处理器120可以通过使用车辆检测模型，为在上述前方图像中检测到的上述多个前方车辆分别设置边界框。上述边界框可以指代围绕被检测对象的最小尺寸的框。例如，同时参照图5A，处理器120可以基于前方图像生成两个边界框。处理器120可以为在与主车200相邻的车道上行驶中的前方车辆生成边界框510。处理器120可以为在与主车200相同的车道上行驶中的前方车辆生成边界框520。
在步骤440中，电子装置100可以生成具有与边界框510的高度相同的高度和边界框510的宽度的一半宽度的滑动窗口。同时参照图5B，处理器120可以将在与主车200相邻的车道上行驶中的前方车辆设置为上述目标车辆，并生成具有包括上述目标车辆的最小宽度的边界框510。例如，边界框510的宽度可以是w，边界框510的高度可以是h。同时参照图5B，处理器120可以响应于边界框510的生成而生成滑动窗口530。滑动窗口530可以在至少与边界框510重叠的区域中按预定义的像素间隔进行移位。滑动窗口530可以是尺寸小于边界框510的窗口。例如，滑动窗口530的高度可以是与边界框510相同高度的h。滑动窗口530的宽度可以是sw。上述sw可以是边界框510的宽度的一半值，即0.5w。
在步骤450中，电子装置100可以以滑动窗口530的宽度的中间位置为基准，将左侧区域划分为第一区域，将右侧区域划分第二区域。同时参照图5B，处理器120可以将滑动窗口区分为两个区域。例如，处理器120可以将滑动窗口530中的左侧区域识别为第一区域532。处理器120可以将滑动窗口530中的右侧区域识别为第二区域534。
在步骤460中，电子装置100可以通过在边界框510的左右分别添加滑动窗口530的一半尺寸的虚拟区域542来生成扩展边界框540。扩展边界框540可对应于作为滑动窗口530执行对称比较过程的对象的整个区域。根据一实施例，处理器120可以在边界框510的左侧区域添加虚拟区域542。上述虚拟区域542的尺寸可以与滑动窗口530中的第一区域532的尺寸相同。上述虚拟区域542中的每个像素可以具有预先指定的像素值。在一个像素中，RGB可以分别具有0至255的值。例如，处理器120可以将虚拟区域542中的各像素对应于(128、128、128)值。又例如，处理器120可以将上述虚拟区域542中的像素设置为前方图像中的所有像素值的平均值。作为另一个例子，处理器120可以将上述虚拟区域542中的像素设置为边界框510中的所有像素值的平均值。根据一实施例，处理器120可以在边界框510的右侧区域添加虚拟区域544。上述虚拟区域544的尺寸可以与滑动窗口530中的第二区域534的尺寸相同。上述虚拟区域544中的每个像素可以具有预先指定的像素值。在一个像素中，RGB可以分别具有0至255的值。例如，处理器120可以将虚拟区域544中的哥像素对应于(128、128、128)值。又例如，处理器120可以将上述虚拟区域544中的像素设置为前方图像中的所有像素值的平均值。作为另一个例子，处理器120可以将上述虚拟区域544中的像素设置为边界框510中的所有像素值的平均值。在上述实施例中，以虚拟区域542和虚拟区域544包括彼此具有相同值的像素为基准进行了描述，但并不限于此。根据各种实施例，虚拟区域542的像素值和虚拟区域544的像素值可以彼此不同。例如，虚拟区域542的像素值可以设置为上述前方图像的左侧区域中的像素的平均值或边界框510的左侧区域中的像素的平均值。又例如，虚拟区域544的像素值可以设置为上述前方图像的右侧区域中的像素的平均值或边界框510的右侧区域中的像素的平均值。
根据一实施例，扩展边界框540可对应于与滑动窗口530和边界框510相同的高度h。扩展边界框540的宽度可以是边界框510的1.5倍，即1.5w。扩展边界框540的宽度可以是滑动窗口530的3倍，即3sw。
在步骤470中，电子装置100可以将滑动窗口530相对于扩展边界框540的整体宽度按预定义的像素间隔进行移位，从而获取第一区域532和第二区域534的像素差值的合计。同时参照图5E，边界框510可以包括所有32个像素。在时间点(a)，滑动窗口530可以位于与边界框510重叠的区域上。例如，滑动窗口530中的第一区域532可以位于“1x”像素上。例如，滑动窗口530中的第二区域534可以位于“2x”像素上。处理器120为了计算第一区域532和第二区域534之间的像素差值，可以改变第二区域534的像素，以使第二区域534左右反转。例如，在时间点(b)，处理器120可以左右反转第二区域534。处理器120可以将第二区域534的像素21、像素23、像素25、像素27分别替换成像素22、像素24、像素26、像素28。例如，参照图5D，第二区域534-1可以基于上述替换变更并显示为第二区域534-2。之后，处理器120可以分别计算第一区域532的像素和左右反转的第二区域534的像素之间的差值，并求出上述差值的合计。例如，处理器120可以计算第一区域532的像素11的像素值和对应于与上述像素11相同位置的像素22的像素值的差值。处理器120可以计算对于像素11至像素18的8个的差值，并将上述8个差值相加而获取合计。
根据一实施例，处理器120可以使滑动窗口530按预定义的像素间隔移位。在时间点(c)，与时间点(a)相比，滑动窗口530可以向右移位一个像素。与时间点(a)相比，滑动窗口530中的第一区域532可以包括像素12、像素21、像素14、像素23、像素16、像素25、像素18、及像素27。滑动窗口530中的第二区域534可以包括像素22、像素31、像素24、像素33、像素26、像素35、像素28、像素37。根据一实施例，处理器120为了计算第一区域532和第二区域534之间的像素差值，可以改变第二区域534的像素，以使第二区域534左右反转。例如，在时间点(d)，处理器120可以左右反转第二区域534。处理器120可以将第二区域534的像素22、像素24、像素26、像素28分别替换成像素31、像素33、像素35、像素37。之后，处理器120可以分别计算第一区域532的像素和左右反转的第二区域534的像素之间的差值，并求出上述差值的合计。例如，处理器120可以计算第一区域532的像素12的像素值和对应于与上述像素12相同位置的像素31的像素值的差值。
在上述实施例中，以左右反转第二区域534的像素为基准进行了描述，但并不限于此。根据实施例，可以左右反转第一区域532的像素，并可以计算第一区域532和第二区域534的像素的差值。
在上述实施例中，滑动窗口530被示为从左向右移位，但并不限于此。根据各种实施例，滑动窗口530还可以从右向左移位。
在步骤480中，电子装置100可以识别第一区域532的像素和第二区域534的像素的差值的合计最小的位置。处理器120可以通过使滑动窗口530沿着边界框510移位，识别边界框510中最左右对称的点。滑动窗口530中的第一区域532和左右反转的第二区域534的像素差值可以与滑动窗口530所包括的区域的左右对称程度有关。例如，如果对应于滑动窗口530的区域完全左右对称，则第一区域532的像素和左右反转的第二区域534的像素的差值可以对应于0。例如，看车辆的后面，接近左右对称的点可以是上述后面的中央。即，像素差值的合计最小的位置可以对应于上述目标车辆的中央。具体地，参照图5G，像素差值的合计最小的滑动窗口530的中心x轴550可以是上述目标车辆的后面中央。
图6是示出根据各种实施例的用于确定滑动窗口530的开始位置的工作方法的流程图。
参照图6，在步骤610中，电子装置100可以识别边界框510的中心点的坐标。例如，同时参照图5B，当边界框510的左下角设置为(0，0)时，上述中心点的坐标可以是(w/2，h/2)。根据各种实施例，处理器120为降低计算的复杂程度，可以省略y轴的计算。
在步骤620中，电子装置100可以确定识别的坐标的x分量是否包括在前方图像中的左侧区域中。例如，参照图5A，在与主车200相邻的车道上行驶中的目标车辆的边界框510可以以前方图像的中心x轴为基准，包括在左侧区域中。由于边界框510已经包括在前方图像的左侧区域中，因此边界框510的中心点的x坐标也可以包括在上述前方图像的左侧区域中。又例如，当上述目标车辆在主车200的右侧车道上行驶时，边界框的中心点的x坐标可以包括在上述前方图像的右侧区域中。
在步骤630中，电子装置100可以从扩展边界框540的左边缘开始执行滑动窗口530的移位。在步骤620中，当边界框510的中心点的x坐标包括在前方图像的左侧区域中时，处理器120可以识别到对应于边界框510的目标车辆正在左侧车道上行驶中。处理器120可以估计在左侧车道上行驶中的目标车辆的后面中心x轴位于边界框510内的左侧。因此，处理器120在生成滑动窗口530并使其开始移位时，可以控制上述移位从扩展边界框540的左边缘开始。例如，在上述移位开始时，滑动窗口530可以包括扩展边界框540的左侧虚拟区域和边界框510的一部分。
在步骤640中，电子装置100可以从扩展边界框540的右边缘开始执行滑动窗口530的移位。在步骤620中，当边界框510的中心点的x坐标包括在前方图像的右侧区域中时，处理器120可以识别对应于边界框510的目标车辆正在主车200的右侧车道上行驶中。处理器120可以估计在右侧车道上行驶中的目标车辆的后面中心x轴位于边界框510内的右侧。因此，处理器120在生成滑动窗口530并使其开始移位时，可以控制上述移位从扩展边界框540的右边缘开始。例如，在上述移位开始时，滑动窗口530可以包括扩展边界框540的右侧虚拟区域和边界框510的一部分。
图7A是示出根据各种实施例的设置关注区域的工作方法的流程图。
图7B是示出根据各种实施例的设置关注区域的工作方法的流程图。
图7C是根据各种实施例的设置关注区域的示例。
参照图7A，在步骤731中，电子装置100可以识别从识别的中间位置到边界框510的左边缘的长度。上述识别的中间位置可以指代对应于合计最小的点的滑动窗口530的中心x轴。同时参照图7C，上述识别的中间位置可以对应于位置710。处理器120可以识别从上述识别的位置710到左边缘的长度。由于边界框510是包括目标车辆的对象的最小尺寸的框，因此边界框510可以包括目标车辆的后面和目标车辆的侧面的图像。因此，由于处理器120识别出目标车辆正在主车200的左侧车道上行驶中，所以可以识别从上述识别的位置710到边界框510的左边缘的长度。所识别的长度可以对应于目标车辆的后面中的左侧一半的长度。
在步骤733中，电子装置100可以将具有与所识别的长度的2倍的宽度和与边界框510的高度相同高度的区域设置为关注区域(region of interest)720。参照图7C，由于处理器120在步骤731中识别的长度对应于目标车辆的后面中的左侧的一半，因此可以将具有上述识别的长度的2倍的宽度和与边界框510相同的高度h的区域设置为关注区域720。
参照图7B，在步骤741中，电子装置100可以识别从识别的中间位置到边界框510的右边缘的长度。上述识别的中间位置可以指代对应于合计最小的点的滑动窗口530的中心x轴。上述识别的长度可以对应于目标车辆的后面中的右侧一半的长度。
在步骤743中，电子装置100可以将具有与上述识别的长度的2倍的宽度和与边界框510的高度相同的高度的区域设置为关注区域720。参照图7C，由于处理器120在步骤741中识别的长度对应于目标车辆的后面中的右侧的一半，因此可以将具有上述识别的长度的2倍的宽度及与边界框510相同的高度h的区域设置为关注区域720。
图8是示出根据各种实施例的执行检测结果的有效性判断的工作方法的流程图。
参照图8，在步骤810中，电子装置100可以基于车辆检测模型识别目标车辆的车型。例如，车辆检测模型可以通过检测包括在前方图像中的对象，对前方车辆的车型进行分类。例如，车辆检测模型可以识别前方车辆的车型为轿车(sedan)、运动型多用途汽车(sport utility vehicle，SUV)、休闲车(recreational vehicle，RV)、掀背车(hatchback)、卡车、公交车、特种车辆中的任何一个。
在步骤820中，电子装置100可以识别对应于识别的车型的全宽值。例如，处理器120可以在存储器140中预先存储车辆检测模型能够分类的每种车型的平均全宽值。上述每种车型的平均全宽值可以以查找表的形式存储。例如，当车型为轿车时，平均全宽可以是1860mm。例如，当车型为公交车时，平均全宽可以是2490mm。处理器120可以通过参考上述查找表来识别对应于根据车辆检测模型分类的目标车辆车型的全宽值。
在步骤830中，电子装置100可以基于关注区域的宽度计算目标车辆的全宽。处理器120可以通过将通过摄像头110获取的前方图像的像素坐标系转换成世界坐标系的过程，利用关注区域720的宽度计算出实际目标车辆的全宽。
在步骤840中，电子装置100可以确定识别的全宽值和计算的全宽值的差值是否超过预定值。例如，处理器120可基于车辆检测模型将目标车辆的车型识别为公交车，并且可以检索存储器140，识别对应于公交车车型的全宽为2490mm。此外，处理器120可以通过将前方图像中的关注区域720转变成世界坐标系的运算，计算对应于公交车的目标车辆的全宽。例如，由处理器120计算出的目标车辆的全宽可以是1860mm。在这种情况下，针对目标车辆计算出的全宽值和根据车型识别的全宽值的差值可以是630mm。例如，上述预定值可以是300mm。考虑到在驾驶中获取的前方图像、包括在相同车型中的多个车辆的平均全宽值等，处理器120可以允许300mm以下的误差。上述预定值可以根据处理器120或主车200的制造商可变地设置。
在步骤850中，电子装置100可以将关注区域720的检测结果识别为有效。例如，基于车辆检测模型检测的目标车辆为轿车，轿车的平均全宽可以是1860mm。此外，处理器120可以通过使用对应于上述目标车辆的关注区域720的宽度来计算上述目标车辆的实际后面的宽度，识别上述目标车辆的全宽是1930mm。由于识别的全宽值和计算出的全宽值的差值仅为70mm，因此处理器120可以识别出关注区域720已被适当地设置并且关注区域720的检测结果是有效的。
在步骤860中，电子装置100可以识别出关注区域720的检测结果中发生了错误。例如，基于车辆检测模型检测的目标车辆为轿车，轿车的平均全宽可以是1860mm。此外，例如，处理器120可以通过利用对应于上述目标车辆的关注区域720的宽度来计算上述目标车辆的实际后面的宽度，识别上述目标车辆的全宽为2490mm。即，检测到的车型为轿车，但是基于关注区域720的宽度的目标车辆的全宽可以是与公交车相同的长度。处理器120可以识别出识别的全宽值和计算出的全宽值的差值为730mm。由于上述差值超过预定值，因此处理器120可以识别出在检测关注区域720的过程中发生了错误。
图9是示出根据各种实施例的执行检测结果的有效性判断的工作方法的流程图。
参照图9，在步骤910中，电子装置100可以识别前方图像中边界框510的中心点的坐标的x分量的第一方向。上述第一方向可以与目标车辆正在行驶的车道的方向相同。例如，目标车辆可以是正在主车200的左侧车道的前方行驶中的车辆。
在步骤920中，电子装置100可以识别边界框510中像素的差值的合计最小的位置的第二方向。上述第二方向可以指代以边界框510的中心x轴为基准，对应于上述像素的差值的合计最小的位置的方向。例如，同时参照图5G，像素的差值的合计最小的滑动窗口530的中心x轴550位于边界框510的中心x轴560的左侧，因此上述第二方向可以对应于左侧。
在步骤930中，电子装置100可以确定上述第一方向和上述第二方向是否一致。例如，当目标车辆正在主车200的左侧车道上行驶时，第一方向可以对应于左侧。此外，当目标车辆正在主车200的左侧车道上行驶时，相对于包括目标车辆的边界框510的中心x轴560，像素的差值的合计最小的滑动窗口530的中心x轴550位于左侧，因此上述第二方向也可以对应于左侧。根据一实施例，当第一方向为左侧，第二方向被识别为右侧时，由于正在左侧车道上行驶的目标车辆的后面的中心是在右侧识别出的，因此，根据步骤950，可以识别出关注区域720的检测结果发生了错误。
在步骤940中，电子装置100可以确定差值的合计最小的位置是否包括在预定区域内。上述预定区域可以是从边界框510的中心x轴沿着上述第一方向包括第一区域532或第二区域534的尺寸的区域。当差值的合计最小的位置包括在上述预定区域内时，处理器120可以在步骤960中将关注区域720的检测结果识别为有效。相反，当差值的合计最小的位置在上述预定区域外时，处理器120可以在步骤970中识别出关注区域720的检测结果发生了错误，并且对上述预定区域再次执行对称比较过程。即，处理器120可以将上述预定区域设置为新的边界框，根据上述新设置的边界框的尺寸生成新的滑动窗口，并使上述滑动窗口移位。
图10A是示出根据各种实施例的识别切入事件的工作方法的流程图。
图10B示出了根据各种实施例的切入事件的一个例子。
参照图10A，在步骤1010中，电子装置100可以计算滑动窗口530中像素的差值的合计最小的位置的x坐标值和前方图像的中心x坐标值的差值。例如，滑动窗口530中像素的差值的合计最小的位置的x坐标值可以对应于目标车辆的后面中央。处理器120可以计算目标车辆的后面中央距前方图像的中心在x坐标上的距离。
在步骤1020中，电子装置100可以确定每单位时间的差值的变化量是否超过临界值。处理器120可以确定差值的变化有多快。例如，同时参照图10B，当正在主车200的左侧车道上行驶的目标车辆突然驶入主车200的同一车道时，每单位时间的差值的变化量可能很大。又例如，当正在主车200的左侧车道上行驶的目标车辆缓慢驶入主车200的同一车道时，每单位时间的差值的变化量可能相对较小。当处理器120识别出因正在相邻车道行驶的目标车辆突然驶入而导致每单位时间的差值的变化量超过临界值时，可以识别发生了切入事件。上述切入事件可以是正在与主车200相邻的车道上行驶的前方车辆驶入主车200的驾驶车道的事件。
在步骤1030中，电子装置100可以响应于识别到上述切入事件发生，执行用于防止碰撞的车辆控制。例如，处理器120可以响应于识别到上述切入事件，执行控制以降低主车200的速度。为此，车辆控制部210可以生成指示减速的控制信号，并将控制信号传递给制动系统。作为另一个例子，处理器120可以响应于识别到上述切入事件，考虑触发上述切入事件的目标车辆的移动速度、目标车辆的预测行驶方向和主车200的行驶速度、行驶方向，执行控制以避免或防止主车200和目标车辆的碰撞。为此，车辆控制部210可以生成用于控制主车的行驶速度的控制信号，并向制动系统或加速系统传达控制信号。除此之外，当需要变更主车200的行驶方向时，车辆控制部210可以向主车的转向装置传达控制信号。
在一实施例中，加速系统包括提供主车200的行驶动力的手段，例如电动马达、内燃机。
图11是示出根据各种实施例的用于调整滑动窗口530的高度的工作方法的流程图。
参照图11，在步骤1110中，电子装置100可以基于车辆检测模型识别目标车辆的车型，并识别所识别的车型的高度值。例如，车辆检测模型可以通过检测包括在前方图像中的对象，对前方车辆的车型进行分类。例如，车辆检测模型可以将前方车辆的车型识别为轿车、SUV、RV、掀背车、卡车、公交车、特种车辆中的任何一个。处理器120可以识别对应于识别的车型的高度值。例如，处理器120可以在存储器140中预先存储车辆检测模型能够分类的每种车型的平均高度值。上述每种车型的平均全宽值可以以查找表的形式存储。例如，当车型为轿车时，平均高度可以是1450mm。例如，当车型为SUV时，平均高度可以是1800mm。例如，当车型为公交车时，平均全宽可以是3435mm。处理器120可以通过参考上述查找表来识别对应于根据车辆检测模型分类的上述目标车辆车型的高度值。
在步骤1120中，电子装置100可以确定根据识别的车型的高度值和根据边界框的高度计算的高度值的差值是否超过预定值。例如，处理器120可以基于车辆检测模型将目标车辆的车型识别为轿车，并且可以通过检索存储器140识别对应于轿车车型的高度值为1450mm。处理器120可以基于关注区域720的高度计算目标车辆的高度。处理器120可以通过将通过摄像头110获取的前方图像的像素坐标系转换成世界坐标系的过程，利用关注区域720的高度来计算实际目标车辆的高度。例如，由处理器120计算的目标车辆的高度可以是3410mm。在这种情况下，针对目标车辆计算出的高度值和根据车型识别的高度值的差值可以是1960mm。当上述识别的高度值的差值不超过预定值时，处理器120可以确定目标车辆的上部没有装载物，并终止程序。例如，上述预定值可以是500mm。考虑到在驾驶中获取的前方图像、包括在相同车型中的多个车辆的平均高度值等，处理器120可以允许500mm以下的误差。上述预定值可以根据处理器120或主车200的制造商可变地设置。
当上述识别的高度值的差值超过预定值时，处理器120可以确定上述目标车辆的上部存在装载物，并且生成了包括上述装载物的边界框510。
在步骤1130中，电子装置100可以将滑动窗口530的高度调整为小于边界框510的高度。处理器120可以识别上述所识别的高度值的差值超过预定值，并确定目标车辆的上部存在装载物(例如，货物、车顶掀背(roof back)、车顶行李架(roof rack))。因此，处理器120可以将滑动窗口530的高度设置为小于边界框510的高度，并且使滑动窗口530在与边界框510的下边缘接触的状态下左右移位，以执行对称比较过程。根据一实施例，上述识别的高度值的差值越大，处理器120越可以可变地减小上述滑动窗口530的高度。
图12是示出根据各种实施例的用于可变地设置使滑动窗口530移位的像素间隔的工作方法的流程图。
参照图12，在步骤1210中，电子装置100可以通过感测电路150测量主车200的速度。例如，处理器120可以激活感测电路150的加速度传感器(未示出)。加速度传感器(未示出)可以测量包括电子装置100的主车200的行驶速度。
在步骤1220中，电子装置100可以确定测量的速度是否超过临界速度。当主车200的速度很快时，上述临界速度可以是用于确定增加对称比较过程的速度以检测目标车辆的后面的基准速度。例如，主车200的速度越快，目标车辆的后面检测的执行速度也应该越快，但是当滑动窗口530逐像素移位时，目标车辆的后面检测速度可能会降低。
在步骤1230中，电子装置100可以增加滑动窗口530移位的像素间隔。例如，上述临界速度可以是160Km/h。即，当主车200以每小时160Km的速度行驶时，可能需要增加用于检测目标车辆的后面的处理速度。处理器120可以响应于主车200的测量速度超过上述临界速度，增加滑动窗口530移位的预定义的像素间隔。在步骤1240中，电子装置100可以保持滑动窗口530移位的像素间隔。例如，当主车200的速度小于上述临界速度时，滑动窗口530可以以1个像素为单位移位。当主车200的速度超过上述临界速度时，处理器120可以将滑动窗口530移位的上述像素间隔增加到2个或3个。
如上所述，根据一实施例的设置在自动驾驶车辆中的电子装置，包括：摄像头，存储器，存储至少一个指令，以及至少一个处理器，操作性地结合到所述摄像头；所述至少一个处理器配置成：在执行所述指令时，通过所述摄像头获取所述自动驾驶车辆正在行驶时的前方图像，基于存储在所述存储器中的车辆检测模型，在所述前方图像中识别目标车辆，响应于识别到所述目标车辆，生成与所述目标车辆相对应的边界框，生成具有与所述边界框的高度相同的高度及所述边界框的宽度的一半宽度的滑动窗口，以所述滑动窗口的宽度的中间位置为基准，将左侧区域分为第一区域，以所述中间位置为基准，将右侧区域分为第二区域，向所述边界框的左侧扩展与所述第一区域相同的尺寸，向所述边界框的右侧扩展与所述第二区域相同的尺寸，以生成扩展边界框，针对所述扩展边界框的整体宽度，使所述滑动窗口按预定义的像素间隔依次移位，在每次移位时获取所述第一区域和所述第二区域的像素差值的合计，识别所获取的合计中的合计值最小的点。
在各种实施例中，所述至少一个处理器可以配置成：当执行所述指令时，改变所述第二区域的每个像素，以使所述第二区域左右反转，将左右反转的所述第二区域的每个像素和所述第一区域的每个像素的差值相加，以获取所述像素差值的合计。
在各种实施例中，所述至少一个处理器可以配置成：当执行所述指令时，识别所述边界框的中心点的坐标，基于识别所识别的坐标是包括在所述前方图像中的左侧区域还是包括在右侧区域，获取第一方向；所述滑动窗口从形成所述边界框的4个边缘中对应于所述第一方向的边缘开始移位。
在各种实施例中，所述至少一个处理器可以配置成：当执行所述指令时，以所述合计值最小的点为中心，将具有从所述合计值最小的点到对应于所述第一方向的边缘的区域的2倍宽度及与所述边界框的高度相同的高度的区域设置为关注区域。
在各种实施例中，所述至少一个处理器可以配置成：当执行所述指令时，基于识别所述合计值最小的点是包括在所述边界框中的左侧区域还是包括在右侧区域，获取第二方向，在所述第一方向和所述第二方向不一致的情况下，确定对所述合计值最小的点的识别是无效的。
在各种实施例中，所述至少一个处理器可以配置成：当执行所述指令时，在所述第一方向和所述第二方向一致的情况下，识别所述合计值最小的点是否包括在从所述前方图像的中心x轴向所述第一方向的预定区域内，在没有包括在所述预定区域内的情况下，确定对所述合计值最小的点的识别是无效的。
在各种实施例中，所述设置在自动驾驶车辆中的电子装置还包括用于测量所述自动驾驶车辆的速度的传感器模块；所述至少一个处理器可以配置成：当执行所述指令时，通过所述传感器模块，测量所述自动驾驶车辆的速度，将所测量的速度和临界速度进行比较。
在各种实施例中，所述至少一个处理器可以配置成：在执行所述指令时，在所测量的速度超过所述临界速度的情况下，增加所述预定义的像素间隔。
在各种实施例中，所述至少一个处理器可以配置成：当执行所述指令时，计算所述合计值最小的点的x坐标值和所述前方图像的中心x坐标值的差值，响应于识别每单位时间的所述差值的变化量超过负临界值，识别切入事件的发生，响应于识别到所述切入事件的发生，执行用于防止所述自动驾驶车辆的碰撞的车辆控制。
在各种实施例中，可以配置成，基于所述车辆检测模型，识别所述目标车辆的车型，识别对应于所识别的车型的全宽值，基于所述关注区域的宽度，计算所述目标车辆的全宽值，确定对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值是否超过预定值，当对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值超过预定值时，将所述关注区域的检测结果识别为无效。
如上所述，根据一实施例的设置在自动驾驶车辆中的电子装置的工作方法，可以包括如下步骤：获取所述自动驾驶车辆正在行驶时的前方图像；基于车辆检测模型，在所述前方图像中识别目标车辆；响应于识别到所述目标车辆，生成与所述目标车辆相对应的边界框；生成具有与所述边界框的高度相同的高度及所述边界框的宽度的一半宽度的滑动窗口；以所述滑动窗口的宽度的中间位置为基准，将左侧区域划分为第一区域，以所述中间位置为基准，将右侧区域划分为第二区域；向所述边界框的左侧扩展与所述第一区域相同的尺寸，向所述边界框的右侧扩展与所述第二区域相同的尺寸，以生成扩展边界框；针对所述扩展边界框的整体宽度，使所述滑动窗口按预定义的像素间隔依次移位，在每次移位时获取所述第一区域和所述第二区域的像素差值的合计；以及识别所获取的合计中的合计值最小的点。
在各种实施例中，获取所述第一区域和所述第二区域的像素差值的合计的步骤可以包括如下步骤：改变所述第二区域的每个像素，以使所述第二区域左右反转；以及将左右反转的所述第二区域的每个像素和所述第一区域的每个像素的差值相加，以获取所述像素差值的合计。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：识别所述边界框的中心点的坐标，以及基于识别所识别的坐标是包括在所述前方图像中的左侧区域还是右侧区域，获取第一方向；所述滑动窗口可以设置成，从形成所述边界框的4个边缘中对应于所述第一方向的边缘开始移位。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：以所述合计值最小的点为中心，将具有从所述合计值最小的点到对应于所述第一方向的边缘的区域的2倍宽度及与所述边界框的高度相同的高度的区域设置为关注区域。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：基于识别所述合计值最小的点是包括在所述边界框中的左侧区域还是右侧区域，获取第二方向；以及在所述第一方向和所述第二方向不一致的情况下，确定对所述合计值最小的点的识别是无效的。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：在所述第一方向和所述第二方向一致的情况下，识别所述合计值最小的点是否包括在从所述前方图像的中心x轴向所述第一方向的预定区域内；以及在没有包括在所述预定区域内的情况下，确定对所述合计值最小的点的识别是无效的。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：测量所述自动驾驶车辆的速度；以及将所测量的速度和临界速度进行比较。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：在所测量的速度超过所述临界速度的情况下，增加所述预定义的像素间隔。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：计算所述合计值最小的点的x坐标值和所述前方图像的中心x坐标值的差值；响应于识别每单位时间的所述差值的变化量超过负临界值，识别切入事件的发生；以及响应于识别到所述切入事件的发生，执行用于防止所述自动驾驶车辆的碰撞的车辆控制。
在各种实施例中，设置在自动驾驶车辆中的电子装置的工作方法还可以包括如下步骤：基于所述车辆检测模型，识别所述目标车辆的车型；识别对应于所识别的车型的全宽值；基于所述关注区域的宽度，计算所述目标车辆的全宽值；确定对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值是否超过预定值；以及当对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值超过预定值时，将所述关注区域的检测结果识别为无效。
如上所述的装置可以实现为硬件组件、软件组件和/或硬件组件及软件组件的组合。例如，实施例中描述的装置及组件，可以使用一个或多个通用计算机或专用计算机来实现，例如处理器、控制器、算数逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(field programmablegate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器、或能够执行和响应指令的其他任何装置。处理装置可以运行操作系统(OS)及在上述操作系统上运行的一个或多个软件应用程序。此外，处理装置可以响应于软件的执行，访问、存储、操作、处理和生成数据。为便于理解，还存在将处理装置描述为使用一个的情况，但是本技术领域的普通技术人员可以理解，处理装置可以包括多个处理元件(processing element)和/或多个类型的处理元件。例如，处理装置可以包括多个处理器或一个处理器和一个控制器。此外，其他处理配置也是可能的，例如并行处理器。
软件可以包括计算机程序、代码、指令或其中的一个或多个的组合，可以将处理装置配置为按照所期望的操作，或独立地或共同地命令处理装置。软件和/或数据可以体现在任何有形的机器、组件、物理装置、计算机存储介质或装置中，以便由处理装置解析或向处理装置提供命令或数据。软件可以分布在通过网络连接的计算机系统上，以分布式方式存储或执行。软件及数据可以存储在一个或多个计算机可读记录介质中。
根据实施例的方法可以以程序指令形式实现并记录在计算机可读介质中，上述程序命令可以通过各种计算机装置执行。此时，介质可以持续存储计算机可执行的程序，也可以临时存储以执行或下载。此外，介质可以是单个或多个硬件组合形式的各种记录装置或存储装置，但不限于直接连接到某个计算机系统的介质，还可以分布在网络上。作为介质的示例，可以是包括诸如硬盘、软盘及磁带的磁介质、诸如CD-ROM和DVD的光记录介质、诸如软式光盘(floptical disk)的磁光介质(magneto-optical medium)、及只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存等在内的配置成存储程序指令的介质。此外，作为其他介质的示例，还可以提及流通应用程序的应用程序商店或提供或流通其他各种软件的网站、由服务器等管理的记录介质或存储介质。
如上所述，虽然通过有限的实施例和附图说明了实施例，但只要是在本技术领域具有通常知识者，就可以根据上述记载进行各种修改和变形。例如，即使所说明的技术以不同于说明的方法的顺序执行、和/或说明的系统、结构、装置、电路等的组件以不同于说明的方法的形式结合或组合，或由其他组件或等价物来代替或置换，也可以实现适当的结果。
因此，其他实现、其他实施例及与权利要求的等同物均属于所附的权利要求的范围内。

Claims (20)

1.一种设置在自动驾驶车辆中的电子装置，其中，包括：
摄像头，
存储器，存储至少一个指令，以及
至少一个处理器，操作性地结合到所述摄像头；
所述至少一个处理器配置成：
在执行所述指令时，通过所述摄像头获取所述自动驾驶车辆正在行驶时的前方图像，
基于存储在所述存储器中的车辆检测模型，在所述前方图像中识别目标车辆，
响应于识别到所述目标车辆，生成与所述目标车辆相对应的边界框，
生成具有与所述边界框的高度相同的高度及所述边界框的宽度的一半宽度的滑动窗口，
以所述滑动窗口的宽度的中间位置为基准，将左侧区域分为第一区域，以所述中间位置为基准，将右侧区域分为第二区域，
向所述边界框的左侧扩展与所述第一区域相同的尺寸，向所述边界框的右侧扩展与所述第二区域相同的尺寸，以生成扩展边界框，
针对所述扩展边界框的整体宽度，使所述滑动窗口按预定义的像素间隔依次移位，在每次移位时获取所述第一区域和所述第二区域的像素差值的合计，
识别所获取的合计中的合计值最小的点。
2.根据权利要求1所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
当执行所述指令时，改变所述第二区域的每个像素，以使所述第二区域左右反转，
将左右反转的所述第二区域的每个像素和所述第一区域的每个像素的差值相加，以获取所述像素差值的合计。
3.根据权利要求1所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
当执行所述指令时，识别所述边界框的中心点的坐标，
基于识别所识别的坐标是包括在所述前方图像中的左侧区域还是包括5在右侧区域，获取第一方向；
所述滑动窗口从形成所述边界框的4个边缘中对应于所述第一方向的边缘开始移位。
4.根据权利要求3所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
0当执行所述指令时，以所述合计值最小的点为中心，将具有从所述合计值最小的点到对应于所述第一方向的边缘的区域的2倍宽度及与所述边界框的高度相同的高度的区域设置为关注区域。
5.根据权利要求3所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
5当执行所述指令时，基于识别所述合计值最小的点是包括在所述边界框中的左侧区域还是包括在右侧区域，获取第二方向，
在所述第一方向和所述第二方向不一致的情况下，确定对所述合计值最小的点的识别是无效的。
6.根据权利要求5所述的设置在自动驾驶车辆中的电子装置，其中，0所述至少一个处理器配置成：
当执行所述指令时，在所述第一方向和所述第二方向一致的情况下，识别所述合计值最小的点是否包括在从所述前方图像的中心x轴向所述第一方向的预定区域内，
在没有包括在所述预定区域内的情况下，确定对所述合计值最小的点5的识别是无效的。
7.根据权利要求1所述的设置在自动驾驶车辆中的电子装置，其中，
所述设置在自动驾驶车辆中的电子装置还包括用于测量所述自动驾驶车辆的速度的传感器模块；
所述至少一个处理器配置成：
当执行所述指令时，通过所述传感器模块，测量所述自动驾驶车辆的速度，
将所测量的速度和临界速度进行比较。
8.根据权利要求7所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
在执行所述指令时，在所测量的速度超过所述临界速度的情况下，增加所述预定义的像素间隔。
9.根据权利要求1所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
当执行所述指令时，计算所述合计值最小的点的x坐标值和所述前方图像的中心x坐标值的差值，
响应于识别每单位时间的所述差值的变化量超过负临界值，识别切入事件的发生，
响应于识别到所述切入事件的发生，执行用于防止所述自动驾驶车辆的碰撞的车辆控制。
10.根据权利要求4所述的设置在自动驾驶车辆中的电子装置，其中，
所述至少一个处理器配置成：
当执行所述指令时，基于所述车辆检测模型，识别所述目标车辆的车型，
识别对应于所识别的车型的全宽值，
基于所述关注区域的宽度，计算所述目标车辆的全宽值，
确定对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值是否超过预定值，
当对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值超过预定值时，将所述关注区域的检测结果识别为无效。
11.一种设置在自动驾驶车辆中的电子装置的工作方法，其中，包括如下步骤：
获取所述自动驾驶车辆正在行驶时的前方图像；
基于车辆检测模型，在所述前方图像中识别目标车辆；
响应于识别到所述目标车辆，生成与所述目标车辆相对应的边界框；
生成具有与所述边界框的高度相同的高度及所述边界框的宽度的一半宽度的滑动窗口；
以所述滑动窗口的宽度的中间位置为基准，将左侧区域划分为第一区域，以所述中间位置为基准，将右侧区域划分为第二区域；
向所述边界框的左侧扩展与所述第一区域相同的尺寸，向所述边界框的右侧扩展与所述第二区域相同的尺寸，以生成扩展边界框；
针对所述扩展边界框的整体宽度，使所述滑动窗口按预定义的像素间隔依次移位，在每次移位时获取所述第一区域和所述第二区域的像素差值的合计；以及
识别所获取的合计中的合计值最小的点。
12.根据权利要求11所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，
获取所述第一区域和所述第二区域的像素差值的合计的步骤包括如下步骤：
改变所述第二区域的每个像素，以使所述第二区域左右反转；以及
将左右反转的所述第二区域的每个像素和所述第一区域的每个像素的差值相加，以获取所述像素差值的合计。
13.根据权利要求11所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
识别所述边界框的中心点的坐标，以及
基于识别所识别的坐标是包括在所述前方图像中的左侧区域还是右侧区域，获取第一方向；
所述滑动窗口设置成，从形成所述边界框的4个边缘中对应于所述第一方向的边缘开始移位。
14.根据权利要求13所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
以所述合计值最小的点为中心，将具有从所述合计值最小的点到对应于所述第一方向的边缘的区域的2倍宽度及与所述边界框的高度相同的高度的区域设置为关注区域。
15.根据权利要求13所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
基于识别所述合计值最小的点是包括在所述边界框中的左侧区域还是右侧区域，获取第二方向；以及
在所述第一方向和所述第二方向不一致的情况下，确定对所述合计值最小的点的识别是无效的。
16.根据权利要求15所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
在所述第一方向和所述第二方向一致的情况下，识别所述合计值最小的点是否包括在从所述前方图像的中心x轴向所述第一方向的预定区域内；以及
在没有包括在所述预定区域内的情况下，确定对所述合计值最小的点的识别是无效的。
17.根据权利要求11所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
测量所述自动驾驶车辆的速度；以及
将所测量的速度和临界速度进行比较。
18.根据权利要求17所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
在所测量的速度超过所述临界速度的情况下，增加所述预定义的像素间隔。
19.根据权利要求11所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
计算所述合计值最小的点的x坐标值和所述前方图像的中心x坐标值的差值；
响应于识别每单位时间的所述差值的变化量超过负临界值，识别切入事件的发生；以及
响应于识别到所述切入事件的发生，执行用于防止所述自动驾驶车辆的碰撞的车辆控制。
20.根据权利要求14所述的设置在自动驾驶车辆中的电子装置的工作方法，其中，还包括如下步骤：
基于所述车辆检测模型，识别所述目标车辆的车型；
识别对应于所识别的车型的全宽值；
基于所述关注区域的宽度，计算所述目标车辆的全宽值；
确定对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值是否超过预定值；以及
当对应于所述车型的全宽值和计算出的所述目标车辆的全宽值的差值超过预定值时，将所述关注区域的检测结果识别为无效。
CN202211701716.5A 2021-12-29 2022-12-28 设置在自动驾驶车辆中的电子装置及其工作方法 Pending CN116353604A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210191433A KR20230102019A (ko) 2021-12-29 2021-12-29 타겟 차량의 후면 검출을 위한 전자 장치 및 이의 동작 방법
KR10-2021-0191433 2021-12-29

Publications (1)

Publication Number Publication Date
CN116353604A true CN116353604A (zh) 2023-06-30

Family

ID=84688342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211701716.5A Pending CN116353604A (zh) 2021-12-29 2022-12-28 设置在自动驾驶车辆中的电子装置及其工作方法

Country Status (4)

Country Link
US (1) US20230206649A1 (zh)
EP (1) EP4207103A1 (zh)
KR (1) KR20230102019A (zh)
CN (1) CN116353604A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230192141A1 (en) * 2021-12-16 2023-06-22 Gm Cruise Holdings Llc Machine learning to detect and address door protruding from vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210017525A (ko) * 2019-08-08 2021-02-17 삼성전자주식회사 거리 추정 장치 및 이의 동작 방법

Also Published As

Publication number Publication date
KR20230102019A (ko) 2023-07-07
US20230206649A1 (en) 2023-06-29
EP4207103A1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
US10794718B2 (en) Image processing apparatus, image processing method, computer program and computer readable recording medium
KR102499398B1 (ko) 차선 검출 방법 및 장치
US20210390353A1 (en) Object recognition device, object recognition method, and object recognition program
US10896336B2 (en) Parking compartment recognition apparatus
US11932274B2 (en) Electronic device and control method therefor
US11157753B2 (en) Road line detection device and road line detection method
US10127460B2 (en) Lane boundary line information acquiring device
US20200070814A1 (en) Apparatus for controlling parking of vehicle, system having the same, and method thereof
CN111091037B (zh) 用于确定驾驶信息的方法和设备
US11188078B2 (en) Apparatus for automatically parking vehicle in personal garage, system including the same, and method for the same
US20240029303A1 (en) Three-dimensional target detection method and apparatus
JP6869467B2 (ja) 駐車支援装置
CN114664102B (zh) 具有停车空间识别机制的导航系统及其操作方法
EP3732878A1 (en) Dynamic image region selection for visual inference
KR20220142590A (ko) 차량 외관의 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
CN116353604A (zh) 设置在自动驾驶车辆中的电子装置及其工作方法
US20170076160A1 (en) Object detection apparatus, vehicle provided with object detection apparatus, and non-transitory recording medium
KR20200133920A (ko) 인공신경망 기반의 투사정보 인식 장치 및 그 방법
US11981343B2 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
JP7484783B2 (ja) 車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラム
JP2020095630A (ja) 画像処理装置および画像処理方法
JP7348874B2 (ja) 傾斜角検出装置及び制御装置
JP7360304B2 (ja) 画像処理装置および画像処理方法
US20230386222A1 (en) Method for detecting three-dimensional objects in roadway and electronic device
KR20240095666A (ko) 주차 제어 장치 및 그의 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination