CN106183989B - 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法 - Google Patents

车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法 Download PDF

Info

Publication number
CN106183989B
CN106183989B CN201510309687.1A CN201510309687A CN106183989B CN 106183989 B CN106183989 B CN 106183989B CN 201510309687 A CN201510309687 A CN 201510309687A CN 106183989 B CN106183989 B CN 106183989B
Authority
CN
China
Prior art keywords
mentioned
movement
scheduling
execution
multiple movements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510309687.1A
Other languages
English (en)
Other versions
CN106183989A (zh
Inventor
边道均
权贤
权贤一
朴连出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106183989A publication Critical patent/CN106183989A/zh
Application granted granted Critical
Publication of CN106183989B publication Critical patent/CN106183989B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/0315—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for using multiplexing techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2900/00—Indexing codes relating to the purpose of, or problem solved of road vehicle drive control systems not otherwise provided for in groups B60W30/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及车辆驾驶辅助装置，该车辆驾驶辅助装置在基于立体影像的第一帧执行多个动作之后，基于上述立体影像的第二帧执行多个动作，包括获取上述立体影像的立体摄像头模块及处理器，该处理器从上述立体摄像头模块接收上述第一帧，并在上述第一帧中执行对上述多个动作的第一调度，按照上述第一调度，执行上述多个动作，测定根据上述第一调度的上述多个动作中的各动作的执行时间，从上述立体摄像头模块接收上述第二帧，并在上述第二帧中基于测定出的上述各动作的执行时间，执行对上述多个动作的第二调度。

Description

车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法
技术领域
本发明涉及车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法(Driverassistance apparatus and method of thereof)，更详细而言，涉及对立体影像的各帧基于多个动作中的各动作的执行时间来执行对多个动作的调度的车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法。
背景技术
车辆是向搭乘的用户所需的方向移动的装置。代表性的例子有汽车。
另外，为了使利用车辆的用户方便使用，车辆具备各种传感器和电子设备等是一种趋势。尤其，正在开发出用于用户的驾驶方便的各种各样的装置等。
最近随着对自主车辆的关注增加，正在活跃地进行着针对搭载在自主车辆上的传感器的研究。作为搭载在自主车辆上的传感器有摄像头、红外线传感器、雷达、GPS、激光雷达(Lidar)、陀螺仪等，其中摄像头是起到代替人眼的作用的传感器而占据重要的位置。
另外，对从摄像头获取的影像进行处理的处理器对各帧执行多个动作。一般而言，处理器针对各帧根据已经分别对多个动作进行分配的时间来执行动作。如果，在一个帧中根据所分配的时间执行多个动作的过程中，输入下一个帧的情况下，存在在前面的帧中未完全执行的动作要中止并且要执行下一个帧中的多个动作的问题。在此情况下，有可能存在处理器中所执行的动作的结果产生错误的问题。并且，存在无法有效地使处理器运行的问题。
发明内容
本发明的目的在于，提供一种针对立体影像的各帧基于多个动作中的各动作的执行时间来执行对多个动作的调度的车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法。
用于达到上述目的的根据本发明的实施例的车辆驾驶辅助装置，在基于由立体摄像头模块获取的立体影像的第一帧执行多个动作之后，基于上述立体影像的第二帧执行多个动作，上述车辆驾驶辅助装置具有调度部，上述调度部从上述立体摄像头模块接收上述第一帧，并在上述第一帧中执行对上述多个动作的第一调度，测定根据上述第一调度的上述多个动作中的各动作的执行时间，从上述立体摄像头模块接收上述第二帧，并在上述第二帧中基于测定出的上述各动作的执行时间，执行对上述多个动作的第二调度。
用于达到上述目的的根据本发明的实施例的车辆驾驶辅助装置的动作方法，在基于由立体摄像头模块获取的立体影像的第一帧执行多个动作之后，基于上述立体影像的第二帧执行多个动作，上述车辆驾驶辅助装置的动作方法包括：从上述立体摄像头模块接收上述第一帧，并在上述第一帧中执行对上述多个动作的第一调度(scheduling)的步骤；测定根据上述第一调度的上述多个动作中的各动作的执行时间的步骤；以及从上述立体摄像头模块接收上述第二帧，并在上述第二帧中基于测定出的上述各动作的执行时间，执行对上述多个动作的第二调度的步骤。
上述车辆驾驶辅助装置的动作方法还包括：测定根据第二调度执行的上述多个动作中的各动作的执行时间的步骤；以及从上述立体摄像头模块接收上述第三帧，并在上述第三帧中基于测定出的上述第二调度执行的上述多个动作中的各动作的执行时间，执行对上述多个动作的第三调度，测定上述多个动作中的各动作的执行时间的步骤。
上述车辆驾驶辅助装置的动作方法还包括反复执行如下过程的步骤，上述过程是：从上述立体摄像头模块接收上述第四帧，并在上述第四帧中基于与其之前的调度对应的测定出的各动作的执行时间，执行对上述多个动作的第四调度，测定上述多个动作中的各动作的执行时间。
上述车辆驾驶辅助装置的动作方法还包括：在执行第一调度之后的调度时，基于测定出的上述各动作的执行时间，预测针对下一个帧的上述多个动作中的各动作的执行时间的步骤；以及设定上述多个动作中的各动作的执行顺序的步骤。
上述车辆驾驶辅助装置的动作方法还包括以下步骤：在执行第一调度之后的调度时，对预测出的上述多个动作中的各动作的执行时间进行相加，在相加后的执行预测时间在临界值以上的情况下，排除上述多个动作中的一个动作。
上述车辆驾驶辅助装置的动作方法还包括：在执行第一调度之后的调度时，对预测出的上述多个动作中的各动作的执行时间进行相加，在上述相加后的预测时间在临界值以上的情况下，判断上述多个动作中是否存在能够排除执行的动作的步骤；以及在由上述判断部判断为没有能够排除执行的动作的情况下，上述执行时间预测部对上述多个动作中的至少一个动作的执行预测时间进行调整的步骤。
在上述车辆驾驶辅助装置的动作方法中，上述执行顺序被设定为，按照预测出的上述多个动作中的各动作的执行时间较短的顺序配置于优先顺序。
在上述车辆驾驶辅助装置的动作方法中，上述执行顺序反映上述车辆的行驶环境或外部环境而设定。
在上述车辆驾驶辅助装置的动作方法中，上述执行顺序按照已设定的默认顺序而设定。
在上述车辆驾驶辅助装置的动作方法中，被排除的上述动作被设定为，在从上述立体摄像头模块接收下一个帧，并针对该下一个帧中执行对上述多个动作的调度的情况下，由上述执行顺序设定部配置于优先顺序。
在上述车辆驾驶辅助装置的动作方法中，被排除的上述动作是第一动作，在从上述立体摄像头模块接收下一个帧，并针对该下一个帧中执行对上述多个动作的调度时，在上述多个动作中排除上述第一动作的任一个动作的测定出的执行时间在基准值以上的情况下，上述执行顺序设定部将上述基准值以上的动作设定为比上述第一动作配置于优先顺序。
在上述的车辆驾驶辅助装置的动作方法中，在执行上述第一调度之后的调度时，在上述多个动作中的第一动作为上述车辆安全运行相关动作的情况下，将上述第一动作设定为最优先顺序。
在上述车辆驾驶辅助装置的动作方法中，上述第一动作被设定为，在从上述立体摄像头模块接收下一个帧，并针对该下一个帧中执行对上述多个动作的调度的情况下，由上述执行顺序设定部配置于最优先顺序。
在上述车辆驾驶辅助装置的动作方法中，在预测上述多个动作中的第一动作的执行时间时，在基准时间以上的范围内进行预测，上述第一动作是上述多个动作中必须要执行的动作，或者是在未执行基准时间以上的情况下执行动作的结果明显降低的动作。
上述车辆驾驶辅助装置的动作方法还包括：在执行第一调度之后的调度时，基于测定出的上述各动作的执行时间，预测针对下一个帧的上述多个动作中的各动作的执行时间的步骤；基于预测出的上述各动作的执行时间，对在执行根据各调度的多个动作的第一动作执行部及第二动作执行部中执行的动作进行分配的步骤；以及设定被分配给上述第一动作执行部及上述第二动作执行部的动作中的各动作的执行顺序的步骤。
在上述车辆驾驶辅助装置的动作方法中，基于预测出的上述各动作的执行时间，以在上述第一动作执行部中执行的动作及在上述第二动作执行部中执行的动作形成平衡的方式进行分配。
在上述车辆驾驶辅助装置的动作方法中，在对上述第一动作执行部分配上述多个动作中的第一动作及第二动作，并对上述第二动作执行部分配上述多个动作中的第三动作的情况下，测定上述第一及第二各动作的执行时间并进行相加，判断相加后的预测执行时间是否在临界值以上，在上述相加后的预测执行时间在临界值以上的情况下，上述第二动作执行部还执行上述第一动作及第二动作中的一个动作。
上述车辆驾驶辅助装置的动作方法还包括在执行第一调度之后的调度之前执行2D及3D基础的前处理的步骤，对上述第一动作执行部分配多个动作中基于上述2D基础的前处理而执行的第一动作及第二动作，对上述第二动作执行部分配多个动作中基于上述3D基础的前处理而执行的第三动作，还包括测定上述第一及第二各动作的执行时间并进行相加、并且判断相加后的预测执行时间是否在临界值以上的步骤，在上述相加后的预测执行时间在临界值以上的情况下，上述第二动作执行部基于上述3D基础的前处理而执行上述第一动作及第二动作中任一个动作及上述第三动作。
上述车辆驾驶辅助装置的动作方法还包括：按照各调度而执行上述多个动作的步骤；以及测定根据上述各调度的上述多个动作中的各动作的执行时间的步骤。
上述车辆驾驶辅助装置的动作方法还包括如下步骤：基于测定出的上述根据作为当前调度的第一次调度的上述多个动作中的各动作的执行时间、和测定出的上述根据作为第一次调度之后的调度的第二次调度的上述多个动作中的各动作的执行时间，计算出上述多个动作中的各动作的执行时间变化量。
上述车辆驾驶辅助装置的动作方法还包括如下步骤：在从上述立体摄像头模块接收对应的帧，并在该帧中执行针对上述多个动作的作为第二次调度之后的调度的第三次调度的情况下，反映上述各动作的执行时间变化量。
上述车辆驾驶辅助装置的动作方法还包括将基于根据各调度的多个动作中的各动作执行的画面输出到显示器的步骤。
上述车辆驾驶辅助装置的动作方法还包括将测定出的上述上述多个动作中的各动作的执行时间存储唉存储器中的步骤。
如上所述构成的本发明的至少一个实施例的效果如下。
第一，在包括立体摄像头的车辆驾驶辅助装置中，测定已经执行的各动作的执行时间，并基于测定出的各动作的执行时间而执行多个动作的调度，因此具有能有效地使用处理器的效果。
第二，通过有效地使用处理器，具有处理器负载减小的效果。
第三，具有能更稳定地处理立体影像的效果。
第四，具有能够对用户提供根据立体影像的稳定处理的信息的效果。
本发明的效果不限于以上提及的效果，本领域技术人员应该能够根据权利要求书的记载而清楚地理解未提及的其他效果。
附图说明
图1是示出了根据本发明的一个实施例的具备立体摄像头的车辆的外观的图。
图2是示出了附着于图1的车辆上的立体摄像头的外观的图。
图3A至图3B示出了根据本发明的一个实施例的车辆驾驶辅助装置的内部框图的各种各样的例子。
图4A至图4B示出了图3A至图3B的处理器的内部框图的各种各样的例子。
图5A至图5B是在图4A至图4B的处理器的动作说明中所参照的图。
图6A至图6B是在图3A至图3B的车辆驾驶辅助装置的动作说明中所参照的图。
图7是图1的车辆内部的电子控制装置的内部框图的一个例子。
图8A至图8B是根据本发明的实施例的在说明车辆驾驶辅助装置的动作时所参照的流程图。
图9是根据本发明的实施例对车辆驾驶辅助装置进行说明时所参照的处理器的内部框图。
图10举例示出了根据本发明的实施例车辆驾驶辅助装置具备多个处理器的情况。
图11A至图11B是在说明根据本发明的实施例的车辆驾驶辅助装置的动作时所参照的处理器的内部框图。
图12是根据本发明的实施例而在相同的状况下对第一动作及第二动作的执行时间进行比较时所参照的图。
图13A至图17是根据本发明的实施例而在不同的状况下执行第一动作及第二动作的情况下、对执行时间进行比较时所参照的图。
附图标记说明
100:车辆驾驶辅助装置
140:第一存储器
141:DB
195:立体摄像头
170:处理器
180:显示器
410:前处理部
910:调度部
930:动作执行部
950:执行时间预测部
具体实施方式
以下，参照附图对本说明书所公开的实施例进行详细说明，与附图编号无关而相同或类似的结构要素被赋予相同的附图标记，并省略对此的重复说明。以下说明中所使用的针对结构要素的结尾词“"模块”及“部”是考虑到容易制作说明书而赋予或混用，其自身并不具有相互区别的意思或作用。并且，当说明本说明书中公开的实施例时，在判断为对相关的公知技术的具体说明会影响本说明书中公开的实施例的要点的情况下，省略其详细的说明。并且，附图只是为了供人们容易理解本说明书中公开的实施例，附图并不限制本说明书中公开的技术思想，应理解为包括本发明的思想及技术范围内所包含的所有变更、等同物以及替代物。
第一、第二等包括序数的技术用语能够用于说明各种各样的结构要素，但上述结构要素不受上述技术用语的限制。上述技术用语仅用作将一个结构要素区别于另一个结构要素的目的。
当提及了某个结构要素与另一个结构要素“连结”或“连接”时，应该理解成虽然能够与该另一个结构要素直接连结或连接，但也可以在中间存在其他结构要素。相反，当提及了某个结构要素与另一个结构要素“直接连结”或“直接连接”时，应理解成在中间不存在其他结构要素。
只要在上下文中没有明确指出不同的意思，则单数的表达包括多个的表达。
在本申请中，应理解成“包括”或“具有”等技术用语用于指定说明书中记载的特征、数字、步骤、动作、结构要素、部件或者它们的组合的存在，并不是预先排除一个或其以上的其他特征或数字、步骤、动作、结构要素、部件或它们的组合的存在或附加可能性。
以下参照附图对本发明进行更详细的说明。
本说明书中记载的车辆可以是包括汽车、摩托车的概念。以下，关于车辆主要说明汽车。
另外，本说明书中记载的车辆可以是包括具备发动机的车辆、具备发动机和电动马达的混合动力车辆、具备电动马达的电动车辆等的概念。以下，主要说明具备发动机的车辆。
另外，本说明书中记载的车辆驾驶辅助装置可以称为前置车辆驾驶辅助系统(Advanced Driver Assistance Systems，ADAS)或者前置车辆驾驶辅助装置(AdvancedDriver Assistance Apparatus，ADAA)。以下对根据本发明的各种各样的实施例的车辆的车辆驾驶辅助装置及具备该车辆驾驶辅助装置的车辆进行说明。
图1是示出了根据本发明的一个实施例的具备立体摄像头的车辆的外观的图。
参照附图，车辆200可以具备：通过动力源进行旋转的车轮103FR、103FL、103RL、..、用于调节车辆200的行进方向的方向盘150、以及设置于车辆200内部的立体摄像头195。
立体摄像头195可以具备多个摄像头，由多个摄像头获取的立体影像可以在车辆驾驶辅助装置(图3的100)内进行信号处理。
另外，附图中示出了立体摄像头195具备两个摄像头的例子。
图2是示出了附着于图1的车辆上的立体摄像头的外观的图。
参照附图，立体摄像头模块195可以具有具备第一镜头193a的第一摄像头195a、具备第二镜头193b的第二摄像头195b。
另外，立体摄像头模块195可以具备分别用于遮蔽入射到第一镜头193a和第二镜头193b的光的第一遮光部(light shield)192a和第二遮光部192b。
附图的立体摄像头模块195可以是能够对车辆200的顶棚或前表面玻璃进行装卸的结构。
具备这种立体摄像头模块195的车辆驾驶辅助装置(图3的100)从立体摄像头模块195获取针对车辆前方的立体影像，并基于立体影像来执行差异(disparity)检测，基于差异信息来执行针对至少一个立体影像的目标检测，在目标检测之后，继续跟踪目标的移动。
图3A至图3B示出了根据本发明的一个实施例的车辆驾驶辅助装置的内部框图的各种各样的例子。
图3A至图3B的车辆驾驶辅助装置100可以根据计算机视觉(computer vision)基础对从立体摄像头195接收的立体影像进行信号处理，从而生成车辆相关信息。在此，车辆相关信息可以包括用于直接对车辆进行控制的车辆控制信息或者用于对车辆驾驶员进行驾驶引导的车辆驾驶辅助信息。
首先，参照图3A，图3A的车辆驾驶辅助装置100可以包括通信部120、接口部130、第一存储器140、处理器170、电源供给部190以及立体摄像头195。
通信部120能够与移动终端600或服务器500以无线(wireless)方式交换数据。尤其，通信部120能够与车辆驾驶员的移动终端以无线方式交换数据。作为无线数据通信方式，能够使用蓝牙(Bluetooth)、WiFi Direct、WiFi、APiX等各种各样的数据通信方式。
通信部120能够从移动终端600或服务器500接收天气信息、道路的交通状况信息、例如TPEG(Transport Protocol Expert Group)信息。另外，在车辆驾驶辅助装置100中，还能够将基于立体影像而掌握的实时交通信息发送给移动终端600或服务器500。
另外，在用户搭乘在车辆中的情况下，用户的移动终端600和车辆驾驶辅助装置100能够自动地或者通过用户的应用程序的执行而相互执行配对(pairing)。
接口部130能够接收车辆相关数据，或者将在处理器170中进程处理或生成的信号发送至外部。为此，接口部130能够通过有线通信或无线通信方式，与车辆内部的控制部770、AVN(Audio Video Navigation：音视频导航)装置400、传感器部760等执行数据通信。
接口部130能够通过与AVN装置400的数据通信而接收与车辆行驶相关的地图(map)信息。例如，AVN装置400包括导航仪，接口部130从上述导航仪接收针对地图(map)及地图上的车辆的位置的信息，并传递给处理器170。
另外，接口部130能够从控制部770或传感器部760接收传感器信息。
在此，传感器信息可以包括车辆的滑移程度、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。
这种传感器信息能够从车轮速度传感器、航向传感器(heading sensor)、偏摆传感器(yaw sensor)、陀螺传感器(gyro sensor)、位置模块(position module)、车辆前进/后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、车身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等中获取。另外，位置模块可以包括用于接收GPS信息的GPS模块。
另外，将传感器信息中与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆斜度信息等命名为车辆行驶信息。
第一存储器140能够存储用于处理器170的处理或控制的程序等、用于车辆驾驶辅助装置100总体的动作的各种各样的数据。
第一存储器140与处理器170电连接，能够存储针对单元的基本数据、用于单元的动作控制的控制数据、进行输入输出的数据。第一存储器140可以是ROM、RAM、EPROM、闪存器、硬盘等之类的各种各样的存储设备。
另外，第一存储器140能够存储测定出的多个动作中的各动作的执行时间。具体而言，第一存储器140所具备的DB141能够存储在执行时间测定部950中测定的多个动作中的各动作的执行时间。例如，DB141能够以帧为单位存储第一至第三各动作的执行时间。
音频输入部(未图示)能够被输入用户声音。为此，可以具备麦克风。所接收的声音能够转换成电信号，并传递给处理器170。
处理器170对车辆驾驶辅助装置100内的各单元的总体动作进行控制。
尤其，处理器170能够执行计算机视觉(computer vision)基础的信号处理。随之，处理器170从立体摄像头195获取针对车辆前方的立体影像，并基于立体影像，执行针对车辆前方的差异运算，基于运算出的差异信息，执行针对立体影像中至少一个的目标检测，在目标检测之后，继续跟踪目标的移动。
尤其，处理器170在目标检测时能够执行行车线检测(Lane Detection，LD)、周边车辆检测(Vehicle Detection，VD)、行人检测(Pedestrian Detection，PD)、灯光检测(Brightspot Detection，BD)、交通标志牌检测(Traffic Sign Recognition，TSR)、道路表面检测等。
而且，处理器170能够执行相对于检测出的周边车辆的距离运算、检测出的周边车辆的速度运算、与检测出的周边车辆之间的速度差异运算等。
另外，处理器170能够基于立体影像而生成行驶中的道路的路面信息。例如，处理器170能够基于立体影像内的亮度数据的差异，区分为干燥(dry)状态、潮湿(wet)状态、积雪(snow)状态、结冰(ice)状态。具体而言，积雪状态的亮度最高，干燥(dry)状态、结冰状态、潮湿状态依次其亮度降低，通过对亮度进行区分，能够分别区分为干燥(dry)状态、潮湿(wet)状态、积雪(snow)状态、结冰(ice)状态。作为另一个例子，车辆驾驶辅助装置100的处理器170能够基于影像内的发光强度(intensity)和曝光量(exposure)，区分为干燥(dry)状态、潮湿(wet)状态、积雪(snow)状态、结冰(ice)状态。处理器170能够基于道路前方的上坡或下坡及路面信息将用于控制制动器驱动部的控制信号输出到控制部770。
另外，处理器170能够通过通信部120接收天气信息、道路的交通状况信息、例如TPEG(Transport Protocol Expert Group)信息。
另外，处理器170还能够实时地掌握在车辆驾驶辅助装置100中以立体影像为基础来掌握的车辆周边交通状况信息。
另外，处理器170能够通过接口部130从AVN装置400接收地图信息等。
另外，处理器170能够通过接口部130从控制部770或传感器部760接收传感器信息。在此，传感器信息可以包括车辆滑移信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。并且，处理器170能够通过接口部130从控制部770接收车辆所具备的各个单元的控制信息。
另外，处理器170能够接收由导航仪提供的在车辆200处于行驶中的道路中除去立体影像中所显示的区域以外的道路信息，从而对道路状态进行预测。具体而言，处理器170能够对立体影像中未显示的车辆前方或后方的道路状态进行预测。在此，道路状态可以包括道路的弯道、隧道及行车线数。
另外，处理器170能够由DSP(digital signal processor)、ASIC(applicationspecific integrated circuit)或者微型控制器(microcontroller)形成，并安装在预定的电路板的一面上。
电源供给部190能够通过处理器170的控制而供给各结构要素的动作所需的电源。尤其，电源供给部190能够接受从车辆内部的电池等提供的电源。
立体摄像头195可以具备多个摄像头。以下如图2等所示，当作具备两个摄像头。
立体摄像头195能够在车辆200的顶棚或避风屏(wind shield)上进行装卸，可以具有具备第一镜头193a的第一摄像头195a、具备第二镜头193b的第二摄像头195b。
另外，立体摄像头195可以具备用于分别遮蔽入射到第一镜头193a和第二镜头193b中的光的第一遮光部(light shield)192a和第二遮光部192b。
然后，参照图3B，图3B的车辆驾驶辅助装置100与图3A的车辆驾驶辅助装置100相比，还可以具备输入部110、显示器180、音频输出部185。以下，仅对输入部110、显示器180、音频输出部185进行说明。
输入部110可以具备附着于车辆驾驶辅助装置100、尤其立体摄像头195上的多个按钮或触摸屏。通过多个按钮或触摸屏，能够使车辆驾驶辅助装置100的电源接通并进行动作。此外，还能够执行各种各样的输入动作。
音频输出部185基于处理器170中所处理的音频信号而将声音输出到外部。为此，音频输出部185可以具备至少一个扬声器。
显示器180能够显示与车辆驾驶辅助装置的动作相关的影像。为了显示这种影像，显示器180可以包括车辆内部前表面的组件(cluster)或HUD(Head Up Display)。另外，在显示器180为HUD的情况下，可以包括对车辆200的前面玻璃投射影像的投射模块。
另外，显示器180能够输出通过按照调度执行动作而生成的画面。例如，在调度部910执行调度，并由动作执行部930基于调度来执行多个动作的情况下，显示器180能够输出基于所执行的动作的画面。显示器180按照处理器170的控制，能够显示通过按照第一调度执行多个动作中的各动作生成的画面或者通过按照第二调度执行多个动作中的各动作生成的画面。显示器180按照处理器170的控制，能够显示通过按照第一调度执行第一至第三动作生成的画面或者通过按照第二调度执行第一至第三动作生成的画面。
如果，在按照第一调度执行行车线检测(Lane Detection)、行人检测(PedestrianDetection)、周边车辆检测(Vehicle Detection)的情况下，能够在显示器180上显示通过执行行车线检测生成的行车线显示画面、通过执行行人检测生成的与行人之间的距离画面、通过执行周边车辆检测生成的周边车辆的速度等。
图4A至图4B示出了图3A至图3B的处理器的内部框图的各种各样的例子，图5A至图5B是在说明图4A至图4B的处理器的动作时所参照的图。
首先，参照图4A，图4A是处理器170的内部框图的一个例子，车辆驾驶辅助装置100内的处理器170可以包括影像前处理部410、差异运算部420、目标检测部434、目标跟踪部440、以及应用程序部450。
影像前处理部(image preprocessor)410接收来自立体摄像头195的立体影像，并执行前处理(preprocessing)。
具体而言，影像前处理部410能够执行针对立体影像的噪声降低(noisereduction)、改正(rectification)、校准(calibration)、颜色增强(color enhancement)、颜色空间转换(color space conversion；CSC)、内插(interpolation)、摄像头增益控制(camera gain control)等。随之，能够获取比立体摄像头195中所拍摄的立体影像更加鲜明的立体影像。
差异运算部(disparity calculator)420接收在影像前处理部410中进行了信号处理的立体影像，执行针对所接收的立体影像的立体匹配(stereo matching)，获取按照立体匹配的差异地图(dispartiy map)。即，能够获取关于车辆前方的针对立体影像的差异信息。
此时，立体匹配能够以立体影像的像素单位或者预定块单位执行。另外，差异地图是指将立体影像、即左、右影像的时差信息(binocular parallax information)用数值来表示的地图。
分割部(segmentation unit)432能够基于来自差异运算部420的差异信息，针对立体影像中的至少一个，执行分割(segment)及分组(clustering)。
具体而言，分割部432能够基于差异信息，针对立体影像中的至少一个，分离背景(background)和前景(foreground)。
例如，能够将差异地图中的差异信息为预定值以下的区域运算成背景，并除去相应部分。由此，能够相对地分离前景。
作为另一个例子，能够将差异地图中的差异信息为预定值以上的区域运算成前景，并抽取相应部分。由此，能够分离前景。
如此，基于以立体影像为基础来抽取的差异信息，分离前景和背景，从而在之后的目标检测时能够降低信号处理速度、信号处理量等。
然后，目标检测部(object detector)434能够基于来自分割部432的影像分割，检测目标。
即，目标检测部434能够基于差异信息，针对立体影像中的至少一个，检测目标。
具体而言，目标检测部434能够针对立体影像中的至少一个，检测目标。例如，能够从通过影像分割而分离的前景检测出目标。
然后，目标确认部(object verification unit)436对所分离的目标进行分类(classify)，并进行确认(verify)。
为此，目标确认部436能够使用利用神经式网络(neural network)的识别法、SVM(Support Vector Machine)方法、利用Haar-like特征的利用AdaBoost识别的方法、或者HOG(Histograms of Oriented Gradients)方法等。
另外，目标确认部436能够对存储在第一存储器140中的目标和检测出的目标进行比较，从而确认目标。
例如，目标确认部436能够确认位于车辆周边的周边车辆、行车线、道路表面、标志牌、危险区域、隧道等。
目标跟踪部(object tracking unit)440执行针对所确认的目标的跟踪。例如，能够按顺序确认所获取的立体影像中的目标，对所确认的目标的移动或移动矢量进行运算，基于运算出的移动或移动矢量，跟踪相应目标的移动等。随之，能够跟踪位于车辆周边的周边车辆、行车线、道路表面、标志牌、危险区域、隧道等。
然后，应用程序部450能够基于位于车辆周边的各种各样的目标、例如其他车辆、行车线、道路表面、标志牌等，对车辆200的危险程度等进行运算。并且，能够运算与前车的碰撞可能性、车辆的滑移与否等。
而且，应用程序部450能够基于运算出的危险程度、碰撞可能性、或滑移与否等，将用于告知用户这种信息的消息等作为车辆驾驶辅助信息而输出。或者，还能够将用于车辆200的姿态控制或行驶控制的控制信号作为车辆控制信息而生成。
图4B是处理器的内部框图的另一个例子。
参照附图，图4B的处理器170与图4A的处理器170相比，内部结构单元相同，但信号处理顺序不同这一点上存在差别。以下，仅说明该差别。
目标检测部434能够接收立体影像，并针对立体影像中的至少一个，检测目标。不同于图4A，不是基于差异信息而对分割后的影像检测目标，而是能够从立体影像直接检测目标。
然后，目标确认部(object verification unit)436基于来自分割部432的影像分割、及在目标检测部434检测出的目标，对检测及分离后的目标进行分类(classify)，并进行确认(verify)。
为此，目标确认部436能够使用利用神经式网络(neural network)的识别法、SVM(Support Vector Machine)方法、利用Haar-like特征的利用AdaBoost识别的方法、或者HOG(Histograms of Oriented Gradients)方法等。
图5A和图5B是在以第一及第二帧区间中分别获取的立体影像为基础来说明图4A的处理器170的动作方法时所参照的图。
首先，参照图5A，在第一帧区间期间，立体摄像头195获取立体影像。
处理器170内的差异运算部420接收在影像前处理部410进行了信号处理的立体影像FR1a、FR1b，执行针对所接收的立体影像FR1a、FR1b的立体匹配，获取差异地图(dispartiy map)520。
差异地图(dispartiy map)520是对立体影像FR1a、FR1b之间的时差进行了水平划分，并且能够运算成，差异水平越大，与车辆之间的距离越近，差异水平越小，与车辆之间的距离越远。
另外，在显示这种差异地图的情况下，能够显示成差异水平越大，具有越高的亮度，差异水平越小，具有越低的亮度。
在附图中示出了如下情况，在差异地图520内第一行车线至第四行车线528a、528b、528c、528d等分别具有相应的差异水平，施工区域522、第一前方车辆524、第二前方车辆526分别具有相应的差异水平。
分割部432和目标检测部434、目标确认部436基于差异地图520，执行针对立体影像FR1a、FR1b中的至少一个的分割、目标检测及目标确认。
在附图中示出了如下情况，使用差异地图520，执行针对第二立体影像FR1b的目标检测及确认。
即，能够在影像530内，对第一行车线至第四行车线538a、538b、538c、538d、施工区域532、第一前方车辆534、第二前方车辆536执行目标检测及确认。
然后，参照图5B，在第二帧区间期间，立体摄像头195获取立体影像。
处理器170内的差异运算部420接收在影像前处理部410进行了信号处理的立体影像FR2a、FR2b，执行针对所接收的立体影像FR2a、FR2b的立体匹配，获取差异地图(dispartiy map)540。
在附图中示出了如下情况，在差异地图540内，第一行车线至第四行车线548a、548b、548c、548d等分别具有相应的差异水平，施工区域542、第一前方车辆544、第二前方车辆546分别具有相应的差异水平。
分割部432和目标检测部434、目标确认部436基于差异地图540，执行针对立体影像FR2a、FR2b中的至少一个的分割、目标检测及目标确认。
在附图中示出了如下情况，使用差异地图540，执行针对第二立体影像FR2b的目标检测及确认。
即，能够在影像550内对第一行车线至第四行车线558a、558b、558c、558d、施工区域552、第一前方车辆554、第二前方车辆556执行目标检测及确认。
另外，目标跟踪部440能够对图5A和图5B进行比较，执行针对确认出的目标的跟踪。
具体而言，目标跟踪部440能够基于在图5A和图5B中确认出的各目标的移动或移动矢量，跟踪相应目标的移动等。随之，能够执行针对位于车辆周边的行车线、施工区域、第一前方车辆、第二前方车辆等的跟踪。
图6A至图6B是在说明图3的车辆驾驶辅助装置的动作时所参照的图。
首先，图6A是示出了在车辆内部所具备的立体摄像头195中拍摄的车辆前方状况的图。尤其，用鸟瞰图(bird eye view)来显示车辆前方状况。
参照附图可知，从左侧到右侧，依次存在第一行车线642a、第二行车线644a、第三行车线646a、第四行车线648a，在第一行车线642a与第二行车线644a之间存在施工区域610a，在第二行车线644a与第三行车线646a之间存在第一前方车辆620a，在第三行车线646a与第四行车线648a之间配置有第二前方车辆630a。
然后，图6B示出了将由车辆驾驶辅助装置掌握的车辆前方状况与各种信息一起显示的情况。尤其，如图6B的影像还能够在车辆驾驶辅助装置所提供的显示器180或AVN装置400中显示。
图6B不同于6a，示出了以在立体摄像头195中拍摄的影像为基础来显示信息的情况。
参照附图可知，从左侧到右侧依次存在第一行车线642b、第二行车线644b、第三行车线646b、第四行车线648b，在第一行车线642b与第二行车线644b之间存在施工区域610b，在第二行车线644b与第三行车线646b之间存在第一前方车辆620b，在第三行车线646b与第四行车线648b之间配置有第二前方车辆630b。
车辆驾驶辅助装置100能够以立体摄像头195中拍摄的立体影像为基础而进行信号处理，确认针对施工区域610b、第一前方车辆620b、第二前方车辆630b的目标。并且，能够确认第一行车线642b、第二行车线644b、第三行车线646b、第四行车线648b。
另外，在附图中示出了如下情况，为了表示针对施工区域610b、第一前方车辆620b、第二前方车辆630b的目标确认，分别用轮廓突出显示。
另外，车辆驾驶辅助装置100能够以立体摄像头195中所拍摄的立体影像为基础，运算针对施工区域610b、第一前方车辆620b、第二前方车辆630b的距离信息。
在附图中示出了显示有分别与施工区域610b、第一前方车辆620b、第二前方车辆630b对应的运算出的第一距离信息611b、第二距离信息621b、第三距离信息631b的情况。
另外，车辆驾驶辅助装置100能够从控制部770或传感器部760接收针对车辆的传感器信息。尤其，能够接收车辆速度信息、齿轮信息、表示车辆的旋转角(偏摆角)发生变化的速度的偏摆率信息(yaw rate)、车辆的角度信息。并且显示这些信息。
在附图中示出了在车辆前方影像上部670显示车辆速度信息672、齿轮信息671、偏摆率信息673、并且在车辆前方影像下部680显示车辆的角度信息682的情况，但能够适用各种各样的例子。此外，车辆的宽度信息683、道路的曲率信息681能够与车辆的角度信息682一起显示。
另外，车辆驾驶辅助装置100能够通过通信部120或接口部130来接收针对车辆行驶中的道路的速度限制信息等。在附图中示出了显示有速度限制信息640b的情况。
车辆驾驶辅助装置100可以通过显示器180等来显示图6B所示的各种各样的信息，但与此不同，也可以无特殊显示而存储各种信息。而且，能够利用这种信息来有效应用于各种各样的应用程序中。
图7是图1的车辆内部的电子控制装置的内部框图的一个例子。
参照附图，车辆200可以具备用于车辆控制的电子控制装置700。电子控制装置700能够与上述的车辆驾驶辅助装置100及AVN装置400交换数据。
电子控制装置700可以具备输入部710、通信部730、第二存储器740、灯驱动部751、转向驱动部752、制动器驱动部753、动力源驱动部754、天窗驱动部755、悬架装置驱动部756、空调驱动部757、车窗驱动部758、气囊驱动部759、传感器部760、控制部770、显示部780、音频输出部785及电源供给部790。
输入部710可以具备配置在车辆200内部的多个按钮或触摸屏。通过多个按钮或触摸屏，能够执行各种各样的输入动作。
通信部730能够以无线(wireless)方式与移动终端600或服务器500交换数据。尤其，通信部730能够以无线方式与车辆驾驶员的移动终端交换数据。作为无线数据通信方式，可以使用蓝牙(Bluetooth)、WiFi Direct、WiFi、APiX等各种各样的数据通信方式。
通信部730能够从移动终端600或服务器500接收天气信息、道路的交通状况信息、例如TPEG(Transport Protocol Expert Group)信息。
另外，在用户搭乘在车辆中的情况下，用户的移动终端600和电子控制装置700能够自动地或者通过用户的应用程序的执行来相互执行配对。
第二存储器740能够存储用于控制部770的处理或控制的程序等、用于电子控制装置700总体的动作的各种各样的数据。
第二存储器740与控制部770电连接，能够存储针对单元的基本数据、用于单元的动作控制的控制数据、进行输入输出的数据。第二存储器740可以是ROM、RAM、EPROM、闪存器、硬盘等之类的各种各样的存储设备。
灯驱动部751能够对配置在车辆内部、外部的灯的接通/断开进行控制。并且，能够控制灯的光的强度、方向等。例如，能够执行针对方向指示灯、制动器灯等的控制。
转向驱动部752能够执行针对车辆200内的转向装置(steering apparatus)(未图示)的电子式控制。由此，能够对车辆的行进方向进行变更。
制动器驱动部753能够执行针对车辆200内的制动器装置(brake apparatus)(未图示)的电子式控制。例如，能够对配置在车轮上的制动器的动作进行控制，从而降低车辆200的速度。作为另一个例子，使分配配置在左侧车轮和右侧车轮上的制动器的动作不同，从而能够将车辆200的行进方向向左侧或右侧进行调整。
动力源驱动部754能够执行针对车辆200内的动力源的电子式控制。
例如，在化石燃料基础的发动机(未图示)作为动力源的情况下，动力源驱动部754能够执行针对发动机的电子式控制。由此，能够对发动机的输出转矩等进行控制。在动力源驱动部754为发动机的情况下，能够按照控制部770的控制，对发动机输出转矩进行限制而限制车辆的速度。
作为另一个例子，在基于电的马达(未图示)为动力源的情况下，动力源驱动部754能够执行针对马达的控制。由此，能够对马达的转速、转矩等进行控制。
天窗驱动部755能够执行针对车辆200内的天窗装置(sunroof apparatus)(未图示)的电子式控制。例如，能够对天窗的打开或关闭进行控制。
悬架装置驱动部756能够执行针对车辆200内的悬架装置(suspensionapparatus)(未图示)电子式控制。例如，在道路表面上存在弯曲的情况下，通过对悬架装置进行控制，能够控制成使车辆200的振动减少。
空调驱动部757能够执行针对车辆200内的空调装置(air cinditioner)(未图示)的电子式控制。例如，在车辆内部的温度较高的情况下，空调装置进行动作，从而能够控制成使冷气供给到车辆内部。
车窗驱动部758能够执行针对车辆200内的车窗装置(window apparatus)(未图示)的电子式控制。例如，能够对车辆的侧面的左、右车窗的打开或关闭进行控制。
气囊驱动部759能够执行针对车辆200内的气囊装置(airbag apparatus)的电子式控制。例如，但存在危险时，能够控制成使气囊膨胀。
传感器部760对与车辆100的行驶等相关的信号进行传感。为此，传感器部760可以具备航向传感器(heading sensor)、偏摆传感器(yaw sensor)、陀螺传感器(gyrosensor)、位置模块(position module)、车辆前进/后退传感器、车轮传感器(wheelsensor)、车辆速度传感器、车身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等。
由此，传感器部760能够获取针对车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息等的传感信号。
另外，除此之外，传感器部760还可以具备加速踏板传感器、压力传感器、发动机转速传感器(engine speed sensor)、空气流量传感器(AFS)、进气温度传感器(ATS)、水温传感器(WTS)、节流阀位置传感器(TPS)、TDC传感器、曲轴转角传感器(CAS)等。
控制部770能够对电子控制装置700内的各单元的总体动作进行控制。在此，控制部770可以是ECU(电子控制单元)。
通过由输入部710进行的输入，能够执行特定动作，或者接收由传感器部760传感的信号，并发送到车辆驾驶辅助装置100，从AVN装置400接收地图信息，对各种驱动部751、752、753、754、756的动作进行控制。
并且，控制部770能够从通信部730接收天气信息、道路的交通状况信息、例如TPEG(Transport Protocol Expert Group)信息。
显示部780能够显示与车辆驾驶辅助装置的动作相关的影像。为了显示这种影像，显示部780可以包括车辆内部前表面的组件(cluster)或HUD(Head Up Display)。另外，在显示部780为HUD的情况下，可以包括对车辆200的前面玻璃投射影像的投射模块。另外，显示部780可以包括能够进行输入的触摸屏。
音频输出部785将来自控制部770的电信号转换成音频信号后进行输出。为此，可以具备扬声器等。音频输出部785还能够输出与输入部710、即按钮的动作相对应的声音。
电源供给部790能够通过控制部770的控制而供给各结构要素的动作所需的电源。尤其，电源供给部790能够接受从车辆内部的电池(未图示)等提供的电源。
图8A至图8B是根据本发明的实施例的说明车辆驾驶辅助装置的动作时所参照的流程图。
参照图8A，处理器170接收立体影像(S810)。立体影像可以包括多个帧。车辆驾驶辅助装置100中所包含的立体摄像头模块195能够连续获取立体影像，处理器170能够从立体摄像头模块195连续接收立体影像。例如，处理器170能够接收第一帧。接着，处理器170能够接收第二帧。接着，处理器170能够接收第三帧。在此，第一至第三帧可以是按照所获取的顺序从立体摄像头模块195传递给处理器170的立体影像。第一至第三帧表示由处理器170按时间的经过接收的帧，但并不意味着必须在第一帧之后接收第二帧，而且在第二帧之后接收第三帧。即，在第一及第二帧之间可以包括至少一个帧，并且，在第二及第三帧之间可以包括至少一个帧。
若接收到立体影像，则处理器170能够执行前处理(preprocessing)(S815)。
例如，处理器170能够执行针对立体影像的噪声降低(noise reduction)、改正(rectification)、校准(calibration)、颜色增强(color enhancement)、颜色空间转换(color space conversion；CSC)、内插(interpolation)、摄像头增益控制(camera gaincontrol)等。随之，能够获取比在立体摄像头195中拍摄的立体影像更加鲜明的立体影像。
另外，处理器170能够执行3D(Three Dimensional)基础的前处理及2D(TwoDimensional)基础的前处理。例如，处理器170能够执行3D基础的前处理。在此，3D基础的前处理能够用于执行检测与预定目标之间的距离的动作。例如，处理器170能够执行2D基础的前处理。在此，2D基础的前处理能够用于执行目标检测动作。处理器170在执行动作时，能够适当选择3D或2D基础的前处理来利用。或者，处理器170能够对3D或2D基础的前处理进行组合而利用。
另外，前处理的执行能够在处理器170所具备的前处理部410中执行。
在执行前处理后，处理器170能够执行对多个动作的调度(S820)。在此，调度可以是对多个动作中的各动作预测执行时间对多个动作类别中的各动作设定执行顺序的动作。此时，处理器170能够基于对多个动作中的各动作测定出的执行时间来执行调度。在此，测定出的执行时间可以是在S895步骤中测定出的执行时间。或者，测定出的执行时间可以是在S897步骤中存储在DB141中的执行时间。
处理器170能够从立体摄像头模块195接收第一帧，并针对第一帧执行对多个动作的第一调度。接着，处理器170能够按照第一调度，执行多个动作。接着，处理器170能够测定按照第一调度执行的多个动作中的各动作的执行时间。接着，处理器170能够从立体摄像头模块195接收第二帧，并针对第二帧执行对多个动作的第二调度。此时，处理器170能够基于测定出的多个动作中的各动作的执行时间来执行第二调度。
例如，处理器170能够从立体摄像头模块195接收第一帧，并针对第一帧执行对第一至第三动作的第一调度。接着，处理器170能够按照第一调度，执行第一至第三动作。接着，处理器170能够测定按照第一调度执行的第一至第三各动作的执行时间。接着，处理器170能够从立体摄像头模块195接收第二帧，并针对第二帧执行对第一至第三动作的第二调度。此时，处理器170能够基于测定出的第一至第三各动作的执行时间来执行第二调度。
然后，处理器170能够按照第二调度，执行第一至第三动作。接着，处理器170能够测定按照第二调度执行的第一至第三各动作的执行时间。接着，处理器170能够从立体摄像头模块195接收第三帧，并针对第三帧执行对第一至第三动作的第三调度。此时，处理器170在执行与第二调度对应的第一至第三动作时，能够基于测定出的第一至第三各动作的执行时间来执行第二调度。
然后，处理器170能够从立体摄像头模块195接收第四帧，并针对第四帧，基于测定出的与之前的调度对应的各动作的执行时间，来执行对第一至第三动作的第四调度，并按照第四调度执行第一至第三动作，并测定各动作的执行时间，处理器170能够反复执行该过程。
另外，在执行第二调度后，处理器170能够按照第二调度执行多个动作。接着，处理器170能够测定按照第二调度执行的多个动作中的各动作的执行时间。接着，处理器170能够基于测定出的按照第一调度执行的多个动作中的各动作的执行时间以及测定出的按照第二调度执行的多个动作中的各动作的执行时间，并计算出多个动作中的各动作的执行时间的变化量。
例如，处理器170能够按照第一调度执行第一动作，并测定第一动作执行时间。并且，处理器170能够按照第二调度执行第一动作，并测定第一动作执行时间。接着，处理器170能够基于按照第一调度执行的第一动作执行时间及按照第二调度执行的第一动作执行时间，来计算出第一动作执行时间的变化量。
例如，处理器170能够按照第一调度执行第二动作，并测定第二动作执行时间。并且，处理器170能够按照第二调度执行第二动作，并测定第二动作执行时间。接着，处理器170能够基于按照第一调度执行的第二动作执行时间及按照第二调度执行的第二动作执行时间，来计算出第二动作执行时间的变化量。
例如，处理器170能够按照第一调度执行第三动作，并测定第三动作执行时间。并且，处理器170能够按照第二调度执行第三动作，并测定第三动作执行时间。接着，处理器170能够基于按照第一调度执行的第三动作执行时间及按照第二调度执行的第三动作执行时间，来计算出第三动作执行时间的变化量。
另外，在从立体摄像头模块195接收第三帧，并针对第三帧执行对第一至第三动作的第三调度的情况下，处理器170能够反应各动作的执行时间的变化量。例如，处理器170能够通过对测定出的按照第二调度执行的第一至第三动作的执行时间分别加上第一至第三各动作的执行时间的变化量，来预测第一至第三各动作的执行时间。接着，处理器170能够设定第一至第三动作中的各动作的执行顺序。
可以在处理器170所具备的调度部910执行调度。具体而言，调度部910中所包含的执行时间预测部913能够针对多个动作中的各动作预测执行时间。调度部910中所包含的执行顺序设定部915能够对多个动作分别设定执行顺序。
关于调度，参照图8B进行详细说明。
在完成调度的情况下，处理器170能够按照调度执行多个动作(S890)。多个动作可以在动作执行部930中执行。
例如，动作执行部930能够在第一帧上按照第一调度来执行第一动作931、第二动作932及第三动作933。并且，动作执行部930能够在第二帧上按照第二调度来执行第一动作931、第二动作932及第三动作933。并且，动作执行部930能够在第三帧上按照第三调度来执行第一动作931、第二动作932及第三动作933。
在按照调度执行了动作之后，处理器170能够针对多个动作中的各动作测定执行时间(S895)。
例如，处理器170能够针对第一帧测定出按照第一调度执行第一动作所需的时间。并且，处理器170能够针对第二帧测定出按照第二调度执行第一动作所需的时间。并且，处理器170能够针对第三帧测定出按照第三调度执行第一动作所需的时间。
例如，处理器170能够针对第一帧测定出按照第一调度执行第二动作所需的时间。并且，处理器170能够针对第二帧测定出按照第二调度执行第二动作所需的时间。并且，处理器170能够针对第三帧测定出按照第三调度执行第二动作所需的时间。
例如，处理器170能够针对第一帧测定出按照第一调度执行第三动作所需的时间。并且，处理器170能够针对第二帧测定出按照第二调度执行第三动作所需的时间。并且，处理器170能够针对第三帧测定出按照第三调度执行第三动作所需的时间。
对多个动作中的各动作的执行时间的测定可以在执行时间测定部950中执行。
在完成对多个动作中的各动作的执行时间的测定的情况下，处理器170能够将测定出的执行时间存储到DB141中(S897)。在此，DB141可以表示第一存储器140所具备的规定的数据库。
例如，处理器170能够在第一帧中将测定出的第一至第三动作执行时间存储到DB141中。例如，处理器170能够将针对第二帧测定出的第一至第三动作执行时间存储到DB141中。例如，处理器170能够将针对第三帧测定出的第一至第三动作执行时间存储到DB141中。
图8B是根据本发明的实施例的图8A中的S820步骤的详细流程图。
参照图8B，在执行前处理之后，处理器170能够预测多个动作中的各动作的执行时间(S82)。
处理器170能够基于在前一个帧中测定出的多个动作中的各动作的执行时间，在下一个帧中预测多个动作中的各动作的执行时间。
根据第一实施例，处理器170能够基于针对第一帧测定出的多个动作中的各动作的执行时间，来针对第二帧预测多个动作中的各动作的执行时间。处理器170能够基于针对第二帧测定出的多个动作中的各动作的执行时间，来针对第三帧预测多个动作中的各动作的执行时间。
根据第二实施例，处理器170测定按照第一调度执行的多个动作中的各动作的执行时间。接着，处理器170测定按照第二调度执行的多个动作中的各动作的执行时间。接着，处理器170能够基于测定出的按照第一调度执行的多个动作中的各动作的执行时间以及测定出的按照第二调度执行的多个动作中的各动作的执行时间，计算出多个动作中的各动作的执行时间的变化量。接着，针对第三帧执行对多个动作的第三调度时，处理器170能够反应各动作的执行时间的变化量。例如，处理器170通过对测定出的按照第二调度执行的多个动作中的各动作的执行时间分别加上多个动作中的各动作的执行时间的变化量，能够预测多个动作中的各动作的执行时间。
另外，多个动作中的各动作的执行时间的变化量能够连续计算。例如，处理器170能够计算出与第一及第二帧相对应的各动作的执行时间的变化量。并且，处理器170能够计算出与第二及第三帧相对应的各动作的执行时间的变化量。并且，处理器170能够计算出与第三及第四帧相对应的各动作的执行时间的变化量。在此情况下，各个执行时间的变化量可以具有最小值、最大值及平均值。根据实施例，处理器170能够在累积存储的执行时间的变化量中以最大值为基准来预测多个动作中的各动作的执行时间。在此情况下，具有执行时间预测产生误差的概率减小的优点。
根据第一实施例，处理器170能够测定按照第一调度执行的第一动作执行时间。接着，处理器170在执行第二调度时，能够基于测定出的按照第一调度执行的第一动作执行时间，来针对第二帧预测第一动作执行时间。并且，处理器170能够测定按照第二调度执行的第一动作执行时间。接着，处理器170在执行第三调度时，能够基于测定出的按照第二调度执行的第一动作执行时间，来针对第三帧预测第一动作执行时间。
根据第二实施例，处理器170能够测定按照第一调度执行的第一动作的执行时间。并且，处理器170能够测定按照第二调度执行的第一动作的执行时间。接着，处理器170能够基于按照第一调度执行的第一动作执行时间及按照第二调度执行的第一动作执行时间，计算出第一动作执行时间的变化量。接着，处理器170能够通过对按照第二调度执行的第一动作的执行时间加上第一动作执行时间的变化量，来针对第三调度预测第一动作的执行时间。
根据第一实施例，处理器170能够测定按照第一调度执行的第二动作执行时间。接着，处理器170在执行第二调度时，能够基于测定出的按照第一调度执行的第二动作执行时间，来针对第二帧预测第二动作执行时间。并且，处理器170能够测定按照第二调度执行的第二动作执行时间。接着，处理器170在执行第三调度时，能够基于测定出的按照第二调度执行的第二动作执行时间，来针对第三帧预测第二动作执行时间。
根据第二实施例，处理器170能够测定按照第一调度执行的第二动作的执行时间。并且，处理器170能够测定按照第二调度执行的第二动作的执行时间。接着，处理器170能够基于按照第一调度执行的第二动作执行时间及按照第二调度执行的第二动作执行时间，来计算出第二动作执行时间的变化量。接着，处理器170通过对按照第二调度执行的第一动作的执行时间加上第二动作执行时间的变化量，来针对第三调度预测第一动作的执行时间。
根据第一实施例，处理器170能够测定按照第一调度执行的第三动作执行时间。接着，处理器170在执行第二调度时，能够基于测定出的按照第一调度执行的第三动作执行时间，来针对第二帧预测第三动作执行时间。并且，处理器170能够测定按照第二调度执行的第三动作执行时间。接着，处理器170在执行第三调度时，能够基于测定出的按照第二调度执行的第三动作执行时间，来针对第三帧预测第三动作执行时间。
根据第二实施例，处理器170能够测定按照第一调度执行的第三动作的执行时间。并且，处理器170能够测定按照第二调度执行的第三动作的执行时间。接着，处理器170能够基于按照第一调度执行的第三动作执行时间及按照第二调度执行的第三动作执行时间，来计算出第三动作执行时间的变化量。接着，处理器170通过对按照第二调度执行的第一动作的执行时间加上第二动作执行时间的变化量，能够针对第三调度预测第三动作的执行时间。
另外，处理器170在预测第一动作的执行时间时，能够在基准时间以上的范围内进行预测。在此，第一动作可以是多个动作中必须要执行的动作。并且，第一动作可以是在不执行基准时间以上的情况下，执行动作的结果会明显降低的动作。如果，执行行人检测(Pedestrian Detection)动作的时间小于25msec时不能实现准确的检测的情况下，处理器170能够在25msec以上的范围内对行人检测进行预测。
在预测多个动作中的各动作的执行时间之后，处理器170能够对多个动作中的各动作执行预测时间进行相加(S830)。例如，处理器170能够对第一至第三动作的执行预测时间进行相加。
之后，处理器170能够设定多个动作中的各动作的执行顺序(S835)。
例如，处理器170能够根据预定的基准，来对第一至第三动作设定先执行哪个动作并且后执行哪个动作。
在此，执行顺序可以是按照在S825步骤中预测的多个动作中的各动作的执行时间从短到长的顺序来设定的。如果，预测出的执行时间从短到长的顺序为第一动作、第二动作、第三动作的情况下，处理器170能够以第一动作、第二动作及第三动作的顺序设定执行顺序。在此情况下，通过先执行预测出的执行时间较短的动作，具有能够在有限的时间内执行更多的动作的优点。
在此，执行顺序能够通过反应车辆的行驶环境或外部环境来设定。处理器170能够基于从立体摄像头模块195接收的立体影像来判断行驶环境或外部环境。或者，处理器170能够基于通过接口部130接收的各种传感器信息而判断行驶环境或外部环境。此时，行驶环境可以是车辆所行驶的道路的种类为高速道路、国道、乡村道路及市内道路中的任一种。并且，外部环境可以是车辆所行驶的区间的状态、车辆行驶时的天气的状态及车辆所行驶的时间中的任一种。
在此，执行顺序能够按照已设定的默认(default)顺序进行设定。例如，在测定多个动作中的各动作的执行时间之前，处理器170能够按照已设定的默认顺序来设定执行顺序、即，在前一个帧中无法测定多个动作执行时间的情况下，处理器170能够按照已设定的默认顺序来设定执行顺序。如果，在最初设定执行顺序的情况、或者产生错误之后设定执行顺序的情况下，处理器170能够按照已设定的默认顺序来设定执行顺序。或者，处理器170能够在预定的环境下按照已设定的默认顺序来设定执行顺序。如果，在车辆的外部环境为隧道进入或退出区间的情况、日出或日落时间的情况、以及下雨或下雪的天气的情况中的一个的情况下，处理器170能够按照已设定的默认顺序来设定执行顺序。
另外，在多个动作中存在必须要执行的动作的情况下，处理器170能够将必须执行动作设定为最优先顺序。如果，在第一动作为车辆安全运行相关动作的情况下，处理器170在执行顺序中能够将第一动作设定为最优先顺序。例如，处理器170能够将多个动作中与行人安全相关的行人检测(Pedestrian Detection)在执行顺序中设定为最优先顺序。存储器140能够预先存储必须要执行的动作列表。处理器170能够按照存储在存储器140中的列表，在执行顺序中首先设定优先顺序之后，设定之后的顺序。
另外，在第二帧中在多个动作中存在必须要执行的动作的情况下，处理器170能够将必须执行动作设定为最优先顺序。如果，在第二帧中第一动作为车辆安全运行相关动作的情况下，处理器170能够在执行顺序中将第一动作设定为最优先顺序。接着，在从立体摄像头模块195接收上述第三帧并针对第三帧执行对上述第一至第三动作的第三调度的情况下，处理器170能够反复在执行顺序中将第一动作设定为最优先顺序。
在设定动作执行顺序之后，处理器170能够判断相加的执行预测时间是否在临界值以上(S840)。在此，临界值可以意味着处理器170能够处理的极限值。例如，在连续接收的多个帧中，在接收下一个帧之前要完成当前帧的动作。在此情况下，临界值可以意味着在接收下一个帧之前，在当前帧中处理器170能够执行动作的时间。如果，在第一帧中执行多个动作之后、在第二帧中执行多个动作的情况下，处理器170在第一帧中执行的多个动作要在接收第二帧之前执行。在此情况下，临界值可以意味着在接收第二帧之前在第一帧中处理器170能够执行动作的时间。
在相加后的执行预测时间不在临界值以上的情况下，处理器170能够执行调度后的多个动作(S890)。
在相加后的执行预测时间在临界值以上的情况下，处理器170能够判断在多个动作中是否存在能够排除的动作(S845)。例如，处理器170能够判断在第一至第三动作中是否存在能够排除的动作。
如果，在存在能够排除的动作的情况下，处理器170能够排除被判断为能够排除的动作(S850)。例如，在第一动作被判断为能够排除的动作的情况下，处理器170能够排除第一动作。如果，在车辆进行高速道路行驶的情况下，由于在高速道路上没有行人，因此能够排除行人检测。在这种状况下，当相加后的执行预测时间在临界值以上时，处理器170能够在多个动作中将行人检测动作判断为能够排除的动作。
另外，将被排除的动作在下一个帧中进行调度的情况下，能够在执行顺序中配置于优先顺序。例如，在第二帧中在排除第一动作的状态下，处理器170接收第三帧并针对第三帧执行对上述第一至第三动作的第三调度的情况下，处理器170能够将第一动作在执行顺序中配置于优先顺序。
另外，将被排除的动作在下一个帧中进行调度的情况下，能够在执行顺序中考虑其他动作的测定出的执行时间而配置于优先顺序。例如，在第二帧中在排除第一动作的状态下，处理器170接收第三帧并针对第三帧执行对上述第一至第三动作的第三调度的情况下，处理器170考虑第二及第三动作的执行时间而设定执行顺序。具体而言，在第二及第三动作中的一个的执行时间为已设定的基准值以上的情况下，处理器170能够将具有基准值以上的执行时间的动作判断为重要动作。此时，处理器170能够在执行顺序中将具有基准值以上的执行时间的动作与第一动作相比配置于优先顺序。
在排除了被判断为能够排除的动作之后，处理器170对多个动作中的各动作执行预测时间进行相加(S825)，在设定多个动作中的各动作的执行顺序之后(S835)，再次判断相加后的执行预测时间是否在临界值以上(S840)。
如果，在不存在能够排除的动作的情况下，处理器170能够调整多个动作的执行预测时间(S855)。例如，处理器170能够调整第一至第三动作中至少一个动作的执行预测时间。如果，在第一动作的执行预测时间与第二动作及第三动作的执行预测时间相比过长的情况下，处理器170能够缩短第一动作的执行预测时间。如果，第一至第三动作的执行预测时间相似的情况下，处理器170能够分别缩短第一至第三动作的执行预测时间。
在调整了执行预测时间之后，处理器170对多个动作中的各动作执行预测时间进行相加(S825)，在设定多个动作中的各动作的执行顺序之后(S835)，再次判断相加后的执行预测时间是否在临界值以上(S840)。
图9是根据本发明的实施例而说明车辆驾驶辅助装置时所参照的处理器的内部框图。
参照图9，处理器170可以包括前处理部410、调度部910、动作执行部930及执行时间测定部950。
处理器170从立体摄像头模块195接收立体影像(S810)。立体影像可以包括多个帧。车辆驾驶辅助装置100中所包含的立体摄像头模块195能够连续获取立体影像，处理器170能够从立体摄像头模块195连续接收立体影像。例如，处理器170能够接收第一帧。接着，处理器170能够接收第二帧。接着，处理器170能够接收第三帧。在此，第一至第三帧可以是按照所获取的顺序而从立体摄像头模块195传递到处理器170的立体影像。第一至第三帧随着时间的流逝而显示由处理器170接收的帧，但并不意味着必须在第一帧之后接收第二帧、且在第二帧之后接收第三帧。即，在第一及第二帧之间可以包括至少一个帧，在第二及第三帧之间可以包括至少一个帧。
前处理部410能够从立体摄像头模块195接收立体影像，并执行前处理。
例如，处理器170能够执行针对立体影像的噪声降低(noise reduction)、改正(rectification)、校准(calibration)、颜色增强(color enhancement)、颜色空间转换(color space conversion；CSC)、内插(interpolation)、摄像头增益控制(camera gaincontrol)等。随之，能够获取比立体摄像头195中拍摄的立体影像更加鲜明的立体影像。
另外，前处理部410能够执行3D基础的前处理及2D基础的前处理。例如，前处理部410能够执行3D基础的前处理。如果，3D基础的前处理能够用于执行检测与预定目标之间的距离的动作。例如，前处理部410能够执行2D基础的前处理。如果，2D基础的前处理能够用于执行目标检测动作。前处理部410在执行动作时，能够适当选择3D或2D基础的前处理而利用。或者，前处理部410能够对3D或2D基础的前处理进行组合而利用。
调度部910能够执行对多个动作的调度。在此，调度可以是针对多个动作中的各动作预测执行时间，并针对多个动作中的各动作设定执行顺序的动作。调度部910能够基于针对多个动作中的各动作测定出的执行时间来执行调度。在此，测定出的执行时间可以是在执行时间测定部950中测定出的执行时间。或者，测定出的执行时间可以是存储在DB141中的执行时间。
例如，调度部910能够接收第一帧，并针对第一帧执行对第一至第三动作的第一调度。接着，动作执行部930能够按照第一调度来执行第一至第三动作。接着，执行时间测定部950能够测定按照第一调度执行的第一至第三各动作的执行时间。接着，调度部910能够接收第二帧，并针对第二帧执行对第一至第三动作的第二调度。此时，调度部910能够基于测定出的第一至第三各动作的执行时间来执行第二调度。
另外，在执行第二调度之后，动作执行部930能够按照第二调度来执行第一至第三动作。接着，执行时间测定部950能够测定按照第二调度执行的第一至第三各动作的执行时间。接着，调度部910能够基于测定出的按照第一调度执行的第一至第三各动作的执行时间、和测定出的按照第二调度执行的第一至第三各动作的执行时间，计算出第一至第三各动作的执行时间的变化量。
具体而言，调度部910可以包括变化量计算部911、执行时间预测部913、执行顺序设定部915及判断部917。
变化量计算部911能够计算出多个动作中的各动作的执行时间的变化量。
例如，变化量计算部911能够基于按照第一调度执行的多个动作的执行时间及按照第二调度执行的多个动作的执行时间，计算出多个动作的执行时间的变化量。
例如，变化量计算部911能够基于按照第一调度执行的第一动作的执行时间及按照第二调度执行的第一动作的执行时间，计算出第一动作执行时间的变化量。
例如，变化量计算部911能够基于按照第一调度执行的第二动作的执行时间及按照第二调度执行的第二动作的执行时间，计算出第二动作执行时间的变化量。
例如，变化量计算部911能够基于按照第一调度执行的第三动作的执行时间及按照第二调度执行的第三动作的执行时间，计算出第三动作执行时间的变化量。
另外，能够将执行时间的变化量累积存储到DB141中。
另外，多个动作中的各动作的执行时间的变化量能够连续计算。例如，变化量计算部911能够计算出第一及第二帧中的根据各动作的执行时间的执行时间的变化量。并且，变化量计算部911能够计算出第二及第三帧中的根据各动作的执行时间的执行时间的变化量。并且，变化量计算部911能够计算出第三及第四帧中的根据各动作的执行时间的执行时间的变化量。在此情况下，各个执行时间的变化量可以具有最小值、最大值、平均值。根据实施例，变化量计算部911能够在累积而存储的执行时间的变化量中以最大值为基准来预测多个动作中的各动作的执行时间。在此情况下，具有执行时间预测产生误差的概率降低的优点。
执行时间预测部913能够预测多个动作中的各动作的执行时间。
执行时间预测部913能够基于在前一个帧中测定出的多个动作中的各动作的执行时间，在下一个帧中预测多个动作中的各动作的执行时间。
根据第一实施例，执行时间预测部913能够基于针对第一帧测定出的多个动作中的各动作的执行时间，针对第二帧预测多个动作中的各动作的执行时间。执行时间预测部913能够基于针对第二帧测定出的多个动作中的各动作的执行时间，针对第三帧预测多个动作中的各动作的执行时间。
根据第二实施例，执行时间测定部950测定按照第一调度执行的多个动作中的各动作的执行时间。接着，执行时间测定部950测定按照第二调度执行的多个动作中的各动作的执行时间。接着，变化量计算部911能够基于测定出的按照第一调度执行的多个动作中的各动作的执行时间、和测定出的按照第二调度执行的多个动作中的各动作的执行时间，计算出多个动作中的各动作的执行时间的变化量。接着，针对第三帧执行对多个动作的第三调度的情况下，执行时间预测部913能够反映各动作的执行时间的变化量。例如，执行时间预测部913通过对测定出的按照第二调度执行的多个动作中的各动作的执行时间分别加上多个动作中的各动作的执行时间的变化量，能够预测多个动作中的各动作的执行时间。
根据第一实施例，执行时间测定部950能够测定按照第一调度执行的第一动作执行时间。接着，执行时间预测部913在执行第二调度时，能够基于测定出的按照第一调度执行的第一动作执行时间，针对第二帧预测第一动作执行时间。并且，执行时间测定部950能够测定按照第二调度执行的第一动作执行时间。接着，执行时间预测部915在执行第三调度时，能够基于测定出的按照第二调度执行的第一动作执行时间，针对第三帧预测第一动作执行时间。
根据第二实施例，执行时间测定部950能够测定按照第一调度执行的第一动作的执行时间。并且，执行时间测定部950能够测定按照第二调度执行的第一动作的执行时间。接着，变化量计算部911能够基于按照第一调度执行的第一动作执行时间及按照第二调度执行的第一动作执行时间，来计算出第一动作执行时间的变化量。接着，执行时间预测部915能够通过对按照第二调度执行的第一动作的执行时间加上第一动作执行时间的变化量，来针对第三调度预测第一动作的执行时间。
根据第一实施例，执行时间测定部950能够测定按照第一调度执行的第二动作执行时间。接着，执行时间预测部913在执行第二调度时，能够基于测定出的按照第一调度执行的第二动作执行时间，来针对第二帧预测第二动作执行时间。并且，执行时间测定部950能够测定按照第二调度执行的第二动作执行时间。接着，执行时间预测部915在执行第三调度时，能够基于测定出的按照第二调度执行的第二动作执行时间，来针对第三帧预测第二动作执行时间。
根据第二实施例，执行时间测定部950能够测定按照第一调度执行的第二动作的执行时间。并且，执行时间测定部950能够测定按照第二调度执行的第二动作的执行时间。接着，变化量计算部911能够基于按照第一调度执行的第二动作执行时间及按照第二调度执行的第二动作执行时间，来计算出第二动作执行时间的变化量。接着，执行时间预测部915能够通过对按照第二调度执行的第一动作的执行时间加上第二动作执行时间的变化量，来针对第三调度预测第一动作的执行时间。
根据第一实施例，执行时间测定部950能够测定按照第一调度执行的第三动作执行时间。接着，执行时间预测部913在执行第二调度时，能够基于测定出的按照第一调度执行的第三动作执行时间，来针对第二帧预测第三动作执行时间。并且，执行时间测定部950能够测定按照第二调度执行的第三动作执行时间。接着，执行时间预测部915在执行第三调度时，能够基于测定出的按照第二调度执行的第三动作执行时间，来针对第三帧预测第三动作执行时间。
根据第二实施例，执行时间测定部950能够测定按照第一调度执行的第三动作的执行时间。并且，执行时间测定部950能够测定按照第二调度执行的第三动作的执行时间。接着，变化量计算部911能够基于按照第一调度执行的第三动作执行时间及按照第二调度执行的第三动作执行时间，计算出第三动作执行时间的变化量。接着，执行时间预测部915能够通过对按照第二调度执行的第一动作的执行时间加上第二动作执行时间的变化量，来针对第三调度预测第三动作的执行时间。
另外，执行时间预测部913在预测第一动作的执行时间时，能够在基准时间以上的范围内进行预测。在此，第一动作可以是多个动作中必须要执行的动作。并且，第一动作可以是在未执行基准时间以上的情况下、执行动作的结果明显降低的动作。如果，在行人检测(Pedestrian Detection)动作执行小于25msec的时间的情况下，当未实现准确的检测时，执行时间预测部913能够在25msec以上的范围内对行人检测进行预测。
执行顺序设定部915能够设定多个动作中的各动作的执行顺序。例如，执行顺序设定部915能够根据预定的基准，对第一至第三动作中哪个动作以在优先顺序执行且哪个动作以在后顺序执行进行设定。
在此，执行顺序能够设定成按照从执行时间预测部913预测出的多个动作中的各动作的执行时间较短的顺序配置于优先顺序。如果，在预测出的执行时间以第一动作、第二动作、第三动作的顺序较长的情况下，执行顺序设定部915能够按照第一动作、第二动作及第三动作的顺序设定执行顺序。在此情况下，通过首先执行预测出的执行时间较短的动作，具有能够在有限的时间内执行更多的动作的优点。
在此，执行顺序可以反映车辆的行驶环境或外部环境而设定。另外，处理器170还可以包括行驶环境及外部环境判断部(未图示)。行驶环境及外部环境判断部(未图示)能够基于从立体摄像头模块195接收的立体影像而判断行驶环境或外部环境。或者，行驶环境及外部环境判断部(未图示)能够基于通过接口部130接收的各种传感器信息而判断行驶环境或外部环境。此时，行驶环境可以是车辆所行驶的道路的种类为高速道路、国道、乡村道路及市内道路中的任一种。并且，外部环境可以是车辆所行驶的区间的状态、车辆行驶时的天气的状态及车辆所行驶的时间中的任一种。
在此，执行顺序能够按照已设定的默认(default)顺序进行设定。例如，在测定多个动作中的各动作的执行时间之前，执行顺序设定部915能够按照已设定的默认顺序来设定执行顺序。即，在前一个帧中无法测定多个动作执行时间的情况下，执行顺序设定部915能够按照已设定的默认顺序来设定执行顺序。如果，在最初设定执行顺序的情况、或者在产生错误之后设定执行顺序的情况下，执行顺序设定部915能够按照已设定的默认顺序来设定执行顺序。或者，执行顺序设定部915能够在预定的环境下按照已设定的默认顺序来设定执行顺序。如果，在车辆的外部环境为隧道进入或退出区间的情况、日出或日落时间的情况、以及下雨或下雪的天气的情况中的任一种的情况下，执行顺序设定部915能够按照已设定的默认顺序来设定执行顺序。
另外，在多个动作中存在必须要执行的动作的情况下，执行顺序设定部915能够将必须执行动作设定为最优先顺序。如果，在第一动作为车辆安全运行相关动作的情况下，执行顺序设定部915能够在执行顺序中将第一动作设定为最优先顺序。例如，执行顺序设定部915能够将多个动作中与行人安全相关的行人检测(Pedestrian Detection)在执行顺序中设定为最优先顺序。存储器140能够预先存储必须要执行的动作列表。执行顺序设定部915能够按照存储在存储器140中的列表，在执行顺序中首先设定优先顺序之后，设定之后的顺序。
另外，在第二帧中存在多个动作中必须要执行的动作的情况下，执行顺序设定部915能够将必须执行动作设定为最优先顺序。如果，在第二帧中第一动作为车辆安全运行相关动作的情况下，执行顺序设定部915能够在执行顺序中将第一动作设定为最优先顺序。接着，在从立体摄像头模块195接收上述第三帧、并针对第三帧执行对上述第一至第三动作的第三调度的情况下，执行顺序设定部915能够反复在执行顺序中将第一动作设定为最优先顺序。
判断部917能够对多个动作中的各动作执行预测时间进行相加，并判断相加后的执行预测时间是否在临界值以上。例如，判断部917能够对第一动作至第三动作的执行预测时间进行相加，并判断相加后的执行预测时间是否在临界值以上。
在此，临界值可以意味着处理器170能够处理的极限值。例如，在连续接收的多个帧中，要在接收下一个帧之前完成当前帧的动作。在此情况下，临界值可以意味着在接收下一个帧之前、在当前帧中处理器170能够执行动作的时间。如果，在第一帧中执行多个动作之后在第二帧中执行多个动作的情况下，处理器170在第一帧中执行的多个动作要在接收第二帧之前执行。在此情况下，临界值可以意味着在接收第二帧之前、在第一帧中处理器170能够执行动作的时间。
在相加后的执行预测时间不在临界值以上的情况下，动作执行部930能够执行调度后的多个动作。
在相加后的执行预测时间在临界值以上的情况下，判断部917能够判断在多个动作中是否存在能够排除的动作。例如，判断部917能够判断在第一至第三动作中是否存在能够排除的动作。
如果，在存在能够排除的动作的情况下，判断部917能够排除被判断为能够排除的动作。例如，在第一动作被判断为能够排除的动作的情况下，判断部917能够排除第一动作。如果，在车辆进行高速道路行驶的情况下，由于在高速道路上没有行人，因此能够排除行人检测。在这种状况下，当相加后的执行预测时间在临界值以上时，判断部917能够在多个动作中将行人检测动作判断为能够排除的动作。
另外，被排除的动作在下一个帧中进行调度的情况下，能够在执行顺序中配置于优先顺序。例如，在第二帧中排除了第一动作的状态下，接收第三帧并针对第三帧执行对上述第一至第三动作的第三调度的情况下，执行顺序设定部915能够将第一动作在执行顺序中配置于优先顺序。
另外，被排除的动作在下一个帧中进行调度的情况下，能够在执行顺序中考虑其他动作的测定出的执行时间而配置于优先顺序。例如，在第二帧中排除了第一动作的状态下，接收第三帧并针对第三帧执行对上述第一至第三动作的第三调度的情况下，执行顺序设定部915能够考虑第二及第三动作的执行时间而设定执行顺序。具体而言，在第二及第三动作中任一个的执行时间为已设定的基准值以上的情况下，执行顺序设定部915能够在执行顺序中将具有基准值以上的执行时间的动作与第一动作相比配置于优先顺序。
在排除了被判断为能够排除的动作之后，判断部917能够对多个动作中的各动作执行预测时间进行相加。执行顺序设定部915能够设定多个动作中的各动作的执行顺序。判断部917能够再次判断相加后的执行预测时间是否在临界值以上。
如果，在不存在能够排除的动作的情况下，执行时间预测部913能够调整多个动作的执行预测时间。例如，执行时间预测部913能够调整第一至第三动作中至少一个动作的执行预测时间。如果，在第一动作的执行预测时间与第二动作及第三动作的执行预测时间相比过长的情况下，执行时间预测部913能够缩短第一动作的执行预测时间。如果，在第一至第三动作的执行预测时间相似的情况下，执行时间预测部913能够分别缩短第一至第三动作的执行预测时间。
在调整执行预测时间之后，判断部917能够对多个动作中的各动作执行预测时间进行相加。执行顺序设定部915能够设定多个动作中的各动作的执行顺序。判断部917能够再次判断相加后的执行预测时间是否在临界值以上。
动作执行部930可以是包括在图4A至图4B中说明的差异运算部420、分割部432、目标检测部434、目标确认部436、目标跟踪部440及应用程序部450的概念。在本说明书中，关于多个动作主要举例说明目标检测，但是在本说明书中多个动作不限于目标检测。即，在本说明书中多个动作可以是包括在处理器170中能够执行的所有动作的概念。
动作执行部930能够按照调度来执行多个动作。例如，动作执行部930能够在第一帧中按照第一调度来执行第一动作931、第二动作932及第三动作933。并且，动作执行部930能够在第二帧中按照第二调度来执行第一动作931、第二动作932及第三动作933。并且，动作执行部930能够在第三帧中按照第三调度来执行第一动作931、第二动作932及第三动作933。在本附图中仅示出至第三动作933，但当然还能够执行第三动作933以上的动作。
例如，动作执行部930能够执行行车线检测(Lane Detection，LD)、周边车辆检测(Vehicle Detection，VD)、行人检测(Pedestrian Detection，PD)、灯光检测(BrightspotDetection，BD)、交通标志牌检测(Traffic Sign Recognition，TSR)、道路表面检测、自行车检测(Bicyle Detection，BD)、马达循环检测(Motor Cycle Detection，MCD)、远光灯协助(High Beam Assistance)等。
执行时间测定部950能够针对多个动作中的各动作测定执行时间。
例如，执行时间测定部950能够针对第一帧测定按照第一调度执行第一动作所需的时间。并且，执行时间测定部950能够在第二帧中测定按照第二调度执行第一动作所需的时间。并且，执行时间测定部950能够针对第三帧测定按照第三调度执行第一动作所需的时间。
例如，执行时间测定部950能够针对第一帧测定按照第一调度执行第二动作所需的时间。并且，执行时间测定部950能够在第二帧中测定按照第二调度执行第二动作所需的时间。并且，执行时间测定部950能够针对第三帧测定按照第三调度执行第二动作所需的时间。
例如，执行时间测定部950能够针对第一帧测定按照第一调度执行第三动作所需的时间。并且，执行时间测定部950能够在第二帧中测定按照第二调度执行第三动作所需的时间。并且，执行时间测定部950能够针对第三帧测定按照第三调度执行第三动作所需的时间。
另外，针对多个动作中的各动作测定出的执行时间能够存储在DB141中。在此，DB141可以意味着在第一存储器140中所具备的预定的数据库。
图10示出了根据本发明的实施例而在车辆驾驶辅助装置中具备多个处理器的情况。
参照图10，处理器170可以是多个。例如，可以包括第一处理器1010、第二处理器1020及第三处理器1030。附图中仅示出至第三处理器1030，但还可以包括其以上的处理器。
在具备多个处理器1010、1020、1030的情况下，多个动作能够分到多个处理器1010、1020、1030中执行。
例如，第一处理器1010可以是主处理器。第一处理器1010可以包括参照图9进行了说明的前处理部410、调度部910、第一动作执行部930a、动作分配部(未图示)及第一执行时间测定部950a。第二处理器1020及第三处理器1030可以是副处理器。第二处理器1020可以包括第二动作执行部930b及第二执行时间测定部950b。第三处理器1030可以包括第三动作执行部930c及第三执行时间测定部950c。各个单元的动作如参照图9进行说明的内容。
以下，以第一处理器1010及第二处理器1020的动作为基准而进行说明。
第一处理器1010能够基于测定出的多个动作中的各动作的执行时间，预测多个动作中的各动作的执行时间。第一处理器1010能够基于预测出的多个动作中的各动作的执行时间，对在第一处理器1010及第二处理器1020中执行的动作进行分配。第一处理器1030能够设定分别在第一处理器1010及第二处理器1020中执行的动作中的各动作的执行顺序。
例如，第一处理器1010能够基于测定出的各动作的执行时间，预测第一至第三各动作的执行时间。第一处理器1010能够基于预测出的第一至第三各动作的执行时间，对第一处理器1010以执行第一动作及第二动作的方式进行分配，对第二处理器1020以执行第三动作的方式进行分配。第一处理器1010能够设定分配给第一处理器1010的第一动作及第二动作和分配给第二处理器1020的第三动作各自的执行顺序。
另外，在对第一处理器1010分配第一动作及第二动作，且对第二处理器1020分配第三动作的情况下，第一处理器1010能够测定第一及第二各动作的执行时间并进行相加。第一处理器1010能够判断相加后的预测执行时间是否在临界值以上。在此，临界值可以意味着第一处理器1010能够处理的极限值。例如，在连续接收的多个帧中，要在接收下一个帧之前完成当前帧的动作。在此情况下，临界值可以意味着在接收下一个帧之前，在当前帧中第一处理器1010能够执行动作的时间。
如果，在相加后的预测执行时间在临界值以上的情况下，第一处理器1010能够将第一动作及第二动作中的一个动作再分配到第二处理器1020。在此情况下，第二处理器1020能够进一步执行再分配的动作。即，第二处理器1020能够进一步执行第一动作及第二动作中的一个动作。
另外，第一处理器1010中所包含的前处理部410能够执行2D及3D基础的前处理。此时，第一处理器1010能够将基于2D基础的前处理而执行的第一动作及第二动作分配给第一处理器1010，将基于3D基础的前处理而执行的第三动作分配给第二处理器1020。在此情况下，第一处理器1010能够测定第一及第二各动作的执行时间并进行相加，判断相加后的预测执行时间是否在临界值以上。在此，临界值可以意味着第一处理器1010能够处理的极限值。例如，在连续接收的多个帧中，要在接收下一个帧之前完成当前帧的动作。在此情况下，临界值可以意味着在接收下一个帧之前，在当前帧中第一处理器1010能够执行动作的时间。
如果，在相加后的预测执行时间在临界值以上的情况下，第一处理器1010能够将第一动作及第二动作中的一个动作再分配到第二处理器1020。在此情况下，第二处理器1020能够进一步执行再分配的动作。在此，第二处理器1020能够进一步执行基于3D基础的前处理而再分配的动作。即，第二处理器1020能够进一步基于3D基础的前处理而执行第一动作及第二动作中的一个动作。
如上所述，通过对在第一处理器1010及第二处理器1020中执行的动作灵活地进行分配，能有效地使用处理器170。并且，处理器170能够执行稳定的动作。
另外，第一处理器1010能够基于预测出的各动作的执行时间，以在第一处理器1010中执行的动作及在第二处理器1020中执行的动作形成平衡的方式进行分配。即，分配成在第一处理器1010中执行的动作所需的时间、与在第二处理器1020中执行的动作所需的时间之间的时间性差别较小。如果，在预测出的第一动作执行时间为30msec，预测出的第二动作执行时间为10msec，且预测出的第三动作执行时间为5msec的情况下，第一处理器1010能够以施加于第一及第二处理器1010、1020的负载形成平衡的方式，将第一动作分配给第一处理器1010，将第二及第三动作分配给第二处理器1020。
图11A至图11B是在说明根据本发明的实施例的车辆驾驶辅助装置的动作时所参照的处理器的内部框图。
图11A示出了不具备调度部910及执行时间测定部950的处理器170的内部框图。
参照图11A，处理器170可以包括前处理部410、动作执行部930。
前处理部410能够从立体摄像头模块195接收立体影像，并执行前处理。例如，前处理部410能够执行3D基础(Engine 3D)的前处理及2D基础(Engine2D)的前处理。
动作执行部930能够以前处理为基础，按照已设定的顺序及时间而执行多个动作。例如，动作执行部930能够按照已设定的顺序及时间，执行行车线检测(Lane Detection，LD)、周边车辆检测(Vehicle Detection，VD)、行人检测(Pedestrian Detection，PD)、灯光检测(Brightspot Detection，BD)、交通标志牌检测(Traffic Sign Recognition，TSR)、道路表面检测、自行车检测(Bicyle Detection，BD)、马达循环检测(Motor CycleDetection，MCD)、远光灯协助(High Beam Assistance)等。在此情况下，多个动作各自的处理时间及执行顺序已经被确定，因此有可能存在难以应对可变状况的问题。
图11B示出了具备调度部910及执行时间测定部950的处理器170的内部框图。
参照图11B，处理器170包括前处理部410、调度部910、动作执行部930及执行时间测定部950。
前处理部410能够从立体摄像头模块195接收立体影像，并执行前处理。例如，前处理部410能够执行3D基础(Engine 3D)的前处理及2D基础(Engine2D)的前处理。
调度部910能够执行对多个动作的调度。在此，调度可以是针对多个动作中的各动作预测执行时间，并针对多个动作中的各动作设定执行顺序的动作。调度部910能够基于针对多个动作中的各动作测定出的执行时间来执行调度。在此，测定出的执行时间可以是在执行时间测定部950中测定出的执行时间。或者，测定出的执行时间可以是存储在DB141中的执行时间。
动作执行部930能够按照调度来执行多个动作。例如，动作执行部930能够按照在调度部910中执行的调度，执行行车线检测(Lane Detection，LD)、周边车辆检测(VehicleDetection，VD)、行人检测(Pedestrian Detection，PD)、灯光检测(BrightspotDetection，BD)、交通标志牌检测(Traffic Sign Recognition，TSR)、道路表面检测、自行车检测(Bicyle Detection，BD)、马达循环检测(Motor Cycle Detection，MCD)、远光灯协助(High Beam Assistance)等。
执行时间测定部950能够针对多个动作中的各动作测定执行时间。针对多个动作中的各动作测定出的执行时间能够存储在DB141中。并且，针对多个动作中的各动作测定出的执行时间能够传递到调度部910。
在此情况下，基于调度来执行多个动作，因此具有稳定且有效地在车辆辅助装置100中执行多个动作的效果。并且，通过车辆辅助装置100的性能提高，能够对搭乘在车辆中的用户提供更好的便利。
图12是根据本发明的实施例而在相同的状况下，对第一动作及第二动作的执行时间进行比较时所参照的图。
图12A及图12B分别示出了在进行相互不同区间的高速道路行驶时，通过立体摄像头模块195获取的影像。
在图12A中，处理器170能够执行周边车辆检测(Vehicle Detection)。此时，处理器170能够测定周边车辆检测动作执行时间为12.334msec。并且，处理器170能够执行行车线检测(Lane Detection)。此时，处理器170能够测定行车线检测动作执行时间为17.874msec。
在图12B中，处理器170能够执行周边车辆检测(Vehicle Detection)。此时，处理器170能够测定周边车辆检测动作执行时间为7.634msec。并且，处理器170能够执行行车线检测(Lane Detection)。此时，处理器170能够测定行车线检测动作执行时间为23.747msec。
如果，假设处理器170能够处理的极限值为33msec，以对周边车辆检测分配11msec且对行车线检测分配22msec的方式分配时间。在此情况下，如图11A所示，在无调度的状况下执行动作的情况下，在图12A中，行车线检测能够在被分配的时间内正常执行，而周边车辆检测超过了被分配的时间而无法正常执行。
并且，在图12B中，周边车辆检测能够在被分配的时间内正常执行，而行车线检测超出了被分配的时间而无法正常执行。
如此，虽然处理器170具有能够执行所有的周边车辆检测动作及行车线检测动作的能力，但是由于对各个动作一并分配时间，存在周边车辆检测动作及行车线检测动作无法全部执行的问题。
如果，如图11B所示，在以前一个帧为基础来执行调度之后执行动作的情况下，在图12A中，处理器170能够以12.334msec为基础来预测周边车辆检测执行时间，能够以17.874msec为基础来预测行车线检测执行时间。此时，能够基于预测出的各自的时间来分配时间，因此12.334msec和17.874msec之和即30.198msec为作为极限值的33msec以下，因此周边车辆检测及行车线检测均能正常执行。
并且，在图12B中，处理器170也能够以7.634msec为基础来预测周边车辆检测执行时间，能够以23.747msec为基础来预测行车线检测执行时间。此时，能够基于预测出的各自的时间来分配时间，因此7.634msec和23.747msec之和即31.381为作为极限值的33msec以下，因此周边车辆检测及行车线检测均能正常执行。
图13A至图17是根据本发明的实施例而在相互不同的状况下，执行第一动作及第二动作的情况下，对执行时间进行比较时所参照的图。
图13A至图13B是在说明在车辆专用道路上行驶时，以通过立体摄像头模块195获取的影像为基础来进行的周边车辆检测(Vehicle Detection)动作时进行参照。
首先，参照图13A，在从立体摄像头模块195接收的影像中，处理器170能够检测5台的周边车辆1310。
此时，如图13B所示，能够用曲线来表示根据帧(X轴)的测定执行时间(VD)及执行时间的变化量(VD diff)。
图13B的(a)部分表示500帧中的测定执行时间(VD)及执行时间变化量(VD diff)，图13B的(b)部分对图13B的(a)部分中的预定部分进行放大而表示50帧中的测定执行时间(VD)及执行时间变化量(VD diff)。
在图13B的(a)部分中虽然看似周边车辆检测(VD)测定执行时间存在急剧的变化，但如图13B的(b)部分所示，如果对图13B的(a)部分的局部进行放大，则能够确认到变化的幅度平缓。
周边车辆检测执行时间变化量(VD diff)表示之前的帧与下一个帧的测定执行时间变化量。能够确认到周边车辆检测执行时间变化量(VD diff)无较大的差别而几乎保持恒定。
结果，各帧在车辆执行时间上不存在较大的变化，因此能够基于在之前的帧中测定出的周边车辆检测动作执行时间，在下一个帧中预测周边车辆检测动作执行时间。并且，能够基于在之前的帧中计算出的周边车辆检测执行时间变化量，在下一个帧中预测周边车辆检测动作执行时间。
图14A至图14B是在说明在胡同道路上行驶时，以通过立体摄像头模块195获取的影像为基础来进行的行人检测(Pedestrian Detection)动作时进行参照。
参照图14A，在从立体摄像头模块195接收的影像中，处理器170能够检测出1台周边车辆1410。并且，处理器170能够检测出5名行人1420。
此时，如图14B所示，能够用曲线来表示根据帧(X轴)的测定执行时间(PD)及执行时间的变化量(PD diff)。
图14B的(a)部分表示500帧中的测定执行时间(PD)及执行时间变化量(PD diff)，图14B的(b)部分对图14B的(a)部分的预定部分进行放大而表示50帧中的测定执行时间(PD)及执行时间变化量(PD diff)。
在图14B的(a)部分中虽然看似行人检测(PD)测定执行时间存在急剧的变化，但是如图14B的(b)部分所示，如果对图14B的(a)部分的局部进行放大，则能够确认到变化的幅度平缓。
行人检测执行时间变化量(PD diff)表示之前的帧与下一个帧的测定执行时间变化量。能够确认到行人检测执行时间变化量(PD diff)无较大的差别而几乎保持恒定。
结果，各帧在车辆执行时间上不存在较大变化，因此能够基于在之前的帧中测定出的行人检测动作执行时间，在下一个帧中预测行人检测动作执行时间。并且，能够基于在之前的帧中计算出的行人检测执行时间变化量，在下一个帧中预测行人检测动作执行时间。
图15A至图15B是在说明在车辆专用道路上行驶时，以通过立体摄像头模块195获取的影像为基础来进行的周边车辆检测(Vehicle Detection)及行人检测(PedestrianDetection)动作时进行参照。
参照图15A，在从立体摄像头模块195接收的影像中，处理器170能够检测出5台周边车辆1510。并且，处理器170能够检测出1名行人1520。
参照图15B，在车辆较多的车辆专用道路上，周边车辆检测(VD)与行人检测(PD)相比需要更多的时间。在本附图中，一般而言，当考虑行人检测(PD)与周边车辆检测(VD)相比需要更多的时间时，可以解释为周边车辆检测(VD)与行人检测(PD)相比需要相对较多的时间。
并且，与在胡同道路上行驶的情况(图16B)相比时，车辆专用道路的周边车辆检测(VD)与胡同道路的周边车辆检测(VD)相比需要更多的时间。
另外，在行人较少的胡同道路上，行人检测(PD)与周边车辆检测(VD)相比需要更少的时间。并且，与在胡同道路上行驶的情况(图16B)相比时，车辆专用道路的行人检测(PD)与胡同道路的行人检测(PD)相比需要更少的时间。
结果，在车辆专用道路上周边车辆检测(VD)比行人检测(PD)要求更多的时间。并且，在车辆专用道路的情况下，当周边车辆检测(VD)与行人检测(PD)相比优先执行时，能够更有效地使处理器170运行。
图16A至图16B是在说明在胡同道路上行驶时，以通过立体摄像头模块195获取的影像为基础来进行的行人检测(Pedestrian Detection)动作时进行参照。
参照图16A，在从立体摄像头模块195接收的影像中，处理器170能够检测出1台周边车辆1610。并且，处理器170能够检测出5名行人1620。
参照图16B，在行人较多的胡同道路上，行人检测(PD)与周边车辆检测(VD)相比需要更多的时间。并且，与在车辆专用道路上行驶的情况(图15B)相比时，胡同道路的行人检测(PD)与车辆专用道路的行人检测(PD)相比需要更多的时间。
另外，在周边车辆较少的胡同道路上，周边车辆检测(VD)与行人检测(PD)相比需要更少的时间。并且，与在车辆专用道路上行驶的情况(图15B)相比时，胡同道路的周边车辆检测(VD)与车辆专用道路的周边车辆检测(VD)相比需要更少的时间。
结果，在胡同道路上行人检测(PD)比周边车辆检测(VD)要求更多的执行时间。并且，在胡同道路的情况下，当行人检测(PD)与周边车辆检测(VD)相比优先执行时，能更有效地使处理器170运行。
图17A用曲线来表示胡同道路(图16A)及车辆专用道路(图15A)中的周边车辆检测(VD)所需要的时间。
对周边车辆检测(VD)所需要的时间的最小值、最大值、平均值进行比较可知，在各个中在车辆专用道路上周边车辆检测(VD)1720所需要的时间更多。其结果可知，与胡同道路的1710相比，在车辆专用道路上周边车辆检测(VD)1720中预测的执行时间要更多，这样才能准确且有效地使处理器170运行。
图17B用曲线来表示胡同道路(图16A)及车辆专用道路(图15A)中的行人检测(PD)所需要的时间。
对行人检测(PD)所需要的时间的最小值、最大值、平均值进行比较可知，在最小值中相似，在最大值及平均值中在胡同道路上行人检测(PD)1730所需要的时间更多。其结果可知，与车辆专用道路的情况1740相比，在胡同道路上行人检测(PD)1730中预测的执行时间要更多，这样才能准确且有效地使处理器170运行。
以下，对根据本发明的各种各样的实施例的车辆的车辆驾驶辅助装置的动作方法进行说明。该车辆驾驶辅助装置的动作方法可以是在基于立体影像的第一帧执行多个动作之后，基于上述立体影像的第二帧执行多个动作的动作方法。该车辆驾驶辅助装置的动作方法可以包括：从立体摄像头模块接收上述第一帧，并在上述第一帧中执行对上述多个动作的第一调度(scheduling)的步骤；按照上述第一调度，执行上述多个动作并测定上述多个动作中的各动作的执行时间的步骤；从上述立体摄像头模块接收上述第二帧，并在上述第二帧中基于测定出的上述各动作的执行时间，执行对上述多个动作的第二调度的步骤；以及将基于根据上述第一调度的上述多个动作中的各动作执行或者根据上述第二调度的上述多个动作中的各动作执行的画面输出到显示部的步骤。
上述的本发明能够在记录有程序的介质中用计算机能够读取的代码来实现。计算机能够读取的介质包括存储有由计算机系统能够读取的数据的所有种类的记录装置。作为计算机能够读取的介质的例子，有HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且还包括以载波(例如，通过互联网的传输)形式实现的情况。并且，上述计算机还可以包括处理器170或控制部770。因此，上述的详细说明在所有方面不应解释为限制性的，而是要理解为示意性的。本发明的范围应由所附的权利要求的合理性解释来确定，在本发明的等同范围内的所有变更均包含于本发明的范围。

Claims (25)

1.一种车辆驾驶辅助装置，基于立体摄像头模块所获取的立体影像的第一帧来执行多个动作之后，基于上述立体影像的第二帧来执行多个动作，其特征在于，
包括调度部；
上述调度部，
从上述立体摄像头模块接收上述第一帧，并针对上述第一帧，执行对上述多个动作的第一调度，
测定按照上述第一调度执行的上述多个动作中的各动作的执行时间，
从上述立体摄像头模块接收上述第二帧，并针对上述第二帧，基于测定出的上述各动作的执行时间，来执行对上述多个动作的第二调度。
2.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，
上述调度部，
测定按照第二调度执行的上述多个动作中的各动作的执行时间，
从上述立体摄像头模块接收第三帧，并针对上述第三帧，基于测定出的根据上述第二调度执行的上述多个动作中的各动作的执行时间，来执行对上述多个动作的第三调度，并且测定上述多个动作中的各动作的执行时间。
3.根据权利要求2所述的车辆驾驶辅助装置，其特征在于，
上述调度部反复执行以下过程：
从上述立体摄像头模块接收第四帧，并针对上述第四帧，基于测定出的按照之前的调度执行的各动作的执行时间，来执行对上述多个动作的第四调度，并且测定上述多个动作中的各动作的执行时间。
4.根据权利要求1～3中任一项所述的车辆驾驶辅助装置，其特征在于，
上述调度部包括：
执行时间预测部，在执行第一调度之后的调度时，基于测定出的上述各动作的执行时间，来预测与下一个帧相对应的上述多个动作中的各动作的执行时间；
执行顺序设定部，设定上述多个动作中的各动作的执行顺序。
5.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述调度部包括判断部，上述判断部，在执行第一调度之后的调度时，对预测出的上述多个动作中的各动作的执行时间进行相加，并在相加后的执行预测时间在临界值以上的情况下，排除上述多个动作中的一个动作。
6.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述调度部包括判断部，上述判断部，在执行第一调度之后的调度时，对预测出的上述多个动作中的各动作的执行时间进行相加，并在上述相加后的预测时间在临界值以上的情况下，判断上述多个动作中是否存在能够排除执行的动作；
上述执行时间预测部，在由上述判断部判断为没有能够排除执行的动作的情况下，对上述多个动作中至少一个动作的执行预测时间进行调整。
7.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述执行顺序是按照预测出的上述多个动作中的各动作的执行时间从短到长的顺序来设定的。
8.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述执行顺序是通过反映上述车辆的行驶环境或外部环境来设定的。
9.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述执行顺序是按照已设定的默认顺序来设定的。
10.根据权利要求5所述的车辆驾驶辅助装置，其特征在于，
如下设定被排除的上述动作，即，在从上述立体摄像头模块接收下一个帧并针对该下一个帧执行对上述多个动作的调度时，由上述执行顺序设定部将该被排除的上述动作配置于与该下一个帧相对应的上述多个动作中的优先顺序。
11.根据权利要求10所述的车辆驾驶辅助装置，其特征在于，
被排除的上述动作是第一动作，并且，在从上述立体摄像头模块接收下一个帧，并针对该下一个帧中执行对上述多个动作的调度时，在上述多个动作中除上述第一动作之外的一个动作的测定出的执行时间在基准值以上的情况下，上述执行顺序设定部以将上述基准值以上的动作配置于上述第一动作的优先顺序的方式进行设定。
12.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述执行顺序设定部，在执行上述第一调度之后的调度时，当上述多个动作中的第一动作为与上述车辆的安全运行相关的动作的情况下，将上述第一动作设定为最优先顺序。
13.根据权利要求12所述的车辆驾驶辅助装置，其特征在于，
如下设定上述第一动作，即，在从上述立体摄像头模块接收下一个帧，并针对该下一个帧中执行对上述多个动作的调度时，由上述执行顺序设定部将上述第一动作配置于最优先顺序。
14.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，
上述执行时间预测部在预测上述多个动作中的第一动作的执行时间时，在基准时间以上的范围内进行预测；
上述第一动作是上述多个动作中必须要执行的动作，或者是在不执行基准时间以上的情况下执行动作的结果会明显降低的动作。
15.根据权利要求1～3中任一项所述的车辆驾驶辅助装置，其特征在于，
还包括：
第一动作执行部及第二动作执行部，执行根据各调度的多个动作；
执行时间预测部，在执行第一调度之后的调度时，基于测定出的上述各动作的执行时间，来预测针对下一个帧的上述多个动作中的各动作的执行时间；
动作分配部，基于预测出的上述各动作的执行时间，来对由上述第一动作执行部及上述第二动作执行部要执行的动作进行分配；
执行顺序设定部，设定由上述动作分配部分配给上述第一动作执行部及上述第二动作执行部的动作中的各动作的执行顺序。
16.根据权利要求15所述的车辆驾驶辅助装置，其特征在于，
上述动作分配部基于预测出的上述各动作的执行时间，来以使由上述第一动作执行部中执行的动作及上述第二动作执行部要执行的动作形成平衡的方式进行分配。
17.根据权利要求15所述的车辆驾驶辅助装置，其特征在于，
还包括判断部，该判断部在对上述第一动作执行部分配上述多个动作中的第一动作及第二动作，并对上述第二动作执行部分配上述多个动作中的第三动作的情况下，测定上述第一动作及第二动作的执行时间并进行相加，并判断相加后的预测执行时间是否在临界值以上；
在上述相加后的预测执行时间在临界值以上的情况下，上述第二动作执行部还执行上述第一动作及第二动作中的一个动作。
18.根据权利要求15所述的车辆驾驶辅助装置，其特征在于，
该车辆驾驶辅助装置还包括前处理部，该前处理部在执行第一调度之后的调度之前，执行2D及3D基础的前处理；
上述动作分配部对上述第一动作执行部分配多个动作中的基于上述2D基础的前处理来执行的第一动作及第二动作，并对上述第二动作执行部分配多个动作中的基于上述3D基础的前处理来执行的第三动作；
该车辆驾驶辅助装置还包括判断部，该判断部测定上述第一动作及第二动作的执行时间并进行相加，判断相加后的预测执行时间是否在临界值以上；
在上述相加后的预测执行时间在临界值以上的情况下，上述第二动作执行部基于上述3D基础的前处理来执行上述第一动作及第二动作中的一个动作及上述第三动作。
19.根据权利要求1～3中任一项所述的车辆驾驶辅助装置，其特征在于，
还包括：
动作执行部，按照各调度来执行上述多个动作；
执行时间测定部，测定按照上述各调度执行的上述多个动作中的各动作的执行时间。
20.根据权利要求19所述的车辆驾驶辅助装置，其特征在于，
还包括变化量计算部，该变化量计算部基于测定出的按照作为当前调度的第一次调度执行的上述多个动作中的各动作的执行时间以及测定出的按照作为第一次调度之后的调度的第二次调度执行的上述多个动作中的各动作的执行时间，来计算上述多个动作中的各动作的执行时间变化量。
21.根据权利要求20所述的车辆驾驶辅助装置，其特征在于，
在从上述立体摄像头模块接收对应的帧，并针对该帧中执行对上述多个动作的作为第二次调度之后的调度的第三次调度时，反映上述各动作的执行时间变化量。
22.根据权利要求1～3中任一项所述的车辆驾驶辅助装置，其特征在于，
还包括输出部，该输出部将通过按照各调度执行多个动作中的各动作生成的画面输出到显示器。
23.根据权利要求1～3中任一项所述的车辆驾驶辅助装置，其特征在于，
还包括存储部，该存储部将测定出的上述多个动作中的各动作的执行时间存储到存储器中。
24.一种车辆驾驶辅助装置的动作方法，基于由立体摄像头模块获取的立体影像的第一帧执行来多个动作之后，基于上述立体影像的第二帧来执行多个动作，其特征在于，
包括：
从上述立体摄像头模块接收上述第一帧，并针对上述第一帧，执行对上述多个动作的第一调度的步骤；
测定按照上述第一调度执行的上述多个动作中的各动作的执行时间的步骤；
从上述立体摄像头模块接收上述第二帧，并针对上述第二帧，基于测定出的上述各动作的执行时间，来执行对上述多个动作的第二调度的步骤。
25.根据权利要求24所述的车辆驾驶辅助装置的动作方法，其特征在于，
还包括将通过按照上述第一调度执行上述多个动作中的各动作生成的画面或通过按照上述第二调度执行上述多个动作中的各动作生成的画面输出到显示部的步骤。
CN201510309687.1A 2014-12-10 2015-06-08 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法 Expired - Fee Related CN106183989B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140177582A KR101822892B1 (ko) 2014-12-10 2014-12-10 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
KR10-2014-0177582 2014-12-10

Publications (2)

Publication Number Publication Date
CN106183989A CN106183989A (zh) 2016-12-07
CN106183989B true CN106183989B (zh) 2018-12-18

Family

ID=54707498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510309687.1A Expired - Fee Related CN106183989B (zh) 2014-12-10 2015-06-08 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法

Country Status (4)

Country Link
US (1) US9894348B2 (zh)
EP (1) EP3032457A3 (zh)
KR (1) KR101822892B1 (zh)
CN (1) CN106183989B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3429186B1 (en) * 2016-03-30 2022-08-24 Huawei Technologies Co., Ltd. Image registration method and device for terminal
US10650304B2 (en) 2016-05-11 2020-05-12 Magna Electronics Inc. Vehicle driving assist system with enhanced data processing
JP6656129B2 (ja) * 2016-09-28 2020-03-04 日立オートモティブシステムズ株式会社 画像処理装置、撮像装置
KR102532230B1 (ko) * 2018-03-30 2023-05-16 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4078434A2 (de) * 2019-12-20 2022-10-26 ZF Friedrichshafen AG Steuergerät für ein fahrerassistenzsystem und fahrerassistenzsystem
US11741718B2 (en) * 2021-05-18 2023-08-29 Hitachi Astemo, Ltd. Light interference detection during vehicle navigation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074007A (zh) * 2005-05-20 2011-05-25 丰田自动车株式会社 车辆用图像处理装置
CN102547229A (zh) * 2010-10-14 2012-07-04 索尼公司 捕捉设备、捕捉系统和捕捉方法
CN103379264A (zh) * 2012-04-25 2013-10-30 索尼公司 成像装置、成像处理方法、图像处理设备和图像处理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010788B1 (en) * 2000-05-19 2006-03-07 Hewlett-Packard Development Company, L.P. System for computing the optimal static schedule using the stored task execution costs with recent schedule execution costs
US6611664B2 (en) * 2000-06-26 2003-08-26 Kabushiki Kaisha Topcon Stereo image photographing system
EP1646240B1 (en) 2003-07-11 2009-09-16 Hitachi, Ltd. Image processing camera system and image processing camera control method
JP4372804B2 (ja) 2007-05-09 2009-11-25 トヨタ自動車株式会社 画像処理装置
US8250579B2 (en) * 2008-06-27 2012-08-21 Oracle America, Inc. Method for stage-based cost analysis for task scheduling
JP5415434B2 (ja) 2008-10-02 2014-02-12 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
JP5441626B2 (ja) 2009-11-06 2014-03-12 日立オートモティブシステムズ株式会社 車載用マルチアプリ実行装置
JP6051608B2 (ja) * 2012-06-19 2016-12-27 市光工業株式会社 車両周辺対象物検出装置
US9443163B2 (en) * 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074007A (zh) * 2005-05-20 2011-05-25 丰田自动车株式会社 车辆用图像处理装置
CN102547229A (zh) * 2010-10-14 2012-07-04 索尼公司 捕捉设备、捕捉系统和捕捉方法
CN103379264A (zh) * 2012-04-25 2013-10-30 索尼公司 成像装置、成像处理方法、图像处理设备和图像处理系统

Also Published As

Publication number Publication date
US9894348B2 (en) 2018-02-13
KR20160070528A (ko) 2016-06-20
EP3032457A1 (en) 2016-06-15
KR101822892B1 (ko) 2018-01-29
EP3032457A3 (en) 2016-09-07
CN106183989A (zh) 2016-12-07
US20160173858A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
CN106183989B (zh) 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法
CN105691299B (zh) 车辆驾驶辅助装置及车辆
CN105270179B (zh) 车辆驾驶辅助装置及车辆
CN105270263B (zh) 车辆驾驶辅助装置及车辆
CN105916750B (zh) 车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆
US9390568B2 (en) Driver identification based on driving maneuver signature
CN105270261B (zh) 车辆用全景环视装置及具有该装置的车辆
US10704921B2 (en) Autonomous vehicle and autonomous vehicle system having same
CN105270287B (zh) 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆
US9919611B2 (en) Vehicle charge assistance device and vehicle including the same
CN105083122A (zh) 立体摄像头、车辆驾驶辅助装置及车辆
KR20170011882A (ko) 차량용 레이더, 및 이를 구비하는 차량
CN105313778A (zh) 摄像头及具有该摄像头的车辆
KR101698781B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101632179B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101641491B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
CN108074395B (zh) 一种身份识别的方法及装置
KR101872477B1 (ko) 차량
KR20160018637A (ko) 차량 충전 보조장치 및 이를 구비한 차량

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181218

Termination date: 20210608