具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,换句话说,描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,还可以包含其他内容,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
请结合参看图1和图8,其为本发明实施例提供的感知方法的流程图和车辆的示意图。感知方法包括但不限于应用于轿车、摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、飞行器等任何运输设备,用于在环境光线发生变化时,辅助运输设备更好地感知周围环境。
在本实施例中,感知方法应用于车辆10。其中,车辆10具有所谓的四级或五级自动化系统。四级自动化系统指的是“高度自动化”,具有四级自动化系统的车辆原则上在其功能范围内不再需要人类驾驶员参加,即使人类驾驶员对干预请求没有做出适当响应,车辆也具备自动达到最小风险状态的能力。五级系统指的是“全自动化”,具有五级自动化系统的车辆可以在任何合法的、可行驶的道路环境下实现自动驾驶,人类驾驶员仅需要设置好目的地并开启系统,车辆就可以通过最优化的路线行驶至指定地点。感知方法具体包括如下步骤。
步骤S102,获取当前时刻的时间。具体地,本方法利用设置于车辆10的主控制设备20获取当前时刻的时间。主控制设备20可以通过车辆10上设有的时钟(图未示)获取当前时刻的时间,也可以通过无线网络等获取当前时刻的时间,在此不做限定。
步骤S104,利用设置于车辆的传感器获取当前时刻的环境数据。具体地,本方法利用主控制设备20控制传感器11获取当前时刻的环境数据。其中,传感器11设置于车辆10的车身100。传感器11包括但不限于摄像装置、激光雷达、毫米波雷达、超声波雷达等。则,相应的环境数据包括但不限于图像数据、点云数据、毫米波数据、超声波数据等。
步骤S106,根据当前时刻的时间和/或当前时刻的环境数据判断环境光线是否满足对应的预设切换条件。具体地,本方法利用主控制设备20判断环境光线是否满足对应的预设切换条件。其中,影响环境光线的因素包括但不限于时间的改变、以及车辆10行驶场景的变化等。如,从白天过渡到夜晚、从夜晚过渡到白天、晴朗的天空突然乌云密布、车辆10从光线明亮的道路行驶至光线昏暗的隧道中等。本方法利用主控制设备20根据当前时刻的时间判断环境光线是否满足对应的预设切换条件,或者利用主控制设备20根据当前时刻的环境数据判断环境光线是否满足对应的预设切换条件,或者利用主控制设备20根据当前时刻的时间和当前时刻的环境数据判断环境光线是否满足对应的预设切换条件。在一些可行的实施例中,本方法可以利用主控制设备20同时根据当前时刻的时间、当前时刻的环境数据、以及当前时刻的时间和当前时刻的环境数据判断环境光线是否满足对应的预设切换条件。如何根据当前时刻的时间和/或当前时刻的环境数据判断环境光线是否满足对应的预设切换条件的具体方法将在下文详细描述。当环境光线满足对应的预设切换条件时,执行步骤S108;当环境光线未满足对应的预设切换条件时,执行步骤S110。
步骤S108,从预设的多个感知模型中调用对应的感知模型作为下一时刻的感知模型,并利用下一时刻的感知模型感知下一时刻的环境数据。具体地,本方法利用主控制设备20从预设的多个感知模型中调用对应的感知模型作为下一时刻的感知模型。其中,下一时刻的感知模型与当前时刻调用的感知模型不同。下一时刻的感知模型与当前时刻调用的感知模型的不同之处在于,下一时刻的感知模型和当前时刻调用的感知模型在不同环境光线下的感知性能不同。
感知模型包括若干种类的感知模型。在本实施例中,感知模型包括但不限于红绿灯检测识别模型、车辆检测识别模型、行人检测识别模型、以及车道线检测识别模型等不同种类的感知模型。不同种类的感知模型所对应的预设切换条件可以相同,也可以不同。当不同种类的感知模型的预设切换条件相同时,同时从感知模型中调用对应的感知模型。当不同种类的感知模型的预设切换条件不同时,根据相应的预设切换条件依次从感知模型中调用对应的感知模型。
具体地,每一种类的感知模型包括若干子模型。如,车道线检测识别模型包括分别设置于车头、车身、车尾等不同位置的若干子模型。每一子模型包括至少两个用于在不同环境光线下进行感知的感知子模型。如,A感知模型包括A1子模型和A2子模型,其中,A1子模型包括在Y1环境光线下进行感知的A11感知子模型、在Y2环境光线下进行感知的A12感知子模型、以及在Y3环境光线下进行感知的A13感知子模型(如图9所示)。可以理解的是,不同的感知子模型在相对应的环境光线下具有最佳的感知性能。如,在Y1环境光线下,A11感知子模型的感知性能优于A12感知子模型和A13感知子模型;在Y2环境光线下,A12感知子模型的感知性能优于A11感知子模型和A13感知子模型;在Y3环境光线下,A13感知子模型的感知性能优于A11感知子模型和A12感知子模型。
不同的感知子模型具有对应的预设切换条件。其中,不同感知子模型之间的预设切换条件可以相同,也可以不同。如,A2子模型包括在Y1环境光线下进行感知的A21感知子模型、在Y3环境光线下进行感知的A23感知子模型、以及在Y4环境光线下进行感知的A24感知子模型。则,A11感知子模型和A21感知子模型的预设切换条件相同,为Y1环境光线;A12感知子模型的预设切换条件为Y2环境光线;A13感知子模型和A23感知子模型的预设切换条件相同,为Y3环境光线;A24感知子模型的预设切换条件为Y4环境光线。即是说,当环境光线为Y1时,调用A11感知子模型和A21感知子模型;当环境光线为Y2时,调用A12感知子模型;当环境光线为Y3时,调用A13感知子模型和A23感知子模型;当环境光线为Y4时,调用A24感知子模型。可以理解的是,不同感知子模型的调用时间可以相同,也可以不同。如,当X1时刻的环境光线为Y1时,调用A11感知子模型和A21感知子模型;当X2时刻的环境光线为Y2时,调用A12感知子模型;当X3时刻的环境光线为Y3时,调用A13感知子模型和A23感知子模型;当X4时刻的环境光线为Y4时,调用A24感知子模型。即是说,可以同时从若干子模型中调用对应的感知子模型,也可以依次从若干子模型中调用对应的感知子模型。
其中,当A11感知子模型为当前时刻调用的感知模型时,预设的多个感知模型中包括A12感知子模型和A13感知子模型。则,当环境光线从Y1改变为Y2时,调用A12感知子模型作为下一时刻的感知模型;当环境光线从Y1改变为Y3时,调用A13感知子模型作为下一时刻的感知模型。可以理解的是,不同的感知子模型可以利用不同的判断方法判断环境光线是否满足对应的预设切换条件。
步骤S110,利用当前时刻调用的感知模型感知下一时刻的环境数据。具体地,本方法利用主控制设备20利用当前时刻调用的感知模型感知下一时刻的环境数据。即是说,当环境光线未满足预设的切换条件时,继续利用当前时刻调用的感知模型进行感知。
上述实施例中,根据当前时刻的时间和/或当前时刻的环境数据判断环境光线是否满足对应的预设切换条件,通过判断环境光线的改变来调用相对应的感知模型。每一感知模型在其相对应的环境光线下具有最优的感知性能,使得车辆在不同环境光线下的感知能力均处于最佳的状态,达到最优的感知结果,从而有效保障车辆的行车安全。同时,感知模型的调用过程为自动化的,调用下一时刻的感知模型时,先在内存中提前将感知模型加载好,加载完成之后,直接利用下一时刻的感知模型感知下一时刻的环境数据。调用过程中传感器不需要暂停作业,车辆也无需停止行驶或者靠边停车等,使得车辆的行驶更加顺畅,更符合实际车辆的行驶行为。
在一些可行的实施例中,车辆10也可以为具有所谓的二级或三级自动化系统的车辆。二级自动化系统指的是“部分自动化”,具有二级自动化系统的车辆需要人类驾驶员时刻进行监管并需要根据环境随时对车辆进行控制。三级自动化系统指的是“条件自动化”,具有三级自动化系统的车辆需要人类驾驶员在适当的时间内及时对车辆进行接管。应用于二级或三级自动化车辆的感知方法可以辅助人类驾驶员对周围环境进行感知,帮助驾驶员更好地判断当前的行驶状况,从而更好地进行决策,使得驾驶更加轻松。
在另一些可行的实施例中,感知方法还可以应用于具有传感器的室外作业设备等。
请结合参看图2,根据当前时刻的时间判断环境光线是否满足对应的预设切换条件具体包括如下步骤。
步骤S202,获取预设时间点。具体地,本方法利用主控制设备20获取预设时间点。主控制设备20可以通过无线网络获取当天的预设时间点。其中,预设时间点包括日出时间、日落时间、以及日食时间。在一些可行的实施例中,预设时间点还可以包括下雨时间等。
步骤S204,判断当前时刻的时间与预设时间点是否相同。具体地,本方法利用主控制设备20判断当前时刻的时间与预设时间点是否相同。当当前时刻的时间与预设时间点相同时,判断环境光线满足对应的预设切换条件。当当前时刻的时间与预设时间点不相同时,判断环境光线未满足对应的预设切换条件。
上述实施例中,一天中环境光线变化较为明显的时间点大都为日出时间和日落时间。当发生其它天象,如日食时,环境光线的变化也较为明显。因此,将日出时间、日落时间、日食时间等设定为预设时间点。直接根据预设时间点判断环境光线是否满足对应的预设切换条件,方法简单、快捷,且计算量小。
请结合参看图3,根据当前时刻时间和当前时刻的环境数据判断环境光线是否满足对应的预设切换条件具体包括如下步骤。
步骤S302,当当前时刻的时间与预设时间点相同时,根据环境数据获取图像清晰度。具体地,本方法利用主控制设备20根据环境数据获取图像清晰度。在本实施例中,传感器11包括摄像装置,摄像装置可以对周围环境进行拍摄形成图像数据。则,图像数据中包括图像清晰度。
步骤S304,判断图像清晰度是否小于预设值。具体地,本方法利用主控制设备20判断图像清晰度是否小于预设值。当图像清晰度小于预设值时,判断环境光线满足对应的预设切换条件。当图像清晰度不小于预设值时,判断环境光线未满足对应的预设切换条件。其中,预设值可以根据实际情况进行设定。
在一些可行的实施例中,主控制设备20也可以根据环境数据获取图像的亮度,根据图像的亮度判断环境光线是否满足对应的预设切换条件。
上述实施例中,虽然当前时刻的时间已经为预设时间点,但环境光线可能仍未满足预设切换条件。因此,当当前时刻的时间与预设时间点相同时,再根据图像清晰度来判断环境光线是否满足对应的预设切换条件。其中,当环境光线发生变化时,摄像装置获取的图像清晰度会有所不同。如,当环境光线较为明亮时,图像清晰度较高;当环境光线较为昏暗时,图像清晰度较低。因此,根据图像清晰度可以判断环境光线是否满足预设切换条件。根据当前时刻的时间和当前时刻的环境数据进行判断,可以避免虽然预设时间点到了,但是环境光线并没有满足预设切换条件,感知模型按照预设时间点进行调用导致感知结果不准确。即是说,感知模型不一定根据预设时间点进行调用,可以在预设时间点之后进行调用,从而达到灵活根据实际的环境光线情况进行调用,使得感知结果更准确,车辆的行驶更加安全。
在另一些可行的实施例中,可以不用根据预设时间点进行判断,而是直接根据图像清晰度判断环境光线是否满足预设切换条件。直接利用图像清晰度进行判断,可以让车辆对突发的天气情况,如突然乌云密布的天气或者未知的道路环境,如光线很暗的隧道等进行及时的应对,避免车辆发生安全事故。
请结合参看图4,根据当前时刻的时间和当前时刻的环境数据判断环境光线是否满足对应的预设切换条件具体包括如下步骤。
步骤S402,获取预设时间点。具体地,本方法利用主控制设备20获取预设时间点。主控制设备20可以通过无线网络获取当天的预设时间点。其中,预设时间点包括日出时间、日落时间、以及日食时间。在一些可行的实施例中,预设时间点还可以包括下雨时间等。
步骤S404,获取预设时间段。具体地,本方法利用主控制设备20获取预设时间段。其中,预设时间段为偏差时间点与预设时间点之间的时间,偏差时间点比预设时间点提前第一时间。在本实施例中,第一时间为10-30分钟。举例来说,当天的日落时间为18点30分,设置的第一时间为30分钟,则偏差时间点为18点,预设时间段为18点至18点30分。在一些可行的实施例中,第一时间可以根据实际情况进行设置,在此不做限定。
步骤S406,判断当前时刻的时间是否处于预设时间段。具体地,本方法利用主控制设备20判断当前时刻的时间是否处于预设时间段。当当前时刻的时间处于预设时间段时,主控制设备20根据环境数据获取图像清晰度。在本实施例中,传感器11包括摄像装置,摄像装置可以对周围环境进行拍摄形成图像数据。则,图像数据中包括图像清晰度。
步骤S408,判断图像清晰度是否小于预设值。具体地,本方法利用主控制设备20判断图像清晰度是否小于预设值。当图像清晰度小于预设值时,判断环境光线满足对应的预设切换条件。当图像清晰度不小于预设值时,判断环境光线未满足对应的预设切换条件。其中,预设值可以根据实际情况进行设定。
上述实施例中,当预设时间点还没有到来时,环境光线可能因为天气等因素的影响发生了变化,使得当前时刻调用的感知模型无法输出准确的感知结果。因此,可以在预设时间点还没有到来之前调用相应的感知模型,从而达到灵活根据实际的环境光线情况进行调用,使得感知结果更准确,车辆的行驶更加安全。
请结合参看图5,根据当前时刻的环境数据判断环境光线是否满足对应的预设切换条件具体包括如下步骤。
步骤S502,利用当前时刻调用的感知模型感知当前时刻的环境数据,并获取第一感知结果。具体地,本方法利用主控制设备20利用当前时刻调用的感知模型感知当前时刻的环境数据,并获取第一感知结果。
步骤S504,判断第一感知结果与预设结果是否相同。具体地,本方法利用主控制设备20判断第一感知结果与预设结果是否相同。当第一感知结果与预设结果不同时,判断环境光线满足对应的预设切换条件。当第一感知结果与预设结果相同时,判断环境光线未满足对应的预设切换条件。举例来说,若已知当前行驶环境中的车道线是直的,则预设结果为“车道线是直的”。若当前时刻调用的车道线检测识别模型的感知结果为当前行驶环境中的车道线是弯的,则第一感知结果为“车道线是弯的”。可以确定第一感知结果与预设结果不相同。可以理解的是,当前时刻调用的车道线检测识别模型在当前环境光线下的感知性能下降,导致感知结果出现不准确的现象,需要调用其它适配的感知模型进行感知才能够获取准确的感知结果。即,当前环境光线满足对应的预设切换条件。
上述实施例中,当当前调用的感知模型的第一感知结果与预设结果不同时,说明当前调用的感知模型在当前环境光线下的感知效果较差,需要调用相适配的感知模型。因此,直接根据第一感知结果进行判断,方法简单、快捷,且计算量小。
请结合参看图6,执行步骤S108的同时,利用当前时刻调用的感知模型感知下一时刻的环境数据。感知方法还包括如下步骤。
步骤S602,获取下一时刻的感知模型的运行时间。具体地,本方法利用主控制设备20获取下一时刻的感知模型的运行时间。当从预设的多个感知模型中调用对应的感知模型作为下一时刻的感知模型之后,主控制设备20计算下一时刻的感知模型的运行时间。
步骤S604,判断运行时间是否为第二时间。具体地,本方法利用主控制设备20判断运行时间是否为第二时间。其中,第二时间为5-20分钟。当运行时间为第二时间时,释放当前时刻调用的感知模型。在一些可行的实施例中,第二时间可以根据实际情况进行设置,在此不做限定。
在一些可行的实施例中,从预设的多个感知模型中调用对应的感知模型作为下一时刻的感知模型之后,可以直接释放当前时刻调用的感知模型。
上述实施例中,当调用的下一时刻的感知模型稳定运行时,再将当前时刻调用的感知模型进行释放,有效保障了车辆的行驶安全。同时,将当前时刻调用的感知模型释放,可以避免当前时刻调用的感知模型占用大量内存,从而提高内存资源的利用率,进而提升感知性能。
请结合参看图7,利用当前时刻调用的感知模型感知下一时刻的环境数据之后,感知方法还包括如下步骤。
步骤S702,获取当前时刻调用的感知模型输出的第二感知结果。具体地,本方法利用主控制设备20获取当前时刻调用的感知模型输出的第二感知结果。
步骤S704,获取下一时刻的感知模型输出的第三感知结果。具体地,本方法利用主控制设备20获取下一时刻的感知模型输出的第三感知结果。
步骤S706,将第二感知结果和第三感知结果进行融合,得到下一时刻的感知结果。具体地,本方法利用主控制设备20将第二感知结果和第三感知结果进行融合,以得到下一时刻的感知结果。其中,融合的方法包括但不限于前融合、后融合、或者混合融合等。
上述实施例中,同时利用当前时刻调用的感知模型和下一时刻的感知模型对环境数据进行感知,并将分别获得的第二感知结果和第三感知结果进行融合,从而获取更加准确的感知结果。
在一些可行的实施例中,主控制设备可以根据第二感知结果和第三感知结果进行判断,选择第二感知结果和第三感知结果中更可信的结果作为下一时刻的感知结果。如,当第三感知结果中的图像清晰度或者图像亮度比第二感知结果的高时,表示第三感知结果为更可信。
请结合参看图10,其为本发明实施例提供的感知系统的内部结构示意图。感知系统1000包括传感器11、以及主控制设备20。感知系统1000包括但不限于应用于轿车、摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、飞行器等任何运输设备。传感器11和主控制设备20可以为一体式的装置,也可以分开设置,在此不做限定。
在本实施例中,主控制设备20包括处理器21和存储器22。存储器22用于存储感知程序指令,处理器21用于执行感知程序指令以实现上述的感知方法。
其中,处理器21在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其它数据处理芯片,用于运行存储器22中存储的感知程序指令。
存储器22至少包括一种类型的可读存储介质,该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器22在一些实施例中可以是计算机设备的内部存储单元,例如计算机设备的硬盘。存储器22在另一些实施例中也可以是外部计算机设备的存储设备,例如计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,存储器22还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器22不仅可以用于存储安装于计算机设备的应用软件及各类数据,例如实现感知方法的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。该计算机设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、流动硬盘、只读存储介质(ROM,Read-Only Memory)、随机存取存储介质(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。