CN109034120B - 面向智能设备自主行为的场景理解方法 - Google Patents

面向智能设备自主行为的场景理解方法 Download PDF

Info

Publication number
CN109034120B
CN109034120B CN201810981553.8A CN201810981553A CN109034120B CN 109034120 B CN109034120 B CN 109034120B CN 201810981553 A CN201810981553 A CN 201810981553A CN 109034120 B CN109034120 B CN 109034120B
Authority
CN
China
Prior art keywords
scene
event
information
environment
autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810981553.8A
Other languages
English (en)
Other versions
CN109034120A (zh
Inventor
任明仑
陈能英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201810981553.8A priority Critical patent/CN109034120B/zh
Publication of CN109034120A publication Critical patent/CN109034120A/zh
Application granted granted Critical
Publication of CN109034120B publication Critical patent/CN109034120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明提供一种面向智能设备自主行为的场景理解方法,涉及智能设备自主行为技术领域。解决现有方法不能满足智能设备自主行为实现需求的技术问题。包括:通过传感设备进行环境感知,实时获取环境信息;对场景中个体对象的状态进行实时监控,运用领域知识和事件发现技术,从实时获取的环境信息中发现事件;依据领域知识,确定影响场景理解的情境因素,并根据时间一致性,从所感知的环境信息和自身状态信息中抽取出事件发生时的情境信息;运用事件处理知识,对场景中事件的决策意义进行判断,确定当前场景下应该采取的自主行为。本发明实现对场景更高层次的事件语义理解,支持智能设备自主行为的实现,从而提高智能设备行为的自主性与智能性。

Description

面向智能设备自主行为的场景理解方法
技术领域
本发明涉及智能设备自主行为技术领域,具体涉及一种面向智能设备自主行为的场景理解方法。
背景技术
场景理解是智能设备实现自主行为的一项关键技术。为了实现智能设备的自主行为,场景理解需要实现以下三个层次的认知:(1)对静态环境的认知;智能设备需要通过对环境中的对象主体及其时空关系的认知,感知自身外围的主要场景信息。(2)对决策事件的感知;智能设备通过对场景中发生事件的感知触发自主行为。(3)对事件的影响及其决策意义的认知;智能设备感知到发生的事件后,通过对事件和任务相关性的评估,运用事件处理知识完成自主行为。
目前,场景理解相关的研究主要关注于可行驶区域的检测、目标个体检测与识别,以确定目标个体的位置、数量、轮廓、类别等语义信息,让智能设备知道自身所处位置以及周围物体的空间分布,实现对静态环境的认知。已有的场景理解实现方法大多是基于计算机视觉技术,通过图像识别来实现场景中目标对象的检测与识别。首先通过摄像头获取到场景图像,采用机器学习方法进行目标检测与图像识别,识别出该场景图像中的物体,然后根据识别出的物体或其空间分布特征对该图像进行分类,得到该图像的场景类型,确定智能设备当前所处场景。
但是,上述这种场景理解只能获得较低层次的场景对象语义信息,虽然实现了对静态环境的认识,并没有获得场景中更高层次的事件语义信息,并且缺少与决策任务和事件相关的知识,不能满足智能设备自主行为实现的需求。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种面向智能设备自主行为的场景理解方法,解决了现有场景理解实现方法无法获得场景中更高层次的事件语义信息,缺少与决策任务和事件相关的知识,不能满足智能设备自主行为实现需求的技术问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一种面向智能设备自主行为的场景理解方法,包括以下步骤:
通过传感设备进行环境感知,实时获取环境信息,实现对自身所处环境的感知;
基于所获取的环境信息,对场景中个体对象的状态进行实时监控,运用领域知识和事件发现技术,从实时获取的环境信息中发现事件,实现对场景中事件的感知;
基于所述对场景中事件的感知,依据领域知识,确定影响场景理解的情境因素,并根据时间一致性,从所感知的环境信息和自身状态信息中抽取出事件发生时的情境信息;
基于所述情境信息,运用事件处理知识,对场景中事件的决策意义进行判断,实现对场景事件语义的理解,确定当前场景下应该采取的自主行为。
进一步的,还包括事件处理知识库,所述事件处理知识库中存储所述事件处理知识,所述事件处理知识是关于场景与自主任务的决策关联知识,是进行场景理解的知识,可以人为设定或自主学习进行丰富。
进一步的,所述从实时获取的环境信息中发现事件包括:
分析所获取的环境信息发现简单事件,并对发现的简单事件按照个体对象不同聚合成复杂事件。
进一步的,所述基于所述情境信息,运用事件处理知识,对场景中事件的决策意义进行判断,实现对场景事件语义的理解,确定当前场景下应该采取的自主行为;包括:
将所述复杂事件与情境聚合成场景实例,将场景实例与所述事件处理知识库中的场景模式进行模式匹配,根据场景匹配结果及所述事件处理知识库中场景与任务的映射关系,确定当前场景下智能设备应该采取的自主行为。
进一步的,所述环境信息是与自主任务相关的影响因素,环境信息随时间变化不断变化;环境信息结构表示为:
Enviroment=<object,region,spaceR>,
其中,object表示场景中个体对象的相关信息,region表示背景区域信息,spaceR表示个体对象与背景区域的空间关系信息;
所述事件是指场景中个体对象的各属性状态的变化,可以是单个属性状态的变化,也可以是多个属性状态变化的合并,这些属性可以是连续变量,也可以是离散变量;事件的信息结构表示为:
Event=〈type,time,position,V(a)>,
其中,type为事件类型,time为发生时间,position为事件发生的位置,V(a)为个体对象的某个属性值;
所述情境是指影响事件判断的因素,包括部分环境因素及自身状态,且情境因素的数量与类别依据领域知识来界定,情境的信息结构表示为:
Context=<c1,c2,..cn>,其中,ci表示情境因素;
所述场景为在某种情境下发生了某些事件,场景信息结构表示为:Scene=<Event,Context>。
进一步的,所述发现事件实现步骤如下:
对于连续的环境变量,设定环境属性的正常状态阈值,检测到某一环境属性值超出了设定的范围,就认为发生了事件;
则根据领域知识,假设第i个环境属性的正常状态阈值为(xi min,xi max),1≤i≤n,则事件的映射关系为:
Figure BDA0001778675110000041
V(ai)=E表示环境状态改变,形成了事件,
Figure BDA0001778675110000042
表示环境状态没有改变,没有形成事件;
对于离散的环境变量,根据领域知识设定特殊状态值xi *,当出现一个或几个特殊状态值时则认为发生了事件,则事件的映射关系为:
Figure BDA0001778675110000043
根据上述事件的映射关系将某一时刻获取的环境数据映射成简单事件,根据简单事件对应的个体对象不同,将简单事件(ej1,ej2,...,ejn)聚合成复杂事件ej,得到最终的复杂事件集合E=(e1,e2,...,em)。
进一步的,所述基于所述对场景中事件的感知,依据领域知识,确定影响场景理解的情境因素,并根据时间一致性,从所感知的环境信息和自身状态信息中抽取出事件发生时的情境信息;具体步骤如下:
假设某一时刻获取的环境属性变量个数为n,感知到环境对象数为m个,情境因素变量个数为k,则某时刻获取的环境信息为:
Figure BDA0001778675110000044
其中,ED代表环境信息,Vi(aj)代表第i个对象的第j个环境属性aj的属性值,1≤i≤m,1≤i≤n;则获取的情境信息为:
CT=(V(c1),V(c2),...,V(ck))
其中,CT代表此刻的情境,V(ci)表示第i情境因素ci的取值,1≤i≤k。
进一步的,所述将所述复杂事件与所对应的情境聚合成场景实例,将所述场景实例与事件处理知识库中的场景模式进行模式匹配;
包括:
将事件与情境聚合成一个场景实例:
S=(e1,e2,...,em,ct)
将场景实例与事件处理知识库中已有的场景模式进行模式匹配,选择相似度最大的场景模式s*作为匹配结果;假设已有k个场景模式,则S*=argmax(SIM(S1,S),SIM(S2,S),...,SIM(Sk,S))。
进一步的,所述事件处理知识库所需存储的事件处理知识如下:
以SK表示事件处理知识,则SK=<Scene,R,Task>,其中Scene表示场景模式,Task为智能设备自主任务,R表示场景模式与自主任务之间的概率映射。
进一步的,所述智能设备的自主任务表示为
Task=<service,user,time>,service为提供的服务内容,user为服务对象,time为服务时间。
(三)有益效果
综上可知,为了实现智能设备自主行为,不仅需要实现对场景中静态环境的认识,还要求智能设备能够感知场景中发生的事件,并且运用领域知识对事件进行判断,从而确定应该采取的行为。本发明提供了一种面向智能设备自主行为的场景理解方法,在感知静态环境的基础上,增加对场景中事件的感知及对事件决策意义的评估,综合考虑影响事件判断的情境因素,运用事件处理相关的知识,实现对场景更高层次的事件语义理解,支持智能设备自主行为的实现,从而提高智能设备行为的自主性与智能性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的流程图;
图2是本发明实施例环境结构示意图;
图3是本发明实施例面向智能设备自主行为的场景理解过程示意图;
图4是本发明实施例事件发现过程示意图;
图5是本发明实施例所举例的t时刻的道路场景示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了实现智能设备自主行为,本发明实施例提供一种面向智能设备自主行为的场景理解方法,构建了一个面向自主智能的场景理解体系,在静态环境感知的基础上,通过对事件的感知和对事件决策意义的识别,实现对决策场景的理解。
如图1所示,本发明实施例包括以下步骤:
S101、通过传感设备进行环境感知,实时获取环境信息,实现对自身所处环境的感知;
S102、基于所获取的环境信息,对场景中个体对象的状态进行实时监控,运用领域知识和事件发现技术,从实时获取的环境信息中发现事件,实现对场景中事件的感知;
S103、基于所述对场景中事件的感知,依据领域知识,确定影响场景理解的情境因素,并根据时间一致性,从所感知的环境信息和自身状态信息中抽取出事件发生时的情境信息;
S104、基于所述情境信息,运用事件处理知识,对场景中事件的决策意义进行判断,实现对场景事件语义的理解,确定当前场景下应该采取的自主行为。
下面对上述步骤做进一步说明:
1)智能设备通过传感器,摄像头,雷达等设备进行环境感知,实时获取主要的环境信息,实现对自身所处环境的认知。环境指与自主任务相关的影响因素,如位置,物体及其空间拓扑关系。其中,环境信息随时间变化不断变化,如图2所示,环境信息结构可表示为:
Enviroment=<object,region,spaceR>,其中,object表示场景中个体对象的相关信息,比如物体或人的相关信息,region表示背景区域信息,比如可行区域信息,spaceR表示个体对象与背景区域的空间关系信息。
2)在环境感知的基础上,智能设备对场景中个体对象Object的状态进行实时监控,通过事件发现技术,运用领域知识,从实时的环境信息中发现事件,实现对场景中事件的感知。事件是指场景中个体对象的各属性状态的变化,可以是单个属性状态的变化,也可以是多个属性状态变化的合并,同时,这些属性可以是连续变量,也可以是离散变量。其中,事件的信息结构可表示为:
Event=<type,time,position,V(a)>,式中:type为事件类型,time为发生时间,position为事件发生的位置,V(a)为个体对象的某个属性值。
3)在事件感知的基础上,智能设备依据领域知识,获取事件发生时的情境信息,并结合情境,运用事件处理知识,对场景中事件的决策意义进行判断,实现场景事件语义的理解,确定当前场景下智能设备应该采取的自主行为。情境是指影响事件判断的因素,包括部分环境因素及自身状态,且情境因素的数量与类别依据专家知识来界定。同一事件发生在不同情境下,事件的决策意义不同,决策结果也就不同。其中,情境的信息结构表示为:Context=<c1,c2,..cn>,式中:ci表示情境因素,而场景则可抽象地表达成在某种情境下发生了某些事件,其信息结构表示为:Scene=<Event,Context>。
如图3所示,本发明实施例首先通过环境感知获取到环境信息,并根据领域知识确定情境因素,从获取的环境信息和自身状态信息中提取出情境信息;运用领域知识和事件发现技术,分析环境数据来发现简单事件,并对发现的简单事件按照个体对象不同分别聚合成复杂事件;最后将复杂事件与情境聚合成场景实例,将场景实例与事件处理知识库中的场景模式进行模式匹配,根据场景匹配结果及知识库中场景与任务的映射关系,确定当前场景下智能设备应该采取的自主行为。
具体实现步骤如下:
1)环境感知与情境获取
给定某一场景,则主要的环境属性以及情境因素就可以确定。假设某一时刻获取的环境属性变量个数为n,感知到环境对象数为m个,情境因素变量个数为k,则某时刻获取的环境信息为:
Figure BDA0001778675110000091
其中,ED代表环境信息,Vi(aj)代表第i(1≤i≤m)个对象的第j(1≤i≤n)个环境属性aj的属性值。获取的情境信息为:
CT=(V(c1),V(c2),...,V(ck))
其中,CT代表此刻的情境,V(ci)表示第i(1≤i≤k)情境因素ci的取值。
2)事件发现
对于连续的环境变量,设定环境属性的正常状态阈值,检测到某一环境属性值超出了设定的范围,就认为发生了事件。依据领域知识,假设第i(1≤i≤n)个环境属性的正常状态阈值为(xi min,xi max),则事件的映射关系为:
Figure BDA0001778675110000092
V(ai)=E表示环境状态改变,形成了事件,
Figure BDA0001778675110000094
表示环境状态没有改变,没有形成事件。
对于离散的环境变量,根据领域知识设定特殊状态值xi *,当出现一个或几个特殊状态值时则认为发生了事件,则事件的映射关系为:
Figure BDA0001778675110000093
如图4所示,根据上述映射关系将某一时刻获取的环境信息映射成简单事件。简单事件指由一个环境属性状态变化引起的事件,将简单事件进行聚合得到包含多个环境属性的复杂事件。根据简单事件对应的个体对象不同,将简单事件(ej1,ej2,...,ejn)聚合成复杂事件ej,得到最终的复杂事件集合E=(e1,e2,...,em)。
3)场景理解
将事件与情境聚合成一个场景实例:
S=(e1,e2,...,em,ct)
将场景实例与事件处理知识库中已有的场景模式(假设已有k个场景模式)进行模式匹配,选择相似度最大的场景模式作为匹配结果:
s*=argmax(SIM(S1,S),SIM(S2,S),...,SIM(Sk,S))
然后根据事件处理知识库中场景模式与自主任务之间的关联知识,判断应该采取的自主行为。
4)事件处理知识
事件处理知识是关于场景与自主任务的关联知识,可以人为设定,也可以由智能设备自主学习进行丰富。为了实现智能设备对场景的理解,本发明实施例主张事件处理知识库中的所需存储的事件处理知识如下:以SK表示事件处理知识,事件处理知识用一个三元组表示:
SK=<Scene,R,Task>,其中Scene表示场景模式,Task为智能设备自主任务,R表示场景模式与自主任务之间的概率映射。在自主学习过程中,出现某一类场景时,可能存在多种任务方案,每种任务方案出现的频率不同,随着时间积累,其中某一种任务方案概率会提高,智能设备选择概率最高的任务方案执行。智能设备的自主任务可表示为Task=<service,user,time>,service为提供的服务内容,user为服务对象,time为服务时间。
对于上述事件处理知识,可以理解为智能设备通过自主学习进行知识积累或多个智能设备之间进行知识共享,具备越来越丰富得事件处理知识,就能够应对越来越复杂的场景,智能设备的行为就会更加智能。同时,智能设备要执行什么样的自主任务,由智能设备从服务过程中学习得到,也可以由用户根据需求自主设定存储到知识库中,实现个性化的服务。
举例说明本发明实施例的应用:
假设智能设备是智能车的智能系统,则环境是指本车以外的其他车辆行驶状态,行人状态及车道状态;事件是指车辆,行人状态的改变,比如前车减速,前车停车,前车变道进入本车道等。
举例如下:假设t时刻的道路场景如图5所示,则主要关注的环境属性是:前车的位置(1,2,3,分别表示左车道,中间车道,右车道),前车的行驶速度,前车的行驶方向角,前车与本车的距离,车道的是否为弯道(0或1,分别表示直道和弯道);主要的情境因素是:本车的速度,本车的方向角,车道的是否为弯道。
(1)环境感知与情境获取
智能设备通过摄像头,雷达等传感设备以及车道检测技术和车辆识别技术进行环境感知,得到当前场景中个体对象为车A,车B和车C,则获得具体环境信息如下:
Figure BDA0001778675110000121
其中,第一列表示前车的位置(所在车道),第二列表示前车的速度,第三列表示前车的方向角,第四列表示前车与本车的距离。通过本车行驶状态的获取,得到情境信息如下:
CT=(2,60,0,0)
本车位于中间车道,速度为60km/h,方向角(与车道线夹角)为零,本车道为直道。
(2)事件发现
前车的行驶速度,前车的行驶方向角,前车与本车的距离这三个环境属性为连续变量,则假设前车速度正常状态阈值为[本车速度v0,最高限速vmax),假设vmax为120km/h;前车方向角在(0,α)范围内波动时,为行车中正常波动,假设α为15°;前车与本车距离正常阈值为(dmin,+∞),dmin为安全距离,只要前车与本车距离大于安全距离,则认为属于正常状态,假设dmin为60m。因此依据事件映射关系:
Figure BDA0001778675110000122
将环境信息
Figure BDA0001778675110000123
映射成简单事件列表:
Figure BDA0001778675110000131
其中简单事件分别为:
e14=(距离,t时刻,左车道,d<dmin)
e22=(速度,t时刻,中间车道,v<v0)
e24=(距离,t时刻,中间车道,d<dmin)
e32=(速度,t时刻,右车道,v<v0)
e33=(方向角,t时刻,右车道,a>15°)
e34=(距离,t时刻,右车道,d<dmin)
根据同对象原则,将简单事件聚合成复杂事件E=(e1,e2,e3),其中,
e1=(距离,t时刻,左车道,d<dmin)
e2=(速度,t时刻,中间车道,v<v0∪d<dmin)
e3=(方向角,t时刻,右车道,v<v0∪a>15°∪d<dmin)
(3)场景理解
将事件与情境融合成一个场景实例:S=(e1,e2,e3,ct),依据驾驶知识:
(本车道,前车距本车距离小于安全距离,减速行驶)
(其他车道,前车距本车距离小于安全距离,正常行驶)
(其他车道,前车变道进入本车道,减速行驶)
对事件进行判断,
(左车道,d<dmin,本车处于中间车道,本车方向角为0)判断为正常行驶;
(中间车道,v<v0∪d<dmin,本车处于中间车道,本车方向角为0)进行判断,应该减速行驶;
(右车道,v<v0∪a>15°∪d<dmin,本车处于中间车道,本车方向角为0)进行判断,结果右车道的车准备变道进入本车道,应该减速行驶。
最后将每个事件判断结果合取,得到决策任务为减速行驶。
综上所述:本发明实施例提出了一种面向智能设备自主行为的场景理解方法,在感知静态环境的基础上,增加对场景中事件的感知及对事件决策意义的评估,综合考虑影响事件判断的情境因素,运用事件处理相关的知识,实现对场景更高层次的语义理解,支持智能设备自主行为的实现,从而提高智能设备行为的自主性与智能性,解决了现有场景理解实现方法无法获得场景中更高层次的事件语义信息,缺少与决策任务和事件相关的知识,不能满足智能设备自主行为实现的需求的技术问题。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种面向智能设备自主行为的场景理解方法,其特征在于,包括以下步骤:
通过传感设备进行环境感知,实时获取环境信息,实现对自身所处环境的感知;
基于所获取的环境信息,对场景中个体对象的状态进行实时监控,运用领域知识和事件发现技术,从实时获取的环境信息中发现事件,实现对场景中事件的感知;
基于所述对场景中事件的感知,依据领域知识,确定影响场景理解的情境因素,并根据时间一致性,从所感知的环境信息和自身状态信息中抽取出事件发生时的情境信息;
基于所述情境信息,运用事件处理知识,对场景中事件的决策意义进行判断,实现对场景事件语义的理解,确定当前场景下应该采取的自主行为;所述方法还包括事件处理知识库,所述事件处理知识库中存储所述事件处理知识,所述事件处理知识是关于场景与自主任务的决策关联知识,是进行场景理解的知识,可以人为设定或自主学习进行丰富;
所述从实时获取的环境信息中发现事件包括:分析所获取的环境信息发现简单事件,并对发现的简单事件按照个体对象不同聚合成复杂事件;
所述基于所述情境信息,运用事件处理知识,对场景中事件的决策意义进行判断,实现对场景事件语义的理解,确定当前场景下应该采取的自主行为,包括:将所述复杂事件与情境聚合成场景实例,将场景实例与所述事件处理知识库中的场景模式进行模式匹配,根据场景匹配结果及所述事件处理知识库中场景与任务的映射关系,确定当前场景下智能设备应该采取的自主行为;
所述环境信息是与自主任务相关的影响因素,环境信息随时间变化不断变化;环境信息结构表示为:
Enviroment=<object,region,spaceR>,
其中,object表示场景中个体对象的相关信息,region表示背景区域信息,spaceR表示个体对象与背景区域的空间关系信息;
所述事件是指场景中个体对象的各属性状态的变化,可以是单个属性状态的变化,也可以是多个属性状态变化的合并,这些属性可以是连续变量,也可以是离散变量;事件的信息结构表示为:
Event=<type,time,position,V(a)>,
其中,type为事件类型,time为发生时间,position为事件发生的位置,V(a)为个体对象的某个属性值;
所述情境是指影响事件判断的因素,包括部分环境因素及自身状态,且情境因素的数量与类别依据领域知识来界定,情境的信息结构表示为:
Context=<c1,c2,..cn>,其中,ci表示情境因素;
所述场景为在某种情境下发生了某些事件,场景信息结构表示为:Scene=<Event,Context>;
所述基于所述对场景中事件的感知,依据领域知识,确定影响场景理解的情境因素,并根据时间一致性,从所感知的环境信息和自身状态信息中抽取出事件发生时的情境信息;具体步骤如下:
假设某一时刻获取的环境属性变量个数为n,感知到环境对象数为m个,情境因素变量个数为k,则某时刻获取的环境信息为:
Figure FDA0003472339050000021
其中,ED代表环境信息,Vi(aj)代表第i个对象的第j个环境属性aj的属性值,1≤i≤m,1≤i≤n;则获取的情境信息为:
CT=(V(c1),V(c2),...,V(ck))
其中,CT代表此刻的情境,V(ci)表示第i情境因素ci的取值,1≤i≤k;
所述将所述复杂事件与所对应的情境聚合成场景实例,将所述场景实例与事件处理知识库中的场景模式进行模式匹配;
包括:
将事件与情境聚合成一个场景实例:
S=(e1,e2,...,em,ct)
将场景实例与事件处理知识库中已有的场景模式进行模式匹配,选择相似度最大的场景模式S作为匹配结果;假设已有k个场景模式,则S*=argmax(SIM(S1,S),SIM(S2,S),...,SIM(Sk,S))。
2.如权利要求1所述的面向智能设备自主行为的场景理解方法,其特征在于,所述事件发现实现步骤如下:
对于连续的环境变量,设定环境属性的正常状态阈值,检测到某一环境属性值超出了设定的范围,就认为发生了事件;
则根据领域知识,假设第i个环境属性的正常状态阈值为(xi min,xi max),1≤i≤n,则事件的映射关系为:
Figure FDA0003472339050000031
V(ai)=E表示环境状态改变,形成了事件,
Figure FDA0003472339050000032
表示环境状态没有改变,没有形成事件;
对于离散的环境变量,根据领域知识设定特殊状态值xi *,当出现一个或几个特殊状态值时则认为发生了事件,则事件的映射关系为;
Figure FDA0003472339050000041
根据上述事件的映射关系将某一时刻获取的环境数据映射成简单事件,根据简单事件对应的个体对象不同,将简单事件(ej1,ej2,...,ejn)聚合成复杂事件ej,得到最终的复杂事件集合E=(e1,e2,...,em)。
3.如权利要求1所述的面向智能设备自主行为的场景理解方法,其特征在于,所述事件处理知识库所需存储的事件处理知识结构表示为:
以SK表示事件处理知识,则SK=<Scene,R,Task>,其中Scene表示场景模式,Task为智能设备自主任务,R表示场景模式与自主任务之间的概率映射。
4.如权利要求3所述的面向智能设备自主行为的场景理解方法,其特征在于,所述智能设备的自主任务表示为
Task=<service,user,time>,service为提供的服务内容,user为服务对象,time为服务时间。
CN201810981553.8A 2018-08-27 2018-08-27 面向智能设备自主行为的场景理解方法 Active CN109034120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810981553.8A CN109034120B (zh) 2018-08-27 2018-08-27 面向智能设备自主行为的场景理解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810981553.8A CN109034120B (zh) 2018-08-27 2018-08-27 面向智能设备自主行为的场景理解方法

Publications (2)

Publication Number Publication Date
CN109034120A CN109034120A (zh) 2018-12-18
CN109034120B true CN109034120B (zh) 2022-05-10

Family

ID=64625205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810981553.8A Active CN109034120B (zh) 2018-08-27 2018-08-27 面向智能设备自主行为的场景理解方法

Country Status (1)

Country Link
CN (1) CN109034120B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110843794B (zh) * 2020-01-15 2020-05-05 北京三快在线科技有限公司 驾驶场景理解方法、装置和轨迹规划方法、装置
CN111243335B (zh) * 2020-01-20 2023-03-24 上海大学 一种自主无人系统中的场景描述方法
CN111782884A (zh) * 2020-06-10 2020-10-16 北京金和网络股份有限公司 事件信息管理方法、系统及计算机可读存储介质
CN112053556B (zh) * 2020-08-17 2021-09-21 青岛海信网络科技股份有限公司 一种交通监控复眼动态识别交通事故自我进化系统
CN112561300A (zh) * 2020-12-10 2021-03-26 南京莱斯信息技术股份有限公司 一种基于人工智能的应急指挥辅助决策方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096565A (zh) * 2016-06-16 2016-11-09 山东大学 基于传感网络的移动机器人与静态传感器的任务协作方法
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
US20170158193A1 (en) * 2015-12-04 2017-06-08 Volkswagen Ag Method and apparatus in a motor vehicle for automated driving
CN108229685A (zh) * 2016-12-14 2018-06-29 中国航空工业集团公司西安航空计算技术研究所 一种空地一体的无人智能决策方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170158193A1 (en) * 2015-12-04 2017-06-08 Volkswagen Ag Method and apparatus in a motor vehicle for automated driving
CN106096565A (zh) * 2016-06-16 2016-11-09 山东大学 基于传感网络的移动机器人与静态传感器的任务协作方法
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法
CN108229685A (zh) * 2016-12-14 2018-06-29 中国航空工业集团公司西安航空计算技术研究所 一种空地一体的无人智能决策方法
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
城区不确定环境下无人驾驶车辆行为决策方法研究;耿新力;《中国博士学位论文全文数据库 工程科技II辑(月刊)》;20171115(第11期);正文第3.2-3.4节 *

Also Published As

Publication number Publication date
CN109034120A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109034120B (zh) 面向智能设备自主行为的场景理解方法
US11840239B2 (en) Multiple exposure event determination
KR100912746B1 (ko) 교통 표지판 탐지를 위한 방법
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
JP6092527B2 (ja) ユーザ凝視データに基づいた時空間データのセグメント化
Mohammad et al. Ontology-based framework for risk assessment in road scenes using videos
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
CN110832497A (zh) 用于自治系统的对象过滤和统一表示形式的系统和方法
CN108694399A (zh) 车牌识别方法、装置及系统
CN109543647A (zh) 一种道路异常识别方法、装置、设备及介质
Quiros et al. Machine vision of traffic state estimation using fuzzy logic
CN112435276A (zh) 一种车辆跟踪方法、装置、智能终端及存储介质
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN110097571B (zh) 快速高精度的车辆碰撞预测方法
KR101394270B1 (ko) 영상 감지 시스템 및 방법
KR102494953B1 (ko) 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
CN116363100A (zh) 图像质量评价方法、装置、设备及存储介质
CN115520216A (zh) 行车状态判断方法、装置、计算机设备和存储介质
CN113887372A (zh) 目标聚集检测方法及计算机可读存储介质
CN114049771A (zh) 基于双模态的交通异常检测方法、系统和存储介质
WO2020100540A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN108986542A (zh) 一种城市交叉路口事故隐患黑点的自动判别方法
Cheng et al. A multi-feature fusion algorithm for driver fatigue detection based on a lightweight convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant