CN112487869A - 机器人路口通行方法、装置和智能设备 - Google Patents
机器人路口通行方法、装置和智能设备 Download PDFInfo
- Publication number
- CN112487869A CN112487869A CN202011233446.0A CN202011233446A CN112487869A CN 112487869 A CN112487869 A CN 112487869A CN 202011233446 A CN202011233446 A CN 202011233446A CN 112487869 A CN112487869 A CN 112487869A
- Authority
- CN
- China
- Prior art keywords
- intersection
- robot
- determining
- scene image
- current scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000006399 behavior Effects 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于机器人技术领域,提供了一种机器人路口通行方法、装置和智能设备,包括:获取路口的当前场景图像;基于所述当前场景图像进行目标检测,确定目标人员;获取所述目标人员的行为特征;根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。本申请可提高机器人路口通行的效率。
Description
技术领域
本申请涉及机器人技术领域,尤其涉及一种机器人路口通行方法、装置和智能设备。
背景技术
随着信息技术的发展和经济水平的提高,机器人在日程生活中越来越普及,机器人的应用范围越来越广,服务型的机器人给人们的生活带来了很多的便利,日常生活越来越智能化、自动化。例如,利用机器人进行巡逻、物品的搬运和派送等。目前,在室内,机器人可按照固定的路线和预铺的轨道进行移动。而在室外,机器人可根据自主导航进行移动。
然而,实际生活室外场景的路口复杂,十字路口的往来人流车流较多,机器人通过十字路口的效率低下,甚至可能导致路口交通堵塞。
发明内容
本申请实施例提供了一种机器人路口通行方法、装置和智能设备和,可以解决现有技术中,由于十字路口的往来人流车流较多,机器人通过十字路口的效率低下,甚至可能导致路口交通堵塞的问题。
第一方面,本申请实施例提供了一种机器人路口通行方法,包括:
获取路口的当前场景图像;
基于所述当前场景图像进行目标检测,确定目标人员;
获取所述目标人员的行为特征;
根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。
在第一方面的一种可能的实现方式中,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
基于所述当前场景图像进行人体检测;
获取检测到的人体的穿戴特征;
若所述人体的穿戴特征与所述预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在第一方面的一种可能的实现方式中,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
基于所述当前场景图像进行人脸检测;
若检测到的人脸特征与所述预设特征库中的人脸特征匹配,则确定所述人脸特征对应的人员为目标人员。
在第一方面的一种可能的实现方式中,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
识别并定位所述当前场景图像中的区域标识,所述区域标识为路口预设的、用于标识第一指定区域的标记;
获取在所述区域标识的预设区域范围内人体的穿戴特征;
若所述人体的穿戴特征与所述预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在第一方面的一种可能的实现方式中,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
根据所述当前场景图像,确定所述路口的区域类型;
根据所述路口的区域类型,确定所述路口处第二指定区域的位置;
获取所述第二指定区域内的人体的穿戴特征;
若所述人体的穿戴特征与预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在第一方面的一种可能的实现方式中,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
在所述路口检测射频信标,并获取所述射频信标的信号强度;
若所述信号强度在预设信号强度范围内,则根据所述信号强度,确定所述射频信标的发射源位置;
将所述当前场景图像中所述发射源位置处对应的人员确定为目标人员。
在第一方面的一种可能的实现方式中,所述机器人路口通行方法还包括:
获取所述机器人当前的定位信息;
根据所述定位信息,确定所述路口所属的区域;
根据所述路口所属的区域,确定所述路口对应的预设特征库。
在第一方面的一种可能的实现方式中,所述根据所述目标人员的行为特征,生成路口通行指令,包括:
若所述行为特征与第一指定行为特征匹配,则生成第一路口移动指令,所述第一路口移动指令用于指示机器人移动通行所述路口;
若所述行为特征与第二指定行为特征匹配,则生成第二路口移动指令,所述第二路口移动指令用于指示机器人等待通行。
第二方面,本申请实施例提供了一种机器人路口通行装置,包括:
场景图像获取单元,用于获取路口的当前场景图像;
目标人员确定单元,用于基于所述当前场景图像进行目标检测,确定目标人员;
行为特征获取单元,用于获取所述目标人员的行为特征;
通行指令生成单元,用于根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。
第三方面,本申请实施例提供了一种智能设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的机器人路口通行方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的机器人路口通行方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在智能设备上运行时,使得智能设备执行如上述第一方面所述的机器人路口通行方法。
本申请实施例中,机器人通过获取路口的当前场景图像,然后基于所述当前场景图像进行目标检测,确定目标人员,再获取所述目标人员的行为特征,最后根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。本方案中机器人根据路口处交通指挥人员或者志愿者的行为指示移动通过路口,可有效提高机器人通过路口的效率,避免因机器人缓慢移动导致路口交通阻塞。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的机器人路口通行方法的实现流程图;
图2是本申请实施例提供的机器人路口通行方法步骤S102包括人体检测的一种具体实现流程图;
图3是本申请实施例提供的机器人路口通行方法步骤S102包括人脸检测的一种具体实现流程图;
图4是本申请实施例提供的机器人路口通行方法步骤S102包括区域标识识别的一种具体实现流程图;
图5是本申请实施例提供的机器人路口通行方法步骤S102的包括区域类型确定的一种具体实现流程图;
图6是本申请实施例提供的机器人路口通行方法中确定预设特征库的具体实现流程图;
图7是本申请实施例提供的机器人路口通行方法中根据射频信号确定目标人员的具体实现流程图;
图8是本申请实施例提供的机器人路口通行方法步骤S104的具体实现流程图;
图9是本申请实施例提供的机器人路口通行装置的结构框图;
图10是本申请实施例提供的智能设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的机器人路口通行方法可以应用于智能机器人。
图1示出了本申请实施例提供的机器人路口通行方法的实现流程,该方法流程包括步骤S101至S104。各步骤的具体实现原理如下:
S101:获取路口的当前场景图像。
上述路口可以为十字路口,也可以为三叉路口。上述当前场景图像是指机器人通过摄像头拍摄的包括路口实况的场景图像。
在本申请实施例中,机器人可通过图像识别的方式确定当前位于路口,或者,机器人可根据地图中对当前位置的标记,确定当前正位于路口。
在一种可能的实施方式中,机器人根据导航规划的路线行进时,当确定到达路口时,若根据导航规划的路线需要通过该路口,则获取该路口的当前场景图像。
S102:基于所述当前场景图像进行目标检测,确定目标人员。
机器人通过目标检测技术对当前场景图像进行目标检测,识别确定目标人员。上述目标人员为交通指挥人员,例如,交警、志愿者。
在一种实施方式中,上述目标检测包括人体检测、人脸检测、标识图像检测中的一种或者多种。
在一种实施方式中,上述目标检测还包括射频信号检测。
在一种可能实施方式中,机器人对上述当前场景图像进行数据增强处理。具体地,数据增强处理包括对原图的翻转、随机裁剪、改变亮度以及改变色调中的一种或者多种。进行数据增强处理的目的是在数据有限情况下增强数据丰富性。示例性地,提升当前场景图像的亮度,以便提高目标检测的效率。
作为本申请一种可能的实施方式,图2示出了本申请实施例提供的机器人路口通行方法中基于所述当前场景图像进行目标检测,确定目标人员的步骤的一种具体实现流程,详述如下:
A1:基于所述当前场景图像进行人体检测。
在本申请实施例中,人体检测包括人体关键特征点检测。所述人体关键特征点为预先指定的人体特征点。
在一种实施方式中,使用OpenPose检测上述当前场景图像中指定个数的人体关键特征点,例如,检测指定的18个人体关键特征点。根据检测到的指定个数的人体关键特征点获取人体图像,该人体图像为上述当前场景图像中截取的人体图像。
A2:获取检测到的人体的穿戴特征。所述穿戴特征包括穿着特征,例如志愿者马甲、交警荧光马甲,所述穿着特征包括穿着类型、穿着颜色、花纹、印刷字体等等。所述穿戴特征包括手持物品特征,例如,指挥旗、指挥棒等。
在本申请实施例中,对从上述当前场景图像中截取的人体图像进行特征识别,获取图像中人体的穿戴特征。
在一些实施方式中,将上述人体图像输入至已训练的神经网络模型,该神经网络模型用于人体穿戴特征的识别。通过该神经网络模型输出上述人体图像中的穿戴特征。
A3:若所述人体的穿戴特征与所述预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在本申请实施例中,上述预设特征库中包括预设的目标人员的穿戴特征。判断所述人体的穿戴特征是否与预设特征库中的穿戴特征匹配。若检测到上述当前场景图像中的人体的穿戴特征与上述预设库中的穿戴特征匹配,即可确定该人体对应的人员为目标人员。
示例性地,若检测到的人体的穿戴特征为印有“志愿者”字体的橙色马甲,与上述预设特征库中的穿戴特征匹配,则确定该人体对应的人员为目标人员。
本申请实施例中,机器人通过对当前场景图像进行人体检测,获取检测到的人体的穿戴特征,在检测到的人体的穿戴特征与预设特征库中的穿戴特征匹配时,即可确定该人体对应的人员为需要寻找的目标人员。
作为本申请一种可能的实施方式,图3示出了本申请实施例提供的机器人路口通行方法中所述基于所述当前场景图像进行目标检测,确定目标人员的步骤的另一种具体实现流程,详述如下:
B1:基于所述当前场景图像进行人脸检测。
在本申请实施例中,上述当前场景图像中包括人脸图像。人脸检测包括人脸关键特征点检测。所述人脸关键特征点为预先指定的人脸特征点。例如,左眼、右眼、鼻尖、嘴角等等。
在一种实施方式中,使用MTCNN(Multi-task convolutional neural network,多任务卷积神经网络)检测上述当前场景图像,获取上述当前场景图像中的人脸关键特征点。
由于多角度的人脸会给人脸特征检测带来困难,在一种可能的实施方式中,对上述当前场景图像进行人脸检测之前,对上述当前场景图像中的人脸图像进行矫正,通过矫正操作减少人脸姿势角度多样性带来的影响,从而使得检测到的人脸特征更为准确有效。
B2:若检测到的人脸特征与所述预设特征库中的人脸特征匹配,则确定所述人脸特征对应的人员为目标人员。
在本申请实施例中,上述预设特征库中包括预设的目标人员的人脸特征。判断检测到的人脸特征是否与预设特征库中的人脸特征匹配。若检测到上述当前场景图像中的人脸特征与上述预设库中的人脸特征匹配,即可确定该人脸特征对应的人员为目标人员。
在一些场景中,交通路口设有供交通指挥人员站立的专属区域,即交警或者志愿者固定站立的区域,该区域内设有可供机器人识别的区域标识。作为本申请一种可能的实施方式,如图4所示,上述步骤S102具体包括:
C1:识别并定位所述当前场景图像中的区域标识,所述区域标识为路口预设的、用于标识第一指定区域的标记。
具体地,上述第一指定区域即指供交通指挥人员站立的专属区域。在第一指定区域中设有区域标识,例如标识牌。
在本申请实施例中,机器人通过图像识别技术,识别上述当前场景图像中的区域标识,并对上述区域标识在上述当前场景图像中的位置进行定位。
C2:获取在所述区域标识的预设区域范围内人体的穿戴特征。
在一些实施方式中,在机器人识别并定位上述区域标识之后,根据上述区域标识在上述当前场景图像中的定位,生成摄像头转向指令,所述摄像头转向指令用于指示机器人的摄像头转动,以使得上述区域标识在摄像头捕捉的图像画面中心。进一步地,机器人获取上述区域标识的预设区域范围内人体的穿戴特征。
C3:若所述人体的穿戴特征与所述预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
本实施例中,上述步骤C3的具体实施参见上述步骤A3,此处不赘述。
在本申请实施例中,机器人通过识别并定位区域标识,将上述当前场景图像中进行目标检测的范围缩小,只对区域标识的预设区域范围内的人体的穿戴特征进行识别判断,可提高目标人员确定的效率。
在一些场景中,交通路口未专门设置供交通指挥人员站立的专属区域,交通指挥人员为方便指挥交通,会根据习惯选择路口中适合进行交通指挥的区域站立,该区域内并未设有可供机器人识别的区域标识。作为本申请一种可能的实施方式,如图5所示,上述步骤S102具体包括:
D1:根据所述当前场景图像,确定所述路口的区域类型。
本申请实施例中,可将上述当前场景图像输入至已训练的类型识别网络模型确定路口的区域类型,该类型识别网络模型为神经网络模型。
D2:根据所述路口的区域类型,确定所述路口处第二指定区域的位置。所述第二指定区域为交通指挥人员自行选择的区域。
本申请实施例中,可根据大数据预设区域类型与第二指定区域的对照表,在确定上述路口的区域类型之后,即可根据上述对照表确定路口处第二指定区域的位置。
D3:获取所述第二指定区域内的人体的穿戴特征。
D4:若所述人体的穿戴特征与预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。本实施例中,上述步骤D4的具体实施参见上述步骤A3,此处不赘述。
在本申请实施例中,一些小的路口,并未设置有上述专属区域,但是交警或者志愿者会习惯性的站立在特定区域。例如,现在路口会设置有斜坡以供人通过,一般志愿者不会站在坡地,而是站在斜坡上或者坡顶,如此就避免阻挡需要通行的人员,同时借助指挥棒等措施,也能基本实现在不允许通行的时候的阻挡目的。在极端的情况下,志愿者也会在坡地。总之,如果志愿者不是位于人群的前端,则难以起到指示的目的;因此,大体上会站立于路口的边缘区域,这部分区域就属于特定区域,也即上述第二指定区域。
作为本申请一种可能的实施方式,如图5所示,所述机器人路口通行方法还包括:
E1:获取所述机器人当前的定位信息。
E2:根据所述定位信息,确定所述路口所属的区域。所述区域可以为行政区域。
E3:根据所述路口所属的区域,确定所述路口对应的预设特征库。
由于不同地区的路口安排的交通指挥人员可能不同,路口的目标人员的穿戴特征也可能不同。在本申请实施例中,机器人通过确定路口所属的区域,向该区域对应的服务器发送特征库获取指令,进而获取所述路口对应的预设特征库,以便有效获取目标人员的穿戴特征,提高目标人员确定的效率。
在一些场景中,机器人包括射频检测装置,交通指挥人员携带有无线射频装置,例如,有源RFID标签。上述无线射频装置可发送射频信标,将射频信标作为各种无线信号(例如RF信号、Zigbee信号、蓝牙信号等)进行发射。
作为本申请一种可能的实施方式,如图6所示,上述步骤S102具体包括:
F1:在所述路口检测射频信标,并获取所述射频信标的信号强度。
F2:若所述信号强度在预设信号强度范围内,则根据所述信号强度,确定所述射频信标的发射源位置。
在一些实施方式中,当检测到的射频信标的信号强度越强,表示机器人距离发射源位置越近,当检测到的射频信标的信号强度越弱,表示机器人距离发射源位置越远。
在本申请实施例中,当机器人检测到的射频信标的信号强度在预设信号强度范围内,则认为机器人与发射源位置的距离在预设距离范围内,此时,确定射频信标的发射源位置。例如,可利用三边定位法确定发射源位置。本申请实施例中,射频信标的发射源位置的确定可参见现有技术,在此不赘述。
F3:将所述当前场景图像中所述发射源位置处对应的人员确定为目标人员。
在本申请实施例中,目标人员随身携带有无线射频装置,机器人通过检测无线射频装置发射的射频信标的信号强度,确定发射源位置,即可快速确定上述当前场景图像中的目标人员。
S103:获取所述目标人员的行为特征。
上述行为特征包括挥舞指挥旗或者指挥棒、通行或者禁行手势等等。
在一些实施方式中,机器人通过获取指定时长的包括所述目标人员的视频图像,基于该视频图像确定所述目标人员的行为特征。在本申请实施例中,行为特征的确定可利用训练好的行为特征识别网络模型。
在一些实施方式中,机器人在确定目标人员之后,在获取所述目标人员的视频图像之前,调转摄像头的朝向,以使得所述目标人员在所述摄像头拍摄的图像画面中心,从而可使得目标人员的行为特征确定更为准确有效。
S104:根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。
作为本申请一种可能的实施方式,判断所述行为特征是否与指定的行为特征匹配,如图7所示,上述步骤S103具体包括:
G1:若所述行为特征与第一指定行为特征匹配,则生成第一路口移动指令,所述第一路口移动指令用于指示机器人移动通行所述路口。
G2:若所述行为特征与第二指定行为特征匹配,则生成第二路口移动指令,所述第二路口移动指令用于指示机器人等待通行。
在一些实施方式中,若机器人根据上述步骤S102确定的目标人员有两个或者两个以上,则获取所述两个或者两个以上的目标人员的行为特征。判断所述两个或者两个以上的目标人员的行为特征是否一致,若一致,则根据所述目标人员的行为特征,生成路口通行指令。
作为本申请一种可能的实施方式,机器人还获取所述目标人员的语音信息,并识别所述语音信息中的关键词,例如“可以通行”、“禁止通行”等。机器人根据识别到的语音信息中搞到关键词,生成路口通信指令。
在本申请实施例中,机器人通过获取路口的当前场景图像,然后基于所述当前场景图像进行目标检测,确定目标人员,再获取所述目标人员的行为特征,最后根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。本方案中机器人根据路口处交通指挥人员或者志愿者的行为指示移动通过路口,可有效提高机器人通过路口的效率,避免因机器人缓慢移动导致路口交通阻塞。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的机器人路口通行方法,图9示出了本申请实施例提供的机器人路口通行装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图9,该机器人路口通行装置包括:场景图像获取单元91,目标人员确定单元92,行为特征获取单元93,通行指令生成单元94,其中:
场景图像获取单元91,用于获取路口的当前场景图像;
目标人员确定单元92,用于基于所述当前场景图像进行目标检测,确定目标人员;
行为特征获取单元93,用于获取所述目标人员的行为特征;
通行指令生成单元94,用于根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。
在一种可能的实施方式中,上述机器人路口通行装置还包括:
机器人定位单元,用于获取所述机器人当前的定位信息;
路口区域确定单元,用它根据所述定位信息,确定所述路口所属的区域;
特征库确定单元,用于根据所述路口所属的区域,确定所述路口对应的预设特征库。
在一种可能的实施方式中,上述目标人员确定单元92包括:
人体检测模块,用于基于所述当前场景图像进行人体检测;
第一特征获取模块,用于获取检测到的人体的穿戴特征;
第一匹配模块,用于若所述人体的穿戴特征与所述预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在一种可能的实施方式中,上述目标人员确定单元92包括:
人脸检测模块,用于基于所述当前场景图像进行人脸检测;
第二匹配模块,用于若所述人脸特征与所述预设特征库中的人脸特征匹配,则确定所述人脸特征对应的人员为目标人员。
在一种可能的实施方式中,上述目标人员确定单元92包括:
区域标记识别模块,用于识别并定位所述当前场景图像中的区域标识,所述区域标识为路口预设的、用于标识第一指定区域的标记;
第二特征获取模块,用于获取在所述区域标识的预设区域范围内人体的穿戴特征;
第三匹配模块,用于若所述人体的穿戴特征与所述预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在一种可能的实施方式中,上述目标人员确定单元92包括:
类型确定模块,用于根据所述当前场景图像,确定所述路口的区域类型;
区域确定模块,用于根据所述路口的区域类型,确定所述路口处第二指定区域的位置;
第三特征获取模块,用于获取所述第二指定区域内的人体的穿戴特征;
第四匹配模块,用于若所述人体的穿戴特征与预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
在一种可能的实施方式中,上述目标人员确定单元92包括:
信号检测模块,用于在所述路口检测射频信标,并获取所述射频信标的信号强度;
发射源位置确定模块,用于若所述信号强度在预设信号强度范围内,则根据所述信号强度,确定所述射频信标的发射源位置;
目标人员确定模块,用于将所述当前场景图像中所述发射源位置处对应的人员确定为目标人员。
在一种可能的实施方式中,上述通行指令生成单元94包括:
第一指令生成模块,用于若所述行为特征与第一指定行为特征匹配,则生成第一路口移动指令,所述第一路口移动指令用于指示机器人移动通行所述路口;
第二指令生成模块,用于若所述行为特征与第二指定行为特征匹配,则生成第二路口移动指令,所述第二路口移动指令用于指示机器人等待通行。
在本申请实施例中,在本申请实施例中,机器人通过获取路口的当前场景图像,然后基于所述当前场景图像进行目标检测,确定目标人员,再获取所述目标人员的行为特征,最后根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。本方案中机器人根据路口处交通指挥人员或者志愿者的行为指示移动通过路口,可有效提高机器人通过路口的效率,避免因机器人缓慢移动导致路口交通阻塞。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如图1至图8表示的任意一种机器人路口通行方法的步骤。
本申请实施例还提供一种智能设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如图1至图8表示的任意一种机器人路口通行方法的步骤。
本申请实施例还提供一种计算机程序产品,当该计算机程序产品在服务器上运行时,使得服务器执行实现如图1至图8表示的任意一种机器人路口通行方法的步骤。
图10是本申请一实施例提供的智能设备的示意图。如图10所示,该实施例的智能设备10包括:处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102。所述处理器100执行所述计算机程序102时实现上述各个机器人路口通行方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器100执行所述计算机程序102时实现上述各装置实施例中各模块/单元的功能,例如图9所示单元91至94的功能。
示例性的,所述计算机程序102可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器101中,并由所述处理器100执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机程序102在所述智能设备10中的执行过程。
所述智能设备10可以为智能机器人。所述智能设备10可包括,但不仅限于,处理器100、存储器101。本领域技术人员可以理解,图10仅仅是智能设备10的示例,并不构成对智能设备10的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述智能设备10还可以包括输入输出设备、网络接入设备、总线等。
所述处理器100可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101可以是所述智能设备10的内部存储单元,例如智能设备10的硬盘或内存。所述存储器101也可以是所述智能设备10的外部存储设备,例如所述智能设备10上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器101还可以既包括所述智能设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及所述智能设备所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种机器人路口通行方法,其特征在于,包括:
获取路口的当前场景图像;
基于所述当前场景图像进行目标检测,确定目标人员;
获取所述目标人员的行为特征;
根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。
2.根据权利要求1所述的机器人路口通行方法,其特征在于,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
基于所述当前场景图像进行人体检测;
获取检测到的人体的穿戴特征;
若所述人体的穿戴特征与预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
3.根据权利要求1所述的机器人路口通行方法,其特征在于,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
基于所述当前场景图像进行人脸检测;
若检测到的人脸特征与预设特征库中的人脸特征匹配,则确定所述人脸特征对应的人员为目标人员。
4.根据权利要求1所述的机器人路口通行方法,其特征在于,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
识别并定位所述当前场景图像中的区域标识,所述区域标识为路口预设的、用于标识第一指定区域的标记;
获取在所述区域标识的预设区域范围内人体的穿戴特征;
若所述人体的穿戴特征与预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
5.根据权利要求1所述的机器人路口通行方法,其特征在于,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
根据所述当前场景图像,确定所述路口的区域类型;
根据所述路口的区域类型,确定所述路口处第二指定区域的位置;
获取所述第二指定区域内的人体的穿戴特征;
若所述人体的穿戴特征与预设特征库中的穿戴特征匹配,则确定所述人体对应的人员为目标人员。
6.根据权利要求1所述的机器人路口通行方法,其特征在于,所述基于所述当前场景图像进行目标检测,确定目标人员,包括:
在所述路口检测射频信标,并获取所述射频信标的信号强度;
若所述信号强度在预设信号强度范围内,则根据所述信号强度,确定所述射频信标的发射源位置;
将所述当前场景图像中所述发射源位置处对应的人员确定为目标人员。
7.根据权利要求1至4任一项所述的机器人路口通行方法,其特征在于,所述机器人路口通行方法还包括:
获取所述机器人当前的定位信息;
根据所述定位信息,确定所述路口所属的区域;
根据所述路口所属的区域,确定所述路口对应的预设特征库。
8.根据权利要求1至6任一项所述的机器人路口通行方法,其特征在于,所述根据所述目标人员的行为特征,生成路口通行指令,包括:
若所述行为特征与第一指定行为特征匹配,则生成第一路口移动指令,所述第一路口移动指令用于指示机器人移动通行所述路口;
若所述行为特征与第二指定行为特征匹配,则生成第二路口移动指令,所述第二路口移动指令用于指示机器人等待通行。
9.一种机器人路口通行装置,其特征在于,包括:
场景图像获取单元,用于获取路口的当前场景图像;
目标人员确定单元,用于基于所述当前场景图像进行目标检测,确定目标人员;
行为特征获取单元,用于获取所述目标人员的行为特征;
通行指令生成单元,用于根据所述目标人员的行为特征,生成路口通行指令,所述路口通行指令用于指示机器人通行所述路口。
10.一种智能设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的机器人路口通行方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011233446.0A CN112487869A (zh) | 2020-11-06 | 2020-11-06 | 机器人路口通行方法、装置和智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011233446.0A CN112487869A (zh) | 2020-11-06 | 2020-11-06 | 机器人路口通行方法、装置和智能设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112487869A true CN112487869A (zh) | 2021-03-12 |
Family
ID=74928740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011233446.0A Pending CN112487869A (zh) | 2020-11-06 | 2020-11-06 | 机器人路口通行方法、装置和智能设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112487869A (zh) |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105336207A (zh) * | 2015-12-04 | 2016-02-17 | 黄左宁 | 车辆记录仪和公安综合监管系统 |
CN105718908A (zh) * | 2016-01-25 | 2016-06-29 | 大连楼兰科技股份有限公司 | 一种基于衣帽特征与姿态检测的交警检测方法和系统 |
CN105740776A (zh) * | 2016-01-25 | 2016-07-06 | 大连楼兰科技股份有限公司 | 基于衣帽特征与姿态检测的交警检测方法和系统 |
CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
CN106297338A (zh) * | 2016-09-14 | 2017-01-04 | 深圳市喜悦智慧数据有限公司 | 一种交通机器人控制系统和方法 |
US20170039417A1 (en) * | 2015-08-05 | 2017-02-09 | Canon Kabushiki Kaisha | Image recognition method, image recognition apparatus, and recording medium |
CN107813817A (zh) * | 2016-08-25 | 2018-03-20 | 大连楼兰科技股份有限公司 | 无人驾驶系统、无人驾驶方法及车辆 |
US20180235515A1 (en) * | 2016-02-15 | 2018-08-23 | Omron Corporation | Calculation device, calculation method, and non-transitory computer readable recording medium |
CN108717553A (zh) * | 2018-05-18 | 2018-10-30 | 杭州艾米机器人有限公司 | 一种机器人跟随人体的方法及系统 |
WO2019014277A1 (en) * | 2017-07-10 | 2019-01-17 | Travelmate Robotics, Inc. | AUTONOMOUS ROBOTIC SYSTEM |
CN109389838A (zh) * | 2018-11-26 | 2019-02-26 | 爱驰汽车有限公司 | 无人驾驶路口路径规划方法、系统、设备及存储介质 |
CN109508659A (zh) * | 2018-10-31 | 2019-03-22 | 绍兴文理学院 | 一种用于人行横道的人脸识别系统及方法 |
CN208737505U (zh) * | 2018-08-30 | 2019-04-12 | 河南工程学院 | 基于无线传感器网络的人员安全监视及考勤设备 |
CN109743554A (zh) * | 2019-01-30 | 2019-05-10 | 合肥特尔卡机器人科技股份有限公司 | 一种智能交警机器人 |
CN110659543A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 基于手势识别的车辆控制方法、系统及车辆 |
CN110718083A (zh) * | 2018-07-13 | 2020-01-21 | 宝沃汽车(中国)有限公司 | 无人驾驶系统及其控制方法 |
CN110781834A (zh) * | 2019-10-28 | 2020-02-11 | 上海眼控科技股份有限公司 | 交通异常图像检测方法、装置、计算机设备及存储介质 |
CN110781706A (zh) * | 2018-07-30 | 2020-02-11 | 杭州海康威视系统技术有限公司 | 安全带佩戴检测方法、装置及计算机可读存储介质 |
CN110941279A (zh) * | 2019-12-21 | 2020-03-31 | 上海有个机器人有限公司 | 机器人在密集人流场景内防止压脚的控制方法 |
CN111601232A (zh) * | 2019-02-19 | 2020-08-28 | 广东小天才科技有限公司 | 一种定位纠偏方法、系统及相关设备 |
-
2020
- 2020-11-06 CN CN202011233446.0A patent/CN112487869A/zh active Pending
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039417A1 (en) * | 2015-08-05 | 2017-02-09 | Canon Kabushiki Kaisha | Image recognition method, image recognition apparatus, and recording medium |
CN105336207A (zh) * | 2015-12-04 | 2016-02-17 | 黄左宁 | 车辆记录仪和公安综合监管系统 |
CN105718908A (zh) * | 2016-01-25 | 2016-06-29 | 大连楼兰科技股份有限公司 | 一种基于衣帽特征与姿态检测的交警检测方法和系统 |
CN105740776A (zh) * | 2016-01-25 | 2016-07-06 | 大连楼兰科技股份有限公司 | 基于衣帽特征与姿态检测的交警检测方法和系统 |
CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
US20180235515A1 (en) * | 2016-02-15 | 2018-08-23 | Omron Corporation | Calculation device, calculation method, and non-transitory computer readable recording medium |
CN107813817A (zh) * | 2016-08-25 | 2018-03-20 | 大连楼兰科技股份有限公司 | 无人驾驶系统、无人驾驶方法及车辆 |
CN106297338A (zh) * | 2016-09-14 | 2017-01-04 | 深圳市喜悦智慧数据有限公司 | 一种交通机器人控制系统和方法 |
WO2019014277A1 (en) * | 2017-07-10 | 2019-01-17 | Travelmate Robotics, Inc. | AUTONOMOUS ROBOTIC SYSTEM |
CN108717553A (zh) * | 2018-05-18 | 2018-10-30 | 杭州艾米机器人有限公司 | 一种机器人跟随人体的方法及系统 |
CN110659543A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 基于手势识别的车辆控制方法、系统及车辆 |
CN110718083A (zh) * | 2018-07-13 | 2020-01-21 | 宝沃汽车(中国)有限公司 | 无人驾驶系统及其控制方法 |
CN110781706A (zh) * | 2018-07-30 | 2020-02-11 | 杭州海康威视系统技术有限公司 | 安全带佩戴检测方法、装置及计算机可读存储介质 |
CN208737505U (zh) * | 2018-08-30 | 2019-04-12 | 河南工程学院 | 基于无线传感器网络的人员安全监视及考勤设备 |
CN109508659A (zh) * | 2018-10-31 | 2019-03-22 | 绍兴文理学院 | 一种用于人行横道的人脸识别系统及方法 |
CN109389838A (zh) * | 2018-11-26 | 2019-02-26 | 爱驰汽车有限公司 | 无人驾驶路口路径规划方法、系统、设备及存储介质 |
CN109743554A (zh) * | 2019-01-30 | 2019-05-10 | 合肥特尔卡机器人科技股份有限公司 | 一种智能交警机器人 |
CN111601232A (zh) * | 2019-02-19 | 2020-08-28 | 广东小天才科技有限公司 | 一种定位纠偏方法、系统及相关设备 |
CN110781834A (zh) * | 2019-10-28 | 2020-02-11 | 上海眼控科技股份有限公司 | 交通异常图像检测方法、装置、计算机设备及存储介质 |
CN110941279A (zh) * | 2019-12-21 | 2020-03-31 | 上海有个机器人有限公司 | 机器人在密集人流场景内防止压脚的控制方法 |
Non-Patent Citations (2)
Title |
---|
ISONG BASSEY等: "RFID-based design-theoretical framework for combating police impersonation in South Africa", 《2015 SECOND INTERNATIONAL CONFERENCE ON INFORMATION SECURITY AND CYBER FORENSICS (INFOSEC)》, 21 March 2016 (2016-03-21), pages 78 - 85 * |
金克峙等: "应用聚类分析识别上海浦东新区道路交通事故模式", 《环境与职业医学》, no. 12, 19 January 2019 (2019-01-19), pages 1106 - 1113 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659543B (zh) | 基于手势识别的车辆控制方法、系统及车辆 | |
US11126882B2 (en) | Method and device for license plate positioning | |
Diaz et al. | A survey on traffic light detection | |
CN111767831B (zh) | 用于处理图像的方法、装置、设备及存储介质 | |
CN111753757B (zh) | 一种图像识别处理方法及装置 | |
Khalifa et al. | A novel multi-view pedestrian detection database for collaborative intelligent transportation systems | |
CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN111325107A (zh) | 检测模型训练方法、装置、电子设备和可读存储介质 | |
CN115170792A (zh) | 红外图像处理方法、装置及设备、存储介质 | |
CN112597807A (zh) | 一种违章检测系统、方法、装置、图像采集设备及介质 | |
CN111860219A (zh) | 一种高速占道判断方法、装置及电子设备 | |
Wael | A comprehensive vehicle-detection-and-tracking technique for autonomous driving | |
CN107036602B (zh) | 基于环境信息码的混合无人机室内自主导航系统与方法 | |
CN112487869A (zh) | 机器人路口通行方法、装置和智能设备 | |
CN113962338B (zh) | 一种rfid辅助多摄像头检测跟踪的室内监控方法及系统 | |
CN116311419A (zh) | 一种人脸识别深度相机及智能设备 | |
CN110309893B (zh) | 推钮位置的确定方法及装置 | |
Ko et al. | A novel distant target region detection method using hybrid saliency-based attention model under complex textures | |
Islam et al. | Adaptive spatial-temporal resolution optical vehicular communication system using image sensor | |
Ecklbauer | A mobile positioning system for android based on visual markers | |
JP2006201971A (ja) | 車色判定装置及び車両検索システム | |
CN111354205A (zh) | 基于etc的路况信息采集方法及系统、存储介质、智能终端 | |
Fardi et al. | A fusion concept of video and communication data for VRU recognition | |
CN115100244B (zh) | 一种目标跟踪方法、装置、存储介质及电子装置 | |
CN112183485B (zh) | 基于深度学习的交通锥桶检测定位方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |