CN115937757A - 步行支持系统 - Google Patents

Abstract

本公开涉及一种步行支持系统。当存在基于由相机获取的图像不能被确认为白线的区域时，在不能被确认为白线的区域位于连接能够被确认为白线的区域在白线的纵向方向上的一端的边缘的第一直线和所述第一直线的延长线与连接另一端的边缘的第二直线和所述第二直线的延长线之间的区域中的条件下，判定不能被确认为白线的区域是能够被视作白线的区域。针对能够被视作白线的区域，将所述区域在图像中的形状设定为作为白线的形状。

Description

步行支持系统

技术领域

本发明涉及一种步行支持系统。特别地，本发明涉及当支持诸如视觉障碍者的行人的步行时提高人行横道上的白线(条纹)的识别精度的改进。

背景技术

在PCT国际公开第2018-025531号(WO 2018-025531)的再公开中公开的系统已知为向诸如视觉障碍者的行人执行各种通知(例如，在人行横道前的停止通知)使得行人能够安全地横穿人行横道的系统(步行支持系统)。WO 2018-025531公开了一种技术，其包括确定不使用视觉行动的人(视觉障碍者)步行的方向的方向确定单元和生成用于引导视觉障碍者在所确定的方向上步行的引导信息的引导信息生成单元。在该技术中，通过将来自由视觉障碍者携带的相机的图像与预先存储的参考图像进行匹配来确定视觉障碍者的步行方向，以通过声音等为视觉障碍者引导步行方向。

在行人(诸如视觉障碍者)实际接近人行横道的情况下，当交通信号灯(例如，行人交通信号灯)是红灯时，行人应该停止的位置是人行横道前的位置。因此，当向人行横道前的行人执行停止通知时，需要基于来自诸如相机的图像获取单元的信息(图像信息)准确地识别人行横道的白线(特别是最靠近行人的白线)的位置。在以下描述中，人行横道的白线可以被称为条纹(band)。

通过检测获取到的图像中的白色部分来执行人行横道的识别。当人行横道的白线变模糊(形成白线的涂料的一部分被剥离的状态)或被覆盖(白线的一部分被另一种颜色的物体覆盖的状态，例如，被落叶或泥土覆盖)时，难以准确地识别白线。图26示出在人行横道cw上最靠近行人的白线wl1变模糊的情况下，由诸如相机的图像获取单元(由行人携带的图像获取单元)拍摄的图像的示例。该图中的双点划线指示绘制原始白线wl1的范围。当人行横道cw的白线wl1以这种方式变模糊时，难以从拍摄到的图像的信息判定检测到的白色部分是否为白线(白线wl1的部分)，并且当白色部分是白线wl1时，难以准确地识别白线wl1的形状(在没有发生变模糊的状态下的形状)。因此，有可能无法准确地向行人提供步行支持。

无法准确地识别人行横道的白线的情况不仅包括如上所述的当白线变模糊或被覆盖时，还包括各个白线在纵向方向上的尺寸(与横穿方向正交的方向上的尺寸)彼此不同的情况。图27示出由诸如相机的图像获取单元(由行人携带的图像获取单元)拍摄的人行横道cw上最靠近行人的白线wl1的长度尺寸(在没有发生变模糊等的状态下的长度尺寸)比其他白线的长度尺寸短的人行横道cw的图像的示例。即使在这种情况下，也难以从拍摄到的图像的信息准确地识别具有短的长度尺寸的白线wl1。因此，有可能无法准确地向行人提供步行支持。

已知日本未审查专利申请公开第2020-61020号(JP 2020-61020 A)作为用于识别人行横道上的白线的技术。JP 2020-61020 A公开了安装在车辆上的人行横道标记估计装置。基于车辆周围的道路的平面视图路面图像和用于检测条纹(人行横道的白线)的端部的模板图像，人行横道标记估计装置获取平面视图路面图像上的条纹的端部候选，并且基于获取到的端部候选在平面视图路面图像上的分布，从端部候选在道路延伸方向上的组的情况选择作为对应于人行横道标记的边缘的端部候选的选择端部候选，以基于选择端部候选估计人行横道标记的边缘相对于车辆的位置。

发明内容

然而，JP 2020-61020 A中公开的人行横道标记估计装置安装在车辆上。即，人行横道标记估计装置基于提高在沿着行进方向(车辆的行进方向)的方向上延伸的条纹的识别精度的技术构思。另一方面，在用于允许行人安全地横穿人行横道的步行支持系统中，需要提高在与行进方向(横穿人行横道的方向)相交的方向上延伸的条纹的识别精度。因此，即使将JP 2020-61020A中公开的车辆特定技术(用于准确地识别车辆前方的人行横道的条纹的技术)原样应用于步行支持系统，也不能保证能够准确地识别人行横道的条纹。

特别地，在JP 2020-61020 A公开的技术中，当人行横道的条纹不清楚时，通过模板匹配计算端部候选以估计相对于车辆的边缘。为此，当条纹的端部不清楚时不执行模板匹配，因此无法识别人行横道。因此，在人行横道的识别精度方面存在改进的空间。

本发明是鉴于这一点而做出的，并且本发明的目的是提供能够得到人行横道的条纹的高识别精度的步行支持系统。

为实现上述目的的本发明的技术方案以一种步行支持系统为前提，所述步行支持系统在行人接近人行横道的情况下支持行人的步行。所述步行支持系统包括图像获取单元、人行横道检测单元和条纹形状设定单元。所述图像获取单元获取正在步行的所述行人前方的图像。所述人行横道检测单元能够基于由所述图像获取单元获取的所述图像检测所述人行横道。所述条纹形状设定单元能够基于由所述图像获取单元获取的所述图像，提取能够被确认为构成所述人行横道的条纹的区域和不能被确认为所述条纹的区域，当存在不能被确认为所述条纹的所述区域时，基于不能被确认为所述条纹的所述区域相对于能够被确认为所述条纹的所述区域的相对位置，所述条纹形状设定单元判定不能被确认为所述条纹的所述区域是否为能够被视作所述条纹的区域，并且当判定所述区域是能够被视作所述条纹的所述区域时，所述条纹形状设定单元将所述区域在所述图像中的形状设定为作为所述条纹的形状。

由于这种特定的主题，在不存在基于由图像获取单元获取的图像不能被确认为条纹的区域并且能够识别到人行横道中的所有条纹的情况下，根据这些条纹的位置执行支持行人的步行的操作(例如，当行人到达人行横道的较靠近行人的条纹前的位置时，执行催促行人停止的停止通知)。然而，当存在不能被确认为条纹的区域时，基于不能被确认为条纹的区域相对于能够被确认为条纹的区域的相对位置判定不能被确认为条纹的区域是否为能够被视作条纹的区域。当判定区域是能够被视作条纹的区域时，将区域在图像中的形状设定为作为条纹的形状。结果，例如，即使当条纹的一部分不清楚并且仅通过所获取的图像不能将条纹确认为条纹时，也能够得到条纹的高识别精度。因此，能够根据条纹的位置适当地支持行人的步行。

当存在不能被确认为所述条纹的所述区域时，所述人行横道检测单元获取关于由所述条纹形状设定单元设定的条纹形状的信息，并且基于所述信息识别所述人行横道较靠近所述行人的边缘位置。所述步行支持系统包括通知单元，当所述行人到达所识别的较靠近所述行人的边缘位置前的位置时，所述通知单元执行用于催促所述行人停止的停止通知。

结果，即使当最靠近行人的条纹不清楚时(即使当条纹在不能被确认为条纹的区域中时)，也能够基于关于由条纹形状设定单元设定的条纹形状的信息得到条纹的高识别精度(最靠近行人的条纹的识别精度)，使得当行人到达人行横道前的位置时能够执行用于催促行人停止的停止通知并能够执行适当的步行支持。

所述条纹形状设定单元被配置为将通过对由所述图像获取单元获取的所述图像执行二值化处理而得到的图像与通过由深度学习对由所述图像获取单元获取的所述图像执行条纹的识别而得到的图像进行比较，并且将两个图像中均被识别为条纹确认区域的区域定义为能够被确认为所述条纹的所述区域，并且将所述两个图像中的仅一个图像中被识别为所述条纹确认区域的区域定义为不能被确认为所述条纹的所述区域。

结果，能够避免错误地提取不是条纹的区域作为能够被确认为条纹的区域，这使得能够以高精度提取能够被确认为条纹的区域和不能被确认为条纹的区域。

所述条纹形状设定单元被配置为：当存在能够被确认为所述条纹的多个区域时，在不能被确认为所述条纹的所述区域位于连接所述多个区域在所述条纹的纵向方向上的一端的边缘的第一直线和所述第一直线的延长线与连接另一端的边缘的第二直线和所述第二直线的延长线之间的区域中的条件下，判定不能被确认为所述条纹的所述区域是能够被视作所述条纹的所述区域。

构成人行横道的多个条纹(白线)以预定间隔绘制在道路上。因此，即使当条纹的一部分不清楚时，如果能够识别到其他条纹(其他条纹清楚)，则能够预测不清楚的条纹的位置存在于预定范围内。利用这一点，在本方案中，当不能被确认为条纹的区域位于连接清楚的条纹(能够被确认为条纹的区域)在条纹的纵向方向上的一端的边缘的第一直线和第一直线的延长线与连接另一端的边缘的第二直线和第二直线的延长线之间的区域中时，将该区域视作条纹。这使得能够提高不能被确认为条纹的区域被视作能够被视作条纹的区域的判定的可靠性。

所述步行支持系统还包括：不清楚区域比例计算单元，当不能被确认为所述条纹的所述区域由于构成所述条纹的涂料的一部分剥离而不清楚时，所述不清楚区域比例计算单元计算所述涂料剥离的区域的面积相对于作为由所述条纹形状设定单元设定的所述条纹的形状的整个区域的面积的比例；以及紧急信息输出单元，当由所述不清楚区域比例计算单元计算的所述涂料剥离的所述区域的所述面积的所述比例等于或大于预定值时，所述紧急信息输出单元输出紧急信息。

根据这一点，利用来自紧急信息输出单元的紧急信息的输出，能够针对形成条纹的大部分涂料已经剥离的事实采取对策。在这种情况下，能够提出以下对策。

首先，所述紧急信息输出单元被配置为向集中管理所述步行支持系统的系统管理服务器输出所述紧急信息。

在这种情况下，系统管理服务器累积指示形成条纹的大部分涂料已经剥离的信息，并且能够累积该信息作为大数据，以提供给由系统管理服务器集中管理的各个步行支持系统。此外，该信息能够被有效地用作(例如，信息能够被提供给维修公司等)指示条纹需要维修的信息。

其次，所述紧急信息输出单元被配置为输出所述紧急信息作为用于通知所述行人禁止横穿所述人行横道的信息。

即使判定不能被确认为条纹的区域是能够被视作条纹的区域，当不清楚区域的比例等于或大于预定值时，判定的可靠性也不可能足够高。因此，当不清楚区域的比例等于或大于预定值时，通知行人禁止横穿人行横道。

此外，当图像获取单元、人行横道检测单元和条纹形状设定单元分别内置于由作为所述行人的视觉障碍者使用的白手杖中时，能够仅利用所述白手杖实现所述步行支持系统，使得能够提供高度实用的步行支持系统。

所述通知单元内置于由作为所述行人的视觉障碍者使用的白手杖中，并且所述通知单元被配置为通过振动或声音向使用所述白手杖的所述视觉障碍者执行通知。

结果，能够适当地向握持着白手杖步行的视觉障碍者执行停止通知。

在本发明中，当存在基于获取的图像不能被确认为条纹的区域时，基于不能被确认为条纹的区域相对于能够被确认为条纹的区域的相对位置，判定不能被确认为条纹的区域是否为能够被视作条纹的区域，并且当判定该区域是能够被视作条纹的区域时，将该区域在图像中的形状设定为作为条纹的形状。结果，即使当仅在获取的图像中不能将条纹确认为条纹时，也能够获得条纹的高识别精度并能够根据条纹的位置适当地支持行人的步行。

附图说明

下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中，相同的标号表示相同的元件，并且其中：

图1是示出包括根据实施例的步行支持系统的白手杖的图；

图2是示出白手杖的握持部的内部的示意图；

图3是示出步行支持系统的控制系统的示意性配置的框图；

图4是白线的一部分变模糊的人行横道周围的平面图；

图5示出在人行横道上最靠近行人的白线变模糊的情况下由相机拍摄的图像的示例；

图6是示出图5所示的图像经受二值化处理的状态的图；

图7是示出图6所示的图像经受白色区域组合处理的状态的图；

图8是示出在图7所示的图像中设定边界框的状态的图；

图9是示出通过对图5所示的图像执行的深度学习来设定边界框的状态的图；

图10是图示出白线确认边界框和白线候选边界框的图；

图11是图示出相对位置比较处理的图；

图12是示出由相机拍摄的图像的示例的图；

图13是示出当视觉障碍者处于朝向人行横道的步行状态时由相机拍摄的图像的示例的图；

图14是在视觉障碍者已经到达人行横道的时刻由相机拍摄的图像的示例的图；

图15是示出当视觉障碍者在横穿状态下正在横穿人行横道时由相机拍摄的图像的示例的图；

图16是示出当在横穿状态下正在横穿人行横道的视觉障碍者正在朝向偏向人行横道的右侧的方向步行时由相机拍摄的图像的示例的图；

图17是示出当在横穿状态下正在横穿人行横道的视觉障碍者正在朝向偏向人行横道的左侧的方向步行时由相机拍摄的图像的示例的图；

图18是示出已经识别到的人行横道和交通信号灯的图；

图19是图示出已经识别到的人行横道的白线的边界框的各个部分的尺寸的图；

图20是示出由步行支持系统进行的步行支持操作的过程的流程图；

图21是白线的一部分在纵向方向上具有不同尺寸的人行横道周围的平面图；

图22是示出由相机拍摄的人行横道上最靠近行人的白线的长度尺寸比其他白线的长度尺寸短的人行横道的图像的示例的图；

图23是图示出当以白线的一部分在纵向方向上具有不同尺寸的人行横道作为目标时的相对位置比较处理的图；

图24是图示出当以白线的一部分在纵向方向上具有不同尺寸的人行横道作为目标时由白线形状设定处理补充的白线确认边界框的图；

图25是示出根据变型例的步行支持系统的控制系统的示意性配置的框图；

图26是示出在人行横道上最靠近行人的白线变模糊的情况下由相机拍摄的图像的示例的图；以及

图27是示出由相机拍摄的人行横道上最靠近行人的白线的长度尺寸比其他白线的长度尺寸短的人行横道的图像的示例的图。

具体实施方式

在下文中，将参照附图描述本发明的实施例。本实施例描述了根据本发明的步行支持系统内置于由视觉障碍者使用的白手杖中的情况。在本实施例中，将描述人行横道上最靠近行人的白线(条纹)上已经发生变模糊的情况作为示例。本发明中的行人不限于视觉障碍者。

白手杖的示意性构造

图1是示出包括根据本实施例的步行支持系统10的白手杖1的图。如图1所示，白手杖1包括轴部2、握持部3和末端部(金属箍)4。

轴部2是具有中空的大致圆形横截面的杆状，并且由铝合金、玻璃纤维强化树脂、碳纤维强化树脂等制成。

握持部3设置在轴部2的基端部(上端部)上，并且通过安装由诸如橡胶的弹性体制成的罩31来构造。考虑到视觉障碍者(行人)握持握持部3时的易握性和防滑性，根据本实施例的白手杖1的握持部3在末端侧(图1中的上侧)稍微弯曲。

末端部4是由硬质合成树脂等制成的大致的有底筒状构件，并且安装到轴部2的末端部上，并且通过诸如粘合或螺纹接合的方式固定到轴部2。末端部4在末端侧的端表面具有半球形形状。

根据本实施例的白手杖1是不能折叠的直手杖。然而，白手杖1可以是在轴部2的中间位置或多个位置处可折叠或可伸展/可收缩的手杖。

步行支持系统的配置

本实施例的特征是内置于白手杖1中的步行支持系统10。在下文中，将描述步行支持系统10。

图2是示出白手杖1的握持部3的内部的示意图。如图2所示，根据本实施例的步行支持系统10内置于白手杖1中。图3是示出步行支持系统10的控制系统的示意性配置的框图。

如这些附图所示，步行支持系统10包括相机(图像获取单元)20、短距离无线通信装置40、振动发生装置(通知单元)50、电池60、充电插座70、控制装置80等。

相机20在握持部3的根部处嵌入握持部3的前表面(面向视觉障碍者的行进方向的表面)中，并且拍摄视觉障碍者在行进方向上的前方(步行方向上的前方)的图像。相机20由例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)构造。相机20的构造和布置位置不限于上述的构造和布置位置，并且例如，相机20可以嵌入轴部2的前表面(面向视觉障碍者的行进方向的表面)中。

作为相机20的特征，相机20被配置为能够获取步行的视觉障碍者在行进方向上的前方的图像的广角相机，该图像包括当视觉障碍者到达人行横道时的人行横道的白线中的最靠近视觉障碍者的白线和位于视觉障碍者前方的交通信号灯(例如，行人交通信号灯)二者。即，相机20被配置为能够拍摄在视觉障碍者已经到达人行横道前的位置的时刻的视觉障碍者的脚附近(稍微位于脚前方的位置处)的人行横道的最前侧的白线和安装于横穿目的地的地点的交通信号灯二者的图像。相机20所需的视角被适当地设定，使得能够如上所述地获取包括最靠近视觉障碍者的白线(人行横道的白线)和交通信号灯二者的图像。

短距离无线通信装置40是用于在相机20与控制装置80之间执行短距离无线通信的无线通信装置。例如，短距离无线通信装置40被配置为通过诸如蓝牙(注册商标)的已知通信手段在相机20与控制装置80之间执行短距离无线通信，以向控制装置80无线地传递由相机20拍摄的图像的信息。

振动发生装置50布置在握持部3的根部中的相机20的上方。振动发生装置50响应于内置马达的操作而振动，并且向握持部3传递振动，从而能够向握持握持部3的视觉障碍者执行各种通知。稍后将描述通过振动发生装置50的振动来向视觉障碍者执行的通知的具体示例。

电池60由存储用于相机20、短距离无线通信装置40、振动发生装置50和控制装置80的电力的二次电池构造。

充电插座70是当在电池60中存储电力时连接充电电缆的部分。例如，当视觉障碍者在家中从家用电源对电池60进行充电时，连接充电电缆。

例如，控制装置80包括诸如中央处理单元(CPU)的处理器、存储控制程序的只读存储器(ROM)、暂时地存储数据的随机存取存储器(RAM)、输入/输出端口等。

控制装置80包括信息接收单元81、人行横道检测单元82、条纹形状设定单元83、交通信号灯判定单元84、切换识别单元85和信息传递单元86作为由控制程序实现的功能单元。以下将描述上述单元中的每一个的功能的概要。

信息接收单元81经由短距离无线通信装置40以预定时间间隔从相机20接收由相机20拍摄的图像的信息。

人行横道检测单元82从由信息接收单元81接收到的图像的信息(由相机20拍摄的图像的信息)识别图像中的人行横道，并且检测人行横道的白线中的最靠近行人(视觉障碍者)的白线的前边缘位置。这里检测到的最靠近行人的白线的前边缘位置是由稍后描述的条纹形状设定单元83设定的白线(条纹)的形状中的最靠近行人的白线的前边缘位置(考虑到如稍后所描述的在白线上已经发生了变模糊的事实的白线的前边缘位置)。即，通过从条纹形状设定单元83接收信息(关于白线的形状的信息)，人行横道检测单元82识别最靠近行人的白线的前边缘位置并且输出对应于边缘位置的信号。

条纹形状设定单元83是成为本实施例中的特征的功能单元，并且能够基于由相机20拍摄的图像的信息提取能够被确认为构成人行横道的白线的区域和不能被确认为构成人行横道的白线的区域。当存在不能被确认为白线的区域时，条纹形状设定单元83基于不能被确认为白线的区域相对于能够被确认为白线的区域的相对位置，判定不能被确认为白线的区域是否为能够被视作白线的区域。当条纹形状设定单元83判定该区域是能够被视作白线的区域时，条纹形状设定单元83将该区域在图像中的形状设定为作为白线的形状(白线的原始形状)。然后，设定的白线信息被传递到人行横道检测单元82，以用于由人行横道检测单元82执行的人行横道的识别操作(特别地，最靠近行人的白线的前边缘位置的识别操作)。在下文中，将给出具体描述。

通过检测获取到的图像中的白色部分(高亮度区域)来执行人行横道的识别。因此，当人行横道的白线变模糊(形成白线的涂料的一部分被剥离的状态)或被覆盖(白线的一部分覆盖有另一种颜色的物体的状态，例如，覆盖有落叶或泥土)时，难以准确地识别白线。因此，有可能无法准确地向行人(视觉障碍者)提供步行支持。特别地，当最靠近行人的白线变模糊或被覆盖时，难以在人行横道前的适当位置处执行停止通知。图4是白线的一部分变模糊的人行横道CW周围的平面图。图4中的箭头指示视觉障碍者相对于人行横道CW的行进方向(接近人行横道CW的方向)。图5是示出在人行横道CW上最靠近行人的白线WL1变模糊的情况下由相机20拍摄的图像的示例的图。当获取到这样的图像时，最靠近行人的白线WL1不能被确认为白线，并且难以准确地识别白线。应当注意，难以准确识别白线的情况不限于如上所述的白线变模糊或被覆盖的情况。根据相机20的成像方向和天气(尤其是路面上有水坑或雪的情况)，也可能难以准确地识别白线。

因此，在本实施例中，如上所述，当存在由于变模糊等而不能被确认为白线的区域时，条纹形状设定单元83判定不能被确认为白线的区域是否为能够被视作白线的区域。当条纹形状设定单元83判定该区域是能够被视作白线的区域时，条纹形状设定单元83将该区域在图像中的形状设定为作为白线的形状(更具体地，作为围绕白线的边界框的形状)。

作为用于该目的的条纹形状设定单元83中的信息处理，依次执行二值化处理、白色区域组合处理、边界框设定处理、边界框比较处理、白色区域存储处理、相对位置比较处理和白线形状设定处理。在下文中，将具体描述这些处理。

二值化处理

在二值化处理中，针对由相机20拍摄的图像执行单色(黑色和白色)二值化处理。图6是示出图5所示的图像经受二值化处理的状态的图。如图6所示，在二值化处理中，区分了图像中亮度等于或高于阈值的区域与亮度低于阈值的区域，并且仅提取亮度等于或高于阈值的区域。在图6中，白色区域是亮度等于或高于阈值的区域，并且灰色区域是亮度低于阈值的区域。这里，未发生变模糊的白线WL2到WL7、已经发生了变模糊的白线WL1的一部分(保持为白色的部分，即，图6中标号为WL1a、WL1b、WL1c的部分)和行人交通信号灯TL中的照亮区域被提取为亮度等于或高于阈值的区域。此时，还未确认白线WL1的一部分(保持为白色的部分WL1a、WL1b、WL1c)是白线WL1的一部分。

白色区域组合处理

在白色区域组合处理中，从所提取的区域(亮度等于或高于阈值的区域)中，组合相邻区域的距离尺寸小于预定尺寸的区域。图7是示出图6所示的图像经受白色区域组合处理的状态的图。例如，所提取的区域之间的距离尺寸的检测通过测量对应于图像中的该距离的像素数来执行。在图7中，构成白线WL1的各个白色部分(图6中的各个白色部分WL1a、WL1b、WL1c)彼此连接以形成连续的白色部分。在下文中，该组合的白色部分被称为组合区域WL1J。

边界框设定处理

在边界框设定处理中，针对没有发生变模糊的白线WL2到WL7设定边界框，并且还针对组合区域WL1J设定边界框。此外，针对行人交通信号灯TL中的照亮区域设定边界框。图8是示出在图7所示的图像中设定边界框(参见图中的点划线)的状态的图。针对组合区域WL1J设定的边界框的水平长度尺寸与组合区域WL1J的右端部与左端部之间的长度尺寸基本一致。此外，针对组合区域WL1J设定的边界框的竖直长度尺寸与组合区域WL1J的上端部与下端部之间的长度尺寸基本一致。通过以这种方式设定边界框，不管各个白色部分WL1a、WL1b、WL1c的形状如何(即使端部被剥离以致缺失)，都能够设定围绕这些白色部分WL1a、WL1b、WL1c的全部的边界框(方形框)。当能够从人行横道CW的候选可靠地排除以这种方式设定的边界框的大小和位置时，边界框可以作为噪声被去除。

边界框比较处理

在边界框比较处理中，将在边界框设定处理中设定的边界框(针对没有发生变模糊的白线WL2到WL7设定的边界框、针对组合区域WL1J设定的边界框和针对行人交通信号灯TL中的照亮区域设定的边界框)与通过对由相机20拍摄的图像执行深度学习而得到的人行横道CW的白线的边界框进行比较。即，对这些边界框的大小和位置进行比较，以提取彼此匹配的边界框和彼此不匹配的边界框。这里，针对使用具有预先注释的宽度尺寸、长度尺寸等的白线的数据(白线的标记数据，即，用于通过深度学习识别白线的教师数据)而确认的白线，设定通过深度学习而得到的人行横道CW的白线的边界框。图9是示出通过对图5所示的图像执行的深度学习来设定边界框(参见图中的点划线)的状态的图。

通过比较这些边界框，针对白线WL2到WL7设定的边界框彼此匹配。另一方面，尽管在边界框设定处理中设定的边界框包括针对组合区域WL1J的边界框和针对行人交通信号灯TL中的照亮区域设定的边界框，但是通过深度学习设定的边界框不包括针对组合区域WL1J的边界框和针对行人交通信号灯TL中的照亮区域设定的边界框。因此，针对组合区域WL1J的边界框和针对行人交通信号灯TL中的照亮区域设定的边界框被提取为不匹配边界框(与通过深度学习设定的边界框不匹配)。在以下描述中，匹配的边界框被称为白线确认边界框(本发明中的条纹确认区域和能够被确认为条纹的区域)，并且不匹配的边界框被称为白线候选边界框(本发明中的不能被确认为条纹的区域)。在图10中，由点划线指示白线确认边界框，并且由双点划线指示白线候选边界框。

白色区域存储处理

在白色区域存储处理中，在边界框比较处理中得到的信息存储在RAM中。即，存储白线确认边界框和白线候选边界框的信息。

相对位置比较处理

在相对位置比较处理中，得到白线候选边界框相对于白线确认边界框的相对位置，并且判定白线候选边界框是否为能够被视作白线的边界框。

将具体描述该相对位置比较处理。图11是示出相对位置比较处理的图。如图11所示，判定白线候选边界框(由图中的双点划线指示的边界框)是否位于直线L1和直线L1的延长线L1’、L1”与直线L2和直线L2的延长线L2’、L2”之间的区域中。直线L1连接各个白线确认边界框(由图中的点划线指示的边界框)的纵向方向(图11中的左右方向)上的一端的边缘，并且直线L2连接其另一端的边缘。如图11所示，在图像中，靠近视觉障碍者的白线显示得大，而远离视觉障碍者的白线显示得小。因此，各个直线L1、L1’、L1”、L2、L2’、L2”被绘制为相对于图像的竖直方向具有预定倾斜角度的斜线。

在图11中，在多个白线候选边界框中，针对行人交通信号灯TL中的照亮区域设定的边界框不存在于直线L1、L1’、L1”、L2、L2’、L2”之间(具体地，在直线L1’和L2’之间)的区域中。因此，判定该白线候选边界框是不被视作白线的边界框。另一方面，在多个白线候选边界框中，白色部分WL1a、WL1b、WL1c的边界框存在于直线L1、L1’、L1”、L2、L2’、L2”之间(具体地，在直线L1”和L2”之间)的区域中。因此，判定该白线候选边界框是被视作白线的边界框。

利用上述操作，图像中能够被确认为白线的区域(对应于白线的边界框)是上述针对白线WL2到WL7设定的边界框，以及存在于直线L1、L1’、L1”、L2、L2’、L2”之间的区域中的白线候选边界框(白色部分WL1a、WL1b、WL1c的边界框)。

白线形状设定处理

在白线形状设定处理中，在相对位置比较处理中被视作白线的边界框(白色部分WL1a、WL1b、WL1c的边界框)被扩展并校正为对应于白线WL1的原始形状的边界框。具体地，边界框的长度尺寸(图中左右方向上的尺寸)被扩展到与边界框的长度方向上的直线L1”和L2”中的每一个相对应的位置。结果，白线WL1的边界框被扩展到由图11中的虚线B指示的位置。图11示出向右侧扩展边界框的情况，但是当白色部分WL1a、WL1b和WL1c仅存在于白线WL1的中央部(纵向方向上的中央部)中时，向左右两侧扩展边界框。

在条纹形状设定单元83中设定的边界框的信息被传递到人行横道检测单元82，并且人行横道检测单元82检测这些边界框中最靠近行人的边界框的下端位置(参见图11中的LN)。该下端位置对应于本发明中的“人行横道的较靠近行人的边缘位置”。在本实施例中，针对各个白线WL1到WL7设定边界框，并且位于图像中最下侧的边界框的下端位置LN被定义为“人行横道的较靠近行人的边缘位置”。然而，在不设定边界框的情况下，在图像中已经被确认的白线WL1到WL7中，位于最下侧的白线WL1的下端位置可以被定义为“人行横道的较靠近行人的边缘位置”。

如稍后描述的，边界框用于指定视觉障碍者的停止位置、指定交通信号灯TL的位置、当视觉障碍者横穿人行横道CW时指定视觉障碍者的行进方向、判定完成横穿人行横道CW等。稍后将描述以上内容的细节。

交通信号灯判定单元84从由信息接收单元81接收的图像的信息判定交通信号灯TL的状态是红灯(停止指令状态)还是绿灯(横穿许可状态)。在估计由信息接收单元81接收的图像中的交通信号灯TL的存在区域中，在如上所述针对已经识别到的白线WL1到WL7设定的边界框中，指定图像中最远的边界框的坐标，并且如图12所示，定义接触上述边界框(针对识别到的白线WL1到WL7中位于最远位置处的白线WL7设定的边界框)的上侧的四边形(具有宽度尺寸是w_s和高度尺寸是h_s的四边形)。在将四边形定义为交通信号灯TL的区域A(交通信号灯TL的存在区域)的情况下，输出剪裁范围。此时，剪裁范围可以是正方形或矩形。尽管尺寸w_s和h_s可以被设定为任何值，但是尺寸w_s和h_s是根据经验或实验设定的，以便包括交通信号灯TL的布置位置。一般的对象检测算法或一般的基于规则的算法用于由交通信号灯判定单元84执行的对交通信号灯的状态(颜色检测)的判定。

切换识别单元85识别由交通信号灯判定单元84判定的交通信号灯TL的状态已经从红灯切换到绿灯。在识别到交通信号灯的这种切换时，切换识别单元85向信息传递单元86传递切换信号。切换信号从信息传递单元86传递到振动发生装置50。协同接收切换信号，振动发生装置50以预定模式振动，从而由于交通信号灯TL已经从红灯切换到绿灯的事实而向视觉障碍者执行允许横穿人行横道的通知(横穿开始通知)。

步行支持操作

接下来，将描述由如上所述地配置的步行支持系统10执行的步行支持操作。首先，将描述本实施例的概要。

本实施例的概要

这里，视觉障碍者步行期间的时间指示为t∈[0，T]，并且代表视觉障碍者的状态的变量指示为s∈R^T。在时间t的状态变量由s_t∈[0，1，2]的整数表示，所述整数中的每个代表步行状态(s_t＝0)、停止状态(s_t＝1)和横穿状态(s_t＝2)。对于步行状态，例如，假设视觉障碍者正在朝向交叉路口(包括交通信号灯TL和人行横道CW的交叉路口)步行的状态。对于停止状态，假设视觉障碍者已经到达人行横道CW前的位置并且在等待交通信号灯改变(等待交通信号灯从红灯切换到绿灯)的同时停止(未步行)的状态。对于横穿状态，假设视觉障碍者正在横穿人行横道CW的状态。

本实施例提出如下算法：所述算法用于当输入由相机20在时间t拍摄的图像X_t∈R^w0×h0(w₀和h₀分别表示纵向图像尺寸和横向图像尺寸)时得到用于支持视觉障碍者的步行的目的的输出y∈R^T。这里，用于支持视觉障碍者的步行的输出由整数y_t∈[1，2，3，4]表示，所述整数中的每个代表停止指令(y_t＝1)、步行指令(y_t＝2)、右偏离警告(y_t＝3)和左偏离警告(y_t＝4)。在下面的描述中，停止指令可以被称为停止通知。此外，步行指令可以被称为步行通知或横穿通知。通过振动发生装置50的振动模式向视觉障碍者执行这些指令(通知)和警告。视觉障碍者预先知道指令(通知)和警告与振动发生装置50的振动模式之间的关系，并且通过从握持部3感觉振动发生装置50的振动模式来掌握指令和警告的类型。

如稍后描述的，存在用于判定代表视觉障碍者的状态的参数s的转换的函数(在下文中称为状态转换函数)f₀、f₁、f₂，和用于判定偏离人行横道CW(向左右方向偏离)的状态转换函数f₃。这些状态转换函数f₀到f₃存储在ROM中。稍后将描述状态转换函数f₀到f₃的具体示例。

输出参数y和状态转换函数f_i的概要

将描述上述用于支持视觉障碍者的步行的输出y_t∈[1，2，3，4]。

如上所述，为了支持视觉障碍者的步行的目的，有四种类型的输出作为输出y_t，即，停止指令(y_t＝1)、步行指令(y_t＝2)、右偏离警告(y_t＝3)和左偏离警告(y_t＝4)。

停止指令(y_t＝1)是用于在视觉障碍者已经到达人行横道CW前的位置的时刻通知视觉障碍者停止步行的指令。例如，当由相机20拍摄的图像指示图13(示出当视觉障碍者处于朝向人行横道CW的步行状态时由相机20拍摄的图像的示例的图)所示的状态时，距人行横道CW的距离相对长，使得不执行停止指令(y_t＝1)并且使视觉障碍者继续步行状态(s_t＝0)。然而，当由相机20拍摄的图像指示图14(示出在视觉障碍者已经到达人行横道CW的时刻由相机20拍摄的图像的示例的图)所示的状态时，是视觉障碍者已经到达人行横道CW前的位置的时刻，使得输出停止指令(y_t＝1)并且通知视觉障碍者停止步行。稍后将描述关于是否满足执行停止指令(y_t＝1)的条件的判定(基于状态转换函数的计算结果的判定)。

步行指令(y_t＝2)是用于当交通信号灯TL从红灯切换到绿灯时通知视觉障碍者步行(横穿人行横道CW)的指令。例如，当视觉障碍者在人行横道CW前处于停止状态(s_t＝1)并且基于由相机20拍摄的图像交通信号灯TL从红灯切换到绿灯时，输出步行指令(y_t＝2)以通知视觉障碍者开始横穿人行横道CW。稍后还将描述关于是否满足执行步行指令(y_t＝2)的条件的判定(基于状态转换函数的计算结果的判定)。

在本实施例中，用于执行步行指令(y_t＝2)的时刻是交通信号灯TL的状态从红灯切换到绿灯的时刻。即，当视觉障碍者到达人行横道CW时即使交通信号灯TL已经是绿灯，也不执行步行指令(y_t＝2)，并且在交通信号灯TL一旦切换到红灯之后，在交通信号灯TL切换到绿灯的时刻执行步行指令(y_t＝2)。这使得能够确保当视觉障碍者横穿人行横道CW时交通信号灯TL是绿灯的充足时间，并且使得难以造成在视觉障碍者正在横穿人行横道CW的同时交通信号灯TL从绿灯切换到红灯的情况。

右偏离警告(y_t＝3)是如下的通知：用于当横穿人行横道CW的视觉障碍者在从人行横道CW向右侧偏离的方向上步行时警告视觉障碍者存在从人行横道CW向右侧偏离的风险。例如，在由相机20拍摄的图像处于图15(示出当视觉障碍者在横穿状态下正在横穿人行横道CW时由相机20拍摄的图像的示例的图)所示的状态的状态下，以及在视觉障碍者在横穿状态(s_t＝2)下正在横穿人行横道CW的情况下，当由相机20拍摄的图像改变为图16(示出当在横穿状态下正在横穿人行横道CW的视觉障碍者在向人行横道CW的右侧偏离的方向上步行时由相机20拍摄的图像的示例的图)所示的状态时，视觉障碍者在从人行横道CW向右侧偏离的方向上步行，使得输出右偏离警告(y_t＝3)以警告视觉障碍者。

左偏离警告(y_t＝4)是如下的通知：用于当横穿人行横道CW的视觉障碍者在从人行横道CW向左侧偏离的方向上步行时警告视觉障碍者存在从人行横道CW向左侧偏离的风险。例如，在由相机20拍摄的图像处于图15所示的状态的状态下，以及在视觉障碍者在横穿状态(s_t＝2)下正在横穿人行横道CW的情况下，当由相机20拍摄的图像改变为图17(示出当在横穿状态下正在横穿人行横道CW的视觉障碍者在向人行横道CW的左侧偏离的方向上步行时由相机20拍摄的图像的示例的图)所示的状态时，视觉障碍者在从人行横道CW向左侧偏离的方向上步行，使得输出左偏离警告(y_t＝4)以警告视觉障碍者。

稍后还将描述关于是否满足执行右偏离警告(y_t＝3)和左偏离警告(y_t＝4)的条件的判定(基于状态转换函数的计算结果的判定)。

用于步行支持的特征量

接下来，将描述用于视觉障碍者的步行支持的特征量。为了适当地向视觉障碍者执行各种通知(诸如在人行横道CW前的步行的停止通知和随后的横穿开始通知)，必要的是经由来自相机20的信息准确地识别人行横道CW的位置(人行横道CW的最前侧的白线WL1的位置)和交通信号灯TL的状态(交通信号灯TL是绿灯还是红灯)。即，需要构建反映白线WL1的位置和交通信号灯TL的状态的模型公式，并且需要能够根据该模型公式掌握视觉障碍者的当前情况。

在特征量和状态转换函数的以下描述中，作为步行支持系统10的基本操作，将描述人行横道CW的白线WL1到WL7没有发生变模糊并且在由相机20拍摄的图像中识别到人行横道CW(至少识别到位于最前侧位置的白线WL1)的情况。

图18和图19示出用于视觉障碍者的步行支持的特征量[w₃、w₄、w₅、h₃、r、b]^T∈R⁶的概要。字符r和b分别代表交通信号灯TL的状态(红灯和绿灯)的检测结果(0：未检测到，1：检测到)。当检测交通信号灯TL的状态时，如上所述，提取由图12中虚线围绕的区域A以识别交通信号灯TL的状态。如图19所示，使用位于由人行横道检测单元82识别到的人行横道CW的白线WL1到WL7的最前侧位置的白线WL1的边界框来定义字符w₃、w₄、w₅、h₃。即，w₃是从图像的左端到边界框的左端(对应于白线WL1的左端)的距离，w₄是边界框的宽度尺寸(对应于白线WL1的宽度尺寸)，w₅是从图像的右端到边界框的右端(对应于白线WL1的右端)的距离，并且h₃是从图像的下端到边界框的下端(对应于白线WL1的前侧边缘)的距离。

当使用深度学习来检测人行横道CW和交通信号灯TL的函数被定义为g并且使用由相机20在时间t拍摄的图像X_t∈R^w0×h0而已经预测到的人行横道CW和交通信号灯TL的边界框被表达为g(X_t)时，能够通过下面的公式(1)表达支持视觉障碍者的步行所需的特征量。

公式(1)

这里，

公式2

是用于提取特征量j(t)的算子并且用于对g(X_t)执行后处理，并且p1是每帧的边界框的最大数。

状态转换函数

接下来，将描述状态转换函数。如上所述，状态转换函数用来判定是否满足通知停止指令(y_t＝1)、步行指令(y_t＝2)、右偏离警告(y_t＝3)和左偏离警告(y_t＝4)中的每一个的条件。

使用相对于人行横道CW的特征量的时间历史信息J＝{j(0),j(1),...j(t)}、当前状态量(状态变量)st和在时间t+1拍摄的图像X_t+1，能够通过下面的公式(3)表达在时间t+1的状态量(状态变量)s_t+1。

公式3

s_t+1＝f(J，s_t，X_t+1)                       …(3)

根据当前时间的状态量，公式(3)中的状态转换函数f能够被定义为下面的公式(4)。

公式4

换句话说，随着视觉障碍者的步行的转换重复如下：步行(例如，朝向人行横道CW步行)→停止(例如，在人行横道CW前停止)→横穿(例如，横穿人行横道CW)→步行(例如，在完成横穿人行横道CW之后的步行)，用于判定是否满足向处于步行状态(s_t＝0)的视觉障碍者执行停止指令(y_t＝1)的条件的状态转换函数是f₀(J，X_t+1)，用于判定是否满足向处于停止状态(s_t＝1)的视觉障碍者执行横穿(步行)指令(y_t＝2)的条件的状态转换函数是f₁(J，X_t+1)，并且用于判定是否满足通知处于横穿状态(s_t＝2)的视觉障碍者步行(横穿完成)的条件的状态转换函数是f₂(J，X_t+1)。此外，用于判定是否满足警告处于横穿状态(s_t＝2)的视觉障碍者从人行横道CW偏离的条件的状态转换函数是f₃(J，X_t+1)。

在下文中，将具体描述对应于各个状态量(状态变量)的状态转换函数。

在步行状态下应用的状态转换函数

能够由使用公式(1)中的特征量的下面的公式(5)到公式(7)表达当前时间的状态量是步行状态(s_t＝0)时使用的状态转换函数f₀(J，X_t+1)。

公式5

公式6

公式7

这里，H是赫维赛德函数(Heaviside function)并且δ是狄拉克函数(Deltafunction)。此外，α₁和α₂是用作判定标准的参数，并且t0是用于指定要使用的过去状态的参数。此外，I₂＝{0,1,0,0,0,0}^T和I₄＝{0,0,0,1,0,0}^T成立。

当使用公式(5)时，仅当α₁>h₃和w₄>α₂的条件在过去的时间t0不满足并在时间t+1首次满足时得到“1”，否则得到“0”。即，当满足α₁>h₃时，判定位于人行横道CW的最前侧位置处的白线WL1(白线的边界框的下端)位于视觉障碍者的脚下，并且当满足w₄>α₂时，判定白线WL1在与视觉障碍者的行进方向正交的方向上延伸(白线的边界框的宽度尺寸超过预定尺寸)。当满足α₁>h₃和w₄>α₂二者时得到“1”。

当以这种方式在公式(5)中得到“1”时，假设满足执行停止指令(y_t＝1)的条件，并且向处于步行状态的视觉障碍者执行停止指令(例如，在人行横道CW前的步行的停止指令，即，停止通知)。

此外，在本实施例中，除了人行横道CW位于视觉障碍者的脚下的条件(α₁>h₃)之外，还增加了对检测到的人行横道CW的宽度的约束(w₄>α₂)，从而在图像X_t+1中包括位于视觉障碍者的行进方向上的人行横道CW以外的人行横道(诸如在交叉路口处沿与视觉障碍者的行进方向正交的方向延伸的人行横道)的情况下防止检测错误。即，即使当在道路交叉路口等处存在具有不同交叉方向的多个人行横道时，也能够将视觉障碍者应该横穿的人行横道CW(在白线WL1沿与视觉障碍者应该横穿的方向交叉的方向延伸的状态下，使得相对宽地识别到白线WL1的宽度尺寸的人行横道CW)和其他人行横道(白线的宽度尺寸被相对窄地识别到的人行横道)彼此清楚地区分，使得能够以高精度准确地向视觉障碍者执行横穿开始通知。

在停止状态下应用的状态转换函数

先前时间的状态量是停止状态(s_t＝1)时使用的状态转换函数f₁(J，X_t+1)能够由下面的公式(8)到(10)表达。

公式8

公式9

公式10

这里，X'_t+1是通过从X_t+1剪裁和放大图像得到的。即，在图像X'_t+1中充分地提高了交通信号灯TL的识别精度。此外，I₅＝{0，0，0，0，1，0}^T和I₆＝{0，0，0，0，0，1}^T成立。

在公式(8)中，仅当在过去的时间t0检测到红灯之后在时间t+1首次检测到绿灯时得到“1”，否则得到“0”。

当以这种方式在公式(8)中得到“1”时，假设满足执行步行(横穿)指令(y_t＝2)的条件，并且向处于停止状态的视觉障碍者执行横穿指令(例如，人行横道的横穿指令，即，横穿通知)。

基于上述逻辑的状态转换在没有交通信号灯的交叉路口处的人行横道可能是不能实现的。为了解决这个问题，可以引入新的参数t1>t0，使得当判定时间t1期间没有从停止状态的状态转换时，状态转换到步行状态。

在横穿状态下应用的状态转换函数

能够由下面的公式(11)表达先前时间的状态量是横穿状态(s_t＝2)时使用的状态转换函数f₂(j,X_t+1)。

公式11

在公式(11)中，仅当从过去的t-t0到当前时间t+1甚至一次都不能检测到交通信号灯和视觉障碍者脚下的人行横道CW时得到“1”，否则得到“0”。即，仅当因为视觉障碍者已经完成横穿人行横道CW而不能检测到交通信号灯TL和视觉障碍者脚下的人行横道CW时得到“1”。

当以这种方式在公式(11)中得到“1”时，假设满足执行横穿完成的条件，并且向处于步行状态的视觉障碍者执行横穿完成(横穿人行横道的完成)的通知。

判定从人行横道偏离的状态转换函数

用于判定在视觉障碍者横穿人行横道CW的同时从人行横道CW偏离的状态转换函数f₃(j,X_t+1)能够由下面的公式(12)到(14)表达。

公式12

公式13

公式14

这里，α₃是用作判定标准的参数。此外，I₁＝{1，0，0，0，0，0}^T和I₃＝{0，0，1，0，0，0}^T成立。

在公式(12)中，当从检测到的人行横道CW的位置处的框架中心偏离的量等于或大于容许量时得到“1”，否则得到“0”。即，当w₃的值大于预定值时(在左偏离的情况下)或当w₅的值大于预定值时(在右偏离的情况下)得到“1”。

当以这种方式在公式(12)中得到“1”时，执行右偏离警告(y_t＝3)或左偏离警告(y_t＝4)。

步行支持操作

接下来，将描述由步行支持系统10执行的步行支持操作的流程。

图20是示出上述一系列步行支持操作的流程的流程图。以预定时间间隔重复地执行该流程图使得在视觉障碍者在街道上(人行道上)步行的情况下从预定时间t到预定时间t+1执行一个例程。在以下描述中，将省略各个状态转换函数中的变量(J,X_t+1)的描述。

首先，在步骤ST1中在视觉障碍者处于步行状态的情况下，在步骤ST2中判定从由相机20拍摄的图像是否检测到人行横道CW的存在(是否由人行横道检测单元82检测到人行横道CW的存在)。具体地，基于在包括由人行横道检测单元82识别到的人行横道CW的图像区域中的人行横道CW的白线WL1的位置(更具体地，位于最前侧位置中的白线WL1的边界框的位置)，判定是否在用于判定是否满足执行上述停止指令(y_t＝1)的条件的状态转换函数f₀(上述公式(5))中得到“1”。

在步骤ST2中，在判定是否检测到人行横道CW的存在中，执行由上述条纹形状设定单元83执行的各个处理(二值化处理、白色区域组合处理、边界框设定处理、边界框比较处理、白色区域存储处理、相对位置比较处理、白线形状设定处理)。即，在不存在基于由相机20获取的图像不能被确认为白线的区域并且能够识别到人行横道CW中的所有白线的情况下，从由相机20获取的图像检测到人行横道CW的存在。另一方面，当存在基于由相机20获取的图像不能够被确认为白线的区域时，通过使用对应于由条纹形状设定单元83执行的各个处理(特别地，白线形状设定处理)设定的原始白线的形状的边界框(延伸并校正后的边界框)识别人行横道CW中的所有白线WL1到WL7，从而检测人行横道CW的存在。

当在该状态转换函数f₀中得到“0”时，假设不满足执行停止指令(y_t＝1)的条件，即视觉障碍者还未到达人行横道CW前的位置，判定为“否”并且处理返回到步骤ST1。由于在步骤ST2中判定为“否”直到视觉障碍者到达人行横道CW前的位置，因此重复步骤ST1和ST2的操作。

当视觉障碍者到达人行横道CW前的位置并且在状态转换函数f₀中得到“1”时，在步骤ST2中判定为“是”并且处理进行到步骤ST3。在步骤ST3中，向视觉障碍者执行停止指令(y_t＝1)。具体地，视觉障碍者所持有的白手杖1中的振动发生装置50以指示停止指令(停止通知)的模式振动。结果，握持白手杖1的握持部3的视觉障碍者通过感觉振动发生装置50的振动模式识别到已经执行了停止指令，并且停止步行。

在步骤ST4中在视觉障碍者处于停止状态的情况下，在步骤ST5中判定是否在判定是否满足执行上述步行指令(y_t＝2)的条件的状态转换函数f₁(上述公式(8))中得到“1”。在该状态转换函数f₁的判定操作中，如上述图12所示的，提取由虚线围绕的区域A，并且例如，放大该区域A以便于判定交通信号灯TL的状态。

当在状态转换函数f₁中得到“0”时，假设不满足执行步行指令(y_t＝2)的条件，即交通信号灯TL还未切换到绿灯，判定为“否”并且处理返回到步骤ST4。由于在步骤ST5中判定为“否”直到交通信号灯TL切换到绿灯，因此重复步骤ST4和ST5的操作。

当交通信号灯TL切换到绿灯并且在状态转换函数f₁中得到“1”时，在步骤ST5中判定为“是”，并且处理进行到步骤ST6。该操作对应于切换识别单元(识别交通信号灯的状态已经从停止指令状态切换到横穿许可状态的切换识别单元)85的操作。

在步骤ST6中，向视觉障碍者执行步行(横穿)指令(y_t＝2)。具体地，视觉障碍者所持有的白手杖1中的振动发生装置50以指示步行指令(横穿开始通知)的模式振动。结果，握持白手杖1的握持部3的视觉障碍者识别到已经执行了步行指令，并且开始横穿人行横道CW。

在步骤ST7中在视觉障碍者在横穿状态下正在横穿人行横道CW的情况下，在步骤ST8中判定是否在判定是否满足警告偏离人行横道CW的条件的状态转换函数f₃(上述公式(12))中得到“1”。

当在状态转换函数f₃中得到“1”并且在步骤ST8中判定为“是”时，在步骤ST9中判定从人行横道CW偏离的方向是否为右方向(右偏离)。当从人行横道CW偏离的方向是右方向并且在步骤ST9中判定为“是”时，处理进行到步骤ST10，并且向视觉障碍者执行右偏离警告(y_t＝3)。具体地，视觉障碍者所持有的白手杖1中的振动发生装置50以指示右偏离警告的模式振动。结果，握持白手杖1的握持部3的视觉障碍者识别到已经执行了右偏离警告并且将步行方向改变为朝向左方向。

另一方面，当从人行横道CW偏离的方向是左方向并且在步骤ST9中判定为“否”时，处理进行到步骤ST11，并且向视觉障碍者执行左偏离警告(y_t＝4)。具体地，视觉障碍者所持有的白手杖1中的振动发生装置50以指示左偏离警告的模式振动。结果，握持白手杖1的握持部3的视觉障碍者识别到已经执行了左偏离警告，并且将步行方向改变为朝向右方向。在以这种方式执行了偏离警告之后，处理进行到步骤ST14。

当没有从人行横道CW偏离并且在状态转换函数f₃中得到“0”时，在步骤ST8中判定为“否”并且处理进行到步骤ST12。在步骤ST12中，判定当前是否正在步骤ST10或步骤ST11中发生偏离警告。当没有发生偏离警告并且在步骤ST12中判定为“否”时，处理进行到步骤ST14。另一方面，当正在发生偏离警告并且在步骤ST12中判定为“是”时，处理进行到步骤ST13以取消偏离警告，并且处理进行到步骤ST14。

在步骤ST14中，判定是否在判定是否满足通知横穿完成的条件的状态转换函数f₂(上述公式(11))中得到“1”。

当在状态转换函数f₂中得到“0”时，假设不满足通知横穿完成的条件，即，视觉障碍者正在横穿人行横道CW，判定为“否”并且处理返回到步骤ST7。由于在步骤ST14中判定为“否”直到完成人行横道CW的横穿，因此重复步骤ST7到步骤ST14的操作。

即，直到完成人行横道CW的横穿才执行以下操作：当在视觉障碍者正在横穿人行横道CW的同时发生从人行横道CW的偏离时，执行上述偏离警告，并且当解决了该偏离时取消偏离警告。

当视觉障碍者完成人行横道CW的横穿并且在状态转换函数f₂中得到“1”时，在步骤ST14中判定为“是”并且处理进行到步骤ST15以向视觉障碍者执行横穿完成的通知。具体地，视觉障碍者所持有的白手杖1中的振动发生装置50以指示横穿完成的模式振动。结果，握持白手杖1的握持部3的视觉障碍者识别到已经执行了横穿完成的通知，并且返回到平常的步行状态。

以这种方式，每次视觉障碍者横穿人行横道CW时重复上述操作。

实施例的效果

如上所述，在本实施例中，当存在基于由相机20拍摄的图像不能被确认为白线的区域(上述白线候选边界框)时，基于能够被确认为白线的区域(上述白线确认边界框)相对于不能被确认为白线的区域的相对位置(基于白线候选边界框是否位于直线L1和直线L1的延长线L1’、L1”与直线L2和直线L2的延长线L2’和L2”之间的区域中)，判定不能被确认为白线的区域是否为能够被视作白线的区域(能够被视作上述白线的边界框)，并且当判定该区域是能够被视作白线的区域时，将图像中的该区域的形状设定为白线的形状(围绕白线的边界框的形状)。结果，即使当白线的一部分不清楚并且仅在获取的图像中不能将该白线确认为白线时，也能够得到白线的高识别精度，并且能够根据白线的位置适当地支持视觉障碍者的步行(向视觉障碍者执行停止通知)。

此外，在本实施例中，将通过对相机20拍摄的图像执行二值化处理而得到的图像，与通过由深度学习对相机20拍摄的图像执行白线的识别而得到的图像相互进行比较，并且将两个图像中均被识别为白线的候选的区域定义为能够被确认为白线的区域(白线确认边界框)，并且将仅在两个图像中的一个图像中被识别为白线的候选的区域定义为不能被确认为白线的区域(白线候选边界框)。因此，能够避免错误地提取不是白线的区域作为能够被确认为白线的区域，这使得能够以高精度提取能够被确认为白线的区域和不能被确认为白线的区域。

此外，在本实施例中，当不能被确认为白线的区域位于直线L1与直线L1的延长线L1’、L1”、以及直线L2与直线L2的延长线L2’、L2”之间的区域中时，该区域被视作白线，该直线L1连接清晰白线(能够被确认为白线的区域)在白线的纵向方向上的一端的边缘，该直线L2连接另一端的边缘。这使得能够提高不能被确认为白线的区域被视作能够被视作白线的区域的判定的可靠性。

此外，在本实施例中，由于通过将步行支持系统10的部件并入到白手杖1中而仅利用白手杖1实现步行支持系统10，因此能够提供高实用性的步行支持系统10。

当以白线的一部分在纵向方向上具有不同尺寸的人行横道为目标时

即使当以白线的一部分在纵向方向上具有不同尺寸的人行横道为目标时，根据上述实施例的步行支持系统10也能够通过相同的处理得到白线的高识别精度。在下文中将给出具体描述。

图21是白线的一部分在纵向上具有不同的尺寸的人行横道CW周围的平面图。图21中的箭头指示视觉障碍者相对于人行横道CW的行进方向(接近人行横道CW的方向)。图22是示出由相机20拍摄的人行横道CW上最靠近行人的白线WL1的长度尺寸比其他白线的长度尺寸短的人行横道CW的图像的示例的图。当获取到这样的图像时，最靠近行人的白线WL1不能被确认为白线，并且难以准确地识别白线。在这种情况下，能够想到将作为识别白线的条件中的一个的白线的长度方向上的阈值(例如，上述公式(5)中的α₂)设定为小的值，从而能够确认即使是在纵向方向上具有短的尺寸的白线也是白线。然而，在这种情况下，不是白线的白色物体可能被错误地识别为白线，因此不能说是有效的方法。

在本实施例中，即使在这种情况下，依次执行由上述条纹形状设定单元83执行的各个处理(二值化处理、白色区域组合处理、边界框设定处理、边界框比较处理、白色区域存储处理、相对位置比较处理、白线形状设定处理)，使得能够得到白线的高识别精度。

图23是图示出这种情况下的相对位置比较处理的图。如图23所示，在相对位置比较处理中，判定白线候选边界框是否位于直线L1和直线L1的延长线L1’、L1”与直线L2和直线L2的延长线L2’、L2”之间的区域中。直线L1连接各个白线确认边界框在纵向方向(图23中的左右方向)上的一端的边缘并且直线L2连接其另一端的边缘。在图23中，在多个白线候选边界框中，针对行人交通信号灯TL中的照亮区域设定的边界框不存在于直线L1、L1’、L1”、L2、L2’、L2”之间(具体地，直线L1’与L2’之间)的区域中。因此，将该白线候选边界框判定为不被视作白线的边界框。另一方面，在多个白线候选边界框中，具有短的长度尺寸的白线WL1的边界框存在于直线L1、L1’、L1”、L2、L2’、L2”之间(具体地，直线L1”与L2”之间)的区域中。因此，将该白线候选边界框判定为被视作白线的边界框。

利用上述操作，图像中能够被确认为白线的区域(对应于白线的边界框)是针对上述白线WL2至WL7设定的边界框，以及存在于直线L1、L1’、L1”、L2、L2’、L2”之间的区域中的白线候选边界框(具有短的长度尺寸的白线WL1的边界框)。

图24是图示出当以白线的一部分在纵向方向上具有不同尺寸的人行横道为目标时，在白线形状设定处理中补充的白线确认边界框的图。如图24所示，在白线形状设定处理中，在相对位置比较处理中被视作白线的边界框(具有短的长度尺寸的白线WL1的边界框)的长度尺寸(图中左右方向上的尺寸)被延伸到与边界框的长度方向上的直线L1”和L2”中的每一个相对应的位置。

以这种方式，即使当以白线的一部分在纵向方向上具有不同尺寸的人行横道为目标时，也判定不能被确认为白线的区域是否为能够被视作白线的区域，并且当判定该区域是能够被视作白线的区域时，图像中该区域的形状被设定为白线的形状。因此，能够得到白线的高识别精度，并且能够根据白线的位置适当地支持视觉障碍者的步行(向视觉障碍者执行停止通知)。

变型例

接下来，将描述变型例。在本变型例中，除了根据上述实施例的步行支持系统10的配置和功能，还根据白线不清楚的区域的面积比例执行处理。因此，这里将仅描述增加到上述实施例的部分。

图25是示出根据本变型例的步行支持系统10的控制系统的示意性配置的框图。如图25所示，在根据本变型例的步行支持系统10的控制系统中，作为由控制程序实现的功能单元，除了上述实施例还设置了不清楚区域比例计算单元87和紧急信息输出单元88。

当由于在白线的一部分中发生变模糊(由于涂料的剥离而变模糊)而存在不能被确认为白线的区域时，不清楚区域比例计算单元87计算涂料剥离的区域的面积相对于作为由条纹形状设定单元83设定的白线的形状的整个区域的面积的比例。作为计算该面积的比例的方法，能够例示将各个区域划分为多个像素并计算各个区域中的像素数的比例的方法。

当计算出的比例(涂料剥离的区域的面积的比例)等于或大于预定值时，不清楚区域比例计算单元87向紧急信息输出单元88传递信息。

当从不清楚区域比例计算单元87接收到信息(指示涂料剥离的区域的面积的比例等于或大于预定值的信息)时，紧急信息输出单元88输出紧急信息。该紧急信息被输出到信息传递单元86，并且还被输出到集中管理多个步行支持系统10的系统管理服务器90。

当信息传递单元86从紧急信息输出单元88接收到紧急信息时，信息传递单元86向振动发生装置50输出用于通知视觉障碍者禁止横穿人行横道的信息。结果，信息传递单元86向振动发生装置50输出通知禁止横穿人行横道的信号，并且振动发生装置50以指示禁止横穿的模式振动。因此，视觉障碍者停止横穿人行横道。即，即使判定不能被确认为白线的区域是能够被视作白线的区域，当不清楚区域的比例等于或大于预定值时，判定的可靠性也不可能足够高。因此，当不清楚区域的比例等于或大于预定值时，通知视觉障碍者禁止横穿人行横道，使得能够向视觉障碍者提供适当的步行支持。

此外，当系统管理服务器90从紧急信息输出单元88接收到紧急信息时，系统管理服务器90累积紧急信息(指示存在涂料剥离的区域的面积的比例等于或大于预定值的白线的信息)。系统管理服务器90能够与大量的步行支持系统10进行通信，并且当从设置在各个步行支持系统10中的紧急信息输出单元88接收到紧急信息时，系统管理服务器90累积该紧急信息。这使得能够将信息累积为待提供给各个步行支持系统10的大数据。此外，信息能够被有效地用作指示白线需要维修的信息。例如，能够向管理和维修白线的组织(例如，市政当局)或维修公司提供信息。

其他实施例

应当注意，本发明不限于上述实施例或上述变型例，并且能够应用包括在权利要求书及与权利要求书等同的范围中的所有变型和应用。

例如，在上述实施例和上述变型例中，已经描述了步行支持系统10内置于由视觉障碍者使用的白手杖1中的情况。本发明不限于此，并且当行人是老人时，步行支持系统10可以内置于手杖、助行器等中。

此外，在上述实施例和上述变型例中，白手杖1设置有充电插座70，并且电池(二次电池)60从家用电源充电。本发明不限于此，并且可以将光伏发电片附接到白手杖1的表面，以利用由光伏发电片产生的电力对电池60进行充电。此外，可以使用一次电池来代替二次电池。此外，白手杖1可以具有内置的摆式发电机，并且摆式发电机可以用于对电池60充电。

在上述实施例和上述变型例中，根据振动发生装置50的振动模式分类通知的类型。本发明不限于此，并且可以通过声音执行通知。

本发明适用于支持步行的视觉障碍者的步行的步行支持系统。

Claims (9)

1.一种步行支持系统，其在行人接近人行横道的情况下支持所述行人的步行，所述步行支持系统包括：

图像获取单元，其获取正在步行的所述行人前方的图像；

人行横道检测单元，其能够基于由所述图像获取单元获取的所述图像检测所述人行横道；以及

条纹形状设定单元，其能够基于由所述图像获取单元获取的所述图像，提取能够被确认为构成所述人行横道的条纹的区域和不能被确认为所述条纹的区域，当存在不能被确认为所述条纹的所述区域时，所述条纹形状设定单元基于不能被确认为所述条纹的所述区域相对于能够被确认为所述条纹的所述区域的相对位置，判定不能被确认为所述条纹的所述区域是否为能够被视作所述条纹的区域，并且当判定不能被确认为所述条纹的所述区域是能够被视作所述条纹的所述区域时，所述条纹形状设定单元将不能被确认为所述条纹的所述区域在所述图像中的形状设定为作为所述条纹的形状。

2.根据权利要求1所述的步行支持系统，其中：

当存在不能被确认为所述条纹的所述区域时，所述人行横道检测单元获取关于由所述条纹形状设定单元设定的条纹形状的信息，并且基于所述信息识别所述人行横道的较靠近所述行人的边缘位置；并且

所述步行支持系统包括通知单元，当所述行人到达所识别的较靠近所述行人的所述边缘位置前的位置时，所述通知单元执行用于催促所述行人停止的停止通知。

3.根据权利要求1或2所述的步行支持系统，其中，所述条纹形状设定单元被配置为将通过对由所述图像获取单元获取的所述图像执行二值化处理而得到的图像与通过由深度学习对由所述图像获取单元获取的所述图像执行条纹的识别而得到的图像进行比较，并且将两个图像中均被识别为条纹确认区域的区域定义为能够被确认为所述条纹的所述区域，并且将所述两个图像中的仅一个图像中被识别为所述条纹确认区域的区域定义为不能被确认为所述条纹的所述区域。

4.根据权利要求1、2或3所述的步行支持系统，其中，所述条纹形状设定单元被配置为：当存在能够被确认为所述条纹的多个区域时，在不能被确认为所述条纹的所述区域位于连接所述多个区域在所述条纹的纵向方向上的一端的边缘的第一直线和所述第一直线的延长线与连接另一端的边缘的第二直线和所述第二直线的延长线之间的区域中的条件下，判定不能被确认为所述条纹的所述区域是能够被视作所述条纹的所述区域。

5.根据权利要求1至4中任一项所述的步行支持系统，还包括：

不清楚区域比例计算单元，当不能被确认为所述条纹的所述区域由于构成所述条纹的涂料的一部分剥离而不清楚时，所述不清楚区域比例计算单元计算所述涂料剥离的区域的面积相对于作为由所述条纹形状设定单元设定的所述条纹的形状的整个区域的面积的比例；以及

紧急信息输出单元，当由所述不清楚区域比例计算单元计算的所述涂料剥离的所述区域的所述面积的所述比例等于或大于预定值时，所述紧急信息输出单元输出紧急信息。

6.根据权利要求5所述的步行支持系统，其中，所述紧急信息输出单元被配置为向集中管理所述步行支持系统的系统管理服务器输出所述紧急信息。

7.根据权利要求5或6所述的步行支持系统，其中，所述紧急信息输出单元被配置为输出所述紧急信息作为用于通知所述行人禁止横穿所述人行横道的信息。

8.根据权利要求1至7中任一项所述的步行支持系统，其中，所述图像获取单元、所述人行横道检测单元和所述条纹形状设定单元中的每一个内置于由作为所述行人的视觉障碍者使用的白手杖中。

9.根据权利要求2所述的步行支持系统，其中，所述通知单元内置于由作为所述行人的视觉障碍者使用的白手杖中，并且所述通知单元被配置为通过振动或声音向使用所述白手杖的所述视觉障碍者执行通知。

Images