CN109074662A - 分道确定方法以及分道确定装置 - Google Patents

Abstract

高精度地确定图像中存在的分道的区域。在存在分道确定装置(100)、摄像装置(200)以及游泳池(300)的状况下，本公开中的分道确定装置(100)的处理器根据基于由摄像装置(200)拍摄得到的图像中的物体的轮廓获得的信息在图像中所呈现的图案来确定图像中存在的分道的区域。由此，能够高精度地确定图像中存在的分道的区域。

Description

分道确定方法以及分道确定装置

技术领域

本公开涉及一种分道(lane)确定方法以及装置。

背景技术

以往，已知一种在影像中追踪移动体的移动体追踪装置。例如，在专利文献1所记载的技术中，基于过去的帧图像中的移动体的位置信息来求出此次的帧图像中的移动体的预测位置。然后，从此次的帧图像中的图像数据提取具有移动体所特有的规定的特征的候选物体，将提取出的候选物体中的距预测位置更近的候选物体分配为移动体。

专利文献1：日本特开2004-46647号公报

发明内容

本公开涉及一种高精度地确定图像中存在的分道的区域的方法以及装置。

在本公开的分道确定方法以及分道确定装置中，处理器根据基于图像中的物体的轮廓获得的信息在图像中所呈现的图案来确定图像中存在的分道的区域。

本公开中的分道确定方法以及分道确定装置对于高精度地确定图像中存在的分道的区域是有效的。

附图说明

图1是示出实施方式1中的分道确定装置的使用样子的图。

图2是示出实施方式1中的分道确定装置的结构的图。

图3是说明实施方式1中的分道确定装置的动作的流程图。

图4是示出实施方式1中的作为处理对象的图像的图。

图5是示出实施方式1中的顶视图像的图。

图6是示出将实施方式1中的顶视图像中的物体的轮廓线段化后的样子的图。

图7是示出实施方式1中的图案的计算概念的图。

图8是示出在实施方式1中的顶视图像中基于计算出的图案确定出分道的区域的样子的图。

具体实施方式

以下，适当地参照附图来详细地说明实施方式。但是，有时省略不必要的详细的说明。例如，有时省略对已经熟知的事项的详细说明或针对实质上相同的结构的重复说明。这是为了使本领域技术人员易于理解且避免以下的说明变得过于冗长。

此外，发明人(们)是为了使本领域技术人员充分地理解本公开而提供附图和以下的说明的，并非意在通过这些附图和说明来限定技术方案所记载的主题。

(实施方式1)

以下，使用图1～图8来说明实施方式1。

[1-1.结构]

图1是示出实施方式1中的分道确定装置的使用样子的图。

分道确定装置100是在通用计算机中安装分道确定程序而成的。分道确定装置100与摄像装置200以能够通信的方式连接。分道确定装置100既可以是专用的嵌入式设备，也可以以硬件方式构成。

摄像装置200是摄像机。摄像装置200如图1所示那样俯视地拍摄游泳池300。摄像装置200拍摄得到的视频或图像被发送到分道确定装置100。

游泳池300具有多条分道。在游泳池300中拉有多条分道线302。此外，在图1中仅对最上部的分道线标注了附图标记，图1中的虚线状的线表示分道线。分道线302是分隔分道的记号。在本实施方式中，作为竞技场的一例示出游泳池。本公开用于高精度地求出在具有分道的图像中存在的分道的区域。由此，要被确定分道区域的对象并不限定于游泳池。例如本公开也能够用于确定陆上跑道、道路等中的分道。但是，如后述那样，在能够确定或假定要被确定分道区域的对象的尺寸、分道数量的情况下，能够进行对分道区域的更高精度的确定。另外，本公开针对如拍摄游泳池得到的图像那样的在图像中容易出现波纹、光的反射的图像，能够尤其适当地进行分道区域的确定。

图2是示出实施方式1中的分道确定装置的结构的图。

分道确定装置100具有处理器101、存储部102、通信部103、输入部104、显示部105以及总线106。

处理器101通过进行运算来控制分道确定装置中的其它构成要素。

存储部102暂时地或者永久地存储信息。存储部102与分道确定装置中的ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等相当。根据用途、访问速度的必要性，分道确定装置100也可以具备多个存储部102。能够通过应用HDD(Hard Disk Drive：硬盘驱动器)、SDRAM(Synchronus Dynamic Random Access Memory：同步动态随机存取存储器)、SSD(Solid State Drive：固态驱动器)等来构成存储部102。

通信部103是将分道确定装置100与摄像装置200相连接的接口。通信部103既可以是有线连接接口，也可以是无线连接接口。通信部103用于将摄像装置200拍摄得到的视频或图像发送到分道确定装置100。由此，在使用存储介质来将视频或图像从摄像装置200移动到分道确定装置100的情况下，通信部103不是必须的结构。

输入部104接收来自外部的信号。输入部104与分道确定装置100的输入装置、输入接口等相当。能够通过应用鼠标或键盘等输入装置、通信端口或无线通信设备等输入接口来构成输入部104。

显示部105向外部显示信息。能够通过应用液晶显示器等来构成显示部105。

总线106是将构成分道确定装置100的各要素相连接的路径。也能够通过将总线106合并到处理器101来在处理器101的内部构成总线106。总线106既可以将各要素通过有线的方式连接，也可以将各要素通过无线的方式连接。

以上叙述的分道确定装置100的结构是一例。因而，也可以是通过对以上叙述的结构追加其它的构成要素来构成分道确定装置100。另外，还可以是通过根据需要从以上叙述的结构中删除构成要素的一部分来构成分道确定装置100。另外，还可以是通过将以上叙述的构成要素互相合并来构成分道确定装置100。另外，还可以是将以上叙述的构成要素分离为更多的构成要素来构成分道确定装置100。

[1-2.动作]

对以上叙述的分道确定装置100的动作进行说明。此外，分道确定装置100主要是通过使处理器101与分道确定装置100的各要素协作地执行程序来进行动作的。

图3是说明实施方式1中的分道确定装置的动作的流程图。

在步骤S300中，分道确定装置100经由通信部103从摄像装置200接收图像。接收到的图像成为作为以下的动作中的处理对象的图像。

图4是示出实施方式1中的作为处理对象的图像的图。如图1所示那样，在实施方式1中，摄像装置200俯视拍摄游泳池300。因此，如图4所示，摄像装置200拍摄得到的图像为游泳池300看起来由里向外扩展的图像。

如从图4中也得以明确的那样，按已经叙述那样在游泳池300中拉有多条分道线302。此外，在图4中(在图5中也一样)仅对最左端的分道线标注了附图标记，在图4中(在图5也一样)虚线状的线表示分道线。

如图4所示，在游泳池的底面画有表示分道的中央的分道中心线304。此外，在图4中(在图5中也一样)仅对最左端的分道中心线标注了附图标记，在图4中(在图5中也一样)与分道线302邻接的实线状的线表示分道中心线。除此以外，在游泳池的底面画有与分道中心线304正交的交叉线306。

在步骤S302中，处理器101将在步骤S300中接收到的图像变换为顶视图像。

顶视图像是从正上方向下观察对象物时获得的构图(俯视)的图像。摄像装置200拍摄得到的图像如图4所示那样为游泳池300看起来从里向外扩展的图像。游泳池300在俯视时原本为长方形。在本实施方式中，处理器101将图4所示的图像变换为顶视图像，使得易于进行后面的图像处理。该处理是为了易于进行后面的图像处理而进行的，因此并非是必须的处理。将图像变换为顶视图像称为顶视变换。

对于用于进行顶视变换的方法，能够适当地应用已知的方法。在本实施方式中，对应用了使用梯形校正来进行顶视变换的方法的例子进行说明。首先，分道确定装置100的用户通过使用输入部104来指定变形为梯形的游泳池的四个角的坐标。例如，在图4中用户指定坐标308、坐标310、坐标312、坐标314来作为四个角的坐标。在本实施方式中，指定包括分道线的坐标来作为四个角的坐标。通过这样，后述的步骤S310的处理变得容易。具体地说，通过将所指定的部位设为分隔游泳池的物体(分道线、游泳池侧壁)与游泳池的前后端的交点来作为四个角的坐标，能够使步骤S310的处理变得容易。处理器101生成用于使所指定的四个点的坐标变为长方形那样的坐标的变换矩阵。处理器101使用所生成的该变换矩阵来对四个角的坐标内部的像素的坐标进行变换，由此能够获得顶视图像。

图5是示出实施方式1中的顶视图像的图。如以上那样，处理器101将摄像装置200拍摄得到的图像变换为顶视图像500。此外，在摄像装置200被设置于俯视地进行摄像那样的位置的情况下，也能够省略顶视变换。另外，顶视变换不需要由分道确定装置100的处理器101来进行。通过由其它处理装置进行顶视变换并将顶视变换后的图像发送到分道确定装置，也能够获得与上述的动作同样的结果。

在步骤S304中，处理器101从在步骤S302中变换得到的顶视图像中提取亮度边缘。此外，在省略了顶视变换的情况下，从在步骤S300中接收到的图像中提取亮度边缘。

亮度边缘是指构成图像的像素的亮度在该图像中急剧变化的部位。对于像素的亮度急剧变化的部位，典型例是物体的轮廓。

在步骤S306中，处理器101通过使在步骤S304中提取出的亮度边缘进行膨胀收缩来获得物体的轮廓。当从实际的影像提取亮度边缘时，相对于实际的物体的轮廓是线状的，亮度边缘大多在图像中以稀疏的点的形式获得。在本实施方式中，为了使亮度边缘接近实际的物体的轮廓而进行以下处理。首先，对于提取亮度边缘后的图像，如果在某个像素的周围的规定范围的区域内存在作为亮度边缘获得的像素中的哪怕一个像素，处理器101也将该区域全部替换为亮度边缘像素(膨胀处理)。接着，在通过膨胀而连结起来的亮度边缘像素集的规定范围的区域内，如果缺少哪怕一个亮度边缘像素，处理器101也将该区域从亮度边缘像素删除(收缩处理)。通过像这样进行膨胀收缩得到的亮度边缘像素会更为准确地再现物体的轮廓。此外，通过不只进行一次膨胀处理、收缩处理而是重复进行多次膨胀处理、收缩处理，亮度边缘像素更加准确地再现物体的轮廓。

此外，关于步骤S304和步骤S306的处理，只要是能够提取物体的轮廓的处理，就能够适当地应用。例如既可以使用像素中的颜色信息的变化来提取物体的轮廓，也可以使用距离传感器来获得物体的轮廓。

在步骤S308中，处理器101将在步骤S306中获得的物体的轮廓变换为线段。作为将图像中的点的集合变换为图像中的线段的方法，使用被称为概率霍夫(Hough)变换的已知的算法。通过使用概率霍夫变换，将图像中构成存在抖动、变形的线的点的集合的坐标变换为构成平滑的线的坐标。在本实施方式中，通过对构成在步骤S306中得到的物体的轮廓的点进行概率霍夫变换来以平滑的线段获得图像中的轮廓。此外，获得线段的方法并不限于概率霍夫变换。例如也可以通过对物体的轮廓施加模糊滤波来获得线段。另外，还可以通过对物体的轮廓进一步重复进行上述的膨胀收缩处理来获得线段。另外，在通过直至步骤S306为止的处理能够获得能被视为线段的程度的品质足够好的轮廓的情况下，也可以省略步骤S308的处理。另外，在本公开中，应在步骤S308完成时获得的信息并不限于线段。应在步骤S308完成时获得的信息只要是能够作为步骤S310以后的处理的对象来使用的信息即可。在本公开中，应在步骤S308完成时获得的信息既可以是包含物体的轮廓的一部分的直线，当然也可以是曲线。除此以外，也可以是链状、网眼状的图案。但是，如果如本实施方式那样基于物体的轮廓来从图像中获得线，则具有能够减少以后的处理的计算量这样的优点。此外，在本公开中，将包括线段、直线、曲线的概念简称为线。

如以上那样，在本实施方式中，作为来自顶视图像中的物体的轮廓的信息，能够获得线段。

图6是示出将实施方式1中的顶视图像中的物体的轮廓线段化后的样子的图。发明人们确认了以下情况：如图6所示那样，当进行以上叙述过的处理时，能够完全地提取将分道线、游泳池侧壁的轮廓线段化得到的线600。这样将图像中包括在与存在(如分道线、游泳池侧壁那样)分隔分道的物体的部位一致的坐标处出现的线段的线称为表示分隔分道的物体的线。另一方面，如图6所示，由于水面的反射、波的影响而难以针对分道中心线、交叉线可靠地提取轮廓。

此外，在本实施方式中，通过基于游泳池(竞技场)的尺寸来删除在步骤S308中一次性得到的线段的集合的一部分来获得最终的线段。具体地说，处理器101将长度小于将游泳池(竞技场)的图像中的行进方向的尺寸(长度)除以规定的值(在本实施方式中为8)得到的值的线段不视为线段而进行删除处理。通过这样，能够从最终的线段中去除不像是分隔竞技场的分道的物体的轮廓的线段。由此，能够提高确定分道区域的精度。

在步骤S310中，处理器101计算在步骤S308中得到的线段在图像中出现的图案。在本公开中，以分隔分道的物体(分道线、游泳池侧壁)基于规定的图案出现为前提。规定的图案是指起因于分道的间隔的图案。例如在游泳池中等间隔地拉有分道线，在陆上跑道、道路中也等间隔地画有白线。在本公开中，通过计算该图案来确定分隔分道的物体的坐标，将该分隔分道的物体之间的区域分别确定为独立的分道。

但是，如图6所示，在步骤S308中获得的直线除了存在线600以外还存在各种线。从这些线段中确定出按照规定的图案出现的线600是步骤S310的目的。

对于计算出现图案的方法，能够想到各种方法。图7是示出实施方式1中的图案的计算概念的图。在本实施方式中，使用以下的式子来计算图案，在该式子中，如图7所示，将顶视变换后的水平方向的坐标(将图像左端设为0)定义为角度，将垂直方向定义为三角比。

cos(αθ+β)…(式1)

以使(式1)在线600所出现的水平坐标(θ)处尽量多地取接近1(峰)的值的方式来求出α和β。然后，使用代入所求出的α和β后的(式1)来作为计算出现图案的式子。

具体地说明求出如图7所示的α、β的方法。首先，基于假定图像中存在的分道数量的参数来决定α的值。具体地说，基于以下的式子来决定α的值。

α＝(假定的分道数量)×360÷(顶视图像在水平方向的宽度)…(式2)

处理器101通过决定(式2)的值来基于(式1)生成取假定的分道数量+1个的峰的曲线图。在此，对于假定的分道数量的初始值，既可以由分道确定装置100的用户通过输入部104来输入，也可以使用存储部102中记录的值。接着，设为该曲线图以水平方向的相位差β存在于顶视图像中，基于(式1)来调整曲线图的水平方向。在本实施方式中将β的初始值设为0。此外，如果在顶视变换时将包括分道线、游泳池侧壁的坐标指定为四个角的坐标，则β的真值接近0，因此能够适当地进行步骤S310的处理。在不进行顶视变换时，如果以在图像的左端映出分道线、游泳池侧壁的方式进行摄影，则也能够适当地进行步骤S310的处理。然后，处理器101使用在步骤S308中得到的所有的线在水平方向上的坐标值θ的各个值来进行求出以下(式3)的运算。

Σ|cos(αθ+β)|…(式3)。

此外，在此也可以将θ的值设为在步骤S308中得到的所有的线的两端点在水平方向上的中间的坐标值。通过这样，对于如将分道线、游泳池侧壁的轮廓线段化得到的线600那样的与分道的行进方向接近平行的线，θ的值被处理为是表示分道线整体的水平坐标(有周期性的水平坐标)的值，另一方面，对于与分道的行进方向正交的线(例如基于交叉线的轮廓的线)，θ容易成为无周期性的随机的值，因此容易更加准确地求出α和β的值。

处理器101在针对α和β的初始值求出(式3)的值之后，针对与初始值不同的α或β的值求出(式3)的值。具体地说，处理器101使α变化为初始值±2左右的、作为分道数量来说可能具有的范围内的值来求出(式3)的值。以游泳池为例来说，一般的分道数量是6至10，因此也可以使α在这些值的范围内变化。另外，处理器101使β变化为从初始值的-30(度)到初始值的+30(度)的范围内的值来求出(式3)的值。处理器101在针对所有的α和β的组合求出(式3)的值之后，确定取最大的值的α与β的组合。使用代入像这样确定出的α和β后的(式1)来作为计算出现图案的式子。

此外，在事先由分道确定装置100的用户经由输入部104输入了分道所能取的最大数量的情况下，最好将α设为不取该最大数量的一半以下的值来进行(式3)的计算。原因是：通过这样，在如本实施方式那样在分道的中央画有分道中央线的情况下，减少将分道中央线的轮廓误识别为表示分隔分道的物体的信息(将分道线、游泳池侧壁的轮廓线段化得到的线600)的可能性。这种α的下限值既可以由处理器101如上述那样根据分道所能取的最大数量来求出，也可以由分道确定装置100的用户经由输入部104来输入到分道确定装置100。

此外，以上的处理无需一定由分道确定装置100来进行。在本公开中，分道确定装置100基于在直到步骤S310为止得到的图案来确定图像中存在的分道的区域即可。即，也可以是，分道确定装置100在从通信部103获取到由其它处理装置通过进行与直到步骤S310为止的处理等同的处理而得到的图案，之后进行步骤S312以后的处理。另外，进一步说，图案的计算方法也不限定于在步骤S310的说明中叙述过的方法。本公开的图案是物体的轮廓出现的图案即可，在捕捉线以外的复杂的图形来作为物体的轮廓的情况下，也可以使用谱分析等其它已知的方法来计算图案。

在步骤S312中，处理器101基于在步骤S310中计算出的图案来确定图像中的分道区域。图8是示出在实施方式1中的顶视图像中基于计算出的图案确定出分道的区域的样子的图。处理器101使计算出的图案的水平坐标与顶视图像500的水平坐标同步，将具有存在于所计算出的图案的峰(图8中的箭头的起点)与邻接的峰之间的水平坐标的顶视图像500的区域确定为一个分道。在图8中，图案取8个峰，因此总共确定出7个分道。此外，要被确定分道区域的图像并不限定于顶视图像。例如通过对图8所示的顶视图像进行与步骤S302相反的处理，也能够在由摄像装置200拍摄得到的图像中确定出分道。

如以上那样，确定出的分道的区域能够以各种方式活用。例如在显示部105中显示顶视图像500或由摄像装置200拍摄得到的图像时，通过分别用不同的颜色显示分道的区域，影像编辑作业的负责人能够容易地进行编辑作业，或者能够给影像的观看者带来强的临场感。另外，在存在于确定的分道内的人物、物体的属性已知的情况下，通过将该属性叠加于分道区域进行显示，能够强调在哪个分道存在哪个人物或物体。另外，在使用图像识别技术来追踪分道内存在的人物或物体的情况下，通过确定正在追踪的该人物或物体存在于哪个分道区域，也能够确定正在追踪的人物或物体的属性。

此外，在本实施方式中，对将摄像装置200设置于纵向地拍摄游泳池300的分道的位置的例子进行了说明，但也可以将摄像装置200设置于横向拍摄游泳池300的分道的位置。在该情况下，在步骤S302中，在将在步骤S300中接收到的图像变换为顶视图像时，如果在梯形校正的同时也施加使图像旋转90度的变换，则能够同样地进行步骤S304以后的处理。

[1-3.效果等]

如以上那样，在本实施方式中，分道确定装置100的处理器101根据基于图像中的物体的轮廓获得的信息在图像中呈现的图案来确定图像中存在的分道的区域。

由此，能够高精度地确定图像中存在的分道的区域。

另外，在本实施方式中，图像中的物体是分隔分道的物体。

由此，基于现实中界定分道的区域的物体的出现图案来确定分道的区域。由此，能够更高精度地确定图像中存在的分道的区域。

另外，在本实施方式中，基于图像中的物体的轮廓获得的信息是表示分隔分道的物体的线。由此，计算图案的精度提高，因此能够更高精度地确定图像中存在的分道的区域。

另外，在本实施方式中，表示分隔分道的物体的线是基于图像中存在的竞技场的尺寸来获得的。由此，能够排除由图像中的噪声引起的线，因此能够更高精度地确定图像中存在的分道的区域。

另外，在本实施方式中，图案是基于假定图像中存在的分道数量的参数来计算的。由此，能够排除基于物体的轮廓获得的信息中的不期望用于图案的计算的信息。由此，能够更高精度地确定图像中存在的分道的区域。

如以上那样，作为本公开中的技术的例示，说明了实施方式。因此，提供了附图和说明书。

因而，在附图和说明书所记载的构成要素中，不仅包括对于解决问题而言所必需的构成要素，为了例示上述技术，也可能包括对于解决问题而言非必需的构成要素。因此，不应凭借在附图和说明书记载了这些非必需的构成要素就立即将这些不必要的构成要素认定为是必须的。

另外，上述的实施方式用于例示本公开中的技术，因此能够在权利要求书或者其等同的范围内进行各种变更、置换、附加、省略等。

产业上的可利用性

本公开能够应用于确定影像中的分道的区域的方法或装置。例如能够应用于用于处理对运动影像等的分析的计算机。

附图标记说明

100：分道确定装置；101：处理器；102：存储部；103：通信部；104：输入部；105：显示部；106：总线；200：摄像装置；300：游泳池；302：分道线；304：分道中央线；306：交叉线；308：坐标；310：坐标；312：坐标；314：坐标；500：顶视图像；600：线。

Claims (10)

1.一种分道确定方法，用于处理器确定图像中存在的分道的区域，

其中，所述处理器根据基于图像中的物体的轮廓获得的信息在所述图像中所呈现的图案来确定所述图像中存在的分道的区域。

2.根据权利要求1所述的分道确定方法，其特征在于，

所述图像中的物体是分隔分道的物体。

3.根据权利要求2所述的分道确定方法，其特征在于，

基于所述图像中的物体的轮廓获得的信息是表示所述分隔分道的物体的线。

4.根据权利要求3所述的分道确定方法，其特征在于，

基于所述图像中存在的竞技场的尺寸来从所述图像获得所述线。

5.根据权利要求1所述的分道确定方法，其特征在于，

根据假定所述图像中存在的分道数量的参数来计算所述图案。

6.一种分道确定装置，用于确定图像中存在的分道的区域，

其中，所述装置的处理器根据基于图像中的物体的轮廓获得的信息在所述图像中所呈现的图案来确定所述图像中存在的分道的区域。

7.根据权利要求6所述的分道确定装置，其特征在于，

所述图像中的物体是分隔分道的物体。

8.根据权利要求7所述的分道确定装置，其特征在于，

基于所述图像中的物体的轮廓获得的信息是表示所述分隔分道的物体的线。

9.根据权利要求8所述的分道确定装置，其特征在于，

基于所述图像中存在的竞技场的尺寸来从所述图像获得所述线。

10.根据权利要求6所述的分道确定装置，其特征在于，

根据假定所述图像中存在的分道数量的参数来计算所述图案。