CN107924265A - 显示装置、显示方法、程序 - Google Patents

Abstract

影像获取部(32)获取拍摄部(10)对车辆周围进行了拍摄的影像信息。人物检测部(34)从在影像获取部(32)获取的影像信息中检测人物。移动检测部(36)在影像获取部(32)获取的影像信息中检测在人物检测部(34)检测出的人物的移动方向。显示控制部(40)使显示部(50)显示在影像获取部(32)获取的影像信息以及表示在移动检测部(36)检测出的人物的移动方向的图标。

Description

显示装置、显示方法、程序

技术领域

本发明涉及显示技术，尤其涉及显示图像的显示装置、显示方法、程序。

背景技术

实现以下功能：在安装于车辆的相机拍摄图像之后，通过图像识别检测行人，从而将行人的存在警告给驾驶员。例如，通过图像识别计算出行人的移动矢量，根据移动矢量确定被设为警告对象的行人。关于这样的功能，即使在行人移动的情况下也可以在行人的当前位置随时检测行人，因此可以说实质上跟随着行人的移动(例如，参照专利文献1)。

在先技术文献

非专利文献

专利文献1：日本专利文献特开2014-006776号公报。

发明内容

但是，这样的功能仅仅是示出行人的当前位置而已。因此，驾驶员需要推测行人将来怎样移动的同时，需要对于向与车辆的行驶行驶方向相关的方向移动的行人随时掌握动向。例如，即使已确定成为警告对象的行人，驾驶员也不知道成为对象的行人向哪个方向移动。另一方面，驾驶员通过目视而能够掌握的范围有限，并且也存在由于驾驶员未注意到的行人向与本车辆行驶方向相关的方向移动而驾驶员初次注意到的情况。

本发明是鉴于这样的情况而做出的，其目的在于提供一种将人物的移动方向通知给驾驶员的技术。

为了解决上述问题，本实施方式的某方式的显示装置包括影像获取部，获取对车辆的周围进行了拍摄的影像信息；人物检测部，从在影像获取部获取的影像信息中检测人物；移动检测部，检测在人物检测部检测出的人物的移动方向；以及显示控制部，在显示部上显示影像获取部获取的影像信息以及图标，该图标表示在移动检测部检测出的人物的移动方向。

本实施方式的其他方式是显示方法。该方法包括：影像获取步骤，获取对车辆的周围进行了拍摄的影像信息；人物检测步骤，从在获取步骤获取的影像信息中检测人物；移动检测步骤，检测在人物检测步骤检测出的人物的移动方向；以及显示步骤，在显示部上显示在影像获取步骤获取的影像信息以及图标，该图标表示在移动检测步骤检测出的人物的移动方向。

此外，以上的构成要素的任意组合以及在方法、装置、系统、记录介质、计算机程序等之间变换本实施方式的表现的情况也作为本实施方式的形式而有效。

根据本实施方式，能够将人物的移动方向通知给驾驶员。

附图说明

图1是示出实施例1涉及的显示装置的结构的图；

图2是示出在图1的图像处理部中生成的显示图像的图；

图3是示出在图1的图像处理部中生成的其他显示图像的图；

图4是示出实施例1涉及的显示装置的其他结构的图；

图5是示出在图4的图像处理部中生成的俯瞰图像的图；

图6是示出在实施例2涉及的图像处理部中生成的显示图像的图；

图7是示出在实施例2涉及的图像处理部中生成的俯瞰图像的图；

图8是示出基于实施例2涉及的显示装置的显示顺序的流程图；

图9是示出在实施例3涉及的图像处理部中生成的显示图像的图；

图10是示出在实施例3涉及的图像处理部中生成的俯瞰图像的图；

图11是示出实施例4涉及的显示装置的结构的图；

图12是示出在图11的图像处理部中生成的显示图像的图；

图13是示出在图11的图像处理部中生成的其他显示图像的图；

图14是示出实施例4涉及的显示装置的其他结构的图；

图15是示出基于图11的显示装置的显示顺序的流程图；

图16是示出在实施例5涉及的图像处理部中生成的显示图像的图；

图17是示出在实施例5涉及的图像处理部中生成的俯瞰图像的图；

图18是示出基于实施例5涉及的显示装置的显示顺序的流程图；

图19是示出基于实施例5涉及的显示装置的其他显示顺序的流程图。

具体实施方式

(实施例1)

在具体说明本发明之前，首先说明前提。实施例1涉及一种显示装置，该显示装置显示通过安装于车辆前方的拍摄部拍摄的影像，并将表示人物的移动方向的图标叠加到该影像上来显示。本实施例涉及的显示装置从影像中检测人物，并检测已检测出的人物的移动方向。另外，显示装置将对应于检测出的移动方向的图标叠加到影像。

以下，针对本发明的实施例，参照附图进行说明。涉及的实施例所示的具体数值等只是用于容易理解发明例示而已，除非特别说明，否则不限制本发明。此外，在本说明书以及附图中，针对具有实质上相同的功能、结构的要素，通过赋予相同的符号来省略重复说明，并对与本发明没有直接关系的要素省略图示。

图1示出实施例1涉及的显示装置30的结构。显示装置30与拍摄部10、显示部50连接。另外，显示装置30包括影像获取部32、人物检测部34、移动检测部36、图像处理部38、显示控制部40。这里，拍摄部10、显示装置30、显示部50例如安装于车辆。另外，显示装置30可以是可移动式装置，也可以是与拍摄部10和显示部50一体型的。

拍摄部10被设置在能够对车辆的前方方向进行拍摄的位置。例如，被设置在车厢内、保险杠或引擎盖等。拍摄部10从车辆对朝向前进方向的前方的影像进行拍摄。拍摄部10将拍摄有车辆周围的影像(以下，称为“影像信息”)输出到影像获取部32。影像信息例如为数字信号。影像获取部32从拍摄部10获取影像信息。影像获取部32将获取的影像信息输出到人物检测部34、图像处理部38。

人物检测部34输入来自影像获取部32的影像信息。人物检测部34从影像信息中检测人物的图像(以下，这个也被称为“人物”)。人物的检测中能够应用公知的技术。例如，人物检测部34预先存储与人物的图像、人物的特征相关的信息(以下，称为“人物词典”)。另外，人物检测部34通过针对构成影像信息的多个图像、且按时间顺序排列的多个图像的每一个对照人物词典，来确认在各图像中是否包含人物。人物检测部34确定包含着检测出的人物的图像上的坐标。此外，当在图像中包含有多个人物的情况下，人物检测部34对它们进行检测。人物检测部34将各图像中检测出的人物的坐标等信息输出到移动检测部36。此时，人物检测部34还可以将影像信息输出到移动检测部36。

移动检测部36从人物检测部34输入人物的坐标等信息。移动检测部36根据人物的坐标等信息来对已检测出的人物的移动方向进行检测。例如，移动检测部36比较各图像或各单位时间的坐标，并对已检测出的人物的移动方向进行检测。具体说明，导出各图像或各单位时间的检测人物的坐标的差、人物整体或者头部等确定部位的大小之差。通过前者，检测出以本车辆为中心的圆周方向的移动，通过后者，检测出以本车辆为中心的放射方向的移动，因此移动检测部36通过应用两者来检测出向各种各样的方向移动的人物的移动方向。

此外，当在人物检测部34中检测出多个人物的情况下，移动检测部36针对多个人物的每一个进行同样的处理。进一步，当进行移动检测时，在本车辆行驶的情况下，移动检测部36根据与本车辆的行驶速度之间的相对位置关系来检测移动方向。另外，移动检测部36在从人物检测部34输入影像信息的情况下，可以通过执行像素差分检测、图像相关判定，来对已检测出的人物的移动方向检测。移动检测部36将各人物的移动方向的信息输出到图像处理部38。这里，各人物的移动方向的信息中还包含各人物的坐标等信息。

图像处理部38从影像获取部32输入影像信息，并且从移动检测部36输入各人物的移动方向的信息。图像处理部38在影像信息中所含的多个图像的每一个中，根据各人物的移动方向的信息中所包含的坐标等信息，来确定图像中所包含的人物。在此之后，图像处理部38使已确定的人物与移动方向相对应。进一步，图像处理部38将表示移动方向的图标、例如指向移动方向的箭头的箭头形状的图标(以下，称为“箭头形状图标”)叠加到图像以使得已确定的人物变成起点，由此生成显示图像60。即，图像处理部38生成包含影像信息以及箭头形状图标的显示图像60，该影像信息由影像获取部32获取，该箭头形状图标表示在移动检测部36中检测出的人物的移动方向。

图2示出在图像处理部38中生成的显示图像60的例子。这里，人物200被检测出，并以将该人物200设为起点的方式叠加箭头形状图标202。通过箭头形状图标202，表示人物200向右方、即道路方向移动。返回到图1。在包含多个人物200的情况下，图像处理部38按照各人物200叠加箭头形状图标202。进而图像处理部38对影像信息中所包含的各图像执行同样的处理，由此生成与各图像对应的显示图像60。其结果为，生成由多个显示图像60构成的影像信息。此外，图像处理部38对不移动的人物200不叠加箭头形状图标202。图像处理部38将由多个显示图像60构成的影像信息(以下，这也被称为“影像信息”)输出到显示控制部40。

显示控制部40从图像处理部38输入影像信息。显示控制部40使显示部50显示影像信息。显示部50例如为设置于车辆的驾驶座的监视器等、设置于驾驶员能够视觉确认的位置的显示装置。显示部50显示由如图2所示的显示图像60构成的影像信息。

这里，移动检测部36不仅可以检测各人物200的移动方向，还可以检测各人物200的移动速度。例如，移动检测部36基于各图像或者各单位时间的坐标差异的大小，来检测移动速度。在坐标的差异大的情况下，移动速度也增加，在坐标的差异小的情况下，移动速度也减少。此外，坐标的差异与移动速度之间的关系被预先存储在移动检测部36中。移动检测部36还将各人物200的移动速度的信息输出到图像处理部38。

图像处理部38从移动检测部36还输入各人物200的移动速度的信息。如前面所述，图像处理部38将箭头形状图标202叠加到人物200，但这时，将箭头形状图标202调节为与移动速度对应的方式。例如，图像处理部38调节箭头形状图标202，以使得移动速度变得越快时箭头变得越长或变得越粗。例如，图像处理部38决定箭头形状图标202的长度，以使得将人物200一秒之后到达的位置设为箭头的前端。另外，图像处理部38可以根据移动速度来改变箭头形状图标202的颜色或者箭头形状图标202的周边颜色。例如，图像处理部38在移动速度比预定的阈值快的情况下，可以使箭头形状图标202闪烁，随着移动速度变快，可以缩短闪烁周期。

图3示出在图像处理部38中生成的其他显示图像60的例子。如图所示，对第一人物200a叠加第一箭头形状图标202a，对第二人物200b叠加第二箭头形状图标202b。这里，由于第二人物200b的移动速度比第一人物200a的移动速度快，因此第二箭头形状图标202b比第一箭头形状图标202a长。接着，显示控制部40、显示部50的处理如前面所述。其结果为，显示部50显示与移动速度对应的方式的箭头形状图标202。

关于该结构，在硬件方面，能够通过任意的计算机的CPU(Central ProcessingUnit，中央处理器)、存储器、其他LSI(Large Scale Integration，大规模集成电路)来实现，在软件方面，可以通过加载在存储器中的程序等来实现，但在此说明通过它们的联合来实现的功能块。因此，本领域技术人员将会理解，这些功能块可以仅通过硬件、仅通过软件或它们的组合来以各种形式实现。

目前为止，对在安装于车辆前方的拍摄部10中拍摄的影像信息叠加了箭头形状图标202，但还可以对俯瞰图像叠加箭头形状图标202。俯瞰图像是对在设置于车辆的多个拍摄部中拍摄的图像进行视点变换生成的。因此，在此之前，将车辆前进时的显示作为对象，这里，将边倒车边停车的情况下的显示作为对象。

图4示出实施例1涉及的显示装置30的其他结构。显示装置30与拍摄部10、显示部50连接，该拍摄部10包括前方拍摄部12、左侧方拍摄部14、后方拍摄部16、右侧方拍摄部18。另外，显示装置30包括影像获取部32、人物检测部34、移动检测部36、图像处理部38、显示控制部40、生成部44。

前方拍摄部12相当于在此之前的拍摄部10，被设置在车辆的前方部分，例如保险杠、引擎盖等。前方拍摄部12朝向车辆的前方形成前方拍摄区域，在前方拍摄区域拍摄影像。在车辆的左侧方部分、例如左侧后视镜的下部等设置左侧方拍摄部14。左侧方拍摄部14朝向车辆的左方形成左侧方拍摄区域，在左侧方拍摄区域拍摄影像。

后方拍摄部16被设置在车辆的后方部分，例如保险杠、行李箱等。后方拍摄部16朝向车辆的后方形成后方拍摄区域，在后方拍摄区域拍摄影像。右侧方拍摄部18以与左侧方拍摄部14左右对称的方式设置于车辆的右侧部分。右侧方拍摄部18朝向车辆的右方形成右侧方拍摄区域，在右侧方拍摄区域拍摄影像。将前方拍摄部12、左侧方拍摄部14、后方拍摄部16以及右侧方拍摄部18设为拍摄部10，通过拍摄部10拍摄的影像，车辆周围被拍摄。前方拍摄部12、左侧方拍摄部14、后方拍摄部16、右侧方拍摄部18将影像信息输出到影像获取部32。

影像获取部32分别从前方拍摄部12、左侧方拍摄部14、后方拍摄部16、右侧方拍摄部18输入影像信息，并向人物检测部34、生成部44输出影像信息。生成部44从影像获取部32输入影像信息。生成部44针对影像信息中所含的多个图像的每一个，以从车辆的上方观察的方式变换视点，由此生成俯瞰图像。在该变换中可以使用公知的技术，例如向虚拟的三维空间中的立体曲面投影图像的各像素，并根据来自车辆上方的虚拟视点剪切出立体曲面的必要的区域。剪切出的区域相当于变换了视点的图像。生成部44将俯瞰图像输出到图像处理部38。

人物检测部34、移动检测部36通过执行与在此之前相同的处理，来检测各人物的坐标、各人物的移动方向。此外，这些检测针对影像信息中所包含的多个图像进行而不是俯瞰图像。因此，被检测出的坐标有时不被包含于俯瞰图像中。图像处理部38从生成部44输入俯瞰图像，并从移动检测部36输入各人物的移动方向的信息。图像处理部38以人物为起点的方式将箭头形状图标叠加到俯瞰图像，由此生成俯瞰图像78。即，图像处理部38生成包含俯瞰图像以及箭头形状图标的俯瞰图像78，该俯瞰图像在生成部44中生成，该箭头形状图标表示移动检测部36中检测出的人物的移动方向。

图5示出在图像处理部38中生成的俯瞰图像78。本车图标80被配置在图5中的俯瞰图像78的中央部分。本车图标80是从上方观察了车辆100的图像。前方图像70被配置在本车图标80的前方，左侧方图像72被配置在本车图标80的左侧方，后方图像74被配置在本车图标80的后方，右侧方图像76被配置在本车图标80的右侧方。另外，在俯瞰图像78上示出第一人物图标220a和以它为起点的第一箭头形状图标222a。这相当于在此之前的人物200、箭头形状图标202。进而，在俯瞰图像78上还示出第二人物图标220b和以它为起点的第二箭头形状图标222b。返回到图4。接着，图像处理部38、显示控制部40、显示部50的处理如前面所述。俯瞰图像78由于进行视点变换处理，因此有时即使拍摄到人，驾驶员也不能清楚地识别人物。因此，在人物检测部34检测出的人物的位置显示人物图标220。人物图标220的显示位置被设在检测出的人物的下端位置、即离俯瞰图像78的中央部最近的位置。

根据本实施例，由于对显示图像中的人物叠加箭头形状图标，因此能够将人物的移动方向通知给驾驶员。另外，由于根据从影像信息中检测出的人物的坐标变化来检测移动方向，因此能够仅仅从影像信息中检测出移动方向。另外，由于使用在此之前的表示移动方向的箭头形状图标，因此能够使驾驶员推测从现在开始的移动方向。另外，由于显示与移动速度对应的方式的箭头形状图标，因此能够向驾驶员通知移动速度。另外，由于根据移动速度调节与箭头形状图标的长度，因此能够容易通知移动速度。另外，由于根据移动速度调节箭头形状图标的粗细，因此能够容易通知移动速度。另外，由于根据移动速度调节箭头形状图标的颜色，因此能够容易通知移动速度。

另外，由于对俯瞰图像叠加箭头形状图标，因此能够在停车等情况下通知人物的移动方向。另外，由于在停车等情况下通知人物的移动方向，因此能够安全地停车。另外，将针对俯瞰图像之外所包含的人物的箭头形状图标叠加到俯瞰图像上来显示，因此即使俯瞰图像的范围狭窄，也能够将应当注意的人物的移动方向通知给驾驶员。

(实施例2)

接着，对实施例2进行说明。与实施例1同样，实施例2涉及一种显示装置，其显示在安装于车辆前方的拍摄部中拍摄的影像，并将表示人物的移动方向的图标叠加到该影像上来显示。当影像中显示的人物的数量增加时，影像中显示的图标、例如箭头形状图标的数量也增加。但是，当被显示的箭头形状图标的数量变多时，对于驾驶员来说，由于难以观察箭头形状图标，因此基于箭头形状图标的提醒效果降低。在实施例2中，涉及即使影像中显示的人物的数量增加也维持基于箭头形状图标的提醒效果的显示。实施例2涉及的显示装置30是与图1相同的类型。这里，以与实施例1之间的差异为中心进行说明。

影像获取部32、人物检测部34、移动检测部36执行与实施例1相同的处理。另外，图像处理部38也与实施例1同样，通过以确定的人物200为起点的方式将箭头形状图标202叠加到图像，来生成显示图像60。此时，图像处理部38确定本车辆的前进方向。例如，图像处理部38确定从图像的左右方向的中央部分的下方朝向上方的前进方向。另外，图像处理部38只对移动方向朝向前进方向的人物200叠加箭头形状图标202。即，图像处理部38不会对朝向与前进方向不同的方向的移动方向的人物200叠加箭头形状图标202。

图6示出在实施例2涉及的图像处理部38中生成的显示图像60。如图所示，车辆的前进方向206由虚线表示。此外，为了便于说明，前进方向206被示出在显示图像60上，但实际上并不显示。另外，这里，第一人物200a、第二人物200b被检测出，他们的移动方向朝向前进方向206。因此，在第一人物200a中叠加有朝向前进方向206的第一箭头形状图标202a，在第二人物200b中叠加有朝向前进方向206的第二箭头形状图标202b。

进而，第三人物200c、第四人物200d也被检测。但是，第三人物200c朝向第一移动方向208a，没有朝向前进方向206移动。另外，第四人物200d朝向第二移动方向208b，没有朝向前进方向206移动。因此，没有对第三人物200c、第四人物200d叠加箭头形状图标202。返回到图1。接着，图像处理部38、显示控制部40、显示部50的处理如前面所述。其结果为，显示部50只显示箭头形状图标202，该箭头形状图标202表示朝向安装了本显示装置30的车辆的前进方向的移动方向。此外，这样的处理可以只在被显示的箭头形状图标202的数量为阈值以上的情况下进行。

关于这样的处理，可以对俯瞰图像进行。该情况下的显示装置30是与图4同样的类型。显示装置30中的处理与在此之前相同，因此这里省略说明。图7示出实施例2涉及的图像处理部38中生成的俯瞰图像78。由于这里设想车辆后退的情况，因此图7中的本车图标80朝向下侧。第二人物图标220b的移动方向朝向车辆的前进方向。因此，第二人物图标220b中叠加有朝向前进方向的第二箭头形状图标222b。另一方面，第一人物图标220a朝向第一移动方向228a，没有朝向车辆的前进方向移动。另外，第三人物图标220c也朝向第三移动方向228c，没有朝向车辆的前进方向移动。因此，第一人物图标220a、第三人物图标220c中没有叠加箭头形状图标222。

对基于以上结构的显示装置30的动作进行说明。图8是示出基于实施例2涉及的显示装置30的显示顺序的流程图。影像获取部32获取影像信息(S50)。在人物检测部34未检测出人物200的情况下(S52的否)，处理结束。在人物检测部34检测出人物200(S52的是)、在移动检测部36中检测出的移动方向是前进方向的情况下(S54的是)，图像处理部38使用箭头形状图标202(S56)。另一方面，在移动检测部36中检测出的移动方向不是前进方向的情况下(S54的否)，步骤56被跳过。如果没有处理所有的人物200(S58的否)，则返回到步骤54。如果处理所有的人物200(S58的是)，则处理结束。

根据本实施例，由于只显示表示朝向车辆前进方向的移动方向的箭头形状图标，因此能够抑制被显示的箭头形状图标的数量的增加。另外，由于被显示的箭头形状图标的数量的增加被抑制，因此能够确保驾驶员的视觉辨认度。另外，由于被显示的箭头形状图标的数量的增加被抑制，因此能够抑制针对驾驶员的提醒效果的降低。另外，由于显示表示朝向车辆的前进方向的移动方向的箭头形状图标，因此即使被显示的箭头形状图标的数量的增加被抑制，也能够通知需要注意的人物。

(实施例3)

接着，对实施例3进行说明。实施例3与在此之前同样涉及一种显示装置，其显示在安装于车辆前方的拍摄部中拍摄的影像，并将表示人物的移动方向的图标叠加到该影像上来显示。在被显示在显示装置的影像的大小比拍摄部拍摄的影像的大小小的情况下，拍摄部拍摄的影像中所包含的人物有时未包含于在显示装置中显示的影像中。但是，也存在这样的人物朝向车辆的方向移动。在实施例3中，涉及一种在未被影像显示的人物朝向车辆方向移动的情况下用于通知该移动的显示。实施例3涉及的显示装置30是与图1同样的类型。这里，以与在此之前的差异为中心进行说明。

人物检测部34以及移动检测部36执行与之前同样的处理。图像处理部38从影像获取部32输入影像信息，并从移动检测部36输入各人物的移动方向的信息。图像处理部38确定图像中所包含的人物，并将所确定的人物与移动方向相对应。进而，图像处理部38通过将箭头形状图标以所确定的人物为起点的方式叠加到图像，来生成显示图像60。

此时，图像处理部38剪切出影像获取部32获取的影像信息的一部分并生成显示图像60。即，显示图像60的大小比影像获取部32中获取的影像信息的大小小。因此，也存在所确定的人物未被包含于显示图像60中的情况。即使在这样的情况下，当表示显示图像60的范围之外所包含的人物的移动方向的箭头形状图标被包含于显示图像60时，图像处理部38将该箭头形状图标包含于显示图像60中。这相当于将箭头形状图标包含于显示图像60中，该箭头形状图标表示包含于显示图像60的范围之外、且向显示图像60的范围移动的人物的移动方向。

图9示出在实施例3涉及的图像处理部38中生成的显示图像60。第一人物200a、第二人物200b、第一箭头形状图标202a、第二箭头形状图标202b以与图3同样的方式示出。另一方面，第三人物200c以及第四人物200d存在于显示图像60的外部，因此未被显示图像60示出。但是，以第三人物200c为起点的第三箭头形状图标202c、以及以第四人物200d为起点的第四箭头形状图标202d被包含在显示图像60内。换而言之，第三箭头形状图标202c和第四箭头形状图标202d朝向显示图像60内。因此，显示图像60中未示出第三人物200c、第四人物200d，只示出表示其移动方向的第三箭头形状图标202c、第四箭头形状图标202d。

这样的处理可以对俯瞰图像进行。该情况下的显示装置30是与图4同样的类型。由于显示装置30中的处理与在此之前相同，因此这里省略说明。图10示出在实施例3涉及的图像处理部38中生成的俯瞰图像78。由于第一人物图标220a存在于俯瞰图像78的内部，因此被俯瞰图像78示出，并且以第一人物图标220a为起点的第一箭头形状图标222a也被俯瞰图像78示出。

另一方面，第二人物图标220b以及第三人物图标220c存在于俯瞰图像78的外部，因此未被俯瞰图像78示出。但是，以第二人物图标220b为起点的第二箭头形状图标222b被包含于俯瞰图像78内。因此，在俯瞰图像78中未示出第二人物图标220b，只示出表示其移动方向的第二箭头形状图标222b。第三箭头形状图标222c也与第二箭头形状图标222b同样。其结果为，显示部50显示叠加了箭头形状图标222的俯瞰图像78，该箭头形状图标222表示俯瞰图像78之外所含的人物图标220的移动方向。

根据本实施例，由于即使是在显示图像内不包含人物的情况下，也将以该人物为起点的箭头形状图标包含在显示图像中，因此能够将人物的移动方向通知给驾驶员。另外，由于即使是在俯瞰图像内不包含人物图标的情况下，也将以该人物图标为起点的箭头形状图标包含在俯瞰图像中，因此能够将与人物图标对应的人物的移动方向通知给驾驶员。

(实施例4)

接着，对实施例4进行说明。实施例4与在此之前同样，涉及一种显示装置，其显示在安装于车辆前方的拍摄部中拍摄的影像，并将表示人物的移动方向的图标叠加到该影像上来显示。当影像中显示的人物的数量增加时，影像中显示的图标、例如箭头形状图标的数量也增加。但是，车辆的行驶速度越高，驾驶员能够识别的箭头形状图标的数量越少。在实施例4中，涉及根据车辆的行驶速度来调节箭头形状图标的数量的情况。这里，以与在此之前的差异为中心进行说明。另外，当在影像中显示的人物的数量多的情况下，可以对箭头形状图标的数量设定上限值。例如，针对向基本相同方向以基本相同速度移动的人群，可以将箭头形状图标汇集而设为一个或者比人物的数量少的数量的箭头图标。在该情况下，可以设为能够辨别出汇集了多个人物的箭头图标的箭头图标的显示方式。

图11示出实施例4涉及的显示装置30的结构。显示装置30与拍摄部10、显示部50连接。另外，显示装置30包括影像获取部32、人物检测部34、移动检测部36、图像处理部38、显示控制部40、行驶情况判定部42。

行驶情况判定部42与CAN(Controller Area Network，控制器局域网)等网络连接，经由CAN从ECU(Electronic Control Unit，电子控制单元)获取行驶信息。在行驶信息中示出被选择的换挡(shift gear)、车辆的速度等。行驶情况判定部42基于行驶信息判定安装了本显示装置30的车辆的行驶情况。具体而言，判定车辆正在低速行驶还是高速行驶。低速行驶是作为换挡而选择驱动挡、且以小于阈值的速度行驶的情况。阈值例如由于被选择为10km/h，因此低速行驶相当于交叉路口左右转弯时、等待信号时、堵车时等。另外，高速行驶是作为换挡而选择驱动挡、且以阈值以上的速度行驶的情况。行驶情况判定部42将判定结果输出到图像处理部38。

图像处理部38还输入来自行驶情况判定部42的判定结果。在判定结果为低速行驶的情况下，图像处理部38通过执行与在此之前同样的处理来生成显示图像60。图12示出在图像处理部38中生成的显示图像60。这里，检测出第一人物200a至第四人物200d，对各人物分别叠加第一箭头形状图标202a至第四箭头形状图标202d。此外，第一人物200a、第二人物200b与第三人物200c、第四人物200d比更靠近本车辆行驶的道路。返回到图11。

另一方面，在判定结果为高速行驶的情况下，与低速行驶的情况相比，图像处理部38限定包含能够叠加箭头形状图标202的人物200的范围(以下，称为“显示范围”)。图13示出在图像处理部38中生成的其他显示图像60。图13与图12同样地示出，但以包含本车辆行驶的道路的方式设定有显示范围210。图像处理部38只对显示范围210中所包含的人物200叠加箭头形状图标202，不对表示范围210外所包含的人物200叠加箭头形状图标202。因此，第一人物200a、第二人物200b中分别叠加有第一箭头形状图标202a、第二箭头形状图标202b，但对第三人物200c、第四人物200d没有叠加箭头形状图标202。这是因为：当车辆的速度增加时，检测周围人物200的必要性降低，检测行驶前方的人物200的必要性增加。即，图像处理部38根据行驶情况判定部42中判定的行驶情况，改变显示表示移动方向的箭头形状图标202的范围。返回到图11。

接着，图像处理部38、显示控制部40、显示部50的处理是如前面叙述那样。其结果为，与行驶情况为低速行驶的情况下比，在行驶情况为高速行驶的情况下，显示部50限定包含叠加箭头形状图标202的人物200的范围。

这样的处理可以对俯瞰图像进行。图14示出实施例4涉及的显示装置30的其他结构。显示装置30具有与图11的显示装置30同样的结构，但拍摄部10被构成为如图4所示那样。该处理是组合了图4的显示装置30和图11的显示装置30的处理，因此这里省略说明。例如，显示装置30在车辆的行驶速度低的情况下，只显示如图5所示以俯瞰图像78中所含的人物图标220为起点的箭头形状图标222。另一方面，显示装置30在车辆的行驶速度为预定以上的情况下，还显示如图10所示以俯瞰图像78中不包含的人物图标220为起点的箭头形状图标222。这里，车辆的行驶速度低的情况例如为低于10km/h，车辆的行驶速度为预定以上的情况例如为10km/h以上。

对基于以上结构的显示装置30的动作进行说明。图15是示出基于显示装置30的显示顺序的流程图。若处于高速行驶(S70的是)，则图像处理部38变更显示范围210(S72)。若不是高速行驶(S70的否)，则图像处理部38跳过步骤72。

根据本实施例，若处于低速行驶，则增加包含显示箭头形状图标的人物的范围，因此能够将存在于车辆周围的人物通知给驾驶员。另外，由于将存在于车辆周围的人物通知给驾驶员，因此能够有助于安全驾驶。另外，若处于高速行驶，则限定包含显示箭头形状图标的人物的范围，因此能够通知驾驶员应当注意的范围内的人物的移动方向。另外，由于通知驾驶员应当注意的范围内的人物的移动方向，因此即使在高速行驶的情况下，也能够维持对驾驶员的提醒效果。

(实施例5)

接着，对实施例5进行说明。实施例5与在此之前同样，涉及一种显示装置，其显示在安装于车辆前方的拍摄部中拍摄的影像，并将表示人物的移动方向的图标叠加到该影像上来显示。在实施例1中，作为表示人物的移动方向的图标，而显示箭头形状图标。但是，还存在移动方向变动、但没有向一定方向移动的人物。在该情况下，箭头形状图标的显示变得困难。在实施例5中，涉及在这样的情况下显示的图标。实施例5涉及的显示装置30是与图1同样的类型。这里，以与在此之前的差异为中心进行说明。

影像获取部32、人物检测部34、移动检测部36执行与实施例1同样的处理。移动检测部36监视针对一个人物200的移动方向，确认在预先确定的期间内移动方向是否变动。预先确定的期间例如规定为2～3秒。在移动方向变动的情况下，移动检测部36替代移动方向的信息、移动速度的信息而将表示移动方向变动的情况的信息输出到图像处理部38。

另外，移动检测部36确定检测出的人物200的纵向的大小、即身高，并确认所确定的人物200的大小是否小于预定大小。预定大小例如规定为100～120cm，因此移动检测部36中的处理相当于确认人物200是否为儿童。一般来说，儿童经常突然跑起来或者突然改变移动方向大的情况较多，因此移动方向的信息、移动速度的信息可能变得没有意义。因此，在人物200小于预定大小的情况下，移动检测部36替代移动方向的信息、移动速度的信息而将表示人物200为儿童的情况的信息输出到图像处理部38。这些处理是按照每个人物200来进行。

关于身高的确定处理，所确定的人物200的大小在预定时间不变动的情况下可以设为小于预定大小。具体而言，基于作为用于检测所确定的人物200的速度的时间等、例如基于3秒等的期间拍摄的帧数的影像。通过包含这样的处理，例如防止预定大小以上的人物200因临时弯曲等动作而被识别为小于预定大小的情况。另外，关于人物200的检测，基于拍摄到的影像并参照用于识别人物的词典而检测出，关于人物200的纵向的大小，基于词典并以识别为头部的部位的上部为基准确定。因此，防止小于预定大小的人物因举起手等动作而被识别为不是小于预定大小的情况。

图像处理部38输入表示预定的人物200的移动方向变动的情况的信息、或者表示预定的人物200是儿童的信息。图像处理部38执行与实施例1同样的处理，在影像信息中所含的多个图像的每一个中，确定前面叙述的预定的人物200。另外，图像处理部38针对所确定的人物200，替代箭头形状图标202而叠加表示可能移动的范围的图标(以下，称为“范围图标”)，由此生成显示图像60。范围图标是以人物200为中心在水平面上绘制圆那样的图标，示出该人物200有可能在范围图标表示的范围内移动。因此，范围图标还可以说是表示移动方向的图标。

图16示出在实施例5涉及的图像处理部38中生成的显示图像60。这里，第一人物200a、第二人物200b、第三人物200c被检测出。第一人物200a在移动检测部36中被检测为儿童。另外，第二人物200b在移动检测部36中被检测为移动方向变动。因此，第一人物200a中叠加有第一范围图标204a，第二人物200b中叠加有第二范围图标204b。另一方面，针对第三人物200c，通过与实施例1同样的处理，被叠加箭头形状图标202。返回到图1。接着，图像处理部38、显示控制部40、显示部50的处理如前面所述。其结果为，显示部50在移动方向变动的情况下、或者人物200的大小小于预定大小的情况下，在人物200的周围显示表示可能移动的范围的范围图标204。

这样的处理可以对俯瞰图像进行。在该情况下的显示装置30是与图4同样的类型。显示装置30中的处理与在此之前相同，因此这里省略说明。图17示出在实施例5涉及的图像处理部38中生成的俯瞰图像78。与第一人物图标220a对应的人物在移动检测部36被检测为儿童。另外，与第二人物图标220b对应的人物在移动检测部36被检测为移动方向变动。因此，第一人物图标220a中叠加有第一范围图标224a，第二人物图标220b中叠加有第二范围图标224b。另一方面，针对第三人物图标220c，通过与实施例1相同的处理，叠加第三箭头形状图标222c。

对基于以上结构的显示装置30的动作进行说明。图18是示出基于实施例5涉及的显示装置30的显示顺序的流程图。影像获取部32获取影像信息(S10)。在人物检测部34未检测人物200的情况下(S12的否)，结束处理。在人物检测部34检测人物200(S12的是)、在移动检测部36中检测出的移动方向为一定的情况下(S14的是)，图像处理部38使用箭头形状图标202(S16)。另一方面，在移动检测部36中检测出的移动方向不是一定的情况下(S14的否)，图像处理部38使用范围图标204(S18)。如果没有处理所有的人物200(S20的否)，则返回到步骤14。如果处理所有的人物200(S20的是)，则结束处理。

图19是示出基于实施例5涉及的显示装置30的其他显示顺序的流程图。影像获取部32获取影像信息(S30)。在人物检测部34未检测人物200的情况下(S32的否)，结束处理。在人物检测部34检测人物200(S32的是)、在移动检测部36中没确定出小于预定大小的人物200的情况下(S34的否)，图像处理部38使用箭头形状图标202(S36)。另一方面，在移动检测部36中确定了小于预定大小的人物200的情况下(S34的是)，图像处理部38使用范围图标204(S38)。如果未处理所有的人物200(S40的否)，则返回到步骤34。如果处理所有的人物200(S40的是)，则结束处理。

根据本实施例，在移动方向变动的情况下，由于在人物的周围示出范围图标，因此能够通知可能移动的范围。另外，在移动方向变动的情况下，由于在人物的周围示出范围图标，因此能够不需要确定移动方向。另外，在检测出的人物的大小小于预定大小的情况下，由于在人物的周围示出范围图标，因此能够通知可能移动的范围。另外，在检测出的人物的大小小于预定大小的情况下，由于在人物的周围示出范围图标，因此能够不需要确定移动方向。

以上，基于实施例对本发明进行了说明。该实施例是例示，本领域技术人员应该理解的是对于它们的各构成要素和各处理过程的组合能够进行各种变形，并且这样的变形例也在本发明的范围内。

在本实施例1至5中，显示部50是被设置在车辆驾驶座的监视器。但不限于此，例如，显示部50还可以是平视显示器(HUD：Head-UpDisplay)。在该情况下，图像处理部38生成用于使HUD显示的虚像、且被配置箭头形状图标202、范围图标204等虚像。根据本变形例，能够提高显示的自由度。

在本实施例1至5中，拍摄部10被安装在车辆的前方。但不限于此，例如，拍摄部10可以安装于车辆的侧方、后方。根据本变形例，在停车、沿窄道的行驶中，能够通知人物的移动方向。

本实施例1至5的任意组合也是有效的。根据本变形例，能够获得通过组合的效果。

符号说明

10…拍摄部、12…前方拍摄部、14…左侧方拍摄部、16…后方拍摄部、18…右侧方拍摄部、30…显示装置、32…影像获取部、34…人物检测部、36…移动检测部、38…图像处理部、40…显示控制部、42…行驶情况判定部、44…生成部、50…显示部、60…显示图像、78…俯瞰图像、200…人物、202…箭头形状图标、220…人物图标、222…箭头形状图标。

产业上的可用性

根据本发明，能够将人物的移动方向通知给驾驶员。

Claims (12)

1.一种显示装置，其特征在于，包括：

影像获取部，获取对车辆的周围进行了拍摄的影像信息；

人物检测部，从在所述影像获取部获取的影像信息中检测人物；

移动检测部，检测在所述人物检测部检测出的人物的移动方向；以及

显示控制部，在显示部上显示所述影像获取部获取的影像信息以及图标，该图标表示在所述移动检测部检测出的人物的移动方向。

2.根据权利要求1所述的显示装置，其特征在于，

还包括生成部，生成对在所述影像获取部获取的影像信息的视点进行了变换的俯瞰图像，

所述显示控制部在所述显示部上显示在所述生成部中生成的俯瞰图像以及图标，该图标表示在所述移动检测部中检测出的人物的移动方向。

3.根据权利要求1或2所述的显示装置，其特征在于，

所述显示控制部剪切出所述影像获取部获取的影像信息的一部分并将其显示在所述显示部上，并且在显示部上显示图标，该图标表示包含在所述显示部上显示的范围之外的人物的移动方向。

4.根据权利要求3所述的显示装置，其特征在于，

所述显示控制部在显示部上显示图标，该图标表示包含在所述显示部上显示的范围之外且向所述显示部上显示的范围移动的人物的移动方向。

5.根据权利要求1或2所述的显示装置，其特征在于，

所述显示控制部显示图标，该图标表示朝向所述车辆的前进方向的人物的移动方向。

6.根据权利要求1至5中任一项所述的显示装置，其特征在于，

所述移动检测部还检测在所述人物检测部检测出的人物的移动速度，

所述显示控制部显示依据在所述移动检测部中检测出的移动速度的形式的箭头形状图标，作为表示所述移动方向的图标。

7.根据权利要求1至6中任一项所述的显示装置，其特征在于，

还包括行驶情况判定部，判定安装了本显示装置的车辆的行驶情况，

所述显示控制部根据在所述行驶情况判定部中判定的行驶情况，改变显示表示所述移动方向的图标的范围。

8.根据权利要求1至7中任一项所述的显示装置，其特征在于，

所述显示控制部显示以所述影像信息中的所述检测出的人物为起点向所述人物的移动方向延伸的表示所述移动方向的图标。

9.根据权利要求1至3中任一项所述的显示装置，其特征在于，

在所述移动检测部中检测出的移动方向变动的情况下，所述显示控制部在所述人物检测部所检测出的人物的周围显示表示可能移动的范围的图标，作为表示所述移动方向的图标。

10.根据权利要求1至3中任一项所述的显示装置，其特征在于，

在所述人物检测部中检测出的人物的大小小于预定大小的情况下，所述显示控制部在所述人物检测部所检测出的人物的周围显示表示可能移动的范围的图标，作为表示所述移动方向的图标。

11.一种显示方法，其特征在于，包括：

影像获取步骤，获取对车辆的周围进行了拍摄的影像信息；

人物检测步骤，从在所述获取步骤获取的影像信息中检测人物；

移动检测步骤，检测在所述人物检测步骤检测出的人物的移动方向；以及

显示步骤，在显示部上显示在所述影像获取步骤获取的影像信息以及图标，该图标表示在所述移动检测步骤检测出的人物的移动方向。

12.一种程序，使计算机执行：

影像获取步骤，获取对车辆的周围进行了拍摄的影像信息；

人物检测步骤，从在所述获取步骤获取的影像信息中检测人物；

移动检测步骤，检测在所述人物检测步骤检测出的人物的移动方向；

显示步骤，在显示部上显示在所述影像获取步骤获取的影像信息以及图标，该图标表示在所述移动检测步骤检测出的人物的移动方向。