CN102729824B - 图像处理判定装置 - Google Patents

Abstract

本发明提供一种图像处理判定装置，其基于各种外部仪器输出的图像数据而使各种信息被驾驶员准确地识别。本发明的图像处理判定装置(10)的边缘图像生成部(21)从包含在显示数据中的图像中抽取多个边缘，所述显示数据由终端装置(14)、导航装置(15)、摄像装置(16)等的外部仪器输出。而且，通过与外部仪器的特性相对应的规定的选择方法，从抽取了的多个边缘中选择规定的边缘并制作边缘图像。

Description

图像处理判定装置

技术领域

本发明涉及图像处理判定装置。

背景技术

以往知道有如下的处理系统：进行用于在图像数据中抽取移动体的前处理，并将该前处理后的图像数据向车辆传送，该图像数据是由例如对道路进行拍摄的摄像机输出的(例如，参照专利文献1)。

在该处理系统中，接收了前处理后的图像数据的车辆进行例如使这些图像数据(例如，背景差分图像、时间差分图像、边缘(edge)图像等)在原图像上重合的显示等。

专利文献1：日本特开2008-46761号公报

但是，在上述以往技术的处理系统中，基于从对道路的交通状况进行拍摄的摄像机输出的图像数据，只进行用于使驾驶者从车辆识别成为死角的移动体的显示，但是并不限于此，还希望可以基于各种外部仪器输出的图像数据，进行用于使驾驶员准确识别各种信息的显示。

发明内容

本发明是鉴于上述情况而做出的，其以提供一种图像处理判定装置为目的，该图像处理判定装置能够基于由各种外部仪器所输出的图像数据而使各种信息被驾驶员准确地识别。

为了解决上述课题并实现其目的，本发明的技术方案1的图像处理判定装置，具有：外部仪器(例如，实施方式中的终端装置14、导航装置15、摄像装置16)，所述外部仪器输出具有图像的显示数据；边缘抽取机构(例如，实施方式中的边缘图像生成部21)，对用线表示所述图像上的物体的轮廓的多个边缘进行抽取，所述图像为所述外部仪器输出的所述显示数据所具有；边缘选择机构(例如，由实施方式中的边缘图像生成部21兼作)，从通过所述边缘抽取机构抽取的所述多个边缘中，通过规定的选择方法对规定的边缘进行选择；边缘图像制作机构(例如，由实施方式中的边缘图像生成部21兼作)，制作边缘图像，所述边缘图像由通过所述边缘选择机构被选择的所述规定的边缘组成；和显示部(例如，实施方式中的第一显示器12、第二显示器13)，对通过所述边缘图像制作机构制作的所述边缘图像进行显示，所述边缘选择机构通过与所述外部仪器的特性相对应的所述选择方法而对所述规定的边缘进行选择。

而且，在本发明的第二技术方案的图像处理判定装置中，所述外部仪器是通过拍摄而生成所述图像的摄像装置(例如，实施方式中的摄像装置16)，所述边缘选择机构的所述选择方法是从所述显示数据具有的所述图像上的所述物体中，对具有规定量以上的移动量的移动体的所述边缘进行选择。

而且，在本发明的第三技术方案的图像处理判定装置中，所述图像处理判定装置具有识别文字的文字判定机构(例如，由实施方式中的边缘图像生成部21兼作)，所述外部仪器是输出所述显示数据的终端装置(例如，实施方式中的终端装置14)，所述显示数据作为所述图像具有图标及文字，所述边缘选择机构的所述选择方法是从所述显示数据具有的所述图像中，对所述图标及所述文字的边缘进行选择，所述显示部将通过所述文字判定机构识别为文字的区域与其他的区域相比进行放大显示。

而且，在本发明的第四技术方案的图像处理判定装置中，所述外部仪器是输出所述显示数据的导航装置(例如，实施方式中的导航装置15)，所述显示数据作为所述图像具有道路信息且具有地图数据，所述边缘选择机构的所述选择方法是从所述显示数据具有的所述图像中，对包含所述道路信息的边缘或者该边缘中的规定粗细以上的粗线的边缘进行选择。

而且，在本发明的第五技术方案的图像处理判定装置中，所述显示部至少由平视显示器(HUD(head up display)例如，实施方式中的第一显示器12)和其他的显示设备(例如，实施方式中的第二显示器13)组成，所述平视显示器在车辆的前窗上进行显示，所述边缘选择机构使选择用于所述平视显示器上的显示的所述规定的边缘的量，与选择用于所述其他的显示设备上的显示的所述规定的边缘的量相比少。

发明的效果

根据本发明的第一技术方案的图像处理判定装置，通过与各种外部仪器的特性相对应地将不同的边缘图像在显示部上显示，而能够以适当的信息量对准确内容的信息进行显示。

另外，因为与在显示数据中包含的图像相比，边界图像的数据量较小，所以能够减少边缘图像的处理(例如，在显示部的显示等)所需要的负荷。

而且，根据本发明的第二技术方案的图像处理判定装置，通过将由移动体的边缘所生成的边缘图像显示在显示部中，所述移动体具有规定量以上的移动量，从而能够促使唤起对移动体的适当注意。

而且，根据本发明的第三技术方案的图像处理判定装置，通过将从图标及文字的图像中削减过剩信息而得到的边缘图像在显示部中进行显示，从而能够抑制对观察者的视野造成妨碍，并且能够以适当的信息量对准确内容的信息进行显示。

另外，通过与其他的区域相比，将被识别是文字的区域进行放大显示，由此，能够使文字的视觉辨认性提高。

而且，根据本发明的第四技术方案的图像处理判定装置，通过将从地图数据的图像中削减过剩信息而得到的边缘图像在显示部中进行显示，而能够以适当的信息量对准确内容的信息进行显示。

而且，根据本发明的第五技术方案的图像处理判定装置，能够抑制对车辆的前窗上或者穿过前窗的观察者的视野造成妨碍，同时能够以适当的信息量对准确内容的信息进行显示。

附图说明

图1是本发明的实施方式的图像处理判定装置的结构图。

图2是表示通过本发明的实施方式的图像处理判定装置而生成的边缘图像的例的图。

图3是表示从通过本发明的实施方式的图像处理判定装置的摄像装置而拍摄到的图像中得到的边缘图像的例的图。

图4是表示本发明的实施方式的图像处理判定装置的动作的流程图。

附图标记的说明

10 图像处理判定装置

12 第一显示器(显示部、平视显示器)

13 第二显示器(显示部，其他的显示设备)

14 终端装置(外部仪器)

15 导航装置(外部仪器)

16 摄像装置(外部仪器)

21 边缘图像生成部(边缘抽取机构、边缘选择机构、边缘图像制作机构、文字判定机构)

具体实施方式

以下，参照附图对本发明的一个实施方式的图像处理判定装置进行说明。

例如如图1所示，本实施方式的图像处理判定装置10构成为具有处理装置11、第一显示器12、第二显示器13、终端装置14、导航装置15和摄像装置16。

处理装置11构成为具有例如边缘图像生成部21、光流场(opticalflow)比较部22和颜色变换部23。

边缘图像生成部21从显示数据具有的图像中抽取通过线表示图像上的物体的轮廓的多个边缘，该显示数据是由与处理装置11连接的外部仪器(即，终端装置14、导航装置15和摄像装置16等)输出的。而且，从抽取了的多个边缘中通过与各外部仪器的特性相对应的规定的选择方法而选择规定的边缘，从而制作由被选择的规定的边缘组成的边缘图像。

例如在外部仪器是输出显示数据的终端装置14的情况下，其中，该显示数据作为图像具有图标及文字，边缘图像生成部21能够识别图像上的图标及文字，并在从终端装置14输出的显示数据具有的图像中选择图标及文字的边缘。

另外，边缘图像生成部21中，在与例如终端装置14的各种功能相对应地输出显示数据的情况下，其中该显示数据作为图像具有文字信息、图标和图形(graphic)，对与终端装置14的各种功能相对应的规定的边缘进行选择。

例如在通过使规定的图标被操作者选择而显示消息的消息显示功能的情况下，边缘图像生成部21从显示数据中只抽取文字信息，并且对不会妨碍驾驶程度的信息量(例如，只对邮件的标题、和规定字数的文字信息等)的边缘进行选择。

另外，例如在如操作音乐的输出的音乐操作功能等那样进行各种操作的操作功能的情况下，边缘图像生成部21从作为图像具有各种操作画面和操作用图标等的显示数据中只对操作用的图标的边缘进行选择。

另外，例如在如相册和相框等那样从多个图像中选择显示合适图像的图像显示功能的情况下，从显示数据中不对文字信息和操作用的图标等的边缘进行选择，只对作为显示对象的图像的边缘进行选择。

另外，例如在显示如图2(A)所示的各种操作菜单的菜单显示功能的情况下，例如如图2(B)所示，边缘图像生成部21从显示数据中对表示菜单项目的内容的文字信息、和菜单项目的图标的各边缘进行选择。

而且，例如如图2(C)所示设定为：在被选择的边缘中，使作为文字信息被识别的区域的边缘与其他区域相比进行放大显示。

另外，例如在外部仪器是导航装置15的情况下，边缘图像生成部21从导航装置15输出的显示数据具有的图像中，选择包含道路信息的边缘或者在该边缘中具有规定粗细以上的粗线的边缘。

例如当在显示数据中包含有地图信息的情况下，边缘图像生成部21设定为：在地图内的本车辆附近的区域中只对主要道路的线和文字的边缘进行抽取，并将抽取了的边缘通过加粗化和大文字化等进行放大显示。

另外，例如当在显示数据中包含有交叉路口和建筑物等的立体显示等的图形图像的情况下，边缘图像生成部21对图形图像的边缘进行抽取。

另外，例如当在显示数据中包含有实际风景的静止图等的图像的情况下，边缘图像生成部21从相对于图像上的各种物体等抽取的多个边缘中，基于边缘的强弱、粗细、连续性等除去较细的边缘，并对规定的边缘进行抽取。

另外，例如当在显示数据中包含包括道路标识和广告牌等的文字的图像的情况下，边缘图像生成部21设定为：将对基于文字识别的处理而抽取了的文字的边缘以与实际相比进行大文字化的方式放大显示。

另外，例如在外部仪器是输出显示数据的摄像装置16，并且该显示数据包含对车辆的外界进行拍摄而得到的图像的情况下，边缘图像生成部21从图像上的物体中对具有规定量以上的移动量的移动体的边缘进行选择，该图像为摄像装置16输出的显示数据所具有。

例如，在为对车辆的左后方的外界进行拍摄的摄像装置16的情况下，边缘图像生成部21从如图3(A)所示的图像中抽取对轮廓进行强调的边缘，该轮廓是如图3(B)所示的道路、其他车辆和行人等的轮廓。此时，从相对于图像上的各种物体等抽取的多个边缘中，基于边缘的强弱、粗细、连续性等除去较细的边缘并对规定的边缘进行抽取。

而且，例如如图3(C)所示，光流场比较部22基于各种传感器(图示略)输出的车辆的速度及横摆角速度(yaw rate)的检测结果、和摄像装置16的拍摄方向及拍摄角度等的信息，对图像中的消失点P、相对于图像中的静止物进行预测的光流场Fa(图像的流动)、和图像中的移动体的光流场Fb进行计算。

而且，例如如图3(D)所示，只对相对于静止物进行预测的光流场Fa与移动体的光流场Fb之差较大的区域的边缘进行抽取。

此外，光流场比较部22在例如与操作者的要求等相对应地，被指示为对即使为静止物的路面的信息(例如、行车线等)的边缘也进行显示的情况下还可以设定为：例如如图3(E)所示地，在与水平线相比下方的区域中设定为在除了移动体的边缘以外，也对即使为静止物的路面的信息(例如，行车线等)的边缘进行显示，在与水平线相比上方的区域中，对相对于静止物进行预测的光流场Fa与移动体的光流场Fb之差较大的区域的边缘进行显示。

而且，颜色变换部23将通过边缘图像生成部21或者光流场比较部22抽取的边缘的显示颜色变换为例如色彩强的颜色等。

第一显示器12是例如将车辆的前窗上作为显示画面进行显示的平视显示器(head up display)。

另外，第二显示器13是与第一显示器12不同的其他的显示设备，例如是在车辆的仪表盘(dashboard)的上部配置有显示画面的仪表盘显示器、在车辆的仪表板(instrument panel)上配置有显示画面的多信息(multi information)显示器和在车辆的仪表板的各种仪表仪器附近配置有显示画面的显示器等。

而且，使通过边缘图像生成部21选择的用于平视显示器即第一显示器12的显示的边缘的量，与通过边缘图像生成部21选择的用于其他的显示设备即第二显示器13的显示的边缘的量相比少。

本实施方式的图像处理判定装置10具有上述结构，接下来，对图像处理判定装置10的动作进行说明。

首先，在例如图4所示的步骤S01中，取得第一显示器12及第二显示器13的信息。

接下来，在步骤S02中，判定处理对象是否是作为平视显示器的第一显示器12。

在该判定结果为“NO”的情况下，即在处理对象为非平视显示器的第二显示器13的情况下前进至步骤S03。

另一方面，在该判定结果为“YES”的情况下，前进至步骤S04。

而且，在步骤S03中，对规定的第一显示处理进行选择并前进至结束(end)。

此外，规定的第一显示处理还可以与后述的规定的第二显示处理相同，并且还可以为例如由规定的边缘处理、和对通过该边缘处理生成的边缘图像进行显示的显示处理所组成的适当的处理等。

另外，在步骤S04中，对规定的第二显示处理进行选择。

接下来，在步骤S05中，取得显示对象的外部仪器的信息。

接下来，在步骤S06中，判定外部仪器是否为终端装置14。

在该判定结果为“YES”的情况下，前进至步骤S07。

另一方面，在该判定结果为“NO”的情况下，前进至步骤S11。

而且，在步骤S07中，进行从终端装置14输出的显示数据具有的图像中抽取边缘的边缘处理，并生成边缘图像。

接下来，在步骤S08中，判定在边缘图像中是否存在文字的边缘。

在该判定结果为“NO”的情况下，前进至步骤S09，在该步骤S09中，对生成了的边缘图像进行显示并前进至结束。

另一方面，在该判定结果为“YES”的情况下，前进至步骤S10，在该步骤S10中，对边缘图像的文字的边缘进行放大显示并前进至结束。

另外，在步骤S11中，判定外部仪器是否为导航装置15。

在该判定结果为“YES”的情况下，前进至步骤S12。

另一方面，在该判定结果为“NO”的情况下，前进至步骤S19。

而且，在步骤S12中，从导航装置15输出的显示数据具有的图像中取得道路信息的图像。

接下来，在步骤S13中，进行从取得的道路信息的图像中抽取边缘的边缘处理，并生成边缘图像。

接下来，在步骤S14中，取得预先通过操作者等设定的显示设定。

接下来，在步骤S15中，判定是否被指示为在取得了的显示设定中对全部的显示数据的道路信息进行显示。

在该判定结果为“YES”的情况下，前进至步骤S16，在该步骤S16中，对边缘图像进行显示并前进至结束。

另外，在该判定结果为“NO”的情况下，前进至步骤S17。

而且，在步骤S17中，从边缘图像中只对规定粗细以上的边缘(例如、规定道路宽度以上的主要道路的边缘等)进行抽取。

接下来，在步骤S18中，只对抽取了的边缘进行显示，并前进至结束。

另外，在步骤S19中，判定外部仪器是否为摄像装置16。

在该判定结果为“NO”的情况下，前进至步骤S20。

另一方面，在该判定结果为“YES”的情况下，前进至步骤S22。

而且，在步骤S20中，进行从摄像装置16输出的显示数据具有的图像中抽取边缘的边缘处理，并生成边缘图像。

接下来，在步骤S21中，对生成了的边缘图像进行显示，并前进至结束。

另外，在步骤S22中，进行从摄像装置16输出的显示数据具有的图像中抽取边缘的边缘处理，并生成边缘图像。

接下来，在步骤S23中，对边缘图像上的移动体的移动量进行检测。

接下来，在步骤S24中，判定是否存在移动量在规定量以上的移动体。

在该判定结果为“NO”的情况下，前进至步骤S25，在该步骤S25中，不对边缘图像进行显示，并前进至结束。

另一方面，在该判定结果为“YES”的情况下，前进至步骤S26，在该步骤S26中，只对在边缘图像中移动量在规定量以上的移动体进行显示，并前进至结束。

如上述那样地，根据本实施方式的图像处理判定装置10，通过与各种的外部仪器的特性相对应地对不同的边缘图像进行显示，而能够以适当的信息量对准确内容的信息进行显示。

另外，与从外部仪器输出的显示数据中包含的图像相比，边缘图像的数据量较小，因此能够减少边缘图像的处理(例如，显示等)所需要的负荷。

而且，通过对边缘图像进行显示，而能够促使唤起对移动体的适当注意，其中，所述边缘图像由具有规定量以上的移动量的移动体的边缘所生成。

而且，通过对边缘图像进行显示，即使在平视显示器中也能够抑制对观察者的视野造成妨碍，并且能够以适当的信息量对准确内容的信息进行显示，其中所述边缘图像是通过从图标及文字的图像中削减过剩信息而得到的。

另外，与其他的区域相比，将被识别是文字的区域进行放大显示，由此，能够使文字的视觉辨认性提高。

而且，通过对边缘图像进行显示，而能够以适当的信息量对准确内容的信息进行显示，其中，所述边缘图像是通过从地图数据的图像中削减过剩信息而得到的。

而且，在为平视显示器的第一显示器12中，能够抑制对车辆的前窗上或者穿过前窗的观察者的视野造成妨碍，同时能够以适当的信息量对准确内容的信息进行显示。

另外，在对边缘图像进行显示的情况下，边缘以外的部分例如在液晶显示画面等上为黑色显示，例如在平视显示器上为透明显示，从而不会对成为背景的画面，例如车辆前方的景色等造成妨碍。

另外，边缘部分例如在液晶显示画面等上为白色显示，例如在平视显示器上为高亮度显示，从而能够使其他车辆等的物体和行人等的轮廓容易地被视觉辨认。

Claims (5)

1.一种图像处理判定装置，其特征在于，具有：

各种外部仪器，所述各种外部仪器输出具有图像的显示数据；

边缘抽取机构，对用线表示所述图像上的物体的轮廓的多个边缘进行抽取，所述图像为所述各种外部仪器输出的所述显示数据所具有；

边缘选择机构，从通过所述边缘抽取机构抽取的所述多个边缘中，通过规定的选择方法对规定的边缘进行选择；

边缘图像制作机构，制作边缘图像，所述边缘图像由通过所述边缘选择机构被选择的所述规定的边缘组成；和

显示部，对通过所述边缘图像制作机构制作的所述边缘图像进行显示，

所述边缘选择机构与所述各种外部仪器的特性相对应地利用不同的所述选择方法而对所述规定的边缘进行选择。

2.根据权利要求1所述的图像处理判定装置，其特征在于，所述外部仪器是通过拍摄而生成所述图像的摄像装置，

所述边缘选择机构的所述选择方法是从所述显示数据具有的所述图像上的所述物体中，对具有规定量以上的移动量的移动体的所述边缘进行选择。

3.根据权利要求1所述的图像处理判定装置，其特征在于，所述图像处理判定装置具有识别文字的文字判定机构，

所述外部仪器是输出所述显示数据的终端装置，所述显示数据作为所述图像具有图标及文字，

所述边缘选择机构的所述选择方法是从所述显示数据具有的所述图像中，对所述图标及所述文字的边缘进行选择，

所述显示部将通过所述文字判定机构识别为文字的区域与其他的区域相比进行放大显示。

4.根据权利要求1所述的图像处理判定装置，其特征在于，所述外部仪器是输出所述显示数据的导航装置，所述显示数据作为所述图像具有道路信息且具有地图数据，

所述边缘选择机构的所述选择方法是从所述显示数据具有的所述图像中，对包含所述道路信息的边缘或者该边缘中的规定粗细以上的粗线的边缘进行选择。

5.根据权利要求1至4中任一项所述的图像处理判定装置，其特征在于，所述显示部至少由平视显示器和其他的显示设备组成，所述平视显示器在车辆的前窗上进行显示，

所述边缘选择机构使选择用于在所述平视显示器上的显示的所述规定的边缘的量，与选择用于所述其他的显示设备上的显示的所述规定的边缘的量相比少。