CN109313041A - 辅助图像显示装置、辅助图像显示方法和辅助图像显示程序 - Google Patents

辅助图像显示装置、辅助图像显示方法和辅助图像显示程序 Download PDF

Info

Publication number
CN109313041A
CN109313041A CN201680086752.1A CN201680086752A CN109313041A CN 109313041 A CN109313041 A CN 109313041A CN 201680086752 A CN201680086752 A CN 201680086752A CN 109313041 A CN109313041 A CN 109313041A
Authority
CN
China
Prior art keywords
assistant images
complexity
landscape
display device
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680086752.1A
Other languages
English (en)
Inventor
对马尚之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109313041A publication Critical patent/CN109313041A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

辅助图像显示装置(10)以将辅助图像重叠于风景的方式显示辅助图像，该辅助图像指示从移动体(100)的视点位置观察到的风景中包含的对象物。图像生成部(21)生成指示对象物的基准位置的辅助图像。显示控制部(23)在对象物周围的风景的复杂度较高的情况下，使显示由图像生成部(21)生成的辅助图像的位置移动到复杂度低的区域后，以将辅助图像重叠于风景的方式使辅助图像进行显示。

Description

辅助图像显示装置、辅助图像显示方法和辅助图像显示程序
技术领域
本发明涉及通过显示用于指示存在于车辆前方的对象物的辅助图像来进行驾驶辅助的技术。
背景技术
驾驶员一边掌握由导航装置这样的驾驶辅助装置提示的各种信息一边进行驾驶。
存在如下的驾驶辅助装置：如平视显示器那样，在挡风玻璃上，重叠在前方风景上来显示表示建筑物的名称等的辅助图像。此外，存在如下的驾驶辅助装置：在LCD(Liquidcrystal display)这样的显示部中显示由照相机拍摄的前方的风景，并且，重叠在风景上来显示辅助图像。
当作为辅助图像的背景的风景复杂时，驾驶员不容易视觉辨认重叠在风景上显示的辅助图像，存在没有注意到辅助图像的情况、以及误识别辅助图像的信息的情况。
在专利文献1中记载了根据风景的亮度的空间频率对显示图像的显示亮度进行控制。由此，在专利文献1中，提高了显示图像的视觉辨认性。
现有技术文献
专利文献
专利文献1：日本特开2013-174667号公报
发明内容
发明要解决的课题
在专利文献1所记载的技术中，在风景的亮度较高的情况下，也需要使显示图像的亮度高于风景的亮度。因此，在可显示的亮度存在极限的情况下，视觉辨认性降低。
本发明的目的在于，以驾驶员容易视觉辨认的状态显示辅助图像。
用于解决课题的手段
本发明的辅助图像显示装置以将辅助图像重叠于风景的方式显示辅助图像，该辅助图像指示从移动体的视点位置观察的所述风景中包含的对象物，其中，所述辅助图像显示装置具有：图像生成部，其生成指示所述对象物的基准位置的所述辅助图像；以及显示控制部，其在根据所述对象物的周围的所述风景的复杂度而使由所述图像生成部生成的辅助图像的位置变化后显示所述辅助图像。
发明效果
在本发明中，根据复杂度使辅助图像的位置变化，由此，能够以驾驶员容易视觉辨认的状态显示辅助图像。
附图说明
图1是实施方式1的辅助图像显示装置10的结构图。
图2是实施方式1的辅助图像显示装置10的整体处理的流程图。
图3是实施方式1的辅助图像41的说明图，是从上方观察辅助图像41的图。
图4是实施方式1的辅助图像41的说明图，是从视点位置观察辅助图像41的图。
图5是示出实施方式1的使辅助图像41移动后的状态的图。
图6是实施方式1的步骤S1的图像生成处理的流程图。
图7是实施方式1的步骤S2的复杂度判定处理的流程图。
图8是实施方式1的显示对象区域71的说明图。
图9是实施方式1的对显示对象区域71进行分割后的矩形区域的说明图。
图10是示出实施方式1的各矩形区域的二维空间频率的图。
图11是实施方式1的步骤S3的显示控制处理的流程图。
图12是变形例1的辅助图像显示装置10的结构图。
图13是实施方式2的步骤S2的复杂度判定处理的流程图。
图14是实施方式2的不可视区域55的说明图。
图15是实施方式2的不可视区域55的说明图。
图16是示出实施方式2的使辅助图像41移动后的状态的图。
具体实施方式
实施方式1
***结构的说明***
参照图1对实施方式1的辅助图像显示装置10的结构进行说明。
辅助图像显示装置10是搭载在移动体100中的计算机，其进行导航装置31要在显示装置32中显示的POI(Point Of Interest)信息的显示控制。在实施方式1中，移动体100是车辆。移动体100不限于车辆，也可以是船舶、步行者这样的其他种类。
另外，辅助图像显示装置10可以以与移动体100或未图示的其他结构要素成为一体的方式或不可分离的方式进行安装，或者，也可以以可拆卸的方式或可分离的方式进行安装。
辅助图像显示装置10具有处理器11、存储装置12、通信接口13、显示器接口14。处理器11经由信号线而与其他硬件连接，对这些其他硬件进行控制。
处理器11是进行处理的IC(Integrated Circuit)。作为具体例，处理器11是CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(GraphicsProcessing Unit)。
存储装置12具有内存(memory)121和存储器(storage)122。作为具体例，内存121是RAM(Random Access Memory)。作为具体例，存储器122是HDD(Hard Disk Drive)。此外，存储器122也可以是SD(Secure Digital)存储卡、CF(CompactFlash)、NAND闪存、软盘、光盘、高密度盘、蓝光(注册商标)盘、DVD(Digital Versatile Disk)这样的移动存储介质。
通信接口13是对搭载于移动体100的导航装置31和摄像装置34这样的装置进行连接的装置。作为具体例，通信接口13是USB(Universal Serial Bus)、IEEE1394的连接端子。
导航装置31是如下的计算机：使用测位装置33确定移动体100的位置，根据所确定的位置使显示装置32显示朝向目的地或经由地的路径，进行朝向目的地或经由地的路径引导。此外，导航装置31是如下的计算机：具有地图信息，使显示装置32显示由驾驶员指定的或自动提取的POI信息，向驾驶员进行提示。
POI信息是与被估计为驾驶员关心的对象物有关的信息，是表示对象物的位置、形状等的信息。作为具体例，在驾驶员指定了药店、餐厅这样的分类的情况下，POI信息是符合所指定的分类的对象物的信息。
测位装置33是接收从GPS(Global Positioning System)卫星这样的测位卫星以加载于载波的方式发送的测位信号的装置。
摄像装置34是如下装置，该装置被安装成能够对移动体100前方这样的移动体100周围进行拍摄，并且输出所拍摄的影像。在实施方式1中，摄像装置34对移动体100的前方进行拍摄。
显示器接口14是连接搭载在移动体100中的显示装置32的装置。作为具体例，显示器接口14是USB、HDMI(注册商标，High-Definition Multimedia Interface)的连接端子。
显示装置32是如下装置，该装置在移动体100前方这样的从移动体100的视点位置观察到的移动体100周围的风景上重叠信息来进行显示的装置。在实施方式1中，显示装置32在移动体100的前方风景上重叠信息而进行显示。这里所说的风景是隔着平视显示器等看到的实物、由照相机取得的影像、以及由计算机图形生成的三维地图中的任意一方。在实施方式1中，视点位置是移动体100的驾驶员的视点的位置。另外，视点位置也可以是驾驶员以外的搭乘者的视点位置，在利用由照相机取得的影像显示风景的情况下，也可以是照相机的视点位置。
作为功能结构，辅助图像显示装置10具有图像生成部21、复杂度判定部22、显示控制部23。图像生成部21、复杂度判定部22、显示控制部23的各部的功能通过软件实现。
在存储装置12的存储器122中存储有实现辅助图像显示装置10的各部的功能的程序。该程序通过处理器11读入到内存121中，通过处理器11来执行。由此，实现辅助图像显示装置10的各部的功能。
表示由处理器11实现的各部的功能的处理结果的信息、数据、信号值、变量值存储在内存121或处理器11内的寄存器或高速缓冲存储器中。在以下的说明中，设表示由处理器11实现的各部的功能的处理结果的信息、数据、信号值和变量值存储在内存121中进行说明。
实现由处理器11实现的各功能的程序存储在存储装置12中。但是，该程序也可以存储在磁盘、软盘、光盘、高密度盘、蓝光(注册商标)盘、DVD这样的移动存储介质中。
在图1中，仅示出一个处理器11。但是，辅助图像显示装置10也可以具有代替处理器11的多个处理器。这些多个处理器分担执行实现辅助图像显示装置10的各部的功能的程序。与处理器11同样，各个处理器是进行处理的IC。
***动作的说明***
参照图2～图11对实施方式1的辅助图像显示装置10的动作进行说明。
实施方式1的辅助图像显示装置10的动作相当于实施方式1的辅助图像显示方法。此外，实施方式1的辅助图像显示装置10的动作相当于实施方式1的辅助图像显示程序的处理。
参照图2对实施方式1的辅助图像显示装置10的整体处理进行说明。
在导航装置31使显示装置32显示POI信息时，执行图2所示的处理。导航装置31在显示POI信息时，向辅助图像显示装置10发送POI信息。
这里，设POI信息的对象物51为药店进行说明。
在步骤S1的图像生成处理中，如图3和图4所示，图像生成部21生成辅助图像41并将其写入内存121中，该辅助图像41指示相对于POI信息的对象物51的基准位置61。
基准位置61是在通过辅助图像指示对象物时成为基准的位置。在实施方式1中，基准位置61是对象物51上的点。基准位置61也可以是对象物51的附近的对象物51的外部的点。辅助图像41是指示对象物51并用于说明该对象物的图像，例如，指示对象物51的假想标志牌这样的图像相当于辅助图像41。
在步骤S2的复杂度判定处理中，复杂度判定部22根据作为步骤S21中生成的辅助图像41的背景的区域的复杂度是否高于阈值，判定在显示装置32中显示了辅助图像41的情况下是否容易视觉辨认辅助图像41。
在步骤S3的显示控制处理中，显示控制部23从内存121读出步骤S1中生成的辅助图像41。然后，显示控制部23使所读出的辅助图像41重叠在风景42上并使显示装置32进行显示。
此时，显示控制部23在步骤S2中判定为复杂度不高于阈值、即容易视觉辨认辅助图像41的情况下，使所读出的辅助图像41直接重叠在风景42上并使显示装置32进行显示。即，显示控制部23在作为辅助图像41的背景的区域的风景42的复杂度不高于阈值的情况下，使所读出的辅助图像41直接重叠在风景42上并使显示装置32进行显示。
另一方面，显示控制部23在步骤S2中判定为复杂度高于阈值、即不容易视觉辨认辅助图像41的情况下，使所读出的辅助图像41的位置变化后，使其重叠在移动体100的周围的风景42上并使显示装置32进行显示。即，在作为辅助图像41的背景的区域的风景42的复杂度高于阈值的情况下，使所读出的辅助图像41的位置变化后，使其重叠在风景42上并使显示装置32进行显示。
另外，显示控制部23还可以使所读出的辅助图像41的显示方式变化后进行显示。
即，如图3所示，在作为辅助图像41的背景的区域中存在树木53的情况下，如图4所示，当显示控制部23使所读出的辅助图像41直接重叠在风景42上并使显示装置32进行显示时，辅助图像41和树木53重叠。其结果，不容易视觉辨认辅助图像41。
因此，如图5所示，显示控制部23使辅助图像41指示的位置向对象物51的右侧偏移后使显示装置32进行显示。由此，作为辅助图像41的背景的区域的风景不复杂，因此，容易视觉辨认辅助图像41。
参照图6对实施方式1的步骤S1的图像生成处理进行说明。
在步骤S11中，图像生成部21经由通信接口13取得从导航装置31发送的POI信息。图像生成部21将所取得的POI信息写入内存121中。
POI信息是表示对象物51的位置、形状的信息。在实施方式1中，关于表示对象物51的形状的信息，设为表示从上空观察对象物51的情况下的平面形状，设对象物51的平面形状为矩形。而且，设POI信息是表示从上空观察对象物51的情况下的左上、右上、左下、右下这4个点的纬度和经度的信息。这里，对象物51是药店，因此，POI信息是表示与位于移动体100周边的药店有关的4个点的纬度和经度的信息。
在步骤S12中，图像生成部21生成辅助图像41，该辅助图像41指示步骤S11中取得的POI信息所表示的对象物51。
具体而言，图像生成部21从内存121读出步骤S11中取得的POI信息。图像生成部21根据POI信息确定对象物51的基准位置61。然后，图像生成部21指示所确定的对象物51的基准位置61，生成在基准方向上延伸的辅助图像41。在实施方式1中，基准方向是移动体100行驶的道路52相对于基准位置61所在的方向。图像生成部21将计算出的基准位置61和所生成的辅助图像41写入内存121中。
作为确定基准位置61的方法的具体例，图像生成部21根据POI信息所表示的4个点的纬度和经度，在4个点中确定对象物51的最接近道路52的点。在最接近道路52的点存在2个点的情况下，图像生成部21选择任意1点。图像生成部21计算从所确定的点向位于对象物51的对角的点偏移一定距离后的位置。图像生成部21计算使计算出的位置向高度方向、即从地表面起的垂直方向偏移基准高度后的位置，将计算出的位置作为基准位置61。
在图3和图4中，辅助图像41是呈箭头形状的图像。而且，辅助图像41是箭头的前端的位置与基准位置61重叠且向道路52延伸的图像。此外，辅助图像41是示出对象物51的名称、种类等的图像。辅助图像41不限于箭头形状，也可以是气泡这样的其他形状。
参照图7对实施方式1的步骤S2的复杂度判定处理进行说明。
在步骤S21中，复杂度判定部22经由通信接口13取得由摄像装置34拍摄的移动体100的前方的影像。复杂度判定部22将所取得的影像写入内存121中。
在步骤S22中，如图8所示，复杂度判定部22针对前方影像在对象物51周围设定显示对象区域71。显示对象区域71表示能够配置辅助图像41的区域。
具体而言，复杂度判定部22设定从对象物51的外周在高度方向上分开高度距离72、在水平方向上分开水平距离73的四边形的区域作为显示对象区域71。高度距离72和水平距离73预先确定。
在步骤S23中，如图9所示，复杂度判定部22将显示对象区域71分割成多个矩形区域。各矩形区域为相同的大小，为预定的大小。然后，复杂度判定部22针对各矩形区域的图像计算二维空间频率。使用DCT(Discrete Cosine Transform)这样的现有方法实现二维空间频率的计算。
当利用阴影的密度表示各矩形区域的二维空间频率的高低时，如图10所示。在图10中示出阴影的密度越高，则二维空间频率越高。矩形区域的图像越复杂，则二维空间频率越高。例如，在微细的区块(tile)图案的图像的情况下，二维空间频率较高，在不存在图案的图像的情况下，二维空间频率较低。
在步骤S24中，复杂度判定部22设与作为辅助图像41的背景的区域有关的空间频率为复杂度，判定复杂度是否高于阈值。
具体而言，复杂度判定部22计算对步骤S1中生成的辅助图像41进行显示的区域所包含的全部矩形区域的空间频率的平均值。然后，复杂度判定部22设所计算出的平均值为作为辅助图像41的背景的区域的复杂度，判定复杂度是否高于预定的阈值。
复杂度判定部22在复杂度高于阈值的情况下，使处理进入步骤S25，在复杂度不高于阈值的情况下，使处理进入步骤S26。
在步骤S25中，复杂度判定部22在显示对象区域71内，设显示辅助图像41所需要的大小的矩形区域的组合为对象区域。然后，复杂度判定部22针对各对象区域计算二维空间频率的平均值。在图10中，为了显示辅助图像41，需要在横向上连续的3个矩形区域。因此，复杂度判定部22设在横向上连续的3个矩形区域的组合为对象区域，计算各对象区域的二维空间频率的平均值。
复杂度判定部22设所计算出的平均值为对象区域的复杂度，确定复杂度最低的对象区域作为移动目的地区域。在图10中，确定区域74作为移动目的地区域。然后，复杂度判定部22确定移动目的地区域内包含的对象物51上的点或对象物51附近的点作为新的基准位置61。在图10中，确定点62作为新的基准位置61。
在步骤S26中，复杂度判定部22直接将作为辅助图像41的背景的区域确定为移动目的地区域。此外，直接将步骤S12中计算出的基准位置61确定为新的基准位置61。即，不进行辅助图像41的移动。
参照图11对实施方式1的步骤S3的显示控制处理进行说明。
在步骤S31中，显示控制部23从内存121读出并取得步骤S12中生成的辅助图像41、步骤S25或步骤S26中确定出的移动目的地区域和新的基准位置61。
在步骤S32中，显示控制部23判定步骤S31中取得的移动目的地区域与作为辅助图像41的背景的区域是否相同。即，显示控制部23判定辅助图像41有无移动。
显示控制部23在移动目的地区域与作为辅助图像41的背景的区域相同的情况下，使处理进入步骤S33，在不同的情况下，使处理进入步骤S34。
在步骤S33中，如图4所示，显示控制部23使步骤S31中取得的辅助图像41直接重叠在风景上并使显示装置32进行显示。
在步骤S34中，显示控制部23以指示步骤S31中取得的基准位置61并使移动目的地区域成为背景的方式使步骤S31中取得的辅助图像41移动后，使其重叠在风景上而使显示装置32进行显示。即，如图5所示，显示控制部23使辅助图像41移动到移动目的地区域后，使其重叠在风景上而使显示装置32进行显示。
***实施方式1的效果***
如上所述，实施方式1的辅助图像显示装置10在作为辅助图像41的背景的区域的风景的复杂度较高而使辅助图像41的视觉辨认性降低的情况下，使辅助图像41移动到风景的复杂度低的区域后，使其重叠在风景上进行显示。由此，能够以驾驶员容易视觉辨认的状态显示辅助图像。
***其他结构***
<变形例1>
在实施方式1中，辅助图像显示装置10的各部的功能通过软件实现。但是，作为变形例1，辅助图像显示装置10的各部的功能可以通过硬件实现。关于该变形例1，对与实施方式1的不同之处进行说明。
参照图12对变形例1的辅助图像显示装置10的结构进行说明。
在通过硬件实现各部的功能的情况下，辅助图像显示装置10代替处理器11和存储装置12而具有处理电路15。处理电路15是实现辅助图像显示装置10的各部的功能和存储装置12的功能的专用电子电路。
处理电路15假设为单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)。
可以利用一个处理电路15实现各部的功能，也可以使各部的功能分散于多个处理电路15而实现各部的功能。
<变形例2>
作为变形例2，也可以是一部分功能通过硬件实现，另一部分功能通过软件实现。即，也可以是辅助图像显示装置10的各部中的一部分功能通过硬件实现，另一部分功能通过软件实现。
将处理器11、存储装置12、处理电路15统称为“处理线路(ProcessingCircuitry)”。即，各部的功能通过处理线路实现。
实施方式2
在实施方式2中，与实施方式1的不同之处在于，在移动体100与对象物51之间存在构造物54的情况下，使辅助图像41移动以指示能够从视点位置视觉辨认的位置。在实施方式2中，对该不同之处进行说明。
***动作的说明***
参照图13～图16对实施方式2的辅助图像显示装置10的动作进行说明。
实施方式2的辅助图像显示装置10的动作相当于实施方式2的辅助图像显示方法。此外，实施方式2的辅助图像显示装置10的动作相当于实施方式2的辅助图像显示程序的处理。
参照图13对实施方式2的步骤S2的复杂度判定处理进行说明。
步骤S21～步骤S23的处理以及步骤S26的处理与实施方式1相同。
在步骤S24中，与实施方式1同样，复杂度判定部22设与作为辅助图像41的背景的区域有关的空间频率为复杂度，判定复杂度是否高于阈值。
此外，如图14和图15所示，复杂度判定部22确定由于视点位置63与对象物51之间存在的构造物54而无法从视点位置63看到的不可视区域55。
具体而言，如图14所示，复杂度判定部22计算经过视点位置63和构造物54的两端的点的2条直线D。这里，与对象物51同样，构造物54为矩形，设为在地图信息中示出从上空观察构造物54的情况下的左上、右上、左下、右下这4个点的纬度和经度。因此，复杂度判定部22设从视点位置63相对于移动体100的行进方向的右方向为基准轴，计算分别连接视点位置63和构造物54的4个点的直线中的、与基准轴所成的角θ最小的直线和最大的直线，由此能够计算2条直线D。复杂度判定部22计算2条直线D2之间的构造物54的背侧的区域作为不可视区域55。
然后，判定步骤S12中计算出的基准位置61是否包含在不可视区域55中。
复杂度判定部22在复杂度高于阈值的情况下、以及步骤S12中计算出的基准位置61包含在不可视区域55中的情况下中的至少任意一种情况下，使处理进入步骤S25，在上述情况以外的情况下，使处理进入步骤S26。
在步骤S25中，复杂度判定部22在显示对象区域71内，设显示辅助图像41所需要的大小的矩形区域的组合中的、包含未包含在不可视区域55中的对象物51上的区域的矩形区域的组合为对象区域。然后，与实施方式1同样，复杂度判定部22计算各对象区域的二维空间频率的平均值，设所计算出的平均值为对象区域的复杂度，确定复杂度最低的对象区域作为移动目的地区域。此外，复杂度判定部22确定未包含在不可视区域55中且包含在移动目的地区域内的范围中的、对象物51上的点或对象物51附近的点作为新的基准位置61。
其结果，在步骤S34中，如图16所示，显示控制部23使辅助图像41移动到风景的复杂度低、且未被构造物54遮挡的移动目的地区域后，使辅助图像41重叠在风景上并使显示装置32进行显示。
***实施方式2的效果***
如上所述，实施方式2的辅助图像显示装置10使辅助图像41移动到风景的复杂度低、且未被构造物54遮挡的区域后，使其重叠在风景上进行显示。由此，针对由于构造物54而使驾驶员无法看到一部分的对象物51，也能够以驾驶员容易理解的状态显示辅助图像41。
标号说明
10：辅助图像显示装置；11：处理器；12：存储装置；121：内存；122：存储器；13：通信接口；14：显示器接口；15：处理电路；21：图像生成部；22：复杂度判定部；23：显示控制部；31：导航装置；32：显示装置；33：测位装置；34：摄像装置；41：辅助图像；51：对象物；52：道路；53：树木；54：构造物；55：不可视区域；61：基准位置；62：点；63：视点位置；71：显示对象区域；72：高度距离；73：水平距离；74：区域；100：移动体。

Claims (7)

1.一种辅助图像显示装置，其以将辅助图像重叠于风景的方式显示该辅助图像，该辅助图像指示从移动体的视点位置观察到的所述风景中包含的对象物，其中，所述辅助图像显示装置具有：
图像生成部，其生成指示所述对象物的基准位置的所述辅助图像；以及
显示控制部，其根据所述对象物周围的所述风景的复杂度使由所述图像生成部生成的辅助图像的位置变化后，显示所述辅助图像。
2.根据权利要求1所述的辅助图像显示装置，其中，
所述辅助图像显示装置还具有复杂度判定部，该复杂度判定部判定作为由所述图像生成部生成的辅助图像的背景的区域的风景的复杂度是否高于阈值，
所述显示控制部在作为所述背景的区域的风景的复杂度高于所述阈值的情况下，使所述辅助图像的位置变化到所述基准位置周围的区域中的复杂度较低的区域后，使所述辅助图像进行显示。
3.根据权利要求2所述的辅助图像显示装置，其中，
所述复杂度判定部计算作为所述背景的区域的风景的二维空间频率，从而确定所述复杂度。
4.根据权利要求3所述的辅助图像显示装置，其中，
所述复杂度判定部计算与将所述基准位置的周围分割成多个部分而得到的各区域有关的二维空间频率，从而确定与所述各区域有关的所述复杂度，
所述显示控制部在作为所述背景的区域的复杂度高于所述阈值的情况下，使所述辅助图像的位置变化到由所述复杂度判定部确定的复杂度低的区域后，显示所述辅助图像。
5.根据权利要求1～4中的任意一项所述的辅助图像显示装置，其中，
所述显示控制部以使得由所述辅助图像指示的位置成为能够从移动体视觉辨认的位置的方式使所述辅助图像的位置变化后，使所述辅助图像进行显示。
6.一种辅助图像显示方法，其以将辅助图像重叠于风景的方式显示该辅助图像，该辅助图像指示从移动体的视点位置观察到的所述风景中包含的对象物，其中，
计算机生成指示所述对象物的基准位置的所述辅助图像，
计算机根据所述对象物周围的所述风景的复杂度使所述辅助图像的位置变化后，显示所述辅助图像。
7.一种辅助图像显示程序，其以将辅助图像重叠于风景的方式显示该辅助图像，该辅助图像指示从移动体的视点位置观察到的所述风景中包含的对象物，其中，所述辅助图像显示程序使计算机执行以下处理：
图像生成处理，生成指示所述对象物的基准位置的所述辅助图像；以及
显示控制处理，根据所述对象物的周围的所述风景的复杂度使通过所述图像生成处理生成的辅助图像的位置变化后，显示所述辅助图像。
CN201680086752.1A 2016-06-20 2016-06-20 辅助图像显示装置、辅助图像显示方法和辅助图像显示程序 Pending CN109313041A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068246 WO2017221293A1 (ja) 2016-06-20 2016-06-20 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Publications (1)

Publication Number Publication Date
CN109313041A true CN109313041A (zh) 2019-02-05

Family

ID=60107354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086752.1A Pending CN109313041A (zh) 2016-06-20 2016-06-20 辅助图像显示装置、辅助图像显示方法和辅助图像显示程序

Country Status (5)

Country Link
US (1) US20210241538A1 (zh)
JP (1) JP6214798B1 (zh)
CN (1) CN109313041A (zh)
DE (1) DE112016006856T5 (zh)
WO (1) WO2017221293A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095213A (ja) 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311732A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 車両用表示装置
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
JP2013174667A (ja) * 2012-02-23 2013-09-05 Nippon Seiki Co Ltd 車両用表示装置
US20130315446A1 (en) * 2009-08-26 2013-11-28 Jacob BEN TZVI Projecting location based elements over a heads up display
JP2015194473A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 情報表示装置、情報表示方法及びプログラム
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02227340A (ja) * 1989-03-01 1990-09-10 Hitachi Ltd 端末装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311732A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 車両用表示装置
US20130315446A1 (en) * 2009-08-26 2013-11-28 Jacob BEN TZVI Projecting location based elements over a heads up display
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
JP2013174667A (ja) * 2012-02-23 2013-09-05 Nippon Seiki Co Ltd 車両用表示装置
JP2015194473A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 情報表示装置、情報表示方法及びプログラム
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序

Also Published As

Publication number Publication date
US20210241538A1 (en) 2021-08-05
WO2017221293A1 (ja) 2017-12-28
JP6214798B1 (ja) 2017-10-18
JPWO2017221293A1 (ja) 2018-06-21
DE112016006856T5 (de) 2019-02-07

Similar Documents

Publication Publication Date Title
EP3524936A1 (en) Method and apparatus providing information for driving vehicle
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
KR101319471B1 (ko) 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
JP6239186B2 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
JP2015000629A (ja) 車載表示装置およびプログラム
US10885787B2 (en) Method and apparatus for recognizing object
CN101122464A (zh) 一种gps导航系统中道路显示方法、装置及设备
JP6087185B2 (ja) ３次元地図表示システム
JP2015122547A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
JP2019121876A (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
CN111930877B (zh) 地图路牌的生成方法及电子设备
JP2016078498A (ja) 表示制御装置、表示システム
CN114077306A (zh) 实现内容可视化的装置和方法
CN109313041A (zh) 辅助图像显示装置、辅助图像显示方法和辅助图像显示程序
US9846819B2 (en) Map image display device, navigation device, and map image display method
EP4102464A1 (en) Method and apparatus with calibration
JP6342089B2 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP7378893B2 (ja) 地図生成装置、地図生成方法及び地図生成プログラム
JP6037985B2 (ja) 表示画像生成装置、表示画像生成方法
JP7405643B2 (ja) 標識識別システム
JP2002310677A (ja) 地図表示装置
JP2005241332A (ja) 立体地図描画装置及び方法
CN115422473A (zh) 一种地图渲染方法、装置、设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190205