CN107791951A - 显示控制装置 - Google Patents

显示控制装置 Download PDF

Info

Publication number
CN107791951A
CN107791951A CN201710756233.8A CN201710756233A CN107791951A CN 107791951 A CN107791951 A CN 107791951A CN 201710756233 A CN201710756233 A CN 201710756233A CN 107791951 A CN107791951 A CN 107791951A
Authority
CN
China
Prior art keywords
captured image
display
image data
control unit
moving direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710756233.8A
Other languages
English (en)
Other versions
CN107791951B (zh
Inventor
伊藤广太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN107791951A publication Critical patent/CN107791951A/zh
Application granted granted Critical
Publication of CN107791951B publication Critical patent/CN107791951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种显示控制装置，在车辆周围的显示图像中能够提高对于移动的物体的显示信息的跟踪性。在本发明的实施方式的显示控制装置中，图像获取部获取从拍摄车辆的周围的拍摄部输出的时序的多个拍摄图像数据。物体检测部对所述多个拍摄图像数据分别检测物体。移动计算部计算所述物体的移动方向和移动速度。显示信息决定部基于所述移动方向和所述移动速度，决定与第二拍摄图像数据的显示区域中的所述物体相对应的显示信息的位置，所述第二拍摄图像数据在所述多个拍摄图像数据之后从所述拍摄部输出。显示控制部在显示部上显示所述第二拍摄图像数据的同时，在其显示区域上，基于决定的所述位置而重叠显示所述显示信息。

Description

显示控制装置
技术领域
本发明的实施方式涉及显示控制装置。
背景技术
以往，有在车辆的显示装置上显示车辆周围的拍摄图像的技术。驾驶者通过观看该显示图像，可以了解车辆周围的状况(例如，有无物体(其他车辆等)等)。此外，还有对这样的显示图像重叠显示与映射的物体所对应的显示信息(例如，包围物体的框)的技术。
现有技术文献
专利文献
专利文献1：日本专利第5218910号公报
发明内容
然而，在上述技术中，相比获取拍摄图像的时间间隔(例如，33ms)，直至从拍摄图像检测出物体而决定显示信息的位置的处理时间更长(例如，所述时间间隔的5倍～10倍左右)。因此，当本车和物体中的至少一方移动而在显示图像上物体移动时，存在着显示信息的移动比物体的移动延迟的问题。
因此，本发明的课题之一在于，在车辆周围的显示图像中能够提高对移动的物体的显示信息的跟踪性。
实施方式的显示控制装置具备：图像获取部，获取从拍摄车辆的周围的拍摄部输出的时序的多个拍摄图像数据；物体检测部，对所述多个拍摄图像数据分别检测物体；移动计算部，计算所述物体的移动方向和移动速度；显示信息决定部，基于所述移动方向和所述移动速度，决定与第二拍摄图像数据的显示区域中显示的所述物体相对应的显示信息的位置，所述第二拍摄图像数据在所述多个拍摄图像数据之后从所述拍摄部输出；以及显示控制部，在显示部上显示所述第二拍摄图像数据的同时，在其显示区域上，基于决定的所述位置而重叠显示所述显示信息。根据此构成，例如，通过利用根据多个拍摄图像数据计算出的移动的物体的移动方向和移动速度来决定与物体相应的显示信息的位置，从而在车辆周围的显示图像中能够提高对于移动的物体的显示信息的跟踪性。
此外，所述移动计算部也可以基于所述多个拍摄图像数据，根据显示区域中的所述物体的移动，计算该显示区域内的所述物体的移动方向和移动速度。根据此构成，例如，通过根据显示区域中的物体的移动来计算物体的移动方向和移动速度，能够简单地完成处理。
此外，所述移动计算部也可以基于所述多个拍摄图像数据，根据用于表示所述车辆与所述物体的相对位置关系的三维坐标空间中的所述物体的移动，计算所述物体的移动方向和移动速度。根据此构成，通过根据三维坐标空间中的物体的移动来计算物体的移动方向和移动速度，能够更高精度地计算出物体的移动方向和移动速度。
此外，所述显示信息决定部也可以基于所述移动方向、所述移动速度、以及由所述多个拍摄图像数据决定所述显示信息的位置所需的处理时间，决定所述显示信息的位置。根据此构成，例如，通过利用决定显示信息的位置所需的处理时间来决定显示信息的位置，能够配合处理时间来决定显示信息的位置。
此外，也可以所述显示信息是包围所述物体的框，所述显示信息决定部基于所述移动方向和所述移动速度，决定与所述第二拍摄图像数据的显示区域中的所述物体相对应的所述框的位置和大小，所述显示控制部在所述显示部上显示所述第二拍摄图像数据的同时，在其显示区域上，基于决定的所述位置和大小而重叠显示所述框。根据此构成，例如，使用包围物体的框作为显示信息的同时，基于物体的移动方向和移动速度来决定框的位置以及大小，由此能够以适当的位置及大小显示框。
附图说明
图1是表示实施方式的车辆的车厢内的一部分被透视的状态的一个例子的立体图。
图2是表示实施方式的车辆的一个例子的俯视图(鸟瞰图)。
图3是从车辆的后方看实施方式的车辆的仪表盘的一个例子的图。
图4是表示实施方式的车辆控制系统的构成的一个例子的框图。
图5是表示实施方式的ECU的一个例子的功能构成框图。
图6是实施方式中从时序的多个拍摄图像数据，基于物体的移动方向和移动速度来决定对应于物体的框的位置的处理原理的概要说明图。
图7是表示比较例(现有技术)中显示了移动的物体和对应于该物体的框的画面例的图。
图8是表示实施方式中显示了移动的物体和对应于该物体的框的画面例的图。
图9是表示实施方式中图像显示处理的一个例子的流程图。
图10是表示实施方式中框重叠显示处理的一个例子的流程图。
其中，附图标记说明如下：
1…车辆，100…车辆控制系统，141…图像获取部，142…图像校正部，143…物体检测部，144…移动计算部，145…处理时间计算部，146…框决定部，147…存储部。
具体实施方式
以下，公开本发明的实施方式的一个例子。以下所示的实施方式的构成以及通过该构成得到的作用、结果和效果是一个示例。本发明可通过以下实施方式中公开的构成以外来实现，而且还可以获得基于基本构成的各种效果和衍生的效果中至少一种。
本实施方式的车辆1(本车辆)，例如可以是将未图示的内燃机作为驱动源的汽车即内燃机汽车，也可以是将未图示的电动机作为驱动源的汽车即电动汽车或燃料电池汽车等，还可以是将该两种作为驱动源的混合动力车，还可以是具备其他驱动源的汽车。此外，车辆1可以搭载各种变速装置，可以搭载驱动内燃机或电动机所需的各种装置，例如可以搭载系统或部件等。此外，车辆1中与车轮3的驱动相关的装置的方式、数量、布局等可以有各种设定。
图1是表示实施方式的车辆1的车厢的一部分被透视的状态的一个例子的立体图。图2是表示实施方式的车辆1的一个例子的俯视图(鸟瞰图)。如图1所例示，车体2构成未图示的乘员乘车的车厢2a。车厢2a内，以面向作为乘员的驾驶者的座位2b的状态，设置有转向部4、加速操作部5、制动操作部6、变速操作部7等。
例如，转向部4是从仪表盘24突出的方向盘。例如，加速操作部5是位于驾驶者脚下的加速踏板。例如，制动操作部6是位于驾驶者脚下的制动踏板。例如，变速操作部7是从中央控制台突出的变速杆。需要说明的是，转向部4、加速操作部5、制动操作部6、变速操作部7等并不限于此。
此外，在车厢内2a内设置有作为显示输出部的显示装置8、作为声音输出部的声音输出装置9。例如，显示装置8是LCD(液晶显示器，Liquid Crystal Display)、OELD(有机发光二极管，Organic Electro-Luminescence Display)等。例如，声音输出装置9是扬声器。此外，例如，显示装置8被触摸面板等透明的操作输入部10覆盖。
乘员可对通过操作输入部10显示于显示装置8的显示画面中的图像进行视觉确认。此外，乘员通过用手指等在与显示于显示装置8的显示画面中的图像对应的位置对操作输入部10进行触摸、按压、移动来操作，可以执行操作输入。这样的显示装置8、声音输出装置9、操作输入部10等例如设置在位于仪表盘24的车宽方向即左右方向的中央部分的监控装置11中。
监控装置11可以具有开关、表盘、操纵杆、按键等未图示的操作输入部。此外，可以在与监控装置11不同的车厢2a内的其他位置上设置未图示的声音输出装置，可以从监控装置11的声音输出装置9和其他声音输出装置这双方输出声音。需要说明的是，监控装置11也用作例如导航系统和音频系统。此外，车厢2a内，设置有与显示装置8独立的显示装置12。
图3是从车辆1的后方看实施方式的车辆1的仪表盘24的一个例子的图。如图3所例示，例如，显示装置12设置于仪表盘24的仪表盘部25上，且在仪表盘部25的大致中央配置于速度显示部25a与转速显示部25b之间。显示装置12的画面大小小于显示装置8的画面8a的大小。在该显示装置12中，主要显示表示与车辆1的停车支援相关的信息的图像。显示装置12所显示的信息量可以少于显示装置8所显示的信息量。例如，显示装置12是LCD、OELD等。需要说明的是，在显示装置8中可以显示在显示装置12中显示的信息。
此外，如图1及图2所例示，例如，车辆1是四轮汽车，具有左右两个前轮3F和左右两个后轮3R。这样的四个车轮3均构成为可转向。
图4是表示实施方式的车辆控制系统100的构成的一个例子的框图。如图4所示，车辆1具备车辆控制系统100。车辆控制系统100包括显示控制装置。
如图4所示，车辆1具有使至少两个车轮3转向的转向系统13。转向系统13具有致动器13a和扭矩传感器13b。
转向系统13被ECU(电子控制单元，Electronic Control Unit)14等电控制，以使致动器13a动作。例如，转向系统13是电动助力转向系统、SBW(绕线转向，Steer By Wire)系统等。转向系统13通过致动器13a对转向部4附加转矩即辅助转矩来补偿转向力，或通过致动器13a使车轮3转向。此时，例如，致动器13a使两个车轮3转向。此外，例如，扭矩传感器13b检测驾驶者提供给转向部4的转矩。
此外，如图2所例示，在车体2中作为多个拍摄部15例如设置有四个拍摄部15a～15d。例如，拍摄部15是内置CCD(电荷耦合器件，Charge Coupled Device)或CIS(CMOS图像传感器，CMOS Image Sensor)等拍摄元件的数码相机。拍摄部15能够以规定的帧速率输出活动图像数据。拍摄部15可以分别具有广角镜头或鱼眼镜头，例如可在水平方向上拍摄140°～190°的范围。拍摄部15依次拍摄包括车辆1可移动的路面、车辆1可停车的区域的车体2周围的外部环境，并作为拍摄图像数据输出。
例如，拍摄部15a位于车体2的后侧的端部2e，设置于后备箱的门2h下方的壁部。例如，拍摄部15b位于车体2的右侧的端部2f，设置于右侧的后视镜2g。例如，拍摄部15c位于车体2的前侧即车辆前后方向的前方侧的端部2c，设置于前保险杠等。例如，拍摄部15d位于车体2的左侧即车宽方向的左侧的端部2d，设置于作为左侧的突出部的后视镜2g。
ECU14基于通过拍摄部15获取的拍摄图像数据等，执行运算处理和图像处理(详细内容后述)。
此外，如图4所例示，在车辆控制系统100中，除了ECU14、监控装置11、转向系统13等之外，还有制动系统18、转向角传感器19、加速传感器20、换挡传感器21、车轮速度传感器22等经由作为电通信线路的车内网络23电连接。
例如，车内网络23被构成为CAN(控制局域网络，Controller Area Network)。ECU14通过由车内网络23传送控制信号，能够控制转向系统13、制动系统18等。此外，ECU14通过车内网络23，可以接收扭矩传感器13b、制动传感器18b、转向角传感器19、加速传感器20、换挡传感器21、车轮速度传感器22等的检测结果和操作输入部10等的操作信号等。
例如，ECU14具有CPU14a(中央处理单元，Central Processing Unit)、ROM14b(只读存储器，Read Only Memory)、RAM14c(随机存取存储器，Random Access Memory)、显示控制部14d、声音控制部14e、SSD14f(固态硬盘(Solid State Drive)，闪速存储器)等。
CPU14a读取安装并存储于ROM14b等非易失性存储装置中的程序，可以根据该程序执行运算处理。RAM14c临时存储用于CPU14a的运算中的各种数据。此外，显示控制部14d在ECU14的运算处理中，主要执行利用由拍摄部15获取的拍摄图像数据的图像处理、由显示装置8显示的图像数据的合成等。此外，声音控制部14e在ECU14的运算处理中，主要执行由声音输出装置9输出的声音数据的处理。此外，SSD14f是可改写的非易失性存储部，即使在ECU14的电源被切断时，也可以存储数据。需要说明的是，CPU14a、ROM14b、RAM14c等集成在同一封装内。此外，ECU14可以是使用DSP(数字信号处理器，Digital Signal Processor)等其他逻辑运算处理器或逻辑电路等来代替CPU14a的构成。此外，也可以设置HDD(硬盘驱动器，Hard Disk Drive)、EEPROM(电可擦可编程只读存储器，Electrically ErasableProgrammable Read Only Memory)等其他的存储装置来代替SSD14f，SSD14f、HDD、EEPROM等也可以与ECU14分开设置。此外，例如，操作部14g由按键、开关等构成，当驾驶者等进行停车辅助等相关操作时，输出操作信号。
制动系统18是例如抑制制动器的锁定的ABS(防抱死制动系统，Anti-lock BrakeSystem)、拐弯时抑制车辆1的横向打滑的横向打滑防止装置(ESC：Electronic StabilityControl)、增强制动力(执行制动辅助)的电动制动系统、BBW(绕线制动，Brake By Wire)等。
制动系统18通过致动器18a对车轮3(车辆1)提供制动力。此外，制动系统18可以根据左右车轮3的旋转差等来检测制动器的锁定、车轮3的空转、横向打滑的征兆等，执行各种控制。例如，制动传感器18b是检测制动操作部6的可动部的位置的传感器。制动传感器18b可以检测作为制动操作部6的可动部的制动踏板的位置。制动传感器18b包括位移传感器。
例如，转向角传感器19是检测方向盘等转向部4的转向量的传感器。例如，利用霍尔元件等构成转向角传感器19。ECU14从转向角传感器19获取驾驶者对于转向部4的转向量、自动转向时各车轮3的转向量等，并执行各种控制。需要说明的是，转向角传感器19检测在转向部4中包含的旋转部分的旋转角度。转向角传感器19是角度传感器的一个例子。
例如，加速传感器20是检测加速操作部5的可动部的位置的传感器。加速传感器20可以检测作为可动部的加速踏板的位置。加速传感器20包括位移传感器。
例如，换挡传感器21是检测变速操作部7的可动部的位置的传感器。换挡传感器21可以检测作为变速操作部7的可动部的操作杆、臂、按钮等的位置。换挡传感器21可以包括位移传感器，也能够以开关形式构成。
车轮速度传感器22是检测车轮3的旋转量或每单位时间的转速的传感器。车轮速度传感器22将表示所检测的转速的车轮速度脉冲数作为传感器值输出。例如，利用霍尔元件等来构成车轮速度传感器22。ECU14基于由车轮速度传感器22获取的传感器值运算车辆1的移动量等，并执行各种控制。需要说明的是，车轮速度传感器22有时也设置于制动系统18。此时，ECU14通过制动系统18获取车轮速度传感器22的检测结果。
需要说明的是，上述各种传感器和制动器的构成、配置、电连接方式等是一个例子，可以进行各种设定(变更)。
本实施方式中，ECU14通过硬件和软件(控制程序)协作而实现作为显示控制装置的功能的至少一部分。
图5是表示实施方式的ECU14的一个例子的功能构成框图。如图5所示，ECU14作为图像获取部141、图像校正部142、物体检测部143、移动计算部144、处理时间计算部145、框决定部146以及存储部147发挥作用。存储部147存储ECU14的运算中使用的数据、ECU14的运算中计算出的数据。需要说明的是，以下，作为与显示图像中的物体对应的显示信息，举例说明包围物体的框。
图像获取部141以规定的时间间隔(例如，33ms)获取从拍摄车辆1周围的拍摄部15输出的时序的多个拍摄图像数据。图像校正部142为了提高可视性等，对由图像获取部141获取的拍摄图像数据进行亮度等的校正。
物体检测部143对图像获取部141获取的时序的多个拍摄图像数据，分别基于特征量匹配等技术而检测物体。
移动计算部144计算物体检测部143检测的物体的移动方向和移动速度。例如，移动计算部144可以基于上述的时序的多个拍摄图像数据，根据显示区域中的物体的移动，计算出该显示区域内的物体的移动方向和移动速度。以下，将由移动计算部144进行的上述处理称为“二维处理”。
另外，例如，移动计算部144基于时序的多个拍摄图像数据，形成用于表示车辆1与物体之间的相对位置关系的虚拟三维坐标空间。而且，移动计算部144也可以根据以该三维坐标空间中的车辆1作为基准的物体的相对移动，计算物体的移动方向和移动速度。作为详细的例子，由于拍摄图像数据是二维信息，所以通过将该拍摄图像数据中的路面信息用作定义水平面的条件，能够在三维坐标空间上表示车辆1与物体之间的相对位置关系，计算出物体的移动方向和移动速度。此外，例如，也可以通过立体图像处理来计算物体的三维点群等，从而根据三维坐标空间中的物体的移动，计算物体的移动方向和移动速度。在这里，立体图像处理是指，利用同一个被摄体映射的拍摄角度不同的两个以上的图像，基于三角测量原理决定该被摄体的三维坐标的图像处理技术。以下，将通过移动计算部144进行的此类处理称作“三维处理”。
处理时间计算部145计算根据时序的多个拍摄图像数据决定框的位置所需的处理时间。需要说明的是，也可以不计算该处理时间，而使用固定时间(例如，200ms等)。
框决定部146(显示信息决定部的一个例子)基于移动计算部144计算出的移动方向和移动速度，决定与第二拍摄图像数据的显示区域中的物体对应的框的位置、大小，上述第二拍摄图像数据在上述的时序的多个拍摄图像数据之后从拍摄部15输出。
此外，当处理时间计算部145计算上述处理时间时，框决定部146基于移动计算部144计算出的移动方向、移动速度、以及所述处理时间，决定框的位置、大小。
在这里，参照图6说明移动计算部144和框决定部146的处理原理的概要。图6是实施方式中从时序的多个拍摄图像数据，基于物体的移动方向和移动速度决定对应于物体的框的位置的处理原理的概要的说明图。在这里，对通过移动计算部144进行的“二维处理”和“三维处理”中的“二维处理”进行说明，但“三维处理”也相同。
例如，拍摄图像数据601和拍摄图像数据602是示意性地表示由图像获取部141获取的时序的多个拍摄图像数据。拍摄图像数据602是在拍摄图像数据601之后(紧随其后)获取的。移动计算部144基于拍摄图像数据601和拍摄图像数据602，计算其他车辆C1(物体的一个例子)的移动方向和移动速度。在这里，移动方向是指拍摄图像数据的显示区域上的物体的移动方向。此外，移动速度是指拍摄图像数据的显示区域上的物体的移动速度。即，可基于拍摄图像数据601和拍摄图像数据602的拍摄时刻之差，以及在它们之间的其他车辆C1的移动方向和移动速度、即拍摄图像数据602所示的矢量A1，计算出其他车辆C1的移动方向和移动速度。需要说明的是，拍摄图像数据602的符号C1P表示拍摄图像数据601中其他车辆C1的位置。
然后，框决定部146基于移动计算部144计算出的移动方向和移动速度，决定与第二拍摄图像数据(拍摄图像数据603)的显示区域所显示的物体相对应的框的位置，所述第二拍摄图像数据(拍摄图像数据603)是在上述的时序的多个拍摄图像数据(拍摄图像数据601、602)之后由拍摄部15输出的数据。例如，将拍摄图像数据601和拍摄图像数据603的拍摄时刻之差设为拍摄图像数据601和拍摄图像数据602的拍摄时刻之差的N倍(例如，N是5～10左右的数)。此时，在实际获取拍摄图像数据603之前，可以预测为拍摄图像数据603中的其他车辆C1的位置是从符号C1P所示的位置加上矢量A1的N倍矢量A2的位置。因此，可以将该位置作为与其他车辆C1对应的框的位置来决定。需要说明的是，框的大小可以考虑拍摄图像数据601、602中其他车辆C1的大小、从本车到其他车辆C1的距离变化、其他车辆C1的方向变化等之后再决定。
需要说明的是，移动计算部144和框决定部146的处理原理不限于此。例如，当其他车辆C1进行转弯移动时，首先，移动计算部144根据从图像获取部141获取的时序的3张以上的拍摄图像数据，计算其他车辆C1正在进行转弯移动。然后，框决定部146也可以作为其他车辆C1继续维持转弯移动，决定与上述第二拍摄图像数据的显示区域中显示的物体相对应的框的位置。
回到图4，显示控制部14d在显示装置8(显示部)上显示上述第二拍摄图像数据的同时，在该显示区域上，基于由框决定部146决定的位置、大小而重叠显示框。在现有技术中，虽然在通过拍摄图像而检测出物体后进行重叠框的处理，但物体与框会发生偏移，而该偏移量对应于上述的处理时间。针对此，在本实施方式中，检测出物体之后计算该物体的移动方向和移动速度，考虑该移动方向和移动速度后将框重叠于物体，因此可以抑制物体和框发生偏移。
下面，在参照图9、图10说明实施方式的处理之前，为了便于理解实施方式的处理，利用图7、图8说明比较例(现有技术)的画面例和实施方式的画面例。图7是表示比较例(现有技术)中显示了移动物体和对应于该物体的框的画面例的图。
图7中，显示装置8显示的画面701对应于图6中的拍摄图像数据601，画面702对应于图6中的拍摄图像数据603。在这里，比较例中是基于与画面701对应的图6的拍摄图像数据601决定框的位置，但在实际显示该框的画面702中，由于其他车辆C1在移动，所以框F1会显示在相对于其他车辆C1偏移的位置上。
另一方面，图8是表示实施方式中显示移动物体和对应于该物体的框的画面例的图。显示装置8显示的画面701对应于图6的拍摄图像数据601，画面801对应于图6的拍摄图像数据603。在这里，框决定部146基于与画面701对应的图6的拍摄图像数据601和在此之后的图6的拍摄图像数据602来决定框的位置。即，框决定部146利用其他车辆C1的移动方向和移动速度来决定框的位置，由此在实际显示该框的画面801中，框F2会显示在相对于其他车辆C1正确的位置上。
下面，参照图9、图10说明实施方式的处理。图9是表示实施方式中图像显示处理的一个例子的流程图。图10是表示实施方式中框重叠显示处理的一个例子的流程图。需要说明的是，图9的处理和图10的处理可并行执行，例如，与图9的一系列处理(处理一周)所需的时间相比，图10的一系列处理(处理一周)所需的时间是例如其5～10倍左右。
如图9所示，在图像显示处理中，首先，在步骤S11中图像获取部141从拍摄车辆1周围的拍摄部15获取拍摄图像数据。然后，在步骤S12中，图像校正部142对由图像获取部141获取的拍摄图像数据，为了提高可视性等进行亮度等的校正。然后，在步骤S13中，显示控制部14d在显示装置8上显示由图像校正部142校正后的图像数据。步骤S13之后，返回到步骤S11。
接着，如图10所示，在框重叠显示处理中，首先，在步骤S21，图像获取部141从拍摄部15获取时序的多个拍摄图像数据(例如，图6的拍摄图像数据601、602)。接着，在步骤S22中，物体检测部143对所述多个拍摄图像数据分别检测物体。
接着，在步骤S23，移动计算部144计算由物体检测部143检测出的物体的移动方向和移动速度。
接着，在步骤S24，处理时间计算部145计算从多个拍摄图像数据决定框的位置所需的处理时间。需要说明的是，可以不计算这样的处理时间，而在以下处理中使用固定时间(例如，200ms等)。
接着，在步骤S25，框决定部146基于移动计算部144计算出的移动方向、移动速度以及处理时间计算部145计算出的处理时间(或固定时间)，决定与第二拍摄图像数据的显示区域所显示的物体相对应的框的位置、大小，所述第二拍摄图像数据是在上述的时序的多个拍摄图像数据之后由拍摄部15输出的数据。
接着，在步骤S26，显示控制部14d在显示装置8显示的第二拍摄图像数据的显示区域上，基于由框决定部146决定的位置、大小，重叠显示框(图8的画面801)。步骤S26之后返回到步骤S21。
如此地，根据本实施方式的显示控制装置，通过利用由多个拍摄图像数据计算出的移动物体的移动方向和移动速度来决定对应物体的框的位置、大小，在车辆周围的显示图像中，能够提高对移动物体的框的跟踪性。即，通过预测在进行决定框的位置的处理期间物体移动的距离，可以将框对物体显示在正确的位置上。
特别是，当在显示画面上映射出多个物体时，若对物体的框的位置不准确，则驾驶者可能会错误地识别物体和框的对应，或者错误地识别到物体的距离。然而，根据本实施方式的显示控制装置，由于可以将框对物体显示在正确的位置上，可以避免这些错误的识别。
此外，当移动计算部144根据显示区域中的物体的移动来计算该显示区域内的物体的移动方向和移动速度时，会轻松地完成处理。
此外，当移动计算部144由三维坐标空间中物体的移动来计算物体的移动方向和移动速度时，能够更高精度地计算物体的移动方向和移动速度。
此外，处理时间计算部145计算决定框的位置所需的处理时间，只要框决定部146也利用该处理时间决定框的位置、大小，就可以对准该处理时间决定框的位置、大小。
虽然说明了本发明的实施方式，但这些实施方式仅作为例子提出，并不旨在限制本发明的范围。这种新实施方式可以通过其他各种方式实施，并在不脱离本发明精神的范围内，也可以进行各种省略、替换、以及变更。这种实施方式及其变形都包含在本发明的范围和精神，并包含在权利要求范围描述的发明以及其同等范围内。
例如，作为与显示图像中的物体对应的显示信息，举例说明了包围物体的框，但不限于此，也可以是例如与物体对应的代表点、指示物体的箭头等。当为上述代表点和箭头的情况下，可以只决定位置而不决定大小。

Claims (5)

1.一种显示控制装置，具备：
图像获取部，获取从拍摄车辆的周围的拍摄部输出的时序的多个拍摄图像数据；
物体检测部，对所述多个拍摄图像数据分别检测物体；
移动计算部，计算所述物体的移动方向和移动速度；
显示信息决定部，基于所述移动方向和所述移动速度，决定与第二拍摄图像数据的显示区域中显示的所述物体相对应的显示信息的位置，所述第二拍摄图像数据在所述多个拍摄图像数据之后从所述拍摄部输出；以及
显示控制部，在显示部上显示所述第二拍摄图像数据的同时，在其显示区域上，基于决定的所述位置而重叠显示所述显示信息。
2.根据权利要求1所述的显示控制装置，其中，
所述移动计算部基于所述多个拍摄图像数据，根据显示区域中的所述物体的移动，计算该显示区域内的所述物体的移动方向和移动速度。
3.根据权利要求1所述的显示控制装置，其中，
所述移动计算部基于所述多个拍摄图像数据，根据用于表示所述车辆与所述物体的相对位置关系的三维坐标空间中的所述物体的移动，计算所述物体的移动方向和移动速度。
4.根据权利要求1至权利要求3中任一项所述的显示控制装置，其中，
所述显示信息决定部基于所述移动方向、所述移动速度、以及由所述多个拍摄图像数据决定所述显示信息的位置所需的处理时间，决定所述显示信息的位置。
5.根据权利要求1至权利要求4中任一项所述的显示控制装置，其中，
所述显示信息是包围所述物体的框，
所述显示信息决定部基于所述移动方向和所述移动速度，决定与所述第二拍摄图像数据的显示区域中的所述物体相对应的所述框的位置和大小，
所述显示控制部在所述显示部上显示所述第二拍摄图像数据的同时，在其显示区域上，基于决定的所述位置和大小而重叠显示所述框。
CN201710756233.8A 2016-08-31 2017-08-29 显示控制装置 Active CN107791951B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-168692 2016-08-31
JP2016168692A JP2018036444A (ja) 2016-08-31 2016-08-31 表示制御装置

Publications (2)

Publication Number Publication Date
CN107791951A true CN107791951A (zh) 2018-03-13
CN107791951B CN107791951B (zh) 2023-01-17

Family

ID=59761766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710756233.8A Active CN107791951B (zh) 2016-08-31 2017-08-29 显示控制装置

Country Status (4)

Country Link
US (1) US10489950B2 (zh)
EP (1) EP3291545B1 (zh)
JP (1) JP2018036444A (zh)
CN (1) CN107791951B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109703556A (zh) * 2018-12-20 2019-05-03 斑马网络技术有限公司 驾驶辅助方法及设备
CN113508420A (zh) * 2019-03-11 2021-10-15 欧姆龙株式会社 物体追踪装置以及物体追踪方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
EP3886431A4 (en) 2018-11-22 2021-12-22 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, CAMERA SYSTEM AND IMAGE PROCESSING METHOD
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009281989A (ja) * 2008-05-26 2009-12-03 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010025828A (ja) * 2008-07-22 2010-02-04 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010171503A (ja) * 2009-01-20 2010-08-05 Clarion Co Ltd 障害物検出表示装置
JP2012108790A (ja) * 2010-11-18 2012-06-07 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム
US20130054377A1 (en) * 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
CN103136754A (zh) * 2012-10-09 2013-06-05 四川师范大学 一种基于特征块方向微分的图像模糊方向鉴别方法
US20130176329A1 (en) * 2010-09-15 2013-07-11 Toyota Jidosha Kabushiki Kaisha Surrounding image display system and surrounding image display method for vehicle
CN104015659A (zh) * 2013-02-28 2014-09-03 爱信精机株式会社 停车支援装置、停车支援方法
JP2015115760A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 映像処理装置、映像処理システムおよび映像処理方法
CN104749780A (zh) * 2013-12-27 2015-07-01 丰田自动车株式会社 车辆用信息显示装置和车辆用信息显示方法
WO2015174093A1 (ja) * 2014-05-16 2015-11-19 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
JP2016001109A (ja) * 2014-06-11 2016-01-07 日産自動車株式会社 車両用表示装置
JP2016088158A (ja) * 2014-10-30 2016-05-23 本田技研工業株式会社 周辺監視装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5218910B1 (zh) 1971-04-16 1977-05-25
US7728909B2 (en) * 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
JP5338273B2 (ja) 2008-11-24 2013-11-13 株式会社デンソー 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP5218910B2 (ja) 2009-01-09 2013-06-26 トヨタ自動車株式会社 ナイトビジョンシステム
JP5942130B2 (ja) * 2013-03-28 2016-06-29 株式会社ジャパンディスプレイ 表示装置
JP2015128206A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 編集装置、再生装置、編集方法、再生方法、およびプログラム
US10593185B2 (en) * 2015-05-15 2020-03-17 J. Brasch Co., Llc System and method for active monitoring of a person

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009281989A (ja) * 2008-05-26 2009-12-03 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010025828A (ja) * 2008-07-22 2010-02-04 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010171503A (ja) * 2009-01-20 2010-08-05 Clarion Co Ltd 障害物検出表示装置
US20130176329A1 (en) * 2010-09-15 2013-07-11 Toyota Jidosha Kabushiki Kaisha Surrounding image display system and surrounding image display method for vehicle
JP2012108790A (ja) * 2010-11-18 2012-06-07 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム
US20130054377A1 (en) * 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
CN103136754A (zh) * 2012-10-09 2013-06-05 四川师范大学 一种基于特征块方向微分的图像模糊方向鉴别方法
CN104015659A (zh) * 2013-02-28 2014-09-03 爱信精机株式会社 停车支援装置、停车支援方法
JP2015115760A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 映像処理装置、映像処理システムおよび映像処理方法
CN104749780A (zh) * 2013-12-27 2015-07-01 丰田自动车株式会社 车辆用信息显示装置和车辆用信息显示方法
WO2015174093A1 (ja) * 2014-05-16 2015-11-19 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
JP2016001109A (ja) * 2014-06-11 2016-01-07 日産自動車株式会社 車両用表示装置
JP2016088158A (ja) * 2014-10-30 2016-05-23 本田技研工業株式会社 周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
倪小鹏: "基于视觉的驾驶员疲劳状态检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109703556A (zh) * 2018-12-20 2019-05-03 斑马网络技术有限公司 驾驶辅助方法及设备
CN113508420A (zh) * 2019-03-11 2021-10-15 欧姆龙株式会社 物体追踪装置以及物体追踪方法

Also Published As

Publication number Publication date
US10489950B2 (en) 2019-11-26
EP3291545A1 (en) 2018-03-07
JP2018036444A (ja) 2018-03-08
US20180061105A1 (en) 2018-03-01
EP3291545B1 (en) 2021-06-09
CN107791951B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN107791951A (zh) 显示控制装置
CN107150720B (zh) 停车辅助装置
US9216765B2 (en) Parking assist apparatus, parking assist method and program thereof
JP6115104B2 (ja) 車両の制御装置、及び制御方法
CN107074274B (zh) 驾驶辅助装置
CN106794862B (zh) 车辆控制装置
US10150486B2 (en) Driving assistance device and driving assistance system
CN105416278A (zh) 停车辅助装置
JP2016060219A (ja) 車両位置検出装置
JP6760122B2 (ja) 周辺監視装置
JP7211047B2 (ja) 路面検出装置および路面検出プログラム
JP7039879B2 (ja) 表示制御装置
JP6554866B2 (ja) 画像表示制御装置
JP7167655B2 (ja) 道路劣化情報収集装置
JP2021154969A (ja) 障害物検知装置、障害物検知方法、および、プログラム
JP7172309B2 (ja) 周辺監視装置
JP2022023870A (ja) 表示制御装置
JP6711151B2 (ja) 運転支援装置
WO2023090186A1 (ja) 駐車支援装置
JP7380058B2 (ja) 駐車支援装置
JP2019022110A (ja) 表示制御装置
JP6601097B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

GR01 Patent grant
GR01 Patent grant