CN110626262B - 半导体器件和消息图像信号输出方法 - Google Patents

半导体器件和消息图像信号输出方法 Download PDF

Info

Publication number
CN110626262B
CN110626262B CN201910521301.1A CN201910521301A CN110626262B CN 110626262 B CN110626262 B CN 110626262B CN 201910521301 A CN201910521301 A CN 201910521301A CN 110626262 B CN110626262 B CN 110626262B
Authority
CN
China
Prior art keywords
image signal
image
signal
message
semiconductor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910521301.1A
Other languages
English (en)
Other versions
CN110626262A (zh
Inventor
川口裕史
安田浩司
高桥明秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN110626262A publication Critical patent/CN110626262A/zh
Application granted granted Critical
Publication of CN110626262B publication Critical patent/CN110626262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及半导体器件和消息图像信号输出方法。半导体器件具有:位置估计部分,基于移动体的移动信息计算在投影消息图像的规定时间的移动体的估计位置;参考图像信号输出部分,基于估计位置处的移动体与投影区域之间的相对位置关系,决定作为投影参考图像的区域的参考区域,并且输出作为参考图像的信号的参考图像信号;测试图像信号获取部分,获取测试图像信号,所述测试图像信号是通过对其上投影参考图像的参考区域进行成像而获得的图像的信号;以及图像调节部分,基于参考图像信号和测试图像信号调节消息图像信号。

Description

半导体器件和消息图像信号输出方法
相关申请的交叉引用
2018年6月21日提交的日本专利申请No.2018-118017的公开内容,包括说明书、附图和摘要,通过引用整体结合于此。
技术领域
本发明涉及半导体器件和消息图像信号输出方法。
背景技术
已经提出了基于关于车辆的信息等来投影包括车辆周围的预定信息的光的各种技术。
例如,专利文献1中描述的图像投影设备配备有获取关于车辆信息的获取部分以及根据获取的信息投影包括预定消息等的图像等的图像投影部分。
此外,专利文献2中描述的前灯控制设备配备有:信号获取装置,其获取来自车辆行驶状态检测设备和行驶路况检测设备的检测信号;以及投影图像控制装置,其基于获取的检测信号来决定投影图像并且控制投影部分以产生投影图像。
[相关技术文献]
[专利文献]
[专利文献1]国际未审查专利申请No.2016/114048
[专利文献2]日本未审查专利申请公开No.2008-143505
发明内容
然而,这些文献没有关于投影到路面等上的图像等对于应识别它们的驾驶员等是否是可识别的内容的描述和建议,这被视作是一个问题。
根据本说明书的描述和附图,其他目的和新颖特征将变得显而易见。
根据一个实施例,提供了一种半导体器件,其输出消息图像信号,所述消息图像信号是要投影到位于距移动体预定距离的投影区域上的消息图像的信号。此外,半导体器件具有位置估计部分,其基于所述移动体的移动信息计算在投影所述消息图像的规定时间处的移动体的估计位置。此外,半导体器件具有参考图像信号输出部分,其基于所述估计位置处的移动体与所述投影区域之间的相对位置关系,决定作为投影参考图像的区域的参考区域,并输出作为参考图像的信号的参考图像信号。此外,半导体器件具有测试图像信号获取部分,其获取测试图像信号,所述测试图像信号是通过对其上投影所述参考图像的参考区域进行捕获而获得的图像的信号。另外,半导体器件具有图像调节部分,其基于所述参考图像信号和所述测试图像信号调节所述消息图像信号。
根据另一实施例,提供了一种用于输出消息图像信号的消息图像信号输出方法,所述消息图像信号是要投影到位于距移动体预定距离的投影区域上的消息图像的信号。此外,所述消息图像信号输出方法包括基于所述移动体的移动信息计算在投影所述消息图像的规定时间处的所述移动体的估计位置。此外,所述消息图像信号输出方法包括以下步骤:基于在估计位置处的移动体与所述投影区域之间的相对位置关系,决定作为投影参考图像的区域的参考区域,并且输出作为所述参考图像的信号的参考图像信号。此外,所述消息图像信号输出方法包括以下步骤:获取测试图像信号,所述测试图像信号是通过对其上投影所述参考图像的参考区域进行捕获而获得的图像的信号。另外,所述消息图像信号输出方法包括基于所述参考图像信号和所述测试图像信号调节所述消息图像信号的步骤。
根据一个实施例,可以提供一种半导体器件等,其抑制由于受到投影表面影响而导致的图像劣化。
附图说明
图1是根据实施例1的消息图像投影系统的示意图;
图2是根据实施例1的消息图像投影系统的硬件配置图;
图3是根据实施例1的消息图像投影系统的功能框图;
图4是用于描述由消息图像投影系统进行的自身车辆位置估计的图;
图5是用于描述由消息图像投影系统进行的参考图像投影的图;
图6是示出由相机捕获的测试图像的示例的图;
图7是用于描述参考图像信号和测试图像信号之间的亮度值的比较的图;
图8是用于描述调节消息图像信号的亮度值的原理的图;
图9是消息图像投影系统投影消息图像的状态的图;
图10是根据实施例1的消息图像投影系统的流程图;
图11是用于描述根据实施例1的变形例1的用于调节消息图像的方法的图;
图12是用于描述根据实施例1的变形例2的用于调节消息图像的方法的图;
图13是根据实施例2的消息图像投影系统的硬件配置图;
图14是根据实施例2的消息图像投影系统的功能框图;
图15是示出根据实施例2的消息图像发送器侧的处理的流程图;
图16是示出根据实施例2的消息图像接收器侧的处理的流程图;
图17是用于描述由消息图像投影系统进行的自身车辆位置估计和参考图像投影的图;
图18是用于描述由根据实施例2的消息图像投影系统进行的消息图像投影的图;
图19是根据实施例3的消息图像投影系统的硬件配置图;
图20是根据实施例3的消息图像投影系统的功能框图;
图21是用于描述由消息图像投影系统进行的参考图像投影的图;
图22是用于描述以网格形式处理参考图像信号的状态的图;
图23是示出由消息图像投影系统计算出的最佳路线的示例的图;
图24是根据实施例3的消息图像投影系统的流程图;以及
图25是用于描述最佳路线决定电路的处理的示例的图。
具体实施方式
为了清楚地说明,适当地省略和简化了以下描述和附图。此外,在附图中描述的作为执行各种处理的功能块的各个元件可以通过CPU(中央处理单元)、存储器或其他电路在硬件方面配置,并且通过加载在存储器中的程序等在软件方面来实现。因此,本领域技术人员将理解,这些功能块可以仅通过硬件、仅通过软件或其组合以各种形式来实现。它们不限于任何一种。因此,在以下描述中,可以通过硬件或软件或其两者来实现如电路的示例配置。被示出为实现特定功能的电路的配置也可以表示为实现类似功能的软件的一部分。例如,被示出为控制电路的配置可以被描述为控制单元。另外,在各个附图中,相同的元件分别由相同的附图标记表示,并且根据需要将省略重复描述。
此外,使用各种类型的非暂时性计算机可读介质来存储上述程序,并且可以将程序提供给计算机。非暂时性计算机可读介质包括各种类型的基本记录介质。非暂时性计算机可读介质的示例包括磁记录介质(例如,软盘、磁带、硬盘驱动器)、光磁记录介质(例如,光磁盘)、CD-ROM(只读存储器)、CD-R、CD-R/W和半导体存储器(例如,掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器))。此外,程序可以通过各种类型的暂时性计算机可读介质提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质能够通过诸如电线、光纤等的有线通信路径或无线通信路径向计算机提供程序。
<实施例1>
将参考图1描述实施例1的配置的概述。图1是根据实施例1的消息图像投影系统的示意图。图1是车辆1的顶视图。如图1所示,消息图像投影系统10安装在车辆1中。消息图像投影系统10是用于将消息图像沿着车辆1的前进方向投影到路面上等的系统。消息图像是用于将预定消息发送到车辆1的驾驶员和车辆1周围的人的图像。此外,消息图像投影系统10具有用于抑制要投影的消息图像在其上要投影消息图像的路面的影响下而改变的功能。也就是说,消息图像投影系统10投影预先设置的参考图像,捕获投影的参考图像,并利用通过捕获产生的图像信号来调节消息图像信号的亮度。作为其主要配置,消息图像投影系统10具有半导体器件100、外部存储器950、ECU(电子控制单元)器件960、相机970、参考图像投影器件980和消息图像投影器件990。
半导体器件100、外部存储器950和ECU器件960分别安装在车辆1的预定位置处。稍后将描述这些细节。相机970是用于在车辆1的前进方向上捕获图像的器件。相机970以能够拍摄车辆1的行进方向的方式固定。参考图像投影器件980是用于在车辆1的前进方向上投影预设参考图像的器件。参考图像投影器件980固定到车辆1的前表面。消息图像投影器件990是用于在车辆1的前进方向上投影预设消息图像的器件。消息图像投影器件990固定到车辆1的前表面。
顺便提及,参考图像是包括用于调节消息图像信号的要参考的信号的图像,消息图像信号是消息图像的信号。参考图像是例如投影到预定区域的白光。消息图像投影系统10投影这样的参考图像并通过相机970对投影区域进行成像。
接下来,将参考图2描述消息图像投影系统10中的各个硬件的功能和各个硬件之间的耦合关系。图2是根据实施例1的消息图像投影系统的硬件配置图。
半导体器件100具有耦合到消息图像投影系统10的各个配置并适当地控制它们的功能。作为其内部配置,半导体器件100具有控制电路110、内部存储器120、图像处理电路130、图像信号输入IF 140、总线信号IF 150和图像信号输出IF 160。它们通过总线170彼此耦合。
控制电路110是包括CPU并执行预定程序的操作器件,并且将各种指令发送到包括在半导体器件100中的各个配置。
内部存储器120是在其中存储有预定数据的存储器单元。内部存储器120由诸如SSD(固态驱动器)或闪存存储器的非易失性存储器、或诸如DRAM(动态随机存取存储器)或SRAM(静态随机存取存储器)的易失性存储器或它们的组合构成。
图像处理电路130具有对通过总线170接收的图像的信号执行预设处理并输出经过处理的信号的功能。稍后将描述图像处理电路130的功能的细节。
图像信号输入IF 140是从半导体器件100的外部接收图像信号的接口。图像信号输入IF 140耦合到相机970。图像信号输入IF 140接收由相机970生成的图像信号,并通过总线170将接收的图像信号提供给图像处理电路130。
总线信号IF 150是用于允许半导体器件100通过总线170向半导体器件100外部的器件发送和从半导体器件100外部的器件接收各种信号的接口。更具体地,总线信号IF 150从外部存储器950接收预定的消息图像信号,并通过总线170将接收的图像信号提供给图像处理电路130。此外,总线信号IF 150从ECU器件接收关于车辆1的操作的数据,并且通过总线170将接收的数据发送到内部存储器120或图像处理电路130等。此外,总线信号IF 150从控制电路110和图像处理电路130接收预定信号,并将接收的信号提供给外部存储器950或ECU器件960。
图像信号输出IF 160是用于将图像信号提供给半导体器件100外部的器件的接口。图像信号输出IF 160分别耦合到参考图像投影器件980和消息图像投影器件990。图像信号输出IF 160从图像处理电路130接收图像信号,并且将接收的图像信号适当地提供给参考图像投影器件980或消息图像投影器件990。
外部存储器950是存储器单元,其耦合到半导体器件100的总线信号IF 150并且执行向半导体器件100发送和从半导体器件100接收各种信号。外部存储器950例如是非易失性存储器单元,诸如闪存、SSD或HDD(硬盘驱动器)。外部存储器950预先在其中存储预定的消息图像信号。外部存储器950接收来自半导体器件100的请求信号,并根据接收的请求信号将预先存储的消息图像信号提供给半导体器件100。
ECU器件960是管理或控制与车辆的操作有关的各种信息的器件,例如车辆1的移动速度、转向的转向角度、来自GPS(全球定位系统)的自身车辆位置信息等。ECU器件960通过诸如车载以太网(Ethernet注册商标)、CAN(控制器区域网络)或LIN(局域互连网络)等的车载通信总线可通信地耦合在车辆1内。ECU器件960将作为关于车辆1移动的信息的移动信息提供给半导体器件100的总线信号IF 150。移动信息包括车辆1的移动速度、转向角度和获取这些信息的时间。此外,移动信息可以包括来自GPS的位置信息。
相机970接收来自半导体器件100的指令并根据接收的指令执行成像。相机970将通过成像产生的图像信号提供给半导体器件100的图像信号输入IF 140。
参考图像投影器件980是用于投影预定参考图像的投影器件。参考图像投影器件980由照射用于投影的光的光源、产生要投影的参考图像的显示设备以及用于将所产生的图像投影到期望位置的透镜等构成。参考图像投影器件980耦合到半导体器件100的图像信号输出IF 160。参考图像投影器件980从图像信号输出IF 160接收参考图像信号,并投影与接收的参考图像信号对应的参考图像。另外,当参考图像信号是单色时,参考图像投影器件980不需要显示设备。在这种情况下,参考图像投影器件980可以是将方向性高的光投影到期望位置的器件。此外,参考图像投影器件980可以具有用于改变参考图像的投影区域的可移动部分,以便控制用于要投影的参考图像的投影区域。
消息图像投影器件990是用于投影预定消息图像的投影器件。消息图像投影器件990由照射用于投影的光的光源、产生要投影的消息图像的显示设备以及用于将所产生的图像投影到期望位置的透镜等构成。消息图像投影器件990耦合到半导体器件100的图像信号输出IF 160。消息图像投影器件990从图像信号输出IF 160接收消息图像信号,并投影与接收的消息图像信号对应的消息图像。另外,消息图像投影器件990可以具有可移动部分以将消息图像投影到期望位置。
接下来,将参考图3进一步描述消息图像投影系统10的功能和每个信号的流程。图3是根据实施例1的消息图像投影系统的功能框图。
半导体器件100的内部存储器120具有参考图像存储区域121。参考图像存储区域121在其中存储参考图像信号。参考图像信号可以是预先存储在参考图像存储区域121中的参考图像信号。参考图像信号可以是在启动系统之后从外部存储器950读取的信号。参考图像信号根据来自控制电路110的指令而被提供给图像处理电路130。
图像处理电路130具有位置估计电路131、参考图像信号输出电路132、测试图像信号获取电路133、比较电路134、图像调节电路135、消息图像信号获取电路136和输出电路137。下面将描述包括在图像处理电路130中的每个功能块。
位置估计电路131具有基于车辆1的移动信息计算在投影消息图像的规定时间处的车辆1的估计位置的功能。位置估计电路131从ECU器件960接收车辆1的移动信息。此外,位置估计电路131从控制电路110接收关于投影消息图像的规定时间的信息。然后,位置估计电路131估计车辆1在投影消息图像的规定时间的位置。位置估计电路131将关于车辆1的估计位置的信息提供给参考图像信号输出电路132。
将参考图4具体描述位置估计电路131的功能。图4是用于描述由消息图像投影系统进行的自身车辆位置估计的图。图4示出了车辆1在时间t0处于位置A0。这里,假设投影消息图像的规定时间是时间t1。在这种情况下,位置估计电路131基于在时间t0的车辆1的移动信息来估计在时间t1的车辆1的位置。在图4中,车辆1在时间t1的位置A1是从位置A0向前方移动距离F1并向左侧移动距离T1的位置。因此,位置估计电路131估计车辆1在时间t1移动到位置A1。
再次参考图3,将继续描述。参考图像信号输出电路132基于估计位置处的移动体和投影区域之间的相对位置关系,决定作为投影预设参考图像的区域的参考区域。此外,参考图像信号输出电路132从内部存储器120接收参考图像信号。然后,参考图像信号输出电路132将作为与参考区域对应的参考图像的信号的参考图像信号输出到参考图像投影器件980。
将参考图5具体描述参考图像信号输出电路132的功能。图5是用于描述由消息图像投影系统进行的参考图像投影的图。图5示出了参考图像投影器件980将参考图像C10投影到作为投影区域的位置P1上的状态。当参考图像信号输出电路132从位置估计电路131接收到关于车辆1在规定时间t1的位置A1的信息时,参考图像信号输出电路132计算位置A1处的消息图像的投影区域。这里,假设消息图像的投影区域是存在于车辆1前方的距离D1的位置。参考图像信号输出电路132将参考图像C10投影到位置A1前方的距离D1的位置P1上。
同时,在图5中,车辆1从位置A0向前移动距离ΔF。这是因为从在参考图像信号输出电路132从位置估计电路131接收到关于车辆1的估计位置的信息时的时间到参考图像的投影,过去了时间Δt。参考图像信号输出电路132在以这种方式考虑了处理所需的时间之后输出参考图像信号。另外,例如,通过参考图像投影器件980投影参考图像需要大约几十毫秒的时间。因此,参考图像投影器件980不需要在改变参考图像的相对位置的同时执行诸如由参考图像投影器件980投影参考图像的处理。
再次参考图3,将继续描述。测试图像信号获取电路133具有获取测试图像信号的功能,该测试图像信号是通过对其上投影参考图像的参考区域进行成像而获得的图像的信号。也就是说,当参考图像投影器件980投影参考图像时,相机970捕获包括参考图像的图像。相机970将作为经过捕获的图像的信号的测试图像信号提供给测试图像信号获取电路133。
将参照图6描述由测试图像信号采集电路133获取的测试图像。图6是示出由相机捕获的测试图像的示例的图。图6是由相机970捕获的图像971。图像971包括位于车辆1前方的位置P1处的参考图像C10。测试图像信号获取电路133从图像971获取作为在位置P1处的参考图像C10的信号的测试图像信号。当获取测试图像信号时,测试图像信号获取电路133可以从参考图像信号输出电路132接收关于参考图像被投影的位置的信息。参考图像信号输出电路132和测试图像信号获取电路133设置例如水平方向上的X坐标和垂直方向上的Y坐标,其中以图像971的左上角作为原点并且通过XY坐标系统共享参考图像的位置。更具体地,例如,执行下面要示出的处理。也就是说,测试图像信号获取电路133检测测试图像内的参考图像的显示像素位置,提取检测区域,并且执行诸如梯形校正等的几何转换,使得提取的区域变为矩形。因此,测试图像信号获取电路133从于相机970接收的测试图像信号中提取其上投影了参考图像的区域(位置P1),并且以使得认为它们具有相同的矩形尺寸并且可以1:1地作为像素单位进行比较的方式来设置参考图像和测试图像。
返回参考图3,比较电路134具有将参考图像信号与测试图像信号进行比较的功能。也就是说,比较电路134从内部存储器120接收参考图像信号,并从测试图像信号获取电路133接收测试图像信号。这里,比较电路134比较参考图像信号的每种颜色的亮度值和测试图像信号的每种颜色的亮度值。此时,测试图像信号的每种颜色的亮度值可以是包括在图像971中的位置P1的区域中的相应颜色的亮度值的平均值,或者可以是其中心值。此外,比较电路134可以使位置P1处的测试图像信号的纵横比和参考图像信号的纵横比彼此对应,并且针对每个像素比较它们。作为变形例1,稍后将描述每个像素的这种比较处理的细节。比较电路134将比较结果提供给图像调节电路135。
消息图像信号获取电路136从外部存储器950的消息图像存储区域951接收消息图像信号,并将接收的消息图像信号提供给图像调节电路135。图像调节电路135从消息图像信号获取电路136接收消息图像信号。此外,图像调节电路135从比较电路134接收比较结果,并基于接收的比较结果调节消息图像信号。图像调节电路135对消息图像信号的每个像素执行每种颜色的亮度值的这种调节。换句话说,图像调节电路135调节消息图像信号的像素值。
当图像调节电路135调节消息图像信号时,图像调节电路135将调节后的消息图像信号提供给输出电路137。当输出电路137从图像调节电路135接收调节后的消息图像信号时,输出电路137将接收到的消息图像信号提供给消息图像投影器件990。
图7是消息图像投影系统投影消息图像的状态的图。如图7所示,车辆1在时间t1移动到位置A1。然后,消息图像投影器件990将消息图像C11投影到车辆1前方的距离D1的位置P1上。如上所述,消息图像投影系统10预先投影参考图像到该位置以投影消息图像并捕获投影的参考图像。然后,消息图像投影系统10通过利用从捕获图像获得的测试图像信号来调节消息图像信号,并投影调节后的消息图像信号。
接下来,将描述由半导体器件100进行的消息图像信号的调节的示例。在本实施例中,半导体器件100基于路面的反射率来调节消息图像的颜色。首先将参考图8描述参考图像信号和测试图像信号之间的亮度值的比较。图8是用于描述参考图像信号和测试图像信号之间的亮度值的比较的图。图8的上侧示出了车辆1的侧表面,其在行进时投影参考图像C10。车辆1通过参考图像投影器件980将参考图像C10投影到路面上。然后,相机970捕获投影的参考图像C10。
表格C980和表格C970显示在图8的下侧。表格C980是参考图像信号的亮度值。表格C980在水平轴指示红色(R信号)、绿色(G信号)和蓝色(B信号),并且在垂直轴指示亮度值。也就是说,存储在参考图像存储区域121中的参考图像信号是白色信号,其中所有R、G和B信号都是256。参考图像投影器件980投影白色参考图像C10。
表格C970是测试图像信号的亮度值。相机970捕获参考图像并从捕获的图像获取测试图像信号。作为测试图像信号中包括的每种颜色的亮度值,R信号的亮度值是128,G信号的亮度值是128,并且B信号的亮度值是256。如图所示,它们与参考图像信号中的不同。也就是说,投影到路面上的参考图像受到路面具有的反射率的影响。在测试图像信号中,根据路面所具有的反射率确定每种颜色的亮度值。当对于每种颜色观察到图8的示例时,参考图像的亮度值在R信号中是256,但是在测试图像信号中亮度值减小到128。也就是说,路面具有的R信号的反射率为50%(128/256)。类似地,该道路表面具有的G信号的反射率也是50%,B信号的反射率是100%。因此,半导体器件100计算参考图像信号和测试图像信号之间的亮度值差,并根据计算出的亮度值差来计算路面的反射率。
接下来将参考图9描述用于调节消息图像信号的方法。图9是用于描述调节消息图像信号的亮度值的原理的图。图9在其上侧示出了正在运行的车辆1的消息图像投影器件990投影消息图像的状态。图9在其下侧示出了表格C951、表格C991、表格C971和表格C972,作为在行驶期间由车辆1进行的图像处理的示例。表格C951是存储在消息图像存储区域951中的消息图像的每种颜色的亮度值。这里,为了易于理解,假设消息图像是单色,并且假设R信号、G信号和B信号分别具有51、204和204的颜色。因此,在消息图像的颜色中绿色和蓝色是强的,并且预期对人的肉眼可见为蓝绿色。
当消息图像被投影到路面上而不调节亮度值时,表格C971指示由相机970捕获的消息图像的亮度值。当在将消息图像投影到具有图8所示的反射率的路面上之后,通过相机970捕获到消息图像时,C951中所示的消息图像的每种颜色的亮度值变为表格C971中的亮度值。具体地,R信号的亮度值变为26%,为51的50%;G信号的亮度值变为102,为204的50%;并且B信号的亮度值变为204,为204的100%。也就是说,投影到路面上的消息图像的颜色中的绿色变弱,并且蓝色对于人的肉眼来说是强烈可见的。因此,当未调节图像信号的亮度值时,由于消息图像至路面上的投影,消息图像信号的颜色受到路面反射率的影响。因此,存在一种可能性,即消息图像信号的颜色将根据路面状态改变。
接下来将描述表格C991和表格C972。表格C991指示在通过图像调节电路135进行消息图像的亮度值调节后的各颜色的亮度值。图像调节电路135基于路面的反射率来调节消息图像的亮度值。这里将描述图像调节电路135执行用于抑制路面反射率变化的调节的示例。图像调节电路135将消息图像的每种颜色的亮度值乘以路面的反射率(50%)的倒数(1/0.5=2)(R:51×2=102,G:204×2=408,B:204×1=204)。然后,通过相乘获得的值被归一化,使得最大变为256(R:102÷408×256≈64,G:408÷408×256=256,B:204÷408×256≈128)。作为执行这种处理的结果,消息图像的每种颜色的亮度值在R信号中变为64,在G信号中变为256,在B信号中变为128。消息图像投影器件990将由图像调节电路135调节的消息图像信号投影到路面上。
表格C972指示通过图像调节电路135调节的消息图像信号被投影到路面上的亮度值,并且投影的消息图像被相机970捕获。如表格C972所示,C991中所示的消息图像的亮度值在R信号中变为32(为64的50%),在G信号中变为128(为256的50%),并且在B信号变为128(为128的100%)。因此,尽管与C972中显示的消息图像相比,C972中显示的消息图像被改变为暗色,但消息图像的绿色和蓝色较强,并且对人的裸眼可见为蓝绿色。
如上所述,根据实施例1的半导体器件100能够执行处理以调节消息图像的亮度值并且抑制车辆1中的驾驶员等的可视性的劣化。另外,本实施例示出了半导体器件100调节消息图像信号的颜色的示例。然而,在本实施例中,要调节的对象可以是消息图像信号的对比度。在这种情况下,半导体器件100执行这样的调节以抑制消息图像信号的亮度的动态范围的劣化。此外,半导体器件100可以调节整个图像的色调。也就是说,半导体器件100可以对消息图像信号应用伽马校正。而且,半导体器件100可以调节消息图像的颜色饱和度。
此外,半导体器件100可以预先存储用于路面的每个典型图案的图像的调节信号,并且通过预先存储的调节信号来调节消息图像。也就是说,消息图像投影系统10在外部存储器或内部存储器中预先存储典型调节信号的若干模式。典型调节信号是预先考虑以下内容而产生的调节信号:由于混凝土、沥青或石头路面的路面状况,在下雪、晴天和阴雨天气等中出现的反射率。然后,半导体器件100将测试图像信号与参考图像信号进行比较,从而选择其中在车辆行驶期间路面的反射率接近预先存储的任何典型调节信号的模式。然后,半导体器件100通过使用所选模式的调节信号来调节消息图像。利用这种配置,消息图像投影系统10能够执行处理以更容易地并且以高处理速度抑制可视性的劣化。
此外,半导体器件100可以添加处理以抑制要投影的消息图像的亮度突然改变。例如,半导体器件100计算紧接在前的投影消息图像信号的平均亮度值Ave(t0),计算从现在开始要投影的消息图像信号的平均亮度值Ave(t1),计算这些值的加权平均值,并根据计算出的加权平均值设定亮度值的增益G。
G=W·Ave(t0)+(1-W)·Ave(t1) (1)
其中W是1或更小的正实数。此外,除了加权平均值之外,半导体器件100还可以通过移动平均值来调节亮度。通过执行这样的处理,消息图像投影系统10能够抑制驾驶员等的可视性的劣化并且抑制亮度值的突然变化。
接下来将参考图10描述由消息图像投影系统10进行的处理。图10是根据实施例1的消息图像投影系统的流程图。图10示出了半导体器件100的处理。
首先,半导体器件100从外部存储器950获取消息图像信号(步骤S10)。接下来,半导体器件100调节所获取的消息图像信号并输出调节后的消息图像信号(步骤S11)。以下将详细描述步骤S11。
半导体器件100估计自身车辆位置(步骤S111)。也就是说,半导体器件100从ECU器件960接收移动信息,并且基于所接收的移动信息估计在投影消息图像时的规定时间处的车辆1的位置。
接下来,半导体器件100决定用于投影参考图像的参考区域(步骤S112)。此外,半导体器件100将要投影到参考区域上的参考图像信号输出到参考图像投影器件980(步骤S113)。
接下来,半导体器件100从相机970获取测试图像信号(步骤S114)。然后,半导体器件100比较参考图像信号的亮度值和测试图像信号的亮度值(步骤S115)。此外,半导体器件100基于其比较结果调节消息图像的每种颜色的亮度值(步骤S116)。此外,半导体器件100将亮度值调节后的消息图像输出到消息图像投影器件990(步骤S117)。
在消息图像投影系统10中,半导体器件100执行上述处理。另外,在图10的流程图中,获取消息图像信号的步骤可以在步骤S116之前的任何时间执行。
如上所述,根据实施例1的消息图像投影系统10根据路面的反射率调节消息图像的每种颜色的亮度值。因此,消息图像投影系统10能够投影消息图像,其中抑制了由于路面的影响而造成的颜色变化。
另外,在半导体器件100中,当决定参考区域时,代替参考区域或者除了参考区域之外,参考图像信号输出电路132可以决定投影参考图像的时间。即,例如,当车辆1的行驶速度相对较快时,与行驶速度相对较慢的情况相比,相对较早地设置用于投影参考图像的定时。通过以这种方式控制投影参考图像的时间,半导体器件100能够根据车辆1的行驶速度更适当地决定参考区域。
根据如上所述的本实施例,可以提供一种半导体器件等,其抑制由于投影表面影响而导致的图像的劣化。
<实施例1的变形例1>
接下来,将描述实施例1的变形例1。本示例在比较电路134和图像调节电路135的功能方面与实施例1不同。图11是描述根据实施例1的变形例1的用于调节消息图像的方法的图。图11示出了投影到位置P1上的参考图像C10。
在本示例中,参考图像C10在其右侧和左侧具有不同的反射率。在这种情况下,当参考图像的反射率被设置为均匀以调节消息图像信号时,存在出现部分难以看到的区域的风险,并且不能正确识别消息图像。因此,本示例中的半导体器件100的比较电路134具有允许参考图像的视角和测试图像的视角彼此对应并且针对每个像素将参考图像信号与测试图像信号进行比较的功能。此外,本示例中的半导体器件100的图像调节电路135具有允许测试图像的视角和消息图像的视角彼此对应并且针对消息图像信号的每个像素调节消息图像信号的功能。
下面将参考图11具体描述本示例。本示例中的比较电路134首先获取通过捕获投影的参考图像而获得的测试图像C12的图像信号。接下来,比较电路134对测试图像C12执行线性转换处理。因此,测试图像C12的视角被处理为与参考图像C10的视角相同。图11中所示的图像C13是通过线性转换处理测试图像C12的视角而获得的图像。接下来,比较电路134针对每个像素比较参考图像C10和图像C13。如图11所示,例如,比较电路134比较作为在X方向和Y方向上观察的第n像素和第m像素的像素P9的亮度值。因此,比较电路134针对每个像素比较所有像素的亮度值。
接下来,图像调节电路135基于比较电路134进行的比较结果来调节消息图像。图11中所示的消息图像C14是基于比较电路134进行的比较结果而调节的图像。如图11所示,根据路面的反射率针对每个像素在亮度上调节经调节的消息图像C14。因此,根据本示例,可以更精细地抑制受路面影响的图像的劣化。
<实施例1的变形例2>
接下来将参考图12描述实施例1的变形例2。图12是用于描述根据实施例1的变形例2的用于调节消息图像的方法的图。本示例中的半导体器件100与实施例1的不同之处在于参考图像的宽度比消息图像的宽度宽,并且还提供了最佳投影区域决定部分。
参考图像信号输出电路132输出宽度大于消息图像宽度的参考图像信号。如图12所示,本示例中的参考图像C15包括位置P11至P13处的参考图像。位置P11至P13在宽度方向上部分重叠。参考图像C15的宽度设置得比实施例1中的参考图像C10或消息图像C11宽。参考图像投影器件980投影参考图像C15。然后,相机970捕获参考图像C15并获取与参考图像C15对应的测试图像信号。比较电路134产生对应于位置P11至P13中的每一个位置的测试图像信号。然后,比较电路134将位置P11处的测试图像信号与参考图像信号进行比较。同样,比较电路134将位置P12处的测试信号与参考图像信号进行比较,并进一步将位置P13处的测试图像信号与参考图像信号进行比较。因此,最佳投影区域决定部分基于P11至P13中的每一个处的测试图像信号与参考图像信号之间的比较结果,选择亮度值差最小的位置。然后,当车辆1移动到位置A1时,消息图像投影器件990将消息图像投影到由比较电路134选择的位置P11到P13中的任何一个位置上。
另外,参考图像C15中示出的位置P11至P13是示例。它们可以彼此重叠或者可以不需要重叠。此外,位置的数量可以是除了三个之外的两个或四个或更多个。
利用这种配置,消息图像投影系统10选择几乎不受路面影响的投影区域。也就是说,本实施例中的消息图像投影系统10能够为进入车辆1中的驾驶员等投影可见度高的消息图像。如上所述,根据本公开,可以提供能够抑制受路面影响的图像劣化的半导体器件等。另外,尽管参考图像投影器件980和消息图像投影器件990已经被描述为单独的器件,但是集成投影器件可以适于投影参考图像和消息图像。在这种情况下,投影器件能够将参考图像投影到用于投影参考图像的区域上并且将消息图像投影到用于投影消息图像的区域上。此外,这种集成投影器件可以是在预定时间投影参考图像并且在与预定时间不同的时间投影消息图像的器件。此外,这种集成投影器件可以同时投影分别与要在多个不同时间投影的消息图像对应的多个参考图像,然后顺序地在多个不同时间投影消息图像。因此,当集成投影器件适于投影参考图像和消息图像时,可以降低器件的制造成本并实现系统的重量减轻。
<实施例2>
接下来将描述实施例2。在根据实施例2的消息图像投影系统中,在运行中的两个车辆中的一个车辆成为消息的发送器,而另一个车辆成为消息的接收器。然后,发送器为接收器投影消息图像。此外,消息图像投影系统具有防止要投影的消息图像在针对接收器的可视性方面降低的功能。此外,消息图像投影系统具有以下功能:允许接收器在发送器投影消息图像时捕获由发送器投影的参考图像,并允许接收器将由接收器产生的调节信号发送到发送器。
图13是根据实施例2的消息图像投影系统的硬件配置图。根据本实施例2的消息图像投影系统20与实施例1的主要不同之处在于,它具有半导体器件200来代替半导体器件100并且还具有通信器件940。
半导体器件200与实施例1中的半导体器件100的不同之处在于它具有通信IF240。通信IF 240是连接到半导体器件200中的总线170并且连接到半导体器件200外部的通信装置940的接口。半导体器件200通过通信IF 240执行向通信器件940发送信号和从通信器件940接收信号。此外,半导体器件200具有图像处理电路230而不是图像处理电路130。稍后将描述图像处理电路230。
通信器件940是通过使用无线电波、红外线或光等来执行无线通信的通信器件。通信器件940直接或间接地与其外围通信器件通信。通信器件940耦合到半导体器件200。
下面将参照图14对实施例2的功能块进行描述。图14是根据实施例2的消息图像投影系统的功能框图。消息图像投影系统20中的半导体器件200与半导体器件100的不同之处在于,它具有控制电路210来代替控制电路110并且具有图像处理电路230来代替图像处理电路130。下面将描述与实施例1中描述的功能的不同点。
控制电路210具有申请接收电路221和许可信号输出电路212。申请接收电路211通过通信器件940接受从另一系统接收的耦合申请信号。许可信号输出电路212输出针对耦合申请信号的许可信号。从许可信号输出电路212输出的许可信号被输出到通信器件940。许可信号通过通信器件940被发送到允许耦合的对方。半导体器件200通过应用程序接收电路211和许可信号输出电路212与其中耦合已被允许的对方执行预定通信,并且执行处理以将对方投影的参考图像进行成像。稍后将描述这些处理的细节。
接下来将描述图像处理电路230。图像处理电路230与根据实施例1的半导体器件100的不同之处在于,其具有调节信号输出电路231、许可确定电路232和调节信号获取电路233。
调节信号输出电路231具有从比较电路134接收关于比较结果的信息并将接收的信息提供给通信器件940的功能。因此,消息图像投影系统20将从相机970接收的测试图像信号与参考图像信号之间的比较结果发送给另一方。
许可确定电路232具有确定是否通过通信器件940进行来自另一方的耦合许可的功能。许可确定电路232将关于确定结果的信号提供给调节信号获取电路233。调节信号获取电路233经由通信器件940接收与来自另一方的消息图像信号对应的调节信号。调节信号获取电路233将接收的调节信号提供给图像调节电路135。
因此,半导体器件200在比较电路134和图像调节电路135之间具有调节信号输出电路231、许可确定电路232和调节信号获取电路233,并且这些组件耦合到通信器件940。因此,半导体器件200能够将关于由另一方投影的参考图像的调节信号发送到另一方。而且,因此,半导体器件200能够输出基于由另一方产生的调节信号调节的消息图像信号。
接下来,将参考图15至图18描述由均具有消息图像投影系统20的两个车辆执行的相应处理。在本实施例的处理中,消息图像的发送器试图在接收器前方发送消息图像,以便在接收器正在行进的前进方向上向前进入。
将参考图15描述消息图像的发送器的处理。图15是示出根据实施例2的消息图像发送器的处理的流程图。图15所示的流程图示出了消息图像发送器侧的半导体器件(称为200S)的处理。
半导体器件200S从消息图像存储区域951获取消息图像(步骤S210)。接下来,半导体器件200S执行与消息图像的接收器的耦合(步骤S211)。半导体器件200S确定是否从接收器接收到耦合许可(步骤S212)。当未确定已从接收器接收到耦合许可时(步骤S212:否),半导体器件200S向用户通知未接收到耦合许可(步骤S219)。接下来,半导体器件200S执行以下处理:将图10中描述的消息图像投影到发送器自身前方的区域上,而不是接收器前方的区域(步骤S11)。当完成投影消息图像的处理时,半导体器件200S完成一系列处理。
另一方面,当确定已经从接收器接收到耦合许可时(步骤S212:是),半导体器件200S估计自身车辆位置(步骤S213)。然后,半导体器件200S基于估计的自身车辆位置来决定参考区域(步骤S214)。此外,半导体器件200S将参考图像信号输出到参考图像投影器件980,以便将参考图像投影到所确定的参考区域上(步骤S215)。
将参考图17具体描述步骤S213至S215的处理。图17是用于描述由消息图像投影系统进行的自身车辆位置估计和参考图像投影的图。在图17中,作为发送器的车辆1试图在作为接收器的车辆2的前方投影消息图像。在时间t0,车辆1位于位置A0。然后,半导体器件200S估计车辆1在作为投影消息图像的规定时间的时间t1处将处于位置A1(步骤S213)。此外,车辆1决定从估计位置A1向前的距离D1、在右侧的距离T2和作为位置P2的参考区域(步骤S214)。位置P2位于车辆2的前方。此外,车辆1将参考图像C20投影到决定位置P2上(步骤S215)。另外,尽管为了易于理解,在图17中省略了由于步骤S213和步骤S214中的时间引起的车辆1的位置之间的差异,但是已经考虑到对这些的处理来进行控制。
返回参考图15,半导体器件200S确定在投影参考图像之后是否从接收器获取调节信号(步骤S216)。当在预设时间内未从接收器获取调节信号时,半导体器件200S不确定已获取调节信号(步骤S216:否)。在这种情况下,半导体器件200S不能调节消息图像信号。因此,半导体器件200S将没有调节的消息图像信号输出到消息图像投影器件990(步骤S218)。消息图像投影器件990将未调节的消息图像投影在接收器前方。因此,当在预设时间内未获取到调节信号时,可以通过投影未调节的消息图像来在适当的定时向接收器呈现消息。
另一方面,当获取到调节信号时,半导体器件200S确定已经获取了调节信号(步骤S216:是)。在这种情况下,半导体器件200S基于从接收器获取的调节信号来调节消息图像信号的亮度值(步骤S217)。然后,半导体器件200S输出调节后的消息图像信号(步骤S218)。当以这种方式输出消息图像信号时,半导体器件200S完成一系列处理。
将参考图18描述步骤S218的状态。图18是用于描述由根据实施例2的消息图像投影系统进行的消息图像投影的图。如图18所示,在时间t1,车辆1移动到位置A1并将消息图像C21投影到位置P2上。由车辆1投影的消息图像被投影到车辆2的前方。
接下来,将参考图16描述由接收器对消息图像的处理。图16是示出根据实施例2的消息图像接收器侧的处理的流程图。图16所示的流程图示出了消息图像接收器侧的半导体器件(称为200R)的处理。
首先,半导体器件200R接受来自发送器的耦合申请(步骤S220)。用于耦合申请的信号包括关于要由发送器投影的区域的信号。接下来,半导体器件200R确定是否允许耦合(步骤S221)。当由于诸如发送器已经与另一方等通信的原因而不允许耦合时,半导体器件200R不确定耦合许可(步骤221:否)。在这种情况下,半导体器件200R向已接受申请的对方发送耦合不允许的通知(步骤S227),并完成一系列处理。
另一方面,当确定允许耦合时(步骤S221:是),半导体器件200R确定投影区域是否重叠(步骤S222)。例如,在图18中,车辆1将消息图像C21投影到位置P1上。在这种情况下,不允许另一方将消息图像进一步投影到与位置P1重叠的区域上。因此,当确定由申请耦合的对方要投影的区域与另一方的消息图像投影区域重叠时(步骤S222:是),半导体器件200R向已经接受申请的对方发送耦合不允许的通知(步骤S227)并完成一系列处理。
另一方面,当未确定该区域与另一方的消息图像投影区域重叠时(步骤S222:否),半导体器件200R输出许可信号(步骤S223)。然后,接收器通过接收器的相机970捕获由发送器投影的参考图像。半导体器件200R获取由相机970生成的测试图像(步骤S224)。接下来,半导体器件200R从参考图像存储区域121接收参考图像信号,并将接收的参考图像信号的亮度值与获取的测试图像信号的亮度值进行比较(步骤S225)。接下来,半导体器件200R基于其比较结果产生调节信号,并将产生的调节信号输出到通信器件940(步骤S226)。然后,半导体器件200R完成一系列处理。
图18是在具有半导体器件200R的车辆2完成图16所示的一系列处理之后从车辆1投影消息图像的状态。通过执行这样的处理,消息图像投影系统20能够投影不干扰接收器的消息图像并且抑制可视性的恶化。
<实施例3>
接下来将描述实施例3。根据实施例3的消息图像投影系统与实施例1的不同之处在于,它具有半导体器件和转向控制器件的功能。根据该实施例3的消息图像投影系统选择投影消息图像的区域并且以车辆前进到所选择的区域的方式向转向控制器件输出信号。
图19是根据实施例3的消息图像投影系统的硬件配置图。图19中所示的消息图像投影系统30具有转向控制器件930。转向控制器件930是用于控制车辆1的转向来代替驾驶员的操作的器件,或者是用于辅助驾驶员的操作的器件。转向控制器件930耦合到总线信号IF150。此外,消息图像投影系统30与实施例1的不同之处在于,它具有半导体器件300来代替半导体器件100。稍后将描述半导体器件300。
接下来,将描述根据实施例3的消息图像投影系统30的每个功能块。图20是根据实施例3的消息图像投影系统的功能框图。消息图像投影系统30中的半导体器件300与半导体器件100的不同之处在于它具有图像处理电路330来代替图像处理电路130。下面将描述与实施例1中描述的功能的不同点。
图像处理电路330具有参考图像信号输出电路332、测试图像信号获取电路333和比较电路334,分别代替参考图像信号输出电路132、测试图像信号获取电路133和比较电路134。此外,图像处理电路330具有最佳路线决定电路331。最佳路线决定电路331从比较电路334接收比较结果,并基于接收的比较结果决定车辆1的路线。此外,最佳路线决定电路331将关于所决定的路线的信息输出到转向控制器件930。此外,最佳路线决定电路331还将关于所决定的路线的信息输出到图像调节电路135。图像调节电路135接收关于从最佳路线决定电路331接收的路线的信息和从比较电路334接收的比较结果,并调节消息图像信号。
接下来将参考图21至图23描述每个功能的细节。首先将参考图21描述参考图像信号输出电路332。参考图像信号输出电路332输出比消息图像信号宽度更大且深度更长的参考图像信号。图21是用于描述由消息图像投影系统进行的参考图像投影的图。在图21中,车辆1将消息图像C31投影到位置P1上并将参考图像C30投影到位置P3上。消息图像C31具有宽度H31和深度V31。此外,参考图像C30具有宽度H30和深度V30。如图21所示,参考图像C30的宽度大于消息图像,并且深度更长。参考图像信号输出电路332以这种方式生成视角大于消息图像的参考图像,并将生成的参考图像提供给参考图像投影器件980。参考图像C30由参考图像投影器件980投影。投影的参考图像C30由相机970捕获。相机970生成通过捕获参考图像C30获得的图像的测试图像信号,并将其提供给测试图像信号获取电路333。
接下来将参考图22描述测试图像信号获取电路333的功能。图22是用于描述以网格形式处理参考图像信号的状态的图。图22的上侧指示包括由相机970捕获的参考图像C30的图像973。在图像973中,在车辆1前方捕获梯形参考图像C30。当获取关于图像973的测试图像信号时,测试图像信号获取电路333提取梯形参考图像C30并对其执行线性转换处理以将参考图像C30形成为矩形。图22的下侧指示通过对参考图像C30进行线性转换处理而生成的测试图像C32。测试图像C32具有与如图21所示从车辆1的上表面观察参考图像C30时相同的纵横比。即,在图22中,可以假设测试图像C32的尺寸具有宽度H30和深度V30。此外,测试图像信号获取电路333执行将测试图像C32划分为多个网格的处理。在这种情况下,每个网格的大小与消息图像的大小相同。也就是说,一个网格的大小具有宽度H31和深度V31。在图22中,测试图像C32在其宽度方向上被划分为五个网格,并且在其深度方向上被划分为七个网格。
接下来将参考图23描述比较电路334和最佳路线决定电路331的功能。图23是示出由消息图像投影系统计算的最佳路线的示例的图。比较电路334分别在各个网格和参考图像信号之间进行比较。在本实施例中,比较电路334计算参考图像信号的亮度值的平均值与每个网格的亮度值的平均值之间的差异。在每个网格的帧内描述的数值指示参考图像信号的平均亮度值与每个网格的平均亮度值之间的差异。比较电路334将这种比较结果提供给最佳路线决定电路331。另外,比较电路334将比较结果提供给最佳路线决定电路331,并且还将其提供给图像调节电路135。
当从比较电路334接收到比较结果时,最佳路线决定电路331基于接收的比较结果决定车辆1的路线。也就是说,最佳路线决定电路331具有以下功能:沿着移动体的前进方向计算与候选区域相对应的多个候选路线并且将多个候选路线中亮度值之间的差异最小的候选路线决定为最佳路线。具体地,最佳路线决定电路331以使得网格被连续布置的方式选择包括在测试图像C32中的多个网格中的、在深度方向上逐个设置的网格。
这将与具体示例一起描述。在图23中,为了便于理解,为测试图像C32分配关于各个网格的地址。测试图像C32的左上网格是(X1,Y1),并且测试图像C32的右下网格是(X5,Y7)。最佳路线决定电路331选择Y7行中的网格(X4,Y7)。接下来,最佳路线决定电路331选择与行Y6中的(X4,Y7)连续相邻的(X3,Y6)、(X4,Y6)和(X5,Y6)的网格中的任何网格。最佳路线决定电路331对Y7到Y1重复类似处理,并决定沿前进方向的每个路线。最佳路线决定电路331以这种方式获取多个候选路线。然后,最佳路线决定电路331将获得的多个候选路线中的、在从Y7至Y1的亮度值之间的差的积分值最小的路线,决定为最佳路线。图23中所示的路线R31是通过上述处理决定的路线。
当决定了最佳路线时,最佳路线决定电路331将关于所决定的路线的信息输出到转向控制器件930。转向控制器件930基于从最佳路线决定电路331接收的关于最佳路线的信息来执行车辆1的转向。当车辆1在路线R31上前进时,沿着路线R31投影消息图像。此外,通过图像调节电路135分别调节投影到各个网格上的消息图像的信号。
接下来将参考图24描述消息图像投影系统30的处理。图24是根据实施例3的消息图像投影系统的流程图。图24所示的流程图示出了消息图像投影系统30中的半导体器件300的处理。
首先,半导体器件300决定参考区域(步骤S310)。接下来,半导体器件300将关于所决定的参考区域的参考图像信号输出到参考图像投影器件980(步骤S311)。接下来,半导体器件300从相机970获取测试图像信号(步骤S312)。然后,半导体器件300执行亮度值之间的比较,如图22所示(步骤S313)。接下来,半导体器件300分别执行决定最佳路线的处理和调节消息图像的处理。
作为决定最佳路线的处理,半导体器件300如参考图23所述那样执行处理以决定最佳路线(步骤S314)。然后,半导体器件300将最佳路线输出到转向控制器件930(步骤S315)。另一方面,作为调节图像的处理,半导体器件根据最佳路线调节消息图像信号的亮度值(步骤S316)。然后,半导体器件300根据车辆1的操作条件输出经调节的消息图像信号(步骤S317)。
接下来将参考图25描述最佳路线决定电路331的处理的改型。图25是用于描述最佳路线决定电路的处理的示例的图。在图25中,最佳路线决定电路331获取路线R31和路线R32。然后,在本示例中,路线R31中从Y7到Y4的亮度值之差的积分值是60+78+25+50=213。另一方面,路线R32中从Y7到Y4的亮度值之差的积分值是60+43+60+50=213。也就是说,路线R31和路线R32在亮度值差的积分值方面是相同的。在这种情况下,最佳路线决定电路331选择差异的最大值较小的路线。在本示例中,最佳路线决定电路331将表示路线R31的最大值的78与表示路线R32的最大值的60进行比较,以选择最大值为较小值的路线R32。通过提供这样的功能,半导体器件300能够防止驾驶员等的可视性的劣化并且选择抑制亮度值的变化的路线。
另外,在上述路线选择方法中,计算路线R31和R32的标准偏差,并且可以基于计算的标准偏差来选择路线。即使以这种方式完成,半导体器件300也能够防止驾驶员等的可视性的劣化并且选择抑制亮度值的变化的路线。
另外,当最佳路线决定电路331决定最佳路线时,半导体器件300可以具有以下功能。也就是说,半导体器件300从检测如驾驶员等的人的视线的视线检测器件获取信号并在视觉上识别消息图像。然后,半导体器件300可以根据驾驶员等的视线移动来确定最佳路线。通过这样做,根据本实施例的半导体器件300能够根据驾驶员等的视线移动以较小的负担为驾驶员等投影消息图像。
此外,在本实施例中,测试图像信号获取电路133已将测试图像划分为不重叠的网格,但是可以将网格设置为彼此重叠。通过以这种方式设置网格,根据本实施例的半导体器件300能够决定连续性得到增强的路线。
此外,在本实施例中,半导体器件300将决定的最佳路线输出到转向控制器件930,但是也可以将指示转向的信号输出到转向控制器件930。在这种情况下,转向控制器件930基于来自半导体器件300的指令执行车辆1的操作。
尽管已经基于优选实施例具体描述了本发明人在上面做出的发明,但是本发明不限于已经提到的实施例。不用说,在不脱离其主旨的范围内可以对其进行各种改变。
上述实施例中的一些或全部也可以在以下附录中描述,但不限于以下附录。
(附录1)
一种半导体器件,其输出消息图像信号,所述消息图像信号是要投影到投影区域上的消息图像的信号,所述投影区域通过与移动体的相对关系限定,所述半导体器件包括:
存储器,其存储参考图像信号,参考图像信号是预先设置的参考图像的信号;
测试图像信号输入接口,其获取测试图像信号,所述测试图像信号是通过对其上投影参考图像的参考区域进行成像而获得的图像的信号;和
处理器,其基于移动体的移动信息估计移动体在投影消息图像的规定时间的位置,
基于估计位置处的移动体和投影区域之间的相对位置关系,决定作为投影预设参考图像的区域的参考区域,并输出参考图像信号,所述参考图像信号是与参考区域对应的参考图像的信号,
获取测试图像信号,所述测试图像信号是通过对其上投影参考图像的参考区域进行成像而获得的图像的信号,
将参考图像信号与测试图像信号进行比较,
基于比较结果调节消息图像信号,以及
输出经调节的消息图像信号。
(附录2)
一种投影系统,包括半导体器件和安装在移动体中并投影消息图像的投影器件,
其中,所述半导体器件输出消息图像信号,所述消息图像信号是要投影到投影区域上的消息图像的信号,所述投影区域通过与移动体相对关系限定,并且所述半导体器件包括:
位置估计部分,其基于所述移动体的移动信息计算在投影消息图像的规定时间的移动体的估计位置,
参考图像信号输出部分,其基于所述估计位置处的移动体与所述投影区域之间的相对位置关系,决定作为投影预设参考图像的区域的参考区域,并输出作为对应于参考区域的参考图像的信号的参考图像信号,
测试图像信号获取部分,其获取测试图像信号,所述测试图像信号是通过对其上投影所述参考图像的参考区域进行成像而获得的测试图像的信号,
比较部分,其将参考图像信号与测试图像信号进行比较,
图像调节部分,其基于比较结果调节消息图像信号,以及
消息图像输出部分,其输出经调节的消息图像信号。

Claims (20)

1.一种半导体器件,输出消息图像信号,所述消息图像信号是要投影到投影区域上的消息图像的信号,所述投影区域位于距移动体的预定距离处,所述半导体器件包括:
位置估计部分,基于所述移动体的移动信息,计算在投影所述消息图像的规定时间处的所述移动体的估计位置;
参考图像信号输出部分,基于所述估计位置处的所述移动体与所述投影区域之间的相对位置关系,决定作为投影参考图像的区域的参考区域,并且输出作为所述参考图像的信号的参考图像信号;
测试图像信号获取部分,获取测试图像信号,所述测试图像信号是通过对其上投影所述参考图像的所述参考区域进行成像而获得的测试图像的信号;以及
图像调节部分,基于所述参考图像信号和所述测试图像信号,调节所述消息图像信号。
2.根据权利要求1所述的半导体器件,还包括:
比较部分,将所述参考图像信号与所述测试图像信号进行比较;以及
消息图像输出部分,输出由所述图像调节部分调节的所述消息图像信号,
其中,所述图像调节部分基于所述比较部分的比较结果来调节所述消息图像信号。
3.根据权利要求2所述的半导体器件,其中,所述参考图像信号输出部分基于所述估计位置来决定输出所述参考图像信号的时间。
4.根据权利要求2所述的半导体器件,其中,所述图像调节部分调节包括在所述消息图像信号中的像素值。
5.根据权利要求2所述的半导体器件,其中,所述参考图像信号输出部分输出其中红色、绿色和蓝色的亮度值彼此相等的所述参考图像信号。
6.根据权利要求2所述的半导体器件,其中,所述比较部分将包括在所述参考图像信号中的亮度值与包括在所述测试图像信号中的亮度值进行比较,以计算亮度值之差。
7.根据权利要求6所述的半导体器件,其中,所述比较部分使所述参考图像的视角和所述测试图像的视角彼此对应,并且针对每个像素比较所述参考图像信号和所述测试图像信号。
8.根据权利要求7所述的半导体器件,其中,所述图像调节部分使所述测试图像的视角和所述消息图像的视角彼此对应,并且针对所述消息图像信号的每个像素调节所述消息图像信号。
9.根据权利要求2所述的半导体器件,还包括最佳投影区域决定部分,
其中,所述参考图像信号输出部分输出具有比所述消息图像的宽度大的宽度的参考图像信号,
其中,所述比较部分提取多个候选区域,并且针对每个候选区域,计算所述参考图像信号和所述测试图像信号之间的亮度值的差异,每个候选区域具有与所述消息图像相同的宽度、并且处于所述参考图像的宽度方向上的不同位置处,以及
其中,所述最佳投影区域决定部分将所述候选区域中的所述亮度值的差异最小的一个候选区域决定为最佳投影区域。
10.根据权利要求2所述的半导体器件,还包括:调节信号获取部分,从在所述移动体周围移动的目标获取与由所述移动体投影的参考图像相对应的调节信号,以及
其中,所述图像调节部分基于从所述目标获取的所述调节信号来调节消息图像。
11.根据权利要求10所述的半导体器件,还包括:许可确定部分,确定所述目标是否允许所述参考图像的投影。
12.根据权利要求10所述的半导体器件,其中,所述调节信号获取部分获取用于调节包括在所述消息图像信号中的像素值的信号。
13.根据权利要求10所述的半导体器件,其中,所述位置估计部分分别基于所述移动体的所述移动信息和所述目标的移动信息,来估计在投影所述消息图像的所述规定时间处的所述移动体的位置和所述目标的位置。
14.根据权利要求10所述的半导体器件,其中,所述调节信号获取部分获取用于对所述消息图像信号执行梯形校正的信号。
15.根据权利要求2所述的半导体器件,还包括调节信号输出部分,
其中,所述测试图像信号获取部分获取样本图像信号,所述样本图像信号是通过捕获由所述移动体周围移动的投影器件投影的样本图像而获得的图像的信号,
其中,所述比较部分将所述参考图像信号与所述样本图像信号进行比较,以及
其中,所述调节信号输出部分基于所述参考图像信号和所述样本图像信号之间的比较结果,来输出用于调节所述样本图像信号的调节信号。
16.根据权利要求15所述的半导体器件,还包括:许可信号输出部分,当所述投影器件投影所述样本图像时,所述许可信号输出部分向所述投影器件输出允许所述样本图像的投影的信号。
17.根据权利要求2所述的半导体器件,还包括最佳路线决定部分,
其中,所述参考图像信号输出部分输出宽度大于所述消息图像、并且在深度方向上长度大于所述消息图像的参考图像信号,
其中,所述比较部分以对应于所述消息图像的视角、并且在相对于所述参考图像的不同位置处提取多个候选区域,并且针对每个候选区域,计算所述参考图像信号和所述测试图像信号之间的亮度值的差异,以及
其中,所述最佳路线决定部分沿着所述移动体的前进方向,计算与所述候选区域相对应的多个候选路线,并且将所述候选路线中的所述亮度值的差异最小的候选路线决定为最佳路线。
18.根据权利要求17所述的半导体器件,其中,所述最佳路线决定部分对所述测试图像信号执行梯形校正,将所述测试图像划分为多个网格,并且计算与每个划分的网格对应的路线。
19.根据权利要求17所述的半导体器件,还包括:转向指令部分,基于所述最佳路线而给出指令以将所述移动体转向。
20.一种消息图像信号输出方法,用于输出消息图像信号,所述消息图像信号是要投影到投影区域上的消息图像的信号,所述投影区域位于距移动体的预定距离处,所述方法包括:
基于所述移动体的移动信息,计算在投影所述消息图像的规定时间处的所述移动体的估计位置;
基于通过所述计算而计算出的所述估计位置处的所述移动体与所述投影区域之间的相对位置关系,决定作为投影参考图像的区域的参考区域;
输出作为所述参考图像的信号的参考图像信号;
获取测试图像信号,所述测试图像信号是通过对其上投影所述参考图像的所述参考区域进行成像而获得的测试图像的信号;以及
基于所述参考图像信号和所述测试图像信号,调节所述消息图像信号。
CN201910521301.1A 2018-06-21 2019-06-17 半导体器件和消息图像信号输出方法 Active CN110626262B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018118017A JP2019220007A (ja) 2018-06-21 2018-06-21 半導体装置、メッセージ画像信号出力方法、およびプログラム
JP2018-118017 2018-06-21

Publications (2)

Publication Number Publication Date
CN110626262A CN110626262A (zh) 2019-12-31
CN110626262B true CN110626262B (zh) 2023-10-20

Family

ID=66912660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910521301.1A Active CN110626262B (zh) 2018-06-21 2019-06-17 半导体器件和消息图像信号输出方法

Country Status (4)

Country Link
US (1) US11440466B2 (zh)
EP (1) EP3588945B1 (zh)
JP (1) JP2019220007A (zh)
CN (1) CN110626262B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556839B (zh) * 2018-02-13 2021-09-28 本田技研工业株式会社 跨骑型车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202866A (ja) * 2008-01-31 2009-09-10 Yaskawa Electric Corp 移動体
CN103065500A (zh) * 2011-10-20 2013-04-24 通用汽车环球科技运作有限责任公司 公路并道辅助和控制
CN107851184A (zh) * 2015-07-28 2018-03-27 苹果公司 用于光和图像投影的系统和方法
CN107878301A (zh) * 2016-09-29 2018-04-06 法雷奥照明公司 用于通过机动车辆的投影系统投射图像的方法和相关联的投影系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP4720764B2 (ja) 2006-11-16 2011-07-13 株式会社デンソー 前照灯制御装置
DE102010034853A1 (de) * 2010-08-18 2012-02-23 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Kraftfahrzeug mit Digitalprojektoren
WO2012032644A1 (ja) * 2010-09-10 2012-03-15 Necディスプレイソリューションズ株式会社 画像投射装置および色補正方法
JP2016005923A (ja) 2014-06-20 2016-01-14 株式会社デンソー 車両用投射装置
CN115583191A (zh) 2015-01-13 2023-01-10 麦克赛尔株式会社 图像投影装置和图像投影方法
CN111993994B (zh) 2015-04-10 2024-09-03 麦克赛尔株式会社 图像投射装置和方法
WO2018180597A1 (ja) * 2017-03-31 2018-10-04 日本精機株式会社 注意喚起装置
WO2019058521A1 (ja) * 2017-09-22 2019-03-28 popIn株式会社 プロジェクタおよびプロジェクタシステム
FR3072531B1 (fr) * 2017-10-13 2021-01-29 Valeo Vision Procede et systeme ajustant selectivement des pixels, dans un module optique, pour rattraper des defauts geometriques dus aux tolerances de fabrication
GB2568748B (en) * 2017-11-28 2020-04-01 Jaguar Land Rover Ltd Projection apparatus
JP6642610B2 (ja) * 2018-03-22 2020-02-05 カシオ計算機株式会社 投影制御装置、投影装置、投影制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202866A (ja) * 2008-01-31 2009-09-10 Yaskawa Electric Corp 移動体
CN103065500A (zh) * 2011-10-20 2013-04-24 通用汽车环球科技运作有限责任公司 公路并道辅助和控制
CN107851184A (zh) * 2015-07-28 2018-03-27 苹果公司 用于光和图像投影的系统和方法
CN107878301A (zh) * 2016-09-29 2018-04-06 法雷奥照明公司 用于通过机动车辆的投影系统投射图像的方法和相关联的投影系统

Also Published As

Publication number Publication date
EP3588945B1 (en) 2022-04-13
EP3588945A3 (en) 2020-04-01
US20190389370A1 (en) 2019-12-26
JP2019220007A (ja) 2019-12-26
CN110626262A (zh) 2019-12-31
EP3588945A2 (en) 2020-01-01
US11440466B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
TWI814804B (zh) 距離測量處理設備,距離測量模組,距離測量處理方法及程式
US10766405B2 (en) Semiconductor device and message image output method
US9088737B2 (en) Method and device for visualizing the surroundings of a vehicle by fusing an infrared image and a visual image
EP2471691B1 (en) Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method
US10176543B2 (en) Image processing based on imaging condition to obtain color image
JP6289681B2 (ja) 撮像装置及び方法、並びにプログラム及び記録媒体
JP5435307B2 (ja) 車載カメラ装置
US20130202155A1 (en) Low-cost lane marker detection
US20200282921A1 (en) Systems and methods for low light vision through pulsed lighting
JP2012073927A (ja) 運転支援装置
CN110626262B (zh) 半导体器件和消息图像信号输出方法
JP7073769B2 (ja) 運転支援システム及び運転支援方法
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
US20220155459A1 (en) Distance measuring sensor, signal processing method, and distance measuring module
CN114053730B (zh) 游乐车及其行驶控制方法、装置、存储介质、终端
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP7460282B2 (ja) 障害物検出装置、障害物検出方法および障害物検出プログラム
US20230334672A1 (en) Information processing device, information processing system, and information processing method
JP2022104225A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2017200035A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR101030210B1 (ko) 자동차용 장애물 인식 시스템 및 그 방법
JP2024056563A (ja) 表示処理装置、表示処理方法、及び表示処理装置の作動プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant