CN116529103A - 图像投影系统以及图像投影方法 - Google Patents

Abstract

本发明提供图像投影系统以及图像投影方法，在各种行驶状况下都能够确保与背景重叠地投影的虚像的目视确认性。图像投影系统具备：透射反射部，由透光性的部件构成；图像投影部(10)，向透射反射部的内侧面照射包含图像信息的光，投影显示图像；外部状况拍摄部(50)，拍摄比透射反射部靠外部的状况作为外部图像；显示区域确定部(61)，确定外部图像中的显示图像投影的显示区域；图像判定部(62)，设定包括显示区域的判定区域，识别并分析外部图像中的判定区域内的图像；以及图像调整部(63)，基于图像判定部的分析结果调整图像信息。

Description

图像投影系统以及图像投影方法

技术区域

本发明涉及图像投影系统以及图像投影方法，尤其涉及对车辆内的驾驶员等显示图像的图像投影系统以及图像投影方法。

背景技术

近年来，计算机承担车辆的转向及加减速等驾驶操作的一部分或全部的驾驶辅助技术、自动驾驶技术的开发在不断发展。另外，即使在由人进行车辆驾驶操作的手动驾驶中，也开发了在车辆中搭载各种传感器、通信装置来获取车辆的状态及周边状况的信息，提高行驶时的安全性、舒适性的行驶辅助技术。

在这样的驾驶辅助技术、自动驾驶技术或行驶辅助技术中，将车辆的状态、周边状况、计算机的驾驶操作状况等得到的各种信息使用仪表类或显示装置提示给驾驶员。一直以来，为了提示各种信息，一般在车辆内的仪表类或显示装置显示文字或图像。

但是，如果通过车辆所具备的仪表类或显示装置提示信息，则驾驶员需要将视线从行驶方向前方移开来观察仪表类或显示装置，因此不优选。因此，为了在减小视线从车辆的前方移动的同时提示图像信息，提出了将图像投影到车辆的挡风玻璃，使反射的光可被目视确认的HUD(Head Up Display：平视显示器)装置(例如参照专利文献1)。

在以往的HUD装置中，目视确认从图像投影部经由挡风玻璃等透明的部件投影的虚像，实际空间的背景与虚像重叠。由此，驾驶员能够一边目视确认车辆外部的实际空间中的对象物，一边在同一视野范围内目视确认从图像投影部投影的各种信息(虚像)。

专利文献1：日本专利公开公报特开2019-119262号

发明内容

在以往的HUD装置中，为了确保与背景重叠地投影的虚像的目视确认性，通过光传感器等测定车辆外部的亮度，根据外界的亮度控制从图像投影部照射的光的强度。由此，使投影虚像的光的亮度在白天的明亮的环境下提高，在夜间的昏暗的环境下降低，从而将背景与虚像的对比度控制在适当的范围内。

但是，在上述以往的HUD装置中，在路面上的明暗切换的环境等中，车辆周围与背景的亮度未必一致，有可能产生目视确认性的降低。例如，在白天行驶时车辆在昏暗的隧道内行驶而接近隧道出口的情况、在夜间行驶时用前照灯照亮前方车辆的尾部的情况、在夜间的雨天行驶时来自对向车辆的前照灯的光被路面反射的情况下等，由于车辆周围较暗，所以来自图像投影部的光强度降低，与明亮的背景重叠，从而无法良好地确保目视确认性。

另外，即使在车辆周围与背景的亮度之差较小的情况下，根据车辆的行驶状态，投影虚像的光在与背景的对比中也不明显，虚像的目视确认性有可能降低。例如，在积雪路面上行驶的情况、在红叶时期的落叶散落在路面上的情况、在新绿的季节在山路上行驶的情况、在沿着海岸行驶的情况、在浓雾中行驶的情况下等，在与重叠虚像的区域或进入视界的背景的色调类似的光下的投影中，无法良好地确保目视确认性。

因此，本发明是鉴于上述现有的问题点而完成的，其目的在于提供一种在各种行驶状况下都能够确保与背景重叠地投影的虚像的目视确认性的图像投影系统以及图像投影方法。

为了解决上述课题，本发明的图像投影系统具备：透射反射部，由透光性的部件构成；图像投影部，向所述透射反射部的内侧面照射包含图像信息的光，投影显示图像；外部状况拍摄部，拍摄比所述透射反射部靠外部的状况作为外部图像；显示区域确定部，确定所述外部图像中的投影所述显示图像的显示区域；图像判定部，设定包括所述显示区域的判定区域，识别并分析所述外部图像中的所述判定区域内的图像；以及图像调整部，基于所述图像判定部的分析结果，调整所述图像信息。

在这样的本发明的图像投影系统中，通过外部状况拍摄部拍摄外部图像，基于分析判定区域内的图像而得的结果，调整显示图像并从图像投影部投影，因此，能够在各种行驶状况下确保与背景重叠地投影的虚像的目视确认性。

在本发明的一个实施方式中，具备多个所述显示区域以及所述判定区域。

在本发明的一个实施方式中，所述图像判定部取得所述判定区域内的亮度信息，所述图像调整部基于所述亮度信息调整所述图像信息的亮度。

在本发明的一个实施方式中，所述图像判定部取得所述判定区域内的色调信息，所述图像调整部基于所述色调信息调整所述图像信息的色调。

在本发明的一个实施方式中，所述图像判定部分析判定期间内的所述判定区域内的多个图像。

在本发明的一个实施方式中，所述图像判定部基于所述图像信息设定所述判定期间。

在本发明的一个实施方式中，所述图像投影系统具备状况取得部，该状况取得部取得外部的状况作为状况信息，所述图像判定部基于所述状况信息设定所述判定期间。

在本发明的一个实施方式中，所述外部状况拍摄部具备通过可见光拍摄可见光图像的可见光拍摄部以及通过红外光拍摄红外光图像的红外光拍摄部，所述外部图像包括所述可见光图像以及所述红外光图像。

在本发明的一个实施方式中，所述红外光拍摄部包括脉冲状地照射所述红外光的红外脉冲光源，在从所述红外脉冲光源的发光结束起经过了第一延迟时间之后，拍摄所述红外光图像。

在本发明的一个实施方式中，在从所述红外光图像的拍摄结束起经过了第二延迟时间之后，拍摄所述可见光图像。

在本发明的一个实施方式中，所述图像调整部将所述红外光图像的至少一部分与所述图像信息重叠。

在本发明的一个实施方式中，所述图像判定部基于所述可见光图像与所述红外光图像的差分提取特征区域，所述图像调整部将所述特征区域与所述图像信息重叠。

在本发明的一个实施方式中，所述红外光拍摄部与所述可见光拍摄部通过在一个图像传感器中混合存在可见光用子像素和红外光用子像素而构成。

在本发明的一个实施方式中，所述透射反射部是车辆的挡风玻璃。

另外，为了解决上述课题，本发明的图像投影方法包括：图像投影工序，向由透光性的部件构成的透射反射部的内侧面照射包含图像信息的光，投影显示图像；外部状况拍摄工序，拍摄比所述透射反射部靠外部的状况作为外部图像；显示区域确定工序，确定所述外部图像中的投影所述显示图像的显示区域；图像判定工序，设定包括所述显示区域的判定区域，识别并分析所述外部图像中的所述判定区域内的图像；以及图像调整工序，基于所述图像判定工序的分析结果调整所述图像信息。

本发明能够提供在各种行驶状况下都能够确保与背景重叠地投影的虚像的目视确认性的图像投影系统以及图像投影方法。

附图说明

图1是表示第一实施方式的图像投影系统的构成的示意图。

图2是表示第一实施方式的图像投影系统的构成的框图。

图3是表示在第一实施方式的图像投影系统中外部状况拍摄部50拍摄的外部图像与显示区域之间的关系的示意图。

图4是说明第一实施方式的图像投影方法的顺序的流程图。

图5是表示第二实施方式的图像投影系统的判定区域与显示区域之间的关系的示意图，图5的(a)表示设置在判定区域52内的多个显示区域53a～53c，图5的(b)表示与显示区域53a～53c对应的子判定区域54a～54c。

图6是表示第四实施方式的图像投影系统的构成的示意图。

图7是表示第四实施方式的图像投影系统的构成的框图。

图8是表示第四实施方式的图像投影系统的判定区域与显示区域之间的关系的示意图，图8的(a)表示可见光图像中的判定区域52a，图8的(b)表示红外光图像中的判定区域52b，图8的(c)表示可见光图像与红外光图像的比较图像52c，图8的(d)表示重叠了背景与虚像40的搭乘者e的视点图像52d。

图9是说明第四实施方式的图像投影方法的顺序的流程图。

图10是说明第四实施方式的脉冲发光与拍摄的时序图，图10的(a)表示红外脉冲光源50c的发光定时，图10的(b)表示红外光拍摄部50b的拍摄定时，图10的(c)表示可见光拍摄部50a的拍摄定时。

具体实施方式

(第一实施方式)

以下，参照附图详细说明本发明的实施方式。对各附图所示的相同或等同的构成要素、部件、处理标注相同的附图标记，并适当地省略重复的说明。图1是表示本实施方式的图像投影系统的构成的示意图。图2是表示本实施方式的图像投影系统的构成的框图。

如图1、图2所示，本实施方式的图像投影系统具备图像投影部10、投影光学部20、透射反射部30、外部状况拍摄部50以及信息处理部60，投影虚像40并在空间上成像。另外，信息处理部60与图像投影部10以及外部状况拍摄部50之间能够信息通信地连接。

图像投影部10是通过从信息处理部60供给包含图像信息的信号来照射包含图像信息的光并在规定位置形成虚像40的装置。从图像投影部10照射的光射入投影光学部20。作为图像投影部10，可以举出液晶显示装置、有机EL显示装置、微型LED示装置以及使用了激光光源的投影仪装置等。

投影光学部20是在离开规定的焦距的位置具有焦点的光学部件。从图像投影部10照射的光被投影光学部20反射而到达透射反射部30。在图1中示出了使用平面反射镜和凹面镜作为投影光学部20而将来自图像投影部10的光反射到透射反射部30的例子，但是也能够使用透射型透镜作为投影光学部20。另外，在图1中示出了从图像投影部10照射的光直接到达平面反射镜和凹面镜的投影光学部20的例子，但是也能够使用更多的平面反射镜等或多个凹面镜使反射光到达投影光学部20。

透射反射部30是透射来自外部的光并且向搭乘者e的方向反射从投影光学部20到达的光的部件。在将图像投影系统用于车辆用信息显示装置的情况下，能够将车辆的挡风玻璃作为透射反射部30使用。也可以与挡风玻璃分开地准备组合器，将组合器作为透射反射部30使用。另外，也可以将头盔的护罩、护目镜或眼镜作为透射反射部30使用。

虚像40是在被透射反射部30反射的光到达搭乘者e时被目视确认为在空间中成像的空中立体像。虚像40成像的位置由从图像投影部10照射的光被投影光学部20与透射反射部30反射后向搭乘者e方向行进时的扩展角度决定。

外部状况拍摄部50是将隔着透射反射部30而位于搭乘者e的相反侧(外部)的状况作为外部图像进行拍摄的装置。外部状况拍摄部50的构成没有限定，能够使用CCD(ChargeCoupled Device：电荷耦合器件)传感器、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)传感器等公知的拍摄装置。作为外部状况拍摄部50拍摄的外部图像，优选为能够以能够判别亮度、颜色的程度进行详细的灰度表现的彩色图像。

外部状况拍摄部50拍摄的方向是搭乘者e透过透射反射部30目视确认的外部方向，例如是车辆的行进方向(前方)。另外，作为搭载外部状况拍摄部50的位置，可以举出车辆的前面、车内等，但是优选在接近搭乘者e的视线方向的拍摄范围内进行拍摄，优选为搭乘者e的头顶、透射反射部30的上部附近、车辆的仪表板上等。另外，外部状况拍摄部50具备与信息处理部60之间进行信息通信的信息通信单元，将拍摄到的外部图像的信息传递到信息处理部60。

如图1所示，在本实施方式的图像投影系统中，从图像投影部10朝向投影光学部20照射包含图像信息的光。从图像投影部10射出的光被投影光学部20以及透射反射部30的内侧面反射，射入搭乘者e的眼睛。此时，从透射反射部30反射的光朝向搭乘者e扩展，搭乘者e目视确认为在比透射反射部30远的位置形成虚像40。另外，搭乘者e对于位于视线的延长线上的背景，也以重叠了虚像40的状态进行目视确认。同时，外部状况拍摄部50将透射反射部30的外部作为外部图像进行拍摄，将外部图像的数据发送到信息处理部60。另外，如后所述，在信息处理部60中，基于外部图像调整从图像投影部10投影的图像，提高目视确认性。

信息处理部60是按照规定的顺序处理各种信息的部分，是具备中央运算处理装置(CPU：Central Processing Unit)、存储器、外部存储装置以及各种接口的计算机。如图2所示，信息处理部60具备显示区域确定部61、图像判定部62、图像调整部63以及状况取得部64。这些各部通过CPU基于存储在信息处理部60的存储器与外部存储装置中的程序进行信息处理来实现。另外，信息处理部60具备与图像投影部10以及外部状况拍摄部50进行信息通信的信息通信单元(省略图示)。

显示区域确定部61是取得图像投影部10拍摄到的外部图像，并将外部图像中重叠地投影显示图像(虚像40)的区域确定为显示区域的部分。此处，作为显示区域确定部61确定显示区域的方法，能够根据外部状况拍摄部50的拍摄范围与从搭乘者e的视点位置开始的视野角的对应关系求出。更详细来说，将透射反射部30中被来自图像投影部10的光照射的位置作为照射位置，将从预先假定的搭乘者e的视点位置连结照射位置的直线作为视线向量计算。另外，预先记录外部状况拍摄部50的搭载位置与透射反射部30的相对位置关系，根据外部状况拍摄部50的拍摄范围与视线向量计算搭乘者e目视确认的背景和外部图像内的位置，确定显示区域。

图像判定部62是设定包括显示区域的判定区域、识别并分析外部图像中的判定区域内的图像的部分。搭乘者e将显示图像与背景重叠进行目视确认，因此，将比重叠虚像40的显示区域宽的范围作为判定区域。图像判定部62根据外部图像中的判定区域内的图像分析亮度和色调，作为亮度信息和色调信息而取得。所取得的亮度信息以及色调信息被传送到图像调整部63。关于亮度信息以及色调信息的分析将在后面叙述。

图像调整部63是基于图像判定部62的分析结果调整图像信息的部分。基于图像判定部62分析出的亮度信息以及色调信息，在从图像投影部10照射的显示图像的图像信息中调整亮度或色调。此处，图像信息的调整也可以是增减图像投影部10照射的光的光量、在从图像投影部10照射的光的路径中插入彩色滤光片等物理性的调整。另外，也可以对图像信息的数字数据实施图像处理，进行亮度、对比度、色调的变更、图像的合成。

状况取得部64是取得外部的状况作为状况信息并传送到各部的部分。作为状况取得部64取得的外部的状况，可以举出车辆的行驶速度、天气状况、车辆的位置信息、注意唤起对象物的存在、交通信息等。另外，作为取得这些状况的单元，可以举出车速传感器、GPS(Global Positioning System)装置、无线通信单元、导航系统、外部图像的图像识别等。

图3是表示在第一实施方式的图像投影系统中外部状况拍摄部50拍摄到的外部图像与显示区域之间的关系的示意图。在图3中示出了外部状况拍摄部50拍摄到的外部图像51，用实线框表示外部图像51内的判定区域52。另外，在判定区域52内设置有多个显示区域53a、53b、53c，向各显示区域53a、53b、53c作为显示图像的虚像40而投影图标。

此处，外部图像51如上述那样被计算与搭乘者e透过透射反射部30目视确认的背景的对应，外部图像51内的显示区域53a、53b、53c的位置和搭乘者e目视确认的背景与虚像40的重叠一致。因此，搭乘者e透过透射反射部30目视确认的背景和虚像40与图3所示的示意图相同。

搭乘者e透过透射反射部30观察车辆的前方，目视确认前方的路面、路肩的状况。此时，视线更集中的是搭乘位置的正面或透射反射部30(挡风玻璃)的中央附近。因此，图像判定部62设定的判定区域52包括显示区域53a、53b、53c，是包含到搭乘者e的正面以及透射反射部30的中央附近的区域。在本实施方式中，图像调整部基于判定区域的亮度信息、色调信息调整图像信息，在判定区域内重叠成像，从而提高虚像40的目视确认性。

图4是说明本实施方式的图像投影方法的顺序的流程图。在本实施方式的图像投影系统中，信息处理部60启动，将存储在外部存储装置中的程序读入存储器，通过CPU进行信息处理，从而执行显示区域确定部61、图像判定部62、图像调整部63以及状况取得部64的功能。另外，图像投影部10、外部状况拍摄部50以及其他各种装置与信息处理部60之间连接，进行各部的驱动控制和信息通信。

步骤S1是外部状况拍摄部50将比透射反射部30靠外部的状况作为外部图像进行拍摄的外部状况拍摄工序。信息处理部60驱动控制外部状况拍摄部50拍摄外部的状况并取得外部图像。在取得外部图像之后，转移到步骤S2。

步骤S2是从图像投影部10照射包含图像信息的光并在规定位置形成虚像40的图像投影工序。此处，在图像信息中包含将图像转换为数字数据的信息以及与亮度、色调相关的校正数据。图像投影部10基于图像信息中包含的图像的数字数据制作图像形状，基于校正数据的亮度、色调对所照射的光的亮度、色调进行控制。由此，以与图像信息对应的光的强度和色调从图像投影部10照射构成虚像40的光。在图像投影部10照射投影虚像40的光之后，转移到步骤S3。

步骤S3是将外部图像中重叠投影显示图像的区域确定为显示区域的显示区域确定工序。如上所述，显示区域确定部61根据外部状况拍摄部50的拍摄范围与搭乘者e的视野角的对应关系，求出外部图像中的显示区域。外部状况拍摄部50的拍摄范围可以根据外部状况拍摄部50的安装位置与透镜的光轴方向计算并预先存储，也可以通过图像识别等提取外部图像中包含的车辆的一部分，根据安装位置与图像识别出的车辆的一部分的相对位置关系计算。在显示区域确定部61在外部图像中确定显示区域之后，转移到步骤S4。

步骤S4是在外部图像中设定包括显示区域的判定区域并识别和分析判定区域内的图像的图像判定工序。图像判定部62将外部图像中包括显示区域的宽广区域设定为判定区域，分析判定区域内的图像而取得判定区域的亮度信息和色调信息。此处，判定区域的设定可以预先将透射反射部30中的与规定区域对应的区域作为判定区域进行记录，也可以由图像判定部62基于状况取得部64取得的状况设定。在图3所示的例子中，设定判定区域，以包括搭乘者e的视线容易集中的搭乘者e的正面以及透射反射部30的中央区域。

作为由图像判定部62取得亮度信息和色调信息的取得方法，可以举出如下方法：针对判定区域内包含的图像的每个像素确定亮度和颜色，计算判定区域整个区域的平均值作为亮度信息和色调信息。或者，在判定区域整个区域中对像素的亮度和色调进行等级划分，将相应的像素数最多的等级作为亮度信息和色调信息。另外，也可以通过机器学习对判定区域内的图像进行图像识别，计算亮度信息和色调信息。在图像判定部62取得判定区域内的亮度信息和色调信息之后，转移到步骤S5。

步骤S5是基于图像判定工序中的分析结果调整从图像投影部10投影的虚像40的图像信息的图像调整工序。图像调整部63基于图像判定部62分析判定区域而取得的亮度信息和色调信息，调整由图像投影部10投影的图像信息。由此，在图3表示的例子中，掌握判定区域52整体的亮度和色调，能够根据亮度和色调实现目视确认性高的虚像40的重叠。此处，判定区域52不是与车辆周围的亮度或色调一致，而是与实际上搭乘者e目视确认的外部的背景大致一致，因此能够根据现实的行驶状况确定虚像40的目视确认性。

作为一例，可以举出将判定区域的亮度信息分类为10级评价，调整与显示区域53a、53b、53c重叠的虚像40的光强度，以与亮度信息对应的对比度进行虚像40的投影。作为其他例子，可以举出以色相图或色度图对判定区域的色调信息进行分类，以成为补色的颜色进行虚像40的投影。

另外，通常可以举出以作为警告色的红色、黄色、视觉灵敏高的绿色进行虚像40的投影，在判定区域的色调信息是红色、黄色、绿色的情况下，切换成其他颜色的投影，以免背景与虚像40成为相同色系。另外，也可以预先将判定区域的色调与虚像40的显示颜色建立关联地存储，在积雪路面上判定区域的色调信息是白色的情况下用红色进行投影，在红叶或晚霞时色调信息为红色或橙色的情况下用绿色或蓝色进行投影等。

在图像调整部63调整从图像投影部10投影的图像信息并变更虚像40的亮度或色调之后，转移到步骤S6。

步骤S6是判断是否继续虚像40的投影的投影继续判断工序。在继续投影的情况下转移到步骤S1，在不继续的情况下停止从图像投影部10的虚像40的投影并结束。

如上所述，在本实施方式的图像投影系统以及图像投影方法中，通过外部状况拍摄部50拍摄外部图像，基于分析判定区域内的图像而得的结果，调整显示图像并从图像投影部10投影。由此，能够掌握搭乘者e实际上目视确认的视界范围内的背景与虚像40的重叠，即使在各种行驶状况下，也能够确保与背景重叠地投影的虚像40的目视确认性。

另外，通过与判定区域的亮度信息或色调信息对应地调整从图像投影部10投影的虚像40的图像信息，能够在各种状况下实时且适当地控制虚像40的投影，能够进一步提高虚像40的目视确认性。

(第二实施方式)

接着，参照图5说明本发明的第二实施方式。与第一实施方式重复的内容省略说明。图5是表示在本实施方式的图像投影系统中外部状况拍摄部50拍摄到的外部图像与显示区域之间的关系的示意图，图5的(a)表示设置在判定区域52内的多个显示区域53a～53c，图5的(b)表示与显示区域53a～53c对应的子判定区域54a～54c。

如图5的(a)、(b)所示，在本实施方式中，在判定区域52中存在多个显示区域53a～53c，以与各个显示区域53a～53c对应的位置和尺寸设定子判定区域54a～54c。此处，示出了在判定区域52的内部包括子判定区域54a～54c的例子，但也可以在判定区域52的外部设置显示区域53a～53c以及子判定区域54a～54c。

子判定区域54a～54c设定在与显示区域53a～53c对应的位置，分别被设定为内包显示区域53a～53c。另外，判定区域52与子判定区域54a～54c不是排他性地使用，而是各自独立地由图像判定部62设定并分析的对象。

在本实施方式中，在步骤S4的图像判定工序中，图像判定部62设定与各显示区域53a～53c对应的子判定区域54a～54c以及包括所有显示区域53a～53c的判定区域52。另外，图像判定部62针对判定区域52以及子判定区域54a～54c分别取得亮度信息和色调信息。

另外，在步骤S5的图像调整工序中，图像调整部63基于图像判定部62分析判定区域而取得的子判定区域54a～54c各自的亮度信息和色调信息，调整显示区域53a～53c各自的图像信息。此时，优选图像调整部63通过显示图像(虚像40)的图像处理单独地调整显示区域53a～53c的图像信息。

作为一例，基于各区域的亮度信息，在背景在显示区域53a、53b中较暗而在显示区域53c中较亮的情况下，进行图像处理，以使显示区域53c的亮度比显示区域53a、53b的亮度高。另外，基于各区域的色调信息，在背景的色调在显示区域53a、53b、53c中不同的情况下，进行图像处理，以改变各个显示区域53a、53b、53c的色调。另外，也可以不单独地使用子判定区域54a～54c的亮度信息和色调信息，而将包括判定区域52在内的多个亮度信息和色调信息建立关联来调整图像信息。

在本实施方式中，通过针对多个子判定区域54a～54c分别掌握亮度和色调，在各显示区域53a～53c中分别调整亮度和色调，即使在各种行驶状况下，也能够确保与背景重叠地投影的虚像40的目视确认性。

(第三实施方式)

接着，说明本发明的第三实施方式。与第一实施方式重复的内容省略说明。在第一实施方式中，基于图像投影部10拍摄到的一张外部图像进行图像信息的调整，但在本实施方式中，在拍摄多张外部图像并进行图像信息的调整这点上不同。

在本实施方式中，在步骤S1的外部状况拍摄工序中，外部状况拍摄部50在每单位时间拍摄多张外部图像。例如，1秒钟拍摄5张或3秒钟拍摄20张等，单位时间和拍摄张数没有限定。步骤S2的图像投影工序和步骤S3的显示区域确定工序与第一实施方式相同。

在步骤S4的图像判定工序中，与第一实施方式同样，图像判定部62针对多张外部图像设定判定区域，针对在预先确定的判定期间内拍摄到的多个外部图像，分别分析判定区域内的图像而取得作为代表的亮度信息以及色调信息。例如，可以举出针对每一张外部图像从判定区域取得亮度信息和色调信息，以过去1秒钟内取得的亮度信息和色度信息的平均值为代表的方法。

在步骤S5的图像调整工序中，基于在图像判定工序中取得的代表性的亮度信息和色调信息，进行图像信息的调整以及从图像投影部10的光照射。步骤S6的投影继续判断工序也与第一实施方式同样地执行。在图4中，示出了作为步骤S2而在外部状况拍摄工序之后执行图像投影工序的例子，但是也可以在步骤S5的图像调整工序后执行图像投影工序。另外，对于其他工序，也可以适当地调换执行的顺序。

在本实施方式的图像投影系统以及图像投影方法中，由于从在判定期间内拍摄的多张外部图像取得作为代表的亮度信息以及色调信息，所以能够在以判定期间内的移动平均值平缓的变化下调整图像信息。由此，在例如林荫道上行驶时在路面上散布树木的影子那样的、判定区域内的背景暂时急剧地变化的状况下，能够抑制虚像40的亮度或色调急剧地变化。

如果虚像40的亮度、色调急剧地变化，则搭乘者e目视确认为虚像40闪烁，目视确认性反而降低。因此，通过基于在判定期间内拍摄的多张外部图像进行图像信息的调整，能够在各种状况下更加适当地调整虚像40的图像信息，能够提高虚像40的目视确认性。

(第三实施方式的变形例)

在第三实施方式中，预先确定了判定期间，但是也可以根据条件可变地设定判定期间。例如，也可以在多张外部图像中，计算亮度信息和色调信息的变化周期，根据变化周期设定判定期间。

另外，也可以基于作为虚像40投影的图像信息的内容设定判定期间。例如，将作为虚像40投影的图像按照紧急性进行等级划分，根据等级设定判定期间。在投影迅速地向搭乘者e提示信息的必要性较高的图像的情况下，优选缩短判定期间而瞬时地提高虚像40的目视确认性。

另外，也可以从状况取得部64取得外部的状况作为状况信息，基于状况信息设定判定期间。例如，作为状况取得部64使用车速传感器，作为状况信息取得车辆的行驶速度，根据行驶速度设定判定期间。由此，能够在高速行驶时缩短判定期间而立即反映图像信息的调整，在低速行驶时延长判定期间而缓慢地进行图像信息的调整。

在本变形例中，由于根据条件可变地设定判定期间，所以能够灵活地应对状况的变化，提高虚像40的目视确认性。

(第四实施方式)

接着，参照图6～图10说明本发明的第四实施方式。与第一实施方式重复的内容省略说明。图6是表示本实施方式的图像投影系统的构成的示意图。图7是表示本实施方式的图像投影系统的构成的框图。

如图6、7所示，本实施方式的图像投影系统具备图像投影部10、投影光学部20、透射反射部30、外部状况拍摄部50以及信息处理部60，投影虚像40并在空间上成像。另外，信息处理部60与图像投影部10以及外部状况拍摄部50之间可以进行信息通信地连接。在本实施方式中，外部状况拍摄部50具备可见光拍摄部50a、红外光拍摄部50b以及红外脉冲光源50c。

可见光拍摄部50a是经由透射反射部30以可见光拍摄外部的状况而取得可见光图像的拍摄装置。红外光拍摄部50b是经由透射反射部30以红外光拍摄外部的状况而取得红外光图像的拍摄装置。可见光拍摄部50a以及红外光拍摄部50b的构成没有限定，能够使用CCD传感器或CMOS传感器等公知的拍摄装置。

在图6中示出了将可见光拍摄部50a与红外光拍摄部50b分体设置的例子，但是也可以在CCD传感器或CMOS传感器等的一个图像传感器中，混合存在可见光用子像素和红外光用子像素。具体而言，也可以构成为在一个像素中设置四个以上的子像素，在三个子像素中配置RGB的彩色滤光片，在一个子像素中不配置彩色滤光片。由此，能够通过设置有RGB彩色滤光片的子像素构成可见光拍摄部50a、通过未设置彩色滤光片的子像素构成红外光拍摄部50b，能够通过一个图像传感器拍摄可见光图像和红外光图像。

红外脉冲光源50c是脉冲状地发出红外光的光源装置。红外脉冲光源50c的构成没有限定，但是为了良好地发出波长宽度和脉冲宽度小的脉冲光，优选脉冲驱动红外激光光源。

在本实施方式中，通过红外脉冲光源50c朝向外部发出红外脉冲光，红外光拍摄部50b能够利用反射来的红外脉冲光拍摄红外光图像。在可见光拍摄部50a中，能够与通常的拍摄同样地接收自然光或前照灯的可见光而拍摄可见光图像。外部状况拍摄部50将包括可见光图像与红外光图像的外部图像传送到信息处理部60。

图8是表示本实施方式的图像投影系统的判定区域与显示区域之间的关系的示意图，图8的(a)表示可见光图像的判定区域52a，图8的(b)表示红外光图像的判定区域52b，图8的(c)表示可见光图像与红外光图像的比较图像52c，图8的(d)表示重叠了背景与虚像40的搭乘者e的视点图像52d。图9是说明本实施方式的图像投影方法的顺序的流程图。图10是说明本实施方式的脉冲发光与拍摄的时序图，图10的(a)表示红外脉冲光源50c的发光定时，图10的(b)表示红外光拍摄部50b的拍摄定时，图10的(c)表示可见光拍摄部50a的拍摄定时。本实施方式的图像投影方法从步骤S11开始按照以下的顺序执行。

步骤S11是从红外脉冲光源50c向外部照射红外脉冲光的红外脉冲发光工序。如图10的(a)所示，信息处理部60控制红外脉冲光源50c向外部照射规定脉冲宽度的红外光，转移到步骤S12。

步骤S12是通过红外光拍摄部50b拍摄红外光图像的红外图像拍摄工序。如图10的(b)所示，信息处理部60在从红外脉冲光源50c发光结束起经过了ΔT1(第一延迟时间)的定时向红外光拍摄部50b发送快门控制的信号，利用被背景反射来的红外光拍摄红外光图像。在拍摄红外光图像之后，转移到步骤S13。

步骤S13是通过可见光拍摄部50a拍摄可见光图像的可见光图像拍摄工序。如图10的(c)所示，信息处理部60在从红外光拍摄部50b的红外光图像拍摄结束起经过了ΔT2(第二延迟时间)的定时向可见光拍摄部50a发送快门控制的信号，利用被背景反射来的可见光拍摄可见光图像。在拍摄可见光图像之后，转移到步骤S14。另外，ΔT1(第一延迟时间)与ΔT2(第二延迟时间)可以是相同的时间。另外，也可以不设置ΔT2(第二延迟时间)，在可见光图像的拍摄过程中执行红外光图像的拍摄。

在步骤S12中拍摄到的红外光图像与在步骤S13中拍摄到的可见光图像被传送到信息处理部60，作为包含可见光图像与红外光图像的外部图像进行信息处理。此处，由于从步骤S11到步骤S13是拍摄外部图像中包含的红外光图像与可见光图像的工序，所以相当于本申请发明的外部状况拍摄工序。

如图8的(a)所示，由于可见光图像是由可见光拍摄部50a接收可见光而拍摄的图像，所以有时在来自背景的可见光不充分的区域(图中左侧)中无法得到清晰的外部图像。在仅是曝光不足的情况下，也可以进行外部图像的曝光校正，但是根据雨或浓雾等气象条件，无法拍摄背景，从而无法进行校正。另外，由于在通过曝光校正得到的图像中噪声增加，所以难以得到清晰的图像。

与此相对，在图8的(b)所示的红外光图像中，由于拍摄从红外脉冲光源50c照射的脉冲光的反射，所以通过在从脉冲光的照射到反射光返回为止的时间内关闭红外光拍摄部50b的快门，能够清晰地拍摄背景。另外，通过从红外脉冲光源50c的发光开始在多个定时关闭红外光拍摄部50b的快门，使得到的多张图像重叠，由此能够清晰地拍摄不同距离的背景作为红外光图像。

步骤S14是从图像投影部10照射包含图像信息的光、在规定位置形成虚像40的图像投影工序。在投影虚像40之后转移到步骤S15。步骤S15是将外部图像中重叠地投影显示图像的区域确定为显示区域的显示区域确定工序。在本实施方式中，基于在后述的图像判定工序以及特征区域提取工序中提取出的比较图像52c，确定要投影的虚像40的照射位置和内容，因此将能够投影虚像40的区域预先设定为显示区域。在显示区域确定部61在外部图像中确定了显示区域之后，转移到步骤S16。

步骤S16是在外部图像中设定包括显示区域的判定区域、识别并分析判定区域内的图像的图像判定工序。在本实施方式中，由于将有可能照射虚像40的区域作为显示区域，所以图像判定部62将显示区域的整个区域设定为判定区域，转移到步骤S17。

步骤S17是基于可见光图像与红外光图像的差分提取特征区域的特定区域提取工序。搭乘者e实际上目视确认的背景与作为可见光图像而拍摄的背景相同，因此，搭乘者e无法识别可见光不充分的区域的背景。另外，红外光图像作为黑白图像取得，因此，搭乘者e难以从背景识别注意唤起的对象。因此，在本实施方式中，图像判定部62将图8的(a)的可见光图像的判定区域52a与图8的(b)的红外光图像的判定区域52b比较来进行分析。

图8的(c)是在判定区域52a与判定区域52b中比较可见光图像和红外光图像并提取差分作为特征区域55的比较图像52c。在比较图像52c中，除去在可见光图像与红外光图像的双方拍摄的背景部分，而仅包含特征区域55。在图像判定部62取得比较图像52c和特征区域55之后，转移到步骤S18。

步骤S18是基于图像判定工序以及特征区域提取工序中的分析结果，调整从图像投影部10投影的虚像40的图像信息的图像调整工序。图像调整部63将图像判定部62提取出的特征区域55与图像信息重叠地合成，从图像投影部10投影。另外，也可以为，图像判定部62对可见光图像的判定区域52a与第一实施方式同样地取得亮度信息以及色调信息，图像调整部63调整特征区域55的亮度以及色调。

此时，特征区域55的照射位置设定为，使得红外光图像中的位置、可见光图像中的位置以及来自搭乘者e的视界位置一致。由此，如图8的(d)所示，从搭乘者e的视点位置观察的视点图像52d是在背景上重叠了特征区域55的图像，能够将仅通过可见光难以目视确认的对象物提示给搭乘者e。另外，对于与现实的背景重叠的特征区域55的虚像40，通过调整亮度、色调，与直接投影红外光图像相比，能够提高目视确认性。

步骤S19是判断是否继续虚像40的投影的投影继续判断工序。在继续投影的情况下转移到步骤S1，在不继续的情况下停止从图像投影部10的虚像40的投影而结束。在图9中示出了在可见光图像拍摄工序之后作为步骤S14执行图像投影工序的例子，但是也可以在步骤S18的图像调整工序之后执行图像投影工序。另外，对于其他工序，也可以适当地调换执行的顺序。

如上所述，在本实施方式的图像投影系统以及图像投影方法中，通过外部状况拍摄部50拍摄包含可见光图像与红外光图像的外部图像，基于分析判定区域内的图像而得的特征区域55调整显示图像并从图像投影部10投影。由此，对于视听者e肉眼难以目视确认的对象，也能够重叠背景与虚像40进行提示。

另外，通过与判定区域的亮度信息或色调信息对应地调整从图像投影部10投影的虚像40的图像信息，能够在各种状况下实时且适当地控制虚像40的投影，从而能够进一步提高虚像40的目视确认性。

本发明并不限定于上述各实施方式，可以在权利要求所示的范围内进行各种变更，将不同实施方式中分别公开的技术手段适当地组合而得到的实施方式也包含在本发明的技术范围内。

本国际申请主张基于2020年12月14日提出的日本专利申请特愿2020-206894号的优先权，将该日本国专利申请特愿2020-206894号的全部内容援引在本国际申请中。

关于本发明的特定实施方式的上述说明是以例示为目的而提出的。这些说明并非旨在穷举或将本发明限制为记载的实施方式本身。对于本领域技术人员而言，显然可以参照上述的记载内容而进行大量的变形和变更。

附图标记说明

10：图像投影部；20：投影光学部；30：透射反射部；40：虚像；50：外部状况拍摄部；60：信息处理部；50a：可见光拍摄部；50b：红外光拍摄部；50c：红外脉冲光源；51：外部图像；52、52a、52b：判定区域；52c：比较图像；52d：视点图像；53a～53c：显示区域；54a～54c：子判定区域；55：特征区域；61：显示区域确定部；62：图像判定部；63：图像调整部；64：状况取得部。

Claims (15)

1.一种图像投影系统，其特征在于，具备：

透射反射部，由透光性的部件构成；

图像投影部，向所述透射反射部的内侧面照射包含图像信息的光，投影显示图像；

外部状况拍摄部，拍摄比所述透射反射部靠外部的状况作为外部图像；

显示区域确定部，确定所述外部图像中的投影所述显示图像的显示区域；

图像判定部，设定包括所述显示区域的判定区域，识别并分析所述外部图像中的所述判定区域内的图像；以及

图像调整部，基于所述图像判定部的分析结果，调整所述图像信息。

2.根据权利要求1所述的图像投影系统，其特征在于，

具备多个所述显示区域以及所述判定区域。

3.根据权利要求1或2所述的图像投影系统，其特征在于，

所述图像判定部取得所述判定区域内的亮度信息，

所述图像调整部基于所述亮度信息调整所述图像信息的亮度。

4.根据权利要求1至3中任一项所述的图像投影系统，其特征在于，

所述图像判定部取得所述判定区域内的色调信息，

所述图像调整部基于所述色调信息调整所述图像信息的色调。

5.根据权利要求1至4中任一项所述的图像投影系统，其特征在于，

所述图像判定部分析判定期间内的所述判定区域内的多个图像。

6.根据权利要求5所述的图像投影系统，其特征在于，

所述图像判定部基于所述图像信息设定所述判定期间。

7.根据权利要求5或6所述的图像投影系统，其特征在于，

所述图像投影系统具备状况取得部，该状况取得部取得外部的状况作为状况信息，

所述图像判定部基于所述状况信息设定所述判定期间。

8.根据权利要求1至7中任一项所述的图像投影系统，其特征在于，

所述外部状况拍摄部具备通过可见光拍摄可见光图像的可见光拍摄部以及通过红外光拍摄红外光图像的红外光拍摄部，

所述外部图像包括所述可见光图像以及所述红外光图像。

9.根据权利要求8所述的图像投影系统，其特征在于，

所述红外光拍摄部具备脉冲状地照射所述红外光的红外脉冲光源，

在从所述红外脉冲光源的发光结束起经过了第一延迟时间之后，拍摄所述红外光图像。

10.根据权利要求9所述的图像投影系统，其特征在于，

在从所述红外光图像的拍摄结束起经过了第二延迟时间之后，拍摄所述可见光图像。

11.根据权利要求8至10中任一项所述的图像投影系统，其特征在于，

所述图像调整部将所述红外光图像的至少一部分与所述图像信息重叠。

12.根据权利要求11所述的图像投影系统，其特征在于，

所述图像判定部基于所述可见光图像与所述红外光图像的差分提取特征区域，所述图像调整部将所述特征区域与所述图像信息重叠。

13.根据权利要求8至12中任一项所述的图像投影系统，其特征在于，

所述红外光拍摄部与所述可见光拍摄部通过在一个图像传感器中混合存在可见光用子像素和红外光用子像素而构成。

14.根据权利要求1至13中任一项所述的图像投影系统，其特征在于，

所述透射反射部是车辆的挡风玻璃。

15.一种图像投影方法，其特征在于，包括：

图像投影工序，向由透光性的部件构成的透射反射部的内侧面照射包含图像信息的光，投影显示图像；

外部状况拍摄工序，拍摄比所述透射反射部靠外部的状况作为外部图像；

显示区域确定工序，确定所述外部图像中的投影所述显示图像的显示区域；

图像判定工序，设定包括所述显示区域的判定区域，识别并分析所述外部图像中的所述判定区域内的图像；以及

图像调整工序，基于所述图像判定工序的分析结果调整所述图像信息。