CN114201084A - 车辆界面操作 - Google Patents

Abstract

本公开提供了“车辆界面操作”。一种计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：将图标投影到具有图案的表面上，捕获所述图标和所述图案的图像，识别所述图像中的所述图案与默认图案之间的变化，基于相对于所述默认图案的所述变化来识别用户输入，以及基于所述用户输入来致动部件。

Description

车辆界面操作

技术领域

本公开总体上涉及车辆用户界面。

背景技术

车辆可以包括供用户控制车辆中的部件的界面。例如，车辆可以包括触摸屏显示器，所述触摸屏显示器呈现用户可以例如通过用手指触摸来选择以控制车辆中的特征的图像(图标、虚拟按钮等)。例如，图像可以包括针对车辆中的气候控制的设置。在另一个示例中，图像可以包括针对车辆中的娱乐的选项。在向触摸屏显示器提供输入后，计算机致动一个或多个部件以提供用户请求的输出。

发明内容

现代车辆可以包括可定制的用户界面。这些用户界面可以随时间升级和改变。一些用户可能更喜欢具有更少可见和/或突出的物理按钮和/或更少具有静态功能(即，专用于一个功能)或静态物理存在(即，始终物理存在)的按钮的简化车辆内部。该偏好在将用户连接到人机界面(HMI)(即，用户向其提供输入以操作一个或多个车辆部件的机器、系统或装置)的用户界面或仪表板中具有特定应用。

用户可以向HMI提供不同类型的输入以操作部件。例如，用户可以提供压缩输入，就像按下物理按钮一样。在另一个示例中，用户可以提供旋转输入，就像旋转物理刻度盘一样。可以检测这些不同类型的输入的表面允许车辆计算机根据用户的意图来操作部件。当接收到用户输入时，以隐形墨水绘制到表面上的图案可以变形。变形基于用户提供的特定类型的输入而变化。相机可以检测图案的变形，并且计算机可以基于检测到的变形来识别用户输入。基于用户输入，计算机可以致动部件。提供可以检测不同类型的用户输入的HMI允许用户向具有可定制界面的部件提供输入，并且允许计算机比不能区分不同类型的用户输入的常规HMI更好地识别特定用户意图。

附图说明

图1是用于操作车辆的部件的示例性系统的图示。

图2A是用户向表面提供输入以操作部件的视图。

图2B是来自用户输入的施加到表面的力的视图。

图3A至图3E是将图标投影到表面上以供用户输入的投影仪的示例性视图。

图4是指示由施加到应变计的力引起的图案变化的示例性应变计的图示。

图5是用于收集表面的图像的相机的示例性滤色器阵列的图示。

图6是在特定温度下表面的材料属性的图表。

图7是用于操作车辆的部件的示例性过程的图示。

具体实施方式

图1示出了用于操作车辆105的部件的示例性系统100。车辆105中的计算机110被编程为从一个或多个传感器115接收收集的数据。例如，车辆105的数据可包括车辆105的位置、关于车辆周围的环境的数据、关于车辆外部的对象(诸如另一车辆)的数据等。车辆105的位置通常以常规形式提供，所述形式为例如经由使用全球定位系统(GPS)的导航系统获得的地理坐标(诸如纬度和经度坐标)。数据的另外示例可包括车辆105的系统和部件的测量值，例如车辆105的速度、车辆105的轨迹等。

计算机110通常被编程为在车辆105网络上进行通信，所述网络例如包括常规车辆105的通信总线(诸如CAN总线、LIN总线等)和/或其他有线和/或无线技术(例如以太网、WIFI等)。经由网络、总线和/或其他有线或无线机制(例如车辆105中的有线或无线局域网)，计算机110可以向车辆105中的各种装置(例如控制器、致动器、传感器等，包括传感器115)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算机110实际上包括多个装置的情况下，车辆网络可用于在本公开中表示为计算机110的装置之间的通信。例如，计算机110可以是具有如上所述的处理器和存储器的通用计算机，和/或可包括专用电子电路，所述专用电子电路包括为特定操作而制造的ASIC，例如用于处理传感器数据和/或传送传感器数据的ASIC。在另一个示例中，计算机110可以包括FPGA(现场可编程门阵列)，该FPGA是被制造为可由用户配置的集成电路。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)之类的硬件描述语言来描述诸如FPGA和ASIC之类的数字和混合信号系统。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件可以基于例如存储在电连接到FPGA电路的存储器中的VHDL编程来配置。在一些示例中，处理器、ASIC和/或FPGA电路的组合可以包括在计算机110中。

另外，计算机110可以被编程用于与网络125进行通信，如下所述，所述网络可以包括各种有线和/或无线联网技术，例如蜂窝、

低功耗(BLE)、有线和/或无线分组网络等。

存储器可以是任何类型，例如，硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。存储器可存储从传感器115发送的所收集数据。存储器可以是与计算机110分离的装置，并且计算机110可经由车辆105中的网络(例如，通过CAN总线、无线网络等)检索由存储器存储的信息。替代地或另外，存储器可以是计算机110的一部分，例如作为计算机110的存储器。

传感器115可以包括多种装置。例如，车辆105中的各种控制器可充当传感器115以经由车辆105网络或总线提供数据，例如与车辆速度、加速度、位置、子系统和/或部件状态等有关的数据。此外，其他传感器115可包括相机、运动检测器等，即，用于提供数据以评估部件的位置、评估道路的坡度等的传感器115。传感器115还可包括但不限于短程雷达、远程雷达、激光雷达和/或超声波传感器。

所收集的数据可包括在车辆105中收集的多种数据。上面提供了所收集的数据的示例，并且此外，数据通常使用一个或多个传感器115来收集，并且可另外包括在计算机110中和/或在服务器130处根据其计算出的数据。通常，所收集的数据可以包括可由传感器115采集的和/或根据此类数据计算出的任何数据。

车辆105可以包括多个车辆部件120。在这种背景下，每个车辆部件120包括一个或多个硬件部件，所述一个或多个硬件部件适于执行机械功能或操作——诸如使车辆105移动、使车辆105减慢或停止、使车辆105转向等。部件120的非限制性示例包括：推进部件(包括例如内燃发动机和/或电动马达等)、传动部件、转向部件(例如，可以包括方向盘、转向齿条等中的一者或多者)、制动部件、停车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等等。部件120可以包括计算装置，例如，电子控制单元(ECU)等和/或诸如以上关于计算机110描述的计算装置，并且它们同样经由车辆105网络进行通信。

车辆105可以以完全自主模式、半自主模式或非自主模式中的一者进行操作。完全自主模式被定义为其中车辆105的推进(通常经由包括电动马达和/或内燃发动机的动力传动系统进行)、制动和转向中的每一者都由计算机110控制的模式。半自主模式是其中车辆105的推进(通常经由包括电动马达和/或内燃发动机的动力传动系统进行)、制动和转向中的至少一者至少部分地由计算机110而不是人类操作员控制的模式。在非自主模式(即，手动模式)下，车辆105的推进、制动和转向由人类操作员控制。

系统100还可包括连接到服务器130的网络125。计算机110还可被编程为经由网络125与诸如服务器130的一个或多个远程站点通信，这种远程站点可能包括处理器和存储器。网络125表示车辆计算机110可以通过其与远程服务器130进行通信的一种或多种机制。因此，网络125可以是各种有线或无线通信机制中的一种或多种，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望的组合以及任何期望的网络拓扑结构(或当使用多种通信机制时的多种拓扑结构)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用

低功耗(BLE)、IEEE 802.11、车辆对车辆(V2V)诸如专用短程通信(DSRC)等)、局域网(LAN)和/或包括互联网的广域网(WAN)。

图2A至图2B示出了投影仪组件200的视图。该投影仪组件200包括投影仪205。投影仪205将图标210投影在选定表面215上。“图标”210是用户可以向其提供输入的表面215上的图像。例如，图标210可以是由投影仪205投影到表面215上的可见图像。投影图标210可以是静态图像(即，不随时间变化的图像)或动态图像(即，随时间变化的图像)。动态图像的改变可以包括例如图像改变颜色、图像闪烁、图像改变文本等。在另一个示例中，图标210可以是画到或贴到表面215的可见图像，例如贴花或描画的图像。图标210可以是多边形(例如，方形按钮、圆形刻度盘、三角形箭头等)、一组文本字符等。投影仪205可以将可见图标210投影在表面215上，即，可见光范围内的光。表面215可以是例如仪表板、门板等的表面。也就是说，表面215是用户的手可触及的车辆105的内部的一部分。替代地或另外地，投影仪205可以投射例如可以与表面215或表面215内的图案220反应的其他波长的近红外、紫外和光辐射。也就是说，人眼可以看到波长在约400纳米(nm)(视为紫色)至约700nm(视为红色)之间的光辐射，即，“可见光范围”。低于400nm或高于700nm的光辐射是人眼不可见的，因此不在可见光范围内。

图案220可以嵌入在表面215上。“图案”220是表面215上的用户在向图标210提供输入时扰动的预定图画或图像。例如，图案220可以是例如点阵、平铺的正方形、平铺的六边形、平铺的三角形、一组文本字符等。表面215上的图案220是“默认的”图案220，即，不因用户输入而变形的图案220。也就是说，当用户向表面215提供输入时，所述输入引起默认图案220的变化。

图案220可用隐形墨水(即，不反射可见光范围内的光的墨水)写入。如已知的隐形墨水可在UV范围内低于400nm且在IR范围内高于700nm的波长下发出荧光。“发荧光”是在吸收第二波长的电磁波后发射第一波长的电磁波。例如，隐形墨水可以在吸收UV范围内的电磁波后发射可见光范围内的电磁波。替代地或另外地，投影仪205可以用UV光、可见光或IR光将图案220投影到表面215上。例如，投影仪205可以是垂直腔面发射激光器(VCSEL)发光二极管(LED)，其将一致地间隔开的点投射为表面215上的图案220。在这样的示例中，投影仪205可以在表面215上呈现可见光图标210，同时还投影用户将不可见的近红外(“NIR”)范围内的图案220。NIR图案220可以是例如点阵。这种图案220可以由相机115检测，所述相机被编程为检测NIR范围内的光以计算表面215的三维深度，如下所述。计算机110可以将表面215的深度与对图案220的变形的检测相结合，以比使用二维图像更准确地检测用户输入。

除了隐形墨水涂层之外，还可以使用用于制造“不可见”图案220的其他涂层和工艺。例如，压致变色墨水和涂层可用于隐形墨水图案220。压致变色墨水和涂层是在压力(冲击、撞击、应变)下改变颜色的材料。计算机110可以将颜色的变化与HMI上的输入选择相关联。在另一个示例中，表面215可以是透光的。透光表面215可以具有在相机115看来表现为图案220的IR或UV光谱中的背光。替代地或另外地，图案220可以是例如在拉伸时发射强荧光的发光力致变色(LM)涂层、当施加附加的力时在两个或更多个颜色之间变化(例如，从绿色至黄色然后至橙色)的颜色改变力致变色(CAM)涂层，和/或加密力致变色(EM)涂层，所述EM涂层是包含刚性薄膜和衬底的双层系统，所述双层系统可以在施加力时可逆地显露和隐藏图案220。表面215的柔软、柔性、弹性材料允许相机115跟踪图案220(例如，利用可见光、红外(IR)或紫外(UV)检测相机或相机滤镜)，并且计算机110可以检测由向图标210的输入引起的表面215的材料状态的变形或变化。因此，当用户向表面215提供输入时，所述输入导致默认图案220的变化，例如颜色变化、形状变化、亮度变化、第二图案220显露等。

投影仪组件200可以包括一个或多个相机115。相机115可以检测来自用户对图标210中的一个的输入。相机115可以被设计成捕获一个或多个波长的光，例如红外光、近红外光、紫外光和/或可见光辐射。滤色器阵列可以过滤相机115上的每个像素的单独波长，如下所述。相机115可包括可检测IR和/或UV光以检测表面215上的图案220的一个或多个相机115。替代地或另外地，当用户向表面215施加力时，相机115可以检测表面215上的该背光图案220的变化。

投影仪组件200可以包括单个相机115或多个相机115。例如，一些车辆105包括用于监测用户的警觉性和状态的车载相机115。在其他应用中，一些车辆105可以包括一个以上的车载相机115以用于手势识别。计算机110可以使用来自车载相机115的数据来监测用户与表面215和图案220上的投影图标210的交互。例如，投影仪组件可以包括两个单独的相机115，一个相机115是可见光相机115，而另一个相机115传感器是具有阻挡在接近可见光范围的IR范围内的指定波长范围(例如，750-1000mm)之外的光的近红外(NIR)滤光器的相机115。可见光相机115可以适合于检测用户的手或手指的位置，并且另一相机115的NIR滤光器可以适合于检测检测图案220中的变形。也就是说，计算机110可以基于从手指收集的热数据来识别提供用户输入的用户的手指。手指可以阻挡来自表面215的NIR范围内的电磁波(即，“NIR波”)的传输。计算机110可以根据在表面215和手指的NIR范围内收集的数据来识别表面215的与表面的其他部分相比发射更少的NIR波的一部分。计算机110可以将发射更少的NIR波的部分识别为手指接触表面215的部分，即，识别为对表面215的部分处的图标的用户输入。

图案220可以沿着表面215一致地间隔开，即，表面215上的图案220的任何两个部分之间的间隔可以是基本上类似的。也就是说，如果表面215具有曲率，则计算机110的存储器可以包括表面215的曲率的数字示意图并且可以检测弯曲表面215的变形。在表面215是弯曲的应用中，VCSEL投影仪205可以针对弯曲表面215投射检测图案220。当用户在投影图标210处向表面215提供物理输入(即，触摸)时，使表面215变形，检测图案220中的相应点之间的距离改变。计算机110可以基于表面215的表面几何形状将图像处理技术应用于检测图案220的变化，从而确定对图标210的用户输入。

除了表面215的变形之外，VCSEL投影仪205和相机115还可以测量到表面215的深度。在这种背景下，“深度”是相机115与表面215之间的距离的量度。计算机110可以使用三维表面215上的投影点检测图案220来获得用户的手相对于表面215上的投影图标210的三维位置。计算机110可以使用二维表面215上的隐形墨水点检测图案220和三维表面215上的投影点检测图案220两者来获得用户的手和施加到表面215上的一个或多个图标210的对应力的三维位置。检测用户的手允许计算机110识别由用户执行的手势。在这种背景下，“手势”是与指定的用户输入相关的手的指定移动。例如，手势可以是与娱乐控制器的音量设置的变化相关的手指的旋转。在另一个示例中，手势可以是在向图标210施加力之前朝向图标210的手指移动，其与向图标210提供输入相关。在另一个示例中，通过组合三维手位置和表面215的变形，可以单独地检测由各个手指施加的各个力。然后，计算机110可以检测来自每个手指的用户输入。

投影仪组件200可以包括深度感测相机115，以减少对图标210的输入的误报检测。对图标210的输入的“误报”检测是当用户尚未向图标210提供输入时计算机110确定用户已向图标210提供输入。例如，图案220可以看起来改变，从而指示表面215的变形，但是深度感测相机115可能无法在距图标210的指定距离阈值内检测到用户的手的存在。当用户的手不在距离阈值内时，计算机110可以忽略表面215的这些明显变形，从而抑制一个或多个部件120的致动。

如已知的，用于检测误报检测的数据处理技术可以用于使用常规的传感器融合技术和算法(例如，卡尔曼滤波器、粒子滤波器、KL散度等)来改进检测和测量。传感器融合过程可以包括关于用户的手和手指以及图标210的三维位置两者的数据，例如，根据由深度感测相机115确定的用户的手的深度和图标210的深度。例如，计算机110可以将用户的手的三维位置数据和图标210的深度数据输入到卡尔曼滤波器，所述卡尔曼滤波器更新协方差矩阵，即，关于用户的手的数据与关于图标210的数据之间的统计不确定性，其描述了两组数据之间的统计协方差。也就是说，协方差矩阵描述了关于用户的手的数据和关于图标210的数据中的噪声量。当协方差低于阈值时，计算机110可以确定用户已经向图标210提供了输入。当协方差超过阈值时，计算机110可以确定用户尚未向图标210提供输入。在另一个示例中，可以单独使用两个卡尔曼滤波器。第一滤波器可以输出手指距表面215的距离。第一卡尔曼滤波器的输出可以用于生成双线性输出函数以动态地修改第二卡尔曼滤波器的噪声协方差矩阵，从而预测表面变形。可以基于在测试深度感测相机115收集关于用户的手和测试表面215的数据时向测试表面215提供输入的测试用户的经验测试来确定上述阈值。第一卡尔曼滤波器和第二卡尔曼滤波器可以结合到用经验测试数据训练的机器学习程序中，所述经验测试数据用于确定上述阈值，以学习用户的手指距表面215的距离与表面215的变形之间的交互。替代地或另外地，计算机110可以使用上述其他数据处理技术来检测误报检测。

即使深度感测准确度有限，深度感测相机115也可以在传感器融合过程期间提供进一步的数据。通过随时间跟踪用户附属肢体的位置，计算机110可以降低误报检测率。也就是说，计算机110可以将用户手指的三维位置与图标210的三维位置进行比较，例如，计算机110可以确定用户手指的位置与图标210的位置之间的欧几里德距离。在该示例中，如果用户的手指与图标210的位置之间的欧几里德距离不在预定阈值内，则计算机110可以确定用户尚未向图标210提供输入。阈值可以是手指的平均宽度，例如10mm。

表面215可以是基本上平坦的，或者表面215可以具有一个或多个三维部分。例如，三维“拉片”可以从表面215突出。“拉片”或橡胶凹口可以一体地模制到表面215中。三维部分可以包括墨水图案220或投影的“不可见”或可见图案220。用户可以与投影在表面215上的“拉片”或凹口中的一个上的图标210交互，并且相机115可以检测图案220中的在拉片上的扰动。替代地或另外地，表面215可以包括近红外透明塑料，其下方具有一组柔性栓钉支撑件。例如，表面215可以包括例如近红外透明塑料、乙烯树脂、织物或其组合。表面215可在下方由柔性栓钉支撑件支撑，具有在可见光、红外或紫外光谱下的背光。背光可以在表面215上呈现图案220。出现在表面215上的图案220可以包括一个或多个图标210。

计算机110可以检测用户对表面215施加的力、剪切力或旋转，如下所述。投影仪组件200通过CAN总线与计算机110通信。投影仪205和相机115与计算机110进行电子通信以执行用于将图标210投影到表面215上的指令。计算机110可以处理由相机115收集的图像，包括图标210，并且可以捕获对表面215的扰动。

当用户与表面215上的图标210交互时，相机115可以检测到图案220中的扰动。计算机110可以使用一种或多种常规算法来将扰动与检测到的位置、剪切力、张力、压缩力和旋转力相关。例如，相机115可以通过表面215上的图案220的对应变化来检测剪切力。图案220的变化可以由矢量场225、230、235表示。“矢量场”是在接收到来自用户的输入时在表面215上的指定点处的图案220的变化的视觉表示。表面215上的每个应变使图案220从默认图案220转变，从而生成变形图案220。表面上的剪切力、压缩力或旋转力可以提供由矢量场225、230、235表示的不同的变形图案220。也就是说，图2中所示的矢量场225、230、235中的每个箭头表示图案220在特定方向上相对于默认图案220的变化。例如，剪切矢量场225表示变形图案220从默认图案220沿着矢量的转变。在另一个示例中，压缩矢量场230表示变形图案220从默认图案220朝向点的转变。在另一个示例中，旋转矢量场235表示变形图案从默认图案220围绕圆圈的转变。

在另一个示例中，相机115可以识别表面215上的剪切、压缩和/或旋转变形，例如应变。计算机110可以从变形图案220预测剪切力、压缩力和/或旋转力。也就是说，基于由对默认图案220和/或图标210的用户输入生成的变形图案220，计算机110可以识别剪切力、压缩力和/或旋转力中的至少一者。如上所述，计算机110可以从变形图案220识别应变的方向，并且使用根据应变识别力的常规算法，诸如使用常规的弹性力-应变方程的有限元模型(FEM)，计算机110可以识别施加到表面215的生成变形图案220的力。

计算机110可以基于表面215的变形将用户输入分类为某个类别。所述类别可以是压缩输入、剪切输入或旋转输入中的一者。也就是说，基于施加到表面215的比力，如利用上述FEM模型确定的，计算机110可以将输入分类为所述类别。例如，如果计算机110如上所述根据图案220的变化识别出剪切力，则计算机110可以将输入分类为剪切输入。在另一个示例中，如果计算机110识别出压缩力，则计算机110可以将输入分类为压缩输入。在另一个示例中，如果计算机110识别出圆周力，则计算机110可以将输入分类为旋转输入。计算机110可以基于输入的类别来致动一个或多个部件120。例如，计算机110可以在将输入识别为旋转输入时致动娱乐控制器以调整扬声器的音量。计算机110可以基于对表面215的旋转输入的大小和方向来调整音量。在另一个示例中，计算机110可以在将输入识别为压缩输入时致动气候控制器以调整车辆105的指定车厢温度。

图3A至图3E是投影仪组件200在车辆105中投射图标210的示例。图3A示出了车辆105的内部。投影仪205和相机115可以安装到柱300、车辆105的外部或车辆105的另一个表面215中。投影仪205可以将图标210和/或可检测图案220投影到表面215上。在图3A的示例中，投影仪205不投影任何图标210。

图3B示出了将可检测图案220投影到表面215上的投影仪205。表面215可以包括可检测图案220，所述可检测图案可以由投影仪205投影到表面215上和/或嵌入表面215内。也就是说，可使用近IR或UV光投射可检测图案220和/或可以隐形墨水(诸如上述近IR或UV墨水)绘制可检测图案220。例如，如果图案220是用荧光墨水绘制的，则投影仪205可以将UV光投射到图案220上以发出荧光，从而使图案220变得对用户可见。

图3C示出了将图标210投影到表面215上的投影仪205。图标210包括控制车窗位置的多边形、调整气候控制器的温度的多边形以及指示车辆105的指定温度的文本。图3C示出了将图标210的可见光投射在图案220和表面215上的投影仪205。计算机110指示投影仪205在表面215上向用户提供数据。例如，除了可以从用户接收输入以致动一个或多个部件120的图标210之外，计算机110还可以指示投影仪205投影与图标相关的数据，例如当前车厢温度、期望车厢温度等。

图3D示出了将图标210投影到具有嵌入图案220的表面215上的投影仪205。如上所述，图案220可以是用隐形墨水绘制的点阵。因此，当用户向图标210提供输入时，相机115可以检测到由对图标210的输入引起的图案220的变化，并且用户将看不到图案220的变化。基于图案的变化，计算机110可以确定用户输入。例如，如果以发光力致变色墨水绘制图案220并且图案220的在图标210中的一个内的一部分发出荧光，则计算机110可以通过图案220中的荧光变化来确定用户已经向图标210提供了输入。

图3E示出了基于用户输入向用户提供输出305的投影仪205。当用户向图标210提供输入时，计算机110可以检测到可检测图案220的变化，并且计算机110可以向用户提供输出305。例如，输出305可以是例如图标、触觉输出、声音等。在图3E的示例中，输出305可以是图标210中的一个的指示用户已经提供了对图标210的输入的颜色变化，以及表示与对图标210的输入相对应的对部件120中的一者的改变的文本变化。

图4示出了当表面215应变时图案220如何变形。用于测量样本410、420、430上的弹性变形的系统400可以指示由施加到表面215的特定力引起的表面215的变形。系统400可以向样本410、420、430提供指定的轴向力，从而在样本410、420、430中引起应变并使样本410、420、430上的图案440变形。例如，样本410示出了在施加任何力之前的表面215的状态，即，“参考状态”。相关联的检测图案440可以嵌入在表面215内或投影到表面215上。在参考状态下，可以分析检测图案440以进行校准和测量。

样本420示出了施加到表面215的使检测图案440变形的力480。当用户施加力或以其他方式与表面215相互作用时，用户扰动检测图案440，从而生成检测图案440的总体变形460。在变形460期间，相机115可以检测该检测图案440的变形子集450。变形区域470可以围绕检测图案440的变形子集450。相机115可以跟踪和测量由力480引起的检测图案440的变化。表面215的变形区域470使检测图案440改变成变形子集450。

样本430示出了当用户选择图标210时，计算机110如何使用变形子集450来关联表面215中的扰动以测量力和/或应变。也就是说，因为系统400施加了指定的轴向力480以生成变形子集450，所以计算机110可以识别变形子集450与检测图案440的位移并将位移与指定的轴向力480相关联。计算机110可以将特定变形子集450与指定力480关联，并且在从相机115收集了图像数据后，计算机110可以使用常规图像处理技术(例如，深度学习、数字图像相关等)将图像中的变形图案220与变形子集450进行比较，以确定用户施加的力。也就是说，在确定多个特定变形子集450与指定力480之间的相关性后，计算机110可以在接收到具有变形图案220的图像时输出生成变形图案220的力。

图5是可以配备在单个相机115中的示例性动态滤色器阵列500的图示。通过采用滤色器阵列500，单个相机可以检测检测图案的变化。此类滤波器阵列允许单个相机115检测图像的空间和颜色差异。通常，滤波器阵列500中的每种“颜色”是放置在相机传感器的一个或多个像素(例如2×2像素阵列)上方的一组滤波器505。滤波器阵列500可以具有跨阵列500规则地间隔开的一个或多个“彩色”滤波器。在图5中，滤色器包括蓝色滤色器(在图5中标记为“B”)、绿色滤色器(在图5中标记为“G”)、红色滤色器(在图5中标记为“R”)和红外滤色器(在图5中标记为“IR”)。滤色器阵列500可以以开放像素为特征(即，没有滤色器的像素以提高那些像素的灵敏度，或平衡相机115的检测和灵敏度的折衷的其他布置。在收集图像后，计算机110可以例如根据常规的去马赛克技术对图像进行“去马赛克”，以通过插值或另一种算法(例如，机器学习)来重建全色图像。另外或替代地，计算机110可以执行常规的图像信号处理技术，诸如色彩平衡、白平衡、曝光控制等。

图6是多种材料的材料属性的图示。用于表面的材料的材料属性可表现出随温度和加载速率而变化的弹性刚度。一些材料可能表现出粘弹性机械性质，其中固体既表现为粘性材料又表现为弹性材料。也就是说，材料可以表现出时间相关的应变行为，例如在力输入之后应变的缓慢弛豫。图表600示出了在不同温度下不同内表面材料上的变形强度的变化。计算机110可以通过基于表面215的当前温度和老化校准表面材料的变形强度值来补偿不同材料的材料弹性刚度的差异。例如，计算机110可以使用对粘弹性表面材料的基于时间的校正来补偿表面215的材料的老化，以校正与图4所示的应变计测量值相关联的计算。表面215可以是弹性体材料，例如硅树脂。表面215可以是柔韧的，即，通过用户的手指施加的典型力可弹性变形。柔韧的表面允许检测图案响应于类似于手指按压的压力而变形。相机115可以基于表面215和检测图案220的变形来跟踪和测量一段时间内的用户输入。

图7是用于操作车辆105的部件的示例性过程700的图示。过程700在框705中开始，其中车辆105的计算机110指示投影仪组件200在表面215上投影图标210。该投影仪组件200包括投影图标210的投影仪205。也就是说，投影仪205可以将可见光发射到表面215上，并且图标210是由于投影仪205发射的光而出现在表面215上的图像。

接下来，在框710中，计算机110检测表面215上的指定图案220的变化。如上所述，表面215可以包括图案220，例如用隐形墨水。计算机110可以致动相机115来收集包括图案220的表面215的图像。计算机110可以使用常规的图像处理技术(例如，深度学习算法、数字图像相关等)来检测图案220相对于存储在计算机110中的默认图案220的变化。也就是说，当用户向图标210提供输入时，用户的手指可能会扰动表面215，从而导致图案220变形。计算机110可以确定由手指引起的图案220的变化。

接下来，在框715中，计算机110可以基于指定图案220的变化来确定表面215上的应变。如上所述，计算机110可以使用诸如深度学习算法或数字图像相关算法的图像处理技术来确定由用户的手指引起的表面215上的应变。计算机110可以将应变分类为剪切应变、压缩应变或圆形应变中的一者。例如，如果指定图案220的变化导致沿着线的应变场，则计算机110可以确定该应变是剪切应变。在另一个示例中，如果图案220的变化导致朝向点的应变场，则计算机110可以确定该应变是压缩应变。在另一个示例中，如果图案220的变化导致沿着圆圈的应变场，则计算机110可以确定该应变是圆形应变。

接下来，在框720中，计算机110基于所识别的应变场来识别用户输入。如上所述，用户可以向图标210提供输入以用于一个或多个部件120的特定致动。例如，如果图标210是气候控制器的三角形形状，则对图标210的压缩输入可以指示根据图标210致动气候控制器的按压运动。计算机110可以使用例如深度学习程序、有限元分析模型等来识别用户输入，以确定由用户输入施加到图标210的力。计算机110可以在将应变识别为压缩应变时将用户输入识别为对图标210的压缩输入。计算机110可以在将应变识别为剪切应变时将用户输入识别为剪切输入。计算机110可以在将应变识别为圆形应变时将用户输入识别为旋转输入。当计算机110识别到旋转输入时，计算机110可以确定输入的方向(例如，顺时针或逆时针)。计算机110可以识别用户输入的量值，即，由用户施加以提供输入的力。

接下来，在框725中，计算机110根据所识别的用户输入来致动一个或多个部件120。例如，计算机110可以基于由用户提供给图标210的所识别的压缩输入来调整气候控制器以调整车厢空气温度。在另一个示例中，计算机110可以基于由用户提供给图标210的所识别的旋转输入来调整娱乐控制器的音量。在另一个示例中，计算机110可以基于输入的大小来调整音量变化的速率。例如，计算机110可以包括查找表等，所述查找表等将输入的量值与通过经验测试用户向测试表面提供指定力并确定指定力与音量调整之间的线性回归而确定的音量调整速率关联。

接下来，在框730中，计算机110确定是否继续过程700。例如，计算机110可以在致动部件120并确定向用户提供图标210以致动另一个部件120时确定继续过程700。如果计算机110确定继续，则过程700返回到框705。否则，过程700结束。

本文所讨论的计算装置(包括计算机110)包括处理器和存储器，所述存储器通常各自包括可由诸如上面标识的计算装置的一个或多个计算装置执行并用于执行上述过程的框或步骤的指令。计算机可执行指令可由使用多种编程语言和/或技术创建的计算机程序来编译或解释，所述编程语言和/或技术包括但不限于单独或组合形式的JavaTM、C、C++、Visual Basic、Java Script、Python、Perl、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令并且执行这些指令，由此执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类指令和其他数据可使用各种计算机可读介质来存储和传输。计算机110中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。

计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD ROM、DVD、任何其他光学介质、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。

关于本文所描述的介质、过程、系统、方法等，应理解，尽管已经将此类过程等的步骤描述为按照某个有序序列发生，但是此类过程可以通过以不同于本文描述的顺序的顺序执行所描述的步骤来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所述的某些步骤。例如，在过程700中，可以省略步骤中的一个或多个，或者可以与图7中所示的不同的顺序执行步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例而提供而决不应被理解为对所公开的主题进行限制。

因此，应理解，包括以上描述和附图以及所附权利要求的本公开意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。本发明的范围不应参考以上描述来确定，而应参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总而言之，应理解，所公开的主题能够进行修改和变化。

除非另有说明或上下文另有要求，否则修饰名词的冠词“一个”应被理解为是指一个或多个。短语“基于”涵盖部分地或完全地基于。

根据本发明，提供了一种具有计算机的系统，该计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：将图标投影到具有图案的表面上；捕获所述图标和所述图案的图像；识别所述图像中的所述图案与默认图案之间的变化；基于相对于所述默认图案的所述变化来识别用户输入；以及基于所述用户输入来致动部件。

根据本发明，用于识别图像中的图案的变化的指令还包括用于识别表面的变形并基于表面的变形来识别用户输入的指令。

根据本发明，所述指令还包括用于基于所述表面的所述变形将所述用户输入分类为某个类别的指令，所述类别为压缩输入、剪切输入或旋转输入中的一者。

根据本发明，所述指令还包括用于基于所述类别来致动部件的指令。

根据本发明，所述指令还包括用于基于所述表面的弹性刚度或所述表面的温度中的至少一者来识别所述表面的所述变形的指令。

根据本发明，所述图案在可见光范围内是不可见的。

根据本发明，所述图案包括压致变色墨水、发光力致变色墨水、颜色改变力致变色墨水或加密力致变色墨水中的至少一者。

根据本发明，相对于所述默认图案的所述变化是颜色变化、形状变化、亮度变化或第二图案显露中的至少一者。

根据本发明，所述指令还包括用于识别提供所述用户输入的手指的指令。

根据本发明，所述指令还包括用于收集近红外电磁波数据并且基于所述近红外电磁波数据来识别提供所述用户输入的所述手指的指令。

根据本发明，所述指令还包括用于基于所述图案的变化来调整图标的指令。

根据本发明，所述指令还包括用于基于所述图案的变化来提供触觉输出的指令。

根据本发明，一种方法包括：将图标投影到具有图案的表面上；捕获所述图标和所述图案的图像；识别所述图像中的所述图案与默认图案之间的变化；基于相对于所述默认图案的所述变化来识别用户输入；以及基于所述用户输入来致动部件。

在本发明的一个方面，该方法包括识别所述表面的变形并且基于所述表面的所述变形来识别所述用户输入。

在本发明的一个方面，该方法包括基于所述表面的所述变形将所述用户输入分类为某个类别，所述类别为压缩输入、剪切输入或旋转输入中的一者。

在本发明的一个方面，该方法包括基于所述类别来致动部件。

在本发明的一个方面，该方法包括基于所述表面的弹性刚度或所述表面的温度中的至少一者来识别所述表面的所述变形。

在本发明的一个方面，所述图案在可见光范围内是不可见的。

在本发明的一个方面，相对于所述默认图案的所述变化是颜色变化、形状变化、亮度变化或第二图案显露中的至少一者。

在本发明的一个方面，该方法包括基于所述图案的所述变化来调整所述图标。

Claims (15)

1.一种方法，其包括：

将图标投影到具有图案的表面上；

捕获所述图标和所述图案的图像；

识别所述图像中的所述图案与默认图案之间的变化；

基于相对于所述默认图案的所述变化来识别用户输入；以及

基于所述用户输入来致动部件。

2.如权利要求1所述的方法，其还包括识别所述表面的变形并且基于所述表面的所述变形来识别所述用户输入。

3.如权利要求2所述的方法，其还包括基于所述表面的所述变形将所述用户输入分类为某个类别，所述类别为压缩输入、剪切输入或旋转输入中的一者。

4.如权利要求3所述的方法，其还包括基于所述类别来致动所述部件。

5.如权利要求2所述的方法，其还包括基于所述表面的弹性刚度或所述表面的温度中的至少一者来识别所述表面的所述变形。

6.如权利要求1所述的方法，其中所述图案在可见光范围内是不可见的。

7.如权利要求6所述的方法，其中所述图案包括压致变色墨水、发光力致变色墨水、颜色改变力致变色墨水或加密力致变色墨水中的至少一者。

8.如权利要求1所述的方法，其中相对于所述默认图案的所述变化是颜色变化、形状变化、亮度变化或第二图案显露中的至少一者。

9.如权利要求1所述的方法，其还包括识别提供所述用户输入的手指。

10.如权利要求9所述的方法，其还包括收集近红外电磁波数据并且基于所述近红外电磁波数据来识别提供所述用户输入的所述手指。

11.如权利要求1-10中任一项所述的方法，其还包括基于所述图案的所述变化来调整所述图标。

12.如权利要求1-10中任一项所述的方法，其还包括基于所述图案的所述变化来提供触觉输出。

13.一种计算机，其被编程为执行如权利要求1至10中任一项所述的方法。

14.一种车辆，其包括如权利要求13所述的计算机。

15.一种计算机程序产品，其包括存储指令的计算机可读介质，所述指令能够由计算机处理器执行以执行如权利要求1-10中任一项所述的方法。

Images