CN105894733B - 驾驶员监控系统 - Google Patents

Abstract

提供了一种可穿戴在用户身体的特定部分供使用的移动终端，包括：主体，形成为可穿戴在用户身体的特定部分；通信单元，从设置在车辆中的图像获得设备接收有关用户的图像信息；生物信息获得单元，从用户身体的特定部分获得有关用户的生物信息；以及控制器，基于图像信息和生物信息的至少之一检测用户驾驶所处的危险驾驶状态。

Description

驾驶员监控系统

技术领域

本申请涉及一种驾驶员监控系统，尤其涉及一种确定车辆的驾驶员是否在危险的驾驶状态下驾驶的移动终端和车辆控制设备。

背景技术

终端通常可以根据其移动性被分为移动/便携式终端或静止终端。移动终端也可以根据用户能否直接携带该终端被分为手持终端或车载终端。

移动终端已经变得功能日益强大。这些功能的示例包括数据和语音通信、通过摄像头捕获图像和视频、记录音频、通过扬声器系统播放音乐文件以及在显示器上播放图像和视频。一些移动终端包括支持玩游戏的附加功能，而其它终端被配置为多媒体播放器。近来，移动终端已经被配置为接收允许观看诸如视频和电视节目等内容的广播和多播信号。正在努力支持和增加移动终端的功能。这些努力包括软件和硬件改进以及结构组件的改变和改进。

发明内容

在一个方案中，移动终端和车辆控制设备能够基于由移动终端获得的有关驾驶员的生物信息和图像信息精确地确定驾驶员驾驶所处的危险状态的类型以及每一个危险状态的程度。为了实现这些及其它优点，并且根据本说明书的目的，如本文具体实施和概括描述的，提供了可穿戴在用户身体的特定部分供使用的移动终端，包括：主体，形成为可穿戴在用户身体的特定部分；通信单元，从设置在车辆中的图像获得设备接收有关用户的图像信息；生物信息获得单元，从用户身体的特定部分获得有关用户的生物信息；以及控制器，基于图像信息和生物信息的至少之一检测用户驾驶所处的危险驾驶状态。

在该终端中，基于图像信息和生物信息的至少之一，控制器可以确定用户驾驶所处的危险驾驶状态是困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的哪一状态。

在该终端中，基于图像信息和生物信息的至少之一，控制器可以生成有关危险等级的信息，该危险等级表明被确定为与危险驾驶状态对应的驾驶状态的危险程度。

在该终端中，控制器可以通过将加权施加到图像信息和生物信息的每一个生成有关危险等级的信息。

在该终端中，要施加的加权可以取决于危险驾驶状态所对应的困倦驾驶状态、分心驾驶状态以及压力驾驶状态之一而有所不同。

在该终端中，控制器可以将有关危险等级的信息通过移动终端的输出单元输出至外部，或者可以将有关危险等级的信息传输到设置在车辆中的车辆控制设备，并且可以将有关危险等级的信息通过安装在车辆中的车辆控制设备或车辆输出单元输出至外部。

在该终端中，被输出至外部的有关危险等级的信息的输出强度可以随着有关危险等级的信息的改变而改变。

在该终端中，移动终端的输出单元可以以主体振动的形式或语音的形式将有关危险等级的信息输出至外部。

在该终端中，移动终端的输出单元可以通过改变振动频率、振动幅度、振动输出周期、语音幅度、语音携带的内容以及语音输出周期中的至少之一来改变输出强度。

在该终端中，车辆控制设备可以以图像或语音的形式将有关危险等级的信息输出，并且车辆输出单元可以是应急灯、安装在车辆的仪表板中的LED、车辆的振动座椅以及车辆的振动使能的车轮转向设备中的至少之一。

在该终端中，车辆输出单元可以通过改变应急灯的输出周期、LED的光色、LED的输出周期、振动座椅或振动使能的车轮转向设备的振动频率、振动幅度以及振动输出周期中的至少之一来改变输出强度。

在该终端中，生物信息可以包括在乘坐车辆之前存在的有关用户的睡眠状态信息和生物节律信息的至少之一。

在该终端中，危险驾驶状态可以对应于困倦驾驶状态，并且控制器可以基于睡眠状态信息和生物节律信息中的至少之一创建用户随时间的困倦趋势线，并且可以基于困倦趋势线和图像信息检测危险驾驶状态。

在该终端中，控制器可以基于有关用户的过去图像信息和过去生物信息生成用于确定危险驾驶状态的驾驶状态学习模式，并且可以基于图像信息、生物信息以及驾驶状态学习模式检测危险驾驶状态。

为了实现这些及其它优点，并且根据本说明书的目的，如本文具体实施和概括描述的，提供了一种被安装在车辆中的车辆控制设备，包括：通信单元，与可穿戴在用户身体的特定部分供使用的移动终端进行通信；图像获得单元，从设置在车辆中的图像获得设备获得有关用户的图像信息；以及控制器，控制通信单元以此方式使得从用户身体的特定部分获得有关用户的生物信息，并且基于图像信息和生物信息中的至少之一检测用户驾驶所处的危险驾驶状态。

在该设备中，基于图像信息和生物信息中的至少之一，控制器可以确定用户驾驶所处的危险驾驶状态对应困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的哪一状态，并且基于图像信息和生物信息的至少之一，控制器可以生成有关危险等级的信息，该危险等级表明被确定为与危险驾驶状态对应的驾驶状态的危险程度。

在该设备中，控制器可以通过将加权施加到图像信息和生物信息的每一个生成有关危险等级的信息。

在该设备中，将要施加的加权可以取决于危险驾驶状态所对应的困倦驾驶状态、分心驾驶状态以及压力驾驶状态之一而有所不同。

在该设备中，控制器可以将有关危险等级的信息通过安装在车辆中的车辆控制设备或车辆输出单元输出至外部，或者可以将有关危险等级的信息传输到移动终端，并且可以将有关危险等级的信息通过移动终端的输出单元输出至外部。

在该设备中，被输出至外部的有关危险等级的信息的输出强度可以随着有关危险等级的信息的改变而改变。

在该设备中，移动终端可以以图像或语音的形式将有关危险等级的信息输出至外部，并且车辆输出单元可以是车辆的应急灯、安装在车辆的仪表板中的LED、车辆的振动座椅以及车辆的振动使能的车轮转向设备中的至少之一。

在该设备中，车辆输出单元可以通过改变应急灯的输出周期、LED的光色、LED的输出周期、振动座椅或振动使能的车轮转向设备的振动频率、振动幅度以及振动输出周期的至少之一来改变输出强度。

在该设备中，移动终端可以以移动终端的主体振动的形式或语音的形式将有关危险等级的信息输出至外部，而且可以通过改变振动频率、振动幅度、振动输出周期、语音幅度、语音携带的内容以及语音输出周期中的至少之一来改变输出强度。

在该设备中，生物信息可以包括在乘坐车辆之前存在的有关用户的睡眠状态信息和生物节律信息的至少之一。

在该设备中，危险驾驶状态可以对应于困倦驾驶状态，并且控制器可以基于睡眠状态信息和生物节律信息中的至少之一创建用户随时间的困倦趋势线，并且可以基于困倦趋势线和图像信息检测危险驾驶状态。

在该设备中，控制器可以基于有关用户的过去图像信息和过去生物信息生成用于确定危险驾驶状态的驾驶状态学习模式，并且可以基于图像信息、生物信息以及驾驶状态学习模式检测危险驾驶状态。

在移动终端或车辆控制设备中，根据一些实施方式，本说明书中公开了驾驶员驾驶所处的危险状态的类型以及危险状态的每一个的程度。

另外，根据一些实施方式在本说明书中公开的移动终端或车辆控制设备中，用户驾驶所处的困倦状态的等级被预测，使用各种手段警报用户所预测的用户驾驶所处的困倦状态的等级，并且因此能够防止由于困倦驾驶状态引起的可能的交通事故。

另外，根据一些实施方式在本说明书中公开的移动终端或车辆控制设备中，因为驾驶员驾驶所处的危险状态基于图像信息和生物信息中的至少之一被确定，即使获得图像信息的图像获得设备和获得生物信息的生物信息获得单元之一发生故障，也能够确定驾驶员驾驶所处的危险状态。

本申请中描述的全部或部分特征能够被实施为计算机程序产品，包括被存储在一个或更多非瞬态机器可读存储介质中、并在一个或更多处理器件中可执行的指示。本申请中描述的全部或部分特征能够被实施为设备、方法或电子系统，其能够包括一个或更多处理器件以及存储可执行指令的存储器，从而实现所述功能。

在附图和以下说明中阐明一个或更多实施方式的细节。通过说明书和附图，其它特征将变得显而易见。以下说明和具体示例仅通过示例的方式给出，并且各种改变和变型将变得显而易见。

附图说明

图1为示出移动终端的示例的方框图；

图2A和图2B为示出其中可操作移动终端的通信系统的示意图；

图3A和图3B为示出智能手表式移动终端的正面和背面的示例的示意图；

图4A和图4B为示出可穿戴眼镜式移动终端的示例的示意图；

图5A和图5B为示出移动终端的示例的示意图；

图6A为示出车辆控制设备的示例的方框图；

图6B为示出被连接至车辆控制设备的外部装置的示例的示意图；

图7为示出车辆控制设备的显示单元的示例的示意图；

图8A和图8B为示出车辆控制设备的示例的方框图；

图8C为示出与导航功能相关的屏幕的示例的简图；

图9A和图9B为示出图像获得设备的示例的简图；

图10为示出用户的困倦(drowsiness)趋势线的示例的示意图；

图11A和图11B为示出用户驾驶所处的分心驾驶状态的示例的示意图；

图12为示出输出有关危险等级的信息的示例的示意图；

图13为示出确定用户是否在困倦状态下驾驶以及用户驾驶所处的困倦状态的等级的示例的流程图；以及

图14为配备有电池充电设备的电动车的示例的示意图。

具体实施方式

系统获得驾驶车辆的用户的生物信息和/或图像信息，确定用户是否在危险驾驶状态下驾驶。该系统也可以将有关检测的危险驾驶状态的反馈提供给用户。在一些实施方式中，移动终端(例如，智能手表和/或数字眼镜)被用户穿戴并且收集关于用户的生物信息。图像获得单元(例如，摄像头)可以被设置为捕获用户的图像信息。可以被设置在移动终端上或设置在车辆中的控制器使用生物信息和/或图像信息来确定用户是否在危险驾驶状态下驾驶车辆。危险驾驶状态的示例包括困倦驾驶状态、分心驾驶状态以及压力驾驶状态。

在一些实施方式中，该系统可以获得在用户驾驶车辆之前收集的关于用户的历史数据，并且除了(或作为可选方案)生物信息和图像信息外还使用该历史数据来确定用户的危险驾驶状态。例如，当用户最初进入车辆时，该系统可以利用有关睡眠模式的数据确定困倦驾驶状态的初始值。在用户驾驶车辆时，该系统也可以使用有关用户的历史信息创建一基线，以将测量的传感器值与该基线进行比较。

因此，该系统可以使用各种类型的传感器信息就驾驶员的危险驾驶状态自动地检测并警示驾驶员(或警示另一个人)。在一些实施方式中，传感器可以被设置在被用户穿戴摄像头的移动终端(例如，智能手表或可穿戴智能眼镜)中，并且移动终端可以连续地或周期性地收集有关用户的信息。

考虑到用户便利性，可以利用各种类型的移动终端。在这些移动终端中，可穿戴装置可以包括可穿戴在用户身体上或用户的衣服上的各种类型的电子装置。这些可穿戴装置可以包括例如智能手表、可穿戴计算机、数字眼镜、蓝牙耳机以及其它智能穿戴物。

为了执行各种功能，可穿戴装置可以被实现为多媒体装置。例如，智能手表功能可以用作手表，并且也可以利用构建于其中的摄像头来捕获静态图像或记录动态(moving)图像，并且利用形成在该手表的主体中的显示单元再现多媒体内容。另外，该智能手表可以通过无线网络接收传入消息并且利用使通信可行(例如，通过电子邮件)的各种插件连接至社会网络。

为了给用户提供更多方便，移动终端或可穿戴装置(以下统称为“移动终端”，但这并不意图限制本说明书中公开的技术所应用的装置)可提供各种功能。

具体地，本文描述的实施方式提供了这样一种技术，其可以在携带移动终端的驾驶员乘坐车辆时使用由移动终端获得的有关车辆的驾驶员的各种生物信息来确定驾驶员是否在危险状态(包括困倦状态、分心状态、压力状态等)下驾驶车辆。

本文提出的移动终端可以使用各种不同类型的终端实施。这些终端的示例包括手机、智能手机、用户设备、手提电脑、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携电脑(PC)、板状电脑、平板电脑、超级本、可穿戴装置等。仅通过非限制性示例的方式，将参考特定类型的移动终端进行进一步说明。然而，这些教导等同地应用于其它类型的终端，如上述那些类型的终端。另外，这些教导也可以被应用于静止终端，如数字TV、台式计算机等。

根据一些实施方式的车辆控制设备被应用于各种器材和设备，如远程信息处理终端、导航终端、音频视频导航(AVN)终端、电视机、3D电视机、音频/视频(A/V)系统、信息提供中心以及呼叫中心。

另外，根据一些实施方式的车辆控制设备被配置为也呈现以有线或无线方式被连接至车辆的移动终端的形式。在这种情况下，类似上述移动终端，车辆控制设备可以包括移动电话、智能手机、手提电脑、数字广播专用终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统、板状电脑、平板电脑、小型笔记本电脑或可穿戴装置等。

单数表示可以包括多个表示，只要其表示与上下文明确不同的含义。应当理解本文使用的术语“包括”或“具有”意欲表示说明书中公开的数个组件或数个步骤的存在，并且也可以理解为可能不包括这些组件或步骤的一部分，或者可以进一步包括额外组件或步骤。

应当理解，虽然术语第一、第二等可以在本文用于描述各种元件，然而这些元件不应被这些术语所限制。这些术语仅用来将一个元件与另一个元件区分。例如，第一元件可称作第二元件，并且类似地，第二元件可称作第一元件。

将参考附图在下文具体描述这些实施方式的一些示例，其中无论图号如何，相同或相应的组件以相同的附图标记呈现，并且省略多余说明。

移动终端

在下文中，将参考图1至图5B更详细地说明根据一些实施方式的移动终端。

图1为根据一些实施方式的移动终端的示例的方框图。

如图1所示，移动终端100包括无线电通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、生物信息获得单元145、输出单元150、存储器160、接口单元170、控制器180以及电源单元190。图1示出具有各种组件的移动终端100，但是应理解并不要求实施所有示出的组件。移动终端100可以由更多或更少的组件实施。

在下文中，将说明上述组件的每一个。

无线电通信单元110典型地包括一个或更多组件以在移动终端100与移动终端100所在的无线电通信单元系统或网络之间提供无线电通信。例如，无线电通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、位置信息模块115等。

广播接收模块111通过广播信道从外部广播管理服务器(或其它网络实体)接收广播信号和/或广播相关信息。

该广播信道可以包括卫星信道和/或地面信道。该广播管理服务器可以是生成并传输广播信号和/或广播相关信息的服务器，或接收先前生成的广播信号和/或广播相关信息并将其传输到终端的服务器。该广播信号可以包括电视广播信号、无线电广播信号、数据广播信号等。而且，该广播信号还可以包括与电视或无线电广播信号结合的广播信号。

该广播相关信息可以表示与广播信道、广播节目或广播服务提供者相关的信息。该广播相关信息也可以通过移动通信网络提供。在这种情况下，该广播相关信息可以被移动通信模块112接收。

该广播相关信息可以以各种形式存在。例如，该广播相关信息可以以数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等形式存在。

广播接收模块111可以被配置为通过使用各种类型的广播系统来接收信号广播。具体地，广播接收模块111可以通过使用数字广播系统接收数字广播，该数字广播系统例如为多媒体地面广播(DMB-T)、数字多媒体广播卫星(DMB-S)、手持数字视频广播(DVB-H)、被称为媒体前向链路(media forward link only)的数据广播系统集成服务数字地面广播(ISDB-T)等。广播接收模块111可以被配置为适合于提供广播信号的广播系统以及上述数字广播系统。

通过广播接收模块111接收的广播信号和/或广播相关信息可以被存储在存储器160中。

移动通信模块112将无线电信号传输到基站、外部终端以及服务器的至少之一和/或从基站、外部终端以及服务器的至少之一接收无线电信号。这些无线电信号可以根据文字和/或多媒体消息传输和/或接收包括语音呼叫信号、视频呼叫信号或各种类型的数据。

移动通信模块112可以实施视频呼叫模式和语音呼叫模式。该视频呼叫模式表示在观看被呼叫者图像的情况下的呼叫状态。该语音呼叫模式表示在不观看被呼叫者图像的情况下的呼叫状态。无线通信模块112可以传输并且接收语音和图像的至少之一以实施视频呼叫模式和语音呼叫模式。

无线互联网模块113使移动终端支持无线互联网接入。该模块可以内部或外部耦接至移动终端100。这些无线互联网接入的示例可以包括无线局域网(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行分组接入(HSDPA)等。

短程通信模块114意指用于短程通信的模块。用于实施该模块的适当的技术可以包括BLUETOOTHTM、射频识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)、ZigBeeTM、近场通信(NFC)等。

位置信息模块115意指用于检测或计算移动终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块或无线保真(Wi-Fi)模块。

仍参照图1，A/V输入单元120被配置为将音频或视频信号输入提供给移动终端。A/V输入单元120可以包括照相机121和麦克风122。摄像头121在视频呼叫模式或捕获模式中接收并且处理由图像传感器获得的静态图片或视频的图像帧。所处理的图像帧可以被显示在显示单元151上。

由摄像头121处理的图像帧可以被存储在存储器160中或通过无线通信单元110传输到外部。而且，用户的位置信息等可以根据摄像头121所获取的图像帧来计算。可以根据移动终端的配置设置两个或更多个摄像头121。

在移动终端处于诸如电话呼叫模式、记录模式、语音识别模式等特定模式下时，麦克风122可以接收外部音频信号。该音频信号被处理成数字数据。在电话呼叫模式的情况下，为了输出，所处理的数字数据被转换为可通过移动通信模块112传输到移动通信基站的格式。麦克风122可以包括各种噪声去除算法以去除在接收外部音频信号的过程中生成的噪声。

用户输入单元130可以生成用户输入的输入数据以控制移动终端的操作。用户输入单元130可以包括按键、弹片开关(dome switch)、触摸板(例如，静态压力/电容)、滚轮、拨动开关等。

感测单元140通过与移动终端100通信的一个或更多传感器提供测量。例如，这些传感器可以被配置为检测移动终端的各种情况和/或使用移动终端的用户的各种情况(例如，生物信息)。

例如，感测单元140可以检测移动终端的各种情况，如移动终端的打开/关闭状态、移动终端100的位置改变、用户与移动终端100接触的存在或不存在、移动终端100的位置、移动终端100的加速/减速等，以生成用于控制移动终端100的操作的感测信号。例如，有关滑动式移动终端，感测单元140可以感测移动终端的滑动部是否打开或关闭。其它示例包括感测功能，如感测单元140感测电源190提供的电力的存在或不存在、接口单元170与外部装置之间的耦接或其它连接的存在或不存在。如图1的示例所示，感测单元140可以包括各种传感器，如接近传感器141、立体触摸感测单元142、超声感测单元143以及摄像头感测单元144。

移动终端100可以包括一个或更多个接近传感器(例如，接近传感器141)以检测用户的不同身体部位接近移动终端100的不同部分。作为示例，在一些实施方式中，接近传感器141可以用来检测用户的手指(或触控笔，或用于指点的其它物体)向移动终端100的显示屏的接近。以下将在控制显示单元的上下文中将描述使用接近传感器检测用户的指示器向显示屏接近的示例。

在一些实施方式中，移动终端也可以包括检测有关用户的生物信息的传感器。在图1的示例中，移动终端100包括获得用户特定的身体部位的生物信息的生物信息获得单元145。在一些实施方式中，生物信息获得单元145可以与感测单元140分开(如图1所示)。可选择地，在一些实施方式中，生物信息获得单元145可以是感测单元140的一部分。

生物信息获得单元145可以包括测量人体的生理潜能所生成的生物信号的一个或更多个传感器。例如，传感器可以感测用户皮肤的状态或用户生命体的信号。该传感器可以被配置为包括脉搏波描记(PPG)传感器、心电图(ECG)传感器、皮电反射(GSR)传感器、脑电图(EEG)传感器、肌电图(EMG)传感器以及眼电图(EOG)传感器中的至少之一。这些传感器测量脉搏血流、心电图、皮电反射、脑电图、肌电图以及眼动的生物信号。

生物信息获得单元145也可以包括感测用户的肌肉运动的传感器。例如，一个或更多个肌肉传感器可以接触用户的手腕区域的皮肤表面并且检测肌肉运动。参考图3B在下文描述肌肉传感器的示例。

仍参照图1，输出单元150被配置为输出音频信号、视频信号或触觉信号。输出单元150可以包括显示单元151、音频输出模块153、警报单元154以及触觉模块155。

显示单元151可以输出在移动终端100中处理的信息。例如，当移动终端在电话呼叫模式中操作时，显示单元151将提供包括与呼叫相关的信息的用户接口(UI)或图形用户接口(GUI)。作为另一个示例，如果移动终端处于视频呼叫模式或捕获模式，显示单元151可以额外地或可选择地显示捕获和/或接收的图像、UI或GUI。

显示单元151可以使用例如液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器以及电子墨水显示器的至少之一来实施。

这些显示器151中的一些可以被实施为从外部可见的透明式或光学透明式，其被称为“透明显示器”。透明显示器的典型示例可以包括透明OLED(TOLED)等。显示单元151的背面也可以被实施为光学透明。在这种配置下，用户能够通过终端本体的显示单元151占据的区域查看位于终端本体的后侧的物体。

显示单元151可以根据移动终端100的配置方案在数量上被实施成两个或更多个。比如，多个显示器151可以彼此间隔开或彼此集成地布置在一个表面上，或者可以被布置在不同的表面上。

显示单元151也可以被实施为用于显示立体图像的立体显示单元152。

在一些实施方式中，该立体图像可以是三维(3D)立体图像，并且3D立体图像是这样一种图像，该图像是指使观看者感到监控器或屏幕上的物体的渐进深度和真实感对应于真实空间的图像。3D立体图像通过使用双眼视差来实施。双眼视差是指两眼的位置造成的视差。当两眼观看不同的2D图像时，这些图像通过视网膜被传递给大脑并且在大脑中结合以提供深度感和真实感。

立体显示单元152可以采用诸如立体方案(玻璃方案)、自动立体方案(无玻璃方案)、投影方案(全息方案)等立体显示方案。家用电视接收器常用的立体方案等包括Wheatstone(惠斯登)立体方案等。

该自动立体方案包括例如视差光栅方案、透镜方案、全景成像(integralimaging)方案等。该投影方案包括反射全息方案、透射全息方案等。

通常，3D立体图像由左侧图像(左眼图像)和右侧图像(右眼图像)组成。根据左侧图像和右侧图像如何被结合成为3D立体图像，3D立体成像方法被分成左侧图像和右侧图像在帧中被上下布置的自顶向下方法、左侧图像和右侧图像在帧中被左右布置的L-to-R(左向右、并排)方法、左侧图像和右侧图像的片段以平铺(tile)形式被布置的棋盘式方法、左侧图像和右侧图像被可选择地按行和列布置的交错方法以及左侧图像和右侧图像被可选择地按时间显示的时序(或逐帧)方法。

而且，至于3D缩略图图像，左侧图像缩略图和右侧图像缩略图分别由原始图像帧的左侧图像和右侧图像生成，然后结合以生成单个3D缩略图图像。通常，缩略图是指缩小的图像或缩小的静态图像。在屏幕上显示如此生成的左侧图像缩略图和右侧图像缩略图，其中左侧图像缩略图与右侧图像缩略图之间具有一水平距离差、与左侧图像和右侧图像之间的视差对应的深度，从而提供立体空间感。

如示出的，用于实施3D立体图像的左侧图像和右侧图像通过立体处理单元被显示在立体显示单元152上。该立体处理单元可以接收3D图像并且提取左侧图像和右侧图像，或者可以接收2D图像并且将2D图像改变成左侧图像和右侧图像。

在一些实施方式中，如果显示单元151和触敏传感器(称为触摸传感器)在其间具有分层结构(称为“触摸屏”)，则显示单元151可以用作输入装置以及输出装置。该触摸传感器可以被实施为触摸膜、触摸片、触摸板等。

该触摸传感器可以被配置为将施加到显示单元151的特定部分的压力或从显示单元151的特定部分发生的电容的变化转换成电子输入信号。而且，该触摸传感器可以被配置为不仅感测被触摸位置和被触摸区域，而且感测触摸压力。在一些实施方式中，触摸物体是将触摸输入施加在触摸传感器上的物体。触摸物体的示例可以包括手指、触摸笔、触控笔、指示器等。

当触摸输入被触摸传感器感测到时，相应的信号被传输到触摸控制器。该触摸控制器处理所接收的信号，然后将相应的数据传输给控制器180。因此，控制器180可以感测显示单元151的哪一区域被触摸。可以使用各种传感器(如图1的感测单元140中的传感器)以允许显示单元151用作输入装置。

仍参照图1，接近传感器(例如，接近传感器141)可以被布置在触摸屏所覆盖的移动终端100的内部区域，或布置在触摸屏附近。接近传感器141可以被设置为感测单元140的一个示例。接近传感器141通过使用电磁场或红外线在没有机械接触的情况下指示传感器感测接近待感测表面的物体、或布置在待感测表面附近的物体的存在或不存在。在一些实施方式中，接近传感器141可以具有比接触传感器更长的使用寿命和更加增强的效用。

接近传感器141可以包括透射式光电传感器、直接反射式光电传感器、镜面反射式光电传感器、高频振荡接近传感器、电容式接近传感器、磁式接近传感器、红外线接近传感器等。当该触摸屏被实施为电容式时，指示器向触摸屏的接近通过电磁场的改变被感测到。在这种情况下，该触摸屏(触摸传感器)可以被归类为接近传感器。

在下文中，为了简要说明，指示器接近触摸屏而无接触的状态将称为“接近触摸”，而指示器实质上与触摸屏接触的状态将称为“接触触摸”。对于与指示器在触摸屏上的接近触摸对应的位置，该位置对应于指示器在接近触摸时指示器垂直面向触摸屏的位置。

接近传感器141感测接近触摸和接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等)。与感测到的接近触摸以及感测到的接近触摸模式有关的信息可以被输出到触摸屏上。

当触摸传感器以分层方式覆盖在立体显示单元152(在下文中，称为“立体触摸屏”)上时，或当立体显示单元152和感测触摸操作的3D传感器结合时，立体显示单元152也可以用作3D输入装置。

作为三维传感器的示例，感测单元140被配置为包括接近传感器141、三维触摸感测单元142、超声感测单元143、摄像头感测单元144以及生物信息获得单元145。

接近传感器141使用电磁场或红外光的强度来测量在无机械接触的情况下用来施加触摸的感测目标对象(例如，用户的手指或触控笔)与感测表面之间的距离。该终端使用该距离识别立体图像的哪一部分被触摸。特别地，触摸屏是电容式，感测目标对象的接近程度利用由于感测目标对象的接近引起的电场的改变被感测。该触摸屏被配置为使用接近程度识别三维触摸。

三维触摸感测单元142被配置为感测被施加到触摸屏的触摸的强度或触摸被施加到触摸屏的时间。例如，三维触摸感测单元142感测所施加的触摸的压力。三维触摸感测单元142确定被施加到对象的触摸的压力越高，该对象距离触摸屏越远。

超声感测单元143被配置为使得有关感测目标对象的位置信息使用超声被识别。

超声感测单元143例如由光学传感器和多个超声传感器配置而成。该光学传感器被形成为感测光，并且该超声传感器被形成为感测超声。因为光快于超声，所以光到达光学传感器花费的时间短于超声到达超声传感器花费的时间。因此，使用光和超声的到达时间之间的差，来计算发出波的来源的位置。

摄像头感测单元144包括摄像头、光电传感器以及激光传感器的至少之一。

例如，摄像头和激光传感器可以被结合以检测感测对象针对3D立体图像的触摸。当激光传感器检测到的距离信息被添加到摄像头捕获的2D图像时，能够获得3D信息。

在另一个示例中，光传感器可以被叠置在移动终端上。该光电传感器被配置为扫描接近触摸屏的感测对象的移动。详细地，该光传感器包括成行和列的光电二极管和晶体管，以通过使用根据施加的光量而改变的电子信号来扫描安装在光电传感器上的内容。即，该光电传感器根据光的变化来计算感测对象的坐标，由此获得感测对象的位置信息。

音频输出模块153可以在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等中转换并且输出从无线通信单元110接收的或存储在存储器160中的声音音频数据。而且，音频输出模块153可以提供与移动终端100所执行的特定功能有关的听觉输出(例如，呼叫信号接收声音、消息接收声音等)。音频输出模块153可以包括扬声器、蜂鸣器等。

警报单元154输出用于通知移动终端100的事件的发生的信号。在移动终端中产生的事件可以包括呼叫信号接收、消息接收、键信号输入、触摸输入等。除了视频或音频信号之外，警报单元154可以以不同的方式输出信号，例如，使用振动通知事件的发生。这些视频或音频信号也可以通过音频输出模块153被输出，那么显示单元151和音频输出模块153可以被归类为警报单元154的部件。

触觉模块155生成用户可以感觉到的各种触觉效果。触觉模块155生成的触觉效果的典型示例是振动。触觉模块155的强度和模式能够被控制。例如，不同的振动可以被结合输出或依次输出。

除了振动，触觉模块155可以生成各种其它触觉效果，例如经刺激(如相对于接触皮肤竖直移动的针布置(pin arrangement)、经喷射孔或吸孔产生的空气喷射力或吸力、对皮肤的触摸、电极接触、静电力等)产生的效果，使用能够吸收或生成热量的元件再现冷感和热感的效果。

触觉模块155可以被实施为使得用户能够通过肌觉(如用户的手指或手臂)感觉到触觉效果，以及通过直接接触传递触觉效果。可以根据移动终端100的配置设置两个或更多个触觉模块155。

存储器160可以存储用于处理并且控制控制器180执行的操作的软件程序，或者可以临时存储被输入或输出的数据(例如，电话簿、消息、静态图像、视频等)。另外，存储器160可以存储有关在触摸被输入到触摸屏时输出的振动和音频信号的各种模式的数据。

存储器160可以包括至少一种类型的存储介质，包括闪速存储器、硬盘、多媒体微型卡、卡式存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘以及光盘。而且，移动终端100可以与网页存储装置关联操作，该网页存储装置通过互联网执行存储器160的存储功能。

接口单元170用作具有与移动终端100连接的外部装置的接口。例如，该外部装置可以将数据传输给外部装置，接收并且将电力传输给移动终端100的元件，或者将移动终端100的内部数据传输给外部装置。例如，接口单元170可以包括有线或无线耳机端口、外部电源端口、有线或无线数据端口、内存卡端口、用于连接具有认证模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。

该认证模块可以是存储用于验证使用移动终端100的权限的各种信息的芯片并且可以包括使用者身份模块(UIM)、用户身份模块(SIM)、全球用户身份模块(USIM)等。另外，具有认证模块的该装置(在下文中，称为“认证装置”)可以采取智能卡的形式。因此，该认证装置可以通过接口单元170与终端100连接。

当移动终端100与外部托架(cradle)连接时，接口单元170可以用作允许电力通过其从托架供应到移动终端100的通道，或者可以用作允许用户输入的各种命令信号通过其从托架传递到移动终端的通道。从托架输入的各种命令信号或者电力可以操作作为用于识别移动终端被恰当地安装在托架上的信号。

控制器180典型地控制移动终端的一般操作。例如，控制器180执行与语音呼叫、数据通信、视频呼叫等相关的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以被配置在控制器180内或者可以被配置为与控制器180分开。

控制器180可以执行模式识别处理以将在触摸屏上执行的手写输入或画图输入分别识别为字符或图像。

而且，当移动终端的状态满足预设条件时，控制器180可以执行锁定状态以限制用户输入应用的控制命令。而且，控制器180可以在移动终端的锁定状态下基于在显示单元151上感测的触摸输入来控制在锁定状态下显示的锁定屏幕。

电源单元190在控制器180的控制下接收外部电力或者内部电力，并且供应适当电力用于操作各个元件和组件。

本文描述的各种实施方式可以使用例如软件、硬件或者其任何组合被实施成计算机可读或者其类似的介质中。

对于硬件实施方式，本文描述的实施方式可以通过使用设计成执行本文描述的功能的专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子单元的至少之一实施。在一些情况下，这些实施方式可以通过控制器180本身实施。

对于软件实施方式，本文描述的过程或者功能可以通过独立的软件模块实施。每一个软件模块可以执行本文描述的一个或者更多功能或操作。

软件代码能够通过以任何适当的编程语言编写的软件应用来实施。这些软件代码可以被存储在存储器160中并且由控制器180执行。

在下文中，将描述根据本公开文本的可与移动终端100操作的通信系统。

图2A和图2B为根据本公开文本的可与移动终端100操作的通信系统的概念图。

首先，参照图2A，这些通信系统利用不同的空中接口和/或物理层。该通信系统所利用的这种空中接口的示例包括频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)、UMTS的长期演进(LTE)、全球移动通信系统(GSM)等。

仅通过非限制性示例的方式，进一步说明将涉及CDMA通信系统，但是这些教导等同地应用于包括CDMA无线通信系统的其它系统类型。

现在参照图2A，示出具有多个移动终端100、多个基站(BS)270、基站控制器(BSC)275以及移动交换中心(MSC)280的CDMA无线通信系统。MSC 280被配置为与常规的公用交换电话网(PSTN)290接口。MSC 280也被配置为与BSC 275接口。BSC 275通过回程线(backhaulline)被耦接至基站270。这些回程线可以根据包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL的一些接口中的任一接口进行配置。因此，多个BSC275能够被包括在该系统中，如图2A所示。

基站270可以包括一个或者更多个扇区(sector)，该扇区具有全方位天线或者指向径向远离基站270的特定方向的天线。可选择地，该扇区可以包括两个或者更多个不同的天线。基站270可以被配置为支持多个频率分配，且该频率分配具有特定频谱(例如，1.25MHz、5MHz等)。

扇区和频率分配的交叉点可以称为CDMA信道。基站270也可以称为基站收发器子系统(BTS)。在一些情况下，术语“基站”可以被用来共同指BSC 275以及一个或者更多基站270。基站也可以被表示为“小区基站(cell site)”。可选择地，给定基站270的各个扇区可以称为小区基站。

如图2A所示，广播发射机(BT)295将广播信号传输给在该系统内操作的移动终端100。广播接收模块111(图1)被典型地配置在移动终端100内部以接收BT 295传输的广播信号。

图2A还描述一些全球定位系统(GPS)卫星300。这些卫星300利于定位多个移动终端100的至少一个的位置。在图2A中示出两个卫星，但应理解的是有用的位置信息可以利用比两个卫星更多或更少的卫星获得。GPS模块115(图1)被典型地配置为与卫星300配合以获得理想的位置信息。应当认识到，其它类型的位置检测技术(即，除了GPS定位技术之外或者代替GPS定位技术可以使用的定位技术)可以被可选择地实施。若需要，GPS卫星300的至少之一可以可选择地或者额外地被配置为提供卫星DMB传输。

在无线通信系统的典型操作期间，基站270从各种移动终端100接收反向链路信号组。移动终端100参与呼叫、消息传递以及执行其它通信。给定基站270所接收的反向链路信号在基站270内被处理。所得到的数据被转发给相关的BSC 275。BSC 275提供包括基站270之间的软切换的编制的呼叫资源分配和移动性管理功能。BSC 275也将接收到的数据路由(route)到MSC 280，MSC 280然后提供额外的路由服务用于与PSTN 290接口。类似地，PSTN290与MSC 280接口，并且MSC 280与BSC 275接口，BSC 275转而控制基站270以将向前链路信号组传输到移动终端100。

在下文中，参考图2B，将给出使用无线保真(WiFi)定位系统(WPS)获取移动终端的位置信息的方法的说明。

WiFi定位系统(WPS)300将基于使用WiFi的无线局域网(WLAN)的位置确定技术称为使用设置在移动终端100中的WiFi模块以及用于向WiFi模块传输并且从WiFi模块接收的无线接入点320追踪移动终端100的位置的技术。

WiFi定位系统300可以包括WiFi位置确定服务器310、移动终端100、连接至移动终端100的无线接入点(AP)320以及存储有任何无线AP信息的数据库330。

WiFi位置确定服务器310基于移动终端100的位置信息请求消息(或信号)提取连接至移动终端100的无线AP 320的信息。无线AP320的信息可以通过移动终端100被传输到WiFi位置确定服务器310或者从无线AP320传输到WiFi位置确定服务器310。

基于移动终端100的位置信息请求消息提取的无线AP的信息可以是MAC地址、SSID、RSSI、信道信息、隐私、网络类型、信号强度和噪声强度的至少之一。

如上所述，WiFi位置确定服务器310接收连接至移动终端100的无线AP 320的信息，并且将接收的无线AP 320信息与包含在预先建立的数据库330中的信息比较以提取(或分析)移动终端100的位置信息。

在一些实施方式中，参照图2B，作为一示例，连接至移动终端100的无线AP被示出为第一、第二以及第三无线AP 320。然而，连接至移动终端100的无线AP的数量可以根据移动终端100所在的无线通信环境以各种方式改变。当移动终端100被连接至无线AP的至少之一时，WiFi定位系统300能够追踪移动终端100的位置。

接下来，考虑更详细地存储有任何无线AP信息的数据库330，布置在不同位置的任何无线AP的各种信息可以被存储在数据库330中。

存储在数据库330中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、经纬坐标、无线AP所在的建筑物、楼层号、具体室内位置信息(可获得的GPS坐标)、AP所有者地址、电话号码等信息。

以此方式，任何无线AP信息以及与任何无线AP对应的位置信息一起被存储在数据库330中，因此，WiFi位置确定服务器310可以从数据库330检索与连接至移动终端100的无线AP 320的信息对应的无线AP信息，以提取与搜索到的无线AP匹配的位置信息，从而提取移动终端100的位置信息。

此外，所提取的显示装置100的位置信息可以通过WiFi位置确定服务器310被传输到显示装置100，从而获取显示装置100的位置信息。

参照图3A、图3B(描述移动终端的智能手表实施方式)、图4A、图4B(描述移动终端的可穿戴眼镜实施方式)以及图5A、图5B(描述移动终端的另一个实施方式)，在下文描述根据一些实施方式在本说明书中公开的移动终端的实现的类型。

图3A和图3B为示出根据一些实施方式的智能手表的前侧和后侧的示意图。

即，图3A和图3B示出移动终端100采取智能手表形式的情况，该智能手表是可穿戴装置中的手表式移动终端。

本说明书中公开的智能手表200具有矩形构造。然而，实施方式不限于此，并且可以被应用于具有呈圆形、三角形等形状的各种类型构造的智能手表。

智能手表200包括表带230和本体220。形成主体220的外观的壳体可以包括前壳体210和后壳体250。由前壳体210和后壳体250形成的空间可以将各种组件容纳于其中。至少一个中间壳体可以被进一步布置在前壳体210和后壳体250之间。这种壳体可以通过注塑合成树脂形成，或者可以使用诸如不锈钢(STS)或钛(Ti)等金属材料形成。

参照图3A，显示单元151、摄像头121、麦克风122等被布置在前壳体210中。

显示器151占据了前壳体210的主表面的大部分。摄像头121和麦克风122可以被布置在显示单元151的两端。

各种类型的视觉信息可以被显示在显示单元151上。这些信息可以以文字、数字、符号、图形或图标的形式被显示。

对于这些信息的输入，文字、数字、符号、图形或图标的至少之一可以被布置成键盘的形式。这种键盘可以被称为“软键”。

显示单元151可以作为整个区域或多个划分的区域操作。对于后者，多个区域可以彼此相关。

另外，有线/无线耳机端口(未示出)和有线/无线数据端口(未示出)被布置在智能手表200的主体的一个侧面上。这些端口被配置为接口170的一个示例(参见图1)。

参照图3B，第一传感器145a被布置在主体220的背面，即后壳体250。第一传感器145a是感测用户皮肤的状态或用户生命体的信号的传感器。另外，感测用户肌肉的运动等的第二传感器145b被布置在智能手表的表带230上。

用于接收广播信号的天线可以被布置在本体220的侧表面上。广播接收模块111的天线部件(参见图1)可以以可伸缩方式被设置在本体220中。

然后，音频输出模块(未示出)、接口等被布置在智能手表200的主体220中。另外，用户输入单元240、连接端口等被布置在前壳体210和后壳体250的侧面。

用户输入单元240被操作以接收控制智能手表200的操作的命令，用户输入单元240可以包括操控单元240a、240b、240c以及240d的至少之一。这些操控单元可以称为操控部，并且可以包括能够以用户的触觉方式被操控的任何类型的操控部。

通过操控单元输入的命令可以被不同地设定。比如，这些操控单元可以被配置为输入诸如START(开始)、END(结束)、SCROLL(滚动)等命令，并且配置为输入用于控制从音频输出单元152输出的声音的等级的命令、或用于将显示器151的当前模式转换成触摸识别模式的命令。

连接端口可以被配置为从外部装置接收数据或配置为接收电力，从而将其传输给位于智能手表200内部的组件。可选择地，该连接端口可以被配置为允许智能手表200内部的数据传输到外部装置。该连接端口可以被配置为接口单元170的一个示例(参见图1)。

将电力供应到智能手表200的电源单元(未示出)被安装在智能手表200的主体220中。该电源单元被配置为适于被内置于主体220中的形式。

图4A和图4B为可穿戴眼镜式移动终端的示例的示意图。

图4A和图4B示出实现为数字眼镜(例如，智能眼镜)的移动终端100，其是可穿戴装置中的眼镜式移动终端。

参照图4A，根据一些实施方式，可穿戴眼镜式终端200'被配置为包括主体100'、显示单元151、控制器180。

根据一些实施方式，可穿戴眼镜式终端200'还可以包括用户输入单元、语音识别单元以及运动感测单元。

根据一些实施方式，可穿戴眼镜式终端200'被实现为头戴式显示器(HMD)。作为一具体示例，可穿戴眼镜式终端200'被实现为智能眼镜。

主体100'被形成为使得其可安装在人头部上。例如，主体100'被实现为穿戴在用户眼睛上的智能眼镜的框架。

在图4A的示例中，与主体100'耦接的显示单元151被分别布置在与两眼对应的位置。另外，显示单元151具有光学透明性，并且视觉信息被输出到显示单元151。

该视觉信息在可穿戴眼镜式终端200'中生成，或者可以基于从外部装置输入的虚物体(virtual object)。例如，该虚物体可以基于应用、与该应用对应的图标、内容、用于通信模式的UI等。该虚物体可以由控制器180生成或者从移动终端或任何其它装置(如智能手机)输入。

在一些实施方式中，如果显示单元151具有光学透明性(optical transparency)，用户能够通过显示单元151观看到外部环境。

另外，根据一些实施方式，该外部环境可以通过显示单元151被观看并且同时，有关外部环境中的对象的信息可以被输出到显示单元151。例如，外部物体可以是名片、人或可以相互通信的外部装置。

如上所述，控制器180控制可穿戴眼镜式终端200'。详细地，控制器180将在无线通信单元110中感测的有关外部装置的信息输出到显示单元151。

例如，控制器180可以认证所感测的外部装置的位置。在一些实施方式中，控制器180确定感测的外部装置是否位于用户的视线内，并且控制器180基于该判定的结果确定有关感测的外部装置的信息是否将被输出。

控制器180可以被安装在可穿戴眼镜式终端200'的主体100'上或者控制器180和主体100可以被整体形成为一体。根据一些实施方式，控制器180可以被布置得远离主体100'。

摄像头121可以被布置在左眼和右眼显示单元151的至少一个的前面。可选择地，摄像头121可以被布置在框架100'的一侧或两侧，因此可以拍摄穿戴者视线外的物体。

用户输入单元130可以被实现为设置在框架110的一侧或两侧上的分离的触控面板。可选择地，用户输入单元130可以被实现为物理输入键。例如，电源的打开/关闭开关可以被实现为使得其被设置在框架110'的一侧。

根据一些实施方式，用户输入单元130可以被实现为连接至主体100'的分离的外部装置。因此，用户能够将具体命令输入到分离的外部装置中。可选择地，显示单元151可以被实现为触摸屏，因此用户能够将控制命令直接地输入到显示单元151中。

根据一些实施方式，用户输入单元130可以被实现为识别用户的语音命令的模块。因此，用户能够将具体的语音命令输入到主体100'中。

除了上述功能之外，该可穿戴眼镜式终端可以被配置为执行能够在其它类型的移动终端中执行的任何适当的功能。

在一些实施方式中，通过显示单元151看到的外部环境以及被输出的视觉信息被一起显示在智能眼镜的显示单元151上(这称为增强现实)。因此，用户能够更加容易地掌握有关构成外部环境的任意物体的信息。

另外，智能眼镜与其它不同的智能眼镜或与能够与这些智能眼镜通信的外部装置进行无线通信。如此，与外部装置有关的各种类型的信息可以被输出到显示单元151。

图4B为示出能够安装眼睛接近显示器的可穿戴装置的示例的透视图。

参照图4B，该可穿戴装置是眼镜式移动终端200″，其能够被穿戴人体的头部并且设置有框架(壳体、外壳等)。在一些实施方式中，该框架可以由容易磨损的柔性材料制成。移动终端200″的框架被示出为具有第一框架201″和第二框架202″，其能够由相同或不同的材料制成。

该框架可以被支撑在头部上并且限定用于安装各种组件的空间。如示出的，诸如控制模块280″、音频输出模块252″等电子组件可以被安装至框架部件。而且，用于遮盖左眼或右眼或者两者的显示单元251″可以被可拆卸地耦接至框架部件。

控制模块280″控制布置在移动终端200″中的各种电子组件。控制模块280″可以被理解为与上述控制器180(参见图1)对应的组件。图4B示出控制模块280″安装在头部一侧的框架部件中，虽然其它位置也可以。

显示单元251″可以被实施为头戴式显示器(HMD)。HMD是指使显示器安装至头部以示出位于用户眼睛正前面的图像的显示器技术。当用户穿戴眼镜式移动终端200″时，为了在用户眼睛的正前面提供图像，显示单元251″可以与左眼或右眼或者两者对应安置。图4B示出显示单元251″位于与右眼对应的部位以输出用户的右眼可见的图像。

在一些实施方式中，显示单元251″可以使用棱镜将图像投影到用户的眼睛中。而且，该棱镜可以由光学透明材料形成，使得用户能够看到用户前面的投影图像和一般视野(用户通过眼睛看到的范围)。

以此方式，通过显示单元251″输出的图像可以在与用户的一般视野重叠的同时被观看到。移动终端200″可以通过使用该显示器将虚象重叠在真实图像或背景上提供增强现实(AR)。

摄像头221″可以相邻于左眼或右眼或两者安置以捕获图像，并且摄像头221″能够获取用户当前正在观看的场景。

在附图中，摄像头221″被设置在控制模块280″中。然而，摄像头221″可以被安置在移动终端的任何适当的位置。在一些实施方式中，可以利用多镜头摄影机221″。这种多镜头摄影机221″可以被用来例如获取立体图像或用于其它目的。

眼镜式移动终端200″可以包括用户输入单元223a″和223b″，其能够被用户操控以提供输入。用户输入单元223a″和223b″可以采用允许通过触觉输入进行输入的技术。触觉输入能够包括触摸、按压等。由于分别被安置在框架部件和控制模块280″上，用户输入单元223a″和223b″示出为可以以按压方式和触摸方式操作。

若需要，移动终端200″可以包括将输入声音处理成电子音频数据的麦克风以及用于输出音频的音频输出模块252″。音频输出模块252″可以被配置为以一般音频输出方式或骨引导(osteoconductive)方式产生音频。当音频输出模块252″以骨引导方式被实施时，音频输出模块252″可以在用户穿戴移动终端200″时被紧密地贴附至头部并且振动用户的头骨以传递声音。

在下文中，将参考图5A和图5B说明根据一些实施方式的图1的移动终端的结构。

图5A为根据一些实施方式的移动终端的示例的前透视图。

在本示例中，移动终端100是条型移动终端。然而，本公开文本不限于此，而是可以被应用于手表式、夹子式、眼镜式或两个或更多个本体彼此耦接以进行相对运动、折叠式运动、摆动式运动、旋转式运动等的滑动式。

移动终端100的本体包括形成外观的壳体(壳、外壳、盖等)。该壳体可以包括前壳体101和后壳体102。由前壳体101和后壳体102形成的空间可以将各种组件容纳于其中。至少一个中间壳体可以进一步被布置在前壳体101和后壳体102之间。用于遮盖电池191的电池盖103可以被可拆卸地安装至后壳体102。

这些壳体可以通过注塑合成树脂形成，或者可以使用诸如不锈钢(STS)或钛(Ti)等金属材料形成。

显示器151、第一音频输出模块153a、第一摄像头121a、第一操控单元131等可以被布置在本体的前表面上。麦克风122、接口单元170、第二操控单元132等可以被设置在本体的侧表面上。

显示单元151可以输出在移动终端100中处理的信息。显示单元151可以使用例如液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器以及电子墨水显示器的至少之一实施。

显示单元151可以包括用于以触摸方式输入信息的触摸感测装置。一旦显示单元151上的一部分被触摸，与被触摸位置对应的内容被输入。以触摸方式输入的内容可以是能够在每一个模式中被设定的字符或数字或菜单项。

该触摸感测装置可以是透光的(transmissive)，从而能够看到从显示单元151输出的视觉信息，并且该触摸感测装置可以包括用于在明亮的地方增强触摸屏的可见性的结构。参照图5A，显示单元151占据了前壳体101的前表面的大部分。

第一音频输出模块153a和第一摄像头121被布置在与显示单元151的一端相邻的区域，并且第一操控单元131和麦克风122被布置在与显示单元151的另一端相邻的区域。第二操控单元132(参见图5B)、接口单元170等可以被布置在该本体的侧表面上。

第一音频输出模块153a可以被实施为用于将呼叫声音传输到用户耳朵的接收器、或用于输出每一种类型的警报声或多媒体的回放声音的扬声器。

从第一音频输出模块153生成的声音可以被配置为通过结构之间的组装间隙发出。在这种情况下，独立形成以输出音频声音的孔可能看不见或者相对外观被隐藏，从而进一步简化移动终端100的外观和制造。实施方式不限于此。用于输出音频声音的该孔可以被形成在窗口。

第一摄像头121a在视频呼叫模式或捕获模式中处理通过图像传感器获得的图像帧(如静态图像或动态图像)。所处理的图像帧可以被显示在显示单元151上。

用户输入单元130被操控以接收用于控制移动终端100的操作的命令，并且可以包括第一操控单元131和第二操控单元132。这些输入键可以称为操控部，并且可以包括能够以用户的触觉方式被操控的任何类型的操控部。

本绘图基于第一操控单元131是触摸键示出，但是本公开文本可以不一定限于此。例如，第一操控单元131可以被配置有机械键、或触摸键和机械键的组合。

由第一操控单元131和/或第二操控单元132接收的内容可以以各种方式被设定。例如，第一操控单元131可以被用来接收诸如菜单、起始键、取消、搜索等命令，并且第二操控单元132可以接收诸如控制从第一音频输出模块153a输出的音量级或切换到显示单元151的触摸识别模式等命令。

麦克风122可以被形成为接收用户的语音、其它声音等。麦克风122可以被设置在多个地方，并且配置为接收立体声。

接口单元170用作允许移动终端100与外部装置交换数据的路径。例如，接口单元170可以是用于以有线或无线方式连接至耳机的连接终端、用于近场通信(例如，红外线数据协会(IrDA)端口、蓝牙端口、无线局域网端口等)的端口以及用于将电力供应到移动终端100的电源终端的至少之一。接口单元170可以以用于容纳诸如用户认证模块(SIM)或使用者身份模块(UIM)等外部卡以及用于信息存储的内存卡的插槽的形式被实施。

图5B为移动终端的示例的后透视图。

参照图5B，第二摄像头121b可以被额外地安装在终端本体的背面，即后壳体102。第二摄像头121b具有与第一摄像头单元121a的方向大体相反的图像捕获方向(例如，在图5A中)，并且可以具有与第一摄像头单元121a不同的像素数量。

例如，第一摄像头121a可以具有相对少量的像素，这些像素是足够的而不会在用户在视频呼叫等期间捕获他或她自己的脸部并且将其发送给另一方时造成困难，并且第二摄像头121b具有相对大量的像素，由于用户经常捕获并非立即发送的普通对象。第一摄像头121a和第二摄像头121b可以以可旋转和可弹出(popupable)方式被设置在终端本体中。

此外，闪光灯123和镜子124可以被额外地布置为与第二摄像头121b相邻。当利用第二摄像头121b捕获对象时，闪光灯123向该对象照射光。当通过使用第二摄像头121b捕获他自己或她自己(以自画像模式)时，镜子124以反射方式允许用户看到他或她自己的脸部。

第二音频输出单元153b可以被额外地布置在终端本体的背面。第二音频输出单元153b与第一音频输出单元153a(例如，在图5A中)一起能够实施立体声功能，并且也可以被用来在电话呼叫期间实施扬声器电话模式。

除了用于进行电话呼叫的天线等之外，用于接收广播信号的天线可以被额外地布置在终端本体的侧表面。广播接收模块111的天线组成部件(例如，在图1中)可以以可伸缩方式被设置在终端本体中。

用于将电力供应到移动终端100的电源单元190(例如，在图1中)可以被安装在终端本体上。电源单元190可以被结合到终端本体中，或者可以包括以可拆卸方式配置在终端本体外部的电池191。根据附图，示出电池盖103与后壳体102结合以罩住电池191，从而限制电池191不会松脱并且保护电池191免于受到外部冲击和外来物质。

车辆控制设备

参照图6A至图8C在下文描述本说明书中公开的车辆控制设备。

图6A为根据一些实施方式的车辆控制设备的示例的方框图。

图6B为示出根据一些实施方式的被连接至车辆控制设备的外部装置的一个示例的示意图。

图6A为描述根据一些实施方式在本说明书中公开的车辆控制设备的方框图。图6B为示出根据一些实施方式在本说明书中公开的能够被连接至车辆控制设备的外部装置的示例的示意图。

首先，如图6A所示，根据一些实施方式在本说明书中公开的车辆控制设备400被配置为包括控制器410、连接至控制器410的感测单元430、车辆驱动单元420以及存储器440。车辆控制设备400还可以包括输出单元450。然后，车辆控制设备400被形成在车辆的本体中，该车辆的本体被配置为包括构成车辆的外观的外部框架、窗户以及形成为使用户乘坐于其中的内部框架。此时，图6A所示的组成元件在实现根据一些实施方式的车辆控制设备400时不是必需的，因此，除上述组成元件之外，在本说明书中描述的车辆控制设备400可以包括一个或更多组成元件，并且可以省略一个或更多组成元件。

典型地，感测单元430使用配置为感测车辆控制设备400的内部信息、车辆控制设备400的周围环境、用户信息等的一个或更多传感器被实施。例如，感测单元430被示出为具有接近传感器432和照明传感器。若需要，感测单元430可以可选择地或额外地包括其它类型的传感器或装置，举例来说如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外线(IR)传感器、手指扫描传感器、超声传感器、光学传感器、麦克风122、环境传感器(例如，气压计、湿度计、温度计、辐射探测传感器、热传感器以及气体传感器及其它)以及化学传感器(例如，电子鼻、医疗传感器、生物统计传感器等)。车辆控制设备400可以被配置为利用从感测单元430获得的信息、尤其是从感测单元430的一个或更多传感器获得的信息以及其组合。

感测单元430还可以包括短程通信模块431。用于短程通信的短程通信模块431可以使用蓝牙^TM、射频识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi Direct、无线通用串行总线(无线USB)的至少之一来支持短程通信。短程通信模块431可以通过无线局域网支持车辆控制设备400与外部装置170(参见图6B)之间的无线通信。

该外部装置可以是上述移动终端100。具体地，该外部装置可以呈可穿戴装置200或200'的形式，可穿戴装置200或200'是上述移动终端的一种类型。

车辆驱动单元420取消车辆的锁定状态或者将车辆切换到锁定状态。在此，车辆的锁定状态是车辆的一个或更多功能或者车辆的全部功能被限制、车辆不启动、或者车辆的门不打开的状态。与锁定状态相反，锁定状态的取消使车辆返回到驾驶员座椅、前排乘客座椅、后排乘客座椅以及后备箱的至少之一能够打开、车辆的功能能够被执行，即车辆能够启动、或者诸如导航功能和通风功能等各种功能能够被执行的状态。

另外，车辆驱动单元420改变各种设定并且使功能能够自动执行。例如，车辆驱动单元420在控制器410的控制下控制车辆的组成元件，例如，控制前排驾驶员座椅或前排乘客座椅的窗户打开程度或者控制后视镜的角度。车辆驱动单元420调节前排驾驶员座椅或前排乘客座椅和后排座椅中的至少之一的高度或水平位置(例如，这些座椅之间的距离)。在控制器410的控制下，车辆驱动单元420可以设定驾驶员座椅中的方向盘，例如可以设定方向盘的高度和方向盘的灵敏度等。另外，在控制器410的控制下，车辆驱动单元420可以使传动装置(gear)以自动变速操作或以手动变速操作，并且在混合动力车的情况下，车辆驱动单元420可以优选选择内燃机操作模式和电动机模式操作模式之中任何之一。

另外，在控制器410的控制下，车辆驱动单元420不仅可以改变车辆的硬件设定状态，而且可以改变车辆的软件设定状态。例如，在控制器410的控制下，车辆驱动单元420可以使预定音乐播放列表被显示或者可以使预定音乐播放列表上的一个音乐项目被自动再现。另外，车辆驱动单元420可以自动设定预定的特定目的地，并且可以使到特定目的地的路径能够通过导航设备自动显示。另外，在控制器410的控制下，车辆驱动单元420可以使与前车或后车的距离或车辆的速度在车辆巡航驾驶时被自动设定。

为此，车辆驱动单元420被配置为包括不同的子驱动单元，并且该子驱动单元分别改变车辆的硬件或软件设定状态。改变车辆的硬件设定状态的子驱动单元称为第一驱动单元421，并且改变车辆的软件设定状态的子驱动单元称为第二驱动单元422。

在此，为了改变车辆的硬件设定，第一驱动单元421被配置为包括改变车辆的外部框架或内部框架的不同的组成元件。例如，第一驱动单元421还可以包括用于调节座椅的高度或座椅的靠背的角度的硬件驱动单元，并且还可以包括用于调节方向盘的高度的单元，该单元被配置为包括弹性元件或压力元件，如用于提升或降低方向盘的高度的线圈或弹簧。

在一些实施方式中，第二驱动单元422被实现为至少一个或更多应用程序或应用。例如，第二驱动单元122被实现为呈包括用于驱动导航设备的应用程序中的任何之一或包括用于再现已经存储的介质数据(例如，MP3)的应用程序的形式。这些应用程序或应用可以是用于车辆的驾驶控制类型之一的应用程序或应用。

输出单元450用于生成与视觉、听觉或触觉相关的输出，并且被配置为包括显示单元451、声音输出单元452、触觉模块453以及光学输出单元454中的至少之一。该触摸传感器被配置为分层或整体形成为显示各种图像信息的显示单元451，或者整体形成为显示单元451，从而实现触摸屏。该触摸屏用作在车辆控制设备400和用户之间提供输入接口并且在车辆控制设备400和用户之间提供输出接口的用户输入单元423。

该触摸屏被实现在车辆的各部分上。例如，该触摸屏被实现在车辆的整个挡风玻璃上或者挡风玻璃的一部分上，并且可以被实现在外部表面(暴露于车辆外部的表面)或内部表面(面向车辆内部的表面)的任何地方。另外，该触摸屏可以被实现在驾驶员座椅一侧窗户、前排乘客座椅一侧窗户或车辆的后排座椅的窗户的外部表面或内部表面上。该触摸屏可以被实现在车辆的后视镜或天窗上。

另外，该触摸屏不仅可以被实现在诸如车辆的窗户或天窗等玻璃上，而且可以被实现在车辆的外部框架或内部框架上。例如，该触摸屏可以被实现在车辆的外部框架的表面上，即挡风玻璃与窗户之间的外部框架或者窗户之间的外部框架的表面上，如A柱、B柱或C柱。另外，该触摸屏可以被实现在车门的外部表面的至少一部分(例如，车门的门把手附近的一部分)上。该触摸屏也可以被形成在车辆内的齿轮箱的盖的表面上或者操纵箱的盖的一部分上。另外，两个或更多触摸屏可以被形成在车辆的至少一部分或更多不同部分上。

车辆控制设备400的各种功能可获得的数据被存储在存储器440中。在车辆控制设备400上运行的多个应用程序或应用、用于车辆控制设备400的数据和命令被存储在存储器440中。这些应用程序的至少一个或更多通过无线通信网络从外部服务器下载。另外，对于一些基本功能(例如，车辆启动功能、导航功能以及车辆锁定和解锁功能)，这些应用程序的至少一个或更多在装运前被预先安装在车辆控制设备400上。在一些实施方式中，该应用程序被存储在存储器440中并且被安装在车辆控制设备400上。控制器400运行该应用程序以使该应用程序执行车辆控制设备的操作(或功能)。

根据一些实施方式，该应用程序可以是执行导航功能的导航程序。

与至少一个或更多用户有关的多条信息被存储在存储器440中。在此，与用户有关的信息是有关用户的验证信息以及与用户自己设定的或基于有关用户的生物信息适当设定的车辆的各种设定条件有关的信息。与用户有关的信息例如是用户自己设定的与车辆中的室内温度或湿度有关的设定信息、取决于用户的驾驶习惯的设定信息等。另外，与用户有关的信息可以是对用户驾驶所沿的驾驶路径的记录。另外，该验证信息可以是有关用户预定的密码或图案的信息，或者可以是基于有关用户的生物信息的信息(如有关用户的指纹或虹膜的识别信息)。另外，该验证信息可以是与用户的手势有关的信息。

根据一些实施方式，有关用户的生物信息由移动终端100(或可穿戴装置200或200')获得。

在这种情况下，该可穿戴装置还可以包括：通信单元，与被安装在车辆中的车辆控制设备进行通信；以及生物信息获得单元，其从特定身体部位(例如，手腕部)获得有关用户的生物信息。

在此，该通信单元将所获得的有关用户的生物信息传输给车辆控制设备400，并且该有关用户的生物信息被存储在存储器440中。

该生物信息是有关用户的心率、用户的体脂肪、用户的血压、用户的血糖、用户的面部轮廓、用户的指纹、用户的脑波以及用户的虹膜的多条信息中的至少一条信息。

另外，用于控制器410的操作的程序被存储在存储器440中，输入或输出的数据(例如，用户验证信息或驾驶环境设定信息)可以被临时存储在存储器440中。有关在触摸输入被施加到触摸屏时所输出的振动和声音的各种模式的数据被存储在存储器440中。

存储器440包括存储介质，如闪速存储器、硬盘、固态盘(SDD)、硅磁盘驱动器(SDD)、多媒体微型卡、卡式存储器(例如，SD、DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘以及光盘。车辆控制设备400可以与通过互联网执行存储功能的网页存储设备(类似存储器140)联合操作。

在一些实施方式中，除与上述应用程序相关的操作之外，控制器410通常控制车辆控制设备400的整体操作。控制器410处理通过上述组成元件输入或输出的信号、数据、信息等，或者通过运行被存储在存储器440中的应用程序控制车辆的驾驶。另外，控制器410控制参照图1描述的组成元件中的至少之一或更多，以运行存储在存储器440中的应用程序。此外，控制器410控制以至少两个或更多的组合的形式被包括在车辆控制装置400中的组成元件，以运行该应用程序。

在一些实施方式中，用户将验证信息输入到控制器410中，并且控制器410基于该验证信息确定用户是否是经验证用户。该验证信息是有关用户的手指或有关预定模式的识别信息。另外，该验证信息是有关用户的虹膜的识别信息，或与用户的特定手势有关的信息。例如，模式识别信息或手指识别信息作为验证信息被输入到控制器410中。该模式识别信息是有关用户施加到车辆的外部或内部表面的一部分的多次轻击(tap)(例如，多个轻击或多个敲击)。该手指识别信息通过车辆的外部或内部表面的一部分被输入，或通过被形成在驾驶员座椅或乘客座椅的窗户和屏蔽窗玻璃等上的触摸屏区域被输入。另外，控制器410可以使用被设置在感测单元430中的光电传感器或摄像头识别在车辆的内部或外部做出的用户的手势，或者可以识别有关用户的虹膜信息。

然后，当用户是经验证用户时，控制器410取消车辆的锁定状态。然后，车辆控制设备400使用户能够打开车辆的门、后备箱等，而不必使用它们的钥匙。另外，控制器410可以使用有关用户的预定验证信息使车辆启动。另外，控制器410可以将车辆的状态切换到锁定状态。即，基于经验证用户的选择，控制器410可以保持车辆的锁定状态直到有关经验证用户的验证信息被再次输入。在一些实施方式中，在车辆被解锁的状态下，当有关用户的验证信息从车辆的外部被输入时，基于此，控制器410将车辆的状态切换为锁定状态。然后，当相同的验证信息在车辆被切换到锁定状态的状态下被再次输入时，车辆可以被切换回到解锁状态。

该触摸屏被形成在车辆的一部分上，以使有关用户的验证信息被输入到控制器410中。有关用户手指的信息或有关用户设定模式的信息通过形成的触摸屏被输入到控制器410中。可选择地，预定密码可以被输入到控制器410中。为此，控制器410执行将被施加到该触摸屏的写入输入或画图输入分别识别为文字或图像的模式识别处理。此外，控制器410控制上述组成元件之一或上述组成元件的两个或更多的组合，以根据一些实施方式实现车辆控制装置400，其在下文描述。

另外，控制器410可以在被形成在车辆的一部分上的触摸屏上显示各种图像信息。例如，控制器410可以显示用于验证在触摸屏上施加模式输入的用户或图形对象的手指输入区域，并且可以显示用户验证的结果、与当前经验证用户有关的信息等。

然后，当用户是经验证用户时，控制器410使用与相应用户对应的用户相关信息改变车辆的设定状态。例如，通过控制第一驱动单元421，控制器410基于有关用户的验证的信息调节驾驶员座椅等的高度、座椅的靠背的角度等，并且可以调节车辆中的室内温度或湿度。另外，基于与经验证用户对应的信息，控制器410调节驾驶员座椅和前排乘客座椅的窗户打开程度或控制后视镜的角度等。控制器410可以调节方向盘等的高度。

控制器410可以根据经验证用户改变车辆操作模式。例如，控制器410可以根据经验证用户的偏好将动力方向盘操作模式切换到特定模式(例如，正常模式或运动模式)。另外，控制器110可以根据经验证用户的偏好将齿轮变速模式切换到手动变速模式或自动变速模式。

另外，控制器410不仅可以改变这些硬件设定，而且可以改变软件设定。例如，如果经验证用户乘坐车辆，控制器410自动地选择他/她最喜欢的音乐条目或包含他/她之前听过的音乐条目的列表。另外，控制器410可以自动地选择经验证用户常收听的无线电广播系统的信道。

另外，控制器410可以基于经验证用户乘坐车辆的时间改变车辆的各种设定。例如，基于用户被验证的时间以及经验证驾驶员的驾驶记录，控制器410搜索经验证用户在相应时间常去的目的点。即，如果用户具有有规律地在下班后下午8:00到下午9:00期间回“家”的习惯，当用户在下午8:00至下午9:00期间乘坐车辆时，控制器410可以基于驾驶记录自动地将目的点设定为“家”，并且在导航设备的显示单元上显示相应路径。

以此方式，根据一些实施方式的车辆控制设备400的控制器410使用户能够使用验证信息控制车辆。结果是，用户能够以更容易更方便的方式乘坐车辆并且控制车辆。当用户被验证时，根据一些实施方式的车辆控制设备400的控制器410基于用户被验证的事实同样调节车辆的各种驾驶环境设定，从而自动提供他/她最喜欢的驾驶环境。

另外，无论用户是否乘坐车辆，控制器410可以基于用户的选择以便利的方式改变车辆的硬件或软件设定。例如，基于车辆的内部(例如，操纵箱、齿轮箱、或驾驶员座椅或前排乘客座椅的窗户)的多次轻击，控制器410可以改变至少一个硬件或软件设定。作为一个示例，如果用户对车辆的方向盘施加多次轻击，控制器410对此识别，并且因此可以调节方向盘的高度或者可以将动力方向盘操作模式从一个模式改变为另一个模式。

在一些实施方式中，不仅基于多个轻击，而且基于用户的手势，控制器410改变硬件或软件设定状态。例如，控制器410使摄像头、光电传感器、激光传感器或红外线传感器可以感测乘坐车辆的驾驶员或乘客的移动。然后，基于驾驶员和乘客的移动，控制器410可以执行特定功能并且调节当前设定的状态。作为一个示例，如果坐在前排乘客座椅的乘客朝向前排乘客座椅的窗户做出手放低手势，前排乘客座椅的窗户的打开程度基于乘客的手势被调节。另外，如果特定手势(例如，手指轻弹手势或拍手手势)被感测到，控制器410可以基于驾驶员或乘客的手势再现预定的特定音乐数据。

在一些实施方式中，上述组成元件的至少一个或更多彼此配合操作以实现根据各种实施方式在上文描述的车辆控制设备400的操作或控制、或控制车辆控制设备400的方法。另外，通过运行被存储在存储器440中的至少一个应用程序，在车辆控制设备400上实现车辆控制设备400的操作或控制、或控制车辆控制设备400的方法。

在描述根据各种实施方式车辆控制设备400之前，参照图6A在下文更详细地描述上文列举的组成元件。

感测单元430感测有关车辆控制设备的内部的信息、有关车辆控制设备的周围环境的信息以及有关用户的信息中的至少之一，并且生成与感测的信息对应的感测信号。基于该感测信号，控制器410控制车辆控制设备400的驾驶或操作，或执行与被存储在车辆控制设备400上的应用程序相关的数据处理、功能或操作。更详细地描述能够被包括在感测单元430中的各种传感器中的典型传感器。

接近传感器432可以包括通过使用电磁场、红外线等在无机械接触的情况下感测接近表面的对象、或位于表面附近的对象的存在或不存在的传感器。接近传感器432可以被布置在触摸屏所覆盖的移动终端的内部区域，或布置在触摸屏附近。

接近传感器432例如可以包括透射式光电传感器、直接反射式光电传感器、镜面反射式光电传感器、高频振荡接近传感器、电容式接近传感器、磁式接近传感器、红外线接近传感器等的任何之一。当触摸屏被实施为电容式时，接近传感器432能够通过响应于具有导电性的对象的接近引起的电磁场的改变感测指示器相对于触摸屏的接近。在这种情况下，该触摸屏(触摸传感器)也可以被归类为接近传感器。

本文经常提及的术语“接近触摸”表示指示器接近触摸屏而不接触触摸屏的情景。本文经常提及的术语“接触触摸”表示指示器与触摸屏进行物理接触的情景。对于与指示器相对于触摸屏的接近触摸对应的位置，该位置将对应于指示器垂直于触摸屏的位置。接近传感器432感测接近触摸和接近触摸模式(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。在一些实施方式中，控制器410处理与通过接近传感器432感测到的接近触摸操作和接近触摸模式对应的数据(或信息)，并且在触摸屏上进一步输出与所处理的数据对应的视觉信息。此外，控制器410可以控制车辆控制设备400，使得取决于施加到触摸屏上相同点的触摸是接近触摸还是接触触摸，不同操作被执行或不同数据(或不同信息)被处理。

触摸传感器能够使用任何种类的触摸方法感测施加到触摸屏(如显示单元451)的触摸。这些触摸方法的示例包括电阻式、电容式、红外线式和磁场式及其它。

作为一个示例，该触摸传感器可以被配置为将施加到显示单元451的特定部分的压力的改变转换成电子输入信号，或将在显示单元451的特定部分发生的电容转换成电子输入信号。该触摸传感器也可以被配置为不仅感测被触摸位置和被触摸区域，而且感测触摸压力和/或触摸电容。触摸对象通常被用来将触摸输入施加到触摸传感器。典型的触摸对象的示例包括手指、触摸笔、触控笔、指示器等。

当触摸输入被触摸传感器感测到时，相应信号可以被传输到触摸控制器。该触摸控制器可以处理所接收的信号，并且然后将相应的数据传输给控制器410。因此，控制器410可以感测显示单元451的哪一区域被触摸。在一些实施方式中，该触摸控制器可以是与控制器410分开的组件、控制器410及其组合。

在一些实施方式中，控制器410可以根据触摸触摸屏或除了触摸屏之外设置的触摸键的触摸对象的类型执行相同或不同的控制。是否根据提供触摸输入的对象执行相同或不同的控制可以基于例如车辆控制设备400的当前操作状态或当前执行的应用程序来决定。

触摸传感器和接近传感器可以被单独或组合实施，以感测各种类型的触摸。这些触摸包括短(或轻击)触摸、长触摸、多点触摸、拖动触摸、轻弹触摸、缩小(pinch-in)触摸、放大(pinch-out)触摸、滑动触摸、悬浮触摸等。

若需要，超声传感器可以被实施为使用超声波识别与触摸对象有关的位置信息。控制器410例如可以基于照明传感器和多个超声传感器感测到的信息计算波生成源的位置。由于光比超声波快得多，光达到光学传感器花费的时间比超声波达到超声传感器花费的时间短得多。波生成源的位置可以使用该事实计算。比如，波生成源的位置可以基于作为参考信号的光使用与超声波达到传感器的时间的时间差计算。

感测单元430典型地包括摄像头传感器(CCD、CMOS等)、光传感器(或图像传感器)以及激光传感器至少之一。

用激光传感器实施摄像头421可以允许检测物理对象相对于3D立体图像的触摸。该光传感器可以被叠置在显示装置上或与显示装置重叠。该光传感器可以被配置为扫描物理对象接近触摸屏的移动。更详细地，该光传感器可以包括呈行和列的光电二极管和晶体管以使用根据施加的光量改变的电子信号扫描在光传感器处接收的内容。即，该光传感器可以根据光的变化计算物理对象的坐标，因此获得物理对象的位置信息。

如上所述，与有关用户的验证信息的输入有关的各种图像信息被显示在显示单元451上。例如，表示用于输入用户的指纹的区域的图形对象或用于输入图案信息的图形对象被显示在作为触摸屏被形成在车辆的一部分上的显示单元451上。另外，如果用户验证结束，用户验证的结果以及与当前经验证用户有关的信息可以被显示在显示单元451上。这些图像信息被显示在车辆的挡风玻璃、前排乘客座椅的窗户等的至少一部分上。为此，车辆的窗户的至少一部分或配备有根据一些实施方式的车辆控制设备400的车辆的挡风玻璃的至少一部分被设计为使得用户输入的触摸被感测。

另外，显示单元451不仅被形成在挡风玻璃和窗户的外部表面上，而且被形成在内部表面上。然后，在车辆控制设备400中被处理的信息可以被显示(或输出)在被形成在内部表面上的显示单元451上。

例如，被显示在形成于内部表面上的显示单元451上的屏幕信息是有关在车辆控制设备400上运行的应用程序的执行屏幕信息、或有关依赖于执行屏幕信息的用户接口(UI)和图形用户接口(GUI)的信息。

另外，显示单元451可以被实现为包括在感测单元130中。在这种情况下，由感测单元430感测的结果和匹配用户验证信息的结果或者用户固有的验证信息的至少一部分(例如，用户的名字等)可以被显示在显示单元451上。

被存储在存储器440中的音频数据通过声音输出单元452被输出。与在车辆控制设备400中执行的功能(例如，用户验证确认声音和用户验证引导声音)相关的声音信号可以通过声音输出单元452被输出。声音输出单元452被配置为包括扬声器、蜂鸣器等。

在一些实施方式中，根据一些实施方式在本说明书中公开的车辆控制设备400的输出单元450被配置为包括触觉模块453。触觉模块453生成用户能够感觉到的各种触觉效果。触觉模块453生成的触觉效果的典型示例是振动。如果感测到用户输入的触摸被施加到在车辆的外部框架或内部框架、呈玻璃形式的窗户等上实现的触摸屏，控制器410使用触觉模块453输出触觉信息。因此，使用触觉信息，用户能够确认他/她是否恰当地输入验证信息。

触觉模块453生成的振动的强度、模式等能够通过用户选择或设定被控制器控制。例如，触觉模块453可以以结合方式或顺序方式输出不同的振动。

除了振动，触觉模块453可以生成各种其它触觉效果，包括经刺激(例如竖直移动以接触皮肤的针组合，经喷射孔或吸孔产生的空气喷射力或吸力、对皮肤的触摸、电极接触、静电力)产生的效果，使用能够吸收或生成热量的元件再现冷感和热感所产生的效果等。

触觉模块453也能够被实施为使得用户能够通过肌觉(诸如用户的手指或手臂)感觉到触觉效果，以及通过直接接触传递该触觉效果。可以根据车辆控制设备400的特定配置设置两个或更多触觉模块453。

后文将要说明的各种实施方式可以通过软件、硬件或其组合被实施在计算机或计算机可读记录介质中。

在一些实施方式中，根据一些实施方式在本说明书中公开的车辆控制设备400的感测单元430还可以包括：主体，其被配置为安装在身体上并与用户身体的一部分接触；以及轻击感测单元433，用于感测主体上的轻击或轻击手势。在此，在车辆控制设备400的轻击感测单元433中感测到的轻击是用于输入有关用户的验证信息的手段。另外，如果用户乘坐车辆，轻击被用作控制车辆控制设备400的各种功能的手段。然后，轻击被理解为表示利用轻击工具(诸如手指)轻轻点击车辆控制设备400的主体或对象的动作、或使轻击工具与车辆控制设备400的主体或对象轻轻接触的动作。在此，感测单元430的主体被形成在车辆的主体上，该车辆的主体被配置为包括车辆的外部框架和内部框架以及窗户或挡风玻璃。

在一些实施方式中，施加轻击的轻击工具是将外力施加到车辆控制设备400的主体或对象的事物(诸如手指、触控笔、笔、指示器和拳头)。在一些实施方式中，该轻击工具不一定局限于能够被应用于根据一些实施方式的车辆控制设备400的事物，而可能是能够将外力施加到车辆控制设备400的主体或对象的任何类型的事物。

在一些实施方式中，被施加了轻击手势的对象是车辆控制设备400的主体以及置于车辆控制设备400上的对象的至少之一。

在一些实施方式中，轻击或轻击手势被包括在轻击感测单元433中的加速度传感器和触摸传感器中的至少之一感测。在此，该加速度传感器是能够测量被施加到车辆控制设备400的主体的动力(诸如加速度、振动和冲击)的传感器。

即，该加速度传感器感测车辆控制设备400的主体由于轻击手势发生的振动(或移动)，并且因此感测轻击是否被施加到该对象。因此，该加速度传感器感测车辆控制设备400的主体上的轻击或者感测对象被轻击，该对象靠近车辆控制设备400的主体使得能够感测是否在车辆控制设备400的主体中发生移动或振动。

以此方式，只要可以感测车辆控制设备400的主体的移动或振动，该加速度传感器不仅感测到轻击施加到车辆控制设备400的主体，而且感测到轻击施加到主体之外的位置(点，point)。

在根据一些实施方式的车辆控制设备400中，为了感测车辆控制设备上的轻击，加速度传感器和触摸传感器之一被使用，加速度传感器和触摸传感器被依次使用，或加速度传感器和触摸传感器被同时使用。在一些实施方式中，使用加速度传感器感测轻击的模式称为第一模式，使用触摸传感器感测轻击的模式称为第二模式，以及加速度传感器和触摸传感器全部被利用(同时或依次)感测轻击的模式称为第三模式或混合模式。

在一些实施方式中，如果轻击通过触摸传感器被感测，可以更加准确地识别轻击被感测的位置。

在一些实施方式中，在根据一些实施方式的车辆控制设备400中，为了通过加速度传感器或触摸传感器感测轻击，车辆控制设备400的显示单元451也以消耗最小数量电流或电力的特定模式在非激活状态操作。该特定模式称为打盹模式(doze mode)。

例如，在打盹模式中，在触摸传感器被分层堆积到(layer)显示单元451中的触摸屏结构中，显示单元451中用于输出屏幕的发光元件被关闭并且触摸传感器被开启。另外，该打盹模式是显示单元451被关闭并且加速度传感器被开启的模式。另外，该打盹模式是显示单元451被关闭并且触摸传感器和加速度传感器全部被开启的模式。

因此，在打盹模式中，即在显示单元451被关闭的状态下(在显示单元451非激活的状态下)，如果用户将轻击施加到形成在车辆的一部分上的触摸屏的至少一点，或者施加到车辆控制设备400的主体的特定点，则通过被开启的触摸传感器或加速度传感器中的至少之一感测到从用户施加轻击。

另外，为了区别作为输入有关用户的验证信息的手段的轻击或者作为控制车辆控制设备400的功能的手段的轻击与外部任意对象与触摸屏的简单碰触，如果轻击在参考时间内被施加到形成在车辆的一部分上的触摸屏两次或多次，确定感测到用于输入有关用户的验证信息并且控制车辆控制设备400的“轻击”。例如，作为由轻击感测单元433感测的结果，如果确定轻击被施加到形成在车辆的一部分上的触摸屏一次，控制器410可以识别外部任意对象或人体与触摸屏碰撞，而不识别一次轻击是用于输入有关用户的验证信息。

因此，如果轻击感测单元433感测到在参考时间内轻击被连续施加至少两次或更多次(或多次)，确定感测到作为用于输入有关用户的验证信息的手段或者作为控制车辆控制设备400的功能的手段的“轻击”。

即，轻击手势表示该轻击手势在参考时间内被连续感测至少两次或更多次。因此，“轻击”的感测在下文中表示感测到用户的手指或诸如触摸笔等对象在车辆控制设备400的主体上实质上轻轻地点击多次。

此外，控制器410可以不仅感测参考时间内的轻击，而且可以确定使用用户不同手指施加的轻击被感测到还是使用用户的一个手指施加的轻击被感测到。例如，如果感测到轻击被施加到车辆的一个预定部分，即车辆的窗户的一部分或屏蔽窗玻璃的一部分、A柱、B柱，C柱、天窗、车门的一部分、或车辆的操纵箱或齿轮箱，控制器410可以使用从被施加轻击的部分感测到的指纹来感测轻击是使用一个手指被施加的还是使用不同的手指被施加的。另外，控制器410通过被设置在轻击感测单元433中的触摸传感器和加速度传感器中的至少之一识别显示单元451上感测到轻击的位置，或者由于轻击生成的加速度。因此，控制器410可以感测到轻击是使用一个手指还是使用不同的手指被施加。

此外，另外考虑到施加轻击的角度和施加轻击的点之间的距离或识别指纹的方向，控制器410确定轻击是使用一个手指还是使用两只手或至少两个手指被施加。

在一些实施方式中，轻击表示在参考时间内被连续感测到的多次轻击。在此，该参考时间是非常短的时间，例如处于300ms至2s范围的时间。

为此，当轻击感测单元433感测到车辆控制设备400的主体被轻击时，轻击感测单元433感测是否在第一次轻击被感测之后在参考时间内连续地施加下一次轻击。然后，如果在参考时间内感测到下一次轻击，轻击感测单元433或控制器410确定用于输入有关用户的验证信息或用于控制根据一些实施方式的车辆控制设备400的特定功能的轻击被感测到。以此方式，如果在第一次轻击被感测到之后的预定时间内感测到第二次轻击，控制器410将第一次轻击和第二次轻击识别为“有效轻击”。因此，该控制器区别被施加以输入有关用户的验证信息或者被施加以控制车辆控制设备400的轻击与无意中或由于用户失误发生的对象与车辆的内部或外部碰触之间的区别。

存在识别“有效轻击”的各种方法。例如，当在感测到被施加第一参考次数或更多次的第一次轻击之后的预定时间内感测到被施加到主体的第二参考次数或更多次的第二次轻击时，控制器410可以将第一次轻击和第二次轻击识别为“有效轻击”。在此，第一参考次数和第二参考次数可以相同或不同。例如，第一参考次数可以是1，并且第二参考次数可以是2。作为另一个示例，第一参考次数和第二参考次数可以全部是1。

另外，如果轻击被施加到“预定区域”内，确定“轻击”被感测到。即，当确定车辆控制设备400的主体被第一次轻击时，控制器410从第一次感测到轻击的点计算预定区域。然后，如果在第一次轻击被感测到之后的参考时间内，第一参考次数或第二参考次数或更多次数的轻击在“预定区域”被连续感测到，控制器410确定第一次轻击或第二次轻击被施加。

在一些实施方式中，上述参考时间和预定区域能够根据一些实施方式可变地进行变型。

在一些实施方式中，不仅根据参考时间和预定区域，而且根据感测到每一次轻击的位置，第一次轻击和第二次轻击可以作为单独的轻击被感测到。即，如果第二次轻击在距第一次轻击被感测到的位置预定距离或位于其上方的位置被感测到，控制器410确定第一次轻击和第二次轻击被施加。然后，如果基于轻击被感测到的位置识别第一次轻击和第二次轻击，则第一次轻击和第二次轻击都可以被感测到。

另外，如果第一次轻击和第二次轻击由多点触摸(即多次轻击)配置而成，构成第一次轻击和第二次轻击的每一个的多点触摸都被感测到。例如，如果构成第一次轻击的第一次触摸被感测到，并且另外构成第二次轻击的第一次触摸在距构成第一次轻击的第一次触摸被感测到的位置预定距离或位于其上方的位置被感测到，控制器110可以使构成第一次轻击和第二次轻击的每一个的第一次触摸成为可能。然后，控制器410可以使在每一个位置被感测到的额外的触摸输入成为可能。如果触摸被感测第一参考次数或更多次或者第二参考次数或更多次，则控制器410确定第一次轻击和第二次轻击被施加。

在一些实施方式中，当轻击感测单元433多次感测到轻击被施加到车辆控制设备400的主体时，控制器410不仅控制用户验证，而且控制在车辆控制设备400上可执行的功能的至少之一。在此，可在车辆控制设备400上执行的功能能够包括可在车辆控制设备400上执行或运行的各种类型的功能。在此，这些可执行功能之一是被安装在车辆控制设备400上的应用的功能。因而，“执行任意功能”表示“在车辆控制设备400上执行或运行任意应用程序”。例如，基于在操纵箱中感测的用户的多个轻击，控制器410再现音乐文件或者控制导航设备自动设定到达预定目的点的路径。

作为另一个示例，可在车辆控制设备400中执行的功能是车辆控制设备400的基本驾驶所需的功能。例如，基本驾驶所需的功能是打开/关闭设置在车辆中的空调或热风循环器的功能、启动车辆的功能、在锁定状态和解锁状态之间切换的功能等。另外，基本驾驶所需的功能是开启或关闭车辆的巡航控制功能的功能。

在一些实施方式中，基于感测用户的轻击的主体或触摸屏上的点，控制器410形成用于输入有关用户的验证信息的位置。例如，以使得用户第一次施加轻击的点用作用于输入图案信息或生物信息的区域的中心的方式，控制器410形成用于输入图案信息的区域，或者形成用于输入有关用户的生物信息(例如，用户的指纹)的区域。在这种情况下，即使用户在每次他/她施加轻击时将轻击施加到主体或触摸屏上不同的点，每次用户施加轻击时，有关用户设定模式的信息或有关用户的生物信息的点变化。因此，用户能够使验证信息的泄露最小化，并且这预防了违法行为，例如当车辆被偷时。

在一些实施方式中，用户验证信息也可以通过基于用户选择预定的外部装置被输入到车辆控制设备400中。例如，感测单元430使用短程通信模块431被连接至车辆外部的预定外部装置。有关用户的验证信息可以通过短程通信模块431被输入到感测单元430中并且可以被控制器410验证。

车辆控制设备400从车辆获得车辆信息。

根据一些实施方式，该车辆信息通过上述感测单元430获得。

根据一些实施方式，车辆控制设备400被单独配置为包括获得车辆信息的车辆信息获得单元460。

在此，车辆信息是与车辆的空气调节功能、检查门(包括罩、后备箱、燃料入口)是否打开或关闭的功能、检查窗户是否打开或关闭的功能、检查天窗是否打开或关闭的功能、车辆的电池的充电状态、车辆停车地方、设置在车辆中的导航设备的功能、检查车辆是否被偷的功能、车辆的燃料量等至少之一有关的信息。

另外，车辆信息被配置为还包括至少与车辆的当前驾驶速度、当前驾驶加速度、里程、车辆突然加速的次数、车辆突然停止的次数中的至少之一有关的信息。

为此目的，车辆信息获得单元460与设置在车辆中的各种传感器通信。

例如，车辆信息获得单元460被安装在车辆中，与测量车辆的加速度并且收集有关车辆的加速度信息的加速度传感器通信。

另外，例如，车辆信息获得单元460与设置在车辆中的黑盒子进行通信，并且获得何时发生车辆事故。在这种情况下，与车辆事故相关的图像被存储在存储器440中。

图像信息获得单元470从图像获得设备900获得有关用户的图像信息。

类似摄像头，图像获得设备900是用于处理由图像传感器捕获的静态图像和动态图像的图像帧的装置，并且获得用户的图像。

图像获得设备900的数量是1或更多。图像信息获得单元470从各种通信装置获得图像信息。

图6B示出以此方式被预定的外部装置被连接至根据一些实施方式的车辆控制设备的示例。

参照图6B，预定的外部装置170是用户携带的移动终端，如手机171或智能钥匙172。在这种情况下，控制器410识别外部装置170的序列号。如果外部装置170位于控制器410的给定距离内，控制器110自动识别特定用户。然后，控制器410接收通过外部装置170输入的验证信息。从外部装置170输入的验证信息通过设置在外部装置170中的通信模块并且通过感测单元430的短程通信模块431被传递到车辆控制设备400。

在一些实施方式中，该验证信息是有关用户的生物信息。

根据一些实施方式，该生物信息由移动终端100(或可穿戴装置200或200')获得。

在此，该生物信息是有关用户的心率、用户的体脂肪、用户的血压、用户的血糖、用户的轮廓、用户的指纹、用户的脑波以及用户的虹膜的多条信息中的至少一条信息。

例如，该验证信息是有关用户的心率或指纹的信息、有关用户的虹膜的识别信息、有关用户的预定密码的信息、或有关用户设定的图案的信息。另外，该验证信息可以是与用户的特定手势有关的信息。

基于多条生物信息或多条验证信息进行用户的验证。

例如，检查用户的心率和用户的手势，然后完成用户的验证。

为此，外部装置170可以另外具有供用户输入验证信息的配置，即用于执行与设置在根据一些实施方式的车辆控制设备400的感测单元430中的传感器中的至少一个或更多个相同的功能或者用于执行与额外传感器相同的功能的配置。

例如，诸如智能钥匙172或智能手机171等外部装置170还可以包括与用户能够输入图案信息的触摸屏相同、类似、对应的感测单元，或者包括被设置在车辆控制设备400的感测单元430中的轻击感测单元433。另外，外部装置170还可以包括用于识别用户的指纹的指纹识别单元。在一些实施方式中，外部装置170还可以包括惯性传感器、陀螺仪传感器、加速度传感器等。

另外，例如，作为手表式移动终端的智能手表173被配置为包括获得用户的心跳的传感器。另外，作为眼镜式移动终端的智能眼镜174被配置为包括用于识别用户的虹膜的虹膜识别摄像头。

在这种情况下，用户能够使用有关指纹的信息、预定图案信息以及虹膜识别信息中的至少一条信息输入有关他/她自己的验证信息。另外，用户可以在穿戴着外部装置170时通过做出特定手势将有关他/她自己的验证信息输入到外部装置170中。在这种情况下，根据用户的手势，外部装置170的控制器110使用有关外部装置170的位置改变的信息识别用户的手势，即加速度测量值、重力改变量或通过测量惯性改变量获得的值。因此，控制器110将这些信息用作验证信息。另外，外部装置170可以使用通过摄像头等输入的用户的图像识别位置改变，并且可以测量改变的值。

在一些实施方式中，如果验证信息以此方式输入，车辆控制设备400的控制器410使用被输入的验证信息控制车辆的驾驶。例如，控制器410可以根据验证信息识别当前用户，并且可以取消车辆的锁定状态，并且设定与识别的用户对应的车辆的内部环境。另外，如果取消车辆的锁定状态并且在车辆停止的状态下输入回验证信息，控制器410可以将车辆的解锁状态返回到锁定状态。

在一些实施方式中，可以使用通过外部装置170输入的有关用户的验证信息立即控制车辆，但是控制器410可以请求用户再一次进行验证过程。在这种情况下，如果外部装置170位于距控制器410的给定距离内或者验证信息通过外部装置170输入，控制器410将车辆的状态切换为唤醒状态并且根据从经验证用户输入的验证信息准备启动车辆。如果在车辆切换到唤醒状态的状态下，用户将验证信息再一次输入到预定区域(例如，驾驶员座椅或前排乘客座椅的窗户、A柱或B柱或C柱等)，控制器410根据该输入验证用户并因此启动车辆。

另外，上文描述了再一次进行验证流程的示例，但是在一些实施方式中，可以进行其它验证流程，而无限制。另外，上文描述了如果通过外部装置170输入有关用户的验证信息则进行多个验证流程的示例，但是在一些实施方式中，多个验证流程也可以被应用于用户将有关他/她自己的验证信息直接输入到形成在车辆的一部分上的触摸屏区域中的情况。

图7为描述根据一些实施方式在本说明书中公开的车辆控制设备的显示单元的示意图。

图7示出车辆控制设备400被实现为车辆的车头单元的形式的情况。

车辆控制设备400被配置为包括多个显示单元D100至D102。

例如，如图7所示，车辆控制设备400被配置为包括一个位于驾驶员座椅前面的第一显示单元D100，和两个位于后排座椅前面的第二显示单元D101和D102。

此时，通常，第一显示单元D100遵循安全驾驶规则。

因此，第一显示单元D100遵循车辆内容显示规则，并且内容受限制地被显示在第二显示单元D101和D102上。

图8A为示出根据一些实施方式在本说明书中公开的车辆控制设备的配置的方框图。

图8A示出车辆控制设备400被实现为图像显示设备、车辆的车头单元或远程信息处理终端的形式的情况。

如图8A所示，车辆控制设备400'被配置为包括主板410'。控制车辆控制设备400'的操作的控制器(例如，中央处理器(CPU))412'、用于处理或控制控制器412'的程序、控制各种键信号的键控制器411'以及控制液晶显示器(LCD)的LCD控制器414'被内置于主板410'中。

数字地图上用于显示方向建议信息的地图信息(地图数据)被存储在存储器413'中。另外，用于根据车辆当前移动所沿道路的情况输入交通信息的交通信息收集/控制算法以及用于控制该算法的信息被存储在存储器413'中。

主板410'被配置为包括被指定序列号并内置于车辆中的码分多址(CDMA)模块406'，接收用于认证车辆位置、追踪从出发点到目的点的驾驶路径等的GPS信号并传输用户收集的交通信息的全球定位系统(GPS)模块207，用于再现记录在光盘(CD)上的信号的CD盒408'，陀螺仪传感器409'等。CDMA模块406'和GPS模块407'分别从天线404'和405'接收信号/分别将信号传输到天线404'和405'。

另外，广播接收模块422'被连接至主板410'并且通过天线423'接收广播信号。通过接口板430'被LCD控制器414'控制的显示单元(LCD)401'、被键控制器411'控制的前板402'以及捕获车辆的内部和/或外部场景的图像的摄像头427'被连接至主板410'。各种视频信号和文字信号被显示在显示单元401'上。用于输入各种键信号的按钮被设置在前板402'上。前板410'提供与用户选择的按钮对应的键信号。另外，显示单元401'被配置为包括接近传感器和触摸传感器(触摸屏)。

用于直接输入交通信息的菜单键被设置在前板402'上。该菜单键被配置为使得菜单键被键控制器411'控制。

音频板417'被连接至主板410'并处理各种音频信号。音频板417'被配置为包括用于控制音频板417'的微型计算机419'、接收无线电信号的调谐器418'、将电力供应到微型计算机419'的电源单元416'以及处理各种语音信号的信号处理单元415'。

另外，音频板417'被配置为包括用于接收无线电信号的无线电天线420'和用于再现音频磁带的磁带盒421'。音频板417'可以被配置为还包括用于输出在音频板417'中被信号处理的语音信号的声音输出单元(例如，扩音器)426'。

声音输出单元(扩音器)426'被连接至车辆接口424'。即，音频板417'和主板410'被连接至车辆接口424'。

用于输入语音信号的免提套件425a'、用于驾驶员或乘客的安全的安全气囊425b'、用于检测车辆速度的速度传感器425c'等可以被连接至车辆接口424'。速度传感器425c'计算车辆速度并且将有关计算的车辆速度的信息提供给中央处理单元412'。

应用于车辆控制设备400'的导航会话400_1'基于地图数据和有关车辆的当前位置信息生成方向建议信息，并且通知用户生成的方向建议信息。

显示单元401'通过接近传感器感测显示窗口内的接近触摸。例如，当指示器(例如，手指或触控笔)与显示单元401'接近触摸时，显示单元401'检测接近触摸的位置并且将与检测的位置对应的位置信息输出到控制器412'。

语音识别装置(或语音识别模块)401_1'识别用户生成的语音并且根据经识别语音的信号执行相应的功能。

应用于车辆控制设备400'的导航会话400_1'在地图数据上显示驾驶路径。当移动通信终端100'的位置在离包括在驾驶路径中的盲点预定距离内时，导航会话400_1'通过无线网络(例如，短程无线通信网络)自动建立至安装在附近车辆中的终端(例如，车辆导航设备)的连接和/或自动建立至附近行人携带的移动终端的连接。因此，导航会话400_1'从安装在附近车辆中的终端接收有关附近车辆的位置信息并且从附近行人携带的移动终端接收有关该行人的位置信息。

在一些实施方式中，主板410'被连接至接口单元(未示出)430'，并且接口单元430'(未示出)被配置为包括外部设备接口单元431'和网络接口单元432'。

外部设备接口单元431'连接外部装置和车辆控制设备400'。为此，外部设备接口单元431'被配置为包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。

例如，外部设备接口单元431'以缆线或无线方式被连接至外部装置，如数字通用光盘(DVD)播放器、蓝光光盘播放器、游戏设备、摄像头、便携式摄像机或计算机(笔记本电脑)。外部设备接口单元431'将通过连接的外部装置从外部输入的图像、语音或数据信号传递到车辆控制设备400'的控制器412'。另外，在控制器412'中被处理的图像、语音或数据信号被输出到连接的外部装置。为此，外部设备接口单元431'被配置为包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。

A/V输入和输出单元被配置为包括USB端口、复合视频信号(CVBS)端口、复合端口、S-视频端口(模拟)、数字视频接口(DVI)端口、高清晰度多媒体接口(HDMI)端口、RGB端口、D-SUB端口等以将图像和语音信号从外部装置输入到车辆控制设备400'。

该无线通信单元与不同的电子设备进行短程通信。根据电信标准，如蓝牙、射频识别(RFID)、红外线数据协会(IrDA)、超宽带以及ZigBee，车辆控制设备400'通过网络被连接至不同的电子设备。

另外，外部设备接口单元431'可以通过各种端口的至少之一被连接至各种机顶盒，并且可以在与机顶盒连接时执行输入/输出操作。

在一些实施方式中，外部设备接口单元431'接收存在于相邻外部装置中的应用或应用列表，并且将该应用或应用列表传递给存储器413'。

网络接口单元432'提供用于将车辆控制设备400'连接至有线/无线网络(诸如互联网)的接口。网络接口单元432'被配置为包括例如用于连接至有线网路的以太网端口。为了连接至无线网络，使用电信标准，如无线局域网(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)以及高速下行分组接入(HSDPA)等。

网络接口单元432'通过连接网络或链接至该连接网络的不同网络将数据传输到不同的用户或不同的电子设备或从不同的用户或不同的电子设备接收数据。特别地，存储在车辆控制设备400'中的多条内容数据中的一条或更多条被传输到选自向车辆控制设备400'预先注册的其它用户或其它电子装置中的用户或电子设备。

在一些实施方式中，网络接口单元432'通过连接网络或链接至该连接网络的不同的网络被连接至预定网页。即，该网络接口单元被连接至预定网页以将数据传输到相应的服务器或从相应的服务器接收数据。另外，由内容提供者或网络管理员提供的内容项或数据被接收。即，从内容提供者或网络管理员提供的诸如电影、广告、游戏、VOD和广播信号等内容以及与这些内容有关的信息被接收。另外，由网络管理员提供的有关固件的更新信息和更新文件被接收。另外，数据通过诸如互联网等网络被传输到内容提供者和网络管理员。

另外，网络接口单元432'从公众领域的应用中选择理想的应用，并且通过网络接收所选择的应用。

图8B为示出根据一些实施方式在本说明书中公开的车辆控制设备的配置的方框图。

图8B为示出车辆控制设备400'的配置图，重点在于车辆导航设备的功能。

如果车辆控制设备400″被实现为车辆导航设备，车辆控制设备400″根据如何安装车辆导航设备被分为嵌入仪表盘式(in-dash type)和仪表盘上式(on-dash type)。嵌入仪表盘式导航(车辆导航)设备被插入到被固定在车辆的仪表板内的给定空间中，并且被保持在其中的恰当位置。仪表盘上式导航(车辆导航)设备以能够被附接至仪表板并且从仪表板拆卸的方式被适当地保持在车辆的仪表板上，或者使用给定支撑件被适当地保持在仪表板附近。因此，在一些实施方式中，仪表盘上式导航设备可以是便携式的。

根据一些实施方式的车辆控制设备400"包括嵌入仪表盘式导航(车辆导航)设备和仪表盘上式导航(车辆导航)设备。另外，该导航(车辆导航)设备包括能够接收和/或处理交通信息的信息处理设备，诸如能够与车辆内的GPS接收器配合执行导航功能的各种类型的便携式终端，该GPS接收器接收从全球定位系统(GPS)卫星传输的导航消息。

如图8B所示，车辆控制设备400"被配置为包括GPS模块401"、航位推算传感器(DR)传感器402"、存储单元(或存储器)404"、地图测绘单元403"、通信单元408"、控制器407"、显示单元405"以及声音输出单元406"。GPS模块401"从卫星接收全球定位系统(GPS)信号并且基于接收的GPS信号生成有关导航设备(其位置被定义为与移动通信终端100的相同)的第一车辆位置数据。航位推算传感器(DR)传感器402"基于车辆的驾驶方向和车辆的速度生成第二车辆位置数据。地图数据和各种信息被存储在存储单元404"(或存储器)中。地图测绘单元403"基于第一车辆位置数据和第二车辆位置数据生成车辆估计位置，将生成的车辆估计位置与存储在存储单元404中的地图数据内的链路(或地图匹配链路或地图匹配道路)匹配，并且输出匹配产生的地图信息(地图匹配的结果)。通信单元408"通过无线通信网络500"从信息提供中心和/或附近车辆接收实时交通信息，接收交通信号灯信息，并且进行电话通信。控制器407"基于匹配产生的地图信息方法(地图匹配的结果)生成方向建议信息。包括在方向建议信息和交通信号灯信息中的方向建议地图(包括有关兴趣点的信息)被显示在显示单元405"上。声音输出单元406"输出包括在方向建议信息中的方向建议语音信息(方向建议语音消息)以及与交通信号灯信息对应的语音信号。

在此，通信单元408"还可以包括包括蓝牙模块的免提套件并且可以通过天线从广播电台接收包括TPEG格式的交通信息的广播信号。该广播信号根据各种类型的规格不仅包括音频和视频数据，如地波或卫星数字多媒体广播(DMB)、数字音频广播(DAB)、数字视频广播(DVB-T和DVB-H)，而且包括额外的信息，如交通信息(TPEG)服务和场景二进制格式(BIFS)数据服务提供的交通信息和各种类型的额外数据。另外，通信单元408"对提供交通信息的信号带进行同步，解调同步信号，并且将解调信号输出到TPEG解码器(其被包括在控制器407中)。

该TPEG解码器解码TPEG格式的交通信息并且将包括被包括在交通信息中的光信号信息的各种类型的信息提供给控制器407"。

该方向建议信息不仅包括地图数据，而且包括与驾驶有关的各种类型的信息，如交通车道信息、速度限制信息、逐向(turn-by-turn)信息、交通安全信息、交通状况信息、车辆信息、路径查找信息。

通过GPS模块401"接收的信号可以被配置为使用电气与电子工程师学会(IEEE)建议的无线通信方法(诸如IEEE802.11、IEEE802.15、IEEE802.16以及IEEE802.20)将有关终端的位置信息提供给车辆控制设备400"。IEEE802.11是用于无线网络(诸如无线局域网以及包括红外线通信的一部分的无线局域网等)的一组标准技术规范。IEEE802.15是用于包括蓝牙、UWB、ZigBee等的无线个域网(PAN)的一组标准技术规范。IEEE802.16是用于包括固定无线接入(FWA)等的无线城域网(MAN)(宽带无线接入(BWA))的一组标准技术规范。IEEE802.20是用于无线MAN(移动宽带无线接入(MBWA))的一组移动互联网标准技术规范。

车辆控制设备400"可以被配置为还包括输入单元。该输入单元在用户选择用户想要的功能或输入信息时被使用。诸如按键、触摸屏、飞梭轮(jog shuttle)和麦克风等各种装置被用作输入单元。

地图匹配单元403"基于第一车辆位置数据和第二车辆位置数据生成车辆估计位置，并且从存储单元404"读取与驾驶路径对应的地图数据。

地图匹配单元403"将车辆估计位置与包括在地图数据中的链路(道路)匹配并且将匹配产生的地图信息(地图匹配的结果)输出到控制器407"。例如，地图匹配单元403"基于第一车辆位置数据和第二车辆位置数据生成车辆估计位置。地图匹配单元403"以链接顺序将生成的车辆估计位置与存储在存储单元404"中的地图数据内的链路匹配，并且将匹配产生的地图信息(地图匹配的结果)输出到控制器407"。地图匹配单元403"可以将包括在匹配产生的地图信息(地图匹配的结果)中的有关道路特性的信息(诸如单层道路和多层道路)输出到控制器407"。另外，地图匹配单元403"的功能可以在控制器407"中被实现。

地图数据被存储在存储单元404"中。在这一点上，被存储的地图数据被包括以包括表明以度-分-秒单位(DMS单位)的经纬度的地理坐标(或经纬坐标)。此时，除了地理坐标之外，被存储的地图数据可以包括通用横轴墨卡托投影(UTM)坐标、通用极坐标系(UPS)坐标以及横轴墨卡托投影(TM)坐标。

各种类型的信息，诸如各种类型的菜单屏幕、兴趣点(POI)(以下称为“POI”)以及有关功能特性的信息根据地图数据的特定位置被存储在存储单元404"中。

各种用户接口(UI)和/或各种图形用户接口(GUI)被存储在存储单元404"中。

操作车辆导航设备400所需的数据、程序等被存储在存储器404"中。

用户通过输入单元输入的目的地信息被存储在存储单元404"中。此时，该目的地信息有关目的点或有关目的点和出发点中的任何之一。

包括在由控制器407生成的方向建议信息中的图像信息(或方向建议地图)被显示在显示单元405"上。此时，显示单元405被配置为包括触摸传感器(触摸屏)和用于显示单元的接近传感器。另外，该方向建议信息不仅包括地图数据，而且包括与驾驶有关的各种类型的信息，诸如交通车道信息、速度限制信息、逐向(TBT)信息、交通安全信息、交通状况信息、车辆信息、路径查找信息等。

当该图像信息被显示时，诸如方向建议信息等的各种菜单屏幕和各种内容项使用被包括在存储单元404"中的用户接口和/或图形用户接口被显示在显示单元405"上。此时，被显示在显示单元405"上的内容包括包括各种文字或图像数据(包括地图数据或各种类型的信息数据)的菜单屏幕、包括图标的菜单屏幕、列表菜单、组合框等。

声音输出单元406"输出包括在由控制器407"生成的方向建议信息中的语音信息(或方向建议信息的语音消息)。此时，声音输出单元406"可以是扩音器或扬声器。

控制器407"基于匹配产生的地图信息生成方向建议信息，并且将生成的方向建议信息输出到显示单元405"和声音输出单元406"。此时，该方向建议信息被显示在显示单元405"上。

控制器407"从安装在附近车辆中的信息提供中心和/或终端(车辆导航装置)接收实时交通信息并且生成方向建议信息。

控制器407"通过通信单元408"建立至呼叫中心的连接，并且因此进行电话呼叫或者在车辆控制设备400"和呼叫中心之间传输/接收信息。此时，通信单元408"还可以包括具有使用短程无线通信方法的蓝牙功能的免提模块。

当POI搜索菜单被用户选择时，控制器407"搜索位于从当前位置至目的点的路径的POI，并且将得到的POI显示至显示单元405"。此时，控制器407"搜索位于从当前位置到目的点的路径上的POI(到POI的路径不需要改变(研究)，在该情况下，POI位于驾驶道路的左侧或右侧)以及位于从当前位置到目的点的路径附近的POI(到POI的路径需要改变，在该情况下，预定路径必须改变以驾驶经过附近POI)，并且在显示单元405"上显示得到的POI。

图8C为示出根据一些实施方式在本说明书中公开的与导航功能相关的屏幕的示意图。

图8C所示的屏幕是被移动终端100、可穿戴装置200或200'或车辆控制设备400显示的屏幕。

如果移动终端100被实现为移动终端、智能手机、手提电脑、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、可穿戴装置等形式，图8C所示的组成元件中的一个或更多可以被显示，或者无组成元件可以被显示。

如图8C所示，表明地图的指南针方向的图标I1被显示在设置有与导航功能相关的屏幕的显示单元上的屏幕的一个区域上。该地图被显示在设置有与导航功能相关的屏幕的显示单元上，使得特定方向(例如，地球的正北方)、移动对象的移动方向、目的点的方向等被显示固定到屏幕的上部。

表明声音输出模块162是否被激活以及音量设定的图标I2被显示在设置有与导航功能相关的屏幕的显示单元的屏幕的一个区域上。用户能够通过将触摸输入施加至图标I2激活或不激活声音输出模块162或调节音量。

表明路径搜索功能是否根据交通信息的传输的交通信息传输协议(TPEG)规范被激活的图标I3被显示在显示单元的屏幕的一个区域上。交通信息传输协议(TPEG)是欧洲广播联盟为了建立交通信息协议的目的于1997年创立的。在导航系统中，使用实时交通状况信息的路径建议功能是根据TPEG的。

表明地图数据的比例的图标I4被显示在显示单元的屏幕的一个区域上。

表明现在时间的图标I5被显示在显示单元的屏幕的一个区域上。另外，表明移动对象到达预定目的点的估计时间的图标I6被显示在显示单元的屏幕的一个区域上。此外，表明移动对象到达预定目的点花费的估计时间的图标被显示在显示单元的屏幕的一个区域上。

表明到预定目的点的距离的图标I7被显示在显示单元的屏幕的一个区域上。

用于分别增大或减小显示地图的尺寸的图标I8或图标I8'被显示在显示单元的屏幕的一个区域上。

表明移动对象的位置和移动方向的图标I9被显示在显示单元的屏幕的一个区域上。图标I9可以被显示在地图上与移动对象的当前位置对应的点上。另外，移动对象的移动方向被显示为图标I9中箭头的尖端的方向等。

表明移动对象所在的地方的名字的图标I10被显示在显示单元的屏幕的一个区域上。

如果车辆沿着街道行驶，表明街道的车道的图标I11被显示在显示单元的屏幕的一个区域上。

到预定目的点I12的路径(参见图8C)被显示在显示单元上。如果移动对象的目的点未被设定，可以不显示该路径。

由上述车辆400执行的功能(例如，包括导航功能)在以有线或无线方式连接至车辆控制装置400的移动终端100或可穿戴装置200或200'中执行。

另外，车辆控制装置400和移动终端100可以彼此配合或彼此联合执行功能。

为此，移动终端100或可穿戴装置200被配置为包括与包括在车辆控制设备400中的相同、类似且对应的组成元件。

例如，设置在移动终端100或可穿戴装置200或200'中的加速度传感器起到包括在车辆控制设备400中的加速度传感器的作用。

为了车辆控制设备400与移动终端100之间的配合或联合，应用虚拟网络计算(VNC)方法。

虚拟网络计算(VNC)表示在计算机环境中使用RFB协议远程控制不同计算机(或不同终端)的图形桌面共享系统。

VNC将键盘和鼠标事件或触摸事件从一个终端传输到另一个终端，并且因此提供通过网络更新图形屏幕的方法。

另外，由上述车辆控制装置400执行的功能在车辆控制装置400和移动终端100或可穿戴装置200或200'之间共享，并且因此被执行。

即，当执行由上述车辆控制设备400执行的功能中的特定功能时，该特定功能的一部分由车辆控制设备400执行，该特定功能的另一部分由移动终端100或可穿戴装置200或200'执行。

例如，在车辆的空气调节功能的情况下，设定温度通过移动终端100或可穿戴装置200或200'被输入到被设置在车辆内的空调中。车辆控制设备400执行控制以使得空调操作以保持被输入的设定温度。

本领域技术人员显而易见的是与本说明书中公开的车辆控制设备有关的技术能够在不偏离本说明书中公开的技术思想的范围内以不同的形式实现。

确定驾驶员是否在危险状态下驾驶的系统

参照图9A至图13，下文详细地描述根据一些实施方式的被配置为确定驾驶员是否处于危险驾驶状态的移动终端和车辆控制设备的一些示例。

下文详细地描述根据一些实施方式在本说明书中公开的确定驾驶员是否在危险状态下驾驶的移动终端，并且在相同的组成元件中，前一个组成元件的说明代替后一个组成元件的说明，以避免冗余的说明。

如上文参考图1描述的，根据一些实施方式的移动终端(例如，图1中的移动终端100)可以被配置为包括通信单元110、生物信息获得单元145以及控制器180。

如上所述，生物信息获得单元145通过用户身体的特定部分获得生物信息(术语用户和“驾驶员”在本说明书中可互换使用)。

根据一些实施方式，生物信息获得单元145测量由于人体的生理潜能差异生成的生物信号，并且作为一个示例，被配置为包括PPG、ECG、GSR、EEG、EMG以及EGO传感器中的至少之一。

图9A和图9B为示出根据一些实施方式在本说明书中公开的安装在车辆中的图像获得设备的示例的示意图。

图像获得设备900对由图像传感器捕获的静态图像和动态图像的图像帧执行处理并且获得用户的图像(例如，类似摄像头)。

在一些实施方式中，图像获得设备900可以朝向用户安装以获得用户的图像。然而，图像获得设备900可以位于车辆的内部或外部。

如下所述，根据一些实施方式确定用户是否困倦、分心、有压力或处于类似状态是基于除有关用户的生物信息外的用户的面部表情和特征。因为如此，作为一个示例，如图9A和图9B所示，图像获得设备900被安装在车辆内，并且在一些实施方式中，图像获得设备900可以被安装在仪表板上或安装在仪表板附近，或者与方向盘的转动轴呈一条直线安装(例如，在图9B中)。

在一些实施方式中，图像获得设备900通过被附接至车辆的一个内部表面的支架被适当地保持，并且被该支架适当保持的图像获得设备900朝向用户固定安装。

可能存在获得用户的图像的一个或更多图像获得设备900。如果存在多个图像获得设备900，则在一些实施方式中控制器180可以使用由多个图像获得设备900获得的图像信息获得用户的三维图像。

为了获得用户的三维图像，多个图像获得设备900可以朝向用户安装，但是从不同的方向朝向用户。

如下所述，控制器180可以使用多条图像信息，以识别用户的面部表情、用户眼睛睁开的时间、用户的贬眼、用户脸部的方向、用户凝视的方向等。在一些实施方式中，控制器180通过多个图像获得设备900计算用户的脸部(或用户的头部)在空间所处位置的坐标，从多个图像获得设备900中选择用户的脸部的识别率最高的一个图像获得设备900，并且使用由所选择的图像获得设备900获得的图像信息以识别用户的面部表情、用户眼睛睁开的时间、用户的贬眼、用户脸部的方向、用户凝视的方向等。

另外，为了根据用户凝视点的坐标获得感兴趣区域(ROI)的图像，在一些实施方式中，多个图像获得设备900可以朝向车辆的内部和外部的多个区域安装，以获得有关车辆的内部和外部的多个区域的图像信息。

另外，图像获得设备900可以被配置为包括用于沿向上、向下、向左以及向右方向移动镜头或图像获得设备900本身或者用于转动镜头和图像获得设备900的至少一个电机，以使得使用尽可能少的图像获得设备获得有关车辆内部和外部的区域的图像信息或者增大用户脸部的识别率。

如果图像获得设备900不朝向ROI或者不识别用户的脸部，镜头或图像获得设备900本身可以是倾斜的使得用户的脸部从获得的图像信息中提取。

通信单元110从图像获得设备900接收有关用户的图像信息。

图像获得设备900通过内置或外部安装的线缆或无线通信单元将图像信息直接传输到移动终端100或车辆控制设备400。可选择地，移动终端100或车辆控制设备400接收图像信息，并且将所接收的图像信息传递到车辆控制设备400或移动终端100。

基于从一个或更多传感器接收的信息，诸如通过通信单元110接收的图像信息或通过生物信息获得单元145获得的生物信息的至少之一，控制器180检测用户是否在危险状态下驾驶。

作为示例，用户驾驶所处的危险驾驶状态包括困倦驾驶状态、分心驾驶状态或压力驾驶状态中的至少之一。

在一些实施方式中，控制器180基于图像信息确定用户是否在困倦状态和/或分心状态下驾驶。

另外，控制器180基于生物信息确定用户是否在困倦状态和/或压力状态下驾驶。

因此，控制器180确定用户是否在该困倦状态、分心状态或压力状态下驾驶，或者生成有关困倦驾驶状态、分心驾驶状态以及压力驾驶状态的每一个的危险驾驶状态的危险等级的信息。

尤其，在一些实施方式中，该控制器可以使用图像信息和生物信息两者，将这两个类型的信息合成，并且确定用户是否在危险状态(例如，困倦状态)下驾驶。通过利用两种类型的信息(或更多)，可以实现提高的精确度以确定为用户评估的危险驾驶状态对应的危险等级。

例如，控制器180可以确定图像信息或生物信息单独不能表示危险驾驶状态，但是控制器180可以分析图像信息和生物信息的组合并且确定组合分析表示危险驾驶状态。

在一些实施方式中，基于一种类型传感器的结果，控制器180可以控制其它传感器(例如，收集更具体的或更大量的信息)。如此，控制器180可以完善并且组合来自不同传感器的信息以确定危险驾驶状态。

在一些实施方式中，控制器180可以在控制器180确定危险驾驶状态或危险等级之前的特定时间(例如，当用户第一次驾驶车辆时)调节图像信息的初始值和/或生物信息的初始值。在一些实施方式中，可以基于经调节的初始值确定图像信息和/或生物信息。

困倦驾驶状态

下文表1中示出了对用户的困倦状态进行分类的一些示例。在本示例中，示出了三个不同的困倦量表，人体疲劳量表(HFC)、Karolineska嗜睡度量表(KSS)以及世丹福嗜睡度量表(SSS)，虽然通常可以使用其它困倦类别。在本示例中，每一个量表具有用于评估困倦驾驶状态的特定数量的全部等级，如HFC和SSS的7个等级，以及SSS的9个等级，如表1所示。

表1

在一些实施方式中，当(例如，使用图像信息)确定用户是否在困倦状态下驾驶时，控制器180使用用户图像的各种特征，诸如用户的面部表情、用户眼睛睁开的时间、用户的贬眼、用户脸部的方向或这些特征的组合，来确定用户是否在困倦状态下驾驶。

作为一个示例，控制器180可以基于眼睑睁开/闭合状态确定用户是否在困倦状态下驾驶。例如，控制器180可以确定(例如，在特定时间段)眼睑睁开的时间与眼睑闭合的时间的比，并且基于睁开闭合时间的比确定困倦情况。

例如，眼睑闭合的闭合状态可以是眼睑闭合特定量的状态(例如，眼睑闭合至用户眼睛的最大尺寸与最小尺寸之间的差的大约70％或80％)。然后，眼睑被确定为闭合的时间可以被估计为眼睑闭合该特定量的时间。

作为另一个示例，控制器180可以基于用户的贬眼确定用户是否在困倦状态下驾驶。

许多技术可以被用于基于用户的眨眼确定困倦。例如，控制器180可以确定用户眨眼花费的时间(即，用户闭合并且睁开眼睑花费的时间)，并且通常可以确定眨眼需要的时间较长(即，较慢的眨眼率或闭合率)表示更加疲惫的情况。该眨眼率可以以许多方式被用于确定困倦。

作为一具体示例，可以通过取得闭合率的平方值之和并且将该和除以用户眨眼的次数来计算平方眨眼率的平均数，以获得平方平均值(例如，与均方根值有关)。根据该平均值，确定用户是否在困倦状态下驾驶。可选择地，可以通过取得确定用户眨眼的眼睑的闭合率之和并且将该和除以用户眨眼的次数来计算闭合率的平均数，以获得平均值。根据该平均数，确定用户是否在困倦状态下驾驶。

在一些实施方式中，确定用户眨眼的眼睑的闭合率是左眼睑或右眼睑的闭合率，以值较大者为准。可选择地，眼睑的闭合率是左眼睑的闭合率和右眼睑的闭合率的平均值。

在一些实施方式中，控制器180可以基于用户眨一次眼的时间(闭合时间)超过阈值时间来确定困倦。作为一示例，控制器180基于用户的闭合时间多久等于或超过阈值时间(例如，大约0.5秒钟或1秒钟)确定用户是否在困倦状态下驾驶。

作为另一个示例，当闭合时间即使仅有一次等于或超过阈值时间时，则基于此，控制器180可以确定用户是否在困倦状态下驾驶。

作为另一个示例，基于通过确定闭合时间等于或超过阈值时间(例如，大约2秒钟)的次数并且将该次数除以连续发生的闭合时间等于或超过阈值时间的次数(例如，两次闭合连续超过阈值时间，或者三次闭合连续超过阈值时间的次数等)得到的值，控制器180可以确定用户是否在困倦状态下驾驶。

作为一具体示例，确定用户的眼睑闭合时间等于或超过阈值时间(大约2秒钟)可以被表示为“1”，否则贬眼事件可以用“0”表示，使得某一时间段检测用户的贬眼闭合时间的序列可以被表示为0000110000111100001110000。0和1的序列可以使用上文描述的检测满足阈值的闭合次数的连续发生的技术被转译成表达式(2+4+3)/3＝3。在本示例中，值3用于确定用户是否在困倦状态下驾驶。即，控制器180根据以此方式被计算的值评估用户驾驶的困倦状态。确定获得的值越大，评估用户驾驶的困倦状态的等级越高。

作为另一个示例，基于用户眨眼的频率，控制器180可以确定用户是否在困倦状态下驾驶。具体地，基于确定眼睑闭合时间等于或超过阈值时间(例如，大约2秒钟)的次数是特定数目n，并且确定基于频率n确定用户是否在困倦状态下驾驶，控制器180可以确定困倦。

作为另一个示例，控制器180可以基于用户贬眼的速度确定用户是否在困倦状态下驾驶。

具体地，在本示例中，测量用户的眼睑从眼睑睁开的点到眼睑闭合的点的速度，并且通过将测量的速度之和除以用户眨眼的次数获得平均值或平均眼闭合速度(AECS)。然后，基于该平均值(AECS)确定用户是否在困倦状态下驾驶。可选择地，通过将贬眼的幅度除以从眼睑睁开的点到眼睑闭合的点的最大速度的值获得另一种类型的平均值，幅度与峰值闭合速率(APCV)之间的比。然后基于该平均值(APCV)确定用户是否在困倦状态下驾驶。

在一些实施方式中，APCV可以基于最新值，或基于多次计算的APCV的平均值。

作为另一个示例，控制器180可以基于用户眼睛的瞳孔是否收缩(或用户眼睛的虹膜是否呆滞(slacken))确定用户是否在困倦状态下驾驶。

作为另一个示例，如果用户脸部的方向随时间改变为向上和向下方向，则控制器180确定用户反复降低他/她的头部(例如，点头)并且因此可以确定用户是否在困倦状态下驾驶。

作为另一个示例，控制器180可以基于用户的面部表情确定用户打哈欠，并且因此可以确定用户是否在困倦状态下驾驶。

如上所述，基于从捕获图像提取的各种特征的一个或更多，诸如用户的面部表情、用户眼睛睁开的时间、用户的贬眼以及用户脸部的方向，控制器180确定用户是否在困倦状态下驾驶。在一些实施方式中，控制器180可以基于上述确定基础的组合确定用户是否在困倦状态下驾驶(例如，以提高困倦确定的准确度)，并且可以以适当的方式组合不同类型的特征以进行困倦确定。

例如，如果基于多个确定基础的组合，控制器180可以通过将加权应用到多个确定基础的每一个(例如，将加权应用到用户的面部表情、将加权应用到用户的眼睛睁开的时间、将加权应用到用户的贬眼和/或将加权应用到用户脸部的方向)，确定用户是否在困倦状态下驾驶，或者确定用户驾驶所处的困倦状态的等级。

可以使用各种技术确定加权。在一些实施方式中，可以基于确定基础的数据库通过学习模型确定加权。

例如，可以基于用户或基于其它人(可能或可能不包括该用户)的图像信息和生物信息的数据库来生成学习模型。基于所生成的学习模型，控制器180可以为用户的特定测量确定危险驾驶状态或危险等级。

除上述基于图像信息确定困倦的各种技术之外，控制器180可以额外地或可选择地使用来自其它传感器的信息(如生物信息)。

在一些实施方式中，如上所述，控制器180基于通过生物信息获得单元145获得的生物信息确定用户是否在困倦状态下驾驶。

例如，基于来自各种传感器的信号，诸如通过EMG传感器测量的肌电图的生物信号，或者基于通过GSR传感器测量的皮电反射信号等，控制器180可以确定用户是否在困倦状态下驾驶。

在一些实施方式中，控制器180可以使用多条生物信息，并且将加权施加到该多条生物信息，以确定困倦。

可以使用任何适当的技术确定加权。例如，当使用多个确定基础时，诸如由EMG和GSR传感器测量的值等，控制器180可以基于确定基础的数据库通过学习模型设定加权。

在一些实施方式中，该学习模型可以基于可以包括特定用户和/或其它人的信息的数据库。基于所生成的学习模型，控制器180为用户确定危险驾驶状态或危险等级。

在一些实施方式中，如果控制器180仅基于图像信息，或仅基于生物信息确定困倦，精确度可能受到限制(例如，用户驾驶所处的困倦状态的评估等级的数量可能受到限制)，并且可能难以精确地确定用户的疲惫情况。

在一些实施方式中，除图像信息之外，控制器180可以基于生物信息确定用户是否在困倦状态下驾驶。

当基于图像信息和生物信息两者确定困倦时，控制器180可以通过将加权施加到图像信息和生物信息的每一个来确定困倦。

例如，当控制器180评估用户驾驶所处的困倦状态的等级时，图像信息的加权与生物信息的加权之间的关系可以以任何适当的方式相关。作为一具体示例，在一些实施方式中，分配给图像信息的加权可以大于分配给生物信息的加权。

取决于控制器180是否测量困倦驾驶状态、分心驾驶状态或压力驾驶状态，分配给图像信息的加权与分配给生物信息的加权之间的关系可以不同。因此，在一些实施方式中，取决于控制器180是否确定困倦驾驶状态、分心驾驶状态或压力驾驶状态，加权可以被不同地施加到图像信息和生物信息。因此，在一些实施方式中，控制器180可以确定用户驾驶所处的危险状态对应于困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的哪一状态，或者可以确定特定危险驾驶状态的评估等级。

在一些实施方式中，如上所述，当控制器180确定用户是否在困倦状态下驾驶，或确定用户驾驶所处的困倦状态的评估等级时，图像信息和生物信息都可以被考虑，并且在一些实施方式中，可以额外考虑使用可以在用户驾驶车辆之前获得的用户的睡眠状态信息和生物节律信息中的至少之一创建的困倦趋势线(例如，参见图13)。

图10为示出用户的困倦等级趋势线的示例的示意图。图13为示出确定用户是否在困倦状态下驾驶以及用户驾驶所处的困倦状态的等级的过程的示例的流程图。以下说明将参考图10和图13。

如图10的示例所示，由控制器180确定的困倦等级能够随时间改变。

在用户穿戴移动终端100时，移动终端100可以连续地或周期性地获得关于用户的各种类型的信息(例如，生物信息)。

在一些实施方式中，移动终端100也可以在用户乘坐车辆之前分析用户的睡眠模式，并且创建困倦趋势线。

例如，基于各种传感器信息，诸如使用包括在感测单元140中的加速度传感器、G传感器、陀螺仪传感器、运动传感器等测量的有关用户移动的信息，和/或基于使用包括在生物信息获得单元145中的PPG、EMG、GSR传感器测量的有关用户的呼吸、用户的脉搏率的改变、用户的肌电图等的信息，移动终端100可以分析用户的睡眠状态信息或生物节律信息中的至少之一。

作为一具体示例，如上所述，控制器180可以使用在给定时间连续地或周期性地测量的信息来分析从用户的睡眠开始到用户的睡眠结束的时间段、睡眠期间移动频率、移动程度、睡眠阶段(从睡眠和觉醒之间的阶段到深度睡眠状态)、睡眠节律、睡眠模式等，并且控制器180基于分析的信息计算如图10所示的困倦趋势线。

该困倦趋势线为示出取决于用户是否乘坐车辆或用户是否驾驶车辆的随时间变化的困倦等级的图形。如在图10中，该困倦趋势线示出紧接着用户乘坐车辆或紧接着用户开始驾驶车辆之后的用户驾驶所处的困倦状态的初始等级、用户驾驶所处的困倦状态的初始等级保持直到用户驾驶所处的困倦状态的等级改变的时间以及用户驾驶所处的困倦状态的等级随时间的变化率。

控制器180使用上述计算的困倦趋势线预测用户驾驶所处的困倦状态的等级。

即，移动终端100使用在用户乘坐车辆之前或在用户驾驶车辆之前获得的生物信息来分析睡眠状态信息，并且通过基于分析的睡眠状态信息计算困倦趋势线，移动终端100预测在用户乘坐车辆之后或在用户驾驶车辆之后用户驾驶所处的困倦状态随时间的等级。

以此方式，移动终端100可以预测用户驾驶所处的困倦状态的等级，并且可以在驾驶员在这种困倦状态下驾驶之前使用各种手段警报用户用户驾驶所处的困倦状态的预测等级(其可能导致车辆的驾驶被干扰)。因此，能够防止由于困倦驾驶状态引起的可能的交通事故。

当控制器180确定用户驾驶所处的困倦状态的评估等级时，控制器180将基于图像信息和生物信息计算的第一困倦等级和基于困倦趋势线计算的第二困倦等级结合，并且因此计算用户驾驶所处的困倦状态的精确等级。

在一些实施方式中，加权可以被施加到第一困倦等级和第二困倦等级的每一个，并且因此可以计算用户驾驶所处的困倦状态的等级。

例如，被施加到第一困倦等级和第二困倦等级的每一个的加权可以通过用户输入预定或者可以通过施加符合最终确定的用户驾驶所处的困倦状态的等级的输入适应性地改变。

作为一具体示例，如果最终确定的用户驾驶所处的困倦状态的等级是等级3，但是通过用户输入单元130施加的确认输入(confirming input)是等级2，则加权可以使得最终确定的用户驾驶所处的困倦状态的等级是等级2的方式改变。

分心驾驶状态

在一些实施方式中，基于图像信息和生物信息，控制器180能够确定用户是否在分心状态下驾驶，在该情况下可能导致危险驾驶状态。

在一些实施方式中，控制器180可以使用图像信息确定用户是否在分心状态下驾驶。例如，控制器180可以使用用户脸部的方向和用户凝视的方向或它们的组合确定用户是否在分心状态下驾驶。

作为一个示例，基于通过一个或更多图像获得设备900获得的图像信息，控制器180计算用户脸部的方向和用户凝视的方向。作为一具体示例，控制器180可以确定计算的用户脸部的方向以及计算的用户凝视的方向，并且基于计算的值确定用户是否在分心状态下驾驶。

在一些实施方式中，考虑用户凝视的方向、用户凝视改变程度、用户凝视停留时间等，控制器180可以确定用户驾驶所处的分心状态的等级。

在一些实施方式中，如果控制器180使用用户脸部的方向和用户凝视的方向或它们的组合确定用户是否在分心状态下驾驶，控制器180可以在一个或更多图像获得设备900中选择与用户凝视所在的点的坐标对应的至少一个图像获得设备900。

即，面向用户的ROI的至少一个图像获得设备可以选自图像获得设备900。

因此，控制器180从由所选择的图像获得设备900获得的图像信息识别至少一个对象。控制器180可以使移动终端100执行与所识别的对象对应的控制命令，或者将该控制命令传输到不同的移动终端100、车辆控制设备400等，从而使不同的终端100、车辆控制设备400等执行该控制命令。

作为一个示例，如图11A和图11B所示，如果用户凝视内部后视镜M，控制器180可以识别用户未凝视前方，并且因此可以确定用户在分心状态下驾驶，在该情况下可能导致危险驾驶状态。

然后，例如，控制器180可以确定用户凝视所在的点的坐标与内部后视镜(M)对应，选择与内部后视镜M对应的向后方向图像获得设备(未示出)，并且从向后方向图像获得设备获得图像信息。

因此，控制器180可以从从向后方向图像获得设备获得的信息中识别至少一个对象(T1)，并且如果对象T1是一个人，控制器180可以识别该人的脸部。

如果控制器180根据与对象T1对应的控制命令识别脸部，则因为所识别的对象是脸部，控制器180可以执行与所识别的脸部对应的控制命令。作为一具体示例，控制器180可以使用例如被存储在存储器160中的脸部相关的数据库提取与所识别的脸部对应的名字信息等。

另外，控制器180可以从与所识别的面部表情和/或所识别的脸部对应的移动终端接收有关对象T1的生物信息，确定对象T1的状态，并且可以通过输出单元150输出确定的结果。

例如，控制器180可以基于向后方向图像获得设备通过输出单元153输出语音“客舱乘客睡着了”或者“客舱乘客呼吸快于正常情况”，并且因此用户能够根据识别目标对象的状态采取果断的行动。

作为另一个示例，如图11B所示，如果用户向车辆的驾驶员座椅一侧的窗外凝视，则控制器180可以识别用户未凝视前方，并且可以确定用户在分心状态下驾驶，在该情况下可能导致危险驾驶状态。

然后，例如，控制器180可以确定用户凝视所在的点(即ROI)的坐标是车辆的驾驶员座椅一侧的窗户外面，选择与用户凝视所在的外部点对应的向左方向图像获得设备(未示出)，并且从向左方向图像获得设备获得图像信息。

因此，在一些实施方式中，控制器180可以从从向左方向图像获得设备获得的图像信息中识别至少一个对象T2或T3。例如，如果对象T2或T3是一连串字符，控制器180识别该串字符，并且提取互联网地址、电话号码、公司名字等。

作为一具体示例，控制器180基于从向左方向图像获得设备获得的图像信息提取公司名字“咖啡”和电话号码“02-000-0000”，并且在电话号码表中存储根据与提取的信息对应的控制命令提取的信息。

在一些实施方式中，除图像信息之外，控制器180还基于通过包括EOG、EMG传感器等的生物信息获得单元145获得的生物信息，确定用户是否在分心状态下驾驶。当基于图像信息和生物信息时，控制器180可以通过将加权施加到图像信息和生物信息的每一个来确定用户是否在分心状态下驾驶。

控制器180可以在给图像信息的加权和给生物信息的加权之间分配任何适当的关系，并且尤其不限于根据环境改变。然而，在一些实施方式中，分配给图像信息的加权可以大于分配给生物信息的加权。

在一些实施方式中，基于该加权关系是否被应用于困倦驾驶状态或压力驾驶状态，分配给图像信息的加权与分配给生物信息的加权之间的关系可以不同。

压力驾驶状态

在一些实施方式中，基于图像信息和生物信息中的至少之一，控制器180能够确定用户在压力状态下驾驶，在该情况下可能导致危险驾驶状态。

例如，控制器180可以使用图像信息确定用户是否在压力状态下驾驶，并且作为一具体示例，控制器180可以使用用户的面部表情。

作为一个示例，如果确定用户的面部表情对应于生气，则控制器180可以确定用户在压力状态下驾驶。

在一些实施方式中，基于存储根据用户的不同面部表情的不同压力等级的数据库，可以根据用户的面部表情确定用户驾驶所处的压力状态的等级。

另外或作为图像信息的可选方案，控制器180可以基于通过生物信息获得单元145获得的生物信息确定用户是否在压力状态下驾驶。

作为一个示例，控制器180基于通过PPG传感器测量的心率和/或心率变异性确定用户的压力程度。在一些实施方式中，心率和/或心率变异性可以通过预定过滤器从而去除噪声。因此，可以提高测量压力程度的精确度。

在一些实施方式中，控制器180可以利用多条生物信息，并且可以将加权施加到该多条生物信息。例如，在一些实施方式中，分配给多个确定基础的加权可以是基于确定基础的数据库通过学习模型被设定的加权。这可以例如有助于提高确定压力状态的准确度。

在一些实施方式中，该学习模型可以基于用户和/或其它人的图像信息和生物信息的数据库。基于所生成的学习模型，控制器180可以确定危险驾驶状态或危险等级。

在一些实施方式中，控制器180可以基于生物信息和图像信息两者确定驾驶员的压力状态。这可以有益于例如提高确定压力状态的准确度。例如，如果控制器180仅基于图像信息或仅基于生物信息确定用户是否在压力状态下驾驶，则准确度可能受到限制(例如，用户驾驶所处的压力状态的评估等级的数量可能受到限制)，并且可能难以精确地确定用户驾驶所处的压力状态对应于压力状态的评估等级的哪一个。

因此，在一些实施方式中，除图像信息之外，控制器180可以基于生物信息确定用户是否在压力状态下驾驶。

当基于图像信息和生物信息两者确定压力状态时，控制器180可以通过将加权施加到图像信息和生物信息的每一个确定用户是否在压力状态下驾驶。

在分配给图像信息的加权和分配给生物信息的加权之间可能存在任何适当的关系，并且该关系可以尤其不限于根据环境改变。然而，在一些实施方式中，分配给生物图像信息的加权可以大于分配给图像信息的加权。

在一些实施方式中，分配给图像信息的加权与分配给生物信息的加权之间的关系可以取决于控制器180是否确定困倦驾驶状态，或确定分心驾驶状态，或确定压力驾驶状态。

在一些实施方式中，如上所述，当控制器180确定用户是否在压力状态下驾驶，或确定用户驾驶所处的压力状态的等级时，图像信息和生物信息都可以被考虑，并且在一些实施方式中，可以额外考虑使用可在用户驾驶车辆之前获得的有关用户的睡眠状态信息和生物节律信息中的至少之一创建的困倦趋势线(参见图13)。

由移动终端100计算的睡眠趋势线(例如，在图10中)在确定用户是否在压力状态下驾驶以及用户驾驶所处的压力状态的等级时可以被用于考虑用户的嗜睡状态。

例如，当控制器180确定用户驾驶所处的压力状态的等级时，控制器180可以将基于图像信息和生物信息计算的第一压力等级和与基于困倦趋势线计算的困倦等级对应的第二压力等级结合，并且因此可以计算用户驾驶所处的压力状态的更加精确的等级。

在一些实施方式中，预定加权可以被施加到第一压力等级和第二压力等级的每一个，并且因此可以计算用户驾驶所处的压力状态的等级。

例如，被施加到第一压力等级和第二压力等级的每一个的加权可以通过用户输入预定或者可以根据用户驾驶所处的压力状态的最终确定等级适应性地改变。

危险驾驶状态的确定

如上所述，控制器180可以基于图像信息和生物信息中的至少一条信息检测用户的危险驾驶状态。

作为示例，危险驾驶状态可以包括困倦驾驶状态、分心驾驶状态以及压力驾驶状态。

另外，对于困倦驾驶状态、分心驾驶状态以及压力驾驶状态的每一个的危险驾驶状态，控制器180可以生成有关困倦驾驶状态、分心驾驶状态以及压力驾驶状态的每一个的危险等级的信息，该信息分别表示困倦程度、分心程度以及压力程度。

在一些实施方式中，如果控制器180基于图像信息和生物信息两者确定危险驾驶等级，控制器180可以将加权施加到图像信息和生物信息的每一个。这些加权可以在困倦驾驶状态、分心驾驶状态以及压力驾驶状态中不同。

如上所述，在一些实施方式中，在困倦驾驶状态和分心驾驶状态的情况下，通过将比生物信息的加权更高的加权施加到图像信息，可以生成有关危险等级的信息，并且在压力驾驶状态的情况下，通过将比图像信息的加权更高的加权施加到生物信息，可以生成有关危险等级的信息。

在一些实施方式中，如上所述，分配给图像信息的加权和分配给生物信息的加权之间的关系可以取决于环境，并且也可以取决于控制器180评估是否处于困倦状态、分心状态或压力状态。

作为一具体示例，控制器180可以确定噪声被包括在从至少一个图像获得设备获得的图像信息中，或者可以确定误差存在于图像信息的至少一部分中。

在这些情景中，如果由控制器180确定的图像信息的可靠性不足(例如，达不到阈值等级)，则在评估用户是否在危险状态下驾驶时被施加到图像信息的加权可以被逐渐地减小或减小到特定值。可选择地或额外地，用户可以在视觉上和/或在听觉上被通知图像信息有错误(例如，通过输出单元150、不同的移动终端100、车辆和/或车辆控制设备400)。

同样地，控制器180可以确定噪声被包括在通过生物信息获得设备145获得的生物信息中，或者可以确定误差存在于生物信息的至少一部分中。

在这些情景中，如果由控制器180确定的生物信息的可靠性不足(例如，达不到阈值等级)，则在评估用户是否在危险状态下驾驶时被施加到生物信息的加权可以被逐渐地减小或减小到特定值。可选择地或额外地，用户可以在视觉上和/或在听觉上被通知生物信息有错误(例如，通过输出单元150、不同的移动终端100、车辆和/或车辆控制设备400)。

作为一个示例，如果图像获得设备900和/或生物信息获得单元145发生故障，则相应的加权可以在评估用户是否在危险状态下驾驶时被减小。可选择地或额外地，有关图像获得设备900和生物信息获得单元145中发生故障的设备或单元的信息可以被输出给用户(例如，通过输出单元150、不同的移动终端100、车辆和/或车辆控制设备400)。

在一些实施方式中，当基于图像信息和生物信息生成有关危险等级的信息时，控制器180生成有关困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的至少两个驾驶状态的危险等级的信息。

例如，如果控制器180确定用户驾驶所处的危险状态对应于困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的哪一状态，控制器180可以设定与有关困倦驾驶状态、分心驾驶状态以及压力驾驶状态的每一个的危险驾驶状态的危险等级的信息对应的优先顺序。

因此，在一些实施方式中，如果控制器180生成有关多个危险等级的多条信息，控制器180可以根据与有关每一个危险等级的信息对应的优先顺序确定用户驾驶所处的危险驾驶状态为困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的哪一状态。

输出

输出单元150以各种形式(例如，刺激用户的五官感觉)输出有关由控制器180确定的危险驾驶状态的信息或有关危险驾驶状态的危险等级的信息。

根据一些实施方式，输出单元150以移动终端100的主体振动的形式以及声音的形式输出有关危险等级的信息，但是随着有关危险等级的信息改变而改变输出强度。

图12为示出根据一些实施方式在本说明书中公开的输出有关危险等级的信息的各种方法的示意图。

作为一个示例，如图12所示，当警报AS10被定义为具有基本幅度和基本频率时，移动终端100输出振动频率随着危险等级增大而增大的警报AS20，输出振动振幅随着危险等级增大而增大的警报AS30，或者输出振动输出周期缩短的警报AS20或警报AS30。

另外，当警报AS10被定义为具有基本幅度和基本频率时，移动终端200可以根据有关危险等级的信息将振动频率或幅度随时间改变的警报AS40输出到外部。

如描述的，可以输出振动频率和幅度取决于有关危险等级的信息变化的警报。然而，根据一些实施方式，可以输出频率、幅度和/或输出周期取决于有关危险等级的信息而变化的语音或声音(例如，“当前困倦驾驶状态处于等级5”)。

移动终端100输出取决于有关危险等级的信息而变化的声音，但是取决于困倦驾驶状态、分心驾驶状态以及危险驾驶状态的每一个的危险驾驶状态而变化的声音被输出。

在一些实施方式中，如果用户驾驶所处的困倦驾驶状态被确定为危险驾驶状态，通过输出单元150输出的声音可以幅度大并且频率高。然而，如果用户驾驶所处的压力驾驶状态被确定为危险驾驶状态，可以通过输出单元150输出使用户平静的音乐等。

根据一些实施方式，有关危险驾驶状态的信息和有关危险驾驶状态的危险等级的信息被传输到车辆控制设备，因此车辆控制设备400通过车辆控制设备400的输出单元450以图像或语音的形式输出有关危险等级的信息，或者使用车辆驱动单元420通过被安装在车辆中的车辆输出单元(未示出)将有关危险等级的信息输出。

类似移动终端100，车辆控制设备的输出单元450和车辆输出单元(未示出)也随着危险驾驶状态或有关危险等级的信息改变而改变输出形式或输出强度，并且因此将有关危险驾驶状态的信息或有关危险等级的信息输出到外部。

根据一些实施方式，如上所述，如果车辆控制设备的输出单元450和车辆输出单元以语音或声音的形式输出有关危险驾驶状态的信息和有关危险等级的信息，车辆控制设备的输出单元450和车辆输出单元随着危险驾驶状态或有关危险等级的信息改变而改变语音或声音类型、语音或声音频率、语音或声音幅度和/或语音或声音输出周期，并且因此输出有关危险驾驶状态的信息或有关危险等级的信息。

另外，该车辆输出单元是应急灯、被安装在仪表板上或仪表板附近的LED中的至少之一、或者车辆的振动座椅和车轮振动使能转向设备中的至少之一。随着有关危险驾驶状态的信息和有关危险等级的信息改变，该车辆输出单元改变应急灯的输出周期、LED的光色、LED的输出周期、振动座椅或振动使能的车轮转向设备的振动频率、振动座椅或振动使能的车轮转向设备的振动振幅以及振动座椅或振动使能的车轮转向设备的振动周期的至少之一，并且因此输出有关危险驾驶状态的信息或有关危险等级的信息。

另外，车辆控制设备400直接打开安装在车辆中用于给车辆通风的窗户中的至少之一，或者操作空气调节单元以降低用户驾驶所处的危险驾驶状态的等级。

另外，如果危险驾驶状态的等级高于预定等级，车辆控制设备400可以直接控制车辆的驾驶。

此时，在移动终端100、车辆控制设备400以及车辆输出单元中的至少之一采取上述措施以降低用户驾驶所处的危险驾驶状态的危险等级之后，或者在预定时间经过之后，可以重复确定危险等级的评估是否应当重复执行并且因此是否应当继续采取该措施直到危险等级低于预定等级。

作为降低危险等级的措施的具体示例，如果控制器180确定用户驾驶所处的危险驾驶状态由困倦驾驶状态造成，在第一等级困倦至第三等级困倦的情况下，在车辆输出单元中，控制器180将车辆的仪表板附近的LED中的至少一个LED点亮并变为绿色。

另外，在第四等级困倦至第五等级困倦的情况下，控制器180将LED点亮并变为黄色，但是输出单元150以语音形式输出基于有关用户的当前生物信息确定的用户能够在非疲惫状态下驾驶的估计时间(能够通过基于睡眠状态信息和/或生物节律信息创建的困倦趋势线确定)。

另外，在第六等级困倦的情况下，控制器180将LED点亮并变为黄色，但是输出单元150以语音形式输出用户能够在非疲惫状态下驾驶的估计时间。

另外，在第七等级困倦的情况下，控制器180将LED点亮并变为红色。然而，输出单元150使用触觉模块155以五秒钟的间隔连续地生成五秒钟的振动，使用声音输出单元153以语音形式给予警报，并且建议摆脱困倦的方法(例如“喝水”)。

另外，在第八等级困倦的情况下，控制器180将LED点亮并变为红色。然而，输出单元150使用触觉模块155以三秒钟的间隔连续地生成三秒钟的振动，使用声音输出单元153以语音形式给予警报，并且车辆控制设备400将车辆引导至当前位置附近的作为目的点或通过车站(pass stop)的路肩或服务区。

另外，在第九等级困倦的情况下，控制器150将LED点亮并变为红色。然而，控制器150进行控制使得使用触觉模块155以0.5秒钟的间隔连续地生成0.5秒钟的振动，车辆控制设备400使车辆输出单元中的应急灯能够闪烁，使用声音输出单元153以语音形式给予警报，并且车辆控制设备400减少车辆的速度或者将车辆引导至当前位置附近的车站。

作为另一个示例，如果控制器180确定用户驾驶所处的危险驾驶状态由压力驾驶状态造成，在第一等级困倦的情况下，在车辆输出单元中，控制器180将车辆的仪表板附近的LED中的至少一个LED点亮并变为绿色。

另外，在第二等级压力的情况下，控制器180将LED点亮并变为黄色。

另外，在第三等级压力的情况下，控制器180将LED点亮并变为红色。然而，输出单元150使用声音输出单元153以语音形式输出有关用户驾驶所处的当前压力驾驶状态的信息或者以声音或语音形式输出缓解压力的呼吸方法。

此时，通过经由生物信息获得单元145获得有关用户的呼吸的生物信息，控制器180根据该缓解压力的呼吸方法确定用户是否呼吸。如果用户未根据输出的呼吸方法呼吸，控制器单元180通过移动终端100、车辆控制设备400和/或车辆输出单元给予视觉警报，因此警告用户用户未根据呼吸方法呼吸的事实。

另外，根据一些实施方式，控制器180将有关用户驾驶所处的危险驾驶状态的信息以及有关危险等级的信息传输到不同的移动终端，并且因此通过不同的移动终端的输出单元以主体的振动或语音的形式输出有关危险等级的信息。因此，携带不同移动终端的人帮助驾驶员摆脱危险驾驶状态。

作为一个示例，当携带不同移动终端的人在驾驶员附近时，他/她唤醒驾驶员，建议驾驶员凝视前方，并且帮助驾驶员减轻压力。

如果携带不同移动终端的人远离驾驶员，他/她能够呼叫驾驶员或与驾驶员通信以唤醒驾驶员，建议驾驶员凝视前方并且帮助驾驶员减轻压力。

确定驾驶员是否处于危险驾驶状态的车辆控制设备

下文详细地描述确定驾驶员是否在危险状态下驾驶的车辆控制设备的一些示例。

在一些实施方式中，该车辆控制设备被配置为包括通信单元431、图像信息获得单元470以及控制器410。

通信单元431被配置为对应于参照图6A描述的短程通信模块431。短程通信模块431的说明替代了通信单元431的说明，并且省略了通信单元431的详细说明。

另外，图像信息获得单元470从图像获得设备900获得有关用户的图像信息。

控制器410控制通信单元432以接收有关用户的生物信息或者通过图像信息获得单元470获得图像信息。因此，控制器410基于图像信息和生物信息中的至少之一检测用户驾驶所处的危险驾驶状态。

在一些示例中，用户驾驶所处的危险驾驶状态包括困倦驾驶状态、分心驾驶状态以及压力驾驶状态中的至少之一。

控制器410确定用户驾驶所处的状态对应于疲劳驾驶状态、分心驾驶状态以及压力驾驶状态中的哪一状态，或者确定有关疲劳驾驶状态、分心驾驶状态以及压力驾驶状态的每一个的危险等级的信息。

控制器410在基于图像信息和/或生物信息进行确定时将加权施加到多个确定基础以产生有关用户驾驶所处的危险驾驶状态的信息、或有关危险等级的信息。

在一些实施方式中，为了提高确定危险驾驶状态或有关危险等级的信息的精确度，在一些实施方式中，给多个确定基础的加权可以是基于数据库通过学习被设定的加权。

例如，该学习模型基于有关用户和/或基于其它人的图像信息和生物信息的数据库。基于所生成的学习模型，控制器180确定危险驾驶状态或危险等级。

另外，当控制器410产生有关用户驾驶所处的危险驾驶状态的信息以及有关危险等级的信息时，使用图像信息和生物信息，但是加权被施加到图像信息和生物信息的每一个以提高通过控制器410确定危险驾驶状态以及有关危险等级的信息的精确度。

在一些实施方式中，将要被施加的加权在困倦驾驶状态、分心驾驶状态以及压力驾驶状态中不同。

在一些实施方式中，当控制器410确定用户是否在困倦状态(包括压力状态)下驾驶，或确定用户驾驶所处的困倦状态(包括压力状态的等级)的等级时，如上所述，可以考虑图像信息和生物信息两者，并且在一些实施方式中，可以额外考虑使用可在用户驾驶车辆之前获得的有关用户的睡眠状态信息和生物节律信息中的至少之一创建的困倦趋势线(例如，在图13中)。

即，在一些实施方式中，当控制器410确定用户驾驶所处的困倦状态(包括压力状态的等级)的等级时，控制器180将基于图像信息和生物信息计算的第一困倦驾驶等级(包括第一压力等级)和与基于困倦趋势线计算的困倦等级对应的第二困倦驾驶等级(包括第二压力等级)组合，并且因此计算用户驾驶所处的困倦状态的精确等级(包括压力状态的精确等级)。

预定加权可以被施加到第一困倦驾驶等级(包括第一压力等级)和第二困倦驾驶等级(包括第二压力等级)的每一个以确定用户驾驶所处的困倦状态的等级(包括压力状态的等级)。

在一些实施方式中，被施加到第一困倦驾驶等级(包括第一压力等级)和第二困倦驾驶等级(包括第二压力等级)的每一个的加权可以通过用户输入预定或者可以根据用户驾驶所处的困倦状态的最终确定等级(包括压力状态的最终确定)适应性地改变。

在一些实施方式中，输出单元450以各种形式(例如，刺激用户的五官感觉)输出有关由控制器410确定的危险驾驶状态的信息或有关危险驾驶状态的危险等级的信息。

输出单元450可以以图像或语音形式输出有关危险等级的信息。输出单元450可以随着有关危险等级的信息改变而改变输出形式和输出强度，因此输出有关危险等级的信息。

如上所述，如果车辆控制设备的输出单元450以图像、语音或声音的形式输出有关危险驾驶状态的信息和有关危险等级的信息，车辆控制设备的输出单元450可以随着危险驾驶状态或有关危险等级的信息改变而改变图像或者改变语音或声音类型、语音或声音频率、语音或声音幅度语音和/或语音或声音输出周期，并且因此输出有关危险驾驶状态的信息或有关危险等级的信息。

另外，控制器410可以通过安装在车辆中的车辆输出单元(未示出)输出有关危险等级的信息。该车辆输出单元(未示出)可以随着危险驾驶状态或有关危险等级的信息改变而改变输出形式或输出强度，并且因此将有关危险驾驶状态的信息或有关危险等级的信息输出到外部。

在一些实施方式中，该车辆输出单元是应急灯、被安装在仪表板上或仪表板附近的LED中的至少之一、或者车辆的振动座椅和车轮振动使能转向设备中的至少之一。随着有关危险驾驶状态的信息或有关危险等级的信息改变，该车辆输出单元改变应急灯的输出周期、LED的光色、LED的输出周期、振动座椅或振动使能的车轮转向设备的振动频率、振动座椅或振动使能的车轮转向设备的振动振幅以及振动座椅或振动使能的车轮转向设备的振动周期的至少之一，并且因此输出有关危险驾驶状态的信息或有关危险等级的信息。

另外，在一些实施方式中，车辆控制设备400直接打开安装在车辆中用于给车辆通风的窗户中的至少之一，或者操作空气调节单元以降低用户驾驶所处的危险驾驶状态的等级。

另外，在一些实施方式中，如果危险驾驶状态的等级高于阈值等级，车辆控制设备400可以直接控制车辆的驾驶。

在移动终端100、车辆控制设备400以及车辆输出单元中的至少之一执行上述输出操作以降低用户驾驶所处的危险驾驶状态的危险等级之后，或者在预定时间过去之后，该系统可以确定危险等级的评估是否应当重复执行并且因此是否应当继续采取进一步输出操作以降低危险等级。

根据一些实施方式，由控制器410确定的危险驾驶状态和有关危险驾驶状态的危险等级的信息被传输到移动终端100，并且因此移动终端100以主体振动的形式以及声音的形式输出危险驾驶状态以及有关危险等级的信息，但是随着有关危险等级的信息改变而改变输出强度。

作为一个示例，如图12所示，当警报AS10被定义为具有基本幅度和基本频率时，移动终端100输出振动频率随着危险等级增大而增大的警报AS20，输出振动振幅随着危险等级增大而增大的警报AS30，或者输出振动输出周期缩短的警报AS20或警报AS30。

另外，当警报AS10被定义为具有基本幅度和基本频率时，移动终端200可以根据有关危险等级的信息将振动频率或幅度随时间改变的警报AS40输出到外部。

如描述的，可以输出振动频率和幅度可以取决于有关危险等级的信息变化的警报。然而，根据一些实施方式，可以输出频率、幅度和/或输出周期取决于有关危险等级的信息变化的语音或声音(例如，“当前困倦驾驶状态处于等级5”)。

移动终端100可以输出取决于有关危险等级的信息变化的声音，而且取决于困倦驾驶状态、分心驾驶状态以及危险驾驶状态的每一个的危险驾驶状态变化的声音输出。

另外，根据一些实施方式，控制器410将有关用户驾驶所处的危险驾驶状态的信息或有关危险等级的信息传输到不同的移动终端，并且因此通过不同的移动终端的输出单元以主体的振动或语音的形式输出有关危险等级的信息。这可以例如通知携带不同移动终端的人帮助驾驶员摆脱危险驾驶状态。

作为一个示例，当携带不同移动终端的人在驾驶员附近时，他/她可以基于接收到的警报唤醒驾驶员，建议驾驶员凝视前方，并且帮助驾驶员减轻压力。

在一些实施方式中，如果携带不同移动终端的人远离驾驶员，他/她能够呼叫驾驶员或与驾驶员通信以唤醒驾驶员，建议驾驶员凝视前方或者帮助驾驶员减轻压力。

能够应用一些实施方式的车辆

下文参照图14描述能够应用本说明书中公开的技术的车辆的示例。

图14示出电动车的示例。由于实施方式不限于特定类型的车辆，所以可以使用其它类型的车辆(例如，配备有汽油机、柴油机或LPG发动机的车辆)。

图14为根据一些实施方式的配备有电池充电设备的电动车的示例的示意性配置图。

如图14所示，根据一些实施方式的配备有电池充电设备的电动车600被配置为包括：车身610；电池625，设置在车身610中；以及电池充电设备640，设置在车身中，被连接至外部电源以给电池625充电。

虽然附图中未示出，驾驶员或乘客乘坐的乘坐空间被设置在车身的上部。例如，形成乘坐空间的客舱被设置在车身610中。

车身610被配置为包括转动使车辆驱动的多个车轮615。悬架系统620被设置在车身610和车轮615的车轮轴之间。悬架系统629允许车辆在使车身610的上下移动最小的情况下驾驶通过粗糙表面，吸收由于道路的凸起和凹坑产生的振动和冲击。

车轮615被设置到车身610的右前侧、右后侧、左前侧、左后侧。

供应电力的电池625被设置在车身610中。

电池625由可充电蓄电池配置而成。

将驱动力提供给车轮615的电机630被设置到车身610的一侧。

将电力提供给电机635的逆变器635被设置在车身610中。逆变器635被连接至电池625和电机630的每一个。

逆变器635被连接至电池125，并且直流电被供应到逆变器。该逆变器将直流电转换为适合于驱动电机630的电力并且将得到的电力供应到电机130。

电池充电设备640被设置在车身610中以给电池625充电。电池充电设备640被配置为包括被连接至外部商用电源(AC)，将商用电力转换为适合于给电池625充电的电力并且将得到的电力提供给电池625的充电电路660。此时，虽然未具体示出，充电电路660被配置为包括：商用电力输入单元，被连接至商业电源并且输入有商用电力；整流单元和平滑单元(smoothing unit)，其将通过商用电力输入单元输入的商用电力转换为直流；以及电力转换单元，其将通过转换产生的直流电转换为适合于给电池625充电的电力并且输出得到的电力。

已经描述了许多方法、技术、系统以及设备。虽然如此，可以进行各种变型而不脱离本公开文本的范围。

本文描述的方法、技术、系统以及设备可以例如通过执行存储在有形计算机可读存储介质中的指令在数字电子电路或计算机硬件中被实施。

实施这些技术的设备可以包括适当的输入和输出装置、计算机处理器和/或存储由处理器执行的指令的有形计算机可读存储介质。

可以通过处理器执行实施本文公开的技术的过程，该处理器执行存储在有形计算机可读存储介质上的用于通过对输入数据操作并且生成适当的输出而执行理想功能的指令。适当的处理器，举例而言，包括通用微处理器和专用微处理器。存储可执行指令的适当计算机可读存储器件包括所有形式的非易失性存储器，举例而言，包括半导体存储器件，诸如可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)以及闪速存储器件；磁盘，诸如硬盘、软盘以及移动盘；包括磁带的其它磁介质；以及光学介质，诸如光盘(CD)或数字化视频光盘(DVD)。前述任意一个可以补充或合并至特别设计的专用集成电路(ASICs)。

尽管所公开技术的操作在本文中以一定顺序和/或特定组合而实施，但是在一些实施方式中，结合本文描述的其它操作，可按照不同的顺序重新设置单个操作；以及/或省略单个操作，仍然可以实现所期望的结果。类似地，所公开系统中的组件可与其它组件以不同方式组合和/或代替和/或补充，仍然能实现所期望的结果。

前述实施方式和优点仅是示例，而不应理解为限制本公开文本。本教义能够容易地应用于其它类型的设备。本说明书旨在是说明性的，而不限制权利要求书的范围。许多替代、变型以及变化将是显而易见的。本文描述的实施方式的特征、结构、方法以及其它特性可以以各种方式结合以获得附加和/或可替代的实施方式。

Claims (21)

1.一种驾驶员状态监控DSM系统，包括：

图像获得设备，配置为获得驾驶车辆的用户的图像信息；

生物信息获得单元，配置为穿戴在所述用户的身体的特定部分并且从所述用户的身体的所述特定部分获得生物信息；以及

控制器，配置为基于所述用户的所述图像信息和所述生物信息的加权组合来检测所述用户驾驶所处的危险驾驶状态，其中基于所述图像信息和所述生物信息，所述控制器被配置为

确定所述危险驾驶状态是否与困倦驾驶状态、分心驾驶状态或压力驾驶状态对应；

生成表明与所确定的危险驾驶状态对应的危险程度的有关危险等级的信息；

其中所述控制器被配置为通过将加权因子施加到所述图像信息或所述生物信息的至少之一生成有关所确定的危险等级的信息，

其中所施加的加权因子取决于所述危险驾驶状态是否与所述困倦驾驶状态、所述分心驾驶状态或所述压力驾驶状态对应而不同。

2.根据权利要求1所述的系统，其中所述控制器被配置为通过输出单元输出所生成的有关所确定的危险等级的信息。

3.根据权利要求2所述的系统，其中所述控制器被配置为随着所述有关危险等级的信息改变而调节所述有关危险等级的信息的输出强度，并且其中所述有关危险等级的信息根据所调节的输出强度输出。

4.根据权利要求3所述的系统，其中所述输出单元被设置在移动终端中并且被配置为以振动输出或音频输出的形式输出所述有关危险等级的信息。

5.根据权利要求4所述的系统，其中所述控制器被配置为通过改变所述振动输出的频率、所述振动输出的幅度、所述振动输出的输出周期、所述音频输出的幅度、所述音频输出的内容或所述音频输出的输出周期的至少之一来调节所述输出强度。

6.根据权利要求2所述的系统，其中所述输出单元被设置在所述车辆中，并且设置在所述车辆中的车辆控制设备被配置为控制所述输出单元以图像输出或音频输出的形式输出所述有关危险等级的信息，并且

其中所述输出单元是应急灯、安装在所述车辆的仪表板中的发光二极管(LED)、所述车辆的振动使能座椅或所述车辆的振动使能的车轮转向设备的至少之一。

7.根据权利要求6所述的系统，其中所述控制器被配置为通过改变所述应急灯的输出周期、所述LED的光色、所述LED的输出周期、所述振动使能座椅或所述振动使能的车轮转向设备的振动频率、所述振动幅度以及所述振动的输出周期的至少之一来调节所述输出强度。

8.根据权利要求1所述的系统，其中所述生物信息包括在所述用户驾驶所述车辆之前测量的所述用户的睡眠状态信息或生物节律信息的至少之一。

9.根据权利要求8所述的系统，其中所述危险驾驶状态对应于困倦驾驶状态，并且

其中所述控制器被配置为基于所述睡眠状态信息或所述生物节律信息的至少之一生成所述用户随时间的疲劳趋势线，并且基于所生成的疲劳趋势线和所述图像信息检测所述危险驾驶状态。

10.根据权利要求1所述的系统，其中所述控制器被配置为基于所述用户的过去图像信息和过去生物信息生成用于确定所述用户的危险驾驶状态的驾驶状态学习模式，并且基于所述图像信息、所述生物信息以及所生成的驾驶状态学习模式检测所述危险驾驶状态。

11.根据权利要求1所述的系统，还包括：移动终端，配置为穿戴在所述用户的身体的所述特定部分，其中所述移动终端包括：

所述生物信息获得单元，以及

通信单元，从设置在所述车辆中的图像获得设备接收所述图像信息。

12.根据权利要求11所述的系统，其中所述移动终端还包括所述控制器。

13.一种车辆控制设备，配置为被安装在车辆中，所述车辆控制设备包括：

通信单元，配置为与被配置为可穿戴在用户的身体的特定部分的移动终端进行通信；

图像获得单元，配置为获得用户的图像信息；以及

控制器，配置为

控制所述通信单元从所述移动终端接收从穿戴所述移动终端的所述用户的身体的特定部分获得的所述用户的生物信息，并且

基于所述用户的所述图像信息和所述生物信息的加权组合来检测所述用户驾驶所处的危险驾驶状态，

其中基于所述图像信息和所述生物信息，所述控制器被配置为

确定所述危险驾驶状态是否与困倦驾驶状态、分心驾驶状态或压力驾驶状态对应；

生成表明与所确定的危险驾驶状态对应的危险程度的有关危险等级的信息；

其中所述控制器被配置为通过将加权因子施加到所述图像信息或所述生物信息的至少之一生成有关所确定的危险等级的信息，

其中所施加的加权因子取决于所述危险驾驶状态是否与所述困倦驾驶状态、所述分心驾驶状态或所述压力驾驶状态对应而不同。

14.根据权利要求13所述的设备，其中所述控制器被配置为通过输出单元输出所生成的有关所确定的危险等级的信息。

15.根据权利要求14所述的设备，其中所述控制器被配置为随着所述有关危险等级的信息改变而调节所述有关危险等级的信息的输出强度，并且其中所述有关危险等级的信息根据所调节的输出强度输出。

16.根据权利要求14所述的设备，其中所述输出单元被设置在所述移动终端中并且被配置为以图像输出或音频输出的形式输出所述有关危险等级的信息，并且

其中所述输出单元被设置在所述车辆中并且包括所述车辆的应急灯、安装在所述车辆的仪表板中的发光二极管(LED)、所述车辆的振动使能座椅或所述车辆的振动使能的车轮转向设备的至少之一。

17.根据权利要求16所述的设备，其中所述控制器被配置为通过改变所述应急灯的输出周期、所述LED的光色、所述LED的输出周期、所述振动使能座椅或所述振动使能的车轮转向设备的振动频率、所述振动幅度以及所述振动的输出周期的至少之一来改变所述输出强度。

18.根据权利要求14所述的设备，其中所述移动终端被配置为以振动输出或音频输出的形式输出所述有关危险等级的信息，并且被配置为通过改变所述振动输出的频率、所述振动输出的幅度、所述振动输出的周期、所述音频输出的幅度、所述音频输出的内容或所述音频输出的周期的至少之一调节所述输出强度。

19.根据权利要求13所述的设备，其中所述生物信息包括在所述用户驾驶所述车辆之前测量的所述用户的睡眠状态信息或生物节律信息的至少之一。

20.根据权利要求19所述的设备，其中所述危险驾驶状态对应于困倦驾驶状态，并且

其中所述控制器被配置为基于所述睡眠状态信息或所述生物节律信息的至少之一创建所述用户随时间的困倦趋势线，并且基于所生成的困倦趋势线和所述图像信息检测所述危险驾驶状态。

21.根据权利要求13所述的设备，其中所述控制器被配置为基于所述用户的过去图像信息和过去生物信息生成用于确定所述用户的危险驾驶状态的驾驶状态学习模式，并且基于所述图像信息、所述生物信息以及所述驾驶状态学习模式检测所述危险驾驶状态。