CN107832726B

CN107832726B - 使用者识别和确认装置及车用中央控制系统

Info

Publication number: CN107832726B
Application number: CN201711159736.3A
Authority: CN
Inventors: 邱亮齐; 陈昱翰; 高铭璨
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2021-08-24
Anticipated expiration: 2032-10-30
Also published as: CN107832726A; CN103793681B; CN103793681A

Abstract

一种使用者识别和确认装置，包含图像传感单元、人脸识别单元、显示单元和表情识别单元。所述图像传感单元用以获取第一图像帧和第二图像帧。所述人脸识别单元用以根据所述第一图像帧识别使用者身份。所述显示单元显示所述使用者身份的身份信息。所述表情识别单元用以根据所述第二图像帧确认使用者表情并输出确认信号。本发明还提供一种使用者识别和确认方法和车用中央控制系统。

Description

使用者识别和确认装置及车用中央控制系统

本申请是申请号为201210425667.7、申请日为2012年10月30日、名称为“使用者识别和确认装置、方法及使用该装置的车用中央控制系统”的中国发明专利申请的分案申请。

技术领域

本发明是关于一种互动系统，特别是关于一种使用者识别和确认装置、方法以及使用所述装置的车用中央控制系统。

背景技术

目前生物识别技术已广泛应用于身份识别，一般生物数据(biologicalinformation)例如包括脸部、声纹、指纹和瞳孔等，其中由于人脸识别技术不需使用者采取任何相应动作，因此使用上最为方便。

例如WO2011/121688公开了一种人脸识别装置，包含取像单元、区域检测单元、特征获取单元、距离估测单元和特征更新单元。所述区域检测单元从所述取像单元所获取的图像中检测预设区域；所述特征获取单元获取所述预设区域的特征量；所述距离估测单元估测所述取像单元与所述预设区域间的距离；所述特征更新单元相对应所述距离更新所述特征量，借此达成高识别精度。

表情识别技术为目前发展中的新技术，可用以检测不同心情状态的表情，例如生气、恐惧、厌恶、高兴、无表情、悲伤和惊讶等。例如美国专利公开第2012169895披露一种采用Hierarchical Temporal Memory(HTM)架构的识别器的人脸图像获取方法与装置，其识别目标图像以得到表情状态并可应用于数位相机、视讯摄影机(Web Cam)、网路摄影机(IPCam)或监视摄影机等图像获取装置。

本发明据此提出一种使用者识别和确认装置、方法和使用所述装置的车用中央控制系统，其可先利用人脸识别单元识别出使用者身份再利用表情识别单元确认所述使用者身份的正确性，借此使用者无须以肢体进行任何操作即可完成识别和确认程序。

发明内容

本发明的目的在提供一种使用者识别和确认装置、方法以及使用所述装置的车用中央控制系统，其可利用人脸识别技术识别使用者身份并利用表情识别技术进行身份确认。

本发明另一目的在提供一种使用者识别和确认装置、方法以及使用所述装置的车用中央控制系统，其可应用于各种车用电子装置的自动设定。

本发明提供一种使用者识别和确认装置，该识别和确认装置包含图像传感单元、人脸识别单元、显示单元和表情识别单元。所述图像传感单元用于获取多个图像帧。所述人脸识别单元用于根据所述多个图像帧的其中一者来识别使用者的使用者身份。所述显示单元用于显示所述人脸识别单元识别的所述使用者身份的身份信息。所述表情识别单元用于在所述使用者身份识别并在所述显示单元显示所述身份信息后，才根据所述多个图像帧的其中另一者来求出所述使用者的表情特征并进行比对，以确认所述人脸识别单元识别的所述使用者身份的正确性，并输出确认信号。

本发明还提供一种车用中央控制系统，该车用中央控制系统包含图像传感单元、人脸识别单元、显示单元、表情识别单元和控制单元。所述图像传感单元用于获取多个图像帧。所述人脸识别单元用于根据所述多个图像帧的其中一者来识别使用者的使用者身份。所述显示单元用于显示所述人脸识别单元识别的所述使用者身份的身份信息。所述表情识别单元用于在所述使用者身份识别并在所述显示单元显示所述身份信息后，才根据所述多个图像帧的其中另一者来求出所述使用者的表情特征并进行比对，以根据使用者表情确认所述人脸识别单元识别的所述使用者身份的正确性，并输出确认信号。所述控制单元用于根据所述确认信号读取所述使用者身份相关的驾驶设定。

一实施例中，所述人脸识别单元还可判断所述第一图像帧中是否存在使用者和/或判断所述第一图像帧中多个使用者中想要识别的使用者。

一实施例中，所述使用者识别和确认装置另包含储存单元，该储存单元用以储存至少一使用者的身份信息、使用者表情相关的表情数据以及设定信息。

一实施例中，所述显示单元可通过画面和/或声音显示所述身份信息。

一实施例中，所述使用者识别和确认方法另包含下列步骤：以所述图像传感单元获取第三图像帧；根据所述第三图像帧确认使用者表情并产生储存信号；以及根据所述储存信号更新所述至少一电子装置的设定信息。

本发明的使用者识别和确认装置、方法和车用中央控制系统中，所述使用者身份可根据使用者表情自动确认而无须使用者通过肢体来完成。此外，当使用者想要更新设定信息时，也可通过表情识别来达成。

附图说明

图1显示本发明实施例的使用者识别和确认装置的方块示意图；

图2显示本发明实施例的使用者识别和确认装置中，显示单元显示身份信息的示意图；

图3显示本发明实施例的使用者识别和确认装置适用于车用中央控制系统的示意图；

图4显示本发明实施例的使用者识别和确认方法的流程图；

图4A～4B显示本发明实施例的使用者识别和确认方法的另一流程图；

图5显示本发明另一实施例的使用者识别和确认装置的方块示意图。

附图标记说明

1 使用者识别和确认装置 11 图像传感单元

12 人脸识别系统 13 储存单元

14 显示单元 141 显示画面

142 扬声装置 15 表情识别单元

16 控制单元 17 电子装置

F1 第一图像帧 F2 第二图像帧

ID 身份信息 Sc 确认信号

8 使用者 9 车辆

91 后照镜 92 中央控制台

S₂₁～S₂₉ 步骤 FOV 图像传感单元的视野。

具体实施方式

为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。在本发明的说明中，相同的构件是以相同的符号表示，在此应提前说明。

请参照图1所示，其显示本发明实施例的使用者识别和确认装置的方块示意图。使用者识别和确认装置1包含图像传感单元11、人脸识别单元12、储存单元13、显示单元14、表情识别单元15、控制单元16和电子装置17。本实施例中，所述人脸识别单元12、所述表情识别单元15和所述控制单元16例如可由数位处理器(DSP)等能够处理数位数据的处理器来实现，而所述数位处理器则预先在内部建有人脸识别演算法和表情识别演算法。

本发明实施例的使用者识别和确认装置1用以先识别使用者身份后，再根据使用者表情确认所述使用者身份的正确与否，借此相对控制至少一电子装置17。一种实施例中，所述使用者识别和确认装置1可应用于车用中央控制系统(central control system)，以自动根据各使用者的使用习惯进行相对应的驾驶设定，所述驾驶设定例如包含座位位置、镜面角度、空调温度、音响设定、方向盘高度、灯光设定和卫星定位设定至少其中之一，但并不以此为限。然而，本发明实施例的使用者识别和确认装置1并不限定适用于车用中央控制系统，只要是能够让使用者利用表情针对所识别出的使用者身份进行确认的人机介面系统(human-machine interface system)均可。

所述图像传感单元11例如可为CCD图像传感器、CMOS图像传感器或其他图像传感装置，用以获取第一图像帧F1和第二图像帧F2；其中，所述图像传感单元11例如可以用固定的采样频率获取图像。例如图1中，所述图像传感单元11以视野FOV(field of view)获取使用者8的图像。

所述人脸识别单元12用以根据所述第一图像帧F1识别使用者身份；其中，所述人脸识别单元12利用演算法计算出人脸特征后，则从所述储存单元13搜寻相对应的使用者身份并传输至所述显示单元14进行显示。可以了解的是，所述第一图像帧F1包含人脸图像时，所述人脸识别单元12才据此识别所述使用者身份。

所述显示单元14例如可为液晶显示器(LC display)并包含显示画面141和/或扬声装置(speaker)142，如图2所示，用以显示所述使用者身份的身份信息ID，但也可为其他种类显示器。借此，所述显示单元14可通过画面和/或声音显示所述身份信息ID；其中，所述画面例如可为使用者的照片、图像或文字等，并无特定限制。

所述表情识别单元15用以根据所述第二图像帧F2确认使用者表情并输出确认信号Sc；其中，所述表情识别单元15利用演算法计算出表情特征后，则从所述储存单元13搜寻所述使用者表情相关的表情数据以进行比对。换句话说，所述储存单元13已储存有至少一使用者的所述身份信息ID和所述使用者表情相关的表情数据。本发明实施例中，所述使用者表情较佳为高兴表情，但并不以此为限，也可为生气、恐惧、厌恶、惊讶、悲伤和无表情等，可根据不同使用者自行设定。

所述控制单元16根据所述确认信号Sc控制至少一电子装置17的设定状态；其中，所述设定状态与所述使用者身份相关而由相对应使用者所自行设定。所述设定状态可为所述电子装置17的运作设定，例如运作强度、运作时间和/或运作指向性等并预先储存于所述储存单元13中；其中，所述设定状态根据不同的电子装置17而有所不同。

如上所述，由于所述第二图像帧F2对所述使用者8进行身份信息ID的确认，因此所述图像传感单元11于所述显示单元14显示所述身份信息ID后，才获取所述第二图像帧F2。然而，这并不限定成所述图像传感单元11在获取完所述第一图像帧F1后到所述显示单元14显示所述身份信息ID期间，所述图像传感单元11即停止运作，根据不同的应用所述图像传感单元11在获取所述第一图像帧F1后可被设定为持续运作或停止运作，直到所述表情识别单元15确认出所述使用者表情为止。

一实施例中，所述图像传感单元11于所述使用者识别和确认装置1完成开机程序后即开始持续运作以持续获取所述第一图像帧F1。因此，所述人脸识别单元12较佳可还判断所述第一图像帧F1中是否存在使用者8；当所述第一图像帧F1中不存在任何使用者图像，则重新获取一张第一图像帧F1；当所述第一图像帧F1存在使用者图像，所述人脸识别单元12才根据所述第一图像帧F1识别使用者身份。

一实施例中，所述人脸识别单元12还可判断所述第一图像帧F1中多个使用者中想要识别的使用者。例如当所述第一图像帧F1中同时存在有多个使用者图像时，所述人脸识别单元12可识别最靠近使用者为所述想要识别的使用者；其中，所述最靠近例如可根据使用者图像的大小、对比和清晰度等方式来进行识别。此外，所述想要识别的使用者也可根据其他方式认定，例如使用者图像的位置等。当所述想要识别的使用者被识别出后，所述人脸识别单元12才进行使用者身份识别。此外，所述人脸识别单元12也可对多个使用者均进行身份识别并同时显示于所述显示单元14上，然后使用者8再通过所述表情识别单元15确认想要识别使用者的身份信息ID。

例如，当所述使用者识别和确认装置1应用于车用中央控制系统时，如图3所示，所述图像传感单元11较佳相对于驾驶座设置。例如，所述图像传感单元11可设置于后照镜91或中央控制台(central control panel)92，但并不以此为限，只要是设置于能够获取驾驶脸部图像的位置即可。

参照图1和图3所示，使用本发明的使用者识别和确认装置1的车用中央控制系统包含所述图像传感单元11、所述人脸识别单元12、所述储存单元13、所述显示单元14、所述表情识别单元15和所述控制单元16。所述图像传感单元11用以获取所述第一图像帧F1和所述第二图像帧F2；所述人脸识别单元12用以根据所述第一图像帧F1识别使用者身份；所述显示单元14显示所述使用者身份的身份信息ID；所述表情识别单元15用以根据所述第二图像帧F2确认使用者表情并输出确认信号Sc；所述控制单元16则根据所述确认信号Sc读取所述使用者身份相关的驾驶设定。本实施中，除了设定状态系相关于驾驶设定，例如座位、镜面、空调、音响、方向盘、灯光和卫星定位系统中至少其中之一的电子装置的设定外，其余运作方式均类似于图1和其相关说明，故于此不再赘述。因此，本实施例中所述储存单元13则至少储存有至少一使用者的身份信息、使用者表情相关的表情数据和不同车用电子装置相关的驾驶设定等。

此外，本发明的使用者识别和确认装置1还可根据使用者表情来更新至少一电子装置的设定信息。例如此处仍以车用中央控制系统为例，所述图像传感单元11可获取第三图像帧，所述表情识别单元15可根据所述第三图像帧确认使用者表情并产生储存信号至所述控制单元16，所述控制单元16则可根据所述储存信号储存所述至少一电子装置的目前设定信息至所述储存单元13以进行设定信息的更新，例如更新座位位置、镜面角度、空调温度、音响设定、方向盘高度、灯光设定和卫星定位设定中至少其中之一。可以了解的是，此更新设定信息步骤例如可进入数据更新模式时才执行，所述数据更新模式可根据使用者的指示进入或所述表情识别单元15完成身份信息ID确认后直接进入，并无特定限制。

请参照图4所示，其显示本发明实施例的使用者识别和确认方法的流程图，包含下列步骤：以图像传感单元获取第一图像帧(步骤S₂₁)；根据所述第一图像帧识别使用者身份(步骤S₂₂)；以显示单元显示所述使用者身份的身份信息(步骤S₂₃)；以所述图像传感单元获取第二图像帧(步骤S₂₄)；根据所述第二图像帧确认使用者表情并产生确认信号(步骤S₂₅)；根据所述确认信号控制至少一电子装置(步骤S₂₆)；以所述图像传感单元获取第三图像帧(步骤S₂₇)；根据所述第三图像帧确认使用者表情并产生储存信号(步骤S₂₈)；以及根据所述储存信号更新所述至少一电子装置的设定信息(步骤S₂₉)；其中，当本实施例的使用者识别和确认方法应用于车用中央控制系统时，所述电子装置例如包含座位、镜面、空调、音响、方向盘、灯光和卫星定位系统至少其中之一，但并不以此为限。本实施例中各步骤已详细描述于图1、3和其相关说明中，故于此不再赘述，图4进一步说明了各步骤的实施顺序。

请参照图4A所示，其显示本发明实施例的使用者识别和确认方法的另一流程图，其介于图4中步骤S₂₁和步骤S₂₂间来另行判断所述第一图像帧F1中是否存在使用者(步骤S₂₁₁)；当所述第一图像帧F1中不存在任何使用者，则回到步骤S₂₁重新获取一张第一图像帧F1；当所述第一图像帧F1中存在使用者，所述人脸识别单元12才根据所述第一图像帧F1识别使用者身份。

请参照图4B所示，其显示本发明实施例的使用者识别和确认方法的另一流程图，其介于图4中步骤S₂₁和步骤S₂₂间以另行判断所述第一图像帧F1中是否存在多个使用者(步骤S₂₁₂)；当所述第一图像帧F1中不存在任何使用者，则回到步骤S₂₁重新获取一张第一图像帧F1；当所述第一图像帧F1中存在多个使用者，所述人脸识别单元12先判断所述第一图像帧F1中多个使用者中想要识别的使用者(步骤S₂₁₃)后，再识别所述想要识别的使用者之一的使用者身份(步骤S₂₂)；其中，如前所述所述想要识别的使用者可根据使用者距离或使用者位置来认定。

参照图5所示，其显示本发明另一实施例的使用者识别和确认装置的方块示意图。图5与图1的差异在于，图5中所述第二图像帧F2是先传送至所述人脸识别单元12后再传送至所述表情识别单元15，其他部分则与图1相类似。例如一实施例中，当所述显示单元14表示所述身份信息ID后，所述人脸识别单元12才将所述第二图像帧F2传送至所述表情识别单元15。另一实施例中，所述人脸识别单元12通知所述显示单元14表示所述身份信息ID时，便将所述图像传感器11获取的图像帧(即第二图像帧F2)传送至所述表情识别单元15，其可在所述显示单元14表示所述身份信息ID的同时或之后进行表情识别。另一实施例中，所述人脸识别单元12和所述表情识别单元15可使用相同的图像帧来执行各自的识别工作，也即所述第一图像帧F1和所述第二图像帧F2可为同一张图像帧。

综上所述，已知人脸识别技术和表情识别技术使用不同演算法并具有不同应用。本发明另提出一种使用者识别和确认装置(图1)和使用者识别和确认方法(图4)，用以通过使用者表情确认使用者身份的正确与否，并可应用于车用中央控制系统以排除不同驾驶具有不同驾驶设定所造成的不便。

虽然本发明通过以前述实施例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求范围所界定的范围为准。

Claims

1.一种使用者识别和确认装置，该使用者识别和确认装置包含：

图像传感单元，该图像传感单元用于获取多个图像帧；

人脸识别单元，该人脸识别单元用于判断所述多个图像帧中多个使用者中最靠近使用者为想要识别的使用者，并根据所述多个图像帧的其中一者来识别所述使用者的使用者身份；

显示单元，该显示单元用于显示所述人脸识别单元识别的所述使用者身份的身份信息；以及

表情识别单元，该表情识别单元用于在所述使用者身份识别并在所述显示单元显示所述身份信息后，才根据所述多个图像帧的其中另一者来求出所述使用者的表情特征并与已储存的所述使用者的表情相关的表情数据进行比对，以确认所述人脸识别单元识别的所述使用者身份的正确性，并输出确认信号。

2.根据权利要求1所述的使用者识别和确认装置，该使用者识别和确认装置还包含控制单元，该控制单元用于根据所述确认信号控制至少一电子装置的设定状态。

3.根据权利要求2所述的使用者识别和确认装置，其中所述设定状态与所述使用者身份相关。

4.根据权利要求2或3所述的使用者识别和确认装置，该使用者识别和确认装置还包含储存单元，用于储存至少一个使用者的所述身份信息及表情相关的表情数据，并储存所述设定状态。

5.根据权利要求1所述的使用者识别和确认装置，其中所述图像传感单元在所述显示单元显示所述身份信息之后，获取所述多个图像帧中的所述其中另一者。

6.根据权利要求1所述的使用者识别和确认装置，其中所述人脸识别单元还判断所述多个图像帧中是否存在使用者。

7.一种车用中央控制系统，该车用中央控制系统包含：

图像传感单元，该图像传感单元用于获取多个图像帧；

显示单元，该显示单元用于显示所述人脸识别单元识别的所述使用者身份的身份信息；

表情识别单元，该表情识别单元用于在所述使用者身份识别并在所述显示单元显示所述身份信息后，才根据所述多个图像帧的其中另一者来求出所述使用者的表情特征并与已储存的使用者表情相关的表情数据进行比对，以根据所述使用者表情确认所述人脸识别单元识别的所述使用者身份的正确性，并输出确认信号；以及

控制单元，该控制单元用于根据所述确认信号读取所述使用者身份相关的驾驶设定。

8.根据权利要求7所述的车用中央控制系统，其中所述图像传感单元相对驾驶座设置。

9.根据权利要求7所述的车用中央控制系统，其中所述驾驶设定包含座位位置、镜面角度、空调温度、音响设定、方向盘高度、灯光设定和卫星定位设定中的至少一者。

10.根据权利要求7所述的车用中央控制系统，该车用中央控制系统还包含储存单元，用于储存至少一使用者的所述身份信息及表情相关的表情数据，并储存所述驾驶设定。

11.根据权利要求7所述的车用中央控制系统，其中所述图像传感单元在所述显示单元显示所述身份信息之后，获取所述多个图像帧的所述其中另一者。

12.根据权利要求7所述的车用中央控制系统，其中所述人脸识别单元还判断所述多个图像帧中是否存在使用者。

13.根据权利要求7所述的车用中央控制系统，其中所述显示单元通过画面和/或声音显示所述身份信息。