CN104228688B - 调整后视镜的方法及使用该方法的电子装置 - Google Patents

Abstract

本发明提供一种调整后视镜的方法及使用该方法的电子装置，此调整后视镜的方法用于一车上。此车配置有多个图像获取单元与至少一后视镜，此调整后视镜的方法包括下列步骤：通过图像获取单元取得使用者的多张图像，其中每一图像属于一视角，并且这些视角彼此不相同；根据这些图像取得使用者的三维位置；根据此三维位置调整至少一后视镜的角度。藉此，使用者会用有适当的后视角度。

Description

调整后视镜的方法及使用该方法的电子装置

技术领域

本发明是有关于一种调整后视镜的方法，且特别是有关于一种基于使用者位置来调整后视镜的方法及使用该方法的电子装置。

背景技术

对于现今的各种车辆结构来说，后视镜系统是一种不可或缺的安全性装置。一般来说，后视镜是一面平光镜或者凸面镜，用于给驾驶员在倒车及转向时容易看到车尾及车侧的周围环境，以减少交通意外。为了让驾驶员能够清楚的观察到车辆周遭的状况，对于各式各样不同的车辆来说，其各自的后视镜系统也分别具有不同数量的后视镜，而其中各个后视镜也将以不同的角度/位置设置在车辆四周或内部。举例来说，相较于一般小客车，大货车可能具有较多面后视镜，且以各种特定的角度或位置设置于大货车上，让大货车的驾驶员可避免视野死角而取得更好的视野角度。

另一方面，驾驶员可通过手动或自动调整按钮将后视镜调整到适合自己的角度，因而更清楚的掌握行车时的周遭状况。然而，在某驾驶员针对自身特定的姿势与位置调整好后视镜之后，往往容易因为某些情况而需要再次调整后视镜的角度。像是若该驾驶员在行使车辆途中曾经变换过姿势，或驾驶座椅曾经被调整过，该驾驶员都可能需要再次调整后视镜来获取最佳的行车视野。再者，若车辆曾经由另一驾驶员操作，则该驾驶员也需要再次调整后视镜。规格较好的车辆，会内建几组记忆键，将不同驾驶员所设定的后视镜角度记忆下来。但不管是在记忆键有人数限制的情况下，或是同一驾驶员的姿势或位置改变的情况下，后视镜的角度都需要重新调整。如此一来，将造成驾驶员的不便与行车上的危险。

发明内容

有鉴于此，本发明提出一种调整后视镜的方法与使用该方法的电子装置，通过使用者的三维位置来自动调整后视镜的角度，以提高驾驶员行驶车辆的方便性与安全性。

本发明提供一种调整后视镜的方法，此调整后视镜的方法用于一车上。其中此车配置有多个图像获取单元与至少一后视镜，此调整后视镜的方法包括下列步骤：通过图像获取单元取得使用者的多张图像，其中每一图像属于一视角，并且这些视角彼此不相同；根据这些图像取得使用者的三维位置；根据此三维位置调整至少一后视镜的角度。

在本发明的一实施例中，上述根据这些图像取得使用者的三维位置的步骤包括：在每一图像上检测使用者的眼睛。根据每一图像中眼睛的位置取得使用者的三维位置。

在本发明的一实施例中，上述调整后视镜的方法还包括：跟踪使用者的眼睛以产生跟踪误差。若跟踪误差大于临界值，则持续检测使用者的眼睛。若跟踪误差小于等于临界值，执行所述取得使用者的三维位置的步骤。

在本发明的一实施例中，上述根据图像取得使用者的三维位置的步骤还包括：在每一图像上检测使用者的脸部特征。其中脸部特征不同于眼睛，并且使用者的三维位置是根据每一图像中眼睛的位置与脸部特征的位置所取得。

在本发明的一实施例中，上述根据图像取得使用者的三维位置的步骤还包括：根据每一图像中眼睛的位置与脸部特征的位置建立脸部网络模型，其中使用者的三维位置是根据脸部网络模型所取得。

以另外一个角度来说，本发明一实施例提出一种电子装置，适用于一车上。此电子装置耦接多个图像获取单元与至少一后视镜，此电子装置包括存储器与处理器。存储器储存有多个指令。处理器耦接至存储器，用以执行这些指令以执行多个步骤：通过图像获取单元取得使用者的多张图像，其中每一图像属于一视角，并且这些视角彼此不相同。根据图像取得使用者的三维位置。根据三维位置调整至少一后视镜的角度。

基于上述，本发明实施例所提出的调整后视镜的方法与电子装置，可以利用多个图像获取单元所获取的多张图像而取的使用者位于车辆内的三维位置，并依据此三维位置自动的调整后视镜的角度。据此，针对不同的驾驶在不同的情况下，车辆的后视镜将适应性的调整到让驾驶可以取得最佳视野的角度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所绘示的后视镜调整系统的示意图；

图2是根据一实施例绘示一种调整后视镜的方法的流程图；

图3是根据一实施例绘示一种取得使用者眼部的二维位置的流程图；

图4是根据一实施例绘示一种调整后视镜的方法的流程图；

图5绘示一种取得三维位置的示意图；

图6是根据一实施例绘示一种应用情景的示意图。

附图标记说明：

10：后视镜调整系统；

100：电子装置；

110：存储器；

120：处理器；

200、620_1～620_3：后视镜；

300_1、300_2、300_N、630_1～630_3：图像获取单元；

50：物体；

X_3D、X₁、X₂、X₃、X_R、X_L：位置点；

600：车辆；

640：使用者；

S201～S205、S301～S306、S401～S406：步骤；

60、70：数据库；

ImgL_1～ImgL_s、ImgR_1～ImgR_t、ImgL、ImgR：图像；

Eye2d_R、Eye2d_L：二维坐标信息；

P、Q：连线；

O_L、O_R、e_L、e_R：位置点。

具体实施方式

图1是依照本发明一实施例所绘示的后视镜调整系统的示意图。请参照图1，后视镜调整系统10包括电子装置100、至少一后视镜200以及多个图像获取单元300_1～300_N。后视镜调整系统10适用于一车辆上，其中后视镜200固设在车辆内部或车辆外部，以便驾驶员可以观察到车辆的周遭环境。一般来说，后视镜200可以是一面设置于车内前方的车内后视镜，也可以是设置于车辆两侧的车外后视镜，在此不设限。图像获取单元300_1～300_N例如是具有电荷耦合元件(Charge Coupled Device，CCD)或互补式金氧半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件的图像传感器，用以获取使用者的图像。图像获取单元300_1～300_N的数量及配置可以针对实际的需求而变更，在此不设限，也就是说N为大于2的整数。

电子装置100至少包括一处理器120与一存储器110。电子装置100可以被实作为电脑、车用电脑或其他车用电子装置，本发明并不局限于此等实作态样。处理器120可以例如是中央处理器(Central Processing Unit，CPU)、微处理器(Microprocessor)、特殊应用集成电路(Application Specific IntegratedCircuits，ASIC)、可编程逻辑装置(Programmable Logic Device，PLD)或其他具备运算能力的硬件装置。存储器110例如是随机存取存储器(randomaccess memory)、快速存储器(Flash)或其他的存储器，用以储存数据与多个指令，而处理器120耦接存储器110并用以执行这些指令。

图2是依照本发明一实施例所绘示的一调整后视镜的方法的流程图。请同时参照图1与图2，在本实施例中，调整后视镜的方法例如可利用图1中的电子装置100来执行。以下搭配后视镜调整系统10中的各项元件来说明本实施例的调整后视镜的方法的步骤。

首先，在步骤S201中，处理器120通过图像获取单元300_1～300_N取得使用者的多张图像，其中每一图像属于一视角，并且这些视角彼此不相同。详细来说，在本实施例中，图像获取单元300_1～300_N设置于车辆内部的拍摄的到驾驶员的不同位置上。由于各个图像获取单元300_1～300_N的位置不同，因此各图像获取单元300_1～300_N针对使用者所拍摄出来的图像的视角也不同。简单来说，一个图像获取单元会对应到一特定视角。

在步骤S203中，处理器120根据这些图像取得使用者的三维位置。进一步来说，对于N个图像获取单元300_1～300_N来说，处理器120可以取得N张不同视角的二维图像。如此一来，处理器120可以利用这些不同视角的二维图像来计算出使用者于车内空间的三维位置。接着，在步骤S205中，处理器120根据使用者的三维位置调整至少一后视镜200的角度。具体来说，处理器120可以根据这些图像计算出使用者眼部于车内空间的三维位置，并根据使用者眼部的位置信息来调整后视镜200。如此一来，后视镜200将可以根据使用者的身高或驾驶姿势等因素来适应的调整后视镜的镜面角度，让正在驾驶的使用者可以通过后视镜200取得较佳的视野角度。以下将进一步说明如何利用图像获取单元300_1～300_N其中之一所获取的多张图像，来估测出一特定视角所对应的二维图像中使用者眼部的二维位置。

图3是根据一实施例绘示一种取得使用者眼部的二维位置的流程图。在本实施例中，假设图像获取单元300_1～300_N其中之一会获取t张图像ImgR_1～ImgR_t，其中t为大于1的整数。请参照图3，在步骤S301中，处理器120利用脸部检测技术取得图像ImgR_1～ImgR_t画面中的脸部区域。在本实施例中例如是先获取哈尔(Haar)特征值，再使用层迭(Cascade)架构的机器学习算法来执行脸部检测。更具体来说，数据库60中包括了不同亮度、不同人种、不同性别、或不同年龄的人脸图像。处理器120会利用储存于数据库60的数据来执行学习的步骤以产生一个模型(model)。例如，处理器120会使用适应性增强(adaboost)的算法来建立模型。然而，处理器120也可以使用支持向量机(support vector machine)或是类神经网络来建立此模型，本发明并不在此限。接下来，处理器120会根据此模型来检测图像ImgR_1～ImgR_t中的脸部区域，并可获得其脸部的位置。然而，上述检测方法并非用以限定本发明，熟知本领域技术人员当可视其实际需要，选用不同的脸部检测方法。

接着，在步骤S302中，处理器120利用使用者于每一图像ImgR_1～ImgR_t上的脸部区域图像来进行眼部检测(eye detection)，以在每一图像ImgR_1～ImgR_t上检测使用者的眼睛。简单来说，在寻找到人脸的位置之后，可进一步利用人脸图像来寻找眼部图像以取得眼睛的位置。例如，数据库70包括了不同角度与亮度下的眼部图像。处理器120可以利用储存数据库70的数据来训练另一个用于眼睛检测的模型，并用此模型来做眼部图像检测，进而检测出使用者的眼部图像。

之后，在步骤S303中，处理器120将判断是否检测到眼部图像。若步骤S303判断为否，回到步骤S302，处理器120将持续检测使用者的眼睛。若步骤S303判断为是，在步骤S304中，处理器120将执行眼部跟踪，以跟踪使用者的眼睛而产生跟踪误差。在步骤S305中，处理器120判断跟踪误差是否小于等于临界值。简单来说，若要利用多张图像ImgR_1～ImgR_t来取得眼部的二维位置，眼部跟踪可以增加眼部检测的可靠度。

若跟踪误差大于一临界值，回到步骤S302，处理器120将持续检测使用者的眼睛。若跟踪误差小于等于临界值，接续步骤S306，处理器120就可以直接取得眼部二维位置信息Eye2d_R。需特别说明的是，在部分实施例中，处理器120还可以在每一图像ImgR_1～ImgR_t上检测使用者的脸部特征，其中此脸部特征(例如为嘴角、鼻子、或眉毛等)不同于使用者的眼睛。基此，在步骤S306中，处理器120可根据每一图像ImgR_1～ImgR_t中眼睛的位置与脸部特征的位置建立脸部网络模型，据以取得更精确的眼部二维位置信息Eye2d_R。

然而，在另一实施例中，步骤S306可以被省略。也就是说，处理器120可以根据步骤S305中跟踪眼睛的结果来取得眼部二维位置Eye2d_R。

由此可知，处理器120在取得各图像获取单元300_1～300_N所对应的各视角上的眼部的二维位置、脸部特征或脸部网络模型后，处理器120可根据各图像获取单元300_1～300_N所对应的眼睛的位置来取得使用者的三维位置。另外，使用者的三维位置也可同时基于眼睛的位置与脸部特征的位置所取得，还可以是根据脸部网络模型所取得。以下将进一步说明如何利用多个图像获取单元所获取的图像，来取得使用者的三维位置。

图4是根据一实施例绘示一种调整后视镜的流程图。请同时参照图1与图4，在本实施例中，将以后视镜调整系统10仅具有两个图像获取单元300_1与300_2的情况来作说明(N=2)，但本发明不限于此。其中，图像获取单元300_1用以获取多张图像ImgR_1～ImgR_t，图像获取单元300_2用以获取多张图像ImgL_1～ImgL_s，而t与s为大于1的整数。进一步来说，图像获取单元300_1与300_2可分别设置于车辆内使用者的右前方与左前方，因此而获取到具有相异视角的两组图像ImgR_1～ImgR_t与ImgL_1～ImgL_s。

前述实施例已经说明如何利用单一图像获取单元获取的多张图像来执行眼部定位，而取得眼部于某一视角上的二维位置，在此不赘述。简单来说，在步骤S401中，处理器120利用图像获取单元300_1所获取的图像ImgR_1～ImgR_t进行眼部定位，而取得使用者的眼部对应于一视角上的二维坐标信息Eye2d_R。另一方面，在步骤S402中，处理器120利用图像获取单元300_2所获取的图像ImgL_1～ImgL_s进行眼部定位，而取得使用者的眼部对应于另一视角上的二维坐标信息Eye2d_L。

之后，在步骤S403与S404中，处理单元120分别执行图像获取单元校正。具体来说，校正的目的在于计算图像获取单元本身的焦距及坐标参数，而此步骤通常也在架设图像获取单元时及完成校正。接着，处理单元120基于二维坐标信息Eye2d_R与Eye2d_L以及图像获取单元300_1与300_2的参数来执行三维位置估测，即时的计算出深度信息而取得使用者眼部的三维位置。最后，在步骤S406中，处理器120根据使用者眼部的三维位置调整后视镜200的角度，让后视镜可以调整至适合使用者的角度。以下将进一步说明如何利用具有不同视角的图像来取得物体于空间中的三维位置。

图5绘示一种取得三维位置的示意图。请参照图5，图像ImgL属于左视角图像，而ImgR属于右视角图像，而位置点X_3D是物体50的真实三维位置，例如在本发明中物体50即为使用者的眼部。位置点O_L为一个图像获取单元的原点坐标，而位置点O_L与图像ImgL之间的距离便是此图像获取单元的焦距。位置点O_R为另一个图像获取单元的原点坐标，而位置点O_R与图像ImgR之间的距离便是此另一个图像获取单元的焦距。位置点O_L与位置点O_R之间的连线被称为极线(epipolar line)，其会与图像ImgL相交于坐标e_L，并与图像ImgR相交于坐标e_R。当利用具有左视角的图像获取单元来获取图像ImgL时，而物体50将投影于图像ImgL中的二维的位置点X_L上。因此，若只基于左视角图像ImgL来估测与计算，物体50于空间中的三维位置有可能被估测为位置点X₁、X₂或X₃。同样的，若只基于右视角图像ImgR中物体50的二维位置来估测与计算，也无法确切的计算出物体50于空间中的真实位置。然而，如图5所示，若同时利用右视角图像ImgR与左视角图像ImgL，物体50会投影在图像ImgR上位置点e_R与位置点X_R所延伸出的直线上。因此，可以根据位置点X_R与位置点X_L来计算出位置点X_3D(即为物体50的真实三维位置)。例如，可以依照一个基本矩阵(fundamental matrix)来计算三维位置。然而，本领域有通常知识者应可理解如何利用此基本矩阵，在此便不再赘述。

图6是根据一实施例绘示一种应用情景的示意图。请参照图6，此实施例中，如同一般常见的车辆，车内后视镜620_1设置车辆600内部前方，而车外后视镜620_2与车外后视镜620_3设置于车辆600外部的两侧。另一方面，图像获取单元630_1与图像获取单元630_2可分别设置在驾驶座前方，像是车内后视镜620_1的下方。另外，本实施例的车辆600具有一电子装置(未绘示)，用以执行本发明的调整后视镜的方法。

图像获取单元630_1与图像获取单元630_2对使用者640获取多张图像后，电子装置经过图像的分析与计算可以取得使用者640三维位置。具体来说，电子装置对图像获取单元630_1所获取的图像进行眼部定位的步骤，而取得图像获取单元630_1所对应的视角上使用者640的眼部的二维位置信息。另外，电子装置也对图像获取单元630_2所获取的图像进行眼部定位的步骤，而取得图像获取单元630_2所对应的视角上使用者640的眼部的二维位置信息。

接着，电子装置可以利用图像获取单元630_1与图像获取单元630_2的位置信息与焦距等参数，以及使用者640的眼部于各视角上的二维位置信息，精确的估测使用者眼部在车辆600内的三维位置。基此，电子装置可利用使用者眼部的三维位置坐标来调整后视镜620_1、620_2与620_3的角度。举例来说，电子装置可以根据使用者眼部的三维位置坐标与车内后视镜620_1的位置坐标之间的连线P，来作为调整后视镜620_1的角度的依据。同样的，电子装置可利用使用者眼部的三维位置坐标与车外后视镜620_2、620_3的位置坐标之间的连线Q，来作为调整后视镜620_2、620_3的依据。或者，电子装置可通过连线P、Q与水平方向的夹角或垂直方向的夹角，来调整后视镜620_1的角度。然而，本发明并不限制如何调整后视镜620_1、620_2与620_3的角度。

综上所述，本发明实施例所提出的调整后视镜的方法与电子装置，可通过多个图像获取单元所获取的多张图像来定位出使用者的三维位置，而使用者的三维位置将用以作为调整后视镜的角度的依据。此外，本发明可除了利用使用者的眼部特征，还可以利用使用者其他脸部特征，进而提高估测使用者三维位置的准确度。如此一来，车辆的后视镜可适应性的针对各驾驶员进行自动调整，让驾驶员可以取得最佳的视野，提高驾驶员行驶车辆的方便性与安全性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种调整后视镜的方法，用于一车上，其特征在于，该车配置有多个图像获取单元与至少一后视镜，该调整后视镜的方法包括：

通过该些图像获取单元取得一使用者的多张图像，其中每一该些图像属于一视角，并且该些视角彼此不相同；

根据该些图像取得该使用者的一三维位置，其中根据该些图像取得该使用者的该三维位置的步骤包括：

在每一该些图像上检测该使用者的一眼睛；

跟踪该使用者的该眼睛以产生一跟踪误差；

若该跟踪误差大于一临界值，则持续检测该使用者的该眼睛；以及

若该跟踪误差小于等于该临界值，根据每一该些图像中该眼睛的位置取得该使用者的该三维位置；以及

根据该三维位置调整该至少一后视镜的一角度。

2.根据权利要求1所述的调整后视镜的方法，其特征在于，根据该些图像取得该使用者的该三维位置的步骤还包括：

在每一该些图像上检测该使用者的一脸部特征，其中该脸部特征不同于该眼睛，并且该使用者的该三维位置是根据每一该些图像中该眼睛的位置与该脸部特征的位置所取得。

3.根据权利要求2所述的调整后视镜的方法，其特征在于，根据该些图像取得该使用者的该三维位置的步骤还包括：

根据每一该些图像中该眼睛的位置与该脸部特征的位置建立一脸部网络模型，其中该使用者的该三维位置是根据该脸部网络模型所取得。

4.一种电子装置，适用于一车上，其特征在于，耦接多个图像获取单元与至少一后视镜，该电子装置包括：

一存储器，储存有多个指令；以及

一处理器，耦接至该存储器，用以执行该些指令以执行多个步骤：

通过该些图像获取单元取得一使用者的多张图像，其中每一该些图像属于一视角，并且该些视角彼此不相同；

根据该些图像取得该使用者的一三维位置，其中根据该些图像取得该使用者的该三维位置的步骤包括：

在每一该些图像上检测该使用者的一眼睛；

跟踪该使用者的该眼睛以产生一跟踪误差；

若该跟踪误差大于一临界值，则持续检测该使用者的该眼睛；以及

若该跟踪误差小于等于该临界值，根据每一该些图像中该眼睛的位置取得该使用者的该三维位置；以及

根据该三维位置调整该至少一后视镜的一角度。

5.根据权利要求4所述的电子装置，其特征在于，根据该些图像取得该使用者的该三维位置的步骤还包括：

在每一该些图像上检测该使用者的一脸部特征，其中该脸部特征不同于该眼睛，并且该使用者的该三维位置是根据每一该些图像中该眼睛的位置与该脸部特征的位置所取得。

6.根据权利要求5所述的电子装置，其特征在于，根据该些图像取得该使用者的该三维位置的步骤还包括：

根据每一该些图像中该眼睛的位置与该脸部特征的位置建立一脸部网络模型，其中该使用者的该三维位置是根据该脸部网络模型所取得。