CN104239847A - 行车警示方法及车用电子装置 - Google Patents

Abstract

本发明提供一种行车警示方法及车用电子装置。利用图像识别来判断驾驶者是否正在使用移动设备。本发明的行车警示方法，用于车用电子装置，本方法包括：利用图像获取单元连续获取驾驶者的图像序列；在图像序列的各图像中检测脸部物件的耳侧位置区域；在图像序列的各图像中检测目标物件；根据图像序列，计算目标物件的移动轨迹；以及当移动轨迹朝向耳侧位置区域移动时，发出提示信号。

Description

行车警示方法及车用电子装置

技术领域

本发明是有关于一种警示机制，且特别是有关于一种基于图像识别技术的行车警示方法及车用电子装置。

背景技术

随着交通运输的发达，促进了地方的发展，但是人为操纵运输工具不当所造成的交通事故，俨然成为危害社会安全的主要因素。例如，由于移动电话已经成为现代人所不可或缺的电子产品，因此越来越多汽车驾驶会在开车期间使用移动电话。由于驾驶者必须一边手持电话一边开车，导致注意力分散，因而使得肇事率上升。因此，有效且即时地监控驾驶行为，以及通过安全系统对于不当的驾驶行为提出警告，仍为此项领域中极需解决的问题。

发明内容

本发明提供一种行车警示方法及车用电子装置，利用图像识别技术来判断驾驶者是否正在使用移动设备。

本发明的行车警示方法，用于车用电子装置，本方法包括：利用图像获取单元连续获取驾驶者的图像序列；在图像序列的各图像中检测脸部物件的耳侧位置区域；在图像序列的各图像中检测目标物件；根据图像序列，计算目标物件的移动轨迹；以及当移动轨迹朝向耳侧位置区域移动时，发出提示信号。

在本发明的一实施例中，上述在图像序列的各图像中检测脸部物件的耳侧位置区域的步骤包括：通过人脸识别算法获得脸部物件；在脸部物件中搜寻鼻孔物件；以及基于鼻孔物件的位置，往水平方向搜寻耳侧位置区域。

在本发明的一实施例中，上述根据图像序列，计算目标物件的移动轨迹的步骤包括：计算目标物件的垂直投影量与水平投影量，以获得目标物件的尺寸范围；在尺寸范围内取一基准点；通过各图像的基准点的位置，获得移动轨迹。

在本发明的一实施例中，上述在目标物件朝向耳侧位置区域移动时，还可判断目标物件停留在耳侧位置区域的停留时间是否超过预设时间；以及在停留时间超过预设时间时，发出提示信号。

在本发明的一实施例中，上述检测目标物件的步骤包括：依据耳测位置区域获得兴趣区域（Region of Interest，ROI）；将上述图像序列中的当前图像与参考图像两者各自的兴趣区域执行图像相减算法，以获得目标区域图像；以及通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物件。

在本发明的一实施例中，上述通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物件的步骤包括：对参考图像的兴趣区域执行边缘检测算法与膨胀算法，而获得滤除区域图像；以及将滤除区域图像与目标区域图像执行图像相减算法，以获得目标物件。

本发明的车用电子装置包括：图像获取单元，连续获取驾驶者的图像序列；存储单元，存储上述图像序列；以及处理单元，耦接至存储单元以取得上述图像序列，并且执行图像处理模块。图像处理模块在上述图像序列的各图像中检测脸部物件的耳侧位置区域，并且，在上述图像序列的各图像中检测目标物件，计算目标物件的移动轨迹，其中，基于移动轨迹判断目标物件是否朝向耳侧位置区域移动，而在目标物件朝向耳侧位置区域移动时，发出提示信号。

在本发明的一实施例中，上述图像处理模块包括：耳朵检测模块，在上述图像序列的各图像中检测脸部物件的耳侧位置区域；目标检测模块，检测上述图像序列的各图像中的目标物件；轨迹计算模块，计算目标物件的移动轨迹；判断模块，基于移动轨迹判断目标物件是否朝向耳侧位置区域移动；以及提示模块，在目标物件朝向耳侧位置区域移动时，发出提示信号。

在本发明的一实施例中，上述图像处理模块更包括：脸部识别模块，通过人脸识别算法获得脸部物件，并在脸部物件中搜寻鼻孔物件。另外，上述耳朵检测模块可进一步基于鼻孔物件的位置，往水平方向搜寻耳侧位置区域。

在本发明的一实施例中，上述轨迹计算模块计算目标物件的垂直投影量与水平投影量，以获得目标物件的尺寸范围，并且在尺寸范围内取一基准点，以通过上述图像序列的各图像的基准点的位置，获得移动轨迹。

在本发明的一实施例中，上述目标检测模块依据耳测位置区域获得兴趣区域，并且将上述图像序列的当前图像与参考图像两者各自的兴趣区域执行图像相减算法，以获得目标区域图像，而通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物件。

在本发明的一实施例中，上述目标检测模块对参考图像的兴趣区域执行边缘检测算法与膨胀（dilate）算法，而获得滤除区域图像，并且，将滤除区域图像与目标区域图像执行图像相减算法，以获得目标物件。

在本发明的一实施例中，上述判断模块判断目标物件停留在耳侧位置区域的停留时间是否超过预设时间，而在停留时间超过预设时间时，通知提示模块发出提示信号。

基于上述，利用图像识别技术可判别驾驶者是否在车内使用移动电话，并在确定驾驶者在使用移动电话时，发出提示信息，以避免驾驶者因分心而造成事故。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例的车用电子装置的示意图；

图2是依照本发明一实施例的一种行车警示方法的流程图；

图3是依照本发明一实施例的另一种行车警示方法的流程图；

图4是依照本发明一实施例的图像的示意图；

图5A～图5E是依照本发明一实施例的检测目标的示意图；

图6是依照本发明一实施例的图像处理模块的示意图。

附图标记说明：

100：车用电子装置；

110：图像获取单元；

120：处理单元；

130：存储单元；

140：图像处理模块；

400：图像；

410：脸部物件；

420：鼻孔物件；

510：参考图像；

520：当前图像；

530：目标区域图像；

540：滤除区域图像；

550：区域图像；

511、521、R：兴趣区域；

551：尺寸范围；

601：脸部识别模块；

603：耳朵检测模块；

605：目标检测模块；

607：轨迹计算模块；

609：判断模块；

611：提示模块；

B：左上方顶点；

C1、C2：脸颊的边界；

E：耳侧位置区域；

O：目标物件；

S205～S225：行车警示方法的各步骤；

S305～S355：另一种行车警示方法的各步骤。

具体实施方式

图1是依照本发明一实施例的车用电子装置的示意图。请参照图1，车用电子装置100包括图像获取单元110、处理单元120、存储单元130以及图像处理模块140。在本实施例中，车用电子装置100为独立装置，其摆设在车辆驾驶座前方，以拍摄驾驶者的图像。而在其他实施例中，车用电子装置100亦可为整合在车辆中。例如，上述车用电子装置100为嵌入式系统的架构，而可内嵌在任一电子装置中。

图像获取单元110获取驾驶者的图像序列（包括一或多张图像），并将图像序列存放存储单元130。图像获取单元110例如为具有电荷耦合元件（Charge coupled device，CCD）镜头、互补式金氧半导体（Complementary metaloxide semiconductor transistors，CMOS）镜头、或红外线镜头的摄影机、照相机，但不限于此。

处理单元120例如为中央处理单元（Central Processing Unit，CPU）、图形处理单元（Graphics Processing Unit，GPU），或是其他可编程的微处理器（Microprocessor）、数字处理器（Digital Signal Processor，DSP）等装置。处理单元120耦接至存储单元130，以取得图像获取单元110所获取的图像序列。并且，处理单元120执行图像处理模块140来对上述图像序列进行一识别处理。例如，图像获取单元110拍摄到图像后，会通过其输入输出（Input/Output，I/O）单元将图像存储至存储单元130里，而处理单元120再从存储单元130取得图像来执行图像处理程序。

存储单元130例如为随机存取存储器（Random Access Memory，RAM）、只读存储器（Read-Only Memory，ROM）、快闪存储器（Flash memory）或磁盘存储装置（Magnetic disk storage device）等。

在本实施例中，图像处理模块140例如是由电脑程序语言算撰写的程序码片段，上述程序码片段例如可存储于存储单元130（或者另一存储单元）中并且包括多个指令，通过处理单元120来执行上述程序码片段。另外，在其他实施例中，上述图像处理模块140亦可以是由一或多个电路所组成的硬件组件，其耦接至处理单元120，并且由处理单元120来驱动。

另外，在其他实施例中，图像获取单元110还具有一照明元件，用以在光线不足时适时进行补光，以确保其所拍摄到的图像的清晰度。

底下即搭配上述车用电子装置100来详细说明行车警示方法各步骤。图2是依照本发明一实施例的一种行车警示方法的流程图。请同时参照图1及图2，由图像获取单元110连续获取驾驶者的图像序列（步骤S205）。接着，由图像处理模块140开始对上述图像序列的各张图像进行图像处理程序。

图像处理模块140在图像序列的各图像中检测脸部物件的耳侧位置区域（步骤S210）。而为了更精准地获得耳侧位置区域，在本实施例中，图像处理模块140还可在获得脸部物件之后，在脸部物件中搜寻鼻孔物件，进而基于鼻孔物件的位置，往水平方向搜寻耳侧位置区域。例如，往鼻孔物件的左右两侧搜寻左右脸颊的边界，之后，依据人脸与耳朵的相对位置，以搜寻到的边界为基准来获得左右两边的耳侧位置区域。

接着，图像处理模块140在图像序列的各图像中，检测目标物件（步骤S215）。在此，目标物件例如为移动电话。也就是说，图像处理模块140在各图像中检测移动电话。而在获得目标物件之后，图像处理模块140根据图像序列计算目标物件的移动轨迹（步骤S220）。例如，以目标物件的其中一点作为基准点，对每张图像中基准点的位置进行统计，进而获得目标物件的移动轨迹。当图像处理模块140检测到移动轨迹朝向耳侧位置区域移动时，图像处理模块140会发出提示信号（步骤S225）。

在此，图像处理模块140还可进一步判断目标物件停留在耳侧位置区域的停留时间是否超过预设时间（例如3秒），并且在停留时间超过预设时间时，发出提示信号。也就是说，倘若目标物件留在耳侧位置区域的停留时间是否超过预设时间，表示驾驶者可能在一边开车一边使用移动电话。

底下再举另一实施例来说明。

图3是依照本发明一实施例的另一种行车警示方法的流程图。请同时参照图1及图3，首先，利用图像获取单元连续获取驾驶者的多个图像（步骤S305）。接着，图像处理模块140先执行一背景滤除动作（步骤S310）。例如，将第N张图像与第N+1张图像进行差分处理。之后，可将滤除背影的图像转为灰阶图像，藉此进行后续动作。

之后，图像处理模块140在上述图像中检测脸部特征，而获得脸部物件（步骤S315）。例如，存储单元130存储有一特征数据库。此特征数据库包括了脸部特征样本（pattern）。而图像处理模块140通过与特征数据库中的样本进行比对来获得脸部物件。在较佳实施例中，可利用AdaBoost算法或其他现有的人脸识别算法（如，利用Haar-like特征来进行人脸识别动作）来获得各图像中的脸部，然在此仅为举例，并不以此为限。

然后，图像处理模块140在各图像中检测脸部物件的耳侧位置区域（步骤S320）。例如，图像处理模块140可在脸部物件中搜寻鼻孔物件，进而往鼻孔物件的左右两侧搜寻左右脸颊的边界，之后，依据人脸与耳朵的相对位置，以搜寻到的边界为基准来获得左右两边的耳侧位置区域。之后，图像处理模块140可依据耳测位置区域获得兴趣区域（Region of Interest，ROI）（步骤S325）。

举例来说，图4是依照本发明一实施例的图像的示意图。图像处理模块140在检测到图像400的脸部物件410之后，便可获得鼻孔物件420，再由鼻孔物件420来找到左右两边的边界C1、C2，并以边界C1、C2为基准而获得耳侧位置区域。在此为方便说明，仅举其中一侧脸颊的边界C1来进行说明，然，可以此类推至另一侧脸颊的边界C2。以边界C1的座标为基准，以预先设定好的尺寸范围而获得耳侧位置区域E。然后，根据耳侧位置区域E，再以另一预设尺寸范围而获得兴趣区域R。

接着，图像处理模块140将一当前图像与一参考图像（可以是先前图像，例如此当前图像的前一幅图像或前N幅图像，亦或是预先设定的任一幅图像）两者各自的兴趣区域执行图像相减算法，以获得目标区域图像（步骤S330），并通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物件（步骤S335）。

举例来说，图5A～图5E是依照本发明一实施例的检测目标物件的示意图。在此，为求方便起见，将图5A～图5E的灰阶度省略，而仅描示出灰阶的边缘来进行说明。图5A所示为参考图像510，其绘示有兴趣区域511；图5B所示为目前图像获取单元110所获取的当前图像520，其绘示有兴趣区域521与耳侧位置区域E；图5C所示为目标区域图像530；图5D所示为滤除区域图像540，图5E所示为具有目标物件O的区域图像550。

具体来说，将参考图像510的兴趣区域511与当前图像520的兴趣区域521执行图像相减算法后，便能够获得两张图像中具有差异的目标区域图像530。也就是说，目标区域图像530为兴趣区域511与兴趣区域521进行图像相减算法后所获得的结果。在目标区域图像530中，以虚线来表示非目标目标的其他噪声。而为了滤除噪声以获得目标物件，对参考图像510的兴趣区域511的执行边缘检测算法及膨胀（dilate）算法等，而获得滤除区域图像540。然后，将目标区域图像530与滤除区域图像540进行图像相减算法后，便可获得如图5E所示具有目标物件O的区域图像550。

返回图3，在获得目标物件后，图像处理模块140计算目标物件的垂直投影量与水平投影量，以获得目标物件的尺寸范围（步骤S340）。具体而言，图像处理模块140计算目标物件的垂直投影量而获得目标物件在垂直轴上的长度，并且计算目标物件的水平投影量而获得目标物件位于水平轴上的宽度。通过上述长度与宽度，进而获得目标物件的尺寸范围。

而后，图像处理模块140在尺寸范围内取一点作为基准点（步骤S345），并且，在后续各图像的目标物件以相同的点作为基准点，便可通过各图像的基准点的位置来获得移动轨迹（步骤S350）。

以图5E为例，计算出目标物件O的长度与宽度而获得尺寸范围551，并且，以尺寸范围551的左上方顶点B作为基准点。而后续其他张图像的目标物件亦以其尺寸范围的左上方顶点作为基准点。据此，由多张图像的基准点便可得知目标物件的移动轨迹。上述以尺寸范围的左上方顶点作为基准点仅为举例说明，并不以此为限。之后，图像处理模块140在检测到移动轨迹移动至耳侧位置区域时，发出提示信息（步骤S355）。另外，图像处理模块140还可检测移动轨迹是否逐步正往耳侧位置区域前进等，藉以更明确判断目标物（本实施例为手机）。

下述举一例来说明图像处理模块140的架构。图6是依照本发明一实施例的图像处理模块的示意图。请参照图4，图像处理模块140包括脸部识别模块601、耳朵检测模块603、目标检测模块605、轨迹计算模块607、判断模块609以及提示模块611。

脸部识别模块601通过人脸识别算法获得脸部物件，并在脸部物件中搜寻鼻孔物件。例如，脸部识别模块601利用AdaBoost算法或其他现有的人脸识别算法（如，利用Haar-like特征来进行人脸识别动作）来检测图像中的脸部物件。

耳朵检测模块603在图像中检测脸部物件的耳侧位置区域。例如，耳朵检测模块603可以去比对自图像中所获得的耳朵特征与事先存储于特征数据库的耳朵特征样本，而获得左右两边的耳侧位置区域。另外，倘若由于耳朵被头发或其他物品遮蔽，而导致无法获得耳朵特征时，耳朵检测模块603还可事先依据样本训练来获得耳侧位置区域是相对于人脸中的哪个位置，因而直接以预设的数据来获得左右两边的耳侧位置区域。此外，耳朵检测模块603还可基于鼻孔物件的位置，往水平方向搜寻耳侧位置区域。例如，基于鼻孔物件的位置，往水平方向获得脸颊左右的边界，之后以预设的数据来获得左右两边的耳侧位置区域。

目标检测模块605检测图像中的目标物件。目标检测模块605依据耳测位置区域获得兴趣区域，并将当前图像与参考图像两者各自的兴趣区域执行图像相减算法，以获得目标区域图像，据此通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物件。详细说明可参照图5A～图5E，在此省略不提。

轨迹计算模块607计算目标物件的移动轨迹。例如，轨迹计算模块607以目标物件的其中一点作为基准点，对每张图像中基准点的位置进行统计，进而获得目标物件的移动轨迹。举例来说，轨迹计算模块607计算目标物件的垂直投影量与水平投影量，以获得目标物件的尺寸范围，并且在尺寸范围内取基准点，以通过各图像的基准点的位置，获得移动轨迹。

判断模块609基于移动轨迹判断目标物件是否移动至耳侧位置区域。例如，判断模块609会根据轨迹计算模块607所获得的基准点的位置，判断上述位置是否位在耳侧位置区域。另外，判断模块609亦可依据移动轨迹来预测上述目标物件是否会移动至耳侧位置区域。上述仅为举例说明，并不以此为限。

而提示模块611在目标物件移动至耳侧位置区域时，发出提示信号。例如，提示模块611在接收到判断模块609发出的指令或命令时，发出语音或振动等提示信号。

上述车用电子装置100利用图像识别方法来检测驾驶者是否在使用移动电话，此外，上述车用电子装置100还可具有睡眠检测机制，藉以检测驾驶者是否有疲劳驾驶的情况产生。

综上所述，本发明利用图像识别技术来找出图像中的目标物件，并且在连续的多张图像中计算目标物件的移动轨迹，藉此可判别驾驶者是否在车内使用移动电话。并且，在确定驾驶者在使用移动电话时，发出提示信息，以避免驾驶者因分心而造成事故。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种行车警示方法，用于车用电子装置，其特征在于，上述方法包括：

利用图像获取单元连续获取驾驶者的图像序列；

在上述图像序列的每一上述图像中，检测脸部物件的耳侧位置区域；

在上述图像序列的每一上述图像中，检测目标物件；

根据上述图像序列，计算上述目标物件的移动轨迹；以及

当上述移动轨迹朝向上述耳侧位置区域移动时，发出提示信号。

2.根据权利要求1所述的方法，其特征在于，在上述图像序列的每一上述图像中检测上述脸部物件的上述耳侧位置区域的步骤包括：

通过人脸识别算法获得上述脸部物件；

在上述脸部物件中搜寻鼻孔物件；以及

基于上述鼻孔物件的位置，往水平方向搜寻上述耳侧位置区域。

3.根据权利要求1所述的方法，其特征在于，计算上述目标物件的上述移动轨迹的步骤包括：

计算上述目标物件的垂直投影量与水平投影量，以获得上述目标物件的尺寸范围；

在上述尺寸范围内取基准点；以及

通过在上述图像序列的每一上述图像的上述基准点的位置，获得上述移动轨迹。

4.根据权利要求1所述的方法，其特征在于，在上述移动轨迹朝向上述耳侧位置区域移动时，还包括：

判断上述目标物件停留在上述耳侧位置区域的停留时间是否超过预设时间；以及

在上述停留时间超过上述预设时间时，发出上述提示信号。

5.根据权利要求1所述的方法，其特征在于，检测上述目标物件的步骤包括：

依据上述耳侧位置区域获得兴趣区域；

将上述图像序列中的当前图像与参考图像两者各自的上述兴趣区域，执行图像相减算法，以获得目标区域图像；以及

通过上述参考图像的上述兴趣区域，滤除上述目标区域图像的噪声，以获得上述目标物件。

6.根据权利要求5所述的方法，其特征在于，通过上述参考图像的上述兴趣区域，滤除上述目标区域图像的噪声，以获得上述目标物件的步骤包括：

对上述参考图像的上述兴趣区域执行边缘检测算法与膨胀算法，而获得滤除区域图像；以及

将上述滤除区域图像与上述目标区域图像执行上述图像相减算法，以获得上述目标物件。

7.一种车用电子装置，其特征在于，包括：

图像获取单元，连续获取驾驶者的图像序列；

存储单元，存储上述图像序列；

处理单元，耦接至上述存储单元以取得上述图像序列，并且执行图像处理模块，其中上述图像处理模块在上述图像序列的每一上述图像中检测脸部物件的耳侧位置区域；其中检测上述图像序列的每一上述图像中的目标物件，计算上述目标物件的移动轨迹；其中基于上述移动轨迹判断上述目标物件是否朝向上述耳侧位置区域移动，而在上述目标物件朝向上述耳侧位置区域移动时，发出提示信号。

8.根据权利要求7所述的车用电子装置，其特征在于，上述图像处理模块包括：

耳朵检测模块，在上述图像序列的每一上述图像中检测上述脸部物件的上述耳侧位置区域；

目标检测模块，检测上述图像序列的每一上述图像中的上述目标物件；

轨迹计算模块，计算上述目标物件的上述移动轨迹；

判断模块，基于上述移动轨迹判断上述目标物件是否朝向上述耳侧位置区域移动；以及

提示模块，在上述目标物件朝向上述耳侧位置区域移动时，发出提示信号。

9.根据权利要求8所述的车用电子装置，其特征在于，上述图像处理模块还包括：

脸部识别模块，通过人脸识别算法获得上述脸部物件，并在上述脸部物件中搜寻上述鼻孔物件；

其中，上述耳朵检测模块基于上述鼻孔物件的位置，往水平方向搜寻上述耳侧位置区域。

10.根据权利要求8所述的车用电子装置，其特征在于，上述轨迹计算模块计算上述目标物件的垂直投影量与水平投影量，以获得上述目标物件的尺寸范围，并且在上述尺寸范围内取基准点，以通过上述图像序列的每一上述图像的上述基准点的位置，获得上述移动轨迹。

11.根据权利要求8所述的车用电子装置，其特征在于，上述目标检测模块依据上述耳侧位置区域获得兴趣区域，并且将在上述图像序列的当前图像与参考图像两者各自的上述兴趣区域，执行图像相减算法，以获得目标区域图像；以及

通过上述参考图像的上述兴趣区域，滤除上述目标区域图像的噪声，以获得上述目标。

12.根据权利要求11所述的车用电子装置，其特征在于，上述目标检测模块对上述参考图像的上述兴趣区域执行边缘检测算法与膨胀算法，而获得滤除区域图像；以及

将上述滤除区域图像与上述目标区域图像执行上述图像相减算法，以获得上述目标物件。

13.根据权利要求8所述的车用电子装置，其特征在于，上述判断模块判断上述目标物件停留在上述耳侧位置区域的停留时间是否超过预设时间，而在上述停留时间超过上述预设时间时，通知上述提示模块发出上述提示信号。