CN108764185A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明的实施例提供了一种图像处理方法及装置。所述方法包括：获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；提取所述待检测图像中所述用户及所述操控对象的特征；对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

Description

一种图像处理方法及装置

技术领域

本发明涉及机器学习领域，特别是涉及一种图像处理方法及装置。

背景技术

随着生活水平的提高，家庭轿车已经成为了人们生活中不可或缺的交通工具。但是，在人们开车出行的过程中，可能会发生撞车等交通事故，在造成交通事故频发的原因中，其中一个很重要的因素就是疲劳驾驶。驾驶员在长时间连续行车后，产生生理机能和心理机能的失调，出现驾驶机能下降的现象。

在相关统计中，如果能够检测驾驶员的疲劳状态并在发现出现疲劳驾驶时能及时提醒驾驶员，使其反应时间能够提高0.5秒，交通事故的发生可能性会降低60％。因此，对驾驶过程中驾驶员的疲劳状态进行实时监测，并且对驾驶员的疲劳状态进行定量判断对安全驾驶具有重要意义。

发明内容

在一个方面，本发明的实施例提供了一种图像处理方法，包括：

获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

提取所述待检测图像中所述用户及所述操控对象的特征；

对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

可选地，所述提取所述待检测图像中所述用户及所述操控对象的特征的步骤，包括：

通过基于机器学习的分类器提取所述用户及所述操控对象的特征点。

可选地，在所述通过基于机器学习的分类器提取所述用户及所述操控对象的特征点的步骤之前，还包括：

选取第一样本图像；

标注第一样本图像中的用户及操控对象的特征点；

根据标注特征点的第一样本图像训练得到所述分类器。

可选地，所述分类器包括随机森林分类器。

可选地，所述对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤，包括：

通过基于神经网络对所述用户及所述操控对象的特征点进行分析，以确定所述用户的状态信息。

可选地，在所述通过神经网络对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤之前，还包括：

选取第二样本图像，第二样本图像包括至少两种用户状态信息的样本图像；

根据第二样本图像中用户的特征、用户操控对象的特征和对应的用户状态信息进行训练，以得到所述神经网络。

可选地，所述对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤，还包括：

依据所述待检测图像中用户的特征，确定用户的人眼区域；

对所述人眼区域的人眼状态进行识别，以得到所述用户的人眼状态信息。

可选地，所述待检测图像是采用深度摄像头拍摄得到的。

可选地，在所述对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤之后，还包括：

判断所述用户状态信息和/或所述人眼状态信息是否满足预设条件以确定所述用户是否处于待警示状态。

可选地，所述获取待检测图像包括：

连续拍摄所述用户及所述用户选择的操控对象的图像，获得多帧所述待检测图像；

所述方法还包括：

当连续拍摄的多帧所述待检测图像中所述用户的状态信息满足预设条件时，触发警报提醒。

可选地，所述获取待检测图像包括：

连续拍摄所述用户及所述用户选择的操控对象的图像，获得多帧所述待检测图像；

所述方法还包括：

当连续拍摄的多帧所述待检测图像中所述用户的人眼状态信息满足预设条件时，触发警报提醒。

在另一方面，本发明实施例提供了一种图像处理装置，包括：

图像获取模块，配置成获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

特征提取模块，配置成提取所述待检测图像中所述用户及所述操控对象的特征；

状态确定模块，配置成对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

可选地，所述特征提取模块包括：

特征点提取子模块，配置成通过基于机器学习的分类器提取所述用户及所述操控对象的特征点。

可选地，所述特征提取模块还包括：

分类器训练子模块，配置成根据第一样本图像、第一样本图像的用户和用户操控对象的特征点标注训练得到所述分类器。

可选地，所述状态确定模块包括状态确定子模块，配置成通过神经网络对所述用户及所述操控对象的特征点进行分析，以确定所述用户的状态信息。

可选地，所述状态确定模块还包括神经网络训练子模块，配置成根据第二样本图像中用户的特征、用户操控对象的特征和对应的状态信息进行训练，以得到所述神经网络。

在又一方面，本发明实施例提供了一种图像处理装置，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器配置成存储计算机指令,所述计算机指令在被所述一个或多个处理器读取执行时，执行如下操作：

获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

提取所述待检测图像中所述用户及所述操控对象的特征；

对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

附图说明

图1示出了本发明实施例提供的一种图像处理方法的步骤流程图；

图2示出了本发明实施例提供的一种图像处理方法的步骤流程图；

图2a示出了本发明实施例提供的一种样本图像特征点标注示意图；

图2b示出了本发明实施例提供的一种用户人眼状态示意图；及

图3示出了本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在发明人所知的技术中，可以通过Kinect、PrimeSense等视觉识别方法识别出人体的重要关节点并计算三维空间坐标，利用三维空间坐标来确定人体的姿态，即只需要一个或几个深度摄像头，识别出人体的姿态。

然而，发明人意识到，这类产品的设计通常是为了满足游戏机、手机等体感交互控制的需要，其关注点在于如何识别人的体感动作，而不考虑人与物体(如方向盘等)交互的情况。

驾驶行为与通常的体感交互控制不同，当驾驶员驾驶汽车时需要与方向盘持续进行交互；同时，已有的体感识别是对人体的整体进行拍摄，而在汽车驾驶等场合拍摄到的人体是半身的，如果将相关技术中的体感交互控制技术用于辅助驾驶，会导致因为输入是半身图像而导致关节点识别失败或识别成功但坐标错乱的情况。此外，由于人手和方向盘是连通的，方向盘位于人体和摄像头之间，可能会导致在识别过程中，把方向盘误识别为人体的某些关节点，使得后续分析人体姿态的过程中发生错误。

参照图1，示出了本发明实施例提供的一种图像处理方法的步骤流程图，具体可以包括如下步骤：

步骤101：获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象。

在本发明实施例中，可以采用各种深度摄像头(RGB-D Camera)拍摄得到待检测图像，进而根据待检测图像进行后续的分析过程。

例如，深度摄像头可以是基于结构光的深度摄像头，可以是基于TOF(Time OfFlight)的深度摄像头，可以是基于双目成像的深度摄像头等。

当然，在实际应用中，本领域技术人员也可以采用其它摄像头进行待检测图像的拍摄，本发明实施例对此不加以限制。

在待检测图像中可以包含有用户以及用户选择的操控对象，操控对象可以为方向盘等物体。

在一些实施例中，上述步骤101可以包括：

子步骤S1：连续拍摄所述用户及所述用户选择的操控对象的图像，获得多帧所述待检测图像。

在本发明实施例中，为了使得后续的分析结果更加准确，可以对用户操控指定对象的图像进行连续拍摄，从而获取多帧待检测图像，例如，3帧、6帧等，本发明对此不加以限制。在后续分析过程中，通过对多帧待检测图像分别进行分析，以确定出用户的状态信息，可以使得分析确定出的用户状态信息更加准确。

步骤102：提取所述待检测图像中所述用户及所述操控对象的特征。

在本发明的实施例中，特征可以包括可以表征用户行为、用户操控对象的状态等的一个或多个特征的组合，这些特征可以是点、线、形状、颜色等中的一个或多个类型的组合。

例如，用户的特征可以是一个或多个特征点，包括用户的关节点。操控对象的特征可以是指一个或多个特征点，包括操控对象的结构节点。

可以通过多种方式获取待检测图像中的用户的特征点和操控对象的特征点，例如Adaboost分类器、SVM分类器等基于机器学习的分类器均可经过样本图像训练后适用于本发明实施例。

在一些实施例中，通过使用基于决策树算法的分类器获取待检测图像中的用户的特征点和操控对象的特征点。所述基于决策树算法的分类器，例如可以是随机森林分类器。

步骤103：对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

在从待检测图像中提取出用户的特征和操控对象的特征之后，可以依据用户的特征和操控对象的特征进行分析，以确定用户的状态信息。例如，用户是否注意力分散、手是否离开方向盘、驾驶员是否处于歪斜状态等状态信息。

在一些实施例中，通过神经网络对用户的特征和操控对象的特征进行分析，从而确定用户的状态信息。例如，在训练中，以每一样本图像中用户的特征和操控对象的特征作为输入，以对应该样本图像的这些特征所代表的用户状态信息作为输出，对神经网络进行训练可以形成能够对识别和判断用户状态信息的神经网络，所得到的神经网络以包含用户的特征和操控对象的特征作为输入层的输入(本领域技术人员能够理解，是将包含用户的特征和操控对象的特征的图像进行向量化，从而将代表图像的多维向量输入神经网络)，经过神经网络的隐含层分析这些特征的深层次信息，在神经网络的输出层(例如LR分类器、SoftMax分类器、SVM分类器等)输出对用户的状态信息的分析结果(对应于输出层的不同分类器设计，这些分析结果可能表现为这些分类结果的评分、分类为对应结果的概率等)。

当然，除此之外，其它的基于传统机器学习的分类器，例如基于kNN、k-means等的分类器亦可适用于本发明的实施例。

本发明实施例提供的图像处理方法，通过获取待检测图像，其中，待检测图像中包含用户及用户选择的操控对象，提取待检测图像中用户及操控对象的特征，对用户及操控对象的特征进行分析，从而确定用户的状态信息。本发明实施例通过对用户及用户选择的操控对象分别进行分析，从而确定出用户的状态，能够将用户和用户选择的操控对象(如方向盘等)区分开来，避免了用户选择的操控对象对分析结果产生的干扰，从而降低了用户状态分析过程中发生错误的概率，提高了用户状态的分析准确率。

进一步地，在确定用户状态信息之后，可以依据用户状态信息确定用户是否处于待警示状态，例如，在用户行车驾驶时，如果用户手离开方向盘和/或用户处于歪斜状态等，则表示用户处于待警示状态；或者用户人眼处于频繁眨眼的状态，则表示用户处于待警示状态等。

在一些实施例中，所述方法还可以包括：

步骤S：预设当连续拍摄的多帧所述待检测图像中所述用户的状态信息满足预设条件时，触发警报提醒。

在本发明实施例中，预设预设条件可以为多帧待检测图像中用户某一状态信息的数量满足一定数量或比值的条件，例如，总数8帧待检测图像，在其中5帧图像或以上确定的用户状态信息为用户频繁眨眼状态时，才触发警报提醒，或者确定的用户状态信息为待警示状态信息的图像数达到1/2以上时，才触发警报提醒等。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的限制。

警报提醒的方式可以采用鸣笛的方式，可以采用视觉提醒(如LED闪烁、屏幕显示等)的方式，也可以采用语音播报的方式等，本发明实施例对此不加以限制。

结合连续拍摄的多帧待检测图像，通过对连续拍摄的多帧待检测图像进行分析，以多帧待检测图像中确定的用户状态信息是否满足预设条件，在满足预设条件时，则触发警报提醒。

参照图2，示出了本发明实施例提供的一种图像处理方法的步骤流程图，具体可以包括如下步骤：

步骤201：获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象。

在本发明实施例中，可以采用各种深度摄像头(RBG-DCamera)拍摄得到待检测图像，进而根据待检测图像进行后续的分析过程。

当然，在实际应用中，本领域技术人员也可以采用其它摄像头进行待检测图像的拍摄，本发明实施例对此不加以限制。

在待检测图像中可以包含有用户以及用户选择的操控对象，操控对象可以为方向盘等物体。

步骤202：通过基于机器学习的分类器提取所述用户及所述操控对象的特征点。

在本发明实施例中，可以通过基于机器学习的分类器对每一帧拍摄到的待检测图像进行计算，进而可以得到各帧待检测图像中用户的特征点及操控对象的特征点。

分类器可以为随机森林分类器等，但不仅限于此。

而对于经学习得到分类器的过程将以下述优选实施例进行详细描述。

在一些实施例中，在上述步骤202之前还可以包括通过训练形成特征点提取分类器的步骤。例如，可以包括：

步骤N1：选取第一预设数量的第一样本图像；

步骤N2：标注各所述第一样本图像中的用户及用户操控对象的特征点；

步骤N3：根据各所述第一样本图像和其标注，训练得到所述特征点提取分类器。

在本发明实施例中，第一预设数量不做特别限定，只要其满足分类器的训练需要即可。

在一些实施例中，第一样本图像可以是通过车载设备安装深度摄像头拍照形成包括方向盘在内的用户半身深度图像，然后进行人工标注特征点。

在一些实施例中，第一样本图像可以来源于行业通用的数据库，例如MotorMark数据库(http://imagelab.ing.unimore.it/imagelab/)。

第一预设数量可以是由用户选择的数量，可以为100、130、200等，选择的数据量越大，则学习得到的分类器对待检测图像的分析结果就越准确，而对于第一样本图像的具体数量，本发明实施例不加以限制。

第一样本图像是指符合训练特征点提取分类器标准的图像，在从样本数据库中选择第一预设数量的第一样本图像之后，则对每张第一样本图像中的第一样本用户及第一样本操控对象的特征点进行标注，所选择的特征点可以根据先验知识选择，或者通过聚类的方式获得特征点。本申请发明人经过大量实验研究选择了下述点作为特征点：用户的特征点包括hand_right(右手关节点)，hand_left(左手关节点)，elbow_right(右肘关节点)，elbow_left(左肘关节点)，shoulder_right(右肩关节点)，shoulder_left(左肩关节点)，head(头关节点)，spine(脊柱关节点)，neck(颈关节点)等；操控对象的特征点包括：steering_left_one(方向盘左部第一结构节点)，steering_left_two(方向盘左部第二结构节点)，steering_left_three(方向盘左部第三结构节点)，steering_mid(方向盘中部结构节点)，steering_right_three(方向盘右部第三结构节点)，steering_right_two(方向盘右部第二结构节点)，steering_right_one(方向盘右部第一结构节点)等。其中，这些结构节点的分布，例如可以是均匀分布在面向深度摄像头方向的方向盘的弧形外缘表面。发明人进行的研究显示，这些特征点的选择有利于后续步骤迅速、有效的判断用户的用户状态。

例如，参照图2a，示出了本发明实施例提供的一种样本图像特征点标注示意图，如图2所示，对样本图像中用户的特征点及方向盘的特征点分别进行标注(如图2a中的标注的点)。

在对样本图像中第一样本用户的特征点和第一样本操控对象的特征点进行标注的同时，可以采用上述标识对各标注的特征点进行命名，如图2a所示，可以将第一样本图像中用户的特征点分别命名为：hand_right(右手关节点)，hand_left(左手关节点)，elbow_right(右肘关节点)，elbow_left(左肘关节点)，shoulder_right(右肩关节点)，shoulder_left(左肩关节点)，head(头关节点)，spine(脊柱关节点)，neck(颈关节点)等，操控对象的特征点分别命名为：steering_left_one(方向盘左部第一结构节点)，steering_left_two(方向盘左部第二结构节点)，steering_left_three(方向盘左部第三结构节点)，steering_mid(方向盘中部结构节点)，steering_right_three(方向盘右部第三结构节点)，steering_right_two(方向盘右部第二结构节点)，steering_right_one(方向盘右部第一结构节点)等。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的唯一限制。

在实际应用中，本领域技术人员可以根据实际需要或用户喜好自行设置命名方式，本发明实施例对此不加以限制。

在对各第一样本图像中用户的特征点和操控对象的特征点进行标注处理之后，将第一样本图像作为输入，将对应的特征点作为条件判断依据，利用这些特征建立决策树。重复该步骤，生成多层、多个决策树，形成随机森林。

结合本发明提供的样本图像特征点的选择，随机森林分类器训练过程为本领域技术人员所能知晓，本发明实施例在此不再加以赘述。

步骤203：通过神经网络对所述用户及所述操控对象的特征点进行分析，以确定所述用户的状态信息。

在本发明实施例中，在得到用户及用户选择的操控对象的特征点之后，可以通过神经网络对用户及操控对象的特征进行分析，从而确定用户的状态信息，如用户手部是否离开方向盘，用户是否处于歪斜状态等等。

在一些实施例中，在上述步骤203之前还可以包括：

步骤M1：选取第二预设数量的第二样本，第二样本图像包括至少两种状态信息的样本图像，所述状态信息对应用户对所选择的操控对象的操控状态；

此处，第二样本图像所对应的状态可以包括所需检测状态结果种类的状态，例如可以是简单的两种状态，包括正常驾驶、异常驾驶；或更多种状态，包括正常驾驶、手没有离开方向盘、手离开方向盘、驾驶员坐姿正常、驾驶员处于歪斜状态、疲劳驾驶、注意力分散等状态信息。

步骤M2：获取各所述第二样本图像对应的用户状态信息，及各所述第二样本图像中的第二用户及用户操控对象的特征点对应的坐标值；

步骤M3：根据第二样本图像中用户的特征、用户操控对象的特征和对应的状态信息进行训练，以得到所述神经网络。

其中，可以以各所述第二样本图像中的第二用户及用户操控对象的特征点对应的坐标值作为第二样本图像的特征向量矩阵输出神经网络，以各所述第二样本图像对应的用户状态信息作为输出，对神经网络进行训练可以形成能够对识别和判断用户状态信息的神经网络。

在一些实施例中，第二样本图像可以是通过车载设备安装深度摄像头拍照形成包括方向盘在内的用户半身深度图像，然后进行人工标注特征点。

在一些实施例中，第二样本图像可以来源于行业通用的数据库，例如MotorMark数据库(http://imagelab.ing.unimore.it/imagelab/)。

第二预设数量可以是由用户选择的数量，可以为100、200、300等，本发明实施例对此均不加以限制。

在一些实施例中，第一样本图像和第二样本图像可以是一一对应的。例如，可以利用第一样本图像训练随机森林分类器，然后将第一样本图像作为第二样本图像，通过各特征点的坐标值和标注的用户状态，用来训练识别用户状态信息的神经网络。

在本发明实施例中，神经网络的具体实现不受到特别限制，各种类型的神经网络NN，诸如卷积神经网络CNN、深度神经网络DNN、浅层神经网络等均可适用。

在一些实施例中，本发明实施例的方法还包括：

步骤204：依据各特征点对应的坐标值确定所述待检测图像中的人眼区域。

例如，在提取各待检测图像中用户的特征点和操控对象的特征点之后，还可以通过分类器计算出用户的特征点对应的坐标值，并依据坐标值确定出待检测图像中用户的人眼区域。

在一些实施例中，通过深度摄像头获得包含深度信息和RGB信息的用户图像，通过分类器获得用户的关节点以缩小人脸的检测范围，提高检测效率。

例如，可以以shoulder_left(左肩关节点)和shoulder_right(右肩关节点)作为基准，以二者连接线之上的图像区域作为人脸和人眼的检测区域。

例如，以shoulder_left(左肩关节点)和shoulder_right(右肩关节点)作为基准，以二者连接线为底，以二者连接线的0.6-1.2倍(例如0.7倍，例如0.8倍，例如0.9倍等)为高，形成的形区域作为人脸和人眼的检测区域。

步骤205：对所述人眼区域的人眼状态进行识别，以得到所述用户的人眼状态信息。

在确定待检测图像中的人眼区域之后，则可以对该人眼区域内的人眼状态进行识别，从而确定用户的人眼状态信息。例如，参照图2b，示出了本发明实施例提供的一种用户人眼状态示意图，如图2b所示，通过对待检测图像中人眼区域的人眼状态进行检测之后，可以确定出该用户处于眼睛闭合的状态等。

步骤206：判断所述状态信息和/或所述人眼状态信息是否满足预设条件。

在本发明实施例中，可仅以用户的状态信息来确定用户是否处于待警示状态，也可仅以用户的人眼状态信息来确定用户是否处于待警示状态，也可同时以用户的状态信息和人眼状态信息来确定用户是否处于待警示状态，本发明实施例对此不加以限制。

在仅以用户的状态信息来确定用户是否处于待警示状态时，对用户的状态信息进行判断，在状态信息满足预设条件时，如用户上半身长时间处于歪斜状态、手长时间离开方向盘等，则执行步骤207。

在仅以用户的人眼状态信息来确定是否是否处于待警示状态时，对用户的人眼状态信息进行判断，在人眼状态信息满足预设条件时，如用户频繁眨眼，或长时间处于闭眼状态等，则执行步骤207。

在同时以用户的状态信息和人眼状态信息来确定用户是否处于待警示状态时，则对用户的状态信息和人眼状态信息进行判断，在同时满足预设条件时，如用户上半身长时间处于歪斜状态，且用户长时间频繁眨眼，或用户手部长时间离开方向盘，且用户长时间处于闭眼状态等，则执行步骤207。

步骤207：确定所述用户处于待警示状态。

在本发明实施例中，预设条件可以为多帧待检测图像中用户某一状态信息的数量满足一定数量或比值的条件，例如，总数10帧待检测图像，在其中5帧图像或以上确定的用户处于待警示状态时，才可以确定用户处于待警示状态，或者确定的用户状态信息处于待警示状态的图像数达到2/3以上时，才可以确定用户处于待警示状态等。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的唯一限制。

本发明实施例结合连续拍摄的多帧待检测图像，通过对连续拍摄的多帧待检测图像进行分析，以多帧待检测图像中确定的用户状态信息是否满足预设条件时，在满足预设条件时，还可以触发警报提醒，以实时提醒用户，以避免造成不必要的危险。

本发明实施例提供的图像处理方法，还可以结合人眼状态信息和/或用户状态信息来确定用户是否处于待警示状态，提高了用户状态信息分析的准确率，并能及时为用户发出提醒，提高了用户使用体验。

参照图3，示出了本发明实施例提供的一种图像处理装置的结构示意图，具体可以包括：

图像获取模块310，配置成获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；特征提取模块320，配置成提取所述待检测图像中所述用户及所述操控对象的特征；状态确定模块330，配置成对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

可选地，图像获取模块310包括：图像获取子模块，配置成连续拍摄所述用户及所述用户选择的操控对象的图像，获得多帧所述待检测图像。

可选地，所述特征提取模块320包括：特征点提取子模块，配置成通过基于机器学习的分类器提取所述用户及所述操控对象的特征点。

可选地，所述特征提取模块320还包括：分类器训练子模块，配置成根据第一样本图像、第一样本图像的用户和用户操控对象的特征点标注训练得到所述分类器。

例如，所述分类器包括随机森林分类器。

可选地，所述状态确定模块330包括：

状态确定子模块，配置成通过神经网络对所述用户及所述操控对象的特征点进行分析，以确定所述用户的状态信息。

可选地，所述状态确定模块330还包括：神经网络训练子模块，配置成根据第二样本图像中用户的特征、用户操控对象的特征和对应的状态信息进行训练，以得到所述神经网络。

可选地，所述状态确定模块330还包括：人眼区域子模块，配置成依据各特征对应的坐标值确定所述待检测图像中的人眼区域；人眼状态确定子模块，配置成对所述人眼区域的人眼状态进行识别，以得到所述用户的人眼状态信息。

可选地，图像处理装置还包括：条件判断模块，配置成判断所述用户状态信息和/或所述人眼状态信息是否满足预设条件；待警示状态确定模块，配置成在所述用户状态信息和/或人眼状态信息满足预设条件时，确定所述用户处于待警示状态。

所述装置还包括：警报模块，配置成当连续拍摄的多帧所述待检测图像中所述用户的状态信息满足预设条件时，触发警报提醒。

本发明实施例提供的图像处理装置，通过获取待检测图像，其中，待检测图像中包含用户及用户操控的指定对象，提取待检测图像中用户及指定对象的特征点，依据用户及指定对象的特征点进行图像分析，依据图像分析结果确定用户的状态信息。

本发明实施例通过对用户及用户操控的指定对象分别进行分析，从而依据分析结果确定用户状态，能够将用户和用户操控对象(如方向盘等)区分开来，避免了用户操控对象对分析结果的干扰，从而降低了用户状态分析过程中发生错误的概率，提高了分析准确率。

本发明实施例还提供了一种图像处理装置，包括：

一个或多个处理器；以及

与所述一个或多个处理器耦接的存储器，所述存储器配置成存储计算机指令,所述计算机指令在被所述一个或多个处理器读取执行时，执行如下操作：

获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

提取所述待检测图像中所述用户及所述操控对象的特征；

对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

其中，存储器可以是各种由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

其中，处理器可以是中央处理单元(CPU)或者现场可编程逻辑阵列(FPGA)或者单片机(MCU)或者数字信号处理器(DSP)或者专用集成电路(ASIC)或者图形处理器(GPU)等具有数据处理能力和/或程序执行能力的逻辑运算器件。

计算机指令包括了一个或多个由对应于处理器的指令集架构定义的处理器操作，这些计算机指令可以被一个或多个计算机程序在逻辑上包含和表示。

容易理解，该图像处理装置还可以连接各种输入设备(例如用户界面、键盘等)、各种输出设备(例如扬声器等)、以及显示设备等实现计算机产品与其它产品或用户的交互，本文在此不再赘述。

在本发明实施例中，连接、耦接等可以是通过网络连接，例如无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者Wi-Fi等通信方式。

需要注意的是，上述所描述的功能模块以及附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

通过以上的实施方式的描述，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施方式的方法。

本发明的实施例还提供了上述任一图像处理装置在检测用户驾驶状态中的应用，所述应用例如可以是检测用户在驾驶机动车过程中用户的状态信息和/或人眼状态信息，用户的状态信息和/或人眼状态信息如上述实施例所描述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法和一种图像处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是配置成帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种图像处理方法，其特征在于，包括：

获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

提取所述待检测图像中所述用户及所述操控对象的特征；

对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

2.根据权利要求1所述的方法，其特征在于，所述提取所述待检测图像中所述用户及所述操控对象的特征的步骤，包括：

通过基于机器学习的分类器提取所述用户及所述操控对象的特征点。

3.根据权利要求2所述的方法，其特征在于，在所述通过基于机器学习的分类器提取所述用户及所述操控对象的特征点的步骤之前，还包括：

选取第一样本图像；

标注第一样本图像中的用户及用户操控对象的特征点；

根据标注特征点的第一样本图像训练得到所述分类器。

4.根据权利要求3所述的方法，其特征在于，所述分类器包括随机森林分类器。

5.根据权利要求2所述的方法，其特征在于，所述对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤，包括：

通过基于神经网络对所述用户及所述操控对象的特征点进行分析，以确定所述用户的状态信息。

6.根据权利要求5所述的方法，其特征在于，在所述通过神经网络对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤之前，还包括：

选取第二样本图像，第二样本图像包括至少两种用户状态信息的样本图像；

根据第二样本图像中用户的特征点、用户操控对象的特征点和对应的用户状态信息进行训练，以得到所述神经网络。

7.根据权利要求1所述的方法，其特征在于，所述对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤，还包括：

依据所述待检测图像中用户的特征，确定用户的人眼区域；

对所述人眼区域的人眼状态进行识别，以得到所述用户的人眼状态信息。

8.根据权利要求7所述的方法，其特征在于，所述待检测图像是采用深度摄像头拍摄得到的。

9.根据权利要求7所述的方法，其特征在于，在所述对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息的步骤之后，还包括：

判断所述用户的状态信息和/或所述人眼状态信息是否满足预设条件以确定所述用户是否处于待警示状态。

10.根据权利要求1所述的方法，其特征在于，所述获取待检测图像包括：

连续拍摄所述用户及所述用户选择的操控对象的图像，获得多帧所述待检测图像；

所述方法还包括：

当连续拍摄的多帧所述待检测图像中所述用户的状态信息满足预设条件时，触发警报提醒。

11.根据权利要求9所述的方法，其特征在于，所述获取待检测图像包括：

连续拍摄所述用户及所述用户选择的操控对象的图像，获得多帧所述待检测图像；

所述方法还包括：

当连续拍摄的多帧所述待检测图像中所述用户的人眼状态信息满足预设条件时，触发警报提醒。

12.一种图像处理装置，其特征在于，包括：

图像获取模块，配置成获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

特征提取模块，配置成提取所述待检测图像中所述用户及所述操控对象的特征；

状态确定模块，配置成对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。

13.根据权利要求12所述的装置，其特征在于，所述特征提取模块包括：

特征点提取子模块，配置成通过基于机器学习的分类器提取所述用户及所述操控对象的特征点。

14.根据权利要求13所述的装置，其特征在于，还包括：

分类器训练子模块，配置成根据第一样本图像、第一样本图像的用户和用户操控对象的特征点标注训练得到所述分类器。

15.根据权利要求12所述的装置，其特征在于，所述状态确定模块包括状态确定子模块，配置成通过神经网络对所述用户及所述操控对象的特征点进行分析，以确定所述用户的状态信息。

16.根据权利要求15所述的装置，其特征在于，还包括神经网络训练子模块，配置成根据第二样本图像中用户的特征、用户操控对象的特征和对应的状态信息进行训练，以得到所述神经网络。

17.一种图像处理装置，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器耦接的存储器，所述存储器配置成存储计算机指令,所述计算机指令在被所述一个或多个处理器读取执行时，执行如下操作：

获取待检测图像；所述待检测图像中包含用户及所述用户选择的操控对象；

提取所述待检测图像中所述用户及所述操控对象的特征；

对所述用户及所述操控对象的特征进行分析，以确定所述用户的状态信息。