CN114550145A - 图像处理方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本公开提供了图像处理方法、装置、电子设备及计算机存储介质，涉及计算机技术领域，尤其涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于智能交通、自动驾驶等场景。具体实现方案为：对待处理图像进行身体检测，获得所述待处理图像中的目标身体区域；根据所述目标身体区域确定第一手部区域；根据所述第一手部区域，生成驾驶状态判断结果。本公开有助于提高道路交通的安全性。

Description

图像处理方法、装置、电子设备及计算机存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能技术领域，具体为深 度学习、计算机视觉技术领域，可应用于智能交通、自动驾驶等场景。

背景技术

随着计算机技术的发展，在人们生活的多种场景，都有计算机技术的 参与，这也使得人们衣食住行的方方面面都得到显著的改善。比如在交通 场景下，由于电子监控的设置，能够对还原突发事件起到关键作用，保障 道路交通参与者们的正当权益的同时，对不安全事件还能够起到广义的预 防作用。

同时，在交通场景下，安全始终是首要原则和前提，如何利用计算机 技术，进一步改善交通安全性，也是技术发展的大方向。

发明内容

本公开提供了一种图像处理方法、装置、电子设备及计算机存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：

对待处理图像进行身体检测，获得待处理图像中的目标身体区域；

根据目标身体区域确定第一手部区域；

根据第一手部区域和第二手部区域，生成驾驶状态判断结果；第二手 部区域为对待处理图像执行手部对应目标检测得到的。

根据本公开的另一方面，提供了一种图像处理装置，包括：

目标身体区域获得模块，用于对待处理图像进行身体检测，获得待处 理图像中的目标身体区域；

第一手部区域确定模块，用于根据目标身体区域确定第一手部区域；

判断结果生成模块，用于根据第一手部区域和第二手部区域，生成驾 驶状态判断结果；第二手部区域为对待处理图像进行手部检测得到的。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少 一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的 方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算 机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的 方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程 序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的 方法。

根据本公开的技术，能够根据第一手部区域，确定驾驶状态，从而在 道路交通过程中存在危险驾驶、疲劳驾驶等安全隐患的情况下，能够根据 驾驶状态判断结果及时发送提醒信息，避免交通事故。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键 或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下 的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的图像处理方法示意图；

图2是根据本公开另一实施例的图像处理方法示意图；

图3是根据本公开一示例的图像处理方法示意图；

图4是根据本公开一实施例的图像处理装置示意图；

图5是根据本公开另一实施例的图像处理装置示意图；

图6是根据本公开又一实施例的图像处理装置示意图；

图7是根据本公开又一实施例的图像处理装置示意图；

图8是根据本公开又一实施例的图像处理装置示意图；

图9是根据本公开又一实施例的图像处理装置示意图；

图10是根据本公开又一实施例的图像处理装置示意图；

图11是根据本公开又一实施例的图像处理装置示意图；

图12是用来实现本公开实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本 领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和 修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的 描述中省略了对公知功能和结构的描述。

保证交通安全，驾驶员是关键。驾驶员的驾驶状态对交通事故的规避 起着决定性的作用。因此，在驾驶、行车场景下，某些状态需要坚决避免， 比如疲劳驾驶等危险驾驶行为。而通过本公开的技术，能够利用个人计算 机、服务器、移动终端、车载电脑、可穿戴式智能设备等装置，对驾驶状 态进行监测，从而在监测到需要注意或避免的危险状态时，能够及时针对 监测结果采取规避措施。本公开实施例提供的图像处理方法，如图1所示， 包括：

步骤S11：对待处理图像进行身体检测，获得待处理图像中的目标身 体区域；

步骤S12：根据目标身体区域确定第一手部区域；

步骤S13：根据第一手部区域和第二手部区域，生成驾驶状态判断结 果；第二手部区域为对待处理图像进行手部检测得到的。

本实施例中，待处理图像可以是设置于车内、路侧等位置的监控装置 拍摄的图像。可以是包含驾驶员的图像，或者包括任意一种交通工具的操 作人员的图像。

待处理图像还可以是设置于车内、路侧等位置的拍摄装置拍摄的视频 中的图像帧。

提取待处理图像中的目标身体区域，可以是提取待处理图像中的驾驶 员(或者交通工具操作人员)的身体区域的子图像，或者提取驾驶员的身 体区域的所有信息。

在一种实施方式中，对待处理图像进行身体检测，可以是待处理图像 进行身体识别，获得待处理图像中的所有的身体。本实施例中的身体，可 以包括人体，也可以包含其它生物的身体，也可以包含人造智能人体。在 待处理图像中存在多个身体区域的情况下，可从多个身体区域中，确定交 通工具操作人员对应的身体区域，作为目标身体区域。

在一种可能的实现方式中，车辆可能处于自动驾驶的状态。这种情况 下，可将处于驾驶位置的人员默认为驾驶员或者交通工具操作人员。

在另一种可能的实现方式中，车辆也可能处于远程驾驶的状态。这种 情况下，可将远程控制端对应的远程驾驶员的身体区域的信息，作为待处 理图像中的目标身体区域。

在另一种可能的实现方式中，若驾驶员以将头部脱离驾驶空间的方式 实行危险驾驶，则可能在待处理图像中难以检测到完整的身体区域，针对 这种情况，若车辆未处于自动驾驶状态，则可根据拍摄装置设置的位置、 驾驶位与拍摄装置的相对位置或者待处理图像中车辆角度等信息，确定待 处理图像中的默认区域为目标身体区域。

在一种可能的实现方式中，对待处理图像进行身体检测之前，可先确 定目标车辆处于行驶状态。

根据目标身体区域确定第一手部区域，可以是将属于目标身体区域在 正确的驾驶操作下手部所应当处于的区域，作为第一手部区域。针对每一 个人体、生物身体、人工智能身体，均存在对应的“手部”，比如，针对人 体，在小臂末端对应的部位为手部；在人工智能身体的机械臂末端对应的 部位为手部。

在一种可能的实现方式中，第一手部区域应当为，驾驶员手部应当存 在的区域，或者在当前的目标身体区域的检测结果下，正确驾驶时交通工 具操作人员的手部应当存在的区域。在这种情况下，可直接根据目标身体 区域确定第一手部区域。目标身体区域可存在多个身体的关键点，其中包 括手部关键点，可根据目标身体区域对应的手部关键点，确定第一手部区 域。

比如，待处理图像为交通工具内部驾驶区域的图像，其中包含一个身 体区域，该身体区域与预设的驾驶位置所对应的身体区域位置一致。则根 据目标身体区域，确定正常驾驶的状态下手部应当所处的区域，作为手部 区域。

本实施例中，第一手部区域可以包括左右手可能所在的区域。

在另一种可能的实现方式中，还可以根据车辆的行进状态，比如直线 行驶、转弯等，根据目标身体区域确定不同范围的第一手部区域。

本实施例中，第二手部区域可以是将手部作为目标，采用目标检测的 方法得到的手部区域。第二手部区域的检测可以不以检测到身体区域为前 提，假设乘坐在驾驶员后方的乘客、乘坐于驾驶员旁边的乘客将手伸入图 像拍摄范围，则可将乘坐在驾驶员后方的乘客、乘坐于驾驶员旁边的乘客 的手部通过目标检测的方法检测出来，得到第二手部区域。

根据第二手部区域和第一手部区域，生成驾驶状态判断结果，可以是 判断第一手部区域中是否存在实际的手部，生成是否为正常驾驶或者异常 驾驶的判断结果。还可以是根据第二手部区域和第一手部区域的一致性， 生成驾驶状态判断结果。

本实施例中，驾驶状态可以为正常驾驶、异常驾驶、危险驾驶、非危 险驾驶等。

本实施例中，能够根据第一手部区域，确定驾驶状态，从而在道路交 通过程中存在危险驾驶、疲劳驾驶等安全隐患的情况下，能够根据驾驶状 态判断结果及时发送提醒信息，避免交通事故。

在一种实施方式中，根据第一手部区域和第二手部区域，生成驾驶状 态判断结果，包括：

确定第一手部区域中的实际手部存在状况信息；

根据实际手部存在状况信息，生成驾驶状态判断结果。

本实施例中，确定第一手部区域中的实际手部存在状况信息，可以是 判断第一手部区域中是否存在实际手部，即是否存在真实的手部。

在另一种可能的实现方式中，确定第一手部区域中的实际手部存在状 况信息，可以是确定左右手对应的第一手部区域是否均存在实际手部。在 左右手之一对应的第一手部区域中存在实际手部的情况下，可确定第一手 部区域中不存在实际手部，或者也可以在左右手之一对应的第一手部区域 中存在实际手部的情况下，即确定第一手部区域中存在实际手部。

如果第一手部区域中不存在真实手部，则可能驾驶员的手部区域未处 于正确驾驶过程中所应当处于的区域。

根据实际手部存在状况信息，生成驾驶状态判断结果，可以是在第一 手部区域中不存在真实手部的情况下，生成驾驶状态异常的判断结果；也 可以是在第一手部区域中存在真实手部的情况下，生成驾驶状态正常的判 断结果。

在一种实施方式中，确定第一手部区域中的实际手部存在状况信息， 包括：

对待处理图像进行手部检测，获得待处理图像中的第二手部区域；

根据第二手部区域与第一手部区域的重叠情况，生成实际手部存在状 况信息。

对待处理图像进行手部检测，可以是直接通过目标检测的方式，对待 处理图像进行手部检测。比如，在待处理图像中检测手部框，确定手部框 对应的手部为待处理图像中的第二手部区域。

第二手部区域与第一手部区域的重叠情况，可以是第二手部区域与第 一手部区域面积重叠的情况，或者是实际手部的姿态与理论手部的姿态重 叠的情况。

根据第二手部区域与第一手部区域的重叠情况，生成实际手部存在状 况信息，可以包括根据第二手部区域与第一手部区域的重叠比例是否达到 设定阈值，生成实际手部存在与否的信息。根据第二手部区域与第一手部 区域的重叠情况，生成实际手部存在状况信息，还可以包括根据第二手部 区域与第一手部区域的一致性情况，生成实际手部是否存在的信息。

本实施例中，根据第一手部区域和第二手部区域的重叠情况，生成实 际手部存在状况信息，可以包括根据第二手部区域是否归属于交通工具操 作人员，如果不归属，则生成实际手部存在但不一致的判断信息。

或者，在另一种可能的实现方式中，根据第二手部区域与第一手部区 域的重叠情况，生成实际手部存在状况信息，还可以包括根据第二手部区 域与第一手部区域的归属状况的一致性，生成实际手部存在状况信息，比 如，若第二手部区域与第一手部区域面积重叠，但从位姿方面判断不属于 同一个身体，则也可生成不存在实际手部的实际手部状况信息。

或者，在另一种可能的实现方式中，根据第二手部区域与第一手部区 域的重叠情况，生成实际手部存在状况信息，还可以包括根据双手的第二 手部区域与第一手部区域的归属状况的一致性，确定实际手部存在状况信 息。即，在双手的第二手部区域与双手的第一手部区域重叠的情况下，生 成指示存在实际手部的手部存在状况信息。

本实施例中，能够根据实际手部存在状况信息，生成驾驶状态判断结 果，从而能提高驾驶状态判断的准确性，有利于及时对可能存在的安全隐 患进行预警，提高道路交通的安全性。

在一种实施方式中，对待处理图像进行身体检测，获得待处理图像中 的目标身体区域，如图2所示，包括：

步骤S21：确定待处理图像中的身体特征点；

步骤S22：根据身体特征点，确定待处理图像中的实际身体区域；

步骤S23：根据实际身体区域，确定目标身体区域。

本实施例中，可以根据人体识别方法，确定待处理图像中的身体特征 点。通过身体特征点，可以确定至少一个实际身体区域，其中可以包括驾 驶员的身体区域或者其他人员的身体区域。

根据实际身体区域，确定目标身体区域，可以是在实际身体区域存在 多个的情况下，从多个实际身体区域中确定最为可能是交通工具操作者的 身体区域作为目标身体区域。

本实施例中，能够确定实际身体区域，将其中一个实际身体区域作为 目标身体区域，从而能够根据身体区域的实际存在状况，确定第一手部区 域，使得第一手部区域的判定能够与身体区域、驾驶操作的规范相结合， 提高第一手部区域划分的准确性，进而提高驾驶状态判断的准确性。

在一种实施方式中，根据第一手部区域和第二手部区域，生成驾驶状 态判断结果，包括：

在第一手部区域中存在实际手部的情况下，确定第一手部区域与待处 理图像中的目标物体之间的关系；

根据第一手部区域与目标物体之间的关系，生成驾驶状态判断结果。

本实施例中，目标物体可以是待处理图像中检测得到的预设种类的物 体，比如，香烟、水杯、实物、电话、手机、电脑、游戏机、音视频播放 器等等在正常驾驶过程中不允许手持的常见物品。目标物体也可以是待处 理图像中检测到的方向盘等正常驾驶过程中允许手持的常见物品。

第一手部区域与待处理图像中的目标物体之间的关系，可以是第一手 部区域与目标物体仅是拍摄时的视线重叠导致的遮挡关系；还可以是手部 区域持有目标物体的关系，比如手持电话进行通话、手拿水杯进行喝水； 还可以是手部区域在未持有的状态下使用的关系，比如将平板电脑或手机 放置在置物架等位置处进行触控。

本实施例这种，能够在第一手部区域中存在实际手部的情况下，确定 第一手部区域与待处理图像中的目标物体之间的关系，并据此生成驾驶状 态判断结果，从而对手持电话、水杯、食物、方向盘等目标物体的驾驶状 态进行准确的判断。

在一种实施方式中，目标物体包括第一目标物体；根据第一手部区域 与目标物体之间的关系，生成驾驶状态判断结果，包括：

在第一手部区域与目标物体之间的关系表示，第一手部区域中的实际 手部持有第一目标物体的情况下，生成危险驾驶的驾驶状态判断结果。

本实施例中，第一目标物体可以是预设的可能导致危险驾驶的目标物 体，比如，烟、饮料、水杯、食物、电话、电脑、游戏机等等。

本实施例中，能够针对第一目标物体进行检测和判断，从而对与第一 目标物体相关的危险驾驶的驾驶状态进行及时的检测，避免危险驾驶导致 的安全隐患。

在一种实施方式中，目标物体包括第二目标物体；根据第一手部区域 与目标物体之间的关系，生成驾驶状态判断结果，包括：

在第一手部区域与目标物体之间的关系表示，第一手部区域中的实际 手部持有第二目标物体的情况下，生成非危险驾驶的驾驶状态判断结果。

本实施例中，第二目标物体可以是方向盘等正常驾驶状态下可能手持 的物体，也可以是正常驾驶状态下允许手持的物体。

本实施例中，针对可能不具有危险性的第二目标物体，能够生成相应 的非危险驾驶的驾驶状态判断结果，从而实现对正常驾驶状态的确认和预 防性监测。

本公开示例中，危险驾驶的驾驶状态判断结果中可以用于指示驾驶过 程中存在危险驾驶行为。危险驾驶行为指的是驾驶员在驾驶过程中进行的， 如抽烟、打电话、看手机、吃东西、喝水等危险驾驶的行为。

在一种可能的实现方式中，在第一手部区域中存在实际手部的情况下， 第一手部区域若与任何目标物体都不存在关联关系，可确定手部未持有物 体。可根据预先设置，得出正常驾驶的驾驶状态检测结果或者不确定驾驶 状态的驾驶状态检测结果。

本公开实施例提出一种基于人体与手部检测的驾驶员危险驾驶行为 检测方法，先对驾驶员人体进行检测，在对图像中手部进行检测，只有当 驾驶员人体关键点中双手关键点与检测到的双手区域重合才认为检测到 的手是驾驶员的手，以避免车上其他人的手对危险驾驶行为检测算法的干 扰，然后对驾驶员双手手部检测框通过卷积神经网络进行分类，实时的识 别出驾驶员是否有危险驾驶行为，大大提高了驾驶员危险驾驶识别的精确度和识别速度。

在一种实施方式中，图像处理方法还包括：

对目标身体区域进行二分类操作，获得第一辅助判定结果；

根据第一辅助判定结果，更改驾驶状态判断结果。

本实施例中，在对目标身体区域进行二分类操作时，可以从待处理图 像中将目标身体区域提取出，输入二分类网络进行二分类操作。

在实际驾驶过程中，即便驾驶员的理论手部与实际手部短暂地不重合， 或者手部短暂时间内不在方向盘上的正确位置处，但是这种情况并非驾驶 员一定在危险驾驶或者疲劳驾驶，需要结合身体状态判断。如果驾驶员的 手部姿态存在危险驾驶的可能，且身体姿态也存在危险驾驶的可能，则驾 驶员处于危险驾驶状态的概率更高。本实施例能够结合目标身体区域对驾 驶状态判断结果进行更改、修正，提高驾驶状态判断结果的准确性。

在一种实施方式中，对目标身体区域进行二分类，获得第一辅助判定 结果，包括：

采用第一二分类网络，对目标身体区域进行二分类操作，获得第二辅 助判定结果；

采用第二二分类网络，对目标身体区域的手部区域进行二分类操作， 获得第三辅助判定结果；

根据第一辅助判定结果和第二辅助判定结果，获得第一辅助判定结果。

本实施例中，可以将第一二分类网络和第二二分类网络聚合为一个网 络，在该网络中，将第二辅助判定结果与第三辅助判定结果进行融合，得 到第一辅助判定结果。

本实施例中，通过两个二分类网络分别对目标身体区域和目标身体区 域的手部区域进行判断，能够提高识别准确性。

在一种实施方式中，图像处理方法还包括：

确定目标身体区域对应的脸部区域信息；

根据脸部区域信息，确定身份信息；

根据身份信息，执行根据目标身体区域确定第一手部区域的操作。

本实施例中，确定目标身体区域对应的脸部区域信息，可以是根据目 标身体区域对应的脸部关键点，确定脸部区域信息。

根据脸部区域信息，确定身份信息，可以是根据脸部关键点，确定身 份信息，或者是根据脸部区域信息包括的虹膜信息或者其它生物特征信息， 确定身份信息。

根据身份信息，执行根据目标身体区域确定第一手部区域的操作，可 以是在身份信息与预存储的驾驶员身份信息一致的情况下，执行根据目标 身体区域确定第一手部区域的操作；否则，如果待处理图像中没有任何一 个脸部区域信息与驾驶员身份信息一致，则判定存在危险驾驶操作。

本实施例中，在对目标身体区域进行一定的身份识别后，执行手部区 域判断的操作，从而能够确定第一手部区域归属于驾驶员，提高驾驶状态 判断结果的准确性。

在一种实施方式中，确定目标身体区域对应的脸部区域信息，包括：

根据目标身体区域，确定人脸特征点；

根据人脸特征点，确定人脸框；

将人脸框对应的区域信息作为脸部区域信息。

根据目标身体区域，确定人脸特征点，可以是在确定目标身体区域的 同时，确定属于目标身体区域的人脸的人脸框，根据该人脸框确定人脸特 征点。

本实施例中，首先确定目标身体区域，再根据目标身体区域对应的人 脸框确定人脸特征点，根据人脸特征点生成人脸框，根据人脸框得到脸部 区域，从而提高获取的脸部区域的准确性。

本公开可应用在辅助驾驶、驾驶员危险驾驶行为识别、DMS(Driver MonitorSystem，驾驶员监控系统)等领域。

本公开一种示例图像处理方法，基于卷积神经网络，由人体关键点检 测、手部检测和基于手部检测的危险驾驶分类模块组成，整个方法流程示 意图如图3所示。

定义驾驶员手持物品分为6类分别为，无物品、方向盘、电话、烟、 食物、水杯，分别用数字0-5表示各类危险驾驶行为标签。

参照图3，首先得到一张车载摄像头拍摄到的车载图像31，首先可以 用人体关键点模型得到图像中所有人的人体关键点32，图像中可能包含多 个人，所以可以基于人体关键点可以确定一个人体框，由于车载摄像头一 般正对驾驶员，基于此可以确定人体框最大的为驾驶员。

仍然参照图3，在本示例中，可以将驾驶员的人体框33从原图中截取 下来，然后对截取下来的图进行手部检测34，在检测到手部之后，判断手 部数量。若检测到手部的数量＜2，则判断为驾驶员危险驾驶；若检测到 手部的数量≥2，则将手部与驾驶员匹配确认，具体做法为如果人体关键 点中双手手部的关键点在检测框内，则匹配成功。此步骤是为了避免乘客 的手部出现在驾驶员图像区域对算法造成干扰。

驾驶员手部匹配成功后，将双手的手部框截取下来，进行图像预处理。 具体的，将检测框放大2倍进行裁剪，将裁剪后的图像变换到尺寸为 128x128的图像。然后将变换后的图像进行归一化处理，使每个像素的像 素值在[-0.5,0.5]之间。

仍然参照图3，驾驶员危险驾驶行为分类模块通过8层卷积层和5层 池化层组成的卷积神经网络35(可以是移动网络MobileNet等任意卷积神 经网络)对图像预处理后的人脸区域图像进行特征提取，最后通过全连接 层输出危险驾驶状态分析结果36，具体可以包括行为分类结果。将双手截 取的图像分别输入到卷积神经网络中，当且仅当双手图像分类均为方向盘 时，即双手均在方向盘上判断为安全驾驶，其他行为均为危险驾驶。

本公开实施例提出一种基于人体与手部检测的驾驶员危险驾驶行为 检测方法，先对驾驶员人体进行检测，在对图像中手部进行检测，只有当 驾驶员人体关键点中双手关键点与检测到的双手区域重合才认为检测到 的手是驾驶员的手，以避免车上其他人的手对危险驾驶行为检测算法的干 扰，然后对驾驶员双手手部检测框通过卷积神经网络进行分类，实时的识 别出驾驶员是否有危险驾驶行为，大大提高了驾驶员危险驾驶识别的精确度和识别速度。

本公开实施例还提供一种图像处理装置，如图4所示，包括：

目标身体区域获得模块41，用于对待处理图像进行身体检测，获得待 处理图像中的目标身体区域；

第一手部区域确定模块42，用于根据目标身体区域确定第一手部区域；

判断结果生成模块43，用于根据第一手部区域和第二手部区域，生成 驾驶状态判断结果；第二手部区域为对待处理图像进行手部检测得到的。

在一种实施方式中，如图5所示，判断结果生成模块包括：

确定单元51，用于确定第一手部区域中的实际手部存在状况信息；

生成单元52，用于根据实际手部存在状况信息，生成驾驶状态判断结 果。

在一种实施方式中，确定单元包括：

对待处理图像进行手部检测，获得待处理图像中的第二手部区域；

根据第二手部区域与第一手部区域的重叠情况，生成实际手部存在状 况信息。

在一种实施方式中，如图6所示，目标身体区域获得模块包括：

身体特征点单元61，用于确定待处理图像中的身体特征点；

身体特征点处理单元62，用于根据身体特征点，确定待处理图像中的 实际身体区域；

身体区域确定单元63，用于根据实际身体区域，确定目标身体区域。

在一种实施方式中，如图7所示，判断结果生成模块包括：

关系单元71，用于在第一手部区域中存在实际手部的情况下，确定第 一手部区域与待处理图像中的目标物体之间的关系；

结果单元72，用于根据第一手部区域与目标物体之间的关系，生成驾 驶状态判断结果。

在一种实施方式中，目标物体包括第一目标物体；结果单元还用于：

在第一手部区域与目标物体之间的关系表示，第一手部区域中的实际 手部持有第一目标物体的情况下，生成危险驾驶的驾驶状态判断结果。

在一种实施方式中，目标物体包括第二目标物体；结果单元还用于：

在第一手部区域与目标物体之间的关系表示，第一手部区域中的实际 手部持有第二目标物体的情况下，生成非危险驾驶的驾驶状态判断结果。

在一种实施方式中，如图8所示，图像处理方装置还包括：

辅助判断模块81，用于对目标身体区域进行二分类操作，获得第一辅 助判定结果；

更改模块82，用于根据第一辅助判定结果，更改驾驶状态判断结果。

在一种实施方式中，如图9所示，辅助判断模块包括：

第一二分类单元91，用于采用第一二分类网络，对目标身体区域进行 二分类操作，获得第二辅助判定结果；

第二二分类单元92，用于采用第二二分类网络，对目标身体区域的手 部区域进行二分类操作，获得第三辅助判定结果；

融合单元93，用于根据第一辅助判定结果和第二辅助判定结果，获得 第一辅助判定结果。

在一种实施方式中，如图10所示，图像处理装置还包括：

脸部区域信息模块101，用于确定目标身体区域对应的脸部区域信息；

身份信息模块102，用于根据脸部区域信息，确定身份信息；

第一手部区域确定模块103还用于，根据身份信息，执行根据目标身 体区域确定第一手部区域的操作。

在一种实施方式中，如图11所示，脸部区域信息模块包括：

特征点单元111，用于根据目标身体区域，确定人脸特征点；

人脸框单元112，用于根据人脸特征点，确定人脸框；

信息处理单元113，用于将人脸框对应的区域信息作为脸部区域信息。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等， 均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储 介质和一种计算机程序产品。

图12示出了可以用来实施本公开的实施例的示例电子设备120的示 意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算 机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型 计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置， 诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计 算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为 示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，设备120包括计算单元121，其可以根据存储在只读存 储器(ROM)122中的计算机程序或者从存储单元128加载到随机访问存 储器(RAM)123中的计算机程序，来执行各种适当的动作和处理。在 RAM 123中，还可存储设备120操作所需的各种程序和数据。计算单元 121、ROM 122以及RAM 123通过总线124彼此相连。输入/输出(I/O) 接口125也连接至总线124。

设备120中的多个部件连接至I/O接口125，包括：输入单元126， 例如键盘、鼠标等；输出单元127，例如各种类型的显示器、扬声器等； 存储单元128，例如磁盘、光盘等；以及通信单元129，例如网卡、调制 解调器、无线通信收发机等。通信单元129允许设备120通过诸如因特网 的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元121可以是各种具有处理和计算能力的通用和/或专用处理 组件。计算单元121的一些示例包括但不限于中央处理单元(CPU)、图 形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机 器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的 处理器、控制器、微控制器等。计算单元121执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被 实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元 128。在一些实施例中，计算机程序的部分或者全部可以经由ROM 122和 /或通信单元129而被载入和/或安装到设备120上。当计算机程序加载到 RAM 123并由计算单元121执行时，可以执行上文描述的图像处理方法的 一个或多个步骤。备选地，在其他实施例中，计算单元121可以通过其他 任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路 系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、 专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设 备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些 各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者 多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储 系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将 数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出 装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的 任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其 他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控 制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可 以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机 器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含 或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设 备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读 储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电 磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组 合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑 盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的 任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术， 该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线 管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠 标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算 机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的 反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉 反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如， 作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、 或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器 的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络 的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此 并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具 有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器 可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的 服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或 删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地 执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望 的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术 人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和 改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种图像处理方法，包括：

对待处理图像进行身体检测，获得所述待处理图像中的目标身体区域；

根据所述目标身体区域确定第一手部区域；

根据所述第一手部区域和第二手部区域，生成驾驶状态判断结果；所述第二手部区域为对所述待处理图像执行手部对应目标检测得到的。

2.根据权利要求1所述的方法，其中，所述根据所述第一手部区域和第二手部区域，生成驾驶状态判断结果，包括：

对所述待处理图像进行手部检测，确定所述第一手部区域中的实际手部存在状况信息；

根据所述实际手部存在状况信息，生成驾驶状态判断结果。

3.根据权利要求2所述的方法，其中，所述确定所述第一手部区域中的实际手部存在状况信息，包括：

对所述待处理图像进行手部检测，获得所述待处理图像中的第二手部区域；

根据所述第二手部区域与所述第一手部区域的重叠情况，生成所述实际手部存在状况信息。

4.根据权利要求1-3中任意一项所述的方法，其中，所述对待处理图像进行身体检测，获得所述待处理图像中的目标身体区域，包括：

确定所述待处理图像中的身体特征点；

根据身体特征点，确定所述待处理图像中的实际身体区域；

根据所述实际身体区域，确定所述目标身体区域。

5.根据权利要求1-4中任意一项所述的方法，其中，所述根据所述第一手部区域和第二手部区域，生成驾驶状态判断结果，包括：

在所述第一手部区域中存在实际手部的情况下，确定所述第一手部区域与所述待处理图像中的目标物体之间的关系；

根据所述第一手部区域与所述目标物体之间的关系，生成驾驶状态判断结果。

6.根据权利要求5所述的方法，其中，所述目标物体包括第一目标物体；所述根据所述第一手部区域与所述目标物体之间的关系，生成驾驶状态判断结果，包括：

在所述第一手部区域与所述目标物体之间的关系表示，所述第一手部区域中的实际手部持有所述第一目标物体的情况下，生成危险驾驶的驾驶状态判断结果。

7.根据权利要求5所述的方法，其中，所述目标物体包括第二目标物体；所述根据所述第一手部区域与所述目标物体之间的关系，生成驾驶状态判断结果，包括：

在所述第一手部区域与所述目标物体之间的关系表示，所述第一手部区域中的实际手部持有所述第二目标物体的情况下，生成非危险驾驶的驾驶状态判断结果。

8.根据权利要求1-7中任意一项所述的方法，还包括：

对所述目标身体区域进行二分类操作，获得第一辅助判定结果；

根据所述第一辅助判定结果，更改所述驾驶状态判断结果。

9.根据权利要求8所述的方法，其中，所述对所述目标身体区域进行二分类，获得第一辅助判定结果，包括：

采用第一二分类网络，对所述目标身体区域进行二分类操作，获得第二辅助判定结果；

采用第二二分类网络，对所述目标身体区域的手部区域进行二分类操作，获得第三辅助判定结果；

根据所述第一辅助判定结果和所述第二辅助判定结果，获得所述第一辅助判定结果。

10.根据权利要求1-9中任意一项所述的方法，还包括：

确定所述目标身体区域对应的脸部区域信息；

根据所述脸部区域信息，确定身份信息；

根据所述身份信息，执行所述根据所述目标身体区域确定第一手部区域的操作。

11.根据权利要求10所述的方法，其中，所述确定所述目标身体区域对应的脸部区域信息，包括：

根据所述目标身体区域，确定人脸特征点；

根据所述人脸特征点，确定人脸框；

将所述人脸框对应的区域信息作为所述脸部区域信息。

12.一种图像处理装置，包括：

目标身体区域获得模块，用于对待处理图像进行身体检测，获得所述待处理图像中的目标身体区域；

第一手部区域确定模块，用于根据所述目标身体区域确定第一手部区域；

判断结果生成模块，用于根据所述第一手部区域和第二手部区域，生成驾驶状态判断结果；所述第二手部区域为对所述待处理图像进行手部检测得到的。

13.根据权利要求12所述的装置，其中，所述判断结果生成模块包括：

确定单元，用于对所述待处理图像进行手部检测，确定所述第一手部区域中的实际手部存在状况信息；

生成单元，用于根据所述实际手部存在状况信息，生成驾驶状态判断结果。

14.根据权利要求13所述的装置，其中，所述确定单元包括：

对所述待处理图像进行手部检测，获得所述待处理图像中的第二手部区域；

根据所述第二手部区域与所述第一手部区域的重叠情况，生成所述实际手部存在状况信息。

15.根据权利要求12-14中任意一项所述的装置，其中，所述目标身体区域获得模块包括：

身体特征点单元，用于确定所述待处理图像中的身体特征点；

身体特征点处理单元，用于根据身体特征点，确定所述待处理图像中的实际身体区域；

身体区域确定单元，用于根据所述实际身体区域，确定所述目标身体区域。

16.根据权利要求12-15中任意一项所述的装置，其中，所述判断结果生成模块包括：

关系单元，用于在所述第一手部区域中存在实际手部的情况下，确定所述第一手部区域与所述待处理图像中的目标物体之间的关系；

结果单元，用于根据所述第一手部区域与所述目标物体之间的关系，生成驾驶状态判断结果。

17.根据权利要求16所述的装置，其中，所述目标物体包括第一目标物体；所述结果单元还用于：

在所述第一手部区域与所述目标物体之间的关系表示，所述第一手部区域中的实际手部持有所述第一目标物体的情况下，生成危险驾驶的驾驶状态判断结果。

18.根据权利要求16所述的装置，其中，所述目标物体包括第二目标物体；所述结果单元还用于：

在所述第一手部区域与所述目标物体之间的关系表示，所述第一手部区域中的实际手部持有所述第二目标物体的情况下，生成非危险驾驶的驾驶状态判断结果。

19.根据权利要求12-18中任意一项所述的装置，还包括：

辅助判断模块，用于对所述目标身体区域进行二分类操作，获得第一辅助判定结果；

更改模块，用于根据所述第一辅助判定结果，更改所述驾驶状态判断结果。

20.根据权利要求19所述的装置，其中，所述辅助判断模块包括：

第一二分类单元，用于采用第一二分类网络，对所述目标身体区域进行二分类操作，获得第二辅助判定结果；

第二二分类单元，用于采用第二二分类网络，对所述目标身体区域的手部区域进行二分类操作，获得第三辅助判定结果；

融合单元，用于根据所述第一辅助判定结果和所述第二辅助判定结果，获得所述第一辅助判定结果。

21.根据权利要求12-20中任意一项所述的装置，还包括：

脸部区域信息模块，用于确定所述目标身体区域对应的脸部区域信息；

身份信息模块，用于根据所述脸部区域信息，确定身份信息；

所述第一手部区域确定模块还用于，根据所述身份信息，执行所述根据所述目标身体区域确定第一手部区域的操作。

22.根据权利要求21所述的装置，其中，所述脸部区域信息模块包括：

特征点单元，用于根据所述目标身体区域，确定人脸特征点；

人脸框单元，用于根据所述人脸特征点，确定人脸框；

信息处理单元，用于将所述人脸框对应的区域信息作为所述脸部区域信息。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-11中任一项所述的方法的步骤。

Images