CN110276242B

CN110276242B - 一种图像处理方法、装置及存储介质

Info

Publication number: CN110276242B
Application number: CN201910373229.2A
Authority: CN
Inventors: 钟将为; 毛世杰; 张学毅
Original assignee: Lenovo Shanghai Electronics Technology Co Ltd
Current assignee: Lenovo Shanghai Electronics Technology Co Ltd
Priority date: 2019-05-06
Filing date: 2019-05-06
Publication date: 2022-03-25
Anticipated expiration: 2039-05-06
Also published as: CN110276242A

Abstract

本发明公开了一种图像处理方法、装置及存储介质，其中，方法包括：利用电子设备的图像采集装置采集第一图像；所述图像采集装置与用户的面部属于同一个朝向；基于所述第一图像，确定所述图像采集装置的位置信息；基于确定的位置信息，确定用户的坐姿需要矫正；确定提醒方式并进行提醒。

Description

一种图像处理方法、装置及存储介质

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法、装置及存储介质。

背景技术

目前，随着佩戴眼镜的学生越来越多，学生的姿态问题越来越受关注。通常，学生长时间学习后，坐姿会发生改变，比如眼睛距离书本越来越近，腰背越来越弯。相关技术中，通过检测学生的眼睛与书本的距离，当检测的距离超过预设阈值时进行提醒，以达到纠正学生坐姿的目的。

上述方式中通过预设阈值判断学生的眼睛与书本的距离，考虑到不同学生的身高不同，如果使用相同的预设阈值来检测不同身高的学生的坐姿，可能会导致不能准确纠正学生坐姿情况的发生。

发明内容

有鉴于此，本发明实施例期望提供一种图像处理方法、装置及存储介质。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种图像处理方法，所述方法包括：

利用电子设备的图像采集装置采集第一图像；所述图像采集装置与用户的面部属于同一个朝向；

基于所述第一图像，确定所述图像采集装置的位置信息；

基于确定的位置信息，确定用户的坐姿需要矫正；

确定提醒方式并进行提醒。

上述方案中，所述基于所述第一图像，确定所述图像采集装置的位置信息，包括：

确定在特定位置设置的参照物在第一坐标系的第一坐标；所述第一坐标系为参考坐标系；

确定所述第一图像在第二坐标系的第二坐标；所述第一图像是利用所述图像采集装置对所述参照物进行采集得到的；

基于所述第一坐标、第二坐标，确定所述图像采集装置在参考坐标系中的位置信息；

其中，所述第一坐标系和所述第二坐标系是基于小孔成像的相机模型确定的。

确定在特定位置设置的红外信标在第一坐标系的第三坐标；所述第一坐标系为参考坐标系；

确定所述第一图像在第二坐标系的第四坐标；所述第一图像是利用所述图像采集装置对所述红外信标进行采集得到的；

基于所述第三坐标、第四坐标，确定所述图像采集装置在参考坐标系中的位置信息；其中，所述第一坐标系与所述第二坐标系是基于小孔成像的相机模型确定的。

上述方案中，所述基于所述第一图像，确定所述图像采集装置在参考坐标系中的位置信息，包括：

获取所述图像采集装置采集第一图像时的姿态数据；所述第一图像是利用所述图像采集装置对在拍摄范围内设置的参照物进行采集得到的；

确定所述姿态数据在第三坐标系的第五坐标；所述第三坐标系为参考坐标系；

确定所述第一图像在第二坐标系的第六坐标；

基于所述第五坐标、第六坐标，确定所述图像采集装置在参考坐标系的位置信息；其中，所述第二坐标系与所述第三坐标系是基于预设运动模型确定的。

上述方案中，所述方法还包括：

利用所述图像采集装置采集第二图像；所述第二图像至少包含用户的握笔姿势；

对所述第二图像进行特征提取，得到第一特征数据；

基于所述第一特征数据，确定所述握笔姿势未满足预设条件；

确定提醒方式并进行提醒。

上述方案中，所述方法还包括：

利用所述图像采集装置采集第三图像；所述第三图像至少包含被标记的显示内容；显示内容包括以下信息至少之一：文字、物体的图片；

对所述第三图像进行特征提取，得到第二特征数据；

确定与所述第二特征数据匹配的第一信息；所述第一信息至少表征以下信息至少之一：文字的释义、物体的释义；

基于所述第一信息，得到音频数据；

输出所述音频数据。

上述方案中，所述利用所述图像采集装置采集第三图像，包括：

接收第一指令；

响应第一指令，输出提示消息；所述提示消息用于提示对显示内容进行标记操作；

接收第一操作；所述第一操作为针对所述提示消息的响应操作；

通过所述图像采集装置对所述标记操作进行拍摄，得到所述第三图像。

本发明实施例提供一种图像处理装置，所述装置包括：

采集单元，用于利用电子设备的图像采集装置采集第一图像；所述图像采集装置与用户的面部属于同一个朝向；

确定单元，用于基于所述第一图像，确定所述图像采集装置的位置信息；以及基于确定的位置信息，确定用户的坐姿需要矫正；

提醒单元，用于确定提醒方式并进行提醒。

本发明实施例提供一种图像处理装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行上面所述任一项图像处理方法的步骤。

本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述任一项图像处理方法的步骤。

本发明实施例提供的图像处理方法、装置及存储介质，利用电子设备的图像采集装置采集第一图像；所述图像采集装置与用户的面部属于同一个朝向；基于所述第一图像，确定所述图像采集装置的位置信息；基于确定的位置信息，确定用户的坐姿需要矫正；确定提醒方式并进行提醒。采用本发明实施例的技术方案，可以基于图像采集装置采集的第一图像，确定用户的坐姿是否需要矫正，相对于相关技术中通过预设阈值对用户的坐姿进行纠正的方式而言，由于不会因用户身高的不同而导致对用户的坐姿进行错误纠正，因而能够实现准确纠正用户的坐姿。

附图说明

图1为相关技术中眼镜的组成结构示意图；

图2a、2b为本发明实施例电子设备的组成结构示意图；

图3是本发明实施例电子设备的硬件结构组成示意图；

图4是本发明实施例图像处理方法的实现流程示意图；

图5是本发明实施例利用参照物和所述图像采集装置实现标定的示意图；

图6a是本发明实施例利用所述图像采集装置对用户的握笔姿势进行纠正的示意图；

图6b是本发明实施例利用所述图像采集装置对用户标记的文字进行识别的示意图；

图7是本发明实施例图像处理装置的组成结构示意图一；

图8是本发明实施例图像处理装置的组成结构示意图二。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

目前，随着佩戴眼镜的学生越来越多，学生的姿态问题越来越受关注。通常，学生长时间学习后，坐姿会发生改变，比如眼睛距离书本越来越近，腰背越来越弯。相关技术中，如图1所示，在眼镜中安装距离传感器，通过距离传感器检测学生的眼睛与书本的距离，当检测的距离超过预设阈值时进行提醒，以达到纠正学生坐姿的目的，从而预防学生近视。

上述方式中通过预设阈值判断学生的眼睛与书本的距离，考虑到不同学生的身高不同，如果使用相同的预设阈值来检测不同身高的学生的坐姿，可能会导致不能准确纠正学生坐姿情况的发生。另外，不是近视的学生并不愿意佩戴这样的眼镜。

基于此，本发明实施例中，利用电子设备的图像采集装置采集第一图像；所述图像采集装置与用户的面部属于同一个朝向；基于所述第一图像，确定所述图像采集装置的位置信息；基于确定的位置信息，确定用户的坐姿需要矫正；确定提醒方式并进行提醒。

图2是本发明实施例电子设备的组成结构示意图，如图2所示，电子设备包含有所述图像采集装置(如图2a、2b所示的摄像头)，可以采用两种连接方式，将包含所述图像采集装置的电子设备佩戴在用户的头部。针对佩戴眼镜的用户，采用图2a的连接方式，通过卡扣结构，将包含所述图像采集装置的电子设备与用户佩戴的眼镜进行固定连接。针对不佩戴眼镜的用户，采用图2b的连接方式，通过卡扣结构，将包含所述图像采集装置的电子设备与用户佩戴的头戴配件进行固定连接。其中，卡扣结构具体可以为弹性卡扣、活动推勾卡扣等等，头戴配件具体可以为发簪、头箍等等。图3是本发明实施例电子设备的硬件结构组成示意图，如图3所示，该电子设备包括：主板、处理器、摄像头、惯性测量单元、USB接口、蜂鸣器或扬声器、麦克风(图3未示出)。

本发明实施例提供一种图像处理方法，如图4所示，所述方法包括：

步骤401：利用电子设备的图像采集装置采集第一图像。

其中，所述图像采集装置可以与用户的面部属于同一个朝向。所述第一图像可以是指二维图像。

本发明实施例中，所述图像采集装置可以是指能够支持二维图像采集的装置，具体可以为普通摄像头、红外摄像头等等。

本发明实施例中，所述图像采集装置可以相对于所述电子设备进行转动，或移动。

步骤402：基于所述第一图像，确定所述图像采集装置的位置信息；并基于确定的位置信息，确定用户的坐姿需要矫正。

其中，实际应用时，用户的坐姿具体可以是指用户头部的位姿。

这里，可以基于所述图像采集装置采集的第一图像，确定用户的坐姿是否需要矫正，相对于相关技术中通过预设阈值对用户的坐姿进行纠正的方式而言，由于不会因用户身高的不同而导致对用户的坐姿进行错误纠正，因而能够准确纠正用户的坐姿。

实际应用时，可以在特定位置设置一参照物，利用所述参照物和所述图像采集装置进行标定，以确定用户的坐姿是否需要矫正。换句话说，由于所述图像采集装置与用户的面部属于同一个朝向，因此为了检测用户头部的位姿是否发生改变，可以通过检测所述图像采集装置在世界坐标系中的位置相对于设定的初始位置是否发生改变。如果所述图像采集装置在世界坐标系中的位置相对于设定的初始位置发生了改变，则确定用户的坐姿发生了改变。

基于此，在一实施例中，所述基于所述第一图像，确定所述图像采集装置的位置信息，包括：确定在特定位置设置的参照物在第一坐标系的第一坐标；所述第一坐标系为参考坐标系；确定所述第一图像在第二坐标系的第二坐标；所述第一图像是利用所述图像采集装置对所述参照物进行采集得到的；基于所述第一坐标、第二坐标，确定所述图像采集装置在参考坐标系中的位置信息；其中，所述第一坐标系和所述第二坐标系是基于小孔成像的相机模型确定的。

其中，所述特定位置具体可以是指用户学习时所用的课桌所在的平面，或者，可以是指用户学习时面对的黑板所在的平面。所述参照物具体可以是包含标记点的图形，比如二维码，或者可以是包含图案的图形，比如贴画、国旗等等；所述位置信息可以是指表征所述图像采集装置在世界坐标系中的位置相对于设定的初始位置发生偏移的位置信息。

这里，当基于小孔成像的相机模型确定所述第一坐标系和所述第二坐标系时，所述第一坐标系具体可以是指世界坐标系，所述第二坐标系具体可以是指相机坐标系。

这里，可以通过坐标变换，检测所述图像采集装置在世界坐标系中的位置是否相对于设定的初始位置发生改变，换句话说，将所述参照物在世界坐标系中的坐标与对所述参照物进行采集得到的第一图像在相机坐标系中的坐标进行刚体变换，得到旋转矩阵R和平移向量T，利用旋转矩阵R和平移向量T，确定出所述图像采集装置在世界坐标系中的位置是否相对于设定的初始位置发生改变；其中，所述设定的初始位置可以为世界坐标系的Z轴所在的位置。

举例来说，如图5所示，在用户学习所用的课桌上放置一参照物，以该参照物为参考物建立所述世界坐标系，具体地，以参照物所在平面建立X轴、Y轴，以垂直于参照物的方向建立Z轴，假设所述参照物在世界坐标系中的坐标为(X，Y，0)；以所述图像采集装置为参考物建立相机坐标系，利用所述图像采集装置对所述参照物进行采集，得到第一图像，假设所述第一图像在相机坐标系中的坐标为(M，N，W)；对坐标(X，Y，0)和(M，N，W)进行刚体变换，得到旋转矩阵R和平移向量T；利用旋转矩阵R和平移向量T，确定所述图像采集装置在世界坐标系中的位置相对于Z轴的位置是否发生改变，当确定发生改变时，确定用户的坐姿偏离了设定的正确坐姿。

这里，还可以预先设置矫正阈值，将所述图像采集装置相对于世界坐标系的Z轴旋转的位置与预设矫正阈值进行比较，当超出预设矫正阈值时，确定用户的坐姿需要矫正。

需要说明的是，这里，基于所述图像采集装置对课桌上设置的参照物或黑板上设置的参照物进行采集，得到第一图像；基于所述第一图像，判断所述图像采集装置在世界坐标系中的位置相对于设定的初始位置是否发生改变，当确定发生改变时，确定用户的坐姿需要矫正。在对用户的坐姿进行纠正的过程中，由于与用户的身高等因素无关，因此不会因用户身高的不同而导致对用户的坐姿进行错误纠正。

实际应用时，当所述图像采集装置具体是红外摄像头时，还可以利用红外信标和所述图像采集装置进行标定，以确定用户的坐姿是否需要矫正。换句话说，由于所述图像采集装置与用户的面部属于同一个朝向，因此为了检测用户头部的位姿是否发生改变，可以通过检测所述图像采集装置在世界坐标系中的位置是否发生改变。如果所述图像采集装置在世界坐标系中的位置相对于设定的初始位置发生了改变，则确定用户的坐姿发生了改变。

基于此，在一实施例中，所述基于所述第一图像，确定所述图像采集装置的位置信息，包括：确定在特定位置设置的红外信标在第一坐标系的第三坐标；所述第一坐标系为参考坐标系；确定所述第一图像在第二坐标系的第四坐标；所述第一图像是利用所述图像采集装置对所述红外信标进行采集得到的；基于所述第三坐标、第四坐标，确定所述图像采集装置在参考坐标系中的位置信息；其中，所述第一坐标系与所述第二坐标系是基于小孔成像的相机模型确定的。

其中，所述特定位置具体可以是指用户学习时所用的课桌所在的平面，或者，可以是指用户学习时面对的黑板所在的平面。所述参照物具体可以是红外信标，所述图像采集装置具体可以是红外摄像头。

需要说明的是，基于红外信标和所述图像采集装置进行标定，以确定用户的坐姿是否需要矫正的实现过程与上述的基于参照物和所述图像采集装置确定用户的坐姿是否需要矫正的实现过程类似，在此不再赘述。

实际应用时，除了通过在特定位置设定参照物或红外信标以确定用户的坐姿是否需要矫正的方式外，还可以通过所述电子设备的惯性测量单元(IMU，Inertialmeasurement unit)和所述图像采集装置，确定用户的坐姿是否需要矫正。

所述基于所述第一图像，确定所述图像采集装置在参考坐标系中的位置信息，包括：获取所述图像采集装置采集第一图像时的姿态数据；所述第一图像是利用所述图像采集装置对在拍摄范围内设置的参照物进行采集得到的；确定所述姿态数据在第三坐标系的第五坐标；所述第三坐标系为参考坐标系；确定所述第一图像在第二坐标系的第六坐标；基于所述第五坐标、第六坐标，确定所述图像采集装置在参考坐标系的位置信息；其中，所述第二坐标系与所述第三坐标系是基于预设运动模型确定的。

实际应用时，可以通过所述电子设备的惯性测量单元获取所述图像采集装置采集第一图像时的姿态数据，通过所述图像采集装置对在拍摄范围内设置的参照物进行采集得到所述第一图像，从而可以基于获取的姿态数据和所述第一图像，判断所述图像采集装置在参考坐标系的位置相对于设定的初始位置是否发生改变，当确定改变时，确定用户的坐姿需要纠正。其中，所述惯性测量单元和所述图像采集装置的相对位置可以是固定的。

这里，当基于预设运动模型确定所述第二坐标系和所述第三坐标系时，所述第二坐标系具体可以是指相机坐标系，所述第三坐标系具体可以指以惯性测量单元为参考物建立的IMU坐标系。

举例来说，在拍摄范围内设置一参照物，比如在用户学习所用的课桌上放置一个花瓶，利用所述惯性测量单元获取所述图像采集装置对花瓶进行采集第一图像时的姿态数据；以惯性测量单元为参考物建立IMU坐标系，假设所述图像采集装置的姿态数据在IMU坐标系中对应的坐标为(M1，N1，W1)，该坐标可以表征所述图像采集装置在IMU坐标系中相对于Z轴偏移的位置，记为第一位置，所述第一位置可以是重力、拍摄时发生抖动等因素产生的；以所述图像采集装置为参考物建立相机坐标系，利用所述图像采集装置对花瓶进行采集，得到第一图像，假设所述第一图像在相机坐标系中的坐标为(M2，N2，W2)；对坐标(M1，N1，W1)和(M2，N2，W2)进行刚体变换，得到旋转矩阵R和平移向量T；其中，旋转矩阵R和平移向量T可以确定6个自由度，即6DOF，具体可以是指沿XYZ轴三个方向的旋转和平移；利用旋转矩阵R和平移向量T，确定所述图像采集装置在IMU坐标系中相对于所述第一位置是否发生改变；当确定发生改变时，确定用户的坐姿需要纠正。

需要说明的是，这里，在确定用户的坐姿是否改变时，可以通过所述惯性测量单元，确定出由于拍摄发生抖动等因素导致所述图像采集装置发生偏移的位置，从而确定出由于用户坐姿改变导致所述图像采集装置发生偏移的位置，进而判断出用户坐姿是否改变，从而提高用户坐姿纠正的精确度。

步骤403：确定提醒方式并进行提醒。

这里，实际应用时，当所述图像采集装置在世界坐标系中的位置相对于设定的初始位置发生改变时，可以确定用户的坐姿偏离设定的正确坐姿，这样，可以通过所述电子设备的蜂鸣器或扬声器以声音的形式对用户进行提醒，比如，通过蜂鸣器产生固定频率的声波对用户进行提醒，或者，通过所述电子设备的蜂鸣器或扬声器输出第一提醒消息如“小朋友，你的位姿不太好哦，请纠正”，以向用户发出警报。当用户坐姿纠正后，再停止警报。还可以通过所述电子设备的LED灯以视觉的形式对用户进行提醒，比如，通过不断闪烁的LED灯对用户进行提醒。

实际应用时，除了利用所述图像采集装置对用户的坐姿进行纠正外，还可以利用所述图像采集装置对用户的握笔姿势进行纠正。

基于此，在一实施例中，所述方法还包括：利用所述图像采集装置采集第二图像；所述第二图像至少包含用户的握笔姿势；对所述第二图像进行特征提取，得到第一特征数据；基于所述第一特征数据，确定所述握笔姿势未满足预设条件；确定提醒方式并进行提醒。

这里，可以基于神经网络，对所述第二图像进行特征提取，确定所述第二图像中至少两个关节点的第一位置坐标，并确定标准图像中至少两个关节点的第二位置坐标；将所述第一位置坐标与所述第二位置坐标进行比较，得到比较结果；当比较结果表征所述第一位置坐标与所述第二位置坐标不匹配时，确定所述握笔姿势未满足预设条件，这样，可以通过电子设备的蜂鸣器或扬声器以声音的形式对用户进行提醒，比如，通过蜂鸣器产生固定频率的声波对用户进行提醒，或者，通过所述电子设备的蜂鸣器或扬声器输出第二提醒消息，如“小朋友，你的握笔姿势不太好哦，请纠正”，以提醒用户纠正握笔姿势，如图6a所示；还可以通过所述电子设备的LED灯以视觉的形式对用户进行提醒，比如，通过不断闪烁的LED灯对用户进行提醒。

需要说明的是，这里，基于所述图像采集装置采集的第二图像，就能够确定出用户的握笔姿势是否需要矫正，实现方式较简单。另外，基于神经网络，对用户的握笔姿势进行识别处理，识别准确度较高，从而能够准确纠正用户的握笔姿势。

实际应用时，除了利用所述图像采集装置对用户的坐姿、握笔姿势进行纠正外，还可以利用所述图像采集装置对用户圈出的文字或物体的释义进行识别，这样，当用户遇到不熟悉的文字或物体时，可以利用所述图像采集装置得到该文字或物体的释义，无需用户手动查阅字典，节省用户学习时间，从而提高用户的学习体验和学习兴趣。

基于此，在一实施例中，所述方法还包括：利用所述图像采集装置采集第三图像；所述第三图像至少包含被标记的显示内容；显示内容包括以下信息至少之一：文字、物体的图片；对所述第三图像进行特征提取，得到第二特征数据；查找与所述第二特征数据匹配的第一信息；所述第一信息至少表征以下信息至少之一：文字的释义、物体的释义；基于所述第一信息，得到音频数据；输出所述音频数据。

其中，文字具体可以是指汉字、成语、单词等等，物体的图片具体可以是建筑图片、水果图片等等。

实际应用时，所述电子设备可以设置有语音输入装置，如麦克风，这样，用户可以通过麦克风输入唤醒词，所述电子设备对唤醒词识别后，启动语音指令，以指示用户输入语音；当接收到用户输入的语音如“请对我不熟悉的汉字进行识别”后，所述电子设备输出指示用户对不熟悉的汉字进行标记操作的指示信息，并通过所述图像采集装置对用户的标记操作进行采集，以得到所述第三图像。或者，所述电子设备可以设置有按键，所述电子设备检测到用户对按键的按下操作时，输出指示用户对不熟悉的汉字进行标记操作的指示信息，并通过所述图像采集装置对用户的标记操作进行采集，以得到所述第三图像。

基于此，在一实施例中，所述利用所述图像采集装置采集第三图像，包括：接收第一指令；响应第一指令，输出提示消息；所述提示消息用于提示对显示内容进行标记操作；接收第一操作；所述第一操作为针对所述提示消息的响应操作；通过所述图像采集装置对所述标记操作进行拍摄，得到所述第三图像。

这里，实际应用时，可以通过所述电子设备的扬声器输出所述提示消息；也可以通过所述电子设备的显示单元(图3中未示出)输出所述提示消息。

举例来说，如图6b所示，用户通过麦克风输入唤醒词，如“你好，联想”；所述电子设备对唤醒词识别后，启动语音指令，以指示用户输入语音；当接收到用户输入的语音如“请对我不熟悉的汉字进行识别”后，所述电子设备的扬声器或者通过所述电子设备的显示单元输出指示信息如“请圈出需要识别的汉字”，当用户听到或看到所述提示消息并对需要识别的汉字进行标记后，通过所述图像采集装置对用户的标记操作进行采集，以得到所述第三图像；所述电子设备对所述第三图像进行特征提取，得到第二特征数据；从数据库中查找与所述第二特征数据匹配的第一信息，第一信息表征汉字的释义。

采用本发明实施例的技术方案，基于图像采集装置采集的第一图像，就能够确定出用户的坐姿是否需要矫正，不会因用户身高的不同而导致对用户的坐姿进行错误纠正，相对于相关技术中通过预设阈值对用户的坐姿进行纠正的方式而言，能够准确纠正用户的坐姿，且实现较简单。

另外，可以基于神经网络，对用户的握笔姿势进行识别处理，识别准确度较高，从而能够准确纠正用户的握笔姿势。除此之外，当用户遇到不熟悉的文字或物体时，可以利用所述图像采集装置得到该文字或物体的释义，无需用户手动查阅字典，节省用户学习时间，从而提高用户的学习体验和学习兴趣。

为实现本发明实施例的方法，本发明实施例还提供了一种图像处理装置，如图7所示，所述装置包括：

采集单元71，用于利用电子设备的图像采集装置采集第一图像；所述图像采集装置与用户的面部属于同一个朝向。

确定单元72，用于基于所述第一图像，确定所述图像采集装置的位置信息；以及基于确定的位置信息，确定用户的坐姿需要矫正。

提醒单元73，用于确定提醒方式并进行提醒。

实际应用时，可以在特定位置设置一参照物，利用所述参照物和所述图像采集装置进行标定，以确定用户的坐姿是否需要矫正。换句话说，由于所述图像采集装置与用户的面部属于同一个朝向，因此为了检测用户头部的位姿是否发生改变，可以通过检测所述图像采集装置在世界坐标系中的位置是否发生改变。如果所述图像采集装置在世界坐标系中的位置发生了改变，则确定用户的坐姿发生了改变。

基于此，在一实施例中，所述确定单元71，具体用于：确定在特定位置设置的参照物在第一坐标系的第一坐标；所述第一坐标系为参考坐标系；确定所述第一图像在第二坐标系的第二坐标；所述第一图像是利用所述图像采集装置对所述参照物进行采集得到的；基于所述第一坐标、第二坐标，确定所述图像采集装置在参考坐标系中的位置信息；其中，所述第一坐标系和所述第二坐标系是基于小孔成像的相机模型确定的。

其中，所述特定位置具体可以是指用户学习时所用的课桌所在的平面，或者，可以是指用户学习时面对的黑板所在的平面。所述参照物具体可以是包含标记点的图形，比如二维码，或者可以是包含图案的图形，比如贴画、国旗等等；所述位置信息可以是指能够表征所述图像采集装置在世界坐标系中的位置是否发生改变的信息。

这里，可以通过坐标变换，检测所述图像采集装置在世界坐标系中的位置是否发生改变，换句话说，将所述参照物在世界坐标系中的坐标与对所述参照物进行采集得到的第一图像在相机坐标系中的坐标进行刚体变换，得到旋转矩阵R和平移向量T，利用旋转矩阵R和平移向量T，确定出所述图像采集装置在世界坐标系中的位置是否发生改变。

实际应用时，当所述图像采集装置具体是红外摄像头时，还可以利用红外信标和所述图像采集装置进行标定，以确定用户的坐姿是否需要矫正。换句话说，由于所述图像采集装置与用户的面部属于同一个朝向，因此为了检测用户头部的位姿是否发生改变，可以通过检测所述图像采集装置在世界坐标系中的位置是否发生改变。如果所述图像采集装置在世界坐标系中的位置发生了改变，则确定用户的坐姿发生了改变。

基于此，在一实施例中，所述确定单元72，具体用于：确定在特定位置设置的红外信标在第一坐标系的第三坐标；所述第一坐标系为参考坐标系；确定所述第一图像在第二坐标系的第四坐标；所述第一图像是利用所述图像采集装置对所述红外信标进行采集得到的；基于所述第三坐标、第四坐标，确定所述图像采集装置在参考坐标系中的位置信息；其中，所述第一坐标系与所述第二坐标系是基于小孔成像的相机模型确定的。

实际应用时，除了通过在特定位置设定参照物或红外信标以确定用户的坐姿是否需要矫正的方式外，还可以通过所述电子设备的惯性测量单元和所述图像采集装置，确定用户的坐姿是否需要矫正。

基于此，在一实施例中，所述确定单元72，具体用于：获取所述图像采集装置采集第一图像时的姿态数据；所述第一图像是利用所述图像采集装置对在拍摄范围内设置的参照物进行采集得到的；确定所述姿态数据在第三坐标系的第五坐标；所述第三坐标系为参考坐标系；确定所述第一图像在第二坐标系的第六坐标；基于所述第五坐标、第六坐标，确定所述图像采集装置在参考坐标系的位置信息；其中，所述第二坐标系与所述第三坐标系是基于预设运动模型确定的。

基于此，在一实施例中，所述采集单元71，还用于利用所述图像采集装置采集第二图像；所述第二图像至少包含用户的握笔姿势；相应地，所述确定单元72，还用于对所述第二图像进行特征提取，得到第一特征数据；基于所述第一特征数据，确定所述握笔姿势未满足预设条件；所述提醒单元73，还用于确定提醒方式并进行提醒。

实际应用时，除了利用所述图像采集装置对用户的坐姿进行纠正外，还可以利用所述图像采集装置对用户圈出的文字或物体的释义进行识别，这样，当用户遇到不熟悉的文字或物体时，可以利用所述图像采集装置得到该文字或物体的释义，无需用户手动查阅字典，节省用户学习时间，从而提高用户的学习体验和学习兴趣。

基于此，在一实施例中，所述采集单元71，还用于利用所述图像采集装置采集第三图像；所述第三图像至少包含被标记的显示内容；显示内容包括以下信息至少之一：文字、物体的图片；相应地，所述确定单元72，还用于对所述第三图像进行特征提取，得到第二特征数据；确定与所述第二特征数据匹配的第一信息；所述第一信息至少表征以下信息至少之一：文字的释义、物体的释义；以及基于所述第一信息，得到音频数据；并输出所述音频数据。

实际应用时，所述电子设备可以设置有语音输入装置，如麦克风，这样，用户可以通过麦克风输入唤醒词，所述电子设备对唤醒词识别后，启动语音指令，以指示用户输入语音；当接收到用户输入的语音如“请对我不熟悉的汉字进行识别”后，所述电子设备输出指示用户对不熟悉的汉字进行标记操作的指示信息，并通过所述图像采集装置对用户的标记操作进行采集，以得到所述第三图像。或者，所述电子设备可以设置有按键，当用户按下该按键时，表示用户需要对不熟悉的汉字需要进行识别，所述电子设备检测到用户对按键的按下操作时，输出指示用户对不熟悉的汉字进行标记操作的指示信息，并通过所述图像采集装置对用户的标记操作进行采集，以得到所述第三图像。

基于此，在一实施例中，所述采集单元71，具体用于：接收第一指令；响应第一指令，输出提示消息；所述提示消息用于提示对显示内容进行标记操作；接收第一操作；所述第一操作为针对所述提示消息的响应操作；通过所述图像采集装置对所述标记操作进行拍摄，得到所述第三图像。

实际应用时，所述确定单元72、提醒单元73可由图像处理装置中的处理器实现；所述采集单元71可由图像处理装置中的通信接口实现。

需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种图像处理装置，如图8所示，该图像处理装置80包括：通信接口81、处理器82、存储器83；其中，

通信接口81，能够与其它设备进行信息交互；

处理器82，与所述通信接口81连接，用于运行计算机程序时，执行上述智能设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器83上。

当然，实际应用时，图像处理装置80中的各个组件通过总线系统84耦合在一起。可理解，总线系统84用于实现这些组件之间的连接通信。总线系统84除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统84。

本申请实施例中的存储器83用于存储各种类型的数据以支持图像处理装置80的操作。这些数据的示例包括：用于在图像处理装置80上操作的任何计算机程序。

上述本申请实施例揭示的方法可以应用于所述处理器82中，或者由所述处理器82实现。所述处理器82可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器82中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器82可以是通用处理器、数字信号处理器(DSP，Digital SignalProcessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器82可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器83，所述处理器82读取存储器83中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，图像处理装置80可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。

可以理解，本申请实施例的存储器83可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

基于所述第一图像，确定所述图像采集装置的位置信息；

基于确定的位置信息，确定用户的坐姿需要矫正；其中，在确定所述用户的所述坐姿是否改变时，所述电子设备能够通过惯性测量单元确定拍摄抖动导致所述图像采集装置发生偏移的位置，还能够确定由于所述坐姿改变导致所述图像采集装置发生偏移的位置；

确定提醒方式并进行提醒；

所述基于所述第一图像，确定所述图像采集装置的位置信息，包括：

确定所述第一图像在第二坐标系的第二坐标；所述第一图像是利用所述图像采集装置对所述参照物进行采集得到的；所述第二坐标系为所述图像采集装置坐标系；

基于所述第一坐标、第二坐标，确定所述图像采集装置在所述参考坐标系中的位置信息；所述位置信息表征所述图像采集装置在所述第一坐标系中的位置相对于所述第一坐标发生偏移的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述第一坐标系和所述第二坐标系是基于小孔成像的相机模型确定的。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，确定所述图像采集装置的位置信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，确定所述图像采集装置在参考坐标系中的位置信息，包括：

确定所述第一图像在第二坐标系的第六坐标；

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第二图像进行特征提取，得到第一特征数据；

确定提醒方式并进行提醒。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第三图像进行特征提取，得到第二特征数据；

基于所述第一信息，得到音频数据；

输出所述音频数据。

7.根据权利要求6所述的方法，其特征在于，所述利用所述图像采集装置采集第三图像，包括：

接收第一指令；

8.一种图像处理装置，其特征在于，所述装置包括：

确定单元，用于基于所述第一图像，确定所述图像采集装置的位置信息；以及基于确定的位置信息，确定用户的坐姿需要矫正；其中，在确定所述用户的所述坐姿是否改变时，所述电子设备能够通过惯性测量单元确定拍摄抖动导致所述图像采集装置发生偏移的位置，还能够确定由于所述坐姿改变导致所述图像采集装置发生偏移的位置；

提醒单元，用于确定提醒方式并进行提醒；

所述确定单元，还用于确定在特定位置设置的参照物在第一坐标系的第一坐标；所述第一坐标系为参考坐标系；确定所述第一图像在第二坐标系的第二坐标；所述第一图像是利用所述图像采集装置对所述参照物进行采集得到的；所述第二坐标系为所述图像采集装置坐标系；基于所述第一坐标、第二坐标，确定所述图像采集装置在所述参考坐标系中的位置信息；所述位置信息表征所述图像采集装置在所述第一坐标系中的位置相对于所述第一坐标发生偏移的位置信息。

9.一种图像处理装置，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。