CN111814815A - 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 - Google Patents

Abstract

本发明公开一种基于轻量级神经网络的眼镜放置状态的智能判别方法，该方法通过神经网络提取图像特征技术，将用户放置在自助验光设备上的眼镜放置状态进行自动分类判别，若放置位置不正确，则提示错误类型重新放置，若放置正确，则进行后面的焦度流程，从而实现无工作人员参与的用户自助验光。

Description

一种基于轻量级神经网络的眼镜放置状态的智能判别方法

技术领域

本发明涉及神经网络的图像处理应用领域，具体是一种基于轻量级神经网络的眼镜放置状态的智能判别方法。

背景技术

近年来，中国宏观经济稳定发展，伴随高近视率的刚性需求，中国眼镜零售市场也稳步增长。随着居民可支配收入逐年提高，人民生活水平、消费能力不断提高，消费者有能力购买多副眼镜以满足不同场合的佩戴需求，选择超轻新材质的镜架，抗辐射、抗疲劳等多功能的镜片，这些都刺激了眼镜零售市场的快速增长。据Euromonitor研究报告，中国眼镜零售市场规模从2006年的208.20亿元增长到2015年的673.94亿元，年均复合增长率达13.94％。

近年来，我国网络购物环境日趋完善，国内电子网络购物呈现高速发展的态势。与传统线下渠道相比，网络销售眼镜具有如下优势：一是眼镜款式多，解决实体店因面积、库存压力不能尽显产品样式的问题；二是直接接触广大终端客户，可广泛、清晰、深入传递品牌与产品信息。

但由于网络销售眼镜无法提供验光服务，网络销售隐形眼镜受到了严格的控制，目前线上眼镜零售是以太阳镜为主，网络销售眼镜占中国眼镜零售市场比例仍然不高。但是，目前互联网电商采用网上展示，线下体验店配镜，网上预约，上门配镜等等各种手段，正在不断弥补网络销售眼镜的劣势。因此，眼镜虚拟试戴设备和自助验光设备的结合应运而生，可以方便用户快速复制自己的眼镜参数，帮助用户方便的更换心仪的眼镜。自助验光设备存在一个凹槽，用户把眼镜放入之后，使用摄像头拍摄放置区域，通过智能判别方法判断是否正确放置，在确认放置正确后会有一个自动夹片把眼镜夹住，在这个过程中，如果操作不当会损坏眼镜。自助验光设备是用户根据屏幕提示自助操作，但是可能存在用户理解偏差或者忽略屏幕提示等多种情况，导致眼镜被错误的放置到验光槽，使眼镜损坏，造成损失。

发明内容

为解决用户使用自助验光设备时容易将眼镜位置放置错误，直接导致眼镜损坏的问题，本发明提供一种基于轻量级神经网络的眼镜放置状态的智能判别方法。

为实现上述目的，本发明采用下述技术方案：

一种基于轻量级神经网络的眼镜放置状态的智能判别方法，包括以下步骤：

步骤一，通过用户行为分析并进行去耦合分类，将眼镜的放置状态分为八类，其中正确一类，异常七类；

步骤二，采集各类眼镜分别构造的各类放置状态的图片素材，构造出适合训练轻量级神经网络参数的训练集；

步骤三，选择适合在移动端使用的轻量级神经网络，并使用步骤二获得的训练集进行训练；

步骤四，将步骤三获得的神经网络进行移动端参数转换，集成到自动识别程序；

步骤五，通过实际测量和数据分析，设置正确放置状态的置信度阈值为85％，设置其他放置状态的置信度阈值为30％；

步骤六，拍摄一张眼镜放置区域图片，使用自动识别程序进行图片特征的提取和类别置信度的计算，再与预设的置信度阈值对比，并将结果返回给移动端，根据结果进行后续操作流程。

进一步地，步骤一中眼镜的放置状态分为：拍摄镜头被遮挡、未放置眼镜、眼镜被手或者其他物体覆盖遮挡、眼镜未放入凹槽中、眼镜被折叠之后放到凹槽一侧、眼镜腿与正确放置的方向相反、眼镜偏离中心轴和眼镜正确放置。

进一步地，步骤三中使用的轻量级神经网络采用MobileNet网络结构。

进一步地，步骤三中使用交叉熵损失函数进行训练，从而得到一个眼镜放置判别的自动分类器。

进一步地，步骤三中轻量级神经网络输出的是每个类别的可能性，通过SoftMax函数处理之后，每个类别可能的范围是0％-100％，即为置信度，其中置信度最高的类别作为眼镜放置判别结果。

进一步地，步骤四中神经网络参数转换成可在自助验光设备上运行的格式，通过整合，实现自助验光设备的自动分类。

进一步地，步骤五中通过不同环境下做实际场景测试，将分类不好的图片放到训练集，做优化训练，持续迭代，优化效果，并且在测试过程中做数据分析，找到可接受的置信度阈值；对于置信度最高的类别，置信度范围在12.5％-100％之间，在综合分析后，设置正确放置状态的置信度阈值为85％，若正确分类的概率超过85％，则认为是正确；设置其他放置状态的置信度阈值为30％，使得放置异常的交叉情况混合输出。

进一步地，在完成测试投入使用之后，定期分析采集的数据，对实际使用场景持续跟踪分析误分类情况，从而持续优化。

有益效果：

1.本发明通过神经网络提取图像特征技术，将用户放置在自助验光设备上的眼镜放置状态进行自动分类判别，若放置位置不正确，则提示错误类型重新放置，若放置正确，则进行后面的焦度流程，从而实现无工作人员参与的用户自助验光。

2.本发明可以自动分析用户在使用过程中眼镜放置的状态，工作人员不需要出现在设备现场，只需要处理设备上传的少量异常情况。

3.在整个流程中，只需要拍摄一张图片就可以判断，这个过程只需要不到1秒的时间，速度极快。

附图说明

图1为本发明眼镜放置状态的智能判别流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明提出一种基于轻量级神经网络的眼镜放置状态的智能判别方法，包括以下步骤：

步骤一，根据自助验光设备的特点设置摄像头位置、内置灯光亮度、凹槽形状颜色，以拍摄到眼镜区域的最有效信息。通过用户行为分析，确定可能产生的方式，并进行去耦合分类，最终确定分类方式如下：

C1＝{拍摄镜头被遮挡(CamareCover)}；

C2＝{未放置眼镜(NoGlass)}；

C3＝{眼镜被手或者其他物体覆盖遮挡(GlassCover)}；

C4＝{眼镜没有放入到凹槽中(NotIn)}；

C5＝{眼镜被折叠之后放到凹槽一侧(OneSize)}；

C6＝{眼镜腿正确放置的方向相反(Back)}；

C7＝{眼镜偏离中心轴(Offset)}；

C8＝{眼镜正确放置(Right)}。

其中只有眼镜正确放置时才允许验光操作开始进行，眼镜错误放置时会根据用户当前放置状态，在屏幕提醒用户相应的改正方法。

步骤二，按照步骤一的分类方式，针对不同环境，用多种类别眼镜分别构造多种类别放置状态，采集2-3万张原始图片，构造出适合训练轻量级神经网络参数的训练集。

步骤三，根据自助验光设备的特点，出于速度和精确度两方面的考虑，选择适合在移动端使用的轻量级神经网络MobileNet网络结构，并用步骤二获得的训练集，使用交叉熵损失函数进行训练，从而得到一个眼镜放置判别的自动分类器。轻量级神经网络输出的是每个类别的可能性，通过SoftMax函数处理之后，每个类别可能的范围是0％-100％，称之为置信度。置信度最高的类别作为眼镜放置判别结果。

步骤四，将步骤三得到的轻量级神经网络做参数转换，转换成在自助验光设备上可以运行的格式，通过整合，集成到自动识别程序，实现自助验光设备的自动分类。

步骤五，在步骤四集成完毕后放置到不同环境下做实际场景测试，将分类不好的图片放到训练集，做优化训练，持续迭代，优化效果。并且在测试过程中做数据分析，找到可接受的置信度阈值，从而达到更好的效果。对于置信度最高的类别，置信度范围在12.5％-100％之间，在综合分析后，设置正确放置状态的置信度阈值为85％，只有正确分类的概率超过85％才认为是正确。设置其他放置状态的置信度阈值为30％，使得放置异常的交叉情况可以混合输出提示，提高用户体验。

步骤六，在放置完眼镜，准备关仓门时，会拍摄一张放置的图像，用此自动识别程序进行图片特征的提取和类别置信度的计算，再与预设的置信度阈值对比，然后将结果返回给移动端，根据结果进行后面的操作流程。

步骤七，在完成测试投入使用之后，依然可以定期分析摄像头采集的数据，对实际使用场景持续分析，做更细致的分析，从而持续优化，增强智能判别效果。

对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，包括以下步骤：

步骤一，通过用户行为分析并进行去耦合分类，将眼镜的放置状态分为八类，其中正确一类，异常七类；

步骤二，采集各类眼镜分别构造的各类放置状态的图片素材，构造出适合训练轻量级神经网络参数的训练集；

步骤三，选择适合在移动端使用的轻量级神经网络，并使用步骤二获得的训练集进行训练；

步骤四，将步骤三获得的神经网络进行移动端参数转换，集成到自动识别程序；

步骤五，通过实际测量和数据分析，设置正确放置状态的置信度阈值为85％，设置其他放置状态的置信度阈值为30％；

步骤六，拍摄一张眼镜放置区域图片，使用自动识别程序进行图片特征的提取和类别置信度的计算，再与预设的置信度阈值对比，并将结果返回给移动端，根据结果进行后续操作流程。

2.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，所述步骤一中眼镜的放置状态分为：拍摄镜头被遮挡、未放置眼镜、眼镜被手或者其他物体覆盖遮挡、眼镜未放入凹槽中、眼镜被折叠之后放到凹槽一侧、眼镜腿与正确放置的方向相反、眼镜偏离中心轴和眼镜正确放置。

3.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，所述步骤三中使用的轻量级神经网络采用MobileNet网络结构。

4.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，所述步骤三中使用交叉熵损失函数进行训练，从而得到一个眼镜放置判别的自动分类器。

5.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，所述步骤三中轻量级神经网络输出的是每个类别的可能性，通过SoftMax函数处理之后，每个类别可能的范围是0％-100％，即为置信度，其中置信度最高的类别作为眼镜放置判别结果。

6.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，所述步骤四中神经网络参数转换成可在自助验光设备上运行的格式，通过整合，实现自助验光设备的自动分类。

7.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，所述步骤五中通过不同环境下做实际场景测试，将分类不好的图片放到训练集，做优化训练，持续迭代，优化效果，并且在测试过程中做数据分析，找到可接受的置信度阈值；对于置信度最高的类别，置信度范围在12.5％-100％之间，在综合分析后，设置正确放置状态的置信度阈值为85％，若正确分类的概率超过85％，则认为是正确；设置其他放置状态的置信度阈值为30％，使得放置异常的交叉情况混合输出。

8.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法，其特征在于，在完成测试投入使用之后，定期分析采集的数据，对实际使用场景持续跟踪分析误分类情况，从而持续优化。

Images