CN117831104A - 一种智能镜柜及其控制方法 - Google Patents
一种智能镜柜及其控制方法 Download PDFInfo
- Publication number
- CN117831104A CN117831104A CN202311858759.9A CN202311858759A CN117831104A CN 117831104 A CN117831104 A CN 117831104A CN 202311858759 A CN202311858759 A CN 202311858759A CN 117831104 A CN117831104 A CN 117831104A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- distance
- frame
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及智能控制技术领域，具体涉及一种智能镜柜及其控制方法，智能镜柜包括柜体、智能镜、距离传感器和摄像头，智能镜包括镜面和电子显示屏，方法包括：当确定距离传感器检测到的距离小于第一距离阈值时，控制摄像头采集图像，若检测到人脸，则定位图像中的人脸区域和人脸特征点，将人脸区域作为初始区域；确定人脸的转动角度；将大于角度阈值的图像作为转动图像，基于多帧转动图像确定人脸的转动速度；触发生成侧脸图像的控制指令，基于多帧转动图像确定侧脸图像，基于第一距离阈值和第二距离阈值对侧脸图像进行放大，将放大后的侧脸图像在电子显示屏上显示；本发明能提高特定图像区域交互显示的便利性。
Description
技术领域
本发明涉及智能控制技术领域，具体涉及一种智能镜柜及其控制方法。
背景技术
镜柜兼具储物功能和镜子功能，现有技术中已有采用了智能镜的智能镜柜，智能镜主要由普通镜面和设置在镜面内层的智能终端组成，其中，镜面上镀有一层一定透射率的镀膜，镜面下方为智能终端的电子显示屏。用户可以在电子显示屏开启下，查看智能终端的显示内容。
然而，现有的智能镜柜只是将电子显示屏和镜面进行机械拼装，二者功能独立，用户通过镜面观察自己的侧脸时，依然存在不便。因此，亟待提供一种智能控制的智能镜柜，能够对重点图像区域进行交互显示。
发明内容
本发明目的在于提供一种智能镜柜及其控制方法，以提高特定图像区域交互显示的便利性。
为了实现上述目的，本发明提供以下技术方案：
一种智能镜柜的控制方法，所述智能镜柜包括柜体、设置在柜体上的智能镜、以及设置在智能镜上的距离传感器和摄像头，所述智能镜包括镜面和电子显示屏，所述方法包括以下步骤：
S100，当确定所述距离传感器检测到的距离小于第一距离阈值时，控制摄像头采集图像，对所述摄像头采集的图像进行人脸检测；
S200，若检测到人脸，则定位所述图像中的人脸区域和人脸特征点，将所述人脸区域作为初始区域；
S300，基于所述人脸特征点对摄像头采集的图像进行人脸追踪，识别多帧图像中的人脸区域，基于所述初始区域和多帧图像中的人脸区域确定所述人脸的转动角度；
S400，若确定所述转动角度大于角度阈值，则将大于角度阈值的图像作为转动图像，基于多帧所述转动图像确定所述人脸的转动速度；
S500，若确定所述人脸的转动速度小于速度阈值，则判断所述距离传感器检测到的距离是否小于第二距离阈值，并在所述距离传感器检测到的距离小于第二距离阈值的持续时长达到时长阈值后，触发生成侧脸图像的控制指令；其中，所述第二距离阈值小于第一距离阈值；
S600，响应于所述控制指令，基于多帧所述转动图像确定侧脸图像，基于所述第一距离阈值和第二距离阈值对所述侧脸图像进行放大；
S700，控制电子显示屏启动，将放大后的侧脸图像在所述电子显示屏上显示。
进一步，S300中，所述基于所述初始区域和多帧图像中的人脸区域确定所述人脸的转动角度，包括：
S310，获取多帧图像中的人脸区域，确定每帧图像中人脸区域的人脸关键点，建立所述人脸关键点的边界框；
S320，确定所述初始区域中的人脸关键点，作为初始关键点，建立所述初始关键点的边界框；
S330，确定各个所述边界框的特征参数，按边界框所在图像的采集时间对初始边界框和各个边界框排序，将所述初始边界框设置为基准框；所述特征参数包括边界框的中心点坐标、宽度、高度以及边界框所在图像的采集时间；
S340，将基准框和后续的边界框中的人脸关键点依次比较，确定人脸关键点变化的数量，若人脸关键点发生变化的数量达到数量阈值，则确定基准框和达到数量阈值边界框中相同的人脸关键点；
S350，基于相同的人脸关键点在基准框和达到数量阈值边界框中中生成共同矩形框，计算基准框和达到数量阈值边界框中共同矩形框的距离，将基准框和达到数量阈值边界框设置为基准框，分别执行S340和S360；
S360，基于共同矩形框中人脸关键点的变化确定人脸的转动方向，基于人脸的转动方向将计算得到的距离累加，作为人脸的转动角度。
进一步，S400中，所述将大于角度阈值的图像作为转动图像，基于多帧所述转动图像确定所述人脸的转动速度，包括：
S410，确定转动图像中的人脸关键点，选取人脸关键点相差最大的两帧转动图像；
S420，计算两帧转动图像的帧数差，将帧数差除以摄像头的帧率得到时间差；
S430，分别确定两帧转动图像对应的转动角度，将两帧转动图像对应的转动角度之差与所述时间差的比值作为所述人脸的转动速度。
进一步，S500中，所述判断所述距离传感器检测到的距离是否小于第二距离阈值，并在所述距离传感器检测到的距离小于第二距离阈值的持续时长达到时长阈值后，触发生成侧脸图像的控制指令，包括：
S510，实时监测距离传感器检测到的距离，并与第二距离阈值进行比较；
S520，当距离传感器检测到的距离小于第二距离阈值时，开始计时；
S530，判断计时时长是否达到时长阈值；
S540，当计时时长达到时长阈值时，触发生成侧脸图像的控制指令。
进一步，S600中，所述响应于所述控制指令，基于多帧所述转动图像确定侧脸图像，包括：
S610，在多帧转动图像中选取距离传感器检测到的距离最近的图像作为初始侧脸图像；
S620，根据所述初始侧脸图像和人脸的转动角度，确定侧脸图像的关联图像；
S630，根据所述转动角度，计算出初始侧脸图像中的人脸关键点在基准图像中对应的关键点坐标；其中，所述基准图像为从摄像头采集的图像中选取的人脸图像；
S640，在基准图像中选取与所述关键点坐标最相近的坐标，作为侧脸图像的关键点坐标；
S650，根据侧脸图像的关键点坐标，从所述基准图像中匹配得到的区域图像生成侧脸图像。
进一步，S600中，所述基于所述第一距离阈值和第二距离阈值对所述侧脸图像进行放大，包括：
S660，根据所述第一距离阈值和第二距离阈值的比值，确定侧脸图像的放大比例范围；
S670，在所述放大比例范围内，对所述侧脸图像进行放大。
一种智能镜柜，所述智能镜柜包括柜体、设置在柜体上的智能镜、以及设置在智能镜上的距离传感器和摄像头，所述智能镜包括镜面和电子显示屏，以及
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的智能镜柜的控制方法。
本发明的有益效果是：本发明公开一种智能镜柜及其控制方法，本发明结合多帧图像分析人脸区域的变化，准确判断出人脸的转动角度和速度，进而实现侧脸图像的生成和显示。本发明能够智能触发生成侧脸图像，提高特定图像区域交互显示的便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中智能镜柜的控制方法的流程示意图；
图2是本发明实施例中智能镜柜的电路框图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参阅图1，图1是本发明提供的智能镜柜的控制方法的流程示意图，所述方法包括以下步骤：
S100，当确定所述距离传感器检测到的距离小于第一距离阈值时，控制摄像头采集图像，对所述摄像头采集的图像进行人脸检测；
需要说明的是，本实施例中的电子显示屏为常闭状态，智能镜显示的是镜面反射的图像；电子显示屏需要根据设定条件或动作触发才能唤醒启动。在一些实施例中，获取距离传感器检测到的对象与智能镜的镜面之间的距离，若确定所述距离传感器检测到的距离小于第一距离阈值，则控制摄像头采集图像，对所述摄像头采集的图像进行人脸检测；从而在用户使用智能镜的时候，才进行人脸检测。
S200，若检测到人脸，则定位所述图像中的人脸区域和人脸特征点，将所述人脸区域作为初始区域；
在一些实施例中，采用人脸检测算法识别所述摄像头采集的图像中的人脸外接矩形，得到人脸外接矩形在图像中的坐标，作为人脸位置；本实施例中，采用物联网芯片执行本发明实施例中的步骤，在一些实施例中，采用人脸识别算法进行人脸检测，通过物联网芯片执行人脸识别算法。
S300，基于所述人脸特征点对摄像头采集的图像进行人脸追踪，识别多帧图像中的人脸区域，基于所述初始区域和多帧图像中的人脸区域确定所述人脸的转动角度；
S400，若确定所述转动角度大于角度阈值，则将大于角度阈值的图像作为转动图像，基于多帧所述转动图像确定所述人脸的转动速度；
S500，若确定所述人脸的转动速度小于速度阈值，则判断所述距离传感器检测到的距离是否小于第二距离阈值，并在所述距离传感器检测到的距离小于第二距离阈值的持续时长达到时长阈值后，触发生成侧脸图像的控制指令；其中，所述第二距离阈值小于第一距离阈值；
需要说明的是，如果转动角度大于角度阈值，说明用户需要清楚的观看自己的侧脸，如果转动较慢，且距离传感器检测到的距离小于第二距离阈值持续一段时间，说明用户更加靠近智能镜，一般地，用户靠近智能镜是为了更加清楚的观看自己脸部，如果长时间靠近智能镜，则说明需要对观看的脸部区域仔细观看。本发明将用户持续靠近智能镜这一行为作为后期获取侧脸图像的触发动作，能够智能的理解用户意图，自动触发生成侧脸图像的控制指令，极大的便利了用户进行美容装扮的便利性。
S600，响应于所述控制指令，基于多帧所述转动图像确定侧脸图像，基于所述第一距离阈值和第二距离阈值对所述侧脸图像进行放大；
S700，控制电子显示屏启动，将放大后的侧脸图像在所述电子显示屏上显示。
在一些实施例中，第一距离阈值设置为1米，第一距离阈值设置为0.5米，角度阈值设置为15°，速度阈值设置为3rad/s，本领域技术人员可以根据实际情况调节设置。
需要说明的是，本发明通过多帧转动图像确定侧脸图像，并对所述侧脸图像放大后显示在所述电子显示屏上，能够方便用户观察自己的侧脸区域，提高了用户的使用体验。本发明通过设定角度阈值、速度阈值和距离阈值，在满足条件的情况下触发生成侧脸图像的控制指令，实现了对用户行为的智能识别和响应，使得智能镜柜能够更加便利的进行智能控制。
在一些实施例中，S300中，所述基于所述初始区域和多帧图像中的人脸区域确定所述人脸的转动角度，包括：
S310，获取多帧图像中的人脸区域，确定每帧图像中人脸区域的人脸关键点，建立所述人脸关键点的边界框；
S320，确定所述初始区域中的人脸关键点，作为初始关键点，建立所述初始关键点的边界框；
S330，确定各个所述边界框的特征参数，按边界框所在图像的采集时间对初始边界框和各个边界框排序，将所述初始边界框设置为基准框；所述特征参数包括边界框的中心点坐标、宽度、高度以及边界框所在图像的采集时间；
在一些实施例中，边界框的特征参数表示为(xi, yi, wi, hi，ti)，其中i是边界框中人脸关键点的编号，xi, yi, wi, hi，ti分别是边界框的中心x坐标、中心y坐标、宽、高以及边界框所在图像的采集时间。
S340，将基准框和后续的边界框中的人脸关键点依次比较，确定人脸关键点变化的数量，若人脸关键点发生变化的数量达到数量阈值，则确定基准框和达到数量阈值边界框中相同的人脸关键点；
在一些实施例中，人脸中的人脸关键点可以选用21个、68个、98个或106个，本实施例中，初始边界框中的人脸关键点设置为68个，数量阈值设置为5至10个，本领域技术人员可以根据实际情况选用，一般地，数量阈值越小，计算的次数越多，时延也会相对长一些。
S350，基于相同的人脸关键点在基准框和达到数量阈值边界框中中生成共同矩形框，计算基准框和达到数量阈值边界框中共同矩形框的距离，将基准框和达到数量阈值边界框设置为基准框，分别执行S340和S360；
S360，基于共同矩形框中人脸关键点的变化确定人脸的转动方向，基于人脸的转动方向将计算得到的距离累加，作为人脸的转动角度。
本实施例中，共同矩形框中人脸关键点的增加，说明人脸转向正对智能镜的方向；共同矩形框中人脸关键点的减少，说明人脸转向偏离智能镜的方向；从而基于人脸的转动方向将计算得到的距离相加或相减，得到人脸的转动角度。本发明采用多帧图像处理技术，对人脸关键点进行追踪和分析，自动识别人脸的转动角度，为后续图像处理提供基础判断条件。
在一些实施例中，S400中，所述将大于角度阈值的图像作为转动图像，基于多帧所述转动图像确定所述人脸的转动速度，包括：
S410，确定转动图像中的人脸关键点，选取人脸关键点相差最大的两帧转动图像；
S420，计算两帧转动图像的帧数差，将帧数差除以摄像头的帧率得到时间差；
S430，分别确定两帧转动图像对应的转动角度，将两帧转动图像对应的转动角度之差与所述时间差的比值作为所述人脸的转动速度。
需要说明的是，本发明通过人脸关键点相差最大的两帧转动图像的转动角度差与时间差的比值，能够较为准确地确定人脸的转动速度。这种方法避免了计算人脸转动角度的偶然性，提高了转动速度确定的准确性。
在一些实施例中，S500中，所述判断所述距离传感器检测到的距离是否小于第二距离阈值，并在所述距离传感器检测到的距离小于第二距离阈值的持续时长达到时长阈值后，触发生成侧脸图像的控制指令，包括：
S510，实时监测距离传感器检测到的距离，并与第二距离阈值进行比较；
S520，当距离传感器检测到的距离小于第二距离阈值时，开始计时；
S530，判断计时时长是否达到时长阈值；
S540，当计时时长达到时长阈值时，触发生成侧脸图像的控制指令。
需要说明的是，通过实时监测距离传感器的检测距离和设定第二距离阈值以及时长阈值，可以在用户靠近智能镜的过程中，准确判断出用户靠近的意图，从而触发生成侧脸图像的控制指令。实现对显示屏显示的智能控制，避免用户在镜子前操作时产生不必要的视觉干扰。
在一些实施例中，S600中，所述响应于所述控制指令，基于多帧所述转动图像确定侧脸图像，包括：
S610，在多帧转动图像中选取距离传感器检测到的距离最近的图像作为初始侧脸图像；
S620，根据所述初始侧脸图像和人脸的转动角度，确定侧脸图像的关联图像；
S630，根据所述转动角度，计算出初始侧脸图像中的人脸关键点在基准图像中对应的关键点坐标；其中，所述基准图像为从摄像头采集的图像中选取的人脸图像；
在一些实施例中，基准图像通过用户自定义设置，体现用户认为最好的一张人脸图像。
S640，在基准图像中选取与所述关键点坐标最相近的坐标，作为侧脸图像的关键点坐标；
S650，根据侧脸图像的关键点坐标，从所述基准图像中匹配得到的区域图像生成侧脸图像。
本实施例中，通过选取距离传感器检测到的距离最近的图像作为初始侧脸图像，进而基于基准图像生成侧脸图像，使得侧脸图像的生成更加准确和清晰。
在一些实施例中，S600中，所述基于所述第一距离阈值和第二距离阈值对所述侧脸图像进行放大，包括：
S660，根据所述第一距离阈值和第二距离阈值的比值，确定侧脸图像的放大比例；
S670，根据所述放大比例，对所述侧脸图像进行放大；
S680，若满足生成侧脸图像的条件，则输出放大后的侧脸图像。
需要说明的是，本发明通过多帧转动图像确定侧脸图像，并对所述侧脸图像放大后显示在电子显示屏上，能够方便用户观察自己的侧脸区域，提高了用户的使用体验。本发明通过设定角度阈值、速度阈值和距离阈值，在满足条件的情况下触发生成侧脸图像的控制指令，实现了对用户行为的智能识别和响应，使得智能镜柜能够更加便利的进行智能控制。
与图1的方法相对应，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有智能镜柜的控制程序，所述智能镜柜的控制程序被处理器执行时实现如上述任意一实施例所述的智能镜柜的控制方法的步骤。
与图1的方法相对应，参阅图2，图2是本发明提供的智能镜柜的结构示意图，所述智能镜柜包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一实施例所述的智能镜柜的控制方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
所述处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述智能镜柜的控制系统的控制中心，利用各种接口和线路连接整个智能镜柜的控制系统可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述智能镜柜的控制系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart-Media-Card，SMC），安全数字（Secure-Digital，SD）卡，闪存卡（Flash-Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
Claims (7)
1.一种智能镜柜的控制方法，其特征在于，所述智能镜柜包括柜体、设置在柜体上的智能镜、以及设置在智能镜上的距离传感器和摄像头，所述智能镜包括镜面和电子显示屏，所述方法包括以下步骤：
S100，当确定所述距离传感器检测到的距离小于第一距离阈值时，控制摄像头采集图像，对所述摄像头采集的图像进行人脸检测；
S200，若检测到人脸，则定位所述图像中的人脸区域和人脸特征点，将所述人脸区域作为初始区域；
S300，基于所述人脸特征点对摄像头采集的图像进行人脸追踪，识别多帧图像中的人脸区域，基于所述初始区域和多帧图像中的人脸区域确定所述人脸的转动角度；
S400，若确定所述转动角度大于角度阈值，则将大于角度阈值的图像作为转动图像，基于多帧所述转动图像确定所述人脸的转动速度；
S500，若确定所述人脸的转动速度小于速度阈值，则判断所述距离传感器检测到的距离是否小于第二距离阈值，并在所述距离传感器检测到的距离小于第二距离阈值的持续时长达到时长阈值后，触发生成侧脸图像的控制指令；其中，所述第二距离阈值小于第一距离阈值；
S600，响应于所述控制指令，基于多帧所述转动图像确定侧脸图像，基于所述第一距离阈值和第二距离阈值对所述侧脸图像进行放大；
S700，控制电子显示屏启动，将放大后的侧脸图像在所述电子显示屏上显示。
2.根据权利要求1所述的一种智能镜柜的控制方法，其特征在于，S300中，所述基于所述初始区域和多帧图像中的人脸区域确定所述人脸的转动角度，包括：
S310，获取多帧图像中的人脸区域，确定每帧图像中人脸区域的人脸关键点，建立所述人脸关键点的边界框；
S320，确定所述初始区域中的人脸关键点，作为初始关键点，建立所述初始关键点的边界框；
S330，确定各个所述边界框的特征参数，按边界框所在图像的采集时间对初始边界框和各个边界框排序，将所述初始边界框设置为基准框；所述特征参数包括边界框的中心点坐标、宽度、高度以及边界框所在图像的采集时间；
S340，将基准框和后续的边界框中的人脸关键点依次比较，确定人脸关键点变化的数量，若人脸关键点发生变化的数量达到数量阈值，则确定基准框和达到数量阈值边界框中相同的人脸关键点；
S350，基于相同的人脸关键点在基准框和达到数量阈值边界框中中生成共同矩形框，计算基准框和达到数量阈值边界框中共同矩形框的距离，将基准框和达到数量阈值边界框设置为基准框，分别执行S340和S360；
S360，基于共同矩形框中人脸关键点的变化确定人脸的转动方向，基于人脸的转动方向将计算得到的距离累加，作为人脸的转动角度。
3.根据权利要求2所述的一种智能镜柜的控制方法，其特征在于，S400中，所述将大于角度阈值的图像作为转动图像，基于多帧所述转动图像确定所述人脸的转动速度，包括：
S410，确定转动图像中的人脸关键点，选取人脸关键点相差最大的两帧转动图像；
S420，计算两帧转动图像的帧数差，将帧数差除以摄像头的帧率得到时间差；
S430，分别确定两帧转动图像对应的转动角度，将两帧转动图像对应的转动角度之差与所述时间差的比值作为所述人脸的转动速度。
4.根据权利要求3所述的一种智能镜柜的控制方法，其特征在于，S500中，所述判断所述距离传感器检测到的距离是否小于第二距离阈值，并在所述距离传感器检测到的距离小于第二距离阈值的持续时长达到时长阈值后，触发生成侧脸图像的控制指令，包括：
S510，实时监测距离传感器检测到的距离，并与第二距离阈值进行比较；
S520，当距离传感器检测到的距离小于第二距离阈值时，开始计时；
S530，判断计时时长是否达到时长阈值；
S540，当计时时长达到时长阈值时，触发生成侧脸图像的控制指令。
5.根据权利要求1所述的一种智能镜柜的控制方法，其特征在于，S600中，所述响应于所述控制指令，基于多帧所述转动图像确定侧脸图像，包括：
S610，在多帧转动图像中选取距离传感器检测到的距离最近的图像作为初始侧脸图像；
S620，根据所述初始侧脸图像和人脸的转动角度，确定侧脸图像的关联图像；
S630，根据所述转动角度，计算出初始侧脸图像中的人脸关键点在基准图像中对应的关键点坐标；其中，所述基准图像为从摄像头采集的图像中选取的人脸图像；
S640，在基准图像中选取与所述关键点坐标最相近的坐标，作为侧脸图像的关键点坐标；
S650，根据侧脸图像的关键点坐标，从所述基准图像中匹配得到的区域图像生成侧脸图像。
6.根据权利要求1所述的一种智能镜柜的控制方法，其特征在于，S600中，所述基于所述第一距离阈值和第二距离阈值对所述侧脸图像进行放大，包括：
S660，根据所述第一距离阈值和第二距离阈值的比值，确定侧脸图像的放大比例范围；
S670，在所述放大比例范围内，对所述侧脸图像进行放大。
7.一种智能镜柜，其特征在于，所述智能镜柜包括柜体、设置在柜体上的智能镜、以及设置在智能镜上的距离传感器和摄像头，所述智能镜包括镜面和电子显示屏，以及
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至6任一项所述的智能镜柜的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311858759.9A CN117831104B (zh) | 2023-12-30 | 2023-12-30 | 一种智能镜柜及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311858759.9A CN117831104B (zh) | 2023-12-30 | 2023-12-30 | 一种智能镜柜及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117831104A true CN117831104A (zh) | 2024-04-05 |
| CN117831104B CN117831104B (zh) | 2024-05-24 |
Family
ID=90522487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311858759.9A Active CN117831104B (zh) | 2023-12-30 | 2023-12-30 | 一种智能镜柜及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831104B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609490A (zh) * | 2017-08-21 | 2018-01-19 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| WO2019036866A1 (zh) * | 2017-08-21 | 2019-02-28 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| CN109805673A (zh) * | 2019-03-27 | 2019-05-28 | 李睿 | 一种智能镜子 |
| CN110909596A (zh) * | 2019-10-14 | 2020-03-24 | 广州视源电子科技股份有限公司 | 侧脸识别方法、装置、设备以及存储介质 |
| CN111736725A (zh) * | 2020-06-10 | 2020-10-02 | 京东方科技集团股份有限公司 | 智能镜子及智能镜子唤醒方法 |
| US20200349731A1 (en) * | 2018-04-12 | 2020-11-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd | Method for face modeling and related products |
| CN112000221A (zh) * | 2020-07-14 | 2020-11-27 | 华为技术有限公司 | 自动检测肌肤的方法、自动指导护肤化妆的方法及终端 |
| CN113468932A (zh) * | 2020-04-28 | 2021-10-01 | 海信集团有限公司 | 一种智能镜及化妆教学方法 |
| CN114983338A (zh) * | 2021-03-02 | 2022-09-02 | 华为技术有限公司 | 一种皮肤检测方法和电子设备 |
| CN115424308A (zh) * | 2021-05-12 | 2022-12-02 | 海信集团控股股份有限公司 | 一种智能化妆镜及显示辅助妆容的方法 |
| CN117079343A (zh) * | 2023-07-17 | 2023-11-17 | 浙江大学台州研究院 | 一种智能卫浴镜的控制方法 |
| CN117133029A (zh) * | 2022-07-21 | 2023-11-28 | 惠州Tcl移动通信有限公司 | 一种镜子调整方法、装置、智能设备及存储介质 |
-
2023
- 2023-12-30 CN CN202311858759.9A patent/CN117831104B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019036866A1 (zh) * | 2017-08-21 | 2019-02-28 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| CN107609490A (zh) * | 2017-08-21 | 2018-01-19 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| US20200349731A1 (en) * | 2018-04-12 | 2020-11-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd | Method for face modeling and related products |
| CN109805673A (zh) * | 2019-03-27 | 2019-05-28 | 李睿 | 一种智能镜子 |
| CN110909596A (zh) * | 2019-10-14 | 2020-03-24 | 广州视源电子科技股份有限公司 | 侧脸识别方法、装置、设备以及存储介质 |
| CN113468932A (zh) * | 2020-04-28 | 2021-10-01 | 海信集团有限公司 | 一种智能镜及化妆教学方法 |
| CN111736725A (zh) * | 2020-06-10 | 2020-10-02 | 京东方科技集团股份有限公司 | 智能镜子及智能镜子唤醒方法 |
| CN112000221A (zh) * | 2020-07-14 | 2020-11-27 | 华为技术有限公司 | 自动检测肌肤的方法、自动指导护肤化妆的方法及终端 |
| CN114983338A (zh) * | 2021-03-02 | 2022-09-02 | 华为技术有限公司 | 一种皮肤检测方法和电子设备 |
| WO2022184084A1 (zh) * | 2021-03-02 | 2022-09-09 | 华为技术有限公司 | 一种皮肤检测方法和电子设备 |
| CN115424308A (zh) * | 2021-05-12 | 2022-12-02 | 海信集团控股股份有限公司 | 一种智能化妆镜及显示辅助妆容的方法 |
| CN117133029A (zh) * | 2022-07-21 | 2023-11-28 | 惠州Tcl移动通信有限公司 | 一种镜子调整方法、装置、智能设备及存储介质 |
| CN117079343A (zh) * | 2023-07-17 | 2023-11-17 | 浙江大学台州研究院 | 一种智能卫浴镜的控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李阳: "基于人脸识别的智能魔镜功能需求和人机交互研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 March 2017 (2017-03-15), pages 138 - 4494 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117831104B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108304829B (zh) | 人脸识别方法、装置及系统 | |
| CN107710111B (zh) | 确定用于接近敏感相互作用的俯仰角 | |
| CN106778477B (zh) | 网球拍动作识别方法及装置 | |
| US8059888B2 (en) | Semi-automatic plane extrusion for 3D modeling | |
| EP3105664B1 (en) | Determining pitch and yaw for touchscreen interactions | |
| GB2590208A (en) | Face-based special effect generation method and apparatus, and electronic device | |
| CN111767783A (zh) | 行为检测、模型训练方法、装置、电子设备及存储介质 | |
| JP2009230751A (ja) | 年令推定装置 | |
| JPH1153083A (ja) | アクティブな公共インターフェイスのための人間の視覚的感知方法及び装置 | |
| CN104049760B (zh) | 一种人机交互命令的获取方法及系统 | |
| TW200939135A (en) | Apparatus and method of image calculating process and face detection system using the same | |
| CN112416206A (zh) | 一种显示窗口调节方法、设备、电子设备及存储介质 | |
| CN108022543A (zh) | 一种广告自主演示方法、系统和广告机及应用 | |
| CN103679788A (zh) | 一种移动终端中3d图像的生成方法和装置 | |
| CN112686231B (zh) | 动态手势识别方法、装置、可读存储介质及计算机设备 | |
| CN112507918A (zh) | 一种手势识别方法 | |
| US9349038B2 (en) | Method and apparatus for estimating position of head, computer readable storage medium thereof | |
| CN115471916A (zh) | 吸烟检测方法、装置、设备及存储介质 | |
| CN117831104B (zh) | 一种智能镜柜及其控制方法 | |
| KR20190067433A (ko) | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 | |
| CN111986229A (zh) | 视频目标检测方法、装置及计算机系统 | |
| TWI544367B (zh) | 手勢辨識與控制方法及其裝置 | |
| CN108108709B (zh) | 一种识别方法及装置、计算机存储介质 | |
| WO2024022301A1 (zh) | 视角路径获取方法、装置、电子设备及介质 | |
| WO2021248857A1 (zh) | 一种障碍物属性判别方法、系统及智能机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |