CN117575636A - 一种基于视频处理的智能镜控制方法及系统 - Google Patents
一种基于视频处理的智能镜控制方法及系统 Download PDFInfo
- Publication number
- CN117575636A CN117575636A CN202311754185.0A CN202311754185A CN117575636A CN 117575636 A CN117575636 A CN 117575636A CN 202311754185 A CN202311754185 A CN 202311754185A CN 117575636 A CN117575636 A CN 117575636A
- Authority
- CN
- China
- Prior art keywords
- target user
- mirror
- user
- intelligent mirror
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims description 26
- 238000013459 approach Methods 0.000 claims description 12
- 210000003128 head Anatomy 0.000 description 33
- 238000003062 neural network model Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 210000001331 nose Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Multimedia (AREA)
- Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
Abstract
本发明提供的一种基于视频处理的智能镜控制方法及系统，该方法包括基于使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；基于目标用户信息、目标用户的头发信息、目标用户的衣着信息确定推荐穿着；基于推荐穿着和目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；基于目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；获取目标用户发出的回应语音；对目标用户发出的回应语音进行识别并确定智能镜的语音回应动作；基于智能镜的语音回应动作对智能镜进行控制，该方法能够从众多的用户中选出需要进行服装购买的用户并推荐合适的穿着。
Description
技术领域
本发明涉及智能镜技术领域，具体涉及一种基于视频处理的智能镜控制方法及系统。
背景技术
智能镜是一种集成了多种智能化功能的镜子，例如显示天气信息、时间信息、新闻资讯、应用等。这些功能使得智能镜成为现代生活中不可或缺的一部分。
当智能镜放置在商城时，用户可以通过智能镜来照镜子、看新闻、浏览服装等等。商城的往来用户数量巨大，每天都有大量的用户在商城中进行各种活动。其中，一部分用户可能对服装购买有兴趣，但并不是所有的用户都会进行购买，在传统的商城中，从往来的用户中挑选出需要进行服装购买的目标用户主要依靠销售人员的经验预测，然而，这种方式需要大量的人力，而且选出来的有购买意愿的用户的准确度较低。
因此，如何从众多的用户中选出需要进行服装购买的用户并推荐合适的穿着是当前亟待解决的问题。
发明内容
本发明主要解决的技术问题如何从众多的用户中选出需要进行服装购买的用户并推荐合适的穿着。
根据第一方面，本发明提供一种基于视频处理的智能镜控制方法，包括：获取多个用户在智能镜前的走动视频；基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着；基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动；获取目标用户发出的回应语音；对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置；基于所述智能镜的语音回应动作对智能镜进行控制。
更进一步地，所述推荐穿着包括推荐帽子、推荐外套、推荐裤子、推荐鞋子。
更进一步地，所述方法还包括：获取拍照用户的靠近视频；基于所述拍照用户的靠近视频使用位置信息确定模型确定拍照用户的欲看清部位的位置信息；基于所述拍照用户的欲看清部位的位置信息控制摄像头对所述拍照用户的欲看清部位的位置信息进行拍照得到欲看清部位的拍照图像；将所述欲看清部位的拍照图像显示在智能镜上。
更进一步地，所述生成对抗网络的输入为所述推荐穿着和所述目标用户图像，所述生成对抗网络的输出为目标用户虚拟穿着图像。
更进一步地，所述智能镜还包括温度传感器和湿度传感器，所述温度传感器用于检测环境温度，所述湿度传感器用于检测环境湿度，温度传感器的检测结果和湿度传感器的检测结果显示在智能镜上。
根据第二方面，本发明提供一种基于视频处理的智能镜控制系统，包括：第一获取模块，用于获取多个用户在智能镜前的走动视频；
判断模块，用于基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；
推荐模块，用于基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着；
虚拟穿着图像生成模块，用于基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；
角度确定模块，用于基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；
显示模块，用于将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动；
第二获取模块，用于获取目标用户发出的回应语音；
回应模块，用于对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置；
控制模块，用于基于所述智能镜的语音回应动作对智能镜进行控制。
更进一步地，所述推荐穿着包括推荐帽子、推荐外套、推荐裤子、推荐鞋子。
更进一步地，所述系统还用于：
获取拍照用户的靠近视频；
基于所述拍照用户的靠近视频使用位置信息确定模型确定拍照用户的欲看清部位的位置信息；
基于所述拍照用户的欲看清部位的位置信息控制摄像头对所述拍照用户的欲看清部位的位置信息进行拍照得到欲看清部位的拍照图像；
将所述欲看清部位的拍照图像显示在智能镜上。
更进一步地，所述生成对抗网络的输入为所述推荐穿着和所述目标用户图像，所述生成对抗网络的输出为目标用户虚拟穿着图像。
更进一步地，所述智能镜还包括温度传感器和湿度传感器，所述温度传感器用于检测环境温度，所述湿度传感器用于检测环境湿度，温度传感器的检测结果和湿度传感器的检测结果显示在智能镜上。
本发明提供的一种基于视频处理的智能镜控制方法及系统，该方法包括获取多个用户在智能镜前的走动视频；基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着；基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动；获取目标用户发出的回应语音；对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置；基于所述智能镜的语音回应动作对智能镜进行控制，该方法能够从众多的用户中选出需要进行服装购买的用户并推荐合适的穿着。
附图说明
图1为本发明实施例提供的一种基于视频处理的智能镜控制方法的流程示意图；
图2为本发明实施例提供的一种通过智能镜对用户的部位进行拍照并显示在智能镜上的流程示意图；
图3为本发明实施例提供的一种基于视频处理的智能镜控制系统的示意图。
具体实施方式
本发明实施例中，提供了如图1所示的一种基于视频处理的智能镜控制方法，所述基于视频处理的智能镜控制方法包括步骤S1～S9：
步骤S1，获取多个用户在智能镜前的走动视频。
在一些实施例中，可以将摄像头安装在智能镜上方，并通过摄像头获取多个用户在智能镜前的走动视频。
步骤S2，基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息。
目标用户是通过判断模型从多个用户中选出来的具备服装购买意愿的用户。目标用户图像是通过判断模型输出的目标用户的全身图像。
目标用户信息是指判断模型根据用户的行为和外观特征所推断出的用户个人属性和偏好等信息。目标用户信息包括性别、年龄、身高、体重、风格喜好。
目标用户头部朝向是指目标用户头部位置的朝向。例如用户头部朝向为正朝前，又例如，用户头部朝向为头部往左偏转了15度。
目标用户的头发信息包括目标用户的头发样式、长度、颜色等。目标用户的衣着信息包括目标用户的上身穿着信息、目标用户的下身穿着信息、鞋子穿着信息。目标用户的上身穿着信息包括用户穿着的衬衫、T恤、毛衣等上装款式、颜色、图案等方面的信息。目标用户的下身穿着信息则包括用户穿着的裤子、裙子等下装款式、颜色等信息。鞋子穿着信息则包括了用户穿着的鞋子鞋型、颜色、材质等方面的信息。
判断模型为长短期神经网络模型，判断模型的输入为所述多个用户在智能镜前的走动视频，判断模型的输出为目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息。长短期神经网络模型包括长短期神经网络(LSTM，LongShort-Term Memory)。长短期神经网络模型能够处理任意长度的序列数据，捕捉序列的信息，输出基于序列中前后数据关联关系的结果。长短期神经网络模型包括遗忘门、输入门和输出门。遗忘门决定了前一时刻的记忆状态是否传递给当前时刻，输入门负责控制新的输入信息是否被加入到记忆状态中，输出门则控制着当前时刻的输出。通过这种门控机制，长短期神经网络模型能够更好地捕捉序列数据中的长期依赖关系。
智能镜前的走动视频可以看作是一个时间序列，每一帧都包含了用户在不同时间点的状态。长短期神经网络模型能够有效地捕捉和利用这些时间序列中的上下文信息，从而推断出目标用户的图像、信息和其他特征。在长短期神经网络模型中，通过使用门控单元来控制信息的流动和记忆的更新。模型会根据前面的视频帧，逐渐积累并维护一个状态，以便更好地理解和预测后续帧的信息。这样，模型就可以在整个视频序列中确定出目标用户，并提取出其图像、朝向、头发信息和衣着信息。
在一些实施例中，判断模型包括行人检测层、购物状态确定层、目标用户检测层、关键点检测层、目标用户信息确定层。在一些实施例中，行人检测层、购物状态确定层、目标用户检测层、关键点检测层、目标用户信息确定层都包括长短期神经网络。行人检测层的输入为多个用户在智能镜前的走动视频，行人检测层的输出为待检测的每个用户在智能镜前的分割视频，购物状态确定层的输入为待检测的每个用户在智能镜前的分割视频，购物状态确定层的输出为每个用户的头部动作序列、腿部动作序列、手部动作序列、情绪状态，目标用户检测层的输入为每个用户的头部动作序列、腿部动作序列、手部动作序列、情绪状态，目标用户检测层的输出为目标用户。关键点检测层的输入为目标用户的分割视频，关键点检测层的输出为目标用户图像、目标用户衣着区域、目标用户头部区域、目标用户头发区域。目标用户信息确定层的输入为目标用户图像、目标用户衣着区域、目标用户头部区域、目标用户头发区域，目标用户信息确定层的输出为目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息。
头部动作序列可以反映用户对某个物品或商品的注意力和关注度。如果用户频繁地转动头部、目光集中在某个区域，可能表示他们对该区域的商品或服装感兴趣。腿部动作序列可以提供关于用户行动意图的线索。例如，如果用户表现出频繁的走动、试穿或观察某个服装区域，可能暗示他们对该区域的服装有购买欲望。手部动作序列可以揭示用户的购买意愿。例如，用户触摸、拿起、摆弄某个服装或配件，可能表示他们对该商品的兴趣和购买意愿。情绪状态也可以影响用户的购买决策。例如，用户表现出兴奋、满意或高兴的情绪状态，可能意味着他们对某个商品或服装感兴趣，并可能有购买意愿。购物状态确定层通过分析和综合这些动作序列和情绪状态的信息，可以推断出用户是否具有服装购买欲望并从多个用户中确定出目标用户。
目标用户的衣着区域指的是用户身上穿戴的衣物的区域，包括上衣、裤子、裙子等。
目标用户头部区域指的是用户头部的区域，包括脸部、耳朵、眼睛、口鼻等部位。
目标用户的头发区域指的是用户头发所在的区域。
行人检测层是对输入的多个用户走动视频进行行人检测，即识别出图像中的行人，其输出为待检测的每个用户在智能镜前的分割视频，即将行人从背景中分离出来。在一些实施例中，行人检测层包括距离确定子层、用户筛选子层、分割子层。距离确定子层的输入为多个用户走动视频，距离确定子层的输出为视频中每个用户到智能镜的垂直距离，用户筛选子层的输入为每个用户到智能镜的垂直距离，用户筛选子层的输出为筛选出的多个待检测用户，分割子层的输入为筛选出的多个待检测用户和多个用户走动视频，分割子层的输出为待检测的每个用户在智能镜前的分割视频。通过将行人检测划分为距离确定、用户筛选和分割子层，可以逐步提取和确定每个用户的信息，并实现对用户的准确识别和定位。这种多层级结构有助于提高行人检测的精度和鲁棒性，同时减少了对背景干扰的影响。
步骤S3，基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着。
在一些实施例中，可以通过穿着推荐模型来基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着。穿着推荐模型为深度神经网络模型，穿着推荐模型的输入为所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息，穿着推荐模型的输出为推荐穿着。深度神经网络模型包括深度神经网络(Deep NeuralNetworks，DNN)。深度神经网络可以包括多个处理层，每个处理层由多个神经元组成，每个神经元对数据做矩阵变换。矩阵所使用的参数可以通过训练获得。深度神经网络可以包括卷积神经网络(Convolutional Neural Networks，CNN)、生成对抗网络(GenerativeAdversarial Networks，GAN)等等。
在一些实施例中，推荐穿着包括推荐帽子、推荐外套、推荐裤子、推荐鞋子。
深度神经网络模型可以在大量的数据中学习到不同特征之间的关系，并能够根据这些关系进行预测和推荐。作为示例，深度神经网络模型可以通过多层神经元的组合和计算，对目标用户的信息、头发信息和衣着信息进行自动编码和提取，从而得到更高层次的、更抽象的特征表示。模型可以将这些不同特征向量结合起来，得到一个基于目标用户信息、头发信息和衣着信息的综合的特征表达。基于这样的特征表达，深度神经网络模型可以使用分类或回归方法，对不同穿着的适合程度进行评估，并提供相应的推荐穿着。例如，对于一件衣服，模型可以通过与目标用户信息、头发信息和衣着信息的特征向量之间的相似度计算，判断其是否适合目标用户。如果相似度越高，则越有可能被推荐给目标用户。
步骤S4，基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像。
目标用户虚拟穿着图像指的是将推荐穿着和目标用户图像结合起来，确定最终用于展示给用户的虚拟穿着图像。该图像应能够准确地反映用户穿戴不同衣物的样子。
所述生成对抗网络的输入为所述推荐穿着和所述目标用户图像，所述生成对抗网络的输出为目标用户虚拟穿着图像。生成对抗网络(Generative Adversarial Network，简称GAN)包括生成器和判别器，生成器和判别器相互博弈，不断地进行优化，以达到生成逼真数据的目的。
GAN模型通过训练过程，可以学习到数据的特征表示。在这个任务中，目标用户图像作为真实数据，可以被GAN模型用作学习目标用户的特征表示。这些特征可以被生成器用于生成与目标用户个性化需求和特征相匹配的虚拟穿着图像。GAN模型的生成器和判别器相互博弈，通过不断地优化和对抗训练，生成器会逐渐学习到合理的生成策略，以生成逼真的虚拟穿着图像。同时，判别器也会逐渐提高其辨别能力，以区分真实和虚假的穿着图像。这种优化过程使得生成器能够更好地生成与目标用户特征相匹配的虚拟穿着图像。生成对抗网络可以使得生成的目标用户虚拟穿着图像更加逼真。
步骤S5，基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度。
智能镜的位置信息可以包括智能镜当前的位置坐标、姿态、角度。
智能镜的转动角度指的是智能镜需要进行的旋转角度，通过得到智能镜的转动角度，可以使得智能镜的显示方向与所述目标用户头部朝向正对着，即当智能镜转动后，智能镜的显示界面与所述目标用户头部朝向相互垂直，以便目标用户可以能够方便地观察到镜中的目标用户虚拟穿着图像。
在一些实施例中，可以基于智能镜的转动角度与所述目标用户头部朝向和智能镜的位置信息的预设关系表来确定智能镜的转动角度。预设关系表是提前人为构建的，预设关系表包括目标用户头部朝向和智能镜的位置信息及对应的智能镜的转动角度，可以将目标用户头部朝向和智能镜的位置信息输入到预设关系表后，通过预设关系表即可确定智能镜的转动角度。
步骤S6，将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动。
作为示例，如果用户的头部朝向右侧，而智能镜的当前位置在中央，那么智能镜通过转动角度转动到目标位置后，可以使镜面的显示方向与用户头部朝向垂直，以方便用户观察镜中的内容。
在一些实施例中，智能镜可以被嵌入到镜柜的表面，与镜柜的边缘无缝连接。
镜柜下方的转动装置指的是安装在镜柜下方的机械装置，用于控制智能镜的旋转和调整。这个转动装置可以根据系统控制信号来调整智能镜的角度和位置。作为示例，镜柜下方的转动装置可以是一个电动装置来实现智能镜的转动，电动装置包括电机、齿轮等。通过控制装置，智能镜可以在不同角度和位置间进行移动和调整。
步骤S7，获取目标用户发出的回应语音。
目标用户的回应语音是指当智能镜转动到目标位置后用户对所述目标用户虚拟穿着图像的回应语音。作为示例，回应语音可以为“更换下一套衣服”、“我不购买服装”、“我很喜欢这套衣服”等。
步骤S8，对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置。
在一些实施例中，可以基于所述目标用户发出的回应语音使用语音识别模型进行识别并确定智能镜的语音回应动作。语音识别模型可以为深度神经网络模型。语音识别模型的输入为所述目标用户发出的回应语音，语音识别模型的输出为智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置。
输出欢迎话术指智能镜通过语音方式向用户表示欢迎和引导。例如，回应话术包括“欢迎进店购买”等。作为示例，若目标用户发出的回应语音为“我很喜欢这套衣服”，则智能镜可以输出欢迎话术以向用户表示欢迎和引导。
更换推荐穿着指智能镜根据用户的需求和反馈，推荐不同的穿着风格或更换相似的衣物供用户试穿。作为示例，若目标用户发出的回应语音为“更换下一套衣服”，则智能镜可以更换推荐穿着。
控制智能镜回到初始位置指智能镜通过控制机械结构或电子设备，使自身回到预设的初始位置。作为示例，若目标用户发出的回应语音为“我不购买服装”，则可以控制智能镜回到初始位置。
步骤S9，基于所述智能镜的语音回应动作对智能镜进行控制。
在一些实施例中，在得到智能镜的语音回应动作后，系统可以基于所述智能镜的语音回应动作对智能镜进行控制。例如，可以输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置。
在一些实施例中，所述智能镜还包括温度传感器和湿度传感器，所述温度传感器用于检测环境温度，所述湿度传感器用于检测环境湿度，温度传感器的检测结果和湿度传感器的检测结果显示在智能镜上。
在一些实施例中，还可以通过智能镜对用户的部位进行拍照并显示在智能镜上，图2为本发明实施例提供的一种通过智能镜对用户的部位进行拍照并显示在智能镜上的流程示意图，图2包括步骤S21-S24：
步骤S21，获取拍照用户的靠近视频。
在一些实施例中，通过传感器感应到当用户向智能镜靠近时，智能镜系统会自动启动视频捕捉功能，并开始录制得到拍照用户的靠近视频。拍照用户为具备拍照需求的用户。
步骤S22，基于所述拍照用户的靠近视频使用位置信息确定模型确定拍照用户的欲看清部位的位置信息。
由于智能镜可以被用于照镜子。当拍照用户在用智能镜照镜子时，由于镜子显示的内容往往是原本大小的信息，而由于镜子距离拍照用户还有距离，因此，智能镜显示的镜中内容会因为距离过长导致用户还是不能准确的看清具体部位，则可以通过摄像头来进行拍照后将用户的欲看清部位显示在智能屏上，以使得用户能够看清用户的欲看清部位。位置信息确定模型为长短期神经网络模型，位置信息确定模型的输入为所述拍照用户的靠近视频，位置信息确定模型的输出为拍照用户的欲看清部位的位置信息。
目标用户的靠近视频包含了用户位置信息、用户姿态信息、用户行为信息等。作为示例，用户在观察时的姿态信息也包含在目标用户的靠近视频中。通过分析视频中用户的头部、眼睛和肢体等部位的姿态，可以判断用户的视线方向以及目光聚焦的部位，从而确定用户希望观察的部位的位置信息。目标用户的靠近视频中还包含了用户的行为信息，如用户的动作、移动方向等。通过分析这些行为信息，可以推断用户的意图和需求，进而确定用户希望观察的部位的位置信息。位置信息确定模型可以对目标用户的靠近视频进行处理得到拍照用户的欲看清部位的位置信息。
步骤S23，基于所述拍照用户的欲看清部位的位置信息控制摄像头对所述拍照用户的欲看清部位的位置信息进行拍照得到欲看清部位的拍照图像。
在得到所述拍照用户的欲看清部位的位置信息后，则控制摄像头对所述拍照用户的欲看清部位的位置信息进行拍照得到欲看清部位的拍照图像。
作为示例，当用户想要通过智能镜照鼻子时，则可以通过摄像头来对鼻子进行拍照得到鼻子的拍照图像。在一些实施例中，摄像头的分辨率高于1080p。
步骤S24，将所述欲看清部位的拍照图像显示在智能镜上。
在该步骤中，智能镜系统将前一步骤获得的目标用户希望观察的部位的拍照图像显示在智能镜上。作为示例，智能镜系统可以在智能镜的显示屏上显示用户的脸部照片，以便用户可以直接观察和检查自己的脸部特征和状态。
基于同一发明构思，图3为本发明的实施例提供的一种基于视频处理的智能镜控制系统示意图，所述基于视频处理的智能镜控制系统包括：
第一获取模块31，用于获取多个用户在智能镜前的走动视频；
判断模块32，用于基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；
推荐模块33，用于基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着；
虚拟穿着图像生成模块34，用于基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；
角度确定模块35，用于基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；
显示模块36，用于将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动；
第二获取模块37，用于获取目标用户发出的回应语音；
回应模块38，用于对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置；
控制模块39，用于基于所述智能镜的语音回应动作对智能镜进行控制。
Claims (10)
1.一种基于视频处理的智能镜控制方法，其特征在于，包括：
获取多个用户在智能镜前的走动视频；
基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；
基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着；
基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；
基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；
将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动；
获取目标用户发出的回应语音；
对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置；
基于所述智能镜的语音回应动作对智能镜进行控制。
2.如权利要求1所述的基于视频处理的智能镜控制方法，其特征在于，所述推荐穿着包括推荐帽子、推荐外套、推荐裤子、推荐鞋子。
3.如权利要求1所述的基于视频处理的智能镜控制方法，其特征在于，所述方法还包括：
获取拍照用户的靠近视频；
基于所述拍照用户的靠近视频使用位置信息确定模型确定拍照用户的欲看清部位的位置信息；
基于所述拍照用户的欲看清部位的位置信息控制摄像头对所述拍照用户的欲看清部位的位置信息进行拍照得到欲看清部位的拍照图像；
将所述欲看清部位的拍照图像显示在智能镜上。
4.如权利要求1所述的基于视频处理的智能镜控制方法，其特征在于，所述生成对抗网络的输入为所述推荐穿着和所述目标用户图像，所述生成对抗网络的输出为目标用户虚拟穿着图像。
5.如权利要求1所述的基于视频处理的智能镜控制方法，其特征在于，所述智能镜还包括温度传感器和湿度传感器，所述温度传感器用于检测环境温度，所述湿度传感器用于检测环境湿度，温度传感器的检测结果和湿度传感器的检测结果显示在智能镜上。
6.一种基于视频处理的智能镜控制系统，其特征在于，包括：
第一获取模块，用于获取多个用户在智能镜前的走动视频；
判断模块，用于基于所述多个用户在智能镜前的走动视频使用判断模型确定目标用户图像、目标用户信息、目标用户头部朝向、目标用户的头发信息、目标用户的衣着信息；
推荐模块，用于基于所述目标用户信息、目标用户的头发信息、所述目标用户的衣着信息确定推荐穿着；
虚拟穿着图像生成模块，用于基于所述推荐穿着和所述目标用户图像使用生成对抗网络确定目标用户虚拟穿着图像；
角度确定模块，用于基于所述目标用户头部朝向和智能镜的位置信息确定智能镜的转动角度；
显示模块，用于将所述目标用户虚拟穿着图像显示在智能镜上并播放提示语音，再基于所述智能镜的转动角度控制智能镜转动到目标位置，智能镜镶嵌在镜柜上，镜柜下方设置有转动装置，智能镜通过镜柜下方的转动装置进行转动；
第二获取模块，用于获取目标用户发出的回应语音；
回应模块，用于对所述目标用户发出的回应语音进行识别并确定智能镜的语音回应动作，所述智能镜的语音回应动作包括输出欢迎话术、更换推荐穿着、控制智能镜回到初始位置；
控制模块，用于基于所述智能镜的语音回应动作对智能镜进行控制。
7.如权利要求6所述的基于视频处理的智能镜控制系统，其特征在于，所述推荐穿着包括推荐帽子、推荐外套、推荐裤子、推荐鞋子。
8.如权利要求6所述的基于视频处理的智能镜控制系统，其特征在于，所述系统还用于：
获取拍照用户的靠近视频；
基于所述拍照用户的靠近视频使用位置信息确定模型确定拍照用户的欲看清部位的位置信息；
基于所述拍照用户的欲看清部位的位置信息控制摄像头对所述拍照用户的欲看清部位的位置信息进行拍照得到欲看清部位的拍照图像；
将所述欲看清部位的拍照图像显示在智能镜上。
9.如权利要求6所述的基于视频处理的智能镜控制系统，其特征在于，所述生成对抗网络的输入为所述推荐穿着和所述目标用户图像，所述生成对抗网络的输出为目标用户虚拟穿着图像。
10.如权利要求6所述的基于视频处理的智能镜控制系统，其特征在于，所述智能镜还包括温度传感器和湿度传感器，所述温度传感器用于检测环境温度，所述湿度传感器用于检测环境湿度，温度传感器的检测结果和湿度传感器的检测结果显示在智能镜上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311754185.0A CN117575636B (zh) | 2023-12-19 | 2023-12-19 | 一种基于视频处理的智能镜控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311754185.0A CN117575636B (zh) | 2023-12-19 | 2023-12-19 | 一种基于视频处理的智能镜控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117575636A true CN117575636A (zh) | 2024-02-20 |
| CN117575636B CN117575636B (zh) | 2024-05-24 |
Family
ID=89893966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311754185.0A Active CN117575636B (zh) | 2023-12-19 | 2023-12-19 | 一种基于视频处理的智能镜控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117575636B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037823A (zh) * | 2017-11-30 | 2018-05-15 | 深圳云天励飞技术有限公司 | 信息推荐方法、智能镜子及计算机可读存储介质 |
| CN108596730A (zh) * | 2018-04-26 | 2018-09-28 | 北京超满意科技有限责任公司 | 服饰信息的处理方法、装置及智能设备 |
| CN109345337A (zh) * | 2018-09-14 | 2019-02-15 | 广州多维魔镜高新科技有限公司 | 一种网购试穿戴方法、虚拟试衣镜、系统及存储介质 |
| CN109584276A (zh) * | 2018-12-04 | 2019-04-05 | 北京字节跳动网络技术有限公司 | 关键点检测方法、装置、设备及可读介质 |
| CN110110707A (zh) * | 2019-05-24 | 2019-08-09 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络动态识别系统 |
| CN110648186A (zh) * | 2018-06-26 | 2020-01-03 | 杭州海康威视数字技术股份有限公司 | 数据分析方法、装置、设备及计算机可读存储介质 |
| CN111508079A (zh) * | 2020-04-22 | 2020-08-07 | 深圳追一科技有限公司 | 虚拟服饰试穿方法、装置、终端设备及存储介质 |
| KR20200099708A (ko) * | 2019-02-15 | 2020-08-25 | 한양대학교 에리카산학협력단 | 스마트 미러 시스템 |
| CN111768472A (zh) * | 2020-05-29 | 2020-10-13 | 北京沃东天骏信息技术有限公司 | 虚拟试衣方法及装置、计算机可存储介质 |
| WO2021102417A1 (en) * | 2019-11-22 | 2021-05-27 | Lee Haesung | Smart mirror system for collecting and visualizing physical appearance information |
| CN113076780A (zh) * | 2020-01-03 | 2021-07-06 | 乔山健身器材（上海）有限公司 | 健身用智能镜子 |
| CN113361560A (zh) * | 2021-03-22 | 2021-09-07 | 浙江大学 | 一种基于语义的多姿势虚拟试衣方法 |
| CN113487373A (zh) * | 2020-05-28 | 2021-10-08 | 海信集团有限公司 | 试衣镜、终端、服装推荐方法及存储介质 |
| CN114110783A (zh) * | 2021-11-15 | 2022-03-01 | 珠海格力电器股份有限公司 | 一种柜式空调、控制方法、电子设备及存储介质 |
| CN114219578A (zh) * | 2021-12-22 | 2022-03-22 | 深圳市智莱科技股份有限公司 | 无人服装售卖方法、装置、终端及存储介质 |
| CN117114965A (zh) * | 2022-05-13 | 2023-11-24 | 青岛海尔洗衣机有限公司 | 虚拟试衣试妆方法、虚拟试衣试妆设备和系统 |
-
2023
- 2023-12-19 CN CN202311754185.0A patent/CN117575636B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037823A (zh) * | 2017-11-30 | 2018-05-15 | 深圳云天励飞技术有限公司 | 信息推荐方法、智能镜子及计算机可读存储介质 |
| CN108596730A (zh) * | 2018-04-26 | 2018-09-28 | 北京超满意科技有限责任公司 | 服饰信息的处理方法、装置及智能设备 |
| CN110648186A (zh) * | 2018-06-26 | 2020-01-03 | 杭州海康威视数字技术股份有限公司 | 数据分析方法、装置、设备及计算机可读存储介质 |
| CN109345337A (zh) * | 2018-09-14 | 2019-02-15 | 广州多维魔镜高新科技有限公司 | 一种网购试穿戴方法、虚拟试衣镜、系统及存储介质 |
| CN109584276A (zh) * | 2018-12-04 | 2019-04-05 | 北京字节跳动网络技术有限公司 | 关键点检测方法、装置、设备及可读介质 |
| KR20200099708A (ko) * | 2019-02-15 | 2020-08-25 | 한양대학교 에리카산학협력단 | 스마트 미러 시스템 |
| CN110110707A (zh) * | 2019-05-24 | 2019-08-09 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络动态识别系统 |
| WO2021102417A1 (en) * | 2019-11-22 | 2021-05-27 | Lee Haesung | Smart mirror system for collecting and visualizing physical appearance information |
| CN113076780A (zh) * | 2020-01-03 | 2021-07-06 | 乔山健身器材（上海）有限公司 | 健身用智能镜子 |
| CN111508079A (zh) * | 2020-04-22 | 2020-08-07 | 深圳追一科技有限公司 | 虚拟服饰试穿方法、装置、终端设备及存储介质 |
| CN113487373A (zh) * | 2020-05-28 | 2021-10-08 | 海信集团有限公司 | 试衣镜、终端、服装推荐方法及存储介质 |
| CN111768472A (zh) * | 2020-05-29 | 2020-10-13 | 北京沃东天骏信息技术有限公司 | 虚拟试衣方法及装置、计算机可存储介质 |
| CN113361560A (zh) * | 2021-03-22 | 2021-09-07 | 浙江大学 | 一种基于语义的多姿势虚拟试衣方法 |
| CN114110783A (zh) * | 2021-11-15 | 2022-03-01 | 珠海格力电器股份有限公司 | 一种柜式空调、控制方法、电子设备及存储介质 |
| CN114219578A (zh) * | 2021-12-22 | 2022-03-22 | 深圳市智莱科技股份有限公司 | 无人服装售卖方法、装置、终端及存储介质 |
| CN117114965A (zh) * | 2022-05-13 | 2023-11-24 | 青岛海尔洗衣机有限公司 | 虚拟试衣试妆方法、虚拟试衣试妆设备和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117575636B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110249360B (zh) | 用于推荐产品的装置和方法 | |
| KR102659288B1 (ko) | 전자 장치 및 그 동작 방법 | |
| US10810409B2 (en) | Identifying facial expressions in acquired digital images | |
| US10109051B1 (en) | Item recommendation based on feature match | |
| KR102664008B1 (ko) | 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 | |
| EP3479351B1 (en) | System and method for digital makeup mirror | |
| JP6850723B2 (ja) | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム | |
| KR20200020646A (ko) | 이미지에 보케 효과를 적용하는 방법 및 기록매체 | |
| MX2011012725A (es) | Aparato de busqueda de imagenes y metodo de busqueda de imagenes. | |
| CN108885794A (zh) | 在用户的真实人体模型上虚拟试穿衣服 | |
| EP3651103A1 (en) | Device, system and method for providing service relating to advertising and product purchase by using artificial-intelligence technology | |
| US20210374402A1 (en) | Apparatus and method for monitoring user based on multi-view face image | |
| US11574424B2 (en) | Augmented reality map curation | |
| CN113569614A (zh) | 虚拟形象生成方法、装置、设备及存储介质 | |
| Asif et al. | Human gait recognition subject to different covariate factors in a multi-view environment | |
| WO2010133661A1 (en) | Identifying facial expressions in acquired digital images | |
| JP2010262425A (ja) | 衣服を認識および分類するためのコンピュータ実行方法 | |
| CN114201681A (zh) | 用于推荐衣物的方法及装置 | |
| CN117575636B (zh) | 一种基于视频处理的智能镜控制方法及系统 | |
| CN110413818B (zh) | 贴纸推荐方法、装置、计算机可读存储介质和计算机设备 | |
| Zhang et al. | Real-time clothes comparison based on multi-view vision | |
| KR102143227B1 (ko) | 객체의 3차원 형상 정보 생성 방법 및 그 장치 | |
| Jain et al. | Computer Vision in Fashion Trend Analysis and Applications | |
| Silva et al. | Automatic system to identify and manage garments for blind people | |
| US20240071019A1 (en) | Three-dimensional models of users wearing clothing items |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |