CN107692701A - 一种智能镜子的显示方法及装置 - Google Patents

一种智能镜子的显示方法及装置 Download PDF

Info

Publication number
CN107692701A
CN107692701A CN201710932586.9A CN201710932586A CN107692701A CN 107692701 A CN107692701 A CN 107692701A CN 201710932586 A CN201710932586 A CN 201710932586A CN 107692701 A CN107692701 A CN 107692701A
Authority
CN
China
Prior art keywords
display screen
viewing area
destination object
key point
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710932586.9A
Other languages
English (en)
Inventor
张康
陈强
韩玉刚
颜水成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710932586.9A priority Critical patent/CN107692701A/zh
Publication of CN107692701A publication Critical patent/CN107692701A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02Mirrors used as equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例提供了一种智能镜子的显示方法,应用于计算机技术领域,所述智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方;该方法包括:确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域,然后控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像。

Description

一种智能镜子的显示方法及装置
技术领域
本发明涉及计算机技术领域,具体而言,本发明涉及一种智能镜子的显示方法及装置。
背景技术
随着计算机技术的发展,终端设备应运而生,用户可以使用终端设备实现各种操作。
在现实生活中,用户可以通过终端设备试穿衣服或者试妆,以使得该用户获知衣服的试穿效果以及妆后效果。然而,当用户通过终端试穿衣服或者试妆时,终端设备将待试穿的衣服,或者上妆后的效果叠加在用户已拍摄图像的相应位置,并显示添加后的效果以使得用户获知试穿衣服效果或者妆后效果,由于当用户通过终端设备试穿衣服或者试妆时,终端设备是将待试穿的衣服以及上妆效果是叠加到已拍摄的图像中,从而导致用户通过终端设备试穿衣服或者试妆的趣味性较差,同时通过终端设备显示出的试穿衣服的效果或者试妆效果不真实,进而导致用户的体验较差。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题,特提出以下技术方案:
本发明的实施例根据一个方面,提供了智能镜子的显示方法,智能镜子包括:显示屏及薄膜,薄膜覆盖于显示屏的表面上方;
方法包括:
确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域;
控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在第二显示区域对应的薄膜处实现平面镜成像。
其中,薄膜覆盖于整个显示屏的表面上方,并紧贴于显示屏的表面,用于在显示屏的亮度大于或者等于预设阈值的情况下,显示屏的显示信息透过薄膜进行显示,在显示屏的亮度小于预设阈值的情况下,薄膜实现平面镜成像。
其中,薄膜为触控膜。
具体地,确定每个待显示的目标对象在显示屏上对应的显示区域的方式,包括:
接收用户触发的第一操作指令,并根据用户触发的第一操作指令,确定待显示的目标对象在显示屏上的显示区域;和/或,
根据待显示的目标对象,以及目标对象与显示位置的预置关系,确定待显示的目标对象在显示屏上的显示区域;和/或,
根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,多媒体信息包括:图像、视频中至少一项;和/或
根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域。
具体地,控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,包括:
获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象,在第二显示区域处显示黑屏。
具体地,若待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为图像,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
从图像中提取关键点,并依据关键点识别出人脸轮廓;
在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;
根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
具体地,若待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为视频,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
从视频中选取至少一个关键帧;
从至少一个关键帧中提取关键点,并依据关键点识别出人脸轮廓;
在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;
根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
具体地,若待显示的目标对象为与人脸的任一面部特征相关,根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域的方式,包括:
根据传感器探测三维人脸数据;
在三维人脸数据中,标记任一面部特征对应的至少一个关键点;
根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;
根据各个关键点与显示屏之间的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
具体地,获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象的方式,包括:
获取与任一面部特征相关的待显示的目标对象;
控制在显示屏上的第一显示区域显示与任一面部特征相关的待显示的目标对象;
其中,与任一面部特征相关的待显示的目标对象包括以下至少一项:重新绘制后的面部特征以及与面部特征相关的附加显示信息。
其中,人脸的面部特征包括眼睛、鼻子、耳朵、眉毛、嘴、脸颊、额头、牙齿、头发中的至少一种。
具体地,若待显示的目标对象与人体的肢体部位相关,且多媒体信息为图像,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
从图像中提取关键点,并依据关键点识别出人体轮廓;
在识别出的人体轮廓中,通过关键点识别与人体的肢体部位,并确定人体的肢体部位与显示屏的位置关系;
根据确定出的人体的肢体部位与显示屏的位置关系,确定与人体的肢体部位相关待显示的目标对象在显示屏上的显示区域。
具体地,若待显示的目标对象与人体的肢体部位相关,且多媒体信息为视频,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
从视频中选取至少一个关键帧;
从至少一个关键帧中提取关键点,并依据关键点识别出人体轮廓;
根据确定出的人体轮廓与显示屏的位置关系,确定与人体的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
具体地,若待显示的目标对象为与人体的肢体部位相关,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
根据传感器探测三维人的肢体部位数据;
在三维人的肢体部位数据中,标记人的肢体部位对应的至少一个关键点;
根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;
根据各个关键点与显示屏之间的位置关系,确定与人的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
具体地,获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象的方式,包括:
获取与人的肢体部位相关的待显示的目标对象;
控制在显示屏上的第一显示区域显示与人的肢体部位相关的待显示的目标对象。
其中,与人肢体部位相关的待显示的目标对象包括与肢体部位相关的附加显示信息。
其中,关键点与显示屏之间的位置关系为关键点与显示屏之间的物理距离。
其中,待显示的目标对象还包括:时间信息、地理位置信息、天气信息以及菜单信息中的至少一种。
进一步地,确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域的步骤之前,还包括:
检测用户针对已显示的菜单信息触发的第二操作指令,并根据第二操作指令分别确定至少一个待显示的目标对象。
其中,第一操作指令和/或第二操作指令为通过语音、触控、手势及光标中的至少一种方式输入的。
具体地,控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏的方式,包括:
在显示屏上,控制通过图层显示方式将黑色图片在第二显示区域下层显示,并在确定出的第一显示区域将目标对象上层显示。
本发明的实施例根据另一个方面,还提供了一种智能镜子的显示装置,智能镜子包括:显示屏及薄膜,薄膜覆盖于显示屏的表面上方;
装置包括:
确定模块,用于确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域;
控制模块,用于控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在第二显示区域对应的薄膜处实现平面镜成像。
其中,薄膜覆盖于整个显示屏的表面上方,并紧贴于显示屏的表面,用于在显示屏的亮度大于或者等于预设阈值的情况下,显示屏的显示信息透过薄膜进行显示,在显示屏的亮度小于预设阈值的情况下,薄膜实现平面镜成像。
其中,薄膜为触控膜。
具体地,确定模块,具体用于接收用户触发的第一操作指令,并根据用户触发的第一操作指令,确定待显示的目标对象在显示屏上的显示区域;
确定模块,具体还用于根据待显示的目标对象,以及目标对象与显示位置的预置关系,确定待显示的目标对象在显示屏上的显示区域;
确定模块,具体还用于根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,多媒体信息包括:图像、视频中至少一项;
确定模块,具体还用于根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域。
具体地,控制模块,具体用于获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象,在第二显示区域处显示黑屏。
具体地,当待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为图像时,确定模块,具体用于从图像中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
具体地,当待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为视频时,确定模块,具体还用于从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
具体地,当待显示的目标对象为与人脸的任一面部特征相关时,确定模块,具体还用于根据传感器探测三维人脸数据;在三维人脸数据中,标记任一面部特征对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
具体地,控制模块,具体用于获取与任一面部特征相关的待显示的目标对象;控制在显示屏上的第一显示区域显示与任一面部特征相关的待显示的目标对象;
其中,与任一面部特征相关的待显示的目标对象包括以下至少一项:重新绘制后的面部特征以及与面部特征相关的附加显示信息。
其中,人脸的面部特征包括眼睛、鼻子、耳朵、眉毛、嘴、脸颊、额头、牙齿、头发中的至少一种。
具体地,当待显示的目标对象与人体的肢体部位相关,且多媒体信息为图像时,确定模块,具体还用于从图像中提取关键点,并依据关键点识别出人体轮廓;在识别出的人体轮廓中,通过关键点识别与人体的肢体部位,并确定人体的肢体部位与显示屏的位置关系;根据确定出的人体的肢体部位与显示屏的位置关系,确定与人体的肢体部位相关待显示的目标对象在显示屏上的显示区域。
具体地,当待显示的目标对象与人体的肢体部位相关,且多媒体信息为视频时,确定模块,具体还用于从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人体轮廓;根据确定出的人体轮廓与显示屏的位置关系,确定与人体的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
具体地,当待显示的目标对象为与人体的肢体部位相关时,确定模块,具体还用于根据传感器探测三维人的肢体部位数据;在三维人的肢体部位数据中,标记人的肢体部位对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与人的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
具体地,获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象的方式,包括:
获取与人的肢体部位相关的待显示的目标对象;
控制在显示屏上的第一显示区域显示与人的肢体部位相关的待显示的目标对象。
其中,与人肢体部位相关的待显示的目标对象包括与肢体部位相关的附加显示信息。
其中,关键点与显示屏之间的位置关系为关键点与显示屏之间的物理距离。
其中,待显示的目标对象还包括:时间信息、地理位置信息、天气信息以及菜单信息中的至少一种。
进一步地,装置还包括:检测模块;
检测模块,还用于检测用户针对已显示的菜单信息触发的第二操作指令;
确定模块,具体还用于根据第二操作指令分别确定至少一个待显示的目标对象。
其中,第一操作指令和/或第二操作指令为通过语音、触控、手势及光标中的至少一种方式输入的。
具体地,控制模块,具体还用于在显示屏上,控制通过图层显示方式将黑色图片在第二显示区域下层显示,并在确定出的第一显示区域将目标对象上层显示。
本发明的实施例根据又一个方面,还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述智能镜子的显示方法。
本发明的实施例根据又一个方面,还提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行上述智能镜子显示的方法对应的操作。
本发明提供了一种智能镜子的显示方法及装置,与现有技术相比,本发明的智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方,确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域,然后控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像,即本发明在待显示目标对象的对应位置显示该待显示的目标对象,在其它位置进行平面镜成像,例如,在眉毛处显示化妆后的眉毛,其它位置显示平面镜成像的效果,将传统的平面镜成像方式与智能设备显示方式相结合,实现了用户通过照镜子的方式,能够在平面镜成像信息上添加显示附加信息的效果,与用户对着镜子试穿衣服或者试妆的效果相似,从而可以增加了用户使用过程中的趣味性体验,同时可以提高智能镜子显示的真实性,进而可以提升用户体验。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的一种智能镜子的显示方法的流程示意图;
图2为本发明实施例的一种智能镜子的显示装置结构示意图;
图3为本发明实施例的另一种智能镜子的显示装置结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
实施例一
本发明实施例提供了一种智能镜子的显示方法,该智能镜子包括:显示屏及薄膜,薄膜覆盖于显示屏的表面上方;如图1所示,该方法包括:
步骤101、确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域。
对于本发明实施例,待显示的目标对象可以为与人脸的任一面部特征相关的待显示的目标对象、与人体的肢体部位相关的待显示的目标对象。
其中,与人脸的任一面部特征相关的待显示的目标对象包括:化妆后的眉毛、化妆后的眼睛、化妆后的脸蛋、化妆后的嘴唇、耳饰、发型、头发颜色等。在本发明实施例中不做限定。
进一步地,与人脸的任一面部特征相关的待显示的目标对象在显示屏上的对应的显示区域为该任一面部特征在显示屏上的对应显示位置。
其中,与人体的肢体部位相关的待显示的目标对象包括:待试穿的衣服、首饰(包括:项链、手链、脚链等)、鞋子等。在本发明实施例中不做限定。
进一步地,与人体的肢体部位相关的待显示的目标对象在显示屏上的对应的显示区域为该人体的肢体部位在显示屏上的对应显示位置。
其中,待显示的目标对象还包括:时间信息、地理位置信息、天气信息以及菜单信息中的至少一种。
对于本发明实施例,在第一显示区域中可以显示至少一个待显示的目标对象,例如,在第一显示区域在显示菜单信息的同时,也可以显示化妆后的眉毛。
步骤102、控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在第二显示区域对应的薄膜处实现平面镜成像。
其中,薄膜覆盖于整个显示屏的表面上方,并紧贴于显示屏的表面,用于在显示屏的亮度大于或者等于预设阈值的情况下,显示屏的显示信息透过薄膜进行显示,在显示屏的亮度小于预设阈值的情况下,薄膜实现平面镜成像。
其中,薄膜为触控膜。
对于本发明实施例,控制显示屏在第一显示区域显示待显示目标对象为控制第一显示区域对应的显示屏的亮度大于或者等于预设阈值,以在第一显示区域显示待显示的目标对象;控制第二显示区域处显示黑屏为控制第二显示区域对应的显示屏的亮度小于预设阈值,以在第二显示区域实现平面镜成像。
本发明实施例提供了一种智能镜子的显示方法,与现有技术相比,本发明实施例的智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方,确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域,然后控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像,即本发明在待显示目标对象的对应位置显示该待显示的目标对象,在其它位置进行平面镜成像,例如,在眉毛处显示化妆后的眉毛,其它位置显示平面镜成像的效果,将传统的平面镜成像方式与智能设备显示方式相结合,实现了用户通过照镜子的方式,能够在平面镜成像信息上添加显示附加信息的效果,与用户对着镜子试穿衣服或者试妆的效果相似,从而可以增加了用户使用过程中的趣味性体验,同时可以提高智能镜子显示的真实性,进而可以提升用户体验。
实施例二
本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例二所示的步骤,
其中,确定每个待显示的目标对象在显示屏上对应的显示区域的方式,包括步骤A、步骤B、步骤C以及步骤D中的至少一项。
步骤A、接收用户触发的第一操作指令,并根据用户触发的第一操作指令,确定待显示的目标对象在显示屏上的显示区域。
其中,用户触发的第一操作指令中携带待显示的目标对象在显示屏上的显示区域。
步骤B、根据待显示的目标对象,以及目标对象与显示位置的预置关系,确定待显示的目标对象在显示屏上的显示区域。
对于本发明实施例,预先设置目标对象与显示位置的预设关系,例如,时间信息对应的显示位置为显示位置1(例如,显示屏的右下角区域)、地理位置信息对应的显示位置为显示位置2(例如,显示屏的左上角区域)、天气信息对应的显示位置为显示位置3(例如,显示屏的右上角区域)、菜单信息对应的显示区域为显示区域4(例如,显示屏的左下角区域)。
步骤C、根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域。
其中,多媒体信息包括:图像、视频中至少一项。
对于本发明实施例,通过采集设备获取携带有与待显示的目标对象相关的多媒体信息,根据该多媒体信息,确定待显示的目标对象的实际位置,并根据待显示的目标对象的实际位置,确定待显示的目标对象在显示屏上的显示区域。
步骤D、根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域。
实施例三
本发明实施例的另一种可能的实现方式,在实施例二所示的基础上,还包括实施例三所示的步骤,其中,
控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,包括:获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象,在第二显示区域处显示黑屏。
对于本发明实施例,获取待显示的目标对象包括以下至少一项:从本地获取待显示的目标对象;从用户实时上传的信息中获取待显示的目标对象;从网络侧获取待显示的目标对象。
实施例四
本发明实施例的另一种可能的实现方式,在实施例三所示的基础上,还包括实施例四所示的步骤,其中,
若待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为图像,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:从图像中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
例如,若待显示的目标对象为化妆后的眉毛,则根据采集设备采集到的图像,确定用户的实际眉毛与显示屏的位置关系,并根据用户的实际眉毛与显示屏的位置关系,确定化妆后的眉毛的显示位置与用户的实际眉毛成像的位置一致,并在该位置处显示化妆后的眉毛,在其它位置处实现平面镜成像,此时,智能镜子不显示用户的实际眉毛。
例如,待显示的目标对象为耳饰,则根据采集设备采集到的图像,确定耳饰所应佩戴的位置与显示屏的位置关系,并根据该位置关系确定该耳饰在显示屏上的显示位置,并在该位置处显示耳饰,其它位置处实现平面镜成像,此时,除耳饰显示位置处显示显示屏上呈现的耳饰,其它均呈现平面镜成像的效果。
若待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为视频,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
对于本发明实施例,通过以下方式识别人脸的任一面部特征,包括:
(1)设置人脸图像训练集;
(2)对人脸图像训练集中的人脸图像进行面部关键点位置标注;
(3)对人脸图像训练集中标注后的每张人脸图像进行检测和对齐处理;
(4)对人脸图像训练集中对齐后的每张人脸图像进行归一化处理;
(5)对面部关键点进行判别特征学习;
(6)为每张人脸图像Ln进行面部关键点特征提取;
(7)训练得到面部关键点定位模型;
(8)对输入的人脸图像利用定位模型定位得到面部关键点位置。
其中,步骤(1)具体为收集N张互联网人脸图像,形成人脸图像训练集T={tn,n=1,2,…..,N};步骤(2)具体包括:为人脸图像训练集中的每张人脸图像进行面部关键点位置标注并得到关键点坐标,其中标注的面部关键点包括人脸器官和面部轮廓。
其中,人脸器官包括眉毛中心、眼睛中心、鼻子中心和嘴巴中心,面部轮廓为下面部轮廓,共标记28个面部关键点。
其中以每张人脸图像的左上角为原点O,以水平右向为X轴正方向,以垂直下向为Y轴正方向,建立直角坐标系,得到标注的每个面部关键点i在该坐标系中的位置。
对于本发明实施例,步骤(3)中的检测和对齐处理具体为:利用人脸检测器对每张人脸图像进行人脸检测,基于人脸检测器检测到的人脸检测框对训练集中的每张人脸图像进行对齐处理。
其中基于人脸检测器检测到的人脸检测框对训练集中的每张人脸图像进行对齐处理具体为:人脸检测器在每张人脸图像上检测到Ln*Ln像素大小的矩形人脸检测框,其中心在每张人脸图像tn的直角坐标系中的坐标为(Wn,x,Wn,y),每张人脸图像的人脸检测框的大小随其对应的人脸图像改变,以该人脸检测框的中心为参考点,在每张人脸图像tn上抠取像素1.5Ln*1.5Ln大小的矩形区域。
其中步骤(4)中的归一化处理具体为:对于抠取的像素大小1.5Ln*1.5Ln的矩形区域,将其归一化到150*150像素大小矩形区域,以人脸检测框的中心为原点O,水平方向为X轴,垂直方向为Y轴,则面部关键点i的坐标归一化为:对齐归一化后的每张人脸图像的所有面部关键点的位置记为ln,则ln=[Xn,1;Yn,1……;Xn,i;Yn,1;……;Xn,28;Yn,28]∈R56
其中步骤(5)中的判别特征学习具体为:在对齐归一化后的人脸图像训练集上为每个面部关键点i单独地进行判别特征学习。
若待显示的目标对象为与人脸的任一面部特征相关,根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域的方式,包括:根据传感器探测三维人脸数据;在三维人脸数据中,标记任一面部特征对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
其中,若待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为视频,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
若待显示的目标对象为与人脸的任一面部特征相关,根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域的方式,包括:根据传感器探测三维人脸数据;在三维人脸数据中,标记任一面部特征对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
对于本发明实施例,通过传感器识别面部特征的方式为:
(1)通过图像传感器成像系统获得三维人脸数据;
(2)对上述获得的三维人脸数据进行校正:
手动标记人脸数据中面部的若干关键点(如左眼角点、右右眼角点、鼻尖点等),通过比较关键点的空间位置获得头部的姿态变化情况,并进一步对整体人脸数据进行旋转、插值和对齐,得到标准、统一的“正中面”人脸图像;
(3)利用等深度线表示人脸数据:
校正后的三维人脸数据信息丰富,数据量较大,为便于分类识别提高识别速度,采用等深度线来描绘三维人脸的表面信息;人脸表面同一深度点的集合即等深度线,选择人脸表面若干有代表性的深度,提取相应的等深度线;
(4)利用傅里叶描绘子描述等深度线:
傅里叶描绘子是图像处理中边界描绘子的一种,通过傅里叶描绘子可以表示一条闭合曲线的特征,同时也可以通过该描绘子恢复曲线的原貌;第(3)步中提取的离散形式的等深度线均为一种二维曲线,同样可以利用傅里叶描绘子描述;针对之前第(3)步中提取出的任意一条人脸等深度线都可以视为离散点的坐标序列:
C(n)=[x(n),y(n)](n=0,1,2,……N-1)
该条等深度线由N个离散的点组成,进而可以再xoy二维坐标系下,用复数的形式来表示任意一个离散点:
C(n)=x(n)+i*y(n)
通过离散傅里叶变换(DFT)以及傅里叶级数展开,可以得到:
a(u)为复系数,即曲线的傅里叶描绘子;傅里叶描绘子可以通过傅里叶的逆变换得到原始的等深度线表示:
在实验中,往往使用前M个傅里叶描绘子来近似恢复原始的等深度线:
当M足够大时,与c(n)的视觉效果相似;所以可以选取每条等深度线的前M个傅里叶描绘子参数表示该条等深度线;
(5)利用对数映射实现特征提取:
对数映射算法是流形学习理论的一个分支,是一种非线性降维方法,该环节具体实现细节如下:
a)输入用于训练的人脸图像对应的傅里叶描绘子参数,构造训练集;
b)输入一幅待识别人脸图像对应的傅里叶描绘子参数,并与训练集共同构成整体的样
本集X,待识别图像的傅里叶描绘子参数作为全局基准点p,并计算其k个邻近点B(p);
c)计算B(p)的低维坐标和基准点P处切空间的标准正交基,进一步通过Dijkstra算
法得到B(p)中的各点到高维样本集X中其他各点的最短距离,近似表示测地距离;由B(p)
的低维坐标和距离等信息求出B(p)以外其他各点的低维坐标,即黎曼法坐标,低维坐标即提取特征;
(6)分类识别:
设计基于欧式距离的最邻近分类器,即计算待识别图像提取特征与训练集中每一幅图像提取特征之间的欧氏距离;欧式距离最短的训练样本对应的采样对象就是人脸识别结果。
若待显示的目标对象与人体的肢体部位相关,且多媒体信息为图像,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:从图像中提取关键点,并依据关键点识别出人体轮廓;在识别出的人体轮廓中,通过关键点识别与人体的肢体部位,并确定人体的肢体部位与显示屏的位置关系;根据确定出的人体的肢体部位与显示屏的位置关系,确定与人体的肢体部位相关待显示的目标对象在显示屏上的显示区域。
若待显示的目标对象与人体的肢体部位相关,且多媒体信息为视频,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人体轮廓;根据确定出的人体轮廓与显示屏的位置关系,确定与人体的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
例如,与人体的肢体部位相关的待显示的目标对象包括:待试穿的衣服、待试穿的鞋子、首饰等,在此不做限定。
对于本发明实施例,若待显示的目标对象为待试穿的衣服、待试穿的鞋子和/或首饰,则根据采集设备获取到的多媒体信息(包括图像、视频)识别出人体轮廓,并通过关键点识别出与待显示的目标对象相关的人体的肢体部位,与待显示的目标对象相关的人体的肢体部位的各个关键点与显示屏的位置关系,进而根据该位置关系确定与人的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
例如,待显示的目标对象为手环,则根据采集设备确定手腕位置的各个关键点,并确定该手腕位置的各个关键点分别与显示屏之间的位置关系,并根据该位置关系,确定该手环在显示屏上对应的显示区域,并在该显示区域处显示该手环,其它区域实现平面镜成像。
若待显示的目标对象为与人体的肢体部位相关,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:根据传感器探测三维人的肢体部位数据;在三维人的肢体部位数据中,标记人的肢体部位对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与人的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
对于本发明实施例,若待显示的目标对象为待试穿的衣服、待试穿的鞋子和/或首饰,则根据传感器探测到的三维人的肢体部位数据,通过标记关键点,确定与该待试穿的衣服、待试穿的鞋子和/或首饰相关的三维人的肢体部位,并确定与该待试穿的衣服、待试穿的鞋子和/或首饰相关的三维人的肢体部位的各个关键点与显示屏之间的位置关系,并根据对应的位置关系,显示该待试穿的衣服、待试穿的鞋子和/或首饰。
例如,待显示的目标对象为手环,则根据传感器探测到的三维人的肢体部位数据,通过标记关键点,确定各个关键点与显示屏的位置关系,进而确定出与手腕位置的各个关键点与显示屏的位置关系,并根据该位置关系确定手环在显示屏上的显示区域,即在该显示区域处显示手环,其它显示区域处实现平面镜成像。
实施例五
本发明实施例的另一种可能的实现方式,在实施例四所示的基础上,还包括实施例五所示的步骤,其中,
获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象的方式,包括:获取与任一面部特征相关的待显示的目标对象;控制在显示屏上的第一显示区域显示与任一面部特征相关的待显示的目标对象。
其中,与任一面部特征相关的待显示的目标对象包括以下至少一项:重新绘制后的面部特征以及与面部特征相关的附加显示信息。
其中,人脸的面部特征包括眼睛、鼻子、耳朵、眉毛、嘴、脸颊、额头、牙齿、头发中的至少一种。
对于本发明实施例,重新绘制后的面部特征为化妆后的面部特征,例如,化妆后的眉毛、化妆后的嘴唇、化妆后的脸蛋等。
例如,与面部特征相关的附加显示信息可以包括:眼镜、唇环以及耳饰等。
例如,当用户知道使用不同颜色的口红呈现的效果,已确定选择的口红颜色时,不需要真的使用各种颜色的口红后在选择合适的口红颜色,而用户可以选择口红的颜色,直接通过智能镜子在嘴唇区域(第一显示区域)显示该口红涂抹后的效果,第二显示区域均为平面镜成像效果(即相当于用户看到镜子中涂抹了该颜色口红后的自己)。
获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象的方式,包括:获取与人的肢体部位相关的待显示的目标对象;控制在显示屏上的第一显示区域显示与人的肢体部位相关的待显示的目标对象。
其中,与人肢体部位相关的待显示的目标对象包括与肢体部位相关的附加显示信息。
其中,关键点与显示屏之间的位置关系为关键点与显示屏之间的物理距离。
例如,用户在买衣服时,不想每件衣服都去试穿,则用户在智能镜子中选择待试穿的衣服,并通过智能镜子在已确定的第一显示区域处显示待试穿的衣服,第二显示区域处呈现平面镜成像的效果。
实施例六
本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例六所示的操作:
步骤101之前还包括:检测用户针对已显示的菜单信息触发的第二操作指令,并根据第二操作指令分别确定至少一个待显示的目标对象。
其中,第一操作指令和/或第二操作指令为通过语音、触控、手势及光标中的至少一种方式输入的。
对于本发明实施例,智能镜子中显示菜单信息,该菜单信息中可以显示各种待显示的目标对象,包括:与任一面部特征相关的待显示的目标对象、与人的肢体部位相关的待显示的目标对象、时间信息、地理位置信息、天气信息等。
其中,菜单信息中显示的与任一面部特征相关的待显示的目标对象可以包括:各种口红颜色、各种眉形、不同颜色的腮红、不同类型的眼镜以及各种不同类型的耳饰。
其中,菜单信息中显示的与人的肢体部位相关的待显示的目标对象包括:不同类型的衣服、鞋,不同类型的首饰等。
其中,菜单信息中显示的时间信息可以包括:不同格式的时间信息或者不同时区的时间信息;
其中,菜单信息中显示的地理位置信息可以包括:代表该地理位置的图片,不同文字格式表征的地理位置信息。
对于本发明实施例,用户可以通过语音、触控、手势及光标中的至少一种方式输入的第二操控指令,切换待显示的目标对象。
例如,用户希望通过智能镜子实现显示擦拭不同色号口红的效果,则用户通过操作指令选择不同色号的口红,以在智能镜子中显示用户擦拭不同色号口红的效果。
实施例七
本发明实施例的另一种可能的实现方式,在实施例一至实施例六中任一实施例所示的基础上,还包括实施例七所示的操作,其中,
控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏的方式,包括:在显示屏上,控制通过图层显示方式将黑色图片在第二显示区域下层显示,并在确定出的第一显示区域将目标对象上层显示。
对于本发明实施例,在显示屏上,控制通过图层方式将黑色图片在第二显示区域的下层显示,以使得第二显示区域对应的显示屏的亮度小于预设阈值,以在第二显示区域处实现平面镜成像的效果,控制在第一显示区域将待显示的目标对象进行上层显示,以使得第一显示区域对应的显示屏的亮度大于等于预设阈值,以实现透过薄膜显示该待显示的目标对象。
例如,用户仅想要通过智能镜子显示擦拭红色口红的效果,则根据上述方式确定嘴唇区域为第一显示区域,其它区域为第二显示区域,则通过图层显示的方式在下层显示黑色图片,在上层并上第一显示区域显示擦拭红色口红的嘴唇,以通过智能镜子显示用户擦拭红色口红的效果。
本发明实施例提供了智能镜子的显示装置,该智能镜子包括:显示屏及薄膜,薄膜覆盖于显示屏的表面上方;如图2所示,该装置包括:确定模块21、控制模块22,其中,
确定模块21,用于确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域。
控制模块22,用于控制显示屏在第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在第二显示区域对应的薄膜处实现平面镜成像。
其中,薄膜覆盖于整个显示屏的表面上方,并紧贴于显示屏的表面,用于在显示屏的亮度大于或者等于预设阈值的情况下,显示屏的显示信息透过薄膜进行显示,在显示屏的亮度小于预设阈值的情况下,薄膜实现平面镜成像。
其中,薄膜为触控膜。
确定模块21,具体用于接收用户触发的第一操作指令,并根据用户触发的第一操作指令,确定待显示的目标对象在显示屏上的显示区域。
确定模块21,具体还用于根据待显示的目标对象,以及目标对象与显示位置的预置关系,确定待显示的目标对象在显示屏上的显示区域。
确定模块21,具体还用于根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域。
其中,多媒体信息包括:图像、视频中至少一项。
确定模块21,具体还用于根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域。
控制模块22,具体用于获取待显示的目标对象,控制显示屏在第一显示区域显示获取到的待显示的目标对象,在第二显示区域处显示黑屏。
当待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为图像时,确定模块21,具体用于从图像中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
当待显示的目标对象与人脸的任一面部特征相关,且多媒体信息为视频时,确定模块21,具体还用于从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人脸轮廓;在识别出的人脸轮廓中,通过关键点识别人脸的任一面部特征,并确定任一面部特征与显示屏的位置关系;根据确定出的任一面部特征与显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
当待显示的目标对象为与人脸的任一面部特征相关时,确定模块21,具体还用于根据传感器探测三维人脸数据;在三维人脸数据中,标记任一面部特征对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
控制模块22,具体用于获取与任一面部特征相关的待显示的目标对象;控制在显示屏上的第一显示区域显示与任一面部特征相关的待显示的目标对象;
其中,与任一面部特征相关的待显示的目标对象包括以下至少一项:重新绘制后的面部特征以及与面部特征相关的附加显示信息。
其中,人脸的面部特征包括眼睛、鼻子、耳朵、眉毛、嘴、脸颊、额头、牙齿、头发中的至少一种。
当待显示的目标对象与人体的肢体部位相关,且多媒体信息为图像时,确定模块21,具体还用于从图像中提取关键点,并依据关键点识别出人体轮廓;在识别出的人体轮廓中,通过关键点识别与人体的肢体部位,并确定人体的肢体部位与显示屏的位置关系;根据确定出的人体的肢体部位与显示屏的位置关系,确定与人体的肢体部位相关待显示的目标对象在显示屏上的显示区域。
当待显示的目标对象与人体的肢体部位相关,且多媒体信息为视频时,确定模块21,具体还用于从视频中选取至少一个关键帧;从至少一个关键帧中提取关键点,并依据关键点识别出人体轮廓;根据确定出的人体轮廓与显示屏的位置关系,确定与人体的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
当待显示的目标对象为与人体的肢体部位相关时,确定模块21,具体还用于根据传感器探测三维人的肢体部位数据;在三维人的肢体部位数据中,标记人的肢体部位对应的至少一个关键点;根据标记的至少一个关键点,确定各个关键点与显示屏之间的位置关系;根据各个关键点与显示屏之间的位置关系,确定与人的肢体部位相关的待显示的目标对象在显示屏上的显示区域。
控制模块22,具体用于获取与人的肢体部位相关的待显示的目标对象;控制在显示屏上的第一显示区域显示与人的肢体部位相关的待显示的目标对象。
其中,与人肢体部位相关的待显示的目标对象包括与肢体部位相关的附加显示信息。
其中,关键点与显示屏之间的位置关系为关键点与显示屏之间的物理距离。
其中,待显示的目标对象还包括:时间信息、地理位置信息、天气信息以及菜单信息中的至少一种。
进一步地,该装置还包括:检测模块31。
检测模块31,还用于检测用户针对已显示的菜单信息触发的第二操作指令。
确定模块21,具体还用于根据第二操作指令分别确定至少一个待显示的目标对象。
其中,第一操作指令和/或第二操作指令为通过语音、触控、手势及光标中的至少一种方式输入的。
控制模块22,具体还用于在显示屏上,控制通过图层显示方式将黑色图片在第二显示区域下层显示,并在确定出的第一显示区域将目标对象上层显示。
本发明实施例提供了一种智能镜子的显示装置,与现有技术相比,本发明实施例的智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方,确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域,然后控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像,即本发明在待显示目标对象的对应位置显示该待显示的目标对象,在其它位置进行平面镜成像,例如,在眉毛处显示化妆后的眉毛,其它位置显示平面镜成像的效果,将传统的平面镜成像方式与智能设备显示方式相结合,实现了用户通过照镜子的方式,能够在平面镜成像信息上添加显示附加信息的效果,与用户对着镜子试穿衣服或者试妆的效果相似,从而可以增加了用户使用过程中的趣味性体验,同时可以提高智能镜子显示的真实性,进而可以提升用户体验。
本发明实施例提供了一种计算机可读存储介质,其特征在于,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现实施例一至实施例七任一实施例的方法。
本发明实施例提供了一种计算机可读存储介质,与现有技术相比,本发明实施例的智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方,确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域,然后控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像,即本发明在待显示目标对象的对应位置显示该待显示的目标对象,在其它位置进行平面镜成像,例如,在眉毛处显示化妆后的眉毛,其它位置显示平面镜成像的效果,将传统的平面镜成像方式与智能设备显示方式相结合,实现了用户通过照镜子的方式,能够在平面镜成像信息上添加显示附加信息的效果,与用户对着镜子试穿衣服或者试妆的效果相似,从而可以增加了用户使用过程中的趣味性体验,同时可以提高智能镜子显示的真实性,进而可以提升用户体验。
本发明实施例提供了一种计算设备,包括:处理、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行如实施例一至实施例七中任一项的智能镜子显示的方法对应的操作。
本发明实施例提供了一种计算设备,与现有技术相比,本发明实施例的智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方,确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域,然后控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像,即本发明在待显示目标对象的对应位置显示该待显示的目标对象,在其它位置进行平面镜成像,例如,在眉毛处显示化妆后的眉毛,其它位置显示平面镜成像的效果,将传统的平面镜成像方式与智能设备显示方式相结合,实现了用户通过照镜子的方式,能够在平面镜成像信息上添加显示附加信息的效果,与用户对着镜子试穿衣服或者试妆的效果相似,从而可以增加了用户使用过程中的趣味性体验,同时可以提高智能镜子显示的真实性,进而可以提升用户体验。
本技术领域技术人员可以理解,本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种智能镜子的显示方法,其特征在于,所述智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方;
所述方法包括:
确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域;
控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像。
2.根据权利要求1所述的方法,其特征在于,所述薄膜覆盖于所述整个显示屏的表面上方,并紧贴于所述显示屏的表面,用于在所述显示屏的亮度大于或者等于预设阈值的情况下,所述显示屏的显示信息透过所述薄膜进行显示,在所述显示屏的亮度小于所述预设阈值的情况下,所述薄膜实现平面镜成像。
3.根据权利要求2所述的方法,其特征在于,所述薄膜为触控膜。
4.根据权利要求1-3任一项所述的方法,其特征在于,确定每个待显示的目标对象在显示屏上对应的显示区域的方式,包括以下至少一项:
接收用户触发的第一操作指令,并根据所述用户触发的第一操作指令,确定待显示的目标对象在显示屏上的显示区域;
根据待显示的目标对象,以及目标对象与显示位置的预置关系,确定待显示的目标对象在显示屏上的显示区域;
根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,所述多媒体信息包括:图像、视频中至少一项;
根据传感器探测到的信息,确定待显示的目标对象在显示屏上的显示区域。
5.根据权利要求4所述的方法,其特征在于,控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,包括:
获取待显示的目标对象,控制所述显示屏在所述第一显示区域显示获取到的待显示的目标对象,在第二显示区域处显示黑屏。
6.根据权利要求5所述的方法,其特征在于,若待显示的目标对象与人脸的任一面部特征相关,且所述多媒体信息为图像,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
从所述图像中提取关键点,并依据关键点识别出人脸轮廓;
在识别出的人脸轮廓中,通过关键点识别所述人脸的任一面部特征,并确定所述任一面部特征与所述显示屏的位置关系;
根据确定出的所述任一面部特征与所述显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
7.根据权利要求5所述的方法,其特征在于,若待显示的目标对象与人脸的任一面部特征相关,且所述多媒体信息为视频,则根据采集设备获取的多媒体信息,确定待显示的目标对象在显示屏上的显示区域,包括:
从所述视频中选取至少一个关键帧;
从所述至少一个关键帧中提取关键点,并依据关键点识别出人脸轮廓;
在识别出的人脸轮廓中,通过关键点识别所述人脸的任一面部特征,并确定所述任一面部特征与所述显示屏的位置关系;
根据确定出的所述任一面部特征与所述显示屏的位置关系,确定与任一面部特征相关的待显示的目标对象在显示屏上的显示区域。
8.一种智能镜子的显示装置,其特征在于,所述智能镜子包括:显示屏及薄膜,所述薄膜覆盖于所述显示屏的表面上方;
所述装置包括:
确定模块,用于确定至少一个待显示的目标对象分别在显示屏上对应的显示区域作为第一显示区域;
控制模块,用于控制所述显示屏在所述第一显示区域显示待显示目标对象,在第二显示区域处显示黑屏,以在所述第二显示区域对应的薄膜处实现平面镜成像。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的智能镜子显示的方法对应的操作。
CN201710932586.9A 2017-10-10 2017-10-10 一种智能镜子的显示方法及装置 Pending CN107692701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710932586.9A CN107692701A (zh) 2017-10-10 2017-10-10 一种智能镜子的显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710932586.9A CN107692701A (zh) 2017-10-10 2017-10-10 一种智能镜子的显示方法及装置

Publications (1)

Publication Number Publication Date
CN107692701A true CN107692701A (zh) 2018-02-16

Family

ID=61184858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710932586.9A Pending CN107692701A (zh) 2017-10-10 2017-10-10 一种智能镜子的显示方法及装置

Country Status (1)

Country Link
CN (1) CN107692701A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936735A (zh) * 2019-04-09 2019-06-25 深圳市远望淦拓科技有限公司 一种影子投影系统及控制方法
CN111311660A (zh) * 2020-02-21 2020-06-19 联想(北京)有限公司 一种镜像显示人体姿态的方法、智能镜及存储介质
TWI702538B (zh) * 2019-03-29 2020-08-21 麗寶大數據股份有限公司 運用於化妝輔助裝置的化妝輔助方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2205157Y (zh) * 1993-08-16 1995-08-16 郭玉海 多功能壁镜
US20070058109A1 (en) * 2003-09-09 2007-03-15 Nieuwkerk Armanda C Mirror with built-in display
CN201590202U (zh) * 2009-11-05 2010-09-22 易虹 家用电器显示屏
CN202593379U (zh) * 2012-03-08 2012-12-12 深圳市领华卫通数码科技有限公司 内置显示屏的镜子、汽车后视镜和试衣间
CN105118400A (zh) * 2015-09-29 2015-12-02 京东方科技集团股份有限公司 一种透明显示装置
CN105556508A (zh) * 2013-08-04 2016-05-04 艾斯适配有限公司 虚拟镜子的装置、系统和方法
CN205920294U (zh) * 2016-06-21 2017-02-01 深圳天珑无线科技有限公司 一种显示设备及移动终端
CN107003827A (zh) * 2014-09-26 2017-08-01 三星电子株式会社 由包括可切换镜子的设备执行的图像显示方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2205157Y (zh) * 1993-08-16 1995-08-16 郭玉海 多功能壁镜
US20070058109A1 (en) * 2003-09-09 2007-03-15 Nieuwkerk Armanda C Mirror with built-in display
CN201590202U (zh) * 2009-11-05 2010-09-22 易虹 家用电器显示屏
CN202593379U (zh) * 2012-03-08 2012-12-12 深圳市领华卫通数码科技有限公司 内置显示屏的镜子、汽车后视镜和试衣间
CN105556508A (zh) * 2013-08-04 2016-05-04 艾斯适配有限公司 虚拟镜子的装置、系统和方法
CN107003827A (zh) * 2014-09-26 2017-08-01 三星电子株式会社 由包括可切换镜子的设备执行的图像显示方法和设备
CN105118400A (zh) * 2015-09-29 2015-12-02 京东方科技集团股份有限公司 一种透明显示装置
CN205920294U (zh) * 2016-06-21 2017-02-01 深圳天珑无线科技有限公司 一种显示设备及移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI702538B (zh) * 2019-03-29 2020-08-21 麗寶大數據股份有限公司 運用於化妝輔助裝置的化妝輔助方法
US10762799B1 (en) 2019-03-29 2020-09-01 Cal-Comp Big Data, Inc. Make-up assisting method implemented by make-up assisting device
CN109936735A (zh) * 2019-04-09 2019-06-25 深圳市远望淦拓科技有限公司 一种影子投影系统及控制方法
CN109936735B (zh) * 2019-04-09 2021-07-20 深圳市远望淦拓科技有限公司 一种影子投影系统及控制方法
CN111311660A (zh) * 2020-02-21 2020-06-19 联想(北京)有限公司 一种镜像显示人体姿态的方法、智能镜及存储介质

Similar Documents

Publication Publication Date Title
CN111738220B (zh) 三维人体姿态估计方法、装置、设备及介质
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
US11450075B2 (en) Virtually trying cloths on realistic body model of user
CN107798653B (zh) 一种图像处理的方法和一种装置
CN109784281A (zh) 基于人脸特征的产品推荐方法、装置及计算机设备
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN110399849A (zh) 图像处理方法及装置、处理器、电子设备及存储介质
US11574424B2 (en) Augmented reality map curation
CN109859305A (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN108537126B (zh) 一种人脸图像处理方法
WO2005020030A2 (en) Multi-modal face recognition
CN108135469A (zh) 使用眼睛姿态测量的眼睑形状估计
CN108629306A (zh) 人体姿态识别方法及装置、电子设备、存储介质
CN109190535B (zh) 一种基于深度学习的人脸面部肤色分析方法和系统
CN109785228B (zh) 图像处理方法、装置、存储介质和服务器
CN104157001A (zh) 一种头部漫画的绘制方法及装置
CN108012091A (zh) 图像处理方法、装置、设备及其存储介质
CN111950430B (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN108460398A (zh) 图像处理方法、装置、云处理设备和计算机程序产品
CN107692701A (zh) 一种智能镜子的显示方法及装置
CN110531853A (zh) 一种基于人眼注视点检测的电子书阅读器控制方法及系统
CN107728981A (zh) 显示的方法及装置
WO2017141223A1 (en) Generating a video using a video and user image or video
CN109947243A (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
CN114187166A (zh) 图像处理方法、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180216

RJ01 Rejection of invention patent application after publication