CN104661104A - 一种基于多感知源的自适应界面定制装置及方法 - Google Patents

一种基于多感知源的自适应界面定制装置及方法 Download PDF

Info

Publication number
CN104661104A
CN104661104A CN201410849447.6A CN201410849447A CN104661104A CN 104661104 A CN104661104 A CN 104661104A CN 201410849447 A CN201410849447 A CN 201410849447A CN 104661104 A CN104661104 A CN 104661104A
Authority
CN
China
Prior art keywords
sample
image
identified
sample storehouse
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410849447.6A
Other languages
English (en)
Inventor
马聪
王峰
翁宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201410849447.6A priority Critical patent/CN104661104A/zh
Publication of CN104661104A publication Critical patent/CN104661104A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于多感知源的自适应界面定制装置及方法，其中装置包括：人脸图像识别模块，用于采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库，并将该样本库的ID发送至界面设置模块；环境信息采集模块，用于采集当前环境信息，并将所述当前环境信息发送至界面设置模块；界面设置模块，用于根据所述样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；并根据所述当前环境信息调整该用户界面。本发明能够根据用户人脸图像及当前环境信息自动选择并调整用户界面。

Description

一种基于多感知源的自适应界面定制装置及方法
技术领域
本发明涉及智能设备技术领域，尤其涉及一种基于多感知源的自适应界面定制装置及方法。
背景技术
现有的智能设备技术中，目前存在针对不同用户设置不同的用户界面(UI)的方法。例如，对于智能电视，可以接收并保存多个不同用户对智能电视的个性化界面的设置及各个用户的人脸信息，并存储各个用户的人脸信息与对应的界面的对应关系，通过用户识别自动进入用户自己设置的自定义界面中。这种方式的缺点是，不能根据当前的环境信息对用户界面进行调整。
发明内容
本发明提供了一种基于多感知源的自适应界面定制装置，能够根据用户人脸图像及当前环境信息自动选择并调整用户界面。
本发明还提供了一种基于多感知源的自适应界面定制方法，能够根据用户人脸图像及当前环境信息自动选择并调整用户界面。
本发明的技术方案是这样实现的：
一种基于多感知源的自适应界面定制装置，包括：
人脸图像识别模块，用于采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库，并将该样本库的ID发送至界面设置模块；
环境信息采集模块，用于采集当前环境信息，并将所述当前环境信息发送至界面设置模块；
界面设置模块，用于根据所述样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；并根据所述当前环境信息调整该用户界面。
一种基于多感知源的自适应界面定制方法，包括：
采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库；
根据所述待识别人脸图像所属的样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；
根据采集的当前环境信息调整该用户界面。
可见，本发明提出的基于多感知源的自适应界面定制装置和方法，识别用户的人脸信息，并判断该人脸信息所属类别，根据该类别选择对应的用户界面；并根据当前环境信息对该用户界面进行调整，从而自动基于多感知源实现界面定制。
附图说明
图1本发明提出的基于多感知源的自适应界面定制装置结构示意图；
图2为实施例一中获取样本库ID和当前环境信息的实现流程图；
图3为实施例二中比对待识别人脸图像和样本图像的实现流程图；
图4为实施例三中根据样本库ID和当前环境信息选择并调整用户界面的实现流程图；
图5为实施例四中调整用户界面的实现流程图；
图6为实施例四中调整用户界面布局的实现流程图；
图7A为原始用户界面示意图；
图7B为调整后的用户界面示意图一；
图7C为调整后的用户界面示意图二；
图8本发明提出的基于多感知源的自适应界面定制方法实现流程图。
具体实施方式
本发明提出一种基于多感知源的自适应界面定制装置和方法，如图1为该装置结构示意图，包括：
人脸图像识别模块110，用于采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库，并将该样本库的ID发送至界面设置模块130；
环境信息采集模块120，用于采集当前环境信息，并将所述当前环境信息发送至界面设置模块130；
界面设置模块130，用于根据所述样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；并根据所述当前环境信息调整该用户界面。
本发明的装置可以应用于智能电视、智能手机、平板电脑等设备，在以下内容中，以应用于智能电视为例进行介绍。
当智能电视第一次启动时，本发明装置会自动提醒进行家庭成员进行样本图像录入；家庭成员录入样本图像后，本发明装置根据指令将样本图像设置在不同的样本库中，计算并保存样本图像的特征信息(特征信息的具体内容将在以下实施例中详细介绍)；样本库可以根据年龄划分，例如设置三个样本库，即老人样本库、成人样本库和儿童样本库。之后，智能电视使用过程中，如果本发明装置发现无法识别的人脸图像，则会提醒用户是否需要录入样本图像。服务器中存储着预先定制好的样本库对应的用户界面，智能电视开机后，自动获取待识别人脸图像等信息，通过人脸图像分类得到该待识别人脸图像所属的样本库，将样本库ID发送至服务器；服务器根据该样本库ID查找对应的用户界面，将该用户界面反馈至智能电视；智能电视进入到该用户界面，然后再根据当前环境信息对用户界面进行自动调整，以满足用户的需求。
上述装置中，人脸图像识别模块110可以包括：
人脸图像采集子模块111，用于采集待识别人脸图像，并将所述待识别人脸图像发送至图像预处理子模块112；
图像预处理子模块112，用于对所述待识别人脸图像进行预处理，并将预处理之后的待识别人脸图像发送至人脸图像分类子模块113；
人脸图像分类子模块113，用于预先保存两个以上样本库，每个样本库中包含一个以上样本图像的特征信息；当接收到预处理之后的待识别人脸图像时，提取该待识别人脸图像的特征信息，将该待识别人脸图像的特征信息与样本图像的特征信息进行比对，如果存在比对结果符合的样本图像，则将该样本图像所属的样本库作为该待识别人脸图像所属的样本库，并将该样本库的ID发送至界面设置模块130。
具体地，人脸图像采集子模块111可以采用智能设备上安装的摄像装置。以智能电视为例，智能电视接收到用户开机命令后，在电视机上安装的摄像装置启动并采集图像，并将采集的图像传给图像预处理子模块112；该摄像装置具有一定的取景范围，可将该取景范围设置在智能电视的正前方。通过该摄像装置来获取用户的人脸图像。
图像预处理子模块112对人脸图像采集模块子采集到的图像进行噪声滤波、姿态归一化、旋转调整、灰度均衡化等处理，以此减少采集图像的噪声、加强有用信息，改善图像的质量，减弱除了年龄以外的其他因素的影响，并检测出人脸区域；当未检测出人脸时，进入普通界面，然后人脸图像采集子模块111继续采集图像并传入图像预处理子模块112进行处理和分析。
人脸图像分类子模块113预先保存的样本库可以按照年龄不同划分为三个，分别是老人样本库、儿童样本库和成人样本库，三个样本库中分别存储着样本图像的特征信息；收到预处理之后的待识别人脸图像后，人脸图像分类子模块113提取该待识别人脸图像的特征信息，然后同样本库中各个样本图像的特征信息进行对比分类(比对方式将在以下实施例中详细介绍)；如果样本库中存在比对结果符合的样本图像，则将该样本图像所属样本库的ID发送至界面设置模块130；如果不存在，则提示用户是否需要录入样本图像，如需录入则进行录入并将样本库ID发送至界面设置模块130，如不需录入，进入普通界面。
上述装置中，界面设置模块130可以包括：
界面选择子模块131，用于当接收到一个样本库ID时，获取该样本库ID对应的用户界面；当接收到两个以上样本库ID时，根据预先设置的优先级确定优先级最高的样本库ID，获取该优先级最高的样本库ID对应的用户界面；
界面调整子模块132，用于根据当前环境信息调整该用户界面。
上述环境信息采集模块120采集的当前环境信息可以包括：时间信息、温度信息、光强度信息以及用户与显示界面之间的距离信息中的至少一项。
以下结合附图，举具体的实施例详细介绍。
实施例一：
本实施例介绍获取用户待识别人脸图像所属样本库ID及当前环境信息的一种具体方式，如图2为本实施例实现流程图，包括：
步骤201：人脸图像采集子模块111采集待识别人脸图像，并发送至图像预处理子模块112；
步骤202：图像预处理子模块112对该待识别人脸图像进行预处理，将预处理之后的待识别人脸图像发送至人脸图像分类子模块113；
步骤203：人脸图像分类子模块113提取该待识别人脸图像的特征信息，将该待识别人脸图像的特征信息与预先保存的样本库中各个样本图像的特征信息进行比对；
步骤204：判断是否存在比对结果符合的样本图像；如果存在，则将该样本图像所属的样本库作为该待识别人脸图像所属的样本库，并将该样本库的ID发送存储器暂存，由存储器在后续过程中将样本库ID发送至界面设置模块130；如果不存在，则执行步骤205；
步骤205：提示用户是否录入样本图像，如果录入，则根据用户选择将该样本图像所属样本库的ID发送至存储器暂存，并由存储器在后续过程中将样本库ID发送至界面设置模块130；如果不录入，则进行普通界面。
在上述过程执行的同时，环境信息采集模块120可以采集当前环境信息，可以包括时间信息、温度信息、光强度信息以及用户与显示界面之间的距离信息等，并将当前环境信息发送至存储器暂存，由存储器在后续过程中将样本库ID发送至界面设置模块130。
上述介绍中，由存储器暂存样本库ID及当前环境信息，并在需要时发送至界面设置模块130；存储器并非必要装置，在本发明的其他实施例中，人脸图像识别模块采集的样本库ID及环境信息采集模块采集的当前环境信息可以直接发送至界面设置模块130，由界面设置模块130在需要时使用。
实施例二：
本实施例介绍上述实施例一步骤203中的比对方法实例，如图3为本实施例的实现流程图。
本实施例采用基于多特征融合人脸表示分类算法，旨在模拟人类视觉感知系统，同时利用人脸图像的全局和局部信息进行识别。
首先预先保存样本库，按年龄段分为老人库、成人库、儿童库，每个样本库分别有一个ID号；样本库中的样本图像可以由用户在智能电视第一次开机启动时录入。
样本库中保存样本图像的特征信息，包括DCT特征中的低频成分和Gabor特征。
其中，DCT特征中的低频成分可以描述图像的全局特征；对图像进行全局特征二维离散余弦变换特征(DCT)提取，人脸图像经过DCT变换后，图像得到低频成分和高频成分，其中图像的有用信息集中在变化较慢的低频成分，位于图像的左上角，变化较快的高频成分则集中在图像的右下角。因此，本实施例保留DCT特征中的低频成分来代表图像，这些特征一方面不会引起图像明显的失真，另一方面对于光照、旋转等具有很好的鲁棒性，利用DCT提取的图像特征在识别中运算速度快。
Gabor特征可以描述图像的局部特征，主要描述了图像的纹理特征，Gabor特征对于光照、姿态、表情等具有很好的鲁棒性，具有较高的识别率，将图像I(z)与Gabor因子ψu,v(z)进行卷积就可得到图像的Gabor特征G(z)，可表示为：
G(z)＝I(z)*ψu,v(z)
其中，z＝(x,y)表示图像像素点坐标，“*”为卷积符号。
如图3所示，当收到待识别人脸图像时，首先计算该待识别人脸图像的DCT特征中，并获取DCT特征的低频成分；再分别计算待识别人脸图像的DCT特征中的低频成分与各样本库中每个样本图像的DCT特征中的低频成分的曼哈顿距离，计算公式如下：
L ( x , y ) = Σ i = 1 k | x i - y i |
其中，L(x,y)表示x和y之间的曼哈顿距离；
x和y分别表示待识别人脸图像的DCT特征中的低频成分和样本图像的DCT特征中的低频成分；x由k个元素组成，包括x1、x2、……xk；y由k个元素组成，包括y1、y2、……yk。
之后，在三个样本库中分别找到与待识别人脸图像曼哈顿距离最小的样本图像，并分别记这三个样本图像为class1、class2和class3。。
计算该待识别人脸图像的Gabor特征，分别计算待识别人脸图像的Gabor特征与class1、class2和class3的Gabor特征的曼哈顿距离，将曼哈顿距离最小并且在预设阈值范围内的样本图像作为比对结果符合的样本图像，输出该样本图像所属样本库的ID。
通过上述方式，可以确保图像先采用识别时间快的全局特征进行快速识别，缩小范围，然后利用识别率高的局部特征进行进一步的分类，采用本实施例提出的方法大大提高了识别率，同时识别时间也大大缩短。
实施例三：
本实施例介绍根据样本库ID和当前环境信息选择并调整用户界面的一种方式示例，如图4为本实施例的实现流程图。
存储器将样本库ID发送至界面设置模块130中的界面选择子模块131，并将时间信息、温度信息、光强度信息、距离信息等当前环境信息发送至界面设置模块130中的界面调整子模块132。
服务器中存储着为不同年龄段定制的个性化界面，即不同样本库ID对应的用户界面，当接收到样本库ID后，查找该样本库ID对应的用户界面，初始化用户界面，并在设备上显示该用户界面。
在本实施例中，预先存储着多种风格的用户界面，提供给不同年龄段的用户，例如老人简约风、儿童卡通风，成人成熟风等。其中用户界面包括界面元素、界面布局以及界面版块的设置。例如儿童有动画和学习板块，老人有广播板块和戏剧版块，成人有新闻和电视板块等。同时预设多种界面布局，如2*1、2*2、3*4等，针对不同年龄段用户采用不同的布局，比如：老人布局相对于成人而言Item更大，同时根据不同的需求调整不同的布局。
当进入到相应年龄段对应的用户界面后，界面调整子模块132可以根据当前环境信息对该用户界面进行自动调整，无需用户额外操作，以适应用户需求。
如图4所示，当界面选择子模块131接收到样本库ID信息后，进入优先级选择，具体包括以下步骤：
a.当传入的样本库ID是唯一的，则输出该样本库ID，并进入该样本库ID对应的用户界面；
b.当传入的样本库ID不是唯一的，则根据预先设置的优先级确定优先级最高的样本库，输出该优先级最高的样本库的ID，并进入该样本库ID对应的用户界面。
例如，优先级从高到低设为oldman、child、adult；
如果传入的样本库ID有2个，包括child和oldman，则优先选择进入样本库ID＝oldman对应的用户界面；
如果传入的样本库ID有2个，包括child和adult，则优先选择进入ID＝child对应的用户界面。
如果传入的样本库ID有3个，包括child、adult和oldman，则优先选择进入ID＝oldman对应的用户界面。
进入相应的用户界面之后，界面调整子模块132根据当前环境信息对用户界面进行调整。
实施例四：
本实施例介绍界面调整子模块132调整用户界面的一种实现方式示例，如图5为本实施例的实现流程图。
当通过界面选择子模块131进入到个性化用户界面中后，由于周围环境或者用户自身的原因可能需要调整用户界面，例如时间较晚，需要调整音量等。因此，本实施例提出采用界面调整子模块132根据当前环境信息调整用户界面，界面调整子模块132可以每隔一定时间对用户界面调整一次。界面调整子模块132对用户界面的调整可以分为三类，包括：对用户界面元素的调整、对用户界面布局的调整以及对用户界面版块的调整。
(1)对用户界面元素的调整
如图5所示，具体方法如下：
a.根据时间信息进行调整，当时间大于阈值时，说明天色较晚，自动调亮屏幕亮度到一数值，同时电视音量自动调低至一数值，以免打扰他人休息。
b.根据温度信息进行调整，当温度大于阈值M时，说明天气较热，这时自动调整界面背景色为冷色调，如果温度小于阈值N，说明天气较冷，自动调整界面背景色为暖色调。
c.根据光强情况进行调整，当室内光照信息小于阈值M时，自动调亮界面亮度至某一数值；当室内光照信息大于阈值N时，自动调暗界面亮度至某一数值。
(2)对用户界面布局的调整
如图5所示，当用户离屏幕距离较远时，用户对于界面布局的需求就不一样了，本发明中根据距离信息对界面布局进行修改，使得用户拥有更舒适的感受。
当距离信息大于阈值N时，说明用户距离较远，这时对于界面布局进行调整，将在现有的布局基础上自动将布局从a×b调整到(a-1)×(b-1)或(a-1)×b、a×(b-1)，如图6所示，这将根据距离远近进行选择，当距离大于阈值A时，布局变为(a-1)×(b-1)，当距离大于阈值B时，判断a、b值的大小，则相应的进行布局调整。这里的布局调整了，界面的字体及大小、粗细以及图片的大小都会相应的进行调整，以满足用户需求。
当距离信息小于阈值M时，说明用户离屏幕距离过近，为了保护用户的眼睛，提示用户距离过近。
(3)对用户界面版块的调整
从服务器中获得的节目数据根据用户界面的不同分别推送给相应的年龄段用户，例如：将动画片、游戏等版块节目直接推送给小孩，养身生、新闻类、戏剧类推送给老人，将电视剧、电影等推送给成人。
如图5所示，用户界面版块的调整包括对于电视节目、电视频道及视频应用的调整。可以自动更新列表，将用户观看频率较高的节目排在前面，方便用户快速找到常用节目以及对用户进行节目的推荐。
当界面调整子模块132得到时间信息以后，可以分为两种情况进行调整：
一是对于三类年龄段特定用户分别在一定时间段内同一时间对于电视节目、电视频道及视频应用观看频率统计的结果进行更新，将该用户常看节目放置在节目列表前面，例如：用户晚上7点的时候，根据此用户上一周每天晚上7-10点时间段内所看的节目的频率进行统计并进行列表更新。对于用户本身的节目显示在界面推荐(recommendation)中。
二是分别对于某一地域范围内三类年龄段所有用户在一定时间内同一时间对于电视节目、电视频道及视频应用观看频率统计的结果进行更新，将用户常看节目放置在节目列表前面，例如：小孩晚上7点在看电视，根据上一周7-10点这个时间段中国地区所有小孩年龄段的用户所看节目的频率统计结果进行列表更新。对于同年龄段用户所看的节目放置在界面中的类别(category)中。
列表统计更新是有一定机制的：当用户每次换台并不是所有观看的台都统计，而是当用户在某一台停留一定时间后进行计数加1，否则丢弃该数据，例如：当用户观看某一台超过半小时进行计数加1，否则该台不计入统计范畴内。
如图7A、7B和7C给出了原用户界面与两个方案的效果对比示意图。图7B为方案一的自适应界面，该用户界面针对喜欢看动画片的儿童，在距离较远以及时间较晚的情况下进行的自适应调整，从图中可以看到根据距离远近界面布局进行了调整，相应的字大小、粗细以及图片大小均有所调整，同时由于时间较晚打扰他人休息，音量自动降低，其中界面中recommendation显示的是该用户上周同时段所看的频率较高的节目，下方的category显示的是同一地区所有儿童所看的频率比较高的节目版块。图7C为方案二的自适应界面，该用户界面针对喜欢看电视剧的老人，在温度较低以及距离较远的情况下进行的自适应调整，从图中可以看到根据距离远近界面布局进行了调整，相应的字大小、粗细以及图片大小均有所调整，另外，由于温度较低，界面的背景色调自动调整为暖色调；同时界面中recommendation显示的是该用户上周同时段所看的频率较高的节目，下方的category显示的是同一地区所有老人所看的频率比较高的节目版块。
本发明还提出一种基于多感知源的自适应界面定制方法，该方法使用上述装置实现自适应界面定制，如图8为该方法实现流程图，包括：
步骤801：采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库；
步骤802：根据所述待识别人脸图像所属的样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；
步骤803：根据采集的当前环境信息调整该用户界面。
上述方法中，所述预先保存的两个以上样本库中，每个样本库中包含一个以上样本图像的特征信息；
上述步骤801中，根据预先保存的两个以上样本库确定待识别人脸图像所属的样本库的方式具体可以为：对所述待识别人脸图像进行预处理，针对预处理之后的待识别人脸图像，提取该待识别人脸图像的特征信息，将该待识别人脸图像的特征信息与样本图像的特征信息进行比对，如果存在比对结果符合的样本图像，则将该样本图像所属的样本库作为该待识别人脸图像所属的样本库。
其中，样本图像或待识别人脸图像的特征信息可以包括：样本图像或待识别人脸图像的DCT特征中的低频成分，以及样本图像或待识别人脸图像的Gabor特征；
所述将待识别人脸图像的特征信息与样本图像的特征信息进行比对的方式可以为：分别计算待识别人脸图像的DCT特征中的低频成分与各样本库中每个样本图像的DCT特征中的低频成分的曼哈顿距离，选择各样本库中曼哈顿距离最小的样本图像；再分别计算待识别人脸图像的Gabor特征与所述选择出的各个样本图像的Gabor特征的曼哈顿距离，将曼哈顿距离最小并且在预设阈值范围内的样本图像作为比对结果符合的样本图像。
上述步骤803具体可以为：当存在一个样本库ID时，根据样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；当存在两个以上样本库ID时，根据预先设置的优先级确定优先级最高的样本库ID，根据该优先级最高的样本库ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面。
上述方法中，当前环境信息可以包括：时间信息、温度信息、光强度信息以及用户与显示界面之间的距离信息中的至少一项。
综上可见，本发明提出的基于多感知源的自适应界面定制装置和方法，克服了传统电视中只有单一界面的缺点，提供一种多感知源感知信息，通过用户分类信息自动进入个性化界面，有效避免了传统电视中不同用户均用统一界面的情况或者需要手动配置界面文件的不足，无需用户操作，增加了个性化界面，增强了用户体验。本发明克服了现有技术中需要用户手动更改界面定制文件的缺点，提供一种自适应界面定制方法，根据感知的周围信息对界面进行自适应调整的方法，有效避免了用户手动操作，增加了用户的体验感，促进了电视的自动化发展。本发明克服了传统技术中人脸识别效率不高的问题，提出一种基于多特征融合人脸表示分类算法，旨在模拟人类视觉感知系统，同时利用人脸图像的全局和局部信息，得到快速高效的识别结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种基于多感知源的自适应界面定制装置，其特征在于，所述装置包括：
人脸图像识别模块，用于采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库，并将该样本库的ID发送至界面设置模块；
环境信息采集模块，用于采集当前环境信息，并将所述当前环境信息发送至界面设置模块；
界面设置模块，用于根据所述样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；并根据所述当前环境信息调整该用户界面。
2.根据权利要求1所述的装置，其特征在于，所述人脸图像识别模块包括：
人脸图像采集子模块，用于采集待识别人脸图像，并将所述待识别人脸图像发送至图像预处理子模块；
图像预处理子模块，用于对所述待识别人脸图像进行预处理，并将预处理之后的待识别人脸图像发送至人脸图像分类子模块；
人脸图像分类子模块，用于预先保存两个以上样本库，每个样本库中包含一个以上样本图像的特征信息；当接收到预处理之后的待识别人脸图像时，提取该待识别人脸图像的特征信息，将该待识别人脸图像的特征信息与样本图像的特征信息进行比对，如果存在比对结果符合的样本图像，则将该样本图像所属的样本库作为该待识别人脸图像所属的样本库，并将该样本库的ID发送至界面设置模块。
3.根据权利要求2所述的装置，其特征在于，所述样本图像或待识别人脸图像的特征信息包括：样本图像或待识别人脸图像的离散余弦变换DCT特征中的低频成分，以及样本图像或待识别人脸图像的Gabor特征；
所述人脸图像分类子模块将待识别人脸图像的特征信息与样本图像的特征信息进行比对的方式为：分别计算待识别人脸图像的DCT特征中的低频成分与各样本库中每个样本图像的DCT特征中的低频成分的曼哈顿距离，选择各样本库中曼哈顿距离最小的样本图像；再分别计算待识别人脸图像的Gabor特征与所述选择出的各个样本图像的Gabor特征的曼哈顿距离，将曼哈顿距离最小并且在预设阈值范围内的样本图像作为比对结果符合的样本图像。
4.根据权利要求1所述的装置，其特征在于，所述界面设置模块包括：
界面选择子模块，用于当接收到一个样本库ID时，获取该样本库ID对应的用户界面；当接收到两个以上样本库ID时，根据预先设置的优先级确定优先级最高的样本库ID，获取该优先级最高的样本库ID对应的用户界面；
界面调整子模块，用于根据当前环境信息调整该用户界面。
5.根据权利要求1所述的装置，其特征在于，所述环境信息采集模块采集的当前环境信息包括：时间信息、温度信息、光强度信息以及用户与显示界面之间的距离信息中的至少一项。
6.一种基于多感知源的自适应界面定制方法，其特征在于，所述方法包括：
采集待识别人脸图像，根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库；
根据所述待识别人脸图像所属的样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；
根据采集的当前环境信息调整该用户界面。
7.根据权利要求6所述的方法，其特征在于，所述预先保存的两个以上样本库中，每个样本库中包含一个以上样本图像的特征信息；
所述根据预先保存的两个以上样本库确定所述待识别人脸图像所属的样本库的方式为：
对所述待识别人脸图像进行预处理，针对预处理之后的待识别人脸图像，提取该待识别人脸图像的特征信息，将该待识别人脸图像的特征信息与样本图像的特征信息进行比对，如果存在比对结果符合的样本图像，则将该样本图像所属的样本库作为该待识别人脸图像所属的样本库。
8.根据权利要求7所述的方法，其特征在于，所述样本图像或待识别人脸图像的特征信息包括：样本图像或待识别人脸图像的离散余弦变换DCT特征中的低频成分，以及样本图像或待识别人脸图像的Gabor特征；
所述将待识别人脸图像的特征信息与样本图像的特征信息进行比对的方式为：分别计算待识别人脸图像的DCT特征中的低频成分与各样本库中每个样本图像的DCT特征中的低频成分的曼哈顿距离，选择各样本库中曼哈顿距离最小的样本图像；再分别计算待识别人脸图像的Gabor特征与所述选择出的各个样本图像的Gabor特征的曼哈顿距离，将曼哈顿距离最小并且在预设阈值范围内的样本图像作为比对结果符合的样本图像。
9.根据权利要求6所述的方法，其特征在于，所述根据样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面的方式为：
当存在一个样本库ID时，根据样本库的ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面；
当存在两个以上样本库ID时，根据预先设置的优先级确定优先级最高的样本库ID，根据该优先级最高的样本库ID查找预先保存的样本库ID与用户界面的对应关系，获取该样本库的ID所对应的用户界面。
10.根据权利要求6所述的方法，其特征在于，所述当前环境信息包括：时间信息、温度信息、光强度信息以及用户与显示界面之间的距离信息中的至少一项。
CN201410849447.6A 2014-12-31 2014-12-31 一种基于多感知源的自适应界面定制装置及方法 Pending CN104661104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410849447.6A CN104661104A (zh) 2014-12-31 2014-12-31 一种基于多感知源的自适应界面定制装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410849447.6A CN104661104A (zh) 2014-12-31 2014-12-31 一种基于多感知源的自适应界面定制装置及方法

Publications (1)

Publication Number Publication Date
CN104661104A true CN104661104A (zh) 2015-05-27

Family

ID=53251713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410849447.6A Pending CN104661104A (zh) 2014-12-31 2014-12-31 一种基于多感知源的自适应界面定制装置及方法

Country Status (1)

Country Link
CN (1) CN104661104A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791588A (zh) * 2016-04-28 2016-07-20 努比亚技术有限公司 移动终端桌面设置装置和方法
CN106022891A (zh) * 2016-05-27 2016-10-12 广东小天才科技有限公司 一种应用程序商城界面生成方法及系统
CN106126017A (zh) * 2016-06-20 2016-11-16 北京小米移动软件有限公司 智能识别方法、装置和终端设备
CN107592571A (zh) * 2017-08-31 2018-01-16 深圳创维－Rgb电子有限公司 智能系统调整方法、装置及计算机可读存储介质
WO2018023783A1 (zh) * 2016-08-05 2018-02-08 王志强 根据市场反馈调节自动设置电视的方法以及电视机
WO2018023781A1 (zh) * 2016-08-05 2018-02-08 王志强 自动调节电视亮度技术的调整方法以及电视机
WO2018023784A1 (zh) * 2016-08-05 2018-02-08 王志强 人脸调节电视设置技术的停用方法以及电视机
WO2018023785A1 (zh) * 2016-08-05 2018-02-08 王志强 根据人脸调节电视设置的方法以及电视机
WO2018027417A1 (zh) * 2016-08-06 2018-02-15 吕秋萍 根据市场反馈调节自动设置电视的方法以及电视机
WO2018027419A1 (zh) * 2016-08-06 2018-02-15 吕秋萍 根据人脸调节电视设置的方法以及电视机
CN111338726A (zh) * 2020-02-18 2020-06-26 北京梧桐车联科技有限责任公司 显示界面的调整方法、装置及计算机存储介质
CN111787387A (zh) * 2020-06-30 2020-10-16 百度在线网络技术（北京）有限公司 内容显示方法、装置、设备以及存储介质
CN113158834A (zh) * 2021-03-31 2021-07-23 中北大学南通智能光机电研究院 一种多感知的人脸识别魔方
CN113495976A (zh) * 2020-04-03 2021-10-12 百度在线网络技术（北京）有限公司 内容显示方法、装置、设备以及存储介质
CN114443182A (zh) * 2020-10-30 2022-05-06 深圳Tcl数字技术有限公司 一种界面切换方法、存储介质及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004908A (zh) * 2010-11-30 2011-04-06 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
CN102760077A (zh) * 2011-04-29 2012-10-31 广州三星通信技术研究有限公司 基于人脸识别自适应应用情景模式的方法和设备
US20140026157A1 (en) * 2011-04-11 2014-01-23 Tao Wang Face recognition control and social networking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004908A (zh) * 2010-11-30 2011-04-06 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
US20140026157A1 (en) * 2011-04-11 2014-01-23 Tao Wang Face recognition control and social networking
CN102760077A (zh) * 2011-04-29 2012-10-31 广州三星通信技术研究有限公司 基于人脸识别自适应应用情景模式的方法和设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791588A (zh) * 2016-04-28 2016-07-20 努比亚技术有限公司 移动终端桌面设置装置和方法
CN106022891A (zh) * 2016-05-27 2016-10-12 广东小天才科技有限公司 一种应用程序商城界面生成方法及系统
CN106126017A (zh) * 2016-06-20 2016-11-16 北京小米移动软件有限公司 智能识别方法、装置和终端设备
WO2018023785A1 (zh) * 2016-08-05 2018-02-08 王志强 根据人脸调节电视设置的方法以及电视机
WO2018023783A1 (zh) * 2016-08-05 2018-02-08 王志强 根据市场反馈调节自动设置电视的方法以及电视机
WO2018023781A1 (zh) * 2016-08-05 2018-02-08 王志强 自动调节电视亮度技术的调整方法以及电视机
WO2018023784A1 (zh) * 2016-08-05 2018-02-08 王志强 人脸调节电视设置技术的停用方法以及电视机
WO2018027417A1 (zh) * 2016-08-06 2018-02-15 吕秋萍 根据市场反馈调节自动设置电视的方法以及电视机
WO2018027419A1 (zh) * 2016-08-06 2018-02-15 吕秋萍 根据人脸调节电视设置的方法以及电视机
CN107592571A (zh) * 2017-08-31 2018-01-16 深圳创维－Rgb电子有限公司 智能系统调整方法、装置及计算机可读存储介质
WO2019042220A1 (zh) * 2017-08-31 2019-03-07 深圳创维－Rgb电子有限公司 智能系统调整方法、装置及计算机可读存储介质
CN111338726A (zh) * 2020-02-18 2020-06-26 北京梧桐车联科技有限责任公司 显示界面的调整方法、装置及计算机存储介质
CN113495976A (zh) * 2020-04-03 2021-10-12 百度在线网络技术（北京）有限公司 内容显示方法、装置、设备以及存储介质
CN113495976B (zh) * 2020-04-03 2024-07-26 百度在线网络技术（北京）有限公司 内容显示方法、装置、设备以及存储介质
CN111787387A (zh) * 2020-06-30 2020-10-16 百度在线网络技术（北京）有限公司 内容显示方法、装置、设备以及存储介质
CN114443182A (zh) * 2020-10-30 2022-05-06 深圳Tcl数字技术有限公司 一种界面切换方法、存储介质及终端设备
CN113158834A (zh) * 2021-03-31 2021-07-23 中北大学南通智能光机电研究院 一种多感知的人脸识别魔方

Similar Documents

Publication Publication Date Title
CN104661104A (zh) 一种基于多感知源的自适应界面定制装置及方法
CN107566907B (zh) 视频剪辑方法、装置、存储介质及终端
CN110737840B (zh) 语音控制方法及显示设备
CN109121007B (zh) 基于多人脸识别的影视内容推荐方法、智能电视及系统
US20210377607A1 (en) Device setting adjustment based on content recognition
US20140173655A1 (en) Advertisement server, advertisement broadcasting terminal, and advertisement publishing method
US9264623B2 (en) System and method for displaying content on a television in standby mode
CN112163086B (zh) 多意图的识别方法、显示设备
JP2017534191A (ja) 画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法
CN104010220A (zh) 内容服务提供方法和装置
US10419744B2 (en) Techniques for user profiles for viewing devices
KR102138525B1 (ko) 디스플레이 디바이스 및 그 제어 방법
CN111343512B (zh) 信息获取方法、显示设备及服务器
WO2021063096A1 (zh) 视频合成方法、装置、电子设备及存储介质
CN109756788B (zh) 视频字幕自动调整方法及装置、终端及可读存储介质
CN108712674A (zh) 视频播放控制方法、播放设备及存储介质
CN104093058A (zh) 平板显示屏的多窗口显示系统及一种智能电视
CN103686422A (zh) 针对不同信号源下的图像质量参数的适配方法及装置
CN111625716A (zh) 媒资推荐方法、服务器及显示设备
CN103414944B (zh) 快速预览目标文件的方法和装置
US11863829B2 (en) Display apparatus and method for displaying image recognition result
CN111552794B (zh) 提示语生成方法、装置、设备和存储介质
CN112822539B (zh) 信息显示方法、装置、服务器及存储介质
CN114501144A (zh) 基于图像的电视控制方法、装置、设备及存储介质
KR20190047960A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150527