CN114093461A - 交互界面的显示方法和装置以及存储介质 - Google Patents

交互界面的显示方法和装置以及存储介质 Download PDF

Info

Publication number
CN114093461A
CN114093461A CN202010743658.7A CN202010743658A CN114093461A CN 114093461 A CN114093461 A CN 114093461A CN 202010743658 A CN202010743658 A CN 202010743658A CN 114093461 A CN114093461 A CN 114093461A
Authority
CN
China
Prior art keywords
target object
emotion
emotional
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010743658.7A
Other languages
English (en)
Inventor
徐志红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010743658.7A priority Critical patent/CN114093461A/zh
Priority to US17/773,371 priority patent/US11960640B2/en
Priority to PCT/CN2021/098954 priority patent/WO2022022077A1/zh
Publication of CN114093461A publication Critical patent/CN114093461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Public Health (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种交互界面的显示方法、显示装置及计算机可读存储介质。交互界面的显示方法包括从至少一个对象中确定要通过交互界面进行交互的目标对象；获取目标对象的属性信息和目标对象的情绪信息；以及根据目标对象的属性信息和目标对象的情绪信息来控制交互界面的第一对象区域的显示。

Description

交互界面的显示方法和装置以及存储介质
技术领域
本发明涉及人机交互领域，尤其涉及一种交互界面的显示方法、显示装置及计算机可读存储介质。
背景技术
AI(Artificial Intelligence，人工智能)技术的快速发展促进了人机交互产品的应用。目前，已经有能够对人的情绪进行监控和管理的人机交互产品被应用于健康医疗领域。这种人机交互产品可以代替或辅助医疗人员来对病人的精神状态进行评估以便进一步治疗。但是由于病人对交互产品的抵触会导致记录的结果不准确。
发明内容
本公开的实施例的第一方面提供了一种交互界面的显示方法，包括：
从至少一个对象中确定要通过交互界面进行交互的目标对象；
获取所述目标对象的属性信息和所述目标对象的情绪信息；以及
根据所述目标对象的属性信息和所述目标对象的情绪信息来控制所述交互界面的第一对象区域的显示。
根据实施例，从至少一个对象中确定要通过交互界面进行交互的目标对象包括：
对所述至少一个对象进行跟踪检测，以获取关于所述至少一个对象的图像；
对所述图像进行识别以获取所述图像中的所述至少一个对象的人脸信息；以及
基于所述至少一个对象的人脸信息，将所述图像中首次出现的对象或将所述图像中的所述至少一个对象中位于最前面的对象确定为要通过交互界面进行交互的目标对象。
根据实施例，所述属性信息包括年龄和性别，获取所述目标对象的属性信息包括：
基于所述至少一个对象的人脸信息中的所述目标对象的人脸信息，根据年龄识别算法来获取所述目标对象的年龄；以及
基于所述至少一个对象的人脸信息中的所述目标对象的人脸信息，根据性别识别算法来获取所述目标对象的性别。
根据实施例，所述情绪信息包括情绪值，获取所述目标对象的情绪信息包括：
基于所述至少一个对象的人脸信息中的所述目标对象的人脸信息，根据情绪识别算法来获取所述目标对象的情绪值。
根据实施例，根据所述目标对象的属性信息和所述目标对象的情绪信息来控制所述交互界面的第一对象区域的显示包括：
根据所述目标对象的属性信息来确定所述目标对象在所述交互界面的第一对象区域中的显示形象；以及
根据所述目标对象的情绪信息来改变所述第一对象区域中的所述显示形象。
根据实施例，所述情绪信息包括情绪值，根据所述目标对象的情绪信息来改变所述第一对象区域中的所述显示形象包括：
根据所述目标对象的情绪值来确定所述目标对象的情绪特征值；
当所述情绪特征值小于第一情绪阈值时，随着所述情绪特征值减小以第一显示方式显示所述显示形象；
当所述情绪特征值大于或等于所述第一情绪阈值且小于或等于第二情绪阈值时，保持所述显示形象；
当所述情绪特征值大于所述第二情绪阈值时，随着所述情绪特征值增大以第二显示方式显示所述显示形象。
根据实施例，交互界面的显示方法还包括：
获取所述至少一个对象中的每个对象的情绪信息；以及
根据所述至少一个对象中的每个对象的情绪信息来控制所述交互界面的第二对象区域的显示。
根据实施例，所述情绪信息包括情绪值，根据所述至少一个对象中的每个对象的情绪信息来控制所述交互界面的第二对象区域的显示包括：
根据所述至少一个对象中的每个对象的情绪值来确定所述至少一个对象中的每个对象的情绪特征值；
根据所述至少一个对象中的每个对象的情绪特征值来获取所述情绪特征值的平均值；
当所述情绪特征值的平均值小于第一情绪平均值阈值时，随着所述情绪特征值的平均值减小以第三方式显示所述第二对象区域中的背景图案；
当所述情绪特征值的平均值大于或等于所述第一情绪平均值阈值且小于或等于第二情绪平均值阈值时，保持所述第二对象区域中的背景图案；
当所述情绪特征值的平均值大于所述第二情绪平均值阈值时，随着所述情绪特征值的平均值增大以第四方式显示所述第二对象区域中的背景图案。
根据实施例，所述情绪识别算法包括K最邻近算法、支持向量机算法、聚类算法、遗传算法、粒子群优化算法、卷积神经网络算法和多任务卷积神经网络算法之一。
本公开的实施例的第二方面提供了一种交互界面的显示装置，包括：
存储器，被配置为存储程序指令；以及
处理器，被配置为执行所述程序指令，以执行以下操作：
从至少一个对象中确定要通过交互界面进行交互的目标对象；
获取所述目标对象的属性信息和所述目标对象的情绪信息；以及
根据所述目标对象的属性信息和所述目标对象的情绪信息来控制所述交互界面的第一对象区域的显示。
根据实施例，所述处理器还被配置为：
获取所述至少一个对象中的每个对象的情绪信息；以及
根据所述至少一个对象中的每个对象的情绪信息来控制所述交互界面的第二对象区域的显示。
本公开的实施例的第三方面提供了一种计算机可读存储介质，其上存储有可执行指令，当指令在被处理器执行时使处理器执行根据本公开的实施例的第一方面所提供的交互界面的显示方法。
本公开的实施例的交互界面的显示方法，通过获取要通过交互界面进行交互的目标对象的情绪信息和属性信息，并结合目标对象的情绪信息和属性信息来控制交互界面的第一对象区域的显示，从而通过显示适当的画面来增加显示的趣味性，以缓解并消除目标对象对经由交互界面进行交互的抵触情绪，以便更准确地获取目标对象的情绪状态信息，有利于对目标对象的情绪状态进行评估和治疗。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示出了设置有根据本公开实施例的交互界面的人机交互系统的示意图；
图2示出了根据本公开实施例的交互界面的显示方法的流程图；
图3A和图3B示出了根据本公开实施例的交互界面的显示示例；
图4示出了根据本公开实施例的交互界面的显示方法的另一流程图；
图5A和图5B示出了根据本公开实施例的交互界面的另一显示示例；
图6示出了根据本公开实施例的交互界面的显示装置的示例；以及
图7示出了根据本公开实施例的交互界面的显示装置的另一示例。
贯穿附图，相同的附图标记指示相同的元素或元件。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
根据本公开的实施例的交互界面可以设置并应用于能够对人的情绪进行监控或管理的人机交互系统中，可以用于获取目标对象的情绪状态信息，并对目标对象的情绪状态进行评估和治疗。下面实施例中关于交互界面的描述将以上述人机交互系统为例进行说明，但本领域技术人员应理解，本公开实施例的交互界面以及交互界面的显示方法和显示装置不限于此，可以将其应用于任何其他合适的产品或应用场景中。
图1示出了设置有根据本公开实施例的交互界面的人机交互系统的示意图，图2示出了根据本公开实施例的交互界面的显示方法的流程图。
如图1所示，人机交互系统100包括交互界面101和功能区102。交互界面101可以基于显示技术来向用户提供画面显示，功能区102可以接收用户的输入，并基于用户的输入对人机交互系统100进行操纵，例如开启或关闭人机交互系统100，设置人机交互系统100的参数，或对人机交互系统100的功能进行选择等。如图1所示，人机交互系统100还包括图像传感器103，可以被配置为捕获对象，以便向交互界面101提供包含对象的图像，以使交互界面101能够通过对图像进行识别来对要通过交互界面101进行交互的对象进行选择。
需要说明的是，图1的人机交互系统100仅为示例，不构成对人机交互系统100以及设置在人机交互系统100上的交互界面101的限定。例如，人机交互系统100可以由诸如智能手机之类的移动终端以及安装在移动终端上的应用实现。可以由例如智能手机的屏幕来实现交互界面101的功能，由对应用的操作来实现功能区102的功能，由智能手机的摄像头来实现图像传感器103的功能。
如图2所示，根据本公开实施例的交互界面的显示方法200包括以下步骤。
在步骤S210，从至少一个对象中确定要通过交互界面进行交互的目标对象。
在步骤S220，获取目标对象的属性信息和目标对象的情绪信息。
在步骤S230，根据目标对象的属性信息和目标对象的情绪信息来控制交互界面的第一对象区域的显示。
具体的，在步骤S210中，显示方法200可以在有多个对象存在的场景中确定要通过交互界面进行交互的目标对象。从至少一个对象中确定目标对象的方法可以包括：对至少一个对象进行跟踪检测，以获取关于至少一个对象的图像，对图像进行识别以获取图像中的至少一个对象的人脸信息，以及基于至少一个对象的人脸信息，将图像中首次出现的对象或将图像中的所述少一个对象中位于最前面的对象确定为要通过交互界面进行交互的目标对象。
根据实施例，显示方法200可以对出现在图像传感器103视野范围内的至少一个对象进行捕捉，即利用图像传感器103实时捕捉对象的图像。然后对所捕捉的图像中的人脸进行检测，可以利用人脸检测算法检测出所捕捉的图像中的人脸。目前，常用的人脸检测算法包括AInnoFace人脸检测算法、级联CNN(convolutional neural network，卷积神经网络)人脸检测算法、OpenCV人脸检测算法、Seetaface人脸检测算法、libfacedetect人脸检测算法、FaceNet人脸检测算法、MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)人脸检测算法等。本公开实施例对所采用的人脸检测算法不作限定，可以采用任何合适的方法对人脸进行检测。
根据本公开实施例的交互界面的显示方法可以提供单人和多人两种交互场景的显示。其中，单人交互场景针对场景中只存在单个交互对象的情况，并与该单个交互对象进行交互。多人交互场景可以针对场景中存在多个交互对象的情况，并从多个交互对象中选定一个交互对象进行交互。具体的交互是基于单人交互场景进行交互还是基于多人交互场景进行交互可以通过设置系统参数来事先选定。例如，对于存在多个交互对象的场景，可以将交互设置为多人交互场景。
根据本公开实施例的交互界面的显示方法可以以不同的方式确定目标对象。根据实施例，可以将首次出现在所捕捉的图像中的对象确定为要通过交互界面进行交互的目标对象，这种方式同时适用于单人交互场景和多人交互场景。根据实施例，还可以将所捕捉的图像中的多个对象中位于最前面的对象确定为要通过交互界面进行交互的目标对象，这种方式适用于多人交互场景且多个交互对象同时出现在所捕捉的图像中的情况。可以理解，图像传感器103可以是深度图像传感器，所捕捉的图像可以是深度图像，根据本公开实施例的显示方法通过对所捕捉的图像中的各个对象的深度信息进行识别来确定位于最前面的对象。
接下来，在步骤S220中，通过对目标对象的跟踪检测，可以实时获取目标对象的图像，实时获取图像中目标对象的人脸信息，并根据人脸信息实时获取目标对象的属性信息和情绪信息。
在确定了目标对象之后，还可以对目标对象进行跟踪，以便实时获取目标对象的情绪值。具体的，采用人脸跟踪和平滑算法对目标对象进行跟踪检测。在显示方法在图像传感器103所捕捉的图像中检测到人脸，并确定了目标对象之后，在图像上识别出该目标对象的人脸的位置，同时在交互界面101上显示代表该目标对象的人脸的形象。当目标对象自由移动时，交互界面中的人脸的形象可以随着目标对象的移动而移动，从而实现对目标对象的平滑跟踪。目前，常用的人脸跟踪和平滑算法包括MTCNN算法、Laplace算法、粒子滤波算法等，也可以使用卡尔曼滤波器和Hungarian(匈牙利)算法的组合技术，本公开实施例对此不作限定。
根据实施例，目标对象的属性信息可以包括目标对象的年龄和性别，但不限于此。获取目标对象的年龄和性别的步骤包括，通过对包括目标对象的人脸的图像进行识别来获取目标对象的人脸信息，并基于人脸信息，根据年龄识别算法来获取目标对象的年龄。常用的年龄识别算法包括SVM(Support Vector Machine，支持向量机)、CNN等。进一步地，还可以基于人脸信息，根据性别识别算法来获取目标对象的性别。常用的性别识别算法包括SVM、CNN等。本公开实施例对所采用的年龄识别算法和性别识别算法不作限定，可以采用任何合适的方法。
根据实施例，目标对象的情绪信息可以由目标对象的情绪值来表示。获取目标对象的情绪值的步骤包括，通过对包括目标对象的人脸的图像进行识别来获取目标对象的人脸信息，并基于人脸信息，根据情绪识别算法来获取目标对象的情绪值。常用的情绪识别算法包括KNN(K-Nearest Neighbor，K最邻近)算法、SVM算法、聚类算法、遗传算法、PSO(Particle Swarm Optimization，粒子群优化)算法、CNN算法、MTCNN算法等。本公开实施例对所采用的情绪识别算法不作限定，可以采用任何合适的方法。
根据实施例，可以通过情绪识别算法识别目标对象的8种情绪，包括中性、高兴、吃惊、悲伤、生气、害怕、厌恶和轻蔑，每种情绪对应不同的情绪值。目标对象的情绪存在很多复杂的情况，目标对象的情绪可能是各种情绪交织在一起的复杂状态。例如目标对象处于轻蔑状态，但整体情绪稳定不存在情绪波动，即目标对象还处于中性状态中。因此，还需要根据上述情绪值来对目标对象的实际情绪类别进行综合判断。通常情况下，可以认为中性和吃惊属于中性情绪，即当目标对象处于中性或吃惊状态时，该目标对象整体处于平静的状态，不会存在较大的情绪波动。可以认为悲伤、生气、害怕、厌恶和轻蔑属于负面情绪，即当目标对象处于悲伤、生气、害怕、厌恶或轻蔑状态时，该目标对象的情绪较低落，或存在较大的负面波动。可以认为高兴属于正面情绪，容易理解，当目标对象处于高兴状态时，目标对象的情绪具有正面波动或情绪高涨。
情绪识别算法以不同的情绪值表示目标对象的情绪。通常负面情绪例如悲伤、生气、害怕、厌恶和轻蔑具有较低的情绪值，正面情绪例如高兴具有较高的情绪值，中性情绪例如中性和吃惊的情绪值处于正面情绪和负面情绪的情绪值之间。因此可以通过不同的数值来表征目标对象的情绪。
接下来，在步骤S230中，根据目标对象的属性信息和情绪信息来控制交互界面的第一对象区域的显示包括根据目标对象的属性信息来确定目标对象在交互界面上的显示形象。根据实施例，交互界面101还被划分为不同的对象区域，根据本公开实施例的显示方法可以对不同的对象区域分别进行控制和显示，由此来增加显示的灵活性。
图3A和图3B示出了根据本公开实施例的交互界面的显示示例。如图3A和图3B所示，交互界面101包括第一对象区域1011和第二对象区域1012。其中，第一对象区域1011可以是被配置为显示目标对象的区域，其在交互界面101上呈现目标对象的显示形象。第二对象区域1012可以是被配置为显示除目标对象的显示形象之外的其他内容的区域，例如在交互界面101上显示背景区域。第一对象区域1011在交互界面101上的位置可以变化，第一对象区域1011可以在交互界面101上移动，从而提供动态的显示效果。
根据目标对象的属性信息来确定目标对象在交互界面上的显示形象，可以是根据目标对象的年龄和性别来确定目标对象在显示界面的第一对象区域中的显示形象。如图3A和图3B所示，图中所示的郁金香即为根据目标对象的年龄和性别所确定的用于代表目标对象的显示形象。
接下来，在步骤S230中，根据目标对象的属性信息和情绪信息来控制交互界面的第一对象区域的显示还包括根据目标对象的情绪信息来改变第一对象区域中的显示形象。根据实施例，根据目标对象的情绪信息来改变第一对象区域中的显示形象可以包括，根据目标对象的情绪值来确定目标对象的情绪特征值，并基于目标对象的情绪特征值与情绪阈值的比较结果来控制显示形象的显示。当情绪特征值小于第一情绪阈值时，随着情绪特征值减小以第一显示方式显示目标对象的显示形象。当情绪特征值大于或等于第一情绪阈值且小于或等于第二情绪阈值时，保持目标对象的显示形象。当情绪特征值大于第二情绪阈值时，随着情绪特征值增大以第二显示方式显示目标对象的显示形象。
由于对象实际情绪状态的复杂性，因此根据所识别的目标对象的情绪信息(情绪值)来表示目标对象的综合情绪状态。第一情绪阈值和第二情绪阈值是根据对象的情绪状态预先确定的阈值，第一情绪阈值的数值小于第二情绪阈值的数值，可以根据不同对象的实际情况调整第一情绪阈值和第二情绪阈值的数值。第一显示方式和第二显示方式可以是与显示形象相关联的显示方式，可以结合具体的显示形象进行确定。例如，当显示形象是如图3A和图3B所示的郁金香时，第一显示方式可以是郁金香由开放状态逐渐闭合(图3A)，第二显示方式可以是郁金香由开放或闭合的状态逐渐绽放(图3B)。郁金香由开放状态逐渐闭合可以表示目标对象处于负面情绪状态，不愿意进行交流。郁金香由开放或闭合的状态逐渐绽放表示目标对象处于正面情绪状态，愿意进行交流。此外，根据实施例，基于情绪特征值的变化来调整显示形象的显示，可以通过显示形象的变化呈现出目标对象情绪的变化。例如，当郁金香由开放状态逐渐闭合时，表示目标对象的情绪正在变得越来越低落。当郁金香由开放或闭合的状态逐渐绽放时，表示目标对象的情绪正逐渐高涨。
根据本公开的实施例，分别以第一显示方式和第二显示方式控制显示形象的显示，不仅可以更确切地表示出目标对象所处的情绪状态，呈现目标对象的情绪的变化，有利于对目标对象的情绪状态进行实时监控，还可以增加显示的趣味性，有利于调动目标对象的情绪，从而对目标对象进行辅助治疗。
容易理解，情绪阈值不限于第一情绪阈值和第二情绪阈值，显示方式也不限于第一显示方式和第二显示方式，可以根据目标对象的情绪状态限定更多显示方式，以提供关于目标对象的更丰富的信息。例如，当情绪特征值小于第一情绪阈值，且情绪特征值逐渐增大但未达到第一情绪阈值的情况，可以以如下方式显示目标对象的显示形象(仍以图3A中的郁金香为例)：使郁金香在闭合的状态下呈现出趋向开放状态的变化，即如图3A所示，郁金香可以在开始时呈现出一个小的闭合的花苞，随着情绪特征值增大，闭合的花苞仍未开放，但花苞变大，有了要开放的趋势。同样地，当情绪特征值大于第二情绪阈值，且情绪特征值逐渐减小但未达到第二情绪阈值的情况，可以以如下方式显示目标对象的显示形象(仍以图3B中的郁金香为例)：使郁金香在开放状态下呈现趋向闭合状态的变化，即如图3B所示，郁金香可以在开始时呈现出开放的较大的花朵，随着情绪特征值减小，较大的花朵变小，但仍为开放的状态。
本公开的实施例提供了一种基于情绪识别的交互界面的显示方法。该显示方法可以实时识别目标对象的情绪并动态地调整交互界面的显示。当在图像中检测出人脸时，就会出现对应的显示形象，可以结合年龄识别算法和性别识别算法对目标对象进行不同的分类，以展示不同的形象。从而通过显示适当的画面来增加显示的趣味性，以缓解并消除目标对象对经由交互界面进行交互的抵触情绪，以便更准确地获取目标对象的情绪状态信息，有利于对目标对象的情绪状态进行评估和治疗。
图4示出了根据本公开实施例的交互界面的显示方法的另一流程图，如图4所示，显示方法400可以包括以下步骤。
在步骤S410，从至少一个对象中确定要通过交互界面进行交互的目标对象。
在步骤S420，获取目标对象的属性信息和目标对象的情绪信息。
在步骤S430，根据目标对象的属性信息和目标对象的情绪信息来控制交互界面的第一对象区域的显示。
在步骤S440，获取至少一个对象中的每个对象的情绪信息。
在步骤S450，根据至少一个对象中的每个对象的情绪信息来控制交互界面的第二对象区域的显示。
其中，步骤S410、步骤S420和步骤S430所执行的操作与显示方法200中的步骤S210、步骤S220和步骤S230所执行的操作相同，此处不再详细描述其操作。此外，步骤S440和步骤S450可以步骤S420和步骤S430并行地执行。下面结合实施例详细说明步骤S440和步骤S450。
根据实施例，根据至少一个对象中的每个对象的情绪信息来控制交互界面的第二对象区域的显示具体包括，根据至少一个对象中的每个对象的情绪值来确定至少一个对象中的每个对象的情绪特征值，根据至少一个对象中的每个对象的情绪特征值来获取情绪特征值的平均值，当情绪特征值的平均值小于第一情绪平均值阈值时，随着情绪特征值的平均值减小以第三方式显示第二对象区域中的背景图案，当情绪特征值的平均值大于或等于第一情绪平均值阈值且小于或等于第二情绪平均值阈值时，保持第二对象区域中的背景图案，当情绪特征值的平均值大于第二情绪平均值阈值时，随着情绪特征值的平均值增大以第四方式显示第二对象区域中的背景图案。
在该实施例中，情绪特征值的平均值是将所获取的图像中的包括目标对象在内的每个对象的情绪特征值求平均所获得的值，其可以大致表示图像中的所有对象的整体情绪状态。图5A和图5B示出了根据本公开实施例的交互界面的另一显示示例。如图5A所示，当情绪特征值的平均值小于第一情绪平均值阈值时，说明图像中所有对象的整体情绪状态较低落，整体处于负面情绪中，由此可以在第二对象区域(例如背景图像)中增加刮风或下雨之类的要素。如图5B所示，当情绪特征值的平均值大于第二情绪平均值阈值时，说明图像中所有对象的整体情绪状态较积极，整体处于正面情绪中，由此可以在第二对象区域(例如背景图像)中增加阳光或彩虹之类的要素。
通过根据人群的情绪特征值的平均值来对第二对象区域的显示进行调整，可以更好地示出目标对象所处场景中其他人的情绪信息，而由于人的情绪容易受到外界影响，因此根据本公开的实施例，能够更全面地对目标对象的情绪进行监控，并为分析和治疗目标对象提供多元化的信息。
容易理解的是，情绪平均值阈值不限于第一情绪平均值阈值和第二情绪平均值阈值，显示方式也不限于第三显示方式和第四显示方式，可以根据目标对象所处人群的情绪状态限定更多显示方式，以提供关于目标对象的更丰富的信息。
另外，在单人交互的情况下，也可以基于目标对象自身的情绪特征值来调整第二对象区域的显示。此时，以目标对象的情绪值特征值作为情绪特征值的平均值。
图6示出了根据本公开实施例的交互界面的显示装置的示例。如图6所示，交互界面的显示装置600包括图像获取模块601、人脸检测模块602、年龄检测模块603、性别检测模块604、分类模块605、跟踪检测模块606、情绪识别模块607、单人人机交互模块608、多人人机交互模块609以及情绪记录分析模块610。其中，图像获取模块601被配置为接收由图像传感器所捕捉的关于至少一个对象的图像。人脸检测模块602被配置为对图像进行识别以获取图像中的至少一个对象的人脸信息，并确定目标对象。年龄检测模块603被配置为基于至少一个对象的人脸信息中的目标对象的人脸信息，根据年龄识别算法来获取目标对象的年龄。性别检测模块604被配置为基于至少一个对象的人脸信息中的目标对象的人脸信息，根据性别识别算法来获取目标对象的性别。分类模块605被配置为根据识别出的年龄信息和性别信息确定目标对象的显示形象。在该示例中，可以根据表1所示的信息来确定目标对象的显示形象。例如，当目标对象的性别为女，年龄为30-50岁之间时，可以用郁金香作为该目标对象的显示显示形象。
表1
性别 年龄 形象 性别 年龄 形象
男 0-15 小草 女 0-15 花蕾
男 15-30 小树 女 15-30 玫瑰
男 30-50 大树 女 30-50 郁金香
男 50-65 雄鹰 女 50-65 蔷薇
男 65～ 海鸥 女 65～ 牡丹
跟踪检测模块606被配置为对采用人脸跟踪和平滑算法对目标对象进行跟踪检测，在图像上识别出该目标对象的人脸的位置，以便在交互界面上显示代表该目标对象的人脸的形象。情绪识别模块607被配置为从跟踪检测模块606实时地获取人脸信息，并根据情绪识别算法来获取目标对象的情绪值。
单人人机交互模块608提供单人场景下的交互界面，其被配置为根据情绪识别模块607所识别的目标对象的情绪值进行如下处理：
以a1、a2、a3、a4、a5、a6、a7和a8分别表示目标对象的8种情绪的情绪值，根据下面表达式(1)的方法对情绪值进行拟合，以获得目标对象的情绪特征值，拟合过程中所有数值均为向上取整：
Figure BDA0002607592090000141
式中，w1和w2是预设的拟合变量，k是预设的常数，W目标是目标对象的情绪特征值。
进一步地，将第一情绪阈值设为k1＝30，将第二情绪阈值k2＝80，则预设的常数可以取为k＝50，使得w1＝w2时目标对象的情绪值在k1和k2之间。
单人人机交互模块608还根据以下条件的判断来控制第一对象区域的显示：
当W目标＜k1时，郁金香随着W目标数值的减小而逐渐闭合。
当k1≤W目标≤k2时，郁金香保持在一般开放状态不变化。
当W目标＞k2时，郁金香随着W目标数值的增大而逐渐呈现绽放状态。
多人人机交互模块609提供多人场景下的交互界面，其确定目标对象的情绪特征值，并根据目标对象的情绪特征值控制目标对象的显示形象的显示的过程与单人人机交互模块608相同，此处不再赘述。
此外，多人人机交互模块609还被配置为根据情绪识别模块607所识别的每个对象的情绪值进行如下处理：
以W1、W2、W3……、Wn分别表示采集到的图像中的n个对象的情绪特征值，则整个场景中所有对象的情绪特征值的平均值如表达式(2)所示：
Figure BDA0002607592090000151
进一步地，以h1表示第一情绪平均值阈值，h1可以为30，以h2表示第二情绪平均值阈值，h2可以为80。
多人人机交互模块609还根据以下条件的判断来控制第二对象区域的显示：
当W平均＜h1时，在显示画面的背景中增加刮风、下雨等要素。
当h1≤W平均≤h2时，保持显示画面的背景不变化。
当W平均＞h2时，在显示画面的背景中增加阳光、彩虹等要素。
情绪记录分析模块610被配置为记录每个目标对象的基本信息和监测过程中的情绪状态信息。
图7示出了根据本公开实施例的交互界面的显示装置的另一示例。如图7所示，交互界面的显示装置700包括存储器701和处理器702。其中，存储器701被配置为存储程序指令。处理器702被配置为执行程序指令以执行以下操作：从至少一个对象中确定要通过交互界面进行交互的目标对象，获取目标对象的属性信息和目标对象的情绪信息，并根据目标对象的属性信息和目标对象的情绪信息来控制交互界面的第一对象区域的显示。此外，处理器702还被配置为获取至少一个对象中的每个对象的情绪信息，并根据至少一个对象中的每个对象的情绪信息来控制交互界面的第二对象区域的显示。
此外，尽管以上各个框图中示出了多个组件，但是本领域技术人员应当理解，可以在缺少一个或多个组件或将某些组件组合的情况下实现本发明的实施例。
此外，尽管以上根据附图中所示的顺序对各个步骤进行了描述，但是本领域技术人员应当理解，可以在没有上述步骤中的一个或多个步骤的情况下实现本发明的实施例。
根据前述内容可以理解，一个或多个系统或设备的电子组件可以包括但不限于至少一个处理单元、存储器、以及将包括存储器在内的各个组件耦接到处理单元的通信总线或通信装置。系统或设备可以包括或可以访问各种设备可读介质。系统存储器可以包括易失性和/或非易失性存储器形式的设备可读存储介质(比如，只读存储器(ROM)和/或随机存取存储器(RAM))。通过示例而非限制的方式，系统存储器还可以包括操作系统、应用程序、其它程序模块和程序数据。
实施例可以实现为系统、方法或程序产品。因此，实施例可以采用全硬件实施例或者包括软件(包括固件、常驻软件、微代码等)的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，实施例可以采取在其上体现有设备可读程序代码的至少一个设备可读介质中体现的程序产品的形式。
可以使用设备可读存储介质的组合。在本文档的上下文中，设备可读存储介质(“存储介质”)可以是任何有形的非信号介质，其可以包含或存储由配置为由指令执行系统、装置或设备使用或与其结合使用的程序代码组成的程序。出于本公开的目的，存储介质或设备应被解释为非暂时性的，即不包括信号或传播介质。
本公开出于说明和描述目的得以呈现，但是并非旨在穷举或限制。许多修改和变化对于本领域普通技术人员将是明显的。选择和描述实施例以便说明原理和实际应用，并且使本领域普通技术人员能理解具有适合于所预期的特定用途的各种修改的本公开的各种实施例。

Claims (12)

1.一种交互界面的显示方法，包括：
从至少一个对象中确定要通过交互界面进行交互的目标对象；
获取所述目标对象的属性信息和所述目标对象的情绪信息；以及
根据所述目标对象的属性信息和所述目标对象的情绪信息来控制所述交互界面的第一对象区域的显示。
2.根据权利要求1所述的显示方法，其中，从至少一个对象中确定要通过交互界面进行交互的目标对象包括：
对所述至少一个对象进行跟踪检测，以获取关于所述至少一个对象的图像；
对所述图像进行识别以获取所述图像中的所述至少一个对象的人脸信息；以及
基于所述至少一个对象的人脸信息，将所述图像中首次出现的对象或将所述图像中的所述至少一个对象中位于最前面的对象确定为要通过交互界面进行交互的目标对象。
3.根据权利要求2所述的显示方法，其中，所述属性信息包括年龄和性别，获取所述目标对象的属性信息包括：
基于所述至少一个对象的人脸信息中的所述目标对象的人脸信息，根据年龄识别算法来获取所述目标对象的年龄；以及
基于所述至少一个对象的人脸信息中的所述目标对象的人脸信息，根据性别识别算法来获取所述目标对象的性别。
4.根据权利要求2所述的显示方法，其中，所述情绪信息包括情绪值，获取所述目标对象的情绪信息包括：
基于所述至少一个对象的人脸信息中的所述目标对象的人脸信息，根据情绪识别算法来获取所述目标对象的情绪值。
5.根据权利要求1所述的显示方法，其中，根据所述目标对象的属性信息和所述目标对象的情绪信息来控制所述交互界面的第一对象区域的显示包括：
根据所述目标对象的属性信息来确定所述目标对象在所述交互界面的第一对象区域中的显示形象；以及
根据所述目标对象的情绪信息来改变所述第一对象区域中的所述显示形象。
6.根据权利要求5所述的显示方法，其中，所述情绪信息包括情绪值，根据所述目标对象的情绪信息来改变所述第一对象区域中的所述显示形象包括：
根据所述目标对象的情绪值来确定所述目标对象的情绪特征值；
当所述情绪特征值小于第一情绪阈值时，随着所述情绪特征值减小以第一显示方式显示所述显示形象；
当所述情绪特征值大于或等于所述第一情绪阈值且小于或等于第二情绪阈值时，保持所述显示形象；
当所述情绪特征值大于所述第二情绪阈值时，随着所述情绪特征值增大以第二显示方式显示所述显示形象。
7.根据权利要求1所述的显示方法，还包括：
获取所述至少一个对象中的每个对象的情绪信息；以及
根据所述至少一个对象中的每个对象的情绪信息来控制所述交互界面的第二对象区域的显示。
8.根据权利要求7所述的显示方法，其中，所述情绪信息包括情绪值，根据所述至少一个对象中的每个对象的情绪信息来控制所述交互界面的第二对象区域的显示包括：
根据所述至少一个对象中的每个对象的情绪值来确定所述至少一个对象中的每个对象的情绪特征值；
根据所述至少一个对象中的每个对象的情绪特征值来获取所述情绪特征值的平均值；
当所述情绪特征值的平均值小于第一情绪平均值阈值时，随着所述情绪特征值的平均值减小以第三方式显示所述第二对象区域中的背景图案；
当所述情绪特征值的平均值大于或等于所述第一情绪平均值阈值且小于或等于第二情绪平均值阈值时，保持所述第二对象区域中的背景图案；
当所述情绪特征值的平均值大于所述第二情绪平均值阈值时，随着所述情绪特征值的平均值增大以第四方式显示所述第二对象区域中的背景图案。
9.根据权利要求4所述的显示方法，其中，所述情绪识别算法包括K最邻近算法、支持向量机算法、聚类算法、遗传算法、粒子群优化算法、卷积神经网络算法和多任务卷积神经网络算法之一。
10.一种交互界面的显示装置，包括：
存储器，被配置为存储程序指令；以及
处理器，被配置为执行所述程序指令，以执行以下操作：
从至少一个对象中确定要通过交互界面进行交互的目标对象；
获取所述目标对象的属性信息和所述目标对象的情绪信息；以及
根据所述目标对象的属性信息和所述目标对象的情绪信息来控制所述交互界面的第一对象区域的显示。
11.根据权利要求10所述的显示装置，所述处理器还被配置为：
获取所述至少一个对象中的每个对象的情绪信息；以及
根据所述至少一个对象中的每个对象的情绪信息来控制所述交互界面的第二对象区域的显示。
12.一种计算机可读存储介质，其上存储有可执行指令，所述指令在被处理器执行时使所述处理器执行根据权利要求1至9中任一项所述的方法。
CN202010743658.7A 2020-07-29 2020-07-29 交互界面的显示方法和装置以及存储介质 Pending CN114093461A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010743658.7A CN114093461A (zh) 2020-07-29 2020-07-29 交互界面的显示方法和装置以及存储介质
US17/773,371 US11960640B2 (en) 2020-07-29 2021-06-08 Display method and display device for interactive interface and storage medium
PCT/CN2021/098954 WO2022022077A1 (zh) 2020-07-29 2021-06-08 交互界面的显示方法和装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010743658.7A CN114093461A (zh) 2020-07-29 2020-07-29 交互界面的显示方法和装置以及存储介质

Publications (1)

Publication Number Publication Date
CN114093461A true CN114093461A (zh) 2022-02-25

Family

ID=80037458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010743658.7A Pending CN114093461A (zh) 2020-07-29 2020-07-29 交互界面的显示方法和装置以及存储介质

Country Status (3)

Country Link
US (1) US11960640B2 (zh)
CN (1) CN114093461A (zh)
WO (1) WO2022022077A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827339A (zh) * 2022-04-02 2022-07-29 维沃移动通信有限公司 消息输出方法、装置和电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186327B (zh) * 2011-12-28 2015-11-11 宇龙计算机通信科技(深圳)有限公司 改变待机界面的解锁方法及装置
CN104063147B (zh) * 2014-06-10 2018-10-19 百度在线网络技术（北京）有限公司 移动终端中页面的控制方法和装置
US10475351B2 (en) * 2015-12-04 2019-11-12 Saudi Arabian Oil Company Systems, computer medium and methods for management training systems
CN105955490A (zh) * 2016-06-28 2016-09-21 广东欧珀移动通信有限公司 一种基于增强现实的信息处理方法、装置和移动终端
US10732722B1 (en) * 2016-08-10 2020-08-04 Emaww Detecting emotions from micro-expressive free-form movements
US10679042B2 (en) * 2018-10-09 2020-06-09 Irene Rogan Shaffer Method and apparatus to accurately interpret facial expressions in American Sign Language
KR20200057810A (ko) * 2018-11-13 2020-05-27 현대자동차주식회사 차량 및 그 제어방법
US10860864B2 (en) * 2019-01-16 2020-12-08 Charter Communications Operating, Llc Surveillance and image analysis in a monitored environment
CN111797249A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 一种内容推送方法、装置与设备
CN110070879A (zh) * 2019-05-13 2019-07-30 吴小军 一种基于变声技术制作智能表情及声感游戏的方法
CN111326235B (zh) * 2020-01-21 2023-10-27 京东方科技集团股份有限公司 一种情绪调节方法、设备及系统

Also Published As

Publication number Publication date
WO2022022077A1 (zh) 2022-02-03
US11960640B2 (en) 2024-04-16
US20220404906A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
CN107358241B (zh) 图像处理方法、装置、存储介质及电子设备
WO2020125623A1 (zh) 活体检测方法、装置、存储介质及电子设备
Zhang et al. SUN: A Bayesian framework for saliency using natural statistics
CN109598234B (zh) 关键点检测方法和装置
Borji et al. Analysis of scores, datasets, and models in visual saliency prediction
CN105144239B (zh) 图像处理装置、图像处理方法
WO2019033573A1 (zh) 面部情绪识别方法、装置及存储介质
KR20200136961A (ko) 관심 대상에 대한 이미지 검색을 촉진하기 위해 사용자와 상호 작용하는 방법 및 시스템
CN108182714B (zh) 图像处理方法及装置、存储介质
US20190228231A1 (en) Video segmentation using predictive models trained to provide aesthetic scores
US20120243751A1 (en) Baseline face analysis
WO2022121130A1 (zh) 电力目标检测方法、装置、计算机设备和存储介质
Hsieh et al. Enhanced face-based adaptive skin color model
CN111183455A (zh) 图像数据处理系统与方法
Zhang et al. Emotion detection using Kinect 3D facial points
CN111052185A (zh) 影像配准方法及其装置
CN111291612A (zh) 一种基于多人多摄像头跟踪的行人重识别方法及装置
WO2022022077A1 (zh) 交互界面的显示方法和装置以及存储介质
Tania et al. Computational complexity of image processing algorithms for an intelligent mobile enabled tongue diagnosis scheme
Coutrot et al. Learning a time-dependent master saliency map from eye-tracking data in videos
CN112655021A (zh) 图像处理方法、装置、电子设备和存储介质
Lee Detection and recognition of facial emotion using bezier curves
CN111160173A (zh) 一种基于机器人的手势识别方法及机器人
Wang et al. Semantic feature based multi-spectral saliency detection
KR101956166B1 (ko) 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination