CN112001872B - 信息显示方法、设备及存储介质 - Google Patents

信息显示方法、设备及存储介质 Download PDF

Info

Publication number
CN112001872B
CN112001872B CN202010874067.3A CN202010874067A CN112001872B CN 112001872 B CN112001872 B CN 112001872B CN 202010874067 A CN202010874067 A CN 202010874067A CN 112001872 B CN112001872 B CN 112001872B
Authority
CN
China
Prior art keywords
image
mask
face
image picture
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010874067.3A
Other languages
English (en)
Other versions
CN112001872A (zh
Inventor
叶春美
黄佳斌
王一同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010874067.3A priority Critical patent/CN112001872B/zh
Publication of CN112001872A publication Critical patent/CN112001872A/zh
Priority to KR1020237010517A priority patent/KR102650900B1/ko
Priority to EP21860459.3A priority patent/EP4191517A4/en
Priority to JP2023513472A priority patent/JP7421010B2/ja
Priority to CA3190935A priority patent/CA3190935A1/en
Priority to BR112023003503A priority patent/BR112023003503A2/pt
Priority to PCT/CN2021/114665 priority patent/WO2022042624A1/zh
Priority to AU2021333957A priority patent/AU2021333957B2/en
Priority to MX2023002311A priority patent/MX2023002311A/es
Application granted granted Critical
Publication of CN112001872B publication Critical patent/CN112001872B/zh
Priority to US17/820,163 priority patent/US11922721B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本公开提供一种信息显示方法、设备及存储介质，该方法包括：通过获取视频中包含第一对象的第一图像画面，确定第一图像画面中是否存在第二对象，在确定第一图像画面中存在第二对象，且第二对象与第二对象满足预设位置关系时，在第一图像画面中第二对象所在区域上叠加第一素材。上述方法实现在图像画面中检测到第二对象时，在第二对象所在区域叠加任意素材，避免第一对象与第二对象满足预设位置关系时无法使用部分特效或者表达信息的问题。

Description

信息显示方法、设备及存储介质
技术领域
本公开实施例涉及计算机与网络通信技术领域，尤其涉及一种信息显示方法、设备及存储介质。
背景技术
随着新型冠状病毒的迅速扩散，疫情给全球用户的生活、社交和工作带来了一些影响，例如用户在无法保证社交距离时，需要佩戴口罩。口罩已成为当前全球用户都会使用的物品。
目前，终端设备上的应用程序(Application，简称APP)，例如短视频APP，能够通过识别用户面部，为用户佩戴虚拟口罩，实现趣味性交互体验。然而，当用户处于特殊场景时，例如用户乘坐交通工具、位于室内公共空间，需要佩戴口罩时，当前APP缺乏交互玩法，导致用户的使用体验不佳。
发明内容
本公开实施例提供一种信息显示方法、设备及存储介质，以克服用户在佩戴口罩后无法使用面部特效或者表达信息的问题，提升了用户的使用体验。
第一方面，本公开实施例提供一种信息显示方法，包括：
获取视频中包含第一对象的第一图像画面；
确定所述第一图像画面中是否存在第二对象；
在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材。
第二方面，本公开实施例提供一种信息显示设备，包括：
获取模块，用于获取视频中包含第一对象的第一图像画面；
处理模块，用于确定所述第一图像画面中是否存在第二对象；
显示模块，用于在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材。
第三方面，本公开实施例提供一种电子设备，包括：
至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的信息显示方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的信息显示方法。
本公开实施例提供一种信息显示方法、设备及存储介质，该方法包括：通过获取视频中包含第一对象的第一图像画面，确定第一图像画面中是否存在第二对象，在确定第一图像画面中存在第二对象，且第二对象与第二对象满足预设位置关系时，在第一图像画面中第二对象所在区域上叠加第一素材。上述方法实现在图像画面中检测到第二对象时，在第二对象所在区域叠加任意素材，避免第一对象与第二对象满足预设位置关系时无法使用部分特效或者表达信息的问题。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的信息显示方法的流程示意图；
图2为本公开实施例提供的信息显示方法的流程示意图；
图3为本公开实施例提供的口罩识别模型的内部结构示意图；
图4a为本公开实施例提供的图像画面的一种处理方法的示意图；
图4b为本公开实施例提供的图像画面的一种处理方法的示意图；
图4c为本公开实施例提供的图像画面的一种处理方法的示意图；
图4d为本公开实施例提供的图像画面的一种处理方法的示意图；
图5为本公开实施例提供的一种界面变化示意图；
图6为本公开实施例提供的口罩识别模型训练的流程示意图；
图7为本公开实施例提供的口罩的关键点的标注示意图；
图8为本公开实施例提供的包含口罩的原图与掩模的示意图；
图9为本公开实施例提供的一种界面变化示意图；
图10为本公开实施例提供的信息显示方法的流程示意图；
图11为本公开实施例提供的一种界面示意图；
图12为本公开实施例提供的一种界面变化示意图；
图13为本公开实施例提供的信息显示设备的结构框图；
图14为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在新型冠状病毒引发的全球疫情常态化的大背景下，口罩成为全球用户日常生活、社交和工作常会使用的物品。在疫情爆发之前，用户在使用终端设备上的应用程序进行拍摄、视频聊天或者直播时，可以直观表达自己的情绪、表情、状态等。然而，随着全球疫情的常态化发展，当用户处于特殊场景时，例如乘坐公共交通、位于室内公共空间，用户需要佩戴口罩，遮挡住面部，此时用户无法使用应用程序中的一些面部特效，也无法直观表达自己的情绪、表情、状态等。本公开实施例提供一种信息显示方法以解决上述问题。
本公开实施例提供一种信息显示方法，通过获取包含人脸的图像画面，对图像画面中人脸区域进行图像分析，确定图像画面中人脸是否佩戴有口罩，在确定图像画面中人脸没有佩戴口罩时，提示用户戴上口罩，以便在用户佩戴的口罩上显示预设信息或用户自定义信息，例如显示贴图、文字、表情等，实现用户在佩戴口罩的情况下表达情绪、表情、状态等，提升了用户的使用体验。
除了用户脸部佩戴口罩的场景之外，实际应用场景还可以包括用户眼部佩戴墨镜、用户头部佩戴帽子等，对此本公开实施例不作任何限制。针对更为广泛的应用场景，本公开实施例还提供一种信息显示方法，通过获取视频中包含第一对象的图像画面，确定图像画面中是否存在第二对象，在确定图像画面中存在第二对象，且第二对象与第一对象满足预设位置关系时，在图像画面中第二对象所在区域上叠加预设信息或自定义信息，例如显示贴图、文字、表情等，避免第一对象与第二对象满足预设位置关系时无法使用部分特效或者表达信息的问题。
需要说明的是，本公开实施例提供的信息显示方法可应用于视频聊天场景、拍摄场景、直播场景等，当然，还可以应用于需要采集人物面部图像的其他场景中，对此本公开实施例不作任何限制。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
示例性的，图1为本公开实施例提供的信息显示方法的流程示意图。本实施例的方法可以应用在终端设备或服务器中，如图1所示，该信息显示方法包括如下步骤：
步骤101、获取视频中包含第一对象的第一图像画面。
步骤102、确定第一图像画面中是否存在第二对象。
本实施例中，第一对象可以是人物的面部、头部、手部等任意身体部位，第二对象可以是任意物体，该物体与身体部位之间满足预设位置关系。示例性的，第一对象为人物的面部，第二对象可以是口罩、墨镜、帽子等物体。
在本公开的一个实施例中，可通过第二对象的识别模型，确定第一图像画面中是否存在第二对象。该识别模型可采用任意一种深度学习模型，或者，轻量级的机器学习模型。不同的第二对象对应不同的识别模型，具体实例可参见后文实施例。
步骤103、在确定第一图像画面中存在第二对象，且第二对象与第一对象满足预设位置关系时，在第一图像画面中第二对象所在区域上叠加第一素材。
本实施例中，第二对象与第一对象满足预设位置关系包括如下几种形式：
第一对象为人脸，第二对象为口罩，满足预设位置关系具体可以是人脸佩戴有口罩。第一对象为人脸，第二对象为墨镜，满足预设位置关系具体可以是人脸佩戴有墨镜。第一对象为手部，第二对象为手套，满足预设位置关系具体可以是人物手部佩戴有手套。上述举例仅作为示例，第一对象与第二对象的其他位置关系均属于本公开实施例的保护范围。
可选的，在一些实施例中，在第一图像画面中第二对象所在区域上叠加第一素材之后，方法还包括：在确定第一图像画面之后的第二图像画面中不存在第二对象时，去除第一素材，在第二图像画面中叠加第二素材，第二素材与第一素材不同。
可选的，在一些实施例中，在第一图像画面中第二对象所在区域上叠加第一素材之后，方法还包括：获取用户针对第一图像画面中所显示的第一素材的切换操作；响应于切换操作，去除第一素材，在第一图像画面之后的第二图像画面中叠加第三素材，第三素材与第一素材不同。
可选的，切换操作包括如下任意一项：手势操作、面部动作、头部动作、语音控制、界面的素材选择区域的选择操作、界面的文本输入区域的输入操作。
可选的，第三素材为用户在界面的文本输入区域输入的文本信息或表情。
从上述描述可知，本实施例提供的信息显示方法包括：通过获取视频中包含第一对象的第一图像画面，确定第一图像画面中是否存在第二对象，在确定第一图像画面中存在第二对象，且第二对象与第二对象满足预设位置关系时，在第一图像画面中第二对象所在区域上叠加第一素材。上述方法实现在图像画面中检测到第二对象时，在第二对象所在区域叠加任意素材，避免第一对象与第二对象满足预设位置关系时无法使用部分特效或者表达信息的问题。
下面以第一对象为人脸，第二对象为口罩为例，对本公开实施例提供的信息显示方案进行详细介绍。在该场景中，第二对象与第一对象满足预设位置关系具体是指在人脸上佩戴有口罩。
示例性的，图2为本公开实施例提供的信息显示方法的流程示意图。本实施例的方法可以应用在终端设备或服务器中，如图2所示，该信息显示方法包括如下步骤：
步骤201、获取视频中包含人脸的第一图像画面。
具体的，获取终端设备摄像头采集的包含人脸的第一图像画面，画面中人脸可能佩戴有口罩，也可能没有佩戴口罩。
步骤202、确定第一图像画面中人脸是否佩戴口罩。
在本公开的一个实施例中，确定第一图像画面中人脸是否佩戴口罩，包括：获取第一图像画面中包含人脸的目标图像；将目标图像输入到口罩识别模型，得到识别结果，识别结果用于指示人脸上是否佩戴口罩。采用预先训练好的口罩识别模型，可提高对第一图像画面中人脸是否佩戴口罩的识别效率和准确度。
需要说明的是，上述目标图像可以是第一图像画面本身，也可以是对第一图像画面作预处理之后的人脸区域的图像，具体的预处理过程参见后文实施例，此处不具体展开。
在本公开的一个实施例中，口罩识别模型可采用深度学习模型，例如VGG、ResNet、GoogleNet、MobileNet、ShuffleNet等，不同模型的计算量不同，对此本实施例不作任何限制。
在本公开的一个实施例中，口罩识别模型可采用轻量化的机器学习模型，以满足移动端的图像处理需求，即可以部署计算量小、计算效率高、简单的模型在移动端。
可选的，本实施例的口罩识别模型可采用MobileNet和ShuffleNet等轻量化的机器学习模型，该模型的内部结构如图3所示，模型内部结构包括通道交换(shufflechannel)模块、通道切分(slice)模块、1×1卷积模块(pointwise convolution)、3×3卷积模块(depth-wise convolution)、1×1卷积模块(point-wise convolution)、通道合并(concat)模块，其中1×1卷积模块与3×3卷积模块之间，以及1×1卷积模块与通道合并模块之间均可以包括BN(Batch Normalization)和ReLU。其中，BN是一种统计数据分布特征的线性变换，ReLU是一种简单高效的非线性激活函数。
上述模型的基本思想是将传统的卷积变成可分离卷积，即depth-wiseconvolution和point-wise convolution，目的是为了减少计算量。其中，shuffle channel用来提高模型的表达能力。另外，可采用反向残差Inverted Residuals来提高depth-wiseconvolution的特征提取能力。需要说明的是，图3示出的口罩识别模型内部的模块连接图仅作为一种示例，可根据应用需求对模型内部结构进行调整，对此本实施例不作任何限制。
在本公开的一个实施例中，上述目标图像可以是第一图像画面本身，则步骤202，具体包括：将第一图像画面输入到口罩识别模型，得到识别结果。
示例性的，图4a为本公开实施例提供的图像画面的一种处理方法的示意图，如图4a所示，将第一图像画面输入至口罩识别模型，经口罩识别模型的图像分析，输出第一图像画面的识别结果。识别结果用于指示第一图像画面中人脸是否佩戴口罩。
作为一种示例，识别结果包括用于指示第一图像画面中人脸是否佩戴口罩的标签，例如可以是标签值，标签值的数值范围在0～1之间。具体的，标签值为0，表示第一图像画面中人脸没有佩戴口罩；标签值为1，表示第一图像画面中人脸有佩戴口罩。可以理解，标签值越接近1代表第一图像画面中人脸有佩戴口罩的概率越大。
作为另一种示例，识别结果包括用于指示第一图像画面中人脸佩戴口罩的标签，以及第一图像画面中人脸佩戴的口罩的位置信息。
可选的，识别结果中的口罩的位置信息包括口罩的关键点信息、口罩的掩模(mask)信息的至少一项。
其中，口罩的关键点信息可以采用归一化的口罩关键点的坐标值表示，还可以采用热图(heatmap)的形式表示，对此本实施例不作任何限制。
示例性的，模型直接输出口罩关键点归一化后的xy坐标，比如(0.25,0.5)，如果口罩有N个关键点，则输出N×2的矩阵。
示例性的，模型输出口罩关键点的热图，每个关键点对应一张热图，热图和模型输入图的大小相同，热图上每个像素的数值范围是0～1，热图上数值最大的像素位置代表口罩的关键点位置。
其中，口罩的掩模信息可以是一个二进制图，上述模型输出的掩模图和模型的输入图的大小相同，例如模型的输入图是128×128分辨率的图，模型的输出包括128×128的掩模图，掩模图上每个像素的数值范围也是0～1，代表每个像素落在口罩上的概率。
在本公开的一个实施例中，上述目标图像可以是对第一图像画面作预处理之后的人脸区域的图像，获取第一图像画面中包含人脸的目标图像，可以包括：将第一图像画面输入至第一人脸识别模型，得到第一图像画面中人脸区域的第一图像，将第一图像作为目标图像。
需要指出的是，通过第一人脸识别模型得到的第一图像包括不同角度的人脸图像，例如正脸、侧脸、脸部左右倾斜、侧脸部上下倾斜的人脸图像等。
示例性的，图4b为本公开实施例提供的图像画面的一种处理方法的示意图，如图4b所示，首先将第一图像画面输入至第一人脸识别模型，得到第一图像画面中人脸区域的图像，然后将第一图像画面中人脸区域的图像输入至口罩识别模型，经口罩识别模型的图像分析，输出口罩识别结果。识别结果同上述示例，此处不再赘述。上述第一人脸识别模型用于识别图像中人物面部以及人物面部在图像中的位置，第一人脸识别模型可采用上述任意一种深度学习模型或者轻量级的机器学习模型，对此本实施例不作任何限制。
从上述描述可知，与第一种实例(图4a所示实例)相比，上述第二种实例(图4b所示实例)增加了对第一图像画面中人物的面部识别，将面部图像输入至口罩识别模型中，可大大减小口罩识别模型的计算量，提高口罩检测的速率和准确度。
在本公开的一个实施例中，上述目标图像可以是对第一图像画面作预处理之后的人脸区域的图像，获取第一图像画面中包含人脸的目标图像，可以包括：将第一图像画面输入至第二人脸识别模型，得到第一图像画面中人脸区域的第一图像，以及人脸区域的关键点信息；根据关键点信息对第一图像进行旋转处理，得到第二图像，将第二图像作为目标图像。
需要指出的是，通过第二人脸识别模型，除了得到第一图像画面中人脸区域的第一图像之外，还包括第一图像中的关键点信息，即人脸区域的关键部位的位置信息，例如脸部的双眼、鼻子、眉毛、嘴巴等部位的坐标位置。第二图像可以是正脸或侧脸的标准脸部图像。示例性的，当第一图像中人物脸部向左侧倾斜，经旋转处理后，可得到矫正后的人物正脸图像。当第一图像为人物侧脸图像且脸部向上倾斜，经旋转处理后，可得到矫正方向后的人物侧脸图像。
示例性的，图4c为本公开实施例提供的图像画面的一种处理方法的示意图，如图4c所示，首先将第一图像画面输入至第二人脸识别模型，得到第一图像画面中人脸区域的图像以及人脸区域的关键点信息，然后基于关键点信息旋转第一图像画面中人脸图像，得到标准的人脸图像，再将标准的人脸图像输入至口罩识别模型，经口罩识别模型的图像分析，输出口罩识别结果。识别结果同上述示例，此处不再赘述。上述第二人脸识别模型用于识别图像中人物面部以及人物面部关键部位的位置，第二人脸识别模型可采用上述任意一种深度学习模型或者轻量级的机器学习模型，对此本实施例不作任何限制。
可选的，在一种可能的实现方式中，上述第二人脸识别模型包括第一人脸识别模型和人脸关键点检测模型，参见图4d。如图4d所示，首先将第一图像画面输入至第一人脸识别模型，得到第一图像画面中人脸区域的图像，然后将第一图像画面中人脸区域的图像输入至人脸关键点检测模型，得到人脸关键部位的位置信息，然后基于人脸关键部位的位置信息旋转人脸区域的图像，得到标准的人脸图像，再将标准的人脸图像输入至口罩识别模型，经口罩识别模型的图像分析，输出口罩识别结果。
可以理解，对标准的人脸图像的口罩识别难度比其他姿态下口罩识别难度低。
从上述描述可知，与上述前两种实例(图4a所示实例或图4b所示实例)相比，上述后两种实例(图4c所示实例或图4d所示实例)增加了对面部图像中关键部位的学习，降低了后续口罩识别模型的识别难度，减小了口罩识别模型的计算量，提高口罩检测的速率和准确度。
可选的，在一些实施例中，在将图像输入至口罩识别模型、人脸识别模型或者人脸关键点检测模型之前，还可以对待输入的图像进行预处理。其中，预处理包括对图像的裁剪、缩放、旋转等，从而确保输入图像满足各种模型的输入要求。
在本实施例中，在确定人脸没有佩戴口罩时，执行步骤203；在确定人脸佩戴口罩时，执行步骤204。
步骤203、在第一图像画面上显示提示信息，提示信息用于提示用户佩戴口罩。
在本实施例中，可以在第一图像画面上的任意位置显示提示信息，例如在第一图像画面的上部、中心、底部等位置显示提示信息。提示信息的目的是让用户佩戴好口罩，对于提示信息的具体形式，本实施例不作任何限制。示例性的，提示信息可以是“戴好口罩”、“请戴上口罩，看看效果”等文本提示信息，还可以是语音提示信息。
步骤204、在第一图像画面中人脸区域叠加第一素材。
在本实施例中，第一素材可以是预设的素材，也可以是用户自定义的素材，对此本实施例不作任何限制。需要说明的是，预设的素材可以考虑不同地域的文化差异、不同人群的喜好等进行设置。
本实施例提供的素材的格式，包括但不限于图片、视频、动画、文本等格式。本实施例提供的素材包括2D素材、3D素材，可以是动态素材，也可以是静态素材，对此本实施例不作任何限制。
示例性的，图5为本公开实施例提供的一种界面变化示意图，如图5所示，在检测到当前图像画面中用户的面部没有佩戴口罩时，可在当前图像画面上的任意位置叠加提示信息“戴好口罩”，例如在图5所示的当前图像画面的中心位置叠加提示信息“戴好口罩”。在后续的图像画面中，如果检测到用户面部佩戴好口罩，可在用户佩戴的口罩区域叠加显示素材，例如图5所示的花纹贴图。作为一种示例，图5所示界面的下方还可以包括菜单区域，该菜单区域包括素材选择区域，文本输入区域等，具体参见后文实施例，此处不具体展开。
从上述描述可知，本实施例提供的信息显示方法，通过获取视频中包含人脸的第一图像画面，确定第一图像画面中人脸是否佩戴口罩，在确定人脸没有佩戴口罩时，在第一图像画面上显示提示信息，提示信息用于提示用户佩戴口罩。在确定人脸佩戴口罩时，在第一图像画面中人脸区域叠加第一素材。本实施例能够在用户使用摄像头进行拍摄时提示用户佩戴口罩，且在用户佩戴口罩后，在用户佩戴的口罩上叠加预设素材或用户自定义素材，避免用户在佩戴口罩后无法使用面部特效或者表达信息的问题，提升用户的使用体验。
基于上述实施例可知，为了提高对图像画面中人脸是否佩戴口罩的识别效率和准确度，可采用预先训练好的口罩识别模型对图像进行处理和分析，下面对口罩识别模型的训练过程进行详细说明。
示例性的，图6为本公开实施例提供的口罩识别模型训练的流程示意图。本实施例的训练方法可以应用在终端设备或服务器中，如图6所示，模型训练方法包括如下步骤：
步骤301、建立初始口罩识别模型。其中，初始口罩识别模型可采用任意一种深度学习模型或者轻量化的机器学习模型。
步骤302、获取正负图像样本和正负图像样本的标注结果。其中，正图像样本中包含的人脸佩戴有口罩，负图像样本中包含的人脸没有佩戴口罩。标注结果包括用于指示图像样本中人脸是否佩戴口罩的标签，以及口罩的位置信息。
在本实施例中，正图像样本是指各种拍摄条件下人物佩戴口罩的图片，负图像样本是指各种拍摄条件下人物未佩戴口罩的图片。具体的，本实施例采集的正图像样本包括平视、俯视、仰视等不同拍摄角度的人物佩戴口罩的图片，也包括正脸、半侧脸、侧脸等不同人脸姿态下的图片，也包括室内黄光、白光，室外阳光、阴影等不同光照条件下的图片，也包括医用外科口罩、N95口罩、棉布口罩等不同类型的口罩图片，也包括方形口罩、圆形口罩等不同形状的口罩图片，充分收集人物佩戴口罩的各种场景。
上述图像样本的标注工作可以由标注团队完成；也可以利用图片识别方法进行粗略标注，然后由人工进行校正；还可以将图片分类，然后对分类后的图像样本进行统一标注。以上标注工作可以单独采用或结合使用。对于人物佩戴口罩的图片，主要标注口罩的多个关键点，例如标注口罩水平中线上的多个关键点以及口罩垂直中线上的多个关键点，具体可参见图7。
作为一种示例，用于指示图像样本中人脸是否佩戴口罩的标签具体可以是标签值，标签值可以包括0和1，0表示图像样本中的人脸未佩戴口罩，1表示图像样本中人脸佩戴有口罩。
上述标注结果中的口罩的位置信息包括口罩的关键点信息、口罩的掩模信息的至少一项。作为一种示例，人工标注的关键点可以包括口罩水平中线上的多个关键点以及口罩垂直中线上的多个关键点。口罩的掩模信息是指口罩在图像样本中的二进制图像，可用于指示口罩在图像中的位置信息，具体可参见图8。
步骤303、通过将正负图像样本作为口罩识别模型的输入，将正负图像样本的标注结果作为口罩识别模型的输出，对初始口罩识别模型进行训练，得到口罩识别模型。
可选的，口罩识别模型可使用adam优化器，通过设置学习率(例如0.01)、权重的惩罚值(例如1e-5)，学习率下降的趋势使用multi-step曲线，设置batch_size(例如96)，最后得到训练好的口罩识别模型。
从上述描述可知，本实施例提供的口罩识别模型的训练过程，需要获取大量图像样本，图像样本应涵盖各种拍摄条件，包括不同拍摄角度、人脸姿态、光照条件、口罩样式等。经人工标注进行模型训练，从而训练出识别效果好的模型。
在上述图2实施例的基础上，针对佩戴口罩的用户的个性化需求，用户除了可以自定义在佩戴口罩的情况下，口罩上显示的第一素材，还可以增加在未佩戴口罩的情况下，口罩上显示的第二素材的个性化设置。
在本公开的一个实施例中，在第一图像画面中人脸区域叠加第一素材之后，信息显示方法还可以包括：在确定第一图像画面之后的第二图像画面中人脸没有佩戴口罩时，去除第一素材，在第二图像画面中叠加第二素材，第二素材与第一素材不同。
其中，第二素材可以是用户自定义的素材，也可以是服务器默认的素材。可选的，第二素材可以叠加在第二图像画面的任意位置，示例性的，第二素材可以叠加在第二图像画面中人物的面部区域、头部区域，背景区域等位置。第二素材的素材格式和具体表现形式同上述实施例步骤204的记载，具体可参见上文，此处不再赘述。当然，第二素材还可以理解为其他特效，例如用户自定义的上妆特效、瘦脸特效等等。
示例性的，图9为本公开实施例提供的一种界面变化示意图，如图9所示，用户摘掉左侧图像中的口罩显示全脸时，口罩识别模型可检测到当前图像(右侧图像)中用户的面部没有佩戴口罩，可去除左侧图像中显示的花纹贴图，并在当前图像中用户的面部区域叠加一个新的素材，例如在图9所示的用户双眼下方区域叠加星星贴图。叠加的新的素材即上述的第二素材。
从上述描述可知，用户可以自定义佩戴口罩时口罩上显示的第一素材，还可以自定义没有佩戴口罩时画面显示的第二素材，上述实例实现了用户佩戴口罩的趣味性玩法，可提升用户的使用体验。
在本公开的一个实施例中，在上述图2实施例的基础上，为了满足不同用户的个性化需求，可增加用户针对当前口罩区域素材的切换操作，增加趣味性玩法，提升用户的使用体验。
图10为本公开实施例提供的信息显示方法的流程示意图。如图10所示，在图2实施例的步骤204之后，即第一图像画面中人脸区域叠加第一素材之后，信息显示方法还可以包括如下步骤：
步骤205、获取用户针对第一图像画面中所显示的第一素材的切换操作。
步骤206、响应于切换操作，去除第一素材，在第一图像画面之后的第二图像画面中叠加第三素材。
其中，第三素材与第一素材不同。第三素材可以是服务器预设的素材，也可以是用户自定义的素材，对此本实施例不作任何限制。可选的，第三素材可以叠加在第二图像画面的任意位置。第三素材的格式和具体表现形式同上述实施例步骤204的记载，具体可参见上文，此处不再赘述。当然，第三素材还可以理解为其他特效，例如用户自定义的上妆特效、瘦脸特效等等。
本实施例中，用户针对第一图像画面中所显示的第一素材的切换操作，用于触发画面素材的切换，切换操作包括以下几种可能的实现方式：
在本公开的一个实施例中，获取用户针对第一图像画面中所显示的第一素材的切换操作，包括：获取第一图像画面中用户的手势操作，手势操作用于触发画面素材的切换。示例性的，用户在佩戴口罩时，口罩上叠加有第一素材，用户可通过比心、比剪刀手或者张开手掌等手势操作，触发口罩上素材的切换。本实例通过手势识别技术确定用户意图，从素材库中查找与用户意图匹配的素材，对口罩上的素材进行切换。
为了达到上述效果，可选的，可以在第一图像画面中显示提示信息，提示信息用于提示用户进行手势操作，例如可以在第一图像画面中的任意位置显示“比心试试”、“张开手掌试试”等文本，还可以在第一图像画面中的任意位置显示“比心”、“手掌”等贴图。可选的，还可以通过播放语音提示用户进行手势操作。
在本公开的一个实施例中，获取用户针对第一图像画面中所显示的第一素材的切换操作，包括：获取第一图像画面中用户的面部动作，面部动作用于触发画面素材的切换。示例性的，用户在佩戴口罩时，口罩上叠加有第一素材，用户可通过眨眼、挑眉等面部动作，触发口罩上素材的切换。本实例通过面部识别技术确定用户意图，从素材库中查找与用户意图匹配的素材，对口罩上的素材进行切换。
在本公开的一个实施例中，获取用户针对第一图像画面中所显示的第一素材的切换操作，包括：获取第一图像画面中用户的头部动作，头部动作用于触发画面素材的切换。示例性的，用户在佩戴口罩时，口罩上叠加有第一素材，用户可通过点头、摇头等头部动作，触发口罩上素材的切换。本实例通过头部识别技术确定用户意图，从素材库中查找与用户意图匹配的素材，对口罩上的素材进行切换。
在本公开的一个实施例中，获取用户针对第一图像画面中所显示的第一素材的切换操作，包括：获取第一图像画面中用户的语音数据，语音数据用于触发画面素材的切换。示例性的，用户在佩戴口罩时，口罩上叠加有第一素材，用户可通过语音控制切换口罩上的素材，例如用户当前佩戴的口罩上叠加有图5所示的花纹贴图，当用户输入语音“保持微笑”时，口罩上的花纹贴图切换为笑脸贴图。本实例通过语音识别技术确定用户意图，从素材库中查找与用户意图匹配的素材，对口罩上的素材进行切换。
在本公开的一个实施例中，获取用户针对第一图像画面中所显示的第一素材的切换操作，包括：获取用户在界面的素材选择区域的选择操作，选择操作用于触发画面素材的切换。其中，素材选择区域包括多种类型的素材资源，图11为本公开实施例提供的一种界面示意图，如图11所示，界面下方的素材选择区域包括素材1、2、3、4、5(需要说明的是，图中素材的实际显示为素材的预览图)，用户口罩上显示的当前素材为素材3，用户可以在素材选择区域挑选其他素材，触发对当前口罩上素材3的切换。
在本公开的一个实施例中，获取用户针对第一图像画面中所显示的第一素材的切换操作，包括：获取用户在界面的文本输入区域的输入操作，输入操作用于触发画面素材的切换。示例性的，用户在佩戴口罩时，口罩上叠加有第一素材，用户可通过在界面的文本输入区域输入文本信息或表情，触发口罩上素材的切换。
可选的，第三素材可以是用户在文本输入区域输入的文本信息或表情。其中，文本信息包括数字、字母、符号、文字的至少一项。
示例性的，图12为本公开实施例提供的一种界面变化示意图，如图12所示，用户在佩戴口罩时，口罩上叠加有第一素材，用户可通过点击界面下方的文本输入区域，触发虚拟键盘的弹出，用户在虚拟键盘上输入文本信息，例如用户输入英文单词“smile”，在点击“确认”后，口罩上的花纹贴图切换为用户输入的文本“smile”。
从上述描述可知，当用户口罩上已叠加素材时，用户还可以通过预设的操作方式，例如手势操作、面部动作、头部动作、语音控制、文本输入或者素材界面选择等方式，实现对画面中人物口罩素材的切换，上述实例了实现用户佩戴口罩的趣味性玩法，可提升用户的使用体验。
对应于上文实施例的信息显示方法，图13为本公开实施例提供的信息显示设备的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。如图13所示，本实施例提供的信息显示设备400包括：获取模块401、处理模块402和显示模块403。其中，
获取模块401，用于获取视频中包含第一对象的第一图像画面；
处理模块402，用于确定所述第一图像画面中是否存在第二对象；
显示模块403，用于在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材。
在本公开的一个实施例中，所述第一对象为人脸，所述第二对象为口罩；所述预设位置关系具体为：在所述人脸上佩戴有所述口罩。
在本公开的一个实施例中，获取模块401，具体用于获取所述第一图像画面中包含所述人脸的目标图像；
处理模块402，具体用于将所述目标图像输入到口罩识别模型，得到识别结果，所述识别结果用于指示所述人脸上是否佩戴口罩，所述口罩识别模型为轻量级的机器学习模型。
在本公开的一个实施例中，所述口罩识别模型包括通道交换模块、通道切分模块、2个1×1卷积模块、3×3卷积模块、通道合并模块。
在本公开的一个实施例中，处理模块402，具体用于：
将所述第一图像画面输入至第一人脸识别模型，得到所述第一图像画面中人脸区域的第一图像，将所述第一图像作为所述目标图像。
在本公开的一个实施例中，处理模块402，具体用于：
将所述第一图像画面输入至第二人脸识别模型，得到所述第一图像画面中人脸区域的第一图像以及所述人脸区域的关键点信息；
根据所述关键点信息对所述第一图像进行旋转处理，得到第二图像，将所述第二图像作为所述目标图像。
在本公开的一个实施例中，获取模块401，还用于：
获取建立的初始口罩识别模型；
获取正负图像样本和所述正负图像样本的标注结果，其中，正图像样本中包含的人脸佩戴有口罩，负图像样本中包含的人脸没有佩戴口罩，所述标注结果包括用于指示图像样本中人脸是否佩戴口罩的标签，以及口罩的位置信息；
处理模块402，还用于通过将所述正负图像样本作为所述口罩识别模型的输入，将所述正负图像样本的标注结果作为所述口罩识别模型的输出，对所述初始口罩识别模型进行训练，得到所述口罩识别模型。
在本公开的一个实施例中，显示模块403在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，在处理模块402确定所述第一图像画面之后的第二图像画面中不存在所述第二对象时，显示模块403还用于去除所述第一素材，在所述第二图像画面中叠加第二素材，所述第二素材与所述第一素材不同。
在本公开的一个实施例中，显示模块403在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，获取模块401，还用于：
获取用户针对所述第一图像画面中所显示的所述第一素材的切换操作；
显示模块403，还用于响应于所述切换操作，去除所述第一素材，在所述第一图像画面之后的第二图像画面中叠加第三素材，所述第三素材与所述第一素材不同。
在本公开的一个实施例中，所述切换操作包括如下任意一项：手势操作、面部动作、头部动作、语音控制、界面的素材选择区域的选择操作、界面的文本输入区域的输入操作。
在本公开的一个实施例中，所述第三素材为用户在界面的文本输入区域输入的文本信息或表情。
在本公开的一个实施例中，在处理模块402确定所述第一图像画面中不存在所述第二对象时，显示模块403，还用于在所述第一图像画面上显示提示信息，所述提示信息用于提示用户佩戴所述第二对象。
本实施例提供的信息显示设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
参考图14，其示出了适于用来实现本公开实施例的电子设备500的结构示意图，该电子设备500可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图14示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(Read Only Memory，简称ROM)502中的程序或者从存储装置508加载到随机访问存储器(Random Access Memory，简称RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图14示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种信息显示方法，包括：
获取视频中包含第一对象的第一图像画面；
确定所述第一图像画面中是否存在第二对象；
在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材。
根据本公开的一个或多个实施例，所述第一对象为人脸，所述第二对象为口罩；所述预设位置关系具体为：在所述人脸上佩戴有所述口罩。
根据本公开的一个或多个实施例，所述确定所述第一图像画面中是否存在第二对象，包括：
获取所述第一图像画面中包含所述人脸的目标图像；
将所述目标图像输入到口罩识别模型，得到识别结果，所述识别结果用于指示所述人脸上是否佩戴口罩，所述口罩识别模型为轻量级的机器学习模型。
根据本公开的一个或多个实施例，所述口罩识别模型包括通道交换模块、通道切分模块、2个1×1卷积模块、3×3卷积模块、通道合并模块。
根据本公开的一个或多个实施例，所述获取所述第一图像画面中包含所述人脸的目标图像，包括：
将所述第一图像画面输入至第一人脸识别模型，得到所述第一图像画面中人脸区域的第一图像，将所述第一图像作为所述目标图像。
根据本公开的一个或多个实施例，所述获取所述第一图像画面中包含所述人脸的目标图像，包括：
将所述第一图像画面输入至第二人脸识别模型，得到所述第一图像画面中人脸区域的第一图像以及所述人脸区域的关键点信息；
根据所述关键点信息对所述第一图像进行旋转处理，得到第二图像，将所述第二图像作为所述目标图像。
根据本公开的一个或多个实施例，所述口罩识别模型的训练过程，包括：
建立初始口罩识别模型；
获取正负图像样本和所述正负图像样本的标注结果，其中，正图像样本中包含的人脸佩戴有口罩，负图像样本中包含的人脸没有佩戴口罩，所述标注结果包括用于指示图像样本中人脸是否佩戴口罩的标签，以及口罩的位置信息；
通过将所述正负图像样本作为所述口罩识别模型的输入，将所述正负图像样本的标注结果作为所述口罩识别模型的输出，对所述初始口罩识别模型进行训练，得到所述口罩识别模型。
根据本公开的一个或多个实施例，在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，所述方法还包括：
在确定所述第一图像画面之后的第二图像画面中不存在所述第二对象时，去除所述第一素材，在所述第二图像画面中叠加第二素材，所述第二素材与所述第一素材不同。
根据本公开的一个或多个实施例，在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，所述方法还包括：
获取用户针对所述第一图像画面中所显示的所述第一素材的切换操作；
响应于所述切换操作，去除所述第一素材，在所述第一图像画面之后的第二图像画面中叠加第三素材，所述第三素材与所述第一素材不同。
根据本公开的一个或多个实施例，所述切换操作包括如下任意一项：手势操作、面部动作、头部动作、语音控制、界面的素材选择区域的选择操作、界面的文本输入区域的输入操作。
根据本公开的一个或多个实施例，所述第三素材为用户在界面的文本输入区域输入的文本信息或表情。
根据本公开的一个或多个实施例，所述方法还包括：
在确定所述第一图像画面中不存在所述第二对象时，在所述第一图像画面上显示提示信息，所述提示信息用于提示用户佩戴所述第二对象。
第二方面，根据本公开的一个或多个实施例，提供了一种信息显示设备，包括：
获取模块，用于获取视频中包含第一对象的第一图像画面；
处理模块，用于确定所述第一图像画面中是否存在第二对象；
显示模块，用于在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材。
根据本公开的一个或多个实施例，所述第一对象为人脸，所述第二对象为口罩；所述预设位置关系具体为：在所述人脸上佩戴有所述口罩。
根据本公开的一个或多个实施例，获取模块，具体用于获取所述第一图像画面中包含所述人脸的目标图像；
处理模块，具体用于将所述目标图像输入到口罩识别模型，得到识别结果，所述识别结果用于指示所述人脸上是否佩戴口罩，所述口罩识别模型为轻量级的机器学习模型。
根据本公开的一个或多个实施例，所述口罩识别模型包括通道交换模块、通道切分模块、2个1×1卷积模块、3×3卷积模块、通道合并模块。
根据本公开的一个或多个实施例，处理模块，具体用于：
将所述第一图像画面输入至第一人脸识别模型，得到所述第一图像画面中人脸区域的第一图像，将所述第一图像作为所述目标图像。
根据本公开的一个或多个实施例，处理模块，具体用于：
将所述第一图像画面输入至第二人脸识别模型，得到所述第一图像画面中人脸区域的第一图像以及所述人脸区域的关键点信息；
根据所述关键点信息对所述第一图像进行旋转处理，得到第二图像，将所述第二图像作为所述目标图像。
根据本公开的一个或多个实施例，获取模块，还用于：
获取建立的初始口罩识别模型；
获取正负图像样本和所述正负图像样本的标注结果，其中，正图像样本中包含的人脸佩戴有口罩，负图像样本中包含的人脸没有佩戴口罩，所述标注结果包括用于指示图像样本中人脸是否佩戴口罩的标签，以及口罩的位置信息；
处理模块，还用于通过将所述正负图像样本作为所述口罩识别模型的输入，将所述正负图像样本的标注结果作为所述口罩识别模型的输出，对所述初始口罩识别模型进行训练，得到所述口罩识别模型。
根据本公开的一个或多个实施例，显示模块在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，在处理模块确定所述第一图像画面之后的第二图像画面中不存在所述第二对象时，显示模块还用于去除所述第一素材，在所述第二图像画面中叠加第二素材，所述第二素材与所述第一素材不同。
根据本公开的一个或多个实施例，显示模块在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，获取模块，还用于：
获取用户针对所述第一图像画面中所显示的所述第一素材的切换操作；
显示模块，还用于响应于所述切换操作，去除所述第一素材，在所述第一图像画面之后的第二图像画面中叠加第三素材，所述第三素材与所述第一素材不同。
根据本公开的一个或多个实施例，所述切换操作包括如下任意一项：手势操作、面部动作、头部动作、语音控制、界面的素材选择区域的选择操作、界面的文本输入区域的输入操作。
根据本公开的一个或多个实施例，所述第三素材为用户在界面的文本输入区域输入的文本信息或表情。
根据本公开的一个或多个实施例，在处理模块确定所述第一图像画面中不存在所述第二对象时，显示模块，还用于在所述第一图像画面上显示提示信息，所述提示信息用于提示用户佩戴所述第二对象。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的信息显示方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的信息显示方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种信息显示方法，其特征在于，包括：
获取视频中包含第一对象的第一图像画面；
确定所述第一图像画面中是否存在第二对象；
在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材；所述第一对象为人脸，所述第二对象为口罩，所述预设位置关系具体为：在所述人脸上佩戴有所述口罩，所述第一素材用于指示所述第一对象的情绪和/或表情的状态。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像画面中是否存在第二对象，包括：
获取所述第一图像画面中包含所述人脸的目标图像；
将所述目标图像输入到口罩识别模型，得到识别结果，所述识别结果用于指示所述人脸上是否佩戴口罩，所述口罩识别模型为轻量级的机器学习模型。
3.根据权利要求2所述的方法，其特征在于，所述口罩识别模型包括通道交换模块、通道切分模块、2个1×1卷积模块、3×3卷积模块、通道合并模块。
4.根据权利要求2所述的方法，其特征在于，所述获取所述第一图像画面中包含所述人脸的目标图像，包括：
将所述第一图像画面输入至第一人脸识别模型，得到所述第一图像画面中人脸区域的第一图像，将所述第一图像作为所述目标图像。
5.根据权利要求2所述的方法，其特征在于，所述获取所述第一图像画面中包含所述人脸的目标图像，包括：
将所述第一图像画面输入至第二人脸识别模型，得到所述第一图像画面中人脸区域的第一图像以及所述人脸区域的关键点信息；
根据所述关键点信息对所述第一图像进行旋转处理，得到第二图像，将所述第二图像作为所述目标图像。
6.根据权利要求2-5中任一项所述的方法，其特征在于，所述口罩识别模型的训练过程，包括：
建立初始口罩识别模型；
获取正负图像样本和所述正负图像样本的标注结果，其中，正图像样本中包含的人脸佩戴有口罩，负图像样本中包含的人脸没有佩戴口罩，所述标注结果包括用于指示图像样本中人脸是否佩戴口罩的标签，以及口罩的位置信息；
通过将所述正负图像样本作为所述口罩识别模型的输入，将所述正负图像样本的标注结果作为所述口罩识别模型的输出，对所述初始口罩识别模型进行训练，得到所述口罩识别模型。
7.根据权利要求1-5中任一项所述的方法，其特征在于，在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，所述方法还包括：
在确定所述第一图像画面之后的第二图像画面中不存在所述第二对象时，去除所述第一素材，在所述第二图像画面中叠加第二素材，所述第二素材与所述第一素材不同。
8.根据权利要求1-5中任一项所述的方法，其特征在于，在所述第一图像画面中所述第二对象所在区域上叠加第一素材之后，所述方法还包括：
获取用户针对所述第一图像画面中所显示的所述第一素材的切换操作；
响应于所述切换操作，去除所述第一素材，在所述第一图像画面之后的第二图像画面中叠加第三素材，所述第三素材与所述第一素材不同。
9.根据权利要求8所述的方法，其特征在于，所述切换操作包括如下任意一项：手势操作、面部动作、头部动作、语音控制、界面的素材选择区域的选择操作、界面的文本输入区域的输入操作。
10.根据权利要求8所述的方法，其特征在于，所述第三素材为用户在界面的文本输入区域输入的文本信息或表情。
11.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
在确定所述第一图像画面中不存在所述第二对象时，在所述第一图像画面上显示提示信息，所述提示信息用于提示用户佩戴所述第二对象。
12.一种信息显示设备，其特征在于，包括：
获取模块，用于获取视频中包含第一对象的第一图像画面；
处理模块，用于确定所述第一图像画面中是否存在第二对象；
显示模块，用于在确定所述第一图像画面中存在所述第二对象，且所述第二对象与所述第一对象满足预设位置关系时，在所述第一图像画面中所述第二对象所在区域上叠加第一素材；所述第一对象为人脸，所述第二对象为口罩，所述预设位置关系具体为：在所述人脸上佩戴有所述口罩，所述第一素材用于指示所述第一对象的情绪和/或表情的状态。
13.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-11中任一项所述的信息显示方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-11中任一项所述的信息显示方法。
CN202010874067.3A 2020-08-26 2020-08-26 信息显示方法、设备及存储介质 Active CN112001872B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202010874067.3A CN112001872B (zh) 2020-08-26 2020-08-26 信息显示方法、设备及存储介质
EP21860459.3A EP4191517A4 (en) 2020-08-26 2021-08-26 INFORMATION DISPLAY METHOD AND DEVICE AND STORAGE MEDIUM
KR1020237010517A KR102650900B1 (ko) 2020-08-26 2021-08-26 정보 표시 방법, 기기 및 저장매체
JP2023513472A JP7421010B2 (ja) 2020-08-26 2021-08-26 情報表示方法、装置及び記憶媒体
CA3190935A CA3190935A1 (en) 2020-08-26 2021-08-26 Information display method, device and storage medium
BR112023003503A BR112023003503A2 (pt) 2020-08-26 2021-08-26 Método de exibição de informações, dispositivo e meio de armazenamento
PCT/CN2021/114665 WO2022042624A1 (zh) 2020-08-26 2021-08-26 信息显示方法、设备及存储介质
AU2021333957A AU2021333957B2 (en) 2020-08-26 2021-08-26 Information display method and device, and storage medium
MX2023002311A MX2023002311A (es) 2020-08-26 2021-08-26 Metodo y dispositivo de visualizacion de informacion y medio de almacenamiento.
US17/820,163 US11922721B2 (en) 2020-08-26 2022-08-16 Information display method, device and storage medium for superimposing material on image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010874067.3A CN112001872B (zh) 2020-08-26 2020-08-26 信息显示方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112001872A CN112001872A (zh) 2020-11-27
CN112001872B true CN112001872B (zh) 2021-09-14

Family

ID=73471948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010874067.3A Active CN112001872B (zh) 2020-08-26 2020-08-26 信息显示方法、设备及存储介质

Country Status (10)

Country Link
US (1) US11922721B2 (zh)
EP (1) EP4191517A4 (zh)
JP (1) JP7421010B2 (zh)
KR (1) KR102650900B1 (zh)
CN (1) CN112001872B (zh)
AU (1) AU2021333957B2 (zh)
BR (1) BR112023003503A2 (zh)
CA (1) CA3190935A1 (zh)
MX (1) MX2023002311A (zh)
WO (1) WO2022042624A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7555685B2 (ja) 2022-02-15 2024-09-25 Kddi株式会社 人の顔に装着物を着用した顔画像及びラベリング画像を生成するプログラム、装置及び方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001872B (zh) 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN112488034A (zh) * 2020-12-14 2021-03-12 上海交通大学 基于轻量化人脸口罩检测模型的视频处理方法
CN113516735A (zh) * 2021-01-12 2021-10-19 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN113905177B (zh) * 2021-09-29 2024-02-02 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质
CN114241521A (zh) * 2021-12-13 2022-03-25 北京华夏电通科技股份有限公司 一种识别庭审视频画面中法台区域的方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2653772A1 (en) * 2012-04-20 2013-10-23 Honeywell International Inc. Image recognition for personal protective equipment compliance enforcement in work areas
CN109147007A (zh) * 2018-08-01 2019-01-04 Oppo（重庆）智能科技有限公司 贴纸加载方法、装置、终端及计算机可读存储介质
CN111401202A (zh) * 2020-03-11 2020-07-10 西南石油大学 一种基于深度学习的行人口罩佩戴实时检测方法
CN111414887A (zh) * 2020-03-30 2020-07-14 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111444869A (zh) * 2020-03-31 2020-07-24 高新兴科技集团股份有限公司 一种口罩佩戴状态识别方法装置和计算机设备
CN111507199A (zh) * 2020-03-25 2020-08-07 杭州电子科技大学 一种佩戴口罩行为检测方法及装置
CN111523473A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质
CN111582068A (zh) * 2020-04-22 2020-08-25 北京交通大学 人员口罩佩戴状态检测方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4351023B2 (ja) 2002-11-07 2009-10-28 パナソニック株式会社 画像処理方法及びその装置
JP2005316888A (ja) 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP4645223B2 (ja) 2005-02-18 2011-03-09 富士通株式会社 顔追跡プログラムおよび顔追跡方法
KR100974165B1 (ko) * 2008-02-15 2010-08-04 한양대학교 산학협력단 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법
JP5127583B2 (ja) 2008-06-20 2013-01-23 株式会社豊田中央研究所 対象物判定装置及びプログラム
US10872535B2 (en) * 2009-07-24 2020-12-22 Tutor Group Limited Facilitating facial recognition, augmented reality, and virtual reality in online teaching groups
JP2017011634A (ja) 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN107851214A (zh) 2015-07-23 2018-03-27 米雷普里卡技术有限责任公司 针对二维阵列处理器的性能增强
FR3053509B1 (fr) 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
JP6558387B2 (ja) * 2017-03-14 2019-08-14 オムロン株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
JP6558388B2 (ja) * 2017-03-14 2019-08-14 オムロン株式会社 画像処理装置
US10592066B2 (en) * 2017-03-15 2020-03-17 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring rendering parameters
JP6855872B2 (ja) * 2017-03-24 2021-04-07 アイシン精機株式会社 顔認識装置
CN108229278B (zh) * 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN107292287B (zh) * 2017-07-14 2018-09-21 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
US20190050710A1 (en) * 2017-08-14 2019-02-14 Midea Group Co., Ltd. Adaptive bit-width reduction for neural networks
CN107622240B (zh) * 2017-09-21 2023-10-13 百度在线网络技术（北京）有限公司 人脸检测方法和装置
EP3698269A4 (en) * 2017-11-22 2020-12-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING METHOD AND SYSTEM
US10963681B2 (en) * 2018-01-30 2021-03-30 Alarm.Com Incorporated Face concealment detection
CN110689030A (zh) * 2018-07-04 2020-01-14 佳能株式会社 属性识别装置和方法及存储介质
CN109949237A (zh) * 2019-03-06 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN110189340B (zh) * 2019-06-03 2022-01-21 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110633677B (zh) * 2019-09-18 2023-05-26 威盛电子股份有限公司 人脸识别的方法及装置
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技（深圳）有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
US20210152751A1 (en) * 2019-11-19 2021-05-20 Tencent Technology (Shenzhen) Company Limited Model training method, media information synthesis method, and related apparatuses
CN111325129A (zh) 2020-02-14 2020-06-23 上海商汤智能科技有限公司 交通工具通勤控制方法及装置、电子设备、介质和车辆
CN113435226B (zh) * 2020-03-23 2022-09-16 北京百度网讯科技有限公司 信息处理方法和装置
CN111460962B (zh) * 2020-03-27 2023-05-05 武汉大学 一种口罩人脸识别方法及系统
CN111541950B (zh) * 2020-05-07 2023-11-03 腾讯科技（深圳）有限公司 表情的生成方法、装置、电子设备及存储介质
CN111444894A (zh) * 2020-05-08 2020-07-24 礼德滤材科技(苏州)有限责任公司 用于佩戴口罩人群的身份识别方法和系统
CN111582199B (zh) 2020-05-12 2023-05-23 佛山市玖章智能科技有限公司 一种人脸识别模型训练方法和人脸识别方法
US11501573B1 (en) * 2020-06-05 2022-11-15 Amazon Technologies, Inc. Pose-based personal equipment detection
US12080099B2 (en) * 2020-08-05 2024-09-03 Ahmad Saleh Face mask detection system and method
CN112001872B (zh) * 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2653772A1 (en) * 2012-04-20 2013-10-23 Honeywell International Inc. Image recognition for personal protective equipment compliance enforcement in work areas
CN109147007A (zh) * 2018-08-01 2019-01-04 Oppo（重庆）智能科技有限公司 贴纸加载方法、装置、终端及计算机可读存储介质
CN111401202A (zh) * 2020-03-11 2020-07-10 西南石油大学 一种基于深度学习的行人口罩佩戴实时检测方法
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111507199A (zh) * 2020-03-25 2020-08-07 杭州电子科技大学 一种佩戴口罩行为检测方法及装置
CN111414887A (zh) * 2020-03-30 2020-07-14 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111444869A (zh) * 2020-03-31 2020-07-24 高新兴科技集团股份有限公司 一种口罩佩戴状态识别方法装置和计算机设备
CN111582068A (zh) * 2020-04-22 2020-08-25 北京交通大学 人员口罩佩戴状态检测方法
CN111523473A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices;Xiangyu Zhang 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181217;第6848-6856页 *
改进RetinaFace的自然场景口罩佩戴检测算法;牛作东 等;《计算机工程与应用》;20200403;第56卷(第12期);第1-7页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7555685B2 (ja) 2022-02-15 2024-09-25 Kddi株式会社 人の顔に装着物を着用した顔画像及びラベリング画像を生成するプログラム、装置及び方法

Also Published As

Publication number Publication date
EP4191517A1 (en) 2023-06-07
KR20230051294A (ko) 2023-04-17
WO2022042624A1 (zh) 2022-03-03
EP4191517A4 (en) 2024-02-07
US11922721B2 (en) 2024-03-05
BR112023003503A2 (pt) 2023-05-09
CN112001872A (zh) 2020-11-27
CA3190935A1 (en) 2022-03-03
US20220392254A1 (en) 2022-12-08
KR102650900B1 (ko) 2024-03-22
AU2021333957A1 (en) 2023-04-06
MX2023002311A (es) 2023-05-08
JP2023541125A (ja) 2023-09-28
JP7421010B2 (ja) 2024-01-23
AU2021333957B2 (en) 2024-07-04

Similar Documents

Publication Publication Date Title
CN112001872B (zh) 信息显示方法、设备及存储介质
US12075190B2 (en) Generating an image mask using machine learning
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN111612009B (zh) 文本识别方法、装置、设备和存储介质
CN114303120A (zh) 虚拟键盘
CN110796721A (zh) 虚拟形象的颜色渲染方法、装置、终端及存储介质
US10705720B2 (en) Data entry system with drawing recognition
CN111652796A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
CN110211211B (zh) 图像处理方法、装置、电子设备及存储介质
CN112199016A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP4276754A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
WO2023197780A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN110807769B (zh) 图像显示控制方法及装置
CN111489284B (zh) 一种图像处理方法、装置和用于图像处理的装置
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN115272151A (zh) 图像处理方法、装置、设备及存储介质
RU2817182C1 (ru) Способ отображения информации, устройство и носитель информации
CN112733575A (zh) 图像处理方法、装置、电子设备及存储介质
CN117689782B (zh) 一种生成海报图像的方法、装置、设备及存储介质
CN112764649B (zh) 虚拟形象的生成方法、装置、设备及存储介质
CN117670734A (zh) 一种图像修复方法、装置、电子设备及存储介质
CN116304160A (zh) 基于用户特征的客服形象生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant