CN115482565A - 用户影像数据处理方法、装置及系统 - Google Patents
用户影像数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN115482565A CN115482565A CN202110605498.4A CN202110605498A CN115482565A CN 115482565 A CN115482565 A CN 115482565A CN 202110605498 A CN202110605498 A CN 202110605498A CN 115482565 A CN115482565 A CN 115482565A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- image data
- face
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000002452 interceptive effect Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013441 quality evaluation Methods 0.000 claims description 29
- 238000005457 optimization Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010063385 Intellectualisation Diseases 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了用户影像数据处理方法、装置及系统,所述系统包括:影像采集端,用于部署在目标空间场所中,对所述目标空间场所中的至少一个用户进行影像数据采集,并提交到中心服务端;所述中心服务端,用于对所述影像采集端提交的多份影像数据进行人脸识别,并根据识别到的人脸图像建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;展示端,用于部署在所述目标空间场所中,接收到目标用户提交的影像查看请求后,根据采集到的所述目标用户的人脸图像从所述中心服务端获取与所述目标用户对应的影像集合,并进行展示。通过本申请实施例,能够提升智慧场馆的智能化、互动性。
Description
技术领域
本申请涉及智慧场馆技术领域,特别是涉及用户影像数据处理方法、装置及系统。
背景技术
智慧场馆是以人为核心,通过新一代信息技术的智能化应用和场馆服务的知识化应用,通过空间形态、场馆业态和信息生态的高度融合,实现人物结合、人人结合和人机结合的智慧生态系统。例如,用3D、VR(Virtual Reality,虚拟现实)技术打造的数字化智慧展览馆等,颠覆了传统的展览方式,将传统的照片或者实物展览转化成互动体验式的视觉信息展览。这种线上数字化智慧展览馆,满足了体验者追求视觉效果、沉浸式的感官体验,因此,成为文化传播的新趋势。
另外,在互联网的浪潮下,移动互联网已渗入到生活中各个方面,而移动互联网与场馆的结合,让未来的场馆实现现代化场景,让场馆更加信息化、智能化、数据化,同时也使得场馆不再局限于简单的展示需求,还对智能化、互动性提出了更高的要求。因此,如何进一步提升智慧场馆的智能化、互动性,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了用户影像数据处理方法、装置及系统,能够提升智慧场馆的智能化、互动性。
本申请提供了如下方案:
一种用户影像处理系统,包括:
影像采集端,用于部署在目标空间场所中,对所述目标空间场所中的至少一个用户进行影像数据采集,并提交到中心服务端;
所述中心服务端,用于对所述影像采集端提交的多份影像数据进行人脸识别,并根据识别到的人脸图像建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
展示端,用于部署在所述目标空间场所中,接收到目标用户提交的影像查看请求后,根据采集到的所述目标用户的人脸图像从所述中心服务端获取与所述目标用户对应的影像集合,并进行展示。
其中,所述多份影像数据包括:通过所述影像采集端对所述用户进行抓拍和/或定点拍摄所得的多份影像数据。
其中,所述影像采集端至少包括:扫描类设备以及相机类设备;
所述扫描类设备用于进行图像扫描,以便在扫描到符合采集条件的图像后生成触发消息;
所述相机类设备用于根据所述触发消息执行影像数据采集。
其中,所述影像采集端包括:用于对所述目标空间场所中的至少一个用户进行抓拍的第一采集端;
所述第一采集端还包括:云台,所述扫描类设备以及相机类设备安装于所述云台之上;
所述扫描类设备具体用于随着所述云台的转动,在目标角度范围内进行扫描。
其中,所述云台还集成有智能芯片;
所述智能芯片用于在所述扫描类设备扫描到人脸图像后,触发所述相机类设备进行影像数据采集之前,对所述相机类设备的拍摄角度和/或拍摄参数进行调整。
其中,所述智能芯片还用于,在所述扫描类设备扫描到多个人脸图像时,触发所述相机类设备进行连续抓拍,并通过调整所述相机类设备的拍摄角度和/或拍摄参数,进行多个人脸图像可获得的拍摄机会的平均分配以及人脸去重处理。
其中,所述影像采集端包括:用于对所述目标空间场所中的至少一个用户进行定点拍摄的第二采集端;
所述第二采集端还包括:显示屏;
所述显示屏用于对所述扫描类设备扫描到图像进行展示,并提供引导信息,所述引导信息用于引导用户执行目标操作;
所述扫描类设备具体用于,在扫描到用户执行所述目标操作后,向所述相机类设备发送触发消息。
其中,所述第二采集端还包括边缘服务端;
所述相机类设备具体用于,根据所述触发消息采集多份影像数据,并提供给所述边缘服务端;
所述边缘服务端,用于对采集到的多份影像数据进行质量评估及美学优选,并从中选择符合条件的影像数据以通过所述显示屏进行展示,并上传到所述中心服务端。
其中,所述多份影像数据包括:短视频类的影像数据。
其中,所述中心服务端还用于,对所接收到的多份影像数据进行质量评估及美学优选,将质量不符合条件的影像数据删除。
其中,所述中心服务端还用于,将同一影像集合中的多份影像数据按照美学优选结果进行排序。
其中,所述中心服务端还用于,将排序符合条件的影像数据添加到所述目标空间场所相关的合成模板,生成合成影像数据。
其中,所述展示端还用于,接收到目标用户提交的视频换脸请求后,将所采集到的该目标用户的人脸图像,以及该目标用户选择的目标视频及角色信息提交到所述中心服务端;
所述中心服务端还用于,将所述目标用户的人脸图像替换到所述目标视频中,生成新的视频,并返回给所述展示端进行展示。
其中,所述展示端还关联有边缘服务端,用于对所采集到的人脸图像进行质量评估,以便将符合规范的人脸图像提交到所述中心服务端。
其中,所述中心服务端具体用于,利用预先训练的生成对抗网络,将所述目标用户的人脸图像替换到所述目标视频中以生成新的视频,其中,通过在所述生成对抗网络中增加相关的损失函数,进行对所述目标视频中的遮挡还原,和/或眼神、表情的适配。
一种用户影像数据处理方法,包括:
获取在目标空间场所中采集到的多份影像数据,所述多份影像数据是通过对所述目标空间场所中的至少一个用户进行影像采集获得的;
对所述用户影像数据进行人脸识别;
根据识别到的人脸数据建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
接收到查看影像集合的请求后,根据所述请求中携带的目标用户的人脸图像,确定匹配的影像集合并返回。
其中,所述多份影像数据包括:通过所述目标空间场所中部署的影像采集端对所述用户进行抓拍和/或定点拍摄所得的影像数据。
其中,还包括:对所述多份影像数据进行质量评估及美学优选,将质量不符合条件的影像数据删除。
其中,还包括:将同一影像集合中的多份影像数据按照美学优选结果进行排序。
其中,所述查看影像集合的请求是通过所述目标空间场所中部署的展示端发出的。
其中,还包括:根据所述影像集合的下载链接生成图形码,并将所述图形码提供给所述展示端进行展示。
其中,还包括:提供用于对所述影像集合进行编辑操作的操作选项,所述编辑操作包括:对所述影像集合中的影像数据进行编辑,或者,更换所述影像集合关联的展示模板。
其中,还包括:
接收通过所述展示端发出的视频换脸请求,所述请求中包括目标用户的人脸图像,以及该目标用户选择的目标视频及角色信息;
将所述目标用户的人脸图像替换到所述目标视频中,生成新的视频,并返回给所述展示端进行展示。
其中,所述生成新的视频,包括:
利用预先训练的生成对抗网络,将所述目标用户的人脸图像替换到所述目标视频中以生成新的视频,其中,通过在所述生成对抗网络中增加损失函数,进行对所述目标视频中的遮挡还原,和/或眼神、表情的适配。
其中,所述查看影像集合的请求是通过所述目标用户关联的移动终端设备发出的。
一种用户影像数据处理装置,包括:
影像数据获取单元,用于获取在目标空间场所中采集到的多份影像数据,所述多份影像数据是通过对所述目标空间场所中的至少一个用户进行影像采集获得的;
人脸识别单元,用于对所述用户影像数据进行人脸识别;
影像集合建立单元,用于根据人脸识别结果建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
影像集合返回单元,用于接收到查看影像集合的请求后,根据所述请求中携带的目标用户的人脸图像,确定匹配的影像集合并返回。
一种定点拍照一体机设备,所述定点拍照一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,相机类设备,以及运行有边缘服务端的主机设备;
所述扫描类设备,用于进行图像扫描,并在扫描到人脸图像以及目标手势动作后生成触发消息;
所述相机类设备,用于根据所述触发消息采集至少一份影像数据,并提供给所述边缘服务端;
所述边缘服务端,用于对所述至少一份影像数据进行质量评估及美学优选,并从中选择符合条件的影像数据以通过所述显示屏进行展示。
其中,所述边缘服务端还用于,将所述符合条件的影像数据提交到中心服务端,以用于生成用户的影像集合。
一种互动展示一体机设备,
所述互动展示一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,以及运行有边缘服务端的主机设备;
所述显示屏,用于展示交互界面,所述交互界面用于接收用户发起的查看影像集合的请求;
所述扫描类设备,用于进行人脸捕获,并提供给所述边缘服务端;
所述边缘服务端,用于在所述扫描类设备捕获到人脸图像后,进行人脸检测及质量评估,将符合条件的人脸图像提交到中心服务端,并对所述中心服务端返回的与所述人脸图像匹配的影像集合进行展示,所述影像集合是由所述中心服务端根据所述目标空间场所中采集到的多份影像数据进行人脸识别后建立的,用于保存包含有同一用户人脸图像的多份影像数据。
一种互动展示一体机设备,所述互动展示一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,以及运行有边缘服务端的主机设备;
所述显示屏,用于展示交互界面,所述交互界面用于接收目标用户发起的视频换脸的请求,并提供可选的视频及角色信息;
所述扫描类设备,用于进行人脸捕获,并提供给所述边缘服务端;
所述边缘服务端,用于在所述扫描类设备捕获到人脸图像后,进行人脸检测及质量评估,将符合条件的人脸图像提交到中心服务端,并将所述中心服务端返回的新的视频通过所述显示屏进行展示,所述中心服务端用于将所述目标用户的人脸图像替换到所选定的目标视频中,以生成所述新的视频。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一项所述的方法的步骤。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述任一项所述的方法的步骤。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,可以在目标空间场所中部署影像采集端,这样,用户在该空间场所中参观或者活动的过程中,可以对用户进行“无感抓拍”,或者用户也可以利用这种影像采集端进行“定点拍照”。采集到的影像数据可以提交到中心服务端,由中心服务端通过人脸识别,为每个用户建立起各自的影像集合,其中可以用于保存包含对应用户人脸图像的全部影像数据。之后,用户可以通过空间场所中部署的展示端查看自己的影像集合,该展示端可以是具有人脸图像采集以及展示等功能的一体机设备,用户可以走近该展示端之后,并提交查看影像集合的请求后,展示端可以对用户进行人脸图像采集,并提交到中心服务端。之后,中心服务端可以根据接收到的人脸图像进行搜索,确定出匹配的影像集合之后,返回给展示端进行展示。用户可以在展示端查看到包含自己的全部影像数据。这样,可以帮助用户用影像方式记录参观/活动过程,提升目标空间场所的智能性以及科技性,并且可以达到帮助用户加深记忆、加强文化传播的效果等目的。
在优选的实施方式中,通过影像采集端、展示端中扫描类设备、相机类设备与智能芯片、边缘服务端等的“软硬结合”,提升采集到的影像数据的质量;通过中心服务端与边缘服务端的“云边协同”,包括在边缘服务端进行初步的质量评估,在中心服务端进行高性能的质量评估、美学优选等,可以使得提供给用户的影像数据具有较高的质量。
在另外可选的实施方式中,还可以在展示端提供“视频换脸”等其他功能,使得用户除了可以通过展示端查看自己的影像数据,还可以进行其他的与人脸图像相关的互动。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统架构的示意图;
图2是本申请实施例提供的定点拍照一体机设备的示意图;
图3是本申请实施例提供的互动展示一体机设备的示意图;
图4是本申请实施例提供的视频换脸流程示意图;
图5是本申请实施例提供的方法的流程图;
图6是本申请实施例提供的装置的示意图;
图7是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请发明人在实现本申请实施例的过程中发现,对于进入具体空间场所中参观或者参加活动的用户而言,可能会存在通过相关社交网络等发布其所见所闻或者感受的需求,并且可能需要配图,所配的图片通常可以是用户在参观或活动过程中的留影等。为了达到上述目的,在现有技术中,用户可能需要在参观或者活动过程中使用手机等移动终端设备进行自拍,或者,请他人或专门的摄影师为其进行拍照,等等,然后再将拍摄的照片或者视频等通过社交网络进行分享。但是,对于智慧场馆等空间场所而言,上述自拍或者请他人帮忙拍照的方式,与智慧场馆中的智能化、科技化等理念相背离。另外,在一些智慧场馆中,为了达到“智慧”的目的,可能会部署一些基础设施,例如,包括扫描类设备等,这些设备也能够采集人脸图像等,但是,由于现有的智慧场馆中,部署扫描类设备的目的通常是统计人流量等,设备的分辨率、像素等可能会比较低,因此,难以达到帮助用户采集高质量影像数据(包括照片、视频等)的目的。另外,现有技术中也不存在其他的配套解决方案,以达到为用户提供影像数据等相关服务的目的。
基于上述情况,本申请实施例提供了相应的解决方案,在该解决方案中,可以在智慧场馆等空间场所中,为在空间场所中参观或者活动的用户提供“智能相册”服务。具体的,本申请实施例可以在空间场所中部署影像采集端以及展示端,另外,还可以在云端部署中心服务端。影像采集端可以通过对在空间场所中参观或者活动的用户进行“抓拍”或者定点拍照,采集用户的影像数据,并上传到中心服务端。中心服务端则可以对影像数据进行质量评估、美学优化、人脸识别等处理,生成多个不同的影像集合,每个集合对应一个用户,用于保存包含有对应用户人脸图像的全部影像数据。后续用户可以通过空间场所提供的展示端录入自己的人脸图像,中心服务端则可以根据接收到的人脸图像进行搜索,返回对应的影像集合,用户便可以在展示端查看到“我”的所有照片或者视频。
为了方便用户下载,还可以生成H5(移动端的页面格式)等格式的页面,并将页面链接生成图形码,通过展示端进行展示。这样,用户可以利用其移动终端设备中的相关应用程序进行扫码的方式,将影像集合下载到自己的移动终端设备中,以用于通过社交网络分享等。
另外,在实际应用中,还可以为空间场所的管理员、工作人员等用户提供上传影像数据的入口,使得管理员或者工作人员等也可以对进入空间场所参观或活动的用户进行影像数据采集,并通过上述入口上传到中心服务端,由中心服务端对通过多种途径获取到的影像数据进行统一的处理,以生成用户专属的影像集合。
再者,展示端不仅可以用于查看服务端为用户生成的影像集合,还可以用于提供其他服务。例如“视频换脸”服务,用户可以通过该展示端录入自己的人脸图像,并选择具体的视频以及角色等,通过中心服务端将视频中具体角色的脸部图像替换成用的人脸图像,等等。
总之,通过本申请实施例,使得用户可以无需通过自己的移动终端设备进行自拍或者请他人拍照,即可获得其在目标空间场所中参观或活动过程中,与其有关的影像数据,以此提升“智慧”空间的智能化、科技化。
下面对本申请实施例提供的具体实现方案进行详细介绍。
实施例一
首先,该实施例一提供了一种影像数据处理系统,参见图1,该系统可以包括:
影像采集端110,用于部署在目标空间场所中,对所述目标空间场所中的至少一个用户进行影像数据采集,并提交到中心服务端120;
所述中心服务端120,用于对所述输入端提交的多份影像数据进行人脸识别,并根据识别到的人脸图像建立至少一个影像集合,其中,所述影像集与单个用户对应,用于对包含有对应用户人脸图像的多份影像进行保存;
展示端130,用于部署在所述目标空间场所中,接收到目标用户提交的影像请求后,采集所述目标用户的人脸图像并从所述中心服务端获取与所述目标用户对应的影像集合并进行展示。
首先可以在目标空间场所(例如,智慧场馆等)中部署影像采集端,通过这种影像采集端为空间场所中进行参观或活动的用户进行影像采集,具体可以包括“无感抓拍”或者“定点拍照”等多种采集方式,相应的,具体的多份影像数据可以包括:通过所述影像采集端对所述用户进行抓拍和/或定点拍摄所得的多份影像数据。另外,具体进行影像采集时,还可以通过“软硬一体”等方式,提升采集到的影像数据的质量。例如,硬件方面可以将扫描类设备(例如,扫描摄像头等)与相机类设备(例如,单反相机等)相结合,通过扫描类设备进行图像扫描,以用于进行人脸检测等,在扫描到符合采集条件的图像后生成触发消息,由相机类设备根据触发消息执行具体的拍照动作,以获得更高像素及分辨率的影像数据。软件方面则可以通过智能芯片中运行的相关程序或者边缘服务端等,实现对采集到的影像数据的初步质量评估,将符合条件的多份影像数据(一张照片或者一段视频、一段短视频等可以对应一份影像数据)上传到中心服务端。中心服务端则可以对影像数据进行详细的质量评估、美学优化等处理,另外还可以进行人脸识别等处理,以此实现通过“云边协同”的方式对影像数据的处理。
其中,与“无感抓拍”相对应,具体的影像采集端可以包括:用于对所述目标空间场所中的至少一个用户进行抓拍的第一采集端。具体的,该第一采集端可以有多种实现方式,在其中一种实现方式下,为了提升抓拍的影像数据的质量,该第一采集端除了包括前述扫描类设备以及相机类设备,还可以包括云台,具体的扫描类设备以及相机类设备可以安装于所述云台上。其中,该云台可以一定的角度(例如,270度)范围内旋转,实现球形的采集装置。这样,具体的扫描类设备用于在所述云台的带动下,在目标角度范围内进行扫描。另外,在优选的实施方式下,具体的云台还可以集成有智能芯片,该智能芯片可以用于在所述扫描类设备扫描到人脸图像时,调整相机类设备的拍摄角度和/或拍摄参数,并触发所述相机类设备进行影像数据采集。例如,具体可以根据检测到的人脸位置进行合理的摄影构图,控制相机类设备转动角度,并且可以调整焦距等参数,以获得较高质量照片或者视频,以此实现对活动现场或者场馆内的“无感抓拍”。
其中,由于在同一空间场所的同一区域内可能存在多个用户,因此,智能芯片还可以根据用户的分布密度等实际情况,确定是否采用长焦抓拍单个用户的特写镜头/半身照,或者采用短焦抓拍多个用户,等等。另外,在需要抓拍多个用户时,智能芯片还可以触发相机类设备进行连续抓拍,并通过调整所述相机类设备的拍摄角度和/或拍摄参数,以尽量实现按人脸进行拍摄机会的平均分配以及人脸去重处理。其中,所谓拍摄机会的平均分配是指,尽量使得进入拍摄范围的每个人脸,都分别可以获得作为主要拍摄对象被拍摄的机会。例如,每个用户都可以有正脸居中出现在某张照片或某个图像帧中,等等,以尽量使得每个用户都可以获得较高质量的抓拍结果。人脸去重处理,主要是指尽量不在短时间内重复拍摄同样的人脸,满足影像集合中照片/视频的丰富性、多样性。
另外,具体的影像采集端还可以包括用于对所述目标空间场所中的至少一个用户进行定点拍摄的第二采集端。也就是说,可以在空间场所中为用户提供用户定点拍摄的第二采集端,以供用户进行定点拍摄。其中,由于定点拍摄的操作通常是由用户具主动发起的,用户在拍摄过程中通常需要对拍摄效果进行实时查看,因此,具体的第二采集端可以具有拍摄、显示的功能。再者,由于并不是由某个具体的人执行拍摄动作,而是由相机类设备自动完成,因此,还可以在拍摄过程中,对拍摄所得的照片质量进行评估,选出质量比较好的展示给用户。上述质量评估的工作可以由前述中心服务端来完成,但是,由于中心服务端通常部署在云端,因此,可能存在延迟等情况,因此,对于定点拍摄场景,还可以为第二采集端部署边缘服务端,通过该边缘服务端来完成对定点拍摄的照片进行质量评估、美学优选等处理,以便实时地向用户提供定点拍摄结果。可见,在可选的实施方式下,具体的第二采集端可以是一种一体机设备,如图2所示,该一体机设备可以包括:显示屏211,扫描类设备212及相机类设备213,以及运行有边缘服务端的后台主机设备214。
具体的,扫描类设备212可以用于进行人脸捕获。也就是说,在没有人靠近的状态下,显示屏211可以用于播放广告等内容,当有用户走近该第二采集端时,扫描类设备212可以捕获到人脸。相应的,在扫描类设备捕获到人脸图像后,可以通过显示屏211提供引导信息。具体的引导信息可以用于引导用户通过执行目标操作(例如,做出某种手势等)以触发相机类设备213进行拍摄。相机类设备213被触发后可以执行连续拍摄,以获得多份影像数据;相应的,边缘服务端214还可以对所述多份影像数据进行质量评估及美学优选,并从中选择符合条件的影像数据,通过显示屏211进行输出展示。另外,还可以将该选择出的影像数据上传到中心服务端,作为中心服务端收集影像数据的另一来源。
例如,第二采集端的显示屏在无人靠近状态下展示某广告页面,当扫描类设备212发现有人脸正对着显示屏之后,可以跳转到一个新的页面,该新的页面中可以展示有引导信息,包括引导用户做什么手势,站在什么区域可以触发拍照。当用户按照引导信息做出手势后,可以跳转到另一个新的页面,并开始倒计时,在倒计时结束后触发单反拍照。其中,在倒计时过程中,还可以在页面中展示视频流,该视频流可以是第二采集端的扫描类设备212或相机类设备213采集到的视频流(由于两者部署在相对于显示屏的同一垂线上,因此,两者采集到的视频流是相同或者相似的),以便用户可以根据视频流调整自己的姿势、位置等。相机类设备拍照之后,边缘服务端214处理一两秒之后,可以跳转到新页面,将拍摄并筛选出的照片呈现到显示屏上。
需要说明的是,具体实现时,如图2所示,显示屏211可以安装于墙面等位置,扫描类设备212与相机类设备213可以位于垂直于地面的同一直线上,并且两者之间的距离可以比较近,使得两者不会具有太大的视差,例如,可以设为10cm。另外,由于主要通过相机类设备对用户进行人脸数据拍摄,因此,为了获得较好的拍摄效果,相机类设备距离地面的高度可以按照人均身高进行设定,例如,可以设为160cm等等。再者,由于在定点拍摄过程中,扫描类设备212与相机类设备213都需要与后台主机中的边缘服务端进行数据交换,因此,为了提升信息传输的效率,扫描类设备212及相机类设备213与后台主机之间可以通过USB(Universal Serial Bus,通用串行总线)等接口进行直接,以提升数据交换速率。
上述对通过抓拍以及定点拍照的方式进行影像数据采集的实现方式进行了介绍,这里需要说明的是,具体采集到的影像数据可以有多种形式,例如,可以包括照片、普通视频,或者,还可以包括短视频(或称小视频),等等。其中,这里的普通视频主要可以是通过抓拍的方式进行采集的,重点体现图像内容,声音信息可能更多采集到的是环境音。而短视频/小视频,则可以是通过定点拍照设备进行采集,通常可能是单个用户发起并录制的视频,除了用于呈现出用户位于具体空间场景中的相关图像,用户还可以同时进行语音录制,生成类似于“视频日记”或“视频博客”形式的短视频,等等。
中心服务端在从多种来源接收到影像数据之后,可以对多份影像数据进行质量评估及美学优选,将其中质量不符合条件(例如,模糊的,不包含正脸的等等)的影像数据删除。其中,具体进行质量评估以及美学优选的过程可以通过预先训练完成的算法来完成。总之,通过抓拍过程中智能芯片的拍摄控制,定点拍照过程中边缘服务端的初步优选,以及中心服务端进行的更精细的算法计算,可以实现云边协同,将摄影美学、构图、人脸、人体等技术相结合,智能化拍摄并筛选用户的较佳照片,组成用户的影像集合。
其中,本申请实施例中,中心服务端进行的人脸识别可以不必确定出用户的具体身份,而是可以根据人脸识别结果,对不同影像数据中包含的人脸图像进行同人识别。所谓的同人识别,也即确定出不同的影像数据中是否存在属于同一人的人脸图像,例如,某照片A中识别到一个人脸,照片B中识别到三个人脸,同人识别的目的是,确定出照片A中的人脸,是否在照片B中也出现。通过对不同影像数据中包含的人脸图像的同人识别,可以建立多个影像集合,其中,每个影像集合对应一个用户,用于对包含有对应用户人脸图像的多份影像进行保存。也就是说,某用户X对应的影像集合中,可以包括多张照片或视频,这些照片或视频中,均包括该用户X的人脸图像,等等。
另外,中心服务端还可以将同一影像集合中的多份影像数据按照美学优选结果进行排序。例如,将对于某用户而言拍摄效果较好的照片或视频排在前面,还可以将排序符合条件(例如,排在首位)的影像数据添加到所述目标空间场所相关的合成模板中,生成合成影像数据。这种合成模板可以是根据具体空间场所的主题等进行定制的。也就是说,虽然具体的影像数据都是在目标空间场所中拍摄的,其中会存在关于空间场所的背景图像,但是,仍然可以通过这种合成模板,来进一步起到提升宣传效果等作用。
中心服务端生成多个影像集合之后,可以通过多种方式提供给用户。其中一种方式下,可以在在目标空间场所中部署展示端,用户可以通过该展示端对中心服务端为其创建的影像集合进行查看。具体实现时,参见图3,该展示端也可以部署有扫描类设备310、运行有边缘服务端的后台主机设备320以及显示屏330的一体机设备。显示屏可以是触摸屏,可以通过该显示屏展示出交互界面,用户来到显示屏330前需要查看自己的影像时,可以通过交互界面提交自己的查看请求,相应的,扫描类设备采集该用户的人脸图像,通过边缘服务端进行轻量级人脸检测、质量评估后,可以快速完成符合规范的人脸数据采集和上传,以提交到中心服务端。之后,中心服务端可以根据该用户的人脸图像,在之前建立的多个影像集合中进行搜索,确定出与该人脸图像匹配的影像集合,并返回给展示端进行展示。也就是说,用户可以通过展示端查看所有包含“我”的照片或视频合集,其中可能包括被抓拍到的影像,还可能包括用户主动进行定点拍照的影像,还可能包括空间场所中的其他工作人员为其拍摄的照片,等等,以此为用户提供“智能相册”的展示效果。
其中,通过中心服务端具体生成影像集合可以是多个照片组成的集合,还可以是将多张照片、视频等进行混合剪辑生成的视频,等等。在通过展示端对上述影像集合进行展示的过程中,还可以提供用于对所述影像集合进行编辑操作的操作选项,例如,所述编辑操作可以包括:对所述影像集合中的影像数据进行编辑(包括删除一些照片,或者修改照片的尺寸、添加特效,等等),或者,更换所述影像集合关联的展示模板,等等。其中,对于后者,具体的展示模板可以是影像集合的背景图像模板、背景音乐模板等,可以提供候选的模板即可,由用户进行选择更换。
为了便于用户进行下载或者分享,还可以通过展示端提供相关的图形码(例如,二维码等),用户可以通过其手机等移动终端设备中的相关应用程序进行扫描的方式,将具体的影像集合下载到自己的移动终端设备中。再者,还可以为空间场所提供“照片墙”等服务,经用户同意的影像数据,可以进行“上墙”展示,使得用户的影像可以成为“馆藏”影像,从而为空间场所留下更多访客印迹,加强文化传播效果。
此外,上述展示端除了可以用于展示服务端为用户生成的影像集合,还可以为用户提供其他服务,例如,其中可以包括“视频换脸”服务。具体的,可以通过展示端为用户提供“查看‘我’的照片”以及“视频换脸”等不同的操作选项,如果用户选择前者,则可以按照前述流程,为用户展示与其有关的影像集合。如果用户选择后者,如图4所示,还可以提供可选的视频、角色等信息,用户选择了具体视频以及角色之后,展示端的扫描类设备采集到的人脸图像可以提交到服务端,由中心服务端将视频中选定角色的脸部图像,替换为当前用户的人脸图像,并生成新的视频,返回给展示端进行输出展示。
其中,具体采集的人脸图像可以是用户的正脸图像,中心服务端在进行“换脸”处理时,可以根据视频中具体角色在各帧图像中的脸部图像的正脸或侧脸情况,对用户的人脸图像进行处理,以得到相应角度的侧脸图像之后,再替换到视频对应的图像帧中。或者,也可以采集多个角度的人脸图像,以进一步提升替换后的展示效果。
在具体进行“视频换脸”的过程中,除了对人脸图像的正脸或侧脸角度进行处理之外,还可以对视频中角色的表情、眼神等进行还原。也即,在采集到的人脸图像的基础上,生成具体角色需要的表情或眼神的人脸图像,再替换到视频中。
再者,视频中具体角色的脸部可能存在一些“遮挡”的情况,例如,特殊造型造成的头发、帽子、眼镜等对脸部的遮挡,或者,脸上的疤痕特效,等等。为了提升替换后的效果,还可以进行遮挡还原处理。也就是说,如果某用户选择用自己的人脸图像替换某个视频中的某个角色的脸部图像,该角色在该视频中脸上有个疤痕,则完成替换后,也可以在用户的人脸图像上添加相关的疤痕效果。
具体实现时,可以通过预先训练的算法模型来进行上述人脸图像替换处理。例如,具体的算法模型可以包括GAN(Generative Adversarial Networks,生成对抗网络)等。在以GAN网络作为算法模型进行人脸图像替换的情况下,可以通过在GAN网络中增加相关的Loss函数分支等方式,来达到对表情、眼神、遮挡等进行还原的目的。
另外,具体的展示端还可以关联有边缘服务端,在进行人脸图像采集的过程中,还可以对所采集到的人脸图像进行轻量级的质量评估,以便将符合规范的人脸图像提交到所述中心服务端。之后再由中心服务端利用高性能的GPU(Graphics Processing Unit,图形处理器)等,进行快速计算,生成视频换脸结果,并实时传回给展示端进行展示。
具体生成的换脸结果也可以通过H5等页面进行承载,并根据H5页面的链接生成图形码,提供给展示端进行展示。这样,用户可以通过其移动终端设备中安装的相关应用程序进行扫码的方式,将具体的换脸结果下载到自己的移动终端设备上进行展示,等等。
需要说明的是,由于本申请实施例中提供的服务使用了用户的人脸图像,例如,在视频换脸过程中,由中心服务端对视频中具体角色的人脸图像替换成了用户的人脸图像,并生成了新的视频,因此,该过程中可能会涉及到用户数据安全问题。针对该问题,在本申请实施例中,还可以为生成的影像数据集合、替换后的视频等中增加数字水印,并且由于只服务于特定空间场所和经过安全审核的视频素材中,而且所有数据都可以在中心服务端进行加密处理,因此,可以解决上述数据安全问题。
总之,通过本申请实施例,可以在目标空间场所中部署影像采集端,这样,用户在该空间场所中参观或者活动的过程中,可以对用户进行“无感抓拍”,或者用户也可以利用这种影像采集端进行“定点拍照”。采集到的影像数据可以提交到中心服务端,由中心服务端通过人脸识别,为每个用户建立起各自的影像集合,其中可以用于保存包含对应用户人脸图像的全部影像数据。之后,用户可以通过空间场所中部署的展示端查看自己的影像集合,该展示端可以具有人脸图像采集以及展示等功能的一体机,用户可以走近该展示端之后,并提交查看影像集合的请求后,展示端可以对用户进行人脸图像采集,并提交到中心服务端。之后,中心服务端可以根据接收到的人脸图像进行搜索,确定出匹配的影像集合之后,返回给展示端进行展示。这样,用户可以在展示端查看到包含自己的全部影像数据。这样,可以帮助用户用影像方式记录参观/活动过程,提升目标空间场所的智能性以及科技性,并且可以达到帮助用户加深记忆、加强文化传播的效果等目的。
在优选的实施方式中,通过影像采集端、展示端中扫描类设备、相机类设备与智能芯片、边缘服务端等的“软硬结合”,提升采集到的影像数据的质量;通过中心服务端与边缘服务端的“云边协同”,包括在边缘服务端进行初步的质量评估,在中心服务端进行高性能的质量评估、美学优选等,可以使得提供给用户的影像数据具有较高的质量。
在另外可选的实施方式中,还可以在展示端提供“视频换脸”等其他功能,使得用户除了可以通过展示端查看自己的影像数据,还可以进行其他的与人脸图像相关的互动。
实施例二
该实施例二主要从中心服务端的角度,提供了一种影像数据处理方法,参见图5,该方法可以包括:
S510:获取在目标空间场所中采集到的多份影像数据,所述多份影像数据是通过对所述目标空间场所中的至少一个用户进行影像采集获得的;
具体的,所述多份影像数据可以是通过多种途径获得,例如,可以通过所述目标空间场所中部署的影像采集端对所述参观者用户或活动参加者用户进行抓拍或者定点拍摄所得的影像数据。或者,在另一种方式下,还可以为目标空间场所的管理员等用户提供用于上传影像数据的入口,使得通过其他的拍摄设备在空间场所中采集到的影像数据也可以提交到中心服务端,由中心服务端统一进行处理,以便为用户提供“智能相册”服务。
S520:对所述用户影像数据进行人脸识别;
获取到影像数据后,可以进行人脸识别。具体实现时,还可以对所述多份影像数据进行质量评估及美学优选,将质量不符合条件的影像数据删除,例如,将模糊的影像数据,或者全是背影的影像数据删除,等等。美学优选的过程中,还可以进行人脸图像的美化等处理。
S530:根据识别到的人脸数据建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
在对影像数据进行人脸识别后,可以建立起多个影像集合,每个影像集合可以用于包含同一用户人脸图像的多份影像进行保存。也即,可以分别为各个用户生成各自的“智能相册”,其中包含多张出现了对应用户人脸图像的照片或者视频。具体实现时,还可以将同一影像集合中的多份影像数据按照美学优选结果进行排序。对于符合条件的影像数据,还可以添加到相关的模板中,生成合成的影像数据,以更突出目标空间场所的主题等定制化元素。
S540:接收到查看影像集合的请求后,根据所述请求中携带的目标用户的人脸图像,确定匹配的影像集合并返回。
具体的查看影像集合的请求可以是通过所述目标空间场所中部署的展示端发出的。此时,还可以根据所述影像集合的下载链接生成图形码,并将所述图形码提供给所述展示端进行展示。
还可以提供用于对所述影像集合进行编辑操作的操作选项,所述编辑操作包括:对所述影像集合中的影像数据进行编辑,或者,更换所述影像集合关联的展示模板。
另外,还可以接收通过所述展示端发出的视频换脸请求,所述请求中包括目标用户的人脸图像,以及该目标用户选择的目标视频及角色信息;此时,可以将所述目标用户的人脸图像替换到所述目标视频中,生成新的视频,并返回给所述展示端进行展示。
具体实现时,可以利用预先训练的生成对抗网络,将所述目标用户的人脸图像替换到所述目标视频中以生成新的视频,其中,通过在所述生成对抗网络中增加损失函数,进行对所述目标视频中的遮挡还原,和/或眼神、表情的适配。
另外,所述查看影像集合的请求也可以是通过所述目标用户关联的移动终端设备发出的。例如,具体实现时,也可以通过多种方式向用户提供中心服务端的访问网址或者链接,用户可以通过起移动终端设备中的浏览器等应用访问对应的网址或者打开链接,进而可以通过该移动终端设备的摄像头等进行人脸图像的采集,并提交到所述中心服务端。之后,中心服务端进行搜索后,可以直接将匹配的影像集合返回到该移动终端设备,等等。
实施例三
该实施例三是与实施例二相对应的,提供了一种影像数据处理装置,参见图6,该装置可以包括:
影像数据获取单元610,用于获取在目标空间场所中采集到的多份影像数据,所述多份影像数据是通过对所述目标空间场所中的至少一个参观者用户或活动参加者用户进行影像采集获得的;
人脸识别单元620,用于对所述用户影像数据进行人脸识别;
影像集合建立单元630,用于根据人脸识别结果建立至少一个影像集合,其中,每个影像集合对应一个用户,用于对包含有对应用户人脸图像的多份影像进行保存;
影像集合返回单元640,用于接收到查看影像集合的请求后,根据所述请求中携带的目标用户的人脸图像,确定匹配的影像集合并返回。
其中,所述多份影像数据包括:通过所述目标空间场所中部署的影像采集端对所述参观者用户或活动参加者用户进行抓拍或者定点拍摄所得的影像数据。
具体实现时,该装置还可以包括:
影像数据处理单元,用于对所述多份影像数据进行质量评估及美学优选,将质量不符合条件的影像数据删除。
排序单元,用于将同一影像集合中的多份影像数据按照美学优选结果进行排序。
其中,所述查看影像集合的请求可以是通过所述目标空间场所中部署的展示端发出的。
此时,该装置还可以包括:
图形码提供单元,用于根据所述影像集合的下载链接生成图形码,并将所述图形码提供给所述展示端进行展示。
该装置还可以包括:
编辑操作选项提供单元,用于提供用于对所述影像集合进行编辑操作的操作选项,所述编辑操作包括:对所述影像集合中的影像数据进行编辑,或者,更换所述影像集合关联的展示模板。
另外,该装置还可以包括:
视频换脸请求接收单元,用于接收通过所述展示端发出的视频换脸请求,所述请求中包括目标用户的人脸图像,以及该目标用户选择的目标视频及角色信息;
新视频生成单元,用于将所述目标用户的人脸图像替换到所述目标视频中,生成新的视频,并返回给所述展示端进行展示。
具体的,所述新视频生成单元具体可以用于:
利用预先训练的生成对抗网络,将所述目标用户的人脸图像替换到所述目标视频中以生成新的视频,其中,通过在所述生成对抗网络中增加损失函数,进行对所述目标视频中的遮挡还原,和/或眼神、表情的适配。
另一种方式下,所述查看影像集合的请求可以是通过所述目标用户关联的移动终端设备发出的。
实施例四
该实施例四还提供了一种定点拍照一体机设备,参见图2,所述定点拍照一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,相机类设备,以及运行有边缘服务端的主机设备;
所述扫描类设备,用于进行图像扫描,并在扫描到人脸图像以及目标手势动作后生成触发消息;
所述相机类设备,用于根据所述触发消息采集至少一份影像数据,并提供给所述边缘服务端;
所述边缘服务端,用于对所述至少一份影像数据进行质量评估及美学优选,并从中选择符合条件的影像数据以通过所述显示屏进行展示。
另外,所述边缘服务端还可以用于,将所述符合条件的影像数据提交到中心服务端,以用于生成用户的影像集合。
实施例五
该实施例五还提供了一种互动展示一体机设备,参见图3,所述互动展示一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,以及运行有边缘服务端的主机设备;
所述显示屏,用于展示交互界面,所述交互界面用于接收用户发起的查看影像集合的请求;
所述扫描类设备,用于进行人脸捕获,并提供给所述边缘服务端;
所述边缘服务端,用于在所述扫描类设备捕获到人脸图像后,进行人脸检测及质量评估,将符合条件的人脸图像提交到中心服务端,并对所述中心服务端返回的与所述人脸图像匹配的影像集合进行展示,所述影像集合是由所述中心服务端根据所述目标空间场所中采集到的多份影像数据进行人脸识别后建立的,用于保存包含有同一用户人脸图像的多份影像数据。
实施例六
该实施例六还提供了另一种互动展示一体机设备,参见图4,所述互动展示一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,以及运行有边缘服务端的主机设备;
所述显示屏,用于展示交互界面,所述交互界面用于接收目标用户发起的视频换脸的请求,并提供可选的视频及角色信息;
所述扫描类设备,用于进行人脸捕获,并提供给所述边缘服务端;
所述边缘服务端,用于在所述扫描类设备捕获到人脸图像后,进行人脸检测及质量评估,将符合条件的人脸图像提交到中心服务端,并将所述中心服务端返回的新的视频通过所述显示屏进行展示,所述中心服务端用于将所述目标用户的人脸图像替换到所选定的目标视频中,以生成所述新的视频。
关于上述实施例二至六中的未详述部分,可以参见实施例一中的记载,这里不再赘述。
需要说明的是,本申请实施例中可能会涉及到对用户数据的使用,在实际应用中,可以在符合所在国的适用法律法规要求的情况下(例如,用户明确同意,对用户切实通知,等),在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
另外,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
以及一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述方法实施例中任一项所述的方法的步骤。
其中,图7示例性的展示出了电子设备的架构,具体可以包括处理器710,视频显示适配器711,磁盘驱动器712,输入/输出接口713,网络接口714,以及存储器720。上述处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714,与存储器720之间可以通过通信总线730进行通信连接。
其中,处理器710可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器720可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器720可以存储用于控制电子设备700运行的操作系统721,用于控制电子设备700的低级别操作的基本输入输出系统(BIOS)。另外,还可以存储网页浏览器723,数据存储管理系统724,以及影像数据处理系统725等等。上述影像数据处理系统725就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器720中,并由处理器710来调用执行。
输入/输出接口713用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口714用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线730包括一通路,在设备的各个组件(例如处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714,与存储器720)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714,存储器720,总线730等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的用户影像数据处理方法、装置及系统,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种用户影像处理系统,其特征在于,包括:
影像采集端,用于部署在目标空间场所中,对所述目标空间场所中的至少一个用户进行影像数据采集,并提交到中心服务端;
所述中心服务端,用于对所述影像采集端提交的多份影像数据进行人脸识别,并根据识别到的人脸图像建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
展示端,用于部署在所述目标空间场所中,接收到目标用户提交的影像查看请求后,根据采集到的所述目标用户的人脸图像从所述中心服务端获取与所述目标用户对应的影像集合,并进行展示。
2.根据权利要求1所述的系统,其特征在于,
所述多份影像数据包括:通过所述影像采集端对所述用户进行抓拍和/或定点拍摄所得的多份影像数据。
3.根据权利要求1所述的系统,其特征在于,
所述影像采集端至少包括:扫描类设备以及相机类设备;
所述扫描类设备用于对所述目标空间场所进行图像扫描,以便在扫描到符合采集条件的图像后生成触发消息;
所述相机类设备用于根据所述触发消息执行影像数据采集。
4.根据权利要求3所述的系统,其特征在于,
所述影像采集端包括:用于对所述目标空间场所中的至少一个用户进行抓拍的第一采集端;
所述第一采集端还包括:云台,所述扫描类设备以及相机类设备安装于所述云台之上;
所述扫描类设备具体用于随着所述云台的转动,在目标角度范围内进行扫描。
5.根据权利要求4所述的系统,其特征在于,
所述云台还集成有智能芯片;
所述智能芯片用于在所述扫描类设备扫描到人脸图像后,触发所述相机类设备进行影像数据采集之前,对所述相机类设备的拍摄角度和/或拍摄参数进行调整。
6.根据权利要求5所述的系统,其特征在于,
所述智能芯片还用于,在所述扫描类设备扫描到多个人脸图像时,触发所述相机类设备进行连续抓拍,并通过调整所述相机类设备的拍摄角度和/或拍摄参数,进行多个人脸图像可获得的拍摄机会的平均分配以及人脸去重处理。
7.根据权利要求3所述的系统,其特征在于,
所述影像采集端包括:用于对所述目标空间场所中的至少一个用户进行定点拍摄的第二采集端;
所述第二采集端还包括:显示屏;
所述显示屏用于对所述扫描类设备扫描到图像进行展示,并提供引导信息,所述引导信息用于引导用户执行目标操作;
所述扫描类设备具体用于,在扫描到用户执行所述目标操作后,向所述相机类设备发送触发消息。
8.根据权利要求7所述的系统,其特征在于,
所述第二采集端还包括边缘服务端;
所述相机类设备具体用于,根据所述触发消息采集多份影像数据,并提供给所述边缘服务端;
所述边缘服务端,用于对采集到的多份影像数据进行质量评估及美学优选,并从中选择符合条件的影像数据以通过所述显示屏进行展示,并上传到所述中心服务端。
9.根据权利要求1所述的系统,其特征在于,
所述展示端还用于,接收到目标用户提交的视频换脸请求后,将所采集到的该目标用户的人脸图像,以及该目标用户选择的目标视频及角色信息提交到所述中心服务端;
所述中心服务端还用于,将所述目标用户的人脸图像替换到所述目标视频中,生成新的视频,并返回给所述展示端进行展示。
10.一种用户影像数据处理方法,其特征在于,包括:
获取在目标空间场所中采集到的多份影像数据,所述多份影像数据是通过对所述目标空间场所中的至少一个用户进行影像采集获得的;
对所述用户影像数据进行人脸识别;
根据识别到的人脸数据建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
接收到查看影像集合的请求后,根据所述请求中携带的目标用户的人脸图像,确定匹配的影像集合并返回。
11.一种用户影像数据处理装置,其特征在于,包括:
影像数据获取单元,用于获取在目标空间场所中采集到的多份影像数据,所述多份影像数据是通过对所述目标空间场所中的至少一个用户进行影像采集获得的;
人脸识别单元,用于对所述用户影像数据进行人脸识别;
影像集合建立单元,用于根据人脸识别结果建立至少一个影像集合,其中,所述影像集合与单个用户对应,用于对包含有对应用户人脸图像的至少一份影像数据进行保存;
影像集合返回单元,用于接收到查看影像集合的请求后,根据所述请求中携带的目标用户的人脸图像,确定匹配的影像集合并返回。
12.一种定点拍照一体机设备,其特征在于,
所述定点拍照一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,相机类设备,以及运行有边缘服务端的主机设备;
所述扫描类设备,用于进行图像扫描,并在扫描到人脸图像以及目标手势动作后生成触发消息;
所述相机类设备,用于根据所述触发消息采集至少一份影像数据,并提供给所述边缘服务端;
所述边缘服务端,用于对所述至少一份影像数据进行质量评估及美学优选,并从中选择符合条件的影像数据以通过所述显示屏进行展示。
13.一种互动展示一体机设备,其特征在于,
所述互动展示一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,以及运行有边缘服务端的主机设备;
所述显示屏,用于展示交互界面,所述交互界面用于接收用户发起的查看影像集合的请求;
所述扫描类设备,用于进行人脸捕获,并提供给所述边缘服务端;
所述边缘服务端,用于在所述扫描类设备捕获到人脸图像后,进行人脸检测及质量评估,将符合条件的人脸图像提交到中心服务端,并对所述中心服务端返回的与所述人脸图像匹配的影像集合进行展示,所述影像集合是由所述中心服务端根据所述目标空间场所中采集到的多份影像数据进行人脸识别后建立的,用于保存包含有同一用户人脸图像的多份影像数据。
14.一种互动展示一体机设备,其特征在于,
所述互动展示一体机设备用于部署在目标空间场所中,包括:显示屏,扫描类设备,以及运行有边缘服务端的主机设备;
所述显示屏,用于展示交互界面,所述交互界面用于接收目标用户发起的视频换脸的请求,并提供可选的视频及角色信息;
所述扫描类设备,用于进行人脸捕获,并提供给所述边缘服务端;
所述边缘服务端,用于在所述扫描类设备捕获到人脸图像后,进行人脸检测及质量评估,将符合条件的人脸图像提交到中心服务端,并将所述中心服务端返回的新的视频通过所述显示屏进行展示,所述中心服务端用于将所述目标用户的人脸图像替换到所选定的目标视频中,以生成所述新的视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110605498.4A CN115482565A (zh) | 2021-05-31 | 2021-05-31 | 用户影像数据处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110605498.4A CN115482565A (zh) | 2021-05-31 | 2021-05-31 | 用户影像数据处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115482565A true CN115482565A (zh) | 2022-12-16 |
Family
ID=84418952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110605498.4A Pending CN115482565A (zh) | 2021-05-31 | 2021-05-31 | 用户影像数据处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115482565A (zh) |
-
2021
- 2021-05-31 CN CN202110605498.4A patent/CN115482565A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11206373B2 (en) | Method and system for providing mixed reality service | |
US9870636B2 (en) | Method for sharing emotions through the creation of three dimensional avatars and their interaction | |
CN117043718A (zh) | 激活操作电子镜像设备的免提模式 | |
JP2017531950A (ja) | 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置 | |
CN105981368A (zh) | 在成像装置中的照片构图和位置引导 | |
CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
CN117043719A (zh) | 具有免提模式的镜像设备 | |
CN108108012A (zh) | 信息交互方法和装置 | |
JP7371264B2 (ja) | 画像処理方法、電子機器及びコンピュータ可読記憶媒体 | |
CN115867882A (zh) | 用于图像的基于出行的增强现实内容 | |
CN113302622A (zh) | 用于提供个性化视频的系统和方法 | |
CN104537662A (zh) | 一种用于提供拍照图像的方法与设备 | |
CN113012082A (zh) | 图像显示方法、装置、设备及介质 | |
US20150341541A1 (en) | Methods and systems of remote acquisition of digital images or models | |
KR102337020B1 (ko) | 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법 | |
JP6609078B1 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
KR20180131687A (ko) | 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템 | |
CN113632498A (zh) | 内容发布系统、内容发布方法、以及内容发布程序 | |
CN115482565A (zh) | 用户影像数据处理方法、装置及系统 | |
CN115442519A (zh) | 视频处理方法、装置及计算机可读存储介质 | |
CN112734657B (zh) | 基于人工智能和三维模型的云合影方法、装置及存储介质 | |
WO2014100448A1 (en) | Collecting and selecting photos | |
US20190116214A1 (en) | Method and system for taking pictures on real time dynamic basis | |
JP7344084B2 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
TWI801936B (zh) | 資訊處理裝置、3d模型生成方法、及程式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240312 Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore Applicant after: Alibaba Innovation Co. Country or region after: Singapore Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore Applicant before: Alibaba Singapore Holdings Ltd. Country or region before: Singapore |
|
TA01 | Transfer of patent application right |