CN111145189B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111145189B CN111145189B CN201911367741.2A CN201911367741A CN111145189B CN 111145189 B CN111145189 B CN 111145189B CN 201911367741 A CN201911367741 A CN 201911367741A CN 111145189 B CN111145189 B CN 111145189B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- image area
- target
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提出一种图像处理方法、装置、电子设备和计算机可读存储介质,涉及图像技术领域。其中,上述图像处理方法包括依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧;从所述目标视频帧中确定目标人物图像区域和镜像分割线;其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线;将所述目标人物图像区域按照所述镜像分割线进行镜像处理,以覆盖所述待替换图像区域,生成输出图像帧。实现推荐图像数据的私人定制化,提升用户的使用体验。
Description
技术领域
本发明涉及图像技术领域,具体而言,涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
游乐园作为一种综合性的娱乐场所,受到大部分年龄阶段的人群的喜爱。来游乐园玩耍的人们,都希望保留下美好的游乐时光。由此,游乐园拍照服务应运而生。然而,游乐园中人员较多,拍照过程中往往会拍到其他人。如此,不仅存在侵犯他人隐私的风险,还无法满足用户对照片的独享需求。
发明内容
有鉴于此,本发明的目的在于提供一种图像处理方法、装置、电子设备和计算机可读存储介质。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,实施例提供一种图像处理方法,应用于服务器,所述图像处理方法包括:
依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧;
从所述目标视频帧中确定目标人物图像区域和镜像分割线;其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线;
将所述目标人物图像区域按照所述镜像分割线进行镜像处理,以覆盖所述待替换图像区域,生成输出图像帧。
第二方面,实施例提供一种图像处理装置,应用于服务器,所述图像处理装置包括:
识别模块,用于依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧;
确定模块,用于从所述目标视频帧中确定目标人物图像区域和镜像分割线;其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线;
镜像模块,用于将所述目标人物图像区域按照所述镜像分割线进行镜像处理,以覆盖所述待替换图像区域,生成输出图像帧。
第三方面,实施例提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。
第四方面,实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。
与现有技术相比,本发明实施例提供的图像处理方法通过获取视频流中与查询指令携带的目标人脸特征信息匹配的目标视频帧,从目标视频帧中确定目标人物图像区域和目标人物图像区域与待替换图像区域之间的镜像分割线。将目标人物图像区域按照所述镜像分割线进行镜像处理。通过采用目标人物图像区域覆盖待替换图像区域的方式,生成输出图像帧。避免无关人员出现在画面中,规避侵犯他人隐私的风险,同时提升用户对输出图像帧的满意度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的应用场景示意图。
图2示出了本发明实施例提供的服务器的示意图。
图3示出了本发明实施例提供的图像处理方法的步骤流程图。
图4为图3中步骤S102的子步骤流程图之一。
图5示出了目标任务图像区域和待替换图像区域之间的划分示例图之一。
图6示出了目标任务图像区域和待替换图像区域之间的划分示例图之二。
图7为图3中步骤S102的子步骤流程图之二。
图8示出了目标任务图像区域和待替换图像区域之间的划分示例图之三。
图9示出了目标任务图像区域和待替换图像区域之间的划分示例图之四。
图10示出了目标任务图像区域和待替换图像区域之间的划分示例图之五。
图11示出了目标任务图像区域和待替换图像区域之间的划分示例图之六。
图12示出了对目标视频帧镜像处理后得到输出图像帧的示例图。
图13示出了本发明实施例提供的图像处理装置的示意图。
图标:100-服务器;200-图像采集设备;300-智能终端;110-存储器;120-处理器;130-通信模块;400-图像处理装置;401-识别模块;402-确定模块;403-镜像模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
游乐园作为一种综合性的娱乐场所,受到大部分年龄阶段的人群的喜爱。来游乐园玩耍的人们,都希望保留下美好的游乐时光。目前游玩设施都安装有用于记录用户游玩过程的摄像机。
然而,由于目前多人并排、相邻乘坐的游乐设施很多,导致拍摄的照片中不可避免的出现陌生人。将出现游客的视频、照片进行销售或者发布到互联网的过程中,可能会产生肖像权纠纷。此外,游客出于自身喜好、隐私性和独占性需求,希望得到画面中仅出现自己的高质量视频、照片。
显然,相关技术中将摄像机直接采集到的视频、照片出售或赠于游客,既不能保障他人隐私,也不能满足用户的需求。
因此,本发明实施例提供了一种图像处理方法、装置、电子设备和计算机可读存储介质,用于改善上述问题。
请参考图1,图1示出了本申请实施例提供的图像处理方法的应用场景示意图,包括服务器100、图像采集设备200及智能终端300。上述图像采集设备200通过网络与服务器100通信连接,上述智能终端300也通过网络与服务器100通信连接,以实现服务器100与图像采集设备200,服务器100与智能终端300之间的数据交互。
各类游乐设施上均安装有图像采集设备200,图像采集设备200的采集视野可以根据实际情况调整,用于记录游客(用户)使用游乐设施的画面,以生成视频流。
在一些实施例中,上述图像采集设备200可以是在游乐设施开始运行后,启动视频流采集,并将采集到的视频流发送给服务器100进行存储。
请参照图2,是服务器100的方框示意图。所述服务器100包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。所述存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。
通信模块130用于通过所述网络建立所述服务器100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
上述智能终端300用于从服务器100请求相关服务。可选地,智能终端300可以通过访问服务器100查看并下载与操作智能终端300的用户相关的输出图像帧或者基于输出图像帧生成的输出视频数据。智能终端300可以是,但不限于移动设备、平板计算机、膝上型计算机或其任意组合。在一些实施例中,移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等,或其任意组合。在一些实施例中,可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏设备、导航设备、或销售点(point of sale,POS)设备等,或其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等,或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。
上述智能终端300中安装有第三方应用程序(Application,APP),该第三方应用程序中可以运行有小程序,用户可以通过该小程序与服务器100进行交互,例如,用户在乘坐了游乐设备以后,可以通过该小程序观看或者下载自己的游玩照片或者视频。可选地,当用户通过智能终端300安装的第三方应用程序进入该小程序时,该小程序可以触发智能终端300进行人脸图像采集,并根据采集到的人脸图像生成查询指令发送至服务器100,以便服务器100基于查询指令筛选出用户所需的推荐图像,并由智能终端300显示该推荐图像供用户观看、下载等。
另外,还可以在智能终端300中安装应用程序,使得用户可以通过该应用程序与服务器100进行交互,实现图像或者视频的观看、下载等。
第一实施例
请参考图3,图3示出了本申请实施例提供的图像处理方法的步骤流程图。上述图像处理方法应用于服务器100。如图3所示,上述图像处理方法可以包括以下步骤:
步骤S101,依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧。
上述查询指令由智能终端300生成并发送。可选地,上述智能终端300从采集到的人脸图像中提取目标人脸特征信息,并基于目标人脸特征信息生成查询指令发送给服务器100。
在本发明实施例中,服务器100接收到查询指令后,依据目标人脸特征信息从视频流中查找与上述目标人脸特征信息匹配的视频帧,以作为目标视频帧。
在一些场景下,上述智能终端300从采集到的人脸图像可以包括多张人脸。
针对上述场景,作为一种实施方式,智能终端300可以将每张人脸对应的人脸特征信息均作为目标人脸特征信息,从而生成查询指令。如此,查找到的目标视频帧可以包括与任意一个目标人脸特征信息匹配的人像区域(也即,图像区域),也即,查找到的目标视频帧中至少出现一个目标人脸特征信息所对应的人脸。
针对上述场景,作为另一种实施方式,智能终端300可以将用户从多张人脸中选中的指定人脸所对应的人脸特征信息作为目标人脸特征信息,从而生成查询指令。如此,查找到的目标视频帧可以包括与目标人脸特征信息匹配的人像区域(也即,图像区域),也即,查找到的目标视频帧中将出现指定人脸。
步骤S102,从目标视频帧中确定目标人物图像区域和镜像分割线。
上述目标人物图像区域是目标视频帧中与目标人脸特征信息相关的图像区域。上述待替换图像区域可以确定出的与目标人脸特征信息无关的图像区域。上述镜像分割线为目标人物图像区域与待替换图像区域之间的界线。可选地,上述界线可以是目标人物图像区域与待替换图像区域之间共同边。可选地,上述界线还可以是目标人物图像区域与待替换图像区域之间的对称轴。
在本发明实施例中,可以是依据目标人脸特征信息确定出相关人像区域。基于相关人像区域从所述目标视频帧中划分出目标人物图像区域,以便根据目标人物图像区域确定出待替换图像区域和镜像分割线。
具体实现时,可以包括以下多种方式:
第一种方式,如图4所示,上述步骤S102可以包括步骤:
子步骤S102-1-1,识别出与上述目标人脸特征信息相关的相关人像区域。
在本发明实施例中,可以采用图像识别的方法圈出图像内容与目标人脸特征信息相关的相关人像区域。
子步骤S102-1-2,将包括相关人像区域的图像区域确定为目标人物图像区域。
子步骤S102-1-3,将不包括相关人像区域的图像区域确定为待替换图像区域。
可选地,上述目标人物图像区域与待替换图像区域为互斥的图像区域。将目标人物图像区域与待替换图像区域之间的共同边作为镜像分割线,例如,图5中,人员A为目标人脸特征信息所对应的人像区域,包含人员A的图像区域为目标人物图像区域,将与目标人物图像区域互斥的图像区域确定为待替换图像区域,图5中目标人物图像区域与待替换图像区域之间的共同边a为镜像分割线。
可选地,上述待替换图像区域为与上述目标人物图像区域对称的图像区域,将目标人物图像区域与待替换图像区域之间的对称轴作为镜像分割线。例如,图6中,人员A为目标人脸特征信息所对应的人像区域,包含人员A的图像区域为目标人物图像区域,将与目标人物图像区域对称的图像区域确定为待替换图像区域,图6中目标人物图像区域与待替换图像区域之间的对称轴b为镜像分割线。
第二种方式,目标视频帧中只有相关的人像区域时可以将该目标视频帧作为输出图像帧。如图7所示,上述步骤S102可以包括:
子步骤S102-2-1,从目标视频帧中划分出多个人像区域。
在一些实施例中,可以采用人脸识别的方式在目标视频帧中分别圈出呈现的各张人脸的图像区域作为人像区域。采用该方式的优势在于精准度较高。
为了提高划分效率,减少遍历目标视频帧进行人脸特征比对的时耗。在一些其他实施例中,上述子步骤S102-2-1还可以是:
(1)获取目标视频帧中的边界标识。
在本方发明实施例中,上述边界标识可以是,但不限于是座椅边缘、座椅扶手轮廓、中间空隙、座椅或者游客身体上贴上识别点等。
可以理解地,通常边界标识在各个目标视频帧中出现的位置大致在一个可通过标定得到的范围内,基于此,一种实施方式下,获取目标视频帧中的边界标识可以是:在该标定得到的范围内寻找边界标识,这样能够提高得到边界标识的速度。
(2)依据边界标识确定出多个边界框。
在本发明实施例中,可以是基于边界标识,按照预设的边界框形状确定出多个边界框。
可以理解地,采用识别边界标识的方式得到边界框的优势在于:能够确保每个边界框都是可能出现人员的框。
在一些可能的实施例中,由于图像采集设备200的安装位置固定,且游玩过程中,游客在图像采集设备200的视野中出现的位置也相对固定。故,还可以在每个图像采集设备200的视野内划分会出现游客的预设框,并且每采集到一帧视频帧,则在该视频帧上标注预设框对应的图像坐标。如此,上述确定出多个边界框的方式还可以是:读取预设框对应的图像坐标,依据图像坐标在目标视频帧中确定出多个边界框。
可以理解地,采用读取图像采集设备200标记的预设框的图像坐标的方式得到边界框的优势在于:速度快、时耗短,对系统资源占用小。
(3)检测每一个边界框中是否出现人物。
在本发明实施例中,依次对边界框内的图像区域进行特征提取,若提取到人脸特征,则判断该边界框中出现了人物。
(4)将出现人物的边界框所对应的图像区域确定为人像区域。
子步骤S102-2-2,依据目标人脸特征信息从多个人像区域中确定出相关人像区域和无关人像区域。
上述相关人像区域为呈现人脸与目标人脸特征信息相关的人脸图像区域。上述无关人像区域为呈现人脸与目标人脸特征信息无关的人脸图像区域。比如,无关人像区域是目标视频帧中呈现内容为用户不认识的其他游客的图像区域。
子步骤S102-2-3,基于相关人像区域及无关人像区域从目标视频帧中划分出目标人物图像区域及待替换图像区域。
在本发明实施例中,上述子步骤S102-2-3可以是将包括所述相关人像区域的图像区域作为所述目标人物图像区域。将包含所述无关人像区域的图像区域作为所述待替换图像区域。
子步骤S102-2-4,将目标人物图像区域与待替换图像区域之间的界线作为镜像分割线。
如图8所示,可以将目标人物图像区域与待替换图像区域之间的共同边a作为镜像分割线。如图9所示,还可以将目标人物图像区域与待替换图像区域之间的对称轴b作为镜像分割线。
在一些实施例中,相关人像区域与所述查询指令携带的目标人脸特征信息匹配。
在另一些实施例中,大部分游客都会结伴来游乐园游玩,因此,对于部分游客而言,还需要得到与同伴出现于同一画面的游玩照片或视频。如此,在一些实施例中,上述相关人像区域可以不再仅仅是呈现用户人脸的图像区域,还可以是包括同伴人脸的图像区域。
当然,如果生成查询指令前智能终端300采集到的人脸图像中同时具有该用户与同伴的人脸,那么将用户与同伴的人脸所对应的人脸特征信息作为目标人脸特征信息,如此,用户与同伴出现在同一目标视频帧时,同伴也不会被误判为无关人像区域。
如果生成查询指令前智能终端300采集到的人脸图像中仅有用户自己的人脸,那么为了确保出现在同一目标视频帧的同伴不会被误判为无关人像区域。在一些实施例中,可以预先将用户的人脸特征信息与同伴的人脸特征信息绑定。也就是,服务器100得到的目标人脸特征信息均对应着关联人脸特征信息。
可选地,为了方便服务器100查询目标人脸特征信息均对应着关联人脸特征信息,可以预先在服务器100内存储大量人脸特征信息及与其对应的关联人脸特征信息。
作为一种实现方式,上述获得人脸特征信息及其关联人脸特征信息的方式可以是:在游客购买票时,记录被同一人购买的多张门票的标识信息,售票机将被同一次被购买的多张门票的票务标识信息绑定,并将绑定关系发送给服务器100。游客使用门票进入游乐园区时,检票闸机采集使用每张门票的游客的人脸图像,并将每张人脸图像的人脸特征信息与所使用的门票的票务标识信息绑定,并发送给服务器100。服务器100通过判断人脸特征信息的票务标识信息之间是否存在绑定关系,判断人脸特征信息之间是否互为关联人脸特征信息。最后将判定是互为关联人脸特征信息的人脸特征信息进行存储,以方便查询。
作为另一种实现方式,上述获得人脸特征信息及其关联人脸特征信息的方式还可以是:通过智能终端300提醒用户与同伴进行人脸绑定,即用户与同伴可以使用智能终端300分别进行人脸图像采集,再通过操作智能终端300将人脸图像所对应的人脸特征信息进行绑定,并发送服务器100。可以理解地,绑定的人脸特征信息之间互为关联人脸特征信息。
进一步地,上述相关人像区域包括第一人像区域和第二人像区域。上述第一人像区域与所述目标人脸特征信息匹配。上述第二人像区域与目标人脸特征信息的关联人脸特征信息匹配。如此,即可避免出现在同一目标视频帧的同伴被误判为无关人像区域。
基于此,上述第一种方式和第二种方式中提到的基于所述相关人像区域从目标视频帧中划分出目标人物图像区域的步骤还包括:
若第一人像区域与第二人像区域之间相邻,则将包括第一人像区域和所述第二人像区域的图像区域作为所述目标人物图像区域,比如图10中所示。
若所述第一人像区域与所述第二人像区域之间不相邻,则将包括所述第一人像区域的图像区域作为所述目标人物图像区域,比如图11中所示。
步骤S103,将所述目标人物图像区域按照所述镜像分割线进行镜像处理,以覆盖所述待替换图像区域,生成输出图像帧。
在本发明实施例中,依据目标人物图像区域和待替换图像区域之间的相对位置关系,将所述目标人物图像区域按照所述镜像分割线朝指定方向进行镜像。上述指定方向包括向左镜像、向右镜像、向上镜像及向下镜像中任意一种。比如,如图12所示。
在一些实施例中,为了提高用户的满意度,在得到目标视频帧之后,可以对目标视频帧中的目标人物图像区域分别进行向左镜像、向右镜像、向上镜像或向下镜像,将向左镜像后生成的输出图像帧存储到第一存储区,将向右镜像后生成的输出图像帧存储到第二存储区,将向上镜像后生成的输出图像帧存储到第三存储区,将向下镜像后生成的输出图像帧存储到第四存储区。分别将第一存储区、第二存储区、第三存储区及第四存储区内存储的数据推送给智能终端300,以供用户选择。
在一些实施例中,在步骤S103之后可以将输出图像帧作为游玩照片推送给智能终端300进行展示。
在一些实施例中,在步骤S103之后还可以基于输出图像帧生成游玩视频并推动给智能终端300进行展示。
与现有技术相比,本发明实施例提供的一种图像处理方法,通过对用户所需要的目标人物图像区域进行镜像,以覆盖待替换图像区域,从而得到画面中只有目标人物图像区域的输出图像帧。如此,不仅能有效地避免了侵犯他人肖像权,还可以满足用户独享的需求。实现游玩图像数据的私人定制。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种图像处理装置400的实现方式,可选地,该图像处理装置400可以采用上述图2所示的服务器100的器件结构。进一步地,请参阅图13,图13为本发明实施例提供的一种图像处理装置400的功能模块图。需要说明的是,本实施例所提供的图像处理装置400,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。该图像处理装置400包括:识别模块401、确定模块402及镜像模块403。
识别模块401,用于依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧。
在本发明实施例中,上述步骤S101可以由识别模块401执行。
确定模块402,用于从所述目标视频帧中确定目标人物图像区域和镜像分割线。
在本发明实施例中,上述步骤S102可以由确定模块402执行。其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线。可选地,从所述目标视频帧中划分出多个人像区域;依据所述目标人脸特征信息从多个所述人像区域中确定出相关人像区域和无关人像区域;基于所述相关人像区域及所述无关人像区域从所述目标视频帧中划分出所述目标人物图像区域及所述待替换图像区域;将所述目标人物图像区域与所述待替换图像区域之间的界线作为所述镜像分割线。
镜像模块403,用于将所述目标人物图像区域按照所述镜像分割线进行镜像处理,以覆盖所述待替换图像区域,生成输出图像帧。
在本发明实施例中,上述步骤S103可以由镜像模块403执行。
在一些实施例中,上述图像处理装置400还可以包括发送模块。上述发送模块用于将输出图像帧发送给智能终端300。可选地,可以是基于输出图像帧生成视频数据发送给智能终端300。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图2所示的存储器110中或固化于该服务器100的操作系统(Operating System,OS)中,并可由图2中的处理器120执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
综上所述,本发明实施例中提供的图像处理方法、装置、电子设备和计算机可读存储介质。其中,上述图像处理方法包括依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧;从所述目标视频帧中确定目标人物图像区域和镜像分割线;其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线;将所述目标人物图像区域按照所述镜像分割线进行镜像处理,以覆盖所述待替换图像区域,生成输出图像帧。实现推荐图像数据的私人定制化,满足用户的独享需求,同时也避免了侵犯他人隐私。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像处理方法,其特征在于,应用于服务器,所述图像处理方法包括:
依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧;
从所述目标视频帧中确定目标人物图像区域和镜像分割线;其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线;
依据所述目标人物图像区域和所述待替换图像区域之间的相对位置关系,将所述目标人物图像区域按照所述镜像分割线朝指定方向进行镜像,以覆盖所述待替换图像区域,生成输出图像帧,其中,所述指定方向包括向左镜像、向右镜像、向上镜像及向下镜像中任意一种。
2.根据权利要求1所述的图像处理方法,其特征在于,所述从所述目标视频帧中确定目标人物图像区域和镜像分割线的步骤包括:
从所述目标视频帧中划分出多个人像区域;
依据所述目标人脸特征信息从多个所述人像区域中确定出相关人像区域和无关人像区域;
基于所述相关人像区域及所述无关人像区域从所述目标视频帧中划分出所述目标人物图像区域及所述待替换图像区域;
将所述目标人物图像区域与所述待替换图像区域之间的界线作为所述镜像分割线。
3.根据权利要求2所述的图像处理方法,其特征在于,所述相关人像区域与所述查询指令携带的目标人脸特征信息匹配;所述基于所述相关人像区域及所述无关人像区域从所述目标视频帧中划分出所述目标人物图像区域及所述待替换图像区域的步骤包括:
将包括所述相关人像区域的图像区域作为所述目标人物图像区域;
将包含所述无关人像区域的图像区域作为所述待替换图像区域。
4.根据权利要求2所述的图像处理方法,其特征在于,所述服务器内预先存储有多个人脸特征信息及与每一个所述人脸特征信息对应的关联人脸特征信息;所述相关人像区域包括第一人像区域和第二人像区域;所述第一人像区域与所述目标人脸特征信息匹配;所述第二人像区域与所述目标人脸特征信息的关联人脸特征信息匹配;
所述基于所述相关人像区域及所述无关人像区域从所述目标视频帧中划分出所述目标人物图像区域及所述待替换图像区域的步骤包括:
若所述第一人像区域与所述第二人像区域之间相邻,则将包括所述第一人像区域和所述第二人像区域的图像区域作为所述目标人物图像区域;
若所述第一人像区域与所述第二人像区域之间不相邻,则将包括所述第一人像区域的图像区域作为所述目标人物图像区域;
将包含所述无关人像区域的图像区域作为所述待替换图像区域。
5.根据权利要求4所述的图像处理方法,其特征在于,所述服务器与智能终端通信连接,与所述人脸特征信息对应的所述关联人脸特征信息的获取方式包括:
接收所述智能终端上传的人脸图像;
若所述人脸图像中包括多个人脸特征信息,则将每一个所述人脸特征信息与其他人脸特征信息关联,以使出现在同一所述人脸图像的人脸特征信息互为所述关联人脸特征信息。
6.根据权利要求4所述的图像处理方法,其特征在于,所述服务器与智能终端通信连接,与所述人脸特征信息对应的所述关联人脸特征信息的获取方式包括:
从所述智能终端获取游客的人脸图像及关联人脸图像;其中,所述关联人脸图像为游客操作所述智能终端实现关联的人脸图像;
将所述关联人脸图像中出现的人脸特征信息作为对应的所述人脸图像中的人脸特征信息的所述关联人脸特征信息。
7.根据权利要求4所述的图像处理方法,其特征在于,所述服务器与检票闸机通信连接,与所述人脸特征信息对应的关联人脸特征信息的获取方式包括:
获取不同门票的标识信息之间的绑定关系;其中,属于同一订单的门票的标识信息之间具有绑定关系;
接收所述检票闸机回传的所述门票的标识信息及对应的游客的人脸图像;
判断接收到的所述人脸图像对应的标识信息之间是否具有所述绑定关系;
将具有所述绑定关系的所述人脸图像绑定;
将绑定的所述人脸图像中的人脸特征信息关联,以使绑定的所述人脸图像中的人脸特征信息互为所述关联人脸特征信息。
8.根据权利要求2所述的图像处理方法,其特征在于,所述从所述目标视频帧中划分出多个人像区域的步骤:
识别所述目标视频帧中的边界标识;
依据所述边界标识确定出多个边界框;
检测每一个所述边界框中是否出现人物;
将出现所述人物的所述边界框所对应的图像区域确定为所述人像区域。
9.一种图像处理装置,其特征在于,应用于服务器,所述图像处理装置包括:
识别模块,用于依据查询指令中携带的目标人脸特征信息,从视频流中识别出目标视频帧;
确定模块,用于从所述目标视频帧中确定目标人物图像区域和镜像分割线;其中,所述镜像分割线为所述目标人物图像区域与待替换图像区域之间的界线;
镜像模块,用于依据所述目标人物图像区域和所述待替换图像区域之间的相对位置关系,将所述目标人物图像区域按照所述镜像分割线朝指定方向进行镜像,以覆盖所述待替换图像区域,生成输出图像帧,其中,所述指定方向包括向左镜像、向右镜像、向上镜像及向下镜像中任意一种。
10.根据权利要求9所述的图像处理装置,其特征在于,所述确定模块还用于:
从所述目标视频帧中划分出多个人像区域;
依据所述目标人脸特征信息从多个所述人像区域中确定出相关人像区域和无关人像区域;
基于所述相关人像区域及所述无关人像区域从所述目标视频帧中划分出所述目标人物图像区域及所述待替换图像区域;
将所述目标人物图像区域与所述待替换图像区域之间的界线作为所述镜像分割线。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-8任一所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911367741.2A CN111145189B (zh) | 2019-12-26 | 2019-12-26 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911367741.2A CN111145189B (zh) | 2019-12-26 | 2019-12-26 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145189A CN111145189A (zh) | 2020-05-12 |
CN111145189B true CN111145189B (zh) | 2023-08-08 |
Family
ID=70520697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911367741.2A Active CN111145189B (zh) | 2019-12-26 | 2019-12-26 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145189B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837114A (zh) * | 2021-09-27 | 2021-12-24 | 浙江力石科技股份有限公司 | 一种景区中人脸视频片段采集方法系统 |
CN115358919A (zh) * | 2022-08-17 | 2022-11-18 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169329A (zh) * | 2017-05-24 | 2017-09-15 | 维沃移动通信有限公司 | 一种隐私信息保护方法、移动终端及计算机可读存储介质 |
CN107705243A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
CN109543560A (zh) * | 2018-10-31 | 2019-03-29 | 百度在线网络技术(北京)有限公司 | 一种视频中人物的分割方法、装置、设备和计算机存储介质 |
CN109872297A (zh) * | 2019-03-15 | 2019-06-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110047053A (zh) * | 2019-04-26 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 人像图片生成方法、装置和计算机设备 |
CN110232323A (zh) * | 2019-05-13 | 2019-09-13 | 特斯联(北京)科技有限公司 | 一种用于人群的多人脸并行快速识别方法及其装置 |
CN110298862A (zh) * | 2018-03-21 | 2019-10-01 | 广东欧珀移动通信有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
CN110517187A (zh) * | 2019-08-30 | 2019-11-29 | 王�琦 | 广告生成方法、装置及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11037019B2 (en) * | 2018-02-27 | 2021-06-15 | Adobe Inc. | Generating modified digital images by identifying digital image patch matches utilizing a Gaussian mixture model |
-
2019
- 2019-12-26 CN CN201911367741.2A patent/CN111145189B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169329A (zh) * | 2017-05-24 | 2017-09-15 | 维沃移动通信有限公司 | 一种隐私信息保护方法、移动终端及计算机可读存储介质 |
CN107705243A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
CN110298862A (zh) * | 2018-03-21 | 2019-10-01 | 广东欧珀移动通信有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
CN109543560A (zh) * | 2018-10-31 | 2019-03-29 | 百度在线网络技术(北京)有限公司 | 一种视频中人物的分割方法、装置、设备和计算机存储介质 |
CN109872297A (zh) * | 2019-03-15 | 2019-06-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110047053A (zh) * | 2019-04-26 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 人像图片生成方法、装置和计算机设备 |
CN110232323A (zh) * | 2019-05-13 | 2019-09-13 | 特斯联(北京)科技有限公司 | 一种用于人群的多人脸并行快速识别方法及其装置 |
CN110517187A (zh) * | 2019-08-30 | 2019-11-29 | 王�琦 | 广告生成方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111145189A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10880495B2 (en) | Video recording method and apparatus, electronic device and readable storage medium | |
US9788065B2 (en) | Methods and devices for providing a video | |
CN108419027B (zh) | 智能拍照方法和服务器 | |
US20150222815A1 (en) | Aligning videos representing different viewpoints | |
WO2021088417A1 (zh) | 移动状态信息展示方法与装置、电子设备及存储介质 | |
US10165178B2 (en) | Image file management system and imaging device with tag information in a communication network | |
US20110305437A1 (en) | Electronic apparatus and indexing control method | |
CN112702521A (zh) | 图像拍摄方法及装置、电子设备、计算机可读存储介质 | |
CN111145189B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
JP6650936B2 (ja) | カメラ制御および画像ストリーミング | |
US20240080506A1 (en) | Method to insert ad content into a video scene | |
JP2020513705A (ja) | ビデオフレームの複数の部分のフィンガープリントを生成することによって立体ビデオを検出するための方法、システム、および媒体 | |
CN107832598B (zh) | 解锁控制方法及相关产品 | |
JP7084795B2 (ja) | 画像処理装置、画像提供装置、それらの制御方法及びプログラム | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017108356A (ja) | 画像管理システム、画像管理方法、プログラム | |
KR102187661B1 (ko) | Ar 포토 재생 방법 및 시스템 | |
CN110990607B (zh) | 游玩照片筛选方法、装置、服务器和计算机可读存储介质 | |
CN107203646A (zh) | 一种智能社交分享方法和装置 | |
CN114387157A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
JP2019016100A (ja) | データシステム、サーバー、およびプログラム | |
KR102118441B1 (ko) | 자연공원 관광서비스 관리서버 | |
JP7007022B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017184021A (ja) | コンテンツ提供装置及びコンテンツ提供プログラム | |
JP2004274735A (ja) | 撮像装置及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |