CN115119054A - 一种基于ios系统的视频虚拟着装及背景处理方法和装置 - Google Patents

一种基于ios系统的视频虚拟着装及背景处理方法和装置 Download PDF

Info

Publication number
CN115119054A
CN115119054A CN202210744866.8A CN202210744866A CN115119054A CN 115119054 A CN115119054 A CN 115119054A CN 202210744866 A CN202210744866 A CN 202210744866A CN 115119054 A CN115119054 A CN 115119054A
Authority
CN
China
Prior art keywords
target
layer
video stream
format
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210744866.8A
Other languages
English (en)
Inventor
辛鹏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210744866.8A priority Critical patent/CN115119054A/zh
Publication of CN115119054A publication Critical patent/CN115119054A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于IOS系统的视频虚拟着装及背景处理方法和装置，涉及数据处理的技术领域，包括：获取摄像头采集到的视频流；对视频流进行格式转换，得到目标格式的视频流，其中，目标格式为mp4格式或mov格式；对目标格式的视频流进行人物分离，得到目标图层，其中，目标图层包括：人物图层和背景图层；将背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在人物图层上，得到目标人物图层；对目标背景图层、目标人物图层和视频流对应的音频信息进行整合，得到数据流，并对数据流进行发送。解决了工作人员在家办公时无法模拟工作环境，导致客户体验较差的技术问题。

Description

一种基于IOS系统的视频虚拟着装及背景处理方法和装置
技术领域
本发明涉及数据处理的技术领域，尤其是涉及一种基于IOS系统的视频虚拟着装及背景处理方法和装置。
背景技术
移动互联网的时代App是大量场景的入口，当前业界对App的视频虚拟支持都停留在通过专门的视频采集工具(如视频会议系统)采集视频信息，之后上传到系统的服务端，在服务端使用各种图像处理方式，对采样视频进行了声音图像处理，这种方法需要在专用的设备及系统下，通过专业的技术来完成。相对局限性较大。
虽然业内也有一部分视频直播软件进行了视频处理，这种处理方式更多的是在采集的视频顶部图层增加了固定的表情等，位置相对固定，不具备动态性，不能伴随人物移动，同时，视频的直观体验显示有一定的卡顿。
另外，当下对于因特殊原因不能到岗人员的居家办公诉求，由于现有设备无法模拟工作环境，导致客户体验较差。
发明内容
有鉴于此，本发明的目的在于提供一种基于IOS系统的视频虚拟着装及背景处理方法和装置，以缓解了工作人员在家办公时无法模拟工作环境，导致客户体验较差的技术问题。
第一方面，本发明实施例提供了一种基于IOS系统的视频虚拟着装及背景处理方法，应用于IOS系统终端设备，包括：获取摄像头采集到的视频流；对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送。
进一步的，在获取摄像头采集到的视频流之前，所述方法还包括：获取所述终端设备的相机相册权限；以及获取AVFoundation资源库、 FFMpeg工具包和预设图像处理算法，其中，所述预设图像处理算法包括： Unet算法和MODNet算法。
进一步的，获取摄像头采集到的视频流，包括：利用 AVCaptureDevice，获取所述摄像头的实时数据；利用 AVCaptureVideoDataOutPut和captureoutput，对所述实时数据进行处理，得到所述视频流。
进一步的，对所述视频流进行格式转换，得到目标格式的视频流，包括：对所述视频流进行TS格式转换，得到TS流；利用FFMpeg工具包，对所述TS流进行解析，得到所述目标格式的视频流。
进一步的，对所述目标格式的视频流进行人物分离，得到目标图层，包括：利用所述预设图像处理算法，对所述目标格式的视频流中的每一帧图像进行人物分离，得到每一帧图像对应的目标图层。
进一步的，将预设着装图层覆盖在所述人物图层上，得到目标人物图层，包括：对所述人物图层进行人脸识别，确定出人脸位置；基于所述人脸位置，确定出所述预设着装图层的覆盖位置；基于所述覆盖位置，将所述预设着装图层覆盖在所述人物图层上，得到目标人物图层。
进一步的，对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，包括：利用 AVCaptureVideoDataOutPut对象的connectionWithMediaType方式对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到所述数据流。
第二方面，本发明实施例还提供了一种基于IOS系统的视频虚拟着装及背景处理装置，包括：获取单元，格式转换单元，分离单元，替换单元和整合单元，其中，所述获取单元，用于获取摄像头采集到的视频流；所述格式转换单元，用于对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；所述分离单元，用于对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；所述替换单元，将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；所述整合单元，用于对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送。
第三方面，本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序。
在本发明实施例中，通过获取摄像头采集到的视频流；对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送，达到了利用IOS系统终端设备对视频数据中的人物着装和背景进行替换的目的，进而解决了工作人员在家办公时无法模拟工作环境，导致客户体验较差的技术问题，从而实现了提高工作人员的工作效率以及维护了企业形象的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于IOS系统的视频虚拟着装及背景处理方法的流程图；
图2为本发明实施例提供的一种基于IOS系统的视频虚拟着装及背景处理装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
根据本发明实施例，提供了种基于IOS系统的视频虚拟着装及背景处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种基于IOS系统的视频虚拟着装及背景处理方法的流程图，如图1所示，该方法应用于IOS系统终端设备，包括如下步骤：
步骤S102，获取摄像头采集到的视频流；
需要说明的是，在获取摄像头采集到的视频流之前，IOS系统终端设备需要具备的必要前提条件为终端设备所使用的系统需要为iOS4.0以上系统，已获得用户的相机相册权限。并引入AVFoundation资源库，主要引用 #import<AVFoundation/AVCaptureSession.h>和
#import<AVFoundation/AVCaptureDevice.h>，另外，还需要载入FFMpeg工具包和预设图像处理算法，例如Unet算法、MODNet算法。
步骤S104，对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；
步骤S106，对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；
步骤S108，将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；
步骤S110，对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送。
在本发明实施例中，通过获取摄像头采集到的视频流；对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送，达到了利用IOS系统终端设备对视频数据中的人物着装和背景进行替换的目的，进而解决了工作人员在家办公时无法模拟工作环境，导致客户体验较差的技术问题，从而实现了提高工作人员的工作效率以及维护了企业形象的技术效果。
在本发明实施例中，获取摄像头采集到的视频流，包括如下步骤：
步骤S11，利用AVCaptureDevice，获取所述摄像头的实时数据；
步骤S12，利用AVCaptureVideoDataOutPut和captureoutput，对所述实时数据进行处理，得到所述视频流。
在本发明实施例中，首先，通过AVFoundation资源库中的 AVCaptureDevice方法获取摄像头的实时数据，获取到的实时数据为系统数据信息。
接着，对AVCaptureVideoDataOutPut对象设置代理的方式获取到系统数据信息中的数据对象，然后，将数据对象通过captureoutput的代理方法返回内容流(即，视频流)。
在本发明实施例中，对所述视频流进行格式转换，得到目标格式的视频流，包括如下步骤：
步骤S21，对所述视频流进行TS格式转换，得到TS流；
步骤S22，利用FFMpeg工具包，对所述TS流进行解析，得到所述目标格式的视频流。
在本发明实施例中，首先对视频流进行TS格式转换，得到TS流，之后使用FFmpeg工具包对TS流进行解析，形成可处理的临时缓存mp4或 mov格式的视频流。
在本发明实施例中，对所述目标格式的视频流进行人物分离，得到目标图层，包括如下步骤：
步骤S31，利用所述预设图像处理算法，对所述目标格式的视频流中的每一帧图像进行人物分离，得到每一帧图像对应的目标图层。
在本发明实施例中，利用开源的预设图像处理算法，对目标格式的视频流中的每一帧图像进行人物分离，形成两个图层：图层1人物图层，图层2背景图层。
在本发明实施例中，将预设着装图层覆盖在所述人物图层上，得到目标人物图层，包括如下步骤：
步骤S41，对所述人物图层进行人脸识别，确定出人脸位置；
步骤S42，基于所述人脸位置，确定出所述预设着装图层的覆盖位置；
步骤S43，基于所述覆盖位置，将所述预设着装图层覆盖在所述人物图层上，得到目标人物图层。
在本发明实施例中，对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，包括如下步骤：
步骤S51，利用AVCaptureVideoDataOutPut对象的 connectionWithMediaType方式对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到所述数据流。
在本发明实施例中，通过AVCaptureVideoDataOutPut将目标背景图层和目标人物图层对象整合在一起，得到完整图层，然后，通过 AVCaptureVideoDataOutPut的connectionWithMediaType方式将完整图层和视频流对应的音频信息整合在一起，从而得到数据流。
在得到数据流之后，使用网络将组合的数据流发出，保持fps在60上下，维持对端画面的流畅，从而实现工作人员以身着预设着装且身处预设工作背景板的条件下与客户进行视频通话的技术效果。
另外，优选的，IOS系统终端设备的本地界面端通过view组件展示该数据流。
本发明实施例，摒弃常用的利用服务端对视频中的着装和背景进行替换的方式，而是利用终端设备和各种开源的图像分析及处理算法实现了对视频中的着装和背景进行替换的效果。
本发明实施例解决企业在因特殊原因不能到岗人员的居家办公诉求，通过本发明实施例，可以很好的解决居家办公人员对外服务的标准建设，提高员工的工作效率，维持企业服务形象。
另外，由于在本发明实施例中所使用的算法及技术均为业内开源或成熟技术，为大规模推广应用提供了先决条件。
居家人员所困扰的没有办公设备及硬件环境问题，通过本发明实施例的处理，在终端设备中得以实现，使用者不必局限于硬件设备，一个终端设备即可完成所需的办公环境，为企业解决实际困扰。
进一步地，通过对数据流的TS转换保证了视频流的不间断性，通过对图像的替换操作保证了实际需求的达成。在充分的保留视频人物状态的同时为金融业务的开展提供了坚强支撑。
实施例二：
本发明实施例还提供了一种基于IOS系统的视频虚拟着装及背景处理装置，该基于IOS系统的视频虚拟着装及背景处理装置用于执行本发明实施例上述内容所提供的基于IOS系统的视频虚拟着装及背景处理方法，以下是本发明实施例提供的装置的具体介绍。
如图2所示，图2为上述基于IOS系统的视频虚拟着装及背景处理装置的示意图，该基于IOS系统的视频虚拟着装及背景处理装置应用于IOS 系统终端设备，包括：获取单元，格式转换单元，分离单元，替换单元和整合单元，其中，
所述获取单元10，用于获取摄像头采集到的视频流；
所述格式转换单元20，用于对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；
所述分离单元30，用于对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；
所述替换单元40，将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；
所述整合单元50，用于对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送。
在本发明实施例中，通过获取摄像头采集到的视频流；对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送，达到了利用IOS系统终端设备对视频数据中的人物着装和背景进行替换的目的，进而解决了工作人员在家办公时无法模拟工作环境，导致客户体验较差的技术问题，从而实现了提高工作人员的工作效率以及维护了企业形象的技术效果。
优选的，所述获取单元，还用于在获取摄像头采集到的视频流之前，获取所述终端设备的相机相册权限；以及获取AVFoundation资源库、 FFMpeg工具包和预设图像处理算法，其中，所述预设图像处理算法包括： Unet算法和MODNet算法。
优选的，所述获取单元，用于：利用AVCaptureDevice，获取所述摄像头的实时数据；利用AVCaptureVideoDataOutPut和captureoutput，对所述实时数据进行处理，得到所述视频流。
优选的，所述格式转换单元，用于：对所述视频流进行TS格式转换，得到TS流；利用FFMpeg工具包，对所述TS流进行解析，得到所述目标格式的视频流。
优选的，所述分离单元，用于：利用所述预设图像处理算法，对所述目标格式的视频流中的每一帧图像进行人物分离，得到每一帧图像对应的目标图层。
优选的，所述替换单元，用于：对所述人物图层进行人脸识别，确定出人脸位置；基于所述人脸位置，确定出所述预设着装图层的覆盖位置；基于所述覆盖位置，将所述预设着装图层覆盖在所述人物图层上，得到目标人物图层。
优选的，所述整合单元，用于：利用AVCaptureVideoDataOutPut对象的connectionWithMediaType方式对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到所述数据流。
实施例三：
本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
参见图3，本发明实施例还提供一种电子设备100，包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器 61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于IOS系统的视频虚拟着装及背景处理方法，其特征在于，应用于IOS系统终端设备，包括：
获取摄像头采集到的视频流；
对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；
对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；
将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；
对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送。
2.根据权利要求1所述的方法，其特征在于，在获取摄像头采集到的视频流之前，所述方法还包括：
获取所述终端设备的相机相册权限；以及
获取AVFoundation资源库、FFMpeg工具包和预设图像处理算法，其中，所述预设图像处理算法包括：Unet算法和MODNet算法。
3.根据权利要求2所述的方法，其特征在于，获取摄像头采集到的视频流，包括：
利用AVCaptureDevice，获取所述摄像头的实时数据；
利用AVCaptureVideoDataOutPut和captureoutput，对所述实时数据进行处理，得到所述视频流。
4.根据权利要求2所述的方法，其特征在于，对所述视频流进行格式转换，得到目标格式的视频流，包括：
对所述视频流进行TS格式转换，得到TS流；
利用FFMpeg工具包，对所述TS流进行解析，得到所述目标格式的视频流。
5.根据权利要求2所述的方法，其特征在于，对所述目标格式的视频流进行人物分离，得到目标图层，包括：
利用所述预设图像处理算法，对所述目标格式的视频流中的每一帧图像进行人物分离，得到每一帧图像对应的目标图层。
6.根据权利要求1所述的方法，其特征在于，将预设着装图层覆盖在所述人物图层上，得到目标人物图层，包括：
对所述人物图层进行人脸识别，确定出人脸位置；
基于所述人脸位置，确定出所述预设着装图层的覆盖位置；
基于所述覆盖位置，将所述预设着装图层覆盖在所述人物图层上，得到目标人物图层。
7.根据权利要求2所述的方法，其特征在于，对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，包括：
利用AVCaptureVideoDataOutPut对象的connectionWithMediaType方式对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到所述数据流。
8.一种基于IOS系统的视频虚拟着装及背景处理装置，其特征在于，应用于IOS系统终端设备，包括：获取单元，格式转换单元，分离单元，替换单元和整合单元，其中，
所述获取单元，用于获取摄像头采集到的视频流；
所述格式转换单元，用于对所述视频流进行格式转换，得到目标格式的视频流，其中，所述目标格式为mp4格式或mov格式；
所述分离单元，用于对所述目标格式的视频流进行人物分离，得到目标图层，其中，所述目标图层包括：人物图层和背景图层；
所述替换单元，将所述背景图层替换为预设工作背景板，得到目标背景图层，以及将预设着装图层覆盖在所述人物图层上，得到目标人物图层；
所述整合单元，用于对所述目标背景图层、所述目标人物图层和所述视频流对应的音频信息进行整合，得到数据流，并对所述数据流进行发送。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至7任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。
CN202210744866.8A 2022-06-27 2022-06-27 一种基于ios系统的视频虚拟着装及背景处理方法和装置 Pending CN115119054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210744866.8A CN115119054A (zh) 2022-06-27 2022-06-27 一种基于ios系统的视频虚拟着装及背景处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210744866.8A CN115119054A (zh) 2022-06-27 2022-06-27 一种基于ios系统的视频虚拟着装及背景处理方法和装置

Publications (1)

Publication Number Publication Date
CN115119054A true CN115119054A (zh) 2022-09-27

Family

ID=83330550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210744866.8A Pending CN115119054A (zh) 2022-06-27 2022-06-27 一种基于ios系统的视频虚拟着装及背景处理方法和装置

Country Status (1)

Country Link
CN (1) CN115119054A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540984A (zh) * 2023-07-06 2023-08-04 易方信息科技股份有限公司 基于ios系统的防录屏方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777240A (zh) * 2005-12-08 2006-05-24 冯彦 一种视像节目部分内容替换的简便方法
CN107529096A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置
CN108885794A (zh) * 2016-01-27 2018-11-23 尼廷·文斯 在用户的真实人体模型上虚拟试穿衣服
CN111556278A (zh) * 2020-05-21 2020-08-18 腾讯科技（深圳）有限公司 一种视频处理的方法、视频展示的方法、装置及存储介质
CN111913630A (zh) * 2020-06-30 2020-11-10 维沃移动通信有限公司 视频会话方法、装置和电子设备
CN112712525A (zh) * 2020-12-23 2021-04-27 北京华宇信息技术有限公司 多方图像交互系统及方法
CN112801861A (zh) * 2021-01-29 2021-05-14 恒安嘉新（北京）科技股份公司 一种影视作品的制作方法、装置、设备及存储介质
CN113034219A (zh) * 2021-02-19 2021-06-25 深圳创维－Rgb电子有限公司 虚拟着装方法、装置、设备及计算机可读存储介质
CN113676692A (zh) * 2021-07-16 2021-11-19 视联动力信息技术股份有限公司 视频会议中视频的处理方法、装置、电子设备及存储介质
CN114040248A (zh) * 2021-11-23 2022-02-11 维沃移动通信有限公司 一种视频处理方法、装置和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777240A (zh) * 2005-12-08 2006-05-24 冯彦 一种视像节目部分内容替换的简便方法
CN108885794A (zh) * 2016-01-27 2018-11-23 尼廷·文斯 在用户的真实人体模型上虚拟试穿衣服
CN107529096A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置
CN111556278A (zh) * 2020-05-21 2020-08-18 腾讯科技（深圳）有限公司 一种视频处理的方法、视频展示的方法、装置及存储介质
CN111913630A (zh) * 2020-06-30 2020-11-10 维沃移动通信有限公司 视频会话方法、装置和电子设备
CN112712525A (zh) * 2020-12-23 2021-04-27 北京华宇信息技术有限公司 多方图像交互系统及方法
CN112801861A (zh) * 2021-01-29 2021-05-14 恒安嘉新（北京）科技股份公司 一种影视作品的制作方法、装置、设备及存储介质
CN113034219A (zh) * 2021-02-19 2021-06-25 深圳创维－Rgb电子有限公司 虚拟着装方法、装置、设备及计算机可读存储介质
CN113676692A (zh) * 2021-07-16 2021-11-19 视联动力信息技术股份有限公司 视频会议中视频的处理方法、装置、电子设备及存储介质
CN114040248A (zh) * 2021-11-23 2022-02-11 维沃移动通信有限公司 一种视频处理方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540984A (zh) * 2023-07-06 2023-08-04 易方信息科技股份有限公司 基于ios系统的防录屏方法及装置
CN116540984B (zh) * 2023-07-06 2023-09-29 易方信息科技股份有限公司 基于ios系统的防录屏方法及装置

Similar Documents

Publication Publication Date Title
CN102984028B (zh) 移动终端远程集中测试的方法
CN109862301B (zh) 屏幕视频共享方法、装置及电子设备
CN107155093B (zh) 一种视频预览方法、装置及设备
CN111405301B (zh) 终端的录屏交互方法、装置、计算机设备及存储介质
CN107295352B (zh) 一种视频压缩方法、装置、设备及存储介质
CN107770564B (zh) 远程采集音视频数据的方法及装置
CN108391089B (zh) 多路摄像机的监控流推送方法和装置以及监控系统
CN112653913A (zh) 投屏方法、装置、客户端设备及可读存储介质
CN115119054A (zh) 一种基于ios系统的视频虚拟着装及背景处理方法和装置
CN112752037A (zh) 混合音视频流的处理方法和装置
CN112116551A (zh) 一种摄像头遮挡检测方法、装置、电子设备和存储介质
CN106097225B (zh) 基于移动终端的气象信息即时传播方法和系统
CN109656800B (zh) 图像识别应用的测试方法、装置、终端及存储介质
CN108989833B (zh) 一种视频封面图像的生成方法及装置
CN111176707A (zh) 模板化的自动化运维方法、装置及电子设备
CN207691957U (zh) 一种卫生计生监督综合执法管理平台
CN111741247B (zh) 一种录像回放的方法、装置及计算机设备
CN115334355B (zh) 一种web播放器的多画面模式切换方法及装置
CN111161592A (zh) 课堂监督方法和督课终端
CN103974087A (zh) 视频图像文件压缩系统、客户端及方法
CN114968158A (zh) 一种应用投屏方法、装置、电子设备及存储介质
CN114339131A (zh) 会议室投屏方法、装置及系统
CN110708505B (zh) 视频告警方法、装置、电子设备及计算机可读存储介质
CN209002108U (zh) 配网基建工程现场监控系统
CN112437224B (zh) 一种相机数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination