CN112383788B - 一种基于智能ai技术的直播实时图像提取系统及方法 - Google Patents

一种基于智能ai技术的直播实时图像提取系统及方法 Download PDF

Info

Publication number
CN112383788B
CN112383788B CN202011251609.8A CN202011251609A CN112383788B CN 112383788 B CN112383788 B CN 112383788B CN 202011251609 A CN202011251609 A CN 202011251609A CN 112383788 B CN112383788 B CN 112383788B
Authority
CN
China
Prior art keywords
image
live
pixel
special effect
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011251609.8A
Other languages
English (en)
Other versions
CN112383788A (zh
Inventor
张赐
胡雨森
吕云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Original Assignee
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Weiai New Economic And Technological Research Institute Co ltd filed Critical Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority to CN202011251609.8A priority Critical patent/CN112383788B/zh
Publication of CN112383788A publication Critical patent/CN112383788A/zh
Application granted granted Critical
Publication of CN112383788B publication Critical patent/CN112383788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

本发明公开了一种基于智能AI技术的直播实时图像提取系统，包括设置在直播用户端的图像摄录单元、设置在平台端的图像提取单元和图像处理单元，以及设置在观看用户端的图像播放单元。本发明对直播用户进行实时拍摄图像、图像实时传输、实时提取、实时特效添加，从而使拍摄的初始实景图像每一帧都包含有添加特效图像，且每一帧初始实景图像中添加的特效图像均位于特征区域内，连续播放初始实景图像实现特效图像随直播用户姿态变换而实时调整。

Description

一种基于智能AI技术的直播实时图像提取系统及方法
技术领域
本发明涉及直播平台技术领域，具体涉及一种基于智能AI技术的直播实时图像提取系统及方法。
背景技术
网络直播是指在现场架设独立的信号采集设备(音频+视频)导入导播端(导播设备或平台)，再通过网络上传至服务器，发布至网址供人观看，网络直播吸取和延续了互联网的优势，利用视讯方式进行网上现场直播，可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上，利用互联网的直观、快速，表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点，加强活动现场的推广效果。
直播用户在直播过程中会增加较多配饰特效用以美化自身形象，从而吸引观看用户，目前的特效图像添加到直播用户拍摄的图像过程中采用的是固定位置添加，从最开始在图像中添加特效图像后，特效图像会一直固定在添加位置不变化，但是网络直播的时长一般在三小时到五小时，直播用户在这么长的直播时长过程中难以只保持一种姿势，从而只要用户变换姿态，特效图像将发生位置偏移，导致特效失真的现象，影响直播效果。
发明内容
本发明的目的在于提供一种基于智能AI技术的直播实时图像提取系统，以解决现有技术中特效图像位置固定，无法随直播用户姿态变换而实时调整，最终出现特效失真的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于智能AI技术的直播实时图像提取系统，包括设置在直播用户端的图像摄录单元、设置在平台端的图像提取单元和图像处理单元，以及设置在观看用户端的图像播放单元；
图像摄录单元，用于拍摄直播用户的初始实景图像，并将初始实景图像实时上传到图像提取单元；
图像提取单元，用于实时接收来自于图像摄录单元拍摄的初始实景图像，并在初始实景图像中提取出直播用户的特征区域，将已提取出特征区域初始实景图像传输到图像处理单元；
图像处理单元，用于对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像，将最终实景图像传输到图像播放单元；
图像播放单元，用于接收来自与图像处理单元的最终实景图像，并将最终实景图像播放展示给观看用户。
作为本发明的一种优选方案，所述图像提取单元在初始实景图像中提取特征区域的具体步骤为：
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值；
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分；
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合。
作为本发明的一种优选方案，所述A1中，按照栅格的方式将初始实景图像分解成若干像素点的具体步骤为：
A101、规定相邻横栅格点之间和相邻纵栅格点之间的距离均为L；
A102、以初始实景图像的左边界线为坐标纵轴，下边界线为坐标横轴，坐标横轴和坐标纵轴的交叉点作为坐标原点；
A103、在坐标横轴上按照L进行横栅格绘制，在坐标纵轴上以L进行横栅格绘制，并在坐标横轴上进行横坐标标记分别为(x1,x2,x3…,xn),n为横栅格点个数，在坐标纵轴上进行纵坐标标记分别为(y1,y2,y3…,ym),m为纵栅格点个数；
A104、将初始实景图像分解成具有坐标(x实n,y实m)的实n*实m个矩形栅格的像素点，实n为初始实景图像所占的横栅格点个数，实m为初始实景图像所占的纵栅格点个数，并将矩形栅格中点位置处的像素值作为像素点的像素值，标记为Wi,其中i＝(实n,实m)。
作为本发明的一种优选方案，所述A2中，特征区域和所具有像素范围阈值标记为：特征区域{P1,P2,P3,…,Pt}，其中，t为特征区域的总个数，与特征区域相对应的像素范围阈值分别是{W阈值P1,W阈值P2,W阈值P3,…,W阈值Pt}。
作为本发明的一种优选方案，所述A3中，对应特征区域的像素点集合标记为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,WPt}，初始实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,WPt}。
作为本发明的一种优选方案，所述图像处理单元对已提取出特征区域初始实景图像进行特效添加的具体步骤为：
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值；
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化；
B3、坐标同一化后，将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值，获得最终实景图像。
作为本发明的一种优选方案，所述B1中，特效图像的像素点坐标表示为(x特效n,y特效m),特效n*特效m个矩形栅格的像素点，特效n为特效图像所占的横栅格点个数，特效m为特效图像所占的纵栅格点个数，并将矩形栅格中点位置处的像素值作为像素点的像素值，标记为Wj,其中j＝(特效n,特效m)。
作为本发明的一种优选方案，所述B2中，所述像素点集合与特效像素点进行坐标同一化的具体步骤为：
与特效添加的特征区域为Pt对应的像素点集合标记为(xPt,yPt)，将特效像素点的坐标系转换到Pt对应的像素点集合的坐标系中，随机在(xPt,yPt)中选择一个像素点(x,y)作为特效像素点的新坐标原点，特效像素点转换前坐标表示(x特效n,y特效m)，对应的像素值为Wj,其中j＝(特效n,特效m)，转换后坐标表示(x特效n+x,y特效m+y)，对应的像素值为Wj,其中j＝(特效n,特效m)。
作为本发明的一种优选方案，所述B3中，依次将Pt对应的像素点集合(xPt,yPt)中坐标与特效像素点(x特效n+x,y特效m+y)具有相同坐标像素点对应的像素值Wk,其中k＝(特效n+x,特效m+y)改变成特效像素点对应的像素值Wj，其中j＝(特效n,特效m)，则最终实景图像中的Pt对应的像素点集合(xPt,yPt)的像素值为W最终pt＝Wpt-Wk+Wj，最终实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,W最终Pt}。
作为本发明的一种优选方案，本发明提供一种根据所述基于智能AI技术的直播实时图像提取系统的方法，包括以下步骤：
S1、图像摄录单元拍摄直播用户的初始实景图像，并将初始实景图像实时上传到图像提取单元；
S2、图像提取单元实时接收来自于图像摄录单元拍摄的初始实景图像，并在初始实景图像中提取出直播用户的特征区域，将已提取出特征区域初始实景图像传输到图像处理单元；
S3、图像处理单元对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像，将最终实景图像传输到图像播放单元；
S4、图像播放单元接收来自与图像处理单元的最终实景图像，并将最终实景图像播放展示给观看用户。
本发明与现有技术相比较具有如下有益效果：
本发明对直播用户产生的图像进行实时拍摄再将拍摄的初始实景图像实时依次传输到图像提取单元和图像处理单元，进行特征区域提取并用像素点集合坐标表示特征区域，将特效图像与特征区域进行坐标同一化，而后将特效图像与特征区域像素点坐标相同的特效像素点的特效像素值替换特征区域对应的像素点原有像素值，从而将特效图像融合到初始实景图像中形成最终实景图像实时传输到观看用户端供用户观看，对直播用户进行实时拍摄图像、图像实时传输、实时提取、实时特效添加，从而使拍摄的初始实景图像每一帧都包含有添加特效图像，且每一帧初始实景图像中添加的特效图像均位于特征区域内，连续播放初始实景图像实现特效图像随直播用户姿态变换而实时调整。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的直播实时图像提取系统结构框图及方法流程图；
图2为本发明实施例提供的初始实景图像坐标表示示意图；
图3为本发明实施例提供的特效图像坐标表示示意图；
图4为本发明实施例提供的坐标同一化后的特效图像坐标表示示意图；
图5为本发明实施例提供的最终实景图像坐标表示示意图。
图中的标号分别表示如下：
1-图像摄录单元；2-图像提取单元；3-图像处理单元；4-图像播放单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于智能AI技术的直播实时图像提取系统，包括设置在直播用户端的图像摄录单元1、设置在平台端的图像提取单元2和图像处理单元3，以及设置在观看用户端的图像播放单元4；
图像摄录单元1，用于拍摄直播用户的初始实景图像，并将初始实景图像实时上传到图像提取单元2；
图像提取单元2，用于实时接收来自于图像摄录单元1拍摄的初始实景图像，并在初始实景图像中提取出直播用户的特征区域，将已提取出特征区域初始实景图像传输到图像处理单元3；
图像处理单元3，用于对来自于图像提取单元2的已提取出特征区域初始实景图像进行特效添加获得最终实景图像，将最终实景图像传输到图像播放单元4；
图像播放单元4，用于接收来自与图像处理单元3的最终实景图像，并将最终实景图像播放展示给观看用户。
图像提取单元2和图像处理单元3建立在由若干服务器和计算主机构建而成的分布式数据处理系统中进行运算处理和数据存储，在直播高峰时段数据量巨大分布式系统无法负载时，只需要在分布式系统中接入运算主机扩展运算量和存储量以承载大数据量计算，而直播高峰时段直播图像数据量巨大，分布式数据处理系统为保证每个直播用户均能获得公平直播资源提供了实现的硬件支持。
图像摄录单元1为摄像机或其他拍摄装置，图像播放单元4为安装有直播观看门户的智能终端设备，直播观看门户为网页、软件APP或小程序，观看用户可将直播观看门户安装到用户使用的智能手机或电脑中，直播用户端的图像摄录单元1、平台端的图像提取单元2和图像处理单元3，以及在观看用户端的图像播放单元4之间通过网络通信进行数据交换和业务交互。
图像提取单元2在初始实景图像中提取特征区域的具体步骤为：
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值；
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分；
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合。
A1中，按照栅格的方式将初始实景图像分解成若干像素点的具体步骤为：
A101、规定相邻横栅格点之间和相邻纵栅格点之间的距离均为L；
A102、以初始实景图像的左边界线为坐标纵轴，下边界线为坐标横轴，坐标横轴和坐标纵轴的交叉点作为坐标原点；
A103、在坐标横轴上按照L进行横栅格绘制，在坐标纵轴上以L进行横栅格绘制，并在坐标横轴上进行横坐标标记分别为(x1,x2,x3…,xn),n为横栅格点个数，在坐标纵轴上进行纵坐标标记分别为(y1,y2,y3…,ym),m为纵栅格点个数；
如图2所示，A104、将初始实景图像分解成具有坐标(x实n,y实m)的实n*实m个矩形栅格的像素点，实n为初始实景图像所占的横栅格点个数，实m为初始实景图像所占的纵栅格点个数，并将矩形栅格中点位置处的像素值作为像素点的像素值，标记为Wi,其中i＝(实n,实m)。
A2中，特征区域和所具有像素范围阈值标记为：特征区域{P1,P2,P3,…,Pt}，其中，t为特征区域的总个数，与特征区域相对应的像素范围阈值分别是{W阈值P1,W阈值P2,W阈值P3,…,W阈值Pt}。
A3中，对应特征区域的像素点集合标记为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,WPt}，初始实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,WPt}。
图像处理单元3对已提取出特征区域初始实景图像进行特效添加的具体步骤为：
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值；
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化；
B3、坐标同一化后，将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值，获得最终实景图像。
如图3所示，B1中，特效图像的像素点坐标表示为(x特效n,y特效m),特效n*特效m个矩形栅格的像素点，特效n为特效图像所占的横栅格点个数，特效m为特效图像所占的纵栅格点个数，并将矩形栅格中点位置处的像素值作为像素点的像素值，标记为Wj,其中j＝(特效n,特效m)。
B2中，像素点集合与特效像素点进行坐标同一化的具体步骤为：
与特效添加的特征区域为Pt对应的像素点集合标记为(xPt,yPt)，将特效像素点的坐标系转换到Pt对应的像素点集合的坐标系中，随机在(xPt,yPt)中选择一个像素点(x,y)作为特效像素点的新坐标原点，特效像素点转换前坐标表示(x特效n,y特效m)，对应的像素值为Wj,其中j＝(特效n,特效m)，转换后坐标表示(x特效n+x,y特效m+y)，对应的像素值为Wj,其中j＝(特效n,特效m)。
如图4所示，B3中，依次将Pt对应的像素点集合(xPt,yPt)中坐标与特效像素点(x特效n+x,y特效m+y)具有相同坐标像素点对应的像素值Wk,其中k＝(特效n+x,特效m+y)改变成特效像素点对应的像素值Wj，其中j＝(特效n,特效m)，则最终实景图像中的Pt对应的像素点集合(xPt,yPt)的像素值为W最终pt＝Wpt-Wk+Wj，最终实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,W最终Pt}。
如图5所示，初始实景图像(图2)添加特效图像(图3)后形成的最终实景图像。
基于以上直播实时图像提取系统的结构，本发明提供一种方法，包括以下步骤：
S1、图像摄录单元拍摄直播用户的初始实景图像，并将初始实景图像实时上传到图像提取单元；
S2、图像提取单元实时接收来自于图像摄录单元拍摄的初始实景图像，并在初始实景图像中提取出直播用户的特征区域，将已提取出特征区域初始实景图像传输到图像处理单元；
S3、图像处理单元对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像，将最终实景图像传输到图像播放单元；
S4、图像播放单元接收来自与图像处理单元的最终实景图像，并将最终实景图像播放展示给观看用户。
本发明对直播用户产生的图像进行实时拍摄再将拍摄的初始实景图像实时依次传输到图像提取单元和图像处理单元，进行特征区域提取并用像素点集合坐标表示特征区域，将特效图像与特征区域进行坐标同一化，而后将特效图像与特征区域像素点坐标相同的特效像素点的特效像素值替换特征区域对应的像素点原有像素值，从而将特效图像融合到初始实景图像中形成最终实景图像实时传输到观看用户端供用户观看，对直播用户进行实时拍摄图像、图像实时传输、实时提取、实时特效添加，从而使拍摄的初始实景图像每一帧都包含有添加特效图像，且每一帧初始实景图像中添加的特效图像均位于特征区域内，连续播放初始实景图像实现特效图像随直播用户姿态变换而实时调整。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (8)

1.一种基于智能AI技术的直播实时图像提取系统，其特征在于：包括设置在直播用户端的图像摄录单元(1)、设置在平台端的图像提取单元(2)和图像处理单元(3)，以及设置在观看用户端的图像播放单元(4)；
图像摄录单元(1)，用于拍摄直播用户的初始实景图像，并将初始实景图像实时上传到图像提取单元(2)；
图像提取单元(2)，用于实时接收来自于图像摄录单元(1)拍摄的初始实景图像，并在初始实景图像中提取出直播用户的特征区域，将已提取出特征区域初始实景图像传输到图像处理单元(3)；
图像处理单元(3)，用于对来自于图像提取单元(2)的已提取出特征区域初始实景图像进行特效添加获得最终实景图像，将最终实景图像传输到图像播放单元(4)；
图像播放单元(4)，用于接收来自与图像处理单元(3)的最终实景图像，并将最终实景图像播放展示给观看用户；
所述图像提取单元(2)在初始实景图像中提取特征区域的具体步骤为：
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值；
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分；
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合；
所述图像处理单元(3)对已提取出特征区域初始实景图像进行特效添加的具体步骤为：
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值；
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化；
B3、坐标同一化后，将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值，获得最终实景图像。
2.根据权利要求1所述的一种基于智能AI技术的直播实时图像提取系统，其特征在于：所述A1中，按照栅格的方式将初始实景图像分解成若干像素点的具体步骤为：
A101、规定相邻横栅格点之间和相邻纵栅格点之间的距离均为L；
A102、以初始实景图像的左边界线为坐标纵轴，下边界线为坐标横轴，坐标横轴和坐标纵轴的交叉点作为坐标原点；
A103、在坐标横轴上按照L进行横栅格绘制，在坐标纵轴上以L进行横栅格绘制，并在坐标横轴上进行横坐标标记分别为(x1,x2,x3…,xn),n为横栅格点个数，在坐标纵轴上进行纵坐标标记分别为(y1,y2,y3…,ym),m为纵栅格点个数；
A104、将初始实景图像分解成具有坐标(x实n,y实m)的实n*实m个矩形栅格的像素点，实n为初始实景图像所占的横栅格点个数，实m为初始实景图像所占的纵栅格点个数，并将矩形栅格中点位置处的像素值作为像素点的像素值，标记为Wi,其中i＝(实n,实m)。
3.根据权利要求2所述的一种基于智能AI技术的直播实时图像提取系统，其特征在于：所述A2中，特征区域和所具有像素范围阈值标记为：特征区域{P1,P2,P3,…,Pt}，其中，t为特征区域的总个数，与特征区域相对应的像素范围阈值分别是
Figure FDA0003967707210000021
4.根据权利要求3所述的一种基于智能AI技术的直播实时图像提取系统，其特征在于：所述A3中，对应特征区域的像素点集合标记为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,WPt}，初始实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,WPt}。
5.根据权利要求4所述的一种基于智能AI技术的直播实时图像提取系统，其特征在于，所述B1中，特效图像的像素点坐标表示为(x特效n,y特效m),特效n*特效m个矩形栅格的像素点，特效n为特效图像所占的横栅格点个数，特效m为特效图像所占的纵栅格点个数，并将矩形栅格中点位置处的像素值作为像素点的像素值，标记为Wj,其中j＝(特效n,特效m)。
6.根据权利要求5所述的一种基于智能AI技术的直播实时图像提取系统，其特征在于，所述B2中，所述像素点集合与特效像素点进行坐标同一化的具体步骤为：
与特效添加的特征区域为Pt对应的像素点集合标记为(xPt,yPt)，将特效像素点的坐标系转换到Pt对应的像素点集合的坐标系中，随机在(xPt,yPt)中选择一个像素点(x,y)作为特效像素点的新坐标原点，特效像素点转换前坐标表示(x特效n,y特效m)，对应的像素值为Wj,其中j＝(特效n,特效m)，转换后坐标表示(x特效n+x,y特效m+y)，对应的像素值为Wj,其中j＝(特效n,特效m)。
7.根据权利要求6所述的一种基于智能AI技术的直播实时图像提取系统，其特征在于，所述B3中，依次将Pt对应的像素点集合(xPt,yPt)中坐标与特效像素点(x特效n+x,y特效m+y)具有相同坐标像素点对应的像素值Wk,其中k＝(特效n+x,特效m+y)改变成特效像素点对应的像素值Wj，其中j＝(特效n,特效m)，则最终实景图像中的Pt对应的像素点集合(xPt,yPt)的像素值为W最终pt＝Wpt-Wk+Wj，最终实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)}，{xP1,xP2,xP3,…,xPt}∈x实n，{yP1,yP2,yP3,…,yPt}∈y实n，对应像素为{WP1,WP2,WP3,…,W最终Pt}。
8.一种根据权利要求1-7任一项所述基于智能AI技术的直播实时图像提取系统的方法，其特征在于，包括以下步骤：
S1、图像摄录单元拍摄直播用户的初始实景图像，并将初始实景图像实时上传到图像提取单元；
S2、图像提取单元实时接收来自于图像摄录单元拍摄的初始实景图像，并在初始实景图像中提取出直播用户的特征区域，将已提取出特征区域初始实景图像传输到图像处理单元；
S3、图像处理单元对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像，将最终实景图像传输到图像播放单元；
S4、图像播放单元接收来自与图像处理单元的最终实景图像，并将最终实景图像播放展示给观看用户；
所述图像提取单元在初始实景图像中提取特征区域的具体步骤为：
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值；
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分；
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合；
所述图像处理单元对已提取出特征区域初始实景图像进行特效添加的具体步骤为：
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值；
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化；
B3、坐标同一化后，将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值，获得最终实景图像。
CN202011251609.8A 2020-11-11 2020-11-11 一种基于智能ai技术的直播实时图像提取系统及方法 Active CN112383788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251609.8A CN112383788B (zh) 2020-11-11 2020-11-11 一种基于智能ai技术的直播实时图像提取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251609.8A CN112383788B (zh) 2020-11-11 2020-11-11 一种基于智能ai技术的直播实时图像提取系统及方法

Publications (2)

Publication Number Publication Date
CN112383788A CN112383788A (zh) 2021-02-19
CN112383788B true CN112383788B (zh) 2023-05-26

Family

ID=74579733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251609.8A Active CN112383788B (zh) 2020-11-11 2020-11-11 一种基于智能ai技术的直播实时图像提取系统及方法

Country Status (1)

Country Link
CN (1) CN112383788B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583116A (zh) * 2020-05-06 2020-08-25 上海瀚正信息科技股份有限公司 基于多摄像机交叉摄影的视频全景拼接融合方法及系统
JP2020167660A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072289B (zh) * 2007-06-11 2010-06-02 北京中星微电子有限公司 一种图像特效的自动生成方法及装置
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP5100360B2 (ja) * 2007-12-21 2012-12-19 株式会社トプコン 画像処理装置
CN105491414B (zh) * 2015-11-19 2017-05-17 深圳市鹰硕技术有限公司 一种图像同步显示方法及装置
CN106792078A (zh) * 2016-07-12 2017-05-31 乐视控股（北京）有限公司 视频处理方法及装置
CN106231434B (zh) * 2016-07-25 2019-09-10 武汉斗鱼网络科技有限公司 一种基于人脸检测的直播互动特效实现方法及系统
CN106600589B (zh) * 2016-12-09 2019-08-30 中国科学院合肥物质科学研究院 一种基于海岸线区域遥感图的星载光谱仪指向配准方法
CN107483972B (zh) * 2017-07-24 2019-05-07 平安科技（深圳）有限公司 一种音视频的直播处理方法、存储介质和一种移动终端
CN108010037B (zh) * 2017-11-29 2019-09-13 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN108055472A (zh) * 2017-12-21 2018-05-18 长沙全度影像科技有限公司 一种实时全景直播系统及方法
CN110475150B (zh) * 2019-09-11 2021-10-08 广州方硅信息技术有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN110493630B (zh) * 2019-09-11 2020-12-01 广州华多网络科技有限公司 虚拟礼物特效的处理方法和装置、直播系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167660A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
CN111583116A (zh) * 2020-05-06 2020-08-25 上海瀚正信息科技股份有限公司 基于多摄像机交叉摄影的视频全景拼接融合方法及系统

Also Published As

Publication number Publication date
CN112383788A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN110602554B (zh) 封面图像确定方法、装置及设备
CN103517142B (zh) 一种基于智能电视的互动评论信息处理方法及系统
CN102752667B (zh) 一种多流流媒体直播互动系统及直播互动方法
CN105847718B (zh) 基于场景识别的直播视频弹幕显示方法及其显示装置
CN110099283A (zh) 信息推送方法、装置、设备和存储介质
CN202998337U (zh) 视频节目识别系统
CN103607578B (zh) 基于视频编码的全视角图片浏览系统
CN105530535A (zh) 一种多人观看视频实时互动的方法及系统
CN103606310A (zh) 教学方法及系统
CN112272327B (zh) 数据处理方法、装置、存储介质及设备
CN106060662A (zh) 通过弹幕建立社交关系的方法及装置
CN108462883A (zh) 一种直播互动方法、装置、终端设备及存储介质
CN104602127A (zh) 导播视频同步播放方法和系统以及视频导播设备
CN111479162B (zh) 直播数据传输方法、装置以及计算机可读存储介质
CN103517135A (zh) 一种连续播放mp4格式视频文件的方法、系统及电视
CN112019905A (zh) 直播回放方法、计算机设备及可读存储介质
CN103475911A (zh) 基于视频特征的电视信息提供方法及系统
CN112492324A (zh) 数据处理方法及系统
CN112383788B (zh) 一种基于智能ai技术的直播实时图像提取系统及方法
CN105635841A (zh) 互动播出的控制方法和系统
CN102811304A (zh) 基于实时收视数据的图文视频编排系统
CN106412492B (zh) 视频数据处理方法和装置
CN103369361A (zh) 图像数据回显的控制方法、服务器及终端
CN114466224B (zh) 视频数据的编解码方法和装置、存储介质及电子设备
CN111263183A (zh) 唱歌状态识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant