CN116471429A - 基于行为反馈的图像信息推送方法及实时视频传输系统 - Google Patents

基于行为反馈的图像信息推送方法及实时视频传输系统 Download PDF

Info

Publication number
CN116471429A
CN116471429A CN202310734081.7A CN202310734081A CN116471429A CN 116471429 A CN116471429 A CN 116471429A CN 202310734081 A CN202310734081 A CN 202310734081A CN 116471429 A CN116471429 A CN 116471429A
Authority
CN
China
Prior art keywords
image
terminal
server
portrait
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310734081.7A
Other languages
English (en)
Other versions
CN116471429B (zh
Inventor
林艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cloud Ladder Mdt Infotech Ltd
Original Assignee
Shanghai Cloud Ladder Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cloud Ladder Mdt Infotech Ltd filed Critical Shanghai Cloud Ladder Mdt Infotech Ltd
Priority to CN202310734081.7A priority Critical patent/CN116471429B/zh
Publication of CN116471429A publication Critical patent/CN116471429A/zh
Application granted granted Critical
Publication of CN116471429B publication Critical patent/CN116471429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种基于行为反馈的图像信息推送方法及实时视频传输系统。该方法通过播放终端将获取的目标行为指令发送至服务端，从而触发服务端将目标行为信息发送至推流终端，以使其显示目标行为信息，并将在推流终端上获取的行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端以及播放终端分别发送第一图像获取指令与第二图像获取指令，进而使得推流终端将所显示的推流图像切换为第一图像，并将第一图像发送至服务端，以及播放终端将所显示的播放图像切换为第二图像，并将第二图像发送至服务端，然后，服务端将根据第一图像以及第二图像生成的目标图像发送至播放终端，从而实现了在直播过程中主播与用户之间的合影功能。

Description

基于行为反馈的图像信息推送方法及实时视频传输系统
技术领域
本申请涉及数据处理技术，尤其涉及一种基于行为反馈的图像信息推送方法及实时视频传输系统。
背景技术
网络直播是指通过互联网将现场视频、音频和数据内容传输到观众，实现实时在线播放的一种互动式媒体形式。随着互联网技术的发展和普及，网络直播已成为新兴的娱乐和传媒形式。
在现有的直播的互动过程中，主播与用户通常可以是通过直播界面上留言区、评论区以及刷礼物等方式进行互动，往往仅仅是基于文字的互动。可见，互动方式较为单一，亟需一种能够基于用户的行为进行图像信息反馈的推送方式，以实现主播与用户之间的图像互动，从而丰富在实时视频传输场景下的交互体验。
发明内容
本申请提供一种基于行为反馈的图像信息推送方法及实时视频传输系统，以实现主播与用户之间的图像互动，从而丰富在实时视频传输场景下的交互体验。
第一方面，本申请提供一种基于行为反馈的图像信息推送方法，应用于实时视频传输系统，所述实时视频传输系统包括推流终端、服务端以及播放终端，所述方法，包括：
所述播放终端获取目标行为指令，并将所述目标行为指令发送至所述服务端，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端将所述目标行为信息发送至所述推流终端，以使所述推流终端显示所述目标行为信息；
所述推流终端获取行为确认指令，并将所述行为确认指令发送至所述服务端，以使所述服务端响应于所述行为确认指令向所述推流终端发送第一图像获取指令，以及向所述播放终端发送第二图像获取指令；
所述推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端，所述第一图像包括第一背景图像以及通过所述推流终端上摄像头所获取的第一人像；
所述播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端，所述第二图像包括第二背景图像以及通过所述播放终端上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；
所述服务端根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端。
在一种可能的设计中，所述服务端根据所述第一图像以及所述第二图像生成目标图像，包括：
所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行融合，以生成融合图像，其中，所述第一特征点集合与所述第二特征点集合中的特征点具有一一映射的对应关系；
所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像。
在一种可能的设计中，所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像，包括：
所述服务端根据所述融合图像中所述第一人像的区域确定第一人像像素点集合A，并根据所述融合图像中所述第二人像的区域确定第二人像像素点集合B；
根据公式1计算所述第一人像像素点集合A对应的第一积累灰度值以及所述第二人像像素点集合B对应的第二积累灰度值/>，所述公式1为：
，
其中，a为所述第一人像像素点集合A中的像素个数，b为所述第二人像像素点集合B中的像素个数， 为所述第一人像像素点集合A中第i个像素的灰度值，/> 为所述第二人像像素点集合A中第j个像素的灰度值；
根据所述第一积累灰度值、所述第二积累灰度值/>以及公式2确定亮度调节值/>,所述公式2为：
，
根据公式3以及所述亮度调节值对所述第一人像像素点集合A中的各个像素点进行亮度调节，所述公式3为：
，
其中，为所述第一人像像素点集合A中第i个像素调节后的灰度值。
在一种可能的设计中，所述服务端根据所述第一图像以及所述第二图像生成目标图像，包括：
所述服务端根据所述目标行为信息形成对应的目标行为标识，以使所述服务端根据所述第一图像、所述第二图像以及所述目标行为标识生成所述目标图像，其中，所述目标行为标识显示所述目标图像的目标区域，所述目标区域为所述目标图像中未包括所述第一人像以及所述第二人像的区域。
在一种可能的设计中，在所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行拼接之前，还包括：
所述服务端获取所述第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取所述第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，所述第三特征点为与所述第一特征点映射对应的特征点，所述第四特征点为与所述第二特征点映射对应的特征点；
根据所述第一相对距离与所述第二相对距离之间的比例对所述第二图像进行缩放处理，以对所述第一图像进行更新，更新后的所述第一图像用于与所述第二图像进行拼接，所述第一特征点集合中的特征点分布在所述第一边缘上，所述第二特征点集合中的特征点分布在更新后的所述第二图像的所述第二边缘上。
在一种可能的设计中，在所述服务端根据所述第一图像以及所述第二图像生成目标图像之前，还包括：
所述服务端根据所述第一图像中的所述第一人像确定所述第一人像在所述第一图像中的第一图像占比，并根据所述第二图像中的所述第二人像确定所述第二人像在所述第二图像中的第二图像占比，所述第一图像占比为所述第一人像对应的第一像素数量与所述第一图像的第一像素总数之间的比值，所述第二图像占比为所述第二人像对应的第二像素数量与所述第二图像的第二像素总数之间的比值；
所述服务端根据所述第一图像占比与所述第二图像占比的比值确定调焦参数，并将所述调焦参数发送至所述推流终端；
所述推流终端根据所述调焦参数对所述推流终端上的摄像头的焦距进行调整，以获取调焦后的所述第一图像，调焦后的所述第一图像用于与所述第二图像进行拼接。
在一种可能的设计中，在所述服务端向所述推流终端发送所述第一图像获取指令之后，还包括：
所述推流终端将所述将所显示的推流图像切换为第一待获取图像，所述第一待获取图像包括所述第一背景图像以及叠加显示在所述第一背景图像上的第一指示框，所述第一指示框用于容置所述第一人像的第一外轮廓；
所述推流终端在检测到所述第一人像填充所述第一外轮廓的像素比例大于第一阈值，并且，所述第一人像填充所述第一背景图像的像素小于第二阈值，则将所述推流终端当前所显示的所述第一待获取图像确定为所述第一图像；
对应的，在所述服务端向所述播放终端发送所述第二图像获取指令之后，还包括：
所述播放终端将所述将所显示的播放图像切换为第二待获取图像，所述第二待获取图像包括所述第二背景以及叠加显示在所述第二背景上的第二指示框，所述第二指示框用于容置所述第二人像的第二外轮廓；
所述播放终端在检测到所述第二人像填充所述第二外轮廓的像素比例大于第三阈值，并且，所述第二人像填充所述第二背景的像素小于第四阈值，则将所述播放终端当前所显示的所述第二待获取图像确定为所述第二图像。
第二方面，本申请提供一种实时视频传输系统，包括：推流终端、服务端以及播放终端，所述推流终端与所述播放终端分别与所述服务端连接；
所述播放终端，用于获取目标行为指令，并将所述目标行为指令发送至所述服务端，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端将所述目标行为信息发送至所述推流终端；
所述推流终端，用于获取行为确认指令，并将所述行为确认指令发送至所述服务端，以使所述服务端响应于所述行为确认指令向所述推流终端发送第一图像获取指令，以及向所述播放终端发送第二图像获取指令；
所述推流终端，用于响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端，所述第一图像包括第一背景图像以及通过所述推流终端上摄像头所获取的第一人像；
所述播放终端，用于响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端，所述第二图像包括第二背景图像以及通过所述播放终端上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；
所述服务端，用于根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端。
在一种可能的设计中，所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行融合，以生成融合图像，其中，所述第一特征点集合与所述第二特征点集合中的特征点具有一一映射的对应关系；
所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像。
在一种可能的设计中，所述服务端根据所述融合图像中所述第一人像的区域确定第一人像像素点集合A，并根据所述融合图像中所述第二人像的区域确定第二人像像素点集合B；
根据公式1计算所述第一人像像素点集合A对应的第一积累灰度值以及所述第二人像像素点集合B对应的第二积累灰度值/>，所述公式1为：
，
其中，a为所述第一人像像素点集合A中的像素个数，b为所述第二人像像素点集合B中的像素个数， 为所述第一人像像素点集合A中第i个像素的灰度值，/> 为所述第二人像像素点集合A中第j个像素的灰度值；
根据所述第一积累灰度值、所述第二积累灰度值/>以及公式2确定亮度调节值/>,所述公式2为：
，
根据公式3以及所述亮度调节值对所述第一人像像素点集合A中的各个像素点进行亮度调节，所述公式3为：
，
其中，为所述第一人像像素点集合A中第i个像素调节后的灰度值。
在一种可能的设计中，所述服务端根据所述目标行为信息形成对应的目标行为标识，以使所述服务端根据所述第一图像、所述第二图像以及所述目标行为标识生成所述目标图像，其中，所述目标行为标识显示所述目标图像的目标区域，所述目标区域为所述目标图像中未包括所述第一人像以及所述第二人像的区域。
在一种可能的设计中，所述服务端获取所述第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取所述第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，所述第三特征点为与所述第一特征点映射对应的特征点，所述第四特征点为与所述第二特征点映射对应的特征点；
根据所述第一相对距离与所述第二相对距离之间的比例对所述第二图像进行缩放处理，以对所述第一图像进行更新，更新后的所述第一图像用于与所述第二图像进行拼接，所述第一特征点集合中的特征点分布在所述第一边缘上，所述第二特征点集合中的特征点分布在更新后的所述第二图像的所述第二边缘上。
在一种可能的设计中，所述服务端根据所述第一图像中的所述第一人像确定所述第一人像在所述第一图像中的第一图像占比，并根据所述第二图像中的所述第二人像确定所述第二人像在所述第二图像中的第二图像占比，所述第一图像占比为所述第一人像对应的第一像素数量与所述第一图像的第一像素总数之间的比值，所述第二图像占比为所述第二人像对应的第二像素数量与所述第二图像的第二像素总数之间的比值；
所述服务端根据所述第一图像占比与所述第二图像占比的比值确定调焦参数，并将所述调焦参数发送至所述推流终端；
所述推流终端根据所述调焦参数对所述推流终端上的摄像头的焦距进行调整，以获取调焦后的所述第一图像，调焦后的所述第一图像用于与所述第二图像进行拼接。
在一种可能的设计中，所述推流终端将所述将所显示的推流图像切换为第一待获取图像，所述第一待获取图像包括所述第一背景图像以及叠加显示在所述第一背景图像上的第一指示框，所述第一指示框用于容置所述第一人像的第一外轮廓；
所述推流终端在检测到所述第一人像填充所述第一外轮廓的像素比例大于第一阈值，并且，所述第一人像填充所述第一背景图像的像素小于第二阈值，则将所述推流终端当前所显示的所述第一待获取图像确定为所述第一图像；
对应的，在所述服务端向所述播放终端发送所述第二图像获取指令之后，还包括：
所述播放终端将所述将所显示的播放图像切换为第二待获取图像，所述第二待获取图像包括所述第二背景以及叠加显示在所述第二背景上的第二指示框，所述第二指示框用于容置所述第二人像的第二外轮廓；
所述播放终端在检测到所述第二人像填充所述第二外轮廓的像素比例大于第三阈值，并且，所述第二人像填充所述第二背景的像素小于第四阈值，则将所述播放终端当前所显示的所述第二待获取图像确定为所述第二图像。
第三方面，本申请提供一种电子设备，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。
本申请提供的基于行为反馈的图像信息推送方法及实时视频传输系统，通过播放终端获取目标行为指令，并将目标行为指令发送至服务端，从而触发服务端将目标行为信息发送至推流终端，以使推流终端显示目标行为信息，并在推流终端上获取行为确认指令，再将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令，进而使得推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端，以及播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端，然后，服务端根据第一图像以及第二图像生成目标图像，以及将目标图像发送至播放终端，从而实现了在直播过程中主播与用户之间的合影，并将所生成的合影图像推送给用户的功能，进而增加了主播与用户之间的互动性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例实施例示出的基于行为反馈的图像信息推送方法的流程示意图;
图2是本申请根据另一示例实施例示出的基于行为反馈的图像信息推送方法的流程示意图；
图3是本申请根据一示例实施例示出的实时视频传输系统的结构示意图；
图4是本申请根据一示例实施例示出的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请根据一示例实施例示出的基于行为反馈的图像信息推送方法的流程示意图。如图1所示，本实施例提供的方法，包括：
S101、播放终端获取目标行为指令，并将目标行为指令发送至服务端。
本实施例提供的方法可以应用于实时视频传输系统，其中，该实时视频传输系统包括推流终端、服务端以及播放终端。值得理解的，上述的推流终端可以是主播用于进行直播的终端设备，服务端可以是直播平台所对应的服务端，而播放终端则可以是用户观看直播所使用的终端设备。
在本步骤中，播放终端获取目标行为指令，并将目标行为指令发送至服务端，目标行为指令包括触发指令以及目标行为信息，触发指令用于触发服务端将目标行为信息发送至推流终端，以使推流终端显示目标行为信息。可选的，上述的目标行为指令可以是发起合照请求指令。
S102、推流终端获取行为确认指令，并将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令。
在本步骤中，推流终端获取行为确认指令，并将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令。此时，主播可以通过直播终端进行确认，从而将确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令，其中，该第一图像获取指令可以是指示主播进行拍摄的请求指令，而该第二图像获取指令则可以是指示用户进行拍摄的请求指令。
可选的，在服务端向推流终端发送第一图像获取指令之后，推流终端将将所显示的推流图像切换为第一待获取图像，第一待获取图像包括第一背景图像以及叠加显示在第一背景图像上的第一指示框，第一指示框用于容置第一人像的第一外轮廓。可以理解的，在推流终端上可以是显示主播拍摄的画面，而为了能够使得最终和用户所形成的合影能够具有协调性，可以向其推送一个拍摄模板，在该拍摄模板中包括了第一指示框，例如，指示主播摆出第一动作以及从第一角度进行拍摄。此外，为了保证对于其他用户的直播体验，在本实施例方法所应用的实时视频传输系统中，可以是包括推流终端以及另一显示终端，该显示终端与推流终端通信连接，进行推流图像切换的为附属于该推流终端的显示终端，从而实现推流终端的直播页面不发生改变，即不影响其他用户观看直播，此外，又能在该附属的显示终端上将所显示的推流图像切换为第一待获取图像，从而实现与用户的合影。
然后，推流终端在检测到第一人像填充第一外轮廓的像素比例大于第一阈值，并且，第一人像填充第一背景图像的像素小于第二阈值，则将推流终端当前所显示的第一待获取图像确定为第一图像。在该步骤中，通过检测到主播拍摄的范围在第一指示框内，从而确定主播已经按照指示框的轮廓要求摆出第一动作以及从第一角度进行拍摄，此时，可以进行图像的获取。
对应的，在服务端向播放终端发送第二图像获取指令之后，播放终端将将所显示的播放图像切换为第二待获取图像，第二待获取图像包括第二背景以及叠加显示在第二背景上的第二指示框，第二指示框用于容置第二人像的第二外轮廓。可以理解的，在播放终端上可以是显示用户拍摄的画面，而为了能够使得最终和主播所形成的合影能够具有协调性，可以向其推送一个拍摄模板，该模板与主播端所使用的模板为同一模板，在该拍摄模板中包括了第二指示框，例如，指示用户摆出第二动作以及从第二角度进行拍摄。
在检测到第二人像填充第二外轮廓的像素比例大于第三阈值，并且，第二人像填充第二背景的像素小于第四阈值，则将播放终端当前所显示的第二待获取图像确定为第二图像。在该步骤中，通过检测到用户拍摄的范围在第二指示框内，从而确定用户已经按照指示框的轮廓要求摆出第二动作以及从第二角度进行拍摄，此时，可以进行图像的获取。
S103、推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端。
在该步骤中，推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端，第一图像包括第一背景图像以及通过推流终端上摄像头所获取的第一人像。
S104、播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端。
在该步骤中，播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端，第二图像包括第二背景图像以及通过播放终端上摄像头所获取的第二人像，其中，第一背景图像与第二背景图像构成背景图像。
S105、服务端根据第一图像以及第二图像生成目标图像，并将目标图像发送至播放终端。
服务端根据第一图像以及第二图像生成目标图像，目标图像包括背景图像、第一人像以及第二人像，并将目标图像发送至播放终端。
具体的，服务端可以根据第一背景图像上预设的第一特征点集合以及第二背景图像上预设的第二特征点集合对第一图像以及第二图像进行融合，以生成融合图像，其中，第一特征点集合与第二特征点集合中的特征点具有一一映射的对应关系。服务端根据预设平衡校正模型对融合图像进行处理，以生成目标图像。
其中，对于服务端根据预设平衡校正模型对融合图像进行处理，以生成目标图像，具体的，可以是服务端根据融合图像中第一人像的区域确定第一人像像素点集合A，并根据融合图像中第二人像的区域确定第二人像像素点集合B。
然后，根据公式1计算第一人像像素点集合A对应的第一积累灰度值以及第二人像像素点集合B对应的第二积累灰度值/>，公式1为：
，
其中，a为第一人像像素点集合A中的像素个数，b为第二人像像素点集合B中的像素个数， 为第一人像像素点集合A中第i个像素的灰度值，/> 为第二人像像素点集合A中第j个像素的灰度值；
根据第一积累灰度值、第二积累灰度值/>以及公式2确定亮度调节值/>,公式2为：
，
根据公式3以及亮度调节值对第一人像像素点集合A中的各个像素点进行亮度调节，公式3为：
，
其中，为第一人像像素点集合A中第i个像素调节后的灰度值。
此外，为了增加合照的趣味性以及针对性，则服务端还可以根据目标行为信息形成对应的目标行为标识。从而根据第一图像、第二图像以及目标行为标识生成目标图像，其中，目标行为标识显示与目标图像的目标区域，目标区域为目标图像中未包括第一人像以及第二人像的区域。
在本实施例中，通过播放终端获取目标行为指令，并将目标行为指令发送至服务端，从而触发服务端将目标行为信息发送至推流终端，以使推流终端显示目标行为信息，并在推流终端上获取行为确认指令，再将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令，进而使得推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端，以及播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端，然后，服务端根据第一图像以及第二图像生成目标图像，以及将目标图像发送至播放终端，从而实现了在直播过程中主播与用户之间的合影，并将所生成的合影图像推送给用户的功能，进而增加了主播与用户之间的互动性。
图2是本申请根据另一示例实施例示出的基于行为反馈的图像信息推送方法的流程示意图。如图2所示，
S201、播放终端获取目标行为指令，并将目标行为指令发送至服务端。
本实施例提供的方法可以应用于实时视频传输系统，其中，该实时视频传输系统包括推流终端、服务端以及播放终端。值得理解的，上述的推流终端可以是主播用于进行直播的终端设备，服务端可以是直播平台所对应的服务端，而播放终端则可以是用户观看直播所使用的终端设备。
在本步骤中，播放终端获取目标行为指令，并将目标行为指令发送至服务端，目标行为指令包括触发指令以及目标行为信息，触发指令用于触发服务端将目标行为信息发送至推流终端，以使推流终端显示目标行为信息。可选的，上述的目标行为指令可以是发起合照请求指令。
S202、推流终端获取行为确认指令，并将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令。
在本步骤中，推流终端获取行为确认指令，并将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令。此时，主播可以通过直播终端进行确认，从而将确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令，其中，该第一图像获取指令可以是指示主播进行拍摄的请求指令，而该第二图像获取指令则可以是指示用户进行拍摄的请求指令。
可选的，在服务端向推流终端发送第一图像获取指令之后，推流终端将将所显示的推流图像切换为第一待获取图像，第一待获取图像包括第一背景图像以及叠加显示在第一背景图像上的第一指示框，第一指示框用于容置第一人像的第一外轮廓。可以理解的，在推流终端上可以是显示主播拍摄的画面，而为了能够使得最终和用户所形成的合影能够具有协调性，可以向其推送一个拍摄模板，在该拍摄模板中包括了第一指示框，例如，指示主播摆出第一动作以及从第一角度进行拍摄。此外，为了保证对于其他用户的直播体验，在本实施例方法所应用的实时视频传输系统中，可以是包括推流终端以及另一显示终端，该显示终端与推流终端通信连接，进行推流图像切换的为附属于该推流终端的显示终端，从而实现推流终端的直播页面不发生改变，即不影响其他用户观看直播，此外，又能在该附属的显示终端上将所显示的推流图像切换为第一待获取图像，从而实现与用户的合影。
然后，推流终端在检测到第一人像填充第一外轮廓的像素比例大于第一阈值，并且，第一人像填充第一背景图像的像素小于第二阈值，则将推流终端当前所显示的第一待获取图像确定为第一图像。在该步骤中，通过检测到主播拍摄的范围在第一指示框内，从而确定主播已经按照指示框的轮廓要求摆出第一动作以及从第一角度进行拍摄，此时，可以进行图像的获取。
对应的，在服务端向播放终端发送第二图像获取指令之后，播放终端将将所显示的播放图像切换为第二待获取图像，第二待获取图像包括第二背景以及叠加显示在第二背景上的第二指示框，第二指示框用于容置第二人像的第二外轮廓。可以理解的，在播放终端上可以是显示用户拍摄的画面，而为了能够使得最终和主播所形成的合影能够具有协调性，可以向其推送一个拍摄模板，该模板与主播端所使用的模板为同一模板，在该拍摄模板中包括了第二指示框，例如，指示用户摆出第二动作以及从第二角度进行拍摄。
在检测到第二人像填充第二外轮廓的像素比例大于第三阈值，并且，第二人像填充第二背景的像素小于第四阈值，则将播放终端当前所显示的第二待获取图像确定为第二图像。在该步骤中，通过检测到用户拍摄的范围在第二指示框内，从而确定用户已经按照指示框的轮廓要求摆出第二动作以及从第二角度进行拍摄，此时，可以进行图像的获取。
S203、推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端。
在该步骤中，推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端，第一图像包括第一背景图像以及通过推流终端上摄像头所获取的第一人像。
S204、播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端。
在该步骤中，播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端，第二图像包括第二背景图像以及通过播放终端上摄像头所获取的第二人像，其中，第一背景图像与第二背景图像构成背景图像。
S205、服务端获取第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离。
在本步骤中，服务端获取第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，第三特征点为与第一特征点映射对应的特征点，第四特征点为与第二特征点映射对应的特征点。
S206、根据第一相对距离与第二相对距离之间的比例对第二图像进行缩放处理，以对第一图像进行更新。
在本步骤中，可以是根据第一相对距离与第二相对距离之间的比例对第二图像进行缩放处理，以对第一图像进行更新，更新后的第一图像用于与第二图像进行拼接，第一特征点集合中的特征点分布在第一边缘上，第二特征点集合中的特征点分布在更新后的第二图像的第二边缘上。
通过上述服务端获取第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，然后，根据第一相对距离与第二相对距离之间的比例对第二图像进行缩放处理，以对第一图像进行更新，可以实现对于不同终端所获取的图像存在尺寸差异而导致图像拼接时，第一图像与第二图像上的特征点因所显示的比例原因而无法对其的情况。
此外，现有技术中，对于图像拼接的方法，往往是先通过相关的算法模型提取两张待拼接图像上的特征点，然后，再将特征点进行对齐，以及对重合的部分进行消隐等操作后，才能实现拼接，该过程数据处理量较大，在实时视频传输的场景下无法满足实时性的要求，而上述通过在第一图像的第一边缘上设置第一特征点集，以及在第二图像的第二边缘上设置与第一特征点集一一映射的第二特征点集，可以大大地减小拼接时的处理计算量，并且，拼接的准确度也可以得到大大地提升，适用于实时视频传输的场景的图像拼接需求。
此外，由于推流终端与播放终端当前的焦距以及摄像头距离人物的距离均可能存在差异，因此，直接进行拍摄，就会发生最后的合影可能出现两个人像的大小存在较大差异的情况，进而导致所拍摄的合影展示效果变差。因此，在服务端根据第一图像以及第二图像生成目标图像之前，服务端还可以根据第一图像中的第一人像确定第一人像在第一图像中的第一图像占比，并根据第二图像中的第二人像确定第二人像在第二图像中的第二图像占比，第一图像占比为第一人像对应的第一像素数量与第一图像的第一像素总数之间的比值，第二图像占比为第二人像对应的第二像素数量与第二图像的第二像素总数之间的比值。服务端根据第一图像占比与第二图像占比的比值确定调焦参数，并将调焦参数发送至推流终端。推流终端根据调焦参数对推流终端上的摄像头的焦距进行调整，以获取调焦后的第一图像，调焦后的第一图像用于与第二图像进行拼接。
S207、服务端根据第一图像以及第二图像生成目标图像，并将目标图像发送至播放终端。
具体的，服务端可以根据第一背景图像上预设的第一特征点集合以及第二背景图像上预设的第二特征点集合对第一图像以及第二图像进行融合，以生成融合图像，其中，第一特征点集合与第二特征点集合中的特征点具有一一映射的对应关系。服务端根据预设平衡校正模型对融合图像进行处理，以生成目标图像。
其中，由于推流终端与播放终端在获取图像时环境亮度以及摄像头的参数差异，所获取到的第一人像与第二人像的亮度同样会存在差异，如果二者差异过大，则会导致最终所形成的合照效果不协调。因此，对于服务端根据预设平衡校正模型对融合图像进行处理，以生成目标图像，具体的，可以是服务端根据融合图像中第一人像的区域确定第一人像像素点集合A，并根据融合图像中第二人像的区域确定第二人像像素点集合B。
然后，根据公式1计算第一人像像素点集合A对应的第一积累灰度值以及第二人像像素点集合B对应的第二积累灰度值/>，公式1为：
，
其中，a为第一人像像素点集合A中的像素个数，b为第二人像像素点集合B中的像素个数， 为第一人像像素点集合A中第i个像素的灰度值，/> 为第二人像像素点集合A中第j个像素的灰度值；
根据第一积累灰度值、第二积累灰度值/>以及公式2确定亮度调节值/>,公式2为：
，
根据公式3以及亮度调节值对第一人像像素点集合A中的各个像素点进行亮度调节，公式3为：
，
其中，为第一人像像素点集合A中第i个像素调节后的灰度值。
值得说明的，在上述步骤中由于图像背景是模板中背景，因此，第一图像中第一背景与第二图像中的第二背景可以保持相同的亮度，而仅仅只需要对人像部分对应的局部亮度进行调整即可，而无需对图像的整体亮度进行调整，可见，可以减小亮度调整的计算量。
此外，为了增加合照的趣味性以及针对性，则服务端还可以根据目标行为信息形成对应的目标行为标识。从而根据第一图像、第二图像以及目标行为标识生成目标图像，其中，目标行为标识显示与目标图像的目标区域，目标区域为目标图像中未包括第一人像以及第二人像的区域。
图3是本申请根据一示例实施例示出的实时视频传输系统的结构示意图。如图3所示，本实施例提供的实时视频传输系统300，包括：
推流终端310、服务端320以及播放终端330，所述推流终端310与所述播放终端330分别与所述服务端320连接；
所述播放终端330，用于获取目标行为指令，并将所述目标行为指令发送至所述服务端320，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端320将所述目标行为信息发送至所述推流终端310；
所述推流终端310，用于获取行为确认指令，并将所述行为确认指令发送至所述服务端320，以使所述服务端320响应于所述行为确认指令向所述推流终端310发送第一图像获取指令，以及向所述播放终端330发送第二图像获取指令；
所述推流终端310，用于响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端320，所述第一图像包括第一背景图像以及通过所述推流终端310上摄像头所获取的第一人像；
所述播放终端330，用于响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端320，所述第二图像包括第二背景图像以及通过所述播放终端330上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；
所述服务端320，用于根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端330。
在一种可能的设计中，所述服务端320根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行融合，以生成融合图像，其中，所述第一特征点集合与所述第二特征点集合中的特征点具有一一映射的对应关系；
所述服务端320根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像。
在一种可能的设计中，所述服务端320根据所述融合图像中所述第一人像的区域确定第一人像像素点集合A，并根据所述融合图像中所述第二人像的区域确定第二人像像素点集合B；
根据公式1计算所述第一人像像素点集合A对应的第一积累灰度值以及所述第二人像像素点集合B对应的第二积累灰度值/>，所述公式1为：
，
其中，a为所述第一人像像素点集合A中的像素个数，b为所述第二人像像素点集合B中的像素个数， 为所述第一人像像素点集合A中第i个像素的灰度值，/> 为所述第二人像像素点集合A中第j个像素的灰度值；
根据所述第一积累灰度值、所述第二积累灰度值/>以及公式2确定亮度调节值/>,所述公式2为：/>
，
根据公式3以及所述亮度调节值对所述第一人像像素点集合A中的各个像素点进行亮度调节，所述公式3为：
，
其中，为所述第一人像像素点集合A中第i个像素调节后的灰度值。
在一种可能的设计中，所述服务端320根据所述目标行为信息形成对应的目标行为标识，以使所述服务端根据所述第一图像、所述第二图像以及所述目标行为标识生成所述目标图像，其中，所述目标行为标识显示所述目标图像的目标区域，所述目标区域为所述目标图像中未包括所述第一人像以及所述第二人像的区域。
在一种可能的设计中，所述服务端320获取所述第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取所述第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，所述第三特征点为与所述第一特征点映射对应的特征点，所述第四特征点为与所述第二特征点映射对应的特征点；
根据所述第一相对距离与所述第二相对距离之间的比例对所述第二图像进行缩放处理，以对所述第一图像进行更新，更新后的所述第一图像用于与所述第二图像进行拼接，所述第一特征点集合中的特征点分布在所述第一边缘上，所述第二特征点集合中的特征点分布在更新后的所述第二图像的所述第二边缘上。
在一种可能的设计中，所述服务端320根据所述第一图像中的所述第一人像确定所述第一人像在所述第一图像中的第一图像占比，并根据所述第二图像中的所述第二人像确定所述第二人像在所述第二图像中的第二图像占比，所述第一图像占比为所述第一人像对应的第一像素数量与所述第一图像的第一像素总数之间的比值，所述第二图像占比为所述第二人像对应的第二像素数量与所述第二图像的第二像素总数之间的比值；
所述服务端320根据所述第一图像占比与所述第二图像占比的比值确定调焦参数，并将所述调焦参数发送至所述推流终端310；
所述推流终端310根据所述调焦参数对所述推流终端310上的摄像头的焦距进行调整，以获取调焦后的所述第一图像，调焦后的所述第一图像用于与所述第二图像进行拼接。
在一种可能的设计中，所述推流终端310将所述将所显示的推流图像切换为第一待获取图像，所述第一待获取图像包括所述第一背景图像以及叠加显示在所述第一背景图像上的第一指示框，所述第一指示框用于容置所述第一人像的第一外轮廓；
所述推流终端310在检测到所述第一人像填充所述第一外轮廓的像素比例大于第一阈值，并且，所述第一人像填充所述第一背景图像的像素小于第二阈值，则将所述推流终端310当前所显示的所述第一待获取图像确定为所述第一图像；
对应的，在所述服务端320向所述播放终端330发送所述第二图像获取指令之后，还包括：
所述播放终端330将所述将所显示的播放图像切换为第二待获取图像，所述第二待获取图像包括所述第二背景以及叠加显示在所述第二背景上的第二指示框，所述第二指示框用于容置所述第二人像的第二外轮廓；
所述播放终端330在检测到所述第二人像填充所述第二外轮廓的像素比例大于第三阈值，并且，所述第二人像填充所述第二背景的像素小于第四阈值，则将所述播放终端330当前所显示的所述第二待获取图像确定为所述第二图像。
图4是本申请根据一示例实施例示出的电子设备的结构示意图。如图4所示，本实施例提供的一种电子设备400包括：处理器401以及存储器402；其中：
存储器402，用于存储计算机程序，该存储器还可以是flash（闪存）。
处理器401，用于执行存储器存储的执行指令，以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器402既可以是独立的，也可以跟处理器401集成在一起。
当所述存储器402是独立于处理器401之外的器件时，所述电子设备400还可以包括：
总线403，用于连接所述存储器402和处理器401。
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种基于行为反馈的图像信息推送方法，其特征在于，应用于实时视频传输系统，所述实时视频传输系统包括推流终端、服务端以及播放终端，所述方法，包括：
所述播放终端获取目标行为指令，并将所述目标行为指令发送至所述服务端，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端将所述目标行为信息发送至所述推流终端，以使所述推流终端显示所述目标行为信息；
所述推流终端获取行为确认指令，并将所述行为确认指令发送至所述服务端，以使所述服务端响应于所述行为确认指令向所述推流终端发送第一图像获取指令，以及向所述播放终端发送第二图像获取指令；
所述推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端，所述第一图像包括第一背景图像以及通过所述推流终端上摄像头所获取的第一人像；
所述播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端，所述第二图像包括第二背景图像以及通过所述播放终端上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；
所述服务端根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端。
2.根据权利要求1所述的基于行为反馈的图像信息推送方法，其特征在于，所述服务端根据所述第一图像以及所述第二图像生成目标图像，包括：
所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行融合，以生成融合图像，其中，所述第一特征点集合与所述第二特征点集合中的特征点具有一一映射的对应关系；
所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像。
3.根据权利要求2所述的基于行为反馈的图像信息推送方法，其特征在于，所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像，包括：
所述服务端根据所述融合图像中所述第一人像的区域确定第一人像像素点集合A，并根据所述融合图像中所述第二人像的区域确定第二人像像素点集合B；
根据公式1计算所述第一人像像素点集合A对应的第一积累灰度值以及所述第二人像像素点集合B对应的第二积累灰度值/>，所述公式1为：
，
其中，a为所述第一人像像素点集合A中的像素个数，b为所述第二人像像素点集合B中的像素个数， 为所述第一人像像素点集合A中第i个像素的灰度值，/> 为所述第二人像像素点集合A中第j个像素的灰度值；
根据所述第一积累灰度值、所述第二积累灰度值/>以及公式2确定亮度调节值/>,所述公式2为：
，
根据公式3以及所述亮度调节值对所述第一人像像素点集合A中的各个像素点进行亮度调节，所述公式3为：
，
其中，为所述第一人像像素点集合A中第i个像素调节后的灰度值。
4.根据权利要求2或3所述的基于行为反馈的图像信息推送方法，其特征在于，所述服务端根据所述第一图像以及所述第二图像生成目标图像，包括：
所述服务端根据所述目标行为信息形成对应的目标行为标识，以使所述服务端根据所述第一图像、所述第二图像以及所述目标行为标识生成所述目标图像，其中，所述目标行为标识显示所述目标图像的目标区域，所述目标区域为所述目标图像中未包括所述第一人像以及所述第二人像的区域。
5.根据权利要求2或3所述的基于行为反馈的图像信息推送方法，其特征在于，在所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行拼接之前，还包括：
所述服务端获取所述第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取所述第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，所述第三特征点为与所述第一特征点映射对应的特征点，所述第四特征点为与所述第二特征点映射对应的特征点；
根据所述第一相对距离与所述第二相对距离之间的比例对所述第二图像进行缩放处理，以对所述第一图像进行更新，更新后的所述第一图像用于与所述第二图像进行拼接，所述第一特征点集合中的特征点分布在所述第一边缘上，所述第二特征点集合中的特征点分布在更新后的所述第二图像的所述第二边缘上。
6.根据权利要求5所述的基于行为反馈的图像信息推送方法，其特征在于，在所述服务端根据所述第一图像以及所述第二图像生成目标图像之前，还包括：
所述服务端根据所述第一图像中的所述第一人像确定所述第一人像在所述第一图像中的第一图像占比，并根据所述第二图像中的所述第二人像确定所述第二人像在所述第二图像中的第二图像占比，所述第一图像占比为所述第一人像对应的第一像素数量与所述第一图像的第一像素总数之间的比值，所述第二图像占比为所述第二人像对应的第二像素数量与所述第二图像的第二像素总数之间的比值；
所述服务端根据所述第一图像占比与所述第二图像占比的比值确定调焦参数，并将所述调焦参数发送至所述推流终端；
所述推流终端根据所述调焦参数对所述推流终端上的摄像头的焦距进行调整，以获取调焦后的所述第一图像，调焦后的所述第一图像用于与所述第二图像进行拼接。
7.根据权利要求1-3中任意一项所述的基于行为反馈的图像信息推送方法，其特征在于，在所述服务端向所述推流终端发送所述第一图像获取指令之后，还包括：
所述推流终端将所述将所显示的推流图像切换为第一待获取图像，所述第一待获取图像包括所述第一背景图像以及叠加显示在所述第一背景图像上的第一指示框，所述第一指示框用于容置所述第一人像的第一外轮廓；
所述推流终端在检测到所述第一人像填充所述第一外轮廓的像素比例大于第一阈值，并且，所述第一人像填充所述第一背景图像的像素小于第二阈值，则将所述推流终端当前所显示的所述第一待获取图像确定为所述第一图像；
对应的，在所述服务端向所述播放终端发送所述第二图像获取指令之后，还包括：
所述播放终端将所述将所显示的播放图像切换为第二待获取图像，所述第二待获取图像包括所述第二背景以及叠加显示在所述第二背景上的第二指示框，所述第二指示框用于容置所述第二人像的第二外轮廓；
所述播放终端在检测到所述第二人像填充所述第二外轮廓的像素比例大于第三阈值，并且，所述第二人像填充所述第二背景的像素小于第四阈值，则将所述播放终端当前所显示的所述第二待获取图像确定为所述第二图像。
8.一种实时视频传输系统，其特征在于，包括：推流终端、服务端以及播放终端，所述推流终端与所述播放终端分别与所述服务端连接；
所述播放终端，用于获取目标行为指令，并将所述目标行为指令发送至所述服务端，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端将所述目标行为信息发送至所述推流终端；
所述推流终端，用于获取行为确认指令，并将所述行为确认指令发送至所述服务端，以使所述服务端响应于所述行为确认指令向所述推流终端发送第一图像获取指令，以及向所述播放终端发送第二图像获取指令；
所述推流终端，用于响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端，所述第一图像包括第一背景图像以及通过所述推流终端上摄像头所获取的第一人像；
所述播放终端，用于响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端，所述第二图像包括第二背景图像以及通过所述播放终端上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；
所述服务端，用于根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端。
9.一种电子设备，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
CN202310734081.7A 2023-06-20 2023-06-20 基于行为反馈的图像信息推送方法及实时视频传输系统 Active CN116471429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310734081.7A CN116471429B (zh) 2023-06-20 2023-06-20 基于行为反馈的图像信息推送方法及实时视频传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310734081.7A CN116471429B (zh) 2023-06-20 2023-06-20 基于行为反馈的图像信息推送方法及实时视频传输系统

Publications (2)

Publication Number Publication Date
CN116471429A true CN116471429A (zh) 2023-07-21
CN116471429B CN116471429B (zh) 2023-08-25

Family

ID=87181112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310734081.7A Active CN116471429B (zh) 2023-06-20 2023-06-20 基于行为反馈的图像信息推送方法及实时视频传输系统

Country Status (1)

Country Link
CN (1) CN116471429B (zh)

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2309459A1 (en) * 1999-06-10 2000-12-10 International Business Machines Corporation System for personalized field of view in a broadcast environment
US20110235992A1 (en) * 2010-03-26 2011-09-29 Kabushiki Kaisha Toshiba Image processing device and image processing method
CN104125392A (zh) * 2013-04-24 2014-10-29 株式会社摩如富 图像合成装置及图像合成方法
CN104168414A (zh) * 2013-05-17 2014-11-26 光道视觉科技股份有限公司 拍摄并拼接物件影像的方法
CN105025215A (zh) * 2014-04-23 2015-11-04 中兴通讯股份有限公司 一种终端基于多摄像头实现合照的方法及装置
CN106937059A (zh) * 2017-02-09 2017-07-07 北京理工大学 基于Kinect的影像合成方法和系统
CN107105315A (zh) * 2017-05-11 2017-08-29 广州华多网络科技有限公司 直播方法、主播客户端的直播方法、主播客户端及设备
CN107124551A (zh) * 2017-05-18 2017-09-01 惠州Tcl移动通信有限公司 一种移动终端拍照自动合成的方法、存储装置及移动终端
US20170311004A1 (en) * 2016-04-22 2017-10-26 Beijing Xiaomi Mobile Software Co., Ltd. Video processing method and device
CN108924626A (zh) * 2018-08-17 2018-11-30 腾讯科技（深圳）有限公司 图片生成方法、装置、设备及存储介质
CN110166799A (zh) * 2018-07-02 2019-08-23 腾讯科技（深圳）有限公司 直播互动方法、装置及存储介质
US20210168441A1 (en) * 2018-08-23 2021-06-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video-Processing Method, Electronic Device, and Computer-Readable Storage Medium
CN113329172A (zh) * 2021-05-11 2021-08-31 维沃移动通信（杭州）有限公司 拍摄方法、装置及电子设备
CN113630614A (zh) * 2021-08-09 2021-11-09 广州虎牙科技有限公司 游戏直播方法、装置、系统、电子设备及可读存储介质
WO2022057384A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 拍摄方法和装置
WO2022063124A1 (zh) * 2020-09-25 2022-03-31 连尚(北京)网络科技有限公司 视频融合方法和设备
WO2022087920A1 (zh) * 2020-10-28 2022-05-05 百果园技术(新加坡)有限公司 视频播放方法、装置、终端及存储介质
CN114640805A (zh) * 2020-11-30 2022-06-17 华为技术有限公司 一种合拍方法、电子设备及服务器
US20220237227A1 (en) * 2019-10-17 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for video searching, terminal and storage medium
WO2022166521A1 (zh) * 2021-02-04 2022-08-11 华为技术有限公司 跨设备的协同拍摄方法、相关装置及系统
CN115250357A (zh) * 2021-04-26 2022-10-28 海信集团控股股份有限公司 终端设备、视频处理方法和电子设备
WO2022267565A1 (zh) * 2021-06-25 2022-12-29 荣耀终端有限公司 视频拍摄方法、电子设备及计算机可读存储介质
CN115631516A (zh) * 2021-07-15 2023-01-20 腾讯科技（深圳）有限公司 人脸图像处理方法、装置、设备及计算机可读存储介质
US20230064723A1 (en) * 2021-08-31 2023-03-02 Gracenote, Inc. Methods and Systems for Automatically Generating Backdrop Imagery for a Graphical User Interface

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2309459A1 (en) * 1999-06-10 2000-12-10 International Business Machines Corporation System for personalized field of view in a broadcast environment
US20110235992A1 (en) * 2010-03-26 2011-09-29 Kabushiki Kaisha Toshiba Image processing device and image processing method
CN104125392A (zh) * 2013-04-24 2014-10-29 株式会社摩如富 图像合成装置及图像合成方法
CN104168414A (zh) * 2013-05-17 2014-11-26 光道视觉科技股份有限公司 拍摄并拼接物件影像的方法
CN105025215A (zh) * 2014-04-23 2015-11-04 中兴通讯股份有限公司 一种终端基于多摄像头实现合照的方法及装置
US20170311004A1 (en) * 2016-04-22 2017-10-26 Beijing Xiaomi Mobile Software Co., Ltd. Video processing method and device
CN106937059A (zh) * 2017-02-09 2017-07-07 北京理工大学 基于Kinect的影像合成方法和系统
CN107105315A (zh) * 2017-05-11 2017-08-29 广州华多网络科技有限公司 直播方法、主播客户端的直播方法、主播客户端及设备
CN107124551A (zh) * 2017-05-18 2017-09-01 惠州Tcl移动通信有限公司 一种移动终端拍照自动合成的方法、存储装置及移动终端
CN110166799A (zh) * 2018-07-02 2019-08-23 腾讯科技（深圳）有限公司 直播互动方法、装置及存储介质
CN108924626A (zh) * 2018-08-17 2018-11-30 腾讯科技（深圳）有限公司 图片生成方法、装置、设备及存储介质
US20210168441A1 (en) * 2018-08-23 2021-06-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video-Processing Method, Electronic Device, and Computer-Readable Storage Medium
US20220237227A1 (en) * 2019-10-17 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for video searching, terminal and storage medium
WO2022057384A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 拍摄方法和装置
WO2022063124A1 (zh) * 2020-09-25 2022-03-31 连尚(北京)网络科技有限公司 视频融合方法和设备
WO2022087920A1 (zh) * 2020-10-28 2022-05-05 百果园技术(新加坡)有限公司 视频播放方法、装置、终端及存储介质
CN114640805A (zh) * 2020-11-30 2022-06-17 华为技术有限公司 一种合拍方法、电子设备及服务器
WO2022166521A1 (zh) * 2021-02-04 2022-08-11 华为技术有限公司 跨设备的协同拍摄方法、相关装置及系统
CN115250357A (zh) * 2021-04-26 2022-10-28 海信集团控股股份有限公司 终端设备、视频处理方法和电子设备
CN113329172A (zh) * 2021-05-11 2021-08-31 维沃移动通信（杭州）有限公司 拍摄方法、装置及电子设备
WO2022267565A1 (zh) * 2021-06-25 2022-12-29 荣耀终端有限公司 视频拍摄方法、电子设备及计算机可读存储介质
CN115631516A (zh) * 2021-07-15 2023-01-20 腾讯科技（深圳）有限公司 人脸图像处理方法、装置、设备及计算机可读存储介质
CN113630614A (zh) * 2021-08-09 2021-11-09 广州虎牙科技有限公司 游戏直播方法、装置、系统、电子设备及可读存储介质
US20230064723A1 (en) * 2021-08-31 2023-03-02 Gracenote, Inc. Methods and Systems for Automatically Generating Backdrop Imagery for a Graphical User Interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙恒;: "基于云服务的移动视频直播系统的设计与实现", 现代教育技术, no. 12 *

Also Published As

Publication number Publication date
CN116471429B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
JP6388673B2 (ja) 携帯端末及びその撮像方法
US8773509B2 (en) Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images
CN113329252B (zh) 一种基于直播的人脸处理方法、装置、设备和存储介质
KR101550065B1 (ko) 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템
CN108600729B (zh) 动态3d模型生成装置及影像生成方法
KR102343325B1 (ko) 영상 압축 방법 및 영상 복원 방법
KR20190038134A (ko) 360 영상 라이브 스트리밍 서비스 방법 및 서버장치
CN112218099A (zh) 全景视频生成、播放方法及装置、全景视频生成系统
JP2010113618A (ja) 画像配信装置、方法及びプログラム
CN114449303A (zh) 直播画面生成方法和装置、存储介质及电子装置
EP0921678A1 (en) Image generating device and image generating method
US20120127280A1 (en) Apparatus and method for generating three dimensional image in portable terminal
CN109089058B (zh) 视频画面处理方法、电子终端及装置
CN116471429B (zh) 基于行为反馈的图像信息推送方法及实时视频传输系统
JP7380675B2 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
CN109872400B (zh) 一种全景虚拟现实场景的生成方法
WO2023029252A1 (zh) 多视点视频数据处理方法、设备及存储介质
CN113747011B (zh) 一种辅助拍摄方法、装置、电子设备及介质
CN107426561B (zh) 一种3d360度的虚拟现实直播方法及装置
CN115857676A (zh) 基于虚拟形象的显示方法和系统
CN116962745A (zh) 视频图像的混画方法、装置及直播系统
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
CN110784728B (zh) 一种图像数据处理方法、装置、以及计算机可读存储介质
CN102595231B (zh) 图像融合方法、设备及系统
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant