CN108282670A - 用于实时影像合成的代码转换器 - Google Patents

用于实时影像合成的代码转换器 Download PDF

Info

Publication number
CN108282670A
CN108282670A CN201810011080.9A CN201810011080A CN108282670A CN 108282670 A CN108282670 A CN 108282670A CN 201810011080 A CN201810011080 A CN 201810011080A CN 108282670 A CN108282670 A CN 108282670A
Authority
CN
China
Prior art keywords
time
image
real
sub
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810011080.9A
Other languages
English (en)
Inventor
金钟周
郑泳东
崔诚埈
吴哉沅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of CN108282670A publication Critical patent/CN108282670A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种用于实时影像合成的代码转换器。本发明提供一种实时代码转换方法，其为在由计算机实现的服务器中执行的实时代码转换方法，所述服务器包括代码转换器，所述代码转换器包括解码器、混合器及编码器，所述实时代码转换方法包括以下步骤：通过所述代码转换器对主影像执行实时代码转换；在所述代码转换器的混合器前端，追加子影像或去除已追加的子影像；以及在所述主影像的实时代码转换过程中，在所述代码转换器的混合器中混合或替换所述子影像。

Description

用于实时影像合成的代码转换器
技术领域
以下说明涉及一种实时代码转换技术。
背景技术
多媒体流式传输是指将存储在存储服务器的视频文件或影像源传送至各用户终端(客户端)，在用户终端同时进行数据接收和播放的形式的服务。近年来，随着移动通讯及云环境的发展，这种形式的服务的重要性得到广泛认可。
代码转换是指转换多媒体内容形式(文件格式)或分辨率及清晰度等的操作。在流式传输服务中，存储在存储服务器的多媒体文件大部分为高清晰度、大容量的文件，因此可能不适合向移动终端传送并播放。并且，当存储在服务器的源内容的格式是客户端无法支持的形式时，也需要对其进行转换。
这种代码转换是需要庞大的计算资源的工作，因此对于需要对多个客户端实时提供服务的服务器来说，大部分为预先执行代码转换并预先存储结果文件后，及时提供符合要求的服务的形式。
但是，近年来随着云端等技术的普及，对于用户上传的多媒体文件的流式传输服务需求在增加，而且由于用户终端也多样化为平板电脑、智能手机、智能电视等，因此难以预先执行代码转换。因此，近年来正在实现在用户请求时执行流式传输的同时执行代码转换的实时代码转换，而且服务器的计算性能的发展使之成为可能。
以往，在代码转换开始之前预先构成用于代码转换的设置，并一直使用到代码转换结束，因此在代码转换过程中，不仅无法追加其他影像，而且很难去除已追加的影像。并且，现有的代码转换通常基于压缩的比特流来实现对于输入影像的切换操作，因此无法进行精确的切换。
发明内容
(一)要解决的技术问题
提供一种代码转换器的设计，其能够在实时代码转换过程中混合或切换(switching)影像。
提供一种代码转换器的设计，不仅通过影像的追加连接，还通过去除已连接的影像，在有限的资源内可进行持续的代码转换。
提供一种代码转换器的设计，可以实现对输入影像进行帧单位的精确切换控制、影像之间的混合或转换效果。
(二)技术方案
提供一种实时代码转换方法，其为在由计算机实现的服务器中执行的实时代码转换方法，所述服务器包括代码转换器，所述代码转码器包括解码器(decoder)、混合器(mixer)及编码器(encoder)，所述实时代码转换方法包括以下步骤：通过所述代码转换器对主影像执行实时代码转换；在所述代码转换器的混合器前端，追加子影像或去除已追加的子影像；以及在所述主影像的实时代码转换过程中，在所述代码转换器的混合器中混合或替换所述子影像。
根据本发明的一方面，所述混合或替换的步骤可包括以下步骤：通过包括在所述解码器前端的缓冲器，对所述主影像进行预定时间的排队(queing)，以便混合或替换所述子影像。
根据本发明的另一方面，所述代码转换器可在所述解码器的前端提供用于使所述主影像延迟的数据包队列(packet queue)，以便混合或替换所述子影像。
根据本发明的又一方面，所述混合或替换的步骤可包括以下步骤：在所述代码转换器的混合器中，将所述主影像和所述子影像组合成一个。
根据本发明的又一方面，所述混合或替换的步骤可包括以下步骤：在所述主影像的实时代码转换过程中，在所述代码转换器的混合器中，连接所述子影像或解除所述子影像的连接，从而执行实时输入替换功能。
根据本发明的又一方面，还包括以下步骤：从提供所述子影像的服务器或远程控制器接收绝对时间戳(absolute timestamp)，所述混合或替换的步骤中，可通过基于所述绝对时间戳的时间同步化，混合或替换所述子影像。
根据本发明的又一方面，所述子影像可在所述代码转换器的混合器中进行处理之前预加载(preloading)，以使所述子影像的输出延迟最小化。
根据本发明的又一方面，所述混合或替换的步骤可包括以下步骤：对于所述主影像和所述子影像，相互共享所述代码转换器的视频混合器和音频混合器之间的处理时间，从而执行视频数据和音频数据的时间同步化。
根据本发明的又一方面，所述执行时间同步化的步骤中，当影像被连接时，可将当前的视频处理时间和音频处理时间中较大的值设定为用于播放该影像的开始时间。
根据本发明的又一方面，所述执行时间同步化的步骤中，当影像终止时，可在视频和音频的处理全部终止后解除该影像的连接。
根据本发明的又一方面，所述混合或替换的步骤还可以包括以下步骤：将用于替换所述子影像的标准时间匹配于视频播放时间和音频播放时间中较长的时间。
根据本发明的又一方面，所述混合或替换的步骤中，当所述音频播放时间小于所述视频播放时间时，可在该时间差区间内插入静音数据，当所述视频播放时间小于所述音频播放时间时，可在该时间差区间内反复特定帧。
提供一种实时代码转换系统，其为由计算机实现的服务器的实时代码转换系统，其特征在于，所述实时代码转换系统为用于进行实时代码转换的代码转换器，包括：解码器，对主影像和子影像进行解码；混合器，混合解码的所述主影像和子影像；以及编码器，对混合的所述影像进行编码，在所述混合器前端，追加子影像或去除已追加的子影像，从而在所述主影像的实时代码转换过程中，在所述混合器中混合或替换所述子影像。
(三)有益效果
根据本发明的实施例，可以提供一种能够在进行实时代码转换过程中混合或切换输入影像的代码转换器技术。
根据本发明的实施例，可以提供一种不仅通过影像的追加连接，还通过去除已连接的影像，在有限的资源内可进行持续的代码转换的技术。
根据本发明的实施例，基于解码的帧而不是基于被压缩的比特流来实现实时代码转换操作，从而可进行帧单位的精确的切换控制，而且，还可以实现各影像之间的混合或交换效果，且不需要编解码器或视频容器格式的制约。
附图说明
图1是示出本发明的一个实施例的网络环境的例子的图。
图2是用于说明本发明的一个实施例的电子设备及服务器的内部结构的框图。
图3是示出本发明的一个实施例的实时代码转换系统可包括的组件的例子的图。
图4是用于说明本发明的一个实施例的实时代码转换系统的输入配置(source)的操作的示例图。
图5是用于说明本发明的一个实施例的实时代码转换系统的输出配置(writer)的操作的示例图。
图6至图7是用于说明本发明的一个实施例的实时代码转换系统的影像编辑配置(transform)的操作的示例图。
图8是用于说明本发明的一个实施例的基于影像编辑配置(transform)的预加载与否的输出流量情况的示例图。
图9是用于说明本发明的一个实施例的影像编辑配置(transform)的时间同步化的示例图。
图10是用于说明本发明的一个实施例的影像编辑配置(transform)的影像连接过程的示例图。
图11至图13是用于说明本发明的一个实施例的影像编辑配置(transform)的影像替换过程的示例图。
具体实施方式
下面，参照附图对本发明的实施例进行详细说明。
本发明的实施例涉及一种实时代码转换技术，更详细地，涉及一种在实时代码转换过程中可混合或切换输入影像的方法。
包括本说明书中具体公开的内容的实施例可以实现用于进行实时影像合成的代码转换器设计，并且通过此设计在效率性、合理性、互换性、费用减少等方面具有相当大的优点。
图1是示出本发明的一个实施例的网络环境的例子的图。图1的网络环境表示包括多个电子设备110、120、130、140、多个服务器150、160及网络170的例子。图1是用于说明发明的一个例子，电子设备的数量或服务器的数量并不限定于如图1所示。
多个电子设备110、120、130、140可以是由计算机装置实现的固定终端或移动终端。例如，多个电子设备110、120、130、140有智能手机(smart phone)、手机、汽车导航仪、计算机、笔记本电脑、数字广播终端、个人数字助理(PDA，Personal Digital Assistants)、便携式多媒体播放器(PMP，Portable Multimedia Player)、平板电脑等。例如，电子设备110可利用无线或有线通信方式并通过网络170与其他电子设备120、130、140及/或服务器150、160进行通信。
对通信方式不做限制，不仅可以包括利用网络170可包括的通信网(例如，移动通信网、有线网络、无线网络、广播网)的通信方式，而且还可以包括设备之间的近距离无线通信。例如，网络170可包括个人局域网(PAN，personal area network)、局域网(LAN，localarea network)、校园局域网(CAN，campus area network)、城域网(MAN，metropolitanarea network)、广域网(WAN，wide area network)、宽带网(BBN，broadband network)、因特网等网络中的一个以上的任意网络。并且，网络170可包括网络拓扑中的任意一个以上，但不限定于此，其中，所述网络拓扑包括总线网络、星型网络、环形网络、网状网络、星型-总线网络、树型或层次型(hierarchical)网络等。
各服务器150、160可以由通过网络170与多个电子设备110、120、130、140进行通信以提供指令、代码、文件、内容、服务等的计算机装置或多个计算机装置来实现。
例如，服务器160可通过网络170向接入的电子设备110提供用于设置应用的文件。在这种情况下，电子设备110可利用由服务器160提供的文件来设置应用。并且，电子设备110根据所包括的操作系统(OS，Operating System)或至少一个程序(例如，浏览器或设置的所述应用)的控制来接入服务器150，以接收由服务器150提供的服务或内容。例如，当电子设备110根据应用的控制通过网络170向服务器150传送服务请求时，服务器150可将与服务请求信息对应的代码传送至电子设备110，电子设备110根据应用的控制来构成并显示基于代码的画面，从而可向用户提供内容。
在本发明的实施例中，服务器150作为提供多媒体流式传输服务的平台，可起到用于实时代码转换的流式传输服务器的作用，此时，服务器150可实现基于解码的帧的实时代码转换操作，并且可包括实时代码转换时可混合或切换输入影像的代码转换器设计。
图2是用于说明本发明的一个实施例的电子设备和服务器的内部结构的框图。在图2中，作为一个电子设备的例子，对电子设备110的内部结构进行说明，另外，作为一个服务器的例子，对服务器150的内部结构进行说明。其他电子设备120、130、140或服务器160也可以具有相同或类似的内部结构。
电子设备110和服务器150可包括存储器211、221、处理器212、222、通信模块213、223及输入输出接口214、224。存储器211、221是计算机可读记录介质，可包括非易失性大容量记录装置(permanent mass storage device)，如随机存取存储器(RAM，random accessmemory)、只读存储器(ROM，read only memory)及磁盘驱动器。并且，存储器211、221中可存储操作系统或至少一个程序代码(例如，设置在电子设备110并驱动的浏览器或用于专用应用的代码)。这种软件组件可以从与存储器211、221另外的计算机可读记录介质加载。这种另外的计算机可读记录介质可包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等计算机可读记录介质。在另一个实施例中，软件组件可通过通信模块213、223加载在存储器211、221中，而不是通过计算机可读记录介质。例如，至少一个程序可基于根据开发者或分发应用设置文件的文件分发系统(例如，所述服务器160)通过网络170提供的文件而设置的程序(例如，所述应用)来加载在存储器211、211中。
处理器212、222可以被构建为通过执行基本的算术运算、逻辑运算及输入/输出运算来处理计算机程序指令。指令可通过存储器211、221或通信模块213、223被提供至处理器212、222。例如，处理器212、222可被构建为根据存储在如存储器211、221等的记录装置的程序代码执行所接收的指令。
通信模块213、223可提供电子设备110和服务器150通过网络170相互通信的功能，并且可提供用于与其他电子设备(例如，电子设备120)或其他服务器(例如，服务器160)通信的功能。例如，电子设备110的处理器212根据存储在如存储器211等的记录装置的程序代码所生成的请求，根据通信模块213的控制，可通过网络170传递至服务器150。反过来，根据服务器150的处理器222的控制而被提供的控制信号或指令、内容、文件等可经过通信模块223和网络170，通过电子设备110的通信模块213被接收至电子设备110。例如，通过通信模块213接收的服务器150的控制信号或指令等可传递至处理器121或存储器211，内容或文件等可存储在电子设备110还可包括的存储介质中。
输入输出接口214可以是用于与输入输出装置215连接的装置。例如，输入装置可包括键盘或鼠标等装置，输出装置可包括用于表示应用的通信会话的显示器等装置。作为另一例，输入输出接口214也可以是用于与如触摸屏等将输入和输出功能合为一体的输入输出装置连接的装置。作为更具体的例子，电子设备110的处理器212在处理加载在存储器211的计算机程序的指令时，利用由服务器150或电子设备120提供的数据而构成的服务画面或内容，可通过输入输出接口214显示在显示器上。
并且，在另一实施例中，电子设备110和服务器150可包括比图2的组件更多的组件。但是，没有必要明确示出大部分现有技术的组件。例如，电子设备110可包括上述输入输出装置215中的至少一部分，或者，还可包括无线电收发器(transceiver)、全球定位系统(GPS，Global Positioning System)模块、摄像头、各种传感器、数据库等其他组件。作为更具体的例子，当电子设备110是智能手机时，可知电子设备110还包括智能手机通常所包括的加速度传感器、陀螺传感器、摄像头、各种物理按钮、利用触摸屏的按钮、输入输出端口、用于振动的振动器等各种组件。
下面，对用于实时影像合成的代码转换器的设计及实时代码转换方法的具体实施例进行说明。
图3是示出本发明的一个实施例的实时代码转换系统可包括的组件的例子的图。图3表示实时代码转换系统300的整体结构。实时代码转换系统300的组件可包括在通过图1及图2说明的起到流式传输服务器作用的服务器150的处理器222中。服务器150的处理器222和处理器222的组件可控制服务器150以执行以下说明的实时代码转换方法。此时，处理器222和处理器222的组件可配置为执行基于存储器221所包括的操作系统的代码和至少一个程序的代码的指令(instruction)。并且，处理器222的组件可以是基于操作系统或至少一个程序提供的控制指令由处理器222执行的相互不同的功能(different functions)表现。
如图3所示，本发明的实时代码转换系统300可包括主信号源分离器(main sourcesplitter)301、缓冲器(packet queue)302、子信号源分离器(sub source splitter)303、视频解码器(video decoder)304、音频解码器(audio decoder)305、视频混合器(videomixer)306、音频混合器(audio mixer)307、视频后处理器(video post processor)308、音频后处理器(audio post processor)309、视频编码器(video encoder)310、音频编码器(audio encoder)311及复用器(muxer,multiplexer)312。
具有上述结构的实时代码转换系统300提供用于将追加的其他影像合成到实时提供的现场影像上的代码转换器设计。尤其，实时代码转换系统300在编辑实时影像时，在混合器306、307的前端动态追加或去除的子影像可通过混合器306、307处理，另外基于通过解码器304、305解码的帧，在混合器306、307中混合或切换输入影像。
实时代码转换系统300大致可分为从信号源端301、302至解码器304、305的输入配置(source)、包括混合器306、307和后处理器308、309的影像编辑配置(transform)及包括编码器310、311和复用器312的输出配置(writer)。
简单观察输入配置(source)的操作，如图4所示，通过主信号源分离器301将主影像分离为视频数据和音频数据，并可以将分离为视频数据和音频数据的数据包通过各自的缓冲器302进行预定时间的排队(queing)。此时，缓冲器302可以起到将作为现场影像的主影像人为地延迟预定时间的作用，以便在进行实时代码转换过程中追加其他影像或去除已追加的影像。尤其，缓冲器302用于提供与影像合成相关的远程控制的数据包队列，为了远程控制，将输入比特流存储在内部队列中，从而可以够执行延迟功能。现场影像在通过影像编辑配置(transform)的混合器306、307之前经过数据包队列302，从而能够实现在进行影像的代码转换过程中追加其他影像或去除已追加的影像的功能。
在输入配置(source)中被分离为视频数据和音频数据的输入比特流为压缩状态的数据包，可通过缓冲器302对压缩的视频/音频比特流进行预定时间的缓冲后传递至解码器304、305。实时代码转换系统300可在输入配置(source)中执行现场输入时间同步化。例如，实时代码转换系统300可接收从提供子影像(例如，广告等)的服务器150或远程控制器传递的绝对时间戳(absolute timestamp)，绝对时间戳通过信号源分离器301、303来使用，在信号源分离器301、303中可通过绝对时间戳来实现与服务器150或远程控制器之间的时间同步。换句话说，可从服务器150或远程控制器获得可在信号源分离器301、303共同识别的绝对时间戳，且基于绝对时间戳在信号源分离器301、303之间可收发用于影像合成的指令。所述输入配置(source)的特征在于与数据包队列302的组合，在现场影像通过混合器306、307之前，将服务器150或远程控制器的转换指令适用在输入配置(source)，从而能够执行精确的影像切换。
图4的输入配置(source)是将与现场影像对应的比特流为对象来进行说明的，如图3所示，连接在子信号源的子影像的情况下，根据现场影像的延迟，通过子信号源分离器303分离的视频/音频比特流传递至解码器304、305。
输出配置(writer)是用于将输入比特流生成为目标形式的结果物的结构，例如，如图5所示，利用比特流复制器(bitstream duplicator)10、11对通过编码器310、311进行编码的视频/音频比特流进行复制，从而可以生成多个结果物。换句话说，输出配置(writer)可由一个被编码的比特流生成多个输出文件，例如，能够进行网络现场流式传输的同时存储MP4文件。作为另一例，也可以适用以复制解码的视频/音频帧的方式由一个输入生成多个编码结果物的多输出配置。例如，可同时进行高清晰度(HD)和标准清晰度(SD)影像的编码，且可在复制视频/音频帧后传递至HD/SD编码器。
影像编辑配置(transform)起到混合多个输入影像或者输入影像之间进行切换的作用，如图6所示，可使在两个以上的输入配置(source#1、source#2、……、source#N)中解码的多个视频/音频依次通过混合器306、307、后处理器308、309及复制器20、21来传递至至少一个输出配置(writer#1、writer#2、……、writer#N)。此时，影像编辑配置(transform)可执行将通过输入配置(source#1、source#2、……、source#N)输入的多个输入影像通过混合器306、307组合成一个并传递至输出配置(writer#1、writer#2、……、writer#N)的功能。并且，影像编辑配置(transform)在进行代码转换操作过程中，追加连接影像或解除追加连接的影像，从而能够执行实时输入替换(切换)功能。
本发明并不是基于在输入配置(source)内被压缩的比特流来执行切换操作，而是在影像编辑配置(transform)中基于经过输入配置(source)解码的帧来执行切换操作，从而能够进行帧单位的精确的切换控制。
图7表示影像编辑配置(transform)的基本操作的示例。以下对视频混合操作的方式进行说明，但音频混合操作也相同，因此省略其详细说明。
在影像编辑配置(transform)中，可从输入配置(source)的各输入(input 1、input 2、input 3)中获得可使用的影像数据。此时，基于从服务器150或远程控制器传递的绝对时间戳来判断影像数据是否可用。
在影像编辑配置(transform)中，可根据画面组合设定依次绘制从输入配置(source)获得的各影像数据，此时，各帧可通过稍微改变画面组合设定(例如，位置、透明度等)来实现画面转换效果。
在影像编辑配置(transform)中，当根据画面组合设定全部绘制各影像数据时，可向输出配置(writer)输出完成的帧。例如，如图7所示，假设输入1(input 1)、输入2(input2)、输入3(input 3)连接在影像编辑配置(transform)的混合器306、307时，从各输入依次(例如，按input 1→input 2→input 3的顺序)获得解码的影像710、720、730，然后将获得的影像710、720、730以设定的组合绘制在共同的页面上，从而可输出绘制有所有从input1、input 2、input 3获得的影像710、720、730的完成的帧。
并且，在影像编辑配置(transform)中可适用预加载(preloading)方式。通常从读取文件到播放需要一定的数据处理时间。在影像编辑配置(transform)的混合器306、307中影像数据被处理(被绘制)之前，预先连接输入影像，从而能够使输出延迟现象最小化。换句话说，在实时代码转换系统300中，连接好输入影像后预先加载数据直到实际操作时点。在实时加载方式的情况下，如图8(A)所示，会出现根据加载的输出流量暂时下降的现象，然而在适用预加载方式的情况下，如图8(B)所示，可知输出流量保持恒定的水平。
并且，为了在影像编辑配置(transform)中进行实时输入替换，视频数据和音频数据要始终同步。输入影像的视频播放时间和音频播放时间可能相互不同，处理视频数据和音频数据的复杂度也不同，因此当不执行额外的同步化时，可能会产生视频数据和音频数据的处理速度差逐渐增大的问题。由于替换影像需要考虑正在处理的视频和音频的时间，因此可能难以立刻替换影像。为了解决这样的问题，在影像编辑配置(transform)中对所要处理的视频数据和音频数据的时间进行同步化。如图9所示，在影像编辑配置(transform)中共享视频混合器306和音频混合器307之间的处理时间，从而可执行视频数据和音频数据的时间同步化。为此，在影像编辑配置(transform)中，当视频数据和音频数据的处理速度差超过临界值(例如，1秒)时，使处理速度快的数据等待，使其等候延迟的数据。并且，在影像编辑配置(transform)中，当输入影像被实时连接时，可将当前处理中的视频处理时间和音频处理时间中的较大值设定为输入影像的开始时间。并且，在影像编辑配置(transform)中，相互共享视频处理部和音频处理部之间的处理时间，从而可确定输入影像的终止与否和时点，并且当输入影像终止时，可在确认视频和音频的处理全部终止后解除该影像的连接。
并且，在相同文件中的多媒体流中，视频播放时间和音频播放时间之间可能产生时间差。基于特定帧的播放时间来进行处理时，可能遗漏最后几个帧。例如，广告影像的情况下，一般在最后的帧中包含如商标等重要信息，因此如果遗漏最后的帧，则会造成大的问题。为了解决这样的问题，在影像编辑配置(transform)中，进行实时输入替换时，将影像连接的标准时间匹配于视频播放时间和音频播放时间中较长的时间。例如，参照图10，想要在input1的输入影像之后接着连接input2的输入影像时，当音频播放时间小于视频播放时间时，可在该时间差区间内插入静音(silence)数据，使得音频播放时间与视频播放时间匹配。另外，视频播放时间小于音频播放时间时，在该时间差区间内反复特定帧，例如，最后的帧，使得视频播放时间与音频的播放时间匹配。
图11至图13示出根据实时输入替换的影像连接过程的示例。假设在现场影像代码转换中连续追加三个子影像。假设三个子影像处于预先连接的状态，如图11所示，首先实时代码转换系统300在影像编辑配置(transform)中，连接在信号源1(source#1)的第一影像(现场影像)正在被处理的状态下，到达作为子影像的第二影像的追加时点时，第一影像的输出延迟的同时连接在信号源2(source#2)的第二影像传递至影像编辑配置(transform)。接着参照图12，实时代码转换系统300在第二影像的播放终止后，解除影像编辑配置(transform)中的第二影像的连接，然后替换为作为下一个子影像的连接在信号源3(source#3)的第三影像。最后，参照图13，实时代码转换系统300在第三影像的播放终止后，解除影像编辑配置(transform)中的第三影像的连接，然后替换为作为下一个子影像的连接在信号源4(source#4)的第四影像。
因此，实时代码转换系统300可在代码转换器的混合器的前端动态追加或去除输入影像，以便实时进行影像编辑，此时，在进行实时代码转换时，基于解码的帧来混合或切换输入影像。
基于在图1至图13种所说明的详细内容，本发明的实时代码转换方法可包括两种以上的操作。
如此，根据本发明的实施例，可以提供一种在进行实时代码转换的过程中可对输入影像进行混合或切换的代码转换技术。根据本发明的实施例，可提供一种不仅通过追加连接影像，还通过去除影像，在有限的资源内可进行持续的代码转换的技术。根据本发明的实施例，基于解码的帧而不是基于被压缩的比特流来实现实时代码转换，从而不仅能够进行帧单位的精确的切换控制，而且能够实现各影像之间的混合或切换效果，且不需要限制编解码器或视频容器格式。
以上说明的装置可以由硬件组件、软件组件及/或硬盘组件和软件组件的组合来实现。例如，在实施例中说明的装置及组件可利用一个以上的通用计算机或专用计算机来实现，如处理器、控制器、算术逻辑单元(ALU，arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(FPGA，fieldprogrammable gate array)、可编辑逻辑单元(PLU，programmable logic unit)、微处理器或可执行并响应指令(instruction)的任何其他装置。处理装置可执行操作系统(OS)和在所述操作系统上执行的一个以上的软件应用。并且，处理装置可响应软件的执行来访问、存储、操作、处理及生成数据。为了方便理解，处理装置在某些情况下被说明为使用一个，但本领域技术人员可以知道，处理装置还可包括多个处理元件(processing element)及/或多个类型的处理元件。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，如并行处理器(parallel processor)等其他处理配置(processing configuration)也是可行的。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或其中的一个以上的组合，可将处理装置配置为可根据需要进行操作，或者单独地或结合地(collectively)命令处理装置。软件及/或数据可被具体化(embody)在任何类型的机器、组件(component)、物理装置、虚拟设备(virtual equipment)、计算机存储介质或装置中，以便被处理装置解析或向处理装置提供指令或数据。软件分布在由网络连接的计算机系统上，可以以分布方式存储或运行。软件和数据可存储在一个以上的计算机可读记录介质中。
根据实施例的方法，以可各种计算机装置执行的程序指令形式记录在计算机可读介质中。此时，介质可继续存储计算机可执行的程序，或者，也可以为了执行或下载而临时存储。并且，介质可以是单一或多个硬件结合的形式的各种记录装置或存储装置，并不限定于直接接入某个计算机系统的介质，也可以分散存在于网络上。介质的例子有磁介质，如硬盘、软盘及磁带；光学介质，如CD-ROM及DVD；磁光介质，如软式光盘(floptical disk)；以及以存储程序指令的方式构成的介质，如ROM、RAM、闪存存储器等。并且，作为其他介质的例子，可以举出流通应用的应用程序商店，或者提供或流通其他各种软件的网页、服务器等中进行管理的记录介质及存储介质。
如上所述，通过限定的实施例和附图对实施例进行了说明，但对本领域技术人员而言，可以通过所述记载进行各种修改及变形。例如，所述技术可按照与所述方法不同的顺序来执行，及/或所述的系统、结构、装置、电路等组件可以以与所述方法不同的形式结合或组合，也可被其他组件或等同物替代或置换来达成适当的结果。
因此，其他实施、其他实施例及权利要求书的等同物也属于权利要求书的范围。

Claims (20)

1.一种实时代码转换方法，其为在由计算机实现的服务器中执行的实时代码转换方法，所述服务器包括代码转换器，所述代码转换器包括解码器、混合器及编码器，
所述实时代码转换方法包括以下步骤：
通过所述代码转换器对主影像执行实时代码转换；
在所述代码转换器的混合器前端，追加子影像或去除已追加的子影像；以及
在所述主影像的实时代码转换过程中，在所述代码转换器的混合器中混合或替换所述子影像。
2.根据权利要求1所述的实时代码转换方法，其中，
所述混合或替换的步骤包括以下步骤：
通过包括在所述解码器前端的缓冲器，对所述主影像进行预定时间的排队，以便混合或替换所述子影像。
3.根据权利要求1所述的实时代码转换方法，其特征在于，
所述代码转换器在所述解码器的前端提供用于使所述主影像延迟的数据包队列，以便混合或替换所述子影像。
4.根据权利要求1所述的实时代码转换方法，其中，
所述混合或替换的步骤包括以下步骤：
在所述代码转换器的混合器中，将所述主影像和所述子影像组合成一个。
5.根据权利要求1所述的实时代码转换方法，其中，
所述混合或替换的步骤包括以下步骤：
在所述主影像的实时代码转换过程中，在所述代码转换器的混合器中，连接所述子影像或解除所述子影像的连接，从而执行实时输入替换功能。
6.根据权利要求1所述的实时代码转换方法，其特征在于，还包括以下步骤：从提供所述子影像的服务器或远程控制器接收绝对时间戳，
所述混合或替换的步骤中，通过基于所述绝对时间戳的时间同步化，混合或替换所述子影像。
7.根据权利要求1所述的实时代码转换方法，其特征在于，
所述子影像在所述代码转换器的混合器中进行处理之前预加载，以使所述子影像的输出延迟最小化。
8.根据权利要求1所述的实时代码转换方法，其中，
所述混合或替换的步骤包括以下步骤：
对于所述主影像和所述子影像，相互共享所述代码转换器的视频混合器和音频混合器之间的处理时间，从而执行视频数据和音频数据的时间同步化。
9.根据权利要求8所述的实时代码转换方法，其特征在于，
所述执行时间同步化的步骤中，当影像被连接时，将当前的视频处理时间和音频处理时间中较大的值设定为用于播放该影像的开始时间。
10.根据权利要求8所述的实时代码转换方法，其特征在于，
所述执行时间同步化的步骤中，当影像终止时，在视频和音频的处理全部终止后解除该影像的连接。
11.根据权利要求1所述的实时代码转换方法，其中，
所述混合或替换的步骤包括以下步骤：
将用于替换所述子影像的标准时间匹配于视频播放时间和音频播放时间中较长的时间。
12.根据权利要求11所述的实时代码转换方法，其特征在于，
所述混合或替换的步骤中，当所述音频播放时间小于所述视频播放时间时，在该时间差区间内插入静音数据，
当所述视频播放时间小于所述音频播放时间时，在该时间差区间内反复特定帧。
13.一种实时代码转换系统，其为由计算机实现的服务器的实时代码转换系统，其特征在于，
所述实时代码转换系统作为用于进行实时代码转换的代码转换器，包括：
解码器，对主影像和子影像进行解码；
混合器，混合解码的所述主影像和子影像；以及
编码器，对混合的所述影像进行编码，
在所述混合器前端，追加子影像或去除已追加的子影像，从而在所述主影像的实时代码转换过程中，在所述混合器中混合或替换所述子影像。
14.根据权利要求13所述实时代码转换系统，其中，
所述代码转换器还包括缓冲器，其在所述解码器的前端提供用于使所述主影像延迟的数据包队列，以便混合或替换所述子影像。
15.根据权利要求13所述实时代码转换系统，其特征在于，
所述代码转换器中，从提供所述子影像的服务器或远程控制器接收绝对时间戳，并通过基于所述绝度时间戳的时间同步化，混合或替换所述子影像。
16.根据权利要求13所述实时代码转换系统，其特征在于，
所述代码转换器中，在所述子影像在所述混合器中进行处理之前预加载，以使所述子影像的输出延迟最小化。
17.根据权利要求13所述实时代码转换系统，其特征在于，
所述代码转换器中，对于所述主影像和所述子影像，相互共享视频混合器和音频混合器之间的处理时间，从而执行视频数据和音频数据的时间同步化。
18.根据权利要求17所述实时代码转换系统，其特征在于，
所述代码转换器中，当影像被连接时，将当前的视频处理时间和音频处理时间中较大的值设定为用于播放该影像的开始时间，
当影像终止时，在视频和音频的处理全部终止后解除该影像的连接。
19.根据权利要求13所述实时代码转换系统，其特征在于，
所述代码转换器中，将用于替换子影像的标准时间匹配于视频播放时间和音频播放时间中较长的时间。
20.根据权利要求19所述实时代码转换系统，其特征在于，
所述代码转换器中，当所述音频播放时间小于所述视频播放时间时，在该时间差区域插入静音数据，
当所述视频播放时间小于所述音频播放时间时，在该时间差区域内反复特定帧。
CN201810011080.9A 2017-01-05 2018-01-05 用于实时影像合成的代码转换器 Pending CN108282670A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170002047A KR101833942B1 (ko) 2017-01-05 2017-01-05 실시간 영상 합성을 위한 트랜스코더
KR10-2017-0002047 2017-01-05

Publications (1)

Publication Number Publication Date
CN108282670A true CN108282670A (zh) 2018-07-13

Family

ID=61726985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810011080.9A Pending CN108282670A (zh) 2017-01-05 2018-01-05 用于实时影像合成的代码转换器

Country Status (3)

Country Link
US (1) US20180192064A1 (zh)
KR (1) KR101833942B1 (zh)
CN (1) CN108282670A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102464757B1 (ko) 2018-03-29 2022-11-09 삼성전자주식회사 비디오 데이터를 스트리밍하는 시스템 및 방법
US11581018B2 (en) * 2020-09-03 2023-02-14 Fusit, Inc. Systems and methods for mixing different videos
US11843792B2 (en) * 2020-11-12 2023-12-12 Istreamplanet Co., Llc Dynamic decoder configuration for live transcoding

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084898B1 (en) * 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization
CN101796812A (zh) * 2006-03-31 2010-08-04 莱切技术国际公司 唇形同步系统和方法
CN101867801A (zh) * 2009-02-03 2010-10-20 美国博通公司 一种通信方法和通信系统
CN102948160A (zh) * 2010-06-16 2013-02-27 晶像股份有限公司 用于画中画视频生成中的存储器缩减的机制
CN103119952A (zh) * 2010-09-22 2013-05-22 汤姆逊许可公司 处理多媒体流的方法以及相应设备
CN103167342A (zh) * 2013-03-29 2013-06-19 天脉聚源(北京)传媒科技有限公司 一种音视频同步处理装置及方法
US20130279602A1 (en) * 2012-04-24 2013-10-24 Vixs Systems, Inc. Configurable transcoder and methods for use therewith
CN103458271A (zh) * 2012-05-29 2013-12-18 北京数码视讯科技股份有限公司 音视频文件拼接方法和装置
US20140118541A1 (en) * 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Transcoding mixing and distribution system and method for a video security system
US20150230002A1 (en) * 2012-04-03 2015-08-13 Activevideo Networks, Inc. Class-Based Intelligent Multiplexing Over Unmanaged Networks
CN104935827A (zh) * 2014-03-21 2015-09-23 北京同步科技有限公司 视频帧同步时嵌入音频的处理系统及处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2595454C (en) * 2005-01-24 2015-01-20 Thomson Licensing Method, apparatus and system for visual inspection of transcoded video
JP2006268619A (ja) * 2005-03-25 2006-10-05 Murata Mach Ltd 通信端末装置
KR101249447B1 (ko) * 2011-05-25 2013-04-15 주식회사 엠비씨씨앤아이 이동물체의 객체분석 모듈을 이용한 실시간 영상합성 시스템 및 이를 이용한 방송중계방법
US9047390B2 (en) * 2011-10-24 2015-06-02 Microsoft Technology Licensing, Llc Rendering hardware accelerated graphics in a web application
KR101943456B1 (ko) * 2012-04-30 2019-01-29 주식회사 케이티 트랜스코딩 서버 및 트랜스코딩 서버에서 동영상 부가 정보를 오버레이하는 방법
US9344748B2 (en) * 2014-03-31 2016-05-17 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US20180295395A1 (en) * 2016-10-17 2018-10-11 Hubtag, LLC Method for splicing video content into livestreams
US10271074B2 (en) * 2016-12-30 2019-04-23 Facebook, Inc. Live to video on demand normalization

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084898B1 (en) * 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization
CN101796812A (zh) * 2006-03-31 2010-08-04 莱切技术国际公司 唇形同步系统和方法
CN101867801A (zh) * 2009-02-03 2010-10-20 美国博通公司 一种通信方法和通信系统
CN102948160A (zh) * 2010-06-16 2013-02-27 晶像股份有限公司 用于画中画视频生成中的存储器缩减的机制
CN103119952A (zh) * 2010-09-22 2013-05-22 汤姆逊许可公司 处理多媒体流的方法以及相应设备
US20150230002A1 (en) * 2012-04-03 2015-08-13 Activevideo Networks, Inc. Class-Based Intelligent Multiplexing Over Unmanaged Networks
US20130279602A1 (en) * 2012-04-24 2013-10-24 Vixs Systems, Inc. Configurable transcoder and methods for use therewith
CN103458271A (zh) * 2012-05-29 2013-12-18 北京数码视讯科技股份有限公司 音视频文件拼接方法和装置
US20140118541A1 (en) * 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Transcoding mixing and distribution system and method for a video security system
CN103167342A (zh) * 2013-03-29 2013-06-19 天脉聚源(北京)传媒科技有限公司 一种音视频同步处理装置及方法
CN104935827A (zh) * 2014-03-21 2015-09-23 北京同步科技有限公司 视频帧同步时嵌入音频的处理系统及处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈伟: "《数据通信与计算机网络》", 31 December 2004 *

Also Published As

Publication number Publication date
US20180192064A1 (en) 2018-07-05
KR101833942B1 (ko) 2018-03-05

Similar Documents

Publication Publication Date Title
US20230006946A1 (en) First-in first-out function for segmented data stream processing
CN108924582A (zh) 视频录制方法、计算机可读存储介质及录播系统
CN108282670A (zh) 用于实时影像合成的代码转换器
CN113965751B (zh) 屏幕内容编码方法、装置、设备及存储介质
CN111818383B (zh) 视频数据的生成方法、系统、装置、电子设备及存储介质
JP2023515392A (ja) 情報処理方法、システム、装置、電子機器及び記憶媒体
US20240007510A1 (en) METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL
CN113259744A (zh) 视频的展示方法、装置、设备及介质
WO2021029671A1 (ko) 스트리밍 콘텐츠의 재생 방법 및 시스템
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
CN111541905B (zh) 一种直播方法、装置、计算机设备和存储介质
JP7312858B2 (ja) 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体
KR102238720B1 (ko) 인코딩과 업로딩의 병행 처리를 통해 미디어 파일의 전송 시간을 단축시킬 수 있는 방법 및 시스템
CN114566173A (zh) 一种音频混音方法、装置、设备及存储介质
MXPA03007574A (es) Interfase de programacion de aplicacion de desmultiplexor.
CN112291573A (zh) 直播流推送方法、装置和电子设备
CN115865877B (zh) 音视频处理方法、设备及计算机可读存储介质
US20230224557A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
WO2019172471A1 (ko) 사용자 피드백이 가능한 봇을 기반으로 영상을 제작하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체
CN115567671A (zh) 一种处理视频会议中媒体流的方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180713