JP2022506305A - 映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 - Google Patents

映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2022506305A
JP2022506305A JP2021523609A JP2021523609A JP2022506305A JP 2022506305 A JP2022506305 A JP 2022506305A JP 2021523609 A JP2021523609 A JP 2021523609A JP 2021523609 A JP2021523609 A JP 2021523609A JP 2022506305 A JP2022506305 A JP 2022506305A
Authority
JP
Japan
Prior art keywords
video
video data
coding
time
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021523609A
Other languages
English (en)
Other versions
JP7213342B2 (ja
Inventor
志新 唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Microlive Vision Technology Co Ltd
Original Assignee
Beijing Microlive Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Microlive Vision Technology Co Ltd filed Critical Beijing Microlive Vision Technology Co Ltd
Publication of JP2022506305A publication Critical patent/JP2022506305A/ja
Application granted granted Critical
Publication of JP7213342B2 publication Critical patent/JP7213342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本開示は、映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。この方法は、第１の映像を取得するステップと、リアルタイムで撮像された第２の映像データを収集するステップと、前記第２の映像データを１回目の符号化して符号化映像を得るステップと、前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、前記合成映像データを２回目の符号化して、対象映像を得るステップ、を含む。この方法で得られる対象映像画面ロスが少なく、映像画面の明瞭度が高くになる。【選択図】図２

Description

本開示は、コンピュータ技術分野に関する。特には、映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。
本願は、２０１８年１１月８日に中国国家知的財産権局に出願された中国特許出願第２０１８１１３２６１７０．３号に基づく優先権を主張するものであり、該中国特許手段の開示のすべてがここに取り込まれている。
スマート端末技術の発展に伴い、日常動作や生活を記録するために、携帯電話、タブレット、等のスマート端末を利用して映像を撮影することが多くなっている。一般に、携帯電話、タブレット、等のインテリジェント端末の記憶スペースは固定であるが、撮影映像の数が多くなるにつれて、インテリジェント端末の記憶スペースが不足するため、撮影された映像を保存することができなくなることが不可避である。したがって、撮影された映像と保存したい既存の映像とを合成して、スマート端末蓄積スペースを節約する必要がある。
従来の関連技術では、映像符号化器を用いて、撮影された映像と保存したい既存の映像とを合成し、一般的に、映像符号化器に採用されている圧縮アルゴリズムにおける圧縮が比較的に高い。しかし、合成対象映像データの大きさが一定であることを保証する条件で、高い圧縮比により、多くの映像画面ロスとなり、映像画面の鮮鋭度が低くなってしまう。
これに基づき、上記の課題に対して、映像合成方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体を提供する必要がある。
本開示の第１態様による映像合成方法は、
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップと、
を含む。
本開示の態様によると、前記第２の映像データを１回目の符号化して符号化映像を得るステップは、第１の符号化方式を用いて、前記第２の映像データを１回目の符号化して、前記符号化映像を得るステップを含み、前記合成映像データを２回目の符号化して、対象映像を得るステップは、第２の符号化方式を用いて、前記合成映像データを２回目の符号化して、前記対象映像を得るステップを含み、前記第１の符号化方式と前記第２の符号化方式とが異なる。
本開示の態様によると、前記合成映像データを２回目の符号化して、対象映像を得るステップは、前記２回目の符号化のコードレートが、前記１回目の符号化のコードレートより小さい。
本開示の態様によると、前記２回目の符号化の解像度は、前記１回目の符号化の解像度以下である。
本開示の態様によると、第１の符号化方式を用いて、前記第２の映像データを１回目の符号化して、前記符号化映像を得るステップは、第１のエントロピー符号化方式を用いて、前記第２の映像データをリアルタイム符号化して、前記符号化映像を得るステップを含む。
本開示の態様によると、前記第２の符号化方式を用いて、前記合成映像データを２回目の符号化して、前記対象映像を得るステップは、第２のエントロピー符号化方式を用いて、前記合成映像データを非リアルタイム符号化して、前記合成対象映像を得るステップを含む。
本開示の態様によると、前記第２の映像の時間長は、前記第１の映像の時間長と等しい。
本開示の第２態様による映像合成装置は、
第１の映像を取得するように構成される取得モジュールと、
リアルタイムで撮像された第２の映像データを収集するように構成される収集モジュールと、
前記第２の映像データを１回目の符号化して符号化映像を得るように構成される第１の符号化モジュールと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るように構成される映像合成モジュールと、
前記合成映像データを２回目の符号化して対象映像を得るように構成される第２の符号化モジュールと、を含む。
本開示の第３態様によるメモリとプロセッサを含むコンピュータ機器であって、前記メモリにコンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、前記コンピュータ機器に本開示の第１態様による方法の以下のステップを実現させる。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップ、
である。
本開示の第４態様によるコンピュータ読み取り可能な記憶媒体には、プロセッサによって実行されると、本開示の第１態様による方法の以下のステップを実現するコンピュータプログラムが記憶される。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップ、
である。
本実施形態に係る映像合成方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体により、対象映像画面ロスが少なく、映像画面の明瞭度が高く、なる。
図１は、本開示の実施形態に係る映像合成システムのユースケース図である。 図２は、本開示の実施形態に係る映像合成方法の流れを示したフローチャートである。 図３は、本開示の実施形態に係るアプリケーションインターフェースの概略図である。 図４は、本開示の他の実施形態に係る映像合成方法の流れを模式的に示す図である。 図５は、本開示の実施形態に係る映像合成装置の概略構成図である。 図６は、本開示の実施形態に係るコンピュータ機器の構成図である。
本開示の実施形態の目的、技術案、及び利点をより明確にするため、以下、本開示の実施形態の技術的特徴について、本開示における図面と組み合わせて明確かつ一義的に説明する。このように、本開示の実施形態は、すべての実施形態ではなく、本開示の一部の形態であることは明らかである。本開示における実施形態に基づいて、当業者が、創造的な労働なしに得られるあらゆる他の実施形態は、本開示の範囲に属するものである。
本開示の実施形態に係る映像合成方法は、図１に示す映像合成システムのユースケースに適用することが可能である。ただし、コンピュータ機器１１０は、スマートフォン、タブレット、ノートパソコン、デスクトップパソコン、又はパーソナルデジタルアシスタント等の映像撮影や処理機能を有する電子機器であってもよいし、本開示の実施形態は、コンピュータ機器１１０の具体的な態様に限定されない。なお、コンピュータ機器１１０は、各種アプリケーション（例えばアプリケーション１１１）の動作をサポートしてもよい。また、アプリケーション１１１は、コンピュータ機器１１０の画像収集装置により合成対象映像の映像素材を取得し、映像データ素材を合成して対応する映像を得て、その得られた映像をアプリケーション１１１のインターフェースを介して出力することができる。また、アプリケーション１１１は、映像、画像などの素材処理アプリケーションであってもよいし、ブラウザアプリケーションなどであってもよい。本開示の実施形態のアプリケーション１１１の具体的な形式は、限定されない。
なお、本開示の実施形態に係る映像合成方法は、実行主体が映像合成装置であって、コンピュータ機器となる一部又は全部を、ソフトウェア、ハードウェア、又はソフトハードウェアの組み合わせによって実現してもよい。
本開示の目的、技術案、及び利点をより明らかにするため、下記の実施形態により、図面を結合して、本開示の実施形態における技術的思想を更に詳細に説明する。なお、ここで述べる具体的な実施形態は本開示のみを解釈するためのものであり、本開示を限定するものではない。
図２は、本開示の実施形態に係る映像合成方法の流れを示したフローチャートである。本開示の実施形態は、コンピュータ機器が第１の合成映像データを符号化して第２の合成映像を得る具体的な手順に関する。図２に示すように、この映像合成方法は、下記のＳ１０１～Ｓ１０５を含む。
Ｓ１０１において、第１の映像を取得する。
本開示の一実施形態において、前記第１の映像は、コンピュータ機器がローカルに記憶する映像、コンピュータ機器が予め撮影し保持しているローカル映像、コンピュータ機器が予めダウンロードし保持しているローカル映像であってもよいし、クラウド側が記憶している映像であってもよいが、本開示の実施形態は何ら限定されるものではない。
なお、コンピュータ機器は、受信したタップ指示に従って第１の映像を取得することができ、取得された第１の映像は、任意の１つのローカル映像であってもよいが、本開示の実施形態について何ら限定されるものではない。
Ｓ１０２において、リアルタイムで撮影された第２の映像データを収集する。
本開示の一実施形態において、コンピュータ機器は、受信した撮影指示に従って、第２の映像データをリアルタイムで撮影することができる。また、上述した撮影コマンドは、ユーザがコンピュータ機器上の撮影ボタン（例えば、ハードウェアボタン、仮想ボタン、インタラクションインターフェース、など）を押下することによって生成され得る。なお、コンピュータ機器がアプリケーションを開いた後のインターフェースは、例えば図３に示すインターフェースであってもよく、当該アプリケーションがスプリットビュー機能を有していてもよい。図３に示すように、ローカル映像再生エリア及び撮影映像再生エリアの位置は、アプリケーションにより予め設定されている。
例えば、図３を参照すると、ユーザは、アプリケーションを開いて、右側のローカル映像再生領域をクリックして、ローカルに保存された一つの映像を選択可能とし、撮影ボタンを押したままで左側の撮影映像再生領域からリアルタイムで撮影された映像を収集することを可能とし、撮影時間長が第１の映像の時間長に等しい場合に、自動的に撮影を終了する。あるいは、第１の映像の時間長よりも撮影時間長が短い場合、撮影ボタンを離すようにしてもよく、その際、第１の小映像の撮影が終了し、再び撮影ボタンを押したままで、第２の小映像の撮影が始まり、撮影された最後の小映像の時間長と以前の全ての小映像の撮影の時間長の和が第１の映像の時間長に相当するまで、自動的に撮影が終了する。
また、第２の映像の時間長と第１の映像の時間長とは等しい。
また、ユーザは、第２の映像を撮影する過程において、第２の映像の時間長が第１の映像の時間長に等しくなるまでコンピュータ機器における撮影ボタンを一度に押下することができ、撮影が自動的に終了する。なお、ユーザは、コンピュータ機器における撮影ボタンを複数回押下して、リアルタイムで撮影された第２の映像データを得ることができ、複数回のボタン撮影ボタンの時間長の和が、第１の映像の時間長に等しい。例えば、第１の映像の時間長が６分であり、ユーザが撮影ボタンを３回押すことによりリアルタイムで撮影された第２の映像データを得て、１回目に撮影ボタンを押す時間長が１分であり、終了後、１回目の撮影後に２回目に撮影ボタンを押す時間長が２分であれば、３回目に撮影ボタンを押してから今度の撮影の時間長が３分である時に、撮影が自動的に終了する。また、前記第２の映像データの解像度及びコードレートは、コンピュータ機器に第２の映像データに対応のソフトウェアを撮影する初期値に基づいて決定されてよく、前記第２の映像データを撮影するソフトウェアの決定後に、前記第２の映像データの解像度及びコードレートを決定することができる。
Ｓ１０３において、第２の映像データを１回目に符号化して、符号化映像を得る。
具体的には、コンピュータ機器は、第２の映像データをリアルタイムで撮影する過程において、リアルタイムで撮影された第２の映像データを１回目に符号化して、符号化映像を得る。
なお、前記１回目の符号化は、特定の圧縮技術としては、ある映像フォーマットのファイルを別の映像フォーマットファイルに変換する方式を表すことができる。
Ｓ１０４において、第１の映像と符号化映像とを合成して、合成映像データを得る。
なお、符号化映像を得た後、コンピュータ機器に自動的に第１の映像と符号化映像を合成させて合成映像データを生成することができる。その過程において、コンピュータ機器は、アプリケーションプログラムのインターフェースに、合成済み映像データのパーセントを表現可能なロードデータの文様を表示し、かつ、そのロード度を表示させることができる。
Ｓ１０５において、合成映像データを２回目に符号化して、対象映像を得る。
本開示の一実施形態において、コンピュータ機器は、合成映像データを２回目に符号化して、対象映像を得ることができる。なお、対象映像の時間長と合成映像の時間長とは等しくてもよい。また、前記２回目の符号化は、ある映像フォーマットのファイルを別の映像フォーマットファイルに変換する方式を、特定の圧縮技術として表すことができる。また、ユーザのニーズに応じて対象映像の解像度やコードレートを自ら決定してもよい。
なお、合成映像データを得た後に、コンピュータ機器は、合成映像データを自動的に２回目に符号化することができる。同時に、２回目の符号化が完了すると、コンピュータ機器は、符号化された対象映像を再生することができる。
本実施形態に係る映像合成方法により、コンピュータ機器で得られる対象映像画面の損失が少なく、映像画面の解像度が高くなる。
図４は、本開示の他の実施形態に係る、ステップＳ１０１、Ｓ１０２、Ｓ１０３１、Ｓ１０４、Ｓ１０５１を具体的に含む映像合成方法の流れを説明する図であり、ステップＳ１０１、Ｓ１０２、Ｓ１０４は前記内容と同様であるので、説明を省略する。
Ｓ１０３１において、第１の符号化方式を用いて、第２の映像データを１回目に符号化して、符号化映像を得る。
具体的に、コンピュータ機器は、第２の映像データをリアルタイムで撮影する過程において、第１の符号化方式を用いて、リアルタイムで撮影される第２の映像データを第１に可逆符号化して、符号化映像を得る。
なお、１回目の符号化で得られた符号化映像の鮮鋭度は、リアルタイムで撮影された第２の映像の鮮鋭度と一致であることができる。
Ｓ１０５１において、第２の符号化方式を用いて、合成映像データを２回目に符号化して、対象符号化映像を得る。
ただし、第１の符号化方式と第２の符号化方式とは異なるものである。
また、２回目の符号化におけるコードレートは、１回目の符号化におけるコードレートよりも小さく、２回目の符号化における解像度は、１回目の符号化における解像度以下である。
本開示の一実施形態において、コンピュータ機器は、第２の符号化方式を用いて、合成映像データを第２に可逆符号化して、対象画像を得て、２回目の符号化のコードレートは１回目の符号化のコードレートよりも小さく、２回目の符号化の解像度は１回目の符号化の解像度以下である。
本開示の実施形態によれば、２回目の符号化の解像度及びコードレートは、それぞれ対象の映像の解像度及びコードレートと等しくてもよい。
本実施形態に係る映像合成方法において、コンピュータ機器は、第１の符号化方式を用いて、第２の映像データを第１に可逆符号化して、１回目の符号化により符号化映像の解像度とリアルタイムで撮影された第２の映像の解像度とできるだけ等しくして、第２の符号化方式を用いて、１回目の符号化後に得られた符号化映像を１回目の符号化よりもコードレートが小さく１回目の符号化の解像度以下の２回目の符号化の解像度を用いた２回目の符号化して、対象符号化映像を得ることができる。その方法は、得られる対象符号化映像ファイルが小さい場合に、対象符号化映像画面の欠落を防ぎ、対象符号化映像画面の解像度を高く保つことができる。
ある一実施形態では、前記第１の符号化方式を用いて、第２の映像データを１回目に符号化し、符号化映像を得る前記ステップは、第１のエントロピー符号化方式を用いて、第２の映像データがリアルタイムで符号化され、符号化映像が得られるステップ含む。
本開示の一実施形態において、コンピュータ機器は、リアルタイムで撮影された第２の映像データを、第１のエントロピー符号化方式を用いてリアルタイムで符号化して、符号化映像を得ることができる。また、前記エントロピー符号化方式は、エントロピー原理に従って、何の情報も消失しない符号化であることを表すことができる。また、前記第１のエントロピー符号化方式は、シャノン符号化、ハフマン符号化、算術符号化、又はゴロム符号化等であってもよいが、限定されてはいない。
なお、前記リアルタイム符号化は、符号化映像の全フレーム数が一定で、且つ、符号化の速度が一定であることを表すことができる。
本実施形態に係る映像合成方法において、コンピュータ機器は、第１のエントロピー符号化方式を用いて第２の映像データをリアルタイムで符号化し、符号化のコードレートが大きく保たれる場合に、映像画面の欠落を防ぎ、得られる符号化映像の解像度を高く保つ。
本開示の実施形態では、上述の第２の符号化方式を用いて、合成映像データを２回目に符号化して、対象映像を得るステップは、第２のエントロピー符号化方式を用いて合成映像データを非リアルタイムで符号化し、対象映像を得るステップを含む。
本開示の一実施形態において、コンピュータ機器は、第２のエントロピー符号化方式を用いて、１回目の符号化で得られた合成映像データを非リアルタイムで符号化して、対象映像を得る。また、前記第２のエントロピー符号化方式は、シャノン符号化、ハフマン符号化、算術符号化、又はゴロム符号化等であってもよいが、本実施形態に限定されてはいない。また、前記ノンリアルタイム符号化は、符号化映像データの総フレーム数が一定であることを示すものであってもよく、符号化の速度に何ら限定されず、符号化映像データの総時間長のみを考慮する必要がある。また、非リアルタイム符号化の符号化速度は、リアルタイム符号化の符号化速度よりも遅くてもよい。
本実施形態において、コンピュータ機器は、第２のエントロピー符号化方式を用いて、合成映像データを非リアルタイムで符号化することで、映像符号化のコードレートが小さい場合、得られる対象映像の画面ロスが少なく、鮮明性が高いことを保証することができる映像合成方法を提供する。
なお、図２～図４のフローチャートの各ステップは、矢印の指示に従って順次に表示されているが、必ずしも、矢印の指示に従って順次実行される必要はない。また、本明細書中で明示的に説明されていなければ、これらのステップの実行は、厳密な順序に限定されず、他の順序で実行されてもよい。また、図２～図４の少なくとも一部のステップが、複数のサブステップ又は複数のフェーズを含んでいてもよく、これらサブステップ又はフェーズは、必ずしも同一のタイミングで実行完了する必要はなく、異なるタイミングで実行されてもよい。これらのサブステップ又はフェーズの実行順序も必ずしも順次に行われる必要はなく、他のステップ、又は他のステップのサブステップ、もしくはフェーズの少なくとも一部と、順次または交互に実行されてもよい。
映像合成装置の具体的な記述については、上述した映像合成方法に関する説明を参照することができ、説明を省略する。前記コンピュータ機器の映像合成装置の各ブロックの全部又は一部は、ソフトウェア、ハードウェア、及び、それらの組み合わせにより実現され得る。前記の各モジュールは、コンピュータ機器のうちプロセッサとハードウェア的に内藏あるいは独立されていてもよいし、コンピュータ機器のメモリにソフトウェア的に記憶されており、プロセッサが前記の各モジュールに対応する動作を呼び出し、実行するようにしてもよい。
図５は、一実施形態に係る映像合成装置の構成図である。図５に示すように、この装置は、取得モジュール１１と、収集モジュール１２と、第１の符号化モジュール１３と、映像合成モジュール１４と、第２の符号化モジュール１５とを含むことができる。
本開示の一実施形態において、取得モジュール１１は、第１の映像を取得することができる。
収集モジュール１２は、リアルタイムで撮像された第２の映像データを収集することができる。
第１の符号化モジュール１３は、第２の映像データを１回目に符号化して、符号化映像を得ることができる。
映像合成モジュール１４は、第１の映像と符号化映像とを合成して、合成映像データを得ることができる。
第２の符号化モジュール１５は、合成映像データを２回目に符号化して、対象映像を得ることができる。
また、第２の映像の時間長と第１の映像の時間長とは、等しい。
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
また、本開示の他の実施形態は、映像合成装置を提供する。図５に示す映像合成装置と異なり、第１の符号化モジュール１３が、第１の符号化方式を用いて第２の映像データを１回目に符号化して、符号化映像を得ることができ、第２の符号化モジュール１５が第２の符号化方式を用いて合成映像データを２回目に符号化して、対象映像を得ることができる。ここで、２回目の符号化のコードレートは、１回目の符号化のコードレートよりも小さい。また、２回目の符号化の解像度は、１回目の符号化の解像度以下である。
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
また、図５を参照しながら、図５に示す実施形態の上で、第１の符号化モジュール１３は、さらに、第１のエントロピー符号化方式を用いて、第２の映像データをリアルタイムで符号化して合成映像データを得ることができる。
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
本開示の実施形態では、第２の符号化モジュール１５は、さらに、第２のエントロピー符号化方式を用いて、合成映像データを非リアルタイムで符号化して、対象映像を得ることができる。
本実施形態に係る映像合成装置は、上述した方法の実施形態を実行することができ、その原理や技術効果を同様とすることができ、説明を省略する。
一実施形態において、図６に示すような内部構造図を実現することができるコンピュータ機器が提供される。コンピュータ機器は、システムバスを介して接続されるプロセッサと、メモリと、ネットワークインターフェースと、表示パネルと、入力装置と、を含む。その中で、このコンピュータ機器のプロセッサは、演算及び制御能力を提供するものである。このコンピュータ機器のメモリは、不揮発性の記憶媒体と、内部メモリとを含む。この不揮発性記憶媒体には、オペレーティングシステム及びコンピュータプログラムが記憶される。この内部メモリは、不揮発性記憶媒体におけるオペレーティングシステムおよびコンピュータプログラムの実行に対する環境を提供する。このコンピュータ機器のネットワークインターフェースは、外部の端末とネットワーク接続を介して通信するためのものである。このコンピュータプログラムは、プロセッサによって実行されることで、本開示の映像合成方法を実現する。このコンピュータ機器の表示パネルは、液晶ディスプレイあるいは電子インクディスプレイであってよい。このコンピュータ機器の入力装置は、表示画面に被せられるタッチ層であってもよいし、コンピュータ機器筐体に設けられたキー、トラックボール、またはタッチパッドであってもよいし、外部のキーボード、タッチパッド、またはマウス、等であってもよい。
当業者であれば、図６に示した構成は、単なる本開示に係る一部の構成のブロックに過ぎず、本開示に係る構成を適用するコンピュータ機器に限定されるものではなく、具体的なコンピュータ機器は、図示した部品より多くまたは少なく、あるいは、何らかの部品を組み合わせたり、異なる部品の配置を有したりすることが可能であることが分かる。
本開示の実施形態において、コンピュータプログラムを格納するメモリと、コンピュータプログラムを実行すると以下のステップが実現されるプロセッサと、を含むコンピュータ機器が提供される。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップ、である。
一実施形態において、プロセッサによって実行される時に下記の方法のことを実現するコンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体が提供される。
第１の映像を取得するステップと、
リアルタイムで撮像された第２の映像データを収集するステップと、
前記第２の映像データを１回目の符号化して符号化映像を得るステップと、
前記第１の映像と前記符号化映像とを合成して合成映像データを得るステップと、
前記合成映像データを２回目の符号化して、対象映像を得るステップと、を含む。
当業者であれば、コンピュータプログラムによって関連するハードウェアを指令することにより、上述の実施形態の方法の全部又は一部の流れを実現することは理解できる。コンピュータプログラムは、一つの不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されていてもよく、コンピュータプログラムの実行時に、上述した各方法の実施形態の流れが含まれていてもよい。なお、本明細書に開示する各実施形態で用いられるメモリや、ストレージ、データベース、その他のメディアに対する参照は、不揮発性及び／又は揮発性メモリも含み得る。不揮発性メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ＥＰＲＯＭ（Ｅｌｅｃｔｒｏ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを備えることができる。揮発性メモリは、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又は外部キャッシュメモリを含むことができる。なお、説明のため限定されず、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスメント型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ダイレクトバス（Ｒａｍｂｕｓ）ＲＡＭ（ＤＲＲＡＭ）メモリ、ダイレクトバス・ダイナミックＲＡＭ（ＤＲＤＲＲＡＭ）メモリ、及び、バスダイナミックＲＡＭ（ＲＤＲＡＭ）メモリ、等、様々な形式で得ることができる。
以上、前記の実施形態は、本開示のいくつかの実施形態を表現しているだけであり、その説明は具体的であり、説明は詳細なものであるが、本開示の特許請求の範囲を制限するものとは理解されない。なお、当業者にとって、本開示の技術的範囲を逸脱することなく、いくつかの変形、改良を加えることも可能である。従って、本開示特許の保護範囲は、
添付請求項に準ずるべきである。

Claims (10)

  1. 第１の映像を取得するステップと、
    リアルタイムで撮像された第２の映像データを収集するステップと、
    前記第２の映像データを１回目の符号化して、符号化映像を得るステップと、
    前記第１の映像と前記符号化映像とを合成して、合成映像データを得るステップと、
    前記合成映像データを２回目の符号化して、対象映像を得るステップと、
    を含む、映像合成方法。
  2. 前記第２の映像データを１回目に符号化して、符号化映像を得るステップは、第１の符号化方式を用いて、前記第２の映像データを１回目に符号化して、前記符号化映像を得るステップを含み、
    前記合成映像データを２回目に符号化して、対象映像を得るステップは、第２の符号化方式を用いて、前記合成映像データを２回目に符号化して、前記対象映像を得るステップを含み、
    前記第１の符号化方式と前記第２の符号化方式は、異なる、
    請求項１に記載の方法。
  3. 前記２回目の符号化のコードレートは、前記１回目の符号化のコードレートより小さい、
    請求項１に記載の方法。
  4. 前記２回目の符号化の解像度は、前記１回目の符号化の解像度以下である、
    請求項３に記載の方法。
  5. 第１の符号化方式を用いて、前記第２の映像データを１回目に符号化して、前記符号化映像を得るステップは、第１のエントロピー符号化方式を用いて、前記第２の映像データをリアルタイムで符号化して、前記符号化映像を得るステップを含む、
    請求項２に記載の方法。
  6. 前記第２の符号化方式を用いて、前記合成映像データを２回目に符号化して、前記対象映像を得るステップは、第２のエントロピー符号化方式を用いて、前記合成映像データを非リアルタイムで符号化して、合成対象映像を得るステップを含む、
    請求項２に記載の方法。
  7. 前記第２の映像の時間長は、前記第１の映像の時間長と等しい、
    請求項１に記載の方法。
  8. 第１の映像を取得するように構成される取得モジュールと、
    リアルタイムで撮像された第２の映像データを収集するように構成される収集モジュールと、
    前記第２の映像データを１回目に符号化して、符号化映像を得るように構成される第１の符号化モジュールと、
    前記第１の映像と前記符号化映像とを合成して、合成映像データを得るように構成される映像合成モジュールと、
    前記合成映像データを２回目に符号化して、対象映像を得るように構成される第２の符号化モジュールと、
    を含む、映像合成装置。
  9. メモリとプロセッサを含むコンピュータ機器であって、
    プロセッサによって実行されるコンピュータプログラムが前記メモリに記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１乃至７のいずれか一項に記載の方法のステップを実施する、コンピュータ機器。
  10. コンピュータプログラムがプロセッサによって実行されると、請求項１乃至７のいずれか一項に記載の方法のステップを実施するコンピュータプログラムが記憶される、コンピュータ読み取り可能な記憶媒体。
JP2021523609A 2018-11-08 2019-10-24 映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 Active JP7213342B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811326170.3A CN109547711A (zh) 2018-11-08 2018-11-08 视频合成方法、装置、计算机设备及可读存储介质
CN201811326170.3 2018-11-08
PCT/CN2019/113117 WO2020093879A1 (zh) 2018-11-08 2019-10-24 视频合成方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
JP2022506305A true JP2022506305A (ja) 2022-01-17
JP7213342B2 JP7213342B2 (ja) 2023-01-26

Family

ID=65845226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523609A Active JP7213342B2 (ja) 2018-11-08 2019-10-24 映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体

Country Status (7)

Country Link
US (1) US11706463B2 (ja)
EP (1) EP3879815A4 (ja)
JP (1) JP7213342B2 (ja)
KR (1) KR20210064353A (ja)
CN (1) CN109547711A (ja)
BR (1) BR112021008934A2 (ja)
WO (1) WO2020093879A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547711A (zh) 2018-11-08 2019-03-29 北京微播视界科技有限公司 视频合成方法、装置、计算机设备及可读存储介质
CN111324249B (zh) * 2020-01-21 2020-12-01 北京达佳互联信息技术有限公司 多媒体素材生成方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112269A (ja) * 2000-09-26 2002-04-12 Yamaha Corp 画像合成方法および画像合成装置
JP2004310881A (ja) * 2003-04-04 2004-11-04 Sony Corp 情報処理装置および方法、並びにプログラム、並びに記録媒体
JP2006033755A (ja) * 2004-07-21 2006-02-02 Fuji Xerox Co Ltd 画像処理装置
JP2008306394A (ja) * 2007-06-06 2008-12-18 Canon Inc 画像処理装置およびその方法
JP2013258532A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラム
JP2014192557A (ja) * 2013-03-26 2014-10-06 Kddi Corp 被写体画像抽出装置および被写体画像抽出・合成装置
JP2015027055A (ja) * 2013-07-29 2015-02-05 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体
JP2015053741A (ja) * 2008-09-24 2015-03-19 株式会社ニコン 画像再生装置
JP2016119594A (ja) * 2014-12-22 2016-06-30 キヤノン株式会社 表示装置及び制御方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384790B2 (en) 2002-08-20 2013-02-26 Hewlett-Packard Development Company, L.P. Video image enhancement method and apparatus using reference and auxiliary frames
KR100515961B1 (ko) 2002-12-13 2005-09-21 삼성테크윈 주식회사 재압축을 수행하는 디지털 카메라의 제어 방법
JP4806515B2 (ja) * 2003-05-19 2011-11-02 株式会社日立製作所 符号化装置、これを用いたビデオカメラ装置及び符号化方法
KR20050071822A (ko) 2004-01-02 2005-07-08 황정우 동영상 편집 기능을 갖는 이동통신 단말기 및 그 방법과동영상 편집 서비스 서버 및 그 방법
JP5082209B2 (ja) * 2005-06-27 2012-11-28 株式会社日立製作所 送信装置、受信装置、及び映像信号送受信システム
KR100836616B1 (ko) 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
CN101316366A (zh) * 2008-07-21 2008-12-03 北京中星微电子有限公司 图像编/解码方法和图像编/解码装置
TW201236462A (en) * 2011-02-21 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for recording a video
CN102238410B (zh) * 2011-06-15 2016-06-29 康佳集团股份有限公司 多视点图像的合成方法
US8953079B2 (en) 2012-12-31 2015-02-10 Texas Instruments Incorporated System and method for generating 360 degree video recording using MVC
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
WO2016209125A1 (en) * 2015-06-23 2016-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for transcoding
KR102509939B1 (ko) 2015-10-13 2023-03-15 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 인코딩 방법
CN105979267A (zh) 2015-12-03 2016-09-28 乐视致新电子科技（天津）有限公司 一种视频压缩、播放方法以及装置
CN105791938B (zh) * 2016-03-14 2019-06-21 腾讯科技（深圳）有限公司 多媒体文件的拼接方法和装置
CN111784615A (zh) * 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN108243318B (zh) * 2016-12-30 2020-09-25 广州华多网络科技有限公司 一种单接口实现多影像采集装置直播的方法及装置
EP3364342A1 (en) * 2017-02-17 2018-08-22 Cogisen SRL Method for image processing and video compression
CN107295352B (zh) * 2017-06-14 2021-02-23 北京蜜莱坞网络科技有限公司 一种视频压缩方法、装置、设备及存储介质
US10306250B2 (en) * 2017-06-16 2019-05-28 Oath Inc. Video encoding with content adaptive resource allocation
EP3724876B1 (en) * 2018-02-01 2022-05-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio scene encoder, audio scene decoder and related methods using hybrid encoder/decoder spatial analysis
CN108769561B (zh) * 2018-06-22 2021-05-14 广州酷狗计算机科技有限公司 视频录制方法及装置
CN108924464B (zh) * 2018-07-10 2021-06-08 腾讯科技（深圳）有限公司 视频文件的生成方法、装置及存储介质
CN109547711A (zh) 2018-11-08 2019-03-29 北京微播视界科技有限公司 视频合成方法、装置、计算机设备及可读存储介质
US11398833B2 (en) * 2019-10-02 2022-07-26 Apple Inc. Low-latency encoding using a bypass sub-stream and an entropy encoded sub-stream
US11297332B1 (en) * 2020-10-30 2022-04-05 Capital One Services, Llc Gaze-tracking-based image downscaling for multi-party video communication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112269A (ja) * 2000-09-26 2002-04-12 Yamaha Corp 画像合成方法および画像合成装置
JP2004310881A (ja) * 2003-04-04 2004-11-04 Sony Corp 情報処理装置および方法、並びにプログラム、並びに記録媒体
JP2006033755A (ja) * 2004-07-21 2006-02-02 Fuji Xerox Co Ltd 画像処理装置
JP2008306394A (ja) * 2007-06-06 2008-12-18 Canon Inc 画像処理装置およびその方法
JP2015053741A (ja) * 2008-09-24 2015-03-19 株式会社ニコン 画像再生装置
JP2013258532A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラム
JP2014192557A (ja) * 2013-03-26 2014-10-06 Kddi Corp 被写体画像抽出装置および被写体画像抽出・合成装置
JP2015027055A (ja) * 2013-07-29 2015-02-05 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体
JP2016119594A (ja) * 2014-12-22 2016-06-30 キヤノン株式会社 表示装置及び制御方法

Also Published As

Publication number Publication date
KR20210064353A (ko) 2021-06-02
EP3879815A1 (en) 2021-09-15
WO2020093879A1 (zh) 2020-05-14
CN109547711A (zh) 2019-03-29
BR112021008934A2 (pt) 2021-08-10
EP3879815A4 (en) 2022-07-13
US20220007061A1 (en) 2022-01-06
JP7213342B2 (ja) 2023-01-26
US11706463B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
JP6590925B2 (ja) 動画像を作成するための方法
CN102521235B (zh) 连拍模式图像压缩和解压
WO2020248948A1 (zh) 动画文件处理方法、装置、计算机可读存储介质和计算机设备
DE112015000950T5 (de) Abwärtskompatible Einrichtung und abwärtskompatibles Verfahren zum Bereitstellen von Video mit sowohl Standard- als auch hohem Dynamikbereich
US20140086309A1 (en) Method and device for encoding and decoding an image
CN103929576B (zh) 压缩相机收集的图像数据的方法及支持该方法的电子装置
KR101948692B1 (ko) 촬영 장치 및 이미지 합성 방법
JP7213342B2 (ja) 映像合成方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
KR20190129752A (ko) 전자 서명을 생성하기 위한 방법 및 전자 디바이스
WO2019072140A1 (zh) 图像硬件编码处理方法和装置
JP6588801B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
TW201617860A (zh) 對顯示裝置的顯示圖像進行截屏的方法及裝置
CN108388461A (zh) 一种用于固件的屏幕图像截取方法与装置
CN113497963B (zh) 视频处理方法、装置及设备
CN116052701B (zh) 一种音频处理方法及电子设备
CN109246377B (zh) 视频数据存储、读取方法及视频数据存储设备
JP5012668B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR100918067B1 (ko) 고속 영상 디스플레이 방법 및 시스템
CN112188213B (zh) 编码方法、装置、计算机设备和存储介质
CN104581175A (zh) 影像处理装置与方法
CN116055799B (zh) 多轨道视频编辑方法、图形用户界面及电子设备
JP5106333B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
KR102129870B1 (ko) 동영상 압축 장치 및 방법
CN117729296A (zh) 视频生成方法、装置、计算机设备、存储介质和程序产品
CN116723389A (zh) 一种基于通用上位机的视频处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230116

R150 Certificate of patent or registration of utility model

Ref document number: 7213342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150