JP2020108136A - マルチストリーム映像処理装置及びマルチストリーム映像処理方法 - Google Patents

マルチストリーム映像処理装置及びマルチストリーム映像処理方法 Download PDF

Info

Publication number
JP2020108136A
JP2020108136A JP2019127682A JP2019127682A JP2020108136A JP 2020108136 A JP2020108136 A JP 2020108136A JP 2019127682 A JP2019127682 A JP 2019127682A JP 2019127682 A JP2019127682 A JP 2019127682A JP 2020108136 A JP2020108136 A JP 2020108136A
Authority
JP
Japan
Prior art keywords
video
circuit
picture
main video
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019127682A
Other languages
English (en)
Other versions
JP6894473B2 (ja
Inventor
明勇 孫
Ming-Yong Sun
明勇 孫
浩 汪
Hiroshi O
浩 汪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Sigmastar Technology Ltd
Original Assignee
Xiamen Sigmastar Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Sigmastar Technology Ltd filed Critical Xiamen Sigmastar Technology Ltd
Publication of JP2020108136A publication Critical patent/JP2020108136A/ja
Application granted granted Critical
Publication of JP6894473B2 publication Critical patent/JP6894473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】後段回路の設置コストを抑えたマルチストリーム映像処理装置を提供する。【解決手段】同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成。する前段回路１２０は、処理時間区間において、サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に、メイン映像ストリームのＮ個目のメイン映像ピクチャを、メモリモジュールにおけるメイン映像一時記憶領域に格納する。後段回路１３０は、処理時間区間の第１サブ区間において、メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納されたサブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、第１サブ区間の後の第２サブ区間において、メイン映像一時記憶領域に格納されたＮ個目のメイン映像ピクチャを読み取り、処理を行う。【選択図】図１

Description

本発明はマルチストリーム映像処理技術に関するものであり、特に、マルチストリーム映像処理装置及びマルチストリーム映像処理方法に関する。
一部の映像技術の応用において、同一の映像から複数の映像ストリームを生成する。例えば、ネットワークカメラ（ＩＰカメラ）は、周囲環境の映像を取り出した後、対応する複数の映像ストリームを生成可能である。解像度の高い映像ストリームは、対応するディスプレイに高画質の表示画面を表示する。一方、解像度の低い映像ストリームは、解像度の低いディスプレイに、例えばリアルタイムの監視を提供するが、これらに限定されない。
しかし、複数の映像ストリームは、通常複数の対応する回路によって処理されるため、回路設置のコストが高くなる。
従来技術の問題を鑑みて、本発明の一つの目的は、従来技術を改良するように、マルチストリーム映像処理装置及び方法を提供する。
本発明のもう一つの目的は、複数の後段回路の設置によるコストの増加を回避するように、複数の映像ストリームを時分割方式で単一の後段回路によって処理するマルチストリーム映像処理装置及び方法を提供する。
本発明の一様態に係るマルチストリーム映像処理方法は、前段回路は、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行う。
本発明の一様態に係るマルチストリーム映像処理装置は、メモリモジュールと、前段回路と、後段回路と、前記メモリモジュールと、前記前段回路と、前記後段回路とに電気的に接続され、複数のファームウェア実行可能コマンドを実行することで、マルチストリーム映像処理方法を実行する処理回路とを備え、前記マルチストリーム映像処理方法は、前段回路は、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行う。
以下、具体的な実施例に基づいて、図面を参照しながら本発明を詳しく説明する。なお、本発明はこれらの実施例と図面に限定されない。
図１は、本発明の実施例におけるマルチストリーム映像処理装置のブロック図である。 図２は、本発明の実施例におけるマルチストリーム映像処理方法のフローチャートである。 図３は、本発明の実施例におけるマルチストリーム映像処理装置による映像処理のシーケンス図である。 図４は、本発明の実施例における同期回路のブロック図である。 図５は、本発明の実施例における同期回路が動作時に行われる同期フローのフローチャートである。 図６は、本発明の実施例におけるメイン映像ピクチャの模式図である。 図７は、本発明の他の実施例における同期回路のブロック図である。 図８は、本発明の他の実施例における同期回路が動作時に行われる同期フローのフローチャートである。 図９は、本発明の他の実施例におけるマルチストリーム映像処理装置による映像処理のシーケンス図である。 図１０は、本発明のもう一つの実施例における同期回路のブロック図である。 図１１は、本発明のもう一つの実施例における同期回路が動作時に行われる同期フローのフローチャートである。
以下、図面を参照しながら、本発明の構成原理と動作原理を具体的に説明する。
本発明の一つの目的は、複数の後段回路の設置によるコストの増加を回避するように、複数の映像ストリームを時分割方式で単一の後段回路によって処理するマルチストリーム映像処理装置及び方法を提供する。
図１を参照する。図１は本発明の一実施例におけるマルチストリーム映像処理装置１００を示すブロック図である。マルチストリーム映像処理装置１００は、周囲環境の映像を撮像し、同一の映像源ＩＳから複数の映像ストリームＭＳ（メイン映像ストリーム）、ＳＳ１（第１サブ映像ストリーム）、ＳＳ２（第２サブ映像ストリーム）を生成し、映像ストリームＭＳ、ＳＳ１、ＳＳ２に対し後続処理を施し、処理後メイン映像ストリームＥＭＳ、処理後第１サブ映像ストリームＥＳＳ１、処理後第２サブ映像ストリームＥＳＳ２を生成する。
マルチストリーム映像処理装置１００は、メモリモジュール１１０と、前段回路１２０と、後段回路１３０と、処理回路１４０と、同期回路１５０とを備える。
実施例において、メモリモジュール１１０は、異なる領域を有し、マルチストリーム映像処理に必要な異なるデータを格納する。メモリモジュール１１０は、高速なメモリによって実現可能であり、例えば、ＤＤＲ ＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）によって実現されるが、これらに限定されない。
実施例において、マルチストリーム映像処理装置１００は、さらに、メモリコントローラ１１５を備える。メモリコントローラ１１５は、例えば、ＭＩＵ（Memory Interface Unit）によって実現されるが、これらに限定されない。マルチストリーム映像処理装置１００におけるその他の回路モジュールについて、例えば、前段回路１２０及び後段回路１３０は、メモリコントローラ１１５を介して、メモリモジュール１１０に対し読み取り及び書き込みを行い、データをメモリモジュール１１０に格納し、又はメモリモジュール１１０からデータを読み取る。
前段回路１２０は実施例において、映像信号プロセッサ（Image Signal Processor：ＩＳＰ）であり、同一の映像源ＩＳから、複数の映像ストリームＭＳ、ＳＳ１、ＳＳ２を生成するように構成される。映像源ＩＳは、例えば、ネットワークカメラの感光性素子（不図示）であるが、これらに限定されない。感光性素子によって映像を検知した後、前段回路１２０はこれに基づいて、解像度の異なる映像ストリームＭＳ、ＳＳ１、ＳＳ２を生成し、メモリコントローラ１１５を介してメモリモジュール１１０に格納する。
映像ストリームＭＳはメイン映像ストリームであり、映像ストリームＳＳ１、ＳＳ２は第１及び第２サブ映像ストリームである。メイン映像ストリームＭＳの解像度は、サブ映像ストリームＳＳ１、ＳＳ２よりも高い。実施例において、メイン映像ストリームＭＳの解像度は４Ｋ、第１サブ映像ストリームＳＳ１の解像度は１２８０×７２０、第２サブ映像ストリームＳＳ２の解像度は７２０×５７６である。ここで注意されたいのは、上記サブ映像ストリームの数及び各映像ストリームの解像度の数値は一例であり、本発明はこれらの数値に限定されない。実施例において、サブ映像ストリームの数は一つ、又は複数である。
後段回路１３０は実施例において、エンコーダであり、メモリコントローラ１１５を介して、メモリモジュール１１０から映像ストリームＭＳ、ＳＳ１、ＳＳ２を読み取り、符号化し、符号化した処理後メイン映像ストリームＥＭＳ、処理後第１サブ映像ストリームＥＳＳ１、処理後第２サブ映像ストリームＥＳＳ２を生成するように構成される。その他の実施例では、符号化は、Ｈ．２６４、Ｈ．２６５、又は他の符号化規格に従って行うが、これらに限定されない。
同期回路１５０は、前段回路１２０と、後段回路１３０と、処理回路１４０とに電気的に接続されており、処理回路１４０による制御によって、前段回路１２０による映像ストリームのメモリモジュール１１０への格納速度と、後段回路１３０による映像ストリームのメモリモジュール１１０からの読取速度とにバランスが取れるように構成される。
処理回路１４０は、メモリモジュール１１０と、前段回路１２０と、後段回路１３０と、同期回路１５０とに電気的に接続される。処理回路１４０は、ファームウェア実行可能コマンド１４１を実行することで、マルチストリーム映像処理装置１００の機能を実行する。より具体的には、処理回路１４０は、マルチストリーム映像処理装置１００に含まれる格納モジュール（不図示）からファームウェア実行可能コマンド１４１を取り出す。当該ファームウェア実行可能コマンド１４１は、前段回路１２０と、後段回路１３０と、同期回路１５０とのファームウェア、及び、前段回路１２０と、後段回路１３０と、同期回路１５０とを操作、制御するための他の関連コマンドを含むが、これらに限定されない。処理回路１４０は、さらに、前段回路１２０と、後段回路１３０と、同期回路１５０とを操作、制御して、上記映像ストリームＭＳ、ＳＳ１、ＳＳ２を一時格納、読み出し、符号化を行い、処理後メイン映像ストリームＥＭＳ、処理後第１サブ映像ストリームＥＳＳ１、処理後第２サブ映像ストリームＥＳＳ２を生成する機能を実現する。
ここでは、格納モジュールは実施例において、メモリモジュール１１０と無関係に独立的に存在する他のメモリによって実現される。具体的には、格納モジュールは、例えば、ＣＤ−ＲＯＭ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フロッピーディスク、ハードディスク、または、光ディスクであるが、これらに限定されない。他の実施例において、格納モジュールは、メモリモジュール１１０と共有するメモリによって実現可能である。
さらに、図２を参照する。以下、図１及び図２を参照し、マルチストリーム映像処理装置１００の詳細機能をさらに説明する。
図２は、本発明におけるマルチストリーム映像処理方法２００のフローチャートである。マルチストリーム映像処理方法２００は、図１に示すマルチストリーム映像処理装置１００に適用できる。図２に示すように、マルチストリーム映像処理方法２００の実施例は以下のステップを含む。
ステップＳ２１０において、前段回路１２０は、同一の映像源ＩＳから、複数の映像ストリームＭＳ、ＳＳ１、ＳＳ２を生成する。上記のように、当該複数の映像ストリームは、メイン映像ストリームＭＳと、第１サブ映像ストリームＳＳ１と、第２サブ映像ストリームＳＳ２とを含み、当該メイン映像ストリームの解像度は、サブ映像ストリームＳＳ１とＳＳ２よりも高い。
ステップＳ２２０において、一つの映像ピクチャ処理時間区間において、前段回路１２０は、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャを、メモリモジュール１１０における最新第１サブ映像一時記憶領域１１４Ａと最新第２サブ映像一時記憶領域１１６Ａに格納し、メイン映像ストリームＭＳのＮ個目のメイン映像ピクチャを、メモリモジュール１１０におけるメイン映像一時記憶領域１１２に格納する。Ｎは正整数である。
図３を合わせて参照する。図３は本発明の実施例におけるマルチストリーム映像処理装置１００による映像処理のシーケンス図である。
マルチストリーム映像処理装置１００は、処理シーケンスにおいて、複数の映像ピクチャ処理時間区間を含み、例えば、図３に例示するように、連続する３つの映像ピクチャ処理時間区間ＴＮ−１、ＴＮ、ＴＮ＋１を含む。隣接する２つの映像ピクチャ処理時間区間の間に、１つの同期信号時間区間が含まれる。例えば、映像処理時間区間ＴＮ−１とＴＮとの間に、同期信号時間区間ＴＳＮが含まれ、映像処理時間区間ＴＮとＴＮ＋１との間に、同期信号時間区間ＴＳＮ＋１が含まれる。同期信号時間区間ＴＳＮ及び同期信号時間区間ＴＳＮ＋１は、それぞれ、同期信号ＳＮ及び同期信号ＳＮ＋１の伝送に対応し、映像ピクチャ処理時間区間ＴＮ及びＴＮ＋１の開始を示す。
本実施例では、前段回路１２０及び後段回路１３０は、同期信号時間区間ＴＳＮと同期信号時間区間ＴＳＮ＋１においていずれもデータ処理を行わず、映像ピクチャ処理時間区間ＴＮ−１、ＴＮ、ＴＮ＋１のみにデータ処理を行う。
図３において、前段回路１２０の処理シーケンスは斜線領域で示す。前段回路１２０は、映像ストリームＭＳ、ＳＳ１、ＳＳ２を同時に生成することが可能であるため、映像ピクチャ処理時間区間ＴＮになると、前段回路１２０は直ちに、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャを、最新第１サブ映像一時記憶領域１１４Ａと最新第２サブ映像一時記憶領域１１６Ａに格納し、メイン映像ストリームＭＳのＮ個目のメイン映像ピクチャをメイン映像一時記憶領域１１２に格納する。
ステップＳ２３０において、映像ピクチャ処理時間区間ＴＮの第１サブ区間ＴＳ１において、後段回路１３０は、メモリモジュール１１０における先行第１サブ映像一時記憶領域１１４Ｂと先行第２サブ映像一時記憶領域１１６Ｂに一時的に格納されたサブ映像ストリームＳＳ１とＳＳ２のＮ−１個目のサブ映像ピクチャを先に読み取り、処理を行う。
一実施例において、図３に示すように、映像ピクチャ処理時間区間ＴＮ−１において、サブ映像ストリームＳＳ１及びＳＳ２のＮ−１個目のサブ映像ピクチャのそれぞれは、既に前段回路１２０によって、メモリコントローラ１１５を介して、先行第１サブ映像一時記憶領域１１４Ｂと先行第２サブ映像一時記憶領域１１６Ｂに格納されている。
後段回路１３０の処理シーケンスはドット領域で示す。後段回路１３０は時分割方式で動作し、１回の処理は１つの画面映像に対し行う。したがって、図３に示すように、後段回路１３０は、第１サブ区間ＴＳ１において、まず、メモリコントローラ１１５を介して、先行第１サブ映像一時記憶領域１１４Ｂにおける、第１サブ映像ストリームＳＳ１と対応するＮ−１個目のサブ映像ピクチャを読み取り、処理を行うことで、処理後第１サブ映像ストリームＥＳＳ１に対応する映像ピクチャを生成する。次に、後段回路１３０は、第１サブ区間ＴＳ１の残りの時間において、再びメモリコントローラ１１５を介して、先行第２サブ映像一時記憶領域１１６Ｂにおける、第２サブ映像ストリームＳＳ２と対応するＮ−１個目のサブ映像ピクチャを読み取り、処理を行うことで、処理後第２サブ映像ストリームＥＳＳ２に対応する映像ピクチャを生成する。
ステップＳ２４０において、映像ピクチャ処理時間区間ＴＮにおける第１サブ区間ＴＳ１の後の第２サブ区間ＴＳ２において、後段回路１３０は、メイン映像一時記憶領域１１２に一時的に格納されたＮ個目のメイン映像ピクチャを読み取り、処理を行う。
一実施例において、メイン映像一時記憶領域１１２の容量は、Ｎ個目のメイン映像ピクチャの大きさより大きい、または等しい。一部の実施例において、後段回路１３０の動作速度は前段回路１２０より速い場合がある。このため、後段回路１３０のメイン映像一時記憶領域１１２からデータを読み取る読取速度が、前段回路１２０のデータをメイン映像一時記憶領域１１２に格納する格納速度を超えることを回避するため、同期回路１５０は前段回路１２０と後段回路１３０との調和及び同期を行う。
図４を参照する。図４は本発明の一実施例における同期回路１５０のブロック図である。
図４に示すように、同期回路１５０は、第１比較モジュール４００と、第２比較モジュール４０２と、同期処理モジュール４０４とを含む。
第１比較モジュール４００と第２比較モジュール４０２は、前段回路１２０及び後段回路１３０から、ピクチャ処理情報ＦＰ１及びＦＰ２のコンテンツを取り出すことができる。ピクチャ処理情報ＦＰ１は、前段回路１２０が格納中の映像ピクチャの前段ピクチャ番号１、及び格納中の映像ピクチャの格納行数ＲＷを含み、ピクチャ処理情報ＦＰ２は、後段回路１３０が読取中の映像ピクチャの後段ピクチャ番号２、及び読取中の映像ピクチャの読取行数ＲＲを含む。
一実施例において、第１比較モジュール４００は、前段回路１２０が格納中の映像ピクチャの前段ピクチャ番号Ｆ１及び後段回路１３０が読取中の映像ピクチャの後段ピクチャ番号Ｆ２に基づいて比較を行い、前段回路１２０が格納中の映像ピクチャと、後段回路１３０が読取中の映像ピクチャとが一致するか否かを判定する。第２比較モジュール４０２は、前段回路１２０が格納中の映像ピクチャの格納行数ＲＷ及び後段回路１３０が読取中の映像ピクチャの読取行数ＲＲに基づいて比較を行い、後段回路１３０が読取中の映像ピクチャの読取行数ＲＲが、前段回路１２０が格納中の映像ピクチャの格納行数ＲＷを超えているか否かを判定する。
同期処理モジュール４０４は、さらに、第１比較モジュール４００及び第２比較モジュール４０２の比較結果に基づいて、前段回路１２０及び後段回路１３０の動作状況を判定し、使用する同期メカニズムを決定する。
図５を合わせて参照する。図５は本発明の一実施例における同期回路１５０が動作時に行う同期フロー５００のフローチャートである。以下、図４及び図５に基づいて、同期回路１５０の動作メカニズムをより詳しく説明する。
図５に示すように、ステップＳ５１０において、第１比較モジュール４００は、前段回路１２０及び後段回路１３０からピクチャ処理情報ＦＰ１及びＦＰ２における前段ピクチャ番号Ｆ１及び後段ピクチャ番号Ｆ２を取り出し、比較を行う。
ステップＳ５２０において、同期処理モジュール４０４は、第１比較モジュール４００の第１比較結果ＣＲ１に基づいて、さらに、前段回路１２０が格納中の映像ピクチャと後段回路１３０が読取中の映像ピクチャとが一致するか否かを判定する。
映像ピクチャが異なり、例えば、映像ピクチャ処理時間区間ＴＮの第１サブ区間ＴＳ１の状況において、後段回路１３０が読み取ったのはＮ−１個目のサブ映像ピクチャであり、前段回路１２０が格納したのはＮ個目のメイン映像ピクチャである場合、ステップＳ５３０にて、同期処理モジュール４０４は同期回路１５０の同期メカニズムを起動しない。
映像ピクチャが同一であり、例えば、映像ピクチャ処理時間区間ＴＮの第２サブ区間ＴＳ２の状況において、前段回路１２０による格納と後段回路１３０による読み取りは、いずれもＮ個目のメイン映像ピクチャである場合、同期処理モジュール４０４は同期メカニズムを起動して、ステップＳ５４０にて、第２比較モジュール４０２は、前段回路１２０及び後段回路１３０からピクチャ処理情報ＦＰ１及びＦＰ２における格納行数ＲＷと読取行数ＲＲを取り出し、比較を行う。
図６を合わせて参照する。図６は本発明の一実施例におけるメイン映像ピクチャ６００の模式図である。
ステップＳ５５０において、同期処理モジュール４０４は、第２比較モジュール４０２の第２比較結果ＣＲ２に基づいて、前段回路１２０が格納中のメイン映像ピクチャ６００の格納行数ＲＷが、後段回路１３０が読取中のメイン映像ピクチャ６００の読取行数ＲＲを超えているか否かを判定する。
格納行数ＲＷが読取行数ＲＲを超えている場合、後段回路１３０による読取コンテンツが前段回路１２０による格納コンテンツを追いついていないことを示す。したがって、ステップＳ５６０において、同期処理モジュール４０４は、後段回路制御信号ＣＣ１を用いて、後段回路１３０が継続してＮ個目のメイン映像ピクチャを読み取り、処理することを許可する。一方、格納行数ＲＷが読取行数ＲＲを超えていない場合、後段回路１３０による読取コンテンツが前段回路１２０の格納コンテンツを追いついていることを示す。したがって、ステップＳ５７０において、同期処理モジュール４０４は、後段回路制御信号ＣＣ１を用いて、後段回路によるＮ個目のメイン映像ピクチャの読み取りを停止し、間違ったデータコンテンツの読み取りを回避する。
上記により、後段回路１３０は、同期回路１５０による調和及び同期の元で、Ｎ個目のメイン映像ピクチャのコンテンツを順次に読み取り、処理を行う。これにより、処理後メイン映像ストリームＥＭＳに対応するメイン映像ピクチャを生成する。ここで注意されたいのは、本実施例において、後段回路１３０は、次の同期信号時間区間ＴＳＮ＋１の前に、Ｎ個目のメイン映像ピクチャに対する処理を完成する。
さらに、映像ピクチャ処理時間区間ＴＮ＋１において、前段回路１２０は上述した方式に従って、サブ映像ストリームＳＳ１、ＳＳ２のＮ＋１個目のサブ映像ピクチャを格納し、メイン映像ストリームＭＳのＮ＋１個目のメイン映像ピクチャを格納する。後段回路１３０は上述した方式に従って、先にサブ映像ストリームＳＳ１及びＳＳ２のＮ個目のサブ映像ピクチャを読み取り、処理した後、メイン映像ストリームＭＳのＮ＋１個目のメイン映像ピクチャを読み取って処理する。
ここで注意されたいのは、一実施例において、前段回路１２０は、映像ピクチャ処理時間区間ＴＮにおいて、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャを一時的に格納するための最新第１サブ映像一時記憶領域１１４Ａ及び最新第２サブ映像一時記憶領域１１６Ａは、映像ピクチャ処理時間区間ＴＮ＋１に対し、先行サブ映像一時記憶領域となる。これに対し、映像ピクチャ処理時間区間ＴＮにおける先行第１サブ映像一時記憶領域１１４Ｂ及び先行第２サブ映像一時記憶領域１１６Ｂは、映像ピクチャ処理時間区間ＴＮ＋１に対し、最新サブ映像一時記憶領域となり、サブ映像ストリームＳＳ１、ＳＳ２のＮ＋１個目のサブ映像ピクチャを格納する。
上記の実施形態は、メイン映像一時記憶領域１１２の容量がＮ個目のメイン映像ピクチャのサイズより大きい、または等しい場合を例として説明したものである。その他の実施例では、メイン映像一時記憶領域１１２の容量がＮ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして機能することが可能である。すなわち、前段回路１２０はメイン映像ピクチャをメイン映像一時記憶領域１１２に格納し、その最上位アドレスまで格納した場合に更新されたデータが生じると、更新されたデータをメイン映像一時記憶領域１１２の最下位アドレスから続けて格納して上書きする。後段回路１３０はメイン映像ピクチャを読み取り、当該読み取りはメイン映像一時記憶領域１１２の最上位アドレスになった時、メイン映像一時記憶領域１１２の最下位アドレスに戻って読み取りを継続する。
図７及び図８を合わせて参照する。図７は本発明のその他の実施例における同期回路１５０のブロック図である。図８は本発明のその他の実施例における同期回路１５０が動作時に行う同期フロー８００のフローチャートである。以下、図７及び図８を参照しながら、リングバッファで動作するメイン映像一時記憶領域１１２の実施の形態を詳しく説明する。図７に示す同期回路１５０と図４に示す同期回路１５０とはほぼ同じであり、第１比較モジュール４００と、第２比較モジュール４０２と、同期処理モジュール４０４とを含む。本実施例において、図７の同期回路１５０はさらに第１算出モジュール４０６を含む。第１算出モジュール４０６は、ピクチャ処理情報ＦＰ１及びＦＰ２に基づいて、格納行数ＲＷと読取行数ＲＲとの差分ＤＲを算出する。
図７に示す同期回路１５０によって行われる同期のメカニズムでは、図５のステップＳ５１０〜Ｓ５７０以外にも、図８に示すフローを実行し、ステップＳ８１０にて、第１算出モジュール４０６は、格納行数ＲＷと読取行数ＲＲとの差分ＤＲを算出する。
ステップＳ８２０において、同期処理モジュール４０４は、差分ＤＲがメイン映像一時記憶領域１１２の容量より大きいか否かを判定する。
差分ＤＲがメイン映像一時記憶領域１１２の容量より大きくない場合、メイン映像一時記憶領域１１２の内部有効未符号化コンテンツが、メイン映像一時記憶領域１１２の容量を全ては占用していないことを示す。そこで、ステップＳ８３０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０が継続してＮ個目のメイン映像ピクチャを格納することを許可する。一方、差分がメイン映像一時記憶領域１１２の容量より大きい場合、前段回路１２０の格納速度が後段回路１３０の読取速度を超えていることを示し、格納が継続すると、後段回路１３０が読み取っていないメイン映像ピクチャのデータを上書きしてしまう。そこで、ステップＳ８４０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０によるＮ個目のメイン映像ピクチャの格納を停止させ、メイン映像ピクチャデータの格納を遅らせる。
上述したメカニズムにより、リングバッファで動作するメイン映像一時記憶領域１１２の実施の形態において、後段回路１３０の読取速度が速過ぎることによって間違ったデータの読み取りを回避するのみではなく、前段回路１２０の格納速度が速過ぎることで後段回路１３０の読み取っていないデータを上書きしてしまうことも回避することができる。
ここで、図９を参照する。図９は本発明のその他の実施例におけるマルチストリーム映像処理装置１００による映像処理のシーケンス図である。
マルチストリーム映像処理装置１００は、処理シーケンスにおいて、複数の映像ピクチャ処理時間区間を含み、例えば、図５に示す連続した３つの映像ピクチャ処理時間区間ＴＮ−１、ＴＮ、ＴＮ＋１を含む。隣接する２つの映像ピクチャ処理時間区間の間に、同期信号時間区間が含まれる。例えば、映像ピクチャ処理時間区間ＴＮ−１とＴＮとの間に同期信号時間区間ＴＳＮ、映像ピクチャ処理時間区間ＴＮとＴＮ＋１との間に同期信号時間区間ＴＳＮ＋１が含まれる。同期信号時間区間ＴＳＮ及び同期信号時間区間ＴＳＮ＋１は、それぞれ、同期信号ＳＮ及び同期信号ＳＮ＋１の伝送に対応し、映像ピクチャ処理時間区間ＴＮ及びＴＮ＋１の開始を示す。
本実施例において、映像ピクチャ処理時間区間ＴＮの第１サブ区間ＴＳ１において、上述と同じく、後段回路１３０はサブ映像ストリームＳＳ１とＳＳ２のＮ−１個目のサブ映像ピクチャを読み取り、処理を行う。また、映像ピクチャ処理時間区間ＴＮの第２サブ区間ＴＳ２において、同様に後段回路１３０はＮ個目のメイン映像ピクチャを読み取り、処理を行う。
しかし、本実施例では、メイン映像一時記憶領域１１２がリングバッファの方式で実現する以外に、映像ピクチャ処理時間区間ＴＮは第１サブ区間ＴＳ１の前に、さらに第３サブ区間ＴＳ３を含む。映像ピクチャ処理時間区間ＴＮ−１に対応するＮ−１個目のメイン映像ピクチャに対し、後段回路１３０は映像ピクチャ処理時間区間ＴＮ−１の後半で処理を行うことに加えて、同期信号時間区間ＴＳＮと第３サブ区間ＴＳ３での処理も許可される。このように、後段回路１３０の、映像ピクチャ処理時間区間ＴＮの後半、及び同期信号時間区間ＴＳＮ＋１と、映像ピクチャ処理時間区間ＴＮ＋１の第３サブ区間ＴＳ３におけるＮ個目のメイン映像ピクチャに対する処理も許可される。
しかし、前段回路１２０にとって、依然として、映像ピクチャ処理時間区間ＴＮの開始時に、サブ映像ストリームＳＳ１、ＳＳ２のＮ個目のサブ映像ピクチャと、メイン映像ストリームＭＳのＮ個目のメイン画面との格納を開始する。したがって、メイン映像一時記憶領域１１２は、第３サブ区間ＴＳ３において、Ｎ−１個目のメイン映像ピクチャの読み取りと、Ｎ個目のメイン映像ピクチャの格納を同時に行う。ＴＳ３を加えることで、後段回路の処理速度が遅くなることが可能であるという利点がある。すなわち、消費電力を節約することができる。
図１０及び図１１も参照する。図１０は本発明の他の実施例における同期回路１５０のブロック図である。図１１は本発明の他の実施例における同期回路１５０が動作時に行う同期フロー１１００のフローチャートである。以下、図１０及び図１１を参照しながら、リングバッファで動作するメイン映像一時記憶領域１１２の実施の形態を詳しく説明する。
図１０に示す同期回路１５０は図７に示す同期回路１５０とほぼ同じであり、第１比較モジュール４００と、第２比較モジュール４０２と、同期処理モジュール４０４と、第１算出モジュール４０６とを含む。本実施例では、図１０の同期回路１５０は、さらに、第２算出モジュール４０８を含み、前段回路１２０が格納中の映像ピクチャと、後段回路１３０が読取中の映像ピクチャとが同時に動作の対象とされないように構成されている。
図１０に示す同期回路１５０の同期メカニズムは、図５のステップＳ５１０、Ｓ５２０、Ｓ５４０〜Ｓ５７０と同様なステップに加えて、図８に示すステップＳ８１０〜Ｓ８４０も含む。しかし、本実施例において、図５のステップＳ５２０で、前段回路１２０が格納中の映像ピクチャと、後段回路１３０が読取中の映像ピクチャとが異なると判定した場合、例えば、第３サブ区間ＴＳ３の状況では、図１０に示す同期回路１５０は図１１のフローを実行し、同期メカニズムの動作を起動する。
ステップＳ１１１０において、第２算出モジュール４０８は、ピクチャ処理情報ＦＰ１とＦＰ２に基づいて、先にＮ−１個目のメイン映像ピクチャのサイズＦＲとＮ−１個目のメイン映像ピクチャの読取行数ＲＲとの差分を算出する。当該差分は、Ｎ−１個目のメイン映像ピクチャにおいて、後段回路１３０により読み取って処理していない残りのデータ量を意味する。次に、第２算出モジュール４０８は、当該差分とＮ個目のメイン映像ピクチャの格納行数ＲＷＮとの合計ＳＵＭを算出する。格納行数ＲＷはＮ個目のメイン映像ピクチャにおいて、前段回路１２０が既に格納したデータ量を意味する。
ステップＳ１１２０において、同期処理モジュール４０４は、合計ＳＵＭがメイン映像一時記憶領域１１２の容量より大きいか否かを判定する。
合計ＳＵＭがメイン映像一時記憶領域１１２の容量より大きくない場合、前段回路１２０の格納速度が後段回路１３０の読取速度を超えていないことを示す。そこで、ステップＳ１１３０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０が継続してＮ個目のメイン映像ピクチャを格納することを許可する。一方、合計ＳＵＭがメイン映像一時記憶領域１１２の容量より大きい場合、前段回路１２０の格納速度が後段回路１３０の読取速度を超えていることを示し、格納が継続すると、後段回路１３０が読み取っていないメイン映像ピクチャのデータを上書きしてしまう。そこで、ステップＳ１１４０において、同期処理モジュール４０４は、前段回路制御信号ＣＣ２を用いて、前段回路１２０によるＮ個目のメイン映像ピクチャの生成を停止させ、さらに、メイン映像ピクチャデータに対する格納を遅らせる。
上記により、本発明のマルチストリーム映像処理装置１００は、前段回路により生成された複数の映像ストリームを、時分割方式で単一の後段回路で処理することが可能であるため、複数の後段回路によるコストの増加を回避することができる。
また、上記の時分割方式により、メモリモジュールは、解像度が低く、データ量の小さいサブ映像ピクチャのみに対しＮ−１個目のサブ映像ピクチャとＮ個目のサブ映像ピクチャを一時的に格納すればよい。解像度が高く、データ量の大きいメイン映像ピクチャに対し、格納するための一時的な記憶領域を別途で２つ設置する必要がない。メモリモジュールの空間領域も大幅に削減することができる。
さらに、同期回路の設置により、メモリモジュールは、メイン映像一時記憶領域をリングバッファ方式で実現することができる。これにより、容量を大幅に削減し、メモリモジュールの空間領域をさらに削減することができる。
ここで注意されたいのは、上述した実施の形態は一例であり、他の実施例において、当業者は本発明の趣旨を逸脱しない範囲内で変更することができる。
上記により、本発明におけるマルチストリーム映像処理装置及び方法は、後段回路を設置するコストを低減し、メモリ空間領域を削減する効果を実現することができる。
その他、各実施の形態及び変形例に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
１００ マルチストリーム映像処理装置
１１０ メモリモジュール
１１２ メイン映像一時記憶領域
１１４Ａ 最新第１サブ映像一時記憶領域
１１４Ｂ 先行第１サブ映像一時記憶領域
１１６Ａ 最新第２サブ映像一時記憶領域
１１６Ｂ 先行第２サブ映像一時記憶領域
１１５ メモリコントローラ
１２０ 前段回路
１３０ 後段回路
１４０ 処理回路
１４１ ファームウェア実行可能コマンド
１５０ 同期回路
２００ マルチストリーム映像処理方法
４００ 第１比較モジュール
４０２ 第２比較モジュール
４０４ 同期処理モジュール
４０６ 第１算出モジュール
４０８ 第２算出モジュール
５００ 同期フロー
６００ メイン映像ピクチャ
８００ 同期フロー
１１００ 同期フロー
ＣＣ１ 後段回路制御信号
ＣＣ２ 前段回路制御信号
ＣＲ１ 第１比較結果
ＣＲ２ 第２比較結果
ＤＲ 差分
ＥＭＳ 処理後メイン映像ストリーム
ＥＳＳ１ 処理後第１サブ映像ストリーム
ＥＳＳ２ 処理後第２サブ映像ストリーム
Ｆ１ 前段ピクチャ番号
Ｆ２ 後段ピクチャ番号
ＦＰ１、ＦＰ２ ピクチャ処理情報
ＩＳ 映像源
ＭＳ メイン映像ストリーム
ＲＲ 読取行数
ＲＷ 格納行数
ＳＮ、ＳＮ＋１ 同期信号
ＳＳ１ 第１サブ映像ストリーム
ＳＳ２ 第２サブ映像ストリーム
ＳＵＭ 合計
Ｓ２１０〜Ｓ２４０ ステップ
Ｓ５１０〜Ｓ５７０ ステップ
Ｓ８１０〜Ｓ８４０ ステップ
Ｓ１１１０〜Ｓ１１４０ ステップ
ＴＮ−１、ＴＮ、ＴＮ＋１ 映像ピクチャ処理時間区間
ＴＳ１ 第１サブ区間
ＴＳ２ 第２サブ区間
ＴＳ３ 第３サブ区間
ＴＳＮ、ＴＳＮ＋１ 同期信号時間区間

Claims (14)

  1. 前段回路は、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、
    映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、
    前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、
    前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行う
    マルチストリーム映像処理方法。
  2. 前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャの大きさより大きい、または等しい
    請求項１に記載のマルチストリーム映像処理方法。
  3. 前記マルチストリーム映像処理方法は、さらに、
    同期回路が、前記前段回路及び前記後段回路のピクチャ処理情報を取り出し、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記前段回路によって格納された前記Ｎ個目のメイン映像ピクチャの格納行数が、前記後段回路によって読み取られた前記Ｎ個目のメイン映像ピクチャの読取行数を超えているか否かを判定し、
    前記格納行数が前記読取行数を超えている場合、前記後段回路が継続して前記Ｎ個目のメイン映像ピクチャを読み取ることを許可し、
    前記格納行数が前記読取行数を超えていない場合、前記後段回路による前記Ｎ個目のメイン映像ピクチャの読取を停止する
    請求項１に記載のマルチストリーム映像処理方法。
  4. 前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして動作し、
    前記マルチストリーム映像処理方法は、さらに、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記格納行数と前記読取行数との差分が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
    前記差分が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
    前記差分が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
    請求項３に記載のマルチストリーム映像処理方法。
  5. 前記映像ピクチャ処理時間区間と先行映像ピクチャ処理時間区間との間には、同期信号時間区間が含まれ、前記前段回路及び前記後段回路は、前記同期信号時間区間においてデータ処理を行わない
    請求項１に記載のマルチストリーム映像処理方法。
  6. 前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして動作し、
    前記映像ピクチャ処理時間区間と先行映像ピクチャ処理時間区間との間には、同期信号時間区間が含まれ、
    前記マルチストリーム映像処理方法は、さらに、
    前記同期信号時間区間及び前記映像ピクチャ処理時間区間における前記第１サブ区間前の第３サブ区間において、前記後段回路は、前記メイン映像一時記憶領域に格納されたＮ−１個目のメイン映像ピクチャを読み取り、処理を行い、
    同期回路が、前記前段回路及び前記後段回路のピクチャ処理情報を取り出し、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記Ｎ−１個目のメイン映像ピクチャの大きさと前記Ｎ−１個目のメイン映像ピクチャの読取行数との差分を算出し、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記差分と前記Ｎ個目のメイン映像ピクチャの格納行数との合計が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
    前記合計が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
    前記合計が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
    請求項１に記載のマルチストリーム映像処理方法。
  7. 前記前段回路は、映像信号処理器であり、前記後段回路はエンコーダである
    請求項１に記載のマルチストリーム映像処理方法。
  8. メモリモジュールと、
    前段回路と、
    後段回路と、
    前記メモリモジュールと、前記前段回路と、前記後段回路とに電気的に接続され、複数のファームウェア実行可能コマンドを実行することで、マルチストリーム映像処理方法を実行する処理回路と、を備え、
    前記マルチストリーム映像処理方法は、
    前段回路が、同一映像源から、１つのメイン映像ストリームと、少なくとも１つのサブ映像ストリームとを含む映像ストリームを複数生成し、前記メイン映像ストリームの解像度は前記サブ映像ストリームの解像度よりも高く、
    映像ピクチャ処理時間区間において、前記前段回路は、前記サブ映像ストリームのＮ個目のサブ映像ピクチャを、メモリモジュールにおける少なくとも１つの最新サブ映像一時記憶領域に格納し、前記メイン映像ストリームのＮ個目のメイン映像ピクチャを、前記メモリモジュールにおけるメイン映像一時記憶領域に格納し、
    前記映像ピクチャ処理時間区間の第１サブ区間において、後段回路は、前記メモリモジュールにおける少なくとも１つの先行サブ映像一時記憶領域に格納された前記サブ映像ストリームのＮ−１個目のサブ映像ピクチャを読み取り、処理を行い、
    前記映像ピクチャ処理時間区間の第１サブ区間の後の第２サブ区間において、前記後段回路は、メイン映像一時記憶領域に格納された前記Ｎ個目のメイン映像ピクチャを読み取り、処理を行う
    マルチストリーム映像処理装置。
  9. 前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャの大きさより大きい、または等しい
    請求項８に記載のマルチストリーム映像処理装置。
  10. さらに、前記処理回路と、前記前段回路と、前記後段回路とに電気的に接続される同期回路とを備え、
    前記マルチストリーム映像処理方法は、さらに、
    前記同期回路は、前記前段回路及び前記後段回路のピクチャ処理情報を取り出し、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記前段回路によって格納された前記Ｎ個目のメイン映像ピクチャの格納行数が、前記後段回路によって読み取られた前記Ｎ個目のメイン映像ピクチャの読取行数を超えているか否かを判定し、
    前記格納行数が前記読取行数を超えている場合、前記後段回路が継続して前記Ｎ個目のメイン映像ピクチャを読み取ることを許可し、
    前記格納行数が前記読取行数を超えていない場合、前記後段回路による前記Ｎ個目のメイン映像ピクチャの読取を停止する
    請求項８に記載のマルチストリーム映像処理装置。
  11. 前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして動作し、
    前記マルチストリーム映像処理方法は、さらに、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記格納行数と前記読取行数との差分が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
    前記差分が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
    前記差分が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
    請求項１０に記載のマルチストリーム映像処理装置。
  12. 前記映像ピクチャ処理時間区間と先行映像ピクチャ処理時間区間との間には、同期信号時間区間が含まれ、前記前段回路及び前記後段回路は、前記同期信号時間区間においてデータ処理を行わない
    請求項８に記載のマルチストリーム映像処理装置。
  13. さらに、前記処理回路と、前記前段回路と、前記後段回路とに電気的に接続される同期回路とを備え、
    前記メイン映像一時記憶領域は、容量が前記Ｎ個目のメイン映像ピクチャのサイズより小さく、リングバッファとして動作し、
    前記映像ピクチャ処理時間区間と先行映像ピクチャ処理時間区間との間には、同期信号時間区間が含まれ、
    前記マルチストリーム映像処理方法は、さらに、
    前記同期信号時間区間及び前記映像ピクチャ処理時間区間における前記第１サブ区間前の第３サブ区間において、前記後段回路は、前記メイン映像一時記憶領域に格納されたＮ−１個目のメイン映像ピクチャを読み取り、処理を行い、
    同期回路が、前記前段回路及び前記後段回路のピクチャ処理情報を取り出し、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記Ｎ−１個目のメイン映像ピクチャの大きさと前記Ｎ−１個目のメイン映像ピクチャの読取行数との差分を算出し、
    前記同期回路は、前記ピクチャ処理情報に基づいて、前記差分と前記Ｎ個目のメイン映像ピクチャの格納行数との合計が前記メイン映像一時記憶領域の容量より大きいか否かを判定し、
    前記合計が前記メイン映像一時記憶領域の容量より大きくない場合、前記前段回路が継続して前記Ｎ個目のメイン映像ピクチャを格納することを許可し、
    前記合計が前記メイン映像一時記憶領域の容量より大きい場合、前記前段回路による前記Ｎ個目のメイン映像ピクチャの格納を停止する
    請求項８に記載のマルチストリーム映像処理装置。
  14. 前記前段回路は、映像信号処理器であり、前記後段回路はエンコーダである
    請求項８に記載のマルチストリーム映像処理装置。
JP2019127682A 2018-12-26 2019-07-09 マルチストリーム映像処理装置及びマルチストリーム映像処理方法 Active JP6894473B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811602356.7A CN111372038B (zh) 2018-12-26 2018-12-26 多串流影像处理装置及方法
CN201811602356.7 2018-12-26

Publications (2)

Publication Number Publication Date
JP2020108136A true JP2020108136A (ja) 2020-07-09
JP6894473B2 JP6894473B2 (ja) 2021-06-30

Family

ID=68917538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019127682A Active JP6894473B2 (ja) 2018-12-26 2019-07-09 マルチストリーム映像処理装置及びマルチストリーム映像処理方法

Country Status (7)

Country Link
US (1) US10771798B2 (ja)
EP (1) EP3675028A1 (ja)
JP (1) JP6894473B2 (ja)
KR (1) KR102191387B1 (ja)
CN (1) CN111372038B (ja)
TW (1) TWI691202B (ja)
WO (1) WO2020135407A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240056615A1 (en) * 2020-12-18 2024-02-15 Fasetto, Inc. Systems and methods for simultaneous multiple point of view video

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04308956A (ja) * 1991-04-05 1992-10-30 Fujitsu Ltd 受信バッファ
JP2001103479A (ja) * 1999-09-29 2001-04-13 Toshiba Corp 動画像復号装置
JP2003259315A (ja) * 2002-02-28 2003-09-12 Matsushita Electric Ind Co Ltd 画像伝送装置および画像伝送方法
JP2005006239A (ja) * 2003-06-16 2005-01-06 Sony Corp 画像処理装置および画像処理方法
JP2005176001A (ja) * 2003-12-12 2005-06-30 Renesas Technology Corp 半導体装置及び画像処理装置
JP2007129573A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置
US20170339345A1 (en) * 2016-05-18 2017-11-23 Realtek Singapore Private Limited Image frame processing method

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367629A (en) * 1992-12-18 1994-11-22 Sharevision Technology, Inc. Digital video compression system utilizing vector adaptive transform
US5432554A (en) * 1993-06-16 1995-07-11 Intel Corporation Method and apparatus for decoding images using a specified data format
US5351085A (en) * 1993-06-16 1994-09-27 Intel Corporation Method and system for generating compressed image signals
US5488570A (en) * 1993-11-24 1996-01-30 Intel Corporation Encoding and decoding video signals using adaptive filter switching criteria
US7907665B2 (en) * 2003-03-14 2011-03-15 Lsi Corporation Multi-channel video compression system
EP1668903A4 (en) * 2003-09-12 2011-01-05 Nielsen Media Res Inc DEVICES AND METHOD FOR DIGITAL VIDEO SIGNATURES FOR USE WITH VIDEO PROGRAM IDENTIFICATION SYSTEMS
JP4225241B2 (ja) * 2004-05-13 2009-02-18 ソニー株式会社 画像表示装置
US7239355B2 (en) * 2004-05-17 2007-07-03 Mstar Semiconductor, Inc. Method of frame synchronization when scaling video and video scaling apparatus thereof
US7657668B2 (en) * 2006-08-16 2010-02-02 Qnx Software Systems (Wavemakers), Inc. Clock synchronization of data streams
CN101202906A (zh) * 2006-12-11 2008-06-18 国际商业机器公司 在数字视频广播系统中对视频流进行处理的方法和设备
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
TWI397899B (zh) * 2007-04-30 2013-06-01 Mstar Semiconductor Inc 多視窗顯示控制器及相關方法
CN101312528B (zh) * 2007-05-24 2010-06-23 晶睿通讯股份有限公司 实时产生不同分辨率视讯串流的方法与系统
US7870224B1 (en) * 2007-06-08 2011-01-11 Adobe Systems Incorporated Managing online composite image content
JP2009111932A (ja) * 2007-10-31 2009-05-21 Panasonic Corp 動画像復号化装置
JP5472122B2 (ja) 2009-01-28 2014-04-16 日本電気株式会社 画像伝送システムおよび画像伝送方法
JP5406942B2 (ja) * 2009-01-29 2014-02-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置
JP5533861B2 (ja) * 2009-04-30 2014-06-25 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
JP2011223287A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
CA2771433C (en) * 2010-08-09 2016-01-12 Panasonic Corporation Coding and decoding of stereoscopic images with base and enhancement layers
US10424274B2 (en) * 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
CA2826675C (en) * 2011-02-25 2018-04-10 Photonis Netherlands B.V. Acquiring and displaying images in real-time
CN102346770B (zh) * 2011-09-21 2014-05-14 晨星软件研发(深圳)有限公司 WebKit浏览器网页内容加载方法及装置
US20150062353A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Audio video playback synchronization for encoded media
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
TWI604432B (zh) * 2014-03-18 2017-11-01 緯創資通股份有限公司 顯示器及其視訊畫面顯示方法
US20160119626A1 (en) * 2014-10-22 2016-04-28 Genetec Inc. System to dispatch video decoding to dedicated hardware resources
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
US9916252B2 (en) * 2015-05-19 2018-03-13 Linear Algebra Technologies Limited Systems and methods for addressing a cache with split-indexes
US9454820B1 (en) * 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
CN105282597B (zh) * 2015-10-17 2018-12-07 浙江宇视科技有限公司 一种视频流缩放装置和方法
US10785415B2 (en) * 2016-03-03 2020-09-22 Sony Corporation Display control device and display control method
US9996894B2 (en) * 2016-05-18 2018-06-12 Realtek Singapore Pte Ltd Image processing device, video subsystem and video pipeline
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
CN106101545B (zh) * 2016-06-30 2019-10-15 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106534857A (zh) * 2016-11-02 2017-03-22 深圳市维海德技术股份有限公司 码流传输方法及基于usb的摄像机
US10341672B2 (en) * 2017-02-03 2019-07-02 Korea Advanced Institute Of Science And Technology Method and system for media synchronization
US10339421B2 (en) * 2017-03-30 2019-07-02 Toyota Motor Engineering & Manufacturing North America, Inc. RGB-D scene labeling with multimodal recurrent neural networks
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04308956A (ja) * 1991-04-05 1992-10-30 Fujitsu Ltd 受信バッファ
JP2001103479A (ja) * 1999-09-29 2001-04-13 Toshiba Corp 動画像復号装置
JP2003259315A (ja) * 2002-02-28 2003-09-12 Matsushita Electric Ind Co Ltd 画像伝送装置および画像伝送方法
JP2005006239A (ja) * 2003-06-16 2005-01-06 Sony Corp 画像処理装置および画像処理方法
JP2005176001A (ja) * 2003-12-12 2005-06-30 Renesas Technology Corp 半導体装置及び画像処理装置
JP2007129573A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置
US20170339345A1 (en) * 2016-05-18 2017-11-23 Realtek Singapore Private Limited Image frame processing method

Also Published As

Publication number Publication date
CN111372038A (zh) 2020-07-03
KR20200080095A (ko) 2020-07-06
US10771798B2 (en) 2020-09-08
EP3675028A1 (en) 2020-07-01
TW202025787A (zh) 2020-07-01
TWI691202B (zh) 2020-04-11
CN111372038B (zh) 2021-06-18
KR102191387B1 (ko) 2020-12-15
US20200213601A1 (en) 2020-07-02
JP6894473B2 (ja) 2021-06-30
WO2020135407A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
US8749667B2 (en) System and method for maintaining maximum input rate while up-scaling an image vertically
US10412320B1 (en) Method and system for switching display from first video source to second video source
US8284324B2 (en) Video display apparatus and video processing method
JP6894473B2 (ja) マルチストリーム映像処理装置及びマルチストリーム映像処理方法
CN105472203A (zh) Genlock同步锁相系统及方法
CN112040284B (zh) 多显示屏的同步显示控制方法、装置及存储介质
CN110570793B (zh) 一种适配不同类型显示屏的测试方法、装置及终端设备
US9456180B2 (en) Image processing apparatus, communication system, and computer program
KR100272447B1 (ko) 멀티화면 분할기
US8085853B2 (en) Video decoding and transcoding method and system
JP2012175271A (ja) 画像処理装置および画像処理方法
US20120127344A1 (en) Image pickup device
JP2006303630A (ja) フレームレート変換装置、追越補償方法及び表示装置
US10893229B1 (en) Dynamic pixel rate-based video
CN112954432A (zh) 视频数据处理方法、装置、系统及可读存储介质
US10136070B2 (en) Image capturing apparatus and control method of the same
US8625025B2 (en) Apparatus and method for detecting flexible video cadence
WO2022137325A1 (ja) 映像信号を合成する装置、方法及びプログラム
JP2002229933A (ja) 映像データ変換装置、映像処理システムおよび映像データ変換方法
CN108632499B (zh) 一种图像信号处理器及其时序产生装置
JP2006310906A (ja) 映像信号処理装置
JP3269331B2 (ja) 画像取り込み回路
KR20110038773A (ko) 영상 합성장치 및 방법
JP2004120027A (ja) 画像処理装置
JP2000284771A (ja) 映像データ処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200325

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210506

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210517

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210603

R150 Certificate of patent or registration of utility model

Ref document number: 6894473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250