JP2006050130A - 映像符号化装置及び映像符号化方法 - Google Patents

映像符号化装置及び映像符号化方法 Download PDF

Info

Publication number
JP2006050130A
JP2006050130A JP2004226570A JP2004226570A JP2006050130A JP 2006050130 A JP2006050130 A JP 2006050130A JP 2004226570 A JP2004226570 A JP 2004226570A JP 2004226570 A JP2004226570 A JP 2004226570A JP 2006050130 A JP2006050130 A JP 2006050130A
Authority
JP
Japan
Prior art keywords
stream
encoding
information
video
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004226570A
Other languages
English (en)
Other versions
JP4225957B2 (ja
Inventor
Takahiko Tahira
孝彦 田平
Tatsushi Ootsuka
竜志 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004226570A priority Critical patent/JP4225957B2/ja
Priority to US11/023,344 priority patent/US7471722B2/en
Publication of JP2006050130A publication Critical patent/JP2006050130A/ja
Application granted granted Critical
Publication of JP4225957B2 publication Critical patent/JP4225957B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行う。
【解決手段】 第１の符号化部１１は、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する。ストリームバッファ１３は、第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積する。符号化制御部１４は、ストリーム情報から、発生符号量及び動き情報を解析して、符号化制御情報を生成する。第２の符号化部１２は、符号化制御情報にもとづいて、ストリームバッファ１３から読み出した第１のストリームを符号化して、第２のストリームを生成する。ストリームバッファ１３は、第１のストリームから、情報量変化としてシーンチェンジを検出可能な複数の映像シーンを蓄積する。
【選択図】 図１

Description

本発明は、映像符号化装置及び映像符号化方法に関し、特にＭＰＥＧ（Moving Picture Experts Group）による映像信号の符号化を行う映像符号化装置及び映像符号化方法に関する。
近年、ＤＶＤ（Digital Versatile Disc）やデジタルＴＶ放送などの分野では、膨大な映像データを高いクオリティで記録・伝送するために、ＭＰＥＧによる符号化圧縮技術が広く用いられている。
また、入力された映像信号をＭＰＥＧ方式により符号化圧縮した後、圧縮後のビットストリームをＤＶＤやＨＤＤ（Hard Disk Drive）へ保存する、デジタルビデオレコーダなどが市場に浸透しつつある。
ＭＰＥＧに準拠する符号化装置には、リアルタイムエンコードと２パスエンコードと呼ばれる方式がある。リアルタイムエンコードは、圧縮後のビットストリームを所定メディアのデータサイズに納めるために、映像シーンによらず設定ビットレートをある程度固定して符号化する方式である。
また、２パスエンコードは、いったんすべての映像シーンを符号化して、映像素材全体の符号化時の詳細情報の履歴を取り、その履歴情報にもとづいて２回目の符号化の情報量制御のスケジューリングを行う可変レートの符号化方式である。
図６はリアルタイムエンコーダの構成を示す図である。リアルタイムエンコーダ５０は、符号化部５１、５２、フレームメモリ５３、符号化制御部５４から構成される。
符号化部５１は、映像信号（音声も含む）を符号化してストリーム（符号化データ）５ａを生成し出力する。また、符号化部５１は、符号化したときの動きベクトル等の情報をストリーム情報として符号化制御部５４へ送信する。
フレームメモリ５３は、入力映像信号を一旦格納し遅延させてから出力する。符号化制御部５４は、受信したストリーム情報から符号化制御情報を生成して符号化部５２へ送信する。符号化部５２は、フレームメモリ５３から出力された映像信号を、符号化制御情報にもとづいて符号化してストリーム５ｂを出力する。
このように、符号化部５１では、映像信号を最初に粗く符号化してビットレートが大き目の（例えば、１５Mbps）ストリーム５ａを出力し、このときの符号化に要した情報を用いて、符号化部５２がより細かく符号化して、ストリーム５ａよりもビットレートの小さい（例えば、５Mbps）ストリーム５ｂを出力する構成となっている。ストリーム５ａは、例えば、ＨＤＤのような記録媒体に送信され、ストリーム５ｂは、インターネットを介してビデオ配信されたりする。
図７は２パスエンコーダの構成を示す図である。２パスエンコーダ６０は、符号化部６１、６２、ストリームバッファ（ＨＤＤ装置など）６３、符号化制御部６４から構成される。なお、パスとは、出力するストリームに対し、１つの映像素材に対して何回エンコードが行われるかを示すエンコード回数のことである。
符号化部６１は、映像信号を最初から最後まですべて入力して符号化する。符号化後のストリームは、一旦ストリームバッファ６３に蓄積される。符号化制御部６４は、ストリームバッファ６３内のストリームの詳細情報（動きベクトル情報等）から、映像信号の特徴を解析し、情報量制御スケジュール等の符号化制御情報を生成する。
符号化部６２は、符号化部６１で符号化された同じ映像信号が、一定時間後にあらたに入力し（例えば、２時間分の映像コンテンツなら２時間後に再度入力する）、先に生成した符号化制御情報にもとづいて、２回目の符号化を実施し、ストリーム６ａを出力する。これにより、画質劣化の改善効果が高い符号化を実施することができる。
従来の符号化装置の技術として、デジタル映像データを接続機器に適した解像度、ビットレート等に変換するように符号化する技術が提案されている（例えば、特許文献１）。
特開２００１−０４５４３６号公報（段落番号〔００１８〕，第１図）
上記で説明したような図６のリアルタイムエンコーダ５０は、視聴者に対して生中継を行う必要があり、ライブ配信用のエンコードとしては、生中継の特質上、即時処理が優先される。
しかし、リアルタイムエンコーダ５０の符号化制御部５４から通知される符号化制御情報は、フレームメモリ５３での遅延時間分（例えば、１フレーム遅延時間分程度）しか確保できないので、シーンチェンジのような時間情報は全く得られない。
したがって、映像シーンによらず設定ビットレートがほぼ一定の符号化となるので、シーンが切り替わって、例えば、複雑な絵柄の映像シーンが入力したりすると、充分な符号量を用いた符号化ができず、ブロックノイズ等の画質劣化が目立ってしまうといった問題があった。
一方、図７の２パスエンコーダ６０は、１回目の符号化ですべての映像を符号化した後に、符号化制御情報を生成することで、映像の特徴を前もって認識できる。したがって、２回目の符号化では符号化制御情報により、複雑な映像シーンにはビットレートを多く割り当てたり、平坦な映像シーンにはビットレートを少なく割り当てるといったことができ、画質劣化が抑制された符号化が可能になる。
しかし、２パスエンコーダ６０は、十分な処理時間を要して、いったん映像信号を最初から最後まで符号化する必要があるため、リアルタイム性は完全に失われてしまい、生中継などの放送配信には使用できないといった問題があった。
このように、リアルタイム性と画質向上性とはトレードオフの関係にあり、従来の符号化装置では、リアルタイム性重視の装置と、画質向上重視の装置とに分かれていた。
現状では完全にリアルタイムでなくても、ある程度のリアルタイム性（準リアルタイム性）を持ち、画質劣化を抑えた符号化装置といったものは開発されておらず、このような符号化装置の実現化が強く望まれている。なお、上記の従来技術（特開２００１−０４５４３６号公報）は、接続機器に応じて画質向上を図る技術であり、リアルタイム性については考慮されていない。
本発明はこのような点に鑑みてなされたものであり、画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行う映像符号化装置を提供することを目的とする。
また、本発明の他の目的は、画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行う映像符号化方法を提供することである。
本発明では上記課題を解決するために、図１に示すような、映像信号の符号化を行う映像符号化装置１０において、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する第１の符号化部１１と、第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積するストリームバッファ１３と、ストリームバッファ１３のサイズで蓄積できる時間内で、ストリーム情報から情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する符号化制御部１４と、符号化制御情報にもとづいて、ストリームバッファから読み出した第１のストリームを符号化して、第２のストリームを生成する第２の符号化部１２と、を有することを特徴とする映像符号化装置１０が提供される。
ここで、第１の符号化部１１は、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する。ストリームバッファ１３は、第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積する。符号化制御部１４は、ストリームバッファ１３のサイズで蓄積できる時間内で、ストリーム情報から情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する。第２の符号化部１２は、符号化制御情報にもとづいて、ストリームバッファ１３から読み出した第１のストリームを符号化して、第２のストリームを生成する。
本発明の映像符号化装置は、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出し、映像信号の一部の時間分の映像シーンを蓄積する。そして、ストリーム情報から情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成し、符号化制御情報を用いて、ストリームバッファから読み出した第１のストリームを符号化する構成とした。これにより、画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行うことが可能になる。
以下、本発明の実施の形態を図面を参照して説明する。図１は映像符号化装置の原理図である。映像符号化装置１０は、第１の符号化部（以下、符号化部１１）、第２の符号化部（以下、符号化部１２）、ストリームバッファ１３、符号化制御部１４から構成される。
符号化部１１は、映像信号を符号化して第１のストリーム（ストリームｓ１）を生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する。
ストリームバッファ１３は、ストリームｓ１に対して、映像信号の一部の時間分の映像シーンを蓄積する。
例えば、ストリームｓ１に対して、情報量変化を検出するのに必要な時間分の複数の映像シーンを蓄積し、具体的には、ストリームｓ１から、情報量変化としてシーンチェンジを検出できる複数の映像シーン（数秒〜数十秒の映像シーン）を蓄積する。
符号化制御部１４は、ストリームバッファ１３のサイズで蓄積できる時間内で（すなわち、数秒〜数十秒の映像シーンの蓄積時間内で）、ストリーム情報から情報量変化（シーンチェンジ）を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する。
符号化部１２は、符号化制御情報にもとづいて、ストリームバッファ１３から読み出したストリームｓ１を符号化して、第２のストリーム（ストリームｓ２）を生成する。ストリームｓ２は、記録媒体へ送信されたり、インターネットを介して配信されたりする。
次にストリームバッファ１３のバッファサイズについて説明する。ストリーム解析時間が長ければ長いほど、２パス目の符号化部１２の符号化処理時にフィードバックできる情報量が多くなるので画質は向上することになるが、これだとリアルタイム性が失われてしまい、また、大容量のバッファを要してしまう。
したがって、ストリームバッファ１３は、数秒〜数十秒のストリームを保持できるバッファサイズとし、そのストリームバッファサイズで保持できる時間内で、符号化制御部１４はストリームの解析を行うようにする。
ここで、ＤＶＤレコーダ、ハードディスクレコーダなどの映像を記録する録画機器で、一般視聴者が録画する場合は、ＴＶ等からの番組になる。その際にＴＶコマーシャルなどが挿入すると突然シーンチェンジが発生する。
シーンチェンジの前と後とでは画面が全く異なるため、この部分の発生時間や情報量をあらかじめ知っていれば、相当の符号化処理（割り当てるビットレートを増やしたり減らしたり）が可能となる。このようなＴＶコマーシャルに限らず、一般の番組に対して、情報量の変化が生じるシーンチェンジは、数秒〜数十秒のストリームを保持できれば検出可能である。
したがって、映像符号化装置１０において、ストリームバッファ１３は、情報量変化（シーンチェンジ）を検出するのに必要な時間分の複数の映像シーンを蓄積し、符号化制御部１４は、この蓄積時間内で、ストリーム情報から発生符号量及び動き情報を解析して、符号化制御情報を生成し、２パス目の符号化部１２へフィードバックする。
このような構成にすれば、ストリームバッファ１３での遅延時間は、数秒〜数十秒であり、またこの時間内でストリームを解析して符号化制御情報を生成することで、シーンチェンジのような絵柄が大きく異なる映像の特徴を前もって認識できるので、２パス目の符号化では符号化制御情報により、複雑な映像シーンにはビットレートを多く割り当てたり、平坦な映像シーンにはビットレートを少なく割り当てるといったことができる。したがって、完全にリアルタイムでなくても、ある程度のリアルタイム性（準リアルタイム性）を持ちながら、画質劣化を抑えた符号化処理を行うことが可能になる。
次にシーンチェンジ検出について説明する。図２は複数シーンを含む映像に対するパラメータ変動量を示す図である。縦軸はパラメータ値、横軸は時間である。なお、パラメータとはストリーム情報の値のことである（図５で後述）。
自然な映像（人為的に加工されていない映像）は、数秒〜数十秒という時間間隔の中で複数のシーンを持つのが一般的である。その一般的な例として、ある時間間隔の間に４つのシーンＡ〜Ｄを持つような映像を示している。図から、ある特定のストリーム情報について着目した場合に、各シーンを跨いだときのパラメータ値が遷移する様子がわかる。
映像信号は１つのシーンの中では時間的な相関が非常に強いため、パラメータ値はほぼ線型的に遷移するが、各シーンを跨いだ瞬間は、各シーン間に全く相関がないために、非線型な遷移となってしまう。
図３は複数シーンを含む映像に対するパラメータ変動量を示す図である。縦軸はパラメータ値、横軸はピクチャＮｏ．であり、図２のグラフの時間レンジを縮めたものである。シーンＡ、Ｂの中では、パラメータ値はほぼ線型的な遷移をしているが、シーンＡとシーンＢの境界付近ではパラメータ値が大きく変動している。このようなパラメータ値の変動を検出することで、シーンチェンジの発生を認識することが可能である。
図４はパラメータ値の誤検出補正を説明するための図である。１つのシーンの中でパラメータ値が前後のピクチャと比較して際立って異なる値を取った場合（図中のＬ、Ｍ、Ｎ）は、符号化制御部１４において、前後数ピクチャ分の傾向を分析することにより、誤検出されたパラメータであると推定することが可能となり、符号化制御の精度を高めることができるようになる。
このように、数秒〜数十秒分の映像シーンを解析することができれば、精度の高いシーンチェンジ検出や符号化制御が可能となるため、映像符号化装置１０による符号化方式は、数秒〜数十秒分のストリームバッファサイズを持てばよく、またバッファサイズが従来の２パスエンコーダよりもはるかに小さくて済むのでコストの低減化も可能になる。
次にストリーム情報と符号化制御情報について説明する。図５はストリーム情報と符号化制御情報の対応関係を示す図である。具体的なストリーム情報のパラメータとしては、符号化ピクチャタイプ、符号化発生情報量、量子化スケール値、動きベクトル値、映像のアクティビティ値、シーンチェンジ情報、予測タイプ、ＤＣＴタイプ等が挙げられる。また、具体的な符号化制御情報としては、単位時間当たりの目標発生符号量、各映像シーン毎の空間フィルタ係数（強度）等が挙げられる。
各パラメータの主な解析用途としては、時間方向の発生符号量の解析、空間方向の発生符号量の解析、及び空間方向の動き情報検出がある。時間方向の発生符号量を解析することで、２回目の符号化における該当ピクチャの目標発生符号量を算出することができる。また空間方向の発生符号量の解析、及び空間方向の動き情報検出を行うことで、空間的な情報量の偏り具合を認識することができるので、その解析結果を２回目の符号化の空間フィルタ強度の目安とすることで、効率的な情報量の圧縮を図ることができるようになる。
以上説明したように、映像符号化装置及び映像符号化方法によれば、１回目の符号化中の詳細情報を２回目の符号化にフィードバックできるため、符号化対象の映像の絵柄や符号化情報量等の遷移傾向を先読みすることができ、２回目の符号化時の情報量制御のスケジューリングが容易になるため、効率的に空間的または時間的な情報量の圧縮を図ることができる。また、その結果として画質劣化の少ない符号化を実現できるうえ、ある程度のリアルタイム性を確保しているので、使用用途を限定されない符号化を実現することが可能になる。
さらに、従来のリアルタイムエンコーダは、図４で上述したような前後の数ピクチャを用いるような映像解析が不可能であるため、符号化情報のフィードバック精度が悪い（誤検出を認識できない）という欠点があるが、映像符号化装置１０では、前後の数ピクチャを用いての映像解析が可能であるため、符号化制御の精度を高めることが可能になる。また、従来の２パスエンコーダのように大きなストリームバッファを用いなくてもほぼ同等程度の精度の高い符号化情報を得ることが可能である。
映像符号化装置の原理図である。 複数シーンを含む映像に対するパラメータ変動量を示す図である。 複数シーンを含む映像に対するパラメータ変動量を示す図である。 パラメータ値の誤検出補正を説明するための図である。 ストリーム情報と符号化制御情報の対応関係を示す図である。 リアルタイムエンコーダの構成を示す図である。 ２パスエンコーダの構成を示す図である。
符号の説明
１０ 映像符号化装置
１１ 第１の符号化部
１２ 第２の符号化部
１３ ストリームバッファ
１４ 符号化制御部

Claims (7)

  1. 映像信号の符号化を行う映像符号化装置において、
    映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する第１の符号化部と、
    前記第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積するストリームバッファと、
    前記ストリームバッファのサイズで蓄積できる時間内で、前記ストリーム情報から前記情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する符号化制御部と、
    前記符号化制御情報にもとづいて、前記ストリームバッファから読み出した前記第１のストリームを符号化して、第２のストリームを生成する第２の符号化部と、
    を有することを特徴とする映像符号化装置。
  2. 前記ストリームバッファは、少なくとも情報量変化を検出するのに必要な時間分の複数の映像シーンを蓄積することを特徴とする請求項１記載の映像符号化装置。
  3. 前記ストリームバッファは、情報量変化としてシーンチェンジを検出するのに必要な時間分の複数の映像シーンを蓄積することを特徴とする請求項１記載の映像符号化装置。
  4. 前記符号化制御部は、１つのシーンの中でストリーム情報の値が前後のピクチャと比較して異なる場合は、前後のピクチャのストリーム情報の値から誤検出をしたか否かを判定することを特徴とする請求項１記載の映像符号化装置。
  5. 映像信号の符号化を行う映像符号化方法において、
    映像信号を符号化して第１のストリームを生成し、かつ映像信号の空間的、時間的な情報を含むストリーム情報を抽出し、
    前記第１のストリームに対して、映像信号の一部の時間分の映像シーンをストリームバッファに蓄積し、
    前記ストリームバッファのサイズで蓄積できる時間内で、前記ストリーム情報から前記情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成し、
    前記符号化制御情報にもとづいて、前記ストリームバッファから読み出した前記第１のストリームを符号化して、第２のストリームを生成することを特徴とする映像符号化方法。
  6. 前記ストリームバッファは、少なくとも情報量変化を検出するのに必要な時間分の複数の映像シーンを蓄積することを特徴とする請求項５記載の映像符号化方法。
  7. １つのシーンの中でストリーム情報の値が前後のピクチャと比較して異なる場合は、前後のピクチャのストリーム情報の値から誤検出をしたか否かを判定することを特徴とする請求項５記載の映像符号化方法。
JP2004226570A 2004-08-03 2004-08-03 映像符号化装置及び映像符号化方法 Expired - Fee Related JP4225957B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004226570A JP4225957B2 (ja) 2004-08-03 2004-08-03 映像符号化装置及び映像符号化方法
US11/023,344 US7471722B2 (en) 2004-08-03 2004-12-29 Video encoding device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004226570A JP4225957B2 (ja) 2004-08-03 2004-08-03 映像符号化装置及び映像符号化方法

Publications (2)

Publication Number Publication Date
JP2006050130A true JP2006050130A (ja) 2006-02-16
JP4225957B2 JP4225957B2 (ja) 2009-02-18

Family

ID=35757369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004226570A Expired - Fee Related JP4225957B2 (ja) 2004-08-03 2004-08-03 映像符号化装置及び映像符号化方法

Country Status (2)

Country Link
US (1) US7471722B2 (ja)
JP (1) JP4225957B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016504829A (ja) * 2012-12-17 2016-02-12 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2014097A4 (en) * 2006-05-03 2010-07-14 Ericsson Telefon Ab L M METHOD AND DEVICE FOR RECOVERING MEDIA FROM A MEDIA PRESENTATION
US8605780B2 (en) * 2006-06-02 2013-12-10 Panasonic Corporation Coding device and editing device
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
WO2008111308A1 (ja) * 2007-03-12 2008-09-18 Panasonic Corporation コンテンツ撮影装置
JP2009010831A (ja) * 2007-06-29 2009-01-15 Toshiba Corp 画像解析装置および画像解析方法
JP2009010874A (ja) * 2007-06-29 2009-01-15 Toshiba Corp 符号化装置および符号化方法
US8880633B2 (en) 2010-12-17 2014-11-04 Akamai Technologies, Inc. Proxy server with byte-based include interpreter
US20120265853A1 (en) * 2010-12-17 2012-10-18 Akamai Technologies, Inc. Format-agnostic streaming architecture using an http network for streaming
ITMI20130785A1 (it) 2013-05-13 2014-11-14 Sky Italia S R L Codifica near-real time di un segnale lineare
WO2015095166A2 (en) * 2013-12-16 2015-06-25 Arris Enterprises, Inc. Producing an output need parameter for an encoder

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175197A (ja) 1997-08-28 1999-03-16 Sony Corp 画像信号圧縮装置及び方法、並びに記録媒体
JPH1198502A (ja) 1997-09-25 1999-04-09 Toshiba Corp 動画像符号化装置
US6956899B2 (en) * 1998-03-23 2005-10-18 International Business Machines Corporation Precise bit control apparatus with look-ahead for MPEG encoding
JP2001045436A (ja) 1999-07-27 2001-02-16 Nec Corp デジタル放送受信機及びデータ伝送装置
JP2001086512A (ja) 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置
DE19946267C2 (de) 1999-09-27 2002-09-26 Harman Becker Automotive Sys Digitales Transcodiersystem
JP2004056677A (ja) 2002-07-23 2004-02-19 Sony Corp 画像情報符号化装置及び画像情報符号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016504829A (ja) * 2012-12-17 2016-02-12 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用

Also Published As

Publication number Publication date
JP4225957B2 (ja) 2009-02-18
US7471722B2 (en) 2008-12-30
US20060029128A1 (en) 2006-02-09

Similar Documents

Publication Publication Date Title
US6724977B1 (en) Compressed video editor with transition buffer matcher
US7075982B2 (en) Video encoding method and apparatus
US7295757B2 (en) Advancing playback of video data based on parameter values of video data
CN101322413B (zh) 视频流中的自适应图片组结构
US8325800B2 (en) Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
JP3939551B2 (ja) 動画像処理装置、その方法、及び記録媒体
US6625214B1 (en) Apparatus and method for fade detecting and information encoding
US7764843B2 (en) Method and device for condensed image recording and reproduction
US8948244B2 (en) Image-processing apparatus and method
JP4225957B2 (ja) 映像符号化装置及び映像符号化方法
KR100846770B1 (ko) 동영상 부호화 방법 및 이에 적합한 장치
US20110135286A1 (en) Apparatus and method for extracting key frames and apparatus and method for recording broadcast signals using the same
KR20040094441A (ko) 인코딩된 오디오/비디오 시퀀스의 편집
US9275081B2 (en) Data management apparatus and data management method
CN1685368A (zh) 用于编码图像和/或音频数据的方法及设备
US8576923B2 (en) Bitstream navigation techniques
Roitzsch et al. Principles for the prediction of video decoding times applied to mpeg-1/2 and mpeg-4 part 2 video
US7426306B1 (en) Efficient use of keyframes in video compression
JP2007150569A (ja) 画像復号装置、および画像復号方法
JPH10174094A (ja) 映像復号化装置
US7430325B2 (en) Encoding system conversion apparatus and method for same
Chen et al. Application-aware approach to compression and transmission of H. 264 encoded video for automated and centralized transportation surveillance
JP2008306450A (ja) 画像符号化装置および画像復号化装置
US20070030584A1 (en) Compressed domain commercial detect/skip
JP2008098980A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080307

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4225957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees