JP2007074450A - 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2007074450A
JP2007074450A JP2005260007A JP2005260007A JP2007074450A JP 2007074450 A JP2007074450 A JP 2007074450A JP 2005260007 A JP2005260007 A JP 2005260007A JP 2005260007 A JP2005260007 A JP 2005260007A JP 2007074450 A JP2007074450 A JP 2007074450A
Authority
JP
Japan
Prior art keywords
encoding
bit rate
unit
information
difficulty level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005260007A
Other languages
English (en)
Other versions
JP4788250B2 (ja
Inventor
Norito Koizumi
紀人 小泉
Masashi Ota
正志 太田
Masami Tomita
真巳 冨田
Hiromasa Naganuma
宏昌 長沼
Kiyoshi Ikeda
潔 池田
Yoshiji Karimoto
誉司 加里本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005260007A priority Critical patent/JP4788250B2/ja
Priority to EP20060254587 priority patent/EP1773065A3/en
Priority to US11/517,082 priority patent/US20070116130A1/en
Priority to KR20060086048A priority patent/KR20070029072A/ko
Priority to CN200610135705XA priority patent/CN1929609B/zh
Publication of JP2007074450A publication Critical patent/JP2007074450A/ja
Application granted granted Critical
Publication of JP4788250B2 publication Critical patent/JP4788250B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 符号化難易度の計算に必要な情報を取得する回路の規模縮小および高速化を図れる動画像信号の符号化装置を提供する。
【解決手段】 １パス目に、入力デジタルストリーム信号をマスストレージデバイス１３に記録する一方で、そのデジタルストリーム信号からフレームごとの符号化難易度を計算するために必要な情報を生成して符号化難易度情報を作成し、マスストレージデバイス１３に記録する。２パス目に、マスストレージデバイス１３からデジタルストリーム信号とフレームごとの符号化難易度情報を読み出し、デジタルストリーム信号を復号する一方で、符号化難易度情報をもとにそのフレームの符号化に割り振るビットレートを計算し、復号化された信号を計算されたビットレートに従って符号化する。
【選択図】図１

Description

本発明は、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）ストリーム信号などの動画像信号を可変ビットレート方式で記録する動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体に関するものである。
ＭＰＥＧ−２エンコードの方式には大別するとＣＢＲ（Constant Bit Rate）と、ＶＢＲ（Variable Bit Rate）がある。ＣＢＲは固定ビットレート方式と呼ばれ、画像の内容にかかわらず、一定の転送レートでエンコードして行く方式であり、ＶＢＲは可変ビットレート方式と呼ばれ、高精細な画像や変化の大きい画像にはより多くのビット数を割り振り、逆に変化の少ない映像にはビット数を少な目に割り振ることで、限られたビット数を効率よく使うとともに一定の画質を保つようにする方式である。このようなＶＢＲでは、単位時間たとえばフレームごとの画像の複雑さを、そのフレームの符号化難易度として定量化し、この符号化難易度に応じて、そのフレームへのビットレート（ビット量）の割り振りを最適化している。
ＶＢＲには、１パス目の符号化処理で映像の複雑さを解析して、フレームごとの符号化難易度を求めて記録しておき、２パス目の符号化処理で、上記の符号化難易度の情報をもとにして個々のフレームに割り振るビットレートを調節する２パスＶＢＲと、１パスの符号化処理で上記の映像の複雑さを解析、符号化難易度の算出、ビットレートの調節を行う１パスＶＢＲとがある。
２パスＶＢＲは、１パス目にストリーム全体を解析してフレームごとの符号化難易度を得ることができるので、限られたディスク容量の中で最適なビットレートの割り振りを行うことができ、また、設定された平均ビットレートになるように各フレームに割り振るビットレートを調節することができる。このため、ビデオおよびオーディオのデジタルストリームをＤＶＤディスクなどの容量制限の厳しい記録媒体に記録する際のＭＰＥＧ−２エンコードには２パスＶＢＲが用いられることが普通である（たとえば、特許文献１など）。
この２パスＶＢＲでは、１パス目に、入力されたデジタルストリーム信号をそのまま記録部に記録するとともに、符号化難易度の計算に必要な情報を生成するために設けられたそれぞれ専用のデコーダとエンコーダにて復号化に続けて符号化を行う。このエンコーダによる符号化の際に生成された情報をもとにフレームごとの符号化難易度が算出され、記録されたデジタルストリーム信号の各フレームと対応付けて記録される。２パス目の符号化処理では、記録されている符号化難易度をデジタルストリーム信号とともに読み込んで、符号化難易度から、対応するフレームに割り振るべき最適なビットレートを計算する。そして記録パスのデコーダにて復号化されたビデオ信号およびオーディオ信号を符号化する際に、上記の計算されたビットレートに従って符号化が行われる。
特開２００５−０６４７９０号公報
しかしながら、かかる従来の構成においては、記録パス用のデコーダとエンコーダとは別に、符号化難易度の計算に必要な情報を生成する、それぞれ専用のデコーダとエンコーダが必要である。このためシステム全体の規模が大きくなりコストが嵩むという問題があった。また、上記のデコーダとエンコーダの性能がボトルネックとなって処理の高速化の妨げとなるおそれもあった。また、２パス目（再エンコード用）のデコーダとエンコーダをシェアして用いる場合も考えられる。しかし、その場合は、セットの同時動作の機能が制限されることがデメリットである。例えば、１パス目のダイレクト記録を行っているときに再エンコード用のデコーダとエンコーダを符号化難易度取得のために使用してしまうため、ＨＤＤからＤＶＤへの再エンコードダビングが同時に実行できないという問題があった。
本発明は、かかる実情に鑑み、符号化難易度の計算に必要な情報を取得する回路の規模縮小および２パス可変ビットレート方式の符号化処理の高速化を図ることのできる動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体を提供しようとするものである。
上記の課題を解決するために、本発明の動画像信号の符号化装置は、入力動画像信号を２パス可変ビットレート方式により符号化処理する装置において、入力動画像信号を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成するストリーム解析部と、ストリーム解析部によって生成された情報に基づいて単位時間ごとの符号化難易度を計算する符号化難易度計算部と、入力動画像信号と前記計算された単位時間ごとの符号化難易度情報とを対応付けて記録する記録部と、記録部に記録された動画像信号を入力して復号化する復号化部と、記録部に記録された単位時間ごとの符号化難易度情報に基づき２パス目の符号化に割り振るビットレートを計算するビットレート計算部と、復号化部により復号化された信号についてビットレート計算部によって計算されたビットレートに従って２パス目の符号化を行う符号化部とを具備することを特徴とする。
本発明においては、ストリーム解析部にて、入力動画像信号を解析して符号化難易度を計算するために必要な情報を直接取得するように構成したことで、入力動画像信号を復号化してから符号化してこの符号化の際の情報を符号化難易度を計算するための情報として取り出すＡＶデコーダおよびＡＶエンコーダが不要になる。ストリーム解析部はＡＶデコーダおよびＡＶエンコーダに比べて回路規模が小さくて済み、よって低コスト化と高速化を図ることができる。
また、本発明の動画像信号の符号化装置において、ストリーム解析部は、少なくとも、ＭＰＥＧ−２で符号化されたデジタルストリーム信号である入力動画像信号のヘッダ情報を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成するものであってよい。また、入力動画像信号のデータ情報を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成してもよい。
ＭＰＥＧ−２で符号化されたデジタルストリーム信号のヘッダ情報には符号化難易度を計算するための指標となる情報が含まれているので、この情報をもとに符号化難易度を精度良く算出することができる。
さらに、本発明の動画像信号の符号化装置は、入力動画像信号を簡易的に復号化し、この復号化された信号の１パス目の符号化を行う簡易復号・符号化部と、簡易復号・符号化部による符号化時の情報をもとに画像の特徴点を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成する特徴点解析部とをさらに具備し、符号化難易度計算部は、ストリーム解析部によって生成された情報と特徴点解析部によって生成された情報に基づいて単位時間ごとの符号化難易度を計算するものとしてもよい。
この発明においては、符号化難易度計算部にて、ストリーム解析部にて生成された情報に加えて特徴点解析部にて生成された情報をもとに符号化難易度を計算するので、符号化難易度を計算する上での情報量が増大し、符号化難易度情報の精度向上を期待できる。
また、簡易復号・符号化部は、画像の画素数を間引く変換回路と、この変換回路によって画素数を間引いた画像を対象に復号化を行う復号化回路を含む構成としてもよい。元の画像と画素数を間引いた画像との間では特徴点解析部による特徴点の解析結果に大きな差は現れることはない。したがって、画素数を間引いた画像が復号化の対象となることで、復号化したデータを一次保存しておくためのメモリの容量の低減やメモリ帯域の低減、さらには復号化自体の処理量低減による回路規模の縮小や、回路規模の縮小による回路の高速化などを図ることができる。
本発明によれば、符号化難易度の計算に必要な情報を取得する回路の規模縮小および２パス可変ビットレート方式の符号化処理の高速化を図ることができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る動画像信号の符号化装置の構成を示すブロック図である。
同図に示すように、この第１の実施形態に係る動画像信号の符号化装置１００は、デジタル放送チューナ１、ネットワークインターフェース２、マスストレージインターフェース３、セレクタ４、ストリーム解析部５、符号化難易度計算部６、バッファコントローラ７、デマルチプレクサ８、ＡＶ（Audio/Video）デコーダ９、ＡＶエンコーダ１０、ビットレート計算部１１、マルチプレクサ１２、マスストレージデバイス１３、ドライブ１４、ＣＰＵ（Central Processing Unit）１５などを備えている。
デジタル放送チューナ１、ネットワークインターフェース２、およびマスストレージインターフェース３は、ＭＰＥＧ−２で符号化されたデジタルストリーム信号（動画像信号）を入力するための手段である。デジタル放送チューナ１は、具体的にはＢＳデジタル放送チューナ、ＣＳデジタル放送チューナ、地上波デジタル放送チューナなどであり、デジタル放送を選局し受信する。ネットワークインターフェース２はネットワークとの接続を行うためのインターフェースであり、ネットワークに配信可能な状態で蓄積されたデジタルストリーム信号のダウンロードなどのために用いられる。このネットワークインターフェース２は、具体的にはイーサネット（登録商標）インターフェース、無線ＬＡＮ（Local Area Network）インターフェースなどである。マスストレージインターフェース３は、データを格納する各種ストレージデバイスからデジタルストリーム信号を読み込み入力するためのインタフェースであり、具体的には、ＩＥＥＥ（the Institute of Electrical and Electronic Engineers）１３９４インターフェース、ＵＳＢ（Universal Serial Bus）インターフェースなどである。
セレクタ４は、デジタル放送チューナ１、ネットワークインターフェース２、マスストレージインターフェース３のいずれかから入力されるデジタルストリーム信号をＣＰＵ１５からの制御信号に基づき選択する手段である。
ストリーム解析部５は、１パス目にセレクタ４より入力されたデジタルストリーム信号を解析して、単位時間たとえばフレームごとの符号化難易度の計算に必要な情報（符号化難易度情報算出変数）を生成するための手段である。
符号化難易度計算部６は、ストリーム解析部５によって生成された符号化難易度情報算出変数に基づいてフレームごとの符号化難易度を計算するための手段である。
バッファコントローラ７は、各部間でのデジタルストリーム信号や符号化難易度情報の受け渡しを制御する手段である。
デマルチプレクサ８は、２パス目にバッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離してＡＶデコーダ９に供給する手段である。
ＡＶデコーダ９は、デマルチプレクサ８を通じて入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ復号化する手段である。
ＡＶエンコーダ１０は、ＡＶデコーダ９によって復号化されたビデオ信号およびオーディオ信号をビットレート計算部１１より与えられたビットレートに従って２パス目の符号化を行う手段である。なお、ＡＶエンコーダ１０に与える変数は必ずしもビットレートに限定されず、ＡＶエンコーダの仕様に依存する。
ビットレート計算部１１は、１パス目で作成された符号化難易度情報をもとに、対応するフレームの符号化に割り振るビットレートを計算してＡＶエンコーダ１０に供給する手段である。
マルチプレクサ１２は、ＡＶエンコーダ１０より入力されたデジタルビデオストリームおよびデジタルオーディオストリームを多重化してバッファコントローラ７に出力する手段である。
マスストレージデバイス１３は、データを格納する各種ストレージデバイスであり、たとえば、１パス目に入力されたデジタルストリーム信号と、ストリーム解析部５および符号化難易度計算部６の系で生成された符号化難易度情報などの記録および読み出しや、２パス目に可変ビットレートで符号化されたデジタルストリーム信号の記録および読み出しを行うデバイスである。
ドライブ１４は、ＤＶＤ（Digital Versatile Disc）などの記録媒体１６の着脱が可能とされ、この装着された記録媒体１６に対してたとえば、１パス目に入力されたデジタルストリーム信号と、ストリーム解析部５および符号化難易度計算部６の系で生成された符号化難易度情報などの記録および読み出しや、２パス目に可変ビットレートで符号化されたデジタルストリーム信号の記録および読み出しを行う装置である。
ＣＰＵ１５は、動画像信号の符号化装置１００の各部を統括的に制御する装置である。
次に、この第１の実施形態に係る動画像信号の符号化装置１００の動作を説明する。
この動画像信号の符号化装置１００では、１パス目に、入力デジタルストリーム信号をそのままマスストレージデバイス１３に、またはドライブ１４を通じて記録媒体１６に記録する一方で、そのデジタルストリーム信号からフレームごとの符号化難易度を計算するために必要な情報を生成してフレームごとの符号化難易度情報を作成し、マスストレージデバイス１３に、またはドライブ１４を通じて記録媒体１６に記録する。２パス目に、マスストレージデバイス１３から、またはドライブ１４の記録媒体１６からデジタルストリーム信号とフレームごとの符号化難易度情報を読み出し、デジタルストリーム信号を復号する一方で、符号化難易度情報をもとにそのフレームの符号化に割り振るビットレートを計算し、このビットレートに従って、復号化された信号を符号化し、マスストレージデバイス１３に、またはドライブ１４を通じて記録媒体１６に記録する。以下にこの動作の詳細を説明する。
図２はこの動画像信号の符号化装置１００の２パス可変ビットレート符号化動作の流れを示すフローチャートである。
(1.1) １パス目の動作
ＣＰＵ１５は、デジタル放送チューナ１、ネットワークインターフェース２、もしくはマスストレージインターフェース３のいずれか１系統からのデジタルストリーム信号をセレクタ４にて選択する（ステップＳ２０１）。セレクタ４によって選択されたデジタルストリーム信号はバッファコントローラ７とストリーム解析部５へそれぞれ出力される。バッファコントローラ７はセレクタ４から入力された動画像信号であるデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力する。入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、入力されたデジタルストリーム信号そのままがマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ２０２）。
ストリーム解析部５は、セレクタ４から入力されたデジタルストリーム信号中のヘッダ情報、データ情報からフレームごとの符号化難易度を計算するために必要な情報を生成し（ステップＳ２０３）、その情報を符号化難易度計算部６へ出力する。符号化難易度計算部６は、ストリーム解析部５から入力された情報をもとにフレームごとの符号化難易度を計算もしくは判別し（ステップＳ２０４）、バッファコントローラ７に符号化難易度情報を出力する。符号化難易度情報は値やフラグの集合体である。
バッファコントローラ７は符号化難易度計算部６から入力された符号化難易度情報をマスストレージデバイス１３またはドライブ１４に出力する。符号化難易度情報をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。ただし、符号化難易度情報とストリームを同一媒体に記録しなければならないという制約はない。これにより符号化難易度情報がマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ２０５）。この際、符号化難易度情報はデジタルストリーム信号の単位時間（フレーム）ごとの情報であるから、デジタルストリーム信号と符号化難易度情報とは双方の対応関係が分るような形式で記録される。
(1.2) ストリーム解析部５の詳細
ストリーム解析部５は、入力されたデジタルストリーム信号のヘッダ情報、データ情報を解析して符号化難易度を計算するために必要な情報（符号化難易度情報算出変数）を生成する。符号化難易度情報算出変数としては、量子化スケール、ビデオのアクセスユニット（ＡＵ）サイズ、ＤＣＴ（離散コサイン変換）のＤＣ（直流）係数などが考えられる。その他にも、符号化難易度を計算するための指標となる情報であって、デジタルストリーム信号そのものを解析して得られるものであれば何でもよい。また、決められた１つの種類の符号化難易度情報算出変数を符号化難易度を計算するために必要な情報として生成しても、複数の種類の符号化難易度情報算出変数を生成するようにしてもよい。
一例として、ビデオのアクセスユニット（ＡＵ）サイズの情報の生成について説明する。図３はＭＰＥＧ−２のトランスポートストリーム（ＴＳ：Transport Stream）の構成を示している。トランスポートストリームは１以上の固定長(１８８バイト)のＴＳパケットで構成される。ＴＳパケットはＴＳパケットヘッダとＴＳペイロードで構成され、ＴＳパケットヘッダにはそのＴＳパケットの種別を示すＰＩＤ番号が定義されている。映像や音声などの個別ストリームが収められたＰＥＳパケットは、同じＰＩＤ番号を持つ複数のＴＳパケットのＴＳペイロードに分割して伝送される。ＰＥＳパケットはＰＥＳヘッダとＰＥＳペイロードとで構成される。ＰＥＳペイロードは、１フレーム分のビデオまたはオーディオの符号化データ（アクセスユニット（ＡＵ））である。ＰＥＳヘッダには少なくとも、ＰＥＳペイロードの符号化データがビデオかオーディオかを示すＩＤ（Stream ID）とＰＥＳパケットのサイズを示す情報（PES packet length）とが含まれている。
したがって、ストリーム解析部５は、入力されたデジタルストリーム信号の中のＰＥＳヘッダを解析してその中のＩＤ（Stream ID ）を読み込むことによって、ビデオの符号化データが入ったＰＥＳパケットを検出し、そのＰＥＳパケットのＰＥＳヘッダ中のＰＥＳパケットサイズ情報（PES packet length ）を読み込むことによって、１フレーム分のアクセスユニット（ＡＵ）サイズを知ることができる。
符号化難易度計算部６は、このようにストリーム解析部５より取得した情報をもとに符号化難易度の算出を行う。
なお、ＭＰＥＧ−２ストリームから得られる、符号化難易度を計算するために必要な情報は、ＰＥＳヘッダからのみならず、その他のレイヤのヘッダ情報もしくはデータ情報から得るようにすることも可能である。
(1.3) ２パス目の動作
図２に戻って、ＣＰＵ１５は、１パス目にマスストレージデバイス１３または、ドライブ１４によって記録媒体１６に互いに対応付けて記録されたデジタルストリーム信号と符号化難易度情報をバッファコントローラ７に出力するように制御する（ステップＳ２０６）。バッファコントローラ７は、入力されたデジタルストリーム信号をデマルチプレクサ８に出力する一方、入力された符号化難易度情報をビットレート計算部１１へ出力する。デマルチプレクサ８は、バッファコントローラ７から入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離し（ステップＳ２０７）、ＡＶデコーダ９へ出力する。ＡＶデコーダ９はデマルチプレクサ８から入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ復号化し（ステップＳ２０８）、ＡＶエンコーダ１０に出力する。
一方、ビットレート計算部１１は、あらかじめＣＰＵ１５から設定された目標平均ビットレートとバッファコントローラ７から入力された符号化難易度情報から目標ビットレートを算出する（ステップＳ２０９）。より具体的には、トランスポートストリーム全体のフレーム数をＮとして、各フレームごとの符号化難易度情報の値の合計を求め、この合計値をＮで除算して符号化難易度情報の平均値を求める。この平均値にＣＰＵ１５から設定された目標平均ビットレートを対応付け、フレームごとの符号化難易度情報と平均値との差分と大小関係からフレームごとの目標ビットレートを算出する。すなわち、符号化難易度情報が平均値符号化より高いフレームには上記差分量に対応した高い目標ビットレートを割り当て、符号化難易度情報が平均値符号化より低いフレームには上記差分量に対応した低い目標ビットレートを割り振る。そして、算出した目標ビットレートの情報をＡＶエンコーダ１０に出力する。
ＡＶエンコーダ１０は、ＡＶデコーダ９から入力されたビデオ信号およびオーディオ信号をビットレート計算部１１から入力された目標ビットレートの情報を用いて符号化を行う（ステップＳ２１０）。ここでＡＶエンコーダ１０での符号化により結果として発生したビットレートの値はＣＰＵ１５へ出力され、ＣＰＵ１５にて目標ビットレートとの差分が計算され、次回のビットレート計算にフィードバックされる。
ＡＶエンコーダ１０によって符号化されたデジタルビデオストリームおよびデジタルオーディオストリームはマルチプレクサ１２に出力される。マルチプレクサ１２は入力されたデジタルビデオストリームとオーディオデジタルストリームとの多重化を行い（ステップＳ２１１）、デジタルストリーム信号としてバッファコントローラ７へ出力する。
バッファコントローラ７は、マルチプレクサ１２から入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力する。可変ビットレートで符号化されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、マスストレージデバイス１３またはドライブ１４に装着されている記録媒体１６に可変ビットレートで符号化されたデジタルストリーム信号が記録される（ステップＳ２１２）。
以上のように、本実施形態の動画像信号の符号化装置１００によれば、ストリーム解析部５にて、入力デジタルストリーム信号を解析して符号化難易度を計算するために必要な情報を直接取得するように構成したことで、入力デジタルストリーム信号を復号化した後符号化してこの符号化の際の情報を符号化難易度を計算するための情報として取り出すＡＶデコーダおよびＡＶエンコーダが不要になる。ストリーム解析部５はＡＶデコーダおよびＡＶエンコーダに比べて回路規模が小さくて済み、よって低コスト化と高速化を図ることが可能である。
また、１パス目のデジタルストリーム信号の入力は、デジタル放送チューナ１以外のネットワークインターフェース２やマスストレージインターフェース３からの入力も可能である。ネットワークインターフェース２やマスストレージインターフェース３からの入力の場合、デジタル放送チューナ１の入力より高速の入力が可能である。このようにデジタルストリーム信号の高速な入力に対して、従来は符号化難易度情報を取得する復号化部や符号化部の性能がボトルネックになるおそれがあったが、本実施形態では、ストリーム解析部５が純粋なハードウェアで構成することが可能なので、高速化が期待できる。また、ソフトウェアで本システムを組んだとしても処理の高速化を期待できる。
（第２の実施形態）
図４は本発明の第２の実施形態である動画像信号の符号化装置の構成を示すブロック図である。
同図に示すように、この動画像信号の符号化装置２００は、デジタル放送チューナ１、ネットワークインターフェース２、マスストレージインターフェース３、セレクタ４、ストリーム解析部５、符号化難易度計算部６、バッファコントローラ７、デマルチプレクサ８、ＡＶ（Audio/Video）デコーダ９、ＡＶエンコーダ１０、簡易ＡＶデコーダ・エンコーダ２１、特徴点解析部２２、ビットレート計算部１１、マルチプレクサ１２、マスストレージデバイス１３、ドライブ１４、ＣＰＵ（Central Processing Unit）１５などを備えている。
すなわち、本実施形態の動画像信号の符号化装置２００は、第１の実施形態の動画像信号の符号化装置１００の構成に簡易ＡＶデコーダ・エンコーダ２１および特徴点解析部２２を付加したものである。
以上の構成において、デマルチプレクサ８は、１パス目にバッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離して簡易ＡＶデコーダ・エンコーダ２１に供給し、２パス目にバッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離してＡＶデコーダ９に供給する。
簡易ＡＶデコーダ・エンコーダ２１は、デマルチプレクサ８から入力されたデジタルビデオストリーム信号とデジタルオーディオストリーム信号をそれぞれ簡易的に復号化し、さらに復号化した信号をたとえば固定ビットレートで符号化し、この符号化の際の発生ビット量、量子化スケール、動き予測（ＭＥ）エラー、シーンチェンジ情報、カラー情報など、画像の複雑さの指標となる情報を特徴点解析部２２へ出力する手段である。
特徴点解析部２２は、簡易ＡＶデコーダ・エンコーダ２１から入力された情報をもとに画像の特徴点の解析を行い、符号化難易度計算部６へ解析結果である符号化難易度情報算出変数を出力する手段である。画像の特徴点については後で詳述する。
符号化難易度計算部６は、ストリーム解析部５によって生成された符号化難易度情報算出変数と特徴点解析部２２から入力された符号化難易度情報算出変数とをもとに単位時間たとえばフレームごとの符号化難易度を計算し、バッファコントローラ７に符号化難易度情報を出力する手段である。
次に、この第２の実施形態にかかる動画像信号の符号化装置２００の動作を説明する。 図５はこの動画像信号の符号化装置２００の２パス可変ビットレート符号化動作の流れを示すフローチャートである。
(2.1) １パス目の動作
ＣＰＵ１５は、デジタル放送チューナ１、ネットワークインターフェース２、もしくはマスストレージインターフェース３のいずれか１系統からのデジタルストリーム信号をセレクタ４にて選択する（ステップＳ５０１）。セレクタ４にて選択されたデジタルストリーム信号は、バッファコントローラ７とストリーム解析部５へそれぞれ出力される。
バッファコントローラ７はセレクタ４から入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力するとともにデマルチプレクサ８に出力する。入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、デジタルストリーム信号がマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ５０２）。
デマルチプレクサ８は、バッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離して簡易ＡＶデコーダ・エンコーダ２１に出力する（ステップＳ５０３）。簡易ＡＶデコーダ・エンコーダ２１は、デマルチプレクサ８から入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ簡易的に復号化した後、たとえば固定ビットレートで符号化して、この符号化の際の発生ビット量、量子化スケール、動き予測（ＭＥ）エラー、シーンチェンジ情報、カラー情報など、画像の複雑さの指標となる情報を特徴点解析部２２へ出力する（ステップＳ５０４）。
特徴点解析部２２は、簡易ＡＶデコーダ・エンコーダ２１から入力された情報をもとに画像の特徴点の解析を行い、符号化難易度計算部６へ解析結果である符号化難易度情報算出変数を出力する（ステップＳ５０５）。
一方、ストリーム解析部５では、セレクタ４から入力されたデジタルストリーム信号中のヘッダ情報、データ情報からフレームごとの符号化難易度を計算するために必要な情報が生成され（ステップＳ５０６）、符号化難易度計算部６へ出力される。
符号化難易度計算部６は、特徴点解析部２２から入力された符号化難易度情報算出変数とストリーム解析部５から入力された符号化難易度情報算出変数をもとに符号化難易度を計算し（ステップＳ５０７）、計算した符号化難易度情報をバッファコントローラ７に出力する。
この後、バッファコントローラ７によって、符号化難易度計算部６より入力された符号化難易度情報はマスストレージデバイス１３またはドライブ１４に出力される。符号化難易度情報をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、符号化難易度情報はマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ５０８）。この際、符号化難易度情報はフレームごとの情報であるから、既にマスストレージデバイス１３に、またはドライブ１４の記録媒体１６に記録されているデジタルストリーム信号との対応関係が分るような形式で記録される。
(2.2) 簡易ＡＶデコーダ・エンコーダ２１による簡易的復号化の詳細
簡易ＡＶデコーダ・エンコーダ２１による簡易的復号化とは、たとえばハーフコンバートなどによってフレームの水平方向または垂直方向の画素数を半分に間引いた画像を対象に復号化を行ったり、水平方向または垂直方向の画素間差分のみを対象として復号化を行う手法である。このような簡易的復号化は、復号化したデータを一次保存しておくためのメモリの容量の低減やメモリ帯域の低減、さらには復号化自体の処理量低減による回路規模の縮小や、回路規模の縮小による回路の高速化などの利点をもたらす。
また、フレームの画素数をさらに低減させて上記の利点を増大させるために、ハーフコンバートに加えてダウンコンバートを行うようにしてもよい。ダウンコンバートとはフレームの画素数を水平および垂直のそれぞれの方向において間引いて、結果的にＳＤ（標準テレビジョン）画像の画素数（４８０×６４０）に変換する処理である。
図６は上記のハーフコンバートとダウンコンバートとによる画素数の変換例を示す図である。この例は、入力画像をＨＤ（高画質放送）画像とし、その画素数が１０８０×１４４０である場合を示している。このＨＤ画像の水平方向の画素数をハーフコンバートによって１／２に間引くことによって１０８０×７２０の画像が生成され、さらにダウンコンバートによって４８０×６４０のＳＤ画像が生成される。すなわちハーフコンバート後の１０８０×７２０の画素数は、ダウンコンバートによって水平方向に１／１．１２５、垂直方向に１／２．２５にそれぞれ間引きされて４８０×６４０（ＳＤ画像）となる。
図７は上記のハーフコンバートとダウンコンバートとによる画素数の他の変換例を示す図である。入力されるＨＤ画像の画素数は１０８０×１９２０である。このＨＤ画像の水平方向の画素数をハーフコンバートによって１／２に間引くことによって１０８０×９６０の画像が生成される。この場合、最終的に水平方向の画素数を６４０にするために、ハーフコンバート後の１０８０×９６０の画素数は、ダウンコンバートによって水平方向に１／１．５、垂直方向に１／３．３７５にそれぞれ間引きした後、上下にダミーの画素（８０×６４０）７１，７２をそれぞれ付加して、４８０×６４０のＳＤ画像を生成する。
図６および図７に示したように、もとのＨＤ画像、ハーフコンバート後の画像、ダウンコンバート後のＳＤ画像をそれぞれ比較すると、それぞれの画像の特徴点には大きな差異がなく、すなわち、ハーフコンバートおよびダウンコンバートは画像の特徴点を残したまま画像数を低減できることが分る。
ところで、簡易ＡＶデコーダ・エンコーダ２１でハーフコンバートのみを行うようにするか、ハーフコンバートとダウンコンバートの両方を行うようにするかは、システムの仕様で決められている入力画像がＨＤ画像であるかＳＤ画像であるかという点と、簡易ＡＶデコーダ・エンコーダ２１の性能、特にエンコーダ内部において復号された画像を解析する回路の性能に依存する。たとえば、入力画像がＳＤ画像に決められた仕様の場合には、簡易ＡＶデコーダ・エンコーダ２１内の画像解析回路の性能に依存することなくハーフコンバートのみを行う実装とする。また、入力画像がＨＤ画像で、簡易ＡＶデコーダ・エンコーダ２１内の画像解析回路の性能がＨＤ画像の解析をサポートしているならば、ハーフコンバートのみを行う実装とする。また、入力画像がＨＤ画像で、簡易ＡＶデコーダ・エンコーダ２１内の画像解析回路の性能がＳＤ画像までの解析しかサポートしていない場合にはハーフコンバートとダウンコンバートを行う実装とする。
(2.3) 特徴点解析部２２の詳細
特徴点解析部２２は、簡易ＡＶデコーダ・エンコーダ２１から入力された情報をもとに画像の特徴点の解析を行い、符号化難易度計算部６へ解析結果である符号化難易度情報算出変数を出力する。特徴点とは画像の特徴的な部位（テロップ、字幕など）や色（肌色など）、動作（シーンチェンジ、フェードなど）などである。このような特徴点の解析結果から得られる符号化難易度情報算出変数としては、発生ビット量、量子化スケール、動き予測（ＭＥ）エラー、シーンチェンジ情報、カラー情報などがある。ただし、簡易ＡＶデコーダ・エンコーダ２１の仕様によって取得できる変数は異なってくる。
(2.4) 符号化難易度計算部６の詳細
符号化難易度計算部６によって符号化難易度情報算出変数から算出される符号化難易度情報としては、アクセスユニット（ＡＵ）サイズの値のほかに、たとえば、Ｆｌｕｓｈ検出、クロスフェード検出、シーンチェンジ検出（１）、シーンチェンジ検出（２）、クロスフェード前後検出、色度（肌色）検出などのフラグ情報がある。
Ｆｌｕｓｈ検出のフラグは、１ＧＯＰ（Group Of Picture）内に規定回数以上のシーンチェンジが発生したことが判定された場合に有効となる。クロスフェード検出のフラグは、過去の連続する所定数のＧＯＰごとの動き予測（ＭＥ）エラーの発生回数の比較値が規定値以上である場合に有効となる。クロスフェードとは、フェードインとフェードアウトを同時に行って異なる映像どうしを入れ替える機能である。シーンチェンジ検出（１）のフラグは、シーンチェンジ情報がＯＮであれば有効となる。シーンチェンジ検出（２）のフラグは、過去の連続する３つのＧＯＰのＭＥエラーの発生回数が現在のＧＯＰのＭＥエラーの発生回数の規定数倍でかつＱスケール値が規定値以上である場合に有効となる。クロスフェード前後検出のフラグは、クロスフェード検出後またはシーンチェンジ検出（２）後のＧＯＰで有効となる。色度（肌色）検出のフラグは、カラー情報が規定数以上ＯＮであれば有効になる。
これらの符号化難易度情報は２パス目の再符号化時のビットレート算出に用いるだけでなく、画像の特徴点として編集にも用いることができる。たとえば、シーンチェンジ検出部分で自動的にチャプタ付けを行うなどの応用が可能である。
(2.5) ２パス目の動作
２パス目の動作は第１の実施形態と同様である。すなわち、図５に戻って、ＣＰＵ１５は、１パス目にマスストレージデバイス１３または、ドライブ１４によって記録媒体１６に記録されたデジタルストリーム信号と符号化難易度情報をバッファコントローラ７に出力するように制御する（ステップＳ５０９）。バッファコントローラ７は、入力されたデジタルストリーム信号をデマルチプレクサ８に出力する一方、入力された符号化難易度情報をビットレート計算部１１へ出力する。デマルチプレクサ８は、バッファコントローラ７から入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離し（ステップＳ５１０）、ＡＶデコーダ９へ出力する。ＡＶデコーダ９はデマルチプレクサ８から入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ復号化し（ステップＳ５１１）、ＡＶエンコーダ１０に出力する。
一方、ビットレート計算部１１は、あらかじめＣＰＵ１５から設定された目標平均ビットレートとバッファコントローラ７から入力された符号化難易度情報から目標ビットレートを算出する（ステップＳ５１２）。より具体的には、トランスポートストリーム全体のフレーム数をＮとして、各フレームごとの符号化難易度情報の値の合計を求め、この合計値をＮで除算して符号化難易度情報の平均値を求める。この平均値にＣＰＵ１５から設定された目標平均ビットレートを対応付け、フレームごとの符号化難易度情報と平均値との差分と大小関係からフレームごとの目標ビットレートを算出する。すなわち、符号化難易度情報が平均値符号化より高いフレームには上記差分量に対応した高い目標ビットレートを割り当て、符号化難易度情報が平均値符号化より低いフレームには上記差分量に対応した低い目標ビットレートを割り振る。そして、算出した目標ビットレートの情報をＡＶエンコーダ１０に出力する。
ＡＶエンコーダ１０は、ＡＶデコーダ９から入力されたビデオ信号およびオーディオ信号をビットレート計算部１１から入力された目標ビットレートの情報を用いて符号化を行う（ステップＳ５１３）。ここでＡＶエンコーダ１０での符号化により結果として発生したビットレートの値はＣＰＵ１５へ出力され、ＣＰＵ１５にて目標ビットレートとの差分が計算され、次回のビットレート計算にフィードバックされる。
ＡＶエンコーダ１０によって符号化されたデジタルビデオストリームおよびデジタルオーディオストリームはマルチプレクサ１２に出力される。マルチプレクサ１２は入力されたデジタルビデオストリームとオーディオデジタルストリームとの多重化を行い（ステップＳ５１４）、デジタルストリーム信号としてバッファコントローラ７へ出力する。
バッファコントローラ７は、マルチプレクサ１２から入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力する。可変ビットレートで符号化されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、マスストレージデバイス１３またはドライブ１４に装着されている記録媒体１６に可変ビットレートで符号化されたデジタルストリーム信号が記録される（ステップＳ５１５）。
以上のように、本実施形態の動画像信号の符号化装置２００によれば、ストリーム解析部５によるデジタルストリーム信号の解析による符号化難易度情報算出変数の生成と、簡易ＡＶデコーダ・エンコーダ２１と特徴点解析部２２とによる符号化難易度情報算出変数の生成とを同時に実行し、符号化難易度計算部６にてそれぞれの系で生成された符号化難易度情報算出変数をもとに符号化難易度を計算する。これにより、符号化難易度情報算出変数の増大により、符号化難易度情報の精度や情報量の向上を期待できる。
また、簡易ＡＶデコーダ・エンコーダ２１にて、ハーフコンバート、またはハーフコンバートとダウンコンバートによって画素数を間引いた画像を対象に復号化を行うことで、復号化された信号を記憶するメモリの容量、メモリ帯域を低減でき、回路規模の縮小や高速化を実現することができる。また、特徴点解析部２２は、特定の特徴点のみの解析を行うロジックのみで構成されるので回路規模が小さいもので済み、低コスト化と高速化を図れる。
（符号化難易度情報を記録したコンピュータ読み取り可能な記録媒体）
第１の実施形態の動画像信号の符号化装置１００あるいは第２の実施形態の動画像信号の符号化装置２００の１パス目に生成された符号化難易度情報は、符号化難易度情報を生成する機能を持たない他の符号化装置にて、外部より入力したデジタルストリーム信号を２パスＶＢＲで符号化する際のビットレート計算に利用することが可能である。そこで、第１の実施形態の動画像信号の符号化装置１００あるいは第２の実施形態の動画像信号の符号化装置２００にて生成された符号化難易度情報をコンピュータが読み取り可能な記録媒体に記録し、この記録媒体の流通により他の符号化装置へ符号化難易度情報を伝送するようにしてもよい。
以上、本発明に係る実施形態を説明したが、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
たとえば、上記の実施形態では、ストリーム信号としてＭＰＥＧ−２ストリームを扱う場合について説明したが、H.264/AVCストリームも扱うシステムにおいても本発明は適用可能である。
本発明の第１の実施形態に係る動画像信号の符号化装置の構成を示すブロック図である。 図１の動画像信号の符号化装置の２パス可変ビットレート符号化動作を示すフローチャートである。 ＭＰＥＧ−２のトランスポートストリームの構成を示す図である。 本発明の第２の実施形態に係る動画像信号の符号化装置の構成を示すブロック図である。 図４の動画像信号の符号化装置の２パス可変ビットレート符号化動作を示すフローチャートである。 簡易ＡＶデコーダ・エンコーダによる簡易的復号化の例を示す図である。 簡易ＡＶデコーダ・エンコーダによる簡易的復号化の別の例を示す図である。
符号の説明
１ デジタル放送チューナ
２ ネットワークインターフェース
３ マスストレージインターフェース
４ セレクタ
５ ストリーム解析部
６ 符号化難易度計算部
７ バッファコントローラ
８ デマルチプレクサ
９ ＡＶデコーダ
１０ ＡＶエンコーダ
１１ ビットレート計算部
１２ マルチプレクサ
１３ マスストレージデバイス
１４ ドライブ
１６ 記録媒体
２１ 簡易ＡＶデコーダ・エンコーダ
２２ 特徴点解析部
１００、２００ 動画像信号の符号化装置

Claims (6)

  1. 入力動画像信号を２パス可変ビットレート方式により符号化処理する装置において、
    前記入力動画像信号を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成するストリーム解析部と、
    前記ストリーム解析部によって生成された情報に基づいて単位時間ごとの符号化難易度を計算する符号化難易度計算部と、
    前記入力動画像信号と前記計算された単位時間ごとの符号化難易度情報とを対応付けて記録する記録部と、
    前記記録部に記録された動画像信号を入力して復号化する復号化部と、
    前記記録部に記録された前記単位時間ごとの符号化難易度情報に基づき２パス目の符号化に割り振るビットレートを計算するビットレート計算部と、
    前記復号化部により復号化された信号について前記ビットレート計算部によって計算されたビットレートに従って２パス目の符号化を行う符号化部と
    を具備することを特徴とする動画像信号の符号化装置。
  2. 前記入力動画像信号はＭＰＥＧ−２で符号化されたデジタルストリーム信号であり、
    前記ストリーム解析部は、少なくとも、前記入力動画像信号のヘッダ情報を解析して、前記単位時間ごとの符号化難易度の計算に必要な情報を生成することを特徴とする請求項１に記載の動画像信号の符号化装置。
  3. 入力動画像信号を簡易的に復号化し、この復号化された信号の１パス目の符号化を行う簡易復号・符号化部と、
    前記簡易復号・符号化部による符号化時の情報をもとに画像の特徴点を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成する特徴点解析部とをさらに具備し、
    前記符号化難易度計算部は、前記ストリーム解析部によって生成された情報と前記特徴点解析部によって生成された情報に基づいて単位時間ごとの符号化難易度を計算することを特徴とする請求項１に記載の動画像信号の符号化装置。
  4. 前記簡易復号・符号化部は、画像の画素数を間引く変換回路と、この変換回路によって画素数を間引いた画像を対象に復号化を行う復号化回路を含むことを特徴とする請求項３に記載の動画像信号の符号化装置。
  5. 入力動画像信号を２パス可変ビットレート方式により符号化処理する方法において、
    １パス目に、前記入力動画像信号を解析して単位時間ごとの符号化難易度を計算し、前記入力動画像信号と前記計算された単位時間ごとの符号化難易度情報とを対応付けて記録部に記録し、
    ２パス目に、前記記録部に記録された動画像信号を復号化し、前記記録部に記録された前記単位時間ごとの符号化難易度情報に基づき符号化に割り振るビットレートを計算し、前記復号化された信号を前記計算されたビットレートに従って符号化することを特徴とする動画像信号の符号化方法。
  6. 動画像信号の２パス可変ビットレート方式による符号化に割り振られるビットレートの計算に用いられる、前記動画像信号の単位時間ごとの符号化難易度の情報が記録されたコンピュータ読み取り可能な記録媒体。
JP2005260007A 2005-09-08 2005-09-08 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4788250B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005260007A JP4788250B2 (ja) 2005-09-08 2005-09-08 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体
EP20060254587 EP1773065A3 (en) 2005-09-08 2006-09-04 Signal encoding apparatus and method using 2-pass variable bit rate encoding
US11/517,082 US20070116130A1 (en) 2005-09-08 2006-09-07 Moving picture signal encoding apparatus, moving picture signal encoding method,and computer-readable recording medium
KR20060086048A KR20070029072A (ko) 2005-09-08 2006-09-07 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체
CN200610135705XA CN1929609B (zh) 2005-09-08 2006-09-08 运动图像信号编码装置以及运动图像信号编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005260007A JP4788250B2 (ja) 2005-09-08 2005-09-08 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2007074450A true JP2007074450A (ja) 2007-03-22
JP4788250B2 JP4788250B2 (ja) 2011-10-05

Family

ID=37696645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005260007A Expired - Fee Related JP4788250B2 (ja) 2005-09-08 2005-09-08 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US20070116130A1 (ja)
EP (1) EP1773065A3 (ja)
JP (1) JP4788250B2 (ja)
KR (1) KR20070029072A (ja)
CN (1) CN1929609B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112692A1 (en) * 2006-11-09 2008-05-15 Sony Corporation Method and apparatus for converting digital pictures for storage and playback from optical discs
KR100928045B1 (ko) * 2007-10-25 2009-11-23 에스케이 텔레콤주식회사 영상 분석 장치를 이용한 부호화 방법 및 시스템과 그를위한 영상 분석 장치
JP2010093576A (ja) * 2008-10-08 2010-04-22 Sony Corp 受信装置、受信方法およびコンピュータプログラム
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.
US9832540B2 (en) * 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder
US10878583B2 (en) 2016-12-02 2020-12-29 Google Llc Determining structure and motion in images using neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016580A (ja) * 1999-06-25 2001-01-19 Victor Co Of Japan Ltd 符号化装置
US6674796B1 (en) * 2000-02-14 2004-01-06 Harmonic, Inc. Statistical multiplexed video encoding for diverse video formats
JP2005064790A (ja) * 2003-08-11 2005-03-10 Sony Corp 動画像信号の符号化装置、符号化方法および記録装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JP4203707B2 (ja) * 2001-01-31 2009-01-07 日本電気株式会社 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。
US20030215011A1 (en) * 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
JP2006086964A (ja) * 2004-09-17 2006-03-30 Toshiba Corp ビットレート変換装置およびビットレート変換方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016580A (ja) * 1999-06-25 2001-01-19 Victor Co Of Japan Ltd 符号化装置
US6674796B1 (en) * 2000-02-14 2004-01-06 Harmonic, Inc. Statistical multiplexed video encoding for diverse video formats
JP2005064790A (ja) * 2003-08-11 2005-03-10 Sony Corp 動画像信号の符号化装置、符号化方法および記録装置

Also Published As

Publication number Publication date
JP4788250B2 (ja) 2011-10-05
EP1773065A3 (en) 2008-11-12
CN1929609B (zh) 2010-06-02
EP1773065A2 (en) 2007-04-11
KR20070029072A (ko) 2007-03-13
CN1929609A (zh) 2007-03-14
US20070116130A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
US6301428B1 (en) Compressed video editor with transition buffer matcher
JP4221676B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4788250B2 (ja) 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体
US6314139B1 (en) Method of inserting editable point and encoder apparatus applying the same
US20090257736A1 (en) Information processing apparatus and information processing method
JP5064305B2 (ja) ビットレート変換装置及び変換方法
JP4577357B2 (ja) 符号化装置及び方法、並びにプログラム
WO2006035883A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR20070022616A (ko) 정보 처리 장치 및 정보 처리 방법, 기록 매체, 및프로그램
JP2000152234A (ja) データ処理装置及びその方法、及びデータ処理システム
JP5046907B2 (ja) 記録装置、その制御方法、プログラム
JPWO2008053557A1 (ja) 動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体
JP4788251B2 (ja) 動画像信号の符号化装置
JP2000197010A (ja) 画像デ―タ編集装置
JP4462559B2 (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
JP2006279724A (ja) 画像データ符号化装置及び画像データ符号化方法
JP4073541B2 (ja) 動画像再符号化装置
JP2008042660A (ja) 映像信号再符号化装置及び映像信号再符号化方法
JP4871848B2 (ja) 動画像再符号化装置
JP4867872B2 (ja) 画像処理装置、この画像処理装置の制御方法、及び、プログラム
JP3854717B2 (ja) 復号装置およびその方法
JP6753097B2 (ja) 符号化システム、符号化装置、再生装置及び符号化方法
US20170366813A1 (en) Image encoding apparatus, image encoding method, and image encoding program stored in storage medium
JP2002152735A (ja) 画像再符号化装置
JP2010056849A (ja) 映像信号再符号化装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees