JP2012009934A - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
JP2012009934A
JP2012009934A JP2010141568A JP2010141568A JP2012009934A JP 2012009934 A JP2012009934 A JP 2012009934A JP 2010141568 A JP2010141568 A JP 2010141568A JP 2010141568 A JP2010141568 A JP 2010141568A JP 2012009934 A JP2012009934 A JP 2012009934A
Authority
JP
Japan
Prior art keywords
encoding
picture
image data
encoding process
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010141568A
Other languages
English (en)
Inventor
Kashu Takahashi
加洲 高橋
Takaaki Fuchie
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010141568A priority Critical patent/JP2012009934A/ja
Priority to CN201110166755A priority patent/CN102300097A/zh
Priority to US13/162,173 priority patent/US8538178B2/en
Publication of JP2012009934A publication Critical patent/JP2012009934A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】画像の符号化処理を高速に行うことができるようにする。
【解決手段】画像データの符号化処理を行う複数の符号化部31,32と、符号化部31,32で符号化処理に用いる参照画像データを記憶する共有メモリ41を設ける。制御部61は、2つの符号化部を交互に確保して、確保した符号化部でフレーム内予測符号化画像と順方向予測符号化画像の符号化処理を優先して行わせる。さらに、フレーム内予測符号化画像または順方向予測符号化画像の符号化処理に用いられていない符号化部、および確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理が共有メモリに記憶されている参照画像データを用いて行わせる。
【選択図】 図1

Description

この発明は、画像処理装置と画像処理方法に関する。詳しくは、画像の符号化処理を高速に行うことができるようにする。
ディジタル映像技術の発展と共に、データ量の増大に対応して映像データを圧縮符号化する技術が発展しつつある。また、データ処理能力の向上に伴い、圧縮符号化における複雑な演算も可能となり、映像データの圧縮率は大幅に高まりつつある。具体的には、衛星および地上波ディジタルハイビジョン放送で採用されている圧縮符号化技術として、MPEG2(Moving Picture Experts Group 2)と呼ばれる圧縮符号化方式が用いられている。また、MPEG2に続いて規格化された圧縮符号化方式の1つであるMPEG4 AVC/H.264(以下「H.264/AVC」という)は、MPEG2よりもさらに圧縮率が向上されている。
このような圧縮符号化を高速に行うため、複数の符号化部を用いて並列に符号化処理を行うことが提案されている。例えば、特許文献1の発明では、画面分割を行い、分割後の領域毎に並列して符号化が行われている。また、特許文献2の発明では、クローズドGOP(Closed Group Of Pictures)構造を用いて、GOP単位で並列に符号化処理が行われている。
特開2002−199392号公報 特開2008−66851号公報
ところで、画面を分割して、分割後の領域毎に並列して符号化を行う場合、分割した領域の境界部分が画像に現れてしまうおそれがある。例えば、H.264/AVにおいてイントラ予測が行われる場合、境界に位置するマクロブロックで参照画素の画素データを取得できない場合があり、境界部分の目立った画像となってしまうおそれがある。また、境界面ではデブロックフィルタをかけることができないため、インター予測に用いる参照画像(ローカルデコード画)は、ブロック歪みが残っている画像となってしまう。
また、クローズドGOP構造を用いると、オープンGOP構造に比べて圧縮率が悪くなる。また、GOP単位で並列に符号化処理が行われるため、GOP単位で符号化ビットストリームを格納する大きなバッファが必要となり、符号化処理における遅延が1GOPに相当する時間以上となってしまう。
そこで、この発明では、画像の符号化処理を高速に行うことができる画像処理装置と画像処理方法を提供することを目的とする。
この発明の第1の側面は、画像データの符号化処理を行う複数の符号化部と、前記複数の符号化部のそれぞれで行われる符号化処理で用いる参照画像データが記憶される共有メモリと、前記複数の符号化部から符号化部を確保してフレーム内予測符号化画像と順方向予測符号化画像の符号化処理を優先して行わせて、前記フレーム内予測符号化画像または前記順方向予測符号化画像の符号化処理に用いられていない符号化部、および前記確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理を前記共有メモリに記憶されている参照画像データを用いて行わせる制御部とを有する画像処理装置にある。
この発明においては、画像データの符号化処理を行う符号化部が複数設けられる。また、複数の符号化部のそれぞれで行われる符号化処理で用いられる参照画像データを記憶する共有メモリが設けられる。制御部は、例えば2つの符号化部から符号化部を交互に確保して、フレーム内予測符号化画像と順方向予測符号化画像の符号化処理を優先して行わせる。さらに、フレーム内予測符号化画像または順方向予測符号化画像の符号化処理の終了から、この符号化処理を行った符号化部で次のフレーム内予測符号化画像または順方向予測符号化画像の符号化処理が行われるまでの期間に、フレーム内予測符号化画像と順方向予測符号化画像間または順方向予測符号化画像間の双方向予測符号化画像について符号化処理が完了するように、双方向予測符号化画像の数または符号化部の数等が設定されて、フレーム内予測符号化画像または順方向予測符号化画像の符号化処理に用いられていない符号化部、および確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理が、共有メモリに記憶されている参照画像データを用いて行われる。
この発明の第2の側面は、複数の符号化部で画像データの符号化処理を行う符号化処理工程と、共有メモリに前記複数の符号化部のそれぞれで行われる符号化処理で用いる参照画像データを記憶させる記憶処理工程と、前記複数の符号化部から符号化部を確保してフレーム内予測符号化画像と順方向予測符号化画像の符号化処理を優先して行わせて、前記フレーム内予測符号化画像または前記順方向予測符号化画像の符号化処理に用いられていない符号化部、および前記確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理を前記共有メモリに記憶されている参照画像データを用いて行わせる制御工程とを設けた画像処理方法にある。
この発明によれば、共有メモリが設けられて、画像データの符号化処理を行う符号化部では、共有メモリに記憶されている参照画像データを用いて符号化処理が行われる。また、複数の符号化部から符号化部を確保してフレーム内予測符号化画像と順方向予測符号化画像の符号化処理が優先して行われる。さらに、フレーム内予測符号化画像または順方向予測符号化画像の符号化処理に用いられていない符号化部、および確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理が共有メモリに記憶されている参照画像データを用いて行われる。したがって、画像の符号化処理を高速に行うことができる。また、符号化処理を画面単位で順次行うことから、画面分割後の領域毎に並列して符号化を行う場合のように、境界部分が画像に現れてしまうことがなく、GOP単位で並列に符号化処理を行う場合のように、大きなバッファを必要とすることもない。また、GOP単位で並列に符号化処理を行う場合に比べてレイテンシを短くできる。
第1の実施の形態の構成を示す図である。 第1の実施の形態の動作を示すフローチャートである。 制御信号とデータの流れを示す図である。 第1の実施の形態の具体的動作を例示した図である。 第2の実施の形態の構成を示す図である。 制御信号とデータの流れを示す図である。 第2の実施の形態の具体的動作を例示した図である。 第2の実施の形態の他の具体的動作を例示した図である。 コンピュータの構成を例示した図である。
以下、発明を実施するための形態について説明する。この発明では、共有メモリに参照画像データを記憶させて、符号化部は共有メモリに記憶されている参照画像データを用いて符号化処理を行う。また、複数の符号化部から符号化部を確保して、フレーム内予測符号化画像(以下「Iピクチャ」という)と順方向予測符号化画像(以下「Pピクチャ」という)の符号化処理を優先させて行う。さらに、IピクチャまたはPピクチャの符号化処理に用いられていない符号化部、および確保した符号化部でIピクチャまたはPピクチャの符号化処理が行われていない期間を用いて、双方向予測符号化画像(以下「Bピクチャ」という)の符号化処理を共有メモリに記憶されている参照画像データを用いて行う。このように符号化処理を並列して行い、入力された画像データを順次処理できるようにする。なお、説明は以下の順序で行う。
1.第1の実施の形態(2つの符号化部を用いた場合)
2.第2の実施の形態(3つの符号化部を用いた場合)
3.ソフトウェアで符号化処理を行う場合
<1.第1の実施の形態>
[第1の実施の形態の構成]
図1は第1の実施の形態の構成を示す図である。画像処理装置10は、DMA21,51、第1符号化部31、第2符号化部32、共有メモリ41、制御部61を有している。また、DMA21,51と第1符号化部31と第2符号化部32および共有メモリ41は、バス71を介して制御部61と接続されている。
DMA21は、制御部61からの制御信号に基づき、符号化する入力画像データを共有メモリ41に書き込む。
第1符号化部31は、制御部61からの制御信号に基づき、入力画像データの読み込みと、制御信号で示されたピクチャタイプに応じた符号化処理を行う。第1符号化部31は、符号化処理を行うことにより得られた符号化データを共有メモリ41に記憶させる。また、第1符号化部31は、その後に行われる符号化処理で用いる参照画像データを共有メモリ41に記憶させる。また、第1符号化部31は、制御信号で示されたピクチャタイプが参照画像データを用いて符号化処理を行うタイプであるとき、共有メモリ41に記憶されている参照画像データを用いて符号化処理を行う。
第2符号化部32は、制御部61からの制御信号に基づき、入力画像データの読み込みと、制御信号で示されたピクチャタイプに応じた符号化処理を行う。第2符号化部32は、符号化処理を行うことにより得られた符号化データを共有メモリ41に記憶させる。また、第2符号化部32は、その後に行われる符号化処理で用いる参照画像データを共有メモリ41に記憶させる。また、第2符号化部32は、制御信号で示されたピクチャタイプが参照画像データを用いて符号化処理を行うタイプであるとき、共有メモリ41に記憶されている参照画像データを用いて符号化処理を行う。
DMA51は、制御部61からの制御信号に基づき、共有メモリに記憶されている符号化データを読み出して画像処理装置10から出力する。
制御部61は、制御信号をDMA21,51と第1符号化部31と第2符号化部32に供給して各部の動作を制御する。また、制御部61は、第1符号化部31と第2符号化部32で共有メモリ41を利用して符号化処理を並列して行わせることで、入力画像データの符号化処理を高速に行えるようにする。
[第1の実施の形態の動作]
図2は、第1の実施の形態の動作を示すフローチャートである。
ステップST1で制御部61は、画像データ取り込み指示を行う。制御部61は、画像データ取り込み指示を示す制御信号をDMA21に供給する。DMA21は、制御信号に応じた動作を行い、入力画像データを共有メモリ41に記憶させる。
ステップST2で制御部61は、IピクチャまたはPピクチャの符号化処理を行う符号化部を確保する。制御部61は、複数の符号化部からIピクチャまたはPピクチャの符号化処理を行う符号化部を確保してステップST3に進む。
ステップST3で制御部61は、IピクチャまたはPピクチャの符号化処理を開始可能できるか否か判別する。制御部61は、IピクチャまたはPピクチャとして符号化処理する画像が共有メモリ41に記憶されたとき、符号化処理を開始できると判別する。また、制御部61は、IピクチャまたはPピクチャとして符号化処理する画像が共有メモリ41に記憶されていないとき、符号化処理を開始できないと判別してステップST4に進む。さらに、制御部61は、Pピクチャの符号化処理で用いる参照画像データが共有メモリ41に記憶されていないとき、符号化処理を開始できないと判別してステップST4に進む。
ステップST4で制御部61は、Bピクチャの符号化処理を開始可能であるか判別する。制御部61は、次の条件を満たすときBピクチャの符号化処理を開始可能と判別する。また、条件を満たさないとき符号化処理を開始できないと判別してステップST5に進む。
・Bピクチャの符号化処理に用いる参照画像データが共有メモリ41に記憶されている。
・符号化処理中でない符号化部が存在する。
・符号化処理中でない符号化部は、IピクチャまたはPピクチャの符号化処理を優先して行うために確保された符号化部ではない。または、確保された符号化部であっても、次のIピクチャまたはPピクチャの符号化処理を開始する前に、Bピクチャの符号化処理を終了できる。
ステップST5で、制御部61は符号化処理が開始可能であるか否か判別する。制御部61は、ステップST3またはステップST4で、符号化処理が開始可能であると判別されたときステップST6に進む。また、制御部61は、符号化処理が開始可能でないときステップST3に戻る。
ステップST6で制御部61は符号化処理を行うピクチャと符号化部を決定する。制御部61は、IピクチャまたはPピクチャの符号化処理が開始可能であるとき、確保されている符号化部でIピクチャまたはPピクチャの符号化処理を行うように決定する。また、制御部61は、Bピクチャの符号化処理が開始可能であるとき、Bピクチャの符号化処理を行う符号化部を決定してステップST7に進む。
ステップST7で制御部61は、ステップST6で決定された符号化部でピクチャの符号化処理を行わせてステップST8に進む。
ステップST8で制御部61は、新たな符号化部の確保が必要か否か判別する。制御部61は、IピクチャまたはPピクチャの符号化処理を行ったとき、新たな符号化部の確保が必要と判別してステップST9に進む。また、制御部61は、IピクチャまたはPピクチャの符号化処理が行われていないときステップST10に進む。
ステップST9で制御部は、符号化部の確保を行う。制御部61は、例えば2つの符号化部が交互に用いられるように符号化部を確保する。すなわち、制御部61は、最初に第1符号化部31を確保してIピクチャまたはPピクチャの符号化処理を行ったとき、次にIピクチャまたはPピクチャの符号化処理を行うために第2符号化部32を確保する。また、第2符号化部32を確保してIピクチャまたはPピクチャの符号化処理を行ったとき、次にIピクチャまたはPピクチャの符号化処理を行うために第1符号化部31を確保する。このように、制御部61は、2つの符号化部を交互に確保してステップST10に進む。
ステップST10で制御部61は、符号化データの出力が行われているか判別する。制御部61は、符号化データの出力を行っていないときステップST11に進み、符号化データの出力を行っているときステップST12に進む。
ステップST11で制御部61は、符号化データ出力指示を行う。制御部61は、符号化データ出力指示を示す制御信号をDMA51に供給する。DMA51は、制御信号に応じた動作を行い、共有メモリ41に記憶されている符号化データを出力させてステップST12に進む。
ステップST12で制御部61は、符号化処理の終了であるか否か判別する。制御部61は、例えば符号化処理を終了するユーザ操作が行われていないときや、入力画像データが終了していないときステップST3に戻る。また、制御部61は、例えば符号化処理を終了するユーザ操作が行われたときや、入力画像データが終了したとき符号化処理を終了する。
図3は、画像処理装置10における制御信号とデータの流れを示している。制御部61は、画像データ取り込み指示を示す制御信号(SC1)をDMA21に出力する。DMA21は、制御信号(SC1)に応じた動作を行い、入力画像データ(SD1)を共有メモリ41に記憶させる。
制御部61は、IピクチャとPピクチャの符号化処理を、第1符号化部31と第2符号化部32を交互に用いて優先して行う。また、Bピクチャの符号化処理は、第1符号化部31と第2符号化部32において、IピクチャやPピクチャの符号化処理のために確保されていない符号化部と、確保されている符号化部で符号化処理が行われていない期間を用いて行う。
制御部61は、最初に第1符号化部31を確保して、例えばIピクチャの符号化処理が開始可能となったとき、第1符号化部31に対して、共有メモリ41に記憶されている入力画像データを用いてIピクチャの符号化処理を行わせる制御信号(SC2)を出力する。
第1符号化部31は、共有メモリ41に記憶されている入力画像データを用いてIピクチャの符号化処理を行い、符号化データ(SD2)と参照画像データ(SD3)を共有メモリ41に記憶させる。さらに、第1符号化部31は、符号化処理が終了したことを示す完了通知信号(SA2)を制御部61に出力する。
制御部61は、Iピクチャの符号化処理後に第2符号化部32を確保する。制御部61は、Pピクチャの符号化処理が開始可能となったとき、第2符号化部32に対して、共有メモリ41に記憶されている入力画像データと参照画像データを用いてPピクチャの符号化処理を行わせる制御信号(SC3)を出力する。
第2符号化部32は、共有メモリ41に記憶されている入力画像データ(SD1)と、共有メモリ41に記憶されている参照画像データを用いてPピクチャの符号化処理を行う。第2符号化部32は、符号化処理によって生成された符号化データ(SD4)と、その後に行われる符号化処理で用いられる参照画像データ(SD5)を共有メモリ41に記憶させる。さらに、第2符号化部32は、符号化処理が終了したことを示す完了通知信号(SA3)を制御部61に出力する。
その後、制御部61は、第1符号化部31と第2符号化部32を交互に確保して、IピクチャやPピクチャの符号化処理が開始可能となったとき符号化処理を優先して行わせる。
また、制御部61は、次のIピクチャまたはPピクチャの符号化処理に用いる符号化部とは異なる符号化部で、入力画像データと参照画像データを用いてBピクチャの符号化処理を行わせる。また、制御部61は、次のIピクチャまたはPピクチャの符号化処理に用いる符号化部であっても、次のIピクチャまたはPピクチャの符号化処理が開始される前に符号化処理を完了できるとき、この確保されている符号化部でBピクチャの符号化処理を行わせる。符号化部は、符号化処理で生成された符号化データを共有メモリ41に記憶させる。
また、制御部61は、符号化データの出力指示を示す制御信号(SC4)をDMA51に出力する。DMA51は、制御信号(SC4)に応じた動作を行い、共有メモリ41から符号化データを読み出して、符号化ビットストリーム(SD7)の出力を行う。
図4は、第1の実施の形態の具体的動作を例示している。なお、図4では、画像処理装置10で、1ピクチャの符号化処理に2フレーム期間を要する場合を示している。また、エンコード条件は、プログレッシブ方式で、M(I,Pピクチャ周期)=3,N(1GOPにおけるピクチャ数)=14の場合である。
図4の(A)は、フレーム番号を示している。図4の(B)は、入力画像データを示している。図4の(C)は、第1符号化部31の符号化処理を示している。図4の(D)は、第2符号化部32の符号化処理を示している。図4の(E),(F),(G)は、参照画像データを示している。図4の(H),(I)は、符号化データを示している。図4の(J)は、出力する符号化データを示している。
フレーム0でDMA21は、Bピクチャの画像データB0を共有メモリ41に記憶する。フレーム1でDMA21は、Bピクチャの画像データB1を共有メモリ41に記憶する。フレーム2でDMA21は、Iピクチャの画像データI2を共有メモリ41に記憶する。なお、制御部61は、フレーム0〜2までの期間において、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム3でDMA21は、Bピクチャの画像データB3を共有メモリ41に記憶する。また、制御部61は、フレーム2でIピクチャの画像データI2が共有メモリ41に記憶されたことから、Iピクチャの符号化処理を優先して行わせる。制御部61は、例えば第1符号化部31を確保しておき、第1符号化部31で画像データI2の符号化処理を行わせる。このため、第1符号化部31は、フレーム3,4の2フレーム期間を使用して画像データI2の符号化処理を行い、符号化データI2Eと参照画像データI2Lを共有メモリ41に記憶する。また、制御部61は、画像データI2の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第2符号化部32を確保する。
フレーム4でDMA21は、Bピクチャの画像データB4を共有メモリ41に記憶する。制御部61は、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム5でDMA21は、Pピクチャの画像データP5を共有メモリ41に記憶する。また、フレーム5では、参照画像データI2Lが共有メモリ41に記憶されており、この参照画像データI2Lを用いて、Bピクチャの画像データB0,B1の符号化処理が可能となる。また、フレーム5では、Iピクチャの符号化処理が終了していることから、第1符号化部31と第2符号化部32で符号化処理を行うことが可能である。さらに、Pピクチャの画像データP5が共有メモリ41に記憶されると、制御部61は、確保されている第2符号化部32でPピクチャの画像データP5の符号化処理を次のフレームで優先して行わせる。ここで、Bピクチャの画像データB0の符号化処理に第2符号化部32を選択すると、画像データB0の符号化処理はフレーム6までの期間を要することから、Pピクチャの画像データP5の符号化処理を優先して行うことができない。したがって、制御部61は、第1符号化部31を選択して、画像データB0の符号化処理を行わせる。すなわち、第1符号化部31は、フレーム5,6の2フレーム期間を使用して画像データB0の符号化処理を行い、画像データB0の符号化処理で生成された符号化データB0Eを共有メモリ41に記憶させる。
フレーム6でDMA21は、Bピクチャの画像データB6を共有メモリ41に記憶させる。制御部61は、フレーム5でPピクチャの画像データP5が共有メモリ41に記憶されたことから、Pピクチャの符号化処理を優先して行わせる。制御部61は、確保されている第2符号化部32で画像データP5の符号化処理を行わせる。このため、第2符号化部32は、フレーム6,7の2フレーム期間を使用して画像データP5の符号化処理を行い、符号化処理で生成された参照画像データP5Lと符号化データP5Eを共有メモリ41に記憶する。また、制御部61は、画像データP5の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第1符号化部31を確保する。
フレーム7でDMA21は、Bピクチャの画像データB7を共有メモリ41に記憶する。また、フレーム7では、参照画像データI2Lが共有メモリ41に記憶されており、この参照画像データI2Lを用いて、Bピクチャの画像データB1の符号化処理が可能となる。また、フレーム5では、画像データB0の符号化処理が終了していることから、第1符号化部31で符号化処理を行うことが可能である。ここで、第1符号化部31を用いてPピクチャの画像データの符号化処理を優先して行われるのはフレーム9であり、第1符号化部31は、Bピクチャの画像データB1の符号化処理をフレーム7,8で行うことができる。したがって、制御部61は、第1符号化部31を選択してBピクチャの画像データB1の符号化処理を行わせる。すなわち、第1符号化部31は、フレーム7,8の2フレーム期間を使用して画像データB1の符号化処理を行い、画像データB1の符号化処理で生成された符号化データB1Eを共有メモリ41に記憶させる。
フレーム8でDMA21は、Pピクチャの画像データP8を共有メモリ41に記憶する。また、フレーム8では、参照画像データI2L,P5Lが共有メモリ41に記憶されており、この参照画像データI2L,P5Lを用いて、Bピクチャの画像データB3,B4の符号化処理が可能となる。また、フレーム8では、画像データP5の符号化処理が終了していることから、第2符号化部32で符号化処理を行うことが可能である。ここで、第2符号化部32を用いてPピクチャの画像データの符号化処理が優先して行われるのはフレーム12であり、第2符号化部32は、Bピクチャの画像データB3の符号化処理をフレーム8,9で行うことができる。したがって、制御部61は、第2符号化部32を選択してBピクチャの画像データB3の符号化処理を行わせる。すなわち、第2符号化部32は、フレーム8,9の2フレーム期間を使用して画像データB3の符号化処理を行い、画像データB3の符号化処理で生成された符号化データB3Eを共有メモリ41に記憶させる。
フレーム9でDMA21は、Bピクチャの画像データB9を共有メモリ41に記憶させる。制御部61は、フレーム8でPピクチャの画像データP8が共有メモリ41に記憶されたことから、Pピクチャの符号化処理を優先して行わせる。制御部61は、確保されている第1符号化部31で画像データP8の符号化処理を行わせる。このため、第1符号化部31は、フレーム9,10の2フレーム期間を使用して画像データP8の符号化処理を行い、符号化データP8Eと参照画像データP8Lを共有メモリ41に記憶する。なお、フレーム9では、第1符号化部31と第2符号化部32で符号化処理が行われているので、制御部61は、新たなピクチャの符号化処理を開始しない。また、制御部61は、画像データP8の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第2符号化部32を確保する。
フレーム10でDMA21は、Bピクチャの画像データB10を共有メモリ41に記憶する。また、フレーム10では、参照画像データI2L,P5Lが共有メモリ41に記憶されており、この参照画像データI2L,P5Lを用いて、Bピクチャの画像データB4の符号化処理が可能である。また、画像データB3の符号化処理がフレーム9で終了していることから、第2符号化部32で符号化処理を行うことが可能である。ここで、第2符号化部32を用いてPピクチャの画像データの符号化処理が優先して行われるのはフレーム12であり、第2符号化部32は、Bピクチャの画像データB4の符号化処理をフレーム10,11で行うことができる。したがって、制御部61は、第2符号化部32を選択してBピクチャの画像データB4の符号化処理を行わせる。すなわち、第2符号化部32は、フレーム10,11の2フレーム期間を使用して画像データB4の符号化処理を行い、画像データB4の符号化処理で生成された符号化データB4Eを共有メモリ41に記憶させる。
以下同様に、IピクチャまたはPピクチャの符号化処理で用いる符号化部を第1符号化部31と第2符号化部32で交互に切り替えて、優先してIピクチャまたはPピクチャの符号化処理を行う。また、IピクチャまたはPピクチャの符号化処理において生成された参照画像データを共有メモリ41に記憶させる。さらに、IピクチャまたはPピクチャの符号化処理が行われていない符号化部と、確保されている符号化部で符号化処理が行われていない期間で、共有メモリ41に記憶されている参照画像データを用いてBピクチャの符号化を行う。
このように符号化処理を行うと、共有メモリ41には、図4の(H),(J)に示すように、符号化データが記憶される。したがって、制御部61は、DMA51を制御して例えばフレーム8から符号化データI2E,B0E,B1E,P5E・・・の順に符号化データの読み出しを行わせる。このように符号化データを読み出すことで、入力画像データが符号化処理された符号化ビットストリームを画像処理装置10から出力させることができる。
このようにすれば、第1符号化部31と第2符号化部32は、共有メモリに記憶されている参照画像データを用いて並列に符号化処理を行うことができるので、符号化処理を高速に行えるようになる。また、第1の実施の形態のように、I,Pピクチャ周期MがM=3であり、1つの符号化処理に要する期間が2フレームである場合、図4に示すように、第1符号化部31と第2符号化部32を交互に用いて、IピクチャとPピクチャの符号化処理を優先させて行う。さらに、確保されている符号化部で符号化処理が行われていない期間および確保されていない符号化部を利用して、2枚のBピクチャの符号化処理を行うようにすれば、入力された画像データを順次符号化処理することができる。さらに、符号化処理を画面単位で順次行うことから、画面分割後の領域毎に並列して符号化を行う場合のように、境界部分が画像に現れてしまうことがなく、GOP単位で並列に符号化処理を行う場合のように、大きなバッファを必要とすることもない。また、GOP単位で並列に符号化処理を行う場合に比べてレイテンシを短くできる。さらに、符号化部毎にメモリを別個に設けると、何れのピクチャの符号化処理を何れの符号化部で行うかに応じて、参照画像データ等を記憶させておくメモリの選択を行わなければならない。しかし、本願発明では、共有メモリ41に参照画像データや入力画像データおよび符号化データが記憶されるので、メモリの選択等を行う必要がなく処理が容易となる。
<2.第2の実施の形態>
[第2の実施の形態の構成]
第2の実施の形態は、3つの符号化部を用いた場合である。図5は第2の実施の形態の構成を示すブロック図である。画像処理装置10aは、DMA21,51、第1符号化部31、第2符号化部32、第3符号化部33、共有メモリ41、制御部61を有している。また、DMA21,51と第1符号化部31と第2符号化部32と第3符号化部33および共有メモリ41は、バス71を介して制御部61と接続されている。
DMA21は、制御部61からの制御信号に基づき、符号化する入力画像データを共有メモリ41に書き込む。
第1符号化部31は、制御部61からの制御信号に基づき、入力画像データの読み込みと、制御信号で示されたピクチャタイプに応じた符号化処理を行う。第1符号化部31は、符号化処理を行うことにより得られた符号化データを共有メモリ41に記憶させる。また、第1符号化部31は、その後に行われる符号化処理で用いる参照画像データを共有メモリ41に記憶させる。また、第1符号化部31は、制御信号で示されたピクチャタイプが参照画像データを用いて符号化処理を行うタイプであるとき、共有メモリ41に記憶されている参照画像データを用いて符号化処理を行う。
第2符号化部32は、制御部61からの制御信号に基づき、入力画像データの読み込みと、制御信号で示されたピクチャタイプに応じた符号化処理を行う。第2符号化部32は、符号化処理を行うことにより得られた符号化データを共有メモリ41に記憶させる。また、第2符号化部32は、その後に行われる符号化処理で用いる参照画像データを共有メモリ41に記憶させる。また、第2符号化部32は、制御信号で示されたピクチャタイプが参照画像データを用いて符号化処理を行うタイプであるとき、共有メモリ41に記憶されている参照画像データを用いて符号化処理を行う。
第3符号化部33は、制御部61からの制御信号に基づき、入力画像データの読み込みと、制御信号で示されたピクチャタイプに応じた符号化処理を行う。第3符号化部33は、符号化処理を行うことにより得られた符号化データを共有メモリ41に記憶させる。また、第3符号化部33は、共有メモリ41に記憶されている参照画像データを用いて符号化処理を行う。
DMA51は、制御部61からの制御信号に基づき、共有メモリに記憶されている符号化データを読み出して画像処理装置10aから出力する。
制御部61は、制御信号をDMA21,51と第1符号化部31と第2符号化部32および第3符号化部33に供給して各部の動作を制御する。また、制御部61は、第1符号化部31と第2符号化部32および第3符号化部33で共有メモリ41を利用して符号化処理を並列して行わせることで、入力画像データの符号化処理を高速に行えるようにする。
[画像処理装置の動作]
画像処理装置10aも画像処理装置10と同様に、図2に示すフローチャートの動作を行う。なお、符号化部を3つ設けた画像処理装置10aでは、第1符号化部31と第2符号化部32を交互に用いてIピクチャまたはPピクチャの符号化処理を優先して行う。また、第1符号化部31と第2符号化部32において、IピクチャやPピクチャの符号化処理のために用いられていない符号化部と、確保されている符号化部で符号化処理が行われていない期間、および第3符号化部33を用いてBピクチャの符号化処理を行う。
図6は、画像処理装置10aにおける制御信号とデータの流れを示している。制御部61は、画像データ取り込み指示を示す制御信号(SC1)をDMA21に出力する。DMA21は、制御信号(SC1)に応じた動作を行い、入力画像データ(SD1)を共有メモリ41に記憶させる。
制御部61は、IピクチャとPピクチャの符号化処理を、第1符号化部31と第2符号化部32を交互に用いて優先して行う。また、Bピクチャの符号化処理は、第1符号化部31と第2符号化部32において、IピクチャやPピクチャの符号化処理が行われていない非符号化処理期間、および第3符号化部33を利用して行う。
制御部61は、最初に第1符号化部31を確保して、例えばIピクチャの符号化処理が開始可能となったとき、第1符号化部31に対して、共有メモリ41に記憶されている入力画像データを用いてIピクチャの符号化処理を行わせる制御信号(SC2)を出力する。
第1符号化部31は、共有メモリ41に記憶されている入力画像データを用いてIピクチャの符号化処理を行い、符号化データ(SD2)と参照画像データ(SD3)を生成して共有メモリ41に記憶させる。さらに、第1符号化部31は、符号化処理が終了したことを示す完了通知信号(SA2)を制御部61に出力する。
制御部61は、Iピクチャの符号化処理後に第2符号化部32を確保する。制御部61は、Pピクチャの符号化処理が開始可能となったとき、第2符号化部32に対して、共有メモリ41に記憶されている入力画像データと参照画像データを用いてPピクチャの符号化処理を行わせる制御信号(SC3)を出力する。
第2符号化部32は、共有メモリ41に記憶されている入力画像データ(SD1)と、共有メモリ41に記憶されている参照画像データを用いてPピクチャの符号化処理を行い、符号化データ(SD4)と参照画像データ(SD5)を共有メモリ41に記憶させる。さらに、第2符号化部32は、符号化処理が終了したことを示す完了通知信号(SA3)を制御部61に出力する。
制御部61は、Bピクチャの符号化処理が開始可能となったとき、例えば第3符号化部33を選択する。制御部61は、第3符号化部33に対して、共有メモリ41に記憶されている入力画像データと参照画像データを用いてBピクチャの符号化処理を行わせる制御信号(SC5)を出力する。
第3符号化部33は、共有メモリ41に記憶されている入力画像データ(SD1)と、共有メモリに記憶されている参照画像データを用いてBピクチャの符号化処理を行い、符号化データ(SD6)を生成して共有メモリ41に記憶させる。さらに、第3符号化部33は、符号化処理が終了したことを示す完了通知信号(SA5)を制御部61に出力する。
また、制御部61は、IピクチャやPピクチャの符号化処理が開始可能となったとき、交互に確保されている第1符号化部31または第2符号化部32で符号化処理を優先して行う。さらに、制御部61は、次のIピクチャまたはPピクチャの符号化処理に用いる符号化部とは異なる符号化部で、入力画像データと参照画像データを用いてBピクチャの符号化処理を行わせて、符号化処理で生成された符号化データを共有メモリ41に記憶させる。また、制御部61は、次のIピクチャまたはPピクチャの符号化処理に用いる符号化部であっても、次のIピクチャまたはPピクチャの符号化処理が開始される前に符号化処理を完了できるときは、この確保されている符号化部でBピクチャの符号化処理を行わせる。さらに、制御部61は、Bピクチャの符号化処理で生成された符号化データを共有メモリ41に記憶させる。すなわち、制御部61は、第3符号化部33だけでなく、次のIピクチャまたはPピクチャの符号化処理が開始される前に符号化処理を完了できるときは、第1符号化部31や第2符号化部32を用いて符号化処理を行う。
また、制御部61は、符号化データの出力指示を示す制御信号(SC6)をDMA51に出力する。DMA51は、制御信号(SC6)に応じた動作を行い、共有メモリ41から符号化データを読み出して、符号化ビットストリーム(SD7)を出力させる。
図7は、第2の実施の形態の具体的動作を例示している。なお、図7では、画像処理装置10aで、1ピクチャの符号化処理に2フレーム期間を要する場合を示している。また、エンコード条件は、プログレッシブ方式で、M=3,N=14の場合である。
図7の(A)は、フレーム番号を示している。図7の(B)は、入力画像データを示している。図7の(C)は、第1符号化部31の符号化処理を示している。図7の(D)は、第2符号化部32の符号化処理を示している。図7の(E)は、第3符号化部33の符号化処理を示している。図7の(F),(G),(H)は、参照画像データを示している。図7の(I),(J)、(K)は、符号化データを示している。図7の(L)は、出力する符号化データを示している。
フレーム0でDMA21は、Bピクチャの画像データB0を共有メモリ41に記憶する。フレーム1でDMA21は、Bピクチャの画像データB1を共有メモリ41に記憶する。フレーム2でDMA21は、Iピクチャの画像データI2を共有メモリ41に記憶する。なお、制御部61は、フレーム0〜2までの期間において、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム3でDMA21は、Bピクチャの画像データB3を共有メモリ41に記憶する。また、制御部61は、フレーム2でIピクチャの画像データI2が共有メモリ41に記憶されたことから、Iピクチャの符号化処理を優先して行わせる。制御部61は、例えば第1符号化部31を確保しておき、第1符号化部31で画像データI2の符号化処理を行わせる。このため、第1符号化部31は、フレーム3,4の2フレーム期間を使用して画像データI2の符号化処理を行い、符号化データI2Eと参照画像データI2Lを共有メモリ41に記憶する。また、制御部61は、画像データI2の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第2符号化部32を確保する。
フレーム4でDMA21は、Bピクチャの画像データB4を共有メモリ41に記憶する。制御部61は、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム5でDMA21は、Pピクチャの画像データP5を共有メモリ41に記憶する。また、フレーム5では、参照画像データI2Lが共有メモリ41に記憶されており、この参照画像データI2Lを用いて、Bピクチャの画像データB0,B1の符号化処理が可能となる。また、フレーム5では、Iピクチャの符号化処理が終了していることから、第1符号化部31と第2符号化部32および第3符号化部33で符号化処理を行うことが可能である。さらに、Pピクチャの画像データP5が共有メモリ41に記憶されると、制御部61は、確保されている第2符号化部32でPピクチャの画像データP5の符号化処理を次のフレームから優先して行わせる。ここで、Bピクチャの画像データの符号化処理に第2符号化部32を選択すると、画像データの符号化処理はフレーム6までの期間を要することから、Pピクチャの画像データP5の符号化処理を優先して行うことができない。したがって、制御部61は、第1符号化部31と第3符号化部33を選択して、画像データB0,B1の符号化処理を行わせる。すなわち、第1符号化部31は、フレーム5,6の2フレーム期間を使用して画像データB0の符号化処理を行い、画像データB0の符号化処理で生成された符号化データB0Eを共有メモリ41に記憶させる。また、第3符号化部33は、フレーム5,6の2フレーム期間を使用して画像データB1の符号化処理を行い、画像データB1の符号化処理で生成された符号化データB1Eを共有メモリ41に記憶させる。
フレーム6でDMA21は、Bピクチャの画像データB6を共有メモリ41に記憶させる。制御部61は、フレーム5でPピクチャの画像データP5が共有メモリ41に記憶されたことから、Pピクチャの符号化処理を優先して行わせる。制御部61は、確保されている第2符号化部32で画像データP5の符号化処理を行わせる。このため、第2符号化部32は、フレーム6,7の2フレーム期間を使用して画像データP5の符号化処理を行い、符号化データP5Eと参照画像データP5Lを共有メモリ41に記憶する。また、制御部61は、画像データP5の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第1符号化部31を確保する。
フレーム7でDMA21は、Bピクチャの画像データB7を共有メモリ41に記憶する。また、フレーム7では、第1符号化部31におけるBピクチャの画像データB0の符号化処理が終了しており、第3符号化部33におけるBピクチャの画像データB1の符号化処理が終了している。しかし、また、Bピクチャの画像データB3,B4の符号化処理に用いる参照画像データP5Lは共有メモリ41に記憶されていない。したがって、制御部61は、Bピクチャの符号化処理を開始しない。
フレーム8でDMA21は、Pピクチャの画像データP8を共有メモリ41に記憶する。また、フレーム8では、参照画像データI2L,P5Lが共有メモリ41に記憶されており、この参照画像データI2L,P5Lを用いて、Bピクチャの画像データB3,B4の符号化処理が可能となる。また、フレーム8では、画像データP5の符号化処理が終了していることから、第1符号化部31と第2符号化部32および第3符号化部33で符号化処理を行うことが可能である。ここで、画像データP5の符号化処理を行った第2符号化部32と異なる第1符号化部31で、次のPピクチャの符号化処理を開始するのはフレーム9である。したがって、第1符号化部31でフレーム8からBピクチャの符号化処理を行うと、Pピクチャの符号化処理を優先して行うことができない。また、画像データP5の符号化処理を行った第2符号化部32で、次にPピクチャの符号化処理を開始するのはフレーム12である。したがって、制御部61は、第2符号化部32と第3符号化部を選択して画像データB3,B4の符号化処理を行わせる。このため、第2符号化部32は、フレーム8,9の2フレーム期間を使用して画像データB3の符号化処理を行い、符号化データB3Eを共有メモリ41に記憶させる。また、第3符号化部33は、フレーム8,9の2フレーム期間を使用して画像データB4の符号化処理を行い、符号化データB4Eを共有メモリ41に記憶させる。
フレーム9でDMA21は、Bピクチャの画像データB9を共有メモリ41に記憶させる。制御部61は、フレーム8でPピクチャの画像データP8が共有メモリ41に記憶されたことから、第1符号化部31でPピクチャの画像データP8の符号化処理を優先して行わせる。このため、第1符号化部31は、フレーム9,10の2フレーム期間を使用して画像データP8の符号化処理を行い、符号化データP8Eと参照画像データP8Lを共有メモリ41に記憶する。また、制御部61は、画像データP8の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第2符号化部32を確保する。
フレーム10でDMA21は、Bピクチャの画像データB10を共有メモリ41に記憶する。また、フレーム10では、第2符号化部32におけるBピクチャの画像データB3の符号化処理が終了しており、第3符号化部33におけるBピクチャの画像データB4の符号化処理が終了している。しかし、Bピクチャの画像データB6,B7の符号化処理に用いる参照画像データP8Lは共有メモリ41に記憶されていない。したがって、制御部61は、Bピクチャの符号化処理を開始しない。
以下同様に、IピクチャまたはPピクチャの符号化で用いる符号化部を第1符号化部31と第2符号化部32で交互に切り替える。また、IピクチャまたはPピクチャの符号化処理において生成された参照画像データを共有メモリ41に記憶させる。さらに、制御部61は、第1符号化部31と第2符号化部32において、IピクチャまたはPピクチャの符号化処理に用いられていない符号化部や確保されている符号化部でIピクチャまたはPピクチャの符号化処理が行われていない期間、および第3符号化部33で、共有メモリ41に記憶されている参照画像データを用いてBピクチャの符号化を行う。
このように符号化処理を行うと、共有メモリ41には、図7の(I),(J),(K)に示すように、符号化データが記憶される。したがって、制御部61は、DMA51を制御して例えばフレーム7から符号化データI2E,B0E,B1E,P5E・・・の順に符号化データの読み出しを行わせる。このように符号化データを読み出すことで、入力画像データが符号化処理された符号化ビットストリームを画像処理装置10aから出力させることができる。
このようにすれば、第1符号化部31と第2符号化部32および第3符号化部33は、共有メモリに記憶されている参照画像データを用いて並列に符号化処理を行うことができるので、符号化処理を高速に行えるようになる。また、第2の実施の形態のように、I,Pピクチャ周期MがM=3であり、1つの符号化処理に要する期間が2フレームである場合、図7に示すように、第1符号化部31と第2符号化部32を交互に用いてIピクチャとPピクチャの符号化処理を優先させて行う。また、符号化処理が行われていない非符号化処理期間や第3符号化部33を利用して、各符号化部で2枚のBピクチャの符号化処理を行うようにする。このようにすれば、入力された画像データを順次符号化処理することができる。
さらに、3つの符号化部を用いる場合、上述のように同時に2枚のピクチャを符号化処理することができる。また、I,Pピクチャ周期MをM=3とすると、IピクチャまたはPピクチャの符号化処理を行った符号化部が、次にIピクチャまたはPピクチャの符号化処理を行うまでのフレーム期間は6フレーム期間となる。したがって、符号化部で符号化処理に要する期間が3フレームであっても、入力画像データを順次符号化処理することができる。
図8は、第2の実施の形態の他の具体的動作を例示した図であり、符号化部で符号化処理に要する期間が3フレームであった場合を示している。
図8の(A)は、フレーム番号を示している。図8の(B)は、入力画像データを示している。図8の(C)は、第1符号化部31の符号化処理を示している。図8の(D)は、第2符号化部32の符号化処理を示している。図8の(E)は、第3符号化部33の符号化処理を示している。図8の(F),(G),(H)は、参照画像データを示している。図8の(I),(J)、(K)は、符号化データを示している。図8の(L)は、出力する符号化データを示している。
フレーム0でDMA21は、Bピクチャの画像データB0を共有メモリ41に記憶する。フレーム1でDMA21は、Bピクチャの画像データB1を共有メモリ41に記憶する。フレーム2でDMA21は、Iピクチャの画像データI2を共有メモリ41に記憶する。なお、制御部61は、フレーム0〜2までの期間において、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム3でDMA21は、Bピクチャの画像データB3を共有メモリ41に記憶する。また、制御部61は、フレーム2でIピクチャの画像データI2が共有メモリ41に記憶されたことから、Iピクチャの符号化処理を優先して行わせる。制御部61は、例えば確保されている第1符号化部31で画像データI2の符号化処理を行わせる。このため、第1符号化部31は、フレーム3〜5の3フレーム期間を使用して画像データI2の符号化処理を行い、符号化データI2Eと参照画像データI2Lを共有メモリ41に記憶する。また、制御部61は、画像データI2の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第2符号化部32を確保する。
フレーム4でDMA21は、Bピクチャの画像データB4を共有メモリ41に記憶する。制御部61は、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム5でDMA21は、Bピクチャの画像データP5を共有メモリ41に記憶する。制御部61は、共有メモリ41に参照画像データが記憶されていないことから、Bピクチャの符号化処理を開始しない。
フレーム6でDMA21は、Bピクチャの画像データB6を共有メモリ41に記憶させる。制御部61は、フレーム5でPピクチャの画像データP5が共有メモリ41に記憶されたことから、Pピクチャの符号化処理を優先して行わせる。制御部61は、確保されている第2符号化部32で画像データP5の符号化処理を行わせる。このため、第2符号化部32は、フレーム6〜8の3フレーム期間を使用して画像データP5の符号化処理を行い、符号化データP5Eと参照画像データP5Lを共有メモリ41に記憶する。また、フレーム6では画像データI2の符号化処理が終了して、参照画像データI2Lが共有メモリ41に記憶されている。また、第1符号化部31は符号化処理が終了しており、第3符号化部は符号化処理が行われていない。したがって、制御部61は、第1符号化部31と第3符号化部33を選択して、画像データB0,B1の符号化処理を行わせる。すなわち、第1符号化部31は、フレーム6〜8の3フレーム期間を使用して画像データB0の符号化処理を行い、符号化データB0Eを共有メモリ41に記憶させる。また、第3符号化部33は、フレーム6〜8の3フレーム期間を使用して画像データB1の符号化処理を行い、符号化データB1Eを共有メモリ41に記憶させる。さらに、制御部61は、画像データP5の符号化処理が終了したとき、次のIピクチャまたはPピクチャの符号化処理のため、第1符号化部31を確保する。
フレーム7でDMA21は、Bピクチャの画像データB7を共有メモリ41に記憶する。制御部61は、第1符号化部31,第2符号化部32、第3符号化部33で符号化処理が行われていることから、新たなピクチャの符号化処理を開始しない。
フレーム8でDMA21は、Bピクチャの画像データP8を共有メモリ41に記憶する。制御部61は、第1符号化部31,第2符号化部32、第3符号化部33で符号化処理が行われていることから、新たなピクチャの符号化処理を開始しない。
フレーム9でDMA21は、Bピクチャの画像データB9を共有メモリ41に記憶させる。制御部61は、フレーム8でPピクチャの画像データP8が共有メモリ41に記憶されたことから、Pピクチャの符号化処理を優先して行わせる。制御部61は、確保されている第1符号化部31で画像データP8の符号化処理を行わせる。このため、第1符号化部31は、フレーム9〜11の3フレーム期間を使用して画像データP8の符号化処理を行い、符号化データP8Eと参照画像データP8Lを共有メモリ41に記憶する。また、フレーム9では画像データP5の符号化処理が終了して、参照画像データI2L,P5Lが共有メモリ41に記憶されている。また、第2符号化部32と第3符号化部33は符号化処理が行われていない。したがって、制御部61は、第2符号化部32と第3符号化部33を選択して、画像データB3,B4の符号化処理を行わせる。すなわち、第2符号化部32は、フレーム9〜11の3フレーム期間を使用して画像データB3の符号化処理を行い、符号化データB3Eを共有メモリ41に記憶させる。また、第3符号化部33は、フレーム9〜11の3フレーム期間を使用して画像データB4の符号化処理を行い、符号化データB4Eを共有メモリ41に記憶させる。
フレーム10でDMA21は、Bピクチャの画像データB9を共有メモリ41に記憶する。制御部61は、第1符号化部31,第2符号化部32、第3符号化部33で符号化処理が行われていることから、新たなピクチャの符号化処理を開始しない。
フレーム11でDMA21は、Bピクチャの画像データP11を共有メモリ41に記憶する。制御部61は、第1符号化部31,第2符号化部32、第3符号化部33で符号化処理が行われていることから、新たなピクチャの符号化処理を開始しない。
以下同様に、IピクチャまたはPピクチャの符号化で用いる符号化部を第1符号化部31と第2符号化部32で交互に切り替える。また、IピクチャまたはPピクチャの符号化処理において生成された参照画像データを共有メモリ41に記憶させる。さらに、第1符号化部31と第2符号化部32においてIピクチャまたはPピクチャの符号化処理に用いられていない符号化部と第3符号化部33で、共有メモリ41に記憶されている参照画像データを用いてBピクチャの符号化を行う。
このように符号化処理を行うと、共有メモリ41には、図8の(I),(J),(K)に示すように、符号化データが記憶される。したがって、制御部61は、DMA51を制御して例えばフレーム7から符号化データI2E,B0E,B1E,P5E・・・の順に符号化データの読み出しを行わせる。このように符号化データを読み出すことで、入力画像データが符号化処理された符号化ビットストリームを画像処理装置10aから出力させることができる。
このようにすれば、第1符号化部31と第2符号化部32は、共有メモリに記憶されている参照画像データを用いて並列に符号化処理を行うことができるので、符号化処理を高速に行えるようになる。また、第1の実施の形態のように、I,Pピクチャ周期MがM=3であり、1つの符号化処理に要する期間が3フレームである場合、図8に示すように、第1符号化部31と第2符号化部32を交互に用いて、IピクチャとPピクチャの符号化処理を優先させて行う。さらに、符号化処理が行われていない非符号化処理期間を利用して、各符号化部で2枚のBピクチャの符号化処理を行うようにすれば、入力された画像データを順次符号化処理することができる。また、符号化処理を画面単位で順次行うことから、画面分割後の領域毎に並列して符号化を行う場合のように、境界部分が画像に現れてしまうことがなく、GOP単位で並列に符号化処理を行う場合のように、大きなバッファを必要とすることもない。また、GOP単位で並列に符号化処理を行う場合に比べてレイテンシを短くできる。
さらに、3つの符号化部を用いる場合、I,Pピクチャ周期MをM=3とすると、IピクチャまたはPピクチャの符号化処理を行った符号化部が、次にIピクチャまたはPピクチャの符号化処理を行うまでのフレーム期間は3フレーム期間である。したがって、例えば予測処理を高精度に行うため符号化部で符号化処理に要する期間が3フレームとなっても、入力された画像データを順次符号化処理することができる。
なお、図4,7,8では、エンコード条件をプログレッシブ方式で、M=3、N=14とした場合を説明したが、エンコード条件は、これらの条件に限られない。すなわち、IピクチャまたはPピクチャの符号化処理を行った符号化部の非符号化処理期間に、IピクチャとPピクチャ間またはPピクチャとPピクチャ間におけるBピクチャの符号化処理が完了するように、Bピクチャの数や符号化部の数を設定すればよい。すなわち、1つのピクチャの符号化処理に要する処理期間がI,Pピクチャ周期M以下である場合、I,Pピクチャ周期M内のBピクチャの数よりも1つ多く符号化部を設ける。このように、符号化部を設けると、IピクチャまたはPピクチャの符号化処理を行った符号化部で符号化処理が行われていない期間に、IピクチャとPピクチャ間またはPピクチャとPピクチャ間に設けられるBピクチャの符号化処理を完了することができる。したがって、入力された画像データを順次符号化処理することができる。
また、各ピクチャがすべてフレーム内予測符号化画像であるときは、各ピクチャの画像データを複数の符号化部に順番に割り振って、並列に符号化処理を行えばよい。
<3.ソフトウェアで符号化処理を行う場合>
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
図9は、上述した一連の処理をプログラムにより実行するコンピュータの構成を例示した図である。コンピュータ装置80のCPU81は、例えばマルチコアCPUであり、ROM82、または記録部89に記録されているコンピュータ・プログラムにしたがって符号化処理を並列に実行する。
RAM83には、CPU81が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのCPU81、ROM82、およびRAM83は、バス84により相互に接続されている。
CPU81にはまた、バス84を介して入出力インターフェース85が接続されている。入出力インターフェース85には、タッチパネルやキーボード、マウス等で構成されるユーザインタフェース部86、画像データ等を入力するための入力部87、ディスプレイなどよりなる出力部88が接続されている。CPU81は、ユーザインタフェース部86から入力される指令に対応して各種の処理を実行する。そして、CPU81は、処理の結果を出力部88から出力する。
入出力インターフェース85に接続されている記録部89は、例えばハードディスクからなり、CPU81が実行するコンピュータ・プログラムや各種のデータを記録する。通信部90は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置80は、通信部90を介してコンピュータ・プログラムを取得し、ROM82や記録部89に記録してもよい。
ドライブ91は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア95が装着されたとき、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてROM82やRAM83または記録部89に転送される。
CPU81は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部89やリムーバブルメディア95に記録されている画像データや、通信部90を介して供給された画像データに対する符号化処理を行う。
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示したものであり、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明の画像処理装置と画像処理方法では、共有メモリが設けられて、画像データの符号化処理を行う符号化部では、共有メモリに記憶されている参照画像データを用いて符号化処理が行われる。また、複数の符号化部から符号化部を確保してフレーム内予測符号化画像と順方向予測符号化画像の符号化処理が優先して行われる。さらに、フレーム内予測符号化画像または順方向予測符号化画像の符号化処理に用いられていない符号化部、および確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理が共有メモリに記憶されている参照画像データを用いて行われる。このため、画面分割後の領域毎に並列して符号化を行う場合のように、境界部分が画像に現れてしまうことがなく、GOP単位で並列に符号化処理を行う場合のように、大きなバッファを必要とすることなく、画像の符号化処理を高速に行うことができる。また、GOP単位で並列に符号化処理を行う場合に比べてレイテンシを短くできる。したがって、画像データの記録再生装置や通信装置、編集装置等に適している。
10,10a・・・画像処理装置、21,51・・・DMA、31・・・第1符号化部、32・・・第2符号化部、33・・・第3符号化部、41・・・共有メモリ、61・・・制御部、71,84・・・バス、80・・・コンピュータ装置、81・・・CPU、82・・・ROM、83・・・RAM、85・・・入出力インターフェース、86・・・ユーザインタフェース部、87・・・入力部、88・・・出力部、89・・・記録部、90・・・通信部、91・・・ドライブ、95・・・リムーバブルメディア

Claims (7)

  1. 画像データの符号化処理を行う複数の符号化部と、
    前記複数の符号化部のそれぞれで行われる符号化処理で用いる参照画像データが記憶される共有メモリと、
    前記複数の符号化部から符号化部を確保してフレーム内予測符号化画像と順方向予測符号化画像の符号化処理を優先して行わせて、前記フレーム内予測符号化画像または前記順方向予測符号化画像の符号化処理に用いられていない符号化部、および前記確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理を前記共有メモリに記憶されている参照画像データを用いて行わせる制御部と
    を有する画像処理装置。
  2. 前記制御部は、2つの符号化部から符号化部を交互に確保して、前記フレーム内予測符号化画像と前記順方向予測符号化画像の符号化処理を優先して行わせる請求項1記載の画像処理装置。
  3. 前記制御部は、前記フレーム内予測符号化画像または前記順方向予測符号化画像の符号化処理の終了から、該符号化処理を行った符号化部で次のフレーム内予測符号化画像または順方向予測符号化画像の符号化処理が行われるまでの期間に、フレーム内予測符号化画像と順方向予測符号化画像間または順方向予測符号化画像と順方向予測符号化画像間の双方向予測符号化画像について符号化処理を完了させる請求項2記載の画像処理装置。
  4. 前記フレーム内予測符号化画像と前記順方向予測符号化画像の符号化処理を優先して行う符号化部と別個に符号化部を設け、
    前記制御部は、前記別個の符号化部も用いて、前記双方向予測符号化画像の符号化処理を行わせる請求項3記載の画像処理装置。
  5. 前記符号化部は、前記フレーム内予測符号化画像と順方向予測符号化画像間または順方向予測符号化画像と順方向予測符号化画像間の前記双方向予測符号化画像の数よりも1つ多く設けた請求項4記載の画像処理装置。
  6. 前記共有メモリには、前記符号化処理を行う画像データと符号化処理を行うことによって得られた符号化データを記憶させる請求項1記載の画像処理装置。
  7. 複数の符号化部で画像データの符号化処理を行う符号化処理工程と、
    共有メモリに前記複数の符号化部のそれぞれで行われる符号化処理で用いる参照画像データを記憶させる記憶処理工程と、
    前記複数の符号化部から符号化部を確保してフレーム内予測符号化画像と順方向予測符号化画像の符号化処理を優先して行わせて、前記フレーム内予測符号化画像または前記順方向予測符号化画像の符号化処理に用いられていない符号化部、および前記確保した符号化部で符号化処理が行われていない期間を用いて、双方向予測符号化画像の符号化処理を前記共有メモリに記憶されている参照画像データを用いて行わせる制御工程と
    を設けた画像処理方法。
JP2010141568A 2010-06-22 2010-06-22 画像処理装置と画像処理方法 Withdrawn JP2012009934A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010141568A JP2012009934A (ja) 2010-06-22 2010-06-22 画像処理装置と画像処理方法
CN201110166755A CN102300097A (zh) 2010-06-22 2011-06-15 图像处理设备和图像处理方法
US13/162,173 US8538178B2 (en) 2010-06-22 2011-06-16 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010141568A JP2012009934A (ja) 2010-06-22 2010-06-22 画像処理装置と画像処理方法

Publications (1)

Publication Number Publication Date
JP2012009934A true JP2012009934A (ja) 2012-01-12

Family

ID=45328732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010141568A Withdrawn JP2012009934A (ja) 2010-06-22 2010-06-22 画像処理装置と画像処理方法

Country Status (3)

Country Link
US (1) US8538178B2 (ja)
JP (1) JP2012009934A (ja)
CN (1) CN102300097A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019074A (ja) * 2014-07-07 2016-02-01 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014255B2 (en) * 2012-04-03 2015-04-21 Xerox Corporation System and method for identifying unique portions of videos with validation and predictive scene changes
US10523957B2 (en) * 2014-10-08 2019-12-31 Vid Scale, Inc. Optimization using multi-threaded parallel processing framework

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703646A (en) * 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
JP3591033B2 (ja) * 1995-02-15 2004-11-17 ソニー株式会社 符号化データの特殊再生方法および特殊再生装置
KR100533437B1 (ko) * 1998-08-26 2005-12-06 소니 가부시끼 가이샤 비디오 데이터 처리 장치, 비디오 데이터 부호화 장치 및 그 방법
JP2002199392A (ja) 2000-10-19 2002-07-12 Matsushita Electric Ind Co Ltd 映像符号化方法および装置
US20020057739A1 (en) 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
EP2278817B1 (en) * 2001-09-12 2012-05-23 Panasonic Corporation Transmitting and receiving apparatus
JP3893344B2 (ja) * 2002-10-03 2007-03-14 松下電器産業株式会社 画像符号化方法および画像符号化装置
US20060209950A1 (en) * 2005-03-16 2006-09-21 Broadcom Advanced Compression Group, Llc Method and system for distributing video encoder processing
JP2008066851A (ja) 2006-09-05 2008-03-21 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8238428B2 (en) * 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019074A (ja) * 2014-07-07 2016-02-01 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
US10123022B2 (en) 2014-07-07 2018-11-06 Renesas Electronics Corporation Picture encoding device, picture decoding device, and picture communication system

Also Published As

Publication number Publication date
US8538178B2 (en) 2013-09-17
CN102300097A (zh) 2011-12-28
US20110311152A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
US8395634B2 (en) Method and apparatus for processing information
US20080212683A1 (en) Image Decoding Device, Image Encoding Device and System LSI
JP5995583B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム
CN101960858A (zh) 运动图像编码装置、摄像装置以及运动图像编码方法
US8281314B2 (en) Information processing device and method
JP5947641B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP2011151430A (ja) 画像処理装置およびそれを搭載した撮像装置
JP2012009934A (ja) 画像処理装置と画像処理方法
TWI523498B (zh) An image coding method, an image decoding method, an image coding apparatus, and an image decoding apparatus
JP2008182527A (ja) 画像符号化装置及び方法、並びに撮像システム
US8731311B2 (en) Decoding device, decoding method, decoding program, and integrated circuit
JP4625096B2 (ja) 復号化回路、復号化装置、及び復号化システム
JP5230381B2 (ja) 撮像装置及び撮像装置の制御方法
CN102065288B (zh) 结合软硬件实现的视频处理系统、方法及其装置
JP5694674B2 (ja) 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
JP2019004439A (ja) 符号化装置、撮像装置および符号化方法
TWI520618B (zh) 影像資料處理方法以及影像處理裝置
JP2011055023A (ja) 画像符号化装置及び画像復号化装置
JP5632171B2 (ja) マルチ解像度映像符号化方法、マルチ解像度映像復号方法、マルチ解像度映像符号化装置、マルチ解像度映像復号装置、及びプログラム
JP2010034802A (ja) 動画像符号化装置およびその制御方法
CN101193307A (zh) 用于解块滤波参数数据存储和交换的方法
JP4461303B2 (ja) 動画復号化装置および動画復号化方法
JP4830691B2 (ja) 映像信号処理方法及び装置、並びに映像信号復号方法
JP7431549B2 (ja) 符号化装置、撮像装置、制御方法、及びプログラム
JP2012249116A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130903