JP2009100206A - Image coding and data-decoding device - Google Patents
Image coding and data-decoding device Download PDFInfo
- Publication number
- JP2009100206A JP2009100206A JP2007269257A JP2007269257A JP2009100206A JP 2009100206 A JP2009100206 A JP 2009100206A JP 2007269257 A JP2007269257 A JP 2007269257A JP 2007269257 A JP2007269257 A JP 2007269257A JP 2009100206 A JP2009100206 A JP 2009100206A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- encoded data
- image encoded
- image
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、復号対象となる画像データを復号する装置に関し、特に、複数の復号対象となる画像データを1つのLSIで効果的に復号する画像符号化データ復号化装置に関する。 The present invention relates to an apparatus that decodes image data to be decoded, and more particularly to an image encoded data decoding apparatus that effectively decodes a plurality of image data to be decoded by one LSI.
近年、DVR、DTVの発達がめざましく、動画と同時に静止画をも同時に復号できるようにして欲しいという要望があがっている。 In recent years, the development of DVR and DTV has been remarkable, and there has been a demand for decoding still images simultaneously with moving images.
この要望は、動画と静止画とを各々別のLSIで処理すれば、容易に実装できるが、汎用性を持たせて低コストで実装するためには、1つのLSIで実装する必要がある。 This request can be easily mounted if the moving image and the still image are processed by separate LSIs. However, in order to provide versatility and low cost, it is necessary to mount by one LSI.
1つのLSIのみを実装した場合において、従来の画像データ圧縮方法は、例えば、特許文献1に開示されるように、優先度の低い動画圧縮処理を停止して、優先度の高い静止画圧縮処理を優先している。
しかしながら、従来の画像データ圧縮方法は、動画と静止画を同時に記録しようとする時、優先度の低い動画圧縮処理を停止して、優先度の高い静止画圧縮処理を優先している。 However, in the conventional image data compression method, when a moving image and a still image are simultaneously recorded, the low-priority moving image compression processing is stopped, and the high-priority still image compression processing is prioritized.
そのため、静止画処理時は、動画処理を一時中断させるため動画が止まってしまうという課題がある。 Therefore, at the time of still image processing, there is a problem that the moving image stops because the moving image processing is temporarily interrupted.
本発明の目的は、動画符号化データと静止画符号化データとを1つのLSIで復号する画像符号化データ復号化装置において、動画符号化データの復号処理を一時中断させることなく、静止画符号化データをも良好に復号化処理することにある。 An object of the present invention is to provide an image encoded data decoding apparatus that decodes moving image encoded data and still image encoded data with a single LSI, without temporarily interrupting the decoding processing of the moving image encoded data. It is also desirable to decode the converted data satisfactorily.
前記目的を達成するために、本発明では、任意の所定期間において動画復号処理を続行し、その所定期間内のうち動画復号処理後の空いている時間を静止画復号処理の時間に割り当てることとする。 In order to achieve the above object, the present invention continues the video decoding process in an arbitrary predetermined period, and allocates a free time after the video decoding process within the predetermined period to a time of the still picture decoding process. To do.
具体的に、請求項1記載の発明の画像符号化データ復号化装置は、圧縮された画像符号化データを再生する場合において、動画符号化データ又は静止画符号化データを復号する画像復号手段と、前記画像復号手段から出力された復号データを表示及び他の画像符号化データの復号のために記憶する記憶手段と、前記画像復号手段の復号の制御を行う制御手段とからなるデジタル画像符号化データ復号化装置において、前記制御手段は、前記動画符号化データの復号と前記静止画符号化データの復号とを時分割で切り替えて行うように制御することを特徴とする。 Specifically, the image encoded data decoding apparatus according to the first aspect of the present invention includes image decoding means for decoding moving image encoded data or still image encoded data when reproducing compressed image encoded data. Digital image encoding comprising: storage means for storing decoded data output from the image decoding means for display and decoding of other image encoded data; and control means for controlling decoding of the image decoding means In the data decoding apparatus, the control means controls to perform decoding of the moving image encoded data and decoding of the still image encoded data by switching in a time division manner.
請求項2記載の発明は、前記請求項1記載の画像符号化データ復号化装置において、前記制御手段は、前記動画符号化データの復号と静止画符号化データの復号とを時分割で切り替える際に、動画像データのリアルタイム性を保証可能な範囲内での空き時間を利用して前記静止画符号化データの復号を行わせることを特徴とする。 According to a second aspect of the present invention, in the encoded image data decoding device according to the first aspect, the control means switches between decoding of the moving image encoded data and decoding of the still image encoded data in a time division manner. Further, the still image encoded data is decoded using a free time within a range in which the real time property of the moving image data can be guaranteed.
請求項3記載の発明は、前記請求項1記載の画像符号化データ復号化装置において、前記制御手段は、前記静止画符号化データの復号をしている期間に動画像符号化データの切り替えを指示した場合に、静止画符号化データの中断情報を画像復号手段で保存して、次の静止画符号化データの復号時には、前記画像復号手段で保存した中断情報に基づいてその中断した箇所から静止画符号化データの復号を再開するように制御することを特徴とする。 According to a third aspect of the present invention, in the image encoded data decoding device according to the first aspect, the control means switches the moving image encoded data during a period in which the still image encoded data is being decoded. When instructed, the interrupt information of the still image encoded data is stored by the image decoding means, and when decoding the next still image encoded data, from the interrupted location based on the interrupt information stored by the image decoding means Control is performed so that decoding of still image encoded data is resumed.
請求項4記載の発明は、前記請求項3記載の画像符号化データ復号化装置において、前記制御手段は、静止画符号化データの復号を中断処理した場合には、以降の静止画符号化データの復号化処理においては1フレーム分の処理が完了するまで自動継続して行うように制御することを特徴とする。 According to a fourth aspect of the present invention, in the image encoded data decoding device according to the third aspect, when the control means interrupts the decoding of the still image encoded data, the subsequent still image encoded data The decoding process is controlled so as to be automatically continued until the process for one frame is completed.
請求項5記載の発明は、前記請求項1記載の画像符号化データ復号化装置において、前記制御手段は、動画像符号化データの復号完了をトリガとして、静止画符号化データへ復号を切り替えるように制御することを特徴とする。 According to a fifth aspect of the present invention, in the image encoded data decoding apparatus according to the first aspect, the control means switches the decoding to still image encoded data with the completion of decoding of the moving image encoded data as a trigger. It is characterized by controlling to.
請求項6記載の発明は、前記請求項1記載の画像符号化データ復号化装置において、前記制御手段は、動画像符号化データの復号と静止画符号化データの復号との間の切り替えを予め設定した割り当て時間で切り替えるように制御することを特徴とする。 According to a sixth aspect of the present invention, in the image encoded data decoding device according to the first aspect, the control means switches in advance between decoding of moving image encoded data and decoding of still image encoded data in advance. Control is performed so as to switch at a set allocation time.
請求項7記載の発明は、前記請求項6記載の画像符号化データ復号化装置において、前記制御手段は、動画像符号化データの復号において予め設定した前記割り当て時間を過ぎてもその復号処理が完了しない場合には、動画像符号化データの次の復号においては、動画像符号化データの復号の前記割り当て時間を長くするように制御することを特徴とする。 According to a seventh aspect of the present invention, in the encoded image data decoding device according to the sixth aspect, the control means performs the decoding process even if the preset time for decoding the encoded moving image data has passed. If not completed, in the next decoding of the moving image encoded data, control is performed so as to lengthen the allocation time of decoding of the moving image encoded data.
請求項8記載の発明は、前記請求項6記載の画像符号化データ復号化装置において、前記制御手段は、動画像符号化データの復号において予め設定した前記割り当て時間を過ぎてもその復号処理が完了しない場合には、動画像符号化データの次の復号においては、復号が完了しなかったピクチャはスキップして、更に、予め設定されたピクチャまでスキップしてから復号を開始するように制御することを特徴とする。 According to an eighth aspect of the present invention, in the image encoded data decoding device according to the sixth aspect, the control means performs the decoding process even if the preset allocation time in the decoding of the moving image encoded data has passed. In the case where the decoding is not completed, in the next decoding of the moving image encoded data, control is performed such that the picture that has not been decoded is skipped, and further, the preset picture is skipped and then decoding is started. It is characterized by that.
請求項9記載の発明は、前記請求項6記載の画像符号化データ復号化装置において、前記制御手段は、動画像符号化データの復号において予め設定した前記割り当て時間を過ぎても復号処理が完了しない場合には、動画像符号化データの次の復号においては、復号が完了しなかったピクチャの先頭から再度復号を開始するように制御することを特徴とする。 According to a ninth aspect of the present invention, in the encoded image data decoding apparatus according to the sixth aspect, the control means completes the decoding process even after the preset time for decoding the encoded moving image data has passed. If not, in the next decoding of the moving image encoded data, control is performed such that decoding is started again from the head of the picture that has not been decoded.
請求項10記載の発明は、前記請求項6記載の画像符号化データ復号化装置において、前記制御手段は、静止画符号化データの復号の前記割り当て時間の算出において、前記制御手段からの中断指示から前記画像復号手段が実際に中断するまでに要する時間を復号処理の前に見積もり、その見積もりに基づいて前記静止画符号化データの復号の割り当て時間を補正して、復号処理を開始するように制御することを特徴とする。 According to a tenth aspect of the present invention, in the image encoded data decoding device according to the sixth aspect, the control means instructs the interruption from the control means in the calculation of the allocation time of decoding of still image encoded data. So that the time required until the image decoding means is actually interrupted is estimated before the decoding process, the allocated time for decoding the still image encoded data is corrected based on the estimation, and the decoding process is started. It is characterized by controlling.
請求項11記載の発明は、前記請求項1記載の画像符号化データ復号化装置において、前記静止画符号化データは、JPEGであることを特徴とする。 According to an eleventh aspect of the present invention, in the encoded image data decoding device according to the first aspect, the still image encoded data is JPEG.
請求項12記載の発明は、前記請求項11記載の画像符号化データ復号化装置において、前記制御手段は、JPEGの復号は、1フレームを分割した任意の単位で行うように制御することを特徴とする。 According to a twelfth aspect of the present invention, in the image encoded data decoding apparatus according to the eleventh aspect, the control means controls the JPEG decoding to be performed in an arbitrary unit obtained by dividing one frame. And
以上により、請求項1〜12記載の発明では、動画符号化データの復号処理の所定時間内の空き時間を利用して、静止画符号化データの復号処理を行うので、動画符号化データの復号処理を一時中断させることなく、静止画符号化データをも良好に復号化処理することができる。よって、動画処理の一時中断に起因して動画が一時止まってしまうことはない。 As described above, according to the first to twelfth aspects of the present invention, the decoding process of the still image encoded data is performed using the free time within the predetermined time of the decoding process of the encoded moving image data. It is possible to satisfactorily decode still image encoded data without temporarily interrupting the processing. Therefore, the moving image is not temporarily stopped due to the temporary interruption of the moving image processing.
以上説明したように、請求項1〜12記載の発明に係る画像符号化データ復号化装置によると、システムの破綻をきたすことなく、1つのLSIで静止画と動画のデコードの同時動作を実現することができる。 As described above, according to the image encoded data decoding apparatus according to the first to twelfth aspects of the present invention, simultaneous decoding of a still image and a moving image can be realized with one LSI without causing a system failure. be able to.
また、他の種類のコーデックに対する静止画との同時動作への対応もスムーズに行うができる。 In addition, it is possible to smoothly cope with simultaneous operation with still images for other types of codecs.
以下、本発明の実施形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施形態1)
本発明の第1実施形態を説明する。
(Embodiment 1)
A first embodiment of the present invention will be described.
画像符号化データ復号化装置の例として、図1には、本発明の一実施形態に係る時分割で2つのストリームを復号可能な画像符号化データ復号化装置の構成例を示してある。 As an example of an image encoded data decoding device, FIG. 1 shows a configuration example of an image encoded data decoding device capable of decoding two streams in a time division manner according to an embodiment of the present invention.
復号可能な複数ストリームの内、一つは静止画(JPEG)であり、もう一つは動画(MPEG2など)を想定している。 Of the plurality of decodable streams, one is a still image (JPEG), and the other is a moving image (MPEG2 or the like).
図1に示される画像符号化データ復号化装置は、静止画復号の中断情報の保存部801を内蔵したマルチコーデック復号部(画像復号手段)802及び、処理切り替え制御部(制御手段)803から構成される画像復号装置804と、復号データ出力部805とから構成される。
1 includes a multi-codec decoding unit (image decoding unit) 802 including a still image decoding interruption
蓄積メディアからの入力を想定しており、データは動画と静止画で別々のメモリに確保されている。復号データ出力部805の構成は、動画と静止画両方ともディスプレイを想定している。処理切り替え制御部803は、処理の切り替えを通知する内部信号又は外部信号の入力機構を備えており、静止画復号処理と動画復号処理を切り替える機構を備えている。
The input from the storage medium is assumed, and data is secured in separate memories for moving images and still images. The configuration of the decoded
図2を参照しながら、マルチコーデック復号処理部802がMPEG2を処理する時の構成について説明する。
A configuration when the multi-codec
動画符号化データを処理する時の構成は、外部から入力された画像データを保持するバッファ901、そして、VLD部902、IQ/IDCT部903、動き補償部904、内部メモリ905で構成されるMPEG2デコード部906、及び、復号画像を保持するバッファ(記憶手段)907により構成される。
The configuration when processing the moving image encoded data is MPEG2 configured by a
ここで、マルチコーデック復号処理部802は、動画を1フレーム単位で処理する機構を備える。
Here, the multi-codec
図3を参照しながら、マルチコーデック復号処理部802が静止画を処理する時の構成について説明する。
A configuration when the multi-codec
静止画符号化データを処理する時の構成は、外部から入力された画像データを保持するバッファ1001、VLD部1002及びIQ/IDCT部1003で構成されるJPEGデコード部1004、静止画符号化データの復号処理を中断した時に、その中断したところから再開するための情報を保存する保存部801、復号画像を保持するバッファ(記憶手段)1005で構成される。
The configuration at the time of processing the still image encoded data includes a
ここで使用するVLD部1002、IQ/IDCT部1003は、動画符号化データを処理する時と同じ資源である。
The VLD
次に、動画と静止画のデコードを時分割で行う時の処理切り替え制御部803の動作の一例を図4に示すフローチャートを用いて説明する。
Next, an example of the operation of the process switching
先ず、動画復号処理の保障期間を保つために処理切り替え制御部803は、動画復号処理の動作保障期間(割り当て期間)の設定1101を行う。設定後、動画復号処理の開始1102を行う。1フレーム分の復号処理が完了するか又は動作保障期間が経過したかの判定1103を行う。判定結果が偽であれば、引き続き動画復号処理の開始1102を行う。判定結果が真であれば、真になった要因を判定1104する。動作保障期間が経過していた場合は、動画復号処理の停止1105を行う。1フレーム分の復号処理が完了していた場合は動画符号化データの復号完了をトリガとして静止画符号化データへ復号を切り替える。尚、動画処理を停止した場合には、次の復号する機会に動作保障期間をとり得る最大期間まで長くして、同フレームの先頭から再度復号する。それでも、復号できない場合は、同フレームの復号を止めて予め設定されたピクチャまでスキップしてから次のフレームの復号に移る。そして、この一連の処理により動画の復号が遅れてしまった時には、静止画の復号の割り当て時間を動画の復号へ割り当てる。
First, in order to maintain the guaranteed period of the moving picture decoding process, the process
次に、静止画復号処理の動作保障期間(割り当て期間)の設定1106を行う。尚、システムは動画符号化データの復号を優先させるので、静止画復号処理の動作保障期間の設定値は、動画像データのリアルタイム性を十分保証可能な時間範囲である任意の所定期間中での動画処理後の空き時間を利用する。つまり、静止画復号処理の動作保障期間の設定値は(任意の所定期間−動画復号処理の動作保障期間)の値を設定する。この設定後、静止画復号処理の開始1107を行う。1フレーム分の復号処理が完了するか又は動作保障期間が経過したか判定1108を行う。判定結果が偽であれば、引き続き静止画復号処理の開始1107を行う。判定結果が真であれば、真になった要因を判定1109する。動作保障期間が経過していた場合は、静止画復号処理の中断1110を行う。1フレーム分の復号処理が完了していた場合は何も行わない。 Next, an operation guarantee period (allocation period) setting 1106 of the still image decoding process is performed. Since the system prioritizes decoding of moving image encoded data, the set value of the operation guarantee period of the still image decoding process is set in any predetermined period that is a time range in which the real-time property of moving image data can be sufficiently guaranteed. Use free time after video processing. That is, the set value of the operation guarantee period for the still picture decoding process is set to a value of (arbitrary predetermined period−operation guarantee period for the moving picture decoding process). After this setting, the start 1107 of the still image decoding process is performed. It is determined 1108 whether the decoding process for one frame is completed or whether the operation guarantee period has elapsed. If the determination result is false, the start 1107 of the still image decoding process is continued. If the determination result is true, the factor that becomes true is determined 1109. If the operation guarantee period has elapsed, the still image decoding process is interrupted 1110. If the decoding process for one frame has been completed, nothing is done.
尚、動画処理では再開を行わないが、静止画処理では再開を行う。このため、動作保障期間が経過した場合、動画復号処理では停止1105するが、静止画復号処理では中断1110する。 The moving image process does not resume, but the still image process resumes. For this reason, when the operation guarantee period has elapsed, the video decoding process stops 1105, but the still picture decoding process stops 1110.
次に、動画復号処理の動作の一例を図5に示すフローチャートを用いて説明する。 Next, an example of the operation of the moving image decoding process will be described with reference to the flowchart shown in FIG.
先ず、復号対象の画像データの入力処理を行う1201。次に、1フレーム分の動画の復号処理を開始1202する。そして、復号中に停止要求が処理切換え制御部803からあったかどうか判定1203を行い、あれば、動画復号処理を停止1204する。停止要求がない場合は、1フレーム分の動画の復号処理が完了したかどうか判定1205する。完了していれば、処理切り替え制御部803へ動画1フレームの処理完了を通知1206して、動画復号処理を終了する。完了していない場合は、復号中に停止要求が処理切換え制御部803からあったかどうかの判定1203へ戻る。
First, input processing of image data to be decoded is performed 1201. Next, a decoding process of a moving image for one frame is started 1202. Then, it is determined whether or not a stop request is received from the process switching
次に、静止画処理の動作の一例を図6に示すフローチャートを用いて説明する。 Next, an example of the still image processing operation will be described with reference to the flowchart shown in FIG.
先ず、画像データ入力処理を実行1301する。次に、復号の再開処理なのか開始処理なのかを判定1302する。再開処理の場合は、中断情報の保存部801から中断情報を読み出す1303。開始処理の場合は何も行わない。次に、任意の単位で復号1304する。そして、復号中に中断要求が処理切換え制御部803からあったかどうか判定1305を行い、その中断要求があれば、静止画復号処理を中断1306する。そして、中断情報の保存部801へ中断情報を格納1307し、静止画復号処理を終了する。中断要求がない場合は、1フレーム分の静止画の復号処理が完了したかどうか判定1308し、完了していれば、処理切り替え制御部803へ静止画1フレームの処理完了を通知1309して、復号処理を終了する。完了していない場合は、任意の単位で復号1304へ戻る。尚、中断処理を実行した場合で、且つ、次の静止画復号処理が復号再開処理であった場合は、中断情報を読み出す1303ことにより、中断処理と再開処理とを繰り返し、1フレーム分の処理が完了するまで静止画復号処理を自動継続して行う。
First, an image data input process 1301 is executed. Next, it is determined 1302 whether the process is a decoding restart process or a start process. In the case of the restart process, the interruption information is read from the interruption
次に、静止画像圧縮処理と動画像圧縮処理の動作の一例を図7に示すタイムチャートを用いて説明する。 Next, an example of operations of still image compression processing and moving image compression processing will be described with reference to a time chart shown in FIG.
図7は、動画の出力の任意の期間に合わせた静止画と動画の処理タイミングを示している。尚、図中の実線は処理が実行中であることを示している。 FIG. 7 shows processing timings of still images and moving images in accordance with an arbitrary period of moving image output. The solid line in the figure indicates that the process is being executed.
先ず、任意の期間中、1フレーム目の動画の動作保障期間1401が設定され、1フレーム目の動画処理1405が行われる。次に、静止画の動作保障期間1402が設定され、1フレームを複数に分割した複数単位のうち1単位の1 MCU目からn MCU目まで(任意の所定単位)の静止画処理1406が行われる。通常、静止画は動画に比べて画格が大きいため、静止画符号化データの動作保障期間内に1フレームの復号処理が終わらないことが多い。
First, during an arbitrary period, a
そのため、同図のように、静止画開始処理1406が動作保障期間が経過すると、中断要求1409を発行して処理を切り替える。同様に、次の任意の所定期間では、2フレーム目の動画の動作保障期間1403が設定され、2フレーム目の動画処理1407が行われる。次に、静止画の動作保障期間1404が設定され、n+1 MCU目からm MCU目まで(任意の所定単位)の静止画再開処理1408が行われる。そして、静止画開始処理1408が動作保障期間が経過すると、中断要求1410を発行して処理を切り替える。
Therefore, as shown in the figure, when the operation guarantee period elapses in the still image start process 1406, an interruption request 1409 is issued to switch the process. Similarly, in the next arbitrary predetermined period, the
動画については1フレーム単位で処理が完結しているが、静止画は中断、再開を自動的に繰り返し、継続して、最終的に1フレームの復号処理を行う。 For moving images, processing is completed in units of one frame, but for still images, interruption and resumption are automatically repeated and continued, and finally one frame is decoded.
以上のように、本実施形態では、任意の所定期間内で静止画符号化データと動画符号化データとの両復号処理を行っているので、動画表示を乱すことなく、静止画表示を行うことができる。 As described above, in this embodiment, both the still image encoded data and the moving image encoded data are decoded within an arbitrary predetermined period, so that the still image display can be performed without disturbing the moving image display. Can do.
(実施形態2)
次に、本発明の第2実施形態を説明する。
(Embodiment 2)
Next, a second embodiment of the present invention will be described.
本第2実施形態は、第1実施形態の静止画処理に、リサイズ処理が付加されたものである。 In the second embodiment, resizing processing is added to the still image processing of the first embodiment.
静止画の復号は任意単位で直ぐに中断できるが、リサイズ処理は画格に依存したそれより大きい単位でしか中断できない。このため、静止画処理へ中断要求を発行してから動画処理への切り替えにタイムラグが発生して、動画の処理が破綻する場合がある。これを回避するために、静止画の画格からタイムラグの時間を補正値として見積もり、予測して、当初割り当てられた静止画の動作保障期間から前記予測した補正値を引いたものを、静止画の動作保障期間として再設定する。 Decoding of still images can be interrupted immediately in arbitrary units, but resizing processing can be interrupted only in units larger than that depending on the size. For this reason, there may be a time lag in switching to moving image processing after issuing an interruption request to still image processing, and moving image processing may fail. In order to avoid this, the time lag time is estimated as a correction value from the still picture size as a correction value, predicted, and the still image obtained by subtracting the predicted correction value from the initially assigned still image operation guarantee period. Reset as the operation guarantee period.
図8に示される画像符号化データ復号化装置は、静止画復号・リサイズ処理の中断情報の保存部1501を内蔵したリサイズ処理を含んだマルチコーデック復号部1502及び、処理切り替え制御部1503から構成される画像復号装置1504と、復号データ出力部805から構成される。
The image encoded data decoding apparatus shown in FIG. 8 includes a
入力と復号データ出力部805の構成は前記実施形態1と同じである。処理切り替え制御部1503は、処理の切り替えを通知する内部信号又は外部信号の入力機構を備えており、静止画復号・リサイズ処理と動画復号処理とを各々時間で区切って切り替える機構を備えている。また、処理切り替え制御部1503は、マルチコーデック復号部1502からの補正値を入力として、静止画の動作保障期間として再設定するする機構を備えている。
The configuration of the input and decoded
以下、図9を参照しながら、JPEGデコード(静止画復号)・リサイズ部1502の構成について説明する。
Hereinafter, the configuration of the JPEG decoding (still image decoding) /
前記第1実施形態との差異は、リサイズ処理の構成が追加された点のみである。追加された構成は、JPEG復号・リサイズ部1606へ入力する復号画像を保持する低速動作のバッファ(低速)1601と、同リサイズ部1606へ入力する復号画像を保持する高速動作のバッファ(高速)1602と、リサイズ処理部1603と、リサイズ処理後の画像を保存する高速動作のバッファ1604(高速)と、リサイズ処理後の画像を保存する低速動作のバッファ1605(低速)である。リサイズ処理を含むことによって更新された構成は、JPEGデコード・リサイズ処理部1606である。また、リサイズ処理の中断情報を含むことによって更新された構成は、静止画復号・リサイズ処理の中断情報の保存部1501である。
The only difference from the first embodiment is that a resizing configuration is added. The added configuration is a low-speed operation buffer (low speed) 1601 that holds a decoded image input to the JPEG decoding / resizing unit 1606 and a high-speed operation buffer (high speed) 1602 that holds a decoded image input to the resize unit 1606. A
課題として、処理画格が大きい場合、処理単位当りの低速メモリと高速メモリと間のデータ転送の処理時間が復号処理に比べてかかってしまう。データ転送はCPUを介さないため、途中で中断することができない。そのため、中断処理に要する時間がかかってしまう。 As a problem, when the processing picture size is large, the processing time for data transfer between the low-speed memory and the high-speed memory per processing unit is longer than the decoding process. Since data transfer does not go through the CPU, it cannot be interrupted. Therefore, it takes time for interruption processing.
特に、水平リサイズを行う際、入力画像1ライン分を低速メモリから高速メモリへ転送する関係上、入力画格の水平サイズが大きい場合は、中断処理に要する時間がかかってしまう。 In particular, when horizontal resizing is performed, when one line of the input image is transferred from the low-speed memory to the high-speed memory, if the horizontal size of the input picture is large, it takes time for the interruption process.
転送単位を分割する代替手段もあるが、細かい単位で転送設定を行わなければならないため、リサイズ処理全体の処理速度が遅くなってしまう。 Although there is an alternative means for dividing the transfer unit, since the transfer setting must be made in fine units, the processing speed of the entire resizing process becomes slow.
以下、図14を参照しながら、リサイズ処理のタイミングチャートを説明する。同図において、リサイズ処理部1603へ入力する復号画像を保持するバッファ(低速)1601からリサイズ処理部1603へ入力する復号画像を保持するバッファ(高速)1602への転送時間が同図に示す符号2101であり、リサイズ処理時間が符号2102であり、リサイズ処理部1603からリサイズ処理後の画像を保存するバッファ1604(高速)からリサイズ処理後の画像を保存するバッファ1605(低速)へ転送する時間が符号2103である。相対的にリサイズ処理の入力のデータ転送に時間がかかる。
Hereinafter, a timing chart of the resizing process will be described with reference to FIG. In the figure, the transfer time from the buffer (low speed) 1601 holding the decoded image input to the
静止画復号の中断処理に要する時間がかかってしまった場合の課題を図13に示すタイミングチャートを用いて説明する。 A problem in the case where it takes time to interrupt still image decoding will be described with reference to a timing chart shown in FIG.
図13は、動画の出力の任意の所定期間に合わせた静止画と動画の復号処理タイミングを示している。尚、同図中の実線は処理が実行中であることを示している。 FIG. 13 shows the decoding processing timing of a still image and a moving image in accordance with an arbitrary predetermined period of moving image output. The solid line in the figure indicates that the process is being executed.
先ず、任意の所定期間中、1フレーム目の動画の動作保障期間2001が設定され、1フレーム目の動画処理2005が行われる。次に、静止画の動作保障期間2002が設定され、静止画処理2006が行われる。通常、静止画は動画に比べて画格が大きいため、静止画の動作保障期間内に1フレームの復号処理が終わらないことが多い。
First, during an arbitrary predetermined period, the
そのため、同図のように、静止画開始処理2006が動作保障期間が経過すると、中断要求2004を発行して処理を切り替える。同様に、次の任意の所定期間では、2フレーム目の動画の動作保障期間2003が設定され、2フレーム目の動画処理2007が行われる。
Therefore, as shown in the figure, when the operation guarantee period elapses in the still
しかしながら、図9で説明したように、リサイズ処理部1603で行われるデータ転送はCPUを介さないため、途中で中断することができない。そのため、動画処理とのオーバーラップが発生する2008。その結果、動画処理の実行が間延びして、システムに破綻をきたす場合がある。
However, as described with reference to FIG. 9, the data transfer performed by the resizing
次に、処理切り替え制御部1503の動作の一例を図10に示すフローチャートを用いて説明する。
Next, an example of the operation of the process switching
前記第1実施形態との差異は、静止画復号処理の開始1107を行った後に、静止画復号処理から通知された補正値に基づいて静止画の動作保障期間を再設定1701する点である。この静止画の動作保障期間の再設定値は(当初割り当てられた静止画の動作保障期間−補正値)を設定する。 The difference from the first embodiment is that the operation guarantee period of the still image is reset 1701 based on the correction value notified from the still image decoding process after the start 1107 of the still image decoding process. The reset value of the still image operation guarantee period sets (initially assigned still image operation guarantee period−correction value).
次に、JPEGデコード・リサイズ部1606の動作の一例を図11に示すフローチャートを用いて説明する。 Next, an example of the operation of the JPEG decoding / resizing unit 1606 will be described with reference to the flowchart shown in FIG.
前記第1実施形態との差異は、画像データ入力処理1301を行う前に、静止画の動作保障期間に対する補正値を算出1801して、その後、処理切り替え制御部1503へ、算出した補正値を通知1801する点である。
The difference from the first embodiment is that, before performing the image data input process 1301, a correction value for the still image operation guarantee period is calculated 1801, and then the calculated correction value is notified to the process switching
尚、静止画処理について中断要求を発行して時点から動画復号処理への切り替えのタイムラグは、前記リサイズ処理の仕組みで記載した通り、低速メモリと高速メモリ間のデータ転送時間に依存するため、入力画格に依存する。特に、水平リサイズ処理実行時は一水平ラインのデータを転送するために、最も処理単位当りの処理時間を要する。従って、静止画復号処理について中断要求を発行した時点から動画処理への切り替えのタイムラグの最大値は、以下の式で求められる。 Note that the time lag for switching from the time point to the video decoding process after issuing a suspend request for still image processing depends on the data transfer time between the low-speed memory and the high-speed memory, as described in the resize processing mechanism. Depends on the picture. In particular, when the horizontal resize processing is executed, the processing time per processing unit is required most in order to transfer data of one horizontal line. Therefore, the maximum value of the time lag for switching from the time when the interruption request is issued for the still image decoding processing to the moving image processing is obtained by the following equation.
低速メモリから高速メモリへの最大データ転送サイズ
= 入力画格の水平サイズ・補正値(タイムラグの最大値)
= 低速メモリから高速メモリへの最大データ転送サイズ
/ データ転送レート
次に、静止画像圧縮処理と動画像圧縮処理の動作の一例を図12に示すタイムチャートを用いて説明する。
Maximum data transfer size from low speed memory to high speed memory
= Horizontal size and correction value of input picture (maximum value of time lag)
= Maximum data transfer size from low-speed memory to high-speed memory
/ Data Transfer Rate Next, an example of operations of still image compression processing and moving image compression processing will be described with reference to a time chart shown in FIG.
図12において、前記第1実施形態との差異は、動画処理から割り当てられた静止画の動作保障期間1402、1404から補正値1901の期間を前倒しで短縮したものを、新しい静止画の動作保障期間1902、1903として再設定している点である。
In FIG. 12, the difference from the first embodiment is that the operation guarantee period of the still image allocated from the moving
以上により、本実施形態では、任意の所定期間内で静止画+リサイズ処理と動画の処理とを破綻無く実装することができる。 As described above, in the present embodiment, the still image + resizing process and the moving image process can be implemented without failure within an arbitrary predetermined period.
以上説明したように、本発明は、動画符号化データの復号処理を一時中断させることなく、静止画符号化データをも良好に復号化処理できるので、動画が一時止まって表示されることがなく、良好な動画表示及び静止画表示が可能な画像符号化データ復号化装置として、有用である。 As described above, the present invention can satisfactorily decode still image encoded data without temporarily interrupting the decoding processing of moving image encoded data, so that the moving image is not temporarily displayed. Therefore, the present invention is useful as an image encoded data decoding apparatus capable of displaying good moving images and still images.
801、1501 保存部
802 マルチコーデック復号部(画像復号手段)
803 処理切り替え制御部(制御手段)
804 画像復号装置
805 復号データ出力部
901、1001、1601、
1602、1604、1605 バッファ
902、1002 VLD部
903、1003 IQ/IDCT部
904 動き補償部
906 MPEG2デコード部
907、1005 バッファ(記憶手段)
1004 JPEGデコード部
1502 リサイズ処理を含んだマルチコーデック復号部
1503 処理切り替え制御部
1504 画像復号装置
1603 リサイズ処理部
1606 JPEGデコード・リサイズ部
801, 1501
803 Process switching control unit (control means)
804
1602, 1604, 1605
1004
Claims (12)
動画符号化データ又は静止画符号化データを復号する画像復号手段と、
前記画像復号手段から出力された復号データを表示及び他の画像符号化データの復号のために記憶する記憶手段と、
前記画像復号手段の復号の制御を行う制御手段とからなるデジタル画像符号化データ復号化装置において、
前記制御手段は、
前記動画符号化データの復号と前記静止画符号化データの復号とを時分割で切り替えて行うように制御する
ことを特徴とする画像符号化データ復号化装置。 In the case of reproducing compressed image encoded data,
Image decoding means for decoding moving image encoded data or still image encoded data;
Storage means for storing the decoded data output from the image decoding means for display and decoding of other image encoded data;
In a digital image encoded data decoding apparatus comprising control means for controlling decoding of the image decoding means,
The control means includes
An image encoded data decoding apparatus, characterized in that control is performed so that decoding of the moving image encoded data and decoding of the still image encoded data are switched in a time division manner.
前記制御手段は、
前記動画符号化データの復号と静止画符号化データの復号とを時分割で切り替える際に、動画像データのリアルタイム性を保証可能な範囲内での空き時間を利用して前記静止画符号化データの復号を行わせる
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 1,
The control means includes
When the decoding of the moving image encoded data and the decoding of the still image encoded data are switched in a time-sharing manner, the still image encoded data is utilized using a free time within a range in which the real-time property of the moving image data can be guaranteed. An image-encoded data decoding device characterized in that the decoding is performed.
前記制御手段は、
前記静止画符号化データの復号をしている期間に動画像符号化データの切り替えを指示した場合に、静止画符号化データの中断情報を画像復号手段で保存して、次の静止画符号化データの復号時には、前記画像復号手段で保存した中断情報に基づいてその中断した箇所から静止画符号化データの復号を再開するように制御する
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 1,
The control means includes
When switching of moving image encoded data is instructed during the decoding period of the still image encoded data, the interruption information of the still image encoded data is saved by the image decoding means, and the next still image encoding is performed. An image encoded data decoding apparatus, wherein when decoding data, control is performed so as to resume decoding of still image encoded data from the interrupted location based on the interrupt information stored by the image decoding means.
前記制御手段は、
静止画符号化データの復号を中断処理した場合には、以降の静止画符号化データの復号化処理においては1フレーム分の処理が完了するまで自動継続して行うように制御する
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 3,
The control means includes
When the decoding of still image encoded data is interrupted, the subsequent decoding of still image encoded data is controlled to continue automatically until the processing for one frame is completed. An image encoded data decoding apparatus.
前記制御手段は、
動画像符号化データの復号完了をトリガとして、静止画符号化データへ復号を切り替えるように制御する
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 1,
The control means includes
An encoded image data decoding apparatus, wherein the decoding is switched to still image encoded data with the completion of decoding of moving image encoded data as a trigger.
前記制御手段は、
動画像符号化データの復号と静止画符号化データの復号との間の切り替えを予め設定した割り当て時間で切り替えるように制御する
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 1,
The control means includes
An image encoded data decoding apparatus, characterized in that control is performed to switch between decoding of moving image encoded data and decoding of still image encoded data at a preset allocation time.
前記制御手段は、
動画像符号化データの復号において予め設定した前記割り当て時間を過ぎてもその復号処理が完了しない場合には、動画像符号化データの次の復号においては、動画像符号化データの復号の前記割り当て時間を長くするように制御する
ことを特徴とする画像符号化データ復号化装置。 The image encoded data decoding device according to claim 6, wherein:
The control means includes
In the decoding of moving image encoded data, if the decoding process is not completed even after the preset allocation time has passed, in the next decoding of the moving image encoded data, the allocation of decoding of the moving image encoded data is performed. An encoded image data decoding apparatus, characterized in that control is performed so as to lengthen the time.
前記制御手段は、
動画像符号化データの復号において予め設定した前記割り当て時間を過ぎてもその復号処理が完了しない場合には、動画像符号化データの次の復号においては、復号が完了しなかったピクチャはスキップして、更に、予め設定されたピクチャまでスキップしてから復号を開始するように制御する
ことを特徴とする画像符号化データ復号化装置。 The image encoded data decoding device according to claim 6, wherein:
The control means includes
In the decoding of moving image encoded data, if the decoding process is not completed even after the preset allocation time has passed, the picture that has not been decoded is skipped in the next decoding of the moving image encoded data. In addition, the encoded image data decoding apparatus is further controlled to start decoding after skipping to a preset picture.
前記制御手段は、
動画像符号化データの復号において予め設定した前記割り当て時間を過ぎても復号処理が完了しない場合には、動画像符号化データの次の復号においては、復号が完了しなかったピクチャの先頭から再度復号を開始するように制御する
ことを特徴とする画像符号化データ復号化装置。 The image encoded data decoding device according to claim 6, wherein:
The control means includes
If the decoding process is not completed even after the preset allocation time in the decoding of the moving image encoded data, the next decoding of the moving image encoded data starts again from the beginning of the picture that has not been decoded. An image-encoded data decoding device, characterized in that control is performed to start decoding.
前記制御手段は、
静止画符号化データの復号の前記割り当て時間の算出において、前記制御手段からの中断指示から前記画像復号手段が実際に中断するまでに要する時間を復号処理の前に見積もり、その見積もりに基づいて前記静止画符号化データの復号の割り当て時間を補正して、復号処理を開始するように制御する
ことを特徴とする画像符号化データ復号化装置。 The image encoded data decoding device according to claim 6, wherein:
The control means includes
In the calculation of the allocated time for decoding of still image encoded data, the time required until the image decoding means is actually interrupted from an interruption instruction from the control means is estimated before decoding processing, and based on the estimate, the time An image-encoded data decoding apparatus, wherein the decoding time of still image encoded data is corrected and control is performed to start decoding processing.
前記静止画符号化データは、JPEGである
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 1,
The encoded image data decoding apparatus, wherein the encoded still image data is JPEG.
前記制御手段は、
JPEGの復号は、1フレームを分割した任意の単位で行うように制御する
ことを特徴とする画像符号化データ復号化装置。 In the image encoded data decoding device according to claim 11,
The control means includes
JPEG decoding is controlled so as to be performed in an arbitrary unit obtained by dividing one frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007269257A JP2009100206A (en) | 2007-10-16 | 2007-10-16 | Image coding and data-decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007269257A JP2009100206A (en) | 2007-10-16 | 2007-10-16 | Image coding and data-decoding device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009100206A true JP2009100206A (en) | 2009-05-07 |
Family
ID=40702796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007269257A Pending JP2009100206A (en) | 2007-10-16 | 2007-10-16 | Image coding and data-decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009100206A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010283683A (en) * | 2009-06-05 | 2010-12-16 | Canon Inc | Device and method for decoding stream |
JP2011254129A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Image processing device and control method for image processing |
-
2007
- 2007-10-16 JP JP2007269257A patent/JP2009100206A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010283683A (en) * | 2009-06-05 | 2010-12-16 | Canon Inc | Device and method for decoding stream |
JP2011254129A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Image processing device and control method for image processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7653128B2 (en) | Information processing apparatus and method, recording medium, and program | |
US8270800B2 (en) | Information processing apparatus and method, recording medium, and program | |
JP3802521B2 (en) | Encoding apparatus, encoding control method, and encoding control program | |
JP2008306444A (en) | Image processing apparatus | |
JPWO2007032123A1 (en) | Multi-stream decoding device | |
US9100653B2 (en) | Memory transfer controller and method of transfer control of video line data and macroblock data | |
JP2009111932A (en) | Moving image decoding device | |
JP2009296169A (en) | Moving image decoding device, and encoding device | |
US7751687B2 (en) | Data processing apparatus, data processing method, data processing system, program, and storage medium | |
JP2009100206A (en) | Image coding and data-decoding device | |
US7974523B2 (en) | Optimal buffering and scheduling strategy for smooth reverse in a DVD player or the like | |
KR100640885B1 (en) | Video buffer controlling apparatus for dual video decoding | |
KR100750096B1 (en) | Video pre-processing/post-processing method for processing video efficiently and pre-processing/post-processing apparatus thereof | |
JP3410669B2 (en) | Video and audio processing device | |
JP7017542B2 (en) | Video decoding device and video decoding method | |
JP2006066995A (en) | Image reproducer, its control method and program, and storage medium | |
WO2010134238A1 (en) | Video recording device | |
JP4264582B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
JP2008096906A (en) | Audio signal decoding device and resource access control method | |
JP2006115168A (en) | Image decoding apparatus and image display apparatus | |
JP4461303B2 (en) | Video decoding apparatus and video decoding method | |
JP2007329858A (en) | Moving image display apparatus, moving image display method, and program | |
US20070206870A1 (en) | Encoded Data Decoding Apparatus | |
JP2006246384A (en) | Decoding program, decoding method, and decoder | |
JP3171178B2 (en) | MPEG video decoding device |