JP2017225096A - Image data processing method - Google Patents

Image data processing method Download PDF

Info

Publication number
JP2017225096A
JP2017225096A JP2016121278A JP2016121278A JP2017225096A JP 2017225096 A JP2017225096 A JP 2017225096A JP 2016121278 A JP2016121278 A JP 2016121278A JP 2016121278 A JP2016121278 A JP 2016121278A JP 2017225096 A JP2017225096 A JP 2017225096A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
moving
processing
display
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016121278A
Other languages
Japanese (ja)
Inventor
一樹 客野
Kazuki Kakuno
一樹 客野
横関 亘
Wataru Yokozeki
亘 横関
Original Assignee
株式会社アクセル
Axell Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image data processing method which prevents deterioration in decoding throughput even in such an image processing device that is included in a game machine which displays many moving images of low resolution.SOLUTION: As to a moving image X, its encoded data is decoded singly and the moving image X is restored and displayed on a display part of the image processing device with predetermined timing. On the other hand, as to a moving image Y and a moving image Z, their encoded data are coupled and decoded depending on the display timing of them and the moving image X and the moving image Y are restored and further separated to be displayed on the display part with respective timings (step S3).SELECTED DRAWING: Figure 1

Description

本発明は、画像データ処理方法に関し、特に、多くの小さな解像度の動画を、ハードウェアデコーダにより復号化処理を行いつつ表示するような画像処理装置を使用する場合の画像データ処理方法に関する。 The present invention relates to an image data processing method, in particular, the video many small resolution, an image data processing method in the case of using an image processing apparatus that displays while performing decoding processing by hardware decoder.

昨今の各種情報機器における動画再生処理においては、容量の観点から予め符号化して格納しておいた符号化動画情報を、読み出したり、又はネットを介してダウンロードしてきて、それを符号化に対応した復号化処理により復号化して表示装置に供給することにより、液晶機器等に動画が再生される。 In the video playback process in recent various types of information equipment, the coded video information which has been stored in advance coded in terms of capacity, read or, or it has been downloaded via the Internet, which was corresponding to the coding by supplying to the display device by decoding by the decoding process, video is played on a liquid crystal device or the like. 符号化処理には時間的な余裕があることからソフトウェアで処理することも可能であるが、復号化処理においては、高精細の動画であっても停滞なく再生されることを担保するためにハードウェア回路、特に専用の画像処理プロセッサ、を設けることも一般的になっている。 Although the encoding process it is also possible to process by software since there is a time margin, at the decoding process, hard to guarantee that it is reproduced without stagnation even video high definition Clothing circuit, in particular become also generally be provided dedicated image processing processor, a.

つまり、その専用の画像処理プロセッサに対して、その上位の処理制御部が処理の指令のみを与えることにより、あとは当該画像処理プロセッサが自律的に画像処理を行うことにより、画像処理の効率化を図る構成となっている。 That is, the image processing processor of the dedicated, by the processing control unit of the upper gives only command processing by the image processing processor autonomously performs image processing after the efficiency of the image processing and it has a configuration to achieve.

上記概念の概要を図11に示す。 The summary of the concept shown in FIG. 11.
ここで、画像データROM200には、例えば、H.264(MPEG 4/AVC)規格に基づき符号化された1つ以上の動画情報が格納されている。 Here, the image data ROM 200, for example, H.264 (MPEG 4 / AVC) 1 or more moving image information encoded on the basis of the standards is stored. なお、ここでは、情報機器本体に符号化された動画情報が格納される格納手段が備わっている場合を示しているが、ネット上のサーバ等からダウンロードしてくるような機器についても同様である。 Here, although video information encoded in the information equipment body indicates a case has internal storage means to be stored is the same for devices such as coming downloaded from a server or the like on the net .

ここで、H.264規格について簡単に説明する。 Here is a brief description of the H.264 standard. MPEG 2やMPEG 4ではシンタックスの階層構造が定められ、ビットストリームの中で並べられる情報は階層構造に沿ったものであるのに対し、H.264ではパラメータ・セットとそれを参照するスライスの配置についてはMPEG 2等と比較して制約が少ない。 MPEG 2 and MPEG 4 in the syntax of the hierarchical structure is defined, information is arranged in the bit stream while is in line with the hierarchical structure of the slice that reference it with parameter set in H.264 less constraints compared to MPEG 2, etc. for placement. またパラメータ・セットにはシーケンス全体の符号化にかかわる情報を格納するSPS(Sequence Parameter Set:シーケンスパラメータセット)やピクチャ全体の符号化モードを示すPPS(Picture Parameter Set:ピクチャーパラメータセット)、任意の情報を符号化できるSEI(Supplemental Enhancement Information)が含まれ、フレームごとにSPSやPPSを配置することができるので、一つのビットストリーム中で複数のシーケンスを取り扱うことができる。 The parameter set to the SPS for storing information relating to encoding of the entire sequence (Sequence Parameter Set: Sequence Parameter Set) and picture overall PPS indicating the coding mode (Picture Parameter Set: Picture Parameter Set), any information the contains SEI to be encoded (Supplemental Enhancement Information), it is possible to arrange the SPS and PPS for each frame, it is possible to handle multiple sequences in a single bit stream.

図12は、H.264規格に基づき符号化された画像の符号化データの一般的なビットストリームを示す図である。 Figure 12 is a diagram showing a general bit stream of the encoded data of the encoded image based on the H.264 standard. なお、ここでは、説明の便宜上、SPSとPPSの組は1組として表している。 Here, for convenience of explanation, a set of SPS and PPS are expressed as a set. H.264規格では、VCL(Video Coding Layer:動画像符号化処理層)と分離されたNAL(Network Abstraction Layer:ネットワーク抽象層)と称すレイヤーが規定され、VCLで生成された符号化データやパラメータ・セットをNALユニットとして取り扱うことができるようになっており、符号化データはVCLのNALユニット、SPSやPPSは非VCLのNALユニットとして取り扱われる。 The H.264 standard, VCL (Video Coding Layer: video encoding process layer) and the separated NAL (Network Abstraction Layer: network abstraction layer) and called layer is defined, coded data and parameters generated by the VCL set has become to be able to handle a NAL unit of the encoded data is NAL unit of VCL, SPS and PPS are treated as NAL unit of the non-VCL.

ここで、各スライスには、ヘッダー領域があり、そこには自スライスの先頭マクロブロック座標(first_mb_in_slice)の情報が少なくとも格納される。 Here, each slice has a header area, there is information of the first macroblock coordinates of its own slice (first_mb_in_slice) is at least stored. また、MPEG 2やMPEG 4でもそうであったように、H.264でも、一般的には、1ピクチャは1個以上のスライスで構成される。 Also, as was the case even MPEG 2 or MPEG 4, even H.264, in general, one picture is composed of one or more slices. しかし、実際に1つの動画を普通に符号化すると、1フレームは、1スライスで構成される1ピクチャとして符号化される。 However, actually normally encode one video frame is encoded as one picture composed of one slice. ある種の効果を求めて、1フレームを複数スライスとして、すなわち1つの画像を複数に分割して複数のスライスとして符号化する技術は、例えば特許文献1に開示されている。 Seeking certain effect, one frame as a plurality of slices, a technique for coding a plurality of slices that is, dividing one image into a plurality, for example, disclosed in Patent Document 1.

しかしながら、特許文献1に代表されるような従来の技術においては、あくまで1つの動画の各画像を複数に分割するものであって、後述する本願発明の特徴のように、複数の動画のそれぞれを符号化して、それらを各スライスとして構成するような概念は従来にはない。 However, in the prior art as typified by Patent Document 1, there is that only dividing each image of one video to multiple, as features of the present invention described below, each of the plurality of video by encoding concepts like constituting them as each slice is not the conventional.

図11に戻り、上位CPU100からは、画像処理プロセッサ300に対して、一般的にAPI(Application Program Interface)と呼ばれる処理指令が発せされる。 Returning to FIG. 11, from the upper CPU 100, the image processor 300, the processing command is issued, commonly referred to as API (Application Program Interface). 機器が動作する元となっているオペレーティングシステム(OS)が、例えば、Windowsであれば、DXVA2(DirectX Video Acceleration 2)というAPIであり、Linux(登録商標)であれば、VDPAU(Video Decode and Presentation API for Unix)というように、各機器が採用するソフトウェアプラットフォームにより固有のものが提供されている。 The equipment is operating system that has become a source for operating (OS), for example, if Windows, an API that DXVA2 (DirectX Video Acceleration 2), if the Linux (registered trademark), VDPAU (Video Decode and Presentation as referred API for Unix), specific and are provided by the software platform that each device is adopted. 上位CPU100は、表示部400に所定のタイミングで表示させたい、必要な符号化画像データを画像データROM200から読み出し、表示の指令(表示タイミング、表示場所等)とともにその符号化画像データを画像処理プロセッサ300に送る。 Top CPU100 is to be displayed on the display unit 400 at a predetermined timing, required reading encoded image data from the image data ROM 200, display command (display timing, the display location, etc.) the image processor the coded image data together with send to 300. 当該指令と対応する符号化画像データを受け取った画像処理プロセッサ300は、図示しない内部のハードウェアデコーダにより、当該符号化処理に対応した復号化処理を施すことにより、元の画像を復元する。 Image processor 300 which has received the encoded image data corresponding to the instruction, by the internal hardware decoder, not shown, by performing a decoding process corresponding to the encoding process, to restore the original image. そして、画像処理プロセッサ300が、その復号化画像データを表示部400に供給すれば、表示部400の液晶画面等に動画が再生される。 Then, the image processor 300, if supplies the decoded image data to the display unit 400, video is played on the LCD screen of the display unit 400.

なお、特許文献2には、他の画像情報を参照せずに復号化可能なIピクチャを符号化したタイルを利用し、ストリーム補正手段により読み出したタイルのフレーム内での位置を補正することで、動画像の視聴領域を任意に設定し、かつインタラクティブに視聴領域を変更することができる動画像配信システムが開示されている。 Incidentally, Patent Document 2, by correcting the position of the decodable I-picture without referring to other image information by using the encoded tiles, in the frame of the tile read by the stream correcting means , arbitrarily set the viewing area of ​​the moving image, and moving image distribution system can change the viewing area interactively disclosed.

しかしながら、特許文献2に記載の発明は動画像の視聴領域を任意に変更する技術に関するものであり、後述するような解像度の小さい画像を複数取り扱う場合の復号化処理の効率低下を回避するものではない。 However, the invention described in Patent Document 2 is a technique for arbitrarily changing the viewing area of ​​the moving image, is intended to avoid a efficiency reduction of the decoding process when dealing plurality resolution of small image as described later Absent.

特開2012−191513号公報 JP 2012-191513 JP 国際公開第2012/060459号 International Publication No. WO 2012/060459

ところで、パチンコ機やパチスロ機のような遊技機における動画再生は、一本の動画が再生される一般的な動画再生とは顕著に異なる特徴がある。 However, moving image reproduction in the gaming machine such as a pachinko machine or a pachi-slot machine, there is a significantly different characteristics from common video playback single video is played. 図13は、パチンコ機やパチスロ機のような遊技機における動画再生を説明するための図である。 Figure 13 is a diagram for explaining a moving image reproduction in the gaming machine such as a pachinko machine or a pachi-slot machine. 具体的には、同図(a)に示すように、パチンコ機やパチスロ機のような遊技機においては、1つの液晶画面等の任意の複数の領域に、大小さまざまな解像度の動画が表示される。 Specifically, as shown in FIG. 6 (a), in the gaming machine such as a pachinko machine or a pachi-slot machine, a plurality of arbitrary regions, such as single LCD screen, the size of the various resolution video displays that. 更に、同図(b)に示すように、それらの各動画の再生開始時点及び再生時間は区々である。 Furthermore, as shown in FIG. (B), the reproduction start time and reproduction time thereof for each video is Amblyseius. しかも、動画Eと動画Gの関係のように、遊技の進行に応じて、動画Eが最後まで再生されずに中断して、代わりに動画Gが再生し始める、というような態様もある。 Moreover, as the relationship between the video E and moving G, is in accordance with the progress of the game, and suspended without being reproduced moving E until the end, moving G starts to play instead, even such a manner that.

ここで、解像度の異なる画像のハードウェアデコーダによる復号化処理について注目すると、その処理性能は、解像度に依存せずに一定というわけではなく、解像度に依存してしまう。 Here, focusing on the decoding process by the hardware decoder images with different resolutions, the processing performance, does not mean that constant without depending on the resolution, would depend on the resolution. 言い換えれば、解像度に応じて比例的に復号化の処理時間が決まるわけではない。 In other words, not the processing time of the proportionally decoding is determined according to the resolution. 例えば、解像度が1/2になったからといって、復号化の処理時間が半分になるものではない。 For example, just because the resolution becomes 1/2, the processing time of decoding does not halved. 図14は、画像解像度(横軸)と処理性能(Gdps)(縦軸)との関係を示す図である。 Figure 14 is a diagram showing the relationship between image resolution (horizontal axis) and performance (GDPS) (vertical axis). ここでは、参考までに、ソフトウェアにより復号化処理を行う場合も掲載している。 Here, for reference, it is also published when performing decoding processing by software. 理論的には、解像度によっては処理性能は変わらないはずであるが、同図に示すように、ソフトウェア処理によれば、解像度が小さくなるにつれて比例的に処理性能が減衰し、一方、ハードウェア処理によれば、解像度が小さくなるにつれて極端に処理性能が落ちてしまうことが分かる。 In theory, the resolution should not change performance, as shown in the figure, according to the software processing, proportionally performance is attenuated as the resolution becomes smaller, whereas, hardware processing According to, it can be seen that falls extremely performance as resolution decreases.

上述のように、ハードウェアデコーダによる復号化処理において、解像度が小さくなるにつれて極端に処理性能が落ちてしまう理由は、主に以下の2つが考えられる。 As described above, in the decoding process by the hardware decoder, why the resolution falls extremely performance as smaller is mainly the following two are considered.

1つには、ハードウェアデコーダが、画像の垂直方向において、所定の解像度単位で並列処理を行っているからである。 For one, the hardware decoder, in the vertical direction of the image, because doing parallel processing at a predetermined resolution units.
図15は、ハードウェアデコーダにおける垂直方向並列処理を説明するための図である。 Figure 15 is a diagram for explaining a vertical parallelism in the hardware decoder. 同図(a)は、並列処理を行わない場合であり、同図(b)は並列処理を行う場合を示している。 FIG (a) is a case of not performing parallel processing, FIG. (B) shows a case of performing parallel processing. 一般的、復号化処理は、マクロブロック(MB)(例えば、16×16画素)単位で行われ、並列処理を行わない場合であれば、同図(a)に示すように、マクロブロックの水平一列に対応した1つのデコーダコアが、当該列の各マクロブロックを順に復号化していく。 Generally, decoding process, macroblock (MB) (e.g., 16 × 16 pixels) and in units, in the case of not performing parallel processing, as shown in FIG. 6 (a), the horizontal macroblock one decoder cores corresponding to one row, continue to decode each macroblock of the column in order. ここで、H.264規格のように、イントラ予測が採用されているのであれば、既に復号化処理された周りの所定のマクロブロックの情報を参照しつつ、一行ごとに復号化が進められていく。 Here, as in the H.264 standard, if the intra-prediction is employed, already with reference to the information of the given macroblock around which it is processed decoded, and decoding is advanced one line at a time go.

これに対して、並列処理機能を有する場合は、同図(b)に示すように、複数のマクロブロックに対応した複数のデコーダコアが備わっており、それら複数のデコーダコアが複数のマクロブロックに対して同時並列的に復号化処理を進めていく。 In contrast, when having a parallel processing function, as shown in FIG. (B), and equipped with multiple decoders cores corresponding to a plurality of macro-blocks, the plurality of decoders cores into a plurality of macroblocks to proceed simultaneously in parallel decoding process for. この場合も、イントラ予測が採用されているのであれば、同図(b)に示すように、典型的には波状に処理が進むこととなり、そのことから、かかる並列処理は、ウェイブフロント並列処理(wave front parallel processing)と呼ばれている。 Again, if the intra-prediction is employed, as shown in FIG. (B), and typically will be processed wave progresses, due to its, such parallel processing, wave front parallel processing It has been called (wave front parallel processing).

図15(b)に示すような複数ハードウェアデコーダコアによる並列処理にあっては、垂直方向に十分大きな解像度を有する画像については、当該並列処理の利点を十分に享受できるものの、垂直方向に解像度の小さい画像については、その利点を享受できない場合がある。 In the parallel processing by multiple hardware decoder core as shown in FIG. 15 (b), for an image having a sufficiently large resolution in the vertical direction, but can be sufficiently benefit from the parallel processing, the resolution in the vertical direction for small images may not be able to enjoy the benefits. 例えば、マクロブロックが16×16画素であり、マクロブロックに対して1対1で備わるハードウェアデコーダコアが8個備わっているとすると(なお、同図(b)では5個)、16画素×8=128画素であり、すなわち一度に処理する垂直方向の画素数が128画素ということとなり、理論的には、その128より小さい垂直方向の画素数を有する画像は、当該並列処理の利点を享受できないこととなる。 For example, a macroblock is 16 × 16 pixels, when a hardware decoder core included for a macroblock in one-to-one are provided eight (Note, five in FIG. (B)), 16 pixels × 8 = 128 is a pixel, i.e., the number of pixels in the vertical direction to be processed becomes that 128 pixels at a time, in theory, an image having a number of pixels that less than 128 vertical, take advantage of the parallel processing and thus it can not be.

このように、どの程度の並列処理機能を備えるかによるが、概して、大きな解像度を有する画像を処理する場合と比較すると、小さな解像度を有する画像に対して復号化処理を行う場合は、相対的に処理性能が落ちることとなる。 Thus, depending on whether provided with a degree of parallelism functions, generally, as compared with the case of processing an image having a larger resolution, the case of performing the decoding process on the image having a small resolution, relatively so that the processing performance fall.

2つめの理由は、解像度の小さな画像も解像度の大きな画像も1ピクチャである点で変わらず、1ピクチャを復号化する処理においては、画像データの符号化処理自体以外に、デコーダの初期化等の付随処理が必ず伴うものであり、このことから、小さな解像度の画像であっても、その数が増えると、格段に処理ステップが増え、結果として、大きな解像度を有する画像を処理する場合と比較すると、小さな解像度の画像であっても、その数が増えると、その復号化処理性能は落ちることとなる。 The second reason is a small image resolution unchanged in that a large image is also one picture resolution, in the process of decoding a picture, in addition to the encoding process itself of the image data, initialization of the decoder, and the like are those with the accompanying process always compares this reason, even in an image of a small resolution, if the number increases, the more remarkably the processing step, as a result, the case of processing an image having a larger resolution Then, it is an image of a small resolution, if the number increases, the decoding performance becomes to fall.

以上から、パチンコ機及びパチスロ機に代表される遊技機のように、解像度の小さな動画を、特に並列的に、多く表示するような装置では、処理速度が極端に遅くなるという課題があった。 From the above, as the gaming machine typified by a pachinko machine and pachislot machine, a small video resolution, in particular parallel, the device that displays a number, there is a problem that the processing speed is extremely slow.

本発明は上述のような事情から為されたものであり、本発明の目的は、小さな解像度の動画が多く表示される遊技機に含まれるような画像処理装置であっても、復号化処理能力が落ちることのない画像データ処理方法を提供することにある。 The present invention has been made from the circumstances as described above, an object of the present invention, be an image processing apparatus such as those contained in the game machine of small resolution moving image is displayed large, the decoding processing capacity and an image data processing method that does not fall.

上記目的を達成するため、本発明の画像データ処理方法は、動画に係る符号化画像データを出力すると共に、その動画の再生に係る指令を発行する上位CPUと、ハードウェアデコーダを有し、入力される前記指令に基づき、前記動画に係る符号化画像データを復号化する画像処理プロセッサと、前記画像処理プロセッサにより復号化された画像データに基づいて前記動画が再生される表示部と、を備えた画像処理装置を使用した画像データ処理方法であって、前記指令に基づき前記表示部に複数の動画が再生される場合に、前記上位CPUは、各動画を、各ピクチャ符号化画像データであるスライスのレベルで合体させて、複数スライスの1ピクチャと見立てて一括して符号化画像データを構成して前記画像処理プロセッサに供給し、前記 To achieve the above object, the image data processing method of the present invention outputs the encoded image data according to the video includes a host CPU for issuing a command according to the reproduction of the video, the hardware decoder, the input based on the instruction that is provided with an image processor for decoding the encoded image data according to the video, and a display unit for the video is played on the basis of decoded image data by the image processing processor an image data processing method using the image processing apparatus, when a plurality of moving image on the display unit based on the instruction is reproduced, the higher the CPU, each video is in each picture coded image data coalescing at the level of the slice, and constituting the encoded image data and collectively regarded as one picture of a plurality of slices is supplied to the image processor, wherein ードウェアデコーダは、その一括化された符号化画像データを復号化することを要旨とする。 Over de hardware decoder summarized in that for decoding the lumped coded image data.

更に、前記上位CPUは、前記ハードウェアデコーダから得られた復号化された画像データから各動画を分離するよう前記画像処理プロセッサに要求し、分離された各動画が前記表示部に再生されるステップを有する。 Further, the upper CPU, the step of the requesting from the decoded image data obtained from the hardware decoder to the image processing processor to separate the video, each video separated is reproduced on the display unit having.

また、前記上位CPUは、各ピクチャ符号化画像データであるスライスのレベルで合体させる際に、ピクチャタイプを揃えて合体させることが典型である。 Further, the upper CPU, when coalesce at the level of the slice is the picture coded image data, it is typical to combine align the picture type. このとき、前記動画に係る符号化画像データのうち、前記合体に係る各動画については、同一GOP間隔で符号化しておくことが好適である。 In this case, among the encoded image data according to the video, the respective video according to coalescence, it is preferable to keep the coding at the same GOP intervals.

一方、前記画像処理プロセッサは、前記表示部に各動画を再生させる際に、各動画の各々のフレーム単位の所望の表示タイミングを担保するために、前記ハードウェアデコーダから得られた復号化された画像データを画像データ格納部に蓄積しておく場合がある。 Meanwhile, the image processor when to regenerate the video on the display unit, in order to ensure the desired display timing of each frame of each of the moving image, the decrypted obtained from the hardware decoder which may keep storing the image data in the image data storage unit.

特に、前記上位CPUは、前記ハードウェアデコーダから得られた復号化された画像データから各動画を分離できるようにするため、前記スライスのレベルで合体させる際に、各スライスのヘッダー領域に含まれる開始マクロブロック座標の情報を書き変える。 In particular, the upper CPU, in order to from decoded image data obtained from the hardware decoder to be able to separate the video, when coalescing at the level of the slice is included in the header area of ​​each slice It rewrites the information of the start of the macro block coordinates.

前記動画に係る符号化画像データのうち、前記合体に係る各動画は、その垂直解像度が、所定値以下であることに限定することは効果的である。 Among the encoded image data according to the video, each video according to the united, the vertical resolution, it is effective to limit that is less than a predetermined value. 一方、そのとき前記合体に係る各動画の各垂直解像度の総和は、前記ハードウェアデコーダの垂直方向処理容量を越えない必要がある。 On the other hand, the sum of the vertical resolution of the video according to the united that time, it is necessary to not exceed the vertical processing capacity of the hardware decoder.

また、前記動画に係る符号化画像データのうち、前記合体に係る各動画は、水平方向にデータを補填することにより、水平解像度を揃えて符号化しておくことが好ましい。 Further, of the encoded image data according to the video, each video according to the united, by compensating the data in the horizontal direction, it is preferable to encode by aligning horizontal resolution. そのとき、前記水平解像度に複数の基準値を設け、それらのうちの一の基準値に合わせることにより、前記水平解像度を揃えることが一案である。 Then, a plurality of reference values ​​in the horizontal resolution, by aligning one of the reference values ​​of them, it is one idea to align the horizontal resolution. また、前記動画に係る符号化画像データのうち、前記合体に係る各動画は、垂直方向にもデータを補填することにより、垂直解像度も揃えて符号化しておくことも好ましい。 Further, of the encoded image data according to the video, each video according to the united, by compensating the data in the vertical direction, it is also preferable to encode aligned even vertical resolution. このような補填の際には、各動画の元画像のサイズの情報は、SEIもしくはコンテナに格納しておく。 During such filling, the size of the information of the original image of each video, and stored in the SEI or container.

また、前記合体に係る各動画に係る符号化画像データの前記ハードウェアデコーダによる復号化処理に際し、いずれかの動画に係る符号化処理が終了した場合、又はいずれかの動画の再生が中断されるべき場合、新たな動画が、前記GOP単位で組み込まれることも特徴である。 Further, when the decoding process by the hardware decoder of the coded image data according to the video according to the united, if an encoding process according to any of the video is finished, or any video playback is interrupted when to a new video, it is also a feature incorporated in the GOP.

本発明の画像データ処理方法によれば、CPUは、各動画を、各ピクチャ符号化画像データであるスライスのレベルで合体させて、複数スライスの1ピクチャと見立てて一括してハードウェアデコーダに復号化させているので、復号化処理速度が向上する。 According to the image data processing method of the present invention, CPU can each video, coalescing at the level of the slice is the picture coded image data, decoding the hardware decoder collectively to resemble the one picture of a plurality of slices since then reduction, it improves the decoding speed.

特に、垂直方向に解像度が小さい動画を多く再生する場合でも、ハードウェアデコーダの並列処理機能の利点を享受できるので、効果的である。 In particular, even when playing many video resolution is smaller in the vertical direction, it is possible to take advantage of parallel processing capabilities of the hardware decoder, is effective.

また、各動画のピクチャ単位でそれらのスライスを複数のスライスとして纏めるというやり方で、各動画を合体させているので、ハードウェアデコーダ自体の構成や機能を何ら変更する必要はない。 Further, in a manner that summarized these slices in each picture of each video as a plurality of slices, since coalescing each video, there is no need to change the structure and function of the hardware decoder itself.

本発明の画像データ処理方法における一実施形態の概要を説明するための図である。 It is a diagram for explaining the outline of an embodiment of the image data processing method of the present invention. 各動画の符号化処理の手順を示すフローチャートである。 It is a flowchart illustrating a procedure of encoding processing of each video. 画像データの補填(パディング)処理を説明するための図である。 It is a diagram for explaining the compensation of the image data (padding) process. 符号化後の各動画のビットストリームを示す図である。 Is a diagram showing each video bit stream after encoding. 本発明の画像データ処理方法の一実施形態において使用される画像処理装置の構成を示すブロック図である。 The configuration of the image processing apparatus used in an embodiment of the image data processing method of the present invention is a block diagram showing. 復号化前の事前処理における、各動画間のピクチャタイプを合せる時間調整を説明するための図である。 In pre-treatment before decoding is a diagram for explaining the aligning time adjusting the picture type between each video. 各動画を、各ピクチャ符号化データであるスライスのレベルで合体させて、複数スライスの1ピクチャと見立てて一括して復号化することを説明するための図である。 Each video, coalescing at the level of the slice is the picture coded data, is a diagram for explaining that the decrypted collectively regarded as one picture of a plurality of slices. ある動画が中断して他の動画に切り替わる場合を説明するための図である。 Is a diagram for explaining a case where a video is interrupted switched to another video. ある動画が中断して他の動画に切り替わる場合を説明するための図である。 Is a diagram for explaining a case where a video is interrupted switched to another video. 事後処理部312の処理を説明するための図である。 It is a diagram for explaining the process of the post-processing unit 312. 動画を再生するための機器の構成を示す図である。 Is a diagram showing the configuration of a device for reproducing the video. H.264規格に基づき符号化された画像の符号化データの一般的なビットストリームを示す図である。 It is a diagram showing a general bit stream of the encoded data of the encoded image based on the H.264 standard. パチンコ機やパチスロ機のような遊技機における動画再生を説明するための図である。 It is a diagram for explaining a moving image reproduction in the gaming machine such as a pachinko machine or a pachi-slot machine. 画像解像度(横軸)と処理性能(Gdps)(縦軸)との関係を示す図である。 Is a diagram showing the relationship between image resolution (horizontal axis) and performance (GDPS) (vertical axis). ハードウェアデコーダにおける垂直方向並列処理を説明するための図である。 It is a diagram for explaining a vertical parallelism in the hardware decoder.

以下、図面を参照して、本発明の実施の形態について詳細に説明する。 Hereinafter, with reference to the accompanying drawings, it will be described in detail embodiments of the present invention.
<概要> <Summary>
図1は、本発明の画像データ処理方法における一実施形態の概要を説明するための図である。 Figure 1 is a diagram for explaining the outline of an embodiment of the image data processing method of the present invention. 本発明においては、端的に言えば、垂直方向の解像度が小さい複数の動画の符号化画像データを合体させて、その合体したものを復号化し、得られた画像データから、元の複数の動画を分離する、というような処理を行うことにより、垂直方向の解像度が小さい動画が多くあっても、復号化処理性能を落とさないようにする、というものである。 In the present invention, in short, the encoded image data in the vertical resolution is less multiple videos coalescing, decodes those that combined from the obtained image data, a plurality of original videos by performing processing as that separates, videos of vertical resolution is small even number, so as not to drop the decoding performance, is that.

より具体的には、同図(a)において、まず、所定の動画の表示処理を含む所定の処理が行われるように意図されている画像処理装置(例えば、パチンコ機に組み込まれているもの)についてのその処理設計(特に、動画表示については、どのような動画をどのタイミングで表示するか等)から、当該装置に表示される各動画のうち、合体して復号化処理を行うべき動画を選別するという復号化処理設計を行う(ステップS1)。 More specifically, in FIG. (A), first, the image processing apparatus in which a predetermined process is intended to take place, including a display process of a given video (e.g., those that are built into pachinko machine) the process design (in particular, for video display, what videos which timing is displayed on whether etc.) for from among the moving image displayed on the device, the video should perform the decoding process coalesce It performs decoding processing design that sorting (step S1). 例えば、同図(b)に示すように、動画Xについては単独で処理し、垂直解像度の小さい動画Y及び動画Zについては、合体して復号化処理できる可能性がある、と設計する。 For example, as shown in FIG. (B), was treated solely for moving X, for smaller video Y and moving Z of vertical resolution, there is a possibility of decoding coalesce, to design. そして、動画X、動画Y、及び動画Zをそれぞれ符号化する(ステップS2)。 Then, video X, video Y, and encodes moving image Z, respectively (step S2). 次に、動画Xについては、その符号化データを単独で復号化し、動画Xを復元して、画像処理装置の表示部に所定のタイミングで表示する。 Next, the video X, decodes the encoded data by itself, to restore the video X, displayed in a predetermined timing on a display unit of the image processing apparatus. 一方、動画Y及び動画Zについては、それらの表示タイミングによっては、それらの符号化データを合体させて復号化し、動画X及び動画Yを復元し、更にそれらを分離することにより、表示部にそれぞれのタイミングで表示する(ステップS3)。 On the other hand, the video Y and moving Z, is by their display timing, it decodes coalescing their encoded data, by restoring the video X and video Y, further separating them, respectively to the display unit displayed in timing (step S3).

以下、上述した概要をより具体的にした実施形態を、いくつかの所定条件も含めて詳細に説明する。 Hereinafter, an embodiment in which more specifically the outline described above, also several of the predetermined condition will be described in detail, including.
<復号化設計処理(ステップS1)> <Decoding design process (step S1)>
復号化時に合体させるべき動画を選別する条件として、解像度の観点からは以下である。 As a condition for selecting a moving image to be combined at the time of decoding, or less from the viewpoint of resolution.
・合体させるべき各動画の垂直方向の解像度は、複数のデコーダコアによる並列処理の”画素数”以下である ・合体させるべき各動画の垂直方向の解像度の合計値が、複数のデコーダコアによる並列処理の”画素数”を越えること ・ただし、合体させるべき各動画の垂直方向の解像度の合計値が、デコーダの垂直方向の”最大解像度”を越えないこと And vertical resolution of the video to be combined, the total value of the vertical resolution of the video to be-combined is less than "the number of pixels" parallel processing by a plurality of decoders cores, parallel by a plurality of decoders cores We pass "pixel number" of the processing-however, that the total value of the vertical direction of the video to be combined resolution does not exceed the "maximum resolution" vertical decoder

また、各動画を画像処理装置に表示するタイミングの観点からは、合体させるべき各動画は、表示タイミングが可及的に近いもの同士である。 In view of the timing for displaying each video image processing apparatus, the video to be combined is between those display timing close as possible. 上記の解像度の観点の条件を満たしていれば、どのようなタイミングで表示される動画同士でもよいのであるが、復号化処理の時点と表示の時点が離れていればいるほど、復号化処理後の画像データを一旦蓄えておく画像データバッファでの滞留時間が長くなってしまう。 If they meet the conditions for the above resolution aspect, what is the timing at the or a video with each other are displayed in, The more if apart time and display time of the decoding process, after decoding the residence time in the image data buffer that stored the image data of once the becomes long. 従って、表示するタイミングの観点における、合体させるべき各動画の選別は、当該画像データバッファの容量に依存する。 Therefore, in terms of the timing of displaying, sorting of each video to be combined depends on the capacity of the image data buffer. なお、遊技機を例に挙げて説明すると、一つのイベントで同時或いは同時期に再生される動画であって、上記条件を満たすものを合体して復号させるデータとして復号化設計処理を行うのが好適である。 Incidentally, when described by taking the game machine as an example, a video played simultaneously or contemporaneous with one event, to carry out the decoding design process as the data to be decoded by combining the above condition is satisfied it is preferred.

<符号化処理(ステップS2)> <Encoding process (step S2)>
次に、各動画の符号化処理について説明する。 Next, a description will be given encoding process for each video. 図2は、その処理手順を示すフローチャートである。 Figure 2 is a flowchart showing the processing procedure. そこで、符号化すべき動画を選択する(ステップS21)。 Therefore, to select a video to be encoded (step S21). そして、選択した動画が、前述の復号化設計処理に基づき、他の動画と合体させるべき動画か否かを判断する(ステップS22)。 The selected video is based on the decoding design process described above, to determine video or not to be merged with other video (step S22). 図13に例示したような動画Aのような場合は、単独で復号化処理を行うので、ステップS22は否定判定となり、ステップS23をスキップしてステップS24に移行する。 If you like video A as illustrated in FIG. 13, since alone perform the decoding process, step S22 becomes negative determination, the process proceeds to step S24 by skipping step S23. 一方、図13に例示したような動画B乃至動画G(垂直方向解像度が例えば128画素以下)のそれぞれの場合は、他のいずれかと合体させて復号化処理するとしたものであり、よって、ステップS22は肯定判定となり、そのままステップS23に移行する。 On the other hand, video B to video G (less vertical resolution for example, 128 pixels) as illustrated in FIG. 13 in the case of each is obtained by the processing decoded coalescing with one another, thus, the step S22 It becomes affirmative, control proceeds to step S23.

ステップS23においては、画像データの補填(パディング)処理を行う。 In step S23, it performs compensation of the image data (padding) process the. 図3は、その補填処理を説明するための図である。 Figure 3 is a diagram for explaining the padding processing. そこで、例えば、動画Bと動画Fとが組で合体でき、動画C、動画D、及び動画E(動画G)とが組で合体すべき場合があるとする。 Therefore, for example, it can be combined with video B and video F transgressions sets, video C, video D, and the sometimes be combined with video E (moving G) transgressions sets. なお、動画Gは、動画Eが再生途中で中断した場合に、そこから再生されるべき動画である。 The moving G, when the moving image E is interrupted playing a video to be reproduced therefrom. そこで、少なくとも同じ組の各動画は、後述する復号化処理の方式から、水平方向の解像度が揃っている必要がある。 Therefore, at least the same set of each video from the decoding processing method to be described later, it is necessary to have all the horizontal resolution. 従って、水平方向の解像度を揃えるために各動画の水平方向について画像データの補填処理を行う。 Therefore, performing the compensation processing of the image data for the horizontal direction of each video to align the horizontal resolution. このとき、一律にデコーダの水平方向の最大処理解像度に揃えるとしてもよい。 At this time, it may be aligned in the horizontal direction of the maximum processing resolution decoder uniformly. そうすれば、すべての組について、その同じ最大処理解像度に揃えることができるので、補填処理自体は簡易となる。 That way, for all the groups, it is possible to align to the same maximum processing resolution, padding processing itself becomes simple. しかしながら、水平方向にも小さな解像度の動画ばかりの各動画を合体させる場合も一律にそのようにするとすれば、補填データばかりが大きくなり、復号化処理において無駄が生じてしまう。 However, if doing so also uniformly if coalesces each video just moving even a small resolution in the horizontal direction, only compensation data becomes large, there arises a dead in the decoding process. 従って、例えば、水平方向120、240、480、960、1920画素というように、いくつかの揃える基準を設けるのが得策である。 Thus, for example, as referred to the horizontal direction 120,240,480,960,1920 pixel, it is advisable to provide a reference for several aligned. 揃える基準は、合体させる各動画のうちの最大の水平方向解像度を有する動画の当該解像度によって決まるのであるから、それらの基準の数やその値の設定は、合体させる各動画の各水平方向解像度のばらつきに依存する。 Reference to align, since it is the determined by the video resolution with maximum horizontal resolution of the video to be combined, the number and the value of those reference configuration, each horizontal resolution of each video to combine depending on the variation. 逆に言えば、合体させるべき動画の選定の条件として、水平方向解像度を入れることもできる。 Conversely, as a condition for selection of videos to be combined, it is also possible to add horizontal resolution.

ステップS24においては、各動画の符号化処理を行う。 In step S24, performing encoding of each video. 例えば、H.264規格に基づき典型的には、ソフトウェア処理により行う。 For example, typically based on the H.264 standard, performed by software processing. このときの条件としては、少なくとも同じ組である各動画については、1GOPに含まれるフレームの数が同一(例えば、30)になるような符号化処理を行う、ということである。 The conditions at this time, for each video that is a least the same set, the same number of frames included in 1 GOP (e.g., 30) performs the encoding process such that, is that. 後述の復号化処理において、合体して復号化処理が行えるようにするためである。 In the decoding process described below, in order to allow the decoding process to coalesce. また、図4は、符号化後の各動画のビットストリームを示す図であるが、従来と同様、1ピクチャが1スライスとして構成され、また、スライスのヘッダーには、従来通り、マクロブロック開始座標の情報が格納されるが、本発明に特徴的なものとしては、更に、“元画像のデータサイズ”(解像度)(例えば、図3に示す動画Cであれば、110×48)を別途、SEIもしくはMP4などNALを内包するコンテナに入れる処理を行う、ということである。 Further, FIG. 4 is a diagram showing each video bit stream after the encoding, as in the conventional, one picture is configured as one slice, also in the header of the slice, conventionally, the macro block start coordinates While information is stored, those characteristic to the present invention, further, "the data size of the original image" (resolution) (e.g., if the video C shown in FIG. 3, 110 × 48) separately, performs processing to put the container containing the NAL like SEI or MP4, is that. これは、後述するように、各動画の復号化処理を行い表示する画像処理装置において、復号化処理後に、元画像を抽出できるようにするためである。 As will be described later, an image processing apparatus for displaying performs decoding processing for each video, after decoding, in order to be able to extract the original image.

ステップS25においては、未処理の動画が残っているかを判定し、残っていれば(肯定判定)、ステップS21に戻り、以上の処理を繰り返し、全動画終了であれば、処理を終える。 In step S25, it is determined whether there remain unprocessed video, if they remain (affirmative determination), the process returns to step S21, repeating the above process, if all the video ends, the process ends.

なお、上述の実施形態においては、垂直方向の解像度については、各動画についてそのまま、すなわち区々としたが、合体して復号化処理すべき各動画については、補填処理により垂直方向の解像度も揃えるということも考えられる。 In the above-described embodiment, for the vertical resolution, as for each video, that is, it sets to Amblyseius, for each video to be processed decoded coalesce, align also the vertical resolution by padding treatment it is also contemplated that. 垂直方向の解像度も揃えると、同一組として合体して復号化処理すべき各動画の入れ替えが画一的に行え、上述の符号化設計処理において処理が簡素になる。 When aligned even vertical resolution, the same set as the decoding process replacement of each video uniform manner can be coalesce, the process is simplified in the encoding design process described above.

<デコーダを備えた画像処理装置の実動による画像データ処理(ステップS3)> <Image data processing by the production of an image processing apparatus having a decoder (step S3)>
図5は、本発明の画像データ処理方法の一実施形態において使用される画像処理装置の構成を示すブロック図である。 Figure 5 is a block diagram showing a configuration of an image processing apparatus used in an embodiment of the image data processing method of the present invention.
同図に示す画像処理装置は、上位CPU1と、画像データROM2と、画像処理プロセッサ3と、表示部4とで構成されている。 The image processing apparatus shown in the figure includes a higher CPU 1, an image data ROM 2, an image processor 3, and a display unit 4. 上位CPU1は事前処理部11を有し、事前処理部11は、各動画再生タイミング情報生成部111と動画間各ピクチャ合体部112とを有している。 Top CPU1 has a preprocessing section 11, preprocessing section 11, and a respective video reproduction timing information generator unit 111 and the moving between the respective pictures coalescence 112. また、画像処理プロセッサ3は、事後処理部31と、ハードウェアデコーダ32と、ビデオメモリ33とを有し、更に事後処理部31は、命令解釈部311と描画回路312とを有している。 The image processor 3 includes a post-processing unit 31, a hardware decoder 32, and a video memory 33, further post-processing unit 31 includes a an instruction interpretation unit 311 and the drawing circuit 312. 描画回路312には、各動画分離部3121と、元画像切出し部3122と、各動画表示タイミング制御部3123が含まれている。 A drawing circuit 312, the respective moving picture separating unit 3121, an original image clipping unit 3122 includes a respective video display timing controller 3123. ここで、画像データROM2には、上述の<符号化処理(ステップS2)>によって符号化された各動画のデータが格納されている。 Here, the image data ROM 2, the data for each video encoded is stored by the above <encoding process (step S2)>.

図5に示す画像処理装置における画像データ処理の概要は以下の通りである。 Summary of the image data processing in the image processing apparatus shown in FIG. 5 is as follows. なお、事前処理部11及び事後処理部31の詳細説明については、後述する。 The details described in the pre-processing unit 11 and the post-processing unit 31 will be described later.
上位CPU1は、当該画像処理装置での設計動作に基づき、画像データROM2から必要な動画に係る符号化画像データを読み出してくるのであるが、特に、前述の<復号化設計処理(ステップS1)>で設計された合体可能な各動画に係る情報に基づき、画像データROM2から合体可能な複数の動画に係る符号化画像データを読み出してくる場合、後に詳述のように、動画間各ピクチャ合体部112が、各動画間でピクチャタイプが揃った状態で、各動画ピクチャを各スライスとして合体するのであるが、そのとき、合体させるスライスのヘッダー領域に含まれる先頭マクロブロック座標の情報を書き換える。 Top CPU1, based on the design operation in the image processing apparatus, although come reads the encoded image data according to the required video from the image data ROM 2, in particular, of the above <decoding design process (step S1)> in based on the information relating to each possible combined designed moving when coming reads the encoded image data on a plurality of video that can be combined from the image data ROM 2, later as described in detail, video between the respective pictures combined unit 112, in a state of uniform picture type among the video, but each video picture is to coalesce as each slice, then rewrites the information of the start macroblock coordinates included in the header area of ​​the slice to combine. そして、動画間各ピクチャ合体部112は、複数のスライスで構成された合体後の符号化画像データを画像処理プロセッサ3のハードウェアデコーダ32に供給する。 Each picture coalescence portion 112 between video supplies the encoded image data after merging composed of a plurality of slices in the hardware decoder 32 of the image processor 3.

複数のスライスで構成された合体後の符号化画像データに基づく各動画は、表示させるべきタイミングは通常それぞれ異なるので、上位CPU1は、各動画の再生タイミング情報を画像処理プロセッサ3側に知らせる必要がある。 Each video based on the coded image data after merging composed of a plurality of slices, since the timing to be displayed normally different from each other, the upper CPU1 is necessary to notify the reproduction timing information of each video image processor 3 side is there. その再生タイミング情報を生成する処理を行うのが、各動画再生タイミング情報生成部111である。 Perform processing for generating the reproduction timing information, an individual video timing information generator unit 111. すなわち、各動画再生タイミング情報生成部111は、例えば、遊技機の一つのイベントで表示される複数の動画の再生タイミング等の調整時間を設定し、その情報を画像処理プロセッサ3に供給する。 That is, each video reproduction timing information generator unit 111 is, for example, to set the adjustment time, such as playback timing of a plurality of moving image displayed in one event of the gaming machine, and supplies the information to the image processor 3.

ハードウェアデコーダ32は、上位CPU1から供給された合体後の符号化画像データに対して復号化処理を行い、復号結果をビデオメモリ312に供給すると共に、図示しない復号完了通知を上位CPU1に出力する。 Hardware decoder 32 performs decoding processing on the encoded image data after merging supplied from the host CPU1, supplies decoding result to the video memory 312, and outputs the decoding completion notification (not shown) to the upper CPU1 . ハードウェアデコーダ32から復号化の完了通知を受け取った上位CPU1は、画像処理プロセッサ3の事後処理部31に事後処理の指令を行い、その命令解釈部311は、その指令に含まれる、少なくとも、合体に係る各動画を表す情報や各動画の再生タイミングに係る情報を描画回路312に供給する。 Top CPU1 which has received the notification of completion of decoding from the hardware decoder 32 performs command post processing post-processing unit 31 of the image processor 3, the instruction interpretation unit 311 is included in the command, at least, polymer the information relating to the reproduction timing information and each video representing each video according to supplied to the drawing circuit 312. 描画回路312に含まれる各動画分離部3121、元画像切出し部3122、及び各動画表示タイミング制御部3123は、それらの情報と、ビデオメモリ33に格納された復号化画像データ自体に含まれる元画像のデータサイズの情報(図4参照)に基づき、ビデオメモリ33に格納された復号化画像データに対して所定の事後処理を施したのち、その結果を表示部4に供給して各動画として表示させる。 Each video separation unit 3121 included in the drawing circuit 312, the original image clipping unit 3122, and each video display timing controller 3123, the information and, based on images included in the decoded image data itself stored in the video memory 33 the basis of the data size information (see FIG. 4), then subjected to predetermined post-processing on the stored decoded image data in a video memory 33, the display as each video and supplies the result to the display section 4 make.

事前処理部11及び事後処理部31の詳細な処理内容については、図6乃至図10を参照しつつ、例示で以下説明する。 The detailed processing contents of the preprocessing section 11 and the post-processing unit 31, with reference to FIGS. 6-10, described below in illustration.
上位CPU1では画像処理装置に対して設計された動作処理(遊技機であれば、当該画像処理装置が組み込まれた遊技機における遊技の進行の設計動作)に基づき、動画の表示指令が発行される。 (If the gaming machine, the design operation of the progression of the game in the gaming machine to which the image processing apparatus is incorporated) operation process designed for higher CPU1 In the image processing apparatus based on the display instruction of the moving image is issued . 例えば、図13に示した例においては、“動画A(B、・・・)を所定のタイミングから再生せよ”であるとか、動画Eが再生されている途中で、“動画Eの再生を中断し、代わりに動画Gを再生し始めよ”というような指令が発行される。 Interruption example, in the example shown in FIG. 13, "Video A (B, · · ·) the event playback from a predetermined timing" or a, in the middle video E are played, the reproduction of "Video E and, the command is issued, such as that I started to play the video G "instead.

上位CPU1は発行された指令に基づき、符号化画像データを画像データROM2から入手し、例えば“動画Aを所定のタイミングから再生せよ”という指令であれば、動画Aに関する符号化画像データを画像データROM2から入手し、画像処理プロセッサ3のハードウェアデコーダ32に供給し、ビデオメモリ33に復号された画像データが格納された後、描画回路312を用いて画像を作成し、所定のタイミングで表示部4に供給することで動画Aの再生が表示部4で行われる。 Top CPU1 based on the issued command to obtain the encoded image data from the image data ROM 2, for example if an instruction of "case play videos A from the predetermined timing", the image data of the encoded image data about the video A obtained from ROM 2, and supplied to the hardware decoder 32 of the image processor 3, after the decoded image data is stored in the video memory 33, to create the image using the rendering circuit 312, a display unit at a predetermined timing 4 reproduction of the moving image a is performed by the display unit 4 by supplying the.

また、上位CPU1で複数の動画、例えば、動画C、D、E及びGを再生する指令が発生すると、必要な符号化画像データであるスライスを画像データROM2から読み出し、動画間各ピクチャ合体部112は、合体させるスライスのヘッダー領域に含まれる先頭マクロブロック座標の情報を書き換えて、複数のスライスを合体させ、合体後の圧縮データを生成し、それを画像処理プロセッサ3のハードウェアデコーダ32に供給する。 Further, a plurality of videos at a higher CPU 1, for example, video C, D, a command for reproducing the E and G are generated, reading out a necessary encoding image data slice from the image data ROM 2, the inter-moving pictures combined 112 rewrites the information of the start macroblock coordinates included in the header area of ​​the slice to be combined, it coalesces multiple slices to generate compressed data after merging, supplies it to the hardware decoder 32 of the image processor 3 to. なお、画像データROM2から読み出される動画C、D、Eについては読み出し後に補填処理を施してもよい。 The moving is read from the image data ROM 2 C, D, may be subjected to padding processing after read for E.

また、スライスのヘッダー領域に含まれる先頭マクロブロックの座標情報書き換えとは、各スライスの先頭マクロブロックの座標情報は当初「0」が格納されているので、大きな1つの画像として合体する際の各スライスの配置に応じて先頭マクロブロックの座標情報を所望の値に変更するものである。 Further, the coordinate information rewriting of the top macroblock in the header region of the slice, the coordinate information of the leading macro-block of each slice is initially "0" is stored, each of time to coalesce as one large image the coordinate information of the top macroblock in accordance with the arrangement of the slices is to change to a desired value. 例えば、図10(a)に示すように動画C、動画D、動画Eをまとめ、大きな1つの画像として合体させる場合、動画Cのスライスのヘッダー領域に含まれる先頭マクロブロックの座標情報は書き換える必要がないが、動画D及び動画Eのスライスのヘッダー領域に含まれる先頭マクロブロックの座標情報はそれぞれ配置される位置の情報に応じて書き換えられる。 For example, video C as shown in FIG. 10 (a), moving D, summarize the video E, if coalescing as one large image, the coordinate information of the top macroblock in the header region of the slice of the moving image C rewrite required but there is no coordinate information of the first macroblocks contained in the header area of ​​the slice of the video D and video E is rewritten according to the information of the position to be disposed, respectively. このように複数スライスを含む符号化画像データをハードウェアデコーダ32で正常に復号化できる有効なH.264ストリームを生成するためである。 Thus the encoded image data including a plurality of slices in order to generate a valid H.264 stream that can successfully decoded by the hardware decoder 32.

ハードウェアデコーダ32で符号化画像データが復号され、ビデオメモリ33に格納された後、合体した復号化画像データから個々の画像へ切出すための情報や動画分離及び動画表示タイミング等の情報を上位CPU1が生成し、その情報が画像処理プロセッサ3の命令解釈部311で解釈される。 Coded image data in the hardware decoder 32 is decoded and then stored in the video memory 33, the information and video separation and information such as video display timing for cutting out from the decoded image data coalesced into individual images Top CPU1 generates, the information is interpreted by the command interpreter section 311 of the image processor 3.

例えば、命令解釈部311で解釈した指令が、“動画Cを所定のタイミングから再生せよ”、“動画Dを所定のタイミングから再生せよ”、“動画Eを所定のタイミングから再生せよ”というものであった場合、ビデオメモリ33内に格納されている復号化画像データのうち、動画Cにかかる画像と、動画Eにかかる画像と、動画Eにかかる画像をそれぞれ切出し、指定されたタイミングで表示装置4に表示するよう描画回路312が制御される。 For example, the command that is interpreted by the command interpretation unit 311 is "case play video C from a predetermined timing", "case play video D from the predetermined timing", those called "event play videos E from a predetermined timing" when there, out of the decoded image data stored in the video memory 33, an image according to video C, a image according to the video E, cut each image according to the video E, displayed at a specified timing device drawing circuit 312 to display the 4 is controlled.

なお、複数の動画に関する画像データをスライスとして合体し、その合体後の圧縮データを同一のハードウェアデコーダ32で処理するため、スライスとして合体させる各画像データのピクチャタイプは同一である必要がある。 Note that combined image data on a plurality of video as a slice, for processing the compressed data after the merging of the same hardware decoder 32, a picture type of each image data to be combined as a slice must be the same. そこで、合体の可能性のある各動画の1GOPに含まれるフレーム数を同一とし、図6に示すように、各動画(動画C、動画D、動画E)の任意の(先頭の)GOPのIピクチャを揃えてスライスを合体させなければならない。 Therefore, the number of frames included in 1GOP for each video that can coalesce to the same, as shown in FIG. 6, I any (the beginning of) GOP of each video (video C, video D, videos E) It must be combined a slice align the pictures.

一方、図13に示したように動画C、動画D、動画Eの再生タイミングが全て異なる場合には、各動画に用いる画像を復号し、同時に各画像を描画することはできない。 On the other hand, video C as shown in FIG. 13, the reproduction timing of the video D, videos E if all different decodes the image used for the moving picture, it is impossible to draw each image at the same time. そのため、動画の再生タイミング(描画の開始タイミング)の情報を上位CPU1の各動画再生タイミング情報生成部111で生成し、その情報に基づいて画像処理プロセッサ3の描画回路312が画像を作成し、所定のタイミングで表示装置4に表示するよう制御が必要である。 Therefore, the information of the video reproduction timing (start timing of the drawing) generated in each video reproduction timing information generator unit 111 of the upper CPU 1, the drawing circuit 312 of the image processor 3 creates an image based on the information, a predetermined it is necessary to control so as to display on the display device 4 at the timing.

上述のように各動画のピクチャタイプが揃った状態で、動画間各ピクチャ合体部112は、各動画をフレーム単位で、すなわち、各動画を、各ピクチャ符号化データであるスライスのレベルで合体させて、複数スライスの1ピクチャと見立てて編成させる。 In a state of uniform picture type of each video as described above, each picture coalescence portion 112 between video, each video frame by frame, namely, the respective video, coalesced at the level of the slice is the picture coded data Te, it is organized to resemble the one picture of a plurality of slices. 図7はこれを説明するための図である。 Figure 7 is a diagram for explaining this. 前述のように、各動画の符号化データのビットストリームにおいては、通常、同図の左側に示すように、1ピクチャ1スライスで構成されているのに対して、合体の処理においては、各スライスを並べることにより、すなわち、スライスレベルで合体させる。 As described above, in the bitstream of coded data for each video, usually, as shown in the left side of the figure, with respect to what is configured in one picture one slice, in the process of coalescence, each slice by arranging, i.e., coalesce at the slice level. なお、ここでは、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)及びSEI(Supplemental Enhancement Information)を一組としており、そのときはそれらを書き変えることとなる。 Here,, SPS (Sequence Parameter Set), PPS has a (Picture Parameter Set) and a set of SEI (Supplemental Enhancement Information), so that the rewriting them that time. 例えば、SPSには参照フレーム数やフレームの幅及び高さの情報が含まれているが、合体させた後の高さ情報等は調整が必要である。 For example, although includes information width and height of the reference frame number and the frame to SPS, the height information or the like after being combined is required adjustments. また、PPSには符号化方式や量子化係数等の情報が含まれているが、各画像でこれらの情報が異なる場合には調整が必要である。 Further, the PPS but includes information such as the encoding method and the quantization coefficients, the information is needed to be adjusted when different in each image. また、図12を参照して説明した、スライスのヘッダーに含まれる開始マクロブロック座標についても、各スライスにおいて合体に応じて書き変えるようにする。 Further, as described with reference to FIG. 12, for the start macroblock coordinates included in the header of the slice, so as rewritten according to coalesce in each slice.

事前処理部11は、各動画の符号化画像データを上述のようにスライスレベルで編成することにより、各動画を合体させつつ、当該符号化画像データをハードウェアデコーダ32に供給する。 Preprocessing section 11, by organizing the coded image data of each video on the slice level as described above, while combining the respective video, and supplies the coded image data to the hardware decoder 32. ここで、ハードウェアデコーダ32側では、当該符号化画像データを受けると、1ピクチャが複数スライス(例では3スライス)で構成されたものとは認識するが、あくまでこれは規格(H.264)で定められた範囲であり(MPEG-2、4でも同様)、そのまま復号化処理を行うことができる。 Here, the hardware decoder 32 side, when receiving the coded image data, recognizes from that one picture is constituted by a plurality of slices (in the example 3 slices) is, strictly this standard (H.264) the range defined by (same applies to MPEG-2, 4), it is possible to directly perform the decoding process. しかしながら、ハードウェアデコーダ32は、複数の動画を合体させたものであるということまでは認識しない。 However, the hardware decoder 32 does not recognize until that is obtained by combining the plurality of video. これは、言い換えれば、ハードウェアデコーダ32については、何ら手を加える必要がないということを意味している。 This, in other words, the hardware decoder 32, which means that no there is no need to take any further action. つまり、そのように事前処理、また後述する事後処理を行っているということである。 In other words, so pre-processing, also it is that doing post-processing that will be described later.

図6に戻り、各動画は再生時間が区々であることから、短いものから先に終了していく。 Returning to FIG. 6, each video will be finished since the playing time is Amblyseius, first from short. このとき、空いたところに別の動画を差し入れることもできるが(垂直解像度、表示タイミング、画像データバッファ3124の容量の観点)、そのときも、他の動画とGOP単位で整合をおこなう。 In this case, although it is also possible to post another video where vacated (vertical resolution, display timing, in view of the capacity of the image data buffer 3124), also that time, performs matching with other video and GOP. また、図13で例示するように動画Eが途中で動画Gに切り替わる場合を説明するものが図8及び図9である。 Also, serve to explain the case where switching to video G prematurely moving E as illustrated in FIG. 13 is FIGS. 図8(a)は、動画Eの中断がない場合を示しており、同図(b)は、動画Eが中断して代わりに動画Gが再生される場合を示している。 8 (a) is shows a case where there is no interruption of the video E, Fig. (B) illustrates a case where video E videos G is reproduced instead interrupted. この場合も、GOP単位で切り替わるが、同図(b)の例では、動画EのGOP[2]の後に、動画EのGOP[3]の代わりに、動画GのGOP[1]が組み込まれている。 Again, although switched GOP units, in the example of FIG. (B), after the GOP of the video E [2], in place of the GOP video E [3], GOP video G [1] is incorporated ing. 動画EのGOP[2]と動画GのGOP[1]の境目を、各動画のピクチャの合体の観点から見たものが、図9である。 GOP video E [2] and the boundary between the video G of GOP [1], those from the viewpoint of coalescence of pictures for each video, which is 9. 同図に示すように、切替え前の最終フレームにおいては、動画C、動画D、及び動画Eの各Pピクチャを合体させるようになっているが、切替え後の最初のフレームにおいては、動画C、動画D、及び動画Gの各Iピクチャを合体させるようになっている。 As shown in the figure, in the last frame before switching, video C, video D, and it is adapted to coalesce each P-picture video E, in the first frame after the switching, the video C, video D, and is adapted to coalesce each I picture of video G.

次に、事後処理部31について説明する。 Next, a description will be given post-processing unit 31. 図10は、事後処理部31の処理を説明するための図である。 Figure 10 is a diagram for explaining the process of the post-processing unit 31.
ハードウェアデコーダ32からの復号化後の画像データがビデオメモリ33に格納されると、まず、各動画分離部3121は、図10(a)の左側にあるように、各スライスヘッダーに書き込んだ各動画の開始マクロブロック座標に基づき、フレームごとに各動画を分離する。 When the decoded image data from the hardware decoder 32 is stored in the video memory 33, first, the video separation unit 3121, as the left side of FIG. 10 (a), the respective written in each slice header based on the starting macroblock coordinates videos separating each video for each frame. 次に、元画像切出し部3122は、同図(a)の右側にあるように、各動画のSEIもしくはコンテナに格納されていた元画像のデータサイズに基づいて、フレームごとに<符号化処理(ステップS2)>のときに補填された補填データを削除する。 Next, the original image clipping unit 3122, as the right side of FIG. (A), based on the data size of the original image that has been stored in the SEI or container for each video, each frame <coding process ( step S2)> to remove padding has been compensated data at the time of. そして、このようにフレームごとに元画像が再現された各動画のデータは、ビデオメモリ33に蓄積されていく。 Then, the data of each video source image is reproduced for each frame in this manner, it is accumulated in the video memory 33. そして、各動画表示タイミング制御部3123は、上位CPU1の各動画再生タイミング情報生成部111からの各動画の再生タイミングに関する情報に基づいて、同図(b)に示すように、各動画の所望の表示タイミングで、それぞれ表示部4に再生していく。 Then, each video display timing controller 3123, based on information relating to the reproduction timing of each video from each video reproduction timing information generator unit 111 of the upper CPU 1, as shown in FIG. (B), desired for each video in the display timing, we continue to play each display unit 4.

なお、上述の説明においては、図13で示した動画C、動画D、動画E、動画Gを例にして説明したが、同図(又は図3(a))にある動画B及び動画Fでも同様である。 In the above description, video C shown in FIG. 13, video D, videos E, has been described with the video G as an example, FIG even video B and video F in (or FIG. 3 (a)) it is the same.

以上のように、本発明の画像データ処理方法における一実施形態によれば、垂直方向に解像度が小さい各動画については、合体させて一括で復号化処理をしているので、垂直方向に複数のデコーダコアにより並列処理を行っているような場合でも、その機能を享受することができる。 As described above, according to an embodiment of the image data processing method of the present invention, for each video resolution is smaller in the vertical direction, since the decoding processing in bulk coalesced, multiple vertically even if such is performed parallel processing by the decoder core, it is possible to enjoy the function. また、合体させて数を減らした分だけ、デコーダの初期化等の付随処理が減ることとなり、処理時間は格段に短くなる。 Further, an amount corresponding to a reduced number coalescing, will be associated processing such as initialization of the decoder is reduced, the processing time is dramatically shortened.

また、各動画のピクチャ単位でそれらのスライスを複数のスライスとして纏めるというやり方で、各動画を合体させているので、ハードウェアデコーダ32の構成や機能を何ら変更する必要はない。 Further, in a manner that summarized these slices in each picture of each video as a plurality of slices, since coalescing each video, there is no need to change the structure and function of the hardware decoder 32.

本発明の画像データ処理方法は、例えば、パチンコ機等の遊技機に採用できる。 Image data processing method of the present invention, for example, may be employed in the gaming machine of the pachinko machine.

1 上位CPU 1 host CPU
11 事前処理部111 各動画再生タイミング情報生成部112 動画間各ピクチャ合体部2 画像データROM 11 preprocessing unit 111 each video reproduction timing information generator unit 112 moving between the respective pictures combined unit 2 image data ROM
3 画像処理プロセッサ31 事後処理部311 命令解釈部312 描画回路3121 各動画分離部3122 元画像切出し部3123 各動画表示タイミング制御部32 ハードウェアデコーダ33 ビデオメモリ4 表示部100 上位CPU 3 image processor 31 post-processing unit 311 the instruction interpreting unit 312 drawing circuit 3121 each video separation unit 3122 yuan image clipping unit 3123 each video display timing controller 32 hardware decoder 33 video memory 4 display unit 100 the host CPU
200 画像データROM 200 image data ROM
300 画像処理プロセッサ400 表示部 300 image processor 400 display unit

Claims (13)

  1. 動画に係る符号化画像データを出力すると共に、その動画の再生に係る指令を発行する上位CPUと、 And outputs the encoded image data according to the video, the host CPU for issuing a command according to the reproduction of the video,
    ハードウェアデコーダを有し、入力される前記指令に基づき、前記動画に係る符号化画像データを復号化する画像処理プロセッサと、 Has a hardware decoder, based on the instruction input, and an image processor for decoding the encoded image data according to the video,
    前記画像処理プロセッサにより復号化された画像データに基づいて前記動画が再生される表示部と、 A display unit that the video is played on the basis of decoded image data by the image processor,
    を備えた画像処理装置を使用した画像データ処理方法であって、 An image data processing method using an image processing apparatus having a,
    前記指令に基づき前記表示部に複数の動画が再生される場合に、前記上位CPUは、各動画を、各ピクチャ符号化画像データであるスライスのレベルで合体させて、複数スライスの1ピクチャと見立てて一括して符号化画像データを構成して前記画像処理プロセッサに供給し、前記ハードウェアデコーダは、その一括化された符号化画像データを復号化することを特徴とする画像データ処理方法。 When a plurality of moving image on the display unit based on the instruction is reproduced, the higher the CPU, each video, coalescing at the level of the slice is the picture coded image data, regarded as one picture of a plurality of slices constitute the coded image data supplied to the image processor collectively Te, the hardware decoder, the image data processing method characterized by decoding the lumped coded image data.
  2. 前記上位CPUは、前記ハードウェアデコーダから得られた復号化された画像データから各動画を分離するよう前記画像処理プロセッサに要求し、分離された各動画が前記表示部に再生されることを特徴とする請求項1に記載の画像データ処理方法。 The upper CPU is characterized in that the request from the decoded image data obtained from the hardware decoder to the image processing processor to separate the video, each video separated is reproduced on the display unit image data processing method according to claim 1,.
  3. 前記上位CPUは、各ピクチャ符号化画像データであるスライスのレベルで合体させる際に、ピクチャタイプを揃えて合体させることを特徴とする請求項1に記載の画像データ処理方法。 The upper CPU, the image data processing method according to claim 1, in which coalesce at the level of the slice is the picture coded image data, and wherein the coalescing align the picture type.
  4. 前記動画に係る符号化画像データのうち、前記合体に係る各動画については、同一GOP間隔で符号化しておくことを特徴とする請求項3に記載の画像データ処理方法。 Among the encoded image data according to the video, each video according to the united, the image data processing method according to claim 3, characterized in that to be encoded in the same GOP intervals.
  5. 前記画像処理プロセッサは、前記表示部に各動画を再生させる際に、各動画の各々のフレーム単位の所望の表示タイミングを担保するために、前記ハードウェアデコーダから得られた復号化された画像データを画像データ格納部に蓄積しておくことを特徴とする請求項2に記載の画像データ処理方法。 The image processor when to regenerate the video on the display unit, in order to ensure the desired display timing of each frame of each of the video, decoded image data obtained from the hardware decoder image data processing method according to claim 2, characterized in that you accumulated in the image data storage unit.
  6. 前記上位CPUは、前記ハードウェアデコーダから得られた復号化された画像データから各動画を分離できるようにするため、前記スライスのレベルで合体させる際に、各スライスのヘッダー領域に含まれる開始マクロブロック座標の情報を書き変えることを特徴とする請求項2に記載の画像データ処理方法。 The upper CPU, in order to from decoded image data obtained from the hardware decoder to be able to separate the video, when coalescing at the level of the slice, start a macro in the header area of ​​each slice image data processing method according to claim 2, characterized in that rewrites information of the block coordinates.
  7. 前記動画に係る符号化画像データのうち、前記合体に係る各動画は、その垂直解像度が、所定値以下であることを特徴とする請求項1に記載の画像データ処理方法。 Among the encoded image data according to the video, each video according to the united, the image data processing method according to claim 1 that vertical resolution, which is characterized in that not more than a predetermined value.
  8. 前記合体に係る各動画の各垂直解像度の総和は、前記ハードウェアデコーダの垂直方向処理容量を越えないことを特徴とする請求項7に記載の画像データ処理方法。 The sum of the vertical resolution of each video according to coalesce the image data processing method according to claim 7, characterized in that does not exceed the vertical processing capacity of the hardware decoder.
  9. 前記動画に係る符号化画像データのうち、前記合体に係る各動画は、水平方向にデータを補填することにより、水平解像度を揃えて符号化しておくことを特徴とする請求項1に記載の画像データ処理方法。 Among the encoded image data according to the video, each video according to the united, by compensating the data in the horizontal direction, the image according to claim 1, characterized in that you encoded by aligning horizontal resolution data processing method.
  10. 前記水平解像度に複数の基準値を設け、それらのうちの一の基準値に合わせることにより、前記水平解像度を揃えることを特徴とする請求項9に記載の画像データ処理方法。 Wherein a plurality of reference values ​​in the horizontal resolution, by aligning one of the reference values ​​of them, the image data processing method according to claim 9, characterized in that to align the horizontal resolution.
  11. 前記動画に係る符号化画像データのうち、前記合体に係る各動画は、垂直方向にもデータを補填することにより、垂直解像度も揃えて符号化しておくことを特徴とする請求項9に記載の画像データ処理方法。 Among the encoded image data according to the video, each video according to the united, by compensating the data in the vertical direction, according to claim 9, characterized in that to be coded by aligning also vertical resolution image data processing method.
  12. 各動画の元画像のサイズの情報は、SEIもしくはコンテナに格納しておくことを特徴とする請求項9乃至11のいずれかに記載の画像データ処理方法。 Size information of the original image for each video, the image data processing method according to any one of claims 9 to 11, wherein the storing in the SEI or container.
  13. 前記合体に係る各動画に係る符号化画像データの前記ハードウェアデコーダによる復号化処理に際し、いずれかの動画に係る符号化処理が終了した場合、又はいずれかの動画の再生が中断されるべき場合、新たな動画が、前記GOP単位で組み込まれることを特徴とする請求項4に記載の画像データ処理方法。 Upon decoding processing by the hardware decoder of the coded image data according to the video according to the united, if an encoding process according to any one of the videos has been completed, or if any of to video playback is interrupted the image data processing method according to claim 4, a new video, characterized in that it is incorporated in the GOP.
JP2016121278A 2016-06-17 2016-06-17 Image data processing method Pending JP2017225096A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016121278A JP2017225096A (en) 2016-06-17 2016-06-17 Image data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016121278A JP2017225096A (en) 2016-06-17 2016-06-17 Image data processing method

Publications (1)

Publication Number Publication Date
JP2017225096A true true JP2017225096A (en) 2017-12-21

Family

ID=60688599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016121278A Pending JP2017225096A (en) 2016-06-17 2016-06-17 Image data processing method

Country Status (1)

Country Link
JP (1) JP2017225096A (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001056293A1 (en) * 2000-01-28 2001-08-02 Open Tv, Inc. Interactive television system and method for simultaneous transmission and rendering of multiple mpeg-encoded video streams
WO2009035936A1 (en) * 2007-09-10 2009-03-19 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
WO2012060459A1 (en) * 2010-11-01 2012-05-10 日本電気株式会社 Dynamic image distribution system, dynamic image distribution method, and dynamic image distribution program
JP2014110452A (en) * 2012-11-30 2014-06-12 Mitsubishi Electric Corp Image decoding device and image encoding device
JP2014192564A (en) * 2013-03-26 2014-10-06 Sony Corp Video processing device, video processing method, and computer program
WO2015058719A1 (en) * 2013-10-25 2015-04-30 Mediatek Inc. Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width
WO2015168150A1 (en) * 2014-05-01 2015-11-05 Google Inc. Method and system to combine multiple encoded videos for decoding via a video decoder

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001056293A1 (en) * 2000-01-28 2001-08-02 Open Tv, Inc. Interactive television system and method for simultaneous transmission and rendering of multiple mpeg-encoded video streams
WO2009035936A1 (en) * 2007-09-10 2009-03-19 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
WO2012060459A1 (en) * 2010-11-01 2012-05-10 日本電気株式会社 Dynamic image distribution system, dynamic image distribution method, and dynamic image distribution program
JP2014110452A (en) * 2012-11-30 2014-06-12 Mitsubishi Electric Corp Image decoding device and image encoding device
JP2014192564A (en) * 2013-03-26 2014-10-06 Sony Corp Video processing device, video processing method, and computer program
WO2015058719A1 (en) * 2013-10-25 2015-04-30 Mediatek Inc. Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width
WO2015168150A1 (en) * 2014-05-01 2015-11-05 Google Inc. Method and system to combine multiple encoded videos for decoding via a video decoder

Similar Documents

Publication Publication Date Title
US20030031258A1 (en) Tiled memory configuration for mapping video data and method thereof
US20070098079A1 (en) Decoding method and apparatus enabling fast channel change of compressed video
US20090310678A1 (en) Image encoding apparatus, method of controlling the same and computer program
US20050281339A1 (en) Filtering method of audio-visual codec and filtering apparatus
US20060233525A1 (en) Encoding apparatus and method, and decoding apparatus and method
US20100246662A1 (en) Image encoding method and image decoding method
WO2010067505A1 (en) Image decoding apparatus and image decoding method
US20060093042A1 (en) Coding apparatus, decoding apparatus, coding method and decoding method
US20060083316A1 (en) Methods for determining block averages for film grain simulation
US20060093043A1 (en) Coding apparatus, decoding apparatus, coding method and decoding method
US20060215768A1 (en) Video entropy decoding with graceful degradation
US20060062311A1 (en) Graceful degradation of loop filter for real-time video decoder
US20090129478A1 (en) Deblocking filter
US20100053305A1 (en) Stereoscopic video delivery
WO2010041472A1 (en) Image decoding apparatus and image decoding method
JP2011217082A (en) Image encoder, image encoding method, image encoding program, image decoder, image decoding method and image decoding program
JP2003032686A (en) Decoder, decoding method and program for allowing computer to execute this method
JP2001285876A (en) Image encoding device, its method, video camera, image recording device and image transmitting device
US20060008001A1 (en) Pipelining decoding apparatus and method, and computer-readable recording medium for storing computer program for controlling the pipelining decoding apparatus
US20080284788A1 (en) Method and apparatus for processing information
JPH11167518A (en) Using method for memory of moving picture decoding device
US20100195922A1 (en) Image decoding apparatus, image decoding method, image coding apparatus, and image coding method
JP2007251605A (en) Decoder, decoding method, program, and recording medium
US8472731B2 (en) Image signal decoding apparatus, image signal decoding method, image signal encoding apparatus, image signal encoding method, and program
US20100166081A1 (en) Video stream processing apparatus and control method, program and recording medium for the same

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320