JP2011257989A - Image compression encoding apparatus - Google Patents

Image compression encoding apparatus Download PDF

Info

Publication number
JP2011257989A
JP2011257989A JP2010131989A JP2010131989A JP2011257989A JP 2011257989 A JP2011257989 A JP 2011257989A JP 2010131989 A JP2010131989 A JP 2010131989A JP 2010131989 A JP2010131989 A JP 2010131989A JP 2011257989 A JP2011257989 A JP 2011257989A
Authority
JP
Japan
Prior art keywords
function
image compression
extended
software
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010131989A
Other languages
Japanese (ja)
Inventor
Kazuyoshi Sato
一良 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2010131989A priority Critical patent/JP2011257989A/en
Publication of JP2011257989A publication Critical patent/JP2011257989A/en
Pending legal-status Critical Current

Links

Landscapes

  • Advance Control (AREA)
  • Microcomputers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an expanded function by changing software and firmware.SOLUTION: An image compression encoding apparatus for performing a predetermined encoding process on an inputted image frame to compress an information amount of the image frame has a CPU and a FPGA and comprises an expanded function management function for determining propriety of function expansion and providing a function by using a plurality of registers relating expanded function management built in at least one of the CPU and the FPGA.

Description

本発明は、入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置に関するものである。   The present invention relates to an image compression encoding apparatus that compresses an information amount of an image frame by performing a predetermined encoding process on the input image frame.

従来、映像データ圧縮技術の分野において、適切なデータ量を持つ圧縮映像データを生成することが可能で、且つ、映像データの圧縮処理に要する時間を短縮することが可能な装置の提供を目的とした提案が知られている。該提案では、映像データを圧縮符号化するための前処理、フラットネス、及びイントラACの生成(フラットス、及びイントラACは、Iピクチャに圧縮されるピクチャの絵柄の難度を示すパラメータである)、映像の動き予測の予測誤差量(ME残差)の算出、入力された映像データの各ピクチャの遅延処理、等の各過程が実行される。該提案では、上記映像データの各ピクチャの遅延処理に続いて、更に、ME残差、フラットネス、及びイントラACによる各ピクチャの絵柄の難度を示す実難度データの近似処理、近似処理された後の実難度データからの、圧縮映像データの目標データ量の算出処理、圧縮映像データのデータ量が、略目標データ量になるような圧縮符号化処理、等の各過程も実行される。   Conventionally, in the field of video data compression technology, an object is to provide a device capable of generating compressed video data having an appropriate amount of data and reducing the time required for video data compression processing. Proposals made are known. In this proposal, preprocessing, flatness, and intra AC generation for compressing and encoding video data (flats and intra AC are parameters indicating the difficulty level of a picture to be compressed into an I picture) Each process such as calculation of a prediction error amount (ME residual) of video motion prediction and delay processing of each picture of input video data is executed. In the proposal, after the delay processing of each picture of the video data, the approximation processing of the actual difficulty data indicating the difficulty of the picture pattern of each picture by ME residual, flatness, and intra AC is further performed. From the actual difficulty level data, the process of calculating the target data amount of the compressed video data and the compression encoding process so that the data amount of the compressed video data becomes substantially the target data amount are also executed.

また、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの適用を考慮して、エンコード処理LSIと外部メモリとの間で行われるデータ転送に必要な帯域を削減させるため、第1の遅延用メモリは、動き検出処理部から出力される入力画像フレームを入力し、所定時間、予測残差生成処理を行うための第1の加算器への出力を遅延させる。第2の遅延用メモリは、インタ予測輝度画像フレームを入力し、所定時間、予測選択回路への出力を遅延させる。第3の遅延用メモリは、動き検出処理部から出力される動きベクトル情報を入力し、所定時間、上記動きベクトル情報のインタ予測色差画像作成処理部への出力を遅延させていた(特許文献1参照)。   In order to reduce the bandwidth required for data transfer between the encoding processing LSI and external memory, considering application to high-resolution applications using the MPEG-4 / AVC standard that requires low delay. The first delay memory receives the input image frame output from the motion detection processing unit, and delays the output to the first adder for performing the prediction residual generation process for a predetermined time. The second delay memory receives the inter predicted luminance image frame and delays the output to the prediction selection circuit for a predetermined time. The third delay memory receives the motion vector information output from the motion detection processing unit, and delays the output of the motion vector information to the inter prediction color difference image creation processing unit for a predetermined time (Patent Document 1). reference).

従来の画像圧縮符号化装置の拡張機能提供方法は、必要な機能を実現する基板やモジュールなどを新規に追加し、目的とする機能を提供するのが一般的であった。   In the conventional method for providing an extended function of an image compression coding apparatus, it has been common to provide a target function by newly adding a board or a module that realizes a necessary function.

拡張機能提供時の装置構築における新基板、モジュールの組込みに関わる技術と工数、その場合の結合インタフェースの信頼性の確保、また、組み込んだことによる動作確認の手法、確認環境の構築、確認工数などの問題点を解決する必要がある。   Technologies and man-hours related to the installation of new boards and modules for providing extended functions, module integration, ensuring the reliability of the combined interface in that case, operation confirmation method by incorporating, construction of confirmation environment, confirmation man-hours, etc. It is necessary to solve the problem.

特開2010−81498号公報(組み込み研)JP 2010-81498 A (Built-in Lab.)

本発明の目的は、ソフトウエア、ファームウエアの変更により拡張機能を提供することにある。   An object of the present invention is to provide an extended function by changing software and firmware.

本発明は、上記の目的を達成するために、入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置において、ソフトウエアとファームウエアとの少なくとも一方により機能を拡張する手段を有し、該ソフトウエアとファームウエアとの少なくとも一方により機能を拡張する手段に内蔵する複数の拡張機能管理に関するレジスタにより、機能拡張の可否判断を実施し、機能を提供する拡張機能管理機能を備える事を特徴とする画像圧縮符号化装置である。   In order to achieve the above object, the present invention provides a software and firmware in an image compression encoding apparatus that compresses an information amount of an image frame by performing a predetermined encoding process on the input image frame. It has a means to expand the function by at least one of the software, and determines whether or not the function can be expanded by using a plurality of registers related to the extended function management built in the means for extending the function by at least one of the software and the firmware In addition, the present invention is an image compression coding apparatus characterized by having an extended function management function for providing a function.

以上のように本発明によれば、ソフトウエア、ファームウエアの変更により容易に拡張機能を提供することができる。   As described above, according to the present invention, an extended function can be easily provided by changing software and firmware.

本発明の1実施例のFPGAのファームウエアの変更により拡張機能実現する画像圧縮符号化装置の構成を示すブロック図1 is a block diagram showing the configuration of an image compression coding apparatus that realizes an extended function by changing the firmware of an FPGA according to an embodiment of the present invention. 本発明の1実施例のCPUのソフトウエアの変更により拡張機能実現する画像圧縮符号化装置の構成を示すブロック図1 is a block diagram showing a configuration of an image compression coding apparatus that realizes an extended function by changing CPU software according to an embodiment of the present invention. 本発明の1実施例の画像圧縮符号化装置の拡張機能実現の模式図FIG. 1 is a schematic diagram of realizing an extended function of an image compression coding apparatus according to an embodiment of the present invention. 本発明の1実施例の提供機能種別の拡張機能提供レジスタの模式図The schematic diagram of the extended function provision register of the provided function classification of one Example of this invention 本発明の1実施例のシステムメモリマップのシステム設定領域の模式図The schematic diagram of the system setting area | region of the system memory map of one Example of this invention 本発明の1実施例のシステムメモリマップのベンダ領域の模式図Schematic diagram of the vendor area of the system memory map of one embodiment of the present invention

本発明の1実施例の画像圧縮符号化装置の拡張機能実現の動作を、本発明の1実施例のFPGAのファームウエアの変更により拡張機能実現する画像圧縮符号化装置の構成を示すブロック図の図1と、本発明の1実施例のCPUのソフトウエアの変更により拡張機能実現する画像圧縮符号化装置の構成を示すブロック図の図2と、本発明の1実施例の画像圧縮符号化装置の拡張機能実現の模式図の図3と、本発明の1実施例の拡張機能提供レジスタの模式図の図4と、本発明の1実施例のシステムメモリマップのシステム設定領域の模式図の図5と、本発明の1実施例のシステムメモリマップのベンダ領域の模式図の図6と、を用いて説明する。   The block diagram which shows the structure of the image compression encoding apparatus which implement | achieves an extended function implementation | achievement operation | movement by the change of the firmware of FPGA of 1 Example of this invention about the operation | movement of extended function implementation | achievement of the image compression encoding apparatus of 1 Example of this invention FIG. 1, FIG. 2 is a block diagram showing the configuration of an image compression coding apparatus that realizes an extended function by changing the software of the CPU of one embodiment of the present invention, and the image compression coding apparatus of one embodiment of the present invention FIG. 3 of the schematic diagram for realizing the extended function of FIG. 4, FIG. 4 of the schematic diagram of the extended function providing register of the first embodiment of the present invention, and the schematic diagram of the system setting area of the system memory map of the first embodiment of the present invention. 5 and FIG. 6 which is a schematic diagram of a vendor area of a system memory map according to an embodiment of the present invention.

本発明の1実施例のFPGAのファームウエアの変更により拡張機能実現する画像圧縮符号化装置の構成を示すブロック図の図1では、ファームウエア(以下、F/W)の管理レジスタより拡張機能が実現される。
F/W管理レジスタとは、ファームウエア(FPGAなど)の機能実現モジュールの組込み状況を管理するレジスタである。(本明細書では、“1”を実装状態、“0”を未実装として扱う。)
FIG. 1 is a block diagram showing a configuration of an image compression encoding apparatus that realizes an extended function by changing the firmware of the FPGA according to an embodiment of the present invention. In FIG. Realized.
The F / W management register is a register that manages the installation status of a function implementation module of firmware (FPGA or the like). (In this specification, “1” is treated as a mounted state, and “0” is treated as unmounted.)

FPGAのF/Wに限らず、どのような論理IC等のハードウエア(以下、H/W)の管理レジスタより拡張機能が実現されて構わない。
H/W管理レジスタとは、製品を構成するハードウエアにおいて提供可能なデバイス、モジュールなどの実装状態を管理するレジスタである。(本明細書では、“1”を実装状態、“0”を未実装として扱う。)
The extension function is not limited to the F / W of the FPGA, and the extended function may be realized by a management register of any hardware such as a logic IC (hereinafter, H / W).
The H / W management register is a register that manages the mounting state of devices, modules, and the like that can be provided in the hardware constituting the product. (In this specification, “1” is treated as a mounted state, and “0” is treated as unmounted.)

本発明の1実施例のCPUのソフトウエアの変更により拡張機能実現する画像圧縮符号化装置の構成を示すブロック図では、CPUのソフトウエア(以下、S/W)管理レジスタ、により拡張機能が実現される。   In the block diagram showing the configuration of an image compression coding apparatus that realizes an extended function by changing the software of the CPU according to one embodiment of the present invention, the extended function is realized by a software (hereinafter referred to as S / W) management register of the CPU. Is done.

拡張される機能を実現する為には、全てのレジスタにおいて機能拡張可否が可となっている必要があり、最低限H/W管理レジスタは“可”となっている状況での製品提供が基本となる。   In order to realize extended functions, it is necessary to enable or disable function expansion in all registers, and it is basic to provide products in a situation where H / W management registers are enabled at the minimum. It becomes.

S/W管理レジスタとは、ソフトウエアの機能実現モジュールの組込み状況を管理するレジスタである。(本明細書では、“1”を実装状態、“0”を未実装として扱う。)   The S / W management register is a register that manages the state of incorporation of the software function implementation module. (In this specification, “1” is treated as a mounted state, and “0” is treated as unmounted.)

ここで、拡張機能提供の方法を(図3)に示す。ここでは、機能拡張としてH/Wを必要とする拡張機能2とH/Wを必要とせず、F/Wのみで実現可能な拡張機能4の提供方法を一例として説明する。現在提供されている製品の構成を左側に示しており、基本機能のみが提供されている状況である。よって、H/W構成としての機能拡張モジュール1、2、3はその機能を実現するH/Wは存在するが機能として提供されていないため、破線での表示となっている。同様にFPGA(F/W機能)内にてその機能を提供するか機能拡張4も破線表示である。このとき、要求機能拡張として機能拡張2、4の要求が発生した場合、外部より、S/WアップグレードとF/Wアップグレードのみを実施することにより拡張機能2、4の提供を実現する。(このとき一概には判断できないが、機能モジュール2を既実装とすることにより、本体基板構成の基板分割損の回避が実現できることもある。)拡張機能提供後の製品構成例を右側に示し、S/Wアップデート(拡張機能2制御Software、機能拡張4制御Software)、F/Wアップデート(機能拡張4実現Firmware)により、機能モジュール2が有効となり、結果としてH/W構成の変更無く新たな機能を提供可能となる。   Here, an extended function providing method is shown in FIG. Here, as an example, a method for providing the extended function 2 that requires H / W as a function extension and the extended function 4 that can be realized only by F / W without requiring H / W will be described. The configuration of the products currently provided is shown on the left, and only the basic functions are provided. Accordingly, the function expansion modules 1, 2, and 3 as the H / W configuration are displayed in broken lines because there is an H / W that realizes the function but is not provided as a function. Similarly, whether the function is provided in the FPGA (F / W function) or the function expansion 4 is also indicated by a broken line. At this time, when the request for the function expansions 2 and 4 occurs as the requested function expansion, provision of the expansion functions 2 and 4 is realized by performing only the S / W upgrade and the F / W upgrade from the outside. (At this time, it is not possible to make a general judgment, but by mounting the functional module 2 in some cases, it may be possible to avoid the board division loss of the main body board configuration.) The product configuration example after providing the extended function is shown on the right side. Function module 2 is enabled by S / W update (extended function 2 control software, function extension 4 control software), and F / W update (function extension 4 realization Firmware), resulting in new functions without changing the hardware configuration. Can be provided.

つまり、本明細書にて提供する全ての機能はS/Wにより管理され、その機能を提供する/しないの判断はソフトウエアにより管理され、そのため拡張機能に関するH/W管理レジスタ、S/W管理レジスタ、F/W管理レジスタを有する(図4)。   In other words, all functions provided in this specification are managed by S / W, and the decision to provide or not to provide that function is managed by software. Therefore, H / W management registers and S / W management related to extended functions It has a register and F / W management register (Fig. 4).

一般的なシステムメモリマップは、ベンダ領域とユーザ領域に大別され(図5)、H/W管理レジスタ、S/W管理レジスタ、F/W管理レジスタはベンダ領域の内容としては、装置個別情報や製造者情報などと同一とし、使用者からの書き換えは出来ない状況で提供される。また、本命明細書は、説明の簡易化のため(図4)においてbit位置(横軸)統一で記載したが、ソフトウエアの誤書込みの対策として、bit位置を統一しない方法も可能である。このことを(図6)にて説明を実施する。簡易的な管理は、拡張H/W、F/W、S/W設定領域を連続領域に確保し、bit位置に関しても横位置統一とすることで実現する。誤書込みの対策案としては、ベンダ領域に不連続な領域とし、bit位置もズラした位置にて実現する。本図の場合は、ベンダ領域上位に拡張H/W管理レジスタ、中位にF/W管理レジスタ、下位にS/W管理レジスタをマッピングし、例えば、拡張機能2に対するbit位置をそれぞれのレジスタ内LSB、LSB+1、LSB+2のように実施すればよい。   The general system memory map is roughly divided into the vendor area and user area (Fig. 5). The hardware management register, S / W management register, and F / W management register are the device area information as the contents of the vendor area. It is the same as the manufacturer information, etc., and is provided in a situation where it cannot be rewritten by the user. In addition, for the sake of simplification of explanation, the detailed description is described with the bit position (horizontal axis) unified, but as a countermeasure against erroneous writing of software, a method in which the bit position is not unified is also possible. This will be described with reference to FIG. Simple management is realized by securing the extended H / W, F / W, and S / W setting areas in a continuous area and unifying the horizontal position for the bit position. As a countermeasure against erroneous writing, a discontinuous area is provided in the vendor area, and the bit position is shifted. In the case of this figure, the extended H / W management register is mapped to the upper vendor area, the F / W management register to the middle, and the S / W management register to the lower. For example, the bit position for the extended function 2 is stored in each register. What is necessary is just to carry out like LSB, LSB + 1, and LSB + 2.

本説明では、全ての管理レジスタをベンダ領域に配置した構成例にて説明したが、H/W管理レジスタを同様にベンダ領域、S/W管理レジスタをソフトウエアのワーク領域、F/W管理レジスタをFPGA内にレジスタを構成し、自ら提供できる機能の実現可能レジスタを具備することにより、同様の提案を実現することも可能である。   In this explanation, the configuration example in which all the management registers are arranged in the vendor area has been explained. However, the H / W management register is similarly the vendor area, the S / W management register is the software work area, and the F / W management register. A similar proposal can be realized by configuring a register in the FPGA and providing a register capable of providing a function by itself.

S/Wアップグレードの方法は、共通指定アップグレードと個別指定アップグレード方法の2種類考えられる。前者の場合は、1つのアップグレード対応ファイルで全ての製品に適応可能であり、後者は個別の製品を特定してのアップグレードファイルとなる。このときの個別アップデートファイルの個別認識情報は、製造番号やMACアドレスなの個別認識可能なユニークコードを使用し、実現することとする。両者の使い分けに関しては、基本機能としての追加機能に対するアップグレードは前者、機能拡張などの個別対応に関しては後者というようにその使い分けを実施する。   There are two types of S / W upgrade methods: common upgrade and individual upgrade. In the former case, it is possible to adapt to all products with one upgrade compatible file, and the latter is an upgrade file specifying individual products. The individual recognition information of the individual update file at this time is realized by using a unique code such as a manufacturing number or a MAC address that can be individually recognized. Regarding the proper use of the two, the upgrade to the additional function as the basic function is performed in the former, and the latter in the individual correspondence such as the function expansion, such as the latter.

拡張機能提供時の装置構築における新基板、モジュールの組込みに関わる技術と工数、その場合の結合インタフェースの信頼性の確保、また、組み込んだことによる動作確認の手法、確認環境の構築、確認工数などの問題点を解決し、ソフトウエア、ファームウエアのみの変更により拡張機能を実現できる。   Technologies and man-hours related to the installation of new boards and modules for providing extended functions, module integration, ensuring the reliability of the combined interface in that case, operation confirmation method by incorporating, construction of confirmation environment, confirmation man-hours, etc. The extended function can be realized by changing only the software and firmware.

1,2,3,4:画像圧縮符号化装置、 1, 2, 3, 4: Image compression encoding device,

Claims (1)

入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置において、
ソフトウエアとファームウエアとの少なくとも一方により機能を拡張する手段を有し、該ソフトウエアとファームウエアとの少なくとも一方により機能を拡張する手段に内蔵する複数の拡張機能管理に関するレジスタにより、機能拡張の可否判断を実施し、機能を提供する拡張機能管理機能を備える事を特徴とする画像圧縮符号化装置。
In an image compression encoding apparatus that compresses the amount of information of the image frame by performing a predetermined encoding process on the input image frame,
Means for extending the function by at least one of software and firmware, and a plurality of registers for managing the extended function incorporated in the means for extending the function by at least one of the software and firmware. An image compression coding apparatus comprising an extended function management function for determining availability and providing a function.
JP2010131989A 2010-06-09 2010-06-09 Image compression encoding apparatus Pending JP2011257989A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010131989A JP2011257989A (en) 2010-06-09 2010-06-09 Image compression encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010131989A JP2011257989A (en) 2010-06-09 2010-06-09 Image compression encoding apparatus

Publications (1)

Publication Number Publication Date
JP2011257989A true JP2011257989A (en) 2011-12-22

Family

ID=45474102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010131989A Pending JP2011257989A (en) 2010-06-09 2010-06-09 Image compression encoding apparatus

Country Status (1)

Country Link
JP (1) JP2011257989A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379597A (en) * 2018-10-27 2019-02-22 北京控制与电子技术研究所 A kind of compression of images controller based on FPGA
WO2021248869A1 (en) * 2020-06-10 2021-12-16 京信网络系统股份有限公司 Packet processing method and apparatus, and communication device and communication system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379597A (en) * 2018-10-27 2019-02-22 北京控制与电子技术研究所 A kind of compression of images controller based on FPGA
WO2021248869A1 (en) * 2020-06-10 2021-12-16 京信网络系统股份有限公司 Packet processing method and apparatus, and communication device and communication system

Similar Documents

Publication Publication Date Title
US10785088B2 (en) Management method and management apparatus of internet of things and internet of things system
CN105103123B (en) System and method for virtual monitor
WO2020001565A1 (en) Point cloud encoding and decoding method and codec
US20050237327A1 (en) Point-to-point bus bridging without a bridge controller
JP4635016B2 (en) Information processing apparatus and inter prediction mode determination method
US10946866B2 (en) Core tightly coupled lockstep for high functional safety
WO2016118346A1 (en) User mode driver extension and preprocessing
CN107077186B (en) Low power computational imaging
KR102704557B1 (en) Data compensating circuit and display device including the same
CN109196865A (en) A kind of data processing method and terminal
CN102053871A (en) Application program image display method and device
KR102593265B1 (en) Display driving ic and operation method thereof
US10674160B2 (en) Parallel video encoding device and encoder configured to operate in parallel with another encoder
CN112862659A (en) Method and device for generating a series of frames by means of a synthesizer
US11023825B2 (en) Platform as a service cloud server and machine learning data processing method thereof
US10757430B2 (en) Method of operating decoder using multiple channels to reduce memory usage and method of operating application processor including the decoder
JP2011257989A (en) Image compression encoding apparatus
US20230217033A1 (en) Standards-compliant encoding of visual data in unsupported formats
CN115698952A (en) Scalable hardware thread scheduler
CN111475435A (en) Storage medium sharing method and device, electronic equipment and storage medium
CN118214817A (en) Method, device, equipment, system and storage medium for layer processing
US20220279118A1 (en) Image capturing apparatus, method for controlling image capturing apparatus, information processing apparatus
KR102476204B1 (en) Multi-codec encoder and multi-codec encoding system including the same
US20120179899A1 (en) Upgradeable processor enabling hardware licensing
KR20230092739A (en) Methods and apparatus to process video frame pixel data using artificial intelligence video frame segmentation