JP2006303987A - Image encoder and image encoding method - Google Patents
Image encoder and image encoding method Download PDFInfo
- Publication number
- JP2006303987A JP2006303987A JP2005123833A JP2005123833A JP2006303987A JP 2006303987 A JP2006303987 A JP 2006303987A JP 2005123833 A JP2005123833 A JP 2005123833A JP 2005123833 A JP2005123833 A JP 2005123833A JP 2006303987 A JP2006303987 A JP 2006303987A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image
- image encoding
- information
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、監視カメラに用いて好適な画像符号化装置及び画像符号化方法に関する。 The present invention relates to an image encoding device and an image encoding method suitable for use in a surveillance camera.
従来、監視カメラにおいて、監視領域を撮像し、得られた撮像データを動画像又は静止画像として符号化して通信回線を介してモニタや画像蓄積装置に送信する技術が知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, a technique is known in which a surveillance camera captures an image of a surveillance area, encodes the obtained imaging data as a moving image or a still image, and transmits the encoded data to a monitor or an image storage device via a communication line (for example, a patent) Reference 1).
特許文献1で開示された技術は、通常は動画像によるモニタリングを行い、画像中に何らかの変化が生じたときには動画像に合わせて静止画像を送信することにより、高画質な画像を得るものである。 The technique disclosed in Japanese Patent Laid-Open No. 2004-228561 usually obtains a high-quality image by performing monitoring using a moving image and transmitting a still image according to the moving image when any change occurs in the image. .
しかしながら、従来の画像符号化装置においては、動画像符号化データに合わせて静止画像符号化データを送信又は蓄積する場合、動画像符号化処理と静止画像符号化処理をそれぞれ独立して行うため、効率的に動画像符号化処理が行えていないという問題がある。例えば、変化の大きい画像に対して符号化タイプをインター符号化として動画像符号化処理を行うと、イントラ符号化処理よりも発生符号量増加による駒落ちが多くなったり、発生符号量の増加を抑制するために圧縮率を上げて動画像符号化処理することにより画質の低下を招いたりする。 However, in the conventional image encoding device, when transmitting or storing still image encoded data in accordance with moving image encoded data, since the moving image encoding process and the still image encoding process are performed independently, There is a problem that the moving image encoding process cannot be performed efficiently. For example, if a video encoding process is performed on an image with a large change and the encoding type is set to inter encoding, frame dropping due to an increase in the amount of generated code or an increase in the amount of generated code may occur compared to the intra encoding process. In order to suppress this, the moving image encoding process is performed with the compression rate increased, thereby degrading the image quality.
本発明は、係る事情に鑑みてなされたものであり、動画像符号化と静止画像符号化を並行して行う場合でも、効率的に動画像符号化処理を行うことができる画像符号化装置及び画像符号化方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an image encoding apparatus capable of efficiently performing a moving image encoding process even when moving image encoding and still image encoding are performed in parallel, and An object is to provide an image encoding method.
上記目的は下記構成及び方法により達成される。
(1) 画像符号化装置であって、画像を符号化して符号化データと符号化情報を生成する複数の画像符号化手段と、複数の前記画像符号化手段のうち少なくとも1つの画像符号化手段が行った画像符号化結果を前記符号化情報として、前記符号化情報により他の前記画像符号化手段が行う符号化処理の符号化パラメータを制御する符号化制御手段と、を備える。
The above object can be achieved by the following constitution and method.
(1) An image encoding device, a plurality of image encoding units that encode an image to generate encoded data and encoding information, and at least one image encoding unit among the plurality of image encoding units And encoding control means for controlling the encoding parameters of the encoding process performed by the other image encoding means based on the encoding information, using the result of the image encoding performed as described above as the encoding information.
(2) 画像符号化装置であって、画像を符号化して符号化データと符号化情報を生成する複数の画像符号化手段と、複数の前記画像符号化手段のうち少なくとも1つは符号化処理の一部として離散コサイン変換演算処理を行い、この離散コサイン変換演算処理による結果を前記符号化情報として、この符号化情報により他の前記画像符号化手段が行う符号化処理の符号化パラメータを制御する符号化制御手段と、を備える。 (2) An image encoding device, wherein a plurality of image encoding units that encode an image to generate encoded data and encoding information, and at least one of the plurality of image encoding units is an encoding process A discrete cosine transform calculation process is performed as a part of the image, and the result of the discrete cosine transform calculation process is used as the encoded information, and the encoding parameters of the encoding process performed by the other image encoding means are controlled by the encoded information. Encoding control means.
(3) 上記(1)又は(2)に記載の画像符号化装置において、画像の一部又は全てを切り出す切出手段を備え、前記符号化制御手段は、前記画像の切出位置に応じて前記画像符号化手段が行う符号化処理の符号化パラメータを制御する。 (3) In the image coding device according to (1) or (2), the image coding apparatus includes a cutting unit that cuts out a part or all of an image, and the coding control unit depends on a cutting position of the image. The encoding parameter of the encoding process performed by the image encoding means is controlled.
(4) 上記(1)又は(2)に記載の画像符号化装置において、画像中の注目領域を設定する注目領域設定手段を備え、前記符号化制御手段は、前記画像中の注目領域に応じて前記画像符号化手段が行う符号化処理の符号化パラメータを制御する。 (4) The image encoding device according to (1) or (2), further including attention area setting means for setting an attention area in an image, wherein the encoding control means corresponds to the attention area in the image. Then, the encoding parameter of the encoding process performed by the image encoding means is controlled.
(5) 上記(1)〜(4)のいずれかに記載の画像符号化装置において、前記符号化情報には、画像符号化処理時に生成された発生符号量情報と画像符号化処理時に使用された量子化パラメータ情報とが含まれ、前記符号化制御手段は、前記発生符号量情報と前記量子化パラメータに応じて前記画像符号化手段が行う符号化処理の符号化パラメータを制御する。 (5) In the image encoding device according to any one of (1) to (4), the encoded information is generated code amount information generated during the image encoding process and used during the image encoding process. The encoding control means controls the encoding parameters of the encoding process performed by the image encoding means in accordance with the generated code amount information and the quantization parameters.
(6) 画像符号化方法であって、それぞれ画像処理を行う複数の画像符号化処理のうち少なくとも1つは画像符号化処理の一部として離散コサイン変換演算処理を行い、この離散コサイン変換演算処理による結果を符号化情報として、この符号化情報により他の前記画像符号化処理の符号化パラメータを制御する。 (6) An image encoding method, wherein at least one of a plurality of image encoding processes each performing image processing performs a discrete cosine transform calculation process as a part of the image encoding process, and the discrete cosine transform calculation process As a result, the encoding parameters of the other image encoding processes are controlled by the encoding information.
(7) 上記(6)に記載の画像符号化方法において、画像の一部又は全てを切り出し、切出位置に応じて前記他の画像符号化処理の符号化パラメータを制御する。 (7) In the image encoding method described in (6) above, a part or all of an image is cut out, and the encoding parameter of the other image encoding process is controlled according to the cutout position.
(8) 上記(6)に記載の画像符号化方法において、画像中の注目領域を設定し、設定した注目領域に応じて前記他の画像符号化処理の符号化パラメータを制御する。 (8) In the image encoding method described in (6) above, an attention area in an image is set, and encoding parameters of the other image encoding processing are controlled according to the set attention area.
(9) 上記(6)〜(8)のいずれかに記載の画像符号化方法において、前記符号化情報には、画像符号化処理時に生成した発生符号量情報と画像符号化処理時に使用した量子化パラメータ情報とが含まれ、その発生符号量情報と量子化パラメータに応じて前記他の画像符号化処理の符号化パラメータを制御する。 (9) In the image encoding method according to any one of (6) to (8), the encoded information includes generated code amount information generated during the image encoding process and a quantum used during the image encoding process. Encoding parameter information is included, and the encoding parameter of the other image encoding processing is controlled according to the generated code amount information and the quantization parameter.
上記(1)に記載の画像符号化装置では、画像符号化結果から動画像符号化処理の符号化パラメータを制御することで、動画像を符号化する際の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding device described in (1) above, frame dropping or image quality due to an increase in the amount of generated code when encoding a moving image is controlled by controlling the encoding parameter of the moving image encoding process from the image encoding result. Deterioration can be suppressed.
上記(2)に記載の画像符号化装置では、静止画像符号化処理で生成される離散コサイン変換演算結果から動画像符号化処理の符号化パラメータを制御することで、動画像を符号化する際の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding device described in (2) above, when encoding a moving image by controlling an encoding parameter of the moving image encoding process from a discrete cosine transform calculation result generated in the still image encoding process. It is possible to suppress frame dropping and image quality degradation due to an increase in the amount of generated codes.
上記(3)に記載の画像符号化装置では、静止画像符号化処理する画像と動画像符号化処理する画像の領域が異なる場合にも、動画像符号化処理の符号化パラメータを制御することで、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding device described in (3) above, even when the area of the image to be subjected to the still image encoding process is different from that of the image to be subjected to the moving image encoding process, the encoding parameter of the moving image encoding process is controlled. Further, it is possible to suppress frame dropping and image quality deterioration due to an increase in the amount of generated codes during moving image encoding.
上記(4)に記載の画像符号化装置では、動画像符号化処理の符号化対象画像の注目領域における変化を推定して注目領域の動画像符号化処理の符号化パラメータを制御することで、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding device described in (4) above, by estimating the change in the attention area of the encoding target image of the moving image encoding process and controlling the encoding parameter of the moving image encoding process of the attention area, It is possible to suppress frame dropping and image quality degradation due to an increase in the amount of generated code at the time of moving image encoding.
上記(5)に記載の画像符号化装置では、画像の変化が大きく、動画像符号化対象画像をイントラ符号化すると判断した場合に、静止画像符号化処理で生成される符号量情報と量子化パラメータから動画像符号化処理で発生する符号量を予測し動画像符号化処理を制御することで、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding device described in (5) above, the code amount information and quantization generated by the still image encoding process when it is determined that the image change is large and the moving image encoding target image is to be intra-encoded. By predicting the code amount generated in the moving image encoding process from the parameters and controlling the moving image encoding process, it is possible to suppress frame dropping and image quality degradation due to an increase in the generated code amount during moving image encoding.
上記(6)に記載の画像符号化方法では、静止画像符号化処理で生成される離散コサイン変換演算結果から動画像符号化処理の符号化パラメータを制御することで、動画像を符号化する際の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding method described in (6) above, when encoding a moving image by controlling the encoding parameter of the moving image encoding process from the discrete cosine transform calculation result generated in the still image encoding process. It is possible to suppress frame dropping and image quality degradation due to an increase in the amount of generated codes.
上記(7)に記載の画像符号化方法では、静止画像符号化処理する画像と動画像符号化処理する画像の領域が異なる場合にも、動画像符号化処理の符号化パラメータを制御することで、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image coding method described in (7) above, even when the area of the image to be subjected to the still image coding process is different from that of the image to be subjected to the moving image coding process, the coding parameter of the moving image coding process is controlled. Further, it is possible to suppress frame dropping and image quality deterioration due to an increase in the amount of generated codes during moving image encoding.
上記(8)に記載の画像符号化方法では、動画像符号化処理の符号化対象画像の注目領域における変化を推定して注目領域の動画像符号化処理の符号化パラメータを制御することで、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding method described in (8) above, by estimating the change in the attention area of the encoding target image of the moving image encoding process and controlling the encoding parameter of the moving image encoding process of the attention area, It is possible to suppress frame dropping and image quality degradation due to an increase in the amount of generated code at the time of moving image encoding.
上記(9)に記載の画像符号化方法では、画像の変化が大きく、動画像符号化対象画像をイントラ符号化すると判断した場合に、静止画像符号化処理で生成される符号量情報と量子化パラメータから動画像符号化処理で発生する符号量を予測し動画像符号化処理を制御することで、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することができる。 In the image encoding method described in (9) above, when the image change is large and it is determined that the moving image encoding target image is to be intra-encoded, code amount information and quantization generated by the still image encoding process By predicting the code amount generated in the moving image encoding process from the parameters and controlling the moving image encoding process, it is possible to suppress frame dropping and image quality degradation due to an increase in the generated code amount during moving image encoding.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る画像符号化装置の概略構成を示すブロック図である。この図において、本実施の形態の画像符号化装置100は、撮像部101と、画像入力部102と、動画像符号化部103と、静止画像符号化部104と、送信部105と、符号化制御部106と、通信回線107とを備えて構成される。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of an image coding apparatus according to Embodiment 1 of the present invention. In this figure, an image encoding apparatus 100 according to the present embodiment includes an
撮像部101は、被写体像を撮影するものであり、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等からなる撮像素子と、該撮像素子に入力された信号をデジタル画像データに変換するA/D(Analog/Digital)変換器等を備えている。画像入力部102は、一時的に画像データを保存するRAM等のバッファを備えており、撮像部101からの画像データの取り込みと、後段への画像データ入力を並行して行う。
The
動画像符号化部103は、画像入力部101より入力された画像に動画像符号化を行い、符号化データを生成する。なお、動画像符号化の例としては、H.261、H.263、MPEG−1、MPEG−2、MPEG−4が挙げられる。なお、H.261及びH.263は、国際電気通信連合が勧告した、映像の圧縮符号化方式の標準の1つである。H.263はH.261を改良し発展させたものである。H.261とH.263は、ともに動き補償フレーム間符号化とDCT(Discrete Cosine Transform、離散コサイン変換)を組み合わせたアルゴリズムを利用するものであり、H.263では更に半画素精度の動き補償や可変長符号化の改善を行って圧縮効率を高めている。
The moving
静止画像符号化部104は、画像入力部101より入力された画像に、DCT演算処理を使用して静止画像符号化を行い、符号化データと符号化情報を生成する。なお、DCT演算処理を使用する静止画像符号化処理の例としては、JPEG符号化処理が挙げられる。また、符号化情報の例としては、DCT演算結果の一部であるDC(直流)成分が挙げられる。
The still
送信部105は、動画像符号化部103又は静止画像符号化部104で生成された符号化データを無線又は有線の通信回線107に送信する。符号化制御部106は、CPU、ROM、RAM、タイマ等を備えて構成され、静止画像符号化部104により生成される符号化情報を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行を制御すると共に、画像入力部102が後段に入力する画像データのフォーマットに関する情報を管理し、さらに送信部105の送信制御を行う。
The
なお、図1では、動画像符号化部103及び静止画像符号化部104をそれぞれ1つずつ示しているが、それぞれ複数あっても構わない。
In FIG. 1, one moving
以上のように構成された画像符号化装置100の動作について説明する。撮像部101で被写体の撮影を行い、画像データに変換して画像入力部102に入力する。画像入力部102に入力された画像データは動画像符号化部103と静止画像符号化部104夫々に入力される。動画像符号化部103と静止画像符号化部104は符号化制御部106により制御され、動画像符号化部103では入力された画像を動画像符号化し、符号化データを生成する。静止画像符号化部104では入力された画像を静止画像符号化し、符号化データと符号化情報を生成する。送信部105は、動画像符号化部103で生成された符号化データ及び静止画像符号化部104で生成された符号化データを送信する。
The operation of the image coding apparatus 100 configured as described above will be described. The
続いて、図2のフローチャートを用いて、符号化制御部106が行う動画像符号化処理の制御について、既に複数の静止画像符号化処理が行われている場合を例に挙げて下記に説明する。
Subsequently, the control of the moving image encoding process performed by the
まず、動画像符号化処理の対象画像となる現画像の取得時刻に近い時刻の画像に対して行われた静止画像符号化処理で生成された符号化情報(即ちDCT演算結果)を取得すると共に、動画像符号化処理の対象画像となる予測参照画像の取得時刻に近い時刻の画像に対して行われた静止画像符号化処理で生成された符号化情報(即ちDCT演算結果)を取得する(ステップS101)。ここで、動画像符号化処理の対象画像となる現画像の取得時刻に近い時刻の画像における静止画像符号化処理を行った際のDCT演算結果を“A”とし、動画像符号化処理の対象画像となる予測参照画像の近い時刻の画像における静止画像符号化処理を行った際のDCT演算結果を“B”とする。これら“A”と“B”の差分を計算する(ステップS102)。なお、“A”と“B”の差分の計算には、“A”と“B”の同一ブロック位置のDC係数の差分絶対値の総和をとる方法や、“A”の中に含まれるDC係数の総和と、“B”の中に含まれるDC係数の総和との差分をとる方法等が考えられる。 First, the encoding information (that is, the DCT calculation result) generated by the still image encoding process performed on the image at the time close to the acquisition time of the current image that is the target image of the moving image encoding process is acquired. Then, the encoding information (that is, the DCT calculation result) generated by the still image encoding process performed on the image at the time close to the acquisition time of the predicted reference image that is the target image of the moving image encoding process is acquired ( Step S101). Here, the DCT calculation result when the still image encoding process is performed on the image at the time close to the acquisition time of the current image that is the target image of the moving image encoding process is “A”, and the target of the moving image encoding process The DCT calculation result when the still image encoding process is performed on an image at a time close to the predicted reference image to be an image is “B”. The difference between “A” and “B” is calculated (step S102). For the calculation of the difference between “A” and “B”, a method of calculating the sum of absolute differences of DC coefficients at the same block positions of “A” and “B”, or a DC included in “A” A method of obtaining a difference between the sum of the coefficients and the sum of the DC coefficients included in “B” can be considered.
続いて、ステップS102で計算された差分結果から、動画像符号化処理の符号化タイプを決定する(ステップS103)。なお、決定には差分が閾値よりも大きい場合には、動画像符号化処理の符号化タイプをイントラ符号化とし、閾値よりも小さい場合には、動画像符号化処理の符号化タイプをインター符号化とすることが考えられる。なお、閾値は符号化制御部106内で予め保持しているものであっても良いし、外部から設定されるものであっても良い。次に、ステップS103で決定した符号化タイプを動画像符号化処理の符号化タイプとして指定し、動画像符号化処理の実行を指示する(ステップS104)。
Subsequently, the encoding type of the moving image encoding process is determined from the difference result calculated in step S102 (step S103). In the determination, if the difference is larger than the threshold value, the coding type of the moving image coding process is set to intra coding. If the difference is smaller than the threshold value, the coding type of the moving image coding process is set to the inter code. It can be considered to be. The threshold value may be stored in advance in the
このように本実施の形態の画像符号化装置100によれば、静止画像符号化処理で生成されるDCT演算結果から動画像符号化処理の符号化対象画像の変化を推定して動画像符号化処理の符号化パラメータを制御するので、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することが可能となる。 As described above, according to the image coding apparatus 100 of the present embodiment, a moving image coding is performed by estimating a change in a coding target image of the moving image coding process from a DCT calculation result generated by the still image coding process. Since the encoding parameter of the process is controlled, it is possible to suppress frame dropping and image quality deterioration due to an increase in the amount of generated code at the time of moving image encoding.
(実施の形態2)
図3は、本発明の実施の形態2に係る画像符号化装置の概略構成を示すブロック図である。なお、この図において上述した図1と共通する構成部分には同一符号を付してその説明を省略する。
(Embodiment 2)
FIG. 3 is a block diagram showing a schematic configuration of the image coding apparatus according to Embodiment 2 of the present invention. In this figure, the same components as those in FIG. 1 described above are denoted by the same reference numerals and description thereof is omitted.
図3において、本実施の形態の画像符号化装置200は、上述した実施の形態1の画像符号化装置100と同じ構成の他に、切出部201と、符号化制御部106と同様の機能を有する他に切出部201を制御して切出画像の情報を管理する機能を有する符号化制御部202とを備えている。切出部201は、入力された画像の一部又は全てを切り出して出力する。符号化制御部202は、切出部201を制御して切出画像の情報を管理する。管理する情報としては「切出位置」や「切出サイズ」などが考えられる。
In FIG. 3, the image coding apparatus 200 according to the present embodiment has the same functions as those of the
なお、図3では、動画像符号化部103及び静止画像符号化部104をそれぞれ1つずつ示しているが、それぞれ複数あっても構わない。
In FIG. 3, one moving
以上のように構成された画像符号化装置200の動作について説明する。なお、図1と共通する動作部分には、図1と同一符号を付して説明を省略する。 The operation of the image coding apparatus 200 configured as described above will be described. 1 are denoted by the same reference numerals as those in FIG. 1 and description thereof is omitted.
画像入力部102からの画像が切出部201によってその一部又は全てが切り出されて、動画像符号化部103と静止画像符号化部104夫々に入力される。動画像符号化部103と静止画像符号化部104は切出部201からの画像を夫々符号化する。なお、画像の切出位置や切出サイズについては切出部201内部で予め保持していても良いし、外部から指示されても良い。
A part or all of the image from the
続いて、図4のフローチャートを用いて、符号化制御部202が行う動画像符号化処理の制御について、既に複数の静止画像符号化処理が行われている場合を例に挙げ、下記に説明する。
Subsequently, the control of the moving image encoding process performed by the
まず、切出部201が切り出した画像の領域から、動画像符号化処理対象画像の切出画像と、静止画像符号化対象画像の切出画像の重複領域を確認し、重複領域がある場合にはステップS202からステップS204の処理を行う(ステップS201)。動画像符号化処理の対象画像となる現画像の取得時刻に近い時刻の画像に対して行われた静止画像符号化処理で生成された符号化情報(即ちDCT演算結果)を取得すると共に、動画像符号化処理の対象画像となる予測参照画像の取得時刻に近い時刻の画像に対して行われた静止画像符号化処理で生成された符号化情報(即ちDCT演算結果)を取得する(ステップS202)。
First, from the region of the image cut out by the
続いて、取得した2つのDCT演算結果の差分を計算する(ステップS203)。次いで、ステップS203で計算された差分結果から動画像符号化処理の符号化タイプを決定する(ステップS204)。上記ステップS201からステップS204の処理を符号化対象画像領域全体に実施する(ステップS205)。次いで、ステップS204で決定した符号化タイプを動画像符号化処理の符号化タイプとして指定し、動画像符号化処理の実行を指示する(ステップS206)。 Subsequently, the difference between the obtained two DCT calculation results is calculated (step S203). Next, the encoding type of the moving image encoding process is determined from the difference result calculated in step S203 (step S204). The processing from step S201 to step S204 is performed on the entire encoding target image area (step S205). Next, the encoding type determined in step S204 is designated as the encoding type of the moving image encoding process, and execution of the moving image encoding process is instructed (step S206).
なお、ステップS201で行われる重複領域の確認について、動画像符号化処理対象画像の切出画像サイズが静止画像符号化対象画像の切出画像サイズと比べて小さく、静止画像符号化対象画像の切出画像領域に含まれている場合には、動画像符号化処理対象画像の切出画像の領域を重複領域とすることが考えられる。また、動画像符号化処理対象画像の切出画像サイズが、静止画像符号化対象画像の切出画像サイズと比べて大きく、静止画像符号化対象画像の切出画像領域が動画像符号化処理対象画像の切出画像領域に含まれている場合には、重複領域で判定された符号化タイプを動画像符号化処理対象画像内の重複する領域にのみ適用するようにしても良いし、動画像符号化処理対象画像全体に適用しても良い。 Note that, regarding the overlap region confirmation performed in step S201, the cut-out image size of the moving image encoding target image is smaller than the cut-out image size of the still image encoding target image, and the still image encoding target image is cut out. In the case where it is included in the output image area, it is conceivable that the area of the clipped image of the moving image encoding process target image is set as the overlapping area. In addition, the cut-out image size of the moving image encoding target image is larger than the cut-out image size of the still image encoding target image, and the cut-out image area of the still image encoding target image is the moving image encoding processing target. When included in the cut-out image area of the image, the coding type determined in the overlapping area may be applied only to the overlapping area in the moving image encoding processing target image. You may apply to the whole encoding process target image.
また、動画像符号化処理対象画像の切出画像と静止画像符号化対象画像の切出画像とが重複しない場合には、重複領域が無いものとして以降のステップを行わなくても良いし、静止画像符号化対象画像の切出画像領域を重複領域として以降のステップを行っても良い。 Also, if the cut-out image of the moving image encoding target image and the cut-out image of the still image encoding target image do not overlap, it is not necessary to perform the subsequent steps because there is no overlapping region, The subsequent steps may be performed with the cut-out image area of the image encoding target image as an overlapping area.
なお、上記例では、ステップS204で決定した動画像符号化処理の符号化タイプを重複領域に適用することを前提に説明したが、ステップS204で決定した動画像符号化処理の符号化タイプを符号化対象画像全体に適用することにしても良い。 In the above example, the description has been made on the assumption that the encoding type of the moving image encoding process determined in step S204 is applied to the overlapping region. However, the encoding type of the moving image encoding process determined in step S204 is encoded. It may be applied to the entire image to be converted.
このように本実施の形態の画像符号化装置200によれば、静止画像符号化処理する画像と動画像符号化処理する画像の領域が異なる場合にも、動画像符号化処理の符号化対象画像の変化を推定して動画像符号化処理の符号化パラメータを制御するので、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することが可能となる。 As described above, according to the image encoding device 200 of the present embodiment, even when the still image encoding processing image and the moving image encoding processing region are different, the encoding target image of the moving image encoding processing is the same. Therefore, it is possible to suppress frame drop and image quality degradation due to an increase in the amount of generated codes during moving image coding.
(実施の形態3)
図5は、本発明の実施の形態3に係る画像符号化装置の概略構成を示すブロック図である。なお、この図において上述した図1と共通する構成部分には同一符号を付してその説明を省略する。
(Embodiment 3)
FIG. 5 is a block diagram showing a schematic configuration of an image coding apparatus according to Embodiment 3 of the present invention. In this figure, the same components as those in FIG. 1 described above are denoted by the same reference numerals and description thereof is omitted.
図5において、本実施の形態の画像符号化装置300は、上述した実施の形態1の画像符号化装置100と同じ構成の他に、注目領域設定部301と、符号化制御部106と同様の機能を有する他に、注目領域に応じて静止画像符号化部104により生成される符号化情報を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行を制御する機能を有する符号化制御部302とを備えている。
In FIG. 5, the image coding apparatus 300 according to the present embodiment has the same configuration as the image coding apparatus 100 according to the first embodiment described above, and is similar to the attention
注目領域設定部301は注目する領域を設定する。この場合、注目領域として設定される例としては、出入口等の監視対象として重要視される領域であったり、撮像画像内で動きの大きい領域が予め分かっていたりすること等が挙げられる。また、設定される内容としては、注目位置やサイズや形状などが考えられる。なお、設定される箇所は1箇所であっても良いし、複数箇所であっても良い。また、動画像符号化部103に設定する注目領域と静止画像符号化部104に設定する注目領域の一部又は全てが異なっていても良い。符号化制御部302は、注目領域設定部301で設定された注目領域に応じて静止画像符号化部104により生成される符号化情報を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行を制御する。
The attention
なお、図5では、動画像符号化部103及び静止画像符号化部104をそれぞれ1つずつ示しているが、それぞれ複数あっても構わない。
In FIG. 5, one moving
以上のように構成された画像符号化装置300の動作について説明する。なお、図1と共通する動作部分には、図1と同一符号を付して説明を省略する。 The operation of the image coding apparatus 300 configured as described above will be described. 1 are denoted by the same reference numerals as those in FIG. 1 and description thereof is omitted.
注目領域設定部301で注目領域が設定されると、符号化制御部302が注目領域設定部301で設定された注目領域に応じて静止画像符号化部104により生成される符号化情報(即ちDCT演算結果)を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行を制御する。
When the attention area is set by the attention
続いて、図6のフローチャートを用いて、符号化制御部302が行う動画像符号化処理の制御について、既に複数の静止画像符号化処理が行われており、注目領域設定部301で注目領域が設定されている場合を例に挙げて下記に説明する。
Subsequently, with reference to the flowchart of FIG. 6, a plurality of still image encoding processes have already been performed for the control of the moving image encoding process performed by the
まず、注目領域設定部301が設定した注目領域を確認し、該注目領域に対してステップS302からステップS304の処理を行う(ステップS301)。動画像符号化処理の対象画像となる現画像の取得時刻に近い時刻の画像に対して行われた静止画像符号化処理で生成された符号化情報(即ちDCT演算結果)を取得すると共に、動画像符号化処理の対象画像となる予測参照画像の取得時刻に近い時刻の画像に対して行われた静止画像符号化処理で生成された符号化情報(即ちDCT演算結果)を取得する(ステップS302)。続いて、2つのDCT演算結果の差分を計算する(ステップS303)。
First, the attention area set by the attention
次に、ステップS303で計算された差分結果から、動画像符号化処理の符号化タイプを決定する(ステップS304)。上記ステップS301からステップS304の処理を符号化対象画像領域全体に実施する(ステップS305)。次に、ステップS304で決定した符号化タイプを動画像符号化処理の符号化タイプとして指定し、動画像符号化処理の実行を指示する(ステップS306)。 Next, the coding type of the moving image coding process is determined from the difference result calculated in step S303 (step S304). The processing from step S301 to step S304 is performed on the entire encoding target image area (step S305). Next, the encoding type determined in step S304 is designated as the encoding type of the moving image encoding process, and execution of the moving image encoding process is instructed (step S306).
なお、ステップS301で行われる重複領域の確認について、動画像符号化処理対象画像の注目領域のサイズが、静止画像符号化対象画像の注目領域サイズと比べて小さく、静止画像符号化対象画像の注目領域に含まれている場合には動画像符号化処理対象画像の注目領域を重複領域とすることが考えられる。 Regarding the confirmation of the overlapping area performed in step S301, the size of the attention area of the moving image encoding target image is smaller than the attention area size of the still image encoding target image, and the attention of the still image encoding target image is reduced. If it is included in the region, it is conceivable that the attention region of the moving image encoding processing target image is set as the overlapping region.
また、動画像符号化処理対象画像の注目領域サイズが静止画像符号化対象画像の注目領域サイズと比べて大きく、静止画像符号化対象画像の注目領域が動画像符号化処理対象画像の注目領域に含まれている場合には、重複領域で判定された符号化タイプを動画像符号化処理対象画像内の重複する領域にのみ適用するようにしても良いし、動画像符号化処理対象画像全体に適用しても良い。また、動画像符号化処理対象画像の注目領域と、静止画像符号化対象画像の注目領域とが重複しない場合には、重複領域が無いものとして以降のステップを行わなくても良いし、静止画像符号化対象画像の注目領域を重複領域として以降のステップを行っても良い。 In addition, the attention area size of the moving image encoding target image is larger than the attention area size of the still image encoding target image, and the attention area of the still image encoding target image becomes the attention area of the moving image encoding target image. If it is included, the coding type determined in the overlapping region may be applied only to the overlapping region in the moving image encoding process target image, or may be applied to the entire moving image encoding process target image. It may be applied. In addition, when the attention area of the moving image encoding target image and the attention area of the still image encoding target image do not overlap, it is not necessary to perform the subsequent steps assuming that there is no overlapping area. The subsequent steps may be performed with the attention area of the encoding target image as an overlapping area.
なお、上記例では、ステップS304で決定した動画像符号化処理の符号化タイプを注目領域に適用することを前提に説明したが、ステップS304で決定した動画像符号化処理の符号化タイプを符号化対象画像全体に適用することにしても良い。 In the above example, the description has been made on the assumption that the encoding type of the moving image encoding process determined in step S304 is applied to the attention area. However, the encoding type of the moving image encoding process determined in step S304 is encoded. It may be applied to the entire image to be converted.
このように本実施の形態の画像符号化装置300によれば、動画像符号化処理の符号化対象画像の注目領域における変化を推定して注目領域の動画像符号化処理の符号化パラメータを制御するので、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することが可能となる。 As described above, according to the image encoding device 300 of the present embodiment, the change in the attention area of the image to be encoded in the moving image encoding process is estimated to control the encoding parameter of the moving image encoding process in the attention area. Therefore, it is possible to suppress frame dropping and image quality degradation due to an increase in the amount of generated codes during moving image encoding.
(実施の形態4)
図7は、本発明の実施の形態4に係る画像符号化装置の概略構成を示すブロック図である。なお、この図において上述した図1と共通する構成部分には同一符号を付してその説明を省略する。
(Embodiment 4)
FIG. 7 is a block diagram showing a schematic configuration of an image coding apparatus according to Embodiment 4 of the present invention. In this figure, the same components as those in FIG. 1 described above are denoted by the same reference numerals and description thereof is omitted.
図7において、本実施の形態の画像符号化装置400は、上述した実施の形態1の画像符号化装置100と同じ構成の他に、静止画像符号化部104の出力する符号化情報に加えて静止画像符号化処理時の発生符号量情報と静止画像符号化処理時に使用した量子化パラメータ情報とを追加する静止画像符号化部401と、静止画像符号化部401により生成される符号化情報を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行と量子化パラメータを制御する機能を追加する符号化制御部402とを備えている。
In FIG. 7, the image coding apparatus 400 according to the present embodiment has the same configuration as that of the image coding apparatus 100 according to the first embodiment described above, in addition to the coding information output from the still
静止画像符号化部401は、画像を入力しDCT演算処理を使用する静止画像符号化を行って符号化データと符号化情報(DCT演算結果、発生符号量情報、使用した量子化パラメータ情報)を生成する。符号化制御部402は、静止画像符号化部401により生成される符号化情報を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行と量子化パラメータを制御する。
The still
なお、図7では、動画像符号化部103及び静止画像符号化部401をそれぞれ1つずつ示しているが、それぞれ複数あっても構わない。
In FIG. 7, one moving
以上のように構成された画像符号化装置400の動作について説明する。なお図1と共通する動作部分には、図1と同一符号を付して説明を省略する。 The operation of the image coding apparatus 400 configured as described above will be described. 1 are denoted by the same reference numerals as those in FIG. 1 and description thereof is omitted.
静止画像符号化部401では、入力された画像を静止画像符号化し、符号化データと符号化情報としてDCT演算結果と発生符号量情報と使用した量子化パラメータ情報を生成する。符号化制御部402は静止画像符号化部401で生成されたDCT演算結果と発生符号量情報と使用した量子化パラメータ情報を基に動画像符号化部103の動画像符号化処理の符号化タイプ及び符号化実行と量子化パラメータを制御する。
The still
続いて、図8のフローチャートを用いて、符号化制御部402が行う動画像符号化処理の制御について、下記に説明する。なお、図2のフローチャートと共通する動作部分には、図2と同一符号を付して説明を省略する。
Next, control of the moving image encoding process performed by the
前述したステップS101〜ステップS103の処理を行った後、ステップS103で決定した符号化タイプを確認する(ステップS401)。インター符号化と決定された場合には、ステップS104に示す動画像符号化処理の実行を指示し、イントラ符号化と決定された場合には符号化タイプ決定に使用されたDCT演算結果に対応する発生符号量情報と量子化パラメータ情報を取得する(ステップS402)。 After performing the processing of steps S101 to S103 described above, the encoding type determined in step S103 is confirmed (step S401). If it is determined to be inter-coding, execution of the moving image encoding process shown in step S104 is instructed, and if it is determined to be intra-encoding, it corresponds to the DCT calculation result used for determining the encoding type. Generated code amount information and quantization parameter information are acquired (step S402).
次に、イントラ符号化として動画像符号化処理を行った場合の発生符号量を予測する(ステップS403)。予測符号量の算出には、静止画像符号化時の発生符号量を基準として、静止画像符号化処理と動画像符号化処理が同じ量子化パラメータを使用したと仮定し、更に圧縮効率を考慮することにより算出する方法が考えられる。 Next, the generated code amount when the moving image encoding process is performed as the intra encoding is predicted (step S403). For the calculation of the prediction code amount, it is assumed that the same quantization parameter is used for the still image encoding process and the moving image encoding process with reference to the generated code amount at the time of still image encoding, and the compression efficiency is further considered. The method of calculating by this can be considered.
なお、圧縮効率は、静止画像符号化処理と動画像符号化処理のそれぞれで用いられるエントロピー符号化効率の比率によるものが考えられる。また、静止画像符号化処理対象画像の画像サイズと動画像符号化処理対象画像の画像サイズが異なる場合には画像サイズの比により予測符号量を調整する。 Note that the compression efficiency may be based on the ratio of the entropy encoding efficiency used in each of the still image encoding process and the moving image encoding process. When the image size of the still image encoding process target image is different from the image size of the moving image encoding process target image, the prediction code amount is adjusted by the ratio of the image sizes.
次に、ステップS403で算出された予測符号量と動画像符号化処理で発生可能な符号量の閾値とを比較する(ステップS404)。この場合、比較に用いる閾値は符号化制御部402内で予め保持しているものであっても良いし、外部から設定されるものであっても良い。閾値よりもよりも大きい場合には動画像符号化処理をスキップし、閾値よりも小さい場合には量子化パラメータを調整し(ステップS405)、ステップS104に示す動画像符号化処理の実行を指示する。なお、量子化パラメータの調整には、ステップS403で算出された予測符号量と静止画像符号化処理時に使用された量子化パラメータを基準に調整することが考えられる。
Next, the prediction code amount calculated in step S403 is compared with the threshold value of the code amount that can be generated by the moving image encoding process (step S404). In this case, the threshold used for comparison may be stored in advance in the
このように本実施の形態の画像符号化装置400によれば、画像の変化が大きく、動画像符号化対象画像をイントラ符号化すると判断される場合、静止画像符号化部401で生成される符号量情報と量子化パラメータから動画像符号化処理で発生する符号量を予測して動画像符号化処理を制御するので、動画像符号化時の発生符号量増加による駒落ちや画質劣化を抑制することが可能となる。
As described above, according to the image coding apparatus 400 of the present embodiment, when it is determined that the image change is large and the moving image coding target image is to be intra-coded, the code generated by the still
なお、上記実施の形態1乃至実施の形態4の画像符号化装置は、動画像符号化処理及び静止画像符号化処理により生成される符号化データを通信回線経由で外部へ送信することを前提としていたが、符号化部の内部又は外部の記録媒体に蓄積するようにする構成であっても良い。 Note that the image coding apparatuses according to Embodiments 1 to 4 are premised on transmitting encoded data generated by moving image encoding processing and still image encoding processing to the outside via a communication line. However, it may be configured to store in a recording medium inside or outside the encoding unit.
また、上記実施の形態1乃至実施の形態4の画像符号化装置は、複数の画像符号化手段が動画像符号化部103と静止画像符号化部104であることを前提に説明したが、いずれの画像符号化手段も共に動画像符号化部103のみであったとしても、符号化情報を生成し出力する動画像符号化部がイントラ符号化として動画像符号化されている場合には同様の効果が得られる。
Further, the image coding apparatuses according to Embodiments 1 to 4 have been described on the assumption that the plurality of image coding units are the moving
本発明は、動画像符号化と静止画像符号化を並行して行う場合に、静止画像符号化処理で生成される符号化情報を用いて、動画像符号化処理の符号化パラメータを制御することができるという効果を有し、監視カメラ等に利用される画像符号化装置として有用である。 The present invention controls encoding parameters of moving image encoding processing using encoding information generated by still image encoding processing when moving image encoding and still image encoding are performed in parallel. This is useful as an image encoding device used for surveillance cameras and the like.
100、200、300、400 画像符号化装置
101 撮像部
102 画像入力部
103 動画像符号化部
104、401 静止画像符号化部
105 送信部
106、202、302、402 符号化制御部
107 通信回線
201 切出部
301 注目領域設定部
100, 200, 300, 400
Claims (9)
複数の前記画像符号化手段のうち少なくとも1つの画像符号化手段が行った画像符号化結果を前記符号化情報として、前記符号化情報により他の前記画像符号化手段が行う符号化処理の符号化パラメータを制御する符号化制御手段と、
を備える画像符号化装置。 A plurality of image encoding means for encoding an image to generate encoded data and encoding information;
Encoding of the encoding process performed by the other image encoding means based on the encoding information, using the image encoding result performed by at least one image encoding means among the plurality of image encoding means as the encoding information Encoding control means for controlling the parameters;
An image encoding device comprising:
複数の前記画像符号化手段のうち少なくとも1つは符号化処理の一部として離散コサイン変換演算処理を行い、この離散コサイン変換演算処理による結果を前記符号化情報として、この符号化情報により他の前記画像符号化手段が行う符号化処理の符号化パラメータを制御する符号化制御手段と、
を備える画像符号化装置。 A plurality of image encoding means for encoding an image to generate encoded data and encoding information;
At least one of the plurality of image encoding means performs a discrete cosine transform calculation process as a part of the encoding process, and the result of the discrete cosine transform calculation process is used as the encoded information, and the encoded information is used as another code information. Encoding control means for controlling encoding parameters of encoding processing performed by the image encoding means;
An image encoding device comprising:
前記符号化制御手段は、前記画像の切出位置に応じて前記画像符号化手段が行う符号化処理の符号化パラメータを制御する請求項1又は請求項2に記載の画像符号化装置。 A clipping means for cutting out part or all of an image is provided,
The image coding apparatus according to claim 1, wherein the coding control unit controls a coding parameter of a coding process performed by the image coding unit according to a cutout position of the image.
前記符号化制御手段は、前記画像中の注目領域に応じて前記画像符号化手段が行う符号化処理の符号化パラメータを制御する請求項1又は請求項2に記載の画像符号化装置。 An attention area setting means for setting an attention area in an image is provided,
The image coding apparatus according to claim 1, wherein the coding control unit controls a coding parameter of a coding process performed by the image coding unit according to a region of interest in the image.
前記符号化制御手段は、前記発生符号量情報と前記量子化パラメータに応じて前記画像符号化手段が行う符号化処理の符号化パラメータを制御する請求項1乃至請求項4のいずれかに記載の画像符号化装置。 The encoding information includes generated code amount information generated during the image encoding process and quantization parameter information used during the image encoding process,
5. The encoding control unit according to claim 1, wherein the encoding control unit controls an encoding parameter of an encoding process performed by the image encoding unit according to the generated code amount information and the quantization parameter. Image encoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005123833A JP2006303987A (en) | 2005-04-21 | 2005-04-21 | Image encoder and image encoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005123833A JP2006303987A (en) | 2005-04-21 | 2005-04-21 | Image encoder and image encoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006303987A true JP2006303987A (en) | 2006-11-02 |
Family
ID=37471736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005123833A Withdrawn JP2006303987A (en) | 2005-04-21 | 2005-04-21 | Image encoder and image encoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006303987A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010041389A1 (en) * | 2008-10-07 | 2010-04-15 | パナソニック株式会社 | Video signal encoding device and imaging device |
WO2012042701A1 (en) * | 2010-09-28 | 2012-04-05 | パナソニック株式会社 | Multi-stream encoding control device and camera system |
JP2013191928A (en) * | 2012-03-12 | 2013-09-26 | Mega Chips Corp | Image processing apparatus |
-
2005
- 2005-04-21 JP JP2005123833A patent/JP2006303987A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010041389A1 (en) * | 2008-10-07 | 2010-04-15 | パナソニック株式会社 | Video signal encoding device and imaging device |
WO2012042701A1 (en) * | 2010-09-28 | 2012-04-05 | パナソニック株式会社 | Multi-stream encoding control device and camera system |
JP2013191928A (en) * | 2012-03-12 | 2013-09-26 | Mega Chips Corp | Image processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20050074286A (en) | Image encoding device, image encoding method and image encoding program | |
JP5133290B2 (en) | Video encoding apparatus and decoding apparatus | |
JP6149707B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture coding program, and moving picture photographing apparatus | |
KR20150009578A (en) | Motion sensor assisted rate control for video encoding | |
JP2010130558A (en) | Video encoding apparatus and video encoding method | |
JP6707334B2 (en) | Method and apparatus for real-time encoding | |
CN114500787A (en) | Generating substitute image frames based on camera motion | |
JP4257655B2 (en) | Video encoding device | |
JP5649296B2 (en) | Image encoding device | |
JP2006303987A (en) | Image encoder and image encoding method | |
JP4826533B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2005295215A (en) | Moving image encoding device | |
KR101678138B1 (en) | Video encoding method, device, and program | |
JP6182888B2 (en) | Image encoding device | |
JP4533089B2 (en) | Movie data generator | |
JP2007336005A (en) | Image coding apparatus and image coding method | |
JP4700992B2 (en) | Image processing device | |
JP2006197006A (en) | Moving image coding apparatus | |
JP2007228101A (en) | Dynamic-image coding equipment | |
US8761530B2 (en) | Apparatus and method to control target code amount | |
JP2008153802A (en) | Moving picture encoding device and moving picture encoding program | |
JP2006180200A (en) | Monitoring device | |
JP2018129688A (en) | Video encoding device, video encoding/decoding system, and video encoding program | |
JP2005184495A (en) | Moving picture encoding apparatus and method therefor | |
JP2008258769A (en) | Image encoding device and control method thereof, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080701 |