JP2017098919A - Image encoder, image encoding method, and program - Google Patents

Image encoder, image encoding method, and program Download PDF

Info

Publication number
JP2017098919A
JP2017098919A JP2015232523A JP2015232523A JP2017098919A JP 2017098919 A JP2017098919 A JP 2017098919A JP 2015232523 A JP2015232523 A JP 2015232523A JP 2015232523 A JP2015232523 A JP 2015232523A JP 2017098919 A JP2017098919 A JP 2017098919A
Authority
JP
Japan
Prior art keywords
image
encoding
region
light scattering
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015232523A
Other languages
Japanese (ja)
Inventor
陽佑 越前谷
Yosuke Echizenya
陽佑 越前谷
大川 浩司
Koji Okawa
浩司 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015232523A priority Critical patent/JP2017098919A/en
Publication of JP2017098919A publication Critical patent/JP2017098919A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image encoder capable of irreversible encoding in a manner that the image quality in a light scattering area is improved in a processing image which has been subjected to an image processing on a decoded image to reduce influences light scattering.SOLUTION: An imaging unit 101 on an image encoder 100 acquires an image. An encoding control unit 103 identifies a light scattering area in the image acquired by the imaging unit 101 and determines a parameter used for irreversible encoding so that the code amount in the identified area is larger than the code amount in the area when the area is not identified. An encoding part 104 irreversibly encodes the image acquired by the imaging unit 101 using the parameter determined by the encoding control unit 103.SELECTED DRAWING: Figure 1

Description

本発明は、画像の符号化において符号量を制御する技術に関する。   The present invention relates to a technique for controlling a code amount in image encoding.

撮像装置によって屋外を撮影する場合に、大気中の霧や煙や浮遊物などによって光が散乱する影響で、撮像された画像の明瞭さが損なわれてしまうことがある。特許文献1には、画像内における光の散乱の影響を画像処理によって軽減する技術が記載されている。   When shooting outdoors with an imaging device, the clarity of captured images may be impaired due to the effect of light scattering due to fog, smoke, or floating substances in the atmosphere. Patent Document 1 describes a technique for reducing the influence of light scattering in an image by image processing.

一方、動画像の圧縮記録やネットワークを介した配信に用いられる符号化方式として、H.264/MPEG−4 AVC(以下H.264)が知られている。H.264においては、画像をマクロブロックと呼ばれるブロック単位で符号化するが、そのマクロブロック毎に量子化パラメータが可変であり、量子化パラメータを変更することで量子化ステップサイズを制御できる。特許文献2には、量子化ステップサイズを制御することによって、マクロブロックに割り当てる符号量を変えて画質を制御することが記載されている。   On the other hand, as an encoding method used for compressed recording of moving images and distribution via a network, H.264 is used. H.264 / MPEG-4 AVC (hereinafter referred to as H.264) is known. H. In H.264, an image is encoded in units of blocks called macroblocks. The quantization parameter is variable for each macroblock, and the quantization step size can be controlled by changing the quantization parameter. Patent Document 2 describes that the image quality is controlled by changing the code amount allocated to the macroblock by controlling the quantization step size.

具体的には、特許文献2に記載の符号化制御方法では、符号化する画像の各マクロブロックの輝度平均値、色差の平均値、輝度の分散値、及び動きベクトル量の平均値等の評価値を乗算して符号化難易度を計算し、各マクロブロックに符号量を割り当てる。そしてその割り当てた符号量に応じて量子化ステップサイズを制御し、非可逆符号化を行う。この方法では、色差の平均値、輝度の分散値、及び動きベクトル量の平均値が仮に同じだとすると、輝度平均値が高いマクロブロックほど割り当てる符号量を少なくする。これは、人間の目が高輝度領域での符号化ノイズを認識しにくいためである。よって、例えば画像内に霧や煙や浮遊物などによる光の散乱の影響を受けた高輝度の光散乱領域が存在する場合、これらの領域に割り当てられる符号量は少なくなる。   Specifically, in the encoding control method described in Patent Document 2, evaluation of the luminance average value, the color difference average value, the luminance variance value, the motion vector amount average value, and the like of each macroblock of the image to be encoded is performed. The encoding difficulty level is calculated by multiplying the values, and a code amount is assigned to each macroblock. The quantization step size is controlled according to the allocated code amount, and lossy encoding is performed. In this method, assuming that the average value of color differences, the variance value of luminance, and the average value of motion vector amounts are the same, the code amount to be allocated is reduced as the macroblock has a higher luminance average value. This is because it is difficult for human eyes to recognize encoding noise in a high luminance region. Therefore, for example, when there are high-intensity light scattering regions in the image affected by light scattering due to fog, smoke, floating objects, etc., the amount of code assigned to these regions is reduced.

米国特許第8340461号明細書US Pat. No. 8,340,461 特開平9−18872号公報JP-A-9-18872

しかしながら、非可逆符号化された画像を復号化した後に光の散乱の影響を軽減する画像処理を行った場合に、処理画像内の光散乱領域において十分な画質が得られない場合がある。例えば、特許文献2に記載の方法で非可逆符号化された画像を復号化し、特許文献1に記載の画像処理を行った場合に、処理画像内の光散乱領域において非可逆符号化によるブロックノイズや偽色が目立ってしまうことがある。   However, when image processing that reduces the influence of light scattering after decoding an irreversible encoded image is performed, sufficient image quality may not be obtained in the light scattering region in the processed image. For example, when an image that has been irreversibly encoded by the method described in Patent Document 2 is decoded and image processing described in Patent Document 1 is performed, block noise due to irreversible encoding in a light scattering region in the processed image And false colors may be noticeable.

本発明は上記課題に鑑みてなされたものであり、復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行うための技術を提供することを目的とする。   The present invention has been made in view of the above problems, and the image quality of the light scattering region in the processed image in which the image processing for reducing the influence of light scattering on the image after decoding is improved is improved. An object of the present invention is to provide a technique for performing lossy encoding.

上記課題を解決するため、本発明の画像符号化装置は、例えば以下の構成を備える。すなわち、画像を取得する取得手段と、前記取得手段が取得した画像内の光散乱領域を特定する特定手段と、前記特定手段が特定した領域の符号量が、前記特定手段により特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定手段と、前記決定手段が決定したパラメータを用いて、前記取得手段が取得した画像を非可逆符号化する符号化手段とを有する。   In order to solve the above problems, an image encoding apparatus according to the present invention has, for example, the following configuration. That is, an acquisition unit that acquires an image, a specifying unit that specifies a light scattering region in the image acquired by the acquiring unit, and a code amount of the region specified by the specifying unit is not specified by the specifying unit. A determination unit that determines a parameter used for lossy encoding so that the code amount of the region is larger, and a code that performs lossy encoding of the image acquired by the acquisition unit using the parameter determined by the determination unit Means.

本発明によれば、復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行うことができる。   According to the present invention, it is possible to perform lossy encoding so that the image quality of a light scattering region in a processed image obtained by performing image processing for reducing the influence of light scattering on a decoded image is improved. it can.

実施形態に係る、画像符号化装置100の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus 100 based on embodiment. 実施形態に係る、画像符号化装置100の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the image coding apparatus 100 based on Embodiment. 実施形態に係る、重要領域を特定する場合の画像符号化装置100の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus 100 in the case of specifying an important area | region based on embodiment. 実施形態に係る、重要領域を特定する場合の画像符号化装置100の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the image coding apparatus 100 in the case of specifying an important area | region based on embodiment. 実施形態に係る、入力画像と重要領域との関係を説明するための図である。It is a figure for demonstrating the relationship between the input image and important area based on embodiment. 実施形態に係る、コンピュータプログラムを実行する場合の画像符号化装置100のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the image coding apparatus 100 in the case of performing the computer program based on embodiment.

以下、図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものではなく、また、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。   Hereinafter, the present invention will be described in detail based on the embodiments with reference to the drawings. The following embodiments do not limit the present invention according to the scope of claims, and all combinations of features described in the following embodiments are not necessarily essential to the present invention.

図1は、本実施形態に係る、画像符号化装置100の構成を示すブロック図である。図1に示すように画像符号化装置100は、撮像部101、参照画像生成部102(以下、生成部102)、符号化制御部103、符号化部104、及びビットレート設定部105を備える。図1の各処理部は1つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。なお、画像符号化装置100が上記の構成要素の全てを備えることは必須でない。   FIG. 1 is a block diagram illustrating a configuration of an image encoding device 100 according to the present embodiment. As illustrated in FIG. 1, the image encoding device 100 includes an imaging unit 101, a reference image generation unit 102 (hereinafter, generation unit 102), an encoding control unit 103, an encoding unit 104, and a bit rate setting unit 105. Each processing unit in FIG. 1 may be configured by a single physical circuit or may be configured by a plurality of circuits. Note that it is not essential that the image encoding device 100 includes all of the above-described components.

撮像部101によって撮像された画像は生成部102及び符号化部104に入力される。生成部102は撮像部101で撮像された画像を元に符号化制御用の参照画像を生成し、符号化制御部103に出力する。生成部102が生成する参照画像は、例えば霧や煙や浮遊物の濃度を示す画像といった、光の散乱の度合いを表す画像などである。符号化制御部103は入力された参照画像を参照し、量子化パラメータを決定する。符号化部104は符号化制御部103が決定した量子化パラメータに基づいて、撮像部101から入力された画像を非可逆符号化する。符号化部104から出力される符号化済み画像データ(符号化ストリーム)はネットワークを介して送信されるか又は種々の記憶媒体に記憶される。ビットレート設定部105は、ネットワークもしくはビットレート設定部105が備えるユーザーインタフェースを介して、符号化部104から出力される符号化ストリームのビットレートの上限を設定する。ビットレート設定部105は設定した上限ビットレートを符号化制御部103に通知し、符号化制御部103は通知された上限ビットレートに応じて符号化部104を制御する。   An image captured by the imaging unit 101 is input to the generation unit 102 and the encoding unit 104. The generation unit 102 generates a reference image for encoding control based on the image captured by the imaging unit 101 and outputs the reference image to the encoding control unit 103. The reference image generated by the generation unit 102 is, for example, an image representing the degree of light scattering, such as an image showing the concentration of fog, smoke, or suspended matter. The encoding control unit 103 refers to the input reference image and determines a quantization parameter. The encoding unit 104 performs lossy encoding on the image input from the imaging unit 101 based on the quantization parameter determined by the encoding control unit 103. The encoded image data (encoded stream) output from the encoding unit 104 is transmitted via a network or stored in various storage media. The bit rate setting unit 105 sets an upper limit of the bit rate of the encoded stream output from the encoding unit 104 via a network or a user interface included in the bit rate setting unit 105. The bit rate setting unit 105 notifies the set upper limit bit rate to the encoding control unit 103, and the encoding control unit 103 controls the encoding unit 104 according to the notified upper limit bit rate.

本実施形態における画像符号化装置100は、ネットワークカメラとして構成される。ここで、画像符号化装置100が撮像した画像に光散乱領域が含まれる場合を考える。本実施形態における光散乱領域は、大気中の霧や煙や浮遊物などによる光の散乱の影響、又は水中における光の散乱の影響が表れている領域である。画像内の光散乱領域には、例えばコントラストの低下や解像感の減少などの画質の劣化が生じる。このような画像内における光の散乱の影響を軽減する画像処理を、本実施形態では光散乱除去と呼ぶ。   The image encoding device 100 in the present embodiment is configured as a network camera. Here, consider a case where the image captured by the image encoding device 100 includes a light scattering region. The light scattering region in the present embodiment is a region where the influence of light scattering due to fog, smoke, suspended matters, etc. in the atmosphere, or the influence of light scattering in water appears. In the light scattering region in the image, image quality deterioration such as a decrease in contrast and a decrease in resolution occurs. Such image processing that reduces the influence of light scattering in the image is referred to as light scattering removal in this embodiment.

仮に画像符号化装置100が撮像画像に対して光散乱除去を行ってから符号化し、符号化された画像を他の受信装置に送信することができれば、受信装置は受信した画像を復号化することで、光の散乱の影響が軽減された画像を取得することができる。しかしながら、画像の撮像、光散乱除去、符号化及び送信処理の全てを画像符号化装置100が行うと、画像符号化装置100の処理量が多くなってしまう。また、画像符号化装置100が光散乱除去の機能を備えていない場合もある。   If the image coding apparatus 100 performs coding after removing light scatter from the captured image and can transmit the coded image to another receiving apparatus, the receiving apparatus decodes the received image. Thus, an image in which the influence of light scattering is reduced can be acquired. However, if the image encoding apparatus 100 performs all of image capturing, light scattering removal, encoding, and transmission processing, the processing amount of the image encoding apparatus 100 increases. Further, the image encoding device 100 may not have a light scattering removal function.

一方、画像符号化装置100が撮像画像をそのまま非可逆符号化して送信し、受信装置がそれを受信して復号化した後に光散乱除去を行う場合、光散乱領域におけるブロックノイズや偽色が目立ってしまい十分な画質を得られない場合がある。そこで本実施形態の画像符号化装置100は、受信装置が復号化後の画像に対して光散乱除去を行った場合の光散乱領域の画質が向上されるように、撮像画像を十分な符号量で符号化して受信装置に送信する。ただし、画像符号化装置100はネットワークカメラに限定されるものではない。例えば、画像符号化装置100は撮像部101を備えず、外部の装置からネットワークを介して取得した画像に対して符号化処理を行ってもよい。   On the other hand, when the image coding apparatus 100 performs lossy coding of a captured image as it is and transmits it, and the receiving apparatus receives and decodes the captured image, block noise and false color in the light scattering area are conspicuous. In some cases, sufficient image quality cannot be obtained. In view of this, the image encoding device 100 according to the present embodiment has a sufficient code amount for a captured image so that the image quality of the light scattering region is improved when the reception device performs light scattering removal on the decoded image. Is encoded and transmitted to the receiving apparatus. However, the image encoding device 100 is not limited to a network camera. For example, the image encoding apparatus 100 may not include the imaging unit 101 and may perform an encoding process on an image acquired from an external apparatus via a network.

以下、本実施形態の画像符号化装置100の動作を詳細に説明する。図2は、画像符号化装置100の動作を説明するためのフローチャートである。図2の処理は、画像符号化装置100に対して撮像を開始するための指示が行われたタイミングで開始される。ただし、図2の処理の開始タイミングは上記タイミングに限定されない。   Hereinafter, the operation of the image encoding device 100 of the present embodiment will be described in detail. FIG. 2 is a flowchart for explaining the operation of the image coding apparatus 100. The process of FIG. 2 is started at a timing when an instruction for starting imaging is given to the image encoding device 100. However, the start timing of the processing in FIG. 2 is not limited to the above timing.

S201では、撮像部101が撮像により画像を取得する。本実施形態において撮像部101は動画を撮像するものとし、以後、撮像部101で撮像された動画の各フレームを入力画像と呼ぶ。ただしこれに限らず、撮像部101は静止画を撮像するものとしてもよく、その場合は撮像部101が撮像した静止画が入力画像となる。撮像により取得される入力画像は、例えばRGBやYUVなどの形式のカラー画像でもよいし、モノクロームの画像でもよい。   In S201, the imaging unit 101 acquires an image by imaging. In the present embodiment, the imaging unit 101 captures a moving image, and hereinafter, each frame of the moving image captured by the imaging unit 101 is referred to as an input image. However, the present invention is not limited to this, and the imaging unit 101 may capture a still image. In this case, the still image captured by the imaging unit 101 becomes the input image. The input image acquired by imaging may be a color image in a format such as RGB or YUV, or may be a monochrome image.

S202では、生成部102が、撮像部101が取得した入力画像から参照画像を生成する。本実施形態において生成部102は、撮像部101が取得した入力画像内の複数の処理対象画素それぞれに対して、その処理対象画素における複数の色成分の値とその処理対象画素の明るさとの少なくとも何れに基づく評価値を決定する。そして生成部102は、決定した評価値を画素値とする参照画像を生成する。   In S <b> 202, the generation unit 102 generates a reference image from the input image acquired by the imaging unit 101. In the present embodiment, for each of a plurality of processing target pixels in the input image acquired by the imaging unit 101, the generation unit 102 at least includes a plurality of color component values in the processing target pixel and the brightness of the processing target pixel. The evaluation value based on which is determined. Then, the generation unit 102 generates a reference image using the determined evaluation value as a pixel value.

例えば、生成部102は、入力画像内の処理対象画素の評価値を、その処理対象画素から所定範囲内に存在する画素におけるR値、G値及びB値のうちの最小値に応じて決定する。この方法で決定された評価値を画素値とする参照画像を、ダークチャネル画像と呼ぶ。ダークチャネル画像内の画素値が大きい画素に対応する入力画像内の画素(評価値が大きい画素)は、近傍画素におけるR値、G値及びB値の全てが大きく、光の散乱の影響が表れている可能性が高い。また例えば、生成部102は、入力画像内の処理対象画素の評価値を、その処理対象画素から所定範囲内に存在する画素の輝度に応じて決定する。この方法で決定された評価値を画素値とする参照画像を、輝度画像と呼ぶ。輝度画像内の画素値が大きい画素に対応する入力画像内の画素は、近傍画素における輝度が大きく、光の散乱の影響が表れている可能性が高い。上記の所定範囲は、1辺が複数の画素で構成される矩形の範囲であってもよいし、その他の形状であってもよい。例えば、処理対象画素から所定範囲内に存在する画素が、処理対象画素のみであってもよい。   For example, the generation unit 102 determines the evaluation value of the processing target pixel in the input image according to the minimum value among the R value, the G value, and the B value in the pixel existing within a predetermined range from the processing target pixel. . A reference image having an evaluation value determined by this method as a pixel value is called a dark channel image. Pixels in the input image (pixels with large evaluation values) corresponding to pixels with large pixel values in the dark channel image have large R values, G values, and B values in neighboring pixels, and the influence of light scattering appears. There is a high possibility. For example, the generation unit 102 determines the evaluation value of the processing target pixel in the input image according to the luminance of the pixel existing within a predetermined range from the processing target pixel. A reference image having an evaluation value determined by this method as a pixel value is called a luminance image. A pixel in the input image corresponding to a pixel having a large pixel value in the luminance image has a high luminance in the neighboring pixels and is highly likely to be affected by light scattering. The predetermined range may be a rectangular range including a plurality of pixels on one side, or may have other shapes. For example, the pixel existing within a predetermined range from the processing target pixel may be only the processing target pixel.

なお、参照画像はこれらに限らず、例えばダークチャネル画像の画素値と環境光の強度とに基づいて定まる画素値を有する、透過画像と呼ばれる画像であってもよいし、R値、G値及びB値の差など他の評価値に基づく画素値を有する画像であってもよい。また、本実施形態において参照画像はモノクローム画像であるものとするが、これに限定されない。例えば、参照画像の各画素が、ダークチャネル画像に対応する成分と環境光の強度に対応する成分との両方を含んでいてもよい。また、本実施形態において参照画像は入力画像と同じ解像度であるものとして説明するが、入力画像と参照画像の解像度が異なっていてもよい。   The reference image is not limited to these, and may be an image called a transmission image having a pixel value determined based on, for example, the pixel value of the dark channel image and the intensity of the ambient light, and may be an R value, a G value, and It may be an image having pixel values based on other evaluation values such as a difference in B values. In the present embodiment, the reference image is a monochrome image, but is not limited thereto. For example, each pixel of the reference image may include both a component corresponding to the dark channel image and a component corresponding to the intensity of the ambient light. In the present embodiment, the reference image is described as having the same resolution as the input image, but the resolution of the input image and the reference image may be different.

S203では、符号化制御部103が、生成部102が決定した評価値に基づく参照画像をもとに、撮像部101が取得した入力画像内の光散乱領域を特定する。本実施形態において画像符号化装置100は、撮像部101が取得した入力画像を複数の分割領域(マクロブロック)に分割し、分割領域毎に符号化を行う。そのため光散乱領域の特定には、入力画像内の各マクロブロックの位置に対応する、参照画像内の16×16画素の画素値を利用する。なお、本実施形態では各分割領域を16×16画素のマクロブロックとするが、分割領域のサイズはこれに限定されるものではなく、例えば8×8画素や32×32画素でもよく、32×16画素のように非対称でもよい。また参照画像が入力画像より小さい解像度の場合は適宜対応をとる。例えば、参照画像が入力画像の1/2の解像度の場合は、参照画像内の8×8画素が入力画像内の16×16画素のマクロブロックに対応する。   In S <b> 203, the encoding control unit 103 specifies a light scattering region in the input image acquired by the imaging unit 101 based on the reference image based on the evaluation value determined by the generation unit 102. In the present embodiment, the image encoding device 100 divides an input image acquired by the imaging unit 101 into a plurality of divided regions (macroblocks), and performs encoding for each divided region. Therefore, in order to specify the light scattering region, a pixel value of 16 × 16 pixels in the reference image corresponding to the position of each macroblock in the input image is used. In this embodiment, each divided region is a 16 × 16 pixel macroblock. However, the size of the divided region is not limited to this, and may be, for example, 8 × 8 pixels or 32 × 32 pixels. It may be asymmetric like 16 pixels. Further, when the reference image has a resolution smaller than that of the input image, appropriate measures are taken. For example, when the reference image has half the resolution of the input image, 8 × 8 pixels in the reference image correspond to a 16 × 16 pixel macroblock in the input image.

符号化制御部103は、入力画像の処理対象マクロブロックに対応する参照画像の16×16画素の一つ一つの画素値を閾値T1と大小比較し、比較結果が条件を満たす画素の数をカウントする。条件の内容は参照画像の生成方法によって異なる。16×16画素の全ての画素において閾値T1との比較が完了した時点でのカウント値を値S1とする。さらに符号化制御部103は、値S1と閾値T2との大小比較を行う。閾値T2との比較結果が条件を満たす場合、当該マクロブロックは光散乱領域に含まれると判定される。   The encoding control unit 103 compares each pixel value of 16 × 16 pixels of the reference image corresponding to the processing target macroblock of the input image with the threshold value T1, and counts the number of pixels that satisfy the comparison result. To do. The contents of the conditions vary depending on the reference image generation method. The count value at the time when the comparison with the threshold value T1 is completed in all the pixels of 16 × 16 pixels is set as a value S1. Furthermore, the encoding control unit 103 compares the value S1 with the threshold value T2. When the comparison result with the threshold value T2 satisfies the condition, it is determined that the macroblock is included in the light scattering region.

例えば参照画像がダークチャネル画像又は輝度画像である場合を考える。このとき符号化制御部103は、撮像部101が取得した入力画像を分割した複数の分割領域(マクロブロック)のうち、生成部102が決定した評価値が閾値T1以上である画素を所定数(閾値T2)以上含む分割領域を、光散乱領域と特定する。すなわち、ダークチャネル画像又は輝度画像において画素値が閾値以上の画素には光の散乱の影響が表れている可能性が高いため、このような画素を所定数以上含む16×16画素に対応するマクロブロックを光散乱領域とする。ただしこれに限らず、評価値の決定方法によっては、参照画像において画素値が閾値T1以下であるような画素の数を値S1としてもよいし、値S1が閾値T2以下であるようなマクロブロックを光散乱領域としてもよい。   For example, consider a case where the reference image is a dark channel image or a luminance image. At this time, the encoding control unit 103 determines a predetermined number of pixels whose evaluation value determined by the generation unit 102 is equal to or more than the threshold T1 among a plurality of divided regions (macroblocks) obtained by dividing the input image acquired by the imaging unit 101 ( The divided region including the threshold value T2) or more is specified as the light scattering region. That is, in a dark channel image or a luminance image, a pixel having a pixel value equal to or greater than a threshold is highly likely to be affected by light scattering. Therefore, a macro corresponding to 16 × 16 pixels including a predetermined number or more of such pixels. Let the block be a light scattering region. However, the present invention is not limited to this, and depending on the evaluation value determination method, the number of pixels having a pixel value equal to or less than the threshold value T1 in the reference image may be set as the value S1. May be used as a light scattering region.

なお、光散乱領域の特定方法はこれに限定されるものではない。例えば符号化制御部103は、分割領域内(マクロブロック内)の画素における評価値の平均や分散などの統計値を、その分割領域に対応する値S1としてもよい。そして例えばS1を平均値とした場合、S1が所定値以上(閾値T2以上)である分割領域を、光散乱領域と特定してもよい。この方法によれば、局所的に光の散乱の影響が強く表れている領域も特定することができる。また、参照画像の画素値と閾値T1との大小比較の結果に上記の統計値を組み合わせた値や、複数の統計値から求めた値を、値S1としてもよい。その他にも、符号化制御部103は、上記の参照画像を用いずに、入力画像の周波数特性などに基づいて光散乱領域を特定してもよい。   The method for specifying the light scattering region is not limited to this. For example, the encoding control unit 103 may use a statistical value such as an average or variance of evaluation values for pixels in a divided region (in a macroblock) as a value S1 corresponding to the divided region. For example, when S1 is an average value, a divided region where S1 is a predetermined value or more (threshold value T2 or more) may be specified as a light scattering region. According to this method, it is also possible to identify a region where the influence of light scattering appears strongly. In addition, a value obtained by combining the above statistical values with the result of size comparison between the pixel value of the reference image and the threshold value T1 or a value obtained from a plurality of statistical values may be used as the value S1. In addition, the encoding control unit 103 may specify the light scattering region based on the frequency characteristics of the input image without using the reference image.

S204では、符号化制御部103が、光散乱領域の特定結果に基づいて、マクロブロックの非可逆符号化に用いる量子化パラメータを決定する。ここで符号化制御部103は、光散乱領域であると特定された領域の符号化における量子化ステップサイズが、光散乱領域であると特定されない場合の同一領域の符号化における量子化ステップサイズよりも小さくなるように、量子化パラメータを決定する。これにより、光散乱領域であると特定された領域の符号量は、光散乱領域であると特定されない場合の同一領域の符号量よりも多くなる。符号量が多く割り当てられた領域の画像は、非可逆符号化による情報の欠落が少ないため、復号化された場合に符号化ノイズの少ない高品質な画像となる。   In S204, the encoding control unit 103 determines a quantization parameter used for lossy encoding of the macroblock based on the result of specifying the light scattering region. Here, the encoding control unit 103 uses the quantization step size in the encoding of the same region when the quantization step size in the region specified as the light scattering region is not specified as the light scattering region. The quantization parameter is determined so as to be smaller. Thereby, the code amount of the region specified as the light scattering region is larger than the code amount of the same region when it is not specified as the light scattering region. An image in a region to which a large amount of code is allocated has little loss of information due to lossy encoding, and thus becomes a high-quality image with little coding noise when decoded.

具体的な量子化パラメータの決定方法としては、例えば符号化制御部103が、光散乱領域である場合と違う場合のそれぞれに対応する値をルックアップテーブルに保存しておき、マクロブロックごとにテーブルを参照して量子化パラメータを決定してもよい。また、マクロブロックが光散乱領域に含まれるか否かの二値判定に基づいて量子化パラメータを決定する方法に限らず、ルックアップテーブルに複数の値を保存しておき、S203で求めた値S1に応じてそのテーブルを参照し量子化パラメータを決定してもよい。この方法によって、光散乱の影響の大きさを複数段階に区分けして量子化パラメータを決定することで、より詳細に符号量を制御することができる。さらに、ルックアップテーブルを用いずに量子化パラメータを算出する方法など、その他の方法により量子化パラメータが決定されてもよい。なお、本実施形態では符号化制御部103がマクロブロック単位で量子化パラメータを制御する場合を中心に説明するが、符号化制御部103は複数のマクロブロックをまとめたブロックに対する量子化パラメータを制御してもよい。
また、符号化制御部103が決定するパラメータは量子化パラメータに限らず、非可逆符号化に用いられて符号量を制御できるパラメータであればよい。例えば、符号化制御部103は、量子化テーブルの値を光散乱領域の特定結果に基づいて決定してもよい。また例えば、符号化制御部103は周波数の範囲に関するパラメータを決定し、符号化部104は画像の持つ情報のうちそのパラメータが示す範囲内の周波数成分に関する情報を除去して符号化を行ってもよい。
As a specific quantization parameter determination method, for example, the encoding control unit 103 stores a value corresponding to each of cases where the encoding control unit 103 is different from the light scattering region in a lookup table, and sets the table for each macroblock. The quantization parameter may be determined with reference to FIG. In addition, the method is not limited to the method of determining the quantization parameter based on the binary determination as to whether or not the macroblock is included in the light scattering region, but stores a plurality of values in the lookup table, and the value obtained in S203 The quantization parameter may be determined by referring to the table according to S1. By this method, the amount of light scattering is divided into a plurality of stages and the quantization parameter is determined, so that the code amount can be controlled in more detail. Furthermore, the quantization parameter may be determined by other methods such as a method of calculating the quantization parameter without using a lookup table. In this embodiment, the case where the encoding control unit 103 controls the quantization parameter in units of macroblocks will be mainly described. However, the encoding control unit 103 controls the quantization parameter for a block in which a plurality of macroblocks are collected. May be.
Also, the parameters determined by the encoding control unit 103 are not limited to quantization parameters, but may be parameters that can be used for lossy encoding and control the amount of codes. For example, the encoding control unit 103 may determine the value of the quantization table based on the result of specifying the light scattering region. Further, for example, the encoding control unit 103 may determine a parameter related to the frequency range, and the encoding unit 104 may perform encoding by removing information related to frequency components within the range indicated by the parameter from information included in the image. Good.

S205では、符号化部104が、符号化制御部103が決定した量子化パラメータを用いて、撮像部101が取得した入力画像を非可逆符号化する。そして符号化部104は、符号化した画像(符号化ストリーム)を外部の装置又は記憶媒体に送信する。本実施形態において符号化部104は符号化方式としてH.264を使用するものとするが、符号化方式はこれに限らず、非可逆符号化が行える方式であればよい。   In S <b> 205, the encoding unit 104 performs lossy encoding on the input image acquired by the imaging unit 101 using the quantization parameter determined by the encoding control unit 103. Then, the encoding unit 104 transmits the encoded image (encoded stream) to an external device or a storage medium. In this embodiment, the encoding unit 104 uses H.264 as an encoding method. H.264 is used, however, the encoding method is not limited to this, and any method that can perform lossy encoding may be used.

なお、ビットレート設定部105から符号化制御部103に上限ビットレートの通知があってもよい。このとき符号化制御部103は、符号化部104が出力する符号化ストリームのビットレートが通知された上限ビットレート内に収まるように符号化部104を制御する。この制御は、S204において決定される量子化パラメータをマクロブロックごとに調整することによって行われる。ただしこれに限らず、量子化パラメータの決定に用いるルックアップテーブルを上限ビットレートに応じて動画のフレームごとに再計算することによって、制御が行われてもよい。   The bit rate setting unit 105 may notify the encoding control unit 103 of the upper limit bit rate. At this time, the encoding control unit 103 controls the encoding unit 104 so that the bit rate of the encoded stream output from the encoding unit 104 falls within the notified upper limit bit rate. This control is performed by adjusting the quantization parameter determined in S204 for each macroblock. However, the present invention is not limited to this, and the control may be performed by recalculating a lookup table used for determining the quantization parameter for each frame of the moving image according to the upper limit bit rate.

以上説明したように、本実施形態における画像符号化装置100は、画像を取得し、取得した画像内の光散乱領域を特定する。さらに画像符号化装置100は、光散乱領域として特定した領域の符号量が、光散乱領域として特定されない場合の同一領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する。そして画像符号化装置100は、決定したパラメータを用いて、取得した画像を非可逆符号化する。これにより、霧領域や煙領域などの光散乱領域に対して非可逆符号化時に多くの符号量が割り当てられる。その結果、画像の復号化後に光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上される。   As described above, the image encoding device 100 according to the present embodiment acquires an image and identifies a light scattering region in the acquired image. Furthermore, the image encoding apparatus 100 determines parameters used for lossy encoding so that the code amount of the region specified as the light scattering region is larger than the code amount of the same region when not specified as the light scattering region. . Then, the image encoding device 100 performs lossy encoding of the acquired image using the determined parameters. Thereby, a large amount of code is assigned to the light scattering region such as the fog region and the smoke region at the time of irreversible encoding. As a result, the image quality of the light scattering region in the processed image that has been subjected to the image processing for reducing the influence of light scattering after the decoding of the image is improved.

なお、画像符号化装置100は入力画像内の重要領域を特定し、その特定結果に基づいて符号化における符号量を制御してもよい。以下、この場合の画像符号化装置100の構成及び動作について説明する。図3は、本実施形態に係る、重要領域を特定する場合の画像符号化装置100の構成を示すブロック図である。図1と同様の機能を持つブロックには同一の符号を付している。図1との違いは、画像符号化装置100が重要領域特定部301(以下、特定部301)を備えることである。   Note that the image coding apparatus 100 may identify an important region in the input image and control the coding amount in the coding based on the identification result. Hereinafter, the configuration and operation of the image encoding device 100 in this case will be described. FIG. 3 is a block diagram illustrating a configuration of the image encoding device 100 when an important region is specified according to the present embodiment. Blocks having the same functions as those in FIG. 1 are denoted by the same reference numerals. The difference from FIG. 1 is that the image encoding device 100 includes an important region specifying unit 301 (hereinafter, specifying unit 301).

特定部301は、撮像部101が取得する入力画像内の重要領域を特定する。重要領域は、例えば注目領域(ROI:Region of Interest)や、画像内の位置毎の重要度を表すマップによって定まる領域などである。以下では、特定部301が入力画像内の注目領域を特定するものとして説明をする。   The specifying unit 301 specifies an important region in the input image acquired by the imaging unit 101. The important region is, for example, a region of interest (ROI: Region of Interest) or a region determined by a map representing importance for each position in the image. In the following description, it is assumed that the specifying unit 301 specifies a region of interest in the input image.

注目領域は、例えば特定部301が入力画像に対して行う分析の結果に基づいて特定される。この分析の結果の内容は、例えば入力画像内の動体や人物などの所定のオブジェクトを検知する検知処理の結果である。動体や人物などの所定のオブジェクトが検知された領域は、復号化及び光散乱除去後に高画質であることが望まれる場合がある。そのため特定部301は、これらの領域を注目領域と特定する。ただし、分析結果の内容はこれらに限らない。また、特定部301は、画像符号化装置100上の設定機能を介したユーザーによる入力や、ネットワークを介した外部の装置からの入力に基づいて注目領域を特定してもよい。   The attention area is specified based on the result of analysis performed on the input image by the specifying unit 301, for example. The content of the result of this analysis is a result of detection processing for detecting a predetermined object such as a moving object or a person in the input image, for example. An area where a predetermined object such as a moving object or a person is detected may be desired to have high image quality after decoding and light scattering removal. Therefore, the identification unit 301 identifies these areas as attention areas. However, the contents of the analysis results are not limited to these. The specifying unit 301 may specify a region of interest based on a user input via a setting function on the image encoding device 100 or an input from an external device via a network.

次に図4のフローチャートを用いて、重要領域を特定する場合の画像符号化装置100の動作を説明する。図4の処理の開始タイミングは図2の処理と同様である。図2と同様の処理を行うステップには同一の符号を付している。以下、図2の処理との差異を中心に説明する。   Next, the operation of the image coding apparatus 100 when an important region is specified will be described using the flowchart of FIG. The start timing of the process in FIG. 4 is the same as that in FIG. Steps that perform the same processing as in FIG. 2 are given the same reference numerals. Hereinafter, the difference from the process of FIG. 2 will be mainly described.

S201では撮像部101が入力画像を取得する。S202では生成部102が参照画像を生成し、S203では符号化制御部103が入力画像内の光散乱領域を特定する。S401では、特定部301が入力画像内の注目領域を特定する。そして符号化制御部103が、特定部が特定した注目領域に基づいて、S203での光散乱領域の特定結果を補正する。なお、注目領域の特定は光散乱領域の特定よりも前に行われてもよいし、並行して行われてもよい。   In S201, the imaging unit 101 acquires an input image. In S202, the generation unit 102 generates a reference image, and in S203, the encoding control unit 103 specifies a light scattering region in the input image. In S401, the specifying unit 301 specifies a region of interest in the input image. Then, the encoding control unit 103 corrects the light scattering region specifying result in S203 based on the attention region specified by the specifying unit. Note that the region of interest may be specified before the light scattering region is specified, or may be performed in parallel.

特定結果の補正方法について図5を用いて説明する。図5では、符号化対象の入力画像500の内部に、複数のマクロブロック501と、注目領域502が示されている。符号化制御部103は、特定部301が特定した注目領域に基づいて、各マクロブロックが注目領域内に位置するかどうかを判定する。このとき符号化制御部103は、注目領域502内に位置するマクロブロックに関してはS203での特定結果を変更しない。一方、注目領域502内に位置しないマクロブロックに関しては、そのマクロブロックがS203で特定された光散乱領域に含まれていた場合、特定結果を補正し、そのマクロブロックは光散乱領域に含まれないものとして扱う。つまり、特定結果の補正を行った結果、符号化制御部103は、特定部301が特定した注目領域内の光散乱領域を特定することとなる。   A method of correcting the specific result will be described with reference to FIG. In FIG. 5, a plurality of macroblocks 501 and a region of interest 502 are shown inside the input image 500 to be encoded. The encoding control unit 103 determines whether each macroblock is located in the attention area based on the attention area specified by the specifying unit 301. At this time, the encoding control unit 103 does not change the identification result in S203 for the macroblock located in the attention area 502. On the other hand, for a macroblock not located in the attention area 502, if the macroblock is included in the light scattering area specified in S203, the specifying result is corrected, and the macroblock is not included in the light scattering area. Treat as a thing. That is, as a result of correcting the identification result, the encoding control unit 103 identifies the light scattering region within the attention region identified by the identifying unit 301.

なお、特定結果の補正方法はこれに限らない。例えば、符号化制御部103は、マクロブロックが注目領域502内か否かに応じてそれぞれ異なる係数W1とW2の何れかを選択し、S203で求めた値S1をその係数を用いて補正してもよい。この場合符号化制御部103は、補正した値S1を用いてそのマクロブロックが光散乱領域に含まれるか否かを判定し直す。図5では注目領域が一つの場合を図示しているが、注目領域は複数でもよく、その場合は注目領域ごとに異なる係数を補正に用いてもよい。   The correction method for the specific result is not limited to this. For example, the encoding control unit 103 selects one of the different coefficients W1 and W2 depending on whether or not the macroblock is in the attention area 502, and corrects the value S1 obtained in S203 using the coefficient. Also good. In this case, the encoding control unit 103 re-determines whether or not the macroblock is included in the light scattering region using the corrected value S1. Although FIG. 5 illustrates a case where there is one region of interest, there may be a plurality of regions of interest, and in that case, a different coefficient for each region of interest may be used for correction.

また、符号化制御部103は、光散乱領域を特定した結果を後で補正するのではなく、注目領域内のマクロブロックに対してだけS203の処理を行って、注目領域内の光散乱領域を特定してもよい。なお本実施形態においては、マクロブロック内の全ての画素が注目領域内に位置する場合にそのマクロブロックが注目領域内に位置すると判定するが、これに限らない。例えば、マクロブロック内の所定数の画素が注目領域内に位置する場合にそのマクロブロックが注目領域内に位置すると判定してもよい。   In addition, the encoding control unit 103 does not correct the result of specifying the light scattering region later, but performs the process of S203 only on the macroblock in the attention region to determine the light scattering region in the attention region. You may specify. In this embodiment, when all the pixels in the macroblock are located in the attention area, it is determined that the macroblock is located in the attention area. However, the present invention is not limited to this. For example, when a predetermined number of pixels in the macroblock are located in the attention area, it may be determined that the macroblock is located in the attention area.

S204では符号化制御部103が、S401で補正された光散乱領域の特定結果に基づいてマクロブロックの量子化パラメータを生成する。S205では符号化部104が、入力画像のマクロブロックの符号化を行い、符号化ストリームを送信する。   In S204, the coding control unit 103 generates a macroblock quantization parameter based on the light scattering region specification result corrected in S401. In S205, the encoding unit 104 encodes the macroblock of the input image and transmits the encoded stream.

以上説明したように、本実施形態における画像符号化装置100は、入力画像内の所定領域(注目領域)を特定し、その所定領域内の光散乱領域の符号量が多くなるように非可逆符号化に用いるパラメータを決定し、符号化を行ってもよい。これにより、画像全体の符号量が増大するのを抑制しつつ、重要な領域内の光散乱領域には符号量を多く割り当てて、復号化後の画像に光散乱の影響を軽減する画像処理を行った処理画像における重要領域の高画質化を実現することができる。   As described above, the image coding apparatus 100 according to the present embodiment identifies a predetermined region (region of interest) in the input image, and the irreversible code so that the code amount of the light scattering region in the predetermined region increases. The parameters used for conversion may be determined and encoding may be performed. As a result, image processing that reduces the influence of light scattering on the decoded image by allocating a large amount of code to the light scattering area in the important area while suppressing an increase in the code amount of the entire image. It is possible to improve the image quality of important areas in the processed image.

なお本実施形態では、入力画像内の各マクロブロックに対応する量子化パラメータを符号化制御部103が全て決定した後に、符号化部104が入力画像の符号化を始める場合を中心に説明したが、これに限らない。例えば、符号化制御部103は参照画像に基づいて、一つの処理対象マクロブロックが光散乱領域に該当するか否かを判定し、その判定結果に基づいて量子化パラメータを決定する。符号化部104はその量子化パラメータを用いて処理対象マクロブロックを符号化する。そして画像符号化装置100は、処理対象マクロブロックを変えながら上記の処理を繰り返すという方法をとってもよい。この方法によれば、符号化制御部103と符号化部104とが並行して処理を行うことができる場合、符号化に係る遅延を短縮することができる。   In the present embodiment, the description has focused on the case where the encoding unit 104 starts encoding the input image after the encoding control unit 103 has determined all the quantization parameters corresponding to each macroblock in the input image. Not limited to this. For example, the encoding control unit 103 determines whether one processing target macroblock corresponds to the light scattering region based on the reference image, and determines a quantization parameter based on the determination result. The encoding unit 104 encodes the processing target macroblock using the quantization parameter. The image encoding apparatus 100 may take a method of repeating the above processing while changing the processing target macroblock. According to this method, when the encoding control unit 103 and the encoding unit 104 can perform processing in parallel, the delay associated with encoding can be shortened.

また本実施形態では、符号化制御部103がマクロブロック内の全ての画素の評価値に基づいて、そのマクロブロックが光散乱領域に含まれるか否かを判定したが、これに限らず、マクロブロック内の特定の画素の評価値に基づいて判定を行ってもよい。また、符号化制御部103は、入力画像内の全てのマクロブロックではなく、特定のマクロブロックについて光散乱領域に含まれるか否かを判定してもよい。また本実施形態では、撮像部が撮像した動画の各フレームに対して図2又は図4の処理を行う場合を中心に説明したが、これに限らない。例えば、画像符号化装置100は所定数のフレームごとに量子化パラメータを決定し、その間の所定数のフレームは全て同じ量子化パラメータを使用して符号化してもよい。これらにより、画像符号化装置100の処理負荷を低減することができる。   In this embodiment, the encoding control unit 103 determines whether or not the macroblock is included in the light scattering region based on the evaluation values of all the pixels in the macroblock. The determination may be performed based on an evaluation value of a specific pixel in the block. The encoding control unit 103 may determine whether a specific macroblock is included in the light scattering region instead of all the macroblocks in the input image. In the present embodiment, the case where the processing of FIG. 2 or 4 is performed on each frame of the moving image captured by the imaging unit has been mainly described, but the present invention is not limited to this. For example, the image coding apparatus 100 may determine the quantization parameter for each predetermined number of frames, and may encode all the predetermined number of frames using the same quantization parameter. As a result, the processing load on the image encoding device 100 can be reduced.

上述の実施形態において、図1及び図3に示した各処理部は、ハードウェアで構成されているものとして説明した。しかし画像符号化装置100は、これらの図に示した一部または全部の処理部で行う図2及び図4に示した処理を、コンピュータプログラムを実行することで実現しても良い。以下、この場合の画像符号化装置100のハードウェアの構成例を、図6を用いて説明する。   In the above-described embodiment, each processing unit illustrated in FIGS. 1 and 3 has been described as being configured by hardware. However, the image encoding apparatus 100 may implement the processing shown in FIGS. 2 and 4 performed by some or all of the processing units shown in these drawings by executing a computer program. Hereinafter, a hardware configuration example of the image encoding device 100 in this case will be described with reference to FIG.

CPU601は、RAM602やROM603に格納されているコンピュータプログラムやデータを用いて装置全体の制御を行うと共に、上述の実施形態における画像符号化装置100が行う各処理を実行する。即ち、CPU601は、図1及び図3に示した各処理部として機能する。   The CPU 601 controls the entire apparatus using computer programs and data stored in the RAM 602 and the ROM 603, and executes each process performed by the image encoding apparatus 100 in the above-described embodiment. That is, the CPU 601 functions as each processing unit shown in FIGS.

RAM602は、外部記憶装置606からロードされたコンピュータプログラムやデータ、及びI/F(インターフェース)607を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM602は、CPU601が各種の処理を実行する際に用いるワークエリアを有する。例えば、RAM602は、画像を保存するピクチャメモリとして用いられる。   The RAM 602 has an area for temporarily storing computer programs and data loaded from the external storage device 606 and data acquired from the outside via an I / F (interface) 607. Further, the RAM 602 has a work area used when the CPU 601 executes various processes. For example, the RAM 602 is used as a picture memory that stores images.

ROM603には、画像符号化装置100の設定データや、ブートプログラムなどが格納されている。操作部604は、キーボードやマウスなどにより構成されており、ユーザーによる操作を受けて、各種の指示をCPU601に対して入力する。出力部605は、CPU601による処理結果を出力表示する。なお、出力部605は、例えば液晶ディスプレイ等の表示部で構成される。   The ROM 603 stores setting data of the image encoding device 100, a boot program, and the like. The operation unit 604 includes a keyboard, a mouse, and the like, and inputs various instructions to the CPU 601 in response to user operations. The output unit 605 outputs and displays the processing result by the CPU 601. The output unit 605 includes a display unit such as a liquid crystal display.

外部記憶装置606に保存されているコンピュータプログラムやデータは、CPU601による制御に従って、適宜RAM602にロードされ、CPU601による処理対象となる。I/F607には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、画像符号化装置100はこのI/F607を介して様々な情報を取得したり、送出したりすることができる。バス608は、上述の各部を繋いで情報を伝達する。   Computer programs and data stored in the external storage device 606 are appropriately loaded into the RAM 602 under the control of the CPU 601 and are processed by the CPU 601. The I / F 607 can be connected to a network such as a LAN or the Internet, and other devices such as a projection device and a display device, and the image encoding device 100 can acquire various information via the I / F 607. Can be sent out. The bus 608 connects the above-described units and transmits information.

画像符号化装置100が図6のように構成されている場合、図2及び図4で説明した処理は、CPU601がROM603に記憶されている制御プログラムを実行し、情報の演算及び加工、並びに各ハードウェアの制御を実行することにより実現される。   When the image encoding apparatus 100 is configured as shown in FIG. 6, the processing described with reference to FIGS. 2 and 4 is performed by the CPU 601 executing a control program stored in the ROM 603, calculating and processing information, This is realized by executing hardware control.

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC等)によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. Further, the program may be provided by being recorded on a computer-readable recording medium.

100 画像符号化装置
101 撮像部
103 符号化制御部
104 符号化部
DESCRIPTION OF SYMBOLS 100 Image coding apparatus 101 Imaging part 103 Coding control part 104 Coding part

Claims (14)

画像を取得する取得手段と、
前記取得手段が取得した画像内の光散乱領域を特定する特定手段と、
前記特定手段が特定した領域の符号量が、前記特定手段により特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定手段と、
前記決定手段が決定したパラメータを用いて、前記取得手段が取得した画像を非可逆符号化する符号化手段とを有することを特徴とする画像符号化装置。
An acquisition means for acquiring an image;
Specifying means for specifying a light scattering region in the image acquired by the acquiring means;
A determining unit that determines a parameter used for lossy encoding so that a code amount of the region specified by the specifying unit is larger than a code amount of the region not specified by the specifying unit;
An image encoding apparatus comprising: encoding means for irreversibly encoding the image acquired by the acquisition means using the parameter determined by the determination means.
前記取得手段が取得した画像内の複数の処理対象画素それぞれに対して、当該処理対象画素における複数の色成分の値と当該処理対象画素の明るさとの少なくとも何れかに基づく評価値を決定する第2決定手段を有し、
前記特定手段は、前記第2決定手段が決定した評価値に基づいて前記光散乱領域を特定することを特徴とする請求項1に記載の画像符号化装置。
For each of a plurality of processing target pixels in the image acquired by the acquisition unit, an evaluation value based on at least one of a plurality of color component values in the processing target pixel and brightness of the processing target pixel is determined. 2 determination means,
The image coding apparatus according to claim 1, wherein the specifying unit specifies the light scattering region based on the evaluation value determined by the second determining unit.
前記第2決定手段は、処理対象画素の評価値を、当該処理対象画素から所定範囲内に存在する画素におけるR値、G値及びB値のうちの最小値に応じて決定することを特徴とする請求項2に記載の画像符号化装置。   The second determining means determines an evaluation value of a processing target pixel according to a minimum value among R values, G values, and B values in pixels existing within a predetermined range from the processing target pixel. The image encoding device according to claim 2. 前記第2決定手段は、処理対象画素の評価値を、当該処理対象画素から所定範囲内に存在する画素の輝度に応じて決定することを特徴とする請求項2に記載の画像符号化装置。   The image coding apparatus according to claim 2, wherein the second determination unit determines an evaluation value of a processing target pixel according to a luminance of a pixel existing within a predetermined range from the processing target pixel. 前記特定手段は、前記取得手段が取得した画像を分割した複数の分割領域のうち、前記第2決定手段が決定した評価値が閾値以上である画素を所定数以上含む分割領域を、前記光散乱領域と特定することを特徴とする請求項3又は4に記載の画像符号化装置。   The specifying unit includes a plurality of divided regions obtained by dividing the image acquired by the acquiring unit, and a divided region including a predetermined number or more of pixels whose evaluation value determined by the second determining unit is equal to or greater than a threshold value. The image encoding device according to claim 3 or 4, wherein the image encoding device is specified as a region. 前記特定手段は、前記取得手段が取得した画像を分割した分割領域であって、当該分割領域内の画素における前記第2決定手段が決定した評価値の平均が所定値以上である分割領域を、前記光散乱領域と特定することを特徴とする請求項3又は4に記載の画像符号化装置。   The specifying unit is a divided region obtained by dividing the image acquired by the acquiring unit, and an average of evaluation values determined by the second determining unit in pixels in the divided region is a predetermined value or more. 5. The image encoding device according to claim 3, wherein the image encoding device is specified as the light scattering region. 前記光散乱領域は、大気中の霧、煙、及び浮遊物の少なくとも何れかによる光の散乱の影響、又は水中における光の散乱の影響が表れている領域であることを特徴とする請求項1乃至6の何れか1項に記載の画像符号化装置。   The light scattering region is a region in which an influence of light scattering due to at least one of fog, smoke, and suspended matter in the atmosphere, or an influence of light scattering in water appears. 7. The image encoding device according to any one of items 1 to 6. 前記決定手段は、前記特定手段が特定した領域の符号化における量子化ステップサイズが、前記特定手段により特定されない場合の当該領域の符号化における量子化ステップサイズよりも小さくなるように、非可逆符号化に用いる量子化パラメータを決定することを特徴とする請求項1乃至7の何れか1項に記載の画像符号化装置。   The deciding means is an irreversible code so that a quantization step size in encoding of the area specified by the specifying means is smaller than a quantization step size in encoding of the area when not specified by the specifying means. The image encoding apparatus according to claim 1, wherein a quantization parameter used for conversion is determined. 前記取得手段により取得される画像内の所定領域を、ユーザーによる入力、外部の装置からの入力、及び前記取得手段が取得した画像に対する分析の結果の少なくとも何れかに基づいて特定する第2特定手段を有し、
前記特定手段は、前記第2特定手段が特定した前記所定領域内の前記光散乱領域を特定することを特徴とする請求項1乃至8の何れか1項に記載の画像符号化装置。
Second specifying means for specifying a predetermined area in the image acquired by the acquiring means based on at least one of an input by a user, an input from an external device, and an analysis result on the image acquired by the acquiring means Have
9. The image encoding device according to claim 1, wherein the specifying unit specifies the light scattering region in the predetermined region specified by the second specifying unit. 10.
前記取得手段が取得した画像に対する分析の結果は、当該画像内の所定のオブジェクトを検知する検知処理の結果であることを特徴とする請求項9に記載の画像符号化装置。   The image encoding apparatus according to claim 9, wherein the result of analysis on the image acquired by the acquisition unit is a result of detection processing for detecting a predetermined object in the image. 画像を撮像する撮像手段と、
前記符号化手段が符号化した画像を外部の装置に送信する送信手段とを有し、
前記取得手段は、前記撮像手段が撮像した画像を取得することを特徴とする請求項1乃至10の何れか1項に記載の画像符号化装置。
An imaging means for capturing an image;
Transmission means for transmitting the image encoded by the encoding means to an external device,
The image encoding apparatus according to claim 1, wherein the acquisition unit acquires an image captured by the imaging unit.
画像を取得する取得工程と、
前記取得工程において取得された画像内の光散乱領域を特定する特定工程と、
前記特定工程において特定された領域の符号量が、前記特定工程において特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定工程と、
前記決定工程において決定されたパラメータを用いて、前記取得工程において取得された画像を非可逆符号化する符号化工程とを有することを特徴とする画像符号化方法。
An acquisition process for acquiring images;
A specific step of identifying a light scattering region in the image acquired in the acquisition step;
A determining step for determining parameters used for lossy encoding so that the code amount of the region specified in the specifying step is larger than the code amount of the region not specified in the specifying step;
An image encoding method comprising: an encoding step of irreversibly encoding the image acquired in the acquisition step using the parameter determined in the determination step.
前記取得工程において取得された画像内の複数の処理対象画素それぞれに対して、当該処理対象画素における複数の色成分の値と当該処理対象画素の明るさとの少なくとも何れかに基づく評価値を決定する第2決定工程を有し、
前記特定工程は、前記第2決定工程において決定された評価値に基づいて前記光散乱領域を特定することを特徴とする請求項12に記載の画像符号化方法。
For each of a plurality of processing target pixels in the image acquired in the acquisition step, an evaluation value based on at least one of a plurality of color component values in the processing target pixel and a brightness of the processing target pixel is determined. Having a second determination step;
13. The image encoding method according to claim 12, wherein the specifying step specifies the light scattering region based on the evaluation value determined in the second determination step.
コンピュータを、請求項1乃至11の何れか1項に記載の画像符号化装置として動作させるためのプログラム。   The program for operating a computer as an image coding apparatus of any one of Claims 1 thru | or 11.
JP2015232523A 2015-11-28 2015-11-28 Image encoder, image encoding method, and program Pending JP2017098919A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015232523A JP2017098919A (en) 2015-11-28 2015-11-28 Image encoder, image encoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232523A JP2017098919A (en) 2015-11-28 2015-11-28 Image encoder, image encoding method, and program

Publications (1)

Publication Number Publication Date
JP2017098919A true JP2017098919A (en) 2017-06-01

Family

ID=58817383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232523A Pending JP2017098919A (en) 2015-11-28 2015-11-28 Image encoder, image encoding method, and program

Country Status (1)

Country Link
JP (1) JP2017098919A (en)

Similar Documents

Publication Publication Date Title
US10638160B2 (en) Method and apparatus for a low complexity transform unit partitioning structure for HEVC
TWI519136B (en) A method, a data processing device and a system for adaptive filtering mechanism to remove encoding artifacts in video data
EP3014880B1 (en) Encoding video captured in low light
US20130169834A1 (en) Photo extraction from video
JP6300565B2 (en) Moving picture coding apparatus, program, and integrated circuit
US9854167B2 (en) Signal processing device and moving image capturing device
US8493499B2 (en) Compression-quality driven image acquisition and processing system
US20150382016A1 (en) Method for Processing Multi-Component Video and Images
WO2014139396A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP2006338170A (en) Information processor, dynamic image encoding method, information processing method and information processing program
TW201828708A (en) Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
WO2008047865A1 (en) Image quality evaluation method, image quality evaluation system and image quality evaluation program
JP2015050661A (en) Encoding apparatus, control method for encoding apparatus, and computer program
JP2013168739A (en) Image processing system and image processing method
CN108632527B (en) Controller, camera and method for controlling camera
CN107409223B (en) Video coding and decoding method and video coder-decoder
EA201270693A1 (en) DIGITAL VIDEO SIGNAL, METHOD FOR DIGITAL VIDEO SIGNAL ENCODING AND DIGITAL VIDEO Coding DEVICE
JP2018137542A (en) Coding device, coding method, and program
JP2017098919A (en) Image encoder, image encoding method, and program
JP2020005228A (en) Loop filter controller, image encoder, image decoder, and program
JP2015115901A (en) Encoding apparatus, encoding apparatus control method, and computer program
US9860567B2 (en) Image processing apparatus, image processing method, and storage medium
JP6200220B2 (en) Image processing apparatus, encoding apparatus, decoding apparatus, and program
JP2011193391A (en) Apparatus and method for processing image
JP2011254393A (en) Encoding apparatus, encoding method and program