JP2015023498A - Image coding device, image coding method and program - Google Patents
Image coding device, image coding method and program Download PDFInfo
- Publication number
- JP2015023498A JP2015023498A JP2013151722A JP2013151722A JP2015023498A JP 2015023498 A JP2015023498 A JP 2015023498A JP 2013151722 A JP2013151722 A JP 2013151722A JP 2013151722 A JP2013151722 A JP 2013151722A JP 2015023498 A JP2015023498 A JP 2015023498A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- exposure
- encoding
- image
- reference source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像符号化装置、画像符号化方法およびプログラムに関し、特に、画像を符号化するために用いて好適なものである。 The present invention relates to an image encoding device, an image encoding method, and a program, and is particularly suitable for use in encoding an image.
近年、複数枚の画像を合成し、合成した画像を記録可能なデジタルカメラといった撮像装置が数多く製品化されている。このような撮像装置として、被写体の明るさが適正となる露出よりも低い露出で撮像した画像と当該露出よりも高い露出(被写体の明るさが適正となる露出等)で撮像した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置がある。このような機能は、ハイダイナミックレンジ機能と呼ばれている(以下、ハイダイナミックレンジをHDRと称する)。一般的に、撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭い。したがって、例えば、逆光シーンで撮影すると、白飛びが発生してしまう場合がある。また、より低い露出で撮影すると、全体的に暗く撮像されるため、白飛びは抑制することが可能となるが、黒潰れが発生してしまう。 In recent years, a large number of imaging apparatuses such as digital cameras capable of synthesizing a plurality of images and recording the synthesized images have been commercialized. As such an imaging device, an image captured with an exposure lower than the appropriate exposure of the subject is combined with an image captured with an exposure higher than the exposure (such as an exposure with appropriate subject brightness). By doing so, there is an imaging device having a function of improving whiteout and dark part noise. Such a function is called a high dynamic range function (hereinafter, the high dynamic range is referred to as HDR). In general, the dynamic range of an image sensor is narrower than the dynamic range of nature. Therefore, for example, when shooting in a backlight scene, whiteout may occur. Also, if the image is taken with a lower exposure, the entire image is darkened, so that whiteout can be suppressed, but blackout occurs.
HDR機能では、露出の異なる複数の画像を撮像し、明るい領域には白飛びしていない低露出画像に重みを掛け、逆に、暗い領域には黒潰れしていない高露出画像に重みを掛けて合成することにより、明部も暗部も階調豊かな画像を作成することができる。このように、高階調な画像を作成できることがHDRの特徴である。ところで、階調をユーザの好みの階調に調整してHDR画像を作成したいというニーズがある。この場合、撮影しながら階調を調整してHDR画像を作成するとなると、シャッターチャンスを逃してしまう恐れがある。特に、動画像の撮影時には、撮影しながら階調をマニュアルで調整することは困難である。そのため、HDR画像を作成するために必要な、異なる露出で撮像した画像を一旦記録し、撮影後に階調を調整しながらHDR画像を作成する方法が有効である。また、低階調な画像に対し、例えば、暗部の階調を持ち上げたりすると、疑似輪郭が発生してしまう恐れがある。そのため、HDR画像を作成するためには、異なる露出で撮像した画像を高階調のまま記録することが必要である。 The HDR function captures multiple images with different exposures, weights low exposure images that are not overexposed in bright areas, and weights high exposure images that are not crushed in dark areas. By combining them, it is possible to create an image with rich gradation in both bright and dark areas. Thus, it is a feature of HDR that a high gradation image can be created. Incidentally, there is a need to create an HDR image by adjusting the gradation to the user's favorite gradation. In this case, if an HDR image is created by adjusting the gradation while shooting, there is a risk of missing a photo opportunity. In particular, when shooting a moving image, it is difficult to manually adjust the gradation while shooting. For this reason, it is effective to temporarily record images captured at different exposures necessary for creating an HDR image and create the HDR image while adjusting the gradation after shooting. Further, for example, if the gradation of a dark part is raised for a low gradation image, a pseudo contour may be generated. Therefore, in order to create an HDR image, it is necessary to record images captured at different exposures with high gradation.
異なる露出で撮像した画像を記録するための技術として特許文献1に記載の技術がある。特許文献1に記載の技術は、異なる露出で撮像した各フレームの画像を符号化する際に、各フレームの画像が撮像されたときの露出に応じて、フレーム毎に符号化圧縮率を変更するという技術である。 As a technique for recording images taken with different exposures, there is a technique described in Patent Document 1. The technique described in Patent Literature 1 changes the encoding compression rate for each frame according to the exposure when the image of each frame is captured when encoding the image of each frame captured with a different exposure. It is a technology.
前述のように、撮影後に階調を調整しながらHDR画像を作成する際には、異なる露出で撮像した複数の画像を一旦記録する必要がある。このような複数の画像を記録するためには、多くのデータ量のデータを記録しなければならない。また、動画像のように長時間の画像データを記録する場合のデータ量は、より膨大となってしまう。
これに対して、特許文献1に記載の技術では、適性露出でない画像(低露出画像等)の圧縮率を高めることによりデータ量の圧縮をしている。しかしながら、適性露光でない画像には、白飛びや黒潰れの階調表現情報が多く含まれており、それらを一様に高い圧縮率で圧縮してしまうと、一画素に十分なビット数を割当てられなくなり、ユーザが求める階調表現を実現できなくなる可能性が高まる。
本発明は、このような問題点に鑑みてなされたものであり、異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録できるようにすることを目的とする。
As described above, when creating an HDR image while adjusting the gradation after shooting, it is necessary to temporarily record a plurality of images taken with different exposures. In order to record such a plurality of images, a large amount of data must be recorded. Further, the amount of data when recording long-time image data such as a moving image becomes enormous.
On the other hand, in the technique described in Patent Document 1, the amount of data is compressed by increasing the compression rate of an image that is not properly exposed (such as a low-exposure image). However, an image that is not suitable for exposure contains a lot of gradation expression information such as overexposure and underexposure, and if they are uniformly compressed at a high compression ratio, a sufficient number of bits are allocated to one pixel. This increases the possibility that the gradation expression desired by the user cannot be realized.
The present invention has been made in view of such problems, and an object thereof is to record a plurality of images taken with different exposures with high gradation and a small data amount.
本発明の画像符号化装置は、複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化手段を有する画像符号化装置であって、前記符号化手段は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする。 An image encoding apparatus according to the present invention includes an encoding unit that encodes a plurality of frames of image data captured at a plurality of exposures using an inter-frame prediction encoding method or an intra-frame prediction encoding method. The encoding unit determines a reference frame for a reference frame to be encoded in the inter-frame predictive encoding method according to exposure in the frame; and the reference frame And at least one of adjusting the brightness of the reference frame.
本発明によれば、異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録することができる。 According to the present invention, a plurality of images taken with different exposures can be recorded with high gradation and a small amount of data.
以下、図面を参照しながら、本発明の一実施形態について説明する。
図1は、本実施形態による画像符号化装置を適用可能な撮像装置の構成の一例を示すブロック図である。本実施形態における撮像装置100は、異なる露出条件で撮像した複数の画像を高階調、且つ少ないデータ量で記録する撮像装置である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an example of a configuration of an imaging apparatus to which the image coding apparatus according to the present embodiment can be applied. The
撮像装置100は、レンズ101、絞り部102、撮像部103、A/D変換部104、カメラ信号処理部105、撮像条件決定部106、フレーム間予測方法決定部107、符号化部108、および画像記録部109を有する。
レンズ101は、被写体光を、絞り部102および撮像部103に導く。また、レンズ101は、複数のレンズ群を備えて構成される。レンズ101は、後述の撮像条件決定部106から出力されるフォーカス情報に基づき、撮像装置100から或る距離の被写体像をボケることなく撮像部103に結像できるようにレンズ間の距離を変化させる。絞り部102は、後述の撮像条件決定部106から出力される絞り情報に基づき、レンズ101から導かれた被写体光の一部を遮ることにより撮像部103に入光する光の光量を制限する。
The
The
撮像部103は、後述の撮像条件決定部106から出力される露光時間情報に基づき、決められた露光時間の被写体光を、CCDやCMOS等の撮像素子を使って撮像し、撮像した被写体光を電気信号に変換してA/D変換部104に出力する。A/D変換部104は、所定の増幅率に従って、撮像部103から出力された電気信号(アナログ信号)を増幅し、ディジタル信号に変換する。
The
カメラ信号処理部105は、A/D変換部104より出力されたディジタル信号に対して、ホワイトバランスやガンマ処理、輪郭強調等の画像処理を行い、映像信号を出力する。また、カメラ信号処理部105は、フォーカス位置や露出といった撮像条件を決めるための評価値を撮像条件決定部106に出力する。フォーカス位置を決めるための評価値としては、例えば、画像に対してバンドパスフィルタ処理を行うことにより得られるコントラスト情報(画像のコントラストを示す情報)が挙げられる。また、露出を決めるための評価値としては、例えば、画像に対する輝度平均を算出することにより得られる明るさ情報(画像の明るさを示す情報である)が挙げられる。
The camera
撮像条件決定部106は、カメラ信号処理部105から出力されたコントラスト情報および明るさ情報に応じて、撮像する条件を決定する。具体的に説明すると、撮像条件決定部106は、レンズ101に対しては、コントラスト情報からフォーカス位置を決めるためのフォーカス情報を生成して出力する。また、撮像条件決定部106は、明るさ情報から露出を決め、絞り部102および撮像部103に対して、絞り情報および露光時間情報(シャッタースピード)を出力する。
The imaging
フレーム間予測方法決定部107は、後述の符号化部108で行うフレーム間符号化のフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部108に出力する。
符号化部108は、カメラ信号処理部105から出力された映像信号に対して、フレーム内符号化またはフレーム間符号化を行い、符号化ストリームを出力する。フレーム間符号化を行う場合、符号化部108は、フレーム間予測方法決定部107により決定されたフレーム間予測方法に基づきフレーム間符号化を行う。
画像記録部109は、符号化部108から出力された符号化ストリームを記録する。
The inter-frame prediction
The
The
尚、通常、カメラ信号処理部105において、画像に対してガンマ処理を行うことにより階調を圧縮する。しかし、本実施形態では、異なる露出で撮像した「階調特性の異なる複数の画像」に対し、階調を十分に保持したまま記録するため、階調圧縮により階調情報を失うことは望ましくない。そのため、ガンマ処理による階調の圧縮は行わない、若しくは、最低限の階調の圧縮に留めることが必要となる。尚、以下の実施形態では、カメラ信号処理部105において、階調の圧縮を行わない場合を例に挙げて説明する。ここで、最低限の階調の圧縮を行うとは、例えば、入力が1のときに出力が1になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるガンマ特性に基づいてガンマ処理を行うことをいう。このようなガンマ特性の一例としては、いわゆるlogガンマ(入力が高輝度になっても出力が白とびしないようなカーブ形状になっているガンマ特性)がある。
Normally, the camera
次に、撮像条件決定部106、符号化部108、およびフレーム間予測方法決定部107について詳しく説明する。
(撮像条件決定部106)
まず、撮像条件決定部106について図2および図3を参照して詳しく説明する。
撮像条件決定部106は、カメラ信号処理部105から出力されたコントラスト情報および明るさ情報に応じて、撮像する条件を決定する。以下、HDR画像を作成するために必要な画像の撮像条件の決定方法の一例について詳しく説明する。
Next, the imaging
(Imaging condition determination unit 106)
First, the imaging
The imaging
HDR画像を作成するためには、まず、階調特性が異なる複数の画像を得るため、異なる露出で撮像することが必要となる。そのために撮像条件決定部106は、異なる複数の露出を決定する。本実施形態では、露出を変える方法として、撮像部103の露光時間(シャッタースピード)を変化する方法を例に挙げて説明する。ただし、露出を変える方法は、露光時間を変化させる方法に限ったものではない。例えば、絞り部102の絞り値を変化させてもよい。
In order to create an HDR image, first, it is necessary to capture images with different exposures in order to obtain a plurality of images having different gradation characteristics. Therefore, the imaging
図2に、異なる露光時間(露出)で撮像した場合の入射光量と撮像部103の信号レベルとの関係の一例を示す。
図2において、グラフEHは、露光時間が最も長い高露出画像の入射光量と信号レベルとの関係を示す。グラフEMは、露光時間が2番目に長い中露出画像の入射光量と信号レベルとの関係を示す。グラフELは、露光時間が最も短い低露出画像の入射光量と信号レベルとの関係を示す。
また、図3に高露出画像、中露出画像および低露出画像の絵柄の一例を概念的に示す。具体的に、図3(a)に高露出画像、図3(b)に中露出画像、図3(c)に低露出画像の絵柄をそれぞれ示す。
高露出画像では、入射光量が小さくて暗い被写体の信号レベルは高いが、或る入射光量LH以上の明るい被写体の信号レベルは飽和してしまう(図2を参照)。つまり、高露出画像は、他の中露出画像や低露出画像よりも白飛びし易いく、黒潰れし難いといった階調特性がある。そのため、図3(a)に示す高露出画像310では、先頭の暗い車311は明るく撮像されているが、最後尾の明るい車312は白飛びしてしまっている。尚、高露出画像310では、説明の都合上、この白飛びしている車312を破線で示す。
FIG. 2 shows an example of the relationship between the amount of incident light and the signal level of the
In FIG. 2, a graph E H shows the relationship between the amount of incident light and the signal level of the high exposure image with the longest exposure time. A graph E M shows the relationship between the incident light amount and the signal level of the medium exposure image having the second longest exposure time. The graph E L shows the relationship between the amount of incident light and the signal level of the low exposure image with the shortest exposure time.
FIG. 3 conceptually shows an example of a pattern of a high exposure image, a medium exposure image, and a low exposure image. Specifically, FIG. 3A shows a high exposure image, FIG. 3B shows a medium exposure image, and FIG. 3C shows a low exposure image.
In a high-exposure image, the signal level of a dark subject with a small incident light amount is high, but the signal level of a bright subject with a certain incident light amount L H or more is saturated (see FIG. 2). In other words, the high-exposure image has gradation characteristics such that it is less likely to be over-exposed than the other medium-exposure images and low-exposure images, and is not easily crushed. For this reason, in the high-
一方、低露出画像では、入射光量が小さくて暗い被写体の信号レベルは低いが、信号レベルが飽和する入射光量LLが最も大きい(図2を参照)。つまり、低露出画像は、他の高露出画像や中露出画像よりも白飛びし難く、黒潰れし易いといった階調特性がある。そのため、図3(c)に示す低露出画像330では、先頭の暗い車331は黒潰れしてしまっているが、最後尾の明るい車332は白飛びすることなく、撮像されている。
中露出画像の階調特性は、高露出画像と低露出画像の中間である。そのため、図3(b)に示す中露出画像320では、先頭の暗い車321はやや黒潰れしており、最後尾の明るい車322はやや白飛びしている。
HDR画像を作成するためには、このように異なる階調特性を持つ複数の画像が必要である。
On the other hand, in a low-exposure image, the incident light amount is small and the signal level of a dark subject is low, but the incident light amount L L at which the signal level is saturated is the largest (see FIG. 2). That is, the low-exposure image has gradation characteristics such that whiteout is less likely to occur than other high-exposure images and medium-exposure images, and blacks are easily crushed. For this reason, in the low-
The gradation characteristic of the medium exposure image is intermediate between the high exposure image and the low exposure image. Therefore, in the middle-
In order to create an HDR image, a plurality of images having different gradation characteristics are necessary.
さらに、撮像条件決定部106は、このように異なる階調特性を持つ複数の画像を連続的に撮像するために、周期的に露出を変化させる。周期的に露出を変化させ、撮像を行うシーケンスについて、図4を参照して説明する。
図4は、撮像するフレームとそのフレームが撮像された露出との関係の一例を示す図である。
撮像条件決定部106は、フレーム毎に露出を、例えば、高露出、中露出、低露出、高露出、中露出、・・・と周期的に変化させ連続的に撮像を行う。このように露出を周期的に変化させ、撮像することにより、露出の異なる複数のフレームを動画的に撮像することが可能となる。
このように異なる階調特性を持つ画像を用いることにより、HDR画像の作成は可能となる。しかしながら、前述したように、これらの画像は、カメラ信号処理部105におけるガンマ処理による階調圧縮が行われていないため、膨大なデータ量となってしまう。この膨大なデータ量を持つ画像を、高階調のまま、高画質、且つ、少ないデータ量で記録するために、本実施形態では、以降説明する符号化処理を行う。
Further, the imaging
FIG. 4 is a diagram illustrating an example of a relationship between a frame to be imaged and an exposure at which the frame is imaged.
The imaging
By using images having different gradation characteristics in this way, it is possible to create an HDR image. However, as described above, since these images are not subjected to gradation compression by gamma processing in the camera
(符号化部108)
次に、符号化部108について図5を参照して詳しく説明する。図5は、符号化部108の詳細な構成の一例を示すブロック図である。
符号化部108は、フレーム並替部501、減算器502、直交変換部503、量子化部504、算術符号化部505、逆量子化部506、逆直交変換部507、加算器508およびフレームメモリ509、513を有する。さらに、符号化部108は、フレーム内予測部510、スイッチ511、517、デブロッキングフィルタ512、明るさ合わせ部514、フレーム間予測部515および動き検出部516を有する。
(Encoding unit 108)
Next, the
The
符号化部108は、異なる露出の複数の画像を入力し、フレーム内符号化処理またはフレーム間予測符号化処理を行い、符号化ストリームを出力する。フレーム間予測符号化処理に関しては、フレーム間予測方法決定部107より出力されたフレーム間予測方法情報に基づきフレーム間予測符号化処理が行われる。尚、本実施形態では、符号化方式として、H.264符号化方式を採用した場合を例に挙げて説明を行う。しかしながら、符号化方式は、フレーム間予測符号化を行う他の符号化方式でも良い。例えば、MPEG符号化方式でも良い。
The
続いて、符号化処理について説明する。まず、フレーム並替部501は、表示順で入力された異なる露出の画像を符号化順に並び替える。以下の説明では、符号化部108に入力された画像データを必要に応じて入力画像データと称する。
減算器502は、フレーム並替部501で並び替えられた入力画像データから、スイッチ517を介して提供される予測画像データを減算したものを画像残差データとして直交変換部503に出力する。尚、予測画像データの生成方法の一例については後述する。
直交変換部503は、減算器502から出力された画像残差データに対して直交変換処理をして変換係数を出力する。
量子化部504は、直交変換部503から出力された変換係数を所定の量子化パラメータを用いて量子化する。
Subsequently, the encoding process will be described. First, the
The
The
The
算術符号化部505は、直交変換部503による直交変換処理と、量子化部504による量子化とを経た変換結果である量子化済みの変換係数を算術符号化して符号化ストリームとして出力する。量子化部504で量子化された変換係数は、前述した予測画像データの生成にも使われる。
逆量子化部506は、量子化部504で量子化された変換係数を逆量子化する。
逆直交変換部507は、逆量子化部506による逆量子化で得られた変換係数を逆直交変換したものを復号画像残差データとして出力する。
加算器508は、逆直交変換部507より出力された復号画像残差データと、予測画像データとを加算したものを局所復号化画像データとして出力する。局所復号化画像データの出力先は、フレームメモリ509とスイッチ511である。
The
The inverse quantization unit 506 performs inverse quantization on the transform coefficient quantized by the
The inverse orthogonal transform unit 507 outputs, as decoded image residual data, an inverse orthogonal transform of the transform coefficient obtained by the inverse quantization by the inverse quantization unit 506.
The
フレームメモリ509は、加算器508から出力された局所復号化画像データを記録する。
スイッチ511は、加算器508から出力された局所復号化画像データに対してデブロッキングフィルタ処理を施すか否かを切り替える。局所復号化画像データに対してデブロッキングフィルタ処理を施す場合、デブロッキングフィルタ512がデブロッキングフィルタ処理を行う。
フレームメモリ513は、局所復号化画像データを記録する。デブロッキングフィルタ処理を施す場合、フレームメモリ513は、デブロッキングフィルタ処理が施された局所復号化画像データを記録する。一方、デブロッキングフィルタ処理を施さない場合、フレームメモリ513は、デブロッキングフィルタ512を介さずにスイッチ511から出力された局所復号化画像データを直接記録する。局所復号化画像データの中で、以降のフレーム間予測で参照されるデータは、フレームメモリ513に保存される。尚、フレームメモリ513に保存すべき局所符号化画像データと、動き検出部516およびフレーム間予測部515が参照すべき局所復号化画像データは、フレーム間予測方法情報に含まれる参照先フレーム情報に基づき選択される。
The
The
The
フレーム内予測部510は、フレームメモリ509に記録された局所復号化画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。
明るさ合わせ部514は、後述のフレーム間予測部515および動き検出部516で用いられる局所復号化画像データを、フレーム間予測方法情報に含まれる増幅率情報に従い増幅し、入力画像データと明るさを合わせる。フレーム間予測方法情報に含まれる増幅率情報は、算術符号化部505に出力され、符号化ストリームのヘッダ情報として算術符号化される。
The
The
フレーム間予測部515は、明るさを合わせた局所復号化画像データを用いて、動き検出部516により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。
動き検出部516は、明るさを合わせた局所復号画像データを参照して、フレーム並替部501から出力された画像データにおける動きベクトルを既知のブロックマッチング方式に基づき検出する。ブロックマッチング方式とは、画像をブロック毎に分割し、符号化対象となる参照元の入力画像データ(参照元フレーム)と参照先の局所復号化画像データ(参照先フレーム)との画素差分絶対値の総和が最小となるような位置を動きベクトルとする方式である。動き検出部516は、検出した動きベクトルを示す動きベクトル情報を算術符号化部505およびフレーム間予測部515にそれぞれ出力する。
The
The
尚、明るさ合わせ部514により、局所復号化画像データと入力画像データとの明るさを合わせる必要がある理由は、フレーム間予測符号化効率を向上させるためである。異なる露出で撮像された画像は、図2や図3に示すように、それぞれ明るさが異なる。参照先の局所復号化画像データと参照元の入力画像データの明るさが合っていない場合、ブロックマッチング方式の画素差分絶対値の総和の値が大きくなる。このため、動き検出部516で算出される動きベクトルの精度が悪化してしまう。したがって、動き検出部516は、入力画像データと明るさを合わせた局所復号化画像データを用いて、動きベクトルを算出するのが好ましい。
The reason why the
また、動き検出部516と同様に、フレーム間予測部515で作成される予測画像データも入力画像データと明るさを合わせる必要がある。予測画像データと入力画像データとの明るさが合っていないと減算器502が出力する画像残差データが大きくなり、フレーム間予測符号化効率が落ちてしまう。そのため、フレーム間予測部515は、入力画像データと明るさを合わせた局所復号化画像データを用いて、予測画像データを生成するのが好ましい。
Similarly to the
スイッチ517は、予測画像データとして、フレーム内予測部510で生成された予測画像データと、フレーム間予測部515で生成された予測画像データと、のどちらを用いるかを選択する。すなわち、スイッチ517は、フレーム内予測と、フレーム間予測と、のどちらを用いるのか選択するための選択部である。例えば、スイッチ517は、Iピクチャであれば、フレーム内予測部510からの出力を選択し、Pピクチャであれば、フレーム内予測部510またはフレーム間予測部515の出力のうち、予測精度の高い方を選択する。また、フレーム間予測方法情報により、フレーム間予測を行わない場合、スイッチ517は、フレーム内予測部510の出力を選択する。スイッチ517により選択された予測画像データは減算器502、加算器508に出力される。
以上が本実施形態における符号化部108に関する説明である。
The
This completes the description of the
(フレーム間予測方法決定部107)
次に、フレーム間予測方法決定部107について図3、図6、図7を参照して詳しく説明する。
フレーム間予測方法決定部107は、符号化部108で行われるフレーム間符号化のフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部108に出力する。本実施形態では、フレーム間予測方法情報には、次の3つの情報が含まれる。1つ目は、フレーム間予測部515および動き検出部516で参照するフレームを選択する参照先フレーム情報である。2つ目は、フレーム間予測符号化を行うか否かを選択するフレーム間予測可否情報である。3つ目は、明るさ合わせ部514で用いる増幅率情報である。
(Inter-frame prediction method determination unit 107)
Next, the inter-frame prediction
The inter-frame prediction
まず、参照先フレーム情報について、図3および図6を参照して説明する。
図6は、周期的に露出を変更して撮像された連続するフレームに対してフレーム間予測符号化処理を行う際に参照するフレームを示す図である。尚、図6においてフレームを表示順で示している。
図6において、2つのフレームに付されている矢印は、フレームの参照関係を示す。当該矢印の先が、参照先である局所符号化画像データ(参照先フレーム)を示し、当該矢印の元が、参照元である入力画像データ(参照音フレーム)を示す。
First, reference frame information will be described with reference to FIG. 3 and FIG.
FIG. 6 is a diagram illustrating frames that are referred to when performing inter-frame predictive encoding processing on consecutive frames that are captured with periodic exposure changes. In FIG. 6, the frames are shown in display order.
In FIG. 6, the arrows attached to the two frames indicate the frame reference relationship. The tip of the arrow indicates local encoded image data (reference destination frame) as a reference destination, and the source of the arrow indicates input image data (reference sound frame) as a reference source.
フレーム間予測方法決定部107は、参照フレーム情報として、図6における矢印の先が指し示す参照先フレームのフレーム番号を符号化部108に出力する。
また、フレームの下に書き記されているI、PおよびBは、符号化されるフレームのピクチャタイプを示す情報である。フレーム間予測符号化方式による符号化を行う場合は、Pピクチャ若しくはBピクチャとして符号化され、フレーム間予測符号化方式による符号化ではなくフレーム内予測符号化方式による符号化を行う場合は、Iピクチャとして符号化される。
フレーム間予測方法決定部107は、フレーム間予測可否情報を符号化部108に出力する。符号化部108は、フレーム間予測可否情報に基づいて、フレーム内予測符号化方式による符号化とフレーム間予測符号化方式による符号化との何れを行うかを判断し、スイッチ517を切り替える。
The inter-frame prediction
Also, I, P, and B written below the frame are information indicating the picture type of the frame to be encoded. When encoding by the inter-frame predictive encoding method, it is encoded as a P picture or B picture, and when encoding by the intra-frame predictive encoding method is performed instead of encoding by the inter-frame predictive encoding method, I Encoded as a picture.
The inter-frame prediction
図6に示すようなフレーム間予測符号化を行う際のフレームの参照関係は、符号化効率を向上させることにより、高画質、且つ、少ないデータ量の符号化ストリームを得るため、以下の(A)および(B)の2つの規則に基づき決定される。
(A)最も低い露出以外のフレームを参照先フレームに設定する。
(B)最も露出の差が小さいフレームを参照先フレームに設定する。
The frame reference relationship when performing inter-frame predictive encoding as shown in FIG. 6 is as follows (A) in order to obtain an encoded stream with high image quality and a small amount of data by improving encoding efficiency. ) And (B).
(A) A frame other than the lowest exposure is set as a reference frame.
(B) A frame with the smallest exposure difference is set as a reference frame.
(A)の規則の理由について説明する。
最も低い露出の画像は、露光時間が短いためショットノイズにより画像のS/N比が悪く、符号化難易度が高い。つまり、局所復号化画像データに符号化ノイズが発生しやすい。符号化ノイズが発生している局所復号化画像データを参照して、動きベクトルを算出すると、符号化ノイズにより画素差分絶対値の総和の値が悪影響を受け、動きベクトルの精度は低下してしまう。また、符号化ノイズが発生している局所復号化画像データを使ってフレーム間予測を行うことにより作成した予測画像データには符号化ノイズが含まれてしまう。このため、減算器502から出力される画像残差データは大きくなってしまう。以上の2つの要因により、符号化効率が低下してしまうのである。
The reason for the rule (A) will be described.
Since the lowest exposure image has a short exposure time, the S / N ratio of the image is poor due to shot noise, and the coding difficulty is high. That is, encoding noise is likely to occur in the locally decoded image data. If a motion vector is calculated with reference to locally decoded image data in which coding noise is generated, the sum of the pixel difference absolute values is adversely affected by the coding noise, and the accuracy of the motion vector is reduced. . In addition, the predicted image data created by performing inter-frame prediction using locally decoded image data in which coding noise is generated includes coding noise. For this reason, the image residual data output from the
次に、(B)の規則の理由について説明する。
例えば、参照元フレームを図3に示す低露出画像330とし、参照先フレームを高露出画像310としてフレーム間予測符号化処理を行うとする。すると、参照元フレームの低露出画像330には最後尾の車332が存在しているが、参照先フレームの高露出画像310には、最後尾の車312が存在しない(図3(a)では説明の都合上、車312を破線で示している)。最後尾の車312が明るいため、高露出画像310では白飛びしてしまっているためである。そのため、低露出画像330の最後尾の車332の動き検出を行う場合、参照先の高露出画像310には最後尾の車312が存在しないため、正確な動きベクトルを求めることができない。そのため、符号化効率が低下してしまうのである。
以上のような理由により、フレーム間予測符号化の参照関係は前述の2つの規則(A)および(B)に基づき決定される。
Next, the reason for the rule (B) will be described.
For example, it is assumed that the inter-frame prediction encoding process is performed with the reference source frame as the
For the above reasons, the reference relationship of inter-frame predictive coding is determined based on the two rules (A) and (B) described above.
図6(a)は、高露出画像、中露出画像、低露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部107は、前述の2つの規則(A)および(B)に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部107は、中露出画像(EM)を参照元フレームとしてフレーム間予測符号化処理を行う場合には、高露出画像(EH)を参照する関係になるようにする。また、フレーム間予測方法決定部107は、低露出画像(EL)を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像(EM)を参照する関係になるようにする。
FIG. 6A is a diagram illustrating an example of a reference relationship of inter-frame predictive encoding when exposure is periodically changed in order of a high exposure image, a medium exposure image, and a low exposure image.
The inter-frame prediction
図6(b)は、中露出画像、高露出画像、低露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部107は、前述の2つの規則(A)および(B)に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部107は、高露出画像(EH)を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像(EM)を参照する関係になるようにする。また、フレーム間予測方法決定部107は、低露出画像(EL)を参照元フレームとしてフレーム間予測符号化処理を行う場合にも、中露出画像(EM)を参照する関係になるようにする。
FIG. 6B is a diagram illustrating an example of a reference relationship of inter-frame predictive encoding when the exposure is periodically changed in order of the medium exposure image, the high exposure image, and the low exposure image.
The inter-frame prediction
図6(c)は、高露出画像、低露出画像、中露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部107は、前述の2つの規則(A)および(B)に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部107は、低露出画像(EL)を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像(EM)を参照する関係になるようにする。また、フレーム間予測方法決定部107は、中露出画像(EM)を参照元フレームとしてフレーム間予測符号化処理を行う場合には、高露出画像(EH)を参照する関係になるようにする。
FIG. 6C is a diagram illustrating an example of a reference relationship of inter-frame predictive encoding when exposure is periodically changed in order of a high-exposure image, a low-exposure image, and a medium-exposure image.
The inter-frame prediction
尚、本実施形態では、露出条件が3つ(高露出、低露出、中露出)の場合を例に挙げて説明した。しかしながら、露出条件の数は、2つでも4つ以上でもよい。また、例えば露出条件の数が多く、最も低い露出以外のフレームでもショットノイズの影響がある場合には、1番目〜n番目(nは露出条件の数未満の正の整数)に低い露出以外のフレームを参照先フレームとして決定してもよい。すなわち、所定の基準よりも高い露出で得られたフレームを参照先フレームとして決定することができる。また、参照元フレームの露出に最も近い露出のフレームを参照先フレームとするのが好ましいが、例えば露出条件の数が多く、参照元フレームの露出に最も近い露出のフレームでなくても、被写体を識別できるような場合には、必ずしもこのようにしなくてもよい。すなわち、参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、参照先フレームとして決定することができる。例えば、参照元フレームの露出に2番目に近い露出のフレームを参照先フレームとしてもよい。 In this embodiment, the case where there are three exposure conditions (high exposure, low exposure, and medium exposure) has been described as an example. However, the number of exposure conditions may be two or four or more. For example, when there are many exposure conditions and there is an influence of shot noise even in a frame other than the lowest exposure, the first to nth (n is a positive integer less than the number of exposure conditions) other than the lowest exposure. The frame may be determined as a reference frame. That is, a frame obtained with an exposure higher than a predetermined standard can be determined as a reference frame. The exposure frame closest to the exposure of the reference frame is preferably used as the reference frame.For example, even if the number of exposure conditions is large and the exposure frame is not closest to the exposure of the reference frame, the subject can be selected. If it can be identified, this is not always necessary. That is, a frame obtained with an exposure closer to a predetermined reference than the exposure when the reference source frame is obtained can be determined as the reference destination frame. For example, a frame with the second exposure closest to the exposure of the reference source frame may be used as the reference destination frame.
前述の2つの規則(A)および(B)を守った場合に、参照先フレームと参照元フレームとの時間的な差が所定時間よりも長くなる場合は、必ずしも前述の2つの規則を守らなくても良い。例えば、参照先フレームと参照元フレームとの時間的な差が所定値よりも大きい場合は、被写体の移動量が大きくなる可能性が高く、動きベクトルの精度が低下する恐れがある。そのため、このような場合は、フレーム間予測方法決定部107は、前述の2つの規則に関わらず、参照元フレームとの時間的な差が前記所定時間内のフレームを参照先フレームとして設定する。このとき、前記所定時間内のフレームの中で前述の2つの規則(A)および(B)を満たすフレームを優先して選択することができる。
When the above two rules (A) and (B) are observed, if the time difference between the reference frame and the reference frame is longer than a predetermined time, the above two rules are not necessarily observed. May be. For example, when the temporal difference between the reference destination frame and the reference source frame is larger than a predetermined value, there is a high possibility that the amount of movement of the subject is large, and the accuracy of the motion vector may be reduced. Therefore, in such a case, the inter-frame prediction
次に、フレーム間予測可否情報について、図6を参照して説明する。
前述の2つの規則(A)および(B)の参照関係に関わる規則を符号化途中で破らないためには、露出の周期的な変化に連動してフレーム内符号化を行い、Iピクチャを設定する必要がある。例えば、図6(a)では、露出が3フレーム毎に周期的に変化しているのに対し、Iピクチャの設定も3フレーム毎に行われている。仮に、Iピクチャの設定が2フレーム毎になった場合、低露出画像(EL)がIピクチャとして符号化され、高露出画像(EH)がPピクチャとして符号化されるケースが発生する。その場合、高露出画像(EH)は低露出画像(EL)を参照してフレーム間予測符号化を行わざるを得なくなり、前述の2つの規則を守り続けることができない。そのため、前述の2つの規則を符号化中、常に守り続けるためには、露出が変化するフレーム周期に対し、整数倍のフレーム周期でIピクチャを設定する必要がある。尚、図6(a)、図6(b)および図6(c)の例では、露出が変化するフレーム周期と同じフレーム周期(1倍)でIピクチャを設定している。
以上のように、フレーム間予測方法決定部107は、露出の周期的な変化に連動してフレーム内予測符号化を行うフレームを設定するようなフレーム間予測符号化可否情報を作成する。
Next, inter-frame prediction availability information will be described with reference to FIG.
In order not to break the rules related to the reference relationship between the two rules (A) and (B) described above during encoding, intra-frame encoding is performed in conjunction with the periodic change of exposure, and an I picture is set. There is a need to. For example, in FIG. 6A, while the exposure periodically changes every three frames, the I picture is set every three frames. If the setting of the I picture is every two frames, a case may occur in which the low exposure image (E L ) is encoded as an I picture and the high exposure image (E H ) is encoded as a P picture. In that case, the high-exposure image (E H ) must be subjected to inter-frame prediction encoding with reference to the low-exposure image (E L ), and the two rules described above cannot be maintained. Therefore, in order to always keep the above two rules during encoding, it is necessary to set an I picture with a frame period that is an integral multiple of the frame period in which the exposure changes. In the examples of FIGS. 6A, 6B, and 6C, the I picture is set at the same frame period (1 time) as the frame period at which the exposure changes.
As described above, the inter-frame prediction
次に、図4および図7を参照して、符号化部108内の明るさ合わせ部514で用いる増幅率情報について説明する。図7は、入力画像データと局所復号化画像データの明るさを合わせる方法の一例を説明する図である。図7では、フレーム間予測部515および動き検出部516で参照する参照先フレームの局所復号化画像データが中露出画像(EM)であり、参照元フレームの入力画像データが高露出画像(EH)である場合にこれらの明るさを合わせる場合について示す。
Next, with reference to FIG. 4 and FIG. 7, amplification factor information used in the
図7に示すように、入射光量と信号レベルとが線形特性を持つ撮像素子においては、露光時間が2倍になると信号レベルも2倍になる特性がある。図7に示す例では、高露出画像(EH)の露光時間は、中露出画像(EM)の露光時間の2倍の時間である。そのため、高露出画像(EH)と中露出画像(EM)の明るさを合わせるためには、中露出画像(EM)の画素値を2倍にすればよい(図7のグラフEM'を参照)。
以上のように、フレーム間予測方法決定部107は、参照先フレームの局所復号化画像データと参照元フレームの入力画像データとの明るさを合わせるために、参照先フレームと参照元フレームの露光時間(露出)の差に基づき、増幅率を算出する。撮像される露出は、図4に示すように周期的に変化するため、フレーム間予測方法決定部107は、露出に連動して増幅率を周期的に変化させる。符号化部108内の明るさ合わせ部514は、このように算出された増幅率を示す増幅率情報に応じて、フレーム間予測部515および動き検出部516で用いられる局所復号化画像データを増幅し、入力画像データと明るさを合わせる。
尚、明るさを合わせる方法としては、図7に示す例のように、必ずしも信号レベルを大きくする方式でなくとも良い。例えば、高露出画像(EH)の信号レベルを小さくし、中露出画像(EM)と明るさを合わせても良い。
As shown in FIG. 7, an image sensor having linear characteristics of the incident light amount and the signal level has a characteristic that the signal level is doubled when the exposure time is doubled. In the example shown in FIG. 7, the exposure time of the high exposure image (E H ) is twice as long as the exposure time of the medium exposure image (E M ). Therefore, in order to match the brightness of the high-exposure image (E H ) and the medium-exposure image (E M ), the pixel value of the medium-exposure image (E M ) may be doubled (graph E M in FIG. 7). ').
As described above, the inter-frame prediction
Note that the method of adjusting the brightness is not necessarily a method of increasing the signal level as in the example shown in FIG. For example, the signal level of the high-exposure image (E H ) may be reduced to match the brightness with the medium-exposure image (E M ).
次に、異なる露出で撮像した画像データを符号化する場合の撮像装置100の処理の一例について、図8のフローチャートを参照して詳しく説明する。
ステップS801において、撮像条件決定部106は、カメラ信号処理部105から出力されたコントラスト情報および明るさ情報に応じて、フォーカス位置や露出等の撮像条件を決定する。この撮像条件のうち、露出に関しては、撮像フレーム毎に周期的に変化するよう決定される。
Next, an example of processing of the
In step S <b> 801, the imaging
次に、ステップS802において、撮像装置100は、撮像条件決定部106により決定された撮像条件に基づき、レンズ101、絞り102および撮像部103を制御し、撮像する。
次に、ステップS803において、フレーム間予測方法決定部107は、符号化部108で行うフレーム間符号化におけるフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部108に出力する。
Next, in step S <b> 802, the
Next, in step S803, the inter-frame prediction
次に、ステップS804において、符号化部108は、カメラ信号処理部105から出力された映像信号に対してフレーム内符号化またはフレーム間符号化を行い、符号化ストリームを出力する。フレーム間符号化を行う場合は、フレーム間予測方法決定部107により決定されたフレーム間予測方法に基づきフレーム間符号化を行う。
次に、ステップS805において、画像記録部109は、符号化部108から出力された符号化ストリームを記録する。
次に、ステップ806において、撮像装置100は、最終フレームの符号化ストリームを記録したか否かを判定する。そして、ステップS801〜S805の処理を、撮影が終了して最終フレームの符号化ストリームを記録するまで繰り返す。
Next, in step S804, the
Next, in step S805, the
Next, in
以上のように本実施形態では、周期的に露出を変化させて撮像された複数の画像データを階調の圧縮を行わずにフレーム間予測符号化する。この際に、最も低い露出以外のフレームであって、参照元フレームとの露出の差が最も小さいフレームを参照先フレームに設定する。また、フレーム内予測符号化を行うフレーム(ピクチャ)が出現する周期を、露出を変更する周期の整数倍にする。また、参照先フレームの明るさと参照元フレームの明るさを合わせるようにする。
このように周期的に露出を変化させることにより異なる階調特性を持つ複数の画像を撮像し、異なる階調特性に適したフレーム間予測方法で符号化を行うことにより、これらの画像を、高階調、且つ、少ないデータ量で記録することが可能となる。このような方法により記録された高階調の画像を用いることにより、撮像した画像を一旦記録し、撮影した後に、明部や暗部の階調を調整しながら高画質なHDR画像を作成することができ、ユーザが求める階調表現を実現することができる。
As described above, in the present embodiment, inter-frame predictive encoding is performed on a plurality of image data picked up by periodically changing the exposure without performing gradation compression. At this time, the frame other than the lowest exposure and having the smallest exposure difference from the reference source frame is set as the reference destination frame. In addition, the cycle in which frames (pictures) for which intra-frame predictive coding is performed appears is an integral multiple of the cycle for changing exposure. Also, the brightness of the reference frame is matched with the brightness of the reference frame.
In this way, by periodically changing the exposure, a plurality of images having different gradation characteristics are captured, and encoding is performed using an inter-frame prediction method suitable for the different gradation characteristics. And recording with a small amount of data. By using a high-gradation image recorded by such a method, a captured image can be temporarily recorded and photographed, and then a high-quality HDR image can be created while adjusting the gradation of bright and dark areas. The gradation expression desired by the user can be realized.
本実施形態では、符号化ストリームの中に、フレーム間符号化を挟み込む形態を例に挙げて説明した。しかしながら、フレーム間符号化をストリーム間で実現できるMVC符号化方式を活用するのであれば、以下のようにしてもよい。すなわち、参照元の符号化ストリームをメインストリームにして、メインストリームと露出の異なる符号化ストリームをサブストリームにし、前述の2つの規則に基づき参照関係を決定する様な形態も、本発明の他の実施形態となる。ようにしてもよい。
また、露出段差に応じて独立した符号化ストリームを生成させれば、増幅率情報は、ストリームのヘッダ情報にだけ含めればよく、フレーム毎に増幅率を切り替える処理を省くことが可能となる。
また、前述した理由から、規則(A)および(B)の双方を満足するのが好ましいが、これらの何れか1つを満足させるようにしてもよい。
In the present embodiment, an example in which inter-frame coding is sandwiched in the coded stream has been described. However, if an MVC encoding method capable of realizing inter-frame encoding between streams is used, the following may be performed. That is, a mode in which a reference source encoded stream is set as a main stream, an encoded stream having a different exposure from the main stream is set as a substream, and the reference relationship is determined based on the two rules described above is also another aspect of the present invention. This is an embodiment. You may do it.
Further, if an independent encoded stream is generated according to the exposure level difference, the amplification factor information only needs to be included in the stream header information, and the process of switching the amplification factor for each frame can be omitted.
For the reasons described above, it is preferable to satisfy both rules (A) and (B), but any one of them may be satisfied.
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
(Other examples)
The present invention is also realized by executing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the computer program.
105 カメラ信号処理部、106 撮像条件決定部、107 フレーム間予測方法決定部、108 符号化部 105 camera signal processing unit, 106 imaging condition determining unit, 107 inter-frame prediction method determining unit, 108 encoding unit
Claims (23)
前記符号化手段は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする画像符号化装置。 An image encoding device having an encoding unit that encodes image data of a plurality of frames captured with a plurality of exposures using an inter-frame prediction encoding method or an intra-frame prediction encoding method,
The encoding means determines a reference frame for a reference frame to be encoded in the inter-frame predictive encoding method according to the exposure in the frame, and determines the reference source frame and the reference frame An image encoding apparatus that performs at least one of adjusting brightness.
前記フレーム内予測符号化方式を用いて符号化するフレームが出現する周期は、前記露出を変更する周期の整数倍であることを特徴とする請求項1〜6の何れか1項に記載の画像符号化装置。 The plurality of exposures are periodically and repeatedly changed,
The image according to any one of claims 1 to 6, wherein a period in which a frame to be encoded using the intra-frame predictive encoding method appears is an integer multiple of a period in which the exposure is changed. Encoding device.
前記符号化工程は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする画像符号化方法。 An image encoding method including an encoding step of encoding image data of a plurality of frames captured with a plurality of exposures using an inter-frame prediction encoding method or an intra-frame prediction encoding method,
The encoding step determines a reference destination frame for a reference source frame to be encoded in the inter-frame predictive encoding scheme according to exposure in the frame, and determines the reference source frame and the reference destination frame. An image encoding method characterized by executing at least one of adjusting brightness.
前記フレーム内予測符号化方式を用いて符号化するフレームが出現する周期は、前記露出を変更する周期の整数倍であることを特徴とする請求項12〜17の何れか1項に記載の画像符号化方法。 The plurality of exposures are periodically and repeatedly changed,
The image according to any one of claims 12 to 17, wherein a period in which a frame to be encoded using the intra-frame predictive encoding method appears is an integer multiple of a period in which the exposure is changed. Encoding method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013151722A JP2015023498A (en) | 2013-07-22 | 2013-07-22 | Image coding device, image coding method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013151722A JP2015023498A (en) | 2013-07-22 | 2013-07-22 | Image coding device, image coding method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015023498A true JP2015023498A (en) | 2015-02-02 |
Family
ID=52487585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013151722A Pending JP2015023498A (en) | 2013-07-22 | 2013-07-22 | Image coding device, image coding method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015023498A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017112462A (en) * | 2015-12-15 | 2017-06-22 | キヤノン株式会社 | Imaging device and control method, program therefor and storage medium |
EP3379820A1 (en) * | 2017-03-24 | 2018-09-26 | Axis AB | Controller, video camera, and method for controlling a video camera |
US10382780B2 (en) | 2017-03-24 | 2019-08-13 | Axis Ab | Method, a video encoder, and a video camera for encoding a video stream |
US11496689B2 (en) | 2020-02-05 | 2022-11-08 | Samsung Electronics Co., Ltd. | Image sensor module image compression method thereof and electronic device |
-
2013
- 2013-07-22 JP JP2013151722A patent/JP2015023498A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017112462A (en) * | 2015-12-15 | 2017-06-22 | キヤノン株式会社 | Imaging device and control method, program therefor and storage medium |
EP3379820A1 (en) * | 2017-03-24 | 2018-09-26 | Axis AB | Controller, video camera, and method for controlling a video camera |
US10382780B2 (en) | 2017-03-24 | 2019-08-13 | Axis Ab | Method, a video encoder, and a video camera for encoding a video stream |
US10531001B2 (en) | 2017-03-24 | 2020-01-07 | Axis Ab | Controller, video camera, and method for controlling a video camera |
US11496689B2 (en) | 2020-02-05 | 2022-11-08 | Samsung Electronics Co., Ltd. | Image sensor module image compression method thereof and electronic device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4799438B2 (en) | Image recording apparatus, image recording method, image encoding apparatus, and program | |
US9092861B2 (en) | Using motion information to assist in image processing | |
JP4986747B2 (en) | Imaging apparatus and imaging method | |
JP4630730B2 (en) | Imaging apparatus, camera, and imaging method | |
WO2010116731A1 (en) | Image pickup device, reproduction device, image pickup method and reproduction method | |
JP2012235332A (en) | Imaging apparatus, imaging apparatus control method and program | |
US8229004B2 (en) | Image signal processing apparatus with code amount control for inter-frame and intra-frame encoding | |
US9854167B2 (en) | Signal processing device and moving image capturing device | |
JP2008193458A (en) | Camera image compression processor and compression processing method | |
JP2017098934A (en) | Method of pre-processing digital images, and digital image pre-processing system | |
JP2015023498A (en) | Image coding device, image coding method and program | |
JP2015115903A (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
JP2017224939A (en) | Imaging apparatus | |
WO2016171006A1 (en) | Encoding device and encoding method, and decoding device and decoding method | |
JP2011199411A (en) | Image encoder apparatus and camera system | |
JP2023052939A (en) | Coding device, decoding device, coding method, decoding method, coding program, and decoding program | |
JP2018137542A (en) | Coding device, coding method, and program | |
JP5274686B2 (en) | Imaging apparatus and imaging method | |
JP2008113112A (en) | Imaging apparatus | |
JP2009118012A (en) | Imaging apparatus and method of controlling the same | |
JP5165084B2 (en) | Image encoding device | |
US10516896B2 (en) | Encoding device, encoding method, and storage medium | |
US11019348B2 (en) | Image processing apparatus and image processing method | |
KR101694293B1 (en) | Method for image compression using metadata of camera | |
US10791334B2 (en) | Image processing apparatus and image processing method |