JP2013223209A - Image pickup processing device - Google Patents

Image pickup processing device Download PDF

Info

Publication number
JP2013223209A
JP2013223209A JP2012095423A JP2012095423A JP2013223209A JP 2013223209 A JP2013223209 A JP 2013223209A JP 2012095423 A JP2012095423 A JP 2012095423A JP 2012095423 A JP2012095423 A JP 2012095423A JP 2013223209 A JP2013223209 A JP 2013223209A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
time
color
exposure
pixels
alternately
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012095423A
Other languages
Japanese (ja)
Inventor
Satoshi Sato
智 佐藤
Takeo Azuma
健夫 吾妻
Yusuke Okada
雄介 岡田
Original Assignee
Panasonic Corp
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To obtain an image which has had blurring of colors reduced while also cutting back a calculation amount and a circuit scale, as well as securing the quantity of light and improving an S/N ratio.SOLUTION: Odd-numbered lines of a single-plate color image sensor each have first and second color pixels alternately arranged, and even-numbered lines each have first and third color pixels alternately arranged. Pixel values are read out from a plurality of first color pixels disposed in one and the same line alternately in a first exposure time and a second exposure time which is longer than the first exposure time according to the order in which they are arranged. Pixel values are read out from a plurality of second color pixels disposed in one and the same line alternately in the first and the second exposure time according to the order in which they are arranged. Pixel values are read out from a plurality of third color pixels disposed in one and the same line alternately in the first and the second exposure time according to the order in which they are arranged. An image processing unit generates a new moving image with a designated frame rate on the basis of the pixel values read out in the first and the second exposure time.

Description

本願は、動画像を生成する撮像処理装置および撮像処理方法に関する。 The present application relates to an imaging apparatus and an imaging processing method for generating a moving image.

従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。 In the conventional imaging processing device, the number of pixels of the image pickup element in order to achieve high resolution tended to increase. 撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。 Order to increase the size of the entire imaging device is limited, forced miniaturized pixels. その一方、画素寸法が小型化されるほど、撮像素子の1画素に入射する光量が減少していた。 Meanwhile, as the pixel size is miniaturized, the amount of light incident on one pixel of the imaging device was decreased. その結果、各画素の信号対雑音比(S/N)の低下につながり、画質を維持することが困難であった。 As a result, it leads to a decrease in the signal-to-noise ratio of each pixel (S / N), it is difficult to maintain image quality.

特許文献1は、赤、緑、青のそれぞれ光を検出する3枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現することを開示している。 Patent Document 1, the red, green, using three imaging elements for detecting the respective light blue, by processing the signals obtained by controlling the exposure time, high frame rate and high sensitivity at high resolution It discloses that to achieve a restored image. この技術では、2種類の解像度の撮像素子が用いられている。 In this technique, two types of resolution of the image pickup device is used. 一方の高解像度の画像を生成する撮像素子からは長時間露光で画素信号が読み出され、他方の低解像度の画像を生成する撮像素子は短時間露光で画素信号が読み出される。 Pixel signals long exposure from an imaging device to generate an image of one of the high resolution is read out, the pixel signals are read by the image sensor is short exposure to generate an image of the other low-resolution. これにより、光量が確保されていた。 Thus, the amount of light has been ensured.

さらに、特許文献2は、特許文献1の手法を単板カメラに拡張し、単板カメラであっても各画素の信号対雑音比(S/N)の低下を抑えながら、画質の維持を実現することを開示している。 Further, Patent Document 2 expands the technique of Patent Document 1 to the veneer camera, while suppressing the lowering of even a single plate camera signal-to-noise ratio of each pixel (S / N), realizing the maintenance of image quality It discloses the.

特開2009−105992号公報 JP 2009-105992 JP 特許第4598162号明細書 Pat. No. 4598162

特許文献1および2の技術は、演算量ならびに回路規模が比較的多かった。 The technique of Patent Document 1 and 2, the calculation amount and the circuit scale is relatively large. そのため、演算量がより少なく、回路規模が小さい装置の開発が求められていた。 Therefore, the amount of calculation less, development of circuit scale is small device has been demanded.

本願の、限定的ではない例示的なある実施形態は、演算量ならびに回路規模を削減しながら、光量を確保しS/Nを改善しつつ、色にじみの発生を低減することができる撮像処理の技術を提供する。 Of the present application, embodiments limiting is not the exemplary some, while reducing the amount of calculation and the circuit scale, while improving ensuring the light quantity S / N, the imaging process can reduce color blur to provide a technique.

本発明のある実施形態による撮像処理装置は、単板カラー撮像素子と画像処理部とを備えている。 Imaging processing apparatus according to an embodiment of the present invention includes a single-plate color image sensor and an image processing unit. 前記単板カラー撮像素子の奇数ラインでは第1色画素および第2色画素が交互に配列され、偶数ラインでは前記第1色画素および第3色画素が交互に配列され、同一ラインに設けられた複数の前記第1色画素からは、配列された順序にしたがって交互に第1露光時間、および前記第1露光時間よりも長い第2露光時間で画素値を読み出すことが可能であり、同一ラインに設けられた複数の前記第2色画素からは、配列された順序にしたがって交互に前記第1露光時間および前記第2露光時間で画素値を読み出すことが可能であり、同一ラインに設けられた複数の前記第3色画素からは、配列された順序にしたがって交互に前記第1露光時間および前記第2露光時間で画素値を読み出すことが可能であり、前記画像処理部は、前記第1露光時間 The first color pixel and the second color pixel in the odd lines of the single-plate color image pickup device are arranged alternately in the even lines of the first color pixel and the third color pixel are arranged alternately provided on the same line from the plurality of the first color pixel, it is possible to read the first exposure time alternately in the order arranged, and a pixel value in the long second exposure time than the first exposure time, the same line more of the plurality of the second color pixel provided, it is possible to read the pixel value in the first exposure time and said second exposure time alternately in the order arranged, provided on the same line wherein the third color pixel, it is possible to read the pixel value in the first exposure time and said second exposure time alternately in the order arranged, the image processing unit, the first exposure time 読み出された画素値と、前記第2露光時間で読み出された画素値とに基づいて、前記所定のフレームレートの新たな動画像を生成する。 And pixel values ​​read, based on the pixel value read by said second exposure time to generate a new video image of the predetermined frame rate.

前記画像処理部は、前記第1露光時間で読み出された画素値と、前記第2露光時間で読み出された画素値とに基づいて得られた、被写体の前記第1色成分の動画像、前記第2色成分の動画像、および前記第3色成分の動画像を受け取り、(a)前記第1露光時間で読み出された前記第1色成分、前記第2色成分および前記第3色成分の各動画像と、前記新たな動画像を前記第1露光時間でサンプリングして得られた動画像との第1の差、および(b)前記第2露光時間で読み出された前記第1色成分、前記第2色成分および前記第3色成分の各動画像と、前記新たな動画像を前記第2露光時間でサンプリングして得られた動画像との第2の差を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動 Wherein the image processing unit, the pixel value read by the first exposure time, the second was obtained on the basis of the pixel value read by the exposure time, moving image of the first color component of the subject , the moving image of the second color component, and receives a moving image of the third color component, (a) said first color components read by the first exposure time, the second color component and the third each moving image of the color components, the first difference between the moving image obtained by sampling a new video sequence by said first exposure time, and (b) read by said second exposure time the including first color component, the second color component and the respective moving image of the third color component, a second difference between the obtained moving image wherein a new video sequence is sampled at the second exposure time set the evaluation formula, the moving image to be satisfied at a predetermined certain conditions the evaluation formula, the new dynamic 像として求めてもよい。 It may be obtained as an image.

前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。 Wherein the image processing unit, a moving image that minimizes the evaluation formula, the may be determined as a new video sequence.

前記画像処理部は、前記第1露光時間で読み出された前記第1色成分、前記第2色成分、および前記第3色成分の各動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。 Wherein the image processing unit, wherein the first color component read by the first exposure time, the second color component, and by using the moving image of the third color component, detecting the movement of the object set the motion detection unit, the constraint condition term on the distribution of the movement of the new video sequence by utilizing the detection result of the motion, to minimize the evaluation formula further comprises a constraint section on the distribution of the motion video the image may comprise said image generation unit for obtaining a new video sequence.

前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、拘束条件項を設定し、前記拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。 Wherein the image processing unit, said that changes in the distribution of the pixel values ​​of the new video sequence is reduced, or so that the change in the pixel values ​​of the new video sequence is constant, to set the constraint condition term, the constraining a moving image that minimizes the evaluation formula further includes a condition section, wherein the may be determined as a new video sequence.

前記画像処理部は、前記画素値の分布に関する拘束条件を画像の一方向に設定してもよい。 The image processing unit may set a constraint on the distribution of the pixel values ​​in one direction of the image.

前記画像処理部は、前記単板カラー撮像素子から1ラインごとに前記画素値を取得し、取得した1ラインごとに前記画素値の分布に関する拘束条件を設定してもよい。 Wherein the image processing unit, the obtains the pixel values ​​for each line a single plate color image pickup device may be set constraints on the distribution of the pixel values ​​for each line obtained.

撮像処理装置は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第1動画像、前記第2動画像および前記第3動画像を表示する表示部とをさらに備えていてもよい。 Imaging processing apparatus, a moving image of the first color component obtained based on the pixel signals read out by said first exposure time, the moving image of the moving image and the third color component of the second color component a display control unit that performs predetermined image processing for display, and the display control unit of the first moving image imaging by the display unit for displaying the second moving image and the third moving picture it may be further provided with a.

本発明のある例示的な実施形態によれば、撮像処理装置は、演算量ならびに回路規模を削減しながら、光量を確保しS/Nを改善しつつ、色にじみの発生を低減した画像を生成することができる。 According to an exemplary embodiment of the present invention, the imaging processing unit, the amount of computation and while reducing the circuit scale, while improving ensuring the light quantity S / N, generating an image with reduced color blur can do.

本発明の例示的な一実施形態による撮像処理装置100の構成を示すブロック図である。 Is a block diagram showing a structure of an imaging and processing device 100 according to an exemplary embodiment of the present invention. 単板カラー撮像素子102の一例を示す図である。 It is a diagram illustrating an example of a single-chip color image pickup device 102. 単時間露光画素と長時間露光画素の配置の例を示す図である。 Is a diagram showing an example of arrangement of the single-time exposure pixels and long-time exposure pixel. x−y方向に広がるフレーム画像を構成する各画素の露光時間(読み出しタイミング)を、複数のフレーム画像について示す鳥瞰図である。 x-y of each of the pixels constituting the frame image spreading in the direction the exposure time (read timing) is a bird's-eye view showing a plurality of frame images. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 It is a diagram illustrating another example of the arrangement of the single-time exposure pixels and long-time exposure pixel. 画像処理部105の詳細な構成の一例を示す図である。 Is a diagram illustrating an example of a detailed configuration of the image processing unit 105. 撮像処理装置100の処理の手順を示すフローチャートである。 It is a flowchart showing a procedure of processing of the imaging apparatus 100. (a)および(b)は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。 (A) and (b) is a diagram showing a reference frame as a reference frame when performing a motion detection by block matching. 共役勾配法の処理手順を示す図である。 It is a diagram illustrating a processing procedure of the conjugate gradient method. 図9に示す処理を行うための画像生成部202の構成例を示す図である。 It is a diagram illustrating a configuration example of an image generation unit 202 for performing the processing shown in FIG. 準ニュートン法の処理手順を示す図である。 It is a diagram illustrating a processing procedure of a quasi-Newton method. 動画像の各画素値を要素とする縦ベクトルを説明するための模式図である。 It is a schematic diagram for explaining a vertical vector to each pixel value of the moving picture and elements. 動き検出部201を含まない画像処理部105を有する撮像処理装置200の構成を示すブロック図である。 It is a block diagram showing a structure of an imaging and processing device 200 having an image processing unit 105 that does not include a motion detector 201. 本発明の他の例示的な一実施形態による撮像処理装置400の構成を示すブロック図である。 It is a block diagram showing a structure of an imaging and processing device 400 according to another exemplary embodiment of the present invention. 短時間露光画像を構成するR,G,およびBの各色画像に補間処理を行い、その後、各色画像を縮小して表示部802に表示するための各色画像を生成する処理の概念図である。 R constituting the short-time exposure image, perform G, and an interpolation process on each color image B, then, is a conceptual diagram of a process for generating a respective color image to be displayed on the display unit 802 by reducing the respective color images. 短時間露光画像を構成するR,G,およびBの各色画像に補間処理およびアスペクト比の変更処理を行って表示部802に表示するための各色画像を生成する処理の概念図である。 R constituting the short-time exposure image is a conceptual diagram of a process for generating a respective color image to be displayed G, and the display unit 802 performs change processing of the interpolation process and the aspect ratio of each color image in B.

まず、上述の特許文献1および2に関して、発明者が見出した先行技術の問題点を説明する。 First, with respect to Patent Documents 1 and 2 mentioned above, explaining the problem of the prior art the inventors have found.

上述の特許文献1および2においては、いずれも滑らかさの拘束として、x方向とy方向の2方向の拘束条件を利用していた。 In Patent Documents 1 and 2 described above, both the smoothness constraint, have utilized two directions constraints the x and y directions. これは、画像に関して2次元的なメモリアクセスが必要となる。 This is because two-dimensional memory access is required with respect to the image. これにより、特許文献1および2では、演算量ならびに回路規模が増大していた。 Accordingly, Patent Documents 1 and 2, the calculation amount and the circuit scale was increased.

以下、添付の図面を参照しながら、本発明の一実施形態にかかる撮像処理装置等を詳細に説明する。 Hereinafter, with reference to the accompanying drawings, illustrating an imaging apparatus or the like according to an embodiment of the present invention in detail.

(実施形態1) (Embodiment 1)
図1は、本実施形態における撮像処理装置100の構成を示すブロック図である。 Figure 1 is a block diagram showing a structure of an imaging and processing device 100 of this embodiment. 撮像処理装置100は、光学系101と、単板カラー撮像素子102と、読み出し制御部103と、制御部104と、画像処理部105とを備えている。 Imaging processing apparatus 100 includes an optical system 101, a single-plate color image pickup device 102, the read control unit 103, a control unit 104, and an image processing unit 105. 以下、撮像処理装置100の各構成要素を詳細に説明する。 Below, an explanation will be given of components of the imaging processing device 100 in detail.

光学系101は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。 Optical system 101 is, for example, a camera lens, forms an image of an object on an image plane of the imaging element.

単板カラー撮像素子102は、赤(R),緑(G),青(B)のカラーフィルタアレイが各画素に装着された撮像素子である。 Single-chip color image sensor 102, red (R), green (G), and image sensor color filter array of blue (B) is attached to each pixel. 図2は、単板カラー撮像素子102の一例を示す。 Figure 2 shows an example of a single-chip color image pickup device 102. 単板撮像素子の各画素(フォトダイオード)に対応して、ベイヤ配列と呼ばれる配列のカラーフィルタアレイが装着されている。 Corresponding to each pixel of the single-plate imaging device (photodiode), a color filter array of array called Bayer array is mounted. 図中の「R」、「G」、「B」はそれぞれ「赤」、「緑」、「青」のフィルタを示している。 "R" in the figure, "G", "B" each "red" shows the filter of "green", "blue".

単板カラー撮像素子102の各画素は、光学系101によって結ばれた光(光学像)を、それぞれに対応して設けられた赤、緑または青のフィルタを通して受け取る。 Each pixel of the single-plate color image pickup device 102 receives light connected by an optical system 101 (optical image), red provided corresponding to the respective through filter green or blue. 各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値(画素信号)を出力する。 Each pixel performs photoelectric conversion in a pixel unit, and outputs a pixel value corresponding to the amount of light incident on each pixel (pixel signal). 同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。 Were taken to the same frame time, the pixel signals of the same color component, the image of each the color components are obtained. 全ての色成分の画像により、カラー画像が得られる。 The images of all the color components, a color image is obtained.

以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ「R」、「G」、「B」によって表すとする。 Hereinafter, in this specification and the appended drawings, red, green, and pixels for detecting light blue, respectively, "R", and represented by "G", "B". 撮像素子の各画素から出力される画素信号は、R,G,Bいずれかの色に関する画素値を持つ。 Pixel signal output from each pixel of the image pickup device has R, G, and pixel values ​​for any color B.

この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルタを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の1単位である。 As it is clear from this description, each pixel of the image sensor, which is a unit of an image pickup element receiving the light transmitted through the color filter of each color, and outputs a signal corresponding to the intensity of received light.

読み出し制御部103は、図2に示す配列の単板カラー撮像素子102から所定の露光時間毎に画像信号を読み出して動画像として取得する。 Read control unit 103 acquires a moving image by reading the image signal from the single-plate color image pickup device 102 of the sequence shown in Figure 2 for each predetermined exposure time. 読み出し方法は以下に詳細に説明するとおりである。 Read method is as described in detail below. 読み出し制御部103の読み出し動作は、制御部104による制御に基づいて実行される。 Read operation of the read control unit 103 is executed based on control by the control unit 104.

図3は、短時間露光画像と長時間露光画像の配置の例を示している。 Figure 3 shows an example of the arrangement of the short-time exposure image and the long exposure image. 画素信号の読み出しは、1ライン単位で行われる。 Reading of the pixel signal is performed on a line-by-line basis. 図3において、R,G,Bの添え字Sは短時間露光を示し、添え字Lは長時間露光を示す。 In FIG 3, R, G, subscript S of B represents the short-time exposure, subscript L denotes a long exposure. また、本明細書および図面では、下付文字の「S」によって短時間(Short)露光を表し、下付文字の「L」によって長時間(Long)露光を表すこともある。 Further, in the present specification and drawings represents a short (Short) exposed by the "S" subscripts, may represent a long time (Long) exposed by the "L" subscripts.

本願明細書では、「短時間露光」とは、一般的な動画撮影時の1フレームの時間だけ露光することを意味する。 In this specification, the term "short exposure" refers to the time by the exposure of one frame during general moving image. 例えば「短時間露光」とは、フレームレートが30フレーム/秒(30fps)の場合には1/30秒の露光時間で露光することに相当する。 For example, "short exposure", the frame rate corresponds to exposure at an exposure time of 1/30 seconds in the case of 30 frames / sec (30fps). フレームレートが60フレーム/秒(60fps)の場合には1/60秒である。 If the frame rate is 60 frames / sec (60 fps) is 1/60 second. 一方、長時間露光とは、1フレームの露光に要する時間よりも長い時間、例えば2フレームから10フレーム程度、露光をすることを意味する。 On the other hand, the long-time exposure, longer than the time required for exposure of one frame, for example, about 10 frames from the second frame means to the exposure.

図3に示されている構成によれば、以下の(a)および(b)が理解される。 According to the arrangement shown in Figure 3, the (a) and (b) are understood below. すなわち、(a)奇数ラインに着目するとGとRとが交互に配列されており、偶数ラインに着目するとGとBとが交互に配列されている。 That is arranged (a) Focusing on the odd line and the G and R are alternately arranged, paying attention to even lines G and B alternately. そして(b)x軸に平行な一ライン上の、同一の色画素(R画素、G画素またはB画素)に注目すると、露光時間(または読み出し時間)が「短」→「長」→「短」→「長」・・・と交互に異なっている。 And (b) on one line parallel to the x-axis, the same color pixels (R pixels, G pixels or B pixels) Focusing on the exposure time (or read time) "short" → "long" → "short "→" are different in length, "alternating with ....

図4は、図3の各画素の露光時間を模式的に示している。 Figure 4 shows schematically an exposure time of each pixel of FIG. 図面の左右方向が時間軸tである。 Lateral direction of the drawing is the time axis t. 長時間露光画像は、R/G/Bそれぞれの画素の半分である。 Long exposure image is half of the R / G / B each pixel. また、2ラインごとに、G画素とR画素のライン、B画素とG画素のラインが繰り返されている例である。 Also, every two lines, an example in which G pixels and R pixels of the line, the line of B and G pixels are repeated.

読み出し制御部103は、制御部104の制御信号に基づいて単板カラー撮像素子102の各画素に対する読み出しパルス信号、リセット信号を制御することで、画素毎に露光時間を切り替える。 Read control unit 103 reads a pulse signal for each pixel of the single-plate color image sensor 102 based on the control signal of the controller 104, by controlling the reset signal, it switches the exposure time for each pixel. 短時間露光時には、読み出し制御部103は1フレーム時間ごとに画素値を読み出し、1フレーム画像の画素信号を読み出す。 Short time during exposure, readout control unit 103 reads the pixel values ​​for each frame time, reading out pixel signals for one frame image. また長時間露光時には、読み出し制御部103は、複数フレーム時間にわたって、単板カラー撮像素子102を露光し、露光期間が終了した後、画素信号を読み出す。 Also the long time exposure, the read control unit 103, over a plurality of frames time, exposing a single-plate color image sensor 102, after the exposure period has ended, the pixel signal is read.

なお、読み出し制御部103は、素子から画素信号を読み出した後でそれらを加算してもよい。 The read control unit 103 may add them after reading pixel signals from the device. 具体的には、読み出し制御部103は1フレーム期間ごとに全ての画素ラインから画素信号を読み出す。 Specifically, the read control unit 103 reads out the pixel signals from all the pixel lines per frame period. そしてある画素については、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。 And for a certain pixel, after the pixel signals for a plurality of frames consecutive is obtained, it adds them. このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。 At this time, the pixel signals to each other in the same pixel coordinate value of the plurality of frames is added. この結果、画素信号が加算された画素については、読み出し制御部103は、複数フレーム期間にわたって露光された画素の画素信号と実質的に同じ画素信号を出力することができる。 Consequently, for a pixel to which the pixel signal is added, the read control unit 103 can output a pixel signal substantially the same as the pixel signal of pixels that are exposed over multiple frame periods.

なお、長時間露光画素の露光時間であるフレーム期間に関しては、予め定めておく。 Regarding the frame period is an exposure time of the long-time exposure pixel, determined in advance.

また、本願の撮像処理装置における画素配置は図3に限られない。 The pixel arrangement in the imaging and processing device of the present application is not limited to FIG. たとえば、図5A〜5Gに示したような画素配置および露光時間(または読み出し時間)を採用してもよい。 For example, it may be employed pixel placement and exposure time as shown in FIG. 5G (or read time). この画素配置に関しては、後述する。 For this pixel arrangement, described later.

再び図1を参照する。 Referring to FIG. 1 again.

画像処理部105は、画素ごとに異なる露光時間で撮影された動画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値(例えば、R,G,Bの画素値)を推定し、高解像度カラー動画像を生成する。 The image processing unit 105 receives the moving image data captured at different exposure times for each pixel, estimated by performing image processing on these, the pixel value of each pixel (for example, R, G, and pixel values ​​of B) the and to generate high-resolution color moving image.

図6は、画像処理部105の詳細な構成の一例を示す。 Figure 6 shows an example of a detailed configuration of the image processing unit 105. 画像処理部105は、動き検出部201および画像生成部202を有する。 The image processing unit 105 includes a motion detection unit 201 and the image generation unit 202.

図7は、撮像処理装置100の処理の手順を示すフローチャートである。 Figure 7 is a flowchart showing a procedure of processing of the imaging apparatus 100. まず概要を説明する。 First, an overview.

ステップS401において、画像処理部105は、フレームレートが画素ごとに異なる動画像をそれぞれ読み出し制御部103から取得する。 In step S401, the image processing unit 105, the frame rate to obtain the different moving image for each pixel from the readout control unit 103, respectively.

ステップS402において、画像処理部105の動き検出部201は、取得した画像のうちの短時間露光画像を用いて生成画像の画素毎の動きを検出する。 In step S402, the motion detecting unit 201 of the image processing unit 105 detects the motion of each pixel of the generated image by using the short-time exposure image in the obtained image.

ステップS403およびS404において、画像生成部202は、動き拘束条件を設定し、滑らかさ拘束を設定する。 In step S403 and S404, the image generation unit 202 sets the motion constraint condition, sets the smoothness constraint.

ステップS405において画像生成部202は、高フレームレートカラー画像を生成する。 Image generating unit 202 in step S405 generates a high frame rate color image.

ステップS406において、画像生成部202は生成したRGB画像を利用し、公知のデモザイキング処理を行なうことにより、カラー画像を生成する。 In step S406, the image generation unit 202 using the RGB image generated by performing a known demosaicing process to generate a color image.

ステップS407において、画像生成部202は生成した動画像を出力する。 In step S407, the image generation unit 202 outputs a moving picture generated.

以下、上述した各ステップの詳細を説明する。 Hereinafter, details of each step described above.

動き検出部201は、1フレーム期間露光されて得られた画素信号によって形成される画像(短時間露光画像)を受け取る。 Motion detecting unit 201 receives an image (short-time exposure image) is formed by the pixel signal obtained through the 1-frame period exposure. 動き検出部201は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動き(オプティカルフロー)を検出する。 Using the short time motion detector 201 exposed image, block matching, the gradient method, by an existing known technology such as a phase correlation method, and detects the motion (optical flow) from the captured pixel value in a short time exposure. 公知技術として、例えばP. As well known in the art, for example P. Anandan. Anandan. “Computational framework and an algorithm for the measurement of visual motion”, International Journal of Computer Vision, Vol. "Computational framework and an algorithm for the measurement of visual motion", International Journal of Computer Vision, Vol. 2, pp. 2, pp. 283−310, 1989が知られている。 283-310, 1989 is known.

図8(a)および(b)は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。 Figure 8 (a) and (b) shows the reference frame as a reference frame when performing a motion detection by block matching. 動き検出部201は、基準とするフレーム(動きを求めるべく着目している時刻tにおける画像)内に、図8(a)に示す窓領域Aを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。 Motion detecting unit 201, in a frame as a reference (the image at time t of interest to determine the motion), sets a window area A shown in FIG. 8 (a), similar to the pattern in the window region pattern the to search in the reference frame. 参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。 As a reference frame, for example, the next frame of the frame of interest is often used.

探索範囲は、図8(b)に示すように、通常、移動量ゼロの位置Bを基準に予め一定の範囲Cが設定される。 Search range, as shown in FIG. 8 (b), usually in advance certain range C on the basis of the position B of the movement amount zero is set. また、パターンの類似の度合い(程度)は、(数1)に示す残差平方和(SSD:Sum of Square Differrences)や、(数2)に示す残差絶対値和(SAD:Sum of Absoluted Differences)を評価値として計算することによって評価する。 Also, the degree of similarity of a pattern (degrees), the residual sum of squares shown in equation (1) (SSD: Sum of Square Differrences) and residual absolute value sum indicated by equation (2) (SAD: Sum of Absoluted Differences ) is evaluated by calculating the evaluation value.

(数1)および(数2)において、I(x、y、t)は画像すなわち画素値の時空間的な分布であり、x,y∈Wは、基準フレームの窓領域内に含まれる画素の座標値を意味する。 In equation (1) and (Equation 2), I (x, y, t) is the spatial and temporal distribution of the image or pixel value, x, Y∈W is pixels included in the window region of the reference frame means of the coordinate values. 本実施形態では、図3において短時間露光で撮影した画像の画素値を利用して、その画像をRGBの各色毎に補間拡大した後、下記数3によって輝度成分を求め、動き検出を行う。 In the present embodiment, by utilizing the pixel values ​​of the pictures on the short-time exposure in FIG. 3, after interpolating enlarged the image for each of the RGB colors, obtains a luminance component by the following equation (3) performs motion detection.

なお、I(x,y,t)は、(数3)に限らず、単純なRGB値の加算等にしてもよい。 Incidentally, I (x, y, t) may be not limited to the equation (3), such as addition of a simple RGB values.

動き検出部201は、探索範囲内で(u,v)を変化させることにより、上記評価値を最小とする(u,v)の組を探索し、これをフレーム間での動きベクトルとする。 Motion detecting unit 201, by changing the within the search range (u, v), to explore a set of minimizing the above-described evaluation value (u, v), which is a motion vector between frames. 具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎(例えば8画素×8画素)に求め、動きベクトルを生成する。 Specifically, by sequentially shifting the setting position of the window area, determined for each pixel the motion or each block (e.g., 8 pixels × 8 pixels) to generate a motion vector.

上記の様にして得られた(数1)または(数2)を最小にする(u,v)の近傍での(u,v)の値の分布に対して、1次ないし2次関数を当てはめる(等角フィッテング法やパラボラフィッティング法として知られる公知の技術)ことによって、サブピクセル精度の動き検出を行う。 To obtained in the above manner (the number 1) or (Equation 2) to the minimum (u, v) (u, v) in the vicinity of the relative distribution of values ​​of the primary to secondary functions (known technique known as conformal fitting method or a parabola fitting method) by fitting, performs motion detection sub-pixel accuracy.

<各画素におけるR,G,Bの画素値の生成処理> <Generation processing of the pixel values ​​of R, G, B in each pixel>
画像生成部202は、次式で表される評価関数J(評価式)を最小化して、各画素におけるR,G,Bの画素値を計算する。 Image generating unit 202, by minimizing the evaluation function J (evaluation formula) represented by the following formula to calculate R, G, and B pixel values ​​in each pixel.

ここで、H 1は長時間露光のサンプリング過程、H 2は短時間露光のサンプリング過程、fは新たに生成すべき高空間解像度かつ高時間解像度のRGB画像である。 Here, H 1 sampling process of long time exposure, H 2 is the short-time exposure of the sampling process, f is the high spatial resolution and high temporal resolution of the RGB image to be newly generated. また、λ Lおよびλ Sは重みである。 In addition, λ L and λ S is a weight. 単板カラー撮像素子102によって撮像されたRGBの画像のうち、長時間露光で撮像したものをg L 、短時間露光で撮像したものをg Sとする。 Of RGB image captured by the single-plate color image pickup device 102, a g L those captured by long exposure, those captured by short exposure to g S. Mはべき指数、Qは生成すべき画像fが満たすべき条件、すなわち拘束条件である。 M is the exponent, Q is a condition to be satisfied by the image f to be generated, i.e. a constraint.

(数4)のべき指数Mの値は、特に限定するものではないが、演算量の観点から、1または2が好ましい。 The value of (number 4) mentioned Ki index M is not particularly limited, from the viewpoint of calculation amount, 1 or 2 are preferred.

(数4)の第1項は、生成すべき高空間解像度かつ高時間解像度のRGB画像fを、長時間露光のサンプリング過程H 1によってサンプリングして得られた画像と、実際に長時間露光画像として得られた、g Lとの差の演算を意味する。 The first term of equation (4) is provided with a high spatial resolution and high time should produce resolution of the RGB image f, obtained by sampling a long time by the sampling process H 1 of the exposure image, actually long exposure image obtained as means calculates the difference between g L. 長時間露光のサンプリング過程H 1を予め定めておき、この差分を最小化するfを求めると、そのfは、長時間露光によって得られたg Lと最もよく整合するといえる。 Long advance determines the sampling process H 1 exposure in advance and obtain the f that minimizes the difference, that f is said to be best aligned with the obtained g L by long exposure. 第2項についても同様に、差分を最小化するfは、短時間露光によって得られたg Sと最もよく整合するといえる。 Similarly, the second term, f that minimizes the difference is said to be best aligned with g S obtained by short-time exposure. また、第3項は、解fを一意に決定するための拘束条件項である。 The third term is a constraint condition term for uniquely determine the solution f.

そして、(数4)の評価関数Jを最小化するRGB画像fは、長時間露光および短時間露光によって得られたg Lおよびg Sの両方を総合的によく満足するといえる。 Then, RGB image f that minimizes the evaluation function J (Expression 4), both of g L and g S obtained by long exposure and short exposure can be said that total well satisfactory. 画像生成部202は、(数4)を最小化するRGB画像fを計算することで、S/Nが改善されたRGB画像の画素値を生成する。 Image generating unit 202 (the number 4) to calculate the RGB image f that minimizes, to generate a pixel value of RGB image S / N is improved.

(数4)のJの最小化は、∂J/∂f=0となるRGB画像fを求めることによって行う。 J minimization of the equation (4) is performed by obtaining the RGB image f to be ∂J / ∂f = 0. この計算は、(数4)においてM=2でかつ、Qがfの2次形式の場合には、上述のJのfによる偏微分∂J/∂fがfの1次式になるため、線形最適化問題となり連立方程式Af=bの計算に帰着する。 This calculation, and a M = 2 in equation (4), when Q is a quadratic form of f, since the partial differential ∂J / ∂f by f in the above-mentioned J is a linear equation of f, It becomes a linear optimization problem reduces to the calculation of simultaneous equations Af = b. すなわち、(数4)をfで偏微分すると、以下のとおりである。 That is, when partial differentiation of equation (4) f, as follows.

1はQがfの2次形式の場合、定数マトリックス(fを含まないマトリックス)である。 Q 1 is when Q is a quadratic form of f, a constant matrix (matrix not including f).

この式を変形して以下の連立方程式を解くことにより、RGB画像fを計算する。 By solving the simultaneous equations below by modifying the expression to calculate the RGB image f.

一方、M=1の場合や、M=3以上の整数の場合、また、Mが整数でない場合には、非線形最適化問題となる。 On the other hand, and when the M = 1, the case of M = 3 or an integer, and when M is not an integer, a non-linear optimization problem.

計算が線形最適化問題になる場合、図9に示す共役勾配法の手順により評価関数Jを最小にするRGB画像fを計算することができる。 Calculation may become linear optimization problem, it is possible to calculate the RGB image f that minimizes the evaluation function J according to the procedure of the conjugate gradient method shown in FIG. 図10は、図9に示す処理を行うための画像生成部202の構成例を示す。 Figure 10 shows a configuration example of an image generation unit 202 for performing the processing shown in FIG. 画像生成部202は、係数演算部501と、ベクトル演算部502と、演算部503とを有している。 Image generating unit 202, a coefficient calculation unit 501, and a vector operation unit 502, an arithmetic unit 503.

係数演算部501は、係数行列Aを計算する。 Coefficient calculator 501 calculates a coefficient matrix A. ベクトル演算部502は、定数ベクトルbを計算する。 Vector calculation unit 502 calculates the constant vector b. 演算部503は、演算によって得られた行列Aおよびベクトルbを用いて、Af=bの連立方程式を解く。 Calculation unit 503, using the matrix A and the vector b is obtained by calculation, solving the simultaneous equations Af = b. 図9に示す処理は、主として演算部503の処理である。 The process shown in FIG. 9 are mainly process of the arithmetic unit 503. 行列Aおよびベクトルbが求まり、制御部104から初期値および終了条件が与えられると図9の処理が開始される。 Motomari a matrix A and the vector b, and the initial value and end conditions are given process of FIG. 9 is started from the control unit 104. 図9の終了条件は、図9に示すk+1ステップ目での残差r k+1が十分小さくなったときである。 End condition of Figure 9 is when the residual r k + 1 in the k + 1 th step shown in FIG. 9 is sufficiently small.

これにより、評価関数Jを最小化するG画像fを求めることができる。 This makes it possible to obtain the G image f that minimizes the evaluation function J. なお、図9に示すアルゴリズムは公知であるため、詳細な説明は省略する。 Since the algorithm shown in FIG. 9 are known, detailed description thereof will be omitted.

一方、計算が非線形最適化問題となる場合には、図11に示す準ニュートン法の手順により、Jを最小にするfを計算することができる。 On the other hand, when the calculation becomes non-linear optimization problem by the procedure of quasi-Newton method shown in FIG. 11, it is possible to calculate the f that minimizes J. この手法によるJの最小化、極小化は、fの初期解から始めて、Jのfに関する勾配を用いて、よりJを小さくする様に、反復計算により解fを更新する。 Minimized, minimization of J by this method, starting from an initial solution of f, using a gradient regarding f of J, so as to reduce the more J, and updates the solution f by iterative calculation. 図11においてKkは、s k ≡f k+1 −f k 、y k =∇J(f k )とおき、準ニュートン法のなかのDFP法では、以下のように計算する。 In Figure 11 Kk is, s k ≡f k + 1 -f k, y k = ∇J (f k) Distant, the DFP method among the quasi-Newton method, is calculated as follows.

また、準ニュートン法のなかのBFGS法では以下のように計算する。 In addition, the BFGS method of among the quasi-Newton method is calculated as follows.

以下、(数4)に関してより詳しく説明する。 Will be described in more detail with respect to equation (4).

画像f、g Lおよびg Sは、動画像の各画素値を要素とする縦ベクトルである。 Image f, g L and g S are column vectors having elements each pixel value of the moving picture. 以下では、画像についてベクトル表記は、画素値をRGBごとに図12のようにラインごと、RGBごとに並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。 In the following, a vector notation for the image means a column vector obtained by arranging each line, for each RGB as shown in Figure 12 the pixel values ​​for each RGB, function notation refers to spatial and temporal distribution of the pixel values. 画素値としては、輝度値の場合は、1画素につき1個の値を考えればよい。 The pixel value, if the luminance value may be considered a single value per pixel. fの要素数は、例えば、生成すべき動画像を横2000画素、縦1000画素、30フレームとすると、2000×1000×30=60000000となる。 f number of elements, for example, horizontal 2000 pixels moving image to be generated, the vertical 1000 pixels, when the 30 frames, a 2000 × 1000 × 30 = 60000000.

画像fの縦横の画素数および信号処理に用いるフレーム数は、画像処理部105によって設定される。 The number of frames used for the number of pixels and signal processing aspect of the image f is set by the image processing unit 105.

長時間露光のサンプリング過程H 1は、行数がg Lの要素数と等しく、列数がfの要素数と等しい行列である。 Long sampling process H 1 of the exposure is equal the number of rows is the number of elements of g L, the number of columns is the number of elements equal to the matrix of f. また、短時間露光サンプリング過程H 2は、行数がg Sの要素数と等しく、列数がfの要素数と等しい行列である。 Furthermore, a short exposure sampling process H 2 is equal the number of rows is the number of elements of g S, the number of columns is the number of elements equal to the matrix of f.

現在一般に普及しているコンピュータでは、動画像の画素数(例えば幅2000画素×高さ1000画素)とフレーム数(例えば30フレーム)に関する情報量が多すぎるため、(数4)を最小化するfを単一の処理で求めることはできない。 The computer now has become popular, because the number of pixels of a moving picture (for example, a width of 2000 pixels × height 1000 pixels) and the number of frames (e.g., 30 frames) the amount of information about is too large, to minimize the (number 4) f the can not be obtained by single processing. 本願の撮像処理装置では、後述するように、RGBそれぞれの色をラインごと(例えば幅1000画素×高さ1画素)のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減することができる。 In the imaging apparatus of the present application, as described later, since it is possible to perform the RGB respective each line color (for example, a width of 1000 pixels × height 1 pixel) only treated, significantly reduce the memory access it can.

このように、時間的、空間的な部分領域についてfの一部を求める処理を繰り返すことにより、生成すべき動画像fを計算することができる。 Thus, time, by repeating the process of obtaining a part of f for spatial subregion, it is possible to calculate the moving picture f to be generated.

次に、長時間露光のサンプリング過程H 1の定式化を簡単な例を用いて説明する。 It will be described using a simple example long exposure formulate the sampling process H 1 of. 以下では、幅4画素(x=1,2,3,4)、高さ2画素(y=1,2)、2フレーム(t=1,2)の画像をベイヤ配列の単板カラー撮像素子102で撮像し、y=1のラインにおいて2フレーム分時間加算する場合のg Lの撮像過程について考える。 In the following, a width of four pixels (x = 1, 2, 3, 4), the height 2 pixels (y = 1, 2), single-chip color image sensor of the image Bayer array of 2 frames (t = 1,2) imaged at 102, consider the imaging process of g L when adding two frames time at y = 1 line. ここでは、例えば図3の最も左上の4画素x2画素に対応して、y=2である2つの画素(x,y)=(2,2)、および、(4,2)におけるG Lのt=1,2を想定している。 Here, for example, correspond to the most upper left four pixels x2 pixel of FIG. 3, two pixels is y = 2 (x, y) = (2,2), and, of G L in (4,2) It is assumed to be t = 1,2.

得られるG画像fの要素は、t=1、2を含めて以下の(数9)のように表される。 Elements of the obtained G image f, including t = 1, 2 is expressed as following (Expression 9).

(数9)において、G 111 〜G 312 、R 211 〜R 422 、B 121 〜B 322は各画素におけるR、G、Bの画素値を示し、3個の添字は順にx、y、tの値を示す。 In equation (9), G 111 ~G 312, R 211 ~R 422, B 121 ~B 322 indicates the pixel values of the R, G, B in each pixel, three indices turn x, y, t- It shows the value.

上記(数9)のうち、長時間露光を求めるために必要なのは、位置(2,1)についてはR 211およびR 212 、位置(3,1)についてはG 311およびG 312 、位置(1,2)についてはB 121およびB 122 、位置(2,2)についてはG 221およびG 222である。 Of the above (9), necessary for obtaining a long exposure, R 211 and R 212 are the positions (2,1), position (3, 1) G 311 and G 312 for the position (1, for 2) B 121 and B 122, a G 221 and G 222 for position (2,2). そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。 Therefore, the matrix for extracting only those pixel values ​​can be defined as follows.

行列H 1は、長時間露光のサンプリング過程であることを考慮して設定される。 Matrix H 1 is set in consideration that the sampling process of the long exposure. すなわち、y=1および2のラインにおける長時間露光の画素を得るためには、(x,y)=(2,1)および(3,1)の位置におけるt=1、2の各画素値を加算し、また(x,y)=(1,2)および(2,2)の位置におけるt=1、2の各画素値を加算する必要がある。 In other words, in order to obtain a long-time exposure of the pixel at y = 1 and 2 lines, (x, y) = (2,1) and the pixel values ​​of t = 1, 2 at the position of (3,1) adding and (x, y) = (1, 2) and it is necessary to add the pixel values ​​of t = 1, 2 at the position of (2,2). これらによれば、長時間露光画像の撮像過程は以下のように定式化される。 According to these, the imaging process of the long-time exposure image is formulated as follows.

次に、短時間露光のサンプリング過程H 2の定式化を簡単な例を用いて説明する。 It will be described using a simple example formulation of the sampling process of H 2 short exposure. 先の例と同様に、幅4画素(x=1,2,3,4)、高さ2画素(y=1,2)、2フレーム(t=1、2)の画像をベイヤ配列の撮像素子で撮像する場合について考える。 As in the previous example, the width of four pixels (x = 1, 2, 3, 4), the height 2 pixels (y = 1, 2), capturing images Bayer array of 2 frames (t = 1,2) consider the case of imaging by the element.

先のサンプリング過程H 1の例と同様、この例もまた、図3の最も左上の4画素x2画素を想定する。 As with the previous example of the sampling process H 1, this example also assume 4 pixel x2 pixels of the most upper left of FIG. ただし短時間露光であるため、図3のy=1,2における短時間露光画素の画素値が、t=1および2について必要となる。 Since however a short-time exposure, the pixel values ​​of the short-time exposure pixel in y = 1, 2 of FIG. 3, it is necessary for t = 1 and 2. すなわち、画素(x,y)=(1,1)におけるGsの画素値、および、(4,1)におけるRsの画素値、および、(3,2)におけるBsの画素値、および、(4,2)におけるGsの画素値が、t=1および2について必要となる。 That is, the pixel (x, y) = pixel value of Gs in (1,1), and the pixel value of Rs in (4,1), and, Bs of pixel values ​​in (3,2), and, (4 , the pixel value of Gs in 2), required for t = 1 and 2. なお、得られるRGB画像fの要素は、(数9)の通りである。 Incidentally, elements of the obtained RGB image f is as (9).

上記(数9)のうち、短時間露光を求めるために必要なのは、位置(1,1)についてはG 111およびG 112 、位置(4,1)についてはR 411およびR 412 、位置(3,2)についてはB 321およびB 322 、位置(4,2)についてはG 421およびG 422である。 Of the above (9), necessary to determine the short-time exposure, G 111 and G 112 for position (1, 1), R 411 and R 412 are the positions (4,1), position (3, for 2) B 321 and B 322, a G 421 and G 422 for position (4,2). そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。 Therefore, the matrix for extracting only those pixel values ​​can be defined as follows.

(数12)の第1〜4行が時刻t=1に関し、第5〜8行が時刻t=2に関している。 First to fourth row (number 12) relates to the time t = 1, the 5-8 row concerns a time t = 2. これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。 According to these, the imaging process of the short-time exposure line is formulated as follows.

(数11)や(数13)は、RGB画像fをベイヤ配列の単板撮像素子により露光時間を変えて撮像し、g L 、g Sを得る過程を示す。 (11) and (Equation 13), an RGB image f captured by changing the exposure time by a single-plate image pickup device of the Bayer array, showing a process of obtaining g L, g S. 逆に、g L 、g Sからfを生成する問題は、一般に逆問題といわれる。 Conversely, problems g L, generates a f from g S is said to generally inverse problem. 拘束条件Qのない場合、下記(数14)を最小化するfは無数に存在する。 If no constraints Q, f that minimizes the following equation (14) exists an infinite number.

このことは、サンプリングされない画素値に任意の値を入れても(数14)が成り立つことから、容易に説明できる。 This is also put any value into a pixel value that is not sampled from the holds (equation 14), can be easily explained. そのため、(数14)の最小化によってRGB画像fを一意に解くことはできない。 Therefore, it can not be solved uniquely RGB image f by minimization of equation (14).

そこで、RGB画像fについての一意な解を得るために、拘束条件Qを導入する。 Therefore, in order to obtain a unique solution for the RGB image f, introducing constraints Q. Qとして、画素値fの分布に関する滑らかさの拘束や、fから得られる画像の動きの分布に関する滑らかさの拘束を与える。 As Q, it gives smoothness constraint or on the distribution of pixel values ​​f, and the smoothness constraint on the distribution of motion of an image obtained f. From 以下、それぞれの拘束の与え方を説明する。 It will now be described way of giving each of restraint.

まず、RGB画像fを1ライン目のG(以下、Grと記載)とR、2ライン目のBとG(以下、Gbと記載)ごとの画素値の分布に関する滑らかさの拘束としては、(数15)もしくは(数16)の拘束式を用いる。 First, RGB image f the first line G (hereinafter, Gr and described) and R, 2 line of B and G (hereinafter, described as Gb) as the smoothness constraint on the distribution of pixel values ​​for each is ( number 15) or a constraint equation (equation 16) is used.

ここで、λ CR 、λ CGr 、λ CGb 、および、λ CBはR,G,Bの滑らかさの拘束の重みであり、3板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のPSNR(Peak Signal to Noise Ratio)が最良となるように決めればよい。 Here, λ CR, λ CGr, λ CGb, and the lambda CB R, G, is the weight of the smoothness constraint of B, and if the pixel value all-pixel reading in three-plate imaging and the like can be prepared in advance is, PSNR of the generated image (Peak Signal to Noise Ratio) may be determined so that the best.

なお、PSNRは(数17)で定義される。 Incidentally, PSNR is defined by equation (17).

ここで、fmaxは画素値の最大値(例えば、8ビット時255、10ビット時1023)であり、σは正解画像と生成画像との差の標準偏差である。 Here, fmax is the maximum value of the pixel values ​​(e.g., 8-bit time 255,10-bit time 1023) and, sigma is the standard deviation of the difference between the generated image and the correct image.

一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλλ CR 、λ CGr 、λ CGb 、および、λ CBを決めればよい。 On the other hand, If this is not the case, while looking at the image quality that is newly generated by the manual operation on the basis of the value of the λλ CR, λ CGr, λ CGb , and may be determined to λ CB. (数4)に示す通り、拘束条件Qも評価関数Jの一部を構成する。 As shown in equation (4), constitutes a part of the constraint condition Q also the evaluation function J. したがって、評価関数Jの値をできるだけ小さくするためには、拘束条件Qも小さい方が好ましい。 Therefore, in order to minimize the value of the evaluation function J, it is preferable less constraint Q.

(数15)に関しては、画素値fの分布の変化が少ないほど、Qの値は小さくなる。 With respect to equation 15, the smaller the change in the distribution of the pixel values ​​f, the value of Q is reduced. (数16)に関しては、画素値fの分布の変化が一定であるほど、Qの値は小さくなる。 With respect to Equation 16, the more the change in the distribution of the pixel value f are constant, the value of Q is reduced. これらが、画素値fの分布に関する滑らかさの拘束条件となる。 These are the constraints of smoothness on the distribution of pixel values ​​f.

また、(数14)で||はベクトルのノルムを表す。 Further, || represents the norm of a vector in equation (14). べき指数mの値は、(数4)、(数14)におけるべき指数Mと同様に、演算量の観点から1または2が望ましい。 The value of the exponent m to the formula (4), like the index M to in the item (number 14), 1 or 2 is desirable from the viewpoint of the computation amount.

なお、上記の偏微分値∂/∂x、∂ 2 /∂x 2は、着目画素近傍の画素値による差分展開により、例えば(数18)により近似計算できる。 The above partial derivatives ∂ / ∂x, ∂ 2 / ∂x 2 is a differential expansion due to the pixel value of the target pixel neighborhood may approximate calculation by, for example, (number 18).

差分展開は上記(数18)に限らず、例えば(数19)の様に、近傍の他の画素を参照するようにしてもよい。 Differential expansion is not limited to the above equation (18), like the example (number 19), it may be referred to other neighboring pixels.

(数19)は(数18)による計算値に対して、近傍で平均化することになる。 (Number 19) will be averaged over the calculated value, near by (number 18). これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。 Thus, although the spatial resolution drops, it can be less affected by noise. さらに、両者の中間的なものとして、0≦α≦1の範囲のαで重み付けをして、以下の式を採用してもよい。 Furthermore, as both intermediate of, by weighting with alpha ranging from 0 ≦ α ≦ 1, may be employed the following formula.

差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、演算量や回路規模を少しでも小さくするために、(数18)を用いてもよい。 Calculation of the difference deployment may be performed predetermine α according to the noise level as the image quality of the processing result can be more improved, or, in order to reduce the calculation amount and the circuit scale even a little, ( number 18) may be used.

(数15)、(数16)に示したような、動画像fの画素値の分布に関する滑らかさの拘束を導入して(数4)を解く問題に対しては、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。 (Number 15), as shown in equation (16), for introducing the smoothness constraint on the distribution of pixel values ​​of the moving picture f solving equation (4) issues, known solution, for example a finite it can be calculated using the solution of variational problems element method or the like.

また、以上のように、RGB画像fを1ライン目のG(以下、Grと記載)とR、2ライン目のBとG(以下、Gbと記載)を独立に計算することが可能なため、1次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。 Further, as described above, RGB image f the first line G (hereinafter, described as Gr) and R, 2 line of B and G (hereinafter, Gb and described) since it is possible to calculate the independent , can be performed only by the processing memory accesses on one-dimensional amount of calculation as well as to reduce the circuit scale. 例えば、生成すべき動画像を横2000画素、縦1000画素とすると、Gr/R/B/Gbそれぞれを、幅1000画素×高さ1画素ごとに処理することが可能である。 For example, horizontal 2000 pixels moving image to be generated, when a vertical 1000 pixels, each Gr / R / B / Gb, it is possible to process every pixel width 1000 pixels × height. そのため、メモリアクセスを大幅に削減することができる。 Therefore, it is possible to significantly reduce the memory access.

次に、RGB画像fに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。 Next, a smoothness constraint on the distribution of motion images included in the RGB image f.

RGB画像fに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記(数21)または(数22)を用いる。 The smoothness constraint on the distribution of motion images included in the RGB image f, using the following equation (21) or equation (22).

ここで、uは動画像fから得られる各画素についての動きベクトルのx方向の成分を要素とする縦ベクトル、vは動画像fから得られる各画素についての動きベクトルのy方向の成分を要素とする縦ベクトルである。 Here, u is a vertical vector, v is the element in the y-direction component of the motion vector for each pixel obtained from the video image f to x direction component elements of the motion vector for each pixel obtained from the video image f is a vertical vector to be.

fから得られる画像の動きの分布に関する滑らかさの拘束としては、(数21)、(数22)に限らず、例えば(数23)、(数24)に示す1階または2階の方向微分としてもよい。 The smoothness constraint on the distribution of motion of an image obtained from f, equation (21) is not limited to the equation (22), for example (number 23), the first floor shown in equation (24) or second-order direction differentiation it may be.

さらに、(数25)〜(数28)に示すように、(数21)〜(数24)の拘束条件を、fの画素値のこう配に応じて適応的に変化させてもよい。 Furthermore, as shown in (Equation 25) through (28), the constraint of equation (21) through (24) may be adaptively changed in accordance with the gradient of the pixel values ​​of f. これにより、画像内のエッジ(輝度変化が不連続な境界)部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。 Thus, the effect of the smoothness constraint image edge (change in luminance discontinuous boundary) for the portion, it is possible to reduce as compared with the flat portion of the image, to reproduce the edge of the image more clearly can.

ここで、w(x,y)は、fの画素値のこう配に関する重み関数であり、(数29)に示す画素値のこう配の成分の、べき乗和によって定義される。 Here, w (x, y) is a weighting function relating the gradient of the pixel values ​​of f, is defined by the components, a power sum of the gradient of the pixel values ​​shown in equation (29).

また、(数29)に示す輝度こう配の成分の2乗和の代わりに、(数30)に示す方向微分の、べき乗の大小によって、重み関数w(x,y)を定義してもよい。 Further, instead of the sum of squares of components of the luminance gradient shown in equation (29), the directional derivative shown in equation (30), the power of the magnitude, the weighting function w (x, y) may be defined.

ここで、ベクトルn maxおよび角度θは方向微分が最大になる方向であり、下記(数31)によって与えられる。 Here, the vector n max and the angle θ is a direction in which the direction differentiation is maximized, is given by the following equation (31).

このような重み関数を導入することにより、fの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像fが必要以上に平滑化されることを防ぐことができる。 By introducing such a weighting function, it is possible to prevent the motion information of f are smoothed more than necessary, as a result, that the image f to be newly generated is smoothed more than necessary it is possible to prevent.

(数21)〜(数28)に示したような、画像fから得られる動きの分布に関する滑らかさの拘束を導入して(数4)を解く問題に関しては、fについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。 (Number 21) as shown in through (28), with respect to the problems solved by introducing the smoothness constraint on the distribution of motion obtained from the image f (the number 4), the smoothness constraint on f It made as compared to the required complicated calculations and if used. 新たに生成すべき画像fと動き情報(u,v)が相互に依存するためである。 Newly generated image f and the motion information to be (u, v) is because interdependent.

この問題に対しては、公知の解法、例えばEMアルゴリズム等を用いた変分問題の解法を用いて計算することができる。 For this problem, can be calculated using a solution of known solutions, for example, the EM algorithm such variational problem using. その際、繰り返し計算に、新たに生成すべき画像fと動き情報(u,v)の初期値が必要になる。 At that time, the repeated calculations, it is necessary to the initial value of the newly generated image f and the motion information to be (u, v).

fの初期値としては、入力画像の補間拡大画像を用いればよい。 The initial value of f, may be used interpolated and enlarged image of the input image. 一方、動き情報(u,v)としては、動き検出部201において(数1)ないし(数2)を計算して求めた動き情報を用いる。 On the other hand, the motion information (u, v), the motion detection unit 201 (the number 1) to use a motion information obtained by calculating the equation (2). その結果、画像処理部105が、上述のごとく、(数21)〜(数28)に示したような、画像fから得られる動きの分布に関する滑らかさの拘束を導入して(数4)を解くことにより、処理結果の画質を向上させることができる。 As a result, the image processing unit 105, as described above, the (number 21) to as shown in equation (28), by introducing the smoothness constraint on the distribution of motion obtained from the image f (Equation 4) by solving, it can improve the image quality of the processing result.

画像処理部105における処理は、(数15)、(数16)に示した画素値の分布に関する滑らかさの拘束のいずれかと、(数21)〜(数28)に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、(数32)のように同時に用いてもよい。 Processing in the image processing unit 105, (equation 15), and any of the smoothness of the constraint on the distribution of pixel values ​​shown in equation (16), smooth on the distribution of motion shown in (Equation 21) through (28) a combination of both one of the restraint may be used at the same time as (number 32).

ここで、Q fはfの画素値のこう配に関する滑らかさの拘束、Q uvはfから得られる画像の動きの分布に関する滑らかさの拘束、λ 1およびλ 2はQ fとQ uvの拘束に関する重みである。 Here, Q f is the smoothness constraint regarding the gradient of the pixel values of f, Q uv is the smoothness constraint on the distribution of the motion of the image obtained from f, lambda 1 and lambda 2 relates constraints Q f and Q uv it is a weight.

なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。 Here, although described for formula multiple constraints, these optimal combination, cost, operational scale, may be determined according to the situation of the apparatus, such as circuit scale. 例えば、画質が最もよくなるものを選択するようにすればよい。 For example, it is sufficient to select which image quality is best. 「画質が最もよくなる」とは、例えばその映像を確認する者の主観に基づいて決定することができる。 The "image quality is best", for example, can be determined based on the subjectivity of the person to check the video.

画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して(数4)を解く問題も、公知の解法(例えばEMアルゴリズム等を用いた変分問題の解法)を利用することができる。 And the smoothness constraint on the distribution of pixel values, by introducing both the smoothness constraint on the distribution of image motion solving equation (4) problem, known solutions (e.g., the EM algorithm such variational problem using it is possible to use the solution).

また、動きに関する拘束は、(数21)〜(数28)に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差(動きベクトルの始点と終点間における画素値の差)を評価値として、これを小さくするようにしてもよい。 Also, constraint concerning motion, (Equation 21) - not limited to those relating to the smoothness of the distribution of motion vector shown in equation (28), the pixel value between the start and end points of the residual (motion vector between corresponding points as the evaluation value difference), it may be reduced this. 対応点間の残差は、fを関数f(x,y,t)として表すと、(数33)のように表すことができる。 Residual between corresponding points, the f function f (x, y, t) is represented as a, it can be expressed as (number 33).

fをベクトルとして、画像全体について考えると、各画素における残差は下記(数34)に示すようにベクトル表現することができる。 The f as a vector, considering the entire image, the residual at each pixel can be a vector expressed as shown in the following equation (34).

残差の平方和は下記(数35)に示すように表すことができる。 Sum of squares of the residuals can be expressed as shown in the following equation (35).

(数34)、(数35)において、H mはベクトルfの要素数(時空間の総画素数)×fの要素数の行列である。 (Number 34), the equation (35), H m is a matrix of the number of elements of the number of elements (total number of pixels in time and space) × f in the vector f. mでは、各行において、動きベクトルの視点と終点に相当する要素だけが0でない値を持ち、それ以外の要素は0の値を持つ。 In H m, in each row, it has only elements corresponding to the viewpoint and the end point of the motion vector is non-zero, and the other element has a value of 0. 動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−1と1の値を持ち、他の要素は0である。 If the motion vector is an integer precision, elements corresponding to the view point and end point, respectively, has a value of -1 and 1, the other elements are zero.

動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。 If the motion vector is a sub-pixel accuracy, depending on the value of sub-pixel components of the motion vectors, a plurality of elements corresponding to a plurality of pixels of the destination vicinity will have a value.

(数35)をQ mとおき、拘束条件を(数36)のようにしてもよい。 (Number 35) to Q m Distant, it may be of a constraint (number 36).

ここで、λ 3は拘束条件Q mに関する重みである。 Here, λ 3 is a weight on the constraint condition Q m.

以上述べた方法により、動き検出部201でG SとR SとB Sの短時間露光画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたRGB動画像を画像処理部105で信号対雑音比(S/N)を向上させ、色にじみの少ない新たな動画像を生成することができる。 By the method described above, by using the motion information extracted from the short-time exposure image in the motion detecting unit 201 G S and R S and B S, the image processing unit the RGB moving images captured by the imaging element of the Bayer array 105 improves the signal-to-noise ratio (S / N), the it is possible to generate a new video sequence with less color bleeding.

さらに、こうして生成したRGB画像を利用し、公知のデモザイキング処理を行なうことにより、画像処理部105は信号対雑音比(S/N)を向上させ、色にじみの少ない新たな動画像を生成することができる。 Furthermore, in this way utilizing the generated RGB image, by performing a known demosaicing process, the image processing unit 105 signal-to-noise ratio (S / N) is improved, and generates a new video sequence with less color blurring be able to. 本願の撮像処理装置は、1ラインごとに処理を行なうため、1次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。 Imaging and processing device of the present application is to perform a process for each line, it is possible to perform memory accesses only processing on 1-dimensional, amount of calculation as well as to reduce the circuit scale.

また、本願の撮像処理装置は、ベイヤ配列におけるRGB画素位置の画像のみを生成し、生成した画像に対してデモザイキング処理によりカラー画像を生成するため、すべての画素で画像生成を行なう場合に比べ、1/3の演算量で行なうことができるため、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、S/Nをより改善することができる。 The imaging processing device of the present application, compared with the case only generated image of RGB pixel position in Bayer array, for generating a color image by demosaicing processing on the generated image, performing image generation in all pixels , it is possible to perform the computation of 1/3, while reducing the amount of calculation and the circuit scale, without causing a color shift can be improved more the S / N.

なお、上述した画像処理部105におけるR,G,Bの画素値の計算方法は一例であり、他の計算方法を採用してもよい。 Incidentally, R in the image processing unit 105 described above, G, calculation method of the pixel value of B is one example, may employ other calculation methods.

他の方法として、例えば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。 Alternatively, it may be obtained a desired object image by using, for example, an optimization method of iterative operations types, such as the steepest gradient method.

以上説明したように、実施形態1によれば、単板撮像素子に時間加算の機能を付加し、1ラインごとに時間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、色にじみの少ない画像(時間加算を行なわずに全画素を読み出した画像)を推定し生成することができる。 As described above, according to the first embodiment, by adding the function of the time added to the single-plate image pickup device to generate a new image from the temporal addition input image for each line, the amount of light during imaging a high resolution and a high frame rate while ensuring, estimates the color with less bleeding image (image read all pixels without temporal addition) can be generated.

(実施形態1の変形例) (Modification of Embodiment 1)
実施形態1では、画像処理部105における処理に、(数10)や(数12)を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。 In the first embodiment, the processing in the image processing unit 105, a case of using all the smoothness constraint on the Deterioration restraint, motion constraint using the motion detection, the distribution of the pixel value using the equation (10) or (Expression 12) It was mainly mentioned.

種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。 Of the various constraints, the amount of calculation for motion constraint particular lot, requiring computer resources of the device. そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。 Therefore, in this modification will be described a process that does not use the motion constraint of these constraints.

図13は、動き検出部201を含まない画像処理部105を有する撮像処理装置200の構成を示すブロック図である。 Figure 13 is a block diagram showing a structure of an imaging and processing device 200 having an image processing unit 105 that does not include a motion detector 201. 画像処理部105の画像生成部111は、動き拘束を用いることなく、新たな画像を生成する。 Image generation unit 111 of the image processing unit 105, without using the motion constraint, to generate a new image.

図13において、図1および図6と同じ動作をする構成要素には、図1および図6と同一の符号を付し、説明を省略する。 13, components which perform the same operations as those of FIGS. 1 and 6, the same reference numerals as in FIG. 1 and FIG. 6, the description thereof is omitted.

従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。 In the prior art, in the case of not using a motion constraint, decrease in apparent picture quality processing results.

しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。 However, in the present invention it is possible to omit the motion constraint without causing significant deterioration in image quality. その理由は、図3に示した画素配置にある。 The reason is the pixel arrangement shown in FIG. この画素配置では、RGB画像を生成する際、1ライン単位で横方向にスキャンすることにより、単板カラー撮像素子102の長時間露光および短時間露光を行うそれぞれの色成分の画素が、順番に混在している。 In this pixel arrangement, when generating the RGB image, by scanning in the horizontal direction in units of one line, the pixel of the respective color components to perform long exposure and short exposure of a single-plate color image sensor 102, in order They are mixed. そのため、短時間露光によって撮影された画素と長時間露光によって撮影された画素が順番に混在し、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。 Therefore, short-time pixel taken by the long-time exposure and a pixel imaged by exposure are mixed sequentially, upon generating an image without using the motion constraint, color blur captured pixel value by brief exposure there is an effect of suppressing the occurrence. さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量ならびに回路規模を低減することができる。 Furthermore, in order to generate a new moving image without imposing motion constraints, it is possible to reduce the calculation amount and circuit scale.

以下に、画像生成部111による高画質化処理を説明する。 The following describes a high-quality image processing by the image generation unit 111.

(数4)においてM=2とし、Qとして(数15)ないし(数16)を用い、これらの式におけるmを2とする。 (Formula 4) and M = 2 in, to (number 15) as a Q with a (number 16), the m in these equations and 2. そして、1階微分、2階微分の差分展開として(数18)、(数19)、(数20)のいずれかを用いると、評価式Jはfの2次式となる。 Then, the first derivative, as second difference expansion differential equation (18), (Expression 19), the use of either (a few 20), the evaluation formula J is a quadratic equation f. 評価式を最小化するfの計算は、(数37)により、fについての連立方程式の計算に帰着する。 Calculation of f that minimizes the evaluation formula, the (number 37), resulting in the calculation of the simultaneous equations for f.

ここで、解くべき連立方程式を(数38)のようにおく。 Here, we put as the simultaneous equations (Equation 38) to be solved.

(数38)において、fは生成する画素数(1フレームの画素数×処理するフレーム数)分の要素を持つため、(数38)の計算量は通常、非常に大規模になる。 In equation (38), f is to have an element of content (number of frames to the number of pixels × the processing of 1 frame) produces the number of pixels to the calculation of equation (38) will normally very large. しかし、本願の撮像処理装置では、前述のとおり、Gr/R/B/Gbそれぞれを1ラインごと(例えば幅1000画素×高さ1画素×処理するフレーム数)のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。 However, in the imaging and processing device of the present application, as described above, capable of performing the Gr / R / B / Gb each line respectively (eg, the number of frames to be processed width 1000 pixels × height 1 pixel ×) treated only with the Therefore, the memory access is greatly reduced, the amount of computation and it is possible to reduce the circuit scale.

このような連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解fを収束させる方法(繰り返し法)が一般的に用いられる。 As solution of this simultaneous equations, a method for converging the solution f by repeating the calculation of such a conjugate gradient method or steepest descent method (iterative method) is generally used.

動き拘束を用いずにfを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。 When obtaining the f without using the motion constraint, since the evaluation function is only smoothness constraint term and deterioration constraint term, the process does not depend on the content. このことを利用すると、連立方程式(数38)の係数行列Aの逆行列をあらかじめ計算でき、これを用いることで直接法により画像処理を行うようにできる。 By utilizing this fact, the inverse matrix of the coefficient matrix A of simultaneous equations (Equation 38) can pre-compute the can to perform image processing by the direct method by using the same.

(数18)に示す滑らかさ拘束を用いる場合、x方向の2階偏微分は、例えば、(数18)に示すように1,−2,1の3つの係数のフィルタとなり、その2乗は1,−4,6,−4,1の5つの係数のフィルタとなる。 When using a smoothness constraint shown in equation (18), second-order partial differentiation in the x direction, for example, 1 as shown in equation (18) becomes the three coefficients of the filter -2,1, its square is 1, 4,6, and filter five coefficients 4,1. これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。 These coefficients, by sandwiching the coefficient matrix in the Fourier transform and inverse transform in the horizontal direction can be diagonalized. 同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。 Similarly, deterioration restraint of long exposure, by sandwiching the coefficient matrix in the Fourier transform and inverse Fourier transform in the time direction can be diagonalized. すなわち、(数39)のように行列をΛと置くことができる。 That is, it is possible to put the Λ matrix as (number 39).

これにより、1行あたりのノンゼロ係数の数を係数行列Aと比べて低減させることができる。 Thus, it is possible to reduce than the number of non-zero coefficients per line and the coefficient matrix A. その結果、Λの逆行列Λ -1の計算が容易になる。 As a result, it is easy to inverse matrix lambda -1 calculations lambda. そして、(数40)および(数41)により、fを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。 By equation (40) and (Equation 41), by a direct method f, without repeating calculations, can be determined with less amount of calculation and the circuit scale.

また、滑らかさの拘束として(数14)を利用することにより、奇数行目のG画素Gr、奇数行目のR画素、偶数行目のB画素、偶数行目のG画素Gbを独立に計算することができるため、メモリアクセスを削減し、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、S/Nをより改善することができる。 Moreover, by utilizing the equation (14) as the smoothness constraint, calculate odd rows of the G pixel Gr, R pixels in the odd row, B pixels in the even row, the G pixel Gb of even rows independently it is possible to to reduce the memory access, while reducing the amount of calculation and the circuit scale, without causing a color shift can be improved more the S / N. この場合、本願の撮像処理装置では、1ラインごとの各色の画素(例えば幅1000画素×高さ1画素×処理するフレーム数)のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。 In this case, in the imaging apparatus of the present application is reduced because it is possible to perform 1 each color pixel per line (for example, a width of 1000 pixels × number of frames to be height 1 pixel × treatment) only treated, the memory access significantly and, the amount of computation and it is possible to reduce the circuit scale.

また、本願の撮像処理装置における画素配置は、図3に限ったものではなく、図5A〜5Gのいずれでも構わない。 The pixel arrangement in the imaging and processing device of the present application is not limited to FIG. 3, it may be any of FIG 5G. 前述のとおり、本願の撮像処理装置においては、単板カラー撮像素子102の各色画素において、x方向に長時間露光および短時間露光を行うそれぞれの画素が、順番に混在している必要がある。 As described above, in the imaging and processing device of the present application, each color pixel of the single-plate color image pickup device 102, each pixel for a long time exposure and short exposure in the x-direction, it is necessary mixed in the order. 図5A〜5Gはいずれもこの条件を満たす。 Figure 5A~5G both satisfy this condition.

(実施形態2) (Embodiment 2)
近年、多くの機器において電子式ビューファインダが利用され始めている。 Recently, electronic view finder has begun to be used in many devices. しかしながら、特許文献1に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。 However, in order to realize such an electronic view finder by the techniques described in Patent Document 1, it is difficult to display an image with no color bleeding or delays viewfinder during shooting. その理由は、ある1つの色について全画素で長時間露光をしているためである。 The reason is that the long-time exposure for all pixels for a single color.

これに対して、本発明の実施形態2では、第1色から第3色までのすべてで、一部またはすべての画素を短時間露光で撮影している。 In contrast, in the second embodiment of the present invention, and all from the first color to the third color, it is taken with short exposure to some or all of the pixels. そのため、本実施形態では、短時間露光で撮影された画素の情報をビューファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。 Therefore, in this embodiment, by displaying the information of the pixel taken with short exposure to the view finder, and presents an image with no blurring delay or color to the photographer.

図14は、本実施形態における撮像処理装置400の構成を示すブロック図である。 Figure 14 is a block diagram showing a structure of an imaging and processing device 400 in this embodiment. 図14において、図1と同一の動作をするものについては、図1と同一の符号を付し、説明を省略する。 14, for which the same operation as FIG. 1 are denoted by the same reference numerals as in FIG. 1, the description thereof is omitted.

撮像処理装置400は、光学系101と、単板カラー撮像素子102と、読み出し制御部103と、制御部104と、画像処理部105と、表示制御部801と、表示部802とを備えている。 Imaging and processing device 400 includes an optical system 101, a single-plate color image pickup device 102, the read control unit 103, a control unit 104, an image processing unit 105, a display control unit 801, and a display unit 802 .

単板カラー撮像素子102によって短時間露光撮影された画素信号は、表示制御部801に入力される。 Pixel signal short-exposure shooting by a single-plate color image pickup device 102 is input to the display control unit 801.

表示制御部801は、入力された短時間露光画像の画素信号に表示のための処理を施す。 The display control unit 801 performs a processing for displaying the pixel signal of the input short-time exposure image. たとえば表示制御部801は、簡単な補間処理によって、RGB各色のサンプリング位置を揃え、また、アスペクト比を調整する。 For example, the display control unit 801, by a simple interpolation process, aligning the sampling position of the RGB colors, also adjusts the aspect ratio. 本願の撮像処理装置では、RGGB4画素のうち、RGB3画素を短時間露光で撮影する。 In the imaging apparatus of the present application, among RGGB4 pixels, shooting with short exposure to RGB3 pixel. そのため、表示制御部801は、これらの短時間露光画素を補間処理することで、表示のための処理を行なう。 Therefore, the display control unit 801, by interpolating these short-time exposure pixel, performs processing for displaying.

一例として、図15は、短時間露光画像を構成するR,G,およびBの各色画像に補間処理を行い、その後、各色画像を縮小して表示部802に表示するための各色画像を生成する処理の概念図である。 As an example, FIG. 15 performs an interpolation process on each color image in short exposure image constituting the R, G, and B, then generating a respective color image to be displayed on the display unit 802 by reducing the respective color images it is a conceptual diagram of the processing. 他の例として、図16は、短時間露光画像を構成するR,G,およびBの各色画像に補間処理およびアスペクト比の変更処理を行って表示部802に表示するための各色画像を生成する処理の概念図である。 As another example, FIG. 16 generates short exposure image constituting the R, G, and color images to be displayed on the display unit 802 performs change processing of the interpolation processing and aspect ratio image of each color B it is a conceptual diagram of the processing. 表示制御部801は、図15および図16に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部802に表示する。 The display control unit 801 after performing the process shown in FIGS. 15 and 16, the respective color images, performs positioning processing for aligning the sampling position, the display unit 802.

撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。 Photographer, by viewing the displayed image, it is possible to perform the composition or focusing.

以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。 As described above, the imaging processing apparatus according to the present invention includes an optical system, an imaging device, the read control unit, and an image processing unit, is useful as a high resolution and technique sensitive imaging for by compact image pickup device.

なお、上述の実施形態では、読み出し制御部103、制御部104、画像処理部105、表示制御部801は異なる構成要素として図示し、説明した。 In the above embodiment, the read control unit 103, the control unit 104, the image processing unit 105, the display control unit 801 is illustrated as different components have been described. これらは各々が別個のプロセッサによって実現され得る。 It each may be implemented by separate processors. しかしながらその構成は一例である。 However the configuration is an example. 2以上の構成要素の機能を、1つのプロセッサによって実現してもよい。 The functions of two or more components may be realized by one processor. もちろん、全ての構成要素の機能を、1つのプロセッサによって実現してもよい。 Of course, the functions of all of the components may be realized by one processor. その場合には、たとえば上述した各構成要素の動作に対応する動作を行うためのプログラムモジュールを用意しておき、当該プロセッサがある時点においていずれか1つのまたは複数のプログラムモジュールを実行すればよい。 In that case, for example, by preparing a program module for performing an operation corresponding to the operation of the above-mentioned components, may be executed any one or more program modules in some point the processor. これにより、上述した各構成要素の動作が1つプロセッサによって実現されることになる。 This will lead to the operation of the above-mentioned components are implemented by one processor.

上述したある例示的な実施形態によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第1画素(短時間露光画素)および当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第2画素(長時間露光画素)を有している。 According to an exemplary embodiment described above, a single-plate color image sensor has a plurality of first pixel pixel signal obtained by exposure with an exposure time corresponding to the predetermined frame rate is read for imaging and processing device ( and a short-time exposure pixels) and a plurality of second pixels pixel signals obtained by exposing a long exposure time than the predetermined frame rate is read (long-time exposure pixel). この単板カラー撮像素子は、第1色成分、第2色成分および第3色成分の光を第1画素および第2画素の各々で検出する画素が複数設けられている。 The single plate color image pickup device, a first color component, the pixels of the light of the second color component and the third color component detected by each of the first pixel and the second pixel is provided with a plurality. この単板カラー撮像素子を用いることで、1ラインごとに各色成分について、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。 By using this single-plate color image pickup device for each color component for each line, and the pixel signal of the moving image at a frame rate, pixel signal are obtained in the moving image captured by the long exposure time than the frame rate It is. これにより、第1色成分、第2色成分および第3色成分の動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。 Accordingly, the first color component, as compared with the case taken by constantly long exposure moving image of the second color component and the third color component, to obtain an image signal with suppressed color bleeding due to the motion of the subject can.

本願の他の例示的な実施形態によれば、撮像処理装置は、すべての画素を、2種類の画素、すなわち長時間露光の画素と、短時間露光の画素と、2通り、各種類の画素から信号を読み出す。 According to another exemplary embodiment of the present application, the imaging processing apparatus, all the pixels, two pixels, i.e., the long-time exposure of the pixel, and the short exposure of the pixel, two types, each type of pixel It reads the signal from. この際、各色成分において長時間露光の画素と、短時間露光の画素は読み出し方向に対して順番に撮影するように画素を配置する。 At this time, long-time exposure of the pixel in each color component, the short-time exposure pixels arranged pixels to capture in order to the read direction. このような画素配置における読み出し信号に対して、画像復元処理を行うことにより、全て長時間露光のみによって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。 The read signal in such a pixel arrangement, by performing the image restoration processing, an image signal with suppressed color bleeding caused as compared with the case of obtaining an image signal only by all long exposure to the movement of the object it is possible to obtain.

なお、本明細書における画像処理部105は装置として実現されなくてもよい。 The image processing unit 105 in the present specification may not be realized as an apparatus. 例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部105の動作を行ってもよい。 For example, by a general-purpose processor is a computer executes the computer program recorded on a computer-readable recording medium may be performed the operation of the image processing unit 105 described above. そのようなコンピュータプログラムは、たとえば図7のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。 Such a computer program, for example, include instructions for executing the processing implemented by the flow chart in FIG. 7 to the computer. コンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。 Computer program, recorded on a recording medium such as a CD-ROM is distributed on the market as a product, or transmitted via telecommunication lines such as the Internet.

上述の実施形態においては、R,GおよびBの3色でカラー動画像を撮影し、Gのみ短時間露光と長時間露光の両方で撮像するとして説明した。 In the above embodiment, R, and taking a color moving picture in three colors of G and B, described as imaged with both G only short exposure and long exposure. しかしながら、これらの色成分の分け方は一例である。 However, divided how these color components is one example. 例えば、シアン、マゼンタ、イエローの3色のカラーフィルタを用いてもよい。 For example, cyan, magenta, may be used a color filter of three colors of yellow. また、3色ではなく、2色または4色以上のフィルタを用いてもよい。 Further, instead of the three colors may be used two colors or four colors or more filters.

本発明の撮像装置および処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。 The imaging device and the processing device of the present invention are useful for imaging with high-resolution imaging and small pixels in the low light intensity. また、プログラムとしても適用が可能である。 Further, it is possible to be applied as a program.

100 撮像処理装置 101 光学系 102 単板カラー撮像素子 103 読み出し制御部 104 制御部 105 画像処理部 100 imaging processing apparatus 101 optical system 102 single plate color image pickup device 103 read controller 104 control unit 105 image processing unit

Claims (8)

  1. 単板カラー撮像素子と画像処理部とを備えた撮像処理装置であって、 An imaging apparatus that includes a single-plate color image sensor and an image processing unit,
    前記単板カラー撮像素子の奇数ラインでは第1色画素および第2色画素が交互に配列され、偶数ラインでは前記第1色画素および第3色画素が交互に配列され、 The first color pixel and the second color pixel in the odd lines of the single-plate color image sensor are arranged alternately, the first color pixel and the third color pixel are arranged alternately in the even-numbered lines,
    同一ラインに設けられた複数の前記第1色画素からは、配列された順序にしたがって交互に第1露光時間、および前記第1露光時間よりも長い第2露光時間で画素値を読み出すことが可能であり、 Provided from the plurality of the first color pixel in the same line, a first exposure time alternately in the order arranged, and can be read out pixel values ​​in a long second exposure time than the first exposure time It is in,
    同一ラインに設けられた複数の前記第2色画素からは、配列された順序にしたがって交互に前記第1露光時間および前記第2露光時間で画素値を読み出すことが可能であり、 From the plurality of the second color pixel provided in the same line, it is possible to read the pixel value in the first exposure time and said second exposure time alternately in the order arranged,
    同一ラインに設けられた複数の前記第3色画素からは、配列された順序にしたがって交互に前記第1露光時間および前記第2露光時間で画素値を読み出すことが可能であり、 From the plurality of the third color pixel provided in the same line, it is possible to read the pixel value in the first exposure time and said second exposure time alternately in the order arranged,
    前記画像処理部は、前記第1露光時間で読み出された画素値と、前記第2露光時間で読み出された画素値とに基づいて、前記所定のフレームレートの新たな動画像を生成する、撮像処理装置。 Wherein the image processing unit, the pixel value read by the first exposure time, based on the pixel value read by said second exposure time to generate a new video image of the predetermined frame rate , imaging processing apparatus.
  2. 前記画像処理部は、 Wherein the image processing unit,
    前記第1露光時間で読み出された画素値と、前記第2露光時間で読み出された画素値とに基づいて得られた、被写体の前記第1色成分の動画像、前記第2色成分の動画像、および前記第3色成分の動画像を受け取り、 Wherein the pixel value read by the first exposure time, the second was obtained on the basis of the pixel value read by the exposure time, moving image of the first color component of the subject, the second color component receipt of the moving image, and a moving image of the third color component,
    (a)前記第1露光時間で読み出された前記第1色成分、前記第2色成分および前記第3色成分の各動画像と、前記新たな動画像を前記第1露光時間でサンプリングして得られた動画像との第1の差、および (b)前記第2露光時間で読み出された前記第1色成分、前記第2色成分および前記第3色成分の各動画像と、前記新たな動画像を前記第2露光時間でサンプリングして得られた動画像との第2の差 を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求める、請求項1に記載の撮像処理装置。 (A) said first color components read by the first exposure time, and the moving image of the second color component and the third color component, sampling the new moving image in the first exposure time each moving image of the first difference, and (b) said second exposure time read the first color component, the second color component and the third color component of the resulting motion picture Te, moving image satisfying the new video sequence by said second sampling an exposure time set the evaluation formula including the second difference between the obtained moving image, predetermined prescribed conditions the evaluation formula , it said determined as a new moving image imaging processing apparatus according to claim 1.
  3. 前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項2に記載の撮像処理装置。 Wherein the image processing unit, a moving image that minimizes the evaluation formula is determined as the new moving image imaging processing apparatus according to claim 2.
  4. 前記画像処理部は、 Wherein the image processing unit,
    前記第1露光時間で読み出された前記第1色成分、前記第2色成分、および前記第3色成分の各動画像を利用して、前記被写体の動きを検出する動き検出部と、 Wherein said first color components read by the first exposure time, the second color component, and by using the moving image of the third color component, a motion detector to detect motion of the object,
    前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と を備えた、請求項3に記載の撮像処理装置。 By utilizing the detection result of the motion to set the constraint condition term on the distribution of the movement of the new video sequence, a moving image that minimizes the evaluation formula further comprises a constraint section on the distribution of the motion, the new a and a image generating unit for obtaining a moving image, the imaging apparatus according to claim 3.
  5. 前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、拘束条件項を設定し、前記拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項2から4のいずれかに記載の撮像処理装置。 Wherein the image processing unit, said that changes in the distribution of the pixel values ​​of the new video sequence is reduced, or so that the change in the pixel values ​​of the new video sequence is constant, to set the constraint condition term, the constraining a moving image that minimizes the evaluation formula further includes a condition section, wherein obtaining a new video sequence, the imaging apparatus according to any one of claims 2 to 4 in.
  6. 前記画像処理部は、前記画素値の分布に関する拘束条件を画像の一方向に設定する、請求項5に記載の撮像処理装置。 Wherein the image processing unit sets a constraint on the distribution of the pixel values ​​in one direction of the image, the imaging processing apparatus according to claim 5.
  7. 前記画像処理部は、前記単板カラー撮像素子から1ラインごとに前記画素値を取得し、取得した1ラインごとに前記画素値の分布に関する拘束条件を設定する、請求項6に記載の撮像処理装置。 Wherein the image processing unit, the obtains the pixel values ​​for each line from the single-chip color image pickup device, set a constraint on the distribution of the pixel values ​​for each line acquired, imaging processing according to claim 6 apparatus.
  8. 前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、 Moving image of the first color component obtained based on the pixel signals read out by said first exposure time, the moving image of the moving image and the third color component of the second color component, for display a display control unit a predetermined image process is performed,
    前記表示制御部によって画像処理された前記第1動画像、前記第2動画像および前記第3動画像を表示する表示部と をさらに備えた、請求項7に記載の撮像処理装置。 The image-processed the first moving picture by the display control unit, further comprising a display unit for displaying the second moving image and the third moving picture imaging apparatus according to claim 7.
JP2012095423A 2012-04-19 2012-04-19 Image pickup processing device Pending JP2013223209A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012095423A JP2013223209A (en) 2012-04-19 2012-04-19 Image pickup processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012095423A JP2013223209A (en) 2012-04-19 2012-04-19 Image pickup processing device

Publications (1)

Publication Number Publication Date
JP2013223209A true true JP2013223209A (en) 2013-10-28

Family

ID=49593864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012095423A Pending JP2013223209A (en) 2012-04-19 2012-04-19 Image pickup processing device

Country Status (1)

Country Link
JP (1) JP2013223209A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098108A1 (en) * 2013-12-27 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing program, receiving program and information processing device
US9083543B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9088362B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in an image
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143339B2 (en) 2012-05-24 2015-09-22 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from image data by demodulating a bright line pattern appearing in the image data
US9083543B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9083544B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9456109B2 (en) 2012-05-24 2016-09-27 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9300845B2 (en) 2012-05-24 2016-03-29 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from a subject by demodulating a bright line pattern included in an obtained image
US9166810B2 (en) 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9088363B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9794489B2 (en) 2012-12-27 2017-10-17 Panasonic Intellectual Property Corporation Of America Information communication method
US9184838B2 (en) 2012-12-27 2015-11-10 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9203515B2 (en) 2012-12-27 2015-12-01 Panasonic Intellectual Property Corporation Of America Information communication method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9281895B2 (en) 2012-12-27 2016-03-08 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9331779B2 (en) 2012-12-27 2016-05-03 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9341014B2 (en) 2012-12-27 2016-05-17 Panasonic Intellectual Property Corporation Of America Information communication method using change in luminance
US9768869B2 (en) 2012-12-27 2017-09-19 Panasonic Intellectual Property Corporation Of America Information communication method
US9407368B2 (en) 2012-12-27 2016-08-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9450672B2 (en) 2012-12-27 2016-09-20 Panasonic Intellectual Property Corporation Of America Information communication method of transmitting a signal using change in luminance
US9088362B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in an image
US9462173B2 (en) 2012-12-27 2016-10-04 Panasonic Intellectual Property Corporation Of America Information communication method
US9467225B2 (en) 2012-12-27 2016-10-11 Panasonic Intellectual Property Corporation Of America Information communication method
US9515731B2 (en) 2012-12-27 2016-12-06 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9564970B2 (en) 2012-12-27 2017-02-07 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9571191B2 (en) 2012-12-27 2017-02-14 Panasonic Intellectual Property Corporation Of America Information communication method
US9591232B2 (en) 2012-12-27 2017-03-07 Panasonic Intellectual Property Corporation Of America Information communication method
US9756255B2 (en) 2012-12-27 2017-09-05 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9613596B2 (en) 2012-12-27 2017-04-04 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9635278B2 (en) 2012-12-27 2017-04-25 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9641766B2 (en) 2012-12-27 2017-05-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US9859980B2 (en) 2012-12-27 2018-01-02 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
JPWO2015098108A1 (en) * 2013-12-27 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information processing program, receiving program and an information processing apparatus
CN105637783A (en) * 2013-12-27 2016-06-01 松下电器(美国)知识产权公司 Information processing program, receiving program and information processing device
WO2015098108A1 (en) * 2013-12-27 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing program, receiving program and information processing device

Similar Documents

Publication Publication Date Title
US8878950B2 (en) Systems and methods for synthesizing high resolution images using super-resolution processes
US20080298639A1 (en) Image Processing Apparatus, Image Processing Method, and Electronic Appliance
JP2008042874A (en) Image processing device, method for restoring image and program
JP2004221839A (en) Apparatus and method for image processing, recording medium, and program
US20120287329A1 (en) Image processing apparatus and method thereof
US20100013948A1 (en) Multi-color image processing apparatus and signal processing apparatus
US20110149103A1 (en) Image processing apparatus and image pickup apparatus using same
JP2007221423A (en) Imaging apparatus
CN101668125A (en) Imaging apparatus, solid-state imaging device, image processing apparatus, method and program
US20100039539A1 (en) Image processing apparatus and image processing method
US20130051665A1 (en) Image processing apparatus, image processing method, and program
US20100315539A1 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
JP2000023174A (en) Image processor and image processing method
US20130162780A1 (en) Stereoscopic imaging device and shading correction method
US20150062374A1 (en) Imaging apparatus and method for controlling the imaging apparatus
US20090109310A1 (en) Imaging device, imaging method, display control device, display control method, and program
JP2013223209A (en) Image pickup processing device
US20130033575A1 (en) Image processing apparatus, image processing method, and program
US20100271515A1 (en) Image generation apparatus and image generation method
JP2005352721A (en) Imaging device
JP2007142929A (en) Image processing apparatus and camera system
JP2008005048A (en) Imaging apparatus and signal processor
US20130038758A1 (en) Image processing device, imaging device, information storage medium, and image processing method
JP2007180734A (en) Image processor, camera system, image processing method and moving image display method
US20130010153A1 (en) Image pickup apparatus and image pickup apparatus control method, and program