JP2018157497A - Photographing device using hyperbolic pattern, and photographing method - Google Patents
Photographing device using hyperbolic pattern, and photographing method Download PDFInfo
- Publication number
- JP2018157497A JP2018157497A JP2017054536A JP2017054536A JP2018157497A JP 2018157497 A JP2018157497 A JP 2018157497A JP 2017054536 A JP2017054536 A JP 2017054536A JP 2017054536 A JP2017054536 A JP 2017054536A JP 2018157497 A JP2018157497 A JP 2018157497A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- hyperbola
- hyperbolic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、レンズに換えて双曲線パターンを表示したフィルムを用いた撮影装置及び撮影方法に関する。 The present invention relates to a photographing apparatus and a photographing method using a film displaying a hyperbolic pattern instead of a lens.
従来、レンズを使わない撮影装置、例えばレンズレスカメラの画像検知装置として、レンズに換えて光学的な回析格子マスクを用い、この回析格子マスクを画像センサの前に置き、画像センサ出力に対して演算処理を施し、撮影画像を復元する構成が知られている（特許文献１）。この画像センサ出力は、人間の視覚では被写体の撮影画像として認識できない光学像であり、この光学像を演算処理して所望の被写体の撮影画像を得るのであるが、この手法は一般にコンピュテーショナルフォトグラフィと呼ばれている。そして、レンズを用いないことにより、画像検知装置の小型化が可能になり、ひいては撮影装置の小型化を可能にするものである。 Conventionally, as an image sensing device for a lensless camera, for example, an image detection device for a lensless camera, an optical diffraction grating mask is used instead of the lens, and this diffraction grating mask is placed in front of the image sensor to output the image sensor. A configuration is known in which arithmetic processing is performed on the captured image to restore a captured image (Patent Document 1). This image sensor output is an optical image that cannot be recognized as a photographed image of the subject by human vision, and this optical image is processed to obtain a photographed image of the desired subject. It is called GRAPHY. By not using a lens, it is possible to reduce the size of the image detection device, and thus to reduce the size of the photographing device.
しかしながら、上述した従来の画像検知装置では、被写体の撮影画像を復元するためには、画像センサ出力に対して、回析格子マスクのＰＳＦ（Point Spread Function：点拡がり関数）の逆畳み込み演算が必要で、演算量が多くなるため、フレームレートを高くすることができず、高速連写、滑らかな動画映像再現が困難である、という不都合があった。また、復元時に、ピント合わせをする場合、ＰＳＦを変える必要があるため、演算処理が複雑になる、という不都合もあった。 However, in the above-described conventional image detection apparatus, in order to restore a captured image of a subject, a PSF (Point Spread Function) of the diffraction grating mask needs to be deconvolved with respect to the image sensor output. However, since the amount of calculation increases, the frame rate cannot be increased, and it is difficult to perform high-speed continuous shooting and smooth moving image reproduction. In addition, when focusing, it is necessary to change the PSF, so that there is a disadvantage that the arithmetic processing becomes complicated.
本発明は、このような不都合を解消した、双曲線パターンを使った撮影装置及び撮影方法を提供することを目的とする。 An object of the present invention is to provide a photographing apparatus and a photographing method using a hyperbola pattern, in which such an inconvenience is eliminated.
前記目的を達成するために本発明の請求項１に係る双曲線パターンを使った撮影装置は、漸近線から遠いほど間隔の周波数が高くなる双曲線であるチャープ双曲線パターンが表示されたフィルムを透過した電磁波を検知して前記チャープ双曲線パターンと被写体の撮像画像を取り込む画像検出器を有する撮像装置と、前記画像検出器の撮像画像出力を処理して被写体画像を復元する画像処理装置とを備え、前記画像処理装置で復元した被写体画像を表示する表示部を有する撮影装置であって、前記画像処理装置は、前記フィルムのチャープ双曲線パターンと同一の参照用チャープ双曲線パターンを生成する参照用双曲線パターン生成部と、この参照用双曲線パターン生成部で生成した参照用チャープ双曲線パターンと前記画像検出器の撮像画像出力を互いの双曲線パターンがずれた状態で重ね合わせて被写体の撮像画像に対応するモアレ縞画像を生成する重畳処理部と、この重畳処理部で生成したモアレ縞画像をフーリエ変換演算して被写体画像を復元するフーリエ変換部とを備えてなるものである。前記各パターンのずれた状態は、前記重畳処理部で生成してもよいし、前記重畳処理部の前段部で生成してもよい。
In order to achieve the above object, an imaging apparatus using a hyperbola pattern according to
同じく前記目的を達成するために本発明の請求項２に係る双曲線パターンを使った撮影装置は、漸近線から遠いほど間隔の周波数が直線的に高くなる双曲線である線形チャープ双曲線パターンが表示されたフィルムを透過した光を検知して前記線形チャープ双曲線パターンと被写体の撮像画像を取り込む画像センサを有する撮像装置と、前記画像センサの撮像画像出力を処理して被写体画像を復元する画像処理装置とを備え、前記画像処理装置で復元した被写体画像を表示する表示部を有する撮影装置であって、前記画像処理装置は、前記フィルムの線形チャープ双曲線パターンと同一の参照用線形チャープ双曲線パターンを生成する参照用双曲線パターン生成部と、この参照用双曲線パターン生成部で生成した参照用線形チャープ双曲線パターンと前記画像センサの撮像画像出力を互いの双曲線パターンがずれた状態で重ね合わせて被写体の撮像画像に対応するモアレ縞画像を生成する重畳処理部と、この重畳処理部で生成したモアレ縞画像をフーリエ変換演算して被写体画像を復元するフーリエ変換部とを備えてなるものである。ここで、前記各パターンのずれた状態は、前記重畳処理部で生成してもよいし、前記重畳処理部の前段部で生成してもよい。
Similarly, in order to achieve the above object, the imaging apparatus using the hyperbolic pattern according to
同じく前記目的を達成するために本発明の請求項３に係る双曲線パターンを使った撮影装置は、前記請求項１または請求項２の構成において、前記画像処理装置に対してピント調整指示信号を出力するピント調整指示部を備え、前記画像処理装置には、前記ピント調整指示部のピント調整指示信号が入力し、このピント指示信号に基づいて前記参照用双曲線パターン生成部で生成した参照用チャープ双曲線パターンを縮小または拡大する倍率変更処理部を備えたものである。
Similarly, in order to achieve the object, an imaging device using a hyperbolic pattern according to
同じく前記目的を達成するために本発明の請求項４に係る双曲線パターンを使った撮影装置は、前記請求項１ないし請求項３のいずれか１項の構成において、前記参照用双曲線パターン生成部に対して、生成する双曲線の属性を示すパラメータを入力するパラメータ設定部を備えたものである。
Similarly, in order to achieve the above object, an imaging device using a hyperbolic pattern according to
同じく前記目的を達成するために本発明の請求項５に係る双曲線パターンを使った撮影装置は、前記請求項３または請求項４の構成において、倍率変更処理部で縮小または拡大処理した参照用チャープ双曲線パターンと画像センサの撮像画像出力を、重畳処理部で重畳処理して生じたモアレ縞画像から、モアレ縞画像の全画素平均値を算出して差し引く、すなわちモアレ縞画像からＤＣ成分を除去する平均値算出除去部を備えたものである。
Similarly, in order to achieve the object, an imaging apparatus using a hyperbolic pattern according to claim 5 of the present invention is the reference chirp reduced or enlarged by the magnification change processing unit in the configuration of
同じく前記目的を達成するために本発明の請求項６に係る双曲線パターンを使った撮影装置は、前記請求項４または請求項５のいずれかの構成において、前記撮像装置と、この撮像装置と別体に設けた画像処理装置を備えた画像復元装置とからなり、前記撮像装置は画像センサから出力された撮像画像を無線回線または有線回線からなる通信回線を介して画像データ信号として送信するデータ送信部を備え、画像復元装置は前記データ送信部から送信された画像データ信号を受信するデータ受信部と、各種データを保存する記録部とを備え、前記データ受信部は受信した画像データ信号を前記記録部と、前記パラメータ設定部と、前記重畳処理部に送るよう構成したものである。
Similarly, in order to achieve the above object, an imaging device using a hyperbolic pattern according to claim 6 of the present invention is the imaging device according to any one of
同じく前記目的を達成するために本発明の請求項７に係る双曲線パターンを使った撮影方法は、漸近線から遠いほど間隔の周波数が高くなる双曲線であるチャープ双曲線パターンが表示されたフィルムを透過した電磁波を画像検出器に入力して前記チャープ双曲線パターンと被写体の撮像画像を得る一方、前記フィルムのチャープ双曲線パターンと同一の参照用チャープ双曲線パターンを生成し、この参照用チャープ双曲線パターンと前記画像検出器から出力された撮像画像を互いの双曲線パターンをずらせた状態で重ね合わせる重畳処理を施して被写体の撮像画像に対応するモアレ縞画像を生成し、このモアレ縞画像をフーリエ変換演算して被写体画像を復元するものである。前記各パターンをずらした状態は、参照用チャープ双曲線パターンを重畳処理する段階で生成してもよいし、重畳処理する前段階で生成してもよい。 Similarly, in order to achieve the above object, the imaging method using the hyperbola pattern according to claim 7 of the present invention is transmitted through the film on which the chirped hyperbola pattern, which is a hyperbola whose frequency increases with distance from the asymptote, is displayed. An electromagnetic wave is input to an image detector to obtain a captured image of the chirp hyperbola pattern and a subject, while generating a reference chirp hyperbola pattern identical to the chirp hyperbola pattern of the film, and the reference chirp hyperbola pattern and the image detection A superimposition process is performed to superimpose the captured images output from the instrument in a state in which the hyperbola patterns are shifted from each other to generate a moire fringe image corresponding to the captured image of the subject, and subject the subject image by performing a Fourier transform operation on the moire fringe image. Is to restore. The state in which each pattern is shifted may be generated at the stage of superimposing the reference chirp hyperbolic pattern, or may be generated at the stage before the superimposition process.
同じく前記目的を達成するために本発明の請求項８に係る双曲線パターンを使った撮影方法は、漸近線から遠いほど間隔の周波数が直線的に高くなる双曲線である線形チャープ双曲線パターンが表示されたフィルムを透過した光を画像センサに入力して前記線形チャープ双曲線パターンと被写体の撮像画像を得る一方、前記フィルムの線形チャープ双曲線パターンと同一の参照用線形チャープ双曲線パターンを生成し、この参照用線形チャープ双曲線パターンと前記画像センサから出力された撮像画像を互いの双曲線パターンをずらせた状態で重ね合わせる重畳処理を施して被写体の撮像画像に対応するモアレ縞画像を生成し、このモアレ縞画像をフーリエ変換演算して被写体画像を復元するものである。前記各パターンのずれた状態は、参照用線形チャープ双曲線パターンを重畳処理する段階で生成してもよいし、重畳処理する前段階で生成してもよい。 Similarly, in order to achieve the above object, the imaging method using the hyperbola pattern according to claim 8 of the present invention displays a linear chirped hyperbola pattern, which is a hyperbola in which the frequency of the interval increases linearly with increasing distance from the asymptote. Light transmitted through the film is input to an image sensor to obtain the linear chirped hyperbolic pattern and a captured image of the subject, while generating a linear chirped hyperbolic pattern for reference identical to the linear chirped hyperbolic pattern of the film. A superimposition process is performed to superimpose the chirped hyperbolic pattern and the captured image output from the image sensor in a state where the hyperbolic patterns are shifted from each other to generate a moire fringe image corresponding to the captured image of the subject, and the moire fringe image is Fourier transformed. The subject image is restored by performing a conversion operation. The shifted state of each pattern may be generated at the stage of superimposing the reference linear chirped hyperbolic pattern, or may be generated at the stage before the superimposing process.
同じく前記目的を達成するために本発明の請求項９に係る双曲線パターンを使った撮影方法は、前記請求項７または請求項８の構成において、ピント調整指示信号に基づいて前記参照用チャープ双曲線パターンを縮小または拡大し、この縮小または拡大した参照用チャープ双曲線パターンを前記画像センサから出力された撮像画像と互いの双曲線パターンをずらせて重ね合わせて、ピント調整するものである。 Similarly, in order to achieve the object, an imaging method using a hyperbola pattern according to claim 9 of the present invention is the configuration of claim 7 or claim 8, wherein the reference chirp hyperbola pattern is based on a focus adjustment instruction signal. Is reduced or enlarged, and the reduced or enlarged reference chirped hyperbola pattern is superimposed on the captured image output from the image sensor by shifting the hyperbola pattern from each other.
同じく前記目的を達成するために本発明の請求項１０に係る双曲線パターンを使った撮影方法は、前記請求項９の構成において、縮小または拡大処理した参照用線形チャープ双曲線パターンと撮像画像出力とを重畳処理して生じたモアレ縞画像から、全画素平均値を算出して差し引いた後、すなわちモアレ縞画像からＤＣ成分を除去した後、フーリエ変換演算するものである。
Similarly, in order to achieve the above object, an imaging method using a hyperbola pattern according to
同じく前記目的を達成するために本発明の請求項１１に係る双曲線パターンを使った撮影方法は、前記請求項９または請求項１０の構成において、前記画像センサから出力された撮像画像をデータ送信部から無線回線または有線回線からなる通信回線を介して撮像画像データ信号として送信し、このデータ送信部から送信された撮像画像データ信号をデータ受信部で受信して、受信した撮像画像データに基づいて被写体画像を復元するものである。
Similarly, in order to achieve the object, an imaging method using a hyperbola pattern according to
本発明の請求項１及び請求項２に係る双曲線パターンを使った撮影装置によれば、被写体の撮影画像を復元するために、チャープ双曲線パターン同士を互いにずらせて重ね合わせ、生じたモアレ縞画像をフーリエ変換演算するので、従来の畳み込み演算を行う場合と比較して、演算量を大幅に減少することができ、高フレームレートの高速連写や、動画撮影が可能となる。
According to the imaging apparatus using the hyperbola pattern according to
本発明の請求項３に係る双曲線パターンを使った撮影装置によれば、参照用双曲線パターンを所望の倍率に拡大または縮小することで、画像の所望部分に対するピント合わせを容易にすることができる。
According to the photographing apparatus using the hyperbola pattern according to
本発明の請求項４に係る双曲線パターンを使った撮影装置によれば、双曲線の属性を示すパラメータを設定することによって、所望の参照用双曲線パターンを得ることができる。
According to the photographing apparatus using a hyperbola pattern according to
本発明の請求項５に係る双曲線パターンを使った撮影装置によれば、重畳処理部で重畳処理して生じたモアレ縞画像から、算出した全画素平均値を差し引いて、ＤＣ成分を除去した後にフーリエ変換演算するので、演算処理を簡便かつ確実に行うことができる。 According to the imaging apparatus using the hyperbolic pattern according to claim 5 of the present invention, after the DC component is removed by subtracting the calculated all-pixel average value from the moire fringe image generated by the superimposition processing in the superimposition processing unit. Since the Fourier transform calculation is performed, the calculation process can be performed easily and reliably.
本発明の請求項６に係る双曲線パターンを使った撮影装置によれば、画像センサの被写体の撮像画像出力を通信回線を介して画像処理装置に送信するので、画像センサと画像処理装置を離して設置することができ、設置位置の自由度が高まるとともに、通信データに画像データ以外のデータを付加して送信することにより、多様な処理が可能になる。 According to the imaging device using the hyperbola pattern according to claim 6 of the present invention, the imaged image output of the subject of the image sensor is transmitted to the image processing device via the communication line, so the image sensor and the image processing device are separated from each other. It can be installed, the degree of freedom of the installation position is increased, and various processes can be performed by adding data other than image data to the communication data and transmitting it.
本発明の請求項７及び請求項８に係る双曲線パターンを使った撮影方法によれば、被写体の撮影画像を復元するために、チャープ双曲線パターン同士を互いにずらせて重ね合わせ、生じたモアレ縞画像をフーリエ変換演算するので、従来の畳み込み演算と比較して、演算量を大幅に減少することができ、高フレームレートの高速連写や、動画撮影が可能となる。 According to the imaging method using the hyperbola pattern according to claims 7 and 8 of the present invention, in order to restore the captured image of the subject, the chirped hyperbola patterns are shifted from each other and superimposed, and the resulting moire fringe image is displayed. Since the Fourier transform calculation is performed, the amount of calculation can be greatly reduced as compared with the conventional convolution calculation, and high-speed continuous shooting at a high frame rate and moving image shooting are possible.
本発明の請求項９に係る双曲線パターンを使った撮影方法によれば、参照用双曲線パターンを拡大または縮小することで、画像の所望部分に対するピント合わせを容易にすることができる。 According to the photographing method using the hyperbolic pattern according to the ninth aspect of the present invention, it is possible to easily focus on a desired portion of the image by enlarging or reducing the reference hyperbolic pattern.
本発明の請求項１０に係る双曲線パターンを使った撮影方法によれば、重畳処理してなるモアレ縞画像から、算出した全画素平均値を差し引いて、ＤＣ成分を除去した後にフーリエ変換演算するので、演算処理を簡便かつ確実に行うことができる。
According to the imaging method using the hyperbolic pattern according to
本発明の請求項１１に係る双曲線パターンを使った撮影方法によれば、画像センサの被写体の撮像画像出力を通信回線を介して画像処理装置に送信するので、画像センサと画像処理装置の設置位置の自由度が高まるとともに、通信データに画像データ以外のデータを付加して送信することにより、多様な処理が可能になる。 According to the imaging method using the hyperbolic pattern according to the eleventh aspect of the present invention, the captured image output of the subject of the image sensor is transmitted to the image processing device via the communication line, so the installation position of the image sensor and the image processing device As the degree of freedom increases, various processes other than the image data are added to the communication data and transmitted.
初めに、本発明に係る双曲線パターンを使った撮影装置の第１の実施形態の全体構成を説明する。図１に示すように、撮影装置は、被写体１０３を撮像する撮像装置１０１と、撮像した被写体１０３の画像を復元する画像処理装置１０を備え、復元した被写体画像を表示する画像復元装置１０２とからなり、前記撮像装置１０１と前記画像復元装置１０２は一体的に構成されている。
First, the overall configuration of the first embodiment of the photographing apparatus using the hyperbolic pattern according to the present invention will be described. As shown in FIG. 1, the imaging apparatus includes an
撮像装置１０１は、漸近線から遠いほど間隔の周波数が直線的に増大して高くなる双曲線である線形チャープ双曲線パターン（図２，図４参照）が描かれた双曲線パターンフィルム１と、このフィルム１を透過した可視光線が入射する画像センサ２と、撮像画像メモリ３からなり、被写体１０３の画像を、双曲線パターンフィルム１を介して、線形チャープ双曲線パターンの画像とともに、画像センサ２に撮像画像として取り込み、撮像画像メモリ３に一時的に保存するものである。
The
ここで、フィルム１に描かれる線形チャープ双曲線パターンについて説明する。中心座標を(0,0)とするＸ−Ｙ平面上の任意の点を(x,y)とした場合、線形チャープ双曲線パターンを発生させる関数g(x,y)は、次の式(1)で表される。
g(x,y)＝g(r)＝0.5＋0.5＊cos｛2π＊f(r)＊r｝・・・・・式(1)
式(1)では余弦関数であるが、正弦関数であってもよい。また、rは中心座標からの距離を示し、＊は乗算を示す。g(x,y)を白黒画像信号とすると、g(x,y)＝１のレベルを白（光の透過）としてもよいし、逆の黒（光の遮蔽、吸収）としてもよい。そして、g(x,y)＝０のレベルは、g(x,y)＝１のレベルを白黒反転したものとなる。
式(1)のf(r)は、チャープ信号のスイープ周波数で、次の式(2)で表される。
f(r)＝f0＋(f1−f0)＊r／r1・・・・・式(2)
式(2)で、f0はr＝0での初期周波数、f1はr＝r1での周波数であり、Δf＝(f1−f0)／r1が周波数の増加率を示す。
Here, the linear chirped hyperbolic pattern drawn on the
g (x, y) = g (r) = 0.5 + 0.5 * cos {2π * f (r) * r} Expression (1)
Although it is a cosine function in equation (1), it may be a sine function. R indicates the distance from the center coordinate, and * indicates multiplication. If g (x, y) is a black and white image signal, the level of g (x, y) = 1 may be white (light transmission) or the opposite black (light shielding or absorption). The level of g (x, y) = 0 is obtained by reversing the level of g (x, y) = 1 in black and white.
F (r) in equation (1) is the sweep frequency of the chirp signal, and is represented by the following equation (2).
f (r) = f 0 + (f 1 −f 0 ) * r / r 1 Equation (2)
In Expression (2), f 0 is an initial frequency at r = 0, f 1 is a frequency at r = r 1 , and Δf = (f 1 −f 0 ) / r 1 indicates a frequency increase rate.
上記式(1),(2)の距離r(x,y)、すなわちr2は双曲線を表す次式で示される。
r2＝abs(x2−y2)・・・・・式(3)
r2＝abs(x＊y) ・・・・・式(4)
式(3),(4)でabsは絶対値演算を表す。
式(3)の双曲線関数を適用した双曲線は、図２に示す、Ｘ−Ｙ平面上で漸近線がＸ字型となる。また、式(4)の双曲線関数を適用した双曲線は、図４に示す、Ｘ−Ｙ平面上で漸近線が十字型となる。図３は図２の、図５は図４の各漸近線の位置を示すとともに、チャープ周波数の増大方向を矢印で示すものである。
The distance r (x, y) in the above equations (1) and (2), that is, r 2 is expressed by the following equation representing a hyperbola.
r 2 = abs (x 2 −y 2 ) Equation (3)
r 2 = abs (x * y) Equation (4)
In equations (3) and (4), abs represents an absolute value calculation.
The hyperbola to which the hyperbola function of Expression (3) is applied has an asymptotic line on the XY plane shown in FIG. Further, the hyperbola to which the hyperbola function of Equation (4) is applied has an asymptote on the XY plane shown in FIG. FIG. 3 shows the position of each asymptote in FIG. 2 and FIG. 5 shows the asymptotic line in FIG.
そして、図２の線形チャープ双曲線パターンに、その中心をずらせた図６に示す線形チャープ双曲線パターンを重畳すると、図７に示すようなモアレ縞が発生することが確認された。また、同様に、図４の線形チャープ双曲線パターンに、その中心をずらせた図８に示す線形チャープ双曲線パターンを重畳すると、図９に示すようなモアレ縞が発生することが確認された。前記各モアレ縞は、被写体１０３から画像センサ２への光の入射角に対応した間隔及び角度の平行縞である。
Then, it was confirmed that when the linear chirped hyperbolic pattern shown in FIG. 6 whose center is shifted is superimposed on the linear chirped hyperbolic pattern shown in FIG. 2, moire fringes as shown in FIG. 7 are generated. Similarly, it was confirmed that when the linear chirped hyperbolic pattern shown in FIG. 8 whose center is shifted is superimposed on the linear chirped hyperbolic pattern shown in FIG. 4, moire fringes as shown in FIG. 9 are generated. Each moire fringe is a parallel fringe having an interval and an angle corresponding to the incident angle of light from the subject 103 to the
また、図１に示すように、モアレ縞画像から被写体画像を復元する画像復元装置１０２は、復元処理を行う画像処理装置１０と、この画像処理装置１０の処理動作のため各種の入力操作を行う操作部２１と、この操作部２１からの指示により前記画像処理装置１０の処理動作を制御する制御部２２と、同じく操作部２１からの指示により前記画像処理装置１０に被写体画像のピント調整を指示するピント調整指示部２３と、前記画像処理装置１０に前記双曲線パターンフィルム１の線形チャープ双曲線パターンと同一の線形チャープ双曲線パターンを生成するためのパラメータを設定するパラメータ設定部２４と、復元した被写体画像を表示するディスプレイなどの表示部２５と、復元した被写体画像を保存する記録部２６からなる。
As shown in FIG. 1, the
画像処理装置１０は、参照用双曲線パターン生成部１１と、倍率変更処理部１２と、参照画像メモリ１３と、入力画像メモリ１４と、重畳処理部１５と、重畳画像メモリ１６と、平均値算出除去部１７と、フーリエ変換部１８と、撮影画像メモリ１９と、入力セレクタ２０からなる。
The
ここで、画像処理装置１０の構成をさらに詳細に説明する。参照用双曲線パターン生成部１１は、パラメータ設定部２４から入力したパラメータに基づいて双曲線パターンフィルム１の線形チャープ双曲線パターン（図２，図４参照）と同一ではあるが中心をずらせた線形チャープ双曲線パターン（図６，図８参照）を生成するものである。この参照用双曲線パターン生成部１１で生成した参照用線形チャープ双曲線パターンは、倍率変更処理部１２において、ピント調整指示部２３から入力したピント調整指示信号に基づき、指示された倍率に縮小または拡大される。そして、縮小または拡大された参照用線形チャープ双曲線パターンは、参照画像メモリ１３に一時的に保存される。
Here, the configuration of the
一方、入力画像メモリ１４には、撮像画像メモリ３に保存されている画像センサ２から出力された撮像画像データか、または記録部２６に保存されている過去に撮像画像メモリ３から出力された撮像画像データか、のいずれかのデータが入力セレクタ２０によって選択されて入力し、一時的に保存される。前記記録部２６は、データバス２００を介して撮影画像メモリ１９と表示部２５に接続され、また、撮像画像メモリ３の出力が入力するよう構成されている。
On the other hand, in the input image memory 14, captured image data output from the
重畳処理部１５は、入力画像メモリ１４に保存されたフィルム１の線形チャープ双曲線パターンを透過した被写体画像を含む撮像画像データと、参照画像メモリ１３に保存された参照用線形チャープ双曲線パターンを、互いのパターンの中心がずれた状態で重ね合わせ、被写体１０３から画像センサ２への光の入射角に対応した間隔及び角度の平行なモアレ縞（図７，図９参照）を生成する、重畳処理を施すものである。この重畳処理でピント調整がなされるのであるが、生成したモアレ縞画像は重畳画像メモリ１６に一時的に保存される。
The
重畳画像メモリ１６に保存されたモアレ縞画像は、平均値算出除去部１７において、モアレ縞画像における全画素の平均値を算出して、前記モアレ縞画像から全画素平均値を差し引く処理、すなわちモアレ縞画像からＤＣ成分を除去する処理が施される。このＤＣ成分が除去されたモアレ縞画像は、フーリエ変換部１８において高速フーリエ変換（ＦＦＴ）演算されて、被写体画像が復元される。復元された被写体画像は、撮影画像メモリ１９に一時的に保存された上、表示部２５に出力されて表示されるとともに、記録部２６に出力されて保存されるよう構成されている。
The moiré fringe image stored in the superimposed
続いて、上述のように構成した撮影装置の動作を説明する。ここでは、図２の線形チャープ双曲線パターンを使用する場合について説明するが、図４の線形チャープ双曲線パターンを使用する場合も同様の動作となる。まず、撮像装置１０１において、図２に示す線形チャープ双曲線パターンを表示したフィルム１を透過した被写体１０３の画像は、画像センサ２に前記線形チャープ双曲線パターンとともに撮像画像として取り込まれる。そして、画像センサ２から出力された撮像画像データは、撮像画像メモリ３に入力されて一時的に保存されるとともに、撮像画像メモリ３から記録部２６に出力されて、この記録部２６に保存される。
Next, the operation of the photographing apparatus configured as described above will be described. Here, the case of using the linear chirped hyperbolic pattern of FIG. 2 will be described, but the same operation is performed when the linearly chirped hyperbolic pattern of FIG. 4 is used. First, the image of the subject 103 that has passed through the
一方、画像復元装置１０２においては、操作部２１で動画モードと静止画モードの二つのモードのいずれかのモードが設定されるとともに、ライブビューモードとアフター処理モードのいずれかのモードが設定される。また、パラメータ設定部２４でフィルム１に表示された図２に示す線形チャープ双曲線パターンに対応する双曲線のパラメータが設定される。動画モードの場合は、３０fpsまたは６０fpsのフレームレート、好ましくは６０fpsのフレームレートで、撮像画像データを連続的に画像処理装置１０に入力し、静止画モードの場合は、１枚の撮像画像データを入力した状態で画像処理装置１０への入力を停止する。ここで、ライブビューモードとは、撮影動作に先立って画像のアングルやピント調整を行うモードであり、動画モードによって、撮像画像メモリ３からの撮像画像データを画像処理装置１０で処理し、表示部２５の画像を見ながらピント調整を行うモードである。
On the other hand, in the
操作部２１で動画モードまたは静止画モードが設定され、ライブビューモードまたはアフター処理モードが設定されると、制御部２２から設定された各モードに対応する制御信号が画像処理装置１０に送られて、この画像処理装置１０で設定されたモードに応じた動作がなされる。また、パラメータ設定部２４から入力された各パラメータによって、参照用双曲線パターン生成部１１は図２に示す線形チャープ双曲線パターンと同一で中心のずれた線形チャープ双曲線パターン（図６参照）を生成する。一方、操作部２１ではさらに、ピント調整用の倍率が設定され、ピント調整指示部２３に入力される。
When the moving image mode or the still image mode is set by the
以下に、画像処理装置１０における処理動作を図１０に示すフローチャートに基づいて説明するが、一連の処理動作は、制御部２２から発せられる制御信号に基づいてなされるものである。また、ピント調整指示部２３に入力されたピント調整倍率に基づいて行うピント調整動作は、動画モードでも静止画モードでも同じである。
Hereinafter, the processing operation in the
まず、ライブビューモードか否かを判断し（ステップＳ１０１）、ライブビューモードであれば、入力セレクタ２０をＳ１側に設定し（ステップＳ１０２）、撮像画像メモリ３に保存されている撮像画像データを連続的に読み出して入力画像メモリ１４に保存する（ステップＳ１０３）。一方、前記ステップＳ１０１で、ライブビューモードではないと判断すれば、入力セレクタ２０をＳ２側に設定し（ステップＳ１０４）、記録部２６に保存されている撮像画像データを読み出して入力画像メモリ１４に保存する（ステップＳ１０５）。そして、各ステップＳ１０３、Ｓ１０５からステップＳ１０６へ進み、ピント処理動作を行う。
First, it is determined whether or not the camera is in the live view mode (step S101). If it is the live view mode, the
ステップＳ１０６で、画像処理装置１０の倍率変更処理部１２に、ピント調整指示部２３からピント調整倍率指示信号が入力すると、倍率変更処理部１２は、参照用双曲線パターン生成部１１から入力した参照用の線形チャープ双曲線パターン（図６参照）を、前記ピント調整倍率指示信号にしたがって拡大あるいは縮小する（ステップＳ１０７）。そして、この拡大あるいは縮小された線形チャープ双曲線パターンは、参照画像メモリ１３に一時的に保存される（ステップＳ１０８）。
In step S106, when a focus adjustment magnification instruction signal is input from the focus
次いで、入力画像メモリ１４に保存されている被写体１０３と線形チャープ双曲線パターンの撮像画像データが読み出されて重畳処理部１５に送られる一方、参照画像メモリ１３から読み出された線形チャープ双曲線パターン（図６参照）が重畳処理部１５に送られて、この重畳処理部１５で前記撮像画像の線形チャープ双曲線パターンと互いの中心をずらした状態で重ね合わされ（ステップＳ１０９）、図７に示すモアレ縞の画像が生成される。そして、このモアレ縞画像データは、重畳画像メモリ１６に一時的に保存される。
Next, the captured image data of the subject 103 and the linear chirped hyperbolic pattern stored in the input image memory 14 is read out and sent to the superimposing
次いで、重畳画像メモリ１６からモアレ縞画像データを読み出して、平均値算出除去部１７に送り、この平均値算出除去部１７で、モアレ縞画像の全画素の平均値を算出し（ステップＳ１１０）、算出した全画素平均値をモアレ縞画像から差し引くことで、ＤＣ成分の除去を行う（ステップＳ１１１）。
Next, the moire fringe image data is read from the superimposed
ＤＣ成分が除去されたモアレ縞画像は、フーリエ変換部１８で高速フーリエ変換が施され（ステップＳ１１２）、モアレ縞となっていた被写体１０３の位置情報がＸ方向、Ｙ方向の空間周波数情報となって現れる。被写体１０３の画像は座標の４つの象限のうちの一つに現れ、その鏡像が原点に対して点対称な位置に現れる。 The moire fringe image from which the DC component has been removed is subjected to fast Fourier transform by the Fourier transform unit 18 (step S112), and the position information of the subject 103 that has become the moire fringe becomes the spatial frequency information in the X and Y directions. Appear. The image of the subject 103 appears in one of the four quadrants of coordinates, and its mirror image appears at a point-symmetrical position with respect to the origin.
次いで、フーリエ変換処理された画像の１〜４の各象限のうち、撮影画像として現れた一つの象限を残し、他の三つの象限は削除する処理を行う（ステップＳ１１３）。どの象限に撮影画像が現れるかは、線形チープ周波数双曲線のパターンによって決まるので、パターン決定時に選択する象限も決定される。この選択された象限の画像が、撮影復元画像であり、撮影画像メモリ１９に保存される（ステップＳ１１４）。
Next, among the
次いで、撮影画像は、撮影画像メモリ１９から読み出されて、表示部２５に表示される（ステップＳ１１５）。この表示を視認して、被写体画像の所望の位置にピントが合っているか否か確認し（ステップＳ１１６）、合っていればピント調整が適正になされた判断として、撮影画像メモリ１９に適正撮影画像として保存して（ステップＳ１１７）終了する。一方、前記ステップＳ１１６でピントが合っていないと判断すればステップＳ１０６にもどって、ステップＳ１１６に至る上述した各動作を、被写体画像の所望の位置にピントが合っていると判断されるまでが繰りかえす。このピント調整の適否に関する判断は、自動的に行うことができるが、表示部２５に表示された画像を見ながら操作者が行うこともできる。
Next, the captured image is read from the captured
続いて、図１１に基づいて、本発明に係る撮影装置の第２の実施形態を説明する。本実施形態の構成で第１の実施形態と相違するのは、撮像装置２０１と画像復元装置２０２を別体に構成し、通信部を設けて通信回線を介して撮像装置２０１から画像復元装置２０２に画像データを送信するよう構成した点である。このため、第１の実施形態と相違する構成についてのみ説明し、同一の構成については対応する構成要素に第１の実施形態と同一の符号を付してその説明は省略する。また、画像処理装置１０における処理動作は、上述した第１の実施形態と同じであるから、その説明は省略する。
Next, a second embodiment of the photographing apparatus according to the present invention will be described based on FIG. The configuration of the present embodiment is different from the first embodiment in that the
本実施形態においては、図１２に示すように、送信情報４０を、撮像画像データ４０ａのみならず、フィルム１に表示された双曲線パターンデータ４０ｂを付加した情報として構成することができる。
In this embodiment, as shown in FIG. 12, the
図１１に示すように、撮像装置２０１は画像センサ２の出力した画像データを保存する撮像画像メモリ３を備え、この撮像画像メモリ３は保存している撮像画像データをデータ送信部４に送るよう構成されている。データ送信部４は無線または有線の通信回線３１を介して、画像復元装置２０２のデータ受信部２７と繋がっている。
As shown in FIG. 11, the
送信情報４０を受信したデータ受信部２７は、撮像画像データ４０ａをリアルタイムで処理する場合には、Ｓ１ルートで入力セレクタ２０へ出力する一方、一旦保存してから処理する場合には、記録部２６に出力して保存した後、記録部２６からＳ２ルートで入力セレクタ２０に出力する。一方、データ受信部２７は、双曲線パターンデータ４０ｂをパラメータ設定部２４に出力する。パラメータ設定部２４は入力した双曲線パターンデータ４０ｂに基づき双曲線パターンの属性に適合するパラメータを参照用双曲線パターン生成部１１へ出力する。参照用双曲線パターン生成部１１では、入力したパラメータに基づいて、参照用双曲線パターンを生成する。また、双曲線パターンデータ４０ｂを一旦保存してから処理する場合には、データ受信部２７から記録部２６に出力して保存した後、記録部２６からパラメータ設定部２５に出力する。
The
なお、本発明は上述した各実施形態に限定されるものではなく、例えば、平均値算出除去部によるＤＣ成分除去に変えて、フーリエ変換処理後に処理画像の中央のＤＣ成分を除去する構成でもよい。また、使用する電磁波としては光に限らず、Ｘ線をはじめとする放射線でもよく、光の場合も可視光のほか、赤外線や、紫外線でもよい。たとえば、遠赤外線の場合には、フィルム１として、遠赤外線を吸収しないSi，Ge，Zn，ZnSeなどの材質の薄板を用い、双曲線パターンを遠赤外線を吸収する物質をコーティング、または印刷することで表示すればよい。この双曲線パターンの表示は、双曲線パターン以外の部分に、遠赤外線を吸収する物質をコーティング、または印刷して行うこともできる。さらに、フィルム１表面を反射防止膜でコーティングしてもよい。またさらに、本撮影方法における画像処理動作を、パソコンやコンピュータ上のアルゴリズムで行ってもよい。
The present invention is not limited to the above-described embodiments. For example, instead of the DC component removal by the average value calculation removal unit, a configuration in which the DC component at the center of the processed image is removed after the Fourier transform process may be employed. . Further, the electromagnetic wave to be used is not limited to light, but may be radiation such as X-rays. In the case of light, in addition to visible light, infrared light or ultraviolet light may be used. For example, in the case of far infrared rays, a thin plate made of a material such as Si, Ge, Zn, ZnSe or the like that does not absorb far infrared rays is used as the
１ 双曲線パターンを表示したフィルム
２ 画像センサ
３ 撮像画像メモリ
４ データ送信部
１０ 画像処理装置
１１ 参照用双曲線パターン生成部
１２ 倍率変更処理部
１３ 参照画像メモリ
１４ 入力画像メモリ
１５ 重畳処理部
１６ 重畳画像メモリ
１７ 平均値算出除去部
１８ フーリエ変換部
１９ 撮影画像メモリ
２０ 入力セレクタ
２１ 操作部
２２ 制御部
２３ ピント調整指示部
２４ パラメータ設定部
２５ 表示部
２６ 記録部
２７ データ受信部
３１ 通信回線
４０ 送信情報
４０ａ 撮像データ
４０ｂ 双曲線パターンデータ
１０１，２０１ 撮像装置
１０２，２０２ 画像復元装置
１０３ 被写体
DESCRIPTION OF
Claims (11)
The captured image output from the image sensor is transmitted as a captured image data signal from the data transmission unit via a communication line, and the captured image data signal transmitted from the data transmission unit is received by the data reception unit and received. 11. The photographing method using a hyperbolic pattern according to claim 9 or 10, wherein the subject image is restored based on the captured image data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017054536A JP6799487B2 (en) | 2017-03-21 | 2017-03-21 | Imaging equipment and imaging methods using hyperbolic patterns |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017054536A JP6799487B2 (en) | 2017-03-21 | 2017-03-21 | Imaging equipment and imaging methods using hyperbolic patterns |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018157497A true JP2018157497A (en) | 2018-10-04 |
| JP6799487B2 JP6799487B2 (en) | 2020-12-16 |
Family
ID=63718272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017054536A Active JP6799487B2 (en) | 2017-03-21 | 2017-03-21 | Imaging equipment and imaging methods using hyperbolic patterns |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6799487B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6146024A (en) * | 1984-08-10 | 1986-03-06 | Hitachi Ltd | Alignment |
| JPH032718A (en) * | 1989-02-06 | 1991-01-09 | Essilor Internatl (Cie Gen Opt) | Lens for correcting astigmatism |
| WO2016203573A1 (en) * | 2015-06-17 | 2016-12-22 | 日立マクセル株式会社 | Image capture device |
-
2017
- 2017-03-21 JP JP2017054536A patent/JP6799487B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6146024A (en) * | 1984-08-10 | 1986-03-06 | Hitachi Ltd | Alignment |
| JPH032718A (en) * | 1989-02-06 | 1991-01-09 | Essilor Internatl (Cie Gen Opt) | Lens for correcting astigmatism |
| WO2016203573A1 (en) * | 2015-06-17 | 2016-12-22 | 日立マクセル株式会社 | Image capture device |
Non-Patent Citations (1)
| Title |
|---|
| 吉田, 稔; 神谷, 恒吾: "双曲線ゾーンプレートによる像形成", 岐阜大学教養部研究報告, vol. 27, JPN7020002197, 1991, pages 67 - 73, ISSN: 0004313404 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6799487B2 (en) | 2020-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101608970B1 (en) | Apparatus and method for processing image using light field data | |
| US10516874B2 (en) | Enhancing imaging performance through the use of active illumination | |
| JP6223169B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2011151798A (en) | Multocular image pickup apparatus and method | |
| JP2017058660A (en) | Image tremor correction device, tilt correction device, image tremor correction device control method, tilt correction device control method | |
| JP6846651B2 (en) | Image processing equipment and imaging equipment | |
| WO2019142527A1 (en) | Image display device and image display method | |
| US8749652B2 (en) | Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof | |
| JP4843544B2 (en) | 3D image correction method and apparatus | |
| TWI676855B (en) | Projector calibration method and projection system using the same | |
| JP5452801B2 (en) | Stereoscopic image generating apparatus and program thereof | |
| JP2010181826A (en) | Three-dimensional image forming apparatus | |
| JP2014010783A (en) | Image processing apparatus, image processing method, and program | |
| JP3328478B2 (en) | Camera system | |
| JP2009134357A (en) | Image processor, imaging device, image processing program, and image processing method | |
| JP2022024688A (en) | Depth map generation device and program thereof, and depth map generation system | |
| JP6799487B2 (en) | Imaging equipment and imaging methods using hyperbolic patterns | |
| JP2007150536A (en) | Stereoscopic image photographing/displaying device | |
| JP2023016864A (en) | Imaging apparatus and method | |
| JP2020057967A (en) | Image processing device, imaging device, control method of image processing device, and program | |
| JP2019520897A (en) | Intraoral imaging device with extended depth of field | |
| JP7278454B2 (en) | image display device | |
| WO2019082415A1 (en) | Image processing device, imaging apparatus, method for controlling image processing device, image processing program, and recording medium | |
| JP6292785B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5767500B2 (en) | Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201028 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6799487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |