JP2020102788A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2020102788A
JP2020102788A JP2018240474A JP2018240474A JP2020102788A JP 2020102788 A JP2020102788 A JP 2020102788A JP 2018240474 A JP2018240474 A JP 2018240474A JP 2018240474 A JP2018240474 A JP 2018240474A JP 2020102788 A JP2020102788 A JP 2020102788A
Authority
JP
Japan
Prior art keywords
data
image data
image
frequency information
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018240474A
Other languages
Japanese (ja)
Inventor
伊藤 靖
Yasushi Ito
靖 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018240474A priority Critical patent/JP2020102788A/en
Publication of JP2020102788A publication Critical patent/JP2020102788A/en
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

To solve the problem in which, in recent years, an input image size has been increasing, along with this, since a memory size required for calculating WFM data also increases, a circuit scale becomes a problem, and as the number of monitor pixels increases, it becomes an even bigger problem.SOLUTION: The imaging apparatus for capturing and recording a subject includes: signal processing means for signal-processing a captured image and outputting it as image data; first storage means for holding the image data; rotation means for reading the image data of the storage means and rotating the image data; frequency information imaging means for performing arithmetic processing on a rotated image and holding it as frequency information data; second storage means for holding output data of frequency information output means; and output means for outputting the data held in the second storage means.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置に関し、特に撮影アシストの回路規模削減に関する。 The present invention relates to an image pickup apparatus, and more particularly to reduction of the circuit scale of shooting assistance.

セミプロ以上では更なる映像表現のため、マニュアル操作により撮影する場合がある。そのアシスト方法の一つとしてウェーブフォームモニター(以下、WFM)がある。WFMとは、図2に示すように、入力画像201に対し、202のように、輝度の頻度情報をわかりやすくモニターに表示する測定機能であり、x軸方向は水平方向の画素位置、y軸方向は頻度情報を示している。 For semi-professionals and above, images may be taken manually for further image expression. As one of the assisting methods, there is a waveform monitor (hereinafter, WFM). As shown in FIG. 2, the WFM is a measurement function for displaying the frequency information of luminance on the monitor in an easy-to-understand manner as in 202 for the input image 201. The x-axis direction is the pixel position in the horizontal direction, and the y-axis is the y-axis. The direction indicates frequency information.

WFM生成方法を図2を用いて説明する。詳細は後述するが、一般的なWFM表示は、画像の縦方向の輝度データの頻度情報であり、縦1列単位の輝度情報から算出する。このため、連続した縦1列の情報が必要であり、この情報を得るためには画面全体をメモリに保持する必要がある。つまり、入力画像201の画像データを一旦、メモリに記録し、縦1列単位203で読み出し、WFMデータを算出する。WFM生成回路は、輝度の頻度情報を生成する回路であり、つまりヒストグラムを生成することと等価である。 The WFM generation method will be described with reference to FIG. As will be described in detail later, a general WFM display is frequency information of luminance data in the vertical direction of an image, and is calculated from the luminance information in units of one vertical column. Therefore, a continuous vertical column of information is required, and in order to obtain this information, it is necessary to hold the entire screen in memory. In other words, the image data of the input image 201 is temporarily recorded in the memory, read out in vertical column units 203, and WFM data is calculated. The WFM generating circuit is a circuit that generates frequency information of luminance, that is, it is equivalent to generating a histogram.

特許文献1には、このような一般的なヒストグラムの生成方法を示しており、同様に1画面分のメモリを用いて算出している。 Patent Document 1 shows a method for generating such a general histogram, which is similarly calculated using a memory for one screen.

特開2015−162064号公報JP, 2005-162064, A

しかしながら、近年、入力の画像サイズは大きくなってきており、これに伴い、WFMデータの算出に必要なメモリサイズも大きくなるため、回路規模が課題となっている。モニターの高画素化が進むと、さらに大きな問題となる。 However, in recent years, the input image size has increased, and along with this, the memory size necessary for calculating WFM data has also increased, and therefore the circuit scale has become a problem. As the number of monitor pixels increases, it becomes an even bigger problem.

本発明は、上記の問題点を鑑み、WFM算出に必要なメモリの容量を減らすことを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to reduce the memory capacity required for WFM calculation.

上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮像して記録する撮像装置において、撮像した画像を信号処理して画像データとして出力する信号処理手段と、前記画像データを保持する第1の記憶手段と、前記第1の記憶手段の画像データを読み出して画像データを回転する回転手段と、回転画像を演算処理して頻度情報データとして保持する頻度情報画像化手段と、前記頻度情報画像化手段の出力データを保持する第2の記憶手段と、前記第2の記憶手段に保持されているデータを出力する出力手段と、を有することを特徴とする。
In order to achieve the above object, the imaging device according to the present invention is
In an image pickup apparatus for picking up and recording a subject, signal processing means for signal-processing the picked-up image and outputting it as image data, first storage means for holding the image data, and an image in the first storage means Rotating means for reading data and rotating image data, frequency information imaging means for performing arithmetic processing on the rotated image and holding it as frequency information data, and second storage means for holding output data of the frequency information imaging means. And output means for outputting the data held in the second storage means.

また、本発明に係る撮像装置は、
被写体を撮像して記録する撮像装置において、撮像した画像を縮小処理して縮小画像データを生成する縮小処理手段と、前記縮小画像データを信号処理して画像データとして出力する信号処理手段と、前記画像データを保持する第1の記憶手段と、前記第1の記憶手段の画像データを読み出して画像データを回転する回転手段と、回転画像を演算処理して頻度情報データとして保持する頻度情報画像化手段と、前記頻度情報画像化手段の出力データを保持する第2の記憶手段と、前記第2の記憶手段に保持されているデータを出力する出力手段と、
を有することを特徴とする。
Further, the imaging device according to the present invention,
In an image pickup apparatus for picking up and recording a subject, reduction processing means for reducing the picked-up image to generate reduced image data; signal processing means for signal-processing the reduced image data and outputting it as image data; First storage means for holding image data, rotation means for reading out the image data from the first storage means to rotate the image data, and frequency information imaging for performing arithmetic processing on the rotated image and holding it as frequency information data. Means, second storage means for holding the output data of the frequency information imaging means, and output means for outputting the data held in the second storage means,
It is characterized by having.

本発明に係る撮像装置によれば、WFM算出に必要なメモリの容量を減らすことができる。 According to the imaging device of the present invention, it is possible to reduce the memory capacity required for WFM calculation.

第1の実施形態の撮像装置のブロック図Block diagram of the imaging device of the first embodiment 入力画像に対するWFM表示例の図Figure of WFM display example for input image 画像データ回転部の動作図Operation diagram of image data rotation unit WFM生成回路のSRAM構造を示す図Diagram showing the SRAM structure of the WFM generation circuit 撮像装置必須のデータパスに第1の実施形態を適応したブロック図Block diagram in which the first embodiment is applied to a data path essential for an imaging device 第1の実施形態のWFM表示遅延を改善した、第2の実施形態の撮像装置のブロック図The block diagram of the imaging device of the second embodiment in which the WFM display delay of the first embodiment is improved.

以下、本発明を実施するための形態について、図面を参照しながら説明する。 Hereinafter, modes for carrying out the present invention will be described with reference to the drawings.

<第1の実施形態>
図1、図3、図4を用いて、本発明の第1の実施形態を説明する。
<First Embodiment>
A first embodiment of the present invention will be described with reference to FIGS. 1, 3, and 4.

図1は、実施形態1の実施形態に関わる変換装置を用いた撮像装置である。 FIG. 1 is an imaging device using the conversion device according to the first embodiment.

同図において、101は信号処理部、102はDRAM、103は画像データ回転部、104はWFM生成回路、105はSRAM、106はアドレス生成部、107はタイミング生成部、108は加算部、109はマルチプレクサ、110は読み出し部、111はDRAM、112は出力部である。信号処理部101は、CMOSセンサーなどの光電変換処理を含み、撮像した画像データを、現像処理などの画像処理を行い、DRAM102に保存する。 In the figure, 101 is a signal processing unit, 102 is a DRAM, 103 is an image data rotating unit, 104 is a WFM generation circuit, 105 is an SRAM, 106 is an address generation unit, 107 is a timing generation unit, 108 is an addition unit, and 109 is A multiplexer, 110 is a reading unit, 111 is a DRAM, and 112 is an output unit. The signal processing unit 101 includes photoelectric conversion processing such as a CMOS sensor, performs image processing such as development processing on captured image data, and stores the image data in the DRAM 102.

画像データ回転部103は、DRAM102から画像データをリードし、回転する手段であり、DRAM102の画像データのリードアドレスとライトアドレスの順番を変えることで、90度回転させたデータを出力する。図3に詳細を示す。DRAM102に保存されている画像データは、信号処理部101により走査順序302でライトされる。一方、画像データ回転部103で画像データをリードする際、走査順序304のようにアドレスを生成し、リードする。これにより、画像301を90度回転させた、画像303となる。 The image data rotation unit 103 is a unit that reads and rotates image data from the DRAM 102, and outputs the data rotated 90 degrees by changing the order of the read address and the write address of the image data in the DRAM 102. Details are shown in FIG. The image data stored in the DRAM 102 is written in the scanning order 302 by the signal processing unit 101. On the other hand, when the image data rotating unit 103 reads the image data, the addresses are generated and read as in the scanning order 304. As a result, an image 303 is obtained by rotating the image 301 by 90 degrees.

なお、この処理の際、水平同期信号についても、画像303に合わせて、走査順序304に相当する回転後水平同期信号305を生成する。 At the time of this processing, a horizontal synchronizing signal 305 corresponding to the scanning order 304 is also generated for the horizontal synchronizing signal in accordance with the image 303.

次に、WFM生成回路104は、画像データ回転部103からの画像データに対し、WFM生成処理を行う。以下に、一般的なWFMの生成方法を示す。 Next, the WFM generation circuit 104 performs WFM generation processing on the image data from the image data rotation unit 103. Below, a general WFM generation method is shown.

WFM生成回路104は、入力画像の画像データから、縦1列毎の画素値のWFMを生成するものであり、まず、画像データ回転部103からの水平同期信号305の開始のタイミングに同期してSRAM105の初期化が開始される。この場合、タイミング生成部107により、水平同期信号の開始のタイミングに同期して初期化信号が生成され、アドレス生成部106により、タイミング信号に同期してアドレス0から1つずつカウントアップするアドレス信号が順次生成される。 The WFM generating circuit 104 generates WFM of pixel values for each vertical column from the image data of the input image. First, the WFM generating circuit 104 is synchronized with the start timing of the horizontal synchronizing signal 305 from the image data rotating unit 103. The initialization of the SRAM 105 is started. In this case, the timing generation unit 107 generates an initialization signal in synchronization with the start timing of the horizontal synchronization signal, and the address generation unit 106 synchronizes with the timing signal and increments the address signal by one from address 0. Are sequentially generated.

また、タイミング信号の制御により、マルチプレクサ405から固定値の‘0’が出力され、アドレス信号により指定されるSRAM105の各アドレスに‘0’が順次ライトされる。これにより、SRAM105が初期化される。SRAM105の初期化が終了した後、画像データが入力される期間に、WFMの生成が開始される。この場合、アドレス生成部106により、画像データの画素値がSRAM105のアドレス信号として順次出力される。 Further, a fixed value "0" is output from the multiplexer 405 under the control of the timing signal, and "0" is sequentially written to each address of the SRAM 105 specified by the address signal. As a result, the SRAM 105 is initialized. After the initialization of the SRAM 105 is completed, the generation of the WFM is started during the period when the image data is input. In this case, the address generation unit 106 sequentially outputs the pixel value of the image data as an address signal of the SRAM 105.

ここで、図4にSRAM105の構成を示す。401のビット深度には、頻度情報を割り当てており、例えば8ビットならば0〜255となる。402のワード長は、ライン数に割り当てており、例えば1080ラインならば少なくとも10ビット必要である。SRAM105は実装するシステムの最大ビット深度、最大ライン長を満たす容量が必要となる。タイミング信号の制御により、画像データの画素値に対応するSRAM105のアドレスからデータがリードされ、加算部108により、リードされたデータに‘1’が加算された加算値が、マルチプレクサ109から出力され、SRAM105の同じアドレスにライトされる。この動作が縦1列毎の画像データについて繰り返されることにより、WFMデータを算出する。 Here, the configuration of the SRAM 105 is shown in FIG. Frequency information is assigned to the bit depth of 401. For example, if it is 8 bits, it becomes 0 to 255. The word length of 402 is assigned to the number of lines, and for example 1080 lines requires at least 10 bits. The SRAM 105 requires a capacity that satisfies the maximum bit depth and the maximum line length of the system to be mounted. By controlling the timing signal, the data is read from the address of the SRAM 105 corresponding to the pixel value of the image data, and the addition unit 108 outputs the addition value obtained by adding “1” to the read data from the multiplexer 109. It is written to the same address of SRAM 105. The WFM data is calculated by repeating this operation for the image data for each vertical column.

読み出し部110は、SRAM105の出力である生成したWFMデータを、水平同期信号のタイミングでDRAM111にライトする。出力部112は、DRAM111からデータをリードし、WFMを表示するためのディスプレイと、ディスプレイに表示するためのスケーリング回路や色調整回路などを含む。 The reading unit 110 writes the generated WFM data output from the SRAM 105 to the DRAM 111 at the timing of the horizontal synchronization signal. The output unit 112 includes a display for reading the data from the DRAM 111 and displaying the WFM, and a scaling circuit and a color adjusting circuit for displaying the WFM on the display.

このように、画像データ回転部103で、予め、画像を90度回転させたデータとして、WFM生成回路104に入力することで、SRAM105は縦1列分の容量があれば、WFM生成処理が可能となる。 In this manner, the image data rotating unit 103 inputs the image to the WFM generating circuit 104 as data obtained by rotating the image 90 degrees in advance, so that the SRAM 105 can perform the WFM generating process if the SRAM 105 has a capacity of one vertical column. Becomes

<第2の実施形態>
第1の実施形態では、画像データ回転部で、予め、画像を90度回転させたデータとして、WFM生成処理することで、メモリの容量を削減する方法を示した。実際に、撮像装置必須のデータパスに、第1の実施形態を適応したブロック図を図5に示す。
<Second Embodiment>
In the first embodiment, the method of reducing the memory capacity by performing the WFM generation process on the image data rotating unit as the data obtained by rotating the image 90 degrees in advance has been described. FIG. 5 shows a block diagram in which the first embodiment is actually applied to the data path essential to the imaging device.

同図において、501はキャプチャ部、502はDRAM、503は現像部、504はDRAM、505は歪補正部、506はDRAM、507は記録、表示部、103〜112は図1と同様である。 In the figure, 501 is a capture unit, 502 is a DRAM, 503 is a development unit, 504 is a DRAM, 505 is a distortion correction unit, 506 is a DRAM, 507 is a recording and display unit, and 103 to 112 are the same as in FIG.

キャプチャ部501は、CCDやCMOSなどの撮像素子で結像された撮影画像を光電変換して、さらにアナログ・デジタル変換したデジタル信号を出力し、DRAM502にライトする。 The capture unit 501 photoelectrically converts a captured image formed by an image pickup device such as a CCD or CMOS, and further outputs a digital signal obtained by analog/digital conversion, and writes the digital signal in the DRAM 502.

現像部503は、DRAM502から画像データをリードし、RGBのオフセット調整、ゲイン調整、現像ガンマ補正処理等を行い、DRAM504にライトする。 The developing unit 503 reads the image data from the DRAM 502, performs RGB offset adjustment, gain adjustment, development gamma correction processing, and the like, and writes it to the DRAM 504.

歪補正部505は、DRAM504からリードした画像データに対し、図に記載していない撮影レンズ群により歪曲した映像を補正し、DRAM506にライトする。 The distortion correction unit 505 corrects the image data read from the DRAM 504, the image distorted by a photographing lens group (not shown), and writes the image data in the DRAM 506.

以上の501〜505が、図1の信号処理部101に相当する。 The above 501 to 505 correspond to the signal processing unit 101 in FIG.

ここで、画像データ回転部103で、画像を回転させる際、1画面分をライトした後に、リードアドレスとライトアドレスの順番を変えることで、90度回転させたデータを出力するため、少なくとも1Vの遅延が生ずる。 Here, when the image is rotated by the image data rotating unit 103, the data rotated by 90 degrees is output by changing the order of the read address and the write address after writing one screen, and thus the data of at least 1 V is output. There will be a delay.

図6は、本実施形態に関わる変換装置を用いた画像記録装置である。 FIG. 6 shows an image recording apparatus using the conversion device according to this embodiment.

601は画像縮小部、602は現像部、603はDRAMであり、501〜507は図5、103〜112は図1と同様である。 Reference numeral 601 is an image reducing unit, 602 is a developing unit, 603 is a DRAM, 501 to 507 are the same as in FIG. 5, and 103 to 112 are the same as in FIG.

WFM生成には、501〜507の必須のデータパスとは別のデータパスを設けており、画像縮小部601は、出力部112のディスプレイ解像度に合わせ、縮小後、現像処理を行う。 For WFM generation, a data path different from the essential data paths 501 to 507 is provided, and the image reduction unit 601 performs development processing after reduction according to the display resolution of the output unit 112.

現像部602は、画像縮小部601の出力画像に対し、現像部503の現像処理と同様の処理を行い、処理実行後、DRAM603にライトする。これにより、画像縮小部601以降の、扱うデータ量が減少し、また、歪補正部505の歪補正処理を省略することで、遅延量が少なくなる。なお、画像縮小部601と現像部602は、入れ替わってもよい。103〜112は、第1の実施形態と同様である。 The developing unit 602 performs the same process as the developing process of the developing unit 503 on the output image of the image reducing unit 601, and after writing the process, writes it in the DRAM 603. As a result, the amount of data handled after the image reduction unit 601 is reduced, and the amount of delay is reduced by omitting the distortion correction processing of the distortion correction unit 505. The image reducing unit 601 and the developing unit 602 may be replaced with each other. 103 to 112 are the same as those in the first embodiment.

このように、前記撮像装置に必須のデータパスに加え、前記WFM専用データパスを設けることで、画像データ回転部103の挿入で、増加した遅延量を相殺することができる。つまり、SRAM105の容量を削減しつつ、表示部507のディスプレイ表示と、出力部111のディスプレイ表示との遅延量を小さくできる。 As described above, by providing the WFM-dedicated data path in addition to the data path indispensable to the image pickup apparatus, it is possible to offset the increased delay amount by inserting the image data rotation unit 103. That is, it is possible to reduce the delay amount between the display display on the display unit 507 and the display display on the output unit 111 while reducing the capacity of the SRAM 105.

101 信号処理部、102 DRAM、103 画像データ回転部、
112 出力部
101 signal processing unit, 102 DRAM, 103 image data rotating unit,
112 Output section

Claims (3)

被写体を撮像して記録する撮像装置において、
撮像した画像を信号処理して画像データとして出力する信号処理手段と、
前記画像データを保持する第1の記憶手段と、
前記第1の記憶手段の画像データを読み出して画像データを回転する回転手段と、
回転画像を演算処理して頻度情報データとして保持する頻度情報画像化手段と、
前記頻度情報画像化手段の出力データを保持する第2の記憶手段と、
前記第2の記憶手段に保持されているデータを出力する出力手段と、
を有することを特徴とする撮像装置。
In an imaging device that images and records a subject,
Signal processing means for signal-processing the captured image and outputting it as image data;
First storage means for holding the image data,
Rotating means for rotating the image data by reading the image data of the first storage means;
Frequency information imaging means for performing arithmetic processing on the rotated image and holding it as frequency information data,
Second storage means for holding output data of the frequency information imaging means,
Output means for outputting the data held in the second storage means;
An imaging device comprising:
被写体を撮像して記録する撮像装置において、
撮像した画像を縮小処理して縮小画像データを生成する縮小処理手段と、
前記縮小画像データを信号処理して画像データとして出力する信号処理手段と、
前記画像データを保持する第1の記憶手段と、
前記第1の記憶手段の画像データを読み出して画像データを回転する回転手段と、
回転画像を演算処理して頻度情報データとして保持する頻度情報画像化手段と、
前記頻度情報画像化手段の出力データを保持する第2の記憶手段と、
前記第2の記憶手段に保持されているデータを出力する出力手段と、
を有することを特徴とする撮像装置。
In an imaging device that images and records a subject,
Reduction processing means for reducing the captured image to generate reduced image data,
Signal processing means for signal-processing the reduced image data and outputting it as image data;
First storage means for holding the image data,
Rotating means for rotating the image data by reading the image data of the first storage means;
Frequency information imaging means for performing arithmetic processing on the rotated image and holding it as frequency information data,
Second storage means for holding output data of the frequency information imaging means,
Output means for outputting the data held in the second storage means;
An imaging device comprising:
前記頻度情報画像化手段は、前記回転手段において生成した水平同期信号により、初期化することを特徴とする請求項1又は2に記載の撮像装置。 The image pickup apparatus according to claim 1, wherein the frequency information imaging unit is initialized by a horizontal synchronizing signal generated by the rotating unit.
JP2018240474A 2018-12-25 2018-12-25 Imaging apparatus Pending JP2020102788A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018240474A JP2020102788A (en) 2018-12-25 2018-12-25 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018240474A JP2020102788A (en) 2018-12-25 2018-12-25 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2020102788A true JP2020102788A (en) 2020-07-02

Family

ID=71141319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018240474A Pending JP2020102788A (en) 2018-12-25 2018-12-25 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2020102788A (en)

Similar Documents

Publication Publication Date Title
JP4759293B2 (en) Image sensor
JP5746521B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4985124B2 (en) Image processing apparatus, image processing method, and image processing program
JP6557455B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP5976315B2 (en) Imaging device
JP2008181196A (en) Image processing apparatus, electronic camera, and image processing program
JP6948810B2 (en) Image processing system
JP2014191091A (en) Imaging apparatus
JP5996418B2 (en) Imaging apparatus and imaging method
JP4225241B2 (en) Image display device
JP4606218B2 (en) Distortion correction device
JP2020102788A (en) Imaging apparatus
JP2004320180A (en) Imaging apparatus and control method thereof
JP2007306506A (en) Imaging apparatus
JP2001203969A (en) Image pickup device and its operation control method
JP4807075B2 (en) Imaging device and defective pixel correction method thereof
JP2014121024A (en) Imaging apparatus
JP2005277618A (en) Photography taking apparatus and device and method for correcting shading
JP2008235958A (en) Imaging apparatus
JP4597073B2 (en) Camera shake correction method, camera shake correction apparatus, and imaging apparatus
JP4525388B2 (en) Imaging signal recording device
JP2007228269A (en) Image signal processing device and method
JP6021556B2 (en) Image processing device
JP2011010113A (en) Imaging device
JP2009159404A (en) Image processing method, image processing device, and image formation device

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191125