JP2017228940A

JP2017228940A - Image data acquisition system

Info

Publication number: JP2017228940A
Application number: JP2016123872A
Authority: JP
Inventors: 祐介三村; Yusuke Mimura
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2016-06-22
Filing date: 2016-06-22
Publication date: 2017-12-28
Anticipated expiration: 2036-06-22
Also published as: JP6720721B2

Abstract

PROBLEM TO BE SOLVED: To provide an image data acquisition system for efficiently transferring captured image data to a main processor via a preprocessor.SOLUTION: An image capture unit 103 acquires image data. The image data acquired by the image capture unit 103 is transferred to a preprocessor 104. In the preprocessor 104, a noise reduction section 216 and the like perform predetermined signal processing on the transferred image data. Image data after the signal processing is transferred from the preprocessor 104 to a main processor 107. On completing input of the image data in the preprocessor 104, an image data input completion notification signal for notifying of completion of the input of the image data is output to the main processor 107 via a HS port 219. On receiving the image data input completion notification signal, the main processor 107 immediately instructs the image capture unit 103 to start next image capture to acquire new image data.SELECTED DRAWING: Figure 2

Description

本発明は、前段処理回路および後段処理回路を通して画像データを取得する画像データ取得システムに関する。 The present invention relates to an image data acquisition system that acquires image data through a pre-stage processing circuit and a post-stage processing circuit.

デジタルカメラでは、画像データは撮像ユニットからシリアル通信を通してプロセッサに転送されるのが一般的である。また、最近ではプロセッサの前段にプリプロセッサを配置し、ここで画像データに対してノイズ低減処理等を行った後、メインとなるプロセッサへ画像データを転送することで、メインプロセッサの回路規模を削減する構成が知られている。例えば、汎用性の高いカメラシステムを実現する目的で、高ピクセルレートの場合、プリプロセッサでピクセルレートを低減した後、メインプロセッサに画像データを転送するカメラシステムも提案されている（特許文献１参照）。 In a digital camera, image data is generally transferred from an imaging unit to a processor through serial communication. Recently, a preprocessor is arranged in front of the processor, and after performing noise reduction processing on the image data, the image data is transferred to the main processor, thereby reducing the circuit scale of the main processor. The configuration is known. For example, for the purpose of realizing a highly versatile camera system, a camera system has also been proposed in which, in the case of a high pixel rate, the pixel rate is reduced by a preprocessor and then image data is transferred to the main processor (see Patent Document 1). .

特開２０１３−１９７６０８号公報JP 2013-197608 A

しかし、従来のカメラシステムでは、メインプロセッサが画像データの受信を完了した段階で、メインプロセッサから撮像ユニットに次の画像を撮像するための通信を行っていることから、プリプロセッサの処理において遅延が生じ、メインプロセッサの画像データの入力が遅れると、メインプロセッサから撮像ユニットへの通信に遅延が生じ、結果として次の画像の撮像が遅れてしまう。これは特に連続撮影を行う場合に問題となる。 However, in the conventional camera system, when the main processor completes the reception of the image data, communication is performed from the main processor to the imaging unit to capture the next image, so that a delay occurs in the processing of the preprocessor. When the input of image data to the main processor is delayed, communication from the main processor to the imaging unit is delayed, and as a result, the imaging of the next image is delayed. This is a problem particularly when continuous shooting is performed.

本発明は、プリプロセッサを介して効率的に撮影画像データをメインプロセッサにまで転送する画像データ取得システムを提供することを目的としている。 An object of the present invention is to provide an image data acquisition system that efficiently transfers captured image data to a main processor via a preprocessor.

本発明の画像データ取得システムは、撮像ユニットから入力される画像データに対して所定の信号処理を施すプリプロセッサと、プリプロセッサから画像データを入力するメインプロセッサと、プリプロセッサにおける画像データの入力が完了したことをメインプロセッサに通知する画像データ入力完了通知手段とを備え、メインプロセッサが、この通知に基づき撮像ユニットとの間の通信を行うことを特徴としている。 In the image data acquisition system of the present invention, a preprocessor that performs predetermined signal processing on image data input from an imaging unit, a main processor that inputs image data from the preprocessor, and input of image data in the preprocessor have been completed. Image data input completion notifying means for notifying the main processor, and the main processor performs communication with the imaging unit based on the notification.

上記通知を受信するとメインプロセッサにおける画像データの入力の完了を待たずに、メインプロセッサが次の画像の読み出しのための指示を撮像ユニットへ送信する。 When the notification is received, the main processor transmits an instruction for reading the next image to the imaging unit without waiting for completion of input of image data in the main processor.

本願発明のデジタルカメラは、上記何れかの画像データ取得システムが搭載されたことを特徴としている。 The digital camera of the present invention is characterized in that any one of the above image data acquisition systems is mounted.

本発明によれば、プリプロセッサを介して効率的に撮影画像データをメインプロセッサにまで転送する画像データ取得システムを提供することができる。 According to the present invention, it is possible to provide an image data acquisition system that efficiently transfers captured image data to a main processor via a preprocessor.

本発明の一実施形態であるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera which is one Embodiment of this invention. 撮像ユニット、メインプロセッサとの間に接続されるプリプロセッサの構成を示すブロック図である。It is a block diagram which shows the structure of the preprocessor connected between an imaging unit and a main processor. 撮像ユニット、プリプロセッサ、メインプロセッサにおける画像データの取得および転送のタイミングを示すタイミングチャートである。6 is a timing chart showing the timing of image data acquisition and transfer in the imaging unit, preprocessor, and main processor.

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である画像データ取得システムが搭載されたデジタルカメラの構成を示すブロックである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a digital camera equipped with an image data acquisition system according to an embodiment of the present invention.

デジタルカメラ１００は、レンズ部１０１、シャッタ１０２を通して入射した光を撮像ユニット１０３の撮像素子（不図示）に結像させて被写体の画像を撮像する。撮像ユニット１０３は、撮像素子から読み出した画像データをプリプロセッサ１０４に出力し、プリプロセッサ１０４に入力された画像データは、ノイズリダクション処理などの所定の処理を施された後、メインプロセッサ１０７へと出力される。メインプロセッサ１０７は、プレプロセッサ１０４から入力された画像データを揮発性のメモリ１０６に一時的に保持し、所定の画像処理を施した後、必要に応じて不揮発性の外部メモリ１０８に保存する。 The digital camera 100 forms an image of a subject by imaging light incident through the lens unit 101 and the shutter 102 on an image sensor (not shown) of the imaging unit 103. The imaging unit 103 outputs the image data read from the imaging device to the preprocessor 104, and the image data input to the preprocessor 104 is output to the main processor 107 after being subjected to a predetermined process such as a noise reduction process. The The main processor 107 temporarily holds the image data input from the preprocessor 104 in the volatile memory 106, performs predetermined image processing, and then saves it in the nonvolatile external memory 108 as necessary.

デジタルカメラ１００の全体の制御はメインプロセッサ１０７によって行われ、各構成部には、電源制御部１０５から電力が供給される。例えばメインプロセッサ１０７は、ＡＦ処理においてレンズ部１０１の駆動を制御し、ＡＥ処理においてシャッタ１０２の駆動を制御する。また、撮像素子からの画像データの読み出しなど、撮像ユニット１０３の駆動もメインプロセッサ１０７からの制御信号に基づき実行される。更に、メインプロセッサ１０７は、プリプロセッサ１０４の駆動も制御する。 The overall control of the digital camera 100 is performed by the main processor 107, and power is supplied to each component from the power control unit 105. For example, the main processor 107 controls driving of the lens unit 101 in AF processing, and controls driving of the shutter 102 in AE processing. Further, driving of the imaging unit 103 such as reading of image data from the imaging element is also executed based on a control signal from the main processor 107. Further, the main processor 107 controls the driving of the preprocessor 104.

図２は、撮像ユニット１０３、メインプロセッサ１０７との間に接続されるプリプロセッサ１０４の構成を示すブロック図である。 FIG. 2 is a block diagram illustrating a configuration of the preprocessor 104 connected between the imaging unit 103 and the main processor 107.

撮像ユニット１０３からプリプロセッサ１０４には、センサＩ／Ｆ２１１を通して画像データが入力される。プリプロセッサ１０４に入力された画像データはオプティカル（ＯＢ）検波部２１２にてオプティカルブラック（ＯＢ）信号の検波を行う。オプティカルブラック（ＯＢ）減算部２１３では、オプティカルブラック検波部２１２において検波した結果に基づき画像データに対しオフセットをかけ黒レベルを調節する。ゲイン部２１４では、黒レベルを調節した画像データに対し、所定のデジタルゲインを掛け、画像データのレベルを調節する。 Image data is input from the imaging unit 103 to the preprocessor 104 through the sensor I / F 211. The image data input to the preprocessor 104 detects an optical black (OB) signal by an optical (OB) detection unit 212. The optical black (OB) subtraction unit 213 adjusts the black level by applying an offset to the image data based on the result detected by the optical black detection unit 212. The gain unit 214 adjusts the level of the image data by multiplying the image data whose black level has been adjusted by a predetermined digital gain.

黒レベル、ゲイン調節が施された画像データに対しては、欠陥補正部２１６において欠陥画素の補正を行い、ノイズリダクション部２１６においてノイズリダクション処理を画像データに対して行い画像データのノイズレベルを低減する。ノイズレベルが低減された画像データは、センサＩ／Ｆ２１７を通してメインプロセッサ１０７に転送される。 For image data that has undergone black level and gain adjustment, the defect correction unit 216 corrects defective pixels, and the noise reduction unit 216 performs noise reduction processing on the image data to reduce the noise level of the image data. To do. Image data with a reduced noise level is transferred to the main processor 107 through the sensor I / F 217.

撮像ユニット１０３の駆動に必要な同期信号はプリプロセッサ１０４のＰＷＭ２１８で生成され、撮像ユニット１０３に出力される。一方、プリプロセッサ１０４の動作に必要なパラメータは、メインプロセッサ１０７からプリプロセッサ１０４のレジスタ２２０に予めシリアル通信を通して出力されレジスタ２２０に設定される。また、プリプロセッサ１０４において、撮像ユニット１０３からの画像データの受信が完了すると、そのタイミングでＨＳポート２１９から画像データの受信が完了したことを通知する画像データ入力完了通知信号をメインプロセッサ１０７へと出力する。メインプロセッサ１０７は、プリプロセッサ１０４から画像データ入力完了通知信号を受信すると、撮像ユニット１０３に対して次の画像を撮像するための制御パラメータをメインプロセッサ１０７のレジスタ（不図示）を通して送信する。 A synchronization signal necessary for driving the imaging unit 103 is generated by the PWM 218 of the preprocessor 104 and output to the imaging unit 103. On the other hand, parameters necessary for the operation of the preprocessor 104 are output from the main processor 107 to the register 220 of the preprocessor 104 through serial communication in advance and set in the register 220. When the preprocessor 104 completes reception of image data from the imaging unit 103, an image data input completion notification signal for notifying completion of reception of image data from the HS port 219 is output to the main processor 107 at that timing. To do. When the main processor 107 receives the image data input completion notification signal from the preprocessor 104, the main processor 107 transmits a control parameter for capturing the next image to the imaging unit 103 through a register (not shown) of the main processor 107.

次に図３のタイミングチャートを参照して、連続撮影時における撮像ユニット１０３、プリプロセッサ１０４、メインプロセッサ１０７の間の各種データの転送シーケンスについて説明する。 Next, a transfer sequence of various data among the imaging unit 103, the preprocessor 104, and the main processor 107 during continuous shooting will be described with reference to the timing chart of FIG.

図３（ａ）は、プリプロセッサ１０４からメインプロセッサ１０７への画像データ入力完了通知を行わない従来の構成における各種データの転送シーケンスを示す。撮像ユニット１０３における画像の撮像は、メインプロセッサ１０７からレジスタ通信を介して制御信号（パラメータ）Ｓを受信することにより開始される。制御信号Ｓは、連続撮影開始時と、メインプロセッサ１０７において各撮影における画像データの受信を完了すると撮像ユニット１０３に出力される。 FIG. 3A shows a transfer sequence of various data in a conventional configuration in which image data input completion notification from the preprocessor 104 to the main processor 107 is not performed. Imaging of an image in the imaging unit 103 is started by receiving a control signal (parameter) S from the main processor 107 via register communication. The control signal S is output to the imaging unit 103 at the start of continuous shooting and when the main processor 107 completes reception of image data in each shooting.

連続撮影開始により制御信号Ｓが、制御信号４０１として撮像ユニット１０３に送信されると、１枚目の撮影画像の画像データ４１１が取得され、略同時に画像データ４１１は、センサＩ／Ｆ２１１を通してプリプロセッサ１０４へ転送される。１枚目の撮影画像の画像データ４１１は、プリプロセッサ１０４において画像データ４２１として保持され、図２に示したＯＢ検波、ＯＢ減算、ゲイン補正、欠陥画素補正、ノイズリダクションなどの処理が施される。各処理が施された画像データ４２１は、センサＩ／Ｆ２１７を通してメインプロセッサ１０７に転送され、メインプロセッサ１０７において１枚目の撮影画像の画像データ４３１として保持される。 When the control signal S is transmitted as the control signal 401 to the imaging unit 103 when continuous shooting is started, the image data 411 of the first captured image is acquired, and the image data 411 passes through the sensor I / F 211 and is pre-processor 104. Forwarded to Image data 411 of the first photographed image is held as image data 421 in the preprocessor 104 and subjected to processing such as OB detection, OB subtraction, gain correction, defective pixel correction, and noise reduction shown in FIG. The image data 421 subjected to each processing is transferred to the main processor 107 through the sensor I / F 217 and held as image data 431 of the first photographed image in the main processor 107.

図３（ａ）に示されるように、プリプロセッサ１０４における画像データ４２１の受信完了は、撮像ユニット１０３における画像データ４１１の取得終了に略一致する。しかし、プリプロセッサ１０４における処理にΔｔの時間が掛かると、画像データ４２１のメインプロセッサ１０７への転送にも略Δｔの時間の遅延が生じる。したがって、メインプロセッサ１０７において画像データ４３１の受信が完了（４４１）するのは、撮像ユニット１０３における画像データ４１１の取り込みが完了した時点よりも少なくともΔｔ時間分遅延し、メインプロセッサ１０７から撮像ユニット１０３へと出力される２枚目の撮影画像の画像データ４１２を取得するための制御信号Ｓは、少なくともΔｔ時間以上遅延して撮影ユニット１０３において制御信号４０２として受信される。 As shown in FIG. 3A, the completion of reception of the image data 421 in the preprocessor 104 substantially coincides with the end of acquisition of the image data 411 in the imaging unit 103. However, if the processing in the preprocessor 104 takes time Δt, the transfer of the image data 421 to the main processor 107 also causes a time delay of about Δt. Therefore, the reception of the image data 431 in the main processor 107 is completed (441) at a delay of at least Δt time from the time when the capturing of the image data 411 in the imaging unit 103 is completed, and from the main processor 107 to the imaging unit 103. The control signal S for acquiring the image data 412 of the second photographed image output is received as the control signal 402 in the photographing unit 103 with a delay of at least Δt time.

しかし、撮像ユニット１０３では、１枚目の撮影画像の画像データ４１１の取得が完了した直後から、２枚目の撮影画像の画像データ４１２の取得が可能であり、遅延時間Δｔ分が無駄になる。したがって本実施形態では、プリプロセッサ１０４からメインプロセッサ１０７へ画像データ入力完了通知を行い、図３（ｂ）に示されるように、撮像ユニット１０３における次の撮影画像の画像データの取得に遅延が生じないようにする。 However, the imaging unit 103 can acquire the image data 412 of the second photographed image immediately after the acquisition of the image data 411 of the first photographed image is completed, and the delay time Δt is wasted. . Therefore, in this embodiment, the preprocessor 104 notifies the main processor 107 of completion of image data input, and as shown in FIG. 3B, there is no delay in the acquisition of the image data of the next photographed image in the imaging unit 103. Like that.

すなわち、連続撮影開始により制御信号Ｓが、制御信号５０１として撮像ユニット１０３に送信されると、１枚目の撮影画像の画像データ５１１が取得され、略同時に画像データ５１１は、センサＩ／Ｆ２１１を通してプリプロセッサ１０４へ転送される。１枚目の撮影画像の画像データ５１１は、プリプロセッサ１０４において画像データ５２１として保持され、順次図２に示したＯＢ検波、ＯＢ減算、ゲイン補正、欠陥画素補正、ノイズリダクションなどの処理が施される。各処理が施された画像データ５２１は、センサＩ／Ｆ２１７を通してメインプロセッサ１０７に順次転送され、メインプロセッサ１０７において１枚目の撮影画像の画像データ５３１として保持される。また、プリプロセッサ１０４において画像データ５２１の取り込みが完了すると、プリプロセッサ１０４は、ＨＳポート２１９から画像データ入力完了通知信号５４１をメインプロセッサ１０７へ出力する。 That is, when the control signal S is transmitted to the imaging unit 103 as the control signal 501 by the start of continuous shooting, the image data 511 of the first shot image is acquired, and the image data 511 passes through the sensor I / F 211 almost simultaneously. Transferred to the preprocessor 104. Image data 511 of the first photographed image is held as image data 521 in the preprocessor 104, and sequentially subjected to processing such as OB detection, OB subtraction, gain correction, defective pixel correction, and noise reduction shown in FIG. . The image data 521 subjected to each processing is sequentially transferred to the main processor 107 through the sensor I / F 217 and held as image data 531 of the first photographed image in the main processor 107. When the preprocessor 104 completes the capture of the image data 521, the preprocessor 104 outputs an image data input completion notification signal 541 from the HS port 219 to the main processor 107.

メインプロセッサ１０７は、プリプロセッサ１０４から画像データ入力完了通知信号５４１を受信すると、画像データ５３１の取り込みと並行して、直ちに２枚目の撮影画像の画像データ５１２を取得するための制御信号Ｓを撮像ユニット１０３へと出力する。制御信号Ｓが、撮像ユニット１０３で信号５０２として受信されると、直ちに２枚目の画像の画像データ５１２の取得が開始され、略同時にプリプロセッサ１０４へ順次画像データ５２２として転送され、各種処理を施された後、メインプロセッサ１０７へ画像データ５３２として転送される。以後、３枚目の撮影画像に関しても同様に画像データの取得、転送が行われる。 When the main processor 107 receives the image data input completion notification signal 541 from the preprocessor 104, the main processor 107 captures the control signal S for acquiring the image data 512 of the second photographed image immediately in parallel with the capture of the image data 531. Output to unit 103. When the control signal S is received as the signal 502 by the imaging unit 103, the acquisition of the image data 512 of the second image is immediately started, and is transferred to the preprocessor 104 as image data 522 sequentially at approximately the same time, and various processes are performed. After that, the image data 532 is transferred to the main processor 107. Thereafter, the image data is acquired and transferred in the same manner for the third photographed image.

以上のように、本実施形態では、プリプロセッサにおいて画像データの入力が完了したことをメインプロセッサへ通知する構成を設けたことで、プリプロセッサが撮像ユニットからの画像データの入力を完了した時点で、メインプロセッサが撮像ユニットに次の画像の撮像を指示できる。これにより撮像ユニットにおいて効率的に連続撮影を行うことができる。 As described above, in this embodiment, the main processor is configured to notify the main processor that input of image data has been completed, so that when the preprocessor completes input of image data from the imaging unit, the main processor The processor can instruct the imaging unit to capture the next image. Thereby, continuous imaging can be efficiently performed in the imaging unit.

なお、本実施形態は、一眼レフのデジタルカメラやミラーレスのデジタルカメラ、コンパクトカメラ、あるいはカメラ機能を備えたその他の電子機器に適用することもできる。また、本実施形態では、プリプロセッサは画像データに対してノイズリダクション処理を行ったが、その他の処理であってもよい。 The present embodiment can also be applied to a single-lens reflex digital camera, a mirrorless digital camera, a compact camera, or other electronic devices having a camera function. In this embodiment, the preprocessor performs the noise reduction process on the image data. However, other processes may be performed.

１００デジタルカメラ
１０１レンズ部
１０３撮像ユニット
１０４プリプロセッサ
１０７メインプロセッサ
２１９ＨＳポート DESCRIPTION OF SYMBOLS 100 Digital camera 101 Lens part 103 Imaging unit 104 Preprocessor 107 Main processor 219 HS port

Claims

A preprocessor that performs predetermined signal processing on image data input from the imaging unit;
A main processor for inputting the image data from the preprocessor;
Image data input completion notifying means for notifying the main processor that the input of the image data in the preprocessor has been completed,
The image data acquisition system, wherein the main processor performs communication with the imaging unit based on the notification.

The main processor transmits an instruction for reading the next image to the imaging unit without waiting for completion of input of the image data in the main processor when the notification is received. The image data acquisition system described.

A digital camera on which the image data acquisition system according to claim 1 is mounted.