JP2008259121A

JP2008259121A - Image processor

Info

Publication number: JP2008259121A
Application number: JP2007101889A
Authority: JP
Inventors: Kaoru Kotoda; 薫古藤田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2007-04-09
Filing date: 2007-04-09
Publication date: 2008-10-23

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor capable of reducing the data amount of images to be transmitted/received without deteriorating image quality. <P>SOLUTION: A subtraction circuit 101 performs subtraction of a processing result of a main image input from a sub chip 204 to a main chip 205 and processed by a processing circuit B302 of the main chip 205 and a reference image, corresponding to the main image, input from the sub chip 204 to the main chip 205 and outputs to the sub chip 204 a differential image that is a subtraction result. An addition circuit 102 adds the differential image output from the subtraction circuit 101 and the reference image and outputs an addition result to a processing circuit C303 within the sub chip 204. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、複数の画像処理部を内蔵した複数のチップを備えた画像処理装置に関する。 The present invention relates to an image processing apparatus including a plurality of chips incorporating a plurality of image processing units.

画像信号を扱う内視鏡などの装置では、入力した画像信号に対し、所望の画像を得るためにホワイトバランス調整や拡大縮小、輪郭強調などの各種の画像処理を施している。通常、これらの画像処理は、ＬＳＩのチップに内蔵された複数の処理回路により実現される。全ての処理回路を内蔵した大規模ＬＳＩでは、開発費が高額になるため、生産数量の少ない製品では、処理回路を複数のチップに分けて開発が行われる。しかし、この場合、複数のチップ間で膨大な画像データの送受が必要となり、チップの多ピン化によるチップサイズの増大や、データバスの高速化による消費電力の増大が起きてしまう。 In an apparatus such as an endoscope that handles image signals, various image processes such as white balance adjustment, enlargement / reduction, and edge enhancement are performed on the input image signals in order to obtain a desired image. Usually, these image processes are realized by a plurality of processing circuits built in an LSI chip. Since a large-scale LSI incorporating all processing circuits has a high development cost, a product with a small production quantity is developed by dividing the processing circuit into a plurality of chips. However, in this case, a large amount of image data needs to be transmitted / received between a plurality of chips, and an increase in chip size due to the increase in the number of pins of the chip and an increase in power consumption due to an increase in data bus speed occur.

このような課題に対し、特許文献１では、例えばフィルター処理回路とビデオバッファメモリの間のデータ量を削減するための手法が提案されている。この手法では、それぞれ異なるチップに設けられたフィルター処理回路とビデオバッファメモリ間を接続するデータバスの前後に非可逆圧縮回路と伸張回路が内蔵され、データを一旦圧縮してからデータの送受を行うことによりデータ量を減らしている。
特開２００４−１７９７２５号公報 In response to such a problem, for example, Patent Document 1 proposes a technique for reducing the amount of data between a filter processing circuit and a video buffer memory. In this method, an irreversible compression circuit and an expansion circuit are built in before and after the data bus connecting the filter processing circuit and the video buffer memory provided in different chips, and the data is temporarily compressed and then transmitted and received. This reduces the amount of data.
JP 2004-179725 A

従来技術で用いられている非可逆圧縮には、データ量を大きく削減すると画質が劣化するという特性があり、特許文献１には、画質を劣化させずにデータ量を削減する手法は記載されていない。本発明は、この点に鑑みてなされたものであって、画質を劣化させることなく、送受される画像のデータ量を削減することができる画像処理回路を提供することを目的とする。 The lossy compression used in the prior art has a characteristic that the image quality deteriorates when the data amount is greatly reduced. Patent Document 1 describes a method for reducing the data amount without degrading the image quality. Absent. The present invention has been made in view of this point, and an object of the present invention is to provide an image processing circuit capable of reducing the data amount of an image transmitted and received without degrading the image quality.

本発明は、上記の課題を解決するためになされたもので、複数の画像処理回路を有する第１のチップと、前記第1のチップとは異なる複数の画像処理回路を有する第２のチップとを備え、前記第１のチップおよび前記第２のチップのうちの一方のチップは、他方のチップから前記一方のチップに入力され、前記一方のチップ内の前記画像処理回路で処理された本画像の処理結果と、前記他方のチップから前記一方のチップに入力された、前記本画像に対応する参照画像との減算を行い、減算結果である差分画像を前記他方のチップに出力する第１の減算回路を有し、前記他方のチップは、前記第１の減算回路から出力された前記差分画像と前記参照画像とを加算して前記他方のチップ内の前記画像処理回路に出力する第１の加算回路を有することを特徴とする画像処理装置である。 The present invention has been made to solve the above problems, and includes a first chip having a plurality of image processing circuits, and a second chip having a plurality of image processing circuits different from the first chip. One of the first chip and the second chip is input to the one chip from the other chip and processed by the image processing circuit in the one chip And a reference image corresponding to the main image input from the other chip to the one chip, and a difference image as a subtraction result is output to the other chip. A first subtracting circuit that adds the difference image output from the first subtracting circuit and the reference image and outputs the result to the image processing circuit in the second chip; Having an adder circuit An image processing apparatus characterized by the above.

第１のチップと第２のチップは図１のサブチップ２０４とメインチップ２０５に対応する。また、第１の減算回路は図１の減算回路１０１に対応し、第１の加算回路は図１の加算回路１０２に対応する。あるいは、第１の減算回路は図１の減算回路１０５に対応し、第１の加算回路は図１の加算回路１０６に対応する。あるいは、第１の減算回路は図５の減算回路５０３に対応し、第１の加算回路は図５の加算回路５０４に対応する。 The first chip and the second chip correspond to the sub chip 204 and the main chip 205 in FIG. Further, the first subtracting circuit corresponds to the subtracting circuit 101 in FIG. 1, and the first adding circuit corresponds to the adding circuit 102 in FIG. Alternatively, the first subtracting circuit corresponds to the subtracting circuit 105 in FIG. 1, and the first adding circuit corresponds to the adding circuit 106 in FIG. Alternatively, the first subtracting circuit corresponds to the subtracting circuit 503 in FIG. 5, and the first adding circuit corresponds to the adding circuit 504 in FIG.

また、本発明の画像処理回路において、前記他方のチップは、該他方のチップから前記一方のチップに入力される前記参照画像を圧縮する圧縮回路（図７の圧縮回路７０１に対応）を有し、前記一方のチップは、前記圧縮回路で圧縮された前記参照画像を伸張し、前記一方のチップ内で処理される前記参照画像と前記本画像を再生する第１の伸張回路（図７の伸張回路７０３に対応）を有することを特徴とする。 In the image processing circuit of the present invention, the other chip has a compression circuit (corresponding to the compression circuit 701 in FIG. 7) for compressing the reference image input from the other chip to the one chip. The one chip decompresses the reference image compressed by the compression circuit, and a first decompression circuit (the decompression in FIG. 7) reproduces the reference image and the main image processed in the one chip. Circuit 703).

また、本発明の画像処理回路において、前記他方のチップは、前記圧縮回路で圧縮された前記参照画像を伸張する第２の伸張回路（図７の伸張回路７０２に対応）と、前記圧縮回路による圧縮前の前記参照画像と、前記第２の伸張回路による伸張後の前記参照画像との減算を行い、減算結果である差分画像を前記一方のチップに出力する第２の減算回路（図７の減算回路７０４に対応）とを有し、前記一方のチップは、前記第２の減算回路から出力された前記差分画像と、前記第１の伸張回路から出力された前記参照画像とを加算して前記一方のチップ内の前記画像処理回路に出力する第２の加算回路（図７の加算回路７０５に対応）を有することを特徴とする。 In the image processing circuit of the present invention, the other chip includes a second decompression circuit (corresponding to the decompression circuit 702 in FIG. 7) for decompressing the reference image compressed by the compression circuit, and the compression circuit. A second subtraction circuit (FIG. 7) that subtracts the reference image before compression and the reference image after decompression by the second decompression circuit, and outputs a difference image as a subtraction result to the one chip. The one chip adds the difference image output from the second subtraction circuit and the reference image output from the first decompression circuit. A second adder circuit (corresponding to the adder circuit 705 in FIG. 7) for outputting to the image processing circuit in the one chip is provided.

また、本発明の画像処理回路において、前記他方のチップは、前記第１の加算回路から出力された加算結果の画像を前記他方のチップ内の前記画像処理回路が処理した処理結果の画像と前記加算結果の画像との減算を行い、減算結果である差分画像を前記一方のチップに出力する第２の減算回路（図１の減算回路１０５または図５の減算回路５０３に対応）を有し、前記一方のチップは、前記一方のチップ内の前記画像処理回路で処理された本画像の処理結果の画像と、前記第２の減算回路から出力された前記差分画像とを加算する第２の加算回路（図１の加算回路１０６または図５の加算回路５０４に対応）を有することを特徴とする。 In the image processing circuit of the present invention, the other chip includes an image of a processing result obtained by processing the image of the addition result output from the first addition circuit by the image processing circuit in the other chip, and the A second subtracting circuit (corresponding to the subtracting circuit 105 in FIG. 1 or the subtracting circuit 503 in FIG. 5) that performs subtraction with the image of the addition result and outputs the difference image that is the subtraction result to the one chip; The one chip is configured to add a second addition that adds an image of a processing result of the main image processed by the image processing circuit in the one chip and the difference image output from the second subtraction circuit. A circuit (corresponding to the addition circuit 106 in FIG. 1 or the addition circuit 504 in FIG. 5) is provided.

また、本発明の画像処理回路において、前記一方のチップは、前記参照画像に対し所定の画像処理を施して前記第１の減算回路に出力する第１の参照画像処理回路（図５の簡易変換回路５０１に対応）を有し、前記他方のチップは、前記参照画像に対し、前記第１の参照画像処理回路に対応する画像処理を施して前記第１の加算回路に出力する第２の参照画像処理回路（図５の簡易変換回路５０２に対応）を有する
ことを特徴とする。 In the image processing circuit of the present invention, the one chip performs a predetermined image processing on the reference image and outputs the first reference image processing circuit (simple conversion in FIG. 5) to the first subtraction circuit. The second chip performs image processing corresponding to the first reference image processing circuit on the reference image and outputs the processed image to the first addition circuit. It has an image processing circuit (corresponding to the simple conversion circuit 502 in FIG. 5).

また、本発明の画像処理回路において、前記一方のチップは、前記一方のチップ内の前記画像処理回路における処理時間に対応する時間分、前記参照画像を遅延させる第１の遅延回路（図１の遅延回路１０３または遅延回路１０７に対応）を有し、前記他方のチップは、前記一方のチップ内の前記画像処理回路および前記第１の減算回路における処理時間に対応する時間分、前記参照画像を遅延させる第２の遅延回路（図１の遅延回路１０４または遅延回路１０８に対応）を有することを特徴とする。 Also, in the image processing circuit of the present invention, the one chip is a first delay circuit that delays the reference image by a time corresponding to a processing time in the image processing circuit in the one chip (in FIG. 1). Delay circuit 103 or delay circuit 107), and the other chip receives the reference image for a time corresponding to the processing time in the image processing circuit and the first subtraction circuit in the one chip. A second delay circuit for delaying (corresponding to the delay circuit 104 or the delay circuit 108 in FIG. 1) is provided.

なお、本発明の構成要素と、後述する本発明の実施形態の構成要素とを対応付けている上記の記述によって本発明の内容が限定されるわけではない。 The contents of the present invention are not limited by the above description in which the constituent elements of the present invention are associated with the constituent elements of the embodiments of the present invention described later.

本発明によれば、２つのチップ間で差分画像が送受されるので、送受される画像のデータ量が削減される。また、第１の加算回路での加算結果は、一方のチップ内の画像処理回路で処理された本画像の処理結果と同等であるため、画質の劣化はない。したがって、画質を劣化させることなく、送受される画像のデータ量を削減することができる。 According to the present invention, since the difference image is transmitted / received between the two chips, the data amount of the transmitted / received image is reduced. Further, since the addition result in the first addition circuit is equivalent to the processing result of the main image processed in the image processing circuit in one chip, there is no deterioration in image quality. Therefore, it is possible to reduce the data amount of the transmitted / received image without degrading the image quality.

以下、図面を参照し、本発明の実施形態を説明する。図２は、本発明の一実施形態による画像処理装置を用いた撮像処理システムの構成を示している。本実施形態による撮像処理システムは、画像を取り込むための撮像装置２０１と、各種の処理を行うための画像処理装置２０２と、処理画像を表示するためのモニタ装置２０３とを含んで構成されている。画像処理装置２０２は、撮像装置２０１やモニタ装置２０３に特化した処理を行うサブチップ２０４と、汎用的な処理を行うメインチップ２０５とを含んで構成されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 2 shows the configuration of an imaging processing system using an image processing apparatus according to an embodiment of the present invention. The imaging processing system according to the present embodiment includes an imaging device 201 for capturing an image, an image processing device 202 for performing various processes, and a monitor device 203 for displaying a processed image. . The image processing apparatus 202 includes a sub chip 204 that performs processing specialized for the imaging apparatus 201 and the monitor apparatus 203 and a main chip 205 that performs general-purpose processing.

図３はサブチップ２０４とメインチップ２０５内の構成を示している。サブチップ２０４およびメインチップ２０５は共に、画像処理を実行する処理回路を複数備えており、本実施形態では、サブチップ２０４は処理回路Ａ３０１、処理回路Ｃ３０３、および処理回路Ｅ３０５を備え、メインチップ２０５は処理回路Ｂ３０２および処理回路Ｄ３０４を備えている。 FIG. 3 shows the configuration inside the sub chip 204 and the main chip 205. Both the subchip 204 and the main chip 205 include a plurality of processing circuits that execute image processing. In this embodiment, the subchip 204 includes a processing circuit A301, a processing circuit C303, and a processing circuit E305, and the main chip 205 performs processing. A circuit B302 and a processing circuit D304 are provided.

サブチップ２０４内の処理回路Ａ３０１は、撮像装置２０１から入力された撮像画像２０１Ａに対して、撮像装置２０１や撮像条件の特性に合わせたノイズリダクション等の処理を行う。処理回路Ａ３０１による処理結果はメインチップ２０５内の処理回路Ｂ３０２に入力される。処理回路Ｂ３０２はホワイトバランスの調整等の処理を行う。処理回路Ｂ３０２による処理結果はサブチップ２０４内の処理回路Ｃ３０３に入力される。処理回路Ｃ３０３はローパスフィルタ等の処理を行う。 The processing circuit A301 in the subchip 204 performs processing such as noise reduction according to the characteristics of the imaging device 201 and imaging conditions on the captured image 201A input from the imaging device 201. The processing result by the processing circuit A301 is input to the processing circuit B302 in the main chip 205. The processing circuit B302 performs processing such as white balance adjustment. The processing result by the processing circuit B302 is input to the processing circuit C303 in the sub chip 204. A processing circuit C303 performs processing such as a low-pass filter.

処理回路Ｃ３０３による処理結果はメインチップ２０５内の処理回路Ｄ３０４に入力される。処理回路Ｄ３０４は、画像を見やすくするための輪郭強調処理を行う。処理回路Ｄ３０４による処理結果はサブチップ２０４内の処理回路Ｅ３０５に入力される。処理回路Ｅ３０５は、操作者が指定した解像度に合わせるため、または撮像装置２０１の解像度とモニタ装置２０３の解像度が異なる場合に解像度を合わせるために画像の解像度を変換する拡大／縮小処理を行う。処理回路Ｅ３０５による処理結果は、モニタ画像２０３Ａとしてモニタ装置２０３に出力される。 The processing result by the processing circuit C303 is input to the processing circuit D304 in the main chip 205. The processing circuit D304 performs contour enhancement processing for making the image easy to see. The processing result by the processing circuit D304 is input to the processing circuit E305 in the sub chip 204. The processing circuit E305 performs enlargement / reduction processing for converting the resolution of the image in order to match the resolution specified by the operator, or to match the resolution when the resolution of the imaging device 201 and the resolution of the monitor device 203 are different. The processing result by the processing circuit E305 is output to the monitor device 203 as a monitor image 203A.

サブチップ２０４とメインチップ２０５の間の画像の送受は、インターフェース部３０６，３０７，３０８，３０９を介して行われる。インターフェース部３０６はサブチップ２０４内の出力インターフェース回路３１０およびメインチップ２０５内の入力インターフェース回路３１１を備えている。インターフェース部３０７はメインチップ２０５内の出力インターフェース回路３１２およびサブチップ２０４内の入力インターフェース回路３１３を備えている。インターフェース部３０８はサブチップ２０４内の出力インターフェース回路３１４およびメインチップ２０５内の入力インターフェース回路３１５を備えている。インターフェース部３０９はメインチップ２０５内の出力インターフェース回路３１６およびサブチップ２０４内の入力インターフェース回路３１７を備えている。 Image transmission / reception between the sub chip 204 and the main chip 205 is performed via the interface units 306, 307, 308, and 309. The interface unit 306 includes an output interface circuit 310 in the sub chip 204 and an input interface circuit 311 in the main chip 205. The interface unit 307 includes an output interface circuit 312 in the main chip 205 and an input interface circuit 313 in the sub chip 204. The interface unit 308 includes an output interface circuit 314 in the sub chip 204 and an input interface circuit 315 in the main chip 205. The interface unit 309 includes an output interface circuit 316 in the main chip 205 and an input interface circuit 317 in the sub chip 204.

次に、処理回路周辺のインターフェースの構成および動作を説明する。図１は処理回路Ａ３０１、処理回路Ｂ３０２、処理回路Ｃ３０３、および処理回路Ｄ３０４周辺のインターフェースの構成を示している。図１において、遅延回路１０３および減算回路１０１は図３の出力インターフェース回路３１２に対応している。遅延回路１０４および加算回路１０２は図３の入力インターフェース回路３１３に対応している。遅延回路１０７および減算回路１０５は図３の出力インターフェース回路３１４に対応している。遅延回路１０８および加算回路１０６は図３の入力インターフェース回路３１５に対応している。 Next, the configuration and operation of the interface around the processing circuit will be described. FIG. 1 shows the configuration of the interface around the processing circuit A301, processing circuit B302, processing circuit C303, and processing circuit D304. In FIG. 1, the delay circuit 103 and the subtraction circuit 101 correspond to the output interface circuit 312 in FIG. The delay circuit 104 and the adder circuit 102 correspond to the input interface circuit 313 in FIG. The delay circuit 107 and the subtraction circuit 105 correspond to the output interface circuit 314 in FIG. The delay circuit 108 and the adder circuit 106 correspond to the input interface circuit 315 in FIG.

まず、処理回路Ｂ３０２と処理回路Ｃ３０３周辺のインターフェースについて説明する。サブチップ２０４内の処理回路Ａ３０１による処理結果である処理Ａ結果画像３０１Ａは遅延回路１０４およびメインチップ２０５に出力される。この処理Ａ結果画像３０１Ａは、サブチップ２０４において、後段の演算に用いる参照画像として利用される。また、処理Ａ結果画像３０１Ａは、メインチップ２０５において、画像処理を施す本画像として、およびその本画像との演算に用いる参照画像として利用される。メインチップ２０５に出力された処理Ａ結果画像３０１Ａは、処理回路Ｂ３０２に入力されると共に、遅延回路１０３に入力される。 First, an interface around the processing circuit B302 and the processing circuit C303 will be described. A processing A result image 301A, which is a processing result by the processing circuit A301 in the subchip 204, is output to the delay circuit 104 and the main chip 205. The processing A result image 301A is used as a reference image used in the subsequent calculation in the subchip 204. Further, the processing A result image 301A is used as a main image to be subjected to image processing and a reference image used for calculation with the main image in the main chip 205. The processing A result image 301A output to the main chip 205 is input to the processing circuit B302 and also to the delay circuit 103.

処理回路Ｂ３０２は、処理Ａ結果画像３０１Ａ（本画像）の処理結果である処理Ｂ結果画像３０２Ａを出力する。遅延回路１０３は、処理回路Ｂ３０２が行う画像処理の処理時間に合わせて、シフトレジスタ等による遅延を処理Ａ結果画像３０１Ａ（参照画像）に挿入し、処理Ａ結果遅延画像１０３Ａとして出力する。これによって、図４に示すように、処理Ｂ結果画像３０２Ａと処理Ａ結果遅延画像１０３Ａのタイミングが合わされている。 The processing circuit B302 outputs a processing B result image 302A that is a processing result of the processing A result image 301A (main image). The delay circuit 103 inserts a delay due to a shift register or the like into the processing A result image 301A (reference image) in accordance with the processing time of the image processing performed by the processing circuit B302, and outputs the processing A result delay image 103A. Thereby, as shown in FIG. 4, the timings of the process B result image 302A and the process A result delay image 103A are matched.

減算回路１０１は、処理Ｂ結果画像３０２Ａと処理Ａ結果遅延画像１０３Ａの画素毎の減算を行う。すなわち、減算回路１０１は、処理回路Ｂ３０２による画像処理の前後の画像間で同一座標の画素の減算を行い、処理Ｂ結果差分画像１０１Ａとしてサブチップ２０４に出力する。本実施形態では、処理回路Ｂ３０２はホワイトバランス調整、すなわちＲＧＢの各色に対して所定のゲインをかけて調整を行う処理を行っているため、処理前後の画像の相関性は高い。すなわち、処理Ｂ結果差分画像１０１Ａを構成する差分値は小さいと考えられる。 The subtraction circuit 101 performs subtraction for each pixel of the process B result image 302A and the process A result delay image 103A. That is, the subtraction circuit 101 subtracts pixels having the same coordinates between the images before and after the image processing by the processing circuit B302, and outputs the result to the subchip 204 as a processing B result difference image 101A. In the present embodiment, the processing circuit B302 performs white balance adjustment, that is, processing for adjusting each of the RGB colors by applying a predetermined gain, so that the correlation between the images before and after the processing is high. That is, the difference value constituting the processing B result difference image 101A is considered to be small.

一方、サブチップ２０４内の遅延回路１０４は、処理回路Ｂ３０２および減算回路１０１における処理時間分、処理Ａ結果画像３０１Ａを遅延させ、処理Ａ結果遅延画像１０４Ａとして出力する。これによって、図４に示すように、処理Ｂ結果差分画像１０１Ａと処理Ａ結果遅延画像１０４Ａのタイミングが合わされている。 On the other hand, the delay circuit 104 in the subchip 204 delays the processing A result image 301A by the processing time in the processing circuit B302 and the subtraction circuit 101, and outputs it as a processing A result delay image 104A. Thereby, as shown in FIG. 4, the timings of the processing B result difference image 101A and the processing A result delay image 104A are matched.

減算回路１０１から出力された処理Ｂ結果差分画像１０１Ａおよび遅延回路１０４から出力された処理Ａ結果遅延画像１０４Ａは加算回路１０２に入力される。加算回路１０２は処理Ｂ結果差分画像１０１Ａと処理Ａ結果遅延画像１０４Ａを画素毎に加算する。減算回路１０１では処理Ｂ結果画像３０２Ａから、参照画像となる処理Ａ結果画像３０１Ａを遅延させた処理Ａ結果遅延画像１０３Ａが減算されて処理Ｂ結果差分画像１０１Ａが算出され、加算回路１０２ではその処理Ｂ結果差分画像１０１Ａに対して、処理Ａ結果画像３０１Ａを遅延させた処理Ａ結果遅延画像１０４Ａを加算しているため、加算回路１０２の出力は、処理回路Ｂ３０２による処理結果である処理Ｂ結果画像３０２Ａと同等になる。加算回路１０２の出力である処理Ｂ結果復元画像１０２Ａは、後段の回路において、画像処理を施す本画像として、およびその本画像との演算に用いる参照画像として利用される。 The processing B result difference image 101 A output from the subtraction circuit 101 and the processing A result delay image 104 A output from the delay circuit 104 are input to the addition circuit 102. The addition circuit 102 adds the processing B result difference image 101A and the processing A result delay image 104A for each pixel. The subtraction circuit 101 subtracts the processing A result delay image 103A obtained by delaying the processing A result image 301A serving as the reference image from the processing B result image 302A to calculate the processing B result difference image 101A. Since the process A result delay image 104A obtained by delaying the process A result image 301A is added to the B result difference image 101A, the output of the adder circuit 102 is the process B result image that is the process result of the process circuit B302. Equivalent to 302A. The processing B result restored image 102A, which is the output of the adder circuit 102, is used as a main image on which image processing is performed and a reference image used for calculation with the main image in a subsequent circuit.

次に、処理回路Ｃ３０３と処理回路Ｄ３０４周辺のインターフェースについて説明する。処理Ｂ結果復元画像１０２Ａは、処理回路Ｃ３０３に入力されると共に遅延回路１０７に入力される。処理回路Ｃ３０３は、処理Ｂ結果復元画像１０２Ａ（本画像）の処理結果である処理Ｃ結果画像３０３Ａを出力する。遅延回路１０７は遅延回路１０３と同様に、処理回路Ｃ３０３が行う画像処理の処理時間に合わせた遅延を処理Ｂ結果復元画像１０２Ａ（参照画像）に挿入し、遅延回路１０７の出力である処理Ｂ結果復元遅延画像１０７Ａと処理Ｃ結果画像３０３Ａのタイミングを合わせる。 Next, the interface around the processing circuit C303 and the processing circuit D304 will be described. The processing B result restored image 102A is input to the processing circuit C303 and to the delay circuit 107. The processing circuit C303 outputs a processing C result image 303A that is a processing result of the processing B result restoration image 102A (main image). Similarly to the delay circuit 103, the delay circuit 107 inserts a delay according to the processing time of the image processing performed by the processing circuit C303 into the processing B result restored image 102A (reference image), and the processing B result that is the output of the delay circuit 107 The timings of the restoration delay image 107A and the processing C result image 303A are matched.

減算回路１０５は減算回路１０１と同様に、処理Ｂ結果復元遅延画像１０７Ａと処理Ｃ結果画像３０３Ａの画素毎の減算、すなわち処理回路Ｃ３０３による画像処理の前後の画像間で同一座標の画素の減算を行う。処理回路Ｃ３０３は本実施形態ではローパスフィルタであり、処理前後での画像の相関性は高く、差分値は小さいと考えられる。 Similarly to the subtraction circuit 101, the subtraction circuit 105 performs subtraction for each pixel of the processing B result restoration delayed image 107A and the processing C result image 303A, that is, subtraction of pixels having the same coordinates between the images before and after the image processing by the processing circuit C303. Do. In the present embodiment, the processing circuit C303 is a low-pass filter, and it is considered that the correlation between images before and after the processing is high and the difference value is small.

一方、メインチップ２０５内の処理回路Ｂ３０２から出力された処理Ｂ結果画像３０２Ａは、参照画像として遅延回路１０８にも入力される。遅延回路１０８は、遅延回路１０４と同様に、減算回路１０５の出力である処理Ｃ結果差分画像１０５Ａとタイミングを合わせるため処理Ｂ結果画像３０２Ａを遅延させ、処理Ｂ結果遅延画像１０８Ａとして出力する。 On the other hand, the processing B result image 302A output from the processing circuit B302 in the main chip 205 is also input to the delay circuit 108 as a reference image. Similarly to the delay circuit 104, the delay circuit 108 delays the process B result image 302A to match the timing with the process C result difference image 105A that is the output of the subtraction circuit 105, and outputs the result as the process B result delay image 108A.

減算回路１０５から出力された処理Ｃ結果差分画像１０５Ａおよび遅延回路１０８から出力された処理Ｂ結果遅延画像１０８Ａは加算回路１０６に入力される。加算回路１０６は、処理Ｃ結果差分画像１０５Ａと処理Ｂ結果遅延画像１０８Ａを画素毎に加算する。以上により、加算回路１０６の出力である処理Ｃ結果復元画像１０６Ａは、処理Ｃ結果画像３０３Ａと同等になる。処理Ｃ結果復元画像１０６Ａは、後段の回路において、画像処理を施す本画像として、およびその本画像との演算に用いる参照画像として利用される。 The processing C result difference image 105A output from the subtraction circuit 105 and the processing B result delay image 108A output from the delay circuit 108 are input to the addition circuit 106. The addition circuit 106 adds the process C result difference image 105A and the process B result delay image 108A for each pixel. As described above, the process C result restored image 106A that is the output of the adder circuit 106 is equivalent to the process C result image 303A. The processing C result restoration image 106A is used as a main image to be subjected to image processing and a reference image used for calculation with the main image in a subsequent circuit.

次に、処理回路Ｄ３０４と処理回路Ｅ３０５周辺のインターフェースについて説明する。図５は処理回路Ｄ３０４および処理回路Ｅ３０５周辺のインターフェースの構成を示している。図５において、簡易変換回路５０１および減算回路５０３は図３の出力インターフェース回路３１６に対応している。簡易変換回路５０２および加算回路５０４は図３の入力インターフェース回路３１７に対応している。 Next, an interface around the processing circuit D304 and the processing circuit E305 will be described. FIG. 5 shows the configuration of interfaces around the processing circuit D304 and the processing circuit E305. In FIG. 5, a simple conversion circuit 501 and a subtraction circuit 503 correspond to the output interface circuit 316 in FIG. The simple conversion circuit 502 and the addition circuit 504 correspond to the input interface circuit 317 in FIG.

前述したように本実施形態の処理回路Ｄ３０４は、解像度変換すなわち拡大縮小処理を行う回路である。この回路による処理前後の画像では、拡大／縮小処理により、画素数および位置が変わってしまい、画像間に相関性がなくなるため、前述した構成のインターフェースでは、差分値が逆に大きくなってしまうことが考えられる。そこで、本実施形態では差分値が小さくなるような以下の構成を採用している。 As described above, the processing circuit D304 of this embodiment is a circuit that performs resolution conversion, that is, enlargement / reduction processing. In the image before and after the processing by this circuit, the number of pixels and the position are changed by the enlargement / reduction processing, and the correlation between the images is lost. Therefore, in the interface having the above-described configuration, the difference value becomes large on the contrary. Can be considered. Therefore, in the present embodiment, the following configuration is adopted so that the difference value becomes small.

図１に示した加算回路１０６から出力された処理Ｃ結果復元画像１０６Ａは処理回路Ｄ３０４および簡易変換回路５０１に入力される。処理回路Ｄ３０４は、処理Ｃ結果復元画像１０６Ａ（本画像）の処理結果である処理Ｄ結果画像３０４Ａを出力する。簡易変換回路５０１は、処理Ｃ結果復元画像１０６Ａ（参照画像）に対して、処理回路Ｄ３０４による解像度変換の結果の近似値を得るための処理を簡易的に行い、処理結果である処理Ｄ簡易変換画像５０１Ａを出力する。 The processing C result restoration image 106A output from the addition circuit 106 illustrated in FIG. 1 is input to the processing circuit D304 and the simple conversion circuit 501. The processing circuit D304 outputs a processing D result image 304A that is a processing result of the processing C result restoration image 106A (main image). The simple conversion circuit 501 simply performs a process for obtaining an approximate value of the resolution conversion result by the processing circuit D304 on the process C result restored image 106A (reference image), and process D simple conversion as a process result. The image 501A is output.

処理Ｄ結果画像３０４Ａおよび処理Ｄ簡易変換画像５０１Ａは減算回路５０３に入力される。減算回路５０３は、処理Ｄ結果画像３０４Ａと処理Ｄ簡易変換画像５０１Ａの画素毎の減算を行い、処理Ｄ結果差分画像５０３Ａとしてサブチップ２０４に出力する。 The processing D result image 304A and the processing D simple conversion image 501A are input to the subtraction circuit 503. The subtraction circuit 503 performs subtraction for each pixel of the process D result image 304A and the process D simple conversion image 501A, and outputs the result to the subchip 204 as a process D result difference image 503A.

一方、サブチップ２０４内の簡易変換回路５０２も、簡易変換回路５０１が行う簡易変換と同じ簡易変換を、処理回路Ｃ３０３による処理結果である処理Ｃ結果画像３０３Ａ（参照画像）に対して行い、処理Ｄ簡易変換画像５０１Ａと同等の簡易変換結果である処理Ｄ簡易変換画像５０２Ａを出力する。減算回路５０３から出力された処理Ｄ結果差分画像５０３Ａおよび簡易変換回路５０２から出力された処理Ｄ簡易変換画像５０２Ａは加算回路５０４に入力される。 On the other hand, the simple conversion circuit 502 in the subchip 204 also performs the same simple conversion as the simple conversion performed by the simple conversion circuit 501 on the process C result image 303A (reference image) that is the processing result by the processing circuit C303, and performs the process D. A process D simple conversion image 502A, which is a simple conversion result equivalent to the simple conversion image 501A, is output. The processing D result difference image 503A output from the subtraction circuit 503 and the processing D simple conversion image 502A output from the simple conversion circuit 502 are input to the addition circuit 504.

加算回路５０４は、処理Ｄ結果差分画像５０３Ａと処理Ｄ簡易変換画像５０２Ａの画素毎の加算を行い、処理回路Ｄ３０４による処理結果と同等の処理Ｄ結果復元画像５０４Ａを処理回路Ｅ３０５に出力する。なお、図５に示したインターフェースでも、タイミングを合わせるための遅延回路は必要となるが、図中では省略している。 The addition circuit 504 performs addition for each pixel of the processing D result difference image 503A and the processing D simple conversion image 502A, and outputs a processing D result restoration image 504A equivalent to the processing result by the processing circuit D304 to the processing circuit E305. Note that the interface shown in FIG. 5 also requires a delay circuit for matching the timing, but is omitted in the figure.

上述した拡大縮小の簡易処理の例を、図６を参照しながら説明する。図６（ａ）は変換前の画素を１次元方向のみについて示している。ここでは、３つの画素Ａ，Ｂ，Ｃが図示されている。図６（ｂ）は、線形補間により、画素数が３倍となる拡大処理を行った後の画素を示している。このように、元の画素Ａ，Ｂ，Ｃの間に、周辺画素から補間演算を行うことにより新規画素を追加している。 An example of the simple scaling process described above will be described with reference to FIG. FIG. 6A shows the pixel before conversion only in the one-dimensional direction. Here, three pixels A, B, and C are shown. FIG. 6B shows a pixel after performing an enlargement process in which the number of pixels is tripled by linear interpolation. In this way, a new pixel is added between the original pixels A, B, and C by performing an interpolation calculation from surrounding pixels.

図６（ｃ）は簡易処理結果の例を示している。この簡易処理では、単純に画素数が３倍になるように、周辺画素をコピーすることにより新規画素を追加している。すなわち、演算をすることなしに画素数を合わせることを行う。なお、本実施形態では拡大／縮小回路についてのみ説明したが、特殊なフィルターやトーンカーブ変換など、処理前後で相関性が低くなる処理に関しては、同様に簡易変換を施した結果を参照画像にすることで相関性を上げることが可能となる。 FIG. 6C shows an example of a simple processing result. In this simple process, new pixels are added by copying peripheral pixels so that the number of pixels is simply tripled. That is, the number of pixels is adjusted without performing calculation. Although only the enlargement / reduction circuit has been described in the present embodiment, the result of simple conversion is similarly used as a reference image for processing in which the correlation is low before and after processing, such as a special filter or tone curve conversion. This makes it possible to increase the correlation.

次に、本実施形態の変形例を説明する。図７は処理回路Ａ３０１および処理回路Ｂ３０２周辺のインターフェースの構成を示している。図７において、圧縮回路７０１、伸張回路７０２、および減算回路７０４は図３の出力インターフェース回路３１０に対応している。伸張回路７０３および加算回路７０５は図３の入力インターフェース回路３１１に対応している。 Next, a modification of this embodiment will be described. FIG. 7 shows a configuration of an interface around the processing circuit A301 and the processing circuit B302. In FIG. 7, a compression circuit 701, an expansion circuit 702, and a subtraction circuit 704 correspond to the output interface circuit 310 in FIG. The expansion circuit 703 and the addition circuit 705 correspond to the input interface circuit 311 in FIG.

サブチップ２０４内の圧縮回路７０１は、処理回路Ａ３０１による処理結果である処理Ａ結果画像３０１Ａに対してＪＰＥＧ等の非可逆圧縮を行う。圧縮回路７０１による処理結果である圧縮画像７０１Ａは、サブチップ２０４において、後段の演算に用いる参照画像として利用される。また、圧縮画像７０１Ａは、メインチップ２０５において、画像処理を施す本画像として、およびその本画像との演算に用いる参照画像として利用される。 The compression circuit 701 in the subchip 204 performs lossy compression such as JPEG on the processing A result image 301A that is the processing result of the processing circuit A301. A compressed image 701 </ b> A that is a result of processing by the compression circuit 701 is used as a reference image used for subsequent calculations in the subchip 204. Further, the compressed image 701A is used in the main chip 205 as a main image subjected to image processing and as a reference image used for calculation with the main image.

サブチップ２０４において、圧縮画像７０１Ａは伸張回路７０２に入力される。伸張回路７０２は圧縮画像７０１Ａを伸張し、伸張参照画像７０２Ａとして出力する。処理回路Ａ３０１から出力された処理Ａ結果画像３０１Ａおよび伸張回路７０２から出力された伸張参照画像７０２Ａは減算回路７０４に入力される。減算回路７０４は、処理Ａ結果画像３０１Ａから伸張参照画像７０２Ａを画素毎に減算し、処理Ａ結果差分画像７０４Ａとしてメインチップ２０５に出力する。 In the subchip 204, the compressed image 701A is input to the decompression circuit 702. The decompression circuit 702 decompresses the compressed image 701A and outputs the decompressed reference image 702A. The processing A result image 301A output from the processing circuit A301 and the expanded reference image 702A output from the expansion circuit 702 are input to the subtraction circuit 704. The subtraction circuit 704 subtracts the expanded reference image 702A for each pixel from the process A result image 301A, and outputs the result to the main chip 205 as the process A result difference image 704A.

一方、メインチップ２０５において、圧縮画像７０１Ａは伸張回路７０３に入力される。伸張回路７０３は、圧縮画像７０１Ａを伸張し、伸張参照画像７０２Ａと同等の伸張参照画像７０３Ａを出力する。減算回路７０４から出力された処理Ａ結果差分画像７０４Ａおよび伸張回路７０３から出力された伸張参照画像７０３Ａは加算回路７０５に入力される。加算回路７０５は、処理Ａ結果差分画像７０４Ａと伸張参照画像７０３Ａを加算し、処理回路Ａ３０１による処理結果である処理Ａ結果画像３０１Ａと同等の処理Ａ結果復元画像７０５Ａを出力する。なお、図７に示したインターフェースでも、タイミングを合わせるための遅延回路は必要となるが、図中では省略している。 On the other hand, in the main chip 205, the compressed image 701A is input to the decompression circuit 703. The expansion circuit 703 expands the compressed image 701A and outputs an expanded reference image 703A equivalent to the expanded reference image 702A. The processing A result difference image 704A output from the subtraction circuit 704 and the expanded reference image 703A output from the expansion circuit 703 are input to the addition circuit 705. The adder circuit 705 adds the process A result difference image 704A and the expanded reference image 703A, and outputs a process A result restored image 705A equivalent to the process A result image 301A that is the process result of the process circuit A301. Note that the interface shown in FIG. 7 also requires a delay circuit for matching timing, but is omitted in the figure.

上述したように、本実施形態によれば、サブチップ２０４とメインチップ２０５間で差分画像（図１の処理Ｂ結果差分画像１０１Ａ、処理Ｃ結果差分画像１０５Ａ、図５の処理Ｄ結果差分画像５０３Ａ）が送受されるので、送受される画像のデータ量が削減される。特に、処理回路による画像処理の前後で画像の相関性が高い場合には、画像の差分が小さくなるので、画像のデータ量を効果的に削減することができる。 As described above, according to the present embodiment, a difference image between the sub chip 204 and the main chip 205 (process B result difference image 101A in FIG. 1, process C result difference image 105A, process D result difference image 503A in FIG. 5). Is transmitted / received, the data amount of the transmitted / received image is reduced. In particular, when the correlation between the images before and after the image processing by the processing circuit is high, the difference between the images becomes small, so that the amount of image data can be effectively reduced.

また、一方のチップ内の加算回路（図１の加算回路１０２，１０６、図５の加算回路５０４）での加算結果（図１の処理Ｂ結果復元画像１０２Ａ、処理Ｃ結果復元画像１０６Ａ、図５の処理Ｄ結果復元画像５０４Ａ）は、他方のチップ内の処理回路で処理された本画像の処理結果（図１の処理Ｂ結果画像３０２Ａ、処理Ｃ結果画像３０３Ａ、図５の処理Ｄ結果画像３０４Ａ）と同等であるため、画質の劣化はない。したがって、画質を劣化させることなく、送受される画像のデータ量を削減することができる。 Further, the addition results (processing B result restoration image 102A, processing C result restoration image 106A in FIG. 1, processing C result restoration image 106A, FIG. 5) in the addition circuit (addition circuits 102 and 106 in FIG. 1, addition circuit 504 in FIG. 5) in one chip. Process D result restored image 504A) is obtained by processing the main image processed by the processing circuit in the other chip (process B result image 302A, process C result image 303A in FIG. 1, and process D result image 304A in FIG. 5). ), The image quality is not deteriorated. Therefore, it is possible to reduce the data amount of the transmitted / received image without degrading the image quality.

また、図１の遅延回路１０３，１０４，１０７，１０８を設けることによって、後段の減算回路または加算回路における２つの画像の画素毎のタイミングを一致させ、同一座標の画素間で減算または加算を行うことが可能となる。特に、同一座標の画素間で減算を行うと、減算対象の画素間の相関性が高くなるので、画像のデータ量を効果的に削減することができる。 In addition, by providing the delay circuits 103, 104, 107, and 108 of FIG. 1, the timing of each pixel of two images in the subsequent subtraction circuit or addition circuit is made to match, and subtraction or addition is performed between pixels having the same coordinates. It becomes possible. In particular, when subtraction is performed between pixels having the same coordinates, the correlation between pixels to be subtracted increases, so that the amount of image data can be effectively reduced.

また、処理回路による画像処理の前後の画像の相関性が低い場合に、図５の簡易変換回路５０１，５０２を設けることによって、減算回路５０３に入力される処理Ｄ結果画像３０４Ａと処理Ｄ簡易変換画像５０１Ａ間の相関性が高くなるので、画像のデータ量を効果的に削減することができる。 Further, when the correlation between the images before and after the image processing by the processing circuit is low, the processing D result image 304A input to the subtraction circuit 503 and the processing D simple conversion are provided by providing the simple conversion circuits 501 and 502 in FIG. Since the correlation between the images 501A is increased, the data amount of the images can be effectively reduced.

また、図７の圧縮回路７０１を設け、サブチップ２０４からメインチップ２０５に圧縮画像７０１Ａを出力することによって、サブチップ２０４とメインチップ２０５間で送受される画像のデータ量を削減することができる。 Further, by providing the compression circuit 701 in FIG. 7 and outputting the compressed image 701A from the subchip 204 to the main chip 205, the data amount of images transmitted and received between the subchip 204 and the main chip 205 can be reduced.

圧縮回路７０１が非可逆圧縮を行う場合には、圧縮画像７０１Ａを伸張した結果の画像は圧縮前の処理Ａ結果画像３０１Ａと同等にはならない。しかし、減算回路７０４および加算回路７０５を設け、サブチップ２０４からメインチップ２０５に処理Ａ結果差分画像７０４Ａを出力し、圧縮画像７０１Ａを伸張した伸張参照画像７０３Ａと処理Ａ結果差分画像７０４Ａを加算することにより、メインチップ２０５において処理Ａ結果画像３０１Ａと同等の処理Ａ結果復元画像７０５Ａを得ることが可能となる。この場合、サブチップ２０４からメインチップ２０５には、圧縮画像７０１Ａと処理Ａ結果差分画像７０４Ａが出力されるが、サブチップ２０４とメインチップ２０５間で１回に送受される画像のデータ量は、図１のようにサブチップ２０４とメインチップ２０５間で処理Ａ結果画像３０１Ａを送受する場合よりも削減される。 When the compression circuit 701 performs lossy compression, the image obtained as a result of decompressing the compressed image 701A is not equivalent to the process A result image 301A before compression. However, a subtracting circuit 704 and an adding circuit 705 are provided to output the processing A result difference image 704A from the sub chip 204 to the main chip 205, and add the expanded reference image 703A obtained by expanding the compressed image 701A and the processing A result difference image 704A. Accordingly, it is possible to obtain the process A result restored image 705A equivalent to the process A result image 301A in the main chip 205. In this case, the compressed image 701A and the processing A result difference image 704A are output from the subchip 204 to the main chip 205. The data amount of the image transmitted and received at one time between the subchip 204 and the main chip 205 is as shown in FIG. As described above, the processing A result image 301A is transmitted and received between the sub chip 204 and the main chip 205.

本発明の一実施形態による画像処理装置が備える処理回路周辺のインターフェースの構成を示すブロック図である。1 is a block diagram illustrating a configuration of an interface around a processing circuit included in an image processing apparatus according to an embodiment of the present invention. 本発明の一実施形態による画像処理装置を用いた撮像処理システムの構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging processing system using an image processing apparatus according to an embodiment of the present invention. 本発明の一実施形態による画像処理装置が備えるサブチップおよびメインチップの構成を示すブロック図である。It is a block diagram which shows the structure of the subchip with which the image processing apparatus by one Embodiment of this invention is provided, and a main chip. 本発明の一実施形態による画像処理装置が備える処理回路周辺のインターフェースの動作タイミングを示すタイミングチャートである。5 is a timing chart showing operation timings of interfaces around a processing circuit included in the image processing apparatus according to the embodiment of the present invention. 本発明の一実施形態による画像処理装置が備える処理回路周辺のインターフェースの構成を示すブロック図である。1 is a block diagram illustrating a configuration of an interface around a processing circuit included in an image processing apparatus according to an embodiment of the present invention. 本発明の一実施形態における簡易処理を説明するための説明図である。It is explanatory drawing for demonstrating the simple process in one Embodiment of this invention. 本発明の一実施形態による画像処理装置が備える処理回路周辺のインターフェースの構成を示すブロック図である。1 is a block diagram illustrating a configuration of an interface around a processing circuit included in an image processing apparatus according to an embodiment of the present invention.

Explanation of symbols

１０１，１０５，５０３，７０４・・・減算回路、１０２，１０６，５０４，７０５・・・加算回路、１０３，１０４，１０７，１０８・・・遅延回路、２０１・・・撮像装置、２０２・・・画像処理装置、２０３・・・モニタ装置、２０４・・・サブチップ、２０５・・・メインチップ、３０１・・・処理回路Ａ、３０２・・・処理回路Ｂ、３０３・・・処理回路Ｃ、３０４・・・処理回路Ｄ、３０５・・・処理回路Ｅ、５０１，５０２・・・簡易変換回路、７０１・・・圧縮回路、７０２，７０３・・・伸張回路 101, 105, 503, 704 ... subtraction circuit, 102, 106, 504, 705 ... addition circuit, 103, 104, 107, 108 ... delay circuit, 201 ... imaging device, 202 ... Image processing device 203 ... Monitor device 204 ... Sub chip 205 ... Main chip 301 ... Processing circuit A 302 ... Processing circuit B 303 ... Processing circuit C 304 ... ..Processing circuit D, 305... Processing circuit E, 501 and 502... Simple conversion circuit, 701... Compression circuit, 702 and 703.

Claims

A first chip having a plurality of image processing circuits;
A second chip having a plurality of image processing circuits different from the first chip,
One of the first chip and the second chip is input to the one chip from the other chip and processed by the image processing circuit in the one chip. A first subtraction circuit that performs subtraction on a reference image corresponding to the main image input from the other chip to the one chip and outputs a difference image as a subtraction result to the other chip. Have
The other chip has a first addition circuit that adds the difference image output from the first subtraction circuit and the reference image and outputs the result to the image processing circuit in the other chip. A featured image processing apparatus.

The other chip has a compression circuit that compresses the reference image input from the other chip to the one chip;
The one chip has a first decompression circuit that decompresses the reference image compressed by the compression circuit and reproduces the reference image processed in the one chip and the main image. The image processing apparatus according to claim 1.

The other chip includes a second decompression circuit that decompresses the reference image compressed by the compression circuit, the reference image before compression by the compression circuit, and the reference after decompression by the second decompression circuit. A second subtraction circuit that performs subtraction with an image and outputs a difference image as a subtraction result to the one chip;
The one chip adds the difference image output from the second subtraction circuit and the reference image output from the first decompression circuit to add to the image processing circuit in the one chip. The image processing apparatus according to claim 2, further comprising a second adder circuit that outputs.

The other chip performs subtraction between the image of the addition result output from the first addition circuit and the image of the addition result processed by the image processing circuit in the other chip, A second subtracting circuit for outputting a difference image as a subtraction result to the one chip;
The one chip is configured to add a second addition that adds an image of a processing result of the main image processed by the image processing circuit in the one chip and the difference image output from the second subtraction circuit. The image processing apparatus according to claim 1, further comprising a circuit.

The one chip includes a first reference image processing circuit that performs predetermined image processing on the reference image and outputs the processed image to the first subtraction circuit.
The other chip includes a second reference image processing circuit that performs image processing corresponding to the first reference image processing circuit on the reference image and outputs the processed image to the first addition circuit. The image processing apparatus according to claim 1.

The one chip has a first delay circuit that delays the reference image by a time corresponding to a processing time in the image processing circuit in the one chip,
The other chip includes a second delay circuit that delays the reference image by a time corresponding to a processing time in the image processing circuit and the first subtraction circuit in the one chip. The image processing apparatus according to claim 1.