JP2018085691A

JP2018085691A - Image processing device and method of controlling the same, program, and storage medium

Info

Publication number: JP2018085691A
Application number: JP2016229185A
Authority: JP
Inventors: 稔坂井田; Minoru Sakaida
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-25
Filing date: 2016-11-25
Publication date: 2018-05-31

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device capable of improving detection accuracy of motion vectors in a case where an image signal is processed in parallel by a plurality of image processing means.SOLUTION: First image processing means of an imaging device 100 comprises: a division unit that divides frame images into a plurality of subregions, respectively; a reduction unit that reduces each frame image to obtain a reduced image; and a first vector detector that detects a first motion vector by using at least one of a signal in a first subregion of the plurality of subregions, and a signal of the reduced image. Second image processing means has a second vector detector that detects a second motion vector by using at least one of a signal in a second subregion of the plurality of subregions, and a signal of the reduced image, which are transmitted from the first image processing means. The first image processing means or the second image processing means comprises a controller that makes the image processing device output at least one of the first motion vector and the second motion vector.SELECTED DRAWING: Figure 1

Description

本発明は、複数のフレーム画像間で動きベクトルを検出する画像処理装置に関するものである。 The present invention relates to an image processing apparatus that detects a motion vector between a plurality of frame images.

近年、デジタルカメラなどの撮像装置においては、撮像素子の多画素化や動画像の高フレームレート化などに伴い、画像処理プロセッサで処理するデータ量が増大している。処理するデータ量が増大すると、１つの画像処理プロセッサで処理することが出来なくなるため、複数の画像処理プロセッサを搭載し、複数の画像処理プロセッサで処理を分担するという方法が提案されている。 In recent years, in an imaging apparatus such as a digital camera, the amount of data processed by an image processor has increased with the increase in the number of pixels of an image sensor and the increase in the frame rate of a moving image. When the amount of data to be processed increases, it becomes impossible to perform processing by one image processing processor. Therefore, a method of mounting a plurality of image processing processors and sharing the processing by a plurality of image processing processors has been proposed.

複数の画像処理プロセッサで処理を分担する例として、特許文献１には、複数の画像処理プロセッサを直列に接続し、画像の領域を分割し、各々の画像処理プロセッサで分担して処理することが開示されている。 As an example of sharing processing by a plurality of image processing processors, Patent Document 1 discloses that a plurality of image processing processors are connected in series, an image area is divided, and each image processing processor shares the processing. It is disclosed.

特許第４８４３７４４号公報Japanese Patent No. 4844744

特許文献１に記載された技術においては、上述したように画像の領域を分割し、各々の画像処理プロセッサで分担して処理している。そのため、ベクトル検出処理などの画像信号から評価値を取得する処理においては、分割境界の評価値を取得するために画像信号をオーバーラップさせて分割読みをする必要があり、各画像処理プロセッサの処理負荷を大きくしてしまうという課題がある。 In the technique described in Patent Document 1, as described above, an image area is divided and processed by each image processor. Therefore, in the process of acquiring the evaluation value from the image signal such as the vector detection process, it is necessary to perform the divided reading by overlapping the image signal in order to acquire the evaluation value of the division boundary. There is a problem of increasing the load.

そこで、これを解決する１つの方法として、画像信号を分割せずに、１つの画像処理プロセッサで処理が出来る画像サイズまで画像を縮小処理して評価値取得用の画像信号を生成し、評価値処理を１つの画像処理プロセッサで一括処理することが考えられる。 Therefore, as one method for solving this problem, an image signal for evaluation value acquisition is generated by reducing the image to an image size that can be processed by one image processor without dividing the image signal. It is conceivable that the processing is performed collectively by one image processor.

しかし、画像信号を縮小処理することで、縮小前の画像信号が有するテクスチャ情報が消失することや、縮小処理の折り返りの影響を受けることによって、ベクトル検出処理においては、取得されるベクトルの検出精度が低下してしまう課題が生じる。 However, when the image signal is reduced, the texture information of the image signal before the reduction is lost, or the reduction of the reduction process is affected. The problem that accuracy will fall arises.

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像信号を複数の画像処理手段で並列処理する場合に、動きベクトルの検出精度を向上させることができる画像処理装置を提供することである。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image processing apparatus capable of improving motion vector detection accuracy when image signals are processed in parallel by a plurality of image processing means. It is to be.

本発明に係わる画像処理装置は、動画像中のフレーム画像に対する画像処理を並列して行う複数の画像処理手段を備える画像処理装置であって、前記複数の画像処理手段のうちの第１の画像処理手段は、前記フレーム画像をそれぞれ複数の部分領域に分割する分割手段と、前記フレーム画像を縮小して縮小画像を得る縮小手段と、前記複数の部分領域のうちの第１の部分領域の信号と前記縮小画像の信号の少なくとも一方を用いて第１の動きベクトルを検出する第１のベクトル検出手段とを有し、前記複数の画像処理手段のうちの第２の画像処理手段は、前記第１の画像処理手段から送られた、前記複数の部分領域のうちの第２の部分領域の信号と前記縮小画像の信号の少なくとも一方を用いて第２の動きベクトルを検出する第２のベクトル検出手段とを有し、前記第１の画像処理手段または前記第２の画像処理手段は、前記第１の動きベクトルおよび前記第２の動きベクトルの少なくとも一方を前記画像処理装置から出力させる制御手段を備えることを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus including a plurality of image processing units that perform image processing on a frame image in a moving image in parallel, and the first image of the plurality of image processing units. The processing means includes a dividing means for dividing the frame image into a plurality of partial areas, a reducing means for reducing the frame image to obtain a reduced image, and a signal of a first partial area of the plurality of partial areas. And a first vector detecting means for detecting a first motion vector using at least one of the signals of the reduced image, and a second image processing means of the plurality of image processing means includes the first image processing means. A second vector for detecting a second motion vector using at least one of the signal of the second partial region of the plurality of partial regions and the signal of the reduced image, sent from one image processing means; Output means, and the first image processing means or the second image processing means outputs at least one of the first motion vector and the second motion vector from the image processing apparatus. It is characterized by providing.

本発明によれば、画像信号を複数の画像処理手段で並列処理する場合に、動きベクトルの検出精度を向上させることができる画像処理装置を提供することが可能となる。 According to the present invention, it is possible to provide an image processing apparatus capable of improving motion vector detection accuracy when an image signal is processed in parallel by a plurality of image processing means.

本発明の画像処理装置の第１の実施形態である撮像装置の構成を示すブロック図。1 is a block diagram showing a configuration of an imaging apparatus that is a first embodiment of an image processing apparatus of the present invention. ベクトル検出部の枠配置の例を示す図。The figure which shows the example of the frame arrangement | positioning of a vector detection part. 等倍画像信号、縮小画像信号、分割等倍画像信号の画像サイズ例を示す図。The figure which shows the image size example of a 1x image signal, a reduction image signal, and a division | segmentation 1x image signal. グローバルモーション算出用のヒストグラムの例を示す図。The figure which shows the example of the histogram for global motion calculation. 第１の実施形態における画像処理の流れを示す図。FIG. 5 is a diagram showing a flow of image processing in the first embodiment. 第２の実施形態の撮像装置の構成を示す図。The figure which shows the structure of the imaging device of 2nd Embodiment. 画像解析部の構成を示す図。The figure which shows the structure of an image analysis part. 画像解析部が算出するグリッドの位置を示す図。The figure which shows the position of the grid which an image analysis part calculates. 画像解析部の判定例を示す図。The figure which shows the example of a determination of an image analysis part. 第３の実施形態における画像処理の流れを示す図。The figure which shows the flow of the image processing in 3rd Embodiment.

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

＜第１の実施形態＞
図１は、本発明の画像処理装置の第１の実施形態である撮像装置１００の構成を示すブロック図である。撮像装置１００は、画像信号を並列に処理する２つの画像処理装置を有する。この２つの画像処理装置１，２は、本実施形態では同一の構成の画像処理装置であり、一方の画像処理装置１をMASTER、もう一方の画像処理装置２をSLAVEと呼ぶ。図１では、説明に必要となるブロックのみを記載しているために、画像処理装置１と画像処理装置２が異なって示されているが、実際には同じ構成である。図１では、番号の後に「−１」が記載されているものがMASTER側の画像処理装置１の機能ブロックであり、番号の後に「−２」が記載されているものがSLAVE側の画像処理装置２の機能ブロックである。なお、MASTER側とSLAVE側の画像処理装置１，２は、例えば一部の未使用機能を省いた、異なる構成の画像処理装置でもよい。 <First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 100 that is the first embodiment of the image processing apparatus of the present invention. The imaging device 100 includes two image processing devices that process image signals in parallel. The two image processing apparatuses 1 and 2 are image processing apparatuses having the same configuration in this embodiment, and one image processing apparatus 1 is called MASTER and the other image processing apparatus 2 is called SLAVE. In FIG. 1, only the blocks necessary for the description are shown, and therefore the image processing apparatus 1 and the image processing apparatus 2 are shown differently. In FIG. 1, “-1” written after the number is a functional block of the image processing apparatus 1 on the MASTER side, and “−2” written after the number is the image processing on the SLAVE side. 3 is a functional block of the device 2. The image processing apparatuses 1 and 2 on the MASTER side and the SLAVE side may be image processing apparatuses having different configurations from which some unused functions are omitted, for example.

撮像装置１００は、撮像光学系１１０、撮像素子１０１、撮像光学系駆動部１１１、撮像素子駆動部１１２、MASTER側とSLAVE側の２つの画像処理装置１，２を備える。２つの画像処理装置１，２において、画像分割部１０２は被写体像を撮像する撮像素子１０１から出力される画像信号を上半分の部分領域と下半分の部分領域に分割する。第１の記憶部１０３は画像分割部１０２から出力される画像信号を記憶する。カメラ信号処理部１０４は第１の記憶部１０３から読み出された信号を処理する。画像縮小部１０５は撮像素子１０１から出力される画像信号を縮小する。第２の記憶部１０６は画像縮小部１０５から出力される縮小画像信号を記憶する。ベクトル検出部１０７は第２の記憶部から読み出された動画像中の連続するフレーム画像の縮小画像信号から動きベクトルデータを取得する。ＣＰＵ１０８は撮像装置１００の全体を制御する。通信部１０９はMASTER側とSLAVE側の２つの画像処理装置間の通信を行う。 The imaging apparatus 100 includes an imaging optical system 110, an imaging element 101, an imaging optical system driving unit 111, an imaging element driving unit 112, and two image processing apparatuses 1 and 2 on the MASTER side and the SLAVE side. In the two image processing apparatuses 1 and 2, the image dividing unit 102 divides an image signal output from the image sensor 101 that captures a subject image into an upper half partial area and a lower half partial area. The first storage unit 103 stores the image signal output from the image dividing unit 102. The camera signal processing unit 104 processes the signal read from the first storage unit 103. The image reduction unit 105 reduces the image signal output from the image sensor 101. The second storage unit 106 stores the reduced image signal output from the image reduction unit 105. The vector detection unit 107 acquires motion vector data from reduced image signals of successive frame images in the moving image read from the second storage unit. The CPU 108 controls the entire imaging apparatus 100. A communication unit 109 performs communication between two image processing apparatuses on the MASTER side and the SLAVE side.

撮像光学系１１０は、フォーカスレンズや像ぶれ補正レンズを含む複数のレンズ群および絞りを有して構成される。光学系駆動部１１１は、ＣＰＵ１０８から出力される、光学系のズーム、フォーカス、絞り、像ぶれ補正（レンズシフト）のための駆動制御情報に基づいて、撮像光学系１１０を制御する。 The imaging optical system 110 includes a plurality of lens groups including a focus lens and an image blur correction lens, and a stop. The optical system drive unit 111 controls the imaging optical system 110 based on drive control information output from the CPU 108 for zooming, focusing, aperture, and image blur correction (lens shift) of the optical system.

撮像素子駆動部１１２は、ＣＰＵ１０８から出力される、撮像素子の画素加算／間引き読み出し、切り出し読み出し等のための駆動制御情報に基づいて、撮像素子１０１を制御する。通信部１０９は、ＰＣＩ−ＥＸＰＲＥＥＳＳ等の既知のインタフェースで構成されており、MASTER側の画像処理装置１とSLAVE側の画像処理装置２の間で双方向通信が可能である。なお、通信部１０９は、単方向通信処理が可能なものを複数実装する構成でもよい。第１の記憶部１０３と第２の記憶部１０６は、ＤＲＡＭなどのメモリで構成される。 The image sensor driving unit 112 controls the image sensor 101 based on drive control information output from the CPU 108 for pixel addition / decimation readout, cutout readout, and the like of the image sensor. The communication unit 109 is configured by a known interface such as PCI-EXPRESS, and bi-directional communication is possible between the image processing apparatus 1 on the MASTER side and the image processing apparatus 2 on the SLAVE side. The communication unit 109 may have a configuration in which a plurality of units capable of unidirectional communication processing are mounted. The first storage unit 103 and the second storage unit 106 are configured by a memory such as a DRAM.

次に、ベクトル検出部１０７について、図２を用いて説明する。動きベクトルの検出方法に関しては、本実施形態では、テンプレートマッチング方式を用いる。ベクトル検出部１０７は縮小画像信号を原画像、それより前の時間に撮像された縮小画像信号を参照画像として、原画像中の任意の位置にテンプレートを配置し、テンプレートと参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には２０３で示すように参照画像上の相関値を算出する矩形領域を探索範囲として設定する。ここで、探索範囲２０３の位置や大きさについては特に制限は無いが、探索範囲２０３の内部にテンプレート２０２の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することは出来ない。 Next, the vector detection unit 107 will be described with reference to FIG. With respect to the motion vector detection method, a template matching method is used in the present embodiment. The vector detection unit 107 arranges a template at an arbitrary position in the original image using the reduced image signal as the original image and the reduced image signal captured at a time earlier as the reference image. The correlation value of is calculated. At this time, calculating the correlation value for the entire area of the reference image requires a large amount of computation. Therefore, as shown by 203, the rectangular area for calculating the correlation value on the reference image is actually searched for in the search range. Set as. Here, the position and size of the search range 203 are not particularly limited, but a correct motion vector cannot be detected unless the region corresponding to the destination of the template 202 is included in the search range 203. .

本実施形態では、相関値の算出方法の一例として差分絶対値和（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤの計算式を（式１）に示す。 In this embodiment, a sum of absolute difference (hereinafter abbreviated as SAD) is used as an example of a correlation value calculation method. The calculation formula of SAD is shown in (Formula 1).

（式１）において、ｆ（ｉ，ｊ）はテンプレート２０２内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）は探索範囲２０３において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレート２０２と同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート２０２と相関値算出領域内のテクスチャが類似していることを表している。なお、本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限られるものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。 In (Expression 1), f (i, j) represents a pixel value at the coordinates (i, j) in the template 202, and g (i, j) is a region for which a correlation value is calculated in the search range 203. Represents each pixel value. The correlation value calculation target area is the same size as the template 202. In SAD, the absolute value of the difference is calculated for each pixel value f (i, j) and g (i, j) in both blocks, and the correlation value S_SAD can be obtained by obtaining the sum. Therefore, the smaller the correlation value S_SAD, the smaller the difference in luminance value between the two blocks, that is, the similarity between the template 202 and the texture in the correlation value calculation area. In the present embodiment, SAD is used as an example of a correlation value, but the present invention is not limited to this, and other correlation values such as sum of squares of differences (SSD) and normalized cross correlation (NCC) are used. May be.

テンプレート配置に関しては、例えば図２で示されるように、テンプレート２０２は、水平サイズがＴＸ画素、垂直サイズがＴＹ画素とする。また、動きベクトルの探索範囲２０３は、テンプレート２０２の左右方向両側にＳＸ画素ずつ広げた領域、上下方向両側にＳＹ画素ずつ広げた領域である。そして、テンプレート２０２間の距離は、水平方向がＤＸ画素、垂直方向がＤＹ画素に設定され、格子状に配置される。また、少ないテンプレート数で、広範囲の動きベクトルを観察できるように、千鳥状にテンプレートを配置してもよい。なお、ＴＸ、ＴＹ、ＤＸ、ＤＹ、ＳＸ、ＳＹといったパラメータは、目的に応じて、任意の値に変更が可能である。 As for the template arrangement, for example, as shown in FIG. 2, the template 202 has a horizontal size of TX pixels and a vertical size of TY pixels. The motion vector search range 203 is an area expanded by SX pixels on both sides in the left-right direction of the template 202 and an area expanded by SY pixels on both sides in the vertical direction. The distance between the templates 202 is set in a horizontal direction with DX pixels, and the vertical direction is set with DY pixels. Further, the templates may be arranged in a staggered manner so that a wide range of motion vectors can be observed with a small number of templates. Note that parameters such as TX, TY, DX, DY, SX, and SY can be changed to arbitrary values according to the purpose.

次に、本実施形態の撮像装置における、２つの画像処理装置を用いた像ぶれ補正処理について説明する。画像分割部１０２、画像縮小部１０５は、カメラ信号処理部１０４、ベクトル検出部１０７、通信部１０９に対し、２倍以上のサイズの画像信号を処理出来る構成となっている。具体的な例を挙げると、前者は４ｋ２ｋ:６０ｐの画像信号を処理する性能があり、後者は４ｋ２ｋ：３０ｐの画像信号を処理する性能がある。 Next, image blur correction processing using two image processing devices in the imaging apparatus of the present embodiment will be described. The image dividing unit 102 and the image reducing unit 105 are configured to be able to process an image signal having a size of twice or more as compared with the camera signal processing unit 104, the vector detection unit 107, and the communication unit 109. As a specific example, the former has a performance of processing a 4k2k: 60p image signal, and the latter has a performance of processing a 4k2k: 30p image signal.

撮像素子１０１から、図３（ａ）で示すサイズの画像信号が出力されると、MASTER側の画像分割部１０２−１は、画像信号を図３（ｃ）で示す上半分の部分領域と、図３（ｄ）で示す下半分の部分領域とに分割する。そして、上半分の画像信号を通信部１０９−１に出力し、下半分の画像信号を記憶部１０３−１に出力する。MASTER側の通信部１０９−１は、SLAVE側の通信部１０９−２に対し、上半分の画像信号を送信し、SLAVE側の通信部１０９−２は、受信した上半分の画像信号を記憶部１０３−２に出力する。そして、カメラ信号処理部１０４−１は下半分の画像信号に対して、カメラ信号処理部１０４−２は上半分の画像信号に対して、センサ補正、ホワイトバランス調整、ノイズリダクション、現像処理などのカメラ信号処理を行う。カメラ信号処理部１０４で処理された、各々の画像信号は表示部へ出力される。分割された画像信号は、表示部で既知の手法で再統合される。表示部の詳細については、既に公知のものであるため、説明を省略する。従って、４ｋ２ｋ：６０ｐの画像信号が撮像素子１０１から出力された場合は、MASTER側で下半分の画像信号（４ｋ１ｋ：６０ｐ）、SLAVE側で上半分の画像信号（４ｋ１ｋ：６０ｐ）を信号処理することで、４ｋ２ｋ：６０ｐの撮影を実現することができる。 When the image signal having the size shown in FIG. 3A is output from the image sensor 101, the image dividing unit 102-1 on the MASTER side displays the image signal in the upper half partial area shown in FIG. It divides | segments into the lower half partial area | region shown in FIG.3 (d). Then, the upper half image signal is output to the communication unit 109-1, and the lower half image signal is output to the storage unit 103-1. The communication unit 109-1 on the MASTER side transmits the upper half image signal to the communication unit 109-2 on the SLAVE side, and the communication unit 109-2 on the SLAVE side stores the received upper half image signal in the storage unit. It outputs to 103-2. The camera signal processing unit 104-1 performs sensor correction, white balance adjustment, noise reduction, development processing, and the like for the lower half image signal, and the camera signal processing unit 104-2 performs the upper half image signal. Perform camera signal processing. Each image signal processed by the camera signal processing unit 104 is output to the display unit. The divided image signals are reintegrated by a known method on the display unit. Since the details of the display unit are already known, the description is omitted. Therefore, when an image signal of 4k2k: 60p is output from the image sensor 101, the lower half image signal (4k1k: 60p) is processed on the MASTER side, and the upper half image signal (4k1k: 60p) is processed on the SLAVE side. Thus, 4k2k: 60p imaging can be realized.

また、同様に、撮像素子１０１から、図３（ａ）で示すサイズの画像信号が出力されると、MASTER側の画像縮小部１０５−１は画像信号を図３（ｂ）で示すサイズまで縮小する。図３（ｂ）においては、図３（ａ）の画像信号が、水平方向に１／２、垂直方向に１／２縮小されている。なお、画像縮小部１０５−１における画像信号の縮小率は、後段のベクトル検出部１０７が１フレーム処理期間内に処理出来る画像サイズとなればよく、１／２に限定されるものではない。また、本実施形態では画像信号全てを縮小対象としているが、後段の処理が必要とする信号領域のみを縮小対象としてもよい。 Similarly, when an image signal having the size shown in FIG. 3A is output from the image sensor 101, the image reduction unit 105-1 on the MASTER side reduces the image signal to the size shown in FIG. 3B. To do. In FIG. 3B, the image signal in FIG. 3A is reduced by 1/2 in the horizontal direction and 1/2 in the vertical direction. Note that the reduction ratio of the image signal in the image reduction unit 105-1 is not limited to ½ as long as the image size can be processed within one frame processing period by the vector detection unit 107 in the subsequent stage. Further, in the present embodiment, all image signals are targeted for reduction, but only signal regions that are required for subsequent processing may be targeted for reduction.

MASTER側のベクトル検出部１０７−１は、画像縮小部１０５−１で生成された縮小画像信号を用いて、ベクトル検出処理を行い、ベクトルデータを算出する。ベクトルデータは、ＣＰＵ１０８−１へ出力される。SLAVE側のベクトル検出部１０７−２は、通信部１０９−２が第２の記憶部１０６−２へ出力する上半分の画像信号を用いて、ベクトル検出処理を行う。縮小画像信号は、細かいテクスチャ（エッジ）情報の消失や、画像信号の折り返しの影響がある。従って、縮小画像信号によって算出されるベクトルデータは、等倍画像に対して、ベクトルデータの品質が低下する。そこで、SLAVE側のベクトル検出部１０７−２で、上半分の等倍画像信号に対し、ベクトル検出処理を行い、品質のよいベクトルデータを算出する。 The MASTER side vector detection unit 107-1 performs vector detection processing using the reduced image signal generated by the image reduction unit 105-1, and calculates vector data. The vector data is output to CPU 108-1. The SLAVE-side vector detection unit 107-2 performs vector detection processing using the upper half image signal output from the communication unit 109-2 to the second storage unit 106-2. The reduced image signal is affected by the disappearance of fine texture (edge) information and the folding of the image signal. Accordingly, the quality of vector data calculated from the reduced image signal is lower than that of a normal-size image. Therefore, the vector detection unit 107-2 on the SLAVE side performs vector detection processing on the upper half of the same-size image signal to calculate high-quality vector data.

ベクトル検出部１０７−２で生成されたベクトルデータは、ＣＰＵ１０８−２へ出力される。ＣＰＵ１０８−２は取得したベクトルデータを通信部１０９−２へ出力する。通信部１０９−２は、MASTER側の通信部１０９−１へ、ベクトルデータを出力する。通信部１０９−１は、SLAVE側で算出したベクトルデータをＣＰＵ１０８−１に出力する。 The vector data generated by the vector detection unit 107-2 is output to the CPU 108-2. The CPU 108-2 outputs the acquired vector data to the communication unit 109-2. The communication unit 109-2 outputs vector data to the communication unit 109-1 on the MASTER side. The communication unit 109-1 outputs the vector data calculated on the SLAVE side to the CPU 108-1.

ＣＰＵ１０８−１は、MASTER側で縮小画像から算出したベクトルデータとSLAVE側で上半分の部分画像から算出したベクトルデータから、像ぶれ補正のためのグローバルモーション（画面全体の動き）を算出する（動きベクトルの合成）。グローバルモーションの算出方法としては、Ｘ方向とＹ方向のそれぞれで、図４で示すような検出枠全てのベクトル値のヒストグラムを求め、その最頻値４００をグローバルモーションとする。ＣＰＵ１０８−１は、ベクトルを取得したら、そのベクトル値に応じた階数をカウントして、ヒストグラムを作成する。ヒストグラムを生成する際、MASTER側のベクトルデータのカウント値は１（４０１−１）、SLAVE側のベクトルデータのカウント値は２（４０１−２）とする。SLAVE側のベクトルデータは等倍画像で算出したベクトルデータであるため、ベクトルの品質がMASTER側よりも良い。そのため、カウントの重みを大きくすることで、グローバルモーションの精度を向上させる。なお、カウントの重みは、画像のコントラスト値や被写体情報などの画像解析結果に基づいて調整する構成としてもよい。ＣＰＵ１０８−１は算出したグローバルモーションに基づいて、既知の手法で、像ぶれ補正のためのレンズ駆動（シフト）量を算出して、レンズ制御情報を撮像光学系駆動部１１１へ出力する。 The CPU 108-1 calculates global motion (motion of the entire screen) for image blur correction from the vector data calculated from the reduced image on the MASTER side and the vector data calculated from the upper half partial image on the SLAVE side (motion). Vector synthesis). As a global motion calculation method, a histogram of vector values of all detection frames as shown in FIG. 4 is obtained in each of the X direction and the Y direction, and the mode value 400 is defined as the global motion. When the CPU 108-1 acquires the vector, the CPU 108-1 counts the rank corresponding to the vector value and creates a histogram. When generating the histogram, the count value of the vector data on the MASTER side is 1 (401-1), and the count value of the vector data on the SLAVE side is 2 (401-2). Since the vector data on the SLAVE side is vector data calculated with the same size image, the vector quality is better than that on the MASTER side. Therefore, the accuracy of global motion is improved by increasing the weight of the count. Note that the count weight may be adjusted based on image analysis results such as image contrast values and subject information. Based on the calculated global motion, the CPU 108-1 calculates a lens driving (shift) amount for image blur correction by a known method, and outputs lens control information to the imaging optical system driving unit 111.

図５は、本実施形態の撮像装置における画像処理の流れを示した図である。図５を用いて、画像処理の流れについて説明する。 FIG. 5 is a diagram illustrating a flow of image processing in the imaging apparatus of the present embodiment. The flow of image processing will be described with reference to FIG.

図５において、５０１は１フレームの画像信号の処理時間を示している。例えば、フレームレートが６０ｐの場合は、１／６０ｓｅｃ＝１６．７ｍｓｅｃとなる。５０２は撮像素子１０１から出力される画像信号の出力期間を示している。本実施形態においてはラスタスキャンで画像信号が出力されるので、まず、SLAVE側で処理する上半分の画像信号が出力され、次にMASTER側で処理する下半分の画像信号が出力される。５０３は撮像素子１０１から出力される画像信号を、画像縮小部１０５が縮小処理する期間を示す。 In FIG. 5, reference numeral 501 indicates the processing time of an image signal of one frame. For example, when the frame rate is 60p, 1/60 sec = 16.7 msec. Reference numeral 502 denotes an output period of an image signal output from the image sensor 101. In this embodiment, since an image signal is output by raster scanning, first, the upper half image signal processed on the SLAVE side is output, and then the lower half image signal processed on the MASTER side is output. Reference numeral 503 denotes a period during which the image reduction unit 105 reduces the image signal output from the image sensor 101.

５０４はカメラ信号処理部１０４が信号処理を行う期間を示す。カメラ信号処理部１０４−２は、上側の画像信号が入力されるタイミングで、信号処理を開始する。カメラ信号処理部１０４−１は、下側の画像信号が入力されるタイミングで、信号処理を開始する。前述した通り、カメラ信号処理部１０４は、撮像素子１０１の画像信号の出力レート、縮小部１０５の画像信号の処理レートに対して、半分の処理性能となるため、分割された画像信号がカメラ信号処理部１０４で処理される時間は、１フレーム分の時間となる。従って、信号処理された画像信号が表示手段で表示されるタイミングは、下側の画像信号の信号処理完了（５０４−１）以降となる。 Reference numeral 504 denotes a period during which the camera signal processing unit 104 performs signal processing. The camera signal processing unit 104-2 starts signal processing at the timing when the upper image signal is input. The camera signal processing unit 104-1 starts signal processing at the timing when the lower image signal is input. As described above, the camera signal processing unit 104 has half the processing performance with respect to the output rate of the image signal of the image sensor 101 and the processing rate of the image signal of the reduction unit 105. Therefore, the divided image signal is the camera signal. The time processed by the processing unit 104 is a time for one frame. Therefore, the timing at which the signal signal subjected to the signal processing is displayed on the display means is after the signal processing completion (504-1) of the lower image signal.

５０５はベクトル検出部１０７がベクトルの検出処理を行う期間を示す。ベクトル検出部１０７−１は、画像縮小部１０５からの信号の出力直後から動きベクトル検出処理を開始する。ベクトル検出部１０７−２は、上側の画像信号が入力されるタイミングで、動きベクトル検出処理を開始する。本実施形態においては、動きベクトル検出処理は、１フレーム内で処理が完了するように、テンプレートサイズや枠配置を調整している。 Reference numeral 505 denotes a period during which the vector detection unit 107 performs a vector detection process. The vector detection unit 107-1 starts the motion vector detection process immediately after the output of the signal from the image reduction unit 105. The vector detection unit 107-2 starts the motion vector detection process at the timing when the upper image signal is input. In the present embodiment, the template size and the frame arrangement are adjusted so that the motion vector detection process is completed within one frame.

５０６は通信部１０９−１が、上側の画像信号を通信部１０９−２へ出力する期間である。撮像素子１０１の画像信号出力直後から通信を開始する。５０７は通信部１０９−２が、SLAVE側で算出したベクトルデータを通信部１０９−１へ出力する期間である。なお、本実施形においては、ベクトルデータの送信は、撮像素子１０１の画像信号をSLAVE側へ送信する期間外で行うが、時分割処理などによって同タイミングで通信してもよい。 Reference numeral 506 denotes a period during which the communication unit 109-1 outputs the upper image signal to the communication unit 109-2. Communication is started immediately after the image signal output from the image sensor 101. Reference numeral 507 denotes a period during which the communication unit 109-2 outputs the vector data calculated on the SLAVE side to the communication unit 109-1. In the present embodiment, transmission of vector data is performed outside the period for transmitting the image signal of the image sensor 101 to the SLAVE side, but communication may be performed at the same timing by time division processing or the like.

５０８はＣＰＵ１０８−１が、MASTER側で算出したベクトルデータとSLAVE側で算出したベクトルデータを用いて、グローバルモーション値を算出し、算出したグローバルモーションに基づいて、像ぶれ補正のためのレンズ駆動（シフト）量を算出し、レンズ制御情報を撮像光学系駆動部１１２へ出力する期間である。本実施形態では、期間５０８を次フレームの撮像までに完了させるよう、制御構成を組む。 A CPU 508 calculates a global motion value by using the vector data calculated on the MASTER side and the vector data calculated on the SLAVE side by the CPU 108-1, and based on the calculated global motion, drives the lens for image blur correction ( This is a period in which the lens control information is output to the imaging optical system driving unit 112 by calculating the (shift) amount. In the present embodiment, the control configuration is set so that the period 508 is completed before the next frame is imaged.

以上の構成により、複数の画像処理プロセッサで画像処理するシステムにおいて、動きベクトルの検出精度を向上させ、像ぶれ補正の精度向上を達成することができる。 With the above configuration, in a system that performs image processing with a plurality of image processing processors, motion vector detection accuracy can be improved, and image blur correction accuracy can be improved.

＜第２の実施形態＞
図６は、本発明の第２の実施形態の撮像装置の構成を示した図である。図６に示すように、本実施形態の撮像装置は、第１の実施形態と同様にMASTER側とSLAVE側の２つの画像処理装置１’，２’を備える。 <Second Embodiment>
FIG. 6 is a diagram illustrating a configuration of an imaging apparatus according to the second embodiment of the present invention. As shown in FIG. 6, the imaging apparatus of the present embodiment includes two image processing apparatuses 1 ′ and 2 ′ on the MASTER side and the SLAVE side as in the first embodiment.

図６において、撮像光学系１１０、撮像光学系駆動部１１１、撮像素子１０１、撮像素子駆動制御部１１２、画像分割部１０２、第１の記憶部１０３、カメラ信号処理部１０４、画像縮小部１０５、第２の記憶部１０６、通信部１０９は、第１の実施形態と共通のため、図１と同じ符号を付して説明を省略する。 In FIG. 6, the imaging optical system 110, the imaging optical system driving unit 111, the imaging element 101, the imaging element drive control unit 112, the image dividing unit 102, the first storage unit 103, the camera signal processing unit 104, the image reduction unit 105, Since the second storage unit 106 and the communication unit 109 are the same as those in the first embodiment, the same reference numerals as those in FIG.

画像縮小部１０５−１から得られた縮小画像信号を用いて画像解析を行う画像解析部６１３−１と、第２の記憶部１０６−１に入力する画像信号を、下半分の等倍画像信号とするか縮小画像信号とするかを切り替えるセレクタ６１４−１が追加されている。また、ＣＰＵ６０８−１は、画像解析部６１３−１の画像解析結果を取得し、解析結果に基づいて、セレクタ６１４−１に対して画像信号の切り替えを指示する。 An image analysis unit 613-1 that performs image analysis using the reduced image signal obtained from the image reduction unit 105-1, and an image signal that is input to the second storage unit 106-1 is a lower-magnification image signal. And a selector 614-1 for switching between a reduced image signal and a reduced image signal. Further, the CPU 608-1 acquires the image analysis result of the image analysis unit 613-1, and instructs the selector 614-1 to switch the image signal based on the analysis result.

ベクトル検出部６０７は、表面的な構成は第１の実施形態と共通であるが、像ぶれ補正のためのベクトルデータを算出するだけでなく、被写体を追尾するためのベクトルデータの算出を行ってもよい。後者の場合、ＣＰＵ６０８は、ベクトルデータから被写体の動きを予測し、次以降のフレームで被写体にフォーカスが合うようにレンズのフォーカス駆動量を算出して、レンズ制御情報を撮像光学系駆動部１１２へ出力する。 The vector detection unit 607 has the same superficial configuration as that of the first embodiment, but not only calculates vector data for image blur correction but also calculates vector data for tracking the subject. Also good. In the latter case, the CPU 608 predicts the movement of the subject from the vector data, calculates the lens focus driving amount so that the subject is focused in the subsequent frames, and sends the lens control information to the imaging optical system driving unit 112. Output.

画像解析部６１３−１の構成は、以下の何れかの処理機能もしくは複数の処理機能によって構成される。画像解析部６１３−１の構成について、ＣＰＵ６０８−１の制御と関連付けて、以下の３つの場合について説明する。
（１）画像解析部６１３−１は、特徴点算出処理を行う。特徴点算出処理を行う処理部の構成を図７に示す。特徴フィルタ部７０１は、例えば、バンドパスフィルタ、水平微分フィルタ、垂直微分フィルタ、平滑化フィルタなど、複数のフィルタから構成される。例えば、本実施形態においては、バンドパスフィルタで画像信号の不要な高周波成分と低周波成分をカットし、水平方向の微分フィルタ処理を施した信号と、垂直方向の微分フィルタ処理を施した信号それぞれに対して、平滑化フィルタ処理を施した信号を出力する。 The configuration of the image analysis unit 613-1 is configured by any one of the following processing functions or a plurality of processing functions. The following three cases will be described regarding the configuration of the image analysis unit 613-1 in association with the control of the CPU 608-1.
(1) The image analysis unit 613-1 performs feature point calculation processing. FIG. 7 shows the configuration of the processing unit that performs the feature point calculation process. The feature filter unit 701 includes a plurality of filters such as a band pass filter, a horizontal differential filter, a vertical differential filter, and a smoothing filter, for example. For example, in this embodiment, unnecessary high-frequency components and low-frequency components of an image signal are cut by a bandpass filter, a signal subjected to horizontal differential filter processing, and a signal subjected to vertical differential filter processing, respectively. On the other hand, a signal subjected to smoothing filter processing is output.

特徴評価部７０２は、特徴フィルタ部７０１によりフィルタ処理されたグリッド（図８に示す分割領域８０１，８０２）に対し、画素ごとに２つのエッジの交点や曲率が極大である曲線状の点など画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。本実施形態では、例えば、ＳｈｉａｎｄＴｏｍａｓｉの手法を用いる場合について説明する。 The feature evaluation unit 702 is a pixel such as an intersection of two edges or a curved point having a maximum curvature for each pixel with respect to the grid (the divided regions 801 and 802 shown in FIG. 8) filtered by the feature filter unit 701. A point with a large differential value in the vicinity of is calculated as a feature value by a feature evaluation formula. In the present embodiment, for example, a case where the Shi and Tomasi method is used will be described.

水平微分フィルタと垂直微分フィルタを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を（式２）に示す。 An autocorrelation matrix H is created from the result of applying the horizontal differential filter and the vertical differential filter. An expression of the autocorrelation matrix H is shown in (Expression 2).

（式２）において、Ｉxは水平微分フィルタを施した結果、Ｉyは垂直微分フィルタを施した結果を表しており、ガウシアンフィルタＧを畳み込む。ＳｈｉａｎｄＴｏｍａｓｉの特徴評価式を（式３）に示す。 In (Equation 2), Ix represents the result of applying the horizontal differential filter, Iy represents the result of applying the vertical differential filter, and convolves the Gaussian filter G. Shi and Tomasi's characteristic evaluation formula is shown in (Formula 3).

Shi and Tomashi ＝ min（λ1，λ2）（式３）
（式３）は、（式２）の自己相関行列Ｈの固有値λ1，λ2のうち小さい方の固有値を特徴値とすることを示す。 Shi and Tomashi = min (λ1, λ2) (Formula 3)
(Expression 3) indicates that the smaller eigenvalue of the eigenvalues λ1 and λ2 of the autocorrelation matrix H of (Expression 2) is used as the feature value.

特徴点決定部７０３は、グリッド毎に特徴評価部７０２によって画素ごとに算出された特徴値の最も大きい値を持つ画素を特徴点と決定する。特徴点は、図８で示すように、縮小画像信号を、複数の分割領域（グリッドと呼ぶ）に分割し、それぞれの分割領域８０１で算出する。 The feature point determination unit 703 determines a pixel having the largest feature value calculated for each pixel by the feature evaluation unit 702 for each grid as a feature point. As shown in FIG. 8, the feature points are calculated by dividing the reduced image signal into a plurality of divided regions (called grids) and dividing the reduced image signals into respective divided regions 801.

ここで、本実施形態においては、上記の様に特徴点を検出することにより、画像分割部１０２−１で分割する画像の上半分の部分領域と下半分の部分領域の境界に特徴点が多く存在するか否かを判定する。画像の上半分の部分領域と下半分の部分領域の境界に特徴点が集中している場合は、上下のどちらかの部分領域だけでは動きベクトルを正確に検出することができず、正確に検出するには両方の部分領域の画像信号を参照する必要がある。そのため、画像処理装置の負荷を減らすためには、画像全体の縮小画像から動きベクトルを検出した方が好ましい。このような理由から以下の様な判定を行う。なお、本実施形態においては、画像信号の上下の部分領域の境界付近の特徴点が算出出来ればよいので、ハッチングで示した分割領域８０２の特徴点のみを算出するようにしてもよい。 Here, in the present embodiment, by detecting feature points as described above, there are many feature points at the boundary between the upper half partial area and the lower half partial area divided by the image dividing unit 102-1. Determine if it exists. If feature points are concentrated at the boundary between the upper half and lower half of the image, the motion vector cannot be detected accurately with either the upper or lower partial area, but it is detected accurately. Therefore, it is necessary to refer to the image signals of both partial areas. Therefore, in order to reduce the load on the image processing apparatus, it is preferable to detect a motion vector from a reduced image of the entire image. For this reason, the following determination is performed. In the present embodiment, it is only necessary to calculate the feature points near the boundary between the upper and lower partial regions of the image signal. Therefore, only the feature points of the divided region 802 indicated by hatching may be calculated.

画像解析部６１３−１は、各分割領域で算出された特徴点情報を、ＣＰＵ６０８−１へ出力する。ＣＰＵ６０８−１は、上下の部分領域の境界付近の分割領域８０２の特徴点の特徴値の平均値ＡＶＥを算出する。（式４）で示すように、平均値ＡＶＥが所定の閾値ＴＨＲＥＳ１以上の場合は、画面中央に特徴点が集中していると判定する。そして、ＣＰＵ６０８−１は、セレクタ６１４−１に対し、第２の記憶部１０６−１に入力する信号として、画像縮小部１０５−１からの縮小画像信号を選択するよう制御する。そうでない場合は、セレクタ６１４−１に対し、第２の記憶部１０６−１に入力する信号として、画像分割部１０２−１からの下半分の等倍画像信号を選択するよう制御する。 The image analysis unit 613-1 outputs the feature point information calculated in each divided region to the CPU 608-1. The CPU 608-1 calculates the average value AVE of the feature values of the feature points of the divided area 802 near the boundary between the upper and lower partial areas. As shown in (Expression 4), when the average value AVE is equal to or greater than the predetermined threshold value THRES1, it is determined that the feature points are concentrated at the center of the screen. Then, the CPU 608-1 controls the selector 614-1 to select the reduced image signal from the image reducing unit 105-1 as a signal to be input to the second storage unit 106-1. Otherwise, the selector 614-1 is controlled to select the lower half of the same size image signal from the image dividing unit 102-1, as the signal to be input to the second storage unit 106-1.

ＡＶＥ≧ＴＨＲＥＳ１ …（式４）
なお、特徴点の特徴値の平均値ではなく、積分値や中央値でもよい。また、各分割領域の特徴点の特徴値を閾値ＴＨＲＥＳ１と比較し、閾値以上の特徴点の個数をＮとした場合、（式５）で示すように、Ｎが所定の閾値ＴＨＲＥＳ２以上の場合を、画面中央に特徴点が集中している場合と判定してもよい。 AVE ≧ THRES1 (Formula 4)
Note that an integral value or a median value may be used instead of the average value of feature values of feature points. Further, when the feature values of the feature points of each divided region are compared with the threshold value THRES1, and the number of feature points equal to or greater than the threshold value is N, as shown in (Equation 5), the case where N is greater than or equal to the predetermined threshold value THRES2 It may be determined that the feature points are concentrated in the center of the screen.

Ｎ≧ＴＨＲＥＳ２ …（式５）
（２）画像解析部６１３−１は、コントラスト検出処理を行う。縮小画像信号の信号値の平均値ＡＶＥ２を算出する。なお、平均値ではなく、積分値、中央値、最大値でもよい。画像解析部６１３−１は、平均値ＡＶＥ２をＣＰＵ６０８−１へ出力する。ＣＰＵ６０８−１は、（式６）で示すように、平均値ＡＶＥ２が所定の閾値ＴＨＲＥＳ３未満の場合は、縮小画像信号が、画像縮小処理によってテクスチャ情報が失われていると判定する。そして、セレクタ６１４−１に対し、第２の記憶部１０６−１に入力する信号として、画像分割部６０２−１からの下半分の等倍画像信号を選択するよう制御する。そうでない場合は、セレクタ６１４−１に対し、第２の記憶部１０６−１に入力する信号として、画像縮小部６０５−１からの縮小画像信号を選択するよう制御する。 N ≧ THRES2 (Formula 5)
(2) The image analysis unit 613-1 performs contrast detection processing. An average value AVE2 of the signal values of the reduced image signal is calculated. In addition, the integrated value, the median value, and the maximum value may be used instead of the average value. The image analysis unit 613-1 outputs the average value AVE2 to the CPU 608-1. As shown in (Equation 6), when the average value AVE2 is less than the predetermined threshold value THRES3, the CPU 608-1 determines that the reduced image signal has lost texture information due to the image reduction process. Then, the selector 614-1 is controlled to select the lower half of the same size image signal from the image dividing unit 602-1 as the signal to be input to the second storage unit 106-1. Otherwise, the selector 614-1 is controlled to select the reduced image signal from the image reduction unit 605-1 as a signal to be input to the second storage unit 106-1.

ＡＶＥ２≧ＴＨＲＥＳ３ …（式６）
（３）画像解析部６１３は、顔などの被写体検出処理を行う。画像解析部６１３−１は、既知の手法で、図９に示すように被写体領域９０１の左上座標（ＸＳＴＡＲＴ，ＹＳＴＡＲＴ）と右下座標（ＸＥＮＤ，ＹＥＮＤ）を算出し、ＣＰＵ６０８−１へ出力する。そして、上下の部分領域の境界９０２のＹ座標値をＹＨとした場合、（式７）で示すように、分割境界ＹＨがＹＳＴＡＲＴとＹＥＮＤの間にある場合は、被写体が分割境界にあると判定する（被写体の有無の判定）。そして、ＣＰＵ６０８−１は、セレクタ６１４−１に対し、第２の記憶部１０６−１に入力する信号として、画像縮小部６０５−１からの縮小画像信号を選択するよう制御する。そうでない場合は、セレクタ６１４−１に対し、第２の記憶部１０６−１に入力する信号として、画像分割部６０２−１からの下半分の等倍画像信号を選択するよう制御する。 AVE2 ≧ THRES3 (Formula 6)
(3) The image analysis unit 613 performs subject detection processing such as a face. The image analysis unit 613-1 calculates the upper left coordinates (XSTART, YSTART) and the lower right coordinates (XEND, YEND) of the subject area 901 as shown in FIG. 9, and outputs them to the CPU 608-1. If the Y coordinate value of the boundary 902 of the upper and lower partial areas is YH, as shown in (Expression 7), if the division boundary YH is between YSTART and YEND, it is determined that the subject is at the division boundary. (Determining whether or not there is a subject). Then, the CPU 608-1 controls the selector 614-1 to select the reduced image signal from the image reduction unit 605-1 as a signal to be input to the second storage unit 106-1. Otherwise, the selector 614-1 is controlled to select the lower half of the same size image signal from the image dividing unit 602-1 as the signal to be input to the second storage unit 106-1.

ＹＳＴＡＲＴ≦ＹＨ≦ＹＥＮＤ …（式７）
以上が、画像解析部６１３の構成とＣＰＵ６０８の制御である。 YSTART ≦ YH ≦ YEND (Expression 7)
The above is the configuration of the image analysis unit 613 and the control of the CPU 608.

ＣＰＵ６０８−１がセレクタ６１４−１に対し、縮小画像信号を選択するように制御した場合、SLAVE側のベクトル検出部６０７−２は、第１の実施形態と同様に、上半分の等倍画像信号に対してベクトル検出処理を行う。そして、算出したベクトルデータをMASTER側のＣＰＵ６０８−１へ送信して、補助情報として活用してもよい。あるいは、処理自体を行わないようにしてもよい。 When the CPU 608-1 controls the selector 614-1 to select the reduced image signal, the SLAVE-side vector detection unit 607-2 performs the upper half of the same size image signal as in the first embodiment. A vector detection process is performed on. Then, the calculated vector data may be transmitted to the CPU 608-1 on the MASTER side and used as auxiliary information. Alternatively, the process itself may not be performed.

また、本実施形態では、セレクタ６１４−１は、第２の記憶部１０６−１の前に配置されている。しかし、ベクトル検出部６０７−１の前に配置し、第２の記憶部６０６−１に保持した縮小画像信号と第１の記憶部６０３−１に保持した下半分の等倍画像信号を選択する構成としてもよい。 In the present embodiment, the selector 614-1 is disposed in front of the second storage unit 106-1. However, the reduced image signal stored in the second storage unit 606-1 and the lower half of the same size image signal stored in the first storage unit 603-1 are selected before the vector detection unit 607-1. It is good also as a structure.

また、本実施形態では、MASTER側のみセレクタ６１４−１で縮小画像信号と下半分の等倍画像信号を切り替える構成をとっている。しかし、SLAVE側にもセレクタ６１４−２を追加し、MASTER側から縮小画像信号を送信することで、SLAVE側でも画像解析結果に応じて縮小画像信号と上半分の等倍画像信号を切り替える構成をとってもよい。 In this embodiment, the selector 614-1 is used to switch between the reduced image signal and the lower half of the same size image signal only on the MASTER side. However, by adding a selector 614-2 on the SLAVE side and transmitting a reduced image signal from the MASTER side, the SLAVE side can also switch between the reduced image signal and the upper half of the same size image signal according to the image analysis result. It may be taken.

以上の構成により、複数の画像処理プロセッサで画像処理するシステムにおいて、最適な動きベクトル検出処理を実施することが可能となる。 With the above configuration, it is possible to perform an optimal motion vector detection process in a system that performs image processing with a plurality of image processing processors.

＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。本実施形態では、撮像装置の構成は、図１、図６に示す構成のどちらでもよく、ＣＰＵ１０８−１（ＣＰＵ６０８−１）の制御のみが異なる。 <Third Embodiment>
Hereinafter, a third embodiment of the present invention will be described. In this embodiment, the configuration of the imaging apparatus may be either the configuration shown in FIG. 1 or FIG. 6, and only the control of the CPU 108-1 (CPU 608-1) is different.

図１０は、本実施形態の撮像装置における、画像処理の流れを示した図である。図１０は図５とほぼタイミングが同じであるが、SLAVE側で算出したベクトルデータをMASTER側へ送信する期間１００７が、フレームをまたいでしまっている。 FIG. 10 is a diagram illustrating a flow of image processing in the imaging apparatus of the present embodiment. FIG. 10 has almost the same timing as FIG. 5, but the period 1007 during which the vector data calculated on the SLAVE side is transmitted to the MASTER side straddles frames.

本来、グローバルモーションの算出は、１フレーム処理が完了する前に終了させて、次のフレームの撮像制御にフィードバックする必要がある。従って、送信期間１００７がフレームをまたぐ可能性がある場合は、MASTER側の縮小画像信号で算出したベクトルデータのみを使用して、グローバルモーションを算出する。 Originally, the calculation of global motion needs to be terminated before the completion of one frame processing and fed back to the imaging control of the next frame. Accordingly, when there is a possibility that the transmission period 1007 may straddle a frame, the global motion is calculated using only the vector data calculated with the reduced image signal on the MASTER side.

フレームまたぎが発生することを推定するための方法として、例えば、撮像素子１０１の入力のVBLANK期間の時間をＴｖｂ、通信速度に基づく所定のベクトルデータ数を送信する時間をＴｖ、その他のデータを送受信する時間をＴｓとした場合、以下の式で判定する。 As a method for estimating the occurrence of frame straddling, for example, the time of the VBLANK period of the input of the image sensor 101 is Tvb, the time of transmitting a predetermined number of vector data based on the communication speed is Tv, and other data is transmitted / received When the time to perform is Ts, it is determined by the following formula.

Ｔｖｂ−Ｔｓ≧Ｔｖ …（式７）
また、撮像素子１０１の入力のHBLANK期間の総和Ｔｈｂも使用して送信する場合は、以下の式で判定する。 Tvb−Ts ≧ Tv (Expression 7)
In addition, when the transmission is also performed using the total Thb of the HBLANK period of the input of the image sensor 101, the determination is made by the following equation.

Ｔｖｂ＋Ｔｈｂ−Ｔｓ≧Ｔｖ …（式８）
なお、ＣＰＵ１０８−１は、上述の判定処理をフレーム単位で動的に実施してもよいし、撮影モードの切替えなどに応じて撮像開始時のみ実施してもよい。 Tvb + Thb−Ts ≧ Tv (Equation 8)
Note that the CPU 108-1 may dynamically perform the above-described determination processing in units of frames, or may be performed only at the start of imaging according to switching of the imaging mode.

以上の構成により、複数の画像処理プロセッサで画像処理するシステムにおいて、パフォーマンスを考慮した、最適な動きベクトル検出処理を実施することが可能となる。 With the above configuration, in a system that performs image processing with a plurality of image processing processors, it is possible to perform optimal motion vector detection processing in consideration of performance.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１：MASTER側の画像処理装置、２：SLAVE側の画像処理装置、１０１：撮像素子、１１０：撮像光学系、１０７：ベクトル検出部、１０８：ＣＰＵ 1: MASTER side image processing device, 2: SLAVE side image processing device, 101: imaging device, 110: imaging optical system, 107: vector detection unit, 108: CPU

Claims

An image processing apparatus comprising a plurality of image processing means for performing image processing on frame images in a moving image in parallel,
Of the plurality of image processing means, a first image processing means includes a dividing means for dividing the frame image into a plurality of partial areas, a reduction means for reducing the frame image to obtain a reduced image, and the plurality of image processing means. First vector detecting means for detecting a first motion vector using at least one of the signal of the first partial region of the partial regions of the sub-region and the signal of the reduced image,
The second image processing means out of the plurality of image processing means is a signal of the second partial area and the signal of the reduced image sent from the first image processing means. Second vector detecting means for detecting a second motion vector using at least one of
The first image processing means or the second image processing means includes control means for outputting at least one of the first motion vector and the second motion vector from the image processing apparatus. Image processing device.

The first image processing means further includes an analysis means for analyzing the reduced image, and the control means is configured to calculate the first motion vector and the second motion vector based on an analysis result by the analysis means. The image processing apparatus according to claim 1, wherein at least one is output from the image processing apparatus.

The image processing apparatus according to claim 2, wherein the analysis unit obtains a contrast value of the reduced image.

The first vector detecting unit detects the first motion vector using a signal of the first partial region when a contrast value of the reduced image is smaller than a predetermined value. Item 4. The image processing apparatus according to Item 3.

The image processing apparatus according to claim 2, wherein the analysis unit obtains feature values of feature points at division boundaries of the plurality of partial regions.

When the feature value of the feature point at the division boundary is larger than a predetermined value, the first vector detection unit detects the first motion vector using a signal of the reduced image. Item 6. The image processing apparatus according to Item 5.

The image processing apparatus according to claim 2, wherein the analysis unit detects information on presence / absence of a subject at a division boundary of the partial region.

The image processing apparatus according to claim 7, wherein when a subject is present at the division boundary, the first vector detection unit detects the first motion vector using a signal of the reduced image. .

The control unit causes the image processing apparatus to output at least one of the first motion vector and the second motion vector according to a communication speed between the plurality of image processing units. Item 8. The image processing apparatus according to Item 1.

The said control means makes the said 1st motion vector output from the said image processing apparatus, when the communication speed between these image processing means is slower than predetermined speed. Image processing device.

The image according to any one of claims 1 to 10, wherein the control means causes the image processing device to output a motion vector obtained by combining the first motion vector and the second motion vector. Processing equipment.

When the control means synthesizes the first motion vector and the second motion vector, a signal of the first partial region or the second part is determined based on a motion vector detected using the reduced image. The image processing apparatus according to claim 11, wherein the weight of the motion vector detected using the signal of the area is increased.

When the control means combines the first motion vector and the second motion vector, the weight of the motion vector detected using the reduced image and the signal of the first partial region or the second motion vector The image processing apparatus according to claim 11, wherein a weight of a motion vector detected using a partial region signal is changed according to a result of analyzing the reduced image.

Imaging means for capturing a subject image;
The image processing apparatus according to claim 1, wherein a moving image captured by the imaging unit is input;
An imaging apparatus comprising:

A method of controlling an image processing apparatus comprising a plurality of image processing means for performing image processing on a frame image in a moving image in parallel,
The first image processing means of the plurality of image processing means includes a dividing step of dividing the frame image into a plurality of partial areas, a reduction step of reducing the frame image to obtain a reduced image, Performing a first vector detection step of detecting a first motion vector using at least one of a signal of a first partial region of the partial regions and a signal of the reduced image,
The second image processing means out of the plurality of image processing means is a signal of the second partial area and the signal of the reduced image sent from the first image processing means. Performing a second vector detection step of detecting a second motion vector using at least one of
The first image processing means or the second image processing means performs a control step of outputting at least one of the first motion vector and the second motion vector from the image processing apparatus. A method for controlling an image processing apparatus.

A program for causing the first image processing means or the second image processing means to execute each step of the control method according to claim 15.

A computer-readable storage medium storing a program for causing the first image processing means or the second image processing means to execute each step of the control method according to claim 15.