JP2017204016A - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
JP2017204016A
JP2017204016A JP2016093641A JP2016093641A JP2017204016A JP 2017204016 A JP2017204016 A JP 2017204016A JP 2016093641 A JP2016093641 A JP 2016093641A JP 2016093641 A JP2016093641 A JP 2016093641A JP 2017204016 A JP2017204016 A JP 2017204016A
Authority
JP
Japan
Prior art keywords
image
image processing
frame
control unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016093641A
Other languages
Japanese (ja)
Inventor
靖典 塚原
Yasunori Tsukahara
靖典 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2016093641A priority Critical patent/JP2017204016A/en
Publication of JP2017204016A publication Critical patent/JP2017204016A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus with improved image recognition performance, configured to reduce processing load of an image processing control unit.SOLUTION: An image processing apparatus includes: a first camera 10 which sequentially outputs captured images, as first frame images S; a second camera 20 which sequentially outputs captured images, as second frame images S; and an image processing control unit 30 which executes image processing, on the basis of the first frame images Sinput from the first camera 10 and the second frame images Sinput from the second camera 20. The image processing control unit 30 is configured to execute alternately a first processing process which executes image processing on the basis of the first frame images Sand the second frame images S, and a second processing process which executes image processing on the basis of the first frame images Sor the second frame images S.SELECTED DRAWING: Figure 2

Description

本発明は、画像処理装置に関する。   The present invention relates to an image processing apparatus.

従来の技術として、視差画像を使ったクラスタリング処理における誤認識を低減し且つ認識率向上するとともに、処理負荷を低減して、高精度に周辺環境を認識することが可能な画像処理装置が知られている（例えば、特許文献１参照）。   As a conventional technique, an image processing apparatus capable of reducing misrecognition and improving a recognition rate in clustering processing using a parallax image and reducing a processing load and recognizing a surrounding environment with high accuracy is known. (For example, refer to Patent Document 1).

この画像処理装置は、複数のカメラユニットと、各撮像素子が各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、各光学フィルタは、光学特性が異なる複数のフィルタ領域を有し、画像処理手段は、撮影画像における、各フィルタ領域の光学特性に基づいて画像特性が異なる複数の画像領域毎に、異なる画像処理を行うものである。画像処理装置では、複眼撮像画像を、目的の認識対象ごとに領域分割し、さらに、これらをそれぞれの認識処理に適した画像が撮像できるように光学的に工夫している。これにより、認識すべき対象を整理し、その対象が見えるエリアを画像上で配置設定し、その認識に適した特種光学フィルタを構築し、この特種フィルタの画像特性と認識処理方法に応じて視差計算ロジックのアルゴリズムやパラメータ、さらに、画像間引き率や視差計算実行画素位置検出アルゴリズムを変更することで、誤認識の低減や認識対象の拡大といった性能の向上とともに、処理の高速化も図ることが可能であるとされている。   The image processing apparatus includes a plurality of camera units and an image processing unit that performs image processing on a captured image acquired by each imaging device via each optical filter, and each optical filter has a plurality of optical characteristics different from each other. The image processing means has a filter area, and performs different image processing for each of a plurality of image areas having different image characteristics based on the optical characteristics of each filter area in the captured image. In the image processing apparatus, the compound eye captured image is divided into regions for each target recognition target, and optically devised so that an image suitable for each recognition process can be captured. As a result, the objects to be recognized are arranged, the area where the objects can be seen is arranged and set on the image, a special optical filter suitable for the recognition is constructed, and the parallax according to the image characteristics and the recognition processing method of the special filter By changing the algorithm and parameters of the calculation logic, and the image decimation rate and the parallax calculation execution pixel position detection algorithm, it is possible to improve the performance such as reducing false recognition and expanding the recognition target, and to speed up the processing. It is said that.

特開２０１３−２２５２８９号公報JP 2013-225289 A

特許文献１の画像処理装置では、複眼カメラから入力されるフレーム画像をすべて画像処理し、これに基づいて、画像処理を実行する。したがって、常に画像処理を実行する画像処理制御部の処理負荷が大きいという問題があった。一方、複眼カメラの一方から入力されるフレーム画像を他のフレーム画像の補間用として使用する場合は、認識対象によっては単眼処理だけでも画像認識が可能である。   In the image processing apparatus of Patent Document 1, all frame images input from the compound-eye camera are subjected to image processing, and image processing is executed based on this. Therefore, there is a problem that the processing load of the image processing control unit that always executes image processing is heavy. On the other hand, when a frame image input from one of the compound eye cameras is used for interpolation of another frame image, depending on the recognition target, image recognition can be performed only by monocular processing.

したがって、本発明の目的は、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することにある。   Accordingly, an object of the present invention is to provide an image processing apparatus that can reduce the processing load of the image processing control unit and is excellent in image recognition performance.

［１］上記目的を達成するため、撮像画像を第１フレーム画像として順次出力する第１カメラと、前記撮像画像を第２フレーム画像として順次出力する第２カメラと、前記第１カメラから入力される第１フレーム画像、及び、前記第２カメラから入力される第２フレーム画像に基づいて、画像処理を実行する画像処理制御部と、を有し、前記画像処理制御部は、前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像又は前記第２フレーム画像に基づいて画像処理を実行する第２処理プロセスと、を交互に実行することを特徴とする画像処理装置を提供する。 [1] In order to achieve the above object, a first camera that sequentially outputs a captured image as a first frame image, a second camera that sequentially outputs the captured image as a second frame image, and the first camera are input. An image processing control unit that executes image processing based on a first frame image and a second frame image input from the second camera, wherein the image processing control unit includes the first frame A first processing process that executes image processing based on the image and the second frame image and a second processing process that executes image processing based on the first frame image or the second frame image are executed alternately. An image processing apparatus is provided.

［２］前記画像処理制御部は、前記第１フレーム画像と前記第１フレーム画像の前フレーム画像の認識結果との差に基づいて、前記第２処理プロセスにおいて、前記撮像画像を前記第１フレーム画像のみに基づいて画像処理を実行するか、前記撮像画像を前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行するかを判断することを特徴とする上記［１］に記載の画像処理装置であってもよい。 [2] In the second processing process, the image processing control unit converts the captured image into the first frame based on a difference between the recognition result of the first frame image and the previous frame image of the first frame image. [1] In the above [1], it is determined whether to perform image processing based on only an image or to perform image processing on the captured image based on the first frame image and the second frame image. The image processing apparatus may be used.

［３］また、前記第２フレーム画像は、前記第１フレーム画像の補完用として使用されることを特徴とする特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。 [3] The image processing apparatus according to [1] or [2], wherein the second frame image is used for complementing the first frame image. Good.

［４］また、前記画像処理制御部は、前記第１処理プロセスにおいて、前記第１フレーム画像、前記第２フレーム画像を時系列に処理することを特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。 [4] Further, in the above [1] or [2], the image processing control unit processes the first frame image and the second frame image in time series in the first processing process. The image processing apparatus described may be used.

［５］また、前記画像処理制御部は、マルチコアプロセッサで構成され、前記第１フレーム画像、前記第２フレーム画像を並列処理することを特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。 [5] The image according to [1] or [2], wherein the image processing control unit includes a multi-core processor, and performs parallel processing on the first frame image and the second frame image. It may be a processing device.

本発明の画像処理装置によれば、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することができる。   According to the image processing apparatus of the present invention, it is possible to provide an image processing apparatus that can reduce the processing load of the image processing control unit and is excellent in image recognition performance.

図１は、本発明の画像処理装置の概略構成を示すブロック図の一例を示している。FIG. 1 shows an example of a block diagram showing a schematic configuration of an image processing apparatus of the present invention. 図２（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図２（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図２（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。2 (a) is in an image processing apparatus according to a first embodiment of the present invention, a time series diagram of a first frame image S A input from the first camera to the image processing control unit, FIG. 2 (b) is a time series diagram of a second frame image S B input from the second camera to the image processing control unit, FIG. 2 (c), when indicating the execution state of the processing process of the image processing control unit FIG. 図３は、本発明の第１の実施の形態に係る画像処理装置の動作を示すフローチャートである。FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment of the present invention. 図４（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される（ｎ−１）フレームにおける画像ＳＡ（ｎ−１）の画像の一例であり、図４（ｂ）は、第１カメラから画像処理制御部に入力されるｎフレームにおける第１フレーム画像ＳＡ（ｎ）の画像の一例である。FIG. 4A shows an image S A (n−1) in the (n−1) frame input from the first camera to the image processing control unit in the image processing apparatus according to the first embodiment of the present invention. FIG. 4B is an example of the first frame image S A (n) in n frames input from the first camera to the image processing control unit. 図５は、第１の実施の形態の変形例を示すものである。FIG. 5 shows a modification of the first embodiment. 図６（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される背景画像ＳＡ（０）の画像の一例であり、図６（ｂ）は、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡ（ｎ）の画像の一例であり、図６（ｃ）は、画像処理制御部において差分画像を演算した結果の画像の一例である。FIG. 6A is an example of an image of the background image S A (0) input from the first camera to the image processing control unit in the image processing apparatus according to the first embodiment of the present invention. 6 (b) is an example of an image of the first frame image S A (n) input from the first camera to the image processing control unit, and FIG. 6 (c) is a calculation of a difference image in the image processing control unit. It is an example of the resulting image. 図７（ａ）は、第２カメラから画像処理制御部に入力される背景画像ＳＢ（０）の画像の一例であり、図７（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢ（ｎ）の画像の一例であり、図７（ｃ）は、画像処理制御部において差分画像を演算した結果の画像の一例である。FIG. 7A is an example of an image of the background image S B (0) input from the second camera to the image processing control unit, and FIG. 7B is an input from the second camera to the image processing control unit. it is an example of a second frame image S image B (n) that is, 7 (c) is an example of a result of an image obtained by calculating a difference image in the image processing control unit. 図８（ａ）は、本発明の第２の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図８（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図８（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。8 (a) is a second in the image processing apparatus according to the embodiment, the time series diagram of a first frame image S A input from the first camera to the image processing control unit of the present invention, FIG. 8 (b) is a time series diagram of a second frame image S B input from the second camera to the image processing control unit, FIG. 8 (c), when indicating the execution state of the processing process of the image processing control unit FIG. 図９は、第２の実施の形態の変形例を示すものである。FIG. 9 shows a modification of the second embodiment.

（本発明の第１の実施の形態）
本発明の第１の実施の形態に係る画像処理装置１は、撮像画像を第１フレーム画像ＳＡとして順次出力する第１カメラ１０と、撮像画像を第２フレーム画像ＳＢとして順次出力する第２カメラ２０と、第１カメラ１０から入力される第１フレーム画像ＳＡ、及び、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、画像処理を実行する画像処理制御部３０と、を有し、画像処理制御部３０は、第１フレーム画像ＳＡ及び前記第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡ又は第２フレーム画像ＳＢに基づいて画像処理を実行する第２処理プロセスと、を交互に実行するように構成されている。 (First embodiment of the present invention)
The image processing apparatus 1 according to a first embodiment of the present invention includes a first camera 10 sequentially outputs the captured image as the first frame image S A, first sequentially outputs the captured image as the second frame image S B The image processing control unit 30 that executes image processing based on the second camera 20, the first frame image S A input from the first camera 10, and the second frame image S B input from the second camera 20. The image processing control unit 30 includes a first processing process for executing image processing based on the first frame image S A and the second frame image S B , and the first frame image S A or the second frame image S A. It is configured to perform a second processing process for performing an image processing based on the frame image S B, alternately.

また、画像処理制御部は、第１フレーム画像ＳＡ（ｎ）と第１フレーム画像ＳＡ（ｎ）の前フレーム画像ＳＡ（ｎ―１）の認識結果との差に基づいて、第２処理プロセスにおいて、撮像画像を第１フレーム画像ＳＡ（ｎ）のみに基づいて画像処理を実行するか、撮像画像を第１フレーム画像ＳＡ（ｎ）及び第２フレーム画像ＳＢ（ｎ）に基づいて画像処理を実行するかを判断するように構成されている。 The image processing control unit, on the basis of the difference between the recognition result of the previous frame image S A (n-1) of the first frame image S A (n) and the first frame image S A (n), a second In the processing process, the captured image is processed based on only the first frame image S A (n), or the captured image is converted into the first frame image S A (n) and the second frame image S B (n). Based on this, it is configured to determine whether to execute image processing.

図１は、本発明の画像処理装置の概略構成を示すブロック図の一例を示している。以下、図１により、本発明の画像処理装置の構成を説明する。   FIG. 1 shows an example of a block diagram showing a schematic configuration of an image processing apparatus of the present invention. Hereinafter, the configuration of the image processing apparatus of the present invention will be described with reference to FIG.

（第１カメラ１０、第２カメラ２０）
第１カメラ１０、第２カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。第１カメラ１０、第２カメラ２０は、複数のカメラを配置してほぼ同一の画面を撮像できるように配置する一例であって、３以上のカメラを配置する構成でもよい。この第１カメラ１０、第２カメラ２０は、ほぼ同一の画面を撮像できるように配置され、いわゆる複眼カメラとして機能する。 (First camera 10, second camera 20)
The first camera 10 and the second camera 20 include, for example, a semiconductor imaging device such as a charge coupled device (CCD) and a complementary metal-oxide semiconductor (CMOS). The 1st camera 10 and the 2nd camera 20 are an example arrange | positioned so that a several camera may be arrange | positioned and the substantially the same screen can be imaged, The structure which arrange | positions 3 or more cameras may be sufficient. The first camera 10 and the second camera 20 are arranged so as to capture almost the same screen, and function as a so-called compound eye camera.

第１カメラ１０、第２カメラ２０は、所定の周期Ｔでほぼ同一対象を撮像して、第１フレーム画像ＳＡ、第２フレーム画像ＳＢを出力する。この第１カメラ１０、第２カメラ２０は、複眼カメラとして機能する。ほぼ同一対象を撮像した第１フレーム画像ＳＡ、第２フレーム画像ＳＢは、一方のカメラが他方のカメラを補完することができる。例えば、第２カメラ２０を第１カメラ１０の補完用として使用することにより、第１カメラ１０で捕らえきれなかった対象物を撮像することができる。一方、第１カメラ１０、第２カメラ２０により、奥行き情報を取得することも可能である。 First camera 10, second camera 20 is imaged substantially the same object at a predetermined period T, outputs the first frame image S A, the second frame image S B. The first camera 10 and the second camera 20 function as a compound eye camera. In the first frame image S A and the second frame image S B obtained by capturing substantially the same object, one camera can complement the other camera. For example, by using the second camera 20 as a complement to the first camera 10, it is possible to capture an object that could not be captured by the first camera 10. On the other hand, the depth information can be acquired by the first camera 10 and the second camera 20.

本実施の形態では、第２カメラ２０が第１カメラ１０を補完するものとして説明する。   In the present embodiment, a description will be given assuming that the second camera 20 complements the first camera 10.

（画像処理制御部３０）
画像処理制御部３０は、例えば、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理制御部３０が動作するためのプログラム、フレームと前フレームとの差により画像処理方法を切り替えるための閾値Ｔｈ、画像認識で使用するテンプレートマッチング用のテンプレート３２等が記憶され、必要に応じて参照することができる。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。 (Image processing control unit 30)
The image processing control unit 30 includes, for example, a CPU (Central Processing Unit) that performs operations and processing on acquired image data according to a stored program, a RAM (Random Access Memory) that is a semiconductor memory, and a ROM (Read Only Memory). It is a microcomputer composed of The ROM includes, for example, a program for operating the image processing control unit 30, a threshold Th for switching an image processing method depending on a difference between a frame and a previous frame, a template matching template 32 used for image recognition, and the like. Stored and can be referenced as needed. For example, the RAM is used as a storage area for storing a plurality of pieces of image information, temporary calculation results, and the like. Further, the image processing control unit 30 has a means for generating a clock signal therein, and executes processing based on this clock signal.

第１の実施の形態に係る画像処理装置１の画像処理制御部３０は、ＣＰＵ（Central Processing Unit）が１つのプロセッサを備えたシングルコアプロセッサである。したがって、画像認識等の画像処理においては、各処理プロセスを時系列に処理していく。   The image processing control unit 30 of the image processing apparatus 1 according to the first embodiment is a single core processor in which a CPU (Central Processing Unit) includes one processor. Accordingly, in image processing such as image recognition, each processing process is processed in time series.

図２（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図２（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図２（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。 2 (a) is in an image processing apparatus according to a first embodiment of the present invention, a time series diagram of a first frame image S A input from the first camera to the image processing control unit, FIG. 2 (b) is a time series diagram of a second frame image S B input from the second camera to the image processing control unit, FIG. 2 (c), when indicating the execution state of the processing process of the image processing control unit FIG.

図２（ａ）に示すように、第１カメラ１０で撮像された第１フレーム画像ＳＡ（ｎ）は、時系列に第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。 As shown in FIG. 2A, the first frame images S A (n) captured by the first camera 10 are time-sequentially first frame images S A (1), S A (2), S A. (3),..., S A (n),... Are input to the image processing control unit 30 at a predetermined period T. The first frame images S A (1), S A (2), S A (3),..., S A (n),. 3,..., Frame n,.

また、図２（ｂ）に示すように、第２カメラ２０で撮像された第２フレーム画像ＳＢ（ｎ）は、時系列に第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。 Also, as shown in FIG. 2B, the second frame image S B (n) captured by the second camera 20 is time-sequentially, the second frame images S B (1), S B (2), , S B (3),..., S B (n),... Are input to the image processing control unit 30 at a predetermined period T. The second frame images S B (1), S B (2), S B (3),..., S B (n),. 3,..., Frame n,.

図３は、本発明の第１の実施の形態に係る画像処理装置の動作を示すフローチャートである。また、図４（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力されるフレーム（ｎ−１）における画像ＳＡ（ｎ−１）の画像の一例であり、図４（ｂ）は、第１カメラから画像処理制御部に入力されるフレームｎにおける第１フレーム画像ＳＡ（ｎ）の画像の一例である。 FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment of the present invention. 4A shows an image S A (n−) in the frame (n−1) input from the first camera to the image processing control unit in the image processing apparatus according to the first embodiment of the present invention. 4B is an example of the image of the first frame image S A (n) in the frame n input from the first camera to the image processing control unit.

（画像処理装置１の動作）
画像処理制御部３０は、図２（ａ）、（ｂ）に示したように、第１フレーム画像ＳＡ、第２フレーム画像ＳＢを取得する（Ｓｔｅｐ１）。 (Operation of the image processing apparatus 1)
Image processing control unit 30, FIG. 2 (a), acquires as shown (b), the first frame image S A, the second frame image S B (Step1).

次に、画像処理制御部３０は、第１フレーム画像と第１フレーム画像の前フレーム画像の認識結果との差を算出する。すなわち、図４（ｂ）で示す第１フレーム画像ＳＡ（ｎ）と図４（ａ）で示す前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜を算出する（Ｓｔｅｐ２）。 Next, the image processing control unit 30 calculates a difference between the recognition results of the first frame image and the previous frame image of the first frame image. That is, the difference image Δ = | S between the first frame image S A (n) shown in FIG. 4B and the first frame image S A (n−1) which is the previous frame image shown in FIG. A (n) −S A (n−1) | is calculated (Step 2).

画像処理制御部３０は、差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以上であるかどうかを判断する（Ｓｔｅｐ３）。一例として、各画素の差分の総和を求め、この総和が閾値Ｔｈ以上であるかどうかを判断する。差分画像Δが閾値Ｔｈ以上である場合はＳｔｅｐ４へ進み（Ｓｔｅｐ３：Ｙｅｓ）、差分画像Δが閾値Ｔｈ以上でない場合はＳｔｅｐ５へ進む（Ｓｔｅｐ３：Ｎｏ）。 The image processing control unit 30 determines whether or not the difference image Δ = | S A (n) −S A (n−1) | is equal to or greater than the threshold Th (Step 3). As an example, the sum of the differences of each pixel is obtained, and it is determined whether or not the sum is equal to or greater than a threshold value Th. When the difference image Δ is greater than or equal to the threshold Th, the process proceeds to Step 4 (Step 3: Yes), and when the difference image Δ is not greater than or equal to the threshold Th, the process proceeds to Step 5 (Step 3: No).

画像処理制御部３０は、図２（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する。また、第２処理プロセスである偶数フレームの画像処理も、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて時系列に画像処理を実行する。すなわち、図示したフレーム４のように、差分画像Δが閾値Ｔｈ以上である場合は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて時系列に画像処理が実行される（Ｓｔｅｐ４）。すなわち、差分画像Δが閾値Ｔｈ以上である場合は、変化検出が大きいため、複眼処理が行われる。 As shown in FIG. 2C, the image processing control unit 30 performs image processing based on the first frame image S A and the second frame image S B in the odd-numbered frame image processing that is the first processing process. To do. The image processing even frame a second treatment process also executes image processing in a time series based on the first frame image S A and the second frame image S B. That is, as in the illustrated frame 4, when the difference image Δ is equal to or greater than the threshold Th, image processing is executed in time series based on the first frame image S A and the second frame image S B (Step 4). . That is, when the difference image Δ is equal to or greater than the threshold value Th, change detection is large, and thus compound eye processing is performed.

画像処理制御部３０は、図２（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する。一方、第２処理プロセスである偶数フレームの画像処理は、第１フレーム画像ＳＡのみに基づいて画像処理を実行する。すなわち、図示したフレーム２のように、差分画像Δが閾値Ｔｈ以上でない場合は、第１フレーム画像ＳＡのみに基づいて画像処理が実行される（Ｓｔｅｐ５）。すなわち、差分画像Δが閾値Ｔｈ以上でない場合は、変化検出が小さいため、単眼処理が行われる。 As shown in FIG. 2C, the image processing control unit 30 performs image processing based on the first frame image S A and the second frame image S B in the odd-numbered frame image processing that is the first processing process. To do. On the other hand, the image processing of the even frame is a second processing process performs the image processing based on only the first frame image S A. That is, as the frame 2 shown, if the difference image Δ is less than the threshold value Th, the image processing is performed based on only the first frame image S A (Step5). That is, when the difference image Δ is not greater than or equal to the threshold Th, the change detection is small, and thus monocular processing is performed.

第２カメラ２０は、第１カメラ１０の補完用として使用される構成としているので、第１フレーム画像ＳＡ（ｎ）と前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以下の場合は補完用の第２カメラ２０を使用する必要はない。したがって、第２処理プロセスを第１カメラ１０からの第１フレーム画像ＳＡのみに基づいて画像処理を実行することにより、画像処理制御部３０の処理負荷を低減することができる。 Since the second camera 20 is configured to be used as a complement to the first camera 10, the first frame image S A (n) and the first frame image S A (n−1) which is the previous frame image are used. When the difference image Δ = | S A (n) −S A (n−1) | is equal to or smaller than the threshold Th, it is not necessary to use the second camera 20 for complementation. Therefore, by performing image processing based on the second treatment process only the first frame image S A from the first camera 10, it is possible to reduce the processing load of the image processing control unit 30.

図５は、第１の実施の形態の変形例を示すものである。上記説明した、第１フレーム画像ＳＡ（ｎ）と前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以下の場合に、第２処理プロセスにおいて、前フレームの認識結果を活用するものである。すなわち、図５に示す場合は、第２フレームにおいて、ＳＡ（２）とＳＢ（１）に基づいて画像処理が実行される。この場合は、第２フレーム画像ＳＢ（１）は前フレームの認識結果を活用するので、画像処理制御部３０の処理負荷を低減することができる。 FIG. 5 shows a modification of the first embodiment. The difference image Δ = | S A (n) −S A (n−1) between the first frame image S A (n) described above and the first frame image S A (n−1) as the previous frame image. When | is equal to or smaller than the threshold Th, the recognition result of the previous frame is used in the second processing process. That is, in the case shown in FIG. 5, image processing is executed based on S A (2) and S B (1) in the second frame. In this case, since the second frame image S B (1) uses the recognition result of the previous frame, the processing load on the image processing control unit 30 can be reduced.

（画像認識処理）
図６（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される背景画像ＳＡ（０）の画像の一例であり、図６（ｂ）は、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡ（ｎ）の画像の一例であり、図６（ｃ）は、画像処理制御部において差分画像ΔＡを演算した結果の画像の一例である。また、図７（ａ）は、第２カメラから画像処理制御部に入力される背景画像ＳＢ（０）の画像の一例であり、図７（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢ（ｎ）の画像の一例であり、図７（ｃ）は、画像処理制御部において差分画像ΔＢを演算した結果の画像の一例である。 (Image recognition processing)
FIG. 6A is an example of an image of the background image S A (0) input from the first camera to the image processing control unit in the image processing apparatus according to the first embodiment of the present invention. 6B is an example of an image of the first frame image S A (n) input from the first camera to the image processing control unit, and FIG. 6C illustrates the difference image Δ A in the image processing control unit. It is an example of the image of the result of having calculated. 7A is an example of an image of the background image S B (0) input from the second camera to the image processing control unit, and FIG. 7B is an example of the image processing control unit from the second camera. it is an example of an image of a second frame image S B inputted (n) in FIG. 7 (c) is an example of a result of an image obtained by calculating a difference image delta B in the image processing control unit.

画像処理制御部３０は、図６（ｂ）で示す任意の時間（ｎフレーム目の時間）における第１フレーム画像ＳＡ（ｎ）と、図６（ａ）で示す背景画像ＳＡ（０）との差分画像ΔＡ＝｜ＳＡ（ｎ）―ＳＡ（０）｜を算出する。 The image processing control unit 30 includes the first frame image S A (n) at an arbitrary time (time of the nth frame) shown in FIG. 6B and the background image S A (0) shown in FIG. The difference image Δ A = | S A (n) −S A (0) |

画像処理制御部３０は、この差分画像ΔＡ＝｜ＳＡ（ｎ）―ＳＡ（０）｜に基づいて、一例として、２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図６（ｃ）に示すように、車両１００を抽出する。 For example, the image processing control unit 30 performs binarization processing based on the difference image Δ A = | S A (n) −S A (0) | and performs template matching with reference to the template 32. . Thereby, for example, as shown in FIG. 6C, the vehicle 100 is extracted.

画像処理制御部３０は、同様に、図７（ｂ）で示す任意の時間（ｎフレーム目の時間）における第２フレーム画像ＳＢ（ｎ）と、図７（ａ）で示す背景画像ＳＢ（０）との差分画像ΔＢ＝｜ＳＢ（ｎ）―ＳＢ（０）｜を算出する。 Similarly, the image processing control unit 30 performs the second frame image S B (n) at an arbitrary time (time of the nth frame) shown in FIG. 7B and the background image S B shown in FIG. The difference image Δ B = | S B (n) −S B (0) | from (0) is calculated.

画像処理制御部３０は、この差分画像ΔＢ＝｜ＳＢ（ｎ）―ＳＢ（０）｜に基づいて、一例として、２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図７（ｃ）に示すように、車両１００と歩行者１０１を抽出する。 For example, the image processing control unit 30 performs binarization processing based on the difference image Δ B = | S B (n) −S B (0) |, and then performs template matching with reference to the template 32. . Thereby, for example, as shown in FIG. 7C, the vehicle 100 and the pedestrian 101 are extracted.

画像処理制御部３０は、例えば、差分画像ΔＡと差分画像ΔＢの論理和をとることにより、車両１００及び歩行者１０１を画像認識することができる。このように、第２カメラ２０が第１カメラ１０を補完するものとして機能する。また、差分画像ΔＡと差分画像ΔＢの論理積をとることにより、例えば、ノイズを低減させる等の演算処理を行なうことも可能である。 Image processing control unit 30, for example, by taking the logical sum of the difference image delta A and the difference image delta B, it is possible to image recognition of the vehicle 100 and the pedestrian 101. Thus, the second camera 20 functions as a complement to the first camera 10. Moreover, by taking the logical product of the difference image delta A and the difference image delta B, for example, it is also possible to perform the arithmetic processing such as reducing noise.

（本発明の第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置１の画像処理制御部３０は、例えば、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理制御部３０が動作するためのプログラム、フレームと前フレームとの差により画像処理方法を切り替えるための閾値Ｔｈ、画像認識で使用するテンプレートマッチング用のテンプレート３２等が記憶され、必要に応じて参照することができる。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。 (Second embodiment of the present invention)
The image processing control unit 30 of the image processing apparatus 1 according to the second embodiment of the present invention includes, for example, a CPU (Central Processing Unit) that performs operations and processing on acquired image data in accordance with a stored program, a semiconductor, and the like. The microcomputer includes a RAM (Random Access Memory) and a ROM (Read Only Memory). The ROM includes, for example, a program for operating the image processing control unit 30, a threshold Th for switching an image processing method depending on a difference between a frame and a previous frame, a template matching template 32 used for image recognition, and the like. Stored and can be referenced as needed. For example, the RAM is used as a storage area for storing a plurality of pieces of image information, temporary calculation results, and the like. Further, the image processing control unit 30 has a means for generating a clock signal therein, and executes processing based on this clock signal.

第２の実施の形態に係る画像処理装置１の画像処理制御部３０は、ＣＰＵ（Central Processing Unit）が複数のプロセッサを備えたマルチコアプロセッサである。したがって、画像認識等の画像処理においては、各処理プロセスを並列処理することができる。以下においては、２つのプロセッサを備えたデュアルコアとして説明する。なお、第１の実施の形態と同様の部分は説明を省略する。   The image processing control unit 30 of the image processing apparatus 1 according to the second embodiment is a multi-core processor in which a CPU (Central Processing Unit) includes a plurality of processors. Therefore, in image processing such as image recognition, each processing process can be processed in parallel. In the following description, the dual core including two processors will be described. The description of the same parts as those in the first embodiment is omitted.

図８（ａ）は、本発明の第２の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図８（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図８（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。 8 (a) is a second in the image processing apparatus according to the embodiment, the time series diagram of a first frame image S A input from the first camera to the image processing control unit of the present invention, FIG. 8 (b) is a time series diagram of a second frame image S B input from the second camera to the image processing control unit, FIG. 8 (c), when indicating the execution state of the processing process of the image processing control unit FIG.

図８（ａ）に示すように、第１カメラ１０で撮像された第１フレーム画像ＳＡ（ｎ）は、時系列に第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。 As shown in FIG. 8A, the first frame images S A (n) captured by the first camera 10 are time-sequentially the first frame images S A (1), S A (2), S A. (3),..., S A (n),... Are input to the image processing control unit 30 at a predetermined period T. The first frame images S A (1), S A (2), S A (3),..., S A (n),. 3,..., Frame n,.

また、図８（ｂ）に示すように、第２カメラ２０で撮像された第２フレーム画像ＳＢ（ｎ）は、時系列に第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。 Further, as shown in FIG. 8B, the second frame images S B (n) captured by the second camera 20 are time-sequentially second frame images S B (1), S B (2), , S B (3),..., S B (n),... Are input to the image processing control unit 30 at a predetermined period T. The second frame images S B (1), S B (2), S B (3),..., S B (n),. 3,..., Frame n,.

画像処理制御部３０は、第１の実施の形態と同様に、奇数フレームにおいて、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行し、複眼処理を行なう。図８（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理を実行する。差分画像Δが閾値Ｔｈ以上である場合は、第２処理プロセスである偶数フレームの画像処理も、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理を実行する。すなわち、図示したフレーム４のように、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理が実行され、複眼処理が行われる。 Similarly to the first embodiment, the image processing control unit 30 performs image processing based on the first frame image S A and the second frame image S B in odd frames, and performs compound eye processing. As shown in FIG. 8 (c), the image processing of an odd frame is the first treatment process, parallel to execute image processing based on the first frame image S A and the second frame image S B. When the difference image Δ is equal to or larger than the threshold Th, image processing of the even frame is a second treatment process is also parallel to perform the image processing based on the first frame image S A and the second frame image S B. That is, as in the illustrated frame 4, image processing is executed in parallel based on the first frame image S A and the second frame image S B , and compound eye processing is performed.

また、画像処理制御部３０は、第１の実施の形態と同様に、奇数フレームにおいて、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行し、複眼処理を行なう。図８（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理を実行する。差分画像Δが閾値Ｔｈ以上でない場合は、第２処理プロセスである偶数フレームの画像処理は、第１フレーム画像ＳＡのみに基づいて画像処理を実行する。すなわち、図示したフレーム２のように、第１フレーム画像ＳＡのみに基づいて画像処理が実行され、単眼処理が行われる。 The image processing control unit 30, like the first embodiment, in the odd frame, and executes the image processing based on the first frame image S A and the second frame image S B, performs the compound eye treatment. As shown in FIG. 8 (c), the image processing of an odd frame is the first treatment process, parallel to execute image processing based on the first frame image S A and the second frame image S B. When the difference image Δ is less than the threshold Th, image processing of the even frame is a second processing process performs the image processing based on only the first frame image S A. That is, as the frame 2 shown, the image processing is performed based only on the first frame image S A, monocular processing.

図９は、第２の実施の形態の変形例を示すものである。上記説明した、第１フレーム画像ＳＡ（ｎ）と前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以下の場合に、第２処理プロセスにおいて、前フレームの認識結果を活用するものである。すなわち、図９に示す場合は、第２フレームにおいて、ＳＡ（２）とＳＢ（１）に基づいて画像処理が実行される。この場合は、第２フレーム画像ＳＢ（１）は前フレームの認識結果を活用するので、画像処理制御部３０の処理負荷を低減することができる。 FIG. 9 shows a modification of the second embodiment. The difference image Δ = | S A (n) −S A (n−1) between the first frame image S A (n) described above and the first frame image S A (n−1) as the previous frame image. When | is equal to or smaller than the threshold Th, the recognition result of the previous frame is used in the second processing process. That is, in the case shown in FIG. 9, image processing is executed based on S A (2) and S B (1) in the second frame. In this case, since the second frame image S B (1) uses the recognition result of the previous frame, the processing load on the image processing control unit 30 can be reduced.

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）第１の実施の形態に係る画像処理装置は、画像処理制御部３０において、第１フレーム画像ＳＡ（ｎ）と第１フレーム画像ＳＡ（ｎ）の前フレーム画像ＳＡ（ｎ―１）の認識結果との差に基づいて、第２処理プロセスにおいて、撮像画像を第１フレーム画像ＳＡ（ｎ）のみに基づいて画像処理を実行するか、撮像画像を第１フレーム画像ＳＡ（ｎ）及び第２フレーム画像ＳＢ（ｎ）に基づいて画像処理を実行するかを判断する。これにより、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することができる。
（２）第２の実施の形態に係る画像処理装置は、画像処理制御部３０のＣＰＵを複数のプロセッサを備えたマルチコアとする。これにより、第１の実施の形態の効果に加えて、撮像画像を第１フレーム画像ＳＡ（ｎ）及び第２フレーム画像ＳＢ（ｎ）に基づいて並列的に画像処理を実行する場合に、各フレームの期間Ｔを短くした画像認識が可能となる。これにより、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することができる。 (Effect of embodiment)
The embodiment of the present invention has the following effects.
(1) In the image processing apparatus according to the first embodiment, the image processing control unit 30 uses the first frame image S A (n) and the previous frame image S A (n) of the first frame image S A (n). Based on the difference from the recognition result of 1), in the second processing process, the captured image is processed based only on the first frame image S A (n), or the captured image is converted to the first frame image S. It is determined whether to execute image processing based on A (n) and the second frame image S B (n). Thereby, the processing load of an image processing control part can be reduced, and the image processing apparatus excellent in image recognition performance can be provided.
(2) In the image processing apparatus according to the second embodiment, the CPU of the image processing control unit 30 is a multi-core including a plurality of processors. Thereby, in addition to the effect of the first embodiment, when the captured image is subjected to image processing in parallel based on the first frame image S A (n) and the second frame image S B (n). Thus, it is possible to perform image recognition in which the period T of each frame is shortened. Thereby, the processing load of an image processing control part can be reduced, and the image processing apparatus excellent in image recognition performance can be provided.

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。   As mentioned above, although some embodiment and modification of this invention were demonstrated, these embodiment and modification are only examples, and do not limit the invention based on a claim.

例えば、カメラの数は２つとして説明したがこれに限定されない。また、偶数フレームを複眼処理、奇数フレームを単眼処理としてもよい。   For example, although the number of cameras has been described as two, the present invention is not limited to this. Further, even-numbered frames may be compound-eye processing and odd-numbered frames may be monocular processing.

また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   These novel embodiments and modifications can be implemented in various other forms, and various omissions, replacements, changes, and the like can be made without departing from the scope of the present invention. it can. In addition, not all combinations of features described in these embodiments and modifications are necessarily essential to the means for solving the problems of the invention. Furthermore, these embodiments and modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１…画像処理装置
１０…第１カメラ
２０…第２カメラ
３０…画像処理制御部
３２…テンプレート
１００…車両
１０１…歩行者 DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 10 ... 1st camera 20 ... 2nd camera 30 ... Image processing control part 32 ... Template 100 ... Vehicle 101 ... Pedestrian

Claims (5)

撮像画像を第１フレーム画像として順次出力する第１カメラと、
前記撮像画像を第２フレーム画像として順次出力する第２カメラと、
前記第１カメラから入力される第１フレーム画像、及び、前記第２カメラから入力される第２フレーム画像に基づいて、画像処理を実行する画像処理制御部と、を有し、
前記画像処理制御部は、前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像又は前記第２フレーム画像に基づいて画像処理を実行する第２処理プロセスと、を交互に実行することを特徴とする画像処理装置。 A first camera that sequentially outputs captured images as first frame images;
A second camera that sequentially outputs the captured image as a second frame image;
An image processing control unit that executes image processing based on a first frame image input from the first camera and a second frame image input from the second camera;
The image processing control unit executes a first processing process for executing image processing based on the first frame image and the second frame image, and performs image processing based on the first frame image or the second frame image. And an image processing apparatus that alternately executes the second processing process. 前記画像処理制御部は、前記第１フレーム画像と前記第１フレーム画像の前フレーム画像の認識結果との差に基づいて、前記第２処理プロセスにおいて、前記撮像画像を前記第１フレーム画像のみに基づいて画像処理を実行するか、前記撮像画像を前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行するかを判断することを特徴とする請求項１に記載の画像処理装置。   The image processing control unit determines that the captured image is only the first frame image in the second processing process based on a difference between the recognition result of the first frame image and the previous frame image of the first frame image. 2. The image processing apparatus according to claim 1, wherein image processing is performed based on whether the captured image is to be processed based on the first frame image and the second frame image. . 前記第２フレーム画像は、前記第１フレーム画像の補完用として使用されることを特徴とする請求項１又は２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the second frame image is used for complementing the first frame image. 前記画像処理制御部は、前記第１処理プロセスにおいて、前記第１フレーム画像、前記第２フレーム画像を時系列に処理することを特徴とする請求項１又は２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image processing control unit processes the first frame image and the second frame image in time series in the first processing process. 前記画像処理制御部は、マルチコアプロセッサで構成され、前記第１フレーム画像、前記第２フレーム画像を並列処理することを特徴とする請求項１又は２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image processing control unit includes a multi-core processor, and performs parallel processing on the first frame image and the second frame image.
JP2016093641A 2016-05-09 2016-05-09 Image processing apparatus Pending JP2017204016A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016093641A JP2017204016A (en) 2016-05-09 2016-05-09 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016093641A JP2017204016A (en) 2016-05-09 2016-05-09 Image processing apparatus

Publications (1)

Publication Number Publication Date
JP2017204016A true JP2017204016A (en) 2017-11-16

Family

ID=60322276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016093641A Pending JP2017204016A (en) 2016-05-09 2016-05-09 Image processing apparatus

Country Status (1)

Country Link
JP (1) JP2017204016A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510122B1 (en) * 2021-11-24 2023-03-15 (주)카네비모빌리티 Vision-based real-time vehicle detection, tracking method for forward collision warning and apparatus therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510122B1 (en) * 2021-11-24 2023-03-15 (주)카네비모빌리티 Vision-based real-time vehicle detection, tracking method for forward collision warning and apparatus therefor

Similar Documents

Publication Publication Date Title
CN108352074B (en) Image processing system and method for optical flow estimation
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
KR102399017B1 (en) Method of generating image and apparatus thereof
KR102483641B1 (en) Method and apparatus for processing binocular image
JP5919538B2 (en) Object detection apparatus and object detection method
EP3683764A1 (en) Image generation device and image generation method
JP2015177300A (en) Image recognition apparatus and image recognition method
JP2017129788A5 (en)
US20170099438A1 (en) Image processing apparatus and method
JP2021170284A (en) Information processing device and program
US9883096B2 (en) Focus detection apparatus and control method thereof
JP2017072913A5 (en)
JP2017204016A (en) Image processing apparatus
JP2010102568A (en) Information processing apparatus
JP7401246B2 (en) Imaging device, method of controlling the imaging device, and program
US10880457B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
WO2018037479A1 (en) Image processing device, stereo camera device, and image processing method
JP2021108022A5 (en)
KR101681197B1 (en) Method and apparatus for extraction of depth information of image using fast convolution based on multi-color sensor
EP3494545B1 (en) Methods and apparatus for codeword boundary detection for generating depth maps
JP2017199174A (en) Image processing device
JP6173199B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US10026181B2 (en) Method and apparatus for detecting object
JP2018206063A (en) Image recognition device and image recognition method
RU2541855C1 (en) Apparatus for determining outlines of objects on image