JP2001155154A - Method for processing stereo image picked up by image pickup device mounted on mobile object and device for executing this method - Google Patents
Method for processing stereo image picked up by image pickup device mounted on mobile object and device for executing this methodInfo
- Publication number
- JP2001155154A JP2001155154A JP33576399A JP33576399A JP2001155154A JP 2001155154 A JP2001155154 A JP 2001155154A JP 33576399 A JP33576399 A JP 33576399A JP 33576399 A JP33576399 A JP 33576399A JP 2001155154 A JP2001155154 A JP 2001155154A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- unit
- imaging
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 63
- 238000000605 extraction Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 238000012907 on board imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、移動体搭載撮像
装置の撮像ステレオ画像処理方法およびこの方法を実施
する装置に関し、特に、無人搬送車、自立走行車の如き
移動体の搭載する撮像装置の撮像ステレオ画像処理方法
およびこの方法を実施する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereo image processing method for an imaging device mounted on a moving object and an apparatus for implementing the method, and more particularly to an imaging device mounted on a moving object such as an automatic guided vehicle or a self-supporting vehicle. The present invention relates to a captured stereo image processing method and an apparatus for implementing the method.
【０００２】[0002]
【従来の技術】従来例を図６および図７を参照して説明
する。図６は撮像装置の一般的なステレオ視配置の仕方
を示す図である。図７は移動体搭載撮像装置の撮像ステ
レオ画像処理装置の従来例を説明するブロック図であ
る。図６を参照するに、一般に、第１の撮像装置１ａお
よび第２の撮像装置１ｂより成る２台の撮像装置は図示
される如く横方向であるｙ方向に整列して設置されると
共に、撮像装置の光軸は互いに平行に設定される。2. Description of the Related Art A conventional example will be described with reference to FIGS. FIG. 6 is a diagram showing a general stereoscopic arrangement of the imaging apparatus. FIG. 7 is a block diagram illustrating a conventional example of an image pickup stereo image processing apparatus of a mobile object image pickup apparatus. Referring to FIG. 6, generally, two imaging devices including a first imaging device 1a and a second imaging device 1b are arranged in a horizontal direction y as shown in FIG. The optical axes of the devices are set parallel to each other.
【０００３】図７を参照するに、移動体搭載撮像装置の
撮像ステレオ画像処理装置は、移動体に設置した第１の
撮像装置１ａおよび第２の撮像装置１ｂより成る２台の
撮像装置により、走行面を含む移動体の進行方向の対象
物の画像を取り込む。これら２台の撮像装置により取り
込まれた画像をそれぞれの画像メモリ部である第１の画
像メモリ部２ａおよび第２の画像メモリ部２ｂに蓄積す
る。第１の画像メモリ部２ａおよび第２の画像メモリ部
２ｂに蓄積された左右両画像は視差計算部３に送り込ま
れ、ここにおいて画像間の視差が抽出される。視差計算
部３において計算抽出された視差は、距離計算部４に入
力される。距離計算部４は、入力された視差に基づいて
進行方向の対象物に到る距離情報を得ていた。この距離
情報を使用して、進行方向前方に存在する障害物検出、
対象物に到る位置検出を実施し、移動体誘導に必要な情
報を得ていた。Referring to FIG. 7, an image pickup stereo image processing apparatus of a moving object mounted image pickup apparatus is composed of two image pickup devices including a first image pickup device 1a and a second image pickup device 1b installed on a moving object. An image of an object in a traveling direction of a moving object including a running surface is captured. Images captured by these two imaging devices are stored in a first image memory unit 2a and a second image memory unit 2b, which are image memory units. The left and right images stored in the first image memory unit 2a and the second image memory unit 2b are sent to the parallax calculation unit 3, where the parallax between the images is extracted. The parallax calculated and extracted by the parallax calculator 3 is input to the distance calculator 4. The distance calculation unit 4 has obtained distance information that reaches the target in the traveling direction based on the input parallax. Using this distance information, detection of obstacles existing ahead in the traveling direction,
The system detects the position of the object and obtains information necessary for guiding the moving object.
【０００４】２台の撮像装置による視差は、一般に、画
像内全体或は画像内に設定した領域内で画像輝度分布に
対する２次元相互相関演算を実施することにより得るこ
とができる。ところが、図６に示される２台の撮像装置
についてみると、２台の撮像装置間のアライメントをと
ることにより、２次元相互相関演算を実施することなし
に、１次元相互相関演算を実施することで事足りること
になる。１次元相互相関演算の例を式（１）に示す。[0004] Parallax between two imaging devices can generally be obtained by performing a two-dimensional cross-correlation operation on the image luminance distribution in the entire image or in a region set in the image. However, regarding the two imaging devices shown in FIG. 6, by performing alignment between the two imaging devices, it is possible to perform the one-dimensional cross-correlation operation without performing the two-dimensional cross-correlation operation. That's enough. Equation (1) shows an example of the one-dimensional cross-correlation operation.
【０００５】 ＣＣ（τ）＝Σn i=-n｛Ｉ1（ｘ1＋ｉ，ｙ1）・Ｉ2（ｘ2＋ｉ＋τ，ｙ2）｝／√ ｛Σn i=-nＩ1 2（ｘ1＋ｉ，ｙ1）・Σn i=-nＩ2 2（ｘ2＋ｉ，ｙ2）｝・・・式（１） ここで、ｎ：相互相関をとる局所領域のサイズ Ｉ1：撮像装置１ａの撮像画像 Ｉ2：撮像装置１ｂの撮像画像 ｘ：ｘ座標値 ｙ：ｙ座標値 τ：相関距離 ところで、式（１）を一見しただけで、相関演算は一般
に膨大な演算量を必要とするものと類推されるので、こ
の視差計算はその相互相関演算を実施する領域を如何に
小さく限定するかにより、演算量が大きく左右される。[0005] CC (τ) = = Σ n i -n {I 1 (x 1 + i, y 1) · I 2 (x 2 + i + τ, y 2)} / √ {Σ n i = -n I 1 2 ( x 1 + i, y 1 ) Σ {n i = −n I 2 2 (x 2 + i, y 2 )} Equation (1) where n: size of a local area for cross-correlation I 1 : imaging I 2 : Image picked up by image pickup device 1b X: x coordinate value y: y coordinate value τ: correlation distance By the way, correlation operation generally requires an enormous amount of calculation just by looking at equation (1). Therefore, the amount of calculation of the parallax calculation largely depends on how small the area in which the cross-correlation calculation is performed is limited.
【０００６】[0006]
【発明が解決しようとする課題】この発明は、視差計算
に際して相互相関演算を実施する領域を効率的に狭める
ことにより、視差計算の演算処理量を大きく減少せしめ
る、上述の問題を解消した移動体搭載撮像装置の撮像ス
テレオ画像処理方法およびこの方法を実施する装置を提
供するものである。SUMMARY OF THE INVENTION According to the present invention, there is provided a moving object which solves the above-mentioned problem, in which a region for performing a cross-correlation calculation in a parallax calculation is efficiently narrowed, thereby greatly reducing a calculation processing amount of the parallax calculation. An object of the present invention is to provide a method for processing a captured stereo image of an on-board imaging device and an apparatus for implementing the method.
【０００７】[0007]
【課題を解決するための装置】請求項１：移動体の進行
方向の画像を取り込む１組の撮像装置１ａ、１ｂを移動
体に搭載し、撮像装置の撮像した画像の内の類似する色
相が作り出す部分領域９０、９１、９２の面積を計算
し、処理対象画像の面積の或る一定値以上の割合を占め
る部分領域９１、９２に対応する画像データを全処理対
象画像の画像データから除去して視差計算を実施する移
動体搭載撮像装置の撮像ステレオ画像処理方法を構成し
た。A set of image pickup devices 1a and 1b for capturing an image in the traveling direction of a moving object is mounted on the moving object, and a similar hue in the image picked up by the image pickup device is obtained. The areas of the partial regions 90, 91, and 92 to be created are calculated, and the image data corresponding to the partial regions 91, 92 occupying a certain ratio or more of the area of the image to be processed is removed from the image data of all the images to be processed. Thus, an imaging stereo image processing method for a moving object mounted imaging apparatus that performs parallax calculation is configured.
【０００８】そして、請求項２：請求項１に記載される
移動体搭載撮像装置の撮像ステレオ画像処理方法におい
て、撮像装置の撮像した画像の内の一部のみを撮像ステ
レオ画像の処理領域として設定する撮像ステレオ画像処
理方法を構成した。ここで、請求項３：移動体に搭載し
た移動体進行方向の画像を取り込む第１の撮像装置１ａ
および第２の撮像装置１ｂを具備し、第１の撮像装置お
よび第２の撮像装置により取り込まれた画像データを蓄
積する各撮像装置に対応する第１の画像メモリ部２ａと
第２の画像メモリ部２ｂを具備し、第１の画像メモリ部
或いは第２の画像メモリ部から入力される画像データに
ついて色相値を抽出する各画像メモリ部に対応する第１
の色相抽出部５ａと第２の色相抽出部５ｂを具備し、第
１の色相抽出部或は第２の色相抽出部の抽出出力に基づ
いて類似する色相が作り出す部分領域の面積を計算し、
面積が或る一定値以上の部分領域の画素の座標を登録す
る各色相抽出部に対応する第１の領域計算部６ａと第２
の領域計算部６ｂを具備し、第１の画像メモリ部或は第
２の画像メモリ部から画像データを入力すると共に対応
する第１の領域計算部或は第２の領域計算部に登録され
る面積が或る一定値以上の部分領域の画素の座標を入力
し、画像データから当該部分領域の座標に対応する画像
データを除去する対応する第１の領域抽出部７ａと第２
の領域抽出部７ｂを具備し、第１の領域抽出部および第
２の領域抽出部の出力する画像データを入力して両画像
間の視差を抽出する視差計算部３を具備する移動体搭載
撮像装置の撮像ステレオ画像処理装置を構成した。According to a second aspect of the present invention, in the imaging stereo image processing method for a moving object mounted imaging apparatus, only a part of an image captured by the imaging apparatus is set as a processing area of the captured stereo image. The imaging stereo image processing method is constructed. Here, the third imaging device 1a captures an image in the traveling direction of the moving object mounted on the moving object.
A first image memory unit 2a and a second image memory corresponding to each of the imaging devices that includes the first and second imaging devices and stores image data captured by the first and second imaging devices. A first unit corresponding to each image memory unit for extracting a hue value from image data input from the first image memory unit or the second image memory unit;
Hue extraction unit 5a and second hue extraction unit 5b, and calculates the area of a partial region created by similar hues based on the extraction output of the first hue extraction unit or the second hue extraction unit,
A first area calculation unit 6a corresponding to each hue extraction unit for registering the coordinates of the pixels of the partial area whose area is equal to or greater than a certain value, and a second area calculation unit
And the image data is input from the first image memory unit or the second image memory unit and registered in the corresponding first area calculation unit or second area calculation unit. A corresponding first area extracting unit 7a and a second area extracting unit 7a for inputting the coordinates of pixels of a partial area having an area equal to or greater than a certain value and removing image data corresponding to the coordinates of the partial area from the image data
Moving-body-mounted imaging, including a region extracting unit 7b, and a parallax calculating unit 3 that receives image data output from the first region extracting unit and the second region extracting unit and extracts parallax between the two images. An imaging stereo image processing apparatus of the apparatus was configured.
【０００９】そして、請求項４：請求項３に記載される
移動体搭載撮像装置の撮像ステレオ画像処理装置におい
て、撮像装置は撮像した画像の内の一部のみを撮像ステ
レオ画像の処理領域として設定する構成を有するもので
ある移動体搭載撮像装置の撮像ステレオ画像処理装置を
構成した。また、請求項５：請求項３および請求項４の
内の何れかに記載される移動体搭載撮像装置の撮像ステ
レオ画像処理装置において、領域抽出部７ａ、７ｂは一
定値を３０％に設定した移動体搭載撮像装置の撮像ステ
レオ画像処理装置を構成した。According to a fourth aspect of the present invention, in the imaging stereo image processing apparatus of the moving body mounted imaging apparatus according to the third aspect, the imaging apparatus sets only a part of the captured image as a processing area of the captured stereo image. An image pickup stereo image processing apparatus of a moving object mounted image pickup apparatus having the configuration described above. According to a fifth aspect of the present invention, in the imaging stereo image processing apparatus of the moving body mounted imaging apparatus according to any one of the third and fourth aspects, the region extracting units 7a and 7b set a constant value to 30%. An imaging stereo image processing device of the imaging device mounted on a moving body is configured.
【００１０】更に、請求項６：請求項３ないし請求項５
の内の何れかに記載される移動体搭載撮像装置の撮像ス
テレオ画像処理装置において、視差計算部３において計
算抽出された視差を入力して距離情報を得る距離計算部
４を具備する移動体搭載撮像装置の撮像ステレオ画像処
理装置を構成した。Further, claim 6: claims 3 to 5
In the imaging stereo image processing apparatus for a moving body mounted imaging device described in any one of the above, a moving body mounted with a distance calculating unit 4 which obtains distance information by inputting the parallax calculated and extracted by the parallax calculating unit 3. An imaging stereo image processing device of the imaging device was configured.
【００１１】[0011]
【発明の実施の形態】この発明の実施の形態を図１を参
照して説明する。図１は移動体搭載撮像装置の撮像ステ
レオ画像処理装置の実施例のブロック図である。図１に
おいて、移動体に設置した第１の撮像装置１ａおよび第
２の撮像装置１ｂより成る２台の撮像装置により、走行
面を含む移動体の進行方向の対象物の画像を取り込む。
第１の撮像装置１ａおよび第２の撮像装置１ｂにより撮
像された画像は、ＲＧＢの３原色に分解したカラーの画
像データとしてそれぞれの画像メモリ部２ａ或いは画像
メモリ部２ｂに蓄積される。移動体の場合、図２に示さ
れる如く未処理領域８を除外して処理領域９を設定する
ことにより、全体としての演算処理量を低減することが
できる。An embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram of an embodiment of an image pickup stereo image processing apparatus of a mobile object image pickup apparatus. In FIG. 1, an image of an object in a traveling direction of a moving object including a running surface is captured by two imaging devices including a first imaging device 1 a and a second imaging device 1 b installed on the moving object.
Images captured by the first imaging device 1a and the second imaging device 1b are stored in the respective image memory units 2a or 2b as color image data separated into three primary colors of RGB. In the case of a moving object, as shown in FIG. 2, by setting the processing area 9 excluding the unprocessed area 8, it is possible to reduce the amount of arithmetic processing as a whole.
【００１２】ここで、第１の画像メモリ部２ａおよび第
２の画像メモリ部２ｂに蓄積された各画像データは各々
の色相抽出部である第１の色相抽出部５ａ或は第２の色
相抽出部５ｂに供給されると共に、後で説明される第１
の領域抽出部７ａおよび第２の領域抽出部７ｂにも供給
される。これら第１の色相抽出部５ａおよび第２の色相
抽出部５ｂは、下記の式（２）を使用し、各々の画像メ
モリ部である第１の画像メモリ部２ａ或いは第２の画像
メモリ部２ｂに蓄積される画像データに基づいて、色相
データＨを求める。色相データＨの値は、０〜２πの値
を取る。Here, each image data stored in the first image memory unit 2a and the second image memory unit 2b is stored in the first hue extraction unit 5a or the second hue extraction unit, which is a hue extraction unit. 1b, which is supplied to the section 5b and described later.
Are also supplied to the region extraction unit 7a and the second region extraction unit 7b. The first hue extraction unit 5a and the second hue extraction unit 5b use the following equation (2), and use the first image memory unit 2a or the second image memory unit 2b as each image memory unit. The hue data H is obtained based on the image data stored in the. The value of the hue data H takes a value of 0 to 2π.
【００１３】 Ｈ＝ｔａｎ-1｛３1/2（ｇ−ｂ）｝／｛（ｒ−ｇ）＋（ｒ−ｂ）｝・・・式（２） 式（２）において、Ｒ、Ｇ、Ｂは先の３原色に分解した
カラーデータの各値であり、それぞれの出力画素値を８
ビットで表示した場合は、０〜２５５の値をとる。ここ
で、 ｒ＝Ｒ／２５５、ｇ＝Ｇ／２５５、ｂ＝Ｂ／２５５ Ｒ：撮像装置の赤色出力画素値（８ビット表示の場合：
０〜２５５の値） Ｇ：撮像装置の緑色出力画素値（８ビット表示の場合：
０〜２５５の値） Ｂ：撮像装置の青色出力画素値（８ビット表示の場合：
０〜２５５の値） ｒ：Ｒ出力画素値を規格化した値 ｇ：Ｇ出力画素値を規格化した値 ｂ：Ｂ出力画素値を規格化した値 第１の色相抽出部５ａおよび第２の色相抽出部５ｂの抽
出した抽出出力である色相データＨは、各々の領域計算
部である第１の領域計算部６ａ或は第２の領域計算部６
ｂに供給される。図３を参照するに、第１の領域計算部
６ａおよび第２の領域計算部６ｂはこれら抽出出力に基
づいて、色相が類似する多数の画素が作り出す部分領域
９０、９１、９２の面積を計算する。この面積の計算
は、実際はこの面積に比例する当該色相の画素の画素数
を数える。そして、画素数が或る一定値以上の部分領域
９１、９２について、これらの画素の座標を登録する。
第１の領域計算部６ａおよび第２の領域計算部６ｂは、
ここに登録された面積が或る一定値以上の部分領域９
１、９２の画素の座標を各々の領域抽出部である第１の
領域抽出部７ａ或は第２の領域抽出部７ｂに供給する。H = tan −1 {3 1/2 (g−b)} / {(r−g) + (rb)} Expression (2) In Expression (2), R, G, B is each value of the color data separated into the three primary colors, and each output pixel value is 8
When represented by bits, the value takes a value from 0 to 255. Here, r = R / 255, g = G / 255, b = B / 255 R: Red output pixel value of the imaging device (for 8-bit display:
G: Green output pixel value of the imaging device (8-bit display:
B: Blue output pixel value of the imaging device (8-bit display:
R: a value obtained by normalizing the R output pixel value g: a value obtained by standardizing the G output pixel value b: A value obtained by standardizing the B output pixel value The first hue extraction unit 5a and the second The hue data H, which is the extracted output extracted by the hue extraction unit 5b, is used as the first area calculation unit 6a or the second area calculation unit 6 as each area calculation unit.
b. Referring to FIG. 3, the first area calculator 6a and the second area calculator 6b calculate the areas of the partial areas 90, 91, and 92 generated by a number of pixels having similar hues based on the extracted output. I do. The calculation of the area counts the number of pixels of the hue that is actually proportional to the area. Then, the coordinates of these pixels are registered for the partial regions 91 and 92 whose number of pixels is equal to or more than a certain fixed value.
The first area calculation unit 6a and the second area calculation unit 6b
Partial area 9 whose area registered here is a certain value or more
The coordinates of the 1, 92 pixels are supplied to the first area extraction unit 7a or the second area extraction unit 7b, which is each area extraction unit.
【００１４】第１の領域抽出部７ａおよび第２の領域抽
出部７ｂには、上述した通り、それぞれの第１の画像メ
モリ部２ａ或は第２の画像メモリ部２ｂから画像データ
が入力される。ここで、第１の領域抽出部７ａおよび第
２の領域抽出部７ｂは、各々の領域計算部である第１の
領域計算部６ａ或は第２の領域計算部６ｂから、登録さ
れた面積が或る一定値以上の部分領域９１、９２の画素
の座標を入力し、画像メモリ部から入力される画像デー
タからこの部分領域９１、９２の座標に対応する画像デ
ータを除去する。この場合、一定値は処理領域９全体の
面積の３０％近傍に設定する。図４を参照するに、或る
部分領域の構成画素数をカウントする。ここで、ｘは類
似する色相範囲を規定する許容値である。カウント数が
（０. ３×処理領域カウント数）より大である場合、当
該部分領域に対応する画素データを消去する。以上の大
小関係が逆の場合、当該部分領域を捨てて次の色相値
ｈ’＝ｈ＋ｘについて、同様に検索を実施する。以上の
処理を全色相値０〜２πについて実施する。As described above, image data is input from the first image memory 2a or the second image memory 2b to the first area extractor 7a and the second area extractor 7b. . Here, the first area extraction unit 7a and the second area extraction unit 7b each have a registered area from the first area calculation unit 6a or the second area calculation unit 6b which is an area calculation unit. The coordinates of the pixels of the partial areas 91 and 92 having a certain value or more are input, and the image data corresponding to the coordinates of the partial areas 91 and 92 is removed from the image data input from the image memory unit. In this case, the fixed value is set near 30% of the entire area of the processing region 9. Referring to FIG. 4, the number of pixels constituting a certain partial area is counted. Here, x is an allowable value that defines a similar hue range. If the count is larger than (0.3 × count of processing area), the pixel data corresponding to the partial area is erased. When the magnitude relation is reversed, the partial area is discarded, and a search is similarly performed for the next hue value h ′ = h + x. The above processing is performed for all hue values 0 to 2π.
【００１５】第１の領域抽出部７ａおよび第２の領域抽
出部７ｂは、類似する色相の大面積の部分領域９１、９
２に対応する画像データを除去した後の画像データを視
差計算部３に送り込む。視差計算部３は、送り込まれた
類似する色相の大面積の部分領域９１、９２に対応する
画像データを除去した後の両画像データに基づいて、両
画像間の視差を計算する。視差計算部３において計算抽
出された視差は、距離計算部４に入力される。距離計算
部４は入力された視差に基づいて進行方向の対象物に到
る距離情報を得る。この距離情報を使用して、進行方向
前方に存在する障害物検出、対象物に到る位置検出を実
施する。The first area extracting section 7a and the second area extracting section 7b provide large area partial areas 91 and 9 having similar hues.
The image data from which the image data corresponding to 2 has been removed is sent to the parallax calculation unit 3. The parallax calculation unit 3 calculates the parallax between the two images based on the two image data after removing the image data corresponding to the sent large-area partial regions 91 and 92 of similar hues. The parallax calculated and extracted by the parallax calculator 3 is input to the distance calculator 4. The distance calculation unit 4 obtains distance information reaching the target in the traveling direction based on the input parallax. Using this distance information, an obstacle existing ahead in the traveling direction and a position reaching the target are detected.
【００１６】図５を参照するに、視差計算部３に入力さ
れる視差計算の対象となる画像データは、類似する色相
の部分領域９０、９１、９２の内の大面積の部分領域９
１、９２の画像データを除去した残余の部分領域９０の
画像データである。視差計算部３は、この残余の部分領
域９０の画像データについてのみ視差計算処理を実施す
ることとなるので、処理領域９全体の全画像データにつ
いて視差計算処理を実施する場合と比較して、視差計算
量を大きく削減することができる。Referring to FIG. 5, image data to be input to the parallax calculating unit 3 for parallax calculation includes a partial area 9 having a large area among the partial areas 90, 91 and 92 having similar hues.
This is the image data of the remaining partial area 90 from which the image data 1 and 92 have been removed. Since the parallax calculation unit 3 performs the parallax calculation processing only on the image data of the remaining partial area 90, the parallax calculation processing is performed in comparison with the case where the parallax calculation processing is performed on all the image data of the entire processing area 9. The amount of calculation can be greatly reduced.
【００１７】距離計算部４は、周知慣用の計算式（３）
を使用して距離計算を実施する。 ｄ＝ｆＤ／Δｐ・・・・・・・・式（３） ここで、ｄ：測定対象に到る距離 ｆ：撮像装置の焦点距離 Ｄ：撮像装置の間の距離 Δｐ:２画像間の視差The distance calculation unit 4 calculates a well-known formula (3).
Perform distance calculation using. d = fD / Δp (3) where d: distance to the object to be measured f: focal length of the imaging device D: distance between the imaging devices Δp: disparity between two images
【００１８】[0018]
【発明の効果】以上の通りであって、この発明に依れ
ば、移動体の進行方向の画像を取り込む１組の撮像装置
を移動体に搭載し、撮像装置の撮像した画像の内の類似
する色相が作り出す部分領域の面積を計算し、処理対象
画像の面積の或る一定値以上の割合を占める部分領域９
１、９２に対応する画像データを全処理対象画像の画像
データから除去して視差計算を実施することにより、視
差計算部３に入力される視差計算の対象となる画像デー
タは、処理領域９全体の全画像データについて視差計算
処理を実施する場合と比較して大きく減少し、視差計算
部３の視差計算量を大きく削減することができる。As described above, according to the present invention, a set of imaging devices for capturing an image in the traveling direction of a moving object is mounted on the moving object, and similar images among images picked up by the imaging device are mounted. The area of the partial area created by the hue to be calculated is calculated, and the partial area 9 occupying a ratio of a certain value or more to the area of the processing target image is calculated.
By removing the image data corresponding to the image data 1 and 92 from the image data of all the processing target images and performing the parallax calculation, the image data to be input to the parallax calculation unit 3 and subjected to the parallax calculation becomes the entire processing area 9. The parallax calculation processing is greatly reduced as compared with the case where the parallax calculation processing is performed for all the image data, and the parallax calculation amount of the parallax calculation unit 3 can be significantly reduced.
【００１９】撮像装置を搭載した移動体を建造物屋内の
床面を走行せしめて進行方向の障害物を検出する場合、
建造物屋内の床面および側面が色彩的に単調で面積の大
きな部分領域９１、９２として抽出される。建造物屋内
の床面の走行においては、これら部分領域９１、９２は
経験上床面或いは側壁面であるものと類推することがで
きる。従って、これらの部分領域９１、９２を除外して
障害物の検出を実施しても何等の不都合も生ぜず、この
大面積の部分領域９１、９２を視差計算から除外するこ
とにより、視差計算量を大きく削減することができる。When a moving object equipped with an image pickup device is caused to travel on a floor inside a building and an obstacle in the traveling direction is detected,
The floor and side surfaces inside the building are extracted as partial regions 91 and 92 that are monotonically large in color and large in area. In traveling on the floor inside the building, these partial areas 91 and 92 can be analogized to be floors or side walls on experience. Therefore, even if the detection of an obstacle is performed by excluding these partial regions 91 and 92, no inconvenience is caused. By excluding these large-area partial regions 91 and 92 from the parallax calculation, the parallax calculation amount is reduced. Can be greatly reduced.
【００２０】そして、撮像装置の撮像した画像に未使用
領域を設定し、一部のみを撮像ステレオ画像の処理領域
として設定することにより、移動体搭載撮像装置の撮像
ステレオ画像処理全体の演算処理量を更に削減すること
ができる。An unused area is set in the image picked up by the image pickup apparatus, and only a part of the area is set as a processing area of the picked-up stereo image. Can be further reduced.
【図１】実施例を説明するブロック図。FIG. 1 is a block diagram illustrating an embodiment.
【図２】撮像画像の未処理領域と処理領域の設定を説明
する図。FIG. 2 is a diagram illustrating setting of an unprocessed area and a processed area of a captured image.
【図３】部分領域を説明する図。FIG. 3 is a diagram illustrating a partial region.
【図４】部分領域計算および領域抽出を説明する図。FIG. 4 is a view for explaining partial region calculation and region extraction.
【図５】類似する色相の部分領域の内の大面積の部分領
域の画像データを除去した残余の部分領域を示す図。FIG. 5 is a view showing a remaining partial region obtained by removing image data of a large-area partial region among partial regions having similar hues.
【図６】撮像装置の一般的なステレオ視配置の仕方を示
す図。FIG. 6 is a diagram illustrating a general stereoscopic arrangement of the imaging apparatus.
【図７】移動体搭載撮像装置の撮像ステレオ画像処理装
置の従来例を説明するブロック図。FIG. 7 is a block diagram illustrating a conventional example of an image pickup stereo image processing apparatus of a mobile object image pickup apparatus.
【符号の説明】 １ａ 第１の撮像装置 １ｂ 第２の撮像装置 ２ａ 第１の画像メモリ部 ２ｂ 第２の画像メモリ部 ３ 視差計算部 ５ａ 第１の色相抽出部 ５ｂ 第２の色相抽出部 ６ａ 第１の領域計算部 ６ｂ 第２の領域計算部 ７ａ 第１の領域抽出部 ７ｂ 第２の領域抽出部 ９０ 部分領域 ９１ 部分領域 ９２ 部分領域[Description of Signs] 1a First imaging device 1b Second imaging device 2a First image memory unit 2b Second image memory unit 3 Parallax calculation unit 5a First hue extraction unit 5b Second hue extraction unit 6a First region calculation unit 6b Second region calculation unit 7a First region extraction unit 7b Second region extraction unit 90 partial region 91 partial region 92 partial region
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ３１０ ９Ａ００１ Ｆターム(参考） 2F065 AA04 AA58 BB05 BB15 DD04 DD06 FF05 KK01 MM06 QQ25 QQ33 RR07 UU05 2F112 AC06 BA05 CA20 FA03 FA21 FA45 FA50 5B057 CA01 CA08 CA13 CA16 DA07 DB03 DB06 DB09 DC04 DC25 5H301 AA01 AA10 CC03 CC06 GG03 GG29 5L096 AA02 AA06 AA09 BA04 BA05 CA05 DA02 EA37 FA15 FA59 FA66 GA28 GA41 9A001 GG11 HH28 HH29 JJ77 KK54──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 15/70 310 9A001 F term (Reference) 2F065 AA04 AA58 BB05 BB15 DD04 DD06 FF05 KK01 MM06 QQ25 QQ33 RR07 UU05 2F112 AC06 BA05 CA20 FA03 FA21 FA45 FA50 5B057 CA01 CA08 CA13 CA16 DA07 DB03 DB06 DB09 DC04 DC25 5H301 AA01 AA10 CC03 CC06 GG03 GG29 5L096 AA02 AA06 AA09 BA04 BA05 CA05 DA02 EA37 FA15 FA59 FA66 GA28 GA41 9A001 GG11 H77 GG11H77
Claims (6)
の撮像装置を移動体に搭載し、 撮像装置の撮像した画像の内の類似する色相が作り出す
部分領域の面積を計算し、 処理対象画像の面積の或る一定値以上の割合を占める部
分領域に対応する画像データを全処理対象画像の画像デ
ータから除去して視差計算を実施することを特徴とする
移動体搭載撮像装置の撮像ステレオ画像処理方法。An image pickup apparatus for capturing an image in a traveling direction of a moving body is mounted on the moving body, and an area of a partial region generated by a similar hue in an image captured by the imaging apparatus is calculated. An image pickup stereo of a mobile object image pickup apparatus, wherein parallax calculation is performed by removing image data corresponding to a partial region occupying a ratio equal to or greater than a certain value of the image area from image data of all images to be processed. Image processing method.
置の撮像ステレオ画像処理方法において、 撮像装置の撮像した画像の内の一部のみを撮像ステレオ
画像の処理領域として設定することを特徴とする撮像ス
テレオ画像処理方法。2. A method according to claim 1, wherein only a part of the image captured by the imaging device is set as a processing area of the captured stereo image. Imaging stereo image processing method.
を取り込む第１の撮像装置および第２の撮像装置を具備
し、 第１の撮像装置および第２の撮像装置により取り込まれ
た画像データを蓄積する各撮像装置に対応する第１の画
像メモリ部と第２の画像メモリ部を具備し、 第１の画像メモリ部或いは第２の画像メモリ部から入力
される画像データについて色相値を抽出する各画像メモ
リ部に対応する第１の色相抽出部と第２の色相抽出部を
具備し、 第１の色相抽出部或は第２の色相抽出部の抽出出力に基
づいて類似する色相が作り出す部分領域の面積を計算
し、面積が或る一定値以上の部分領域の画素の座標を登
録する各色相抽出部に対応する第１の領域計算部と第２
の領域計算部を具備し、 第１の画像メモリ部或は第２の画像メモリ部から画像デ
ータを入力すると共に対応する第１の領域計算部或は第
２の領域計算部に登録される面積が或る一定値以上の部
分領域の画素の座標を入力し、画像データから当該部分
領域の座標に対応する画像データを除去する対応する第
１の領域抽出部と第２の領域抽出部を具備し、 第１の領域抽出部および第２の領域抽出部の出力する画
像データを入力して両画像間の視差を抽出する視差計算
部を具備することを特徴とする移動体搭載撮像装置の撮
像ステレオ画像処理装置。And a first imaging device and a second imaging device for capturing an image in a traveling direction of the moving object mounted on the moving object, wherein image data captured by the first imaging device and the second imaging device are provided. A first image memory unit and a second image memory unit corresponding to each imaging device that accumulates image data, and extracts a hue value from image data input from the first image memory unit or the second image memory unit A first hue extraction unit and a second hue extraction unit corresponding to each image memory unit to generate a similar hue based on the extracted output of the first hue extraction unit or the second hue extraction unit. A first area calculation unit corresponding to each hue extraction unit for calculating the area of the partial area and registering the coordinates of the pixels of the partial area having an area equal to or greater than a certain value;
Area which is input to image data from the first image memory unit or the second image memory unit, and is registered in the corresponding first region calculation unit or the second region calculation unit. Has a corresponding first region extracting unit and a second region extracting unit for inputting the coordinates of the pixels of the partial region having a certain value or more and removing the image data corresponding to the coordinates of the partial region from the image data. And a parallax calculating unit for inputting image data output from the first region extracting unit and the second region extracting unit and extracting a parallax between the two images. Stereo image processing device.
置の撮像ステレオ画像処理装置において、 撮像装置は撮像した画像の内の一部のみを撮像ステレオ
画像の処理領域として設定する構成を有するものである
ことを特徴とする移動体搭載撮像装置の撮像ステレオ画
像処理装置。4. The image pickup stereo image processing apparatus of a mobile object image pickup apparatus according to claim 3, wherein the image pickup apparatus has a configuration in which only a part of the picked-up image is set as a processing area of the picked-up stereo image. An imaging stereo image processing apparatus for a moving object mounted imaging apparatus, characterized in that:
記載される移動体搭載撮像装置の撮像ステレオ画像処理
装置において、 領域抽出部は一定値を３０％に設定したことを特徴とす
る移動体搭載撮像装置の撮像ステレオ画像処理装置。5. An image pickup stereo image processing apparatus for a moving object mounted image pickup apparatus according to claim 3, wherein the region extracting unit sets a constant value to 30%. Imaging stereo image processing device of a moving object mounted imaging device.
記載される移動体搭載撮像装置の撮像ステレオ画像処理
装置において、 視差計算部において計算抽出された視差を入力して距離
情報を得る距離計算部を具備することを特徴とする移動
体搭載撮像装置の撮像ステレオ画像処理装置。6. The image pickup stereo image processing apparatus for a moving object mounted image pickup apparatus according to claim 3, wherein the parallax calculated and extracted by the parallax calculation unit is input to obtain distance information. An imaging stereo image processing apparatus for a moving object mounted imaging apparatus, comprising a distance calculation unit for obtaining the distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33576399A JP2001155154A (en) | 1999-11-26 | 1999-11-26 | Method for processing stereo image picked up by image pickup device mounted on mobile object and device for executing this method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33576399A JP2001155154A (en) | 1999-11-26 | 1999-11-26 | Method for processing stereo image picked up by image pickup device mounted on mobile object and device for executing this method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001155154A true JP2001155154A (en) | 2001-06-08 |
Family
ID=18292194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33576399A Withdrawn JP2001155154A (en) | 1999-11-26 | 1999-11-26 | Method for processing stereo image picked up by image pickup device mounted on mobile object and device for executing this method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001155154A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008056765A1 (en) * | 2006-11-09 | 2008-05-15 | Yamatake Corporation | Corresponding point searching method, and three-dimensional position measuring method |
| JP2008123142A (en) * | 2006-11-09 | 2008-05-29 | Yamatake Corp | Corresponding point retrieval method and three-dimensional position measurement method |
| JP6990834B1 (en) * | 2020-09-23 | 2022-01-12 | エヌ・ティ・ティ・ビズリンク株式会社 | Image processing equipment, image processing methods and programs |
-
1999
- 1999-11-26 JP JP33576399A patent/JP2001155154A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008056765A1 (en) * | 2006-11-09 | 2008-05-15 | Yamatake Corporation | Corresponding point searching method, and three-dimensional position measuring method |
| JP2008123142A (en) * | 2006-11-09 | 2008-05-29 | Yamatake Corp | Corresponding point retrieval method and three-dimensional position measurement method |
| US8355564B2 (en) | 2006-11-09 | 2013-01-15 | Azbil Corporation | Corresponding point searching method and three-dimensional position measuring method |
| JP6990834B1 (en) * | 2020-09-23 | 2022-01-12 | エヌ・ティ・ティ・ビズリンク株式会社 | Image processing equipment, image processing methods and programs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2426172C1 (en) | Method and system for isolating foreground object image proceeding from colour and depth data | |
| US20100104175A1 (en) | Integrated image processor | |
| CN105354805B (en) | Depth image denoising method and denoising device | |
| JP5574852B2 (en) | Information processing apparatus, information processing method, system, and program | |
| ATE438160T1 (en) | SYSTEM AND METHOD FOR 3D STEREO RECONSTRUCTION BASED ON COLOR SEGMENTATION | |
| JP2008282418A (en) | System and method for spatio-temporal alignment of image sequences | |
| KR102441209B1 (en) | Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System | |
| TW202105324A (en) | Method and system of depth detection based on a plurality of video frames | |
| KR101624801B1 (en) | Matting method for extracting object of foreground and apparatus for performing the matting method | |
| CN102959942B (en) | Image capture device for stereoscopic viewing-use and control method thereof | |
| WO2012148025A1 (en) | Device and method for detecting a three-dimensional object using a plurality of cameras | |
| CN112819878B (en) | Depth detection method and device, computer equipment and storage medium | |
| JP2008286638A (en) | Height estimation device and method | |
| CN108090877A (en) | A kind of RGB-D camera depth image repair methods based on image sequence | |
| CN113159161A (en) | Target matching method and device, equipment and storage medium | |
| CN108694389A (en) | Safe verification method based on preposition dual camera and electronic equipment | |
| CN113034544B (en) | People stream analysis method and device based on depth camera | |
| JP2001155154A (en) | Method for processing stereo image picked up by image pickup device mounted on mobile object and device for executing this method | |
| JP4696925B2 (en) | Image processing device | |
| JP2008033818A (en) | Object tracking device and its control method, object tracking system, object tracking program, and recording medium recording the program | |
| KR101367673B1 (en) | Method and System for Selecting Motion Search Region for Image Sequences using Depth Camera Information | |
| CN116342632A (en) | Depth information-based matting method and matting network training method | |
| WO2021049281A1 (en) | Image processing device, head-mounted display, and spatial information acquisition method | |
| JP2013200840A (en) | Video processing device, video processing method, video processing program, and video display device | |
| JP2009210486A (en) | Depth data generating device, depth data generation method, and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070206 |