JP2000028354A - 3次元画像処理装置 - Google Patents

3次元画像処理装置

Info

Publication number
JP2000028354A
JP2000028354A JP10197379A JP19737998A JP2000028354A JP 2000028354 A JP2000028354 A JP 2000028354A JP 10197379 A JP10197379 A JP 10197379A JP 19737998 A JP19737998 A JP 19737998A JP 2000028354 A JP2000028354 A JP 2000028354A
Authority
JP
Japan
Prior art keywords
image processing
dimensional image
data area
level
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10197379A
Other languages
English (en)
Inventor
Katsuyoshi Nishitani
谷 勝 義 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP10197379A priority Critical patent/JP2000028354A/ja
Publication of JP2000028354A publication Critical patent/JP2000028354A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

(57)【要約】 【課題】 対応点探索のための計算量を大幅に削減する
手段を備えた3次元画像処理装置を提供する。 【解決手段】 この発明の3次元画像処理装置は、画像
の少なくとも輝度信号または色差信号に関するデータ領
域選択レベルを設定する領域選択信号レベル設定器16
と、両画像の中からデータ領域選択レベルと等しい輝度
信号または色差信号の領域を抽出する領域抽出器12,
14と、画像から所定の相関関数を用いて、抽出された
領域の対応によって視差ベクトルを求める対応点検出器
8と、視差ベクトルをもとに対象物体までの距離を計算
する距離計算器10とを備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、対象物体に関する
一対のステレオ画像を得て、対象物体に関する両画像の
相対応する画素点間の視差ベクトルを求め、この視差ベ
クトルをもとにステレオ画像から対象物体までの距離を
計算する3次元画像処理装置に関するものである。
【0002】
【従来の技術】ステレオカメラにより同一対象物体に関
する左右一対の画像からなるステレオ画像を得て、対象
物体上のある1点が一方の画面に投影されているとき、
他方の画面上での投影先が分かれば、三角測量の原理に
基づいて対象物体上の点までの距離を計算することがで
きる。このことは例えば、文献「グラフィックスとビジ
ョン」(オーム社発行、第28〜31頁)に開示されて
いるところである。本発明は、この投影先の探索、すな
わちステレオ画像の対応点探索技術を応用して対象物体
までの距離を推定する3次元画像処理方法および装置に
関するものである。
【0003】図5に示すように、上記文献においては対
象物体2上の点Q(x,y,z)を、光軸Ol,Or間
に一定の距離(=基線長)Bをおいて配置された左右一
対の撮像カメラ4,6により撮像された左右一対のステ
レオ画像における対応画素のX−Y座標平面上の座標Q
l(Xl,Yl),Qr(Xr,Yr)を求め、その視
差Ql−Qr=(Xl−Xr,Yl−Yr)を用いて、
対応画素に対応する対象物体2上の測定点までの距離Z
を求める。ここで、ステレオ画像を処理する3次元画像
入力装置では、通常、2台のカメラ4,6は光軸Ol,
Orが同一X−Z平面上に含まれるように配置されるの
で、Yl=Yrであり、対応点探索はエピポーラ線Ep
l,Eprである同じ走査線上で行えば良いことにな
る。すなわち、撮像カメラ4,6の光軸Ol,Or間の
距離をB、焦点距離をfとすると、対象物体2上の点Q
(x,y,z)が左右のカメラ画面上の点Ql(Xl,
Yl)、点Qr(Xr,Yr)にそれぞれ投影された
時、対象物体2の点Q(x,y,z)までの距離Zは、 Z=B*f/(Xl−Xr) …(1) で表される。ここで、Xl−Xrは視差を表し、左画像
を基準画像とした場合、右画像の対応点Qr(Xr,Y
r)における視差ベクトルは一般にVp(Xl−Xr,
Yl−Yr)と表される。
【0004】図8は従来の距離検出装置のブロック図を
示すものである。図8において、対象物体2に関し、C
CD等からなる左画像用の撮像カメラ4および右画像用
の撮像カメラ6によってステレオ画像を得て、それに基
づき対応点検出器8により対応点探索が行われる。ここ
で、2台のカメラ4,6は光軸Ol,Orが同一X−Z
座標平面上に含まれるように、Yl=Yrの関係に配置
されているものとする。対応点検出器8によって探索さ
れた対応点を用いて各画素毎の視差ベクトルを計算す
る。得られた視差ベクトルを用いて距離計算器10によ
り距離計算が行われる。
【0005】ここで、前述したように、2台の撮像カメ
ラ4,6をその光軸Ol,Orが同一X−Z座標平面上
に含まれるように配置しておくことにより、対応点の探
索はエピポーラ線Epl,Eprである走査線上のみで
行えば良いことになる。例えば左画像上の点Ql(X
l,Yl)と右画像上の点Qr(Xr,Yr)が対応す
る場合、点Ql(Xl,Yl)における視差ベクトルは
Vp(Xl−Xr,Yl−Yr)である。ここで、2つ
の点Ql,Qrは同じ走査線(エピポーラ線)上にある
ので、Yl=Yrであり、視差ベクトルは、Vp(Xl
−Xr,0)と表されることになる。このような視差ベ
クトルVpを画像上の全ての画素点について求め、視差
ベクトル群を作成し、それに基づいて所望の距離を計算
する。
【0006】
【発明が解決しようとする課題】従来の距離計算装置に
おける対応点探索法では、非常に多く存在する画素のそ
れぞれについて視差ベクトルを求めるので、対応点探索
の計算量が非常に多く、その結果、計算時間およびメモ
リ使用量が増大するという不都合があった。
【0007】本発明は上記不都合を解消するためになさ
れたものであり、対応点探索のための計算量を大幅に削
減し得る対応点探索装置を適用した3次元画像処理装置
を提供することを目的とする。
【0008】
【課題を解決するための手段】上記課題を解決するため
に、請求項1に係る発明は、対象物体に関する一対のス
テレオ画像を得て、対象物体に関する両画像の相対応す
る画素点間の視差ベクトルを求め、この視差ベクトルを
もとに対象物体までの距離を計算する3次元画像処理装
置において、画像の少なくとも輝度信号または色差信号
に関するデータ領域選択レベルを設定する領域選択信号
レベル設定手段と、両画像の中からデータ領域選択レベ
ルと等しい輝度信号または色差信号の領域を抽出する領
域抽出手段と、画像から所定の相関関数を用いて、抽出
された領域の対応によって視差ベクトルを求める対応点
検出手段とを備えたことを特徴とするものである。
【0009】請求項2に係る発明は、請求項1に記載の
3次元画像処理装置において、領域選択信号レベル設定
手段は、大きさの異なる2つのデータ領域選択レベルを
設定し、領域抽出手段は2つのデータ領域選択レベルに
挟まれた値を持つ領域を全て有効データ領域として判定
することを特徴とするものである。
【0010】請求項3に係る発明は、請求項1または2
に記載の3次元画像処理装置において、抽出されたデー
タ領域を所定の大きさに分割するデータ領域分割手段を
備えたことを特徴とするものである。
【0011】上記のように構成された画像処理装置によ
れば、画像のオブジェクトごとにデータ領域を大きく設
定することができるので、画素検索の計算量を大幅に削
減することができる。
【0012】
【発明の実施の形態】(実施の形態1)図1は本発明の
実施の形態を示すものである。図1において、同一X−
Z平面上に配置された左右一対の撮像カメラ4,6によ
り対象物体2に関する左画像Plおよび右画像Prが得
られる。左画像Plは左画像用データ領域抽出器12に
入力され、右画像Prは右画像用データ領域抽出器14
に入力される。両データ領域抽出器12,14にはデー
タ領域選択信号レベル設定器16からデータ領域選択レ
ベル信号が入力される。データ領域選択信号レベル設定
器16は、輝度信号または色差信号のレベル選択に関す
る所定の信号レベルを設定する。抽出しようとする画像
に色成分がある場合は色差信号のレベルを設定し、色成
分がない場合は輝度信号のレベルを設定するのが望まし
いが、両者を使用してもよい。これらの判断には入力画
像のデータを観測する手段を設けて自動設定することも
考えられるが、ここではマニュアルで設定するものとす
る。データ領域選択信号レベル設定器16は、例えば、
画像信号においてレベルが8ビットで表現される場合、
0から255までの256段階でレベル設定が行われ
る。カメラ4,6によって得られた左画像Plまたは右
画像Prを用いて、レベル設定器16によって設定され
たレベルに従い、まずデータ領域抽出器12において、
左画像Plの中から設定レベルの画素を含む閉曲線の領
域を抽出する。
【0013】抽出しようとする領域のデータレベルが自
然画のようにノイズを合んでいたりする場合は、単一の
設定レベルでは的確な領域を抽出できない場合がある。
そのような場合は、2つの異なるレベルを設定し、その
2つのレベルに挟まれている領域を選択する。設定した
レベルに対応する抽出領域が、視覚的に画像のオブジェ
クトを捕えるまで設定値を変更して調整する。このとき
抽出した領域は、従来画像のオブジェクトとはなんら関
連のない固定的に設定していたブロックよりも、面積を
大きく設定するのが望ましい。画像面積すなわち画素数
は、対応点探索の計算量をどの程度まで軽減するかに依
存して決定される。すなわち、従来は、16×16=2
56画素で対応点探索計算をしていたものとすれば、1
画面を構成する画素数が仮に720×480画素である
として、720×480/256=1350回の探索計
算が必要となっていたのに対し、32×32=1024
画素で対応点探索計算をするようになれば、探索計算
は、1350回の1/4相当の約338回となる。
【0014】データ領域抽出器12で領域が決定した
ら、その領域に対応する画像データレベルで、対象物体
2に関し右画像用カメラ6から取り込まれた右画像Pr
に対して、上述の設定レベルに従って右画像用データ領
域抽出器14において、そのレベル画素を含む閉曲線の
領域を抽出する。データ領域抽出器12,14において
抽出された2つの画像を用いて、対応点検出器8によ
り、例えば特開平9−33249号公報に開示されてい
る相関関数などの評価関数に従って、領域の対応付けを
行う。ここでは、前述したように、2つのカメラ4,6
の光軸Ol,Orが同一X−Z平面上に含まれるように
配置してあるので、対応点の探索はエピポーラ線Ep
l,Eprである走査線上のみ行えばよい。例えば、図
2(A)の左画像Pl上の点Ql(Xl,Yl)と図2
(B)の右画像Pr上の点Qr(Xr,Yr)が対応し
ている場合、点Pl(Xl,Yl)における視差ベクト
ルをVp(Xl−Xr,0)と表す。
【0015】このようにして、入力画像の他の領域につ
いても同様に対応点探索を行い、各々の領域に対応する
視差ベクトルを求めて、選択された視差ベクトルを距離
計算器10に送出する。距離計算器10では、前述した
式(1)を用いて領域毎の距離を計算し、距離情報を出
力する。
【0016】(実施の形態2)抽出した対象物体2の画
像領域が非常に接近したレベルの画像データで構成され
ており、データ領域選択信号レベル設定器16での設定
レベルでの抽出が困難である場合、図3に示すように、
データ領域分割器18を用いて、求められた領域を更に
分割することもできる。データ領域分割器18では、例
えば、水平方向および垂直方向に分割境界のアドレスを
設定することにより、図4(A)に示されているように
水平方向および垂直方向各2分割、計4分割してもよ
い。このようにして、抽出したオブジェクトの領域が非
常に近接した画像データで構成されていたとしても、更
に小分割することにより、図4(B)に示されているよ
うに、細かい領域ごとに視差ベクトルを求めることが可
能になり、結果的に距離計算器10において高精度の距
離情報を得ることが可能となる。
【0017】
【発明の効果】以上述べたように、本発明に係る対応点
探索方法および装置によれば、画像のオブジェクトごと
にデータ領域を大きく設定することが可能となるので、
画素検索の計算量を大幅に削減することができる。
【0018】また、領域を細かく設定することもできる
ので、抽出したオブジェクトの領域が非常に近接した画
像データで構成されていたとしても、更に小分割するこ
とにより、細かい領域ごとに視差ベクトルを求めること
ができ、高精度の距離情報を得ることができる。
【図面の簡単な説明】
【図1】本発明に係る3次元画像処理装置の一構成例を
示すブロック図である。
【図2】図1の装置における領域設定を説明する説明図
である。
【図3】本発明に係る3次元画像処理装置の他の構成例
を示すブロック図である。
【図4】図3の装置における領域設定を説明する説明図
である。
【図5】距離算出の原理を示す説明図である。
【図6】距離算出を実施する装置の従来例を示すブロッ
ク図である。
【符号の説明】
2 対象物体 4 左画像用撮像カメラ 6 右画像用撮像カメラ 8 対応点検出器(対応点検出手段) Pl 左画像 Pr 右画像 10 距離計算器 12 左画像用データ領域抽出器(領域抽出手段) 14 右画像用データ領域抽出器(領域抽出手段) 16 データ領域選択信号レベル設定器(領域選択信号
レベル設定手段) 18 データ領域分割器(データ領域分割手段)
フロントページの続き Fターム(参考) 2F065 AA04 AA06 DD06 FF01 FF04 FF05 FF09 JJ03 JJ05 JJ26 QQ03 QQ21 QQ31 QQ38 2F112 AC06 BA05 CA08 CA12 DA28 FA35 FA38 FA39 FA50 5B057 BA30 DA07 DA08 DB03 DC22 DC25 DC34

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】対象物体に関する一対のステレオ画像を得
    て、対象物体に関する両画像の相対応する画素点間の視
    差ベクトルを求め、この視差ベクトルをもとに前記ステ
    レオ画像から対象物体までの距離を計算する3次元画像
    処理装置において、画像の少なくとも輝度信号および色
    差信号に関するデータ領域選択レベルを設定する領域選
    択信号レベル設定手段と、両画像の中からデータ領域選
    択レベルと等しい輝度信号または色差信号の領域を抽出
    する領域抽出手段と、画像から所定の相関関数を用い
    て、抽出された領域の対応によって視差ベクトルを求め
    る対応点検出手段とを備えたことを特徴とする3次元画
    像処理装置。
  2. 【請求項2】請求項1に記載の3次元画像処理装置にお
    いて、領域選択信号レベル設定手段は、大きさの異なる
    2つのデータ領域選択レベルを設定し、領域抽出手段は
    2つのデータ領域選択レベルに挟まれた値を持つ領域を
    全て有効データ領域として判定することを特徴とする3
    次元画像処理装置。
  3. 【請求項3】請求項1または2に記載の3次元画像処理
    装置において、抽出されたデータ領域を所定の大きさに
    分割するデータ領域分割手段を備えたことを特徴とする
    3次元画像処理装置。
JP10197379A 1998-07-13 1998-07-13 3次元画像処理装置 Pending JP2000028354A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10197379A JP2000028354A (ja) 1998-07-13 1998-07-13 3次元画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10197379A JP2000028354A (ja) 1998-07-13 1998-07-13 3次元画像処理装置

Publications (1)

Publication Number Publication Date
JP2000028354A true JP2000028354A (ja) 2000-01-28

Family

ID=16373543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10197379A Pending JP2000028354A (ja) 1998-07-13 1998-07-13 3次元画像処理装置

Country Status (1)

Country Link
JP (1) JP2000028354A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351200A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
GB2384305A (en) * 2002-01-16 2003-07-23 Autoliv Dev Human position detection by capturing spectral contents of images representative of human skin
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2009238075A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2009293971A (ja) * 2008-06-03 2009-12-17 Fujifilm Corp 距離測定装置および方法並びにプログラム
JP2009293970A (ja) * 2008-06-03 2009-12-17 Fujifilm Corp 距離測定装置および方法並びにプログラム
JP2012013514A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置、3次元位置算出方法及びプログラム
JP2016136402A (ja) * 2016-02-29 2016-07-28 株式会社ニコン 領域抽出装置、撮像装置、及び領域抽出プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351200A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
GB2384305A (en) * 2002-01-16 2003-07-23 Autoliv Dev Human position detection by capturing spectral contents of images representative of human skin
GB2384305B (en) * 2002-01-16 2005-03-16 Autoliv Dev Improvements in or relating to a camera arrangement
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2009238075A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2009293971A (ja) * 2008-06-03 2009-12-17 Fujifilm Corp 距離測定装置および方法並びにプログラム
JP2009293970A (ja) * 2008-06-03 2009-12-17 Fujifilm Corp 距離測定装置および方法並びにプログラム
JP2012013514A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置、3次元位置算出方法及びプログラム
JP2016136402A (ja) * 2016-02-29 2016-07-28 株式会社ニコン 領域抽出装置、撮像装置、及び領域抽出プログラム

Similar Documents

Publication Publication Date Title
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
JP3064928B2 (ja) 被写体抽出方式
TWI524734B (zh) 產生深度圖的方法及裝置
US6556704B1 (en) Method for forming a depth image from digital image data
JP2000182034A (ja) 自動画像合成システム
JPH07255681A (ja) 医用画像処理装置
JP2003098424A (ja) 画像処理測距装置
US20230401855A1 (en) Method, system and computer readable media for object detection coverage estimation
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
JP2000028354A (ja) 3次元画像処理装置
JPH03200007A (ja) ステレオ計測装置
JP3103478B2 (ja) 複眼撮像装置
JPH1021401A (ja) 三次元情報処理装置
JP3774495B2 (ja) 画像情報抽出装置および方法
JPH09305796A (ja) 画像情報処理装置
JPH1023311A (ja) 画像情報入力方法及び装置
JPH08329110A (ja) 画像処理方法
EP2866446A1 (en) Method and multi-camera portable device for producing stereo images
JP3912638B2 (ja) 3次元画像処理装置
JP2000331160A (ja) 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体
JP2001319224A (ja) 3次元物体検出装置と3次元物体検出方法及び記録媒体
KR20030076904A (ko) 중간 시점 영상 합성 방법
KR20160101762A (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
JP2842437B2 (ja) 画像合成装置
JP3135162B2 (ja) 距離測定装置