JP2001266128A - 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 - Google Patents
奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体Info
- Publication number
- JP2001266128A JP2001266128A JP2000077432A JP2000077432A JP2001266128A JP 2001266128 A JP2001266128 A JP 2001266128A JP 2000077432 A JP2000077432 A JP 2000077432A JP 2000077432 A JP2000077432 A JP 2000077432A JP 2001266128 A JP2001266128 A JP 2001266128A
- Authority
- JP
- Japan
- Prior art keywords
- depth information
- imaging
- image
- resolution
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 ステレオ法により撮像対象の奥行き情報を取
得する際に，処理コストの大幅な増加を伴わずに，精度
の高い奥行き情報を取得できるようにする。 【解決手段】 奥行き情報計算部130 の対応点検出部13
1 では, 撮像部110,120から得た画像データから撮像対
象の対応点を抽出する。対応点の抽出が困難な領域があ
る場合には, 解像度変更指令部132 によって解像度変更
部113,123 に対し解像度変更の指示を出し，対応点検出
部131 は，その領域について変更された解像度の画像デ
ータを得て，再度対応点マッチングを行う。対応点のマ
ッチングが取れたならば，３次元座標計算部133 は, こ
れをもとに奥行き情報を生成し，出力部140 へ出力す
る。
得する際に，処理コストの大幅な増加を伴わずに，精度
の高い奥行き情報を取得できるようにする。 【解決手段】 奥行き情報計算部130 の対応点検出部13
1 では, 撮像部110,120から得た画像データから撮像対
象の対応点を抽出する。対応点の抽出が困難な領域があ
る場合には, 解像度変更指令部132 によって解像度変更
部113,123 に対し解像度変更の指示を出し，対応点検出
部131 は，その領域について変更された解像度の画像デ
ータを得て，再度対応点マッチングを行う。対応点のマ
ッチングが取れたならば，３次元座標計算部133 は, こ
れをもとに奥行き情報を生成し，出力部140 へ出力す
る。
Description
【０００１】
【発明の属する技術分野】本発明は，ステレオ法を用い
た奥行き情報（撮像対象の撮像装置からの距離）の取得
技術，奥行き情報を利用した３次元画像計測技術に関す
る。
た奥行き情報（撮像対象の撮像装置からの距離）の取得
技術，奥行き情報を利用した３次元画像計測技術に関す
る。
【０００２】
【従来の技術】ステレオ法は，従来の３次元画像計測技
術としてよく知られている方法である。以下，ステレオ
法について簡単に説明する。
術としてよく知られている方法である。以下，ステレオ
法について簡単に説明する。
【０００３】ステレオ法は，２台の撮像装置をある間隔
で配置し，同一の撮像対象に対する両者の画像内におけ
る投影位置の違い，すなわち対応点の差から三角測量に
よって撮像対象の位置を求める方法である。
で配置し，同一の撮像対象に対する両者の画像内におけ
る投影位置の違い，すなわち対応点の差から三角測量に
よって撮像対象の位置を求める方法である。
【０００４】最も簡単な例として，焦点距離が等しいカ
メラを，光軸が平行になるようにかつ互いの画像面が同
一平面に並ぶように配置した場合の例を図１０に示す。
図１０において９１１は左に並べたカメラの光学中心，
同様に９１２は右に並べたカメラの光学中心，また，９
１３は左のカメラの画像，同様に９１４は右のカメラの
画像を示している。
メラを，光軸が平行になるようにかつ互いの画像面が同
一平面に並ぶように配置した場合の例を図１０に示す。
図１０において９１１は左に並べたカメラの光学中心，
同様に９１２は右に並べたカメラの光学中心，また，９
１３は左のカメラの画像，同様に９１４は右のカメラの
画像を示している。
【０００５】図１０において，基本となる座標系として
２台のカメラの光学中心間の中点を原点とするＸ−Ｙ−
Ｚ座標系，各々のカメラの座標系としてｘR −ｙR −ｚ
R 座標系，ｘL −ｙL −ｚL 座標系を定める。このとき
撮像対象Ｐの位置をＸ，Ｙ，Ｚとすると，以下の関係式
が成立する。
２台のカメラの光学中心間の中点を原点とするＸ−Ｙ−
Ｚ座標系，各々のカメラの座標系としてｘR −ｙR −ｚ
R 座標系，ｘL −ｙL −ｚL 座標系を定める。このとき
撮像対象Ｐの位置をＸ，Ｙ，Ｚとすると，以下の関係式
が成立する。
【０００６】 Ｘ＝ｂ（ｘL ＋ｘR ）／２ｄ （１） Ｙ＝ｂ（ｙL ＋ｙR ）／２ｄ （２） Ｚ＝ｂｆ／ｄ （３） ただし，ｆはカメラの焦点距離，ｂはカメラの基線長
（光学中心間の距離），ｄは同一の撮像対象に対する各
画像内における投影点ＰL ，ＰR の投影位置の差，すな
わち視差で， ｄ＝ｘL −ｘR （４） である。したがって，ｆ，ｂが既知であれば，撮像対象
の座標（Ｘ，Ｙ，Ｚ）は，左右の画像上の投影位置の違
いから求めることができる。ステレオ法において最も重
要な課題は，複数の画像間において同一撮像対象である
点を見つけること，すなわち対応点のマッチングであ
る。
（光学中心間の距離），ｄは同一の撮像対象に対する各
画像内における投影点ＰL ，ＰR の投影位置の差，すな
わち視差で， ｄ＝ｘL −ｘR （４） である。したがって，ｆ，ｂが既知であれば，撮像対象
の座標（Ｘ，Ｙ，Ｚ）は，左右の画像上の投影位置の違
いから求めることができる。ステレオ法において最も重
要な課題は，複数の画像間において同一撮像対象である
点を見つけること，すなわち対応点のマッチングであ
る。
【０００７】従来の対応点マッチングの手法は大きく次
の２つに大別できる。１つ目の手法は，area-based mat
ching と呼ばれるもので，その概念を図１１に示す。図
１１において，９２１は左のカメラで撮像した画像（左
画像），９２２は右のカメラで撮像した画像（右画
像），９２３，９２４はこれから対応点を見つけようと
する観測点９２６，９２７の周辺に，ある大きさで設定
した探索ウィンドウ，９２５は探索範囲である。
の２つに大別できる。１つ目の手法は，area-based mat
ching と呼ばれるもので，その概念を図１１に示す。図
１１において，９２１は左のカメラで撮像した画像（左
画像），９２２は右のカメラで撮像した画像（右画
像），９２３，９２４はこれから対応点を見つけようと
する観測点９２６，９２７の周辺に，ある大きさで設定
した探索ウィンドウ，９２５は探索範囲である。
【０００８】当然のことながら対応点マッチングは，同
一の撮像対象を投影している画素同士の対応を取ること
が最も望ましい。しかしながら，単独の画素ではそれに
対応する画素を見つけることが困難である。そこでarea
-based matching では，対応点を決定するときに自分の
周りの画素の対応も調べて，最も一致度（例えば濃度値
の差の自乗和）が高い点を選択する。図１１では左画像
９２１の観測点９２６の周りに周辺画素を含む探索ウィ
ンドウ９２３を設定し，右画像９２２の内で探索ウィン
ドウ９２４が最も一致する場所を探索範囲９２５内で探
索する。
一の撮像対象を投影している画素同士の対応を取ること
が最も望ましい。しかしながら，単独の画素ではそれに
対応する画素を見つけることが困難である。そこでarea
-based matching では，対応点を決定するときに自分の
周りの画素の対応も調べて，最も一致度（例えば濃度値
の差の自乗和）が高い点を選択する。図１１では左画像
９２１の観測点９２６の周りに周辺画素を含む探索ウィ
ンドウ９２３を設定し，右画像９２２の内で探索ウィン
ドウ９２４が最も一致する場所を探索範囲９２５内で探
索する。
【０００９】２つ目の手法は，feature-based matching
と呼ばれるもので，図１２に示すように，画像処理によ
り両画像の特徴（例えば輸郭）を抽出し，その特徴間で
対応付けを行う手法である。図１２において，９３１は
左のカメラで撮像した画像（左画像），９３２は右のカ
メラで撮像した画像（右画像），９３３はこれから対応
点を見つけようとする観測点，９３４は対応点の候補と
なる点である。feature-based matchingでは左画像９３
１のある特徴をもつ観測点９３３（ここではある輪郭上
の点）に対し，右画像９３２の対応点候補９３４の中か
ら最も特徴が一致する点を選択する。
と呼ばれるもので，図１２に示すように，画像処理によ
り両画像の特徴（例えば輸郭）を抽出し，その特徴間で
対応付けを行う手法である。図１２において，９３１は
左のカメラで撮像した画像（左画像），９３２は右のカ
メラで撮像した画像（右画像），９３３はこれから対応
点を見つけようとする観測点，９３４は対応点の候補と
なる点である。feature-based matchingでは左画像９３
１のある特徴をもつ観測点９３３（ここではある輪郭上
の点）に対し，右画像９３２の対応点候補９３４の中か
ら最も特徴が一致する点を選択する。
【００１０】
【発明が解決しようとする課題】上述したステレオ法に
は，撮像画像の解像度が一定の場合に，以下の問題点が
あった。
は，撮像画像の解像度が一定の場合に，以下の問題点が
あった。
【００１１】第１に，対応点の探索および特徴点の検出
が困難な（対応点を取れない）領域がある場合である。
この場合は解像度を高くすれば問題が解決することがあ
るが，解像度を高くすればするほど処理する画素の数が
爆発的に増えてしまい，計算量が増大してしまう。対応
点が取れない領域は画像の一部でしかないから，増大し
た量の大半は無駄なものである。逆に，対応点の探索お
よび特徴点の検出が低解像度でも容易な領域があった場
合にも，一部分の困難な領域が存在すれば解像度を低く
することができず，不必要な計算が生じる。
が困難な（対応点を取れない）領域がある場合である。
この場合は解像度を高くすれば問題が解決することがあ
るが，解像度を高くすればするほど処理する画素の数が
爆発的に増えてしまい，計算量が増大してしまう。対応
点が取れない領域は画像の一部でしかないから，増大し
た量の大半は無駄なものである。逆に，対応点の探索お
よび特徴点の検出が低解像度でも容易な領域があった場
合にも，一部分の困難な領域が存在すれば解像度を低く
することができず，不必要な計算が生じる。
【００１２】第２に，撮像装置と撮像対象の距離と視差
量が反比例するため，この距離が大きくなった場合には
奥行き方向の計算精度が著しく低下する問題である。こ
のことを図１３を用いて説明する。図１３は，２台のカ
メラによって距離が近い撮像対象および距離が遠い撮像
対象を撮影した場合を示している。
量が反比例するため，この距離が大きくなった場合には
奥行き方向の計算精度が著しく低下する問題である。こ
のことを図１３を用いて説明する。図１３は，２台のカ
メラによって距離が近い撮像対象および距離が遠い撮像
対象を撮影した場合を示している。
【００１３】図１３において，９４１ａは左のカメラの
光学中心，９４２ａは左のカメラの撮像画像，９４１ｂ
は右のカメラの光学中心，９４２ｂは右のカメラの撮像
画像を示す。また，９４３ａは距離の近い撮像対象を撮
像した場合の撮像画像９４２ａ上の投影位置である。ま
た，９４４ａは距離の遠い撮像対象の投影位置である。
同様に９４３ｂは右のカメラに対する距離の短い撮像対
象の投影位置，９４４ｂは右のカメラに対する距離の遠
い撮像対象の投影位置を示す。
光学中心，９４２ａは左のカメラの撮像画像，９４１ｂ
は右のカメラの光学中心，９４２ｂは右のカメラの撮像
画像を示す。また，９４３ａは距離の近い撮像対象を撮
像した場合の撮像画像９４２ａ上の投影位置である。ま
た，９４４ａは距離の遠い撮像対象の投影位置である。
同様に９４３ｂは右のカメラに対する距離の短い撮像対
象の投影位置，９４４ｂは右のカメラに対する距離の遠
い撮像対象の投影位置を示す。
【００１４】９４５は画像上の１画素の大きさである。
撮像素子の１画素はある大きさを持つために，１画素に
投影される撮像対象はある大きさの範囲となる。９４６
（図１３中綱かけで示す）は距離の短い撮像対象の投影
位置９４３ａ，９４３ｂに投影される撮像対象の範囲を
示している。また，９４７は距離の長い撮像対象の投影
位置９４４ａ，９４４ｂに投影される撮像対象の範囲を
示しており，９４８は範囲９４７に位置する撮像対象の
位置として検出される点である。
撮像素子の１画素はある大きさを持つために，１画素に
投影される撮像対象はある大きさの範囲となる。９４６
（図１３中綱かけで示す）は距離の短い撮像対象の投影
位置９４３ａ，９４３ｂに投影される撮像対象の範囲を
示している。また，９４７は距離の長い撮像対象の投影
位置９４４ａ，９４４ｂに投影される撮像対象の範囲を
示しており，９４８は範囲９４７に位置する撮像対象の
位置として検出される点である。
【００１５】近距離の撮影対象の投影位置に投影される
撮像対象の範囲９４６と遠距離の撮像対象の投影位置に
投影される撮像対象の範囲９４７とを比較すれば，撮像
装置と撮像対象の距離が大きくなればなるほど，得られ
る奥行き方向の精度の低下に結びつくことが容易に説明
できる。したがって，撮像装置から遠い点においても奥
行きの精度をある値に保つためには解像度を高くしなけ
ればならない。
撮像対象の範囲９４６と遠距離の撮像対象の投影位置に
投影される撮像対象の範囲９４７とを比較すれば，撮像
装置と撮像対象の距離が大きくなればなるほど，得られ
る奥行き方向の精度の低下に結びつくことが容易に説明
できる。したがって，撮像装置から遠い点においても奥
行きの精度をある値に保つためには解像度を高くしなけ
ればならない。
【００１６】しかし実際には，距離が離れている点は画
像全体に占める割合が低いことが多い。このような場
合，解像度を高くしたことによる計算量の増大の大半は
無駄なものとなる。また，撮像装置と撮像対象の距離が
近く低解像度でも十分な精度がでる場合にも，他に１個
所でも距離が遠い撮像対象が存在すれば精度を保つため
に解像度を低くすることができず，不必要な計算が生じ
る。
像全体に占める割合が低いことが多い。このような場
合，解像度を高くしたことによる計算量の増大の大半は
無駄なものとなる。また，撮像装置と撮像対象の距離が
近く低解像度でも十分な精度がでる場合にも，他に１個
所でも距離が遠い撮像対象が存在すれば精度を保つため
に解像度を低くすることができず，不必要な計算が生じ
る。
【００１７】このように，ステレオ法による従来の計測
技術には，精度を上げれば計算量が大きく増大するとい
う問題点を抱えていた。
技術には，精度を上げれば計算量が大きく増大するとい
う問題点を抱えていた。
【００１８】本発明は，以上述べたような従来のステレ
オ法において，対応点の探索・特徴点の検出が困難な領
域がある場合の対応点マッチングの精度，および撮像対
象の距離が離れている場合の奥行き方向の精度の向上
を，データ処理量の大幅な増加やシステムの大規模化を
伴うことなく実現しうる装置および方法の提供を目的と
している。
オ法において，対応点の探索・特徴点の検出が困難な領
域がある場合の対応点マッチングの精度，および撮像対
象の距離が離れている場合の奥行き方向の精度の向上
を，データ処理量の大幅な増加やシステムの大規模化を
伴うことなく実現しうる装置および方法の提供を目的と
している。
【００１９】
【課題を解決するための手段】上記目的を達成するた
め，本発明では，１枚の画像内で部分的に任意の解像度
を指定する手段を備えることを最も大きな特徴とする。
従来の方法とは，精度向上のために，画像全体の解像度
ではなく，必要な部分の解像度だけを可変にして処理す
る手段を持つ点が大きく異なる。
め，本発明では，１枚の画像内で部分的に任意の解像度
を指定する手段を備えることを最も大きな特徴とする。
従来の方法とは，精度向上のために，画像全体の解像度
ではなく，必要な部分の解像度だけを可変にして処理す
る手段を持つ点が大きく異なる。
【００２０】詳しくは，本発明は，視点の異なる複数の
画像から対応点マッチングによって撮像対象の奥行き情
報を求める際に，画像内のある大きさの領域ごとに対応
点の抽出の困難さを評価し，その困難さに応じて各領域
の解像度を変更して対応点の抽出を行う。
画像から対応点マッチングによって撮像対象の奥行き情
報を求める際に，画像内のある大きさの領域ごとに対応
点の抽出の困難さを評価し，その困難さに応じて各領域
の解像度を変更して対応点の抽出を行う。
【００２１】また，本発明は，撮像対象と前記撮像装置
間の距離に応じて，画像内における撮像対象を含むある
大きさの領域の解像度を変更して対応点の抽出を行う。
間の距離に応じて，画像内における撮像対象を含むある
大きさの領域の解像度を変更して対応点の抽出を行う。
【００２２】前記領域の解像度を変更する場合に，撮像
装置から取得した画像のデータを，解像度に応じた度合
いで画素を間引いて読み出すことによって，その領域の
解像度を変えることができる。また，撮像装置として，
指定された解像度で画像を撮像することができるものを
用い，画像を取得する際に，撮像領域内の撮像領域全体
または任意の一部分を，その撮像装置の最大解像度以内
の範囲における所望の解像度で取り込むことによって，
対象領域の解像度を変えることもできる。
装置から取得した画像のデータを，解像度に応じた度合
いで画素を間引いて読み出すことによって，その領域の
解像度を変えることができる。また，撮像装置として，
指定された解像度で画像を撮像することができるものを
用い，画像を取得する際に，撮像領域内の撮像領域全体
または任意の一部分を，その撮像装置の最大解像度以内
の範囲における所望の解像度で取り込むことによって，
対象領域の解像度を変えることもできる。
【００２３】以上の処理をコンピュータによって実現す
るためのプログラムは，コンピュータが読み取り可能な
可搬媒体メモリ，半導体メモリ，ハードディスクなどの
適当な記録媒体に格納することができる。
るためのプログラムは，コンピュータが読み取り可能な
可搬媒体メモリ，半導体メモリ，ハードディスクなどの
適当な記録媒体に格納することができる。
【００２４】本発明の作用は，以下のとおりである。１
枚の画像内の一部に対応点の抽出が困難な領域があった
場合には，画像全ての解像度ではなく必要な部分だけの
解像度を任意に変化させることにより，精度向上に必要
とするデータ量の増加を抑えることが可能となる。
枚の画像内の一部に対応点の抽出が困難な領域があった
場合には，画像全ての解像度ではなく必要な部分だけの
解像度を任意に変化させることにより，精度向上に必要
とするデータ量の増加を抑えることが可能となる。
【００２５】次に，撮像対象がカメラから離れている場
合には，その撮像対象がある領域のみの解像度を任意に
変化させることによって，データ量の増加を伴うことな
く測定の分解能を向上させることが可能となる。
合には，その撮像対象がある領域のみの解像度を任意に
変化させることによって，データ量の増加を伴うことな
く測定の分解能を向上させることが可能となる。
【００２６】また，逆に分解能が低くても構わない場合
には，解像度を下げることによって無駄な処埋の低減を
図ることができる。
には，解像度を下げることによって無駄な処埋の低減を
図ることができる。
【００２７】
【発明の実施の形態】以下，本発明の実施の形態につい
て，図面を用いてさらに詳しく説明する。
て，図面を用いてさらに詳しく説明する。
【００２８】〔第１の実施形態〕図１は，本発明の第１
の実施形態の構成を示すブロック図である。本実施形態
の奥行き情報取得装置は，複数の撮像部１１０，１２０
と，１つの奥行き情報計算部１３０および出力部１４０
を含んで構成される。
の実施形態の構成を示すブロック図である。本実施形態
の奥行き情報取得装置は，複数の撮像部１１０，１２０
と，１つの奥行き情報計算部１３０および出力部１４０
を含んで構成される。
【００２９】撮像部１１０，１２０は，それぞれ，カメ
ラ１１１，１２１，画像メモリ１１２，１２２，解像度
変更部１１３，１２３，画像データ生成部１１４，１２
４を含んで構成される。なお，撮像部は説明を簡潔にす
るために２つとしているが，少なくとも２つ以上であれ
ばいくつでもよい。撮像部１１０，１２０は，撮像対象
に対して撮像を行い，取得した画像データを奥行き情報
計算部１３０に転送する。
ラ１１１，１２１，画像メモリ１１２，１２２，解像度
変更部１１３，１２３，画像データ生成部１１４，１２
４を含んで構成される。なお，撮像部は説明を簡潔にす
るために２つとしているが，少なくとも２つ以上であれ
ばいくつでもよい。撮像部１１０，１２０は，撮像対象
に対して撮像を行い，取得した画像データを奥行き情報
計算部１３０に転送する。
【００３０】奥行き情報計算部１３０は，対応点検出部
１３１，解像度変更指令部１３２，３次元座標計算部１
３３を含んで構成され，撮像部１１０，１２０により得
た画像データから奥行き情報を計算する。取得した奥行
き情報は，出力部１４０に出力される。
１３１，解像度変更指令部１３２，３次元座標計算部１
３３を含んで構成され，撮像部１１０，１２０により得
た画像データから奥行き情報を計算する。取得した奥行
き情報は，出力部１４０に出力される。
【００３１】対応点の探索が困難な場合に解像度を変化
させる処理の手順を，図２にアルゴリズムを示して説明
する。まず，位置関係が既知である複数のカメラ１１
１，１２１により同一の撮像対象を含む風景を撮影す
る。撮影された風景は，各々画像メモリ１１２，１２２
に蓄えられ（ステップＳ１１），画像データ生成部１１
４，１２４により，対応点検出用の画像データが得られ
る。これらの複数の画像データは，奥行き情報計算部１
３０の対応点検出部１３１に送られる。対応点検出部１
３１は，area-based matching またはfeature-based ma
tchingにより，対応点マッチングを行う（ステップＳ１
２）。ここで，撮像対象に対して対応点の抽出が困難な
場合には（ステップＳ１３），解像度変更指令部１３２
から解像度変更部１１３，１２３へ，その領域の解像度
を上げるよう指示を出す（ステップＳ１４）。ステップ
Ｓ１２〜Ｓ１３の手順を繰り返した後，３次元情報計算
部１３３により視差情報を得て，視差情報から奥行き情
報を計算する（ステップＳ１５）。計算された奥行き情
報は，各画素毎の値を濃淡値で表した画像データとして
出力部１４０に表示したり，他の画像処理系へデータと
して出力したりする。
させる処理の手順を，図２にアルゴリズムを示して説明
する。まず，位置関係が既知である複数のカメラ１１
１，１２１により同一の撮像対象を含む風景を撮影す
る。撮影された風景は，各々画像メモリ１１２，１２２
に蓄えられ（ステップＳ１１），画像データ生成部１１
４，１２４により，対応点検出用の画像データが得られ
る。これらの複数の画像データは，奥行き情報計算部１
３０の対応点検出部１３１に送られる。対応点検出部１
３１は，area-based matching またはfeature-based ma
tchingにより，対応点マッチングを行う（ステップＳ１
２）。ここで，撮像対象に対して対応点の抽出が困難な
場合には（ステップＳ１３），解像度変更指令部１３２
から解像度変更部１１３，１２３へ，その領域の解像度
を上げるよう指示を出す（ステップＳ１４）。ステップ
Ｓ１２〜Ｓ１３の手順を繰り返した後，３次元情報計算
部１３３により視差情報を得て，視差情報から奥行き情
報を計算する（ステップＳ１５）。計算された奥行き情
報は，各画素毎の値を濃淡値で表した画像データとして
出力部１４０に表示したり，他の画像処理系へデータと
して出力したりする。
【００３２】図３に，最初の解像度の画像で対応点マッ
チングが困難な領域が存在する状況において，図１に示
す第１の実施形態のシステムで計測を行った場合と従来
法で計測を行った場合との比較を示す。
チングが困難な領域が存在する状況において，図１に示
す第１の実施形態のシステムで計測を行った場合と従来
法で計測を行った場合との比較を示す。
【００３３】撮像対象１５１を撮像部のカメラ１１１で
撮像して得た画像データを１５４，カメラ１２１で得た
画像データを１５５とする。このとき画像データ１５４
と１５５に対して対応点マッチングを行い，マッチング
によって得た画像データを１５６とする。このとき，画
像データ１５６内の矩形で示す領域（５０画素×５０画
素）が，現在の解像度では対応点が取れない領域（例え
ば，撮像対象の模様が細かい場合）である。
撮像して得た画像データを１５４，カメラ１２１で得た
画像データを１５５とする。このとき画像データ１５４
と１５５に対して対応点マッチングを行い，マッチング
によって得た画像データを１５６とする。このとき，画
像データ１５６内の矩形で示す領域（５０画素×５０画
素）が，現在の解像度では対応点が取れない領域（例え
ば，撮像対象の模様が細かい場合）である。
【００３４】従来法のように対応点マッチングを行うた
めに全体の解像度を仮に縦・横それぞれ２倍に上げる
と，対応点マッチングを行う画素数は元の画像に対して
４倍になる。画像データ１５６を横３２０×縦２４０画
素の画像データであるとする。この中に対応点が取れな
い領域があるために，画面全体の画素を６４０×４８０
画素に変更すると，処理する画素数は倍率にすると４
倍，数にすると実に２３０４００画素増加する。
めに全体の解像度を仮に縦・横それぞれ２倍に上げる
と，対応点マッチングを行う画素数は元の画像に対して
４倍になる。画像データ１５６を横３２０×縦２４０画
素の画像データであるとする。この中に対応点が取れな
い領域があるために，画面全体の画素を６４０×４８０
画素に変更すると，処理する画素数は倍率にすると４
倍，数にすると実に２３０４００画素増加する。
【００３５】しかし，本発明の実施形態によれば，例え
ば５０×５０画素の矩形領域のみを１００×１００画素
の解像度に変更するだけであるから，処理する画素数は
倍率にするとわずか１．１倍，数にすると７５００画素
しか増加しない。
ば５０×５０画素の矩形領域のみを１００×１００画素
の解像度に変更するだけであるから，処理する画素数は
倍率にするとわずか１．１倍，数にすると７５００画素
しか増加しない。
【００３６】〔第２の実施形態〕図４は，本発明の第２
の実施形態の構成を示すブロック図である。本実施形態
の奥行き情報取得装置は，複数の撮像部２１０，２２０
と，１つの奥行き情報計算部２３０および出力部２４０
を含んで構成される。
の実施形態の構成を示すブロック図である。本実施形態
の奥行き情報取得装置は，複数の撮像部２１０，２２０
と，１つの奥行き情報計算部２３０および出力部２４０
を含んで構成される。
【００３７】撮像部２１０，２２０は，それぞれカメラ
２１１，２２１，画像メモリ２１２，２２２，解像度変
更部２１３，２２３，画像データ生成部２１４，２２４
を含んで構成される。なお，撮像部は説明を簡潔にする
ために２つとしているが，少なくとも２つ以上であれば
いくつでもよい。
２１１，２２１，画像メモリ２１２，２２２，解像度変
更部２１３，２２３，画像データ生成部２１４，２２４
を含んで構成される。なお，撮像部は説明を簡潔にする
ために２つとしているが，少なくとも２つ以上であれば
いくつでもよい。
【００３８】撮像部２１０，２２０は，撮像対象に対し
て撮像を行い，取得した画像データを奥行き情報計算部
２３０に転送する。奥行き情報計算部２３０は対応点検
出部２３１，３次元座標計算部２３２，解像度変更指令
部２３３を含んで構成され，撮像部２１０，２２０によ
り得た画像データから奥行き情報を計算する。取得した
奥行き情報は出力部２４０に出力される。
て撮像を行い，取得した画像データを奥行き情報計算部
２３０に転送する。奥行き情報計算部２３０は対応点検
出部２３１，３次元座標計算部２３２，解像度変更指令
部２３３を含んで構成され，撮像部２１０，２２０によ
り得た画像データから奥行き情報を計算する。取得した
奥行き情報は出力部２４０に出力される。
【００３９】取得した奥行き情報に十分な精度が得られ
なかった場合の処理動作を，図５にアルゴリズムを示し
て説明する。まず，位置関係が既知である複数のカメラ
２１１，２２１により同一の撮像対象を含む風景を撮影
する。撮影された風景は，各々画像メモリ２１２，２２
２に蓄えられ（ステップＳ２１），画像データ生成部２
１４，２２４により対応点検出用の画像データが得られ
る。これらの複数の画像データは，奥行き情報計算部２
３０の対応点検出部２３１に送られ，対応点マッチング
が行われる（ステップＳ２２）。次に，３次元座標計算
部２３２により奥行きマップ，すなわち各画素に対して
奥行きの座標値が定められたデータが作成される（ステ
ップＳ２３）。
なかった場合の処理動作を，図５にアルゴリズムを示し
て説明する。まず，位置関係が既知である複数のカメラ
２１１，２２１により同一の撮像対象を含む風景を撮影
する。撮影された風景は，各々画像メモリ２１２，２２
２に蓄えられ（ステップＳ２１），画像データ生成部２
１４，２２４により対応点検出用の画像データが得られ
る。これらの複数の画像データは，奥行き情報計算部２
３０の対応点検出部２３１に送られ，対応点マッチング
が行われる（ステップＳ２２）。次に，３次元座標計算
部２３２により奥行きマップ，すなわち各画素に対して
奥行きの座標値が定められたデータが作成される（ステ
ップＳ２３）。
【００４０】このとき，撮像対象までの距離が離れてお
り，奥行きマップに十分な精度が得られていない領域が
存在した場合には（ステップＳ２４），解像度変更指令
部２３３が解像度変更指令を出力し，解像度変更部２１
３，２２３に対象領域の解像度を変更させる（ステップ
Ｓ２５）。その後，以上のステップＳ２２〜ステップＳ
２４の手順を繰り返す。ここで計算された奥行き情報
は，各画素毎の値を濃淡値で表した画像データとして出
力部２４０に表示したり，他の画像処理系へデータとし
て出力したりする。
り，奥行きマップに十分な精度が得られていない領域が
存在した場合には（ステップＳ２４），解像度変更指令
部２３３が解像度変更指令を出力し，解像度変更部２１
３，２２３に対象領域の解像度を変更させる（ステップ
Ｓ２５）。その後，以上のステップＳ２２〜ステップＳ
２４の手順を繰り返す。ここで計算された奥行き情報
は，各画素毎の値を濃淡値で表した画像データとして出
力部２４０に表示したり，他の画像処理系へデータとし
て出力したりする。
【００４１】図６に，従来の撮像方法と図４に示す第２
の実施形態のシステムで撮像した場合の比較を示す。図
６において，２５１ａは左カメラの光学中心，２５２ａ
は左カメラの撮像画像，２５１ｂは右カメラの光学中
心，２５２ｂは右カメラの撮像画像を示す。また，２５
３ａは遠距離の撮像対象，２５３ｂは近距離の撮像対象
を示している。２５４ａは元の解像度の１画素の大き
さ，２５４ｂは解像度変更後の１画素の大きさを示して
いる。１画素の大きさが２５４ａのとき，図１３を用い
て説明したように，画素の投影される撮像対象の範囲２
５５の距離に含まれる撮像対象は全て同一の座標として
検出されるので，従来法では撮像対象２５３ａ，２５３
ｂは同一の座標として検出される。
の実施形態のシステムで撮像した場合の比較を示す。図
６において，２５１ａは左カメラの光学中心，２５２ａ
は左カメラの撮像画像，２５１ｂは右カメラの光学中
心，２５２ｂは右カメラの撮像画像を示す。また，２５
３ａは遠距離の撮像対象，２５３ｂは近距離の撮像対象
を示している。２５４ａは元の解像度の１画素の大き
さ，２５４ｂは解像度変更後の１画素の大きさを示して
いる。１画素の大きさが２５４ａのとき，図１３を用い
て説明したように，画素の投影される撮像対象の範囲２
５５の距離に含まれる撮像対象は全て同一の座標として
検出されるので，従来法では撮像対象２５３ａ，２５３
ｂは同一の座標として検出される。
【００４２】しかし，本発明の実施形態では，精度が必
要な場合に解像度を任意に変更することができる。そこ
で，１画素の大きさを２５４ａから２５４ｂに変更した
とすると，撮像対象２５３ａは撮像対象の範囲２５６に
含まれ，撮像対象２５３ｂは撮像対象の範囲２５７に含
まれることになり，画像上で区別が可能であるため，従
来法に比べて高い精度で距離の検出ができることがわか
る。
要な場合に解像度を任意に変更することができる。そこ
で，１画素の大きさを２５４ａから２５４ｂに変更した
とすると，撮像対象２５３ａは撮像対象の範囲２５６に
含まれ，撮像対象２５３ｂは撮像対象の範囲２５７に含
まれることになり，画像上で区別が可能であるため，従
来法に比べて高い精度で距離の検出ができることがわか
る。
【００４３】〔第３の実施形態〕図７は，本発明の第３
の実施形態の構成を示すブロック図である。本実施形態
の奥行き情報取得装置は，複数の撮像部３１０，３２０
と，１つの奥行き情報計算部３３０および出力部３４０
を含んで構成される。
の実施形態の構成を示すブロック図である。本実施形態
の奥行き情報取得装置は，複数の撮像部３１０，３２０
と，１つの奥行き情報計算部３３０および出力部３４０
を含んで構成される。
【００４４】撮像部３１０，３２０は，それぞれカメラ
３１１，３２１，画像メモリ３１２，３２２，画像デー
タ生成部３１３，３２３，解像度変更部３１４，３２４
を含んで構成される。なお，撮像部は説明を簡潔にする
ために２つとしているが，少なくとも２つ以上であれば
いくつでもよい。
３１１，３２１，画像メモリ３１２，３２２，画像デー
タ生成部３１３，３２３，解像度変更部３１４，３２４
を含んで構成される。なお，撮像部は説明を簡潔にする
ために２つとしているが，少なくとも２つ以上であれば
いくつでもよい。
【００４５】本実施形態の動作を図８にアルゴリズムを
示して説明する。撮像部３１０，３２０は，奥行き情報
計算部３３０の画像取得指令部３３１の指令により撮像
対象に対して撮像を行い，取得した画像データを奥行き
情報計算部３３０の対応点検出部３３２に転送する（ス
テップＳ３１）。対応点検出部３３２は，area-basedma
tching またはfeature-based matchingにより，対応点
マッチングを行う（ステップＳ３２）。対応点マッチン
グが困難な領域がある場合には（ステップＳ３３），解
像度変更指令部３３３がその領域の解像度のみを変更し
て画像を取り込む指令を出し（ステップＳ３４），対応
点マッチングを繰り返す。このとき解像度変更指令を受
けた解像度変更部３１４，３２４は直接カメラ３１１，
３２１に作用し，指令された解像度で画像を取り込む
（ステップＳ３１）。解像度を変更する必要がなければ
３次元座標計算部３３４により奥行き情報が計算される
（ステップＳ３５）。このとき撮像対象までの距離が離
れており，奥行きマップに十分な精度が得られていない
領域が存在した場合には（ステップＳ３６），解像度変
更指令部３３３がその領域の解像度のみを変更して画像
を取り込む指令を出力し（ステップＳ３４），以上のス
テップＳ３１〜Ｓ３６の手順を繰り返す。ここで計算さ
れた奥行き情報は，各画素毎の値を濃淡値で表した画像
データとして出力部３４０に表示したり，他の画像処理
系へデータとして出力したりする。
示して説明する。撮像部３１０，３２０は，奥行き情報
計算部３３０の画像取得指令部３３１の指令により撮像
対象に対して撮像を行い，取得した画像データを奥行き
情報計算部３３０の対応点検出部３３２に転送する（ス
テップＳ３１）。対応点検出部３３２は，area-basedma
tching またはfeature-based matchingにより，対応点
マッチングを行う（ステップＳ３２）。対応点マッチン
グが困難な領域がある場合には（ステップＳ３３），解
像度変更指令部３３３がその領域の解像度のみを変更し
て画像を取り込む指令を出し（ステップＳ３４），対応
点マッチングを繰り返す。このとき解像度変更指令を受
けた解像度変更部３１４，３２４は直接カメラ３１１，
３２１に作用し，指令された解像度で画像を取り込む
（ステップＳ３１）。解像度を変更する必要がなければ
３次元座標計算部３３４により奥行き情報が計算される
（ステップＳ３５）。このとき撮像対象までの距離が離
れており，奥行きマップに十分な精度が得られていない
領域が存在した場合には（ステップＳ３６），解像度変
更指令部３３３がその領域の解像度のみを変更して画像
を取り込む指令を出力し（ステップＳ３４），以上のス
テップＳ３１〜Ｓ３６の手順を繰り返す。ここで計算さ
れた奥行き情報は，各画素毎の値を濃淡値で表した画像
データとして出力部３４０に表示したり，他の画像処理
系へデータとして出力したりする。
【００４６】任意の解像度で画像を読み出す動作を図９
に示す。３５１はある撮像対象の撮影に全画素を読み出
した場合の画像，３５２は画像３５１と同じ撮像対象の
撮影に画素を間引いて低解像度で読み出した場合の画
像，３５３は画像３５１の撮像対象の一部を解像度を変
えて読み出した場合の画像を示している。この方法は現
在，最も一般的に使われているＣＣＤ(Charge Coupled
Device）素子を利用したカメラに比べて，以下の利点が
ある。
に示す。３５１はある撮像対象の撮影に全画素を読み出
した場合の画像，３５２は画像３５１と同じ撮像対象の
撮影に画素を間引いて低解像度で読み出した場合の画
像，３５３は画像３５１の撮像対象の一部を解像度を変
えて読み出した場合の画像を示している。この方法は現
在，最も一般的に使われているＣＣＤ(Charge Coupled
Device）素子を利用したカメラに比べて，以下の利点が
ある。
【００４７】ＣＣＤ素子の場合には，撮影を行った画像
を取り込むには，必ず全画素の読み出しが必要である。
１つのＣＣＤカメラで同じ撮像対象を異なった解像度の
画像として撮影したい場合でも，必ず全画素を読み出し
て画像メモリに取り込み，そこから画素を間引くなどの
処理を加える必要がある。このことは第１の実施形態お
よび第２の実施形態においても一般的なカメラを用いる
場合には成り立つ。つまり，画像処理にかかる計算量を
減らすことができても，画像の取り込みにかかる画像メ
モリの量や画像データの大きさを減らすことはできな
い。
を取り込むには，必ず全画素の読み出しが必要である。
１つのＣＣＤカメラで同じ撮像対象を異なった解像度の
画像として撮影したい場合でも，必ず全画素を読み出し
て画像メモリに取り込み，そこから画素を間引くなどの
処理を加える必要がある。このことは第１の実施形態お
よび第２の実施形態においても一般的なカメラを用いる
場合には成り立つ。つまり，画像処理にかかる計算量を
減らすことができても，画像の取り込みにかかる画像メ
モリの量や画像データの大きさを減らすことはできな
い。
【００４８】一方，本実施形態に示す手段で画像を取り
込む場合には，最初から画素を間引いた状態で画像デー
タの取り込みが可能なため，最初から画像データの取り
込みに使う画像メモリの量を減らし，なおかつ画素を間
引くなどの処理を低減することができる。
込む場合には，最初から画素を間引いた状態で画像デー
タの取り込みが可能なため，最初から画像データの取り
込みに使う画像メモリの量を減らし，なおかつ画素を間
引くなどの処理を低減することができる。
【００４９】第３の実施形態の手段を実現する素子の例
として，ＣＭＤ（Charge Modulation Device）撮像固体
素子が存在する。ＣＭＤ撮像固体素子は，画像全体を間
引いて全視野の粗画像を読み出す動作および任意エリア
のみの画素読み出しを実現している素子である。このよ
うな素子の参考文献としては，例えば「中村ほか，ゲー
ト蓄積型ＭＯＳフォトトランジスタイメージセンサ，テ
レビ誌，50, 2, pp.1047-1053 (1996-2)」があるので参
照されたい。
として，ＣＭＤ（Charge Modulation Device）撮像固体
素子が存在する。ＣＭＤ撮像固体素子は，画像全体を間
引いて全視野の粗画像を読み出す動作および任意エリア
のみの画素読み出しを実現している素子である。このよ
うな素子の参考文献としては，例えば「中村ほか，ゲー
ト蓄積型ＭＯＳフォトトランジスタイメージセンサ，テ
レビ誌，50, 2, pp.1047-1053 (1996-2)」があるので参
照されたい。
【００５０】上記第１〜第３の実施形態の例で説明した
ように，処理対象となる画像の領域の解像度を変える方
法として，画像メモリから画像データを読み出すとき
に，画素を間引く度合を変える方法，またＣＭＤ撮像固
体素子のような専用ハードウェアを用いて解像度を変え
る方法を用いることができる。
ように，処理対象となる画像の領域の解像度を変える方
法として，画像メモリから画像データを読み出すとき
に，画素を間引く度合を変える方法，またＣＭＤ撮像固
体素子のような専用ハードウェアを用いて解像度を変え
る方法を用いることができる。
【００５１】解像度を変える領域の大きさは，撮像領域
全体を所定の個数に分割したときの大きさでもよく，ま
た，ｎ×ｍ画素（ただし，ｎ≧１，ｍ≧２またはｎ≧
２，ｍ≧１）というようにあらかじめ決められた固定の
大きさでもよい。領域の大きさは，少なくとも対応点の
探索範囲が含まれる大きさがあれば任意の大きさとして
よい。この領域の大きさは，固定ではなく，撮影状況ま
たは画像の解析結果に応じて動的に変えるようにしても
よい。
全体を所定の個数に分割したときの大きさでもよく，ま
た，ｎ×ｍ画素（ただし，ｎ≧１，ｍ≧２またはｎ≧
２，ｍ≧１）というようにあらかじめ決められた固定の
大きさでもよい。領域の大きさは，少なくとも対応点の
探索範囲が含まれる大きさがあれば任意の大きさとして
よい。この領域の大きさは，固定ではなく，撮影状況ま
たは画像の解析結果に応じて動的に変えるようにしても
よい。
【００５２】また，解像度は段階的に複数回変更してい
くこともでき，解像度を上げるのではなく，精度が十分
である場合に処理の効率化のため，逆に解像度を下げる
ように変更することも可能である。
くこともでき，解像度を上げるのではなく，精度が十分
である場合に処理の効率化のため，逆に解像度を下げる
ように変更することも可能である。
【００５３】さらにまた，単一の静止画ではなく，連続
的に画像を取得するようなものに本発明を適用する場合
には，前の画像に対する処理結果から新たな画像の各領
域に対して必要な解像度を決めて，各領域ごとに解像度
を可変にするような実施も可能である。
的に画像を取得するようなものに本発明を適用する場合
には，前の画像に対する処理結果から新たな画像の各領
域に対して必要な解像度を決めて，各領域ごとに解像度
を可変にするような実施も可能である。
【００５４】
【発明の効果】以上述べたように，本発明によれば，以
下に示すような効果が生じる。 （１）対応点マッチングが困難な領域が存在しても，デ
ータ処理量の増加を抑えながら距離計測を行うことが可
能である。 （２）撮像対象の距離が変わっても計測精度を落とすこ
となく，かつデータ処理量の増加を抑えながら計測を行
うことが可能である。 （３）さらに画像データ取り込み時の処理を低減できる
装置を用いて構成することも可能である。
下に示すような効果が生じる。 （１）対応点マッチングが困難な領域が存在しても，デ
ータ処理量の増加を抑えながら距離計測を行うことが可
能である。 （２）撮像対象の距離が変わっても計測精度を落とすこ
となく，かつデータ処理量の増加を抑えながら計測を行
うことが可能である。 （３）さらに画像データ取り込み時の処理を低減できる
装置を用いて構成することも可能である。
【図１】本発明の第１の実施形態の構成を示すブロック
図である。
図である。
【図２】第１の実施形態の処理動作を説明するためのフ
ロー図である。
ロー図である。
【図３】第１の実施形態のシステムで計測を行った場合
と従来法で計測を行った場合の比較を行うための図であ
る。
と従来法で計測を行った場合の比較を行うための図であ
る。
【図４】本発明の第２の実施形態の構成を示すブロック
図である。
図である。
【図５】第２の実施形態の処理動作を説明するためのフ
ロー図である。
ロー図である。
【図６】従来の撮像方法と第２の実施形態のシステムで
撮像した場合の比較を行うための図である。
撮像した場合の比較を行うための図である。
【図７】本発明の第３の実施形態の構成を示すブロック
図である。
図である。
【図８】第３の実施形態の処理動作を説明するためのフ
ロー図である。
ロー図である。
【図９】任意の解像度で画像を読み出す処理動作を説明
するための図である。
するための図である。
【図１０】ステレオ法の原理を説明するための図であ
る。
る。
【図１１】対応点マッチングの手法を説明するための図
である。
である。
【図１２】対応点マッチングの手法を説明するための図
である。
である。
【図１３】計測分解能の低下による奥行き方向の計測精
度への影響を説明するための図である。
度への影響を説明するための図である。
１１０，１２０ 撮像部 １１１，１２１ カメラ １１２，１２２ 画像メモリ １１３，１２３ 解像度変更部 １１４，１２４ 画像データ生成部 １３０ 奥行き情報計算部 １３１ 対応点検出部 １３２ 解像度変更指令部 １３３ ３次元座標計算部 １４０ 出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 沖村 隆幸 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 上平 員丈 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2F065 AA04 AA06 DD06 DD07 FF05 FF09 JJ03 JJ05 JJ26 QQ01 QQ24 QQ31 QQ36 QQ38 SS13 UU05 2F112 AC06 BA05 CA12 FA03 FA35 FA36 FA38 FA45 5B057 BA02 CA13 CB13 CD05 DA07 DB03 DC32 DC36
Claims (7)
- 【請求項１】 位置関係が既知である複数台の撮像装置
を有し，その撮像装置によってある撮像対象に対して視
点方向の異なる複数の画像を取得し，取得した複数の画
像上における同一撮像対象を対応点として抽出し，その
対応点の投影位置の違いと撮像装置の位置関係から三角
測量の原理を用いて撮像対象の位置を求める奥行き情報
取得方法において，前記対応点マッチングを行う際に，
画像内のある大きさの領域ごとに対応点の抽出の困難さ
を評価し，その困難さに応じて前記領域の解像度を変更
して対応点の抽出を行うことを特徴とする奥行き情報取
得方法。 - 【請求項２】 位置関係が既知である複数台の撮像装置
を有し，その撮像装置によってある撮像対象に対して視
点方向の異なる複数の画像を取得し，取得した複数の画
像上における同一撮像対象を対応点として抽出し，その
対応点の投影位置の違いと撮像装置の位置関係から三角
測量の原理を用いて撮像対象の位置を求める奥行き情報
取得方法において，撮像対象と前記撮像装置間の距離に
応じて，画像内における撮像対象を含むある大きさの領
域の解像度を変更して対応点の抽出を行うことを特徴と
する奥行き情報取得方法。 - 【請求項３】 請求項１または請求項２に記載の奥行き
情報取得方法において，前記領域の解像度を変更する場
合に，前記撮像装置から取得した画像のデータを，解像
度に応じた度合いで画素を間引いて読み出す，または，
前記撮像装置からその撮像装置の最大解像度以内の範囲
で指定した解像度で画像を取り込むことを特徴とする奥
行き情報取得装置。 - 【請求項４】 それぞれ位置関係が既知である撮像装置
を有し，その撮像装置によってある撮像対象に対して視
点方向の異なる複数の画像を取得するための複数の撮像
部と，これらの撮像部によって得た複数の画像上におけ
る同一撮像対象を対応点として抽出し，その対応点の投
影位置の違いと撮像装置の位置関係から三角測量の原理
を用いて撮像対象の位置を求める奥行き情報計算部とを
備える奥行き情報取得装置において，前記撮像部は，前
記奥行き情報計算部が奥行き情報の計算に使用する画像
の少なくとも一部の領域の解像度を変更する手段を備
え，前記奥行き情報計算部は，前記対応点の抽出結果ま
たは奥行き情報の計算結果に応じて，前記撮像部に対し
画像内のある大きさの領域について解像度の変更を指示
する手段を備えることを特徴とする奥行き情報取得装
置。 - 【請求項５】 請求項４に記載の奥行き情報取得装置に
おいて，前記撮像部の撮像装置は，画像を取得する際
に，撮像領域内の撮像領域全体または任意の一部分をそ
の撮像装置の最大解像度以内の範囲で指定された解像度
で取り込む手段を持つことを特徴とする奥行き情報取得
装置。 - 【請求項６】 位置関係が既知である複数台の撮像装置
から，ある撮像対象に対して視点方向の異なる複数の画
像を取得し，取得した複数の画像上における同一撮像対
象を対応点として抽出し，その対応点の投影位置の違い
と撮像装置の位置関係から三角測量の原理を用いて撮像
対象の位置を求めるためのプログラムを記録した記録媒
体であって，複数の画像を取り込む処理と，取り込んだ
画像における対応点のマッチングを行う処理と，対応点
のマッチング結果に応じて，そのマッチングに必要とな
る領域を含む画像内のある大きさの領域の解像度を変化
させる処理と，前記対応点のマッチング結果をもとに，
撮像対象の奥行き情報を計算する処理とを，コンピュー
タに実行させるプログラムを記録したことを特徴とする
奥行き情報取得プログラムを記録した記録媒体。 - 【請求項７】 位置関係が既知である複数台の撮像装置
から，ある撮像対象に対して視点方向の異なる複数の画
像を取得し，取得した複数の画像上における同一撮像対
象を対応点として抽出し，その対応点の投影位置の違い
と撮像装置の位置関係から三角測量の原理を用いて撮像
対象の位置を求めるためのプログラムを記録した記録媒
体であって，複数の画像を取り込む処理と，取り込んだ
画像における対応点のマッチングを行う処理と，前記対
応点のマッチング結果をもとに，撮像対象の奥行き情報
を計算する処理と，撮像対象と前記撮像装置間の距離に
応じて，画像内における撮像対象を含むある大きさの領
域の解像度を変化させる処理とを，コンピュータに実行
させるプログラムを記録したことを特徴とする奥行き情
報取得プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000077432A JP2001266128A (ja) | 2000-03-21 | 2000-03-21 | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000077432A JP2001266128A (ja) | 2000-03-21 | 2000-03-21 | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001266128A true JP2001266128A (ja) | 2001-09-28 |
Family
ID=18595001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000077432A Pending JP2001266128A (ja) | 2000-03-21 | 2000-03-21 | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001266128A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004279031A (ja) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | 距離分布検知装置及び距離分布検知方法 |
| JP2008516224A (ja) * | 2004-10-08 | 2008-05-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 検査表面の光学検査 |
| JP2009289189A (ja) * | 2008-05-30 | 2009-12-10 | Toyota Central R&D Labs Inc | 学習モデル生成装置及びプログラム並びに対象物検出装置及びプログラム |
| JP2010524279A (ja) * | 2007-03-09 | 2010-07-15 | イーストマン コダック カンパニー | 距離マップ生成型マルチレンズカメラ |
| WO2011087145A1 (en) * | 2010-01-13 | 2011-07-21 | Sharp Kabushiki Kaisha | Methods and a display device for displaying a pair of stereoscopic images on a display for reducing viewing discomfort |
| WO2011111247A1 (ja) * | 2010-03-12 | 2011-09-15 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| WO2012132168A1 (ja) * | 2011-03-31 | 2012-10-04 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、および位置情報のデータ構造 |
| JP2014048896A (ja) * | 2012-08-31 | 2014-03-17 | Canon Inc | 距離情報推定装置 |
| US8708890B2 (en) | 2010-01-15 | 2014-04-29 | Olympus Corporation | Endoscope apparatus and method of measuring subject |
| JP2014147572A (ja) * | 2013-02-01 | 2014-08-21 | Olympus Corp | 内視鏡装置およびプログラム |
| JP2015504640A (ja) * | 2011-12-02 | 2015-02-12 | ソニーモバイルコミュニケーションズ， エービー | ２次元の画像から３次元のメッシュを生成するための方法、システム、及びコンピュータプログラム製品 |
| JP2016157188A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社デンソーアイティーラボラトリ | 姿勢推定モデル生成装置及び姿勢推定装置 |
| WO2020054429A1 (ja) * | 2018-09-10 | 2020-03-19 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| WO2020196510A1 (ja) * | 2019-03-28 | 2020-10-01 | 株式会社デンソー | 測距装置 |
| WO2023276223A1 (ja) * | 2021-06-30 | 2023-01-05 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法及び制御装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6280768A (ja) * | 1985-10-04 | 1987-04-14 | Hitachi Ltd | ステレオ画像処理方法 |
| JPH03176779A (ja) * | 1989-12-06 | 1991-07-31 | Fujitsu Ltd | 画像処理制御方式 |
| JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
| JPH10134187A (ja) * | 1996-10-31 | 1998-05-22 | Nec Corp | 三次元構造推定装置 |
| JP2002524937A (ja) * | 1998-08-28 | 2002-08-06 | サーノフ コーポレイション | 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置 |
-
2000
- 2000-03-21 JP JP2000077432A patent/JP2001266128A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6280768A (ja) * | 1985-10-04 | 1987-04-14 | Hitachi Ltd | ステレオ画像処理方法 |
| JPH03176779A (ja) * | 1989-12-06 | 1991-07-31 | Fujitsu Ltd | 画像処理制御方式 |
| JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
| JPH10134187A (ja) * | 1996-10-31 | 1998-05-22 | Nec Corp | 三次元構造推定装置 |
| JP2002524937A (ja) * | 1998-08-28 | 2002-08-06 | サーノフ コーポレイション | 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004279031A (ja) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | 距離分布検知装置及び距離分布検知方法 |
| JP4777992B2 (ja) * | 2004-10-08 | 2011-09-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 検査表面の光学検査 |
| JP2008516224A (ja) * | 2004-10-08 | 2008-05-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 検査表面の光学検査 |
| JP2010524279A (ja) * | 2007-03-09 | 2010-07-15 | イーストマン コダック カンパニー | 距離マップ生成型マルチレンズカメラ |
| JP2009289189A (ja) * | 2008-05-30 | 2009-12-10 | Toyota Central R&D Labs Inc | 学習モデル生成装置及びプログラム並びに対象物検出装置及びプログラム |
| WO2011087145A1 (en) * | 2010-01-13 | 2011-07-21 | Sharp Kabushiki Kaisha | Methods and a display device for displaying a pair of stereoscopic images on a display for reducing viewing discomfort |
| US8708890B2 (en) | 2010-01-15 | 2014-04-29 | Olympus Corporation | Endoscope apparatus and method of measuring subject |
| WO2011111247A1 (ja) * | 2010-03-12 | 2011-09-15 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| US9443313B2 (en) | 2010-03-12 | 2016-09-13 | Hitachi Automotive Systems, Ltd. | Stereo camera apparatus |
| JP2011191905A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Automotive Systems Ltd | ステレオカメラ装置 |
| WO2012132168A1 (ja) * | 2011-03-31 | 2012-10-04 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、および位置情報のデータ構造 |
| JP2012216946A (ja) * | 2011-03-31 | 2012-11-08 | Sony Computer Entertainment Inc | 情報処理装置、情報処理方法、および位置情報のデータ構造 |
| US9699432B2 (en) | 2011-03-31 | 2017-07-04 | Sony Corporation | Information processing apparatus, information processing method, and data structure of position information |
| JP2015504640A (ja) * | 2011-12-02 | 2015-02-12 | ソニーモバイルコミュニケーションズ， エービー | ２次元の画像から３次元のメッシュを生成するための方法、システム、及びコンピュータプログラム製品 |
| JP2014048896A (ja) * | 2012-08-31 | 2014-03-17 | Canon Inc | 距離情報推定装置 |
| JP2014147572A (ja) * | 2013-02-01 | 2014-08-21 | Olympus Corp | 内視鏡装置およびプログラム |
| JP2016157188A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社デンソーアイティーラボラトリ | 姿勢推定モデル生成装置及び姿勢推定装置 |
| WO2020054429A1 (ja) * | 2018-09-10 | 2020-03-19 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| JP2020041891A (ja) * | 2018-09-10 | 2020-03-19 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| CN112513572A (zh) * | 2018-09-10 | 2021-03-16 | 日立汽车系统株式会社 | 图像处理装置 |
| JP7066580B2 (ja) | 2018-09-10 | 2022-05-13 | 日立Astemo株式会社 | 画像処理装置 |
| WO2020196510A1 (ja) * | 2019-03-28 | 2020-10-01 | 株式会社デンソー | 測距装置 |
| JP2020165677A (ja) * | 2019-03-28 | 2020-10-08 | 株式会社デンソー | 測距装置 |
| CN113646660A (zh) * | 2019-03-28 | 2021-11-12 | 株式会社电装 | 测距装置 |
| JP7115390B2 (ja) | 2019-03-28 | 2022-08-09 | 株式会社デンソー | 測距装置 |
| WO2023276223A1 (ja) * | 2021-06-30 | 2023-01-05 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法及び制御装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7554575B2 (en) | Fast imaging system calibration | |
| US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
| US7825948B2 (en) | 3D video conferencing | |
| KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
| JP2001266128A (ja) | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 | |
| JP2009139995A (ja) | ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム | |
| CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
| JPWO2018147059A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
| JP2003304561A (ja) | ステレオ画像処理装置 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 | |
| CN112615993A (zh) | 深度信息获取方法、双目摄像模组、存储介质及电子设备 | |
| JPH11223516A (ja) | ３次元画像撮像装置 | |
| JP2021096638A (ja) | カメラシステム | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
| JP2004132759A (ja) | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム | |
| KR102542363B1 (ko) | 3차원 공간에서 객체를 인식하는 방법 | |
| CN111080689B (zh) | 确定面部深度图的方法和装置 | |
| JP4136652B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び電子機器 | |
| WO2024063675A1 (en) | Methods and systems for generating three-dimensional representations | |
| Tsou et al. | Depth Measurement for a Mobile Robot using Camera Rotation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040805 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040921 |