JP2003016477A - ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム - Google Patents
３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラムInfo
- Publication number
- JP2003016477A JP2003016477A JP2001200143A JP2001200143A JP2003016477A JP 2003016477 A JP2003016477 A JP 2003016477A JP 2001200143 A JP2001200143 A JP 2001200143A JP 2001200143 A JP2001200143 A JP 2001200143A JP 2003016477 A JP2003016477 A JP 2003016477A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- dimensional
- processing
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000007781 pre-processing Methods 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000013519 translation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 21
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000012958 reprocessing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 4
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- YDLQKLWVKKFPII-UHFFFAOYSA-N timiperone Chemical compound C1=CC(F)=CC=C1C(=O)CCCN1CCC(N2C(NC3=CC=CC=C32)=S)CC1 YDLQKLWVKKFPII-UHFFFAOYSA-N 0.000 description 1
- 229950000809 timiperone Drugs 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】画像変換処理の回数を減らしてステレオマッチ
ングを行う際の計算量を減らすことができる３次元画像
情報生成装置を提供する。 【解決手段】撮像対象を撮像した画像に基づいて撮像対
象の３次元情報を取得し、撮像対象の３次元画像情報を
生成する３次元画像情報生成装置であって、少なくとも
１枚のカラー画像を含み、複数視点から撮像対象を撮像
した画像を入力するステレオ撮像系１と、カラー画像の
輝度情報を抽出し、輝度情報に前処理を行ない、前処理
された画像から３次元情報を取得し、３次元情報に前処
理の効果を補償する処理を行ない、補償処理された３次
元情報にカラー画像をテクスチャとして貼付して３次元
画像を生成する計算装置１２とを具備する。
ングを行う際の計算量を減らすことができる３次元画像
情報生成装置を提供する。 【解決手段】撮像対象を撮像した画像に基づいて撮像対
象の３次元情報を取得し、撮像対象の３次元画像情報を
生成する３次元画像情報生成装置であって、少なくとも
１枚のカラー画像を含み、複数視点から撮像対象を撮像
した画像を入力するステレオ撮像系１と、カラー画像の
輝度情報を抽出し、輝度情報に前処理を行ない、前処理
された画像から３次元情報を取得し、３次元情報に前処
理の効果を補償する処理を行ない、補償処理された３次
元情報にカラー画像をテクスチャとして貼付して３次元
画像を生成する計算装置１２とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元画像情報生
成装置、３次元画像情報生成方法並びに３次元画像情報
生成プログラムに関する。
成装置、３次元画像情報生成方法並びに３次元画像情報
生成プログラムに関する。
【０００２】
【従来の技術】従来、ステレオ撮像系により取得したス
テレオ画像に基いて３次元情報を獲得する場合、１つの
基準となる画像上の点がその他の画像上のどの点に対応
しているかを対応点探索によって認識し、そのずれ（以
下、視差）量と複数の撮像系の視点位置、視線方向から
三角測量の原理によって対応した点までの距離情報を得
ている。これは複数の視点からの画像を獲得し、各視点
の位置関係と各画像の見え方の違いから３次元情報を得
るというものである。
テレオ画像に基いて３次元情報を獲得する場合、１つの
基準となる画像上の点がその他の画像上のどの点に対応
しているかを対応点探索によって認識し、そのずれ（以
下、視差）量と複数の撮像系の視点位置、視線方向から
三角測量の原理によって対応した点までの距離情報を得
ている。これは複数の視点からの画像を獲得し、各視点
の位置関係と各画像の見え方の違いから３次元情報を得
るというものである。
【０００３】ここで、「ステレオ撮像系」とは、複数の
視点からの撮像系を意味している。さらに１台の撮影装
置からステレオコンバータ等を用いて複数視点の画像を
得る物や、複数の撮像装置を使用したものも含む。ま
た、「ステレオ撮像系によって得られたステレオ画像」
とは複数視点からの画像を意味する。複数の撮像装置か
らの複数の画像だけでなく、１枚の画像の中に複数の視
点の画像が埋め込まれているものも含む。
視点からの撮像系を意味している。さらに１台の撮影装
置からステレオコンバータ等を用いて複数視点の画像を
得る物や、複数の撮像装置を使用したものも含む。ま
た、「ステレオ撮像系によって得られたステレオ画像」
とは複数視点からの画像を意味する。複数の撮像装置か
らの複数の画像だけでなく、１枚の画像の中に複数の視
点の画像が埋め込まれているものも含む。
【０００４】例えば図８で示すように、複数（この場合
カメラ１００，１０１）の視点からステレオ画像２−
１，２−２を獲得し、その中の１枚を基準画像３とする
（ここではステレオ画像２−１）。次に被撮影物４上の
点Ａの、基準画像３座標上での位置と、ステレオ画像２
−２座標上での位置の差（以下、視差）の量と視点位置
と視線方向から三角測量の原理に基づいて被撮影物４上
の点Ａまでの距離が算出できる。
カメラ１００，１０１）の視点からステレオ画像２−
１，２−２を獲得し、その中の１枚を基準画像３とする
（ここではステレオ画像２−１）。次に被撮影物４上の
点Ａの、基準画像３座標上での位置と、ステレオ画像２
−２座標上での位置の差（以下、視差）の量と視点位置
と視線方向から三角測量の原理に基づいて被撮影物４上
の点Ａまでの距離が算出できる。
【０００５】従来、ステレオ画像により３次元情報の取
得を行う場合、１つの基準となる画像上の点がその他の
画像上のどの点に対応しているかを対応点探索によって
認識する。例えば特開平６−２１５１１１号公報にこの
ような手法の一例が開示されている。
得を行う場合、１つの基準となる画像上の点がその他の
画像上のどの点に対応しているかを対応点探索によって
認識する。例えば特開平６−２１５１１１号公報にこの
ような手法の一例が開示されている。
【０００６】図９は、ステレオ撮像系で得た画像から３
次元画像を生成する手順を説明するための図である。
次元画像を生成する手順を説明するための図である。
【０００７】複数台（ここでは２台）のカメラで構成さ
れるステレオ撮像系１（テクスチャ貼り付けの為少なく
とも１台のカメラはカラーカメラ）によって撮像された
ステレオ画像２−１，２−２を取得して格納する。ここ
ではステレオ画像２−１を基準画像３とする（ステップ
Ｓ１）。次に、前処理として、ステレオマッチングを簡
易に行うためにレンズ歪み（レンズディストーション）
の除去と平行投影（レクティフィケーション）を行い歪
みを除去した画像５−１，５−２を生成する（ステップ
Ｓ２）。このうち基準画像３の歪みが除去された画像を
歪み除去基準画像６とする。
れるステレオ撮像系１（テクスチャ貼り付けの為少なく
とも１台のカメラはカラーカメラ）によって撮像された
ステレオ画像２−１，２−２を取得して格納する。ここ
ではステレオ画像２−１を基準画像３とする（ステップ
Ｓ１）。次に、前処理として、ステレオマッチングを簡
易に行うためにレンズ歪み（レンズディストーション）
の除去と平行投影（レクティフィケーション）を行い歪
みを除去した画像５−１，５−２を生成する（ステップ
Ｓ２）。このうち基準画像３の歪みが除去された画像を
歪み除去基準画像６とする。
【０００８】次にカラー画像５−１，５−２をそれぞれ
モノクロ画像７−１，７−２に変換する（ステップＳ
３）。次にモノクロ画像７−１，７−２に対してステレ
オマッチングを行い距離画像７を取得して収納する（ス
テップＳ４）。次に距離画像７の３次元情報にステップ
Ｓ２−１で取得した歪み除去基準画像６をテクスチャと
して貼り付ける（ステップＳ５）。
モノクロ画像７−１，７−２に変換する（ステップＳ
３）。次にモノクロ画像７−１，７−２に対してステレ
オマッチングを行い距離画像７を取得して収納する（ス
テップＳ４）。次に距離画像７の３次元情報にステップ
Ｓ２−１で取得した歪み除去基準画像６をテクスチャと
して貼り付ける（ステップＳ５）。
【０００９】この際、各処理に必要な処理時間は装置構
成や、レンズディストーション除去及びレクティフィケ
ーション処理（ステップＳ２）、ステレオマッチング
（ステップＳ４）の各アルゴリズムによって異なる。出
願人の実験によればステップＳ２やステップＳ４の処理
に少なからぬ時間を要することがわかっており、特にカ
ラー画像に対してステップＳ２の処理を行なう場合はモ
ノクロ画像と比較して３倍の時間を要する。したがって
システムの高速化を図るためにはステップＳ２の計算量
削減が非常に重要な課題となる。
成や、レンズディストーション除去及びレクティフィケ
ーション処理（ステップＳ２）、ステレオマッチング
（ステップＳ４）の各アルゴリズムによって異なる。出
願人の実験によればステップＳ２やステップＳ４の処理
に少なからぬ時間を要することがわかっており、特にカ
ラー画像に対してステップＳ２の処理を行なう場合はモ
ノクロ画像と比較して３倍の時間を要する。したがって
システムの高速化を図るためにはステップＳ２の計算量
削減が非常に重要な課題となる。
【００１０】図１０はレクティフィケーション処理につ
いて説明するための図である。ここで言うレクティフィ
ケーションとは、カメラ１００，１０１からなる撮像系
１により被撮影物４を撮像して得られたステレオ画像２
−１，２−２を同一平面に平行投影することによりレク
ティフィケーション処理した画像５を得ることである。
いて説明するための図である。ここで言うレクティフィ
ケーションとは、カメラ１００，１０１からなる撮像系
１により被撮影物４を撮像して得られたステレオ画像２
−１，２−２を同一平面に平行投影することによりレク
ティフィケーション処理した画像５を得ることである。
【００１１】図１１（Ａ）〜（Ｄ）はレンズディストー
ション除去について説明するための図である。レンズデ
ィストーション除去とは、ピンホールレンズを仮定した
場合には存在しない画像の歪みを除去することである。
まずステレオ撮像系により本来の画像（図１１（Ａ））
を撮像すると、ステレオ撮像系のレンズによる歪みを含
んだ画像（図１１（Ｂ）、（Ｃ））が得られる。この画
像に対してレンズディストーション除去による画像変形
を行なってもとの画像を得る（図１１（Ｄ））。
ション除去について説明するための図である。レンズデ
ィストーション除去とは、ピンホールレンズを仮定した
場合には存在しない画像の歪みを除去することである。
まずステレオ撮像系により本来の画像（図１１（Ａ））
を撮像すると、ステレオ撮像系のレンズによる歪みを含
んだ画像（図１１（Ｂ）、（Ｃ））が得られる。この画
像に対してレンズディストーション除去による画像変形
を行なってもとの画像を得る（図１１（Ｄ））。
【００１２】これらの処理を行う事によってステレオマ
ッチングを行う際に対応点の存在し得る領域はステレオ
画像上の直線上（エピポーラライン）に限定される。こ
のことによって対応点探索が容易になる。
ッチングを行う際に対応点の存在し得る領域はステレオ
画像上の直線上（エピポーラライン）に限定される。こ
のことによって対応点探索が容易になる。
【００１３】形状の絶対値が決まっている画像を撮影
し、画像変形（レンズディストーション除去やレクティ
フィケーション）のパラメータを決定し、そのパラメー
タに従って画像を変形させる等の手法がある。
し、画像変形（レンズディストーション除去やレクティ
フィケーション）のパラメータを決定し、そのパラメー
タに従って画像を変形させる等の手法がある。
【００１４】
【発明が解決しようとする課題】しかしながら、レクテ
ィフィケーションやレンズディストーション等の画像変
形処理は非常に計算量の多い作業であり、高速な処理を
行なう場合の妨げになっていた。
ィフィケーションやレンズディストーション等の画像変
形処理は非常に計算量の多い作業であり、高速な処理を
行なう場合の妨げになっていた。
【００１５】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、画像変換処理
の回数を減らしてステレオマッチングを行う際の計算量
を減らすことができる３次元画像情報生成装置、３次元
画像情報生成方法並びに３次元画像情報生成プログラム
を提供することにある。
たものであり、その目的とするところは、画像変換処理
の回数を減らしてステレオマッチングを行う際の計算量
を減らすことができる３次元画像情報生成装置、３次元
画像情報生成方法並びに３次元画像情報生成プログラム
を提供することにある。
【００１６】
【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明は、撮像対象を撮像した画像に基づい
て撮像対象の３次元情報を取得し、前記撮像対象の３次
元画像情報を生成する３次元画像情報生成装置であっ
て、少なくとも１枚のカラー画像を含み、複数視点から
撮像対象を撮像した画像を入力する入力手段（ステレオ
撮像系）と、前記カラー画像の輝度情報を抽出する抽出
手段（モノクロ化、グレースケール画像化手段）と、前
記抽出手段により抽出された輝度情報に前処理（レンズ
ディストーション処理、レクティフィケーション処理）
行う前処理手段と、前記前処理手段により処理された画
像から３次元情報を取得する３次元情報取得手段（ステ
レオマッチング手段）と、前記３次元情報に、前記前処
理の効果を補償する処理を行う補償処理手段（逆レンズ
ディストーション処理、逆レクティフィケーション処
理、または拡大縮小、平行移動処理）と、前記補償処理
された３次元情報に前記カラー画像をテクスチャとして
貼付して３次元画像を生成する３次元画像生成手段とを
具備する。
めに、第１の発明は、撮像対象を撮像した画像に基づい
て撮像対象の３次元情報を取得し、前記撮像対象の３次
元画像情報を生成する３次元画像情報生成装置であっ
て、少なくとも１枚のカラー画像を含み、複数視点から
撮像対象を撮像した画像を入力する入力手段（ステレオ
撮像系）と、前記カラー画像の輝度情報を抽出する抽出
手段（モノクロ化、グレースケール画像化手段）と、前
記抽出手段により抽出された輝度情報に前処理（レンズ
ディストーション処理、レクティフィケーション処理）
行う前処理手段と、前記前処理手段により処理された画
像から３次元情報を取得する３次元情報取得手段（ステ
レオマッチング手段）と、前記３次元情報に、前記前処
理の効果を補償する処理を行う補償処理手段（逆レンズ
ディストーション処理、逆レクティフィケーション処
理、または拡大縮小、平行移動処理）と、前記補償処理
された３次元情報に前記カラー画像をテクスチャとして
貼付して３次元画像を生成する３次元画像生成手段とを
具備する。
【００１７】また、第２の発明は、第１の発明に係る３
次元画像情報生成装置において、前記補償処理手段は、
前記前処理の逆変換処理を行う。
次元画像情報生成装置において、前記補償処理手段は、
前記前処理の逆変換処理を行う。
【００１８】また、第３の発明は、第１の発明に係る３
次元画像情報生成装置において、前記補償処理手段は、
前記前処理結果を打ち消すように拡縮処理および平行移
動処理、あるいはその一方を行う。
次元画像情報生成装置において、前記補償処理手段は、
前記前処理結果を打ち消すように拡縮処理および平行移
動処理、あるいはその一方を行う。
【００１９】また、第４の発明は、撮像対象を撮像した
画像に基づいて撮像対象の３次元情報を取得し、前記撮
像対象の３次元画像情報を生成する３次元画像情報生成
方法であって、少なくとも１枚のカラー画像を含み、複
数視点から撮像対象を撮像した画像を入力し、前記カラ
ー画像の輝度情報を抽出し、前記抽出した輝度情報に前
処理を行い、前記前処理により処理された画像から３次
元情報を取得し、前記取得した３次元情報に、前記前処
理の効果を補償する処理を行い、前記補償処理された３
次元情報に前記カラー画像をテクスチャとして貼付して
３次元画像を生成する。
画像に基づいて撮像対象の３次元情報を取得し、前記撮
像対象の３次元画像情報を生成する３次元画像情報生成
方法であって、少なくとも１枚のカラー画像を含み、複
数視点から撮像対象を撮像した画像を入力し、前記カラ
ー画像の輝度情報を抽出し、前記抽出した輝度情報に前
処理を行い、前記前処理により処理された画像から３次
元情報を取得し、前記取得した３次元情報に、前記前処
理の効果を補償する処理を行い、前記補償処理された３
次元情報に前記カラー画像をテクスチャとして貼付して
３次元画像を生成する。
【００２０】また、第５の発明は、第４の発明に係る３
次元画像情報生成方法において、前記補償処理は、前記
前処理の逆変換処理である。
次元画像情報生成方法において、前記補償処理は、前記
前処理の逆変換処理である。
【００２１】また、第６の発明は、第４の発明に係る３
次元画像情報生成方法において、前記補償処理は、前記
前処理結果を打ち消す拡縮処理および平行移動処理、あ
るいはその一方である。
次元画像情報生成方法において、前記補償処理は、前記
前処理結果を打ち消す拡縮処理および平行移動処理、あ
るいはその一方である。
【００２２】また、第７の発明は、コンピュータによっ
て撮像対象を撮像した画像に基づいて撮像対象の３次元
情報を取得し、前記撮像対象の３次元画像情報を生成す
る３次元画像情報生成プログラムであって、少なくとも
１枚のカラー画像を含み、複数視点から撮像対象を撮像
した画像を入力する入力ステップと、前記カラー画像の
輝度情報を抽出する抽出ステップと、前記抽出した輝度
情報に前処理を行う前処理ステップと、前記前処理ステ
ップにより処理された画像から３次元情報を取得する３
次元情報取得ステップと、前記取得した３次元情報に、
前記前処理の効果を補償する処理を行う補償処理ステッ
プと、前記補償処理された３次元情報に前記カラー画像
をテクスチャとして貼付して３次元画像を生成する３次
元画像生成ステップとを実行する。
て撮像対象を撮像した画像に基づいて撮像対象の３次元
情報を取得し、前記撮像対象の３次元画像情報を生成す
る３次元画像情報生成プログラムであって、少なくとも
１枚のカラー画像を含み、複数視点から撮像対象を撮像
した画像を入力する入力ステップと、前記カラー画像の
輝度情報を抽出する抽出ステップと、前記抽出した輝度
情報に前処理を行う前処理ステップと、前記前処理ステ
ップにより処理された画像から３次元情報を取得する３
次元情報取得ステップと、前記取得した３次元情報に、
前記前処理の効果を補償する処理を行う補償処理ステッ
プと、前記補償処理された３次元情報に前記カラー画像
をテクスチャとして貼付して３次元画像を生成する３次
元画像生成ステップとを実行する。
【００２３】また、第８の発明は、第７の発明に係る３
次元画像情報生成プログラムにおいて、前記補償処理ス
テップは、前記前処理の逆変換処理を実行する。
次元画像情報生成プログラムにおいて、前記補償処理ス
テップは、前記前処理の逆変換処理を実行する。
【００２４】また、第９の発明は、第７の発明に係る３
次元画像情報生成プログラムにおいて、前記補償処理ス
テップは、前記前処理結果を打ち消す拡縮処理および平
行移動処理、あるいはその一方を実行する。
次元画像情報生成プログラムにおいて、前記補償処理ス
テップは、前記前処理結果を打ち消す拡縮処理および平
行移動処理、あるいはその一方を実行する。
【００２５】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。
施形態を詳細に説明する。
【００２６】（第１実施形態）図１は、本発明の３次元
画像情報生成装置の概略構成を示すブロック図であり、
記憶装置１０を備えた計算装置１２と、これに接続され
た入力手段としてのステレオ撮像系１と、表示装置１１
とから構成される。ステレオ撮像系１の構成は図８と同
様であり、レクティフィケーション処理では図１０の構
成を用い、レンズディストーション除去では図１１の構
成を用いる。また、図２、図３は３次元画像情報生成の
手順を説明するためのフローチャートである。
画像情報生成装置の概略構成を示すブロック図であり、
記憶装置１０を備えた計算装置１２と、これに接続され
た入力手段としてのステレオ撮像系１と、表示装置１１
とから構成される。ステレオ撮像系１の構成は図８と同
様であり、レクティフィケーション処理では図１０の構
成を用い、レンズディストーション除去では図１１の構
成を用いる。また、図２、図３は３次元画像情報生成の
手順を説明するためのフローチャートである。
【００２７】図８に示すカラーカメラ１００とモノクロ
カメラ１０１によって構成されるステレオ撮像系１によ
って被撮影物４を撮影してステレオ画像２−１，２−２
（図３の（Ａ））を取得して記憶装置１０に格納する
（ステップＳ１）。ここではカラーカメラ１００によっ
て撮影されたステレオ画像２−１を基準画像３とする。
次に計算装置１２はこの基準画像３をモノクロ化してモ
ノクロ画像７（図３の（Ｂ））を取得する（ステップＳ
３）。
カメラ１０１によって構成されるステレオ撮像系１によ
って被撮影物４を撮影してステレオ画像２−１，２−２
（図３の（Ａ））を取得して記憶装置１０に格納する
（ステップＳ１）。ここではカラーカメラ１００によっ
て撮影されたステレオ画像２−１を基準画像３とする。
次に計算装置１２はこの基準画像３をモノクロ化してモ
ノクロ画像７（図３の（Ｂ））を取得する（ステップＳ
３）。
【００２８】次にモノクロ画像７及びステレオ画像２−
２に対する前処理としてレクティフィケーション処理及
び／又はレンズディストーション処理を行い（ステップ
Ｓ２’、図３の（Ｃ））、歪みを除去したステレオ画像
５−１，５−２を生成して記憶装置１０に格納する。
２に対する前処理としてレクティフィケーション処理及
び／又はレンズディストーション処理を行い（ステップ
Ｓ２’、図３の（Ｃ））、歪みを除去したステレオ画像
５−１，５−２を生成して記憶装置１０に格納する。
【００２９】次に計算装置１２は歪みが除去されたステ
レオ画像５−１，５−２にステレオマッチング処理を行
い被撮影物４に関する３次元情報としての距離画像８
（図３の（Ｄ））を取得して、これを記憶装置１０に格
納する（ステップＳ４）。次に計算装置１２は、距離画
像８に対してステップ２’で行ったレクティフィケーシ
ョン及び／又はレンズディストーション処理の逆変換処
理（補償処理）を行い距離画像９（図３の（Ｅ））を生
成して記憶装置１０に格納する（ステップＳ２”）。計
算装置１２は距離画像９から得られる３次元情報にステ
ップＳ１で取得した基準画像３をテクスチャとして貼り
付けて（ステップＳ５）表示装置１１に表示する（図３
の（Ｆ））。
レオ画像５−１，５−２にステレオマッチング処理を行
い被撮影物４に関する３次元情報としての距離画像８
（図３の（Ｄ））を取得して、これを記憶装置１０に格
納する（ステップＳ４）。次に計算装置１２は、距離画
像８に対してステップ２’で行ったレクティフィケーシ
ョン及び／又はレンズディストーション処理の逆変換処
理（補償処理）を行い距離画像９（図３の（Ｅ））を生
成して記憶装置１０に格納する（ステップＳ２”）。計
算装置１２は距離画像９から得られる３次元情報にステ
ップＳ１で取得した基準画像３をテクスチャとして貼り
付けて（ステップＳ５）表示装置１１に表示する（図３
の（Ｆ））。
【００３０】図６（Ａ）、（Ｂ）は、上記した第１実施
形態の効果を従来例と比較して示す図である。この例で
はカラーカメラ４台、モノクロカメラ４台からなるステ
レオ撮像系を想定している。
形態の効果を従来例と比較して示す図である。この例で
はカラーカメラ４台、モノクロカメラ４台からなるステ
レオ撮像系を想定している。
【００３１】図６（Ａ）、（Ｂ）において、Ｓ２、Ｓ
２’、Ｓ２”、Ｓ３、Ｓ４は図２及び図８に示す各ステ
ップを意味する。３Ａはカラー画像を前処理するのに要
する時間、Ａはモノクロ画像を前処理するのに要する時
間、Ｂはカラー画像をモノクロ画像に変換するのに要す
る時間、Ｃはステレオマッチング処理に要する時間であ
る。
２’、Ｓ２”、Ｓ３、Ｓ４は図２及び図８に示す各ステ
ップを意味する。３Ａはカラー画像を前処理するのに要
する時間、Ａはモノクロ画像を前処理するのに要する時
間、Ｂはカラー画像をモノクロ画像に変換するのに要す
る時間、Ｃはステレオマッチング処理に要する時間であ
る。
【００３２】ステップＳ３、Ｓ４を実行するのに要する
時間は本発明と従来例とで同じである。また、図示して
いないが、ステップＳ１、Ｓ５を実行するのに要する時
間も本発明と従来例とで同じである。
時間は本発明と従来例とで同じである。また、図示して
いないが、ステップＳ１、Ｓ５を実行するのに要する時
間も本発明と従来例とで同じである。
【００３３】一方、カラーカメラ４台、モノクロカメラ
４台の場合、従来方式によりステップＳ２を実行するの
に要する時間は、３Ａ×４＋Ａ×４＝１６Ａであるが、
本発明の方式によりステップＳ２’、Ｓ２”を実行する
のに要する時間はＡ×４＋Ａ×４＋Ａ＝９Ａである。
４台の場合、従来方式によりステップＳ２を実行するの
に要する時間は、３Ａ×４＋Ａ×４＝１６Ａであるが、
本発明の方式によりステップＳ２’、Ｓ２”を実行する
のに要する時間はＡ×４＋Ａ×４＋Ａ＝９Ａである。
【００３４】このことをカラーカメラをｘ台、モノクロ
カメラをｙ台に一般化して両者を比較してみる。
カメラをｙ台に一般化して両者を比較してみる。
【００３５】カラーカメラの台数：ｘ
モノクロカメラの台数：ｙ
モノクロ画像１枚当たりの歪み除去処理時間：Ａ
カラー画像１枚当たりのモノクロ変換処理時間：Ｂ
ステレオマッチング処理時間：Ｃ
とすると、従来例では、
３Ａｘ＋Ａｙ＋Ｂｘ＋Ｃ＝Ａ（３ｘ＋ｙ）＋Ｂｘ＋Ｃ
本発明の場合
Ｂｘ＋Ａ（ｘ＋ｙ）＋Ｃ＋Ａ＝Ａ（ｘ＋ｙ＋１）＋Ｂｘ
＋Ｃ となり、その差はＡ（２ｘ−１）である。
＋Ｃ となり、その差はＡ（２ｘ−１）である。
【００３６】この結果から明らかなように、カラーカメ
ラの台数が多いほど、かつ歪み除去処理時間が大きいほ
ど本発明と従来との差が大きくなることがわかる。
ラの台数が多いほど、かつ歪み除去処理時間が大きいほ
ど本発明と従来との差が大きくなることがわかる。
【００３７】Ａ，Ｂ，Ｃの値は使用する計算装置とアル
ゴリズムによって大きく変化するが、例えば出願人によ
る実験システム（ＣＰＵ：Pentium III-733 RAM:256M）
では、 カラーカメラ４台（ｘ＝４）、 モノクロカメラ４台（ｙ＝４） モノクロ画像サイズ（６４０×８００×８） カラー画像サイズ（６４０×８００×２４） モノクロ画像１枚当たりの歪み除去処理時間Ａ＝２．５
秒 カラー画像１枚当たりのモノクロ変換処理時間Ｂ＝０．
００５秒 ステレオマッチング処理時間 Ｃ＝２０秒 であり、従来例で Ａ（３ｘ＋ｙ）＋Ｂｘ＋Ｃ＝2.5×(12＋4）＋(0.005×
4)＋20＝60.02秒 本発明で Ａ（ｘ＋ｙ＋1）＋Ｂｘ＋Ｃ＝2.5×(4＋4＋1)＋(0.005
×4)＋20＝42.52秒 となり３０％の高速化になる。
ゴリズムによって大きく変化するが、例えば出願人によ
る実験システム（ＣＰＵ：Pentium III-733 RAM:256M）
では、 カラーカメラ４台（ｘ＝４）、 モノクロカメラ４台（ｙ＝４） モノクロ画像サイズ（６４０×８００×８） カラー画像サイズ（６４０×８００×２４） モノクロ画像１枚当たりの歪み除去処理時間Ａ＝２．５
秒 カラー画像１枚当たりのモノクロ変換処理時間Ｂ＝０．
００５秒 ステレオマッチング処理時間 Ｃ＝２０秒 であり、従来例で Ａ（３ｘ＋ｙ）＋Ｂｘ＋Ｃ＝2.5×(12＋4）＋(0.005×
4)＋20＝60.02秒 本発明で Ａ（ｘ＋ｙ＋1）＋Ｂｘ＋Ｃ＝2.5×(4＋4＋1)＋(0.005
×4)＋20＝42.52秒 となり３０％の高速化になる。
【００３８】なお、この発明の実施の形態の各構成は当
然各種の変形、変更が可能である。例えばカメラの台数
は上記したように任意で良く、テクスチャは基準画像３
からだけでなく、その他の複数のステレオ画像２から合
成しても良い。また、ステレオ撮像系１と計算装置１２
はオンラインで接続されている必要はなく、オフライン
で画像を送っても良い。また、処理の途中で生成される
距離画像等はデータとして存在すれば良く必ずしも画像
として存在する必要はない。
然各種の変形、変更が可能である。例えばカメラの台数
は上記したように任意で良く、テクスチャは基準画像３
からだけでなく、その他の複数のステレオ画像２から合
成しても良い。また、ステレオ撮像系１と計算装置１２
はオンラインで接続されている必要はなく、オフライン
で画像を送っても良い。また、処理の途中で生成される
距離画像等はデータとして存在すれば良く必ずしも画像
として存在する必要はない。
【００３９】（第２実施形態）以下に図４及び図５を参
照して本発明の第２実施形態を説明する。第２実施形態
に係る３次元画像情報生成装置の構成は、前記した第１
実施形態と同様に、図１及び前記した図８，図１０，図
１１である。
照して本発明の第２実施形態を説明する。第２実施形態
に係る３次元画像情報生成装置の構成は、前記した第１
実施形態と同様に、図１及び前記した図８，図１０，図
１１である。
【００４０】図８に示すカラーカメラ１００とモノクロ
カメラ１０１によって構成されるステレオ撮像系１によ
って撮影された被撮影物４を撮影してステレオ画像２−
１，２−２（図５の（Ａ））を取得して記憶装置１０に
格納する（ステップＳ１）。ここではカラーカメラ１０
０によって撮影されたステレオ画像２−１を基準画像３
とする。次に計算装置９はこの基準画像３をモノクロ化
してモノクロ画像７（図５の（Ｂ））を取得する（ステ
ップＳ３）。
カメラ１０１によって構成されるステレオ撮像系１によ
って撮影された被撮影物４を撮影してステレオ画像２−
１，２−２（図５の（Ａ））を取得して記憶装置１０に
格納する（ステップＳ１）。ここではカラーカメラ１０
０によって撮影されたステレオ画像２−１を基準画像３
とする。次に計算装置９はこの基準画像３をモノクロ化
してモノクロ画像７（図５の（Ｂ））を取得する（ステ
ップＳ３）。
【００４１】次にモノクロ画像７及びステレオ画像２−
２に対する前処理としてレクティフィケーション処理及
び／又はレンズディストーション処理を行い（ステップ
Ｓ２’、図５の（Ｃ））、歪みを除去したステレオ画像
５−１、５−２を生成して記憶装置１０に格納する。
２に対する前処理としてレクティフィケーション処理及
び／又はレンズディストーション処理を行い（ステップ
Ｓ２’、図５の（Ｃ））、歪みを除去したステレオ画像
５−１、５−２を生成して記憶装置１０に格納する。
【００４２】次に計算装置１２はステレオ画像５−１，
５−２にステレオマッチング処理を行い被撮影物４に関
する３次元情報としての距離画像８（図５の（Ｄ））を
生成して記憶装置１０に格納する（ステップＳ４）。次
に計算装置１２は距離画像８に対して前もって格納され
ている値で拡大縮小及び平行移動処理（補償処理）を行
い距離画像９（図５の（Ｅ））を生成して記憶装置１０
に格納する（ステップＳ６）。次に計算装置９は距離画
像９から得られる３次元形状情報にステップＳ１で取得
した基準画像３をテクスチャとして貼り付けて（ステッ
プＳ５）画像（図５の（Ｆ））を表示装置１１に表示す
る。
５−２にステレオマッチング処理を行い被撮影物４に関
する３次元情報としての距離画像８（図５の（Ｄ））を
生成して記憶装置１０に格納する（ステップＳ４）。次
に計算装置１２は距離画像８に対して前もって格納され
ている値で拡大縮小及び平行移動処理（補償処理）を行
い距離画像９（図５の（Ｅ））を生成して記憶装置１０
に格納する（ステップＳ６）。次に計算装置９は距離画
像９から得られる３次元形状情報にステップＳ１で取得
した基準画像３をテクスチャとして貼り付けて（ステッ
プＳ５）画像（図５の（Ｆ））を表示装置１１に表示す
る。
【００４３】以下にステップＳ６で説明した拡大縮小及
び平行移動処理で用いられる拡大率と平行移動量の決定
方法について説明する。通常、レンズディストーション
（歪み）は光軸から離れるほど大きくなる。歪みの少な
いレンズで撮像された画像であってもステレオマッチン
グをするには歪み除去処理が必須であるが、人間が画像
として鑑賞するためであれば歪み除去処理を行わなくと
も実用に耐えることができる（ホームビデオの撮影や鑑
賞など）。
び平行移動処理で用いられる拡大率と平行移動量の決定
方法について説明する。通常、レンズディストーション
（歪み）は光軸から離れるほど大きくなる。歪みの少な
いレンズで撮像された画像であってもステレオマッチン
グをするには歪み除去処理が必須であるが、人間が画像
として鑑賞するためであれば歪み除去処理を行わなくと
も実用に耐えることができる（ホームビデオの撮影や鑑
賞など）。
【００４４】このような考えのもとに本実施形態では、
既に取得した３次元情報に貼り付けるテクスチャ画像に
対する歪み除去を省略することで計算量を削減する方法
を図７を参照して説明する。
既に取得した３次元情報に貼り付けるテクスチャ画像に
対する歪み除去を省略することで計算量を削減する方法
を図７を参照して説明する。
【００４５】１．前もって形状の既知な物（あるパター
ンを記載したボード等が好ましい）を撮像し、その画像
（歪み有り）１３と既知な形状の関係から画面上の歪み
量を獲得する。
ンを記載したボード等が好ましい）を撮像し、その画像
（歪み有り）１３と既知な形状の関係から画面上の歪み
量を獲得する。
【００４６】２．ある許容量ｅ１を設定し歪み量が許容
量ｅ１以下の領域１５を処理対象とする。この場合は矩
形領域を抽出する。
量ｅ１以下の領域１５を処理対象とする。この場合は矩
形領域を抽出する。
【００４７】３．画像１３に対して歪み除去を行った画
像１４を用意する。
像１４を用意する。
【００４８】４．歪み有り画像１３の領域１５と歪み除
去画像１４の領域１５の差が最小になる画像１３の拡大
率と平行移動量を探索する。
去画像１４の領域１５の差が最小になる画像１３の拡大
率と平行移動量を探索する。
【００４９】探索された拡大率と平行移動量を使用して
領域１５に対して図４及び図５の処理を行う。
領域１５に対して図４及び図５の処理を行う。
【００５０】このような方法によれば、複雑な歪み除去
を行う必要がなくなる。レンズディストーションの大き
さと許容量ｅ１の値によっては処理を行わずに（拡大率
１、平行移動０）貼り付けることが可能である。しかし
この方法により正確な画像が提供されるわけではなく、
かつ画像中央（殆どの場合光軸）から離れたところに撮
像されているものに対しては適用できない。
を行う必要がなくなる。レンズディストーションの大き
さと許容量ｅ１の値によっては処理を行わずに（拡大率
１、平行移動０）貼り付けることが可能である。しかし
この方法により正確な画像が提供されるわけではなく、
かつ画像中央（殆どの場合光軸）から離れたところに撮
像されているものに対しては適用できない。
【００５１】なお、この発明の実施の形態の各構成は当
然各種の変形、変更が可能である。
然各種の変形、変更が可能である。
【００５２】例えばカメラの台数は任意で良く、テクス
チャは基準画像３からだけでなく、その他の複数のステ
レオ画像２から合成しても良い。また、ステレオ撮像系
１と計算装置１２はオンラインで接続されている必要は
なく、オフラインで画像を送っても良い。また、処理の
途中で生成される距離画像等はデータとして存在すれば
良く必ずしも画像として存在する必要はない。
チャは基準画像３からだけでなく、その他の複数のステ
レオ画像２から合成しても良い。また、ステレオ撮像系
１と計算装置１２はオンラインで接続されている必要は
なく、オフラインで画像を送っても良い。また、処理の
途中で生成される距離画像等はデータとして存在すれば
良く必ずしも画像として存在する必要はない。
【００５３】上記した第２実施形態における処理時間を
計算すると以下のようになる。
計算すると以下のようになる。
【００５４】カラーカメラの台数：ｘ
モノクロカメラの台数：ｙ
モノクロ画像１枚当たりの歪み除去処理時間：Ａ
カラー画像１枚当たりのモノクロ変換処理時間：Ｂ
ステレオマッチング処理時間：Ｃ
画像１枚当たりの縮小及び平行移動処理時間：Ｄ
とすると、
Ｂｘ＋Ａ（ｘ＋ｙ）＋Ｃ＋Ｄ
で求めることができる。ここでＡとＤの処理時間は同じ
オーダである。
オーダである。
【００５５】（付記）
１． ステレオ撮像系によって得られた複数視点からの
画像に対してステレオマッチングを行う事によって被撮
影物の立体情報を取得する方法において、各画像の持っ
ている情報量を減らした後、各画像に対する変換処理を
行い、その後、変換後の複数の画像に対してステレオマ
ッチング処理を行う事で距離情報を獲得し、その獲得し
た距離情報に対して前記変換処理に対する逆変換処理を
行い元の画像に適用する事を特徴とするステレオ画像か
らの３次元画像情報生成方法。
画像に対してステレオマッチングを行う事によって被撮
影物の立体情報を取得する方法において、各画像の持っ
ている情報量を減らした後、各画像に対する変換処理を
行い、その後、変換後の複数の画像に対してステレオマ
ッチング処理を行う事で距離情報を獲得し、その獲得し
た距離情報に対して前記変換処理に対する逆変換処理を
行い元の画像に適用する事を特徴とするステレオ画像か
らの３次元画像情報生成方法。
【００５６】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第１及び第２実施形態が対
応する。
関する実施の形態は上記した第１及び第２実施形態が対
応する。
【００５７】（作用）ステレオ撮像系１によって得られ
た被撮影物４の複数の画像２−１，２−２に対して、そ
の中の１枚の画像を基準画像３とする。（例えば左右ス
テレオ画像ならば左画像等）（図８） 複数の画像２−１，２−２に対して情報量の削減（カラ
ー画像のモノクロ化、フィルタ処理等）を行う。その
後、情報量を減らした画像２−１，２−２をステレオマ
ッチングを行うのに適した形に変形させた複数の画像５
−１，５−２を生成する。画像５−１、５−２に対して
ステレオマッチング処理を行い被撮影物４に対する距離
情報を獲得し、距離画像８を生成する。
た被撮影物４の複数の画像２−１，２−２に対して、そ
の中の１枚の画像を基準画像３とする。（例えば左右ス
テレオ画像ならば左画像等）（図８） 複数の画像２−１，２−２に対して情報量の削減（カラ
ー画像のモノクロ化、フィルタ処理等）を行う。その
後、情報量を減らした画像２−１，２−２をステレオマ
ッチングを行うのに適した形に変形させた複数の画像５
−１，５−２を生成する。画像５−１、５−２に対して
ステレオマッチング処理を行い被撮影物４に対する距離
情報を獲得し、距離画像８を生成する。
【００５８】距離画像８に対して前記変換処理に対する
逆変換処理を行い距離画像９を生成する。
逆変換処理を行い距離画像９を生成する。
【００５９】距離画像９を３次元情報とし、画像２−１
（基準画像３）をテクスチャとして貼り付ける（図３、
図５）。
（基準画像３）をテクスチャとして貼り付ける（図３、
図５）。
【００６０】（効果）情報量の削減を行う前の画像２に
対してステレオマッチングを行うのに適した形に画像変
形させる必要がなく、情報量の削減を行った後に画像変
形を行う為、必要とされる計算量が削減される。
対してステレオマッチングを行うのに適した形に画像変
形させる必要がなく、情報量の削減を行った後に画像変
形を行う為、必要とされる計算量が削減される。
【００６１】２． 少なくとも１つはカラー撮像系を含
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得する方法において、カラー撮像系によ
って撮影された画像はグレー画像に変換した後、各画像
に対して画像歪みを修正する変換処理を行い、その後、
変換後の複数の画像に対してステレオマッチング処理を
行う事で距離情報を獲得し、その獲得した距離情報に対
して前記変換処理に対する逆変換処理を行い元のカラー
画像に対する距離情報として使用する事を特徴とするス
テレオ画像からの３次元画像情報生成方法。
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得する方法において、カラー撮像系によ
って撮影された画像はグレー画像に変換した後、各画像
に対して画像歪みを修正する変換処理を行い、その後、
変換後の複数の画像に対してステレオマッチング処理を
行う事で距離情報を獲得し、その獲得した距離情報に対
して前記変換処理に対する逆変換処理を行い元のカラー
画像に対する距離情報として使用する事を特徴とするス
テレオ画像からの３次元画像情報生成方法。
【００６２】（対応する発明の実施の形態）この発明に
関する実施の形態は第１の実施の形態が対応する。
関する実施の形態は第１の実施の形態が対応する。
【００６３】（作用）ステレオ撮像系１によって得られ
た被撮影物４の複数の画像２−１，２−２（少なくとも
１つはカラー画像）に対して、その中の１枚のカラー画
像（ここでは２−１）を基準画像３とする。（例えば左
右ステレオ画像ならば左画像等）（図８） 複数の画像２−１，２−２の中でカラー画像２−１に関
してモノクロ化してモノクロ画像７に変換する。
た被撮影物４の複数の画像２−１，２−２（少なくとも
１つはカラー画像）に対して、その中の１枚のカラー画
像（ここでは２−１）を基準画像３とする。（例えば左
右ステレオ画像ならば左画像等）（図８） 複数の画像２−１，２−２の中でカラー画像２−１に関
してモノクロ化してモノクロ画像７に変換する。
【００６４】モノクロ画像７，２−２に対してレクティ
フィケーション及び／又はレンズディストーション処理
を行い複数の画像５−１，５−２を生成する。複数の画
像５−１，５−２に対してステレオマッチング処理を行
い被撮影物４に対する距離情報を獲得し、距離画像８を
生成する。
フィケーション及び／又はレンズディストーション処理
を行い複数の画像５−１，５−２を生成する。複数の画
像５−１，５−２に対してステレオマッチング処理を行
い被撮影物４に対する距離情報を獲得し、距離画像８を
生成する。
【００６５】距離画像８に対して前記変換処理（レクテ
ィフィケーション及びレンズディストーション）に対す
る逆変換処理を行い距離画像９を生成する。
ィフィケーション及びレンズディストーション）に対す
る逆変換処理を行い距離画像９を生成する。
【００６６】距離画像９を３次元情報とし、カラー情報
を持った画像２−１（基準画像３）をテクスチャとして
貼り付ける。（図２） （効果）カラー画像に対してレクティフィケーション及
び／又はレンズディストーション処理を行う必要が無い
為、必要とされる計算量が削減される。
を持った画像２−１（基準画像３）をテクスチャとして
貼り付ける。（図２） （効果）カラー画像に対してレクティフィケーション及
び／又はレンズディストーション処理を行う必要が無い
為、必要とされる計算量が削減される。
【００６７】３． 少なくとも１つはカラー撮像系を含
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得する方法において、カラー撮像系によ
って撮影された画像をグレー画像に変換した後、各画像
に対して画像歪みを修正する変換処理を行い、その後、
変換後の複数の画像に対してステレオマッチング処理を
行う事で距離情報を獲得し、その獲得した距離情報に対
してスケール変換及び又は平行移動を行い元のカラー画
像に対する距離情報として使用する事を特徴とする３次
元画像情報生成方法。
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得する方法において、カラー撮像系によ
って撮影された画像をグレー画像に変換した後、各画像
に対して画像歪みを修正する変換処理を行い、その後、
変換後の複数の画像に対してステレオマッチング処理を
行う事で距離情報を獲得し、その獲得した距離情報に対
してスケール変換及び又は平行移動を行い元のカラー画
像に対する距離情報として使用する事を特徴とする３次
元画像情報生成方法。
【００６８】（対応する発明の実施の形態）この発明に
関する実施の形態は第２実施形態が対応する。
関する実施の形態は第２実施形態が対応する。
【００６９】（作用）ステレオ撮像系１によって得られ
た被撮影物４の複数の画像２−１，２−２（少なくとも
１つはカラー画像）に対して、その中の１枚（ここでは
２−１）のカラー画像を基準画像３とする。（例えば左
右ステレオ画像ならば左画像等）（図８） 複数の画像２−１，２−２の中でカラー画像２−１に関
してモノクロ化してモノクロ画像７に変換する。
た被撮影物４の複数の画像２−１，２−２（少なくとも
１つはカラー画像）に対して、その中の１枚（ここでは
２−１）のカラー画像を基準画像３とする。（例えば左
右ステレオ画像ならば左画像等）（図８） 複数の画像２−１，２−２の中でカラー画像２−１に関
してモノクロ化してモノクロ画像７に変換する。
【００７０】モノクロ画像７，２−２に対してレクティ
フィケーション及び／又はレンズディストーション処理
を行い複数の画像５−１，５−２を生成する。
フィケーション及び／又はレンズディストーション処理
を行い複数の画像５−１，５−２を生成する。
【００７１】複数の画像５−１，５−２に対してステレ
オマッチング処理を行い被撮影物４に対する距離情報を
獲得し、距離画像８を生成する。
オマッチング処理を行い被撮影物４に対する距離情報を
獲得し、距離画像８を生成する。
【００７２】距離画像８に対してスケール変換及び又は
平行移動処理を行い距離画像９を生成する。
平行移動処理を行い距離画像９を生成する。
【００７３】距離画像９を３次元情報とし、カラー情報
を持った画像２−１（基準画像３）をテクスチャとして
貼り付ける。
を持った画像２−１（基準画像３）をテクスチャとして
貼り付ける。
【００７４】（効果）カラー画像に対してレクティフィ
ケーション及び／又はレンズディストーション処理を行
う必要が無い為、必要とされる計算量が削減される。
ケーション及び／又はレンズディストーション処理を行
う必要が無い為、必要とされる計算量が削減される。
【００７５】４． ステレオ撮像系によって得られた複
数視点からの画像に対してステレオマッチングを行う事
によって被撮影物の立体情報を取得する装置において、
各画像の持っている情報量を減らした後、各画像に対す
る変換処理を行い、その後、変換後の複数の画像に対し
てステレオマッチング処理を行う事で距離情報を獲得
し、その獲得した距離情報に対し変換処理を行い元の画
像に適用する事を特徴とする３次元画像情報生成装置。
数視点からの画像に対してステレオマッチングを行う事
によって被撮影物の立体情報を取得する装置において、
各画像の持っている情報量を減らした後、各画像に対す
る変換処理を行い、その後、変換後の複数の画像に対し
てステレオマッチング処理を行う事で距離情報を獲得
し、その獲得した距離情報に対し変換処理を行い元の画
像に適用する事を特徴とする３次元画像情報生成装置。
【００７６】５．少なくとも１つはカラー撮像系を含む
ステレオ撮像系によって得られた複数視点からの画像に
対してステレオマッチングを行う事によって被撮影物の
立体情報を取得する装置において、カラー撮像系によっ
て撮影された画像はグレー画像に変換した後、各画像に
対して画像歪みを修正する変換処理を行い、その後、変
換後の複数の画像に対してステレオマッチング処理を行
う事で距離情報を獲得し、その獲得した距離情報に対し
て前記変換処理に対する逆変換処理を行い元のカラー画
像に対する距離情報として使用する事を特徴とする３次
元画像情報生成装置。
ステレオ撮像系によって得られた複数視点からの画像に
対してステレオマッチングを行う事によって被撮影物の
立体情報を取得する装置において、カラー撮像系によっ
て撮影された画像はグレー画像に変換した後、各画像に
対して画像歪みを修正する変換処理を行い、その後、変
換後の複数の画像に対してステレオマッチング処理を行
う事で距離情報を獲得し、その獲得した距離情報に対し
て前記変換処理に対する逆変換処理を行い元のカラー画
像に対する距離情報として使用する事を特徴とする３次
元画像情報生成装置。
【００７７】６． 少なくとも１つはカラー撮像系を含
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得する装置において、カラー撮像系によ
って撮影された画像をグレー画像に変換した後、各画像
に対して画像歪みを修正する変換処理を行い、その後、
変換後の複数の画像に対してステレオマッチング処理を
行う事で距離情報を獲得し、その獲得した距離情報に対
してスケール変換及び又は平行移動を行い元のカラー画
像に対する距離情報として使用する事を特徴とする３次
元画像情報生成装置。
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得する装置において、カラー撮像系によ
って撮影された画像をグレー画像に変換した後、各画像
に対して画像歪みを修正する変換処理を行い、その後、
変換後の複数の画像に対してステレオマッチング処理を
行う事で距離情報を獲得し、その獲得した距離情報に対
してスケール変換及び又は平行移動を行い元のカラー画
像に対する距離情報として使用する事を特徴とする３次
元画像情報生成装置。
【００７８】７． ステレオ撮像系によって得られた複
数視点からの画像に対してステレオマッチングを行う事
によって被撮影物の立体情報を取得するプログラムにお
いて、各画像の持っている情報量を減らした後、各画像
に対する変換処理を行い、その後、変換後の複数の画像
に対してステレオマッチング処理を行う事で距離情報を
獲得し、その獲得した距離情報に対して変換処理を行い
元の画像に適用する事を特徴とする３次元画像情報生成
プログラム。
数視点からの画像に対してステレオマッチングを行う事
によって被撮影物の立体情報を取得するプログラムにお
いて、各画像の持っている情報量を減らした後、各画像
に対する変換処理を行い、その後、変換後の複数の画像
に対してステレオマッチング処理を行う事で距離情報を
獲得し、その獲得した距離情報に対して変換処理を行い
元の画像に適用する事を特徴とする３次元画像情報生成
プログラム。
【００７９】８． 少なくとも１つはカラー撮像系を含
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得するプログラムにおいて、カラー撮像
系によって撮影された画像をグレー画像に変換した後、
各画像に対して画像歪みを修正する変換処理を行い、そ
の後、変換後の複数の画像に対してステレオマッチング
処理を行う事で距離情報を獲得し、その獲得した距離情
報に対して前記変換処理に対する逆変換処理を行い元の
カラー画像に対する距離情報として使用する事を特徴と
する３次元画像情報生成プログラム。
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得するプログラムにおいて、カラー撮像
系によって撮影された画像をグレー画像に変換した後、
各画像に対して画像歪みを修正する変換処理を行い、そ
の後、変換後の複数の画像に対してステレオマッチング
処理を行う事で距離情報を獲得し、その獲得した距離情
報に対して前記変換処理に対する逆変換処理を行い元の
カラー画像に対する距離情報として使用する事を特徴と
する３次元画像情報生成プログラム。
【００８０】９． 少なくとも１つはカラー撮像系を含
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得するプログラムにおいて、カラー撮像
系によって撮影された画像をグレー画像に変換した後、
各画像に対して画像歪みを修正する変換処理を行い、そ
の後、変換後の複数の画像に対してステレオマッチング
処理を行う事で距離情報を獲得し、その獲得した距離情
報に対してスケール変換及び又は平行移動を行い元のカ
ラー画像に対する距離情報として使用する事を特徴とす
る３次元画像情報生成プログラム。
むステレオ撮像系によって得られた複数視点からの画像
に対してステレオマッチングを行う事によって被撮影物
の立体情報を取得するプログラムにおいて、カラー撮像
系によって撮影された画像をグレー画像に変換した後、
各画像に対して画像歪みを修正する変換処理を行い、そ
の後、変換後の複数の画像に対してステレオマッチング
処理を行う事で距離情報を獲得し、その獲得した距離情
報に対してスケール変換及び又は平行移動を行い元のカ
ラー画像に対する距離情報として使用する事を特徴とす
る３次元画像情報生成プログラム。
【００８１】
【発明の効果】本発明によれば、画像変換処理の回数を
減らしてステレオマッチングを行う際の計算量を減らす
ことができるという効果を奏する。
減らしてステレオマッチングを行う際の計算量を減らす
ことができるという効果を奏する。
【図１】本発明の３次元画像情報生成装置の概略構成を
示すブロック図である。
示すブロック図である。
【図２】本発明の第１実施形態における３次元画像情報
生成の手順を説明するためのフローチャートである。
生成の手順を説明するためのフローチャートである。
【図３】本発明の第１実施形態における３次元画像情報
生成の手順を説明するための図である。
生成の手順を説明するための図である。
【図４】本発明の第２実施形態における３次元画像情報
生成の手順を説明するためのフローチャートである。
生成の手順を説明するためのフローチャートである。
【図５】本発明の第２実施形態における３次元画像情報
生成の手順を説明するための図である。
生成の手順を説明するための図である。
【図６】本発明の第１実施形態の効果を従来例と比較し
て示す図である。
て示す図である。
【図７】計算量を削減する方法を説明するための図であ
る。
る。
【図８】ステレオ撮像系の一構成例を示す図である。
【図９】ステレオ撮像系で得た画像から３次元画像を生
成する手順を説明するための図である。
成する手順を説明するための図である。
【図１０】レクティフィケーション処理について説明す
るための図である。
るための図である。
【図１１】レンズディストーション除去について説明す
るための図である。
るための図である。
１ ステレオ撮像系
２−１，２−２ ステレオ画像
３ 基準画像
４ 被撮影物
１０ 記憶装置
１１ 表示装置
１２ 計算装置
１３ 歪み有り画像
１４ 歪み除去画像
１５ 領域
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 15/00 ３００ Ｇ０６Ｔ 15/00 ３００
Ｆターム(参考） 5B050 AA08 AA09 BA09 DA02 DA04
DA07 EA07 EA09 EA12 EA13
EA28 FA02
5B057 AA20 BA02 CA01 CA08 CA13
CA16 CB01 CB08 CB13 CB16
CC01 CD02 CD05 CD12 CE18
5B080 BA08 FA02 GA22
Claims (9)
- 【請求項１】 撮像対象を撮像した画像に基づいて撮像
対象の３次元情報を取得し、前記撮像対象の３次元画像
情報を生成する３次元画像情報生成装置であって、 少なくとも１枚のカラー画像を含み、複数視点から撮像
対象を撮像した画像を入力する入力手段と、 前記カラー画像の輝度情報を抽出する抽出手段と、 前記抽出手段により抽出された輝度情報に前処理を行う
前処理手段と、 前記前処理手段により処理された画像から３次元情報を
取得する３次元情報取得手段と、 前記３次元情報に、前記前処理の効果を補償する処理を
行う補償処理手段と、 前記補償処理された３次元情報に前記カラー画像をテク
スチャとして貼付して３次元画像を生成する３次元画像
生成手段と、 を具備することを特徴とする３次元画像情報生成装置。 - 【請求項２】 前記補償処理手段は、前記前処理の逆変
換処理を行うことを特徴とする請求項１に記載の３次元
画像情報生成装置。 - 【請求項３】 前記補償処理手段は、前記前処理結果を
打ち消すように拡縮処理および平行移動処理、あるいは
その一方を行うことを特徴とする請求項１に記載の３次
元画像情報生成装置。 - 【請求項４】 撮像対象を撮像した画像に基づいて撮像
対象の３次元情報を取得し、前記撮像対象の３次元画像
情報を生成する３次元画像情報生成方法であって、 少なくとも１枚のカラー画像を含み、複数視点から撮像
対象を撮像した画像を入力する入力ステップと、 前記カラー画像の輝度情報を抽出する抽出ステップと、 前記抽出した輝度情報に前処理を行なう前処理ステップ
と、 前記前処理により処理された画像から３次元情報を取得
する３次元情報取得ステップと、 前記取得した３次元情報に、前記前処理の効果を補償す
る処理を行なう補償処理ステップと、 前記補償処理された３次元情報に前記カラー画像をテク
スチャとして貼付して３次元画像を生成する３次元画像
生成ステップと、 を具備することを特徴とする３次元画像情報生成方法。 - 【請求項５】 前記補償処理は、前記前処理の逆変換処
理であることを特徴とする請求項４に記載の３次元画像
情報生成方法。 - 【請求項６】 前記補償処理は、前記前処理結果を打ち
消す拡縮処理および平行移動処理、あるいはその一方で
あることを特徴とする請求項４に記載の３次元画像情報
生成方法。 - 【請求項７】 コンピュータによって撮像対象を撮像し
た画像に基づいて撮像対象の３次元情報を取得し、前記
撮像対象の３次元画像情報を生成する３次元画像情報生
成プログラムであって、 少なくとも１枚のカラー画像を含み、複数視点から撮像
対象を撮像した画像を入力する入力ステップと、 前記カラー画像の輝度情報を抽出する抽出ステップと、 前記抽出した輝度情報に前処理を行う前処理ステップ
と、 前記前処理ステップにより処理された画像から３次元情
報を取得する３次元情報取得ステップと、 前記取得した３次元情報に、前記前処理の効果を補償す
る処理を行う補償処理ステップと、 前記補償処理された３次元情報に前記カラー画像をテク
スチャとして貼付して３次元画像を生成する３次元画像
生成ステップと、 を実行することを特徴とする３次元画像情報生成プログ
ラム。 - 【請求項８】 前記補償処理ステップは、前記前処理の
逆変換処理を実行することを特徴とする請求項７に記載
の３次元画像情報生成プログラム。 - 【請求項９】 前記補償処理ステップは、前記前処理結
果を打ち消す拡縮処理および平行移動処理、あるいはそ
の一方を実行することを特徴とする請求項７に記載の３
次元画像情報生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001200143A JP4740481B2 (ja) | 2001-06-29 | 2001-06-29 | ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001200143A JP4740481B2 (ja) | 2001-06-29 | 2001-06-29 | ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003016477A true JP2003016477A (ja) | 2003-01-17 |
| JP4740481B2 JP4740481B2 (ja) | 2011-08-03 |
Family
ID=19037316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001200143A Expired - Fee Related JP4740481B2 (ja) | 2001-06-29 | 2001-06-29 | ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4740481B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205402A (ja) * | 2012-03-29 | 2013-10-07 | Sumitomo (Shi) Construction Machinery Co Ltd | 作業機械用周辺監視装置 |
| CN106456292A (zh) * | 2014-05-02 | 2017-02-22 | 阿吉斯成像公司 | 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6853928B2 (ja) | 2016-11-10 | 2021-04-07 | 株式会社金子製作所 | 三次元動画像表示処理装置、並びにプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06215097A (ja) * | 1992-06-17 | 1994-08-05 | Fujitsu Ltd | 三次元物体ｃｇ作成装置 |
| JPH11325889A (ja) * | 1998-05-14 | 1999-11-26 | Fuji Heavy Ind Ltd | ステレオカメラの画像補正装置 |
-
2001
- 2001-06-29 JP JP2001200143A patent/JP4740481B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06215097A (ja) * | 1992-06-17 | 1994-08-05 | Fujitsu Ltd | 三次元物体ｃｇ作成装置 |
| JPH11325889A (ja) * | 1998-05-14 | 1999-11-26 | Fuji Heavy Ind Ltd | ステレオカメラの画像補正装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205402A (ja) * | 2012-03-29 | 2013-10-07 | Sumitomo (Shi) Construction Machinery Co Ltd | 作業機械用周辺監視装置 |
| KR101625997B1 (ko) | 2012-03-29 | 2016-05-31 | 스미토모 겐키 가부시키가이샤 | 작업기계용 주변감시장치 |
| US9715015B2 (en) | 2012-03-29 | 2017-07-25 | Sumitomo(S.H.I.) Construction Machinery Co., Ltd. | Periphery-monitoring device for working machines |
| CN106456292A (zh) * | 2014-05-02 | 2017-02-22 | 阿吉斯成像公司 | 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备 |
| JP2017523491A (ja) * | 2014-05-02 | 2017-08-17 | アルジェス イメージング インコーポレイテッド | ３ｄスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体 |
| US11122180B2 (en) | 2014-05-02 | 2021-09-14 | Dentsply Sirona Inc. | Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4740481B2 (ja) | 2011-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
| JP2998791B2 (ja) | 三次元構造推定装置 | |
| EP2437494B1 (en) | Device for monitoring area around vehicle | |
| JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
| JP2019057248A (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
| CN108629756B (zh) | 一种Kinectv2深度图像无效点修复方法 | |
| CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
| JPH08233556A (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| JP2014192613A (ja) | 画像処理装置及び方法、及び撮像装置 | |
| JP6513300B1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2953154B2 (ja) | 形状合成方法 | |
| CN113538587A (zh) | 一种相机坐标变换方法、终端以及存储介质 | |
| WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
| JP3561446B2 (ja) | 画像生成方法及びその装置 | |
| JP6931267B2 (ja) | 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法 | |
| CN112116703A (zh) | 一种3d相机及点云与彩色纹理对齐的红外光扫描算法 | |
| CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
| CN109990756B (zh) | 一种双目测距方法及系统 | |
| JP4740481B2 (ja) | ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム | |
| JP2821042B2 (ja) | 画像合成装置 | |
| KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN109089100B (zh) | 一种双目立体视频的合成方法 | |
| KR20140003880A (ko) | ３차원 얼굴 생성 장치 및 방법 | |
| JP2002077941A (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH0981737A (ja) | 三次元物体モデル生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |