JP2000030064A - 3次元座標検出方法 - Google Patents

3次元座標検出方法

Info

Publication number
JP2000030064A
JP2000030064A JP10197587A JP19758798A JP2000030064A JP 2000030064 A JP2000030064 A JP 2000030064A JP 10197587 A JP10197587 A JP 10197587A JP 19758798 A JP19758798 A JP 19758798A JP 2000030064 A JP2000030064 A JP 2000030064A
Authority
JP
Japan
Prior art keywords
dimensional
index
image
coordinates
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10197587A
Other languages
English (en)
Other versions
JP2922503B1 (ja
Inventor
Kumar Semwaru Sdansh
クマール セムワル スダンシュ
Atsushi Otani
淳 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Media Integration and Communication Research Laboratories
Original Assignee
ATR Media Integration and Communication Research Laboratories
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Media Integration and Communication Research Laboratories filed Critical ATR Media Integration and Communication Research Laboratories
Priority to JP10197587A priority Critical patent/JP2922503B1/ja
Application granted granted Critical
Publication of JP2922503B1 publication Critical patent/JP2922503B1/ja
Publication of JP2000030064A publication Critical patent/JP2000030064A/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 複数のカメラと実世界との間のキャリブレー
ションを不要にして3次元物体の座標を検出できるよう
な3次元座標検出方法を提供する。 【解決手段】 xy方向に枡目状に格子の形成された壁
3を3次元空間中でz0〜zw 方向に順次一定間隔で移
動して複数のカメラC1 ,C2 …Cn で撮像し、撮像さ
れた各画像に射影された格子にインデックスを与え、壁
3を取り除いた空間中に3次元物体としての人物を配置
し、各カメラC1 ,C2 …Cn で3次元物体を撮像し、
撮像した3次元物体上の点の各カメラ画像中におけるイ
ンデックスを求め、そのインデックスが構成する多角形
の面積最小条件から3次元座標を求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は3次元座標検出方
法に関し、特に、人物などの3次元物体をカメラで撮像
し、撮像した画像から人物の姿勢などを非接触で3次元
的に推定できるような3次元座標検出方法に関する。
【0002】
【従来の技術および発明が解決しようとする課題】コン
ピュータグラフィックスで3次元の人物モデルを再現す
る方法の一例として、“熱画像を用いた人物全身像の実
時間姿勢推定”,映像情報メディア学会誌,Vol.5
1,No.8,pp.1270−1277,1997.
8が提案されている。この方法は1台の赤外線カメラを
用いて人物の姿勢を推定するものであり、2次元的であ
るため、3次元座標の情報を復元することは原理的に不
可能である。
【0003】また、O. Faugeras,“Three-Dimensional
Computer Vision: A Geometric Viewpoint”, MIT Pres
s, Cambridge, Massachussets, 1996 には、2台のカメ
ラで3次元物体を撮像し、各カメラ間の距離と各カメラ
から対象物体までの距離とに基づいて三角測量の原理で
3次元復元を行なう方法について記載されている。
【0004】しかし、この方法では、2台のカメラをキ
ャリブレーションし、さらにカメラと観測対象の実世界
とのキャリブレーションを行なわなければならず、その
処理が困難であるという欠点があった。
【0005】それゆえに、この発明の主たる目的は、複
数のカメラと実世界との間のキャリブレーションを不要
にして、3次元物体の座標を検出できるような3次元座
標検出方法を提供することである。
【0006】
【課題を解決するための手段】請求項1に係る発明は、
人物などの3次元物体表面上の点の3次元座標を求める
ために、複数のカメラにより物体を撮像することにより
得られる複数の画像中において前記点を対応付ける装置
において、予め大きさが既知の格子を3次元空間中で移
動して複数のカメラにより撮像し、撮像された各画像に
射影された格子にインデックスを与え、座標検出時に対
応付けられた3次元物体の点の各カメラ画像中における
インデックスを求め、そのインデックスが構成する多角
形の面積最小条件から3次元座標を求める。
【0007】
【発明の実施の形態】図1はこの発明の概要を説明する
ための図である。図1において、3次元物体を撮像する
ために、複数のカメラC1 ,C2 …Cn が設けられ、各
カメラC1 ,C2 …Cn の画像出力は画像処理装置1に
与えられる。画像処理装置1に関連してディスプレイモ
ニタ2が設けられている。この発明では、カメラC1
2 …Cn で撮像される人物の存在する3次元空間にイ
ンデックスを予め与えておき、カメラC1 ,C2 …Cn
で人物を撮像してメモリにストアし、前述のインデック
スを利用して人物の特徴点の3次元座標を求める。
【0008】3次元空間内にインデックスを与えるため
に、図1に示すように予めサイズが既知(たとえば24
0cm×240cm)で、xy方向に枡目状にたとえば
47×47の格子の形成された壁3が用意される。この
壁3の格子には、x方向にI 1x,I2x…Inx,y方向に
1y,I2y…Inyのインデックスが予め与えられてい
る。そして、壁3はz方向の各位置z0 ,z1 ,z2
w でカメラC1 ,C2…Cn によって撮像される。
【0009】図2は3台のカメラで各位置z0 …zw
撮像された壁3の画像である。位置z0 では壁3がカメ
ラC1 ,C2 ,C3 に近いため、壁3の画像が大きく撮
像されるが、位置zw では壁3がカメラC1 ,C2 、C
3 から離れているため、壁3の画像が小さく見える。ま
た、カメラC2 は壁3のほぼ中央部から撮像しているの
に対して、カメラC1 は左側から壁3を撮像しているた
め、画像中の壁は右下がりになり、カメラC3 は左側か
ら壁3を撮像しているため、右上がりの画像となってい
る。
【0010】各位置z0 …zw で撮像された壁3の画像
の中で各インデックスの位置を画面上でマウスなどによ
りクリックすることにより指定する。すなわち、画像を
構成する画素の画像における座標を(u,v)(たとえ
ばuは横方向、vは縦方向)とすると、画像において各
格子点(Imx,Iny)の位置をクリックして指定するこ
とにより、そのクリックした点の画像座標(umx
ny)をディスプレイモニタ2から返す。このようにし
て、画像中のすべての格子点のインデックスとその画像
座標を対応させる形で、画像処理装置1に記憶する。
【0011】なお、すべての格子点のインデックスをマ
ウスなどにより手動的にクリックするのは、一般には長
い作業時間を必要とするため格子点の一部のみを手動で
クリックし、他の格子点については、自動的に画像処理
により格子点を見出す方法を用いることにより指定する
ようにしてもよい。
【0012】実際に人物の特徴点の3次元座標を求める
際には、カメラC1 ,C2 ,C3 で人物などの3次元物
体を撮像し、撮像した画像から特徴点の座標を見つけ出
し、この座標に基づいて最も近傍にある格子点のインデ
ックスを求める。この処理は、z0 〜zw における壁の
位置(以下スライスと称する)についてすべて行なわれ
る。
【0013】図3は3つの位置でのカメラ画像のインデ
ックスの幾何学的関係を説明するための図である。図3
において、3枚の平面k,k+1,k+2はz方向の連
続したスライスであって、カメラ画像のインデックスを
1 ,I2 ,I3 とする。特徴点が3次元空間中に実際
に存在する点をXとすると、図3に示すようにXはkと
k+1の面の間に存在する。これは各スライスにおい
て、カメラ画像のインデックスI1 ,I2 、I3 が構成
する三角形の面積を調べ、面積が最小になるスライス
と、増加に転じるスライスとを求めることにより、kと
k+1を決定できることがわかる。また、最も近傍の
x,y方向のインデックスからx,y方向の座標が求め
られる。
【0014】図4は、3台のカメラで人物を撮像してい
る状態を示す図であり、図5および図6はこの発明の一
実施形態の具体的な動作を説明するためのフローチャー
トである。このフローチャートは図1に示した画像処理
装置1によって実行される。
【0015】まず、図5を参照してインデックスを付与
する動作について説明する。図1に示すように壁3を奥
行き方向zi (i=0,2…w)に移動させる。そし
て、カメラC1 ,C2 …Cn で撮像した画像I1i
2i,…Iniを画像処理装置1内のメモリにストアし、
iがwになったか否かを判別し、i≦wであれば壁3を
奥行き方向に移動される。この動作を繰返すことによっ
て、メモリには図2に示すようにz0 …zw の位置にお
ける各カメラC1 ,C2 …Cn で撮像した格子の画像I
1o,I20,In0〜Iiw,I2w,Inwがストアされる。
【0016】ストアした画像データをディスプレイモニ
タ2に表示させ、各格子にインデックスを与える。すな
わち、図2に示した画像I1oを例にとって説明すると、
格子点I1x,I1y,I2x,I1y…を順次クリックしてイ
ンデックスを付与する。そして、クリックした画像面に
おける格子点の座標をディスプレイモニタ2から得る。
すなわち、ディスプレイモニタ2の画面上における左上
の座標を(0,0)とし、右下の座標を(640,48
0)とすれば、クリックすることにより指定されたイン
デックスの画面上の座標は、前述の左上と右下の座標の
間の座標値としてモニタ2から返される。
【0017】次に、3次元画像の座標検出動作について
説明する。図1に示した壁3を取り除き、壁3の配置し
た位置z0 〜zw の範囲内に人物が立ち、図4に示すよ
うに、カメラC1 ,C2 ,…,Cn で撮像し、画像
1 ,I2 ,…,In を得る。なお、以下の説明では簡
単のためカメラの台数n=3とする。次に、人物の手
先、頭頂部等の特徴点の像の位置を各画像中で見出す。
たとえば、図4に示すように、人物の特徴点Xの、画像
1 ,I2 ,I3 における像x1 ,x2 ,x3 を得る。
なお、この処理はステレオマッチング等を用いて行なわ
れるが、これに限られるもではない。
【0018】次に、xi (i=1,2,…,n=3)に
ついて、図2に示した格子撮像画像Iij(i=1,2,
…n=3;j=0,…,w)における最近傍のインデッ
クスIx ,Iy を求める。ここで、xi のインデックス
は、同じiの値をもつインデックス画像Iim(m=0,
…,w)において求める。このようにして、xi につい
ては、z方向の深さに対応するインデックス画像(スラ
イス)毎にインデックス(Ixj,Iyj)(j=0,…
w)が得られる。
【0019】前述の図3で説明したように各スライスm
(m=0,…,w)において、Iim(i=1,2,…n
=3)が構成する三角形(n>3のとき、多角形)の面
積を調べ、面積が最小となるスライスm=Pを見出し、
特徴点Xのz方向を座標とする。x,y方向について
は、このスライスPにおけるインデックスを座標とす
る。図4では特徴点1個の場合を示したが、特徴点が複
数ある場合には、本処理を特徴点の数だけ繰り返せばよ
い。なお、特徴点Xは実際にはスライダの間や格子点の
間に存在する場合があり、この場合には最近傍のスライ
スまで距離や三角形の最小の面積の値から補間的にx,
y,z座標を計算することにより、座標検出精度を向上
させることができる。
【0020】
【発明の効果】以上のように、この発明によれば、予め
大きさが既知の格子を3次元空間中で移動して複数のカ
メラにより撮像し、撮像された各画像に射影された格子
にインデックスを与え、座標検出時に対応付けられた3
次元物体上の点の各カメラ画像中におけるインデックス
を求め、そのインデックスが構成する多角形の面積最小
条件から3次元座標を求めるようにしたので、複雑なキ
ャリブレーションを不要にして3次元物体の座標を検出
することができる。
【図面の簡単な説明】
【図1】この発明の概要を説明するための図である。
【図2】3台のカメラで各位置z0 …zw で撮像された
壁の画像を示す。
【図3】3つの位置でのカメラ画像のインデックスの幾
何学的関係を説明するための図である。
【図4】3台のカメラで人物を撮像している状態を示す
図である。
【図5】この発明の一実施形態の具体的な動作を説明す
るためのフローチャートであって、インデックスを付与
する動作を示す。
【図6】この発明の一実施形態の具体的な動作を説明す
るためのフローチャートであって、3次元座標の座標検
出動作を示す。
【符号の説明】 1 画像処理装置 2 ディスプレイモニタ 3 壁
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷5 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 Fターム(参考) 2F065 AA04 AA06 AA07 AA14 AA37 CC16 DD06 FF01 FF04 FF05 FF08 JJ03 JJ05 JJ26 QQ24 QQ28 QQ31 QQ38 QQ45 RR10 SS02 SS13 5B057 BA23 CA12 CA16 CB13 CB16 CC01 CD14 5C061 AA29 AB01 AB04 AB08 AB24

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 人物などの3次元物体表面上の点の3次
    元座標を求めるために、複数のカメラにより物体を撮像
    することにより得られる複数の画像中において前記点を
    対応付ける装置において、 予め大きさが既知の格子を3次元空間中で移動して前記
    複数のカメラにより撮像し、撮像された各画像に射影さ
    れた格子にインデックスを与える第1のステップ、およ
    び座標検出時に前記対応付けられた3次元物体の点の各
    カメラ画像中におけるインデックスを求め、そのインデ
    ックスが構成する多角形の面積最小条件から3次元座標
    を求める第2のステップを含むことを特徴とする、3次
    元座標検出方法。
JP10197587A 1998-07-13 1998-07-13 3次元座標検出方法 Expired - Fee Related JP2922503B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10197587A JP2922503B1 (ja) 1998-07-13 1998-07-13 3次元座標検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10197587A JP2922503B1 (ja) 1998-07-13 1998-07-13 3次元座標検出方法

Publications (2)

Publication Number Publication Date
JP2922503B1 JP2922503B1 (ja) 1999-07-26
JP2000030064A true JP2000030064A (ja) 2000-01-28

Family

ID=16376979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10197587A Expired - Fee Related JP2922503B1 (ja) 1998-07-13 1998-07-13 3次元座標検出方法

Country Status (1)

Country Link
JP (1) JP2922503B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340753A (ja) * 2003-05-15 2004-12-02 Topcon Corp キャリブレーションチャート画像表示装置
JP2006349586A (ja) * 2005-06-17 2006-12-28 Omron Corp 3次元計測方法および3次元計測装置
JP2021173581A (ja) * 2020-04-22 2021-11-01 Kddi株式会社 点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2002042714A1 (ja) * 2000-11-24 2004-04-02 株式会社アイウェア ラボラトリー 形状計測方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340753A (ja) * 2003-05-15 2004-12-02 Topcon Corp キャリブレーションチャート画像表示装置
JP2006349586A (ja) * 2005-06-17 2006-12-28 Omron Corp 3次元計測方法および3次元計測装置
JP2021173581A (ja) * 2020-04-22 2021-11-01 Kddi株式会社 点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラム
JP7290600B2 (ja) 2020-04-22 2023-06-13 Kddi株式会社 点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2922503B1 (ja) 1999-07-26

Similar Documents

Publication Publication Date Title
CN109561296B (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US9189859B2 (en) 3D image generation
US10789765B2 (en) Three-dimensional reconstruction method
JP6125188B2 (ja) 映像処理方法及び装置
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
CN102833486B (zh) 一种实时调节视频图像中人脸显示比例的方法及装置
JP3054681B2 (ja) 画像処理方法
JP2015201850A (ja) 撮像装置のパラメータ推定方法
US20090153669A1 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US8599278B2 (en) Method for estimating a plane in a range image and range image camera
CN109977827B (zh) 一种使用多视图匹配方法的多人三维姿态估计方法
JP2002008040A (ja) 三次元情報検出装置及び三次元情報検出方法
US20230394834A1 (en) Method, system and computer readable media for object detection coverage estimation
JP2967086B1 (ja) 多眼画像処理による人物の三次元姿勢推定方法
JP2007271408A (ja) 三次元環境情報取得装置,三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
JP6228239B2 (ja) プリミティブの組を用いてデータをレジストレーションする方法
TW202004664A (zh) 影像處理裝置、影像處理方法、及影像處理程式
JP4670010B2 (ja) 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム
JP2922503B1 (ja) 3次元座標検出方法
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP2004046464A (ja) 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990413

LAPS Cancellation because of no payment of annual fees